FR3132970A1 - Finger segmentation method and related computer program product - Google Patents
Finger segmentation method and related computer program product Download PDFInfo
- Publication number
- FR3132970A1 FR3132970A1 FR2201635A FR2201635A FR3132970A1 FR 3132970 A1 FR3132970 A1 FR 3132970A1 FR 2201635 A FR2201635 A FR 2201635A FR 2201635 A FR2201635 A FR 2201635A FR 3132970 A1 FR3132970 A1 FR 3132970A1
- Authority
- FR
- France
- Prior art keywords
- image
- images
- historical
- segmentation
- finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004590 computer program Methods 0.000 title claims description 3
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000002955 isolation Methods 0.000 claims abstract description 7
- 230000003628 erosive effect Effects 0.000 claims abstract description 6
- 230000001537 neural effect Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 210000003811 finger Anatomy 0.000 description 44
- 210000004932 little finger Anatomy 0.000 description 5
- 238000002372 labelling Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/117—Biometrics derived from hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
- G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
L’invention concerne un procédé de segmentation de doigts à partir d’une image utilisateur (i), comprenant:- une étape de détection (100) de doigts mettant en œuvre un premier réseau de neurones pour générer une première image (i1) comprenant un masque global des phalanges d’extrémité, - une étape d’érosion (101) générant une deuxième image (i2) réduisant le masque global à une pluralité de noyaux, - une étape d’isolation (102) comptabilisant dans la deuxième image (i2) le nombre de noyaux et générant autant de troisièmes images (i3) que de noyaux,- une étape de segmentation (103) mettant en œuvre pour chaque troisième image (i3), un deuxième réseau de neurones et générant une quatrième image (i4) comprenant un masque de la phalange d’extrémité correspondante,- une étape de résultat (104) générant un résultat de segmentation (RS) comprenant une cinquième image (i5) comprenant tous les masques de toutes les quatrièmes images (i4). Figure pour l’abrégé : figure 3The invention relates to a method for segmenting fingers from a user image (i), comprising:- a finger detection step (100) implementing a first neural network to generate a first image (i1) comprising a global mask of the end phalanges, - an erosion step (101) generating a second image (i2) reducing the global mask to a plurality of nuclei, - an isolation step (102) counting in the second image ( i2) the number of nuclei and generating as many third images (i3) as nuclei,- a segmentation step (103) implementing for each third image (i3), a second neural network and generating a fourth image (i4 ) comprising a mask of the corresponding end phalanx,- a result step (104) generating a segmentation result (RS) comprising a fifth image (i5) comprising all the masks of all the fourth images (i4). Figure for abstract: Figure 3
Description
L’invention concerne le domaine des procédés de segmentation de doigts à partir d’une image comprenant des doigts d’un individu, par exemple en vue d’une identification, reconnaissance ou authentification d’empreintes digitales.The invention relates to the field of finger segmentation methods from an image comprising the fingers of an individual, for example with a view to identification, recognition or authentication of fingerprints.
Il est connu de l’état de la technique d’utiliser des algorithmes pour réaliser des segmentations de doigts sur des dispositifs biométriques dédiés. Les conditions d’acquisition des images sont maîtrisées et les images sont de bonne qualité.It is known from the state of the art to use algorithms to perform finger segmentations on dedicated biometric devices. The image acquisition conditions are controlled and the images are of good quality.
Cependant, il est exprimé un besoin de réaliser des segmentations de doigts à partir d’images acquises par des dispositifs non dédiés tels que par exemple la caméra d’un téléphone, d’une tablette, d’un ordinateur. Les conditions d’acquisitions peuvent alors être très diverses et sont non maîtrisées. La qualité de l’image peut ne pas être bonne et les solutions de l’état de la technique ne conviennent plus. La segmentation des doigts n’est pas précise et elle peut être erronée.However, a need is expressed to carry out finger segmentations from images acquired by non-dedicated devices such as for example the camera of a phone, a tablet, or a computer. The acquisition conditions can then be very diverse and are not controlled. The image quality may not be good and state-of-the-art solutions are no longer suitable. Finger segmentation is not precise and can be erroneous.
Les solutions à base de réseau de neurones commencent à se développer. Mais elles se heurtent au même problème. Si le réseau de neurones n’a pas été entraîné avec des images prises selon toutes conditions d’acquisitions possibles, sa performance en est réduite. Les conditions d’acquisitions d’un appareil mobile pouvant être très diverses et ni maîtrisées ni prévisibles, il est nécessaire de développer de nouveaux procédés de segmentation de doigts plus robustes quelques soient les conditions d’acquisition.Neural network-based solutions are beginning to develop. But they face the same problem. If the neural network has not been trained with images taken under all possible acquisition conditions, its performance is reduced. The acquisition conditions of a mobile device can be very diverse and neither controlled nor predictable, it is necessary to develop new, more robust finger segmentation processes whatever the acquisition conditions.
L’invention vise à résoudre les problèmes susmentionnés de l’état de la technique en proposant un procédé de segmentation dissociant la tâche de détection des doigts et la tâche de segmentation des doigts, chaque tâche étant associée à un réseau de neurones dédié.The invention aims to resolve the aforementioned problems of the state of the art by proposing a segmentation method dissociating the finger detection task and the finger segmentation task, each task being associated with a dedicated neural network.
L’invention porte sur un procédé de segmentation de doigts à partir d’une image de doigts d’une main d’un utilisateur, dite image utilisateur, à l’aide d’un calculateur, comprenant les étapes suivantes :
- une étape de détection de doigts dans laquelle le calculateur met en œuvre un premier réseau de neurones pour générer à partir de l’image utilisateur une première image de pixels comprenant un masque global des phalanges d’extrémité, une valeur d’un pixel du masque global représentant une probabilité d’un point dans l’image utilisateur d’appartenir à une phalange d’extrémité d’un doigt,
- une étape d’érosion dans laquelle le calculateur génère une deuxième image dans laquelle le masque global est réduit à une pluralité de noyaux, chaque noyau représentant une forte probabilité d’appartenance à une phalange d’extrémité d’un doigt,
- une étape d’isolation dans laquelle le calculateur comptabilise dans la deuxième image le nombre de noyaux et génère autant de troisièmes images que de noyaux, chaque troisième image comprenant un unique noyau distinct d’un noyau d’une quelconque autre troisième image,
- une étape de segmentation dans laquelle le calculateur met en œuvre pour chaque troisième image, un deuxième réseau de neurones afin de générer à partir de l’image utilisateur et de chaque troisième image, une quatrième image comprenant un masque de la phalange d’extrémité correspondante,
- une étape de résultat dans laquelle le calculateur génère un résultat de segmentation comprenant une cinquième image comprenant tous les masques de toutes les quatrièmes images.The invention relates to a method for segmenting fingers from an image of fingers of a user's hand, called a user image, using a calculator, comprising the following steps:
- a finger detection step in which the calculator implements a first neural network to generate from the user image a first pixel image comprising a global mask of the end phalanges, a value of a pixel of the global mask representing a probability of a point in the user image belonging to an end phalanx of a finger,
- an erosion step in which the computer generates a second image in which the overall mask is reduced to a plurality of nuclei, each nucleus representing a high probability of belonging to an end phalanx of a finger,
- an isolation step in which the calculator counts the number of cores in the second image and generates as many third images as cores, each third image comprising a single core distinct from a core of any other third image,
- a segmentation step in which the computer implements for each third image, a second neural network in order to generate from the user image and each third image, a fourth image comprising a mask of the end phalanx corresponding,
- a result step in which the calculator generates a segmentation result comprising a fifth image comprising all the masks of all the fourth images.
Selon un aspect de l’invention, la réduction en la pluralité de noyaux comprend une minimisation de la valeur de chaque pixel de la première image à la plus petite des valeurs des pixels d’une fenêtre de pixels prédéterminée centrée sur ledit pixel à minimiser.According to one aspect of the invention, the reduction into the plurality of kernels comprises a minimization of the value of each pixel of the first image to the smallest of the pixel values of a predetermined pixel window centered on said pixel to be minimized.
Selon un aspect de l’invention, l’image utilisateur comprend un grand côté et un petit côté, la fenêtre prédéterminée étant un carré dont la dimension d’un côté est un nombre impair de pixels et qui correspond à la taille du petit côté divisé par un nombre compris entre 7 et 13.According to one aspect of the invention, the user image comprises a long side and a short side, the predetermined window being a square whose dimension of one side is an odd number of pixels and which corresponds to the size of the divided short side by a number between 7 and 13.
Selon un aspect de l’invention, les premier et deuxièmes réseaux de neurones sont du type U-NET.According to one aspect of the invention, the first and second neural networks are of the U-NET type.
Selon un aspect de l’invention, le procédé de segmentation de doigts comprend en outre une étape préalable d’entraînement par une unité de contrôle, d’un système neuronal comprenant les premier et deuxième réseaux de neurones et le calculateur, l’étape préalable d’entraînement comprenant deux étapes d’entraînement :
- une étape de premier entraînement avec des images d’une base d’images historique associée à un algorithme analytique historique, en fonction de résultats de segmentation historique dudit algorithme analytique,
- une étape de deuxième entraînement avec des images d’une base d’images filtrée, en fonction des résultats de segmentation historique,
la base d’image filtrée étant générée à partir d’images de la base d’images historique filtrées de manière semi-automatique.According to one aspect of the invention, the finger segmentation method further comprises a prior step of training, by a control unit, a neural system comprising the first and second neural networks and the calculator, the prior step training comprising two training stages:
- a first training step with images from a historical image base associated with a historical analytical algorithm, based on historical segmentation results of said analytical algorithm,
- a second training step with images from a filtered image base, according to the historical segmentation results,
the filtered image base being generated from images of the historical image base filtered semi-automatically.
Selon un aspect de l’invention, la base d’images filtrée est filtrée à l’aide de l’unité de contrôle et d’une expertise d’opérateur humain, de manière à rejeter des images pour lesquelles les résultats de segmentation historique sont incorrects.According to one aspect of the invention, the filtered image base is filtered using the control unit and human operator expertise, so as to reject images for which the historical segmentation results are incorrect.
Selon un aspect de l’invention, l’étape préalable d’entraînement comprend :
- une étape de comparaison dans laquelle l’unité de contrôle compare à partir d’images de la base d’images historique, des résultats de segmentation fournis par le système neuronal aux résultats de segmentation historique correspondants,
- une étape de filtrage dans laquelle, pour les images dont le résultat de segmentation historique diffère du résultat de segmentation, l’opérateur expertise les résultats de segmentation historique, sélectionne les images pour lesquelles le résultat de segmentation historique est correct, et rejette les images pour lesquelles le résultat de segmentation historique est incorrect, les images dont le résultat de segmentation historique et le résultat de segmentation est identique, étant automatiquement sélectionnées par l’unité de contrôle,
la base d’images filtrée comprenant les images sélectionnées et ne comprenant pas les images rejetées.According to one aspect of the invention, the preliminary training step comprises:
- a comparison step in which the control unit compares, from images in the historical image base, segmentation results provided by the neural system to the corresponding historical segmentation results,
- a filtering step in which, for images whose historical segmentation result differs from the segmentation result, the operator evaluates the historical segmentation results, selects the images for which the historical segmentation result is correct, and rejects the images for which the historical segmentation result is incorrect, the images for which the historical segmentation result and the segmentation result are identical, being automatically selected by the control unit,
the filtered image base including the selected images and not including the rejected images.
Selon un aspect de l’invention, l’étape préalable d’entraînement comprend les étapes suivantes:
- une étape de première sélection dans laquelle l’opérateur ou l’unité de contrôle sélectionne une première pluralité d’images dans la base d’images historique et envoie la première pluralité d’images dans la base d’images filtrée,
- l’étape de premier entraînement avec les images de la base d’images filtrée,
- une étape de deuxième sélection dans laquelle l’opérateur ou l’unité de contrôle sélectionne une autre pluralité d’images dans la base d’images historique,
- l’étape de comparaison à partir de l’autre pluralité d’images,
- l’étape de filtrage pour les images de l’autre pluralité d’images,
- une étape d’envoi par l’unité de contrôle des images sélectionnées par l’unité de contrôle et d’envoi par l’unité de contrôle ou l’opérateur, des images sélectionnées par l’opérateur, dans la base d’images filtrée,
- l’étape de deuxième entraînement avec les images de la base d’images filtrée.According to one aspect of the invention, the preliminary training step comprises the following steps:
- a first selection step in which the operator or the control unit selects a first plurality of images in the historical image base and sends the first plurality of images in the filtered image base,
- the first training step with the images from the filtered image base,
- a second selection step in which the operator or the control unit selects another plurality of images in the historical image base,
- the comparison step from the other plurality of images,
- the filtering step for the images of the other plurality of images,
- a step of sending by the control unit the images selected by the control unit and sending by the control unit or the operator, images selected by the operator, in the image base filtered,
- the second training step with the images from the filtered image base.
Selon un aspect de l’invention, les étapes de deuxième sélection, de comparaison, d’expertise, d’envoi et de deuxième entraînement sont répétées plusieurs fois pour plusieurs pluralités d’images distinctes.According to one aspect of the invention, the steps of second selection, comparison, expertise, sending and second training are repeated several times for several pluralities of distinct images.
Selon un aspect de l’invention, une pluralité d’images comprend entre 1000 images et 10000 images.According to one aspect of the invention, a plurality of images comprises between 1000 images and 10000 images.
Selon un aspect de l’invention, un masque de la cinquième image comprend des pixels de même valeur.According to one aspect of the invention, a mask of the fifth image comprises pixels of the same value.
Selon un aspect de l’invention, une valeur différente de pixel est associée à chaque masque de la cinquième image.According to one aspect of the invention, a different pixel value is associated with each mask of the fifth image.
Selon un aspect de l’invention, le résultat de segmentation comprend en outre l’attribution d’une classe différente à chaque phalange d’extrémité associée à un masque de la cinquième image.According to one aspect of the invention, the segmentation result further comprises the assignment of a different class to each end phalanx associated with a mask of the fifth image.
Selon un aspect de l’invention, le résultat de segmentation comprend en outre la labélisation de chaque phalange d’extrémité en fonction de sa localisation.According to one aspect of the invention, the segmentation result further comprises the labeling of each end phalanx according to its location.
Selon un aspect de l’invention, les étapes de deuxième sélection, de comparaison, d’expertise, d’envoi et de deuxième entraînement sont répétées autant de fois que la base d’images historique comprend de pluralité d’images distinctes.According to one aspect of the invention, the steps of second selection, comparison, expertise, sending and second training are repeated as many times as the historical image base comprises a plurality of distinct images.
Selon un aspect de l’invention, les étapes de deuxième sélection, de comparaison, d’expertise, d’envoi et de deuxième entraînement sont répétées un nombre de fois égal à un seuil prédéterminé.According to one aspect of the invention, the steps of second selection, comparison, expertise, sending and second training are repeated a number of times equal to a predetermined threshold.
L’invention porte également sur un produit programme d’ordinateur comprenant les instructions de programme mettant en œuvre les étapes du procédé de segmentation de doigts lorsque les instructions de programme sont exécutées par un ordinateur.Also disclosed is a computer program product comprising the program instructions implementing the steps of the finger segmentation method when the program instructions are executed by a computer.
D’autres avantages et caractéristiques de l’invention apparaîtront à la lecture de la description et des dessins.Other advantages and characteristics of the invention will appear on reading the description and the drawings.
La
Le système neuronal 10 comprend un premier réseau de neurones 11, un deuxième réseau de neurones 12 et un calculateur 1.The neural system 10 comprises a first neural network 11, a second neural network 12 and a calculator 1.
Par exemple, les premier et deuxièmes réseaux de neurones sont du type U-NET.For example, the first and second neural networks are of the U-NET type.
La base d’images historique BH comprend des images de doigts de main.The BH historical image base includes images of fingers.
La base d’images historique BH peut être une association de plusieurs bases distinctes ou une unique base.The BH historical image base can be an association of several distinct bases or a single base.
La base d’images historique BH comprend plusieurs pluralités d’images P. Une pluralités d’images P est un sous ensemble d’images contenues la base d’images historique BH.The historical image base BH includes several pluralities of images P. A plurality of images P is a subset of images contained in the historical image base BH.
A partir d’une image de doigts issue de la base d’images historique BH, l’algorithme analytique 30 fournit un résultat de segmentation historique RH.From an image of fingers from the historical image base BH, the analytical algorithm 30 provides a historical segmentation result RH.
A partir d’une image utilisateur i de doigts ou d’une image issue de la base d’images historique BH, le système neuronal 10, en particulier le calculateur 1, génère un résultat de segmentation RS.From a user image i of fingers or an image from the historical image base BH, the neural system 10, in particular the calculator 1, generates a segmentation result RS.
L’unité de contrôle 2 est apte à comparer un résultat de segmentation historique RH avec un résultat de segmentation RS, en particulier si lesdits résultats sont tous deux issus d’une même image de doigts provenant de la base d’images historique BH.The control unit 2 is able to compare a historical segmentation result RH with a segmentation result RS, in particular if said results both come from the same image of fingers coming from the historical image base BH.
Le système neuronal 10 est entraîné par l’unité de contrôle 2 à partir d’une base d’images filtrée BF générée à partir de la base d’images historique BH.The neural system 10 is trained by the control unit 2 from a filtered image base BF generated from the historical image base BH.
La base d’images filtrée BF est un sous ensemble de la base d’images historique BH. Certaines images de la base d’images historique BH sont rejetées par un filtrage semi-automatique, d’autres images de la base d’images historique BH sont sélectionnées et envoyées la base d’images filtrée BF.The BF filtered image base is a subset of the BH historical image base. Some images from the historical image base BH are rejected by semi-automatic filtering, other images from the historical image base BH are selected and sent to the filtered image base BF.
Le filtrage semi-automatique est réalisé par l’unité de contrôle 2, en particulier en fonction de résultats de comparaison effectués par l’unité de contrôle 2, et à l’aide d’une expertise humaine, de manière à rejeter des images pour lesquelles les résultats de segmentation historique RH sont incorrects.The semi-automatic filtering is carried out by the control unit 2, in particular according to comparison results carried out by the control unit 2, and using human expertise, so as to reject images for which historical HR segmentation results are incorrect.
L’unité de contrôle 2 et le calculateur 1 peuvent être deux dispositifs distincts ou ne former qu’un seul dispositif de calcul.The control unit 2 and the computer 1 can be two separate devices or form only one calculation device.
La
L’étape préalable dans ce procédé est une étape préalable d’entraînement 90 du système neuronal 10 tel que décrit sur la
Selon l’étape préalable d’entraînement 90, le système neuronal 10 est entraîné avec des images de la base d’images filtrée BF, en fonction des résultats de segmentation historiques RH.According to the preliminary training step 90, the neural system 10 is trained with images from the filtered image base BF, according to the historical segmentation results RH.
En particulier, l’étape préalable d’entraînement 90 comprend une étape de première sélection 91, une étape de premier entraînement 92, une étape de deuxième sélection 93, une étape de comparaison 94, une étape de filtrage 95, une étape d’envoi 96 et une étape de deuxième entraînement 97.In particular, the prior training step 90 comprises a first selection step 91, a first training step 92, a second selection step 93, a comparison step 94, a filtering step 95, a sending step 96 and a second training step 97.
Selon l’étape de première sélection 91, une première pluralité d’images P est sélectionnée dans la base d’images historique BH et envoyée dans la base d’images filtrée BF.According to the first selection step 91, a first plurality of images P is selected in the historical image base BH and sent to the filtered image base BF.
De préférence, la sélection est réalisée par l’unité de contrôle 2.Preferably, the selection is carried out by the control unit 2.
Cependant, la sélection peut être réalisée par un opérateur humain.However, the selection can be carried out by a human operator.
Par exemple, la première pluralité d’images P comporte 1000 images.For example, the first plurality of images P comprises 1000 images.
Selon l’étape de premier entraînement 92, l’unité de contrôle 2 entraîne le système neuronal 10 avec les images de la base d’images filtrée BF, en fonction des résultats de segmentation historique RH.According to the first training step 92, the control unit 2 trains the neural system 10 with the images from the filtered image base BF, according to the historical segmentation results RH.
Dans l’étape de premier entraînement 92, les images de la base d’images filtrée BF sont des images non filtrées par le filtrage semi-automatique mentionné précédemment.In the first training step 92, the images of the filtered image base BF are images not filtered by the semi-automatic filtering mentioned above.
Selon l’étape de deuxième sélection 93, une autre pluralité d’images P est sélectionnée dans la base d’images historique BH.According to the second selection step 93, another plurality of images P is selected in the historical image base BH.
De préférence, la sélection est réalisée par un opérateur humain.Preferably, the selection is carried out by a human operator.
Cependant, la sélection peut être réalisée par l’unité de contrôle 2.However, the selection can be made by the control unit 2.
Par exemple, ladite autre pluralité d’images P comporte 1000 images.For example, said other plurality of images P comprises 1000 images.
Selon l’étape de comparaison 94, l’unité de contrôle 2 compare des résultats de segmentation RS fournis par le système neuronal 10 à partir de l’autre pluralité d’images P, aux résultats de segmentation historique RH correspondants.According to the comparison step 94, the control unit 2 compares segmentation results RS provided by the neural system 10 from the other plurality of images P, to the corresponding historical segmentation results RH.
Pour chaque image de l’autre pluralité d’image P, l’unité de contrôle 2 compare le résultat de segmentation RS fourni par le système neuronal 10 et le résultat de segmentation historique RH.For each image of the other plurality of images P, the control unit 2 compares the segmentation result RS provided by the neural system 10 and the historical segmentation result RH.
Pour une image de la pluralité d’images P, on distingue deux résultats de comparaison possible :
- le résultat de segmentation historique RH diffère du résultat de segmentation RS,
- le résultat de segmentation historique RH et le résultat de segmentation RS sont identiques.For an image of the plurality of images P, there are two possible comparison results:
- the historical HR segmentation result differs from the RS segmentation result,
- the historical HR segmentation result and the RS segmentation result are identical.
Un résultat de segmentation comprend une image comportant des masques de phalanges d’extrémité de doigts.A segmentation result includes an image including masks of fingertip phalanges.
Il est considéré que le résultat de segmentation historique RH et le résultat de segmentation RS sont identiques si au moins 95% des pixels de la surface des masques de phalanges d’extrémité de doigts se retrouvent à la fois dans le résultat de segmentation historique RH et dans le résultat de segmentation RS.It is considered that the historical segmentation result RH and the segmentation result RS are identical if at least 95% of the pixels of the surface of the fingertip phalange masks are found in both the historical segmentation result RH and in the RS segmentation result.
Selon l’étape de filtrage 95 :
- pour les images dont le résultat de segmentation historique RH diffère du résultat de segmentation RS, l’opérateur humain expertise les résultats de segmentation historique RH, sélectionne les images pour lesquelles le résultats de segmentation historique RH est correct, et rejette les images pour lesquelles le résultat de segmentation historique RH est incorrect,
- les images pour lesquelles le résultat de segmentation historique RH et le résultat de segmentation RS est identique, sont automatiquement sélectionnées par l’unité de contrôle 2.According to filtering step 95:
- for images for which the RH historical segmentation result differs from the RS segmentation result, the human operator evaluates the RH historical segmentation results, selects the images for which the RH historical segmentation results are correct, and rejects the images for which the historical HR segmentation result is incorrect,
- the images for which the historical segmentation result RH and the segmentation result RS are identical, are automatically selected by the control unit 2.
Selon l’étape d’envoi 96, l’unité de contrôle 2 envoie dans la base d’images filtrée BF les images sélectionnées par l’unité de contrôle 2 et par l’opérateur.According to sending step 96, the control unit 2 sends into the filtered image base BF the images selected by the control unit 2 and by the operator.
L’envoi dans la base d’images filtrée BF des images sélectionnées par l’opérateur peut aussi être réalisé par ledit opérateur.Images selected by the operator can also be sent to the BF filtered image database by said operator.
Selon l’étape de deuxième entraînement 97, l’unité de contrôle 2 entraîne le système neuronal 10 avec les images de la base d’images filtrée BF en fonction de résultats de segmentation historique RH.According to the second training step 97, the control unit 2 trains the neural system 10 with the images from the filtered image base BF according to historical segmentation results RH.
Les étapes de l’étape préalable d’entraînement 90 ayant été décrites, on comprend donc que l’étape préalable d’entraînement 90 comprend deux étapes d’entraînement :
- une étape de premier entraînement 92 avec des images d’une base d’images historique BH associée à un algorithme analytique historique 30, en fonction de résultats de segmentation historique RH dudit algorithme analytique,
- une étape de deuxième entraînement 97 avec des images d’une base d’images filtrée BF, en fonction des résultats de segmentation historique RH,
la base d’image filtrée BF étant générée à partir d’images de la base d’images historique BH filtrées de manière semi-automatique.The steps of the preliminary training step 90 having been described, it is therefore understood that the preliminary training step 90 comprises two training steps:
- a first training step 92 with images from a historical image base BH associated with a historical analytical algorithm 30, based on historical segmentation results RH of said analytical algorithm,
- a second training step 97 with images from a filtered image base BF, according to the historical segmentation results RH,
the filtered image base BF being generated from images of the historical image base BH filtered in a semi-automatic manner.
La base d’images filtrée BF est filtrée à l’aide de l’unité de contrôle 2 et d’une expertise d’opérateur humain, de manière à rejeter des images pour lesquelles les résultats de segmentation historique RH sont incorrects.The BF filtered image base is filtered using the control unit 2 and human operator expertise, so as to reject images for which the RH historical segmentation results are incorrect.
La base d’images filtrée BF comprend les images sélectionnées et ne comprend pas les images rejetées.The BF filtered image base includes selected images and does not include rejected images.
Les étapes de deuxième sélection 93, de comparaison 94, d’expertise 95, d’envoi 96 et de deuxième entraînement 97 sont répétées plusieurs fois pour plusieurs pluralités d’images P distinctes.The steps of second selection 93, comparison 94, expertise 95, sending 96 and second training 97 are repeated several times for several pluralities of distinct P images.
Ainsi, le nombre d’images dans la base d’images filtrée BF augmente à chaque itération. Selon l’étape de deuxième entraînement 97, l’unité de contrôle 2 entraîne le système neuronal 10 avec de plus en plus d’images au fur et à mesure des itérations.Thus, the number of images in the BF filtered image base increases with each iteration. According to the second training step 97, the control unit 2 trains the neural system 10 with more and more images as the iterations progress.
Par exemple, les étapes de deuxième sélection 93, de comparaison 94, d’expertise 95, d’envoi 96 et de deuxième entraînement 97 sont répétées autant de fois que la base d’images historique BH comprend de pluralité d’images P distinctes.For example, the steps of second selection 93, comparison 94, expertise 95, sending 96 and second training 97 are repeated as many times as the historical image base BH includes a plurality of distinct images P.
Par exemple, les étapes de deuxième sélection 93, de comparaison 94, d’expertise 95, d’envoi 96 et de deuxième entraînement 97 sont répétées un nombre de fois égal à un seuil prédéterminé ou jusqu’à atteindre un nombre prédéterminé d’images dans la base d’images filtrée BF.For example, the steps of second selection 93, comparison 94, expertise 95, sending 96 and second training 97 are repeated a number of times equal to a predetermined threshold or until reaching a predetermined number of images in the BF filtered image base.
Grâce à l’étape de filtrage 95, le système neuronal 10 est entraîné à chaque itération avec des résultats de segmentation historique RH plus fiables car associés à des images sélectionnées.Thanks to the filtering step 95, the neural system 10 is trained at each iteration with more reliable RH historical segmentation results because they are associated with selected images.
Par exemple, une pluralité d’images P comprend entre 1000 images et 10000 images.For example, a plurality of images P comprises between 1000 images and 10000 images.
A chaque itération, le nombre d’images de la pluralité d’image P peut être identique ou différent.At each iteration, the number of images of the plurality of images P may be identical or different.
L’étape préalable d’entraînement 90 telle que décrite, permet d’entraîner de manière efficace un système neuronal 10 apte à générer un résultat de segmentation RS à partir d’une image de doigts, tout en limitant l’intervention d’un opérateur humain.The prior training step 90 as described, makes it possible to effectively train a neural system 10 capable of generating a segmentation result RS from an image of fingers, while limiting the intervention of an operator human.
L’entraînement du système neuronal 10 décrit dans cette étape préalable d’entraînement 90 est particulièrement avantageux mais n’est pas limitatif dans la réalisation du procédé de l’invention.The training of the neural system 10 described in this preliminary training step 90 is particularly advantageous but is not limiting in carrying out the method of the invention.
Comme illustré sur la
L’image utilisateur i est de forme rectangulaire et comprenant un grand côté et un petit côté.The user image i is rectangular in shape and includes a long side and a short side.
Selon l’étape de détection 100 de doigts, le calculateur 1 met en œuvre le premier réseau de neurones 11 pour générer à partir d’une l’image utilisateur i une première image i1 de pixels comprenant un masque global des phalanges d’extrémité, une valeur d’un pixel du masque global représentant une probabilité d’un point dans l’image utilisateur i d’appartenir à une phalange d’extrémité d’un doigt.According to the finger detection step 100, the calculator 1 implements the first neural network 11 to generate from a user image i a first image i1 of pixels comprising an overall mask of the end phalanges, a value of a pixel of the global mask representing a probability of a point in the user image i of belonging to an end phalanx of a finger.
La première image i1 comprend un masque global des phalanges d’extrémité, les contours de chaque phalange ne sont pas très précis.The first image i1 includes an overall mask of the end phalanges, the contours of each phalanx are not very precise.
Par exemple, le fond de la première image i1 est noir, correspondant à des pixels de valeur zéro et représentant une probabilité de zéro d’appartenir à une phalange d’extrémité d’un doigt.For example, the background of the first image i1 is black, corresponding to pixels of zero value and representing a probability of zero of belonging to an end phalanx of a finger.
Par exemple, dans la première image i1, le centre de chaque phalange dans le masque global des phalanges d’extrémité est blanc, correspondant à des pixels de valeur 255 et représentant une probabilité de 100% d’appartenir à une phalange d’extrémité d’un doigt.For example, in the first image i1, the center of each phalanx in the global mask of the end phalanges is white, corresponding to pixels of value 255 and representing a 100% probability of belonging to an end phalanx d 'a finger.
Par exemple, dans la première image i1, le contour de chaque phalange dans le masque global des phalanges d’extrémité est gris, correspondant à des pixels de valeur comprise entre 1 et 254 et représentant une probabilité intermédiaire d’appartenir à une phalange d’extrémité d’un doigt.For example, in the first image i1, the outline of each phalanx in the global mask of the end phalanges is gray, corresponding to pixels with a value between 1 and 254 and representing an intermediate probability of belonging to a phalanx of end of a finger.
Selon l’étape d’érosion 101, le calculateur 1 génère une deuxième image i2 dans laquelle le masque global est réduit à une pluralité de noyaux, chaque noyau représentant une forte probabilité d’appartenance à une phalange d’extrémité d’un doigt.According to the erosion step 101, the computer 1 generates a second image i2 in which the overall mask is reduced to a plurality of nuclei, each nucleus representing a high probability of belonging to an end phalanx of a finger.
Par exemple, la réduction en la pluralité de noyaux comprend une minimisation de la valeur de chaque pixel de la première image i1 à la plus petite des valeurs des pixels d’une fenêtre de pixels prédéterminée centrée sur ledit pixel à minimiser.For example, the reduction into the plurality of kernels comprises a minimization of the value of each pixel of the first image i1 to the smallest of the pixel values of a predetermined window of pixels centered on said pixel to be minimized.
Par exemple, la fenêtre prédéterminée est un carré dont la dimension d’un côté est un nombre impair de pixels et qui correspond à la taille du petit côté de l’image utilisateur i divisé par un nombre compris entre 7 et 13.For example, the predetermined window is a square whose dimension on one side is an odd number of pixels and which corresponds to the size of the small side of the user image i divided by a number between 7 and 13.
Par exemple, le grand côté de l’image utilisateur i est égal à 1920 pixels. Le petit côté de l’image utilisateur est égal à 1080 pixels. La dimension d’un côté de la fenêtre prédéterminé est égale à 101 pixels.For example, the long side of user image i is equal to 1920 pixels. The short side of the user image is equal to 1080 pixels. The dimension of a predetermined side of the window is equal to 101 pixels.
Ainsi, la valeur de chaque pixel dans la première image i1 est minimisé par la plus petite des valeurs des pixels de la fenêtre prédéterminée centrée sur ledit pixel.Thus, the value of each pixel in the first image i1 is minimized by the smallest of the pixel values of the predetermined window centered on said pixel.
La deuxième image i2 comprend les pixels minimisés de la première image i1.The second image i2 includes the minimized pixels of the first image i1.
Il est à noter que près des bords de la première image i1, la fenêtre de pixels comprend moins de pixels par exemple qu’au centre de la première image i1.It should be noted that near the edges of the first image i1, the pixel window includes fewer pixels for example than at the center of the first image i1.
Selon un exemple illustratif, pour une fenêtre de côté égal à 5 pixels, un pixel localisé dans un coin de la première image i1 sera minimisé par la plus petite des valeurs des 9 pixels contenus dans la fenêtre de pixels centrée sur ledit pixel. La fenêtre étant centré sur un pixel en coin de la première image i1, la fenêtre comprend une partie localisée en dehors de la première image i1. Un pixel localisé plus au centre de la première image i1 sera minimisé par la plus petite des valeurs des 25 pixels contenus dans la fenêtre de pixels centrée sur ledit pixel.According to an illustrative example, for a window with a side equal to 5 pixels, a pixel located in a corner of the first image i1 will be minimized by the smallest of the values of the 9 pixels contained in the window of pixels centered on said pixel. The window being centered on a corner pixel of the first image i1, the window includes a part located outside the first image i1. A pixel located more in the center of the first image i1 will be minimized by the smallest of the values of the 25 pixels contained in the pixel window centered on said pixel.
Selon l’étape d’isolation 102, le calculateur 1 comptabilise dans la deuxième image i2 le nombre de noyaux et génère autant de troisièmes images i3 que de noyaux, chaque troisième image i3 comprenant un unique noyau distinct d’un noyau d’une quelconque autre troisième image i3.According to the isolation step 102, the calculator 1 counts in the second image i2 the number of cores and generates as many third images i3 as cores, each third image i3 comprising a single core distinct from a core of any other third image i3.
Par exemple, pour une image utilisateur i comprenant quatre doigts, le masque global de la première image i1 comprend quatre phalanges d’extrémité mal délimitées, la deuxième image i2 comprend quatre noyaux. Ainsi, dans l’étape l’isolation 102, le calculateur 1 comptabilise quatre noyaux et génère quatre troisièmes images i3, chaque troisième image i3 comprenant un noyau associé à un doigt différent dans l’image utilisateur i.For example, for a user image i comprising four fingers, the global mask of the first image i1 includes four poorly demarcated end phalanges, the second image i2 includes four nuclei. Thus, in the isolation step 102, the computer 1 counts four cores and generates four third images i3, each third image i3 comprising a core associated with a different finger in the user image i.
Selon l’étape de segmentation 103, le calculateur 1 met en œuvre pour chaque troisième image i3, un deuxième réseau de neurones 12 afin de générer à partir de l’image utilisateur i et de chaque troisième image i3, une quatrième image i4 comprenant un masque de la phalange d’extrémité correspondante.According to the segmentation step 103, the calculator 1 implements for each third image i3, a second neural network 12 in order to generate from the user image i and each third image i3, a fourth image i4 comprising a mask of the corresponding end phalanx.
Selon l’exemple précédent, le calculateur 1 génère quatre quatrièmes images i4, chacune associée à une troisième image i3.According to the previous example, the calculator 1 generates four fourth images i4, each associated with a third image i3.
Les masques des quatrièmes images i4 sont très précis étant donné que chaque doigt a été isolé au moyen du noyau correspondant.The masks of the fourth i4 images are very accurate since each finger has been isolated using the corresponding kernel.
Tout comme pour la première image i1, une valeur d’un pixel du masque représente une probabilité d’un point dans la quatrième image i4 d’appartenir à une phalange d’extrémité d’un doigt.Just as for the first image i1, a value of a pixel of the mask represents a probability of a point in the fourth image i4 of belonging to an end phalanx of a finger.
Par exemple, le fond de la quatrième image i4 est noir, correspondant à des pixels de valeur zéro et représentant une probabilité de zéro d’appartenir à une phalange d’extrémité d’un doigt.For example, the background of the fourth image i4 is black, corresponding to pixels of zero value and representing a zero probability of belonging to an end phalanx of a finger.
Par exemple, dans la quatrième image i4, le centre de chaque phalange dans le masque global des phalanges d’extrémité est blanc, correspondant à des pixels de valeur 255 et représentant une probabilité de 100% d’appartenir à une phalange d’extrémité d’un doigt.For example, in the fourth image i4, the center of each phalanx in the global end phalanx mask is white, corresponding to pixels of value 255 and representing a 100% probability of belonging to an end phalanx d 'a finger.
Par exemple, dans la quatrième image i4, le contour de chaque phalange dans le masque global des phalanges d’extrémité est gris, correspondant à des pixels de valeur comprise entre 1 et 254 et représentant une probabilité intermédiaire d’appartenir à une phalange d’extrémité d’un doigt.For example, in the fourth image i4, the outline of each phalanx in the global mask of the end phalanges is gray, corresponding to pixels with a value between 1 and 254 and representing an intermediate probability of belonging to a phalanx of end of a finger.
Une quatrième image i4 comprend en proportion moins de pixels représentant une probabilité intermédiaire d’appartenir à une phalange d’extrémité d’un doigt que la première image i1, puisqu’un masque de quatrième image i4 est très précis étant donné que chaque doigt a été isolé au moyen du noyau correspondant.A fourth image i4 comprises proportionally fewer pixels representing an intermediate probability of belonging to an end phalanx of a finger than the first image i1, since a mask of fourth image i4 is very precise given that each finger has been isolated using the corresponding kernel.
Selon l’étape de résultat 104, le calculateur 1 génère un résultat de segmentation RS comprenant une cinquième image i5 comprenant tous les masques de toutes les quatrièmes images i4.According to result step 104, the calculator 1 generates a segmentation result RS comprising a fifth image i5 comprising all the masks of all the fourth images i4.
Par exemple, ne sont retenus dans la cinquième image i5 que les pixels des masques des quatrièmes images i4 correspondant à une probabilité d’appartenir à une phalange d’extrémité supérieure à un seuil prédéterminé.For example, only the pixels of the masks of the fourth images i4 corresponding to a probability of belonging to an end phalanx greater than a predetermined threshold are retained in the fifth image i5.
Par exemple le seuil prédéterminé est compris entre 75% et 90%.For example, the predetermined threshold is between 75% and 90%.
Par exemple, la cinquième image i5 comprend tous les pixels des masques des quatrièmes images i4.For example, the fifth image i5 includes all the pixels of the masks of the fourth images i4.
Avantageusement, chaque masque de la cinquième image i5 comprend des pixels de même valeur.Advantageously, each mask of the fifth image i5 includes pixels of the same value.
Avantageusement, une valeur différente de pixel est associée à chaque masque de la cinquième image i5. Cela permet d’extraire facilement à partir de la cinquième image i5 l’un quelconque des masques individuellement, par exemple pour une utilisation d’enrôlement ou de vérification.Advantageously, a different pixel value is associated with each mask of the fifth image i5. This makes it easy to extract any of the masks individually from the fifth i5 image, for example for enrollment or verification use.
Selon un aspect de l’invention, le résultat de segmentation comprend en outre l’attribution d’une classe différente à chaque phalange d’extrémité associée à un masque de la cinquième image i5 : classe 1, classe 2, classe 3, classe 4.According to one aspect of the invention, the segmentation result further comprises the assignment of a different class to each end phalanx associated with a mask of the fifth image i5: class 1, class 2, class 3, class 4 .
Selon un aspect de l’invention, le résultat de segmentation comprend en outre la labélisation de chaque phalange d’extrémité en fonction de sa localisation : index, majeur, annulaire, auriculaire.According to one aspect of the invention, the segmentation result further includes the labeling of each end phalanx according to its location: index, middle, ring, little finger.
La
L’image utilisateur i comprend quatre doigts comportant :
- une première phalange d’extrémité d’index P1,
- une deuxième phalange d’extrémité de majeur P2,
- une troisième phalange d’extrémité d’annulaire P3,
- une quatrième phalange d’extrémité d’auriculaire P4.The user image i includes four fingers comprising:
- a first end phalanx with index P1,
- a second middle finger end phalanx P2,
- a third phalanx at the end of the ring finger P3,
- a fourth phalanx at the end of the little finger P4.
La première image i1, telle qu’issue de l’étape de détection 100 du procédé de l’invention, comprend un masque global M.The first image i1, as resulting from detection step 100 of the method of the invention, comprises a global mask M.
Le fond de la première image i1 est noir. Les contours de chaque phalange d’extrémité ne sont pas très précis et ont des pixels associés de couleur grise de différentes nuances. Le centre de chaque phalange d’extrémité du masque global est blanc.The background of the first image i1 is black. The outlines of each end phalanx are not very precise and have associated gray-colored pixels of different shades. The center of each end phalanx of the overall mask is white.
La deuxième image i2, telle qu’issue de l’étape d’érosion 101 du procédé de l’invention, comprend quatre noyaux N1, N2, N3, N4 :
- un premier noyau N1 correspondant à la première phalange d’extrémité d’index P1,
- un deuxième noyau N2 correspondant à la deuxième phalange d’extrémité de majeur P2,
- un troisième noyau N3 correspondant à la troisième phalange d’extrémité d’annulaire P3,
- un quatrième noyau N4 correspondant à la quatrième phalange d’extrémité d’auriculaire P4.The second image i2, as resulting from the erosion step 101 of the method of the invention, comprises four cores N1, N2, N3, N4:
- a first core N1 corresponding to the first end phalanx with index P1,
- a second core N2 corresponding to the second end phalanx of the middle finger P2,
- a third core N3 corresponding to the third end phalanx of the ring finger P3,
- a fourth core N4 corresponding to the fourth end phalanx of the little finger P4.
Les noyaux N1, N2, N3, N4 sont bien distincts et il est aisé de les compter.The nuclei N1, N2, N3, N4 are very distinct and it is easy to count them.
La
Les quatre troisièmes images i31, i32, i33, i34, telles qu’issues de l’étape d’isolation 102 du procédé de l’invention, comprennent chacune un noyau :
- une première image i31 comprend le premier noyau N1,
- une deuxième image i32 comprend le deuxième noyau N2,
- une troisième image i33 comprend le troisième noyau N3,
- une quatrième image i34 comprend le quatrième noyau N4.The four third images i31, i32, i33, i34, as resulting from the isolation step 102 of the method of the invention, each include a core:
- a first i31 image includes the first core N1,
- a second i32 image includes the second N2 core,
- a third i33 image includes the third N3 core,
- a fourth i34 image includes the fourth N4 core.
La localisation des noyaux N1, N2, N3, N3 dans les troisièmes images i31, i32, i33, i34 sont identiques à la localisation desdits noyaux N1, N2, N3, N3 dans la deuxième image i2.The location of the nuclei N1, N2, N3, N3 in the third images i31, i32, i33, i34 are identical to the location of said nuclei N1, N2, N3, N3 in the second image i2.
Une superposition des troisièmes images i31, i32, i33, i34 correspond à la deuxième image i2.A superposition of the third images i31, i32, i33, i34 corresponds to the second image i2.
Les quatre quatrièmes images i41, i42, i43, i44, telles qu’issues de l’étape de segmentation 104 du procédé de l’invention, comprennent chacune :
- un premier masque M1 correspondant au premier noyau N1 et associé à la première phalange d’extrémité P1,
- un deuxième masque M2 correspondant au deuxième noyau N2 et associé à la deuxième phalange d’extrémité P2,
- un troisième masque M3 correspondant au troisième noyau N3 et associé à la troisième phalange d’extrémité P3,
- un quatrième masque M1 correspondant au quatrième noyau N4 et associé à la quatrième phalange d’extrémité P4.The four fourth images i41, i42, i43, i44, as resulting from the segmentation step 104 of the method of the invention, each include:
- a first mask M1 corresponding to the first core N1 and associated with the first end phalanx P1,
- a second mask M2 corresponding to the second core N2 and associated with the second end phalanx P2,
- a third mask M3 corresponding to the third core N3 and associated with the third end phalanx P3,
- a fourth mask M1 corresponding to the fourth core N4 and associated with the fourth end phalanx P4.
Contrairement au marque global M qui ne permet pas de distinguer avec précision les contours de chaque phalange d’extrémité, les masques M1, M2, M3, M4, qui correspondent chacun à une phalange d’extrémité P1, P2, P3, P4, ont des contours mieux déterminés.Unlike the global mark M which does not make it possible to precisely distinguish the contours of each end phalanx, the masks M1, M2, M3, M4, which each correspond to an end phalanx P1, P2, P3, P4, have better defined contours.
La cinquième image i5 comprend :
- un masque d’index M’1 correspondant au premier masque M1 et associé à la première phalange d’extrémité P1,
- un masque de majeur M’2 correspondant au deuxième masque M2 et associé à la deuxième phalange d’extrémité P2,
- un masque d’annulaire M’3 correspondant au troisième masque M3 et associé à la troisième phalange d’extrémité P3,
- un masque d’auriculaire M’4 correspondant au quatrième masque M1 et associé à la quatrième phalange d’extrémité P4.The fifth i5 image includes:
- an index mask M'1 corresponding to the first mask M1 and associated with the first end phalanx P1,
- a middle finger mask M'2 corresponding to the second mask M2 and associated with the second end phalanx P2,
- a ring finger mask M'3 corresponding to the third mask M3 and associated with the third end phalanx P3,
- a little finger mask M'4 corresponding to the fourth mask M1 and associated with the fourth end phalanx P4.
Dans la cinquième image i5, une valeur différente de pixel est associée à chaque masque.In the fifth image i5, a different pixel value is associated with each mask.
Par exemple, le fond de la cinquième image i5 est constitué de pixels de valeur zéro, tous les pixels associés au masque d’index M’1 ont une valeur de 255, tous les pixels associés au masque de majeur M’2 ont une valeur de 200, tous les pixels associés au masque d’annulaire M’3 ont une valeur de 150, tous les pixels associés au masque d’auriculaire M’4 ont une valeur de 100.For example, the background of the fifth image i5 is made up of pixels of zero value, all the pixels associated with the index mask M'1 have a value of 255, all the pixels associated with the middle finger mask M'2 have a value of 200, all the pixels associated with the ring finger mask M'3 have a value of 150, all the pixels associated with the little finger mask M'4 have a value of 100.
Ainsi, chaque masque M’1, M’2, M’3, M’4 de la cinquième image i5 apparait dans une couleur ou un ton de gris différent.
Thus, each mask M'1, M'2, M'3, M'4 of the fifth image i5 appears in a different color or tone of gray.
Claims (10)
- une étape de détection (100) de doigts dans laquelle le calculateur (1) met en œuvre un premier réseau de neurones (11) pour générer à partir de l’image utilisateur (i) une première image (i1) de pixels comprenant un masque global (M) des phalanges d’extrémité, une valeur d’un pixel du masque global représentant une probabilité d’un point dans l’image utilisateur (i) d’appartenir à une phalange d’extrémité d’un doigt,
- une étape d’érosion (101) dans laquelle le calculateur (1) génère une deuxième image (i2) dans laquelle le masque global est réduit à une pluralité de noyaux, chaque noyau représentant une forte probabilité d’appartenance à une phalange d’extrémité d’un doigt,
- une étape d’isolation (102) dans laquelle le calculateur (1) comptabilise dans la deuxième image (i2) le nombre de noyaux et génère autant de troisièmes images (i31, i32, i33, i34) que de noyaux, chaque troisième image comprenant un unique noyau distinct d’un noyau d’une quelconque autre troisième image (i31, i32, i33, i34),
- une étape de segmentation (103) dans laquelle le calculateur (1) met en œuvre pour chaque troisième image (i31, i32, i33, i34), un deuxième réseau de neurones (12) afin de générer à partir de l’image utilisateur (i) et de chaque troisième image (i31, i32, i33, i34), une quatrième image (i41, i42, i43, i44) comprenant un masque de la phalange d’extrémité correspondante,
- une étape de résultat (104) dans laquelle le calculateur (1) génère un résultat de segmentation (RS) comprenant une cinquième image (i5) comprenant tous les masques de toutes les quatrièmes images (i41, i42, i43, i44).Method for segmenting fingers from an image of fingers of a user's hand, called user image (i), using a calculator, comprising the following steps:
- a finger detection step (100) in which the calculator (1) implements a first neural network (11) to generate from the user image (i) a first image (i1) of pixels comprising a global mask (M) of the end phalanges, a value of a pixel of the global mask representing a probability of a point in the user image (i) of belonging to an end phalanx of a finger,
- an erosion step (101) in which the calculator (1) generates a second image (i2) in which the overall mask is reduced to a plurality of nuclei, each nucleus representing a high probability of belonging to a phalanx of tip of a finger,
- an isolation step (102) in which the calculator (1) counts in the second image (i2) the number of cores and generates as many third images (i31, i32, i33, i34) as cores, each third image comprising a single core distinct from a core of any other third image (i31, i32, i33, i34),
- a segmentation step (103) in which the calculator (1) implements for each third image (i31, i32, i33, i34), a second neural network (12) in order to generate from the user image (i) and from each third image (i31, i32, i33, i34), a fourth image (i41, i42, i43, i44) comprising a mask of the corresponding end phalanx,
- a result step (104) in which the calculator (1) generates a segmentation result (RS) comprising a fifth image (i5) comprising all the masks of all the fourth images (i41, i42, i43, i44).
- une étape de premier entraînement (92) avec des images d’une base d’images historique (BH) associée à un algorithme analytique historique (30), en fonction de résultats de segmentation historique (RH) dudit algorithme analytique,
- une étape de deuxième entraînement (97) avec des images d’une base d’images filtrée (BF), en fonction des résultats de segmentation historique (RH),
la base d’image filtrée (BF) étant générée à partir d’images de la base d’images historique (BH) filtrées de manière semi-automatique.Finger segmentation method according to the preceding claim, further comprising a prior training step (90) by a control unit (2), of a neural system (10) comprising the first and second neural networks and the calculator (1), the prior training step (90) comprising two training steps:
- a first training step (92) with images from a historical image base (BH) associated with a historical analytical algorithm (30), based on historical segmentation results (RH) of said analytical algorithm,
- a second training step (97) with images from a filtered image base (BF), depending on the historical segmentation results (RH),
the filtered image base (BF) being generated from images of the historical image base (BH) filtered in a semi-automatic manner.
- une étape de comparaison (94) dans laquelle l’unité de contrôle (2) compare à partir d’images de la base d’images historique (BH), des résultats de segmentation (RS) fournis par le système neuronal (10) aux résultats de segmentation historique (RH) correspondants,
- une étape de filtrage (95) dans laquelle, pour les images dont le résultat de segmentation historique (RH) diffère du résultat de segmentation (RS), l’opérateur expertise les résultats de segmentation historique (RH), sélectionne les images pour lesquelles le résultat de segmentation historique (RH) est correct, et rejette les images pour lesquelles le résultat de segmentation historique (RH) est incorrect, les images dont le résultat de segmentation historique (RH) et le résultat de segmentation (RS) est identique, étant automatiquement sélectionnées par l’unité de contrôle (2),
la base d’images filtrée (BF) comprenant les images sélectionnées et ne comprenant pas les images rejetées.Finger segmentation method according to the preceding claim, the preliminary training step (90) comprising:
- a comparison step (94) in which the control unit (2) compares, from images in the historical image base (BH), segmentation results (RS) provided by the neural system (10) to the corresponding historical segmentation (HR) results,
- a filtering step (95) in which, for images whose historical segmentation result (RH) differs from the segmentation result (RS), the operator evaluates the historical segmentation results (RH), selects the images for which the historical segmentation result (RH) is correct, and rejects the images for which the historical segmentation result (RH) is incorrect, the images for which the historical segmentation result (RH) and the segmentation result (RS) are identical, being automatically selected by the control unit (2),
the filtered image base (BF) including the selected images and not including the rejected images.
- une étape de première sélection (91) dans laquelle l’opérateur ou l’unité de contrôle (2) sélectionne une première pluralité d’images (P) dans la base d’images historique (BH) et envoie la première pluralité d’images (P) dans la base d’images filtrée (BF),
- l’étape de premier entraînement (92) avec les images de la base d’images filtrée (BF),
- une étape de deuxième sélection (93) dans laquelle l’opérateur ou l’unité de contrôle sélectionne une autre pluralité d’images (P) dans la base d’images historique (BH),
- l’étape de comparaison (94) à partir de l’autre pluralité d’images (P),
- l’étape de filtrage (95) pour les images de l’autre pluralité d’images (P),
- une étape d’envoi (96) par l’unité de contrôle (2) des images sélectionnées par l’unité de contrôle (2) et d’envoi par l’unité de contrôle (2) ou l’opérateur, des images sélectionnées par l’opérateur, dans la base d’images filtrée (BF),
- l’étape de deuxième entraînement (97) avec les images de la base d’images filtrée (BF).Finger segmentation method according to the preceding claim, the preliminary training step (90), comprising the following steps:
- a first selection step (91) in which the operator or the control unit (2) selects a first plurality of images (P) in the historical image base (BH) and sends the first plurality of images (P) in the filtered image base (BF),
- the first training step (92) with the images from the filtered image base (BF),
- a second selection step (93) in which the operator or the control unit selects another plurality of images (P) in the historical image base (BH),
- the comparison step (94) from the other plurality of images (P),
- the filtering step (95) for the images of the other plurality of images (P),
- a step of sending (96) by the control unit (2) images selected by the control unit (2) and sending by the control unit (2) or the operator, images selected by the operator, in the filtered image base (BF),
- the second training step (97) with the images from the filtered image base (BF).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2201635A FR3132970B1 (en) | 2022-02-24 | 2022-02-24 | Finger segmentation method and associated computer program product |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2201635 | 2022-02-24 | ||
| FR2201635A FR3132970B1 (en) | 2022-02-24 | 2022-02-24 | Finger segmentation method and associated computer program product |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3132970A1 true FR3132970A1 (en) | 2023-08-25 |
| FR3132970B1 FR3132970B1 (en) | 2024-01-19 |
Family
ID=81851624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2201635A Active FR3132970B1 (en) | 2022-02-24 | 2022-02-24 | Finger segmentation method and associated computer program product |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3132970B1 (en) |
-
2022
- 2022-02-24 FR FR2201635A patent/FR3132970B1/en active Active
Non-Patent Citations (1)
| Title |
|---|
| PRIESNITZ JANNIS ET AL: "Deep Learning-Based Semantic Segmentation for Touchless Fingerprint Recognition", ICPR 2020 INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, 12 January 2021 (2021-01-12), pages 154 - 168, XP047577193 * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3132970B1 (en) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764202B (en) | Airport foreign matter identification method and device, computer equipment and storage medium | |
| CN108776772B (en) | Cross-time building change detection modeling method, detection device, method and storage medium | |
| CN108090511B (en) | Image classification method and device, electronic equipment and readable storage medium | |
| JP2011527055A (en) | Mitotic image detection device and counting system, and method for detecting and counting mitotic images | |
| CN112102201B (en) | Image shadow reflection eliminating method and device, computer equipment and storage medium | |
| FR2905188A1 (en) | Input image e.g. palm imprint image, density converting method for e.g. image processing improving system, involves converting minimum local and maximum local values into minimum and maximum common values, and reconstructing input image | |
| Riana et al. | Extraction and classification texture of inflammatory cells and nuclei in normal pap smear images | |
| WO2021051939A1 (en) | Document area positioning method and device | |
| CN110378351A (en) | Seal discrimination method and device | |
| JP2008251029A (en) | Character recognition device and license plate recognition system | |
| CN110008912B (en) | Social platform matching method and system based on plant identification | |
| CN116541545A (en) | Method, device, equipment and storage medium for identifying flip image | |
| CN111506798A (en) | User screening method, device, equipment and storage medium | |
| FR3081245A1 (en) | CHARACTER RECOGNITION METHOD | |
| CN111462388A (en) | Bill inspection method and device, terminal equipment and storage medium | |
| CN110008949A (en) | A kind of image object detection method, system, device and storage medium | |
| CN113269752A (en) | Image detection method, device terminal equipment and storage medium | |
| EP2652674B1 (en) | Method of comparing images of irises by intelligent selection of textured zones | |
| FR3132970A1 (en) | Finger segmentation method and related computer program product | |
| CN111178398B (en) | Method, system, storage medium and device for detecting tampering of identity card image information | |
| EP3506170A2 (en) | Method for forming a neural network for recognising a sequence of characters and associated recognition method | |
| CN113239738B (en) | Image blurring detection method and blurring detection device | |
| EP3929809A1 (en) | Method of detection of at least one visible biometric trait on an input image by means of a convolutional neural network | |
| EP4016381A1 (en) | Method for extracting a signature from a fingerprint and device implementing said method | |
| CN112434547B (en) | User identity auditing method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20230825 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |