FR3095064A1 - Procédés et dispositifs de levée de doute biométrique - Google Patents

Procédés et dispositifs de levée de doute biométrique Download PDF

Info

Publication number
FR3095064A1
FR3095064A1 FR1903799A FR1903799A FR3095064A1 FR 3095064 A1 FR3095064 A1 FR 3095064A1 FR 1903799 A FR1903799 A FR 1903799A FR 1903799 A FR1903799 A FR 1903799A FR 3095064 A1 FR3095064 A1 FR 3095064A1
Authority
FR
France
Prior art keywords
data
neural network
thermal
person
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR1903799A
Other languages
English (en)
Inventor
Jacques Lewiner
Sylvain Javelot
Damien Lebrun
Stéphane Debusne
Alban Villain
Guillaume Papin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cynove SARL
Original Assignee
Cynove SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cynove SARL filed Critical Cynove SARL
Priority to FR1903799A priority Critical patent/FR3095064A1/fr
Publication of FR3095064A1 publication Critical patent/FR3095064A1/fr
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Abstract

PROCÉDÉS ET DISPOSITIFS DE LEVÉE DE DOUTE BIOMÉTRIQUE. On décrit un procédé de traitement d'images permettant de générer une probabilité de présence d’une personne vivante dans un milieu à l’aide des étapes suivantes : acquérir une image, appelée données thermiques, de la personne dans un milieu dans le domaine spectral infrarouge thermique au moyen de capteurs thermiques matriciels, acquérir une seconde image, appelée données visibles, de la personne dans le domaine spectral visible au moyen d’un capteur de type imageur CMOS, également apte à délivrer des données dans le domaine infrarouge proche alors appelées données infrarouge proche, et générer cette probabilité par l’utilisation d’un réseau de neurones, de préférence un réseau de neurones à convolutions comportant deux couches de convolution, deux couches de sous-échantillonnage et une couche complètement connectée dont les entrées sont les données thermiques pouvant être complétées par les données visibles et/ou les données infrarouge proche. FIGURE POUR L’ABRÉGÉ : FIGURE 1

Description

PROCÉDÉS ET DISPOSITIFS DE LEVÉE DE DOUTE BIOMÉTRIQUE.
La présente invention concerne le domaine du traitement d'images et plus particulièrement les procédés et dispositifs électroniques de capture d'images mis en œuvre afin de vérifier que le visage d’une personne vivante est présent devant un dispositif de prise de vues lors de la réalisation d’un cliché photographique, par exemple et sans que ce soit limitatif, pour la réalisation d’un passeport.
Les différentes techniques de falsification possibles lors de la prise de vue du visage d’une personne peuvent être par exemple : masque, impression papier, écran de téléphone, d’ordinateur ou de tablette représentant un visage humain et placés devant ledit dispositif de prise de vues.
Or, si les prises de vues sont destinées à la création de documents officiels, de telles tentatives doivent être impérativement détectées afin de ne pas créer de « faux papiers ». Avantageusement, la solution doit permettre cette détection quel que soit le visage de la personne présente devant le dispositif de détection et donc sans que les caractéristiques personnelles de cette personne aient été préalablement enregistrées dans une base de données.
Les brevets US2002/0136435A1 et WO2010/0128931A1 divulguent des procédés pouvant servir à la réalisation d’un dispositif de détection de ce type de falsification : pour cela sont utilisés deux systèmes de prises de vue.
Le premier système comporte une caméra afin de réaliser des clichés dans le domaine visible des ondes électromagnétiques et le second système comporte une autre caméra afin de réaliser des clichés dans le domaine infrarouge des ondes électromagnétiques.
Les techniques mises en œuvre dans ces brevets, afin de détecter une tentative de falsification, nécessitent des clichés dotés d’une résolution suffisante pour y identifier de façon fiable des éléments caractéristiques d’un visage humain : nez, oreilles, yeux, cheveux, entre autres exemples. Or, si dans le domaine visible ce type de caméra est courant et de coût inférieur à une centaine d’euros, dans le domaine infrarouge thermique une résolution même de type « vidéo », soit environ 640x480 pixels, entraîne un coût élevé, par exemple de l’ordre de plusieurs milliers d’euros.
Les procédés décrits dans le brevet WO2006/003612A1 qui opèrent une fusion des clichés du domaine visible et du domaine infrarouge requièrent également que les définitions des deux clichés soient compatibles : si la définition d’un des clichés est très inférieure à l’autre, alors la fusion des images détruit tout ou partie des informations pertinentes pour la détection de la tentative de falsification, informations qui étaient pourtant contenues dans le cliché de plus haute définition.
Par ailleurs, des problématiques de maintenance existent avec les capteurs infrarouges divulgués dans ces brevets : en effet, ces capteurs infrarouges utilisent des micro-bolomètres qui nécessitent, avant leur première utilisation, un premier étalonnage de chacun des éléments d’image (pixels) de la caméra réalisant les clichés dans le domaine infrarouge puis, des ré-étalonnages afin d’assurer leur stabilité de fonctionnement à long terme.
Pour ce faire, il est nécessaire de faire appel à un laboratoire d’étalonnage qui utilise, là-aussi, des éléments onéreux comme des corps noirs eux-mêmes étalonnés voire en plus, des obturateurs mécaniques précis.
Par ailleurs, les brevets WO2015/040001 et US10,169,671 ajoutent aux procédés précédents une étape de mesure de distance des éléments du visage, réalisée à l’aide d’un système de mesure de distance complémentaire, voire la mesure de la tête entière dans le cas du brevet WO2015/040001 et ce de manière à détecter principalement les tentatives de falsifications à l’aide d’écrans ou de documents imprimés donc plats.
Il va de soi que l’ajout de ces systèmes complémentaires augmente encore plus le coût du dispositif de détection de la falsification et de plus ils ne sont pas aptes à détecter de manière efficace une tentative de falsification par masque.
Dans le brevet US9,230,158B1 est décrit un procédé de détection de falsification basé sur l’étude des variations ou de l’absence de variations de carnation de la peau à partir d’images issues d’une séquence vidéo. Cette approche se heurte toutefois aux problèmes suivants : si cette technique est apte à détecter l’absence de modifications de carnation d’une image fixe au cours du temps, lorsque la tentative de falsification s’effectue à partir d’une séquence vidéo de la personne et non plus à partir d’une image fixe, alors le système peut plus difficilement la détecter car les variations de carnation au cours de la séquence ont été effectivement enregistrées. De plus, comme les variations de carnations dans un délai de quelques secondes sont très faibles, voire même invisibles à l’œil nu comme cela est rappelé dans le brevet lui-même, le procédé en question nécessite l’utilisation de dispositifs de prises de vues dotés d’un très grand rapport signal sur bruit et donc, là encore, de coût élevé. Le procédé dévoilé par le brevet WO2014/004179A1 analysant lui-aussi des variations de la carnation se heurte à la même problématique.
En revanche, de nouvelles techniques alternatives de visualisation d’images dans le domaine infrarouge thermique sont désormais disponibles.
Ces nouvelles techniques utilisent en tant que capteurs infrarouges des éléments constitués de thermopiles et non plus de micro-bolomètres comme dans tous les brevets présentés précédemment travaillant dans le domaine infrarouge thermique. Ils ne nécessitent plus de ré-étalonnage. Ils sont par ailleurs beaucoup moins onéreux : quelques dizaines d’euros seulement.
En contrepartie, ces dispositifs ont une définition très limitée, actuellement de moins de 1000 éléments d’image (pixels) et ne fournissent donc pas une résolution suffisante pour identifier les éléments du visage nécessaires à la réalisation du procédé décrit dans le brevet US 2002/0136435A1 et encore moins pour autoriser l’identification de personnes par comparaison avec une base de données par exemple.
Les procédés décrits dans le brevet WO2017/070920A1 utilisent également une base de données d’images de personnes préalablement enregistrées. Or, pour l’invention présentée, le contexte est tout autre : elle concerne des procédés et dispositifs permettant de vérifier que le visage de la personne en test correspond à quelqu’un de vivant sans que des données relatives à cette personne n’aient été préalablement enregistrées de quelle que façon que ce soit dans une base de données. De plus, le brevet WO2017/07092A1 utilise des longueurs d’onde correspondant à l’infrarouge proche : 800nm - 1800nm, valeurs rappelées dans la description du brevet, alors que la température de peau humaine se plaçant typiquement sur une échelle de valeurs de 28°C à 38°C environ, il serait avantageux d’utiliser des longueurs d’ondes infrarouges dans une plage de 5000 nm à 25 000 nm.
Or, précisément, un autre avantage de nouvelles techniques de visualisation infrarouge par thermopile est que les longueurs d’onde concernées sont situées notamment dans l’infrarouge thermique (4000 nm - 15000 nm) et non plus dans l’infrarouge proche (longueur d’onde entre 800 et 2000 nm) : de la sorte, il est en plus inutile d’incorporer au dispositif de détection un illuminant infrarouge externe au visage en test comme c’est par exemple le cas dans les descriptions des brevets US 2006/0104488, US 7,147,153B2 ou encore EP1533744A2.
Le brevet US10,169,671B2 évoque l’utilisation de tels dispositifs de mesure de température par une matrice d’éléments sensibles aux longueurs d’ondes infrarouges. En revanche, dans le procédé décrit, une seule valeur de température est utilisée : dans le procédé décrit, on interroge l’élément de matrice correspondant spatialement au centre du visage en test. Les évolutions de la température sur les différents éléments de la matrice de mesure ne sont donc pas pris en compte dans le procédé.
Le brevet WO2018/0558554A1 décrit d’autres techniques de détection de tentatives de falsification à l’aide de réseaux de neurones.
Dans ce brevet, sont utilisées les seules informations de prises de vues dans le domaine visible. Comme mentionné précédemment, la résolution des prises de vues dans ce domaine atteinte par des dispositifs de seulement quelques dizaines d’euros est suffisamment importante pour permettre l’identification des personnes par exemple en comparant les données obtenues par ces dispositifs avec celles enregistrées dans une base de données d’images. Une telle comparaison est par exemple utilisée pour autoriser un accès à un local, à un ordinateur, à un téléphone, etc. Or ici, on cherche à détecter la tentative de falsification avant l’identification à l’aide de moyens les plus réduits possibles et sans comparaison avec une base de données. De plus, le procédé décrit l’utilisation de deux réseaux de neurones, un travaillant sur le domaine spatial et un autre sur le domaine temporel : il est donc nécessaire d’enregistrer une séquence complète d’images visibles donc de résolution élevée, décrite dans ce brevet comme un flux vidéo : la quantité de mémoire utilisée par un dispositif mettant en œuvre le procédé augmente significativement par rapport à un procédé mettant en œuvre un nombre plus réduit d’images voire une image unique. Par ailleurs, le procédé décrit l’utilisation de deux réseaux de neurones : cela augmente le temps de calcul nécessaire à la réalisation du procédé et donc nuit grandement à la réactivité du dispositif. De plus, le temps de calcul de la phase d’apprentissage des deux réseaux de neurones est, là encore, doublée par rapport à un réseau de neurones unique, ce qui augmente le coût de mise en œuvre.
Enfin, ce procédé mettant en œuvre des informations dans le seul domaine visible, il est plus facile à tromper pour un falsificateur ce qui, là encore, diminue fortement l’intérêt du procédé décrit.
La présente invention permet de résoudre les problèmes évoqués ci-dessus.
A cette fin, un procédé selon un premier aspect de l'invention comporte les étapes consistant à :
acquérir des données représentatives d’une image dans le domaine spectral infrarouge thermique, appelée données thermiques, d’une personne dans un milieu au moyen d’un capteur matriciel,
et est essentiellement caractérisé en ce qu’il comporte en outre les étapes suivantes :
mémoriser ces données thermiques,
transmettre ces données thermiques à un processeur,
traiter ces données thermiques par un processeur,
générer une grandeur représentative de la probabilité de présence effective d’une personne vivante à l’aide d’un réseau de neurones dont les entrées sont les données thermiques.
Dans des modes de réalisation préférés on a recours à l'une et/ou l'autre des dispositions suivantes dans lesquelles :
- une étape est prévue pour acquérir des données représentatives du visage de la personne pour constituer les données thermiques,
- une étape est prévue pour acquérir des données représentatives de la même personne, appelée données visibles, dans le domaine spectral visible au moyen d’une caméra, le réseau de neurones ayant en plus les données visibles parmi ses entrées,
- une étape est prévue pour acquérir des données représentatives du visage de la personne pour constituer les données visibles,
- une étape est prévue pour utiliser des données représentatives d’une reconstruction en trois dimensions de la personne dans le milieu,
- une étape est prévue pour acquérir des données représentatives d’une image, appelée données infrarouge proche, de la personne dans le domaine spectral infrarouge proche au moyen de la même caméra, le réseau de neurones ayant en plus les données infrarouge proche parmi ses entrées,
- on utilise un réseau de neurones à convolutions,
- on utilise un réseau de neurones à convolutions comportant deux couches de convolution, deux couches de sous-échantillonnage et une couche complètement connectée,
- une étape est prévue pour acquérir les données thermiques au cours du temps pour constituer les entrées du réseau de neurones,
- une étape est prévue pour acquérir les données visibles au cours du temps pour constituer les entrées du réseau de neurones,
- une étape est prévue pour acquérir les données infrarouge proche au cours du temps pour constituer les entrées du réseau de neurones,
- une étape est prévue pour acquérir les données thermiques au cours du temps pour générer une grandeur représentative de la probabilité de déplacement de la personne dans le milieu,
- une étape est prévue pour redimensionner la taille des données visibles et/ou des données infrarouge proche à la taille des données thermiques,
- une étape est prévue pour introduire un décalage temporel entre les données thermiques et les données visibles.
Un deuxième aspect de l’invention concerne un système comportant :
un système de prises de vues, agencé de manière à permettre la prise d'images dans le domaine infrarouge thermique d’une personne dans un milieu, les moyens de prises de vues fournissant des données numériques représentatives des images appelées données thermiques,
et est essentiellement caractérisé par :
des moyens de mémorisation des données thermiques,
des moyens de transmission des données thermiques,
des moyens d'exploitation pour exploiter ces données thermiques,
les moyens d'exploitation comportant un réseau de neurones agencé pour générer une grandeur représentative de la probabilité de présence effective d’une personne vivante, les entrées du réseau de neurones étant les données thermiques.
Dans des modes de réalisation préférés on a recours à l'une et/ou l'autre des dispositions suivantes :
- le système de prises de vues est agencé de manière à permettre la prise d’images dans le domaine infrarouge thermique du visage de la personne,
- le système de prises de vues est également agencé de manière à permettre la prise d'images de la personne dans le domaine visible, les moyens de prises de vues fournissant des données numériques représentatives des images appelées données visibles, le réseau de neurones ayant en plus les données visibles parmi ses entrées,
- le système de prises de vues est également agencé de manière à ce que les moyens d’exploitation utilisent des données représentatives d’une reconstruction en trois dimensions de la personne dans le milieu,
- le système de prises de vues est agencé de manière à permettre la prise d’images dans le domaine visible et/ou infrarouge proche du visage de la personne,
- le système de prises de vues est agencé pour permettre la prise d’images de la personne dans le domaine infrarouge proche, les moyens de prises de vues fournissant des données numériques des images appelées données infrarouge, proche, le réseau de neurones ayant en plus les données infrarouge proche parmi ses entrées,
- le réseau de neurones est agencé comme un réseau de neurones à convolutions,
- le réseau de neurones est agencé comme un réseau de neurones à convolutions comportant deux couches de convolutions, deux couches de sous-échantillonnage et une couche complètement connectée,
- le réseau de neurones recevant en plus sur ses entrées l’évolution des données thermiques au cours du temps,
- le réseau de neurones recevant en plus sur ses entrées les données visibles à plusieurs instants successifs,
- le réseau de neurones recevant en plus parmi ses entrées les données infrarouge proche au cours du temps,
- les moyens d’exploitation sont agencés de manière à exploiter les données thermiques et à générer une grandeur représentative de la probabilité de déplacement d’une personne dans le milieu au cours du temps,
- les moyens d’exploitation sont agencés pour redimensionner la taille des données visibles et/ou données infrarouge proche à la taille des données thermiques,
- les moyens d’exploitation sont agencés de manière à introduire un décalage temporel entre les données thermiques et les données visibles.
L'invention comprend, mises à part ces dispositions principales, certaines autres dispositions qui s'utilisent de préférence en même temps et dont il est plus question ci-après.
Dans ce qui suit, on va décrire quelques modes de réalisations préférés de l'invention en se référant aux figures ci-annexées d'une manière bien entendue non limitative.
Sur les dessins,
la figure 1 est une vue schématique d’un dispositif selon l’invention.
La figure 2 est une décomposition du réseau de neurones selon l’invention.
On décrit un système mis en place pour la réalisation de clichés de personnes (3) comportant un système de prises de vues (2) agencé pour prendre des clichés de ces personnes présentes dans le milieu (1) et dont le but est la détection d’une tentative de falsification du cliché de la personne (3) à l’aide de moyens comme des masques, impressions ou écrans présentés au système de prises de vues (2).
Dans un mode de réalisation de l'invention, le système de prises de vues est agencé pour prendre des clichés du visage (30) des personnes vivantes (3) dont la position dans le milieu (1) est connue, par exemple la personne (3) est assise sur un siège (4) du milieu (1).
Dans un autre mode de réalisation de l’invention, le système de prises de vues est agencé pour prendre des clichés représentant une scène plus large que le visage (30) des personnes (3) évoluant dans le milieu (1).
De manière connue en soi, le système de prises de vues ou caméra (2), comporte au moins un processeur (21), par exemple un Cypress CYUSB3065-BZXI doté d’une mémoire volatile interne (211) pouvant être initialisée par exemple au moyen d’une connexion USB (26) et d’un ordinateur personnel ou « PC » (27). Le code programme (210) nécessaire au fonctionnement du processeur (21) est ici exécuté à partir de la mémoire (211). Une mémoire non-volatile (23) peut être connectée au processeur (21) pour mémoriser des informations supplémentaires comme des paramètres de fonctionnement de la caméra (temps d’exposition , gain, résolution entre autres exemples non restrictifs), le code programme (210) lorsque le fonctionnement du processeur (21) choisi le nécessite. De même, une mémoire volatile (25) supplémentaire peut être connectée au processeur (21) lorsque le fonctionnement du processeur (21) choisi et/ou son code programme (210) le nécessite.
La caméra (2) comporte également un capteur d’imagerie thermique (22) sensible dans le domaine infrarouge thermique, pour des longueurs d’ondes comprises entre 4000 nm et 15000 nm. Le capteur (22) délivre des images sous la forme de données numériques, appelées données thermiques par la suite et est normalement doté d'une optique (220). Le capteur (22) est relié de manière connue en soi au processeur (21), via une connexion (28), cette connexion pouvant être, par exemple, une connexion parallèle directe entre les broches du processeur (21) et celles du capteur (22) ou une connexion série entre les broches du processeur (21) et celles du capteur (22) comme I2C, SPI, mipi, lvds parmi les exemples de réalisation possibles.
Dans un mode de réalisation selon l’invention, le capteur (22) est un capteur d’imagerie infrarouge thermique Melexis MLX90640ESF-BAB-000 : il comporte une matrice (221) de 32x24 éléments d’image (pixels) et l’optique (220) intégrée au capteur (22) ayant un champ de visée de 55°x40° est donc adaptée à des prises de vue du visage (30).
Dans un autre mode de réalisation selon l’invention, le capteur (22) est un capteur d’imagerie infrarouge thermique Melexis MLX90640ESF-BAA-000 : il comporte une matrice (221) de 32x24 pixels et l’optique (220) intégrée au capteur (22) ayant un champ de visée de 110°x75° est donc adaptée à des prises de vue de la personne (3) évoluant dans le milieu (1).
Dans ces deux modes de réalisation, le capteur (22), que ce soit le Melexis MLX90640ESF-BAB-000 ou le Melexis MLX90640ESF-BAA-000, comporte en outre une mémoire, lui permettant ainsi de mémoriser les données thermiques.
Le code programme (210) du processeur (21) peut alors utiliser la connexion (28) pour relire cette mémoire du capteur (22) de manière différée dans le temps, et de la sorte, le processeur (21) requiert une durée de traitement beaucoup plus faible par rapport à celle que nécessiterait une lecture en temps réel des données thermiques.
En effet, le code programme (210) du processeur (21) peut demander la lecture de la mémoire du capteur (22) à n’importe quel instant dès lors que des données thermiques sont mémorisées et le processeur (21) reste totalement maître de cet instant et du rythme d’envoi de cette demande de lecture.
Au contraire, si la lecture des données thermiques est effectuée en temps réel, alors le processeur (21) est totalement esclave du capteur (22) et doit traiter en permanence les données thermiques transmises par ledit capteur (22) afin que ces données thermiques ne soient pas corrompues : le processeur (21) est alors interrompu régulièrement et doit traiter le plus rapidement possible ces données thermiques ce qui diminue le temps disponible à l’exécution du code programme (210).
Enfin, dans un mode particulier de réalisation, une connexion (28) de type I2C série, utilise seulement deux broches du processeur (21) pour communiquer avec le capteur (22) et ledit processeur (21) n’utilise donc pas ses broches dédiées à une transmission de signaux vidéo, comme des broches mipi entre autres exemples, pour cette connexion (28).
Dès lors, le processeur (21) peut à la fois être de coût moindre qu’un processeur qui disposerait de deux ensembles de broches dédiées à la transmission de signaux vidéo issus de deux capteurs d’imagerie différents et utiliser avantageusement un unique ensemble de broches dédiées à la transmission de signaux vidéo pour communiquer avec un autre capteur d’imagerie que le capteur d’imagerie thermique.
Ainsi, la caméra (2) peut également comporter un autre capteur d’imagerie (24), notamment sensible dans le domaine visible. Le capteur (24) délivre des images sous la forme de données numériques, appelées données visibles par la suite et est normalement doté d'une optique (240). De manière connue en soi, le capteur (24) est relié au processeur (21), par exemple via une connexion parallèle directe, ou via une connexion série comme I2C, SPI, mipi, lvds parmi les exemples de réalisation possibles.
Le capteur d'images (24) est par exemple un composant Omnivision OV5645 (241) délivrant des images d’une résolution jusque 2592x1944 éléments d’image ou pixels sous la forme de données numériques, et normalement doté d'une optique (240), par exemple à monture M12, adaptée à la taille dudit capteur.
Dans un mode de réalisation selon l’invention, l’optique (240) est choisie de manière à visualiser un champ de visée adapté à des prises de vues du visage (30) : par exemple, une optique M12 Sunex DSL945D-650-F.25, compatible avec le composant (241) Omnivision OV5645 et dont le champ de visée horizontal est de 55°.
Dans un autre mode de réalisation selon l’invention, l’optique (240) est choisie de manière à visualiser un champ de visée adapté à des prises de vues de la personne (3) évoluant dans le milieu (1) : par exemple, une optique M12 Sunex DSL377A-650-F2.8, compatible avec le composant (241) Omnivision OV5645 et dont le champ de visée horizontal est de 113°.
Dans un mode particulier de réalisation selon l’invention, les instants d’acquisition du capteur (22) et du capteur (24) sont décalés temporellement entre eux d’une valeur de dt secondes, dt étant une valeur réelle par exemple comprise entre -10 secondes et +10 secondes , une valeur de dt positive signifiant que les données thermiques sont acquises avant les données visibles alors qu’une valeur de dt positive signifiant que les données visibles sont acquises avant les données thermiques.
Dès lors, le procédé est encore plus difficile à tromper par la présentation d’images falsifiées, le falsificateur ne pouvant déterminer à quel moment présenter ces images en raison de ce décalage dt, cette valeur dt pouvant être elle-même aléatoire par l’utilisation dans le code programme (210) d’un générateur de nombres aléatoires, connu en soit, par exemple un générateur congruentiel linéaire de Lehmer.
Dans un autre mode de réalisation particulier selon l’invention, la caméra (2) comporte un autre capteur d’images, de préférence identique au capteur d’images (24).
En utilisant, par exemple, les procédés décrits dans le document Foundations and Trends in Computer Graphics and Vision, Vol. 4, No. 4 (2008) p 287–404 par T. Moons, L. Van Gool and M. Vergauwen, les données d’images visibles issues du capteur (24) et les données d’images visibles issues de ce capteur d’images supplémentaires peuvent être combinées par l’ordinateur (27) qui réalise alors une opération de reconstruction en 3 dimensions du milieu (1).
Des informations supplémentaires, comme une estimation du volume de la tête de la personne (3), directement accessible par cette opération de reconstruction en 3 dimensions, peuvent alors être exploitées par l’ordinateur (27), excluant la possibilité pour un falsificateur de présenter des images planes.
Lorsque le processeur (21) ne possède pas suffisamment de broches pour connecter simultanément deux capteurs d’images comme le capteur d’images (24), un composant électronique supplémentaire est inséré entre les différents capteurs d’images et le processeur (21).
Ce composant électronique supplémentaire peut, par exemple être, un composant programmable (FPGA) comme un Lattice LIF-MD6000-6MG81I, d’un coût de l’ordre de 10 €, doté de la fonctionnalité dédiée « Crosslink » permettant de relier 2 voire 4 capteurs d’images comme le capteur d’images (24) à un seul processeur (21).
Une mémoire de type série SPI comme une Adesto AT45DB321D, pouvant être programmée dans une étape préalable à la réalisation du procédé selon tout mode connu en soi, par exemple à l’aide d’un programmateur EETools TopMax2, et contenant un code programme doté de la fonctionnalité « Crosslink » est alors présent sur la caméra et reliée au composant programmable grâce à leurs broches dédiées à cet usage.
Par ailleurs, lorsque le capteur d’images (24) utilisé est notamment de type imageur CMOS, alors ce capteur (24) peut être également sensible dans le domaine infrarouge proche, typiquement défini ici par des longueurs d’ondes de 700 nm à 1000 nm.
Or, pour le composant Omnivision OV5645, avec des longueurs d’ondes comprises entre 800 nm et 1000 nm, tous les éléments d’image du composant ont une réponse sensiblement identique et, dès lors, ce composant a un comportement de capteur d’images en niveaux de gris, ce qui implique pour ces longueurs d’onde une réponse essentiellement en luminance.
En pratique, pour que le capteur (24) ait une réponse dans le seul domaine visible, dont les longueurs d’ondes sont typiquement comprises entre 400 nm et 700 nm, l’optique (240) ou la monture M12 contient un filtre optique passe-bande.
Dans un premier exemple de réalisation, une monture M12 de type FLIR ACC-01-5001 contient elle-même le filtre optique passe-bande.
Dans un second exemple de réalisation, les optiques (241) Sunex DSL945D-650-F2.5 et DSL377A-650-F2.8 peuvent être commandées chez leur fabricant avec un traitement optique intégrant le filtre optique passe-bande.
Dans un autre mode particulier de réalisation selon l’invention, plusieurs filtres différents, passe-bande ou autre, peuvent être placés devant le composant (241) en cours de fonctionnement : par exemple, en utilisant une monture M12 conçue à cet effet.
Ainsi, une monture M12 Scorpion Vision Limited BR-M12 peut contenir plusieurs filtres, soit, un premier filtre passe-bande visible et un second filtre passe-bande infrarouge proche, la sélection s’effectuant alors par une commande électronique reliée au processeur (21) via une de ses broches d’interface à usage général (GPIO).
Dans ce mode particulier de réalisation, si le second filtre passe-bande est activé par le processeur (21) et la bande de fréquences optiques sélectionnée par ledit filtre correspond au fonctionnement du capteur d’images (241) en niveaux de gris, le capteur (24) délivre alors des images dans le domaine spectral infrarouge proche sous la forme de données numériques, appelées données infrarouge proche par la suite.
Ces données infrarouge proche ont, par construction, la même définition que les données visibles.
Dans un mode préféré de réalisation selon l’invention, le processeur (21) communique les données thermiques et les données visibles et/ou données infrarouge proche au processeur principal (271) de l’ordinateur (27) au moyen de la connexion USB (26).
Dans un autre mode de réalisation selon l’invention, le processeur (21) communique à l’ordinateur (27) les données thermiques et les données visibles et/ou données infrarouge proche au moyen d’une connexion filaire ou sans fil : Ethernet, WiFi, Bluetooth, Zigbee ou par tout autre connexion filaire ou sans fil connue en soi.
Dans un autre mode de réalisation selon l’invention, le processeur (21) lui-même est programmé pour effectuer le traitement des données thermiques et des données visibles et/ou données infrarouge proche.
On décrit maintenant un réseau de neurones (270) mis en place pour l’invention comme la constitution d’une ou plusieurs couches de neurones interconnectées entre elles.
A un neurone est associée une fonction de transfert appelée par la suite poids synaptique entre toutes ses entrées et sa sortie.
Une couche de neurones représente la juxtaposition de plusieurs neurones partageant les mêmes entrées, chacun ayant donc son propre poids synaptique et sa propre sortie.
Chaque neurone d’une couche peut ainsi être connecté à un ou plusieurs neurones d’une ou plusieurs couches précédentes, la dernière couche étant la « couche de sortie » du réseau de neurones (270), soit dans le mode de réalisation selon l’invention, une grandeur représentative de la probabilité de présence notée PR d’une personne (3) vivante dans le milieu (1).
Les poids synaptiques du réseau de neurones (270) caractérisent donc son fonctionnement et les valeurs optimales de ces poids sont déterminés lors d’une étape antérieure à la mise en œuvre du procédé selon l’invention, appelée apprentissage.
Les poids synaptiques ont une valeur réelle, non bornée.
Dans un mode préféré de réalisation de l’invention, le réseau de neurones (270) utilisé par le procédé selon l’invention est un réseau de neurones à convolutions qui, par définition, est constitué d’au moins une couche de convolution, d’au moins une couche de sous-échantillonnage communément appelée couche de « Pooling » et d’au moins une couche complètement connectée dont chacun des fonctionnements va être explicité.
Une sortie de chaque couche du réseau de neurones (270) est réalisée par l’ensemble des sorties des neurones composant ladite couche et est appelée par la suite carte de sortie.
De manière analogue, la carte d’entrée d’une couche peut soit être la carte de sortie d’une couche précédente ou tout ou partie des signaux à traiter par le réseau de neurones (270).
Dans un mode de réalisation préféré selon l’invention, la carte d’entrée du réseau de neurones (270) est constituée par les seules données thermiques sur lesquelles est appliquée une étape de normalisation par le processeur (271), connue en soit, afin que ces données thermiques varient sur une plage [Vamin,Vamax] ; Vaminreprésentant la température la plus basse et Vamaxla température la plus élevée. Par exemple, si le milieu (1) se situe à l’intérieur d’un bâtiment, Vaminpeut représenter une température relevée par un élément du capteur (22) de 15°C ou moins et Vamaxreprésenter une température relevée par un élément du capteur (22) de 40°C et plus et on peut alors utiliser mathématiquement une fonction affine pour réaliser cette étape de normalisation.
Dans un mode de réalisation selon l’invention, le procédé utilise un ensemble de valeurs Vamin , Vamax comme : Vamin= 0 et Vamax = 1.
Dans un autre mode de réalisation selon l’invention, le procédé utilise un ensemble de valeurs Vamin , Vamax comme : Vamin= -0,5 et Vamax = +0,5.
Dans un autre mode de réalisation selon l’invention, la couche d’entrée du réseau de neurones (270) est complétée par les données visibles et/ou les données infrarouge proche sur lesquelles est appliquée une étape de normalisation par le processeur (271), connue en soit, afin que ces données visibles et/ou données infrarouge proche varient sur une plage de [Vbmin,Vbmax] ; Vbminreprésentant la plus petite valeur observable par le capteur (24) et Vbmaxreprésentant la plus grande valeur observable par le capteur (24). Par exemple, si les données visibles et/ou données infrarouge proche varient sur une plage dynamique de un octet soit [0,255] alors une fonction affine permet, là encore, de réaliser mathématiquement l’étape de normalisation.
Dans un mode de réalisation selon l’invention le procédé utilise un ensemble de valeurs Vbmin , Vbmax comme : Vbmin= 0 et Vbmax = 1.
Dans un autre mode de réalisation selon l’invention le procédé utilise un ensemble de valeurs Vbmin , Vbmax comme : Vbmin= -0,5 et Vbmax = +0,5.
Usuellement, le procédé utilise préférentiellement des valeurs telles que : Vamin= Vbminet Vamax= Vbmaxet de la sorte, la partie de la carte d’entrée correspondant aux données thermiques et la partie de la carte d’entrée correspondant aux données visibles et/ou données infrarouge proche ont la même dynamique.
Dans un mode de réalisation particulier, il est utile d’insérer une étape de redimensionnement des données visibles et/ou données infrarouge proche pour qu’elles aient les mêmes dimensions que les données thermiques : dans notre exemple de réalisation les données thermiques représentent une matrice de 32x24 éléments alors que les données visibles et/ou données infrarouge proche représentent une matrice de 2592x1944 éléments. Pour effectuer cette transformation de 2592x1944 à 32x24 éléments, le processeur (271) applique par exemple un sous-échantillonnage ; le plus simple étant d’utiliser un procédé mathématique consistant par exemple à sélectionner une valeur toutes les n valeurs, n étant un nombre entier par exemple n=81, dans la dimension horizontale de la matrice des données visibles et/ou des données infrarouge proche et une valeur toutes les p valeurs, p étant un nombre entier par exemple p=66, dans la dimension verticale de la matrice des données visibles et/ou des données infrarouge proche afin de former une nouvelle matrice de données visibles et/ou données infrarouge proche comprenant 32x24 éléments pour la matrice des données visibles et/ou 32x24 éléments pour la matrice des données infrarouge proche.
Quel que soit le mode de réalisation selon l’invention choisi décrit précédemment, la carte d’entrée (2700) du réseau de neurones (270) est constituée d’un ensemble matriciel à deux dimensions : dans notre exemple de réalisation, une première matrice de 32x24 éléments où chacun des éléments possède une plage de valeurs comprises entre [Vamin,Vamax] représentant les données thermiques, une seconde matrice de 32x24 éléments où chacun des éléments possède une plage de valeurs comprises entre [Vbmin,Vbmax] représentant s’il y a lieu les données visibles et/ou une autre matrice de 32x24 éléments où chacun des éléments possède une plage de valeurs à nouveau comprises entre [Vbmin,Vbmax] par construction représentant, s’il y a lieu, les données infrarouge proche.
Dans le mode de réalisation préféré selon l’invention, les dimensions matricielles hxv de la carte d’entrée représentant les données thermiques et les données visibles et/ou les données infrarouge proche du réseau de neurones (270) sont h nombre entier = 32 et v nombre entier = 24.
Il va de soit que si les dimensions hxv des matrices des capteurs (22) sont différentes de celles présentées dans les exemples de réalisation selon l’invention, alors l’homme de l’art utilise de nouvelles tailles matricielles pour la carte d’entrée correspondant à ces nouvelles dimensions de matrices.
En sortie de l’étape précédente du procédé selon l’invention, la carte d’entrée (2700) du réseau de neurones (270) est ainsi représentée mathématiquement sous la forme de matrices I(z)h,v, z étant un nombre entier valant 0 pour les données thermiques, 1 pour les données visibles et/ou 2 lorsque les données infrarouge proche sont utilisées dans un mode particulier de réalisation selon l’invention.
En fonction des options de réalisation, on peut donc avoir entre autres possibilités : , , et pour un fonctionnement du réseau de neurones respectivement à partir des seules données thermiques, données thermiques et données visibles, données thermiques et données infrarouge proche et enfin données thermiques, données visibles et données infrarouge proche.
On explicite désormais le fonctionnement de la première couche de convolution du réseau de neurones (270).
La première couche de convolution génère à partir d’un élément constitutif de la carte d’entrée I(z)h,v une ou plusieurs cartes de sortie (2701) Oi(z), chaque carte de sortie étant définie par une opération de convolution mathématique utilisant un noyau de convolution NCi(z) de taille (n1,n2) comprenant des coefficients NCi(z,k,l), k étant un nombre entier variant de 1 à n1et l étant un nombre entier variant de 1 à n2, ces coefficients NCi(z,k,l) étant les poids synaptiques, pour cette première couche de convolution, définis lors de l’étape d’apprentissage qui est appliquée aux éléments I(z)h,v.
La convolution est, dans le procédé selon l’invention, le processus mathématique consistant à ajouter chaque élément de la carte d’entrée à ses voisins locaux, pondéré par les éléments du noyau.
Dans un mode de réalisation préféré selon l’invention, les noyaux de convolution NCi(z) sont de taille 3x3, soit n1= 3 et n2= 3.
Dans un mode de réalisation préféré selon l’invention, la première couche de convolution du réseau de neurones (270) génère 2x4 cartes de sortie Oi(z), avec i nombre entier compris entre 1 et 4, z étant compris entre 0 et 2.
Mathématiquement, les valeurs situées à chaque emplacement (x,y) de la carte de sortie Oi(z), avec x nombre entier variant de 1 à h et y nombre entier variant de 1 à v sont représentées par la formule suivante :
où afest une fonction mathématique d’activation du neurone,
B1i(z) est définie comme une valeur réelle, non bornée, commune à tous les neurones de la première couche de convolution.
Dans un premier exemple de réalisation selon l’invention, la valeur B1i(z) est nulle.
Dans un autre exemple de réalisation selon l’invention, la valeur B1i(z) est déterminée lors de l’étape d’apprentissage.
Dans un mode de réalisation préféré de l’invention af est la fonction identité.
Dans un autre mode de réalisation selon l’invention afest la fonction mathématique tangente hyperbolique.
Dans un autre mode de réalisation selon l’invention afest la fonction mathématique suivante :
L’étape suivante du procédé selon l’invention est réalisée par une première couche de « Pooling » du réseau de neurones (270).
La carte d’entrée de cette couche de Pooling P1est constituée des cartes de sortie Oi(z) générées à l’étape précédente.
Les cartes de sorties (2702) OPi(z) sont générées à partir des cartes Oi(z) par les opérations de sous-échantillonnage mathématiques dit « Max Pooling », explicités par la formule suivante :
est l’ensemble des nombre entiers
est un nombre entier variant de 1 à ,
est un nombre entier variant de 1 à ,
et bfest la fonction d’activation de cette étape,
B2i(z) est définie comme une valeur réelle, non bornée, commune à tous les neurones de la première couche de Pooling.
Dans un premier exemple de réalisation selon l’invention, la valeur B2i(z) est nulle.
Dans un autre exemple de réalisation selon l’invention, la valeur B2i(z) est déterminée lors de l’étape d’apprentissage.
Dans un mode de réalisation préféré selon l’invention, les poids synaptiques de cette étape sont tous unitaires et la fonction d’activation bfest la fonction mathématique suivante :
En sortie de cette couche de Pooling P1, les matrices représentant les cartes de sorties OPi(z) comprennent donc deux fois moins de lignes et deux fois moins de colonnes que les cartes de sortie Oi(z) de l’étape de convolution précédente.
L’étape suivante du procédé selon l’invention est réalisée par une seconde couche de convolution notée R du réseau de neurones (270).
La carte d’entrée de cette nouvelle couche de convolution R est constituée des cartes de sortie OPi(z) générées à l’étape précédente.
La seconde couche de convolution génère à partir d’un élément constitutif de la carte d’entrée OPi(z)h/2,v/2une ou plusieurs cartes de sortie (2703) Rj(z), j étant un nombre entier supérieur ou égal à 1, chaque carte de sortie étant définie par une opération de convolution mathématique utilisant un noyau de convolution NDj(z) de taille (p1,p2) comprenant des coefficients Ndj(z,k’,l’), k’ étant un nombre entier variant de 1 à p1et l’ étant un nombre entier variant de 1 à p2, ces coefficients Ndj(z,k’,l’) étant les poids synaptiques, pour cette seconde couche de convolution, définis lors de l’étape d’apprentissage qui est appliquée aux éléments OPi(z)h/2,v/2.
Dans un mode préféré de réalisation selon l’invention, on utilise p1= n1et p2= n2pour la taille des noyaux de convolution NDj(z) et le procédé génère j= 2i cartes de sorties Rj(z).
Mathématiquement, les valeurs situées à chaque emplacement (x’’,y’’) de la carte de sortie Rj(z), avec x’’ nombre entier variant de 1 à h/2 et y’’ nombre entier variant de 1 à v/2 sont représentées par la formule suivante :
où cfest une fonction mathématique d’activation du neurone,
B3j(z) est définie comme une valeur réelle, non bornée, commune à tous les neurones de la seconde couche de convolution.
Dans un premier exemple de réalisation selon l’invention, la valeur B3j(z) est nulle.
Dans un autre exemple de réalisation selon l’invention, la valeur B3j(z) est déterminée lors de l’étape d’apprentissage.
Dans un mode de réalisation préféré de l’invention cf est la fonction identité.
Dans un autre mode de réalisation selon l’invention cfest la fonction mathématique tangente hyperbolique.
Dans un autre mode de réalisation selon l’invention cfest la fonction mathématique suivante :
L’étape suivante du procédé selon l’invention est réalisée par une seconde couche de « Pooling » du réseau de neurones (270).
La carte d’entrée de cette couche de Pooling P2est constituée des cartes de sortie Rj(z) générées à l’étape précédente.
Les cartes de sorties (2704) RPj(z) sont générées à partir des cartes Rj(z) par les opérations de sous-échantillonnage mathématiques dit « Max Pooling », explicités par la formule suivante :
est l’ensemble des nombre entiers
est un nombre entier variant de 1 à ,
est un nombre entier variant de 1 à ,
et dfest la fonction d’activation de cette étape,
B4j(z) est définie comme une valeur réelle, non bornée, commune à tous les neurones de la seconde couche de Pooling.
Dans un premier exemple de réalisation selon l’invention, la valeur B4j(z) est nulle.
Dans un autre exemple de réalisation selon l’invention, la valeur B4j(z) est déterminée lors de l’étape d’apprentissage.
Dans un mode de réalisation préféré selon l’invention, les poids synaptiques de cette étape sont tous unitaires et la fonction d’activation dfest la fonction mathématique suivante :
En sortie de cette couche de Pooling P2, les matrices représentant les cartes de sorties RPj(z) comprennent donc deux fois moins de lignes et deux fois moins de colonnes que les cartes de sortie Rj(z) de l’étape de convolution précédente.
L’étape suivante du procédé selon l’invention est réalisée par la couche complètement connectée notée CC (2704) du réseau de neurones (270).
La carte d’entrée de cette nouvelle couche complètement connectée CC est constituée des cartes de sortie RPj(z) générées à l’étape précédente.
Dans cette couche CC, un poids synaptique Psest associé à chacun des éléments des cartes de sortie RPj(z) avec s nombre entier variant de 1 à et j variant dans le mode préféré de réalisation de 1 à le résultat de sortie PR (2705) du réseau de neurones (270) s’exprimant alors comme :
où efest une fonction mathématique d’activation du neurone,
B5 est définie comme une valeur réelle, non bornée,
k étant un nombre entier, au moins égal à 1, représentant le nombre d’éléments de la plage de variation de z.
Dans un premier exemple de réalisation selon l’invention, la valeur B5 est nulle.
Dans un autre exemple de réalisation selon l’invention, la valeur B5 est déterminée lors de l’étape d’apprentissage.
Dans un mode de réalisation préféré de l’invention ef est est une fonction mathématique sigmoïde :
La sortie PR du réseau de neurones (270) est ainsi comprise entre 0 et 1, et constitue la grandeur représentative de la probabilité de présence d’une personne (3) vivante dans le milieu (1) estimée par le réseau de neurones (270), c’est-à-dire un premier résultat selon l’invention.
Toutes les opérations mathématiques à effectuer lors des différentes étapes du procédé selon l’invention relatives au fonctionnement du réseau de neurones (270) étant désormais explicitées, elles sont préférentiellement réalisées par le processeur (271) de l’ordinateur (27), sur un ou plusieurs cœurs de calcul dudit processeur (271) s’il est lui-même constitué de plusieurs de ces cœurs et/ou par un coprocesseur (272) du processeur (271), par des processeurs (2730) de la carte graphique (273) de l’ordinateur (27) ou tout autre élément présent dans l’ordinateur (27) apte à réaliser tout ou partie des opérations de calcul à réaliser lors du fonctionnement du réseau de neurones : processeur de traitement du signal (DSP), composant logique programmable dédié (FPGA), carte d’extension enfichable dans l’ordinateur (27) ou tout autre élément connu en soi apte à effectuer des calculs.
Dans un mode particulier de réalisation de l’invention, ces opérations de calcul réalisées par le réseau de neurones sont effectuées par le processeur (21) de la caméra lui-même, ledit processeur communiquant le résultat de calcul PR à l’ordinateur (27) par exemple à l’aide de la connexion USB (26) ou par tout moyen filaire ou non filaire de connexion entre ce processeur (21) et l’ordinateur (27).
L’apprentissage du réseau de neurones (270) peut être réalisé à l’aide d’une base d’apprentissage, constituée de données thermiques et de données visibles et/ou données infrarouge proche correspondant à des personnes (3) réelles, préalablement enregistrées sur des supports mémoire connus en soi (disque dur, clé USB, carte mémoire SD entre autres exemples), données pour lesquelles la sortie attendue du réseau de neurones est une probabilité de 1, soit absence de falsification, et est également constituée de données thermiques et de données visibles et/ou données infrarouge proche correspondant à des falsifications de personnes à l’aide de masques, impressions ou écrans, préalablement enregistrées et pour lesquelles la sortie attendue du réseau de neurones est une probabilité de 0, soit détection de falsification.
L’apprentissage est donc l’étape antérieure au procédé attribuant des valeurs aux poids synaptiques ainsi que les éléments B1i(z), B2i(z), B3j(z), B4j(z), B5 lorsque le mode de réalisation selon l’invention n’utilise pas une valeur nulle pour ces derniers et qui consiste à trouver un optimum de toutes ces valeurs à partir de la base d’apprentissage en utilisant une méthode d’optimisation connue en soi.
Parmi les méthodes d’optimisation possibles, on peut citer la rétro-propagation du gradient, consistant, en utilisant une carte d’entrée extraite de la base d’apprentissage au réseau de neurones (270), à calculer la grandeur représentative de la probabilité de sortie fournie, par le réseau de neurones (270) à ce moment de son apprentissage, à comparer la sortie connue de la base d’apprentissage, soit ici 0 ou 1 puis à rétro-propager un signal d’erreur dans le réseau de neurones afin de corriger les poids synaptiques ainsi que les éléments B1i(z), B2i(z), B3i(z), B4i(z), B5 lorsque le mode de réalisation selon l’invention qui a été choisie n’utilise pas une valeur nulle, par exemple au moyen d’un méthode connue en soi de descente du gradient.
Lorsque la différence entre la probabilité PR délivrée par le réseau de neurones (270) et le résultat connu de la base d’apprentissage est inférieur à une valeur de référence appelée critère, représentée par une valeur réelle notée a1, l’étape d’apprentissage est considérée terminée et les poids synaptiques sont alors utilisables pour la mise en œuvre du procédé selon l’invention.
Dans un mode de réalisation selon l’invention, l’étape d’apprentissage est considérée terminée lorsque la formule suivante est valide pour les N éléments de la base de données d’apprentissage :
.
avec N : nombre entier supérieur ou égal à 1, représentant le nombre d’éléments présents dans la base d’apprentissage,
PRr: carte de sortie du réseau de neurones pour l’élément r, r étant un nombre entier au moins égal à 1 et inférieur ou égal à N,
BDr : résultat connu pour un élément r de la base de données d’apprentissage, soit 0 pour une tentative de falsification et 1 pour une personne réelle,
a1: critère d’acceptation pour l’ensemble de la base de données d’apprentissage, a1étant valeur numérique réelle inférieure à 1.
Un critère d’acceptation a1= 0,01 peut être utilisé dans ce mode de réalisation. Des critères d’acceptation plus stricts peuvent bien entendu être choisis, par exemple a1= 0,001 mais alors l’étape d’apprentissage est plus longue en durée.
Dans un autre mode de réalisation selon l’invention, l’étape d’apprentissage est considérée terminée lorsque la formule suivante est vérifiée :
avec N : nombre entier supérieur ou égal à 1, représentant le nombre d’éléments présents dans la base d’apprentissage,
PRr: carte de sortie du réseau de neurones pour l’élément r de la base d’apprentissage, r étant un nombre entier au moins égal à 1 et inférieur ou égal à N,
BDr : résultat connu pour un élément r, soit 0 pour une tentative de falsification et 1 pour une personne réelle,
a1: critère d’acceptation pour l’ensemble de la base de données d’apprentissage, a1étant une valeur numérique réelle inférieure à 1.
Un critère d’acceptation a1= 0,01 peut être utilisé dans ce mode de réalisation. Des critères d’acceptation plus stricts peuvent bien entendu être choisis, par exemple a1= 0,001 mais alors l’étape d’apprentissage est plus longue en durée.
Après cette étape d’apprentissage, si de nouvelles données thermiques et données visibles et/ou données infrarouge proche ne figurant pas dans la base d’apprentissage constituent un nouvelle carte d’entrée, alors le réseau de neurones calcule une nouvelle grandeur représentative de la probabilité PR de présence d’une personne (3) réelle dans le milieu (1).
En fonction du résultat PR, le processeur principal (271) détermine s’il y a eu tentative de falsification en comparant avec un seuil fixé a2auparavant : par exemple, une valeur de peut être utilisée pour confirmer la présence d’une personne vivante (3) ou dans le cas d’une validation encore plus stricte, alors une valeur de peut être utilisée.
Un autre aspect du procédé selon l’invention concerne la possibilité d’utiliser comme carte d’entrée du réseau de neurones (270) les données thermiques et lorsqu’il y a lieu, les données visibles et/ou les données infrarouge proche, non plus à un instant noté t0unique mais lors d’une succession q d’instants temporels successifs {t0,…,tq-1} avec q nombre entier supérieur à 1, le procédé étant donc utilisable à partir de l’instant tq-1.
Dans ce cadre, les dimensions du réseau de neurones (270) sont adaptées pour prendre en compte l’augmentation du nombre d’éléments de la carte d’entrée : dans un mode de réalisation préféré selon l’invention, le nombre i, nombre entier représentant le nombre de cartes de sortie générées par la première couche de convolution du réseau de neurones (270), par rapport à l’utilisation d’un seul instant de capture des données thermiques et visuelles, noté t0, est multiplié par le nombre d’éléments q pris en compte par le procédé et de la même façon, la carte d’entrée comporte les q éléments I(z)h,v, correspondant aux données thermiques et visibles et/ou données infrarouge proche des instants {t0,…,tq-1} considérées, les autres étapes du réseau de neurones décrites précédemment restant valides.
Un dernier aspect du procédé selon l’invention est la possibilité d’utiliser le système de prises de vues (2) pour en plus détecter le déplacement de la personne (3) dans le milieu (1).
A nouveau, le procédé utilise comme carte d’entrée du réseau de neurones (270) les données thermiques et lorsqu’il y a lieu, les données visibles et/ou données infrarouge proche, non plus à un instant noté t0unique mais lors d’une succession q d’instants temporels successifs {t0,…,tq-1} avec q nombre entier supérieur à 1, le procédé étant accessible à partir de l’instant tq-1.
Le système de prises de vues (2) est agencé de manière à pouvoir réaliser les clichés de la personne (3) dans le milieu (1) et donc dans un mode de réalisation préféré selon l’invention, par l’utilisation des optiques (220) et (240) définies précédemment ayant le plus grand champ de visée.
En utilisant le réseau de neurones (270) selon l’invention, le processeur (271) de l’ordinateur (27) calcule les probabilités PR0...PRq-1successives, à partir des cartes d’entrée prises à chaque instant t0,… tq-1.
Lorsque successivement, u probabilités PR satisfont le critère d’acceptation , u étant un nombre entier supérieur à 1, alors le procédé a validé la présence de la personne (3) à diverses positions du milieu (1).
Dans ce cas, en utilisant les données thermiques et/ou visibles et/ou données infrarouge proche, le processeur (271) de l’ordinateur peut aussi estimer un positionnement de la personne (3) dans le milieu (1).
Dans un mode de réalisation selon l’invention, le processeur (271) extrait des données thermiques l’élément matriciel de plus grande valeur et attribue à cet élément une estimation de la position de la personne (3).
Dans un autre mode de réalisation selon l’invention, le processeur (271) soustrait aux données thermiques DT(td) de l’instant td, d nombre entier plus grand que 1, les données thermiques DT(td-1) de l’instant td-1et attribue à l’élément matriciel correspondant à la plus grande valeur absolue de la différence DT(td)-DT(td-1),une estimation de la position de la personne (3) dans le milieu (1).
Dès lors, le procédé selon l’invention est capable à la fois de valider la présence d’une personne (3) dans le milieu (1) et de fournir une estimation de son positionnement et/ou déplacement.
Comme il va de soi, et comme il résulte d'ailleurs de ce qui précède, l'invention n'est pas limitée aux modes de réalisation particuliers qui viennent d'être décrits ; elle en embrasse au contraire toutes les variantes.

Claims (27)

  1. Procédé de traitement d'images comportant les étapes suivantes :

    acquérir des données représentatives d’une image dans le domaine spectral infrarouge thermique, appelée données thermiques, d’une personne dans un milieu au moyen d’un capteur matriciel,

    et est essentiellement caractérisé en qu’il comporte les étapes suivantes:

    mémoriser ces données thermiques,
    transmettre ces données thermiques à un processeur,
    traiter ces données thermiques par un processeur,
    générer une grandeur représentative de la probabilité de présence effective d’une personne vivante à l’aide d’un réseau de neurones dont les entrées sont les données thermiques.
  2. Procédé selon la revendication 1 caractérisé en ce qu’une étape est prévue pour acquérir les données représentatives du visage de la personne pour constituer les données thermiques.
  3. Procédé selon l’une quelconque des revendications 1 à 2 caractérisé en ce qu’il comporte une étape pour acquérir des données représentatives de la même personne, appelées données visibles, dans le domaine spectral visible au moyen d’une caméra, le réseau de neurones ayant en plus les données visibles parmi ses entrées.
  4. Procédé selon la revendication 3, caractérisé en ce qu’une étape est prévue pour acquérir les données représentatives du visage de la personne pour constituer les données visibles.
  5. Procédé selon l’une quelconque des revendications 3 à 4, caractérisé en ce qu’une étape est prévue pour utiliser des données représentatives d’une reconstruction en trois dimensions de la personne dans le milieu.
  6. Procédé selon l’une quelconque des revendications 3 à 5, caractérisé en ce qu’une étape est prévue pour acquérir des données représentatives d’une image, appelée données infrarouge proche, de la personne dans le domaine spectral infrarouge proche au moyen de la même caméra, le réseau de neurones ayant en plus les données infrarouges proche parmi ses entrées.
  7. Procédé selon l’une quelconque des revendications 1 à 6 caractérisé en ce que l’on utilise un réseau de neurones à convolutions.
  8. Procédé selon la revendication 7 caractérisé en ce que l’on utilise un réseau de neurones à convolutions comprenant deux couches de convolution, deux couches de sous-échantillonnage et une couche complètement connectée.
  9. Procédé selon l’une quelconque des revendications 1 à 8, caractérisé en ce qu’une étape est prévue pour acquérir les données thermiques au cours du temps pour constituer les entrées du réseau de neurones.
  10. Procédé selon l’une quelconque des revendications 3 à 9, caractérisé en ce qu’une étape est prévue pour acquérir les données visibles au cours du temps pour constituer les entrées du réseau de neurones.
  11. Procédé selon l’une quelconque des revendications 6 à 10, caractérisé en ce qu’une étape est prévue pour acquérir les données infrarouge proche au cours du temps pour constituer les entrées du réseau de neurones.
  12. Procédé selon l’une quelconque des revendications 10 à 11, caractérisé en ce qu’une étape est prévue pour générer une grandeur représentative de la probabilité de déplacement de la personne.
  13. Procédé selon l’une quelconque des revendications 3 à 12 caractérisé en ce qu’une étape est prévue pour redimensionner la taille des données visibles et/ou les données infrarouge proche à la taille des données thermiques.
  14. Procédé selon l’une quelconque des revendications 3 à 13 caractérisé en ce qu’une étape est prévue pour introduire un décalage temporel entre les données thermiques et les données visibles.
  15. Système de traitement d'images comportant :

    un système de prises de vues, agencé de manière à permettre la prise d'images dans le domaine infrarouge thermique d’une personne dans un milieu, les moyens de prises de vues fournissant des données numériques représentatives des images appelées données thermiques,

    et est essentiellement caractérisé par :

    des moyens de mémorisation des données thermiques,
    des moyens de transmission de ces données thermiques,
    des moyens d'exploitation pour exploiter ces données thermiques,
    les moyens d'exploitation comportant un réseau de neurones agencé pour générer une grandeur représentative de la probabilité de présence effective d’une personne vivante, les entrées du réseau de neurones étant les données thermiques.
  16. Système selon la revendication 14 caractérisé en ce que le système de prises de vues est agencé de manière à permettre la prise d’images dans le domaine infrarouge thermique du visage de la personne.
  17. Système selon l’une quelconque des revendication 15 à 16 caractérisé en ce que le système de prises de vues, est également agencé de manière à permettre la prise d’images de la personne dans le domaine visible, les moyens de prises de vues fournissant des données numériques représentatives des images appelées données visibles, le réseau de neurones ayant en plus les données visibles parmi ses entrées.
  18. Système selon la revendication 17 caractérisé en ce que les moyens d’exploitation sont agencés de manière à permettre la prise d’images du visage de la personne.
  19. Système selon l’une quelconque des revendications 17 à 18 caractérisé en ce que les moyens d’exploitation utilisent des données représentatives d’une reconstruction en trois dimensions de la personne dans le milieu.
  20. Système selon l’une quelconque des revendications 17 à 19 caractérisé en ce que le système de prises de vues est agencé pour permettre la prise d’images de la personne dans le domaine infrarouge proche, les moyens fournissant des données numériques des images appelées données infrarouge proche, le réseau de neurones ayant en plus les données infrarouge proche parmi ses entrées.
  21. Système selon l’une quelconque des revendications 15 à 20 caractérisé en ce que le réseau de neurones est agencé comme un réseau de neurones à convolutions.
  22. Système selon la revendication 21 caractérisé en ce que le réseau de neurones est agencé comme un réseau de neurones à convolutions comportant deux couches de convolutions, deux couches de sous-échantillonnage et une couche complètement connectée.
  23. Système selon l’une quelconque des revendications 15 à 22 caractérisé en ce que les moyens d’exploitation sont agencés pour utiliser les données thermiques au cours du temps pour constituer les entrées du réseau de neurones.
  24. Système selon l’une quelconque des revendications 17 à 23 caractérisé en ce que les moyens d’exploitation sont agencés pour utiliser les données visibles au cours du temps comme entrées du réseau de neurones.
  25. Système selon l’une quelconque des revendications 20 à 24 caractérisé en ce que les moyens d’exploitation sont agencés pour utiliser les données infrarouge proche au cours du temps comme entrées du réseau de neurones.
  26. Système selon l’une quelconque des revendication 15 à 25 caractérisé en ce que les moyens d’exploitation sont agencés pour exploiter les données thermiques au cours du temps et générer une grandeur représentative de la probabilité de déplacement de la personne au cours du temps.
  27. Système selon l’une quelconque des revendications 17 à 26 caractérisé en ce que les moyens d’exploitation sont agencés pour redimensionner la taille des données visibles et/ou données infrarouge proche à la taille des données thermiques.
    Système selon l’une quelconque des revendications 17 à 27 caractérisé en ce que les moyens d’exploitation sont agencés de manière à introduire un décalage temporel entre les données thermiques et les données visibles.
FR1903799A 2019-04-09 2019-04-09 Procédés et dispositifs de levée de doute biométrique Pending FR3095064A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1903799A FR3095064A1 (fr) 2019-04-09 2019-04-09 Procédés et dispositifs de levée de doute biométrique

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1903799 2019-04-09
FR1903799A FR3095064A1 (fr) 2019-04-09 2019-04-09 Procédés et dispositifs de levée de doute biométrique

Publications (1)

Publication Number Publication Date
FR3095064A1 true FR3095064A1 (fr) 2020-10-16

Family

ID=67810783

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1903799A Pending FR3095064A1 (fr) 2019-04-09 2019-04-09 Procédés et dispositifs de levée de doute biométrique

Country Status (1)

Country Link
FR (1) FR3095064A1 (fr)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020136435A1 (en) 2001-03-26 2002-09-26 Prokoski Francine J. Dual band biometric identification system
EP1533744A2 (fr) 2003-11-19 2005-05-25 Samsung Electronics Co., Ltd. Dispositif et méthode pour distinguer des êtres humains avec de la lumière infrarouge
WO2006003612A1 (fr) 2004-07-02 2006-01-12 Koninklijke Philips Electronics N.V. Detection et/ou reconnaissance faciale(s)
US20060104488A1 (en) 2004-11-12 2006-05-18 Bazakos Michael E Infrared face detection and recognition system
US7147153B2 (en) 2003-04-04 2006-12-12 Lumidigm, Inc. Multispectral biometric sensor
WO2010128931A1 (fr) 2009-05-05 2010-11-11 Scania Cv Ab Porte-fusible et boîtier à fusible à bord d'un véhicule
WO2014004179A1 (fr) 2012-06-26 2014-01-03 Qualcomm Incorporated Systèmes et procédé de vérification d'un visage
WO2015040001A2 (fr) 2013-09-19 2015-03-26 Muehlbauer Ag Dispositif, système et procédé d'identification d'une personne
US9230158B1 (en) 2012-12-18 2016-01-05 Amazon Technologies, Inc. Fraud detection for facial recognition systems
WO2017007092A1 (fr) 2015-07-06 2017-01-12 Samsung Electronics Co., Ltd. Dispositif d'affichage incurvé
WO2017070920A1 (fr) 2015-10-30 2017-05-04 Microsoft Technology Licensing, Llc Détection de visage falsifié
US9886640B1 (en) * 2016-08-08 2018-02-06 International Business Machines Corporation Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor
WO2018058554A1 (fr) 2016-09-30 2018-04-05 Intel Corporation Anti-mystification de visage à l'aide d'une analyse de réseau neuronal convolutif spatial et temporel
US10169671B2 (en) 2017-02-17 2019-01-01 Motorola Mobility Llc Face detection with temperature and distance validation
CN109558840A (zh) * 2018-11-29 2019-04-02 中国科学院重庆绿色智能技术研究院 一种特征融合的活体检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020136435A1 (en) 2001-03-26 2002-09-26 Prokoski Francine J. Dual band biometric identification system
US7147153B2 (en) 2003-04-04 2006-12-12 Lumidigm, Inc. Multispectral biometric sensor
EP1533744A2 (fr) 2003-11-19 2005-05-25 Samsung Electronics Co., Ltd. Dispositif et méthode pour distinguer des êtres humains avec de la lumière infrarouge
WO2006003612A1 (fr) 2004-07-02 2006-01-12 Koninklijke Philips Electronics N.V. Detection et/ou reconnaissance faciale(s)
US20060104488A1 (en) 2004-11-12 2006-05-18 Bazakos Michael E Infrared face detection and recognition system
WO2010128931A1 (fr) 2009-05-05 2010-11-11 Scania Cv Ab Porte-fusible et boîtier à fusible à bord d'un véhicule
WO2014004179A1 (fr) 2012-06-26 2014-01-03 Qualcomm Incorporated Systèmes et procédé de vérification d'un visage
US9230158B1 (en) 2012-12-18 2016-01-05 Amazon Technologies, Inc. Fraud detection for facial recognition systems
WO2015040001A2 (fr) 2013-09-19 2015-03-26 Muehlbauer Ag Dispositif, système et procédé d'identification d'une personne
WO2017007092A1 (fr) 2015-07-06 2017-01-12 Samsung Electronics Co., Ltd. Dispositif d'affichage incurvé
WO2017070920A1 (fr) 2015-10-30 2017-05-04 Microsoft Technology Licensing, Llc Détection de visage falsifié
US9886640B1 (en) * 2016-08-08 2018-02-06 International Business Machines Corporation Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor
WO2018058554A1 (fr) 2016-09-30 2018-04-05 Intel Corporation Anti-mystification de visage à l'aide d'une analyse de réseau neuronal convolutif spatial et temporel
US10169671B2 (en) 2017-02-17 2019-01-01 Motorola Mobility Llc Face detection with temperature and distance validation
CN109558840A (zh) * 2018-11-29 2019-04-02 中国科学院重庆绿色智能技术研究院 一种特征融合的活体检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BHATTACHARJEE SUSHIL ET AL: "What You Can't See Can Help You - Extended-Range Imaging for 3D-Mask Presentation Attack Detection", 2017 INTERNATIONAL CONFERENCE OF THE BIOMETRICS SPECIAL INTEREST GROUP (BIOSIG), GESELLSCHAFT FUER INFORMATIK, 20 September 2017 (2017-09-20), pages 1 - 7, XP033159447, DOI: 10.23919/BIOSIG.2017.8053524 *
DANIEL KONIG ET AL: "Fully Convolutional Region Proposal Networks for Multispectral Person Detection", CORR (ARXIV), 1 July 2017 (2017-07-01), pages 243 - 250, XP055570464, ISBN: 978-1-5386-0733-6, DOI: 10.1109/CVPRW.2017.36 *
JONGWOO SEO ET AL: "Face Liveness Detection Using Thermal Face-CNN with External Knowledge", SYMMETRY, vol. 11, no. 3, 10 March 2019 (2019-03-10), pages 360, XP055651616, ISSN: 2073-8994, DOI: 10.3390/sym11030360 *
T. MOONSL. VAN GOOLM. VERGAUWEN, FOUNDATIONS AND TRENDS IN COMPUTER GRAPHICS AND VISION, vol. 4, no. 4, 2008, pages 287 - 404

Similar Documents

Publication Publication Date Title
EP1694058A1 (fr) Procédé et dispositif de capture d'images comprenant une mesure de mouvements locaux
EP3388975A1 (fr) Dispositif de capture d'une empreinte d'une partie corporelle
EP3707676A1 (fr) Procédé d'estimation de pose d'une caméra dans le référentiel d'une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d'ordinateur associé
EP3674973A1 (fr) Procédé et appareil de détection de vivacité et reconnaissance d'objet
FR3067242A1 (fr) Procede d'evaluation d'une gouttiere orthodontique
FR3088467A1 (fr) Procede de classification d'une image d'entree representative d'un trait biometrique au moyen d'un reseau de neurones a convolution
EP3714399A1 (fr) Dispositif de détection hyperspectrale
EP3388976B1 (fr) Procede de detection de fraude
Bauer et al. Automatic estimation of modulation transfer functions
EP2947433A1 (fr) Système et procédé d'acquisition d'images hyperspectrales
WO2020127422A1 (fr) Dispositif de détection hyperspectrale
EP3866064A1 (fr) Procede d'authentification ou d'identification d'un individu
FR3053500B1 (fr) Procede de detection de fraude d'un systeme de reconnaissance d'iris
EP2909671B1 (fr) Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur de champ
FR3055721A1 (fr) Procede de reconnaissance de caracteres en reliefs, produit programme d'ordinateur et dispositif correspondants
EP3087551B1 (fr) Procédé d'analyse d'images du visage pour la détection d'un effet flush
FR3071124B1 (fr) Dispositif de capture d'une image hyperspectrale
FR3084944A1 (fr) Procede de traitement d'images d'empreintes
EP3726423B1 (fr) Dispositif et procédé d'acquisition et de traitement biométrique
FR3042058A1 (fr) Procede de classification d'un produit par analyse de la distribution des couleurs du produit
FR3095064A1 (fr) Procédés et dispositifs de levée de doute biométrique
EP3073441A1 (fr) Procédé de correction d'une image d'au moins un objet présenté à distance devant un imageur et éclairé par un système d'éclairage et système de prise de vues pour la mise en oeuvre dudit procédé
US9319578B2 (en) Resolution and focus enhancement
EP2825995B1 (fr) Système pour déterminer l'identification d'un appareil photographique a partir d'une photographie et procédé mis en oeuvre dans un tel système
WO2021255069A1 (fr) Procédé d'authentification d'un élément optiquement variable.

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20201016

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5