FR3118255A1 - Acquisition and processing of images, perfected, of capillaries at the base of the nail - Google Patents

Acquisition and processing of images, perfected, of capillaries at the base of the nail Download PDF

Info

Publication number
FR3118255A1
FR3118255A1 FR2014104A FR2014104A FR3118255A1 FR 3118255 A1 FR3118255 A1 FR 3118255A1 FR 2014104 A FR2014104 A FR 2014104A FR 2014104 A FR2014104 A FR 2014104A FR 3118255 A1 FR3118255 A1 FR 3118255A1
Authority
FR
France
Prior art keywords
images
image
sub
nail
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2014104A
Other languages
French (fr)
Other versions
FR3118255B1 (en
Inventor
Magali CROQUETTE
Vincent Croquette
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre Hospitalier Universitaire De Poitiers Fr
Centre National de la Recherche Scientifique CNRS
Ecole Superieure de Physique et Chimie Industrielles de Ville Paris
Ecole Normale Superieure
Sorbonne Universite
Paris Sciences et Lettres Quartier Latin
Universite Paris Cite
Original Assignee
Centre Hospitalier Univ De Poitiers
Centre National de la Recherche Scientifique CNRS
Ecole Superieure de Physique et Chimie Industrielles de Ville Paris
Ecole Normale Superieure
Centre Hospitalier Universitaire de Poitiers
Sorbonne Universite
Paris Sciences et Lettres Quartier Latin
Universite de Paris
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre Hospitalier Univ De Poitiers, Centre National de la Recherche Scientifique CNRS, Ecole Superieure de Physique et Chimie Industrielles de Ville Paris , Ecole Normale Superieure, Centre Hospitalier Universitaire de Poitiers, Sorbonne Universite, Paris Sciences et Lettres Quartier Latin, Universite de Paris filed Critical Centre Hospitalier Univ De Poitiers
Priority to FR2014104A priority Critical patent/FR3118255B1/en
Priority to PCT/FR2021/052247 priority patent/WO2022136758A1/en
Priority to EP21847994.7A priority patent/EP4268182A1/en
Publication of FR3118255A1 publication Critical patent/FR3118255A1/en
Application granted granted Critical
Publication of FR3118255B1 publication Critical patent/FR3118255B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

L’invention concerne l’acquisition et le traitement d’images de vaisseaux capillaires localisés à la bordure proximale d’un ongle d’un patient. On prévoit en particulier de : - commander l’acquisition par une caméra d’une pluralité d’images successives de la bordure proximale de l’ongle en balayant un plan de netteté perpendiculairement à la bordure proximale de l’ongle de telle façon qu’un ensemble de plans de netteté couvre des détails respectifs des capillaires de sous unguéaux, - subdiviser chaque image acquise en une pluralité de sous-images ayant des positions respectives correspondant à différentes régions d’image acquise, et pour chaque même région d’image, de sélectionner, parmi les sous-images de cette même région, au moins une sous-image de plus fort contraste selon un critère choisi, caractérisant une portion nette d’image, et - reconstruire une image nette en chaque région à partir des sous-images sélectionnées, comme l’image illustrée sur la figure 1. Figure de l’abrégé : Figure 1The invention relates to the acquisition and processing of images of capillary vessels located at the proximal edge of a patient's nail. Provision is made in particular for: - controlling the acquisition by a camera of a plurality of successive images of the proximal edge of the nail by scanning a plane of sharpness perpendicular to the proximal edge of the nail in such a way that a set of sharpness planes covers respective details of the subungual capillaries, - subdividing each acquired image into a plurality of sub-images having respective positions corresponding to different regions of acquired image, and for each same image region, to select, among the sub-images of this same region, at least one sub-image of stronger contrast according to a chosen criterion, characterizing a sharp portion of the image, and - to reconstruct a sharp image in each region from the sub- selected images, like the image shown in Figure 1. Abstract Figure: Figure 1

Description

Acquisition et traitement d’images, perfectionnés, de capillaires à la base de l’ongleAcquisition and processing of images, perfected, of capillaries at the base of the nail

La présente divulgation relève du domaine du traitement de données d’images, en particulier de vidéocapillaroscopie.This disclosure relates to the field of image data processing, in particular videocapillaroscopy.

La vidéocapillaroscopie est actuellement la méthode de référence utilisée en médecine interne et médecine vasculaire pour la détection d’anomalies morphologiques de la microcirculation rencontrées dans certaines maladies auto-immunes systémiques.Videocapillaroscopy is currently the reference method used in internal medicine and vascular medicine for the detection of morphological abnormalities of the microcirculation encountered in certain systemic autoimmune diseases.

Cet outil permet de réaliser un diagnostic de certaines connectivités auto-immunes, tout particulièrement la sclérodermie systémique. Certaines anomalies capillaires (capillaires géants, hémorragies, raréfaction capillaire et architecture anarchique) caractérisent plus de 95% des patients atteints, ce qui conforme une corrélation entre la pathologie et l’observation sur des images de ces capillaires. Le paysage sclérodermique capillaroscopique est donc devenu un critère diagnostique majeur.This tool makes it possible to carry out a diagnosis of certain autoimmune connectivities, in particular systemic scleroderma. Certain capillary abnormalities (giant capillaries, hemorrhages, capillary rarefaction and anarchic architecture) characterize more than 95% of affected patients, which confirms a correlation between the pathology and the observation on images of these capillaries. The capillaroscopic scleroderma landscape has therefore become a major diagnostic criterion.

Dans des images acquises, une étude de la forme des capillaires sanguins à la base de l’ongle (capillaires de la peau avant la lunule comme illustrée sur la ) permet alors d’établir un diagnostic fiable sur la maladie et son stade. Sur la , les capillaires apparaissent ici selon des formes longilignes plus sombres que le reste de la peau du patient.In acquired images, a study of the shape of the blood capillaries at the base of the nail (capillaries of the skin before the lunula as shown in the ) then makes it possible to establish a reliable diagnosis of the disease and its stage. On the , the capillaries here appear in slender shapes that are darker than the rest of the patient's skin.

Au cours du suivi de la sclérodermie systémique, certains profils capillaroscopiques sont associés avec le stade de la maladie et sa sévérité, ainsi que le risque de récurrence et de complication comme les ulcères digitaux. À l’heure actuelle, ces études reposent principalement sur des données subjectives de la capillaroscopie, en utilisant typiquement une classification décrivant différents stades d’atteintes capillaires dans la sclérodermie précoce, active et tardive en se basant principalement sur des données qualitatives. En effet, de nos jours, l’obtention des images acquises des capillaires se fait avec un grossissement élevé et les conditions d’acquisitions de ces images sont sensibles. Aussi, elles peuvent être variables d’un utilisateur à l’autre et leur interprétation peut varier aussi d’un utilisateur à l’autre. Une analyse plus quantitative de ces anomalies capillaires permettrait de s’affranchir du caractère peu reproductible des résultats. Jusqu’à ce jour, l’utilisation d’une méthode d’analyse quantitative est compromise par plusieurs limitations techniques des dispositifs d’acquisition d’images classiques, présentées ci-après.During the follow-up of systemic sclerosis, certain capillaroscopic profiles are associated with the stage of the disease and its severity, as well as the risk of recurrence and complications such as digital ulcers. At present, these studies rely mainly on subjective data from capillaroscopy, typically using a classification describing different stages of capillary damage in early, active and late scleroderma based mainly on qualitative data. Indeed, nowadays, the acquisition of acquired images of capillaries is done with a high magnification and the acquisition conditions of these images are sensitive. Also, they may vary from one user to another and their interpretation may also vary from one user to another. A more quantitative analysis of these capillary abnormalities would make it possible to overcome the poorly reproducible nature of the results. Until now, the use of a quantitative analysis method has been compromised by several technical limitations of conventional image acquisition devices, presented below.

Les dispositifs actuels connus pâtissent des inévitables mouvements résiduels de quelques dizaines de microns des doigts du patient lors de l’acquisition d’une ou de plusieurs images à la base de l’ongle et restent aussi affectés par différents mouvements de la caméra, et/ou par une mauvaise position du doigt.Known current devices suffer from the inevitable residual movements of a few tens of microns of the patient's fingers during the acquisition of one or more images at the base of the nail and also remain affected by various movements of the camera, and/ or by a bad position of the finger.

La position de mise au point varie beaucoup d’un point à l’autre du doigt à cause de sa courbure. Comme illustré sur les figures 2A et 2B représentant des images acquises avec des mises au point respectivement focalisées :
- sur les bords latéraux de l’ongle d’une part, et
- sur le sommet de l’ongle d’autre part,
il apparait qu’aucune des deux images 2A et 2B ne peut être nette partout. En effet, compte tenu de la forme non plane habituelle d’un ongle, et de la faiblesse de la profondeur de champ pour l’acquisition de ces images, l’image 2A montre des capillaires nets seulement en-dessous des bords latéraux de l’ongle et l’image 2B montre des capillaires nets seulement sous le centre de l’ongle. Pour tous les dispositifs de ce type, dits « vidéocapillaroscopes » ci-après, l’objectif réalise un grossissement important et il doit disposer d’une grande ouverture, suffisante pour fournir la luminosité nécessaire de l’image. Ceci conduit à une faible profondeur de champ. Le protocole d’autofocus est actuellement utilisé pour pallier cet inconvénient. Cependant, cette technique n’est pas pleinement satisfaisante notamment quand le champ d’intérêt présente une courbure notable comme c’est le cas de l’ongle en vidéocapillaroscopie. D’ailleurs, la plupart des vidéocapillaroscopes ne permettent qu’une acquisition très partielle de l’ensemble du lit capillaire unguéal.
The focus position varies a lot from point to point of the finger due to its curvature. As illustrated in Figures 2A and 2B representing images acquired with focused focus respectively:
- on the lateral edges of the nail on the one hand, and
- on the top of the nail on the other hand,
it appears that neither of the two images 2A and 2B can be sharp everywhere. Indeed, given the usual non-planar shape of a fingernail, and the weakness of the depth of field for the acquisition of these images, image 2A shows net capillaries only below the lateral edges of the nail. nail and Image 2B shows clear capillaries only under the center of the nail. For all devices of this type, referred to as “videocapillaroscopes” below, the objective achieves a high magnification and it must have a large aperture, sufficient to provide the necessary brightness of the image. This leads to a shallow depth of field. The autofocus protocol is currently used to overcome this drawback. However, this technique is not entirely satisfactory, especially when the field of interest has a notable curvature, as is the case with the nail in videocapillaroscopy. Moreover, most videocapillaroscopes only allow very partial acquisition of the entire nail capillary bed.

Les caméras utilisées actuellement en vidéocapillaroscopie ont bénéficié de l’augmentation récente de la résolution des appareils d’acquisition d’images. Cependant les progrès technologiques ont actuellement atteint leurs limites en termes de rapport signal sur bruit. Le rapport du signal sur le bruit de fond des meilleures caméras est maintenant limité par le bruit de photons qui constitue une limite absolue dans le cas d’une prise de vue unique. Par ailleurs, la qualité de l’acquisition des couleurs repose actuellement sur les améliorations de la qualité intrinsèque des caméras couleur et dépendent également du protocole d’éclairage, ce qui peut apporter aussi une limite technique liée à la faiblesse de l’acquisition couleur.The cameras currently used in videocapillaroscopy have benefited from the recent increase in the resolution of image acquisition devices. However, technological progress has currently reached its limits in terms of signal to noise ratio. The signal to noise ratio of the best cameras is now limited by photon noise which is an absolute limit in the case of a single shot. Furthermore, the quality of color acquisition is currently based on improvements in the intrinsic quality of color cameras and also depends on the lighting protocol, which can also bring a technical limit related to the weakness of color acquisition.

Pour pallier de tels problèmes, on pourrait recourir à des techniques de reconnaissance de forme des capillaires, voire à des techniques plus sophistiquées d’intelligence artificielle. Toutefois, la forme des capillaires peut en réalité varier fortement, notamment dans le cas d’une présence de pathologie, et notamment en fonction du stade de la pathologie, ce qui rend prohibitive une mise en œuvre de telles techniques dans ce contexte.To overcome such problems, we could use capillary shape recognition techniques, or even more sophisticated artificial intelligence techniques. However, the shape of the capillaries can in reality vary greatly, in particular in the case of the presence of pathology, and in particular depending on the stage of the pathology, which makes it prohibitive to implement such techniques in this context.

RésuméSummary

La présente divulgation vient améliorer la situation.This disclosure improves the situation.

Il est proposé un procédé d’acquisition et de traitement d’images de vaisseaux capillaires localisés à la base d’un ongle de doigt de main d’un patient, le procédé comprenant :
- commander l’acquisition par une caméra d’une pluralité d’images successives de la base l’ongle en balayant un plan de netteté perpendiculairement à la base de l’ongle de telle façon qu’un ensemble de plans de netteté couvre des détails respectifs des capillaires de l’ongle,
- subdiviser chaque image acquise en une pluralité de sous-images ayant des positions respectives correspondant à différentes régions d’image acquise, et pour chaque même région d’image, sélectionner, parmi les sous-images de cette même région, au moins une sous-image de plus fort contraste selon un critère choisi, caractérisant une portion nette d’image, et
- reconstruire une image nette en chaque région à partir des sous-images sélectionnées.
There is proposed a method for acquiring and processing images of capillary vessels located at the base of a fingernail of a patient's hand, the method comprising:
- control the acquisition by a camera of a plurality of successive images of the base of the nail by scanning a plane of sharpness perpendicular to the base of the nail in such a way that a set of planes of sharpness covers details respective capillaries of the nail,
- subdividing each acquired image into a plurality of sub-images having respective positions corresponding to different acquired image regions, and for each same image region, selecting, among the sub-images of this same region, at least one sub-image -image with the strongest contrast according to a chosen criterion, characterizing a sharp portion of the image, and
- reconstruct a sharp image in each region from the selected sub-images.

Le balayage précité peut s’effectuer en déplaçant la caméra et en conservant un réglage constant en focale, ou alternativement avec une caméra fixe, mais une modulation de la distance focale de l’objectif de la caméra.The aforementioned scanning can be carried out by moving the camera and maintaining a constant focal length adjustment, or alternatively with a fixed camera, but a modulation of the focal length of the camera lens.

Ainsi, dans la première réalisation ci-dessus, on peut commander un déplacement de la caméra dans une direction perpendiculaire (ou sensiblement perpendiculaire) à la base de l’ongle et la caméra est commandée alors pour acquérir, pendant le déplacement, une pluralité d’images successives de la base de l’ongle (et plus spécifiquement de la bordure proximale de l’ongle). Dans une telle réalisation, la caméra est alors réglée avec une focale constante pendant le déplacement, et telle que l’une au moins des images acquises est nette en un sommet de la base de l’ongle, et l’une au moins des autres images acquises est nette en des bords latéraux de la base de l’ongle.Thus, in the first embodiment above, it is possible to control a movement of the camera in a direction perpendicular (or substantially perpendicular) to the base of the nail and the camera is then controlled to acquire, during the movement, a plurality of successive images of the base of the nail (and more specifically of the proximal edge of the nail). In such an embodiment, the camera is then adjusted with a constant focal length during movement, and such that at least one of the acquired images is sharp at a top of the base of the nail, and at least one of the others acquired images are clear in the lateral edges of the base of the nail.

Pour reconstruire l’image nette précitée, on peut procéder par exemple en accolant les sous-images sélectionnées pour des régions d’images respectives, en ayant éventuellement au préalable réalisé une moyenne sur plusieurs sous-images nettes pour une même région.To reconstruct the aforesaid sharp image, one can proceed for example by juxtaposing the sub-images selected for respective image regions, possibly having previously carried out an average over several sharp sub-images for the same region.

Toutefois, avant de réaliser cette étape, il convient de s’assurer que les zones d’images censées être nettes et pertinentes comportent bien des détails d’images de capillaires et non pas du bruit.However, before performing this step, it should be ensured that the image areas that are supposed to be sharp and relevant do indeed contain capillary image details and not noise.

Dans une réalisation, on applique alors aux sous-images une transformée de Fourier pour obtenir un nombre de modes dans un domaine transformé quantifiant le contraste selon le critère choisi, précité.In one embodiment, a Fourier transform is then applied to the sub-images to obtain a number of modes in a transformed domain quantifying the contrast according to the aforementioned chosen criterion.

Dans une telle réalisation, le nombre de modes de chaque sous-image peut être comparé à un seuil pour sélectionner, pour chaque région d’image, les sous-images dont (ici) le nombre de modes est supérieur audit seuil. Une partie au moins des sous-images sélectionnées pour une région donnée peut ensuite être moyennée pour obtenir une sous-image moyennée, qui est alors représentative d’une portion nette d’image correspondant à cette région donnée.In such an embodiment, the number of modes of each sub-image can be compared to a threshold to select, for each image region, the sub-images whose (here) the number of modes is greater than said threshold. At least part of the sub-images selected for a given region can then be averaged to obtain an averaged sub-image, which is then representative of a sharp image portion corresponding to this given region.

Par ailleurs, on peut estimer une intercorrélation spatiale entre des sous-images d’une même région pour vérifier si aucun mouvement relatif de la base de l’ongle par rapport à la caméra ne s’est produit pendant le déplacement de la caméra, et dans le cas contraire d’un mouvement relatif constaté, on peut alors rechercher un maximum d’intercorrélation spatiale entre les sous-images pour corriger par recalage, en fonction de ce maximum, des positions estimées de sous-images déterminées comme associées au mouvement relatif constaté.Furthermore, one can estimate a spatial intercorrelation between sub-images of the same region to check whether any relative movement of the base of the nail with respect to the camera has occurred during the movement of the camera, and in the opposite case of observed relative movement, it is then possible to seek a maximum of spatial intercorrelation between the sub-images to correct by resetting, as a function of this maximum, the estimated positions of sub-images determined as associated with the relative movement found.

Dans une réalisation, pour chaque image acquise, les sous-images de l’image acquise sont construites de sorte que deux sous-images adjacentes se recouvrent partiellement. Ainsi, la reconstruction de l’image nette en chaque région peut être menée par recherche d’un maximum de corrélation entre au moins une sous-image sélectionnée d’une première région d’image et au moins une sous-image sélectionnée d’une deuxième région d’image, adjacente à la première région.In one embodiment, for each acquired image, the sub-images of the acquired image are constructed so that two adjacent sub-images partially overlap. Thus, the reconstruction of the sharp image in each region can be carried out by searching for a maximum correlation between at least one selected sub-image of a first image region and at least one selected sub-image of a second image region, adjacent to the first region.

Dans une réalisation, les images sont acquises avec un éclairage par une pluralité de jeux de diodes électroluminescentes, chaque jeu émettant une même longueur d’onde.
En particulier, les jeux de diodes peuvent être pilotés pour émettre des longueurs d’onde respectives différentes, en alternance et périodiquement, tandis que la caméra est réglée pour acquérir les images en noir et blanc.
In one embodiment, the images are acquired with illumination by a plurality of sets of light-emitting diodes, each set emitting the same wavelength.
In particular, the sets of diodes can be driven to emit different respective wavelengths, alternately and periodically, while the camera is adjusted to acquire the black and white images.

Une telle réalisation permet d’éviter l’effet d’un filtre de Bayer sur les images acquises, comme décrit en détail plus loin.
Such an embodiment makes it possible to avoid the effect of a Bayer filter on the acquired images, as described in detail below.

Selon un autre aspect, il est visé un programme informatique comportant des instructions pour la mise en œuvre du procédé ci-avant, lorsque ces instructions sont exécutées par un processeur d’un circuit de traitement.According to another aspect, it is intended a computer program comprising instructions for the implementation of the method above, when these instructions are executed by a processor of a processing circuit.

Selon un autre aspect, il est proposé aussi un support d’enregistrement non transitoire, lisible par un circuit de traitement, sur lequel est enregistré un tel programme.According to another aspect, there is also proposed a non-transitory recording medium, readable by a processing circuit, on which such a program is recorded.

Selon un autre aspect, il est proposé aussi un circuit de traitement programmé pour la mise en œuvre du procédé ci-avant.According to another aspect, a programmed processing circuit is also proposed for the implementation of the method above.

Il est proposé aussi un système d’acquisition et de traitement d’images de vaisseaux capillaires localisés à la base d’un ongle de doigt de main d’un patient, comportant au moins une caméra, ainsi qu’un tel circuit de traitement.A system for acquiring and processing images of capillary vessels located at the base of a fingernail of a patient's hand is also proposed, comprising at least one camera, as well as such a processing circuit.

Dans un tel système, la caméra peut comporter en particulier un objectif de type macro (de grossissement suffisant pour acquérir des images de capillaires).In such a system, the camera may include in particular a macro-type lens (of sufficient magnification to acquire images of capillaries).

Un tel système peut comporter en outre une pluralité de jeux de diodes électroluminescentes, chaque jeu émettant une même longueur d’onde, et les jeux de diodes émettant des longueurs d’onde respectives différentes, le circuit de traitement étant configuré en particulier pour commander un éclairage par les jeux de diodes en alternance et périodiquement.Such a system may also comprise a plurality of sets of light-emitting diodes, each set emitting the same wavelength, and the sets of diodes emitting different respective wavelengths, the processing circuit being configured in particular to control a lighting by the sets of diodes alternately and periodically.

Dans cette réalisation, l’une au moins de ces longueurs d’onde est préférentiellement située dans l’infrarouge proche (optimale pour l’observation de l’hémoglobine et donc des capillaires).In this embodiment, at least one of these wavelengths is preferentially located in the near infrared (optimal for observing hemoglobin and therefore capillaries).

Par ailleurs, dans une réalisation, ce système peut comporter en outre un dispositif de maintien du doigt du patient dans un logement, fermé par une fenêtre transparente faisant face à la caméra.Furthermore, in one embodiment, this system may further comprise a device for holding the patient's finger in a housing, closed by a transparent window facing the camera.

Dans cette réalisation, le système peut comporter en outre un rail de déplacement de la caméra dans une direction perpendiculaire à la fenêtre précitée, dans un mode de réalisation où la caméra est réglée avec une focale constante pendant son déplacement.In this embodiment, the system may further comprise a rail for moving the camera in a direction perpendicular to the aforementioned window, in an embodiment where the camera is adjusted with a constant focal length during its movement.

Par ailleurs, le logement précité peut être conformé pour comporter de l’huile de paraffine (ou alternativement tout autre liquide d’indice optique égal ou proche de celui de la peau).
Furthermore, the aforementioned housing can be shaped to include paraffin oil (or alternatively any other liquid with an optical index equal to or close to that of the skin).

D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :Other characteristics, details and advantages will appear on reading the detailed description below, and on analyzing the appended drawings, in which:

montre une image reconstruite de la base de l’ongle qui est nette partout et fait alors apparaitre, sur tout le pourtour de la base de l’ongle, des vaisseaux capillaires de sous unguéaux (voir aussi l’agrandissement représenté dans la partie inférieure de la ). shows a reconstructed image of the base of the nail which is clear everywhere and then shows, all around the base of the nail, subungual capillaries (see also the enlargement represented in the lower part of the ).

montre une image naturelle (simple image acquise) qui n’est nette que sur les bords de la base de l’ongle et floue sur le sommet de la base de l’ongle. shows a natural image (single acquired image) which is sharp only on the edges of the nail base and blurred on the top of the nail base.

montre à titre de comparaison avec la une image naturelle (simple image acquise) qui n’est nette que sur le sommet de la base de l’ongle et donc floue sur les bords de la base de l’ongle. shown for comparison with the a natural image (simple acquired image) which is clear only on the top of the base of the nail and therefore blurred on the edges of the base of the nail.

illustre schématiquement un exemple de mise en œuvre d’un dispositif au sens de la présente description. schematically illustrates an example of implementation of a device within the meaning of the present description.

montre différentes étapes d’un exemple de procédé du type ci-avant, selon un mode de réalisation. shows different steps of an exemplary method of the above type, according to one embodiment.

illustre l’évolution du nombre de modes obtenus après application d’une transformée de Fourier à deux piles distinctes de sous-images. L’une des deux piles correspond ici à une région dans laquelle se situent des capillaires (image de gauche), l’autre pile contenant très peu d’information. illustrates the evolution of the number of modes obtained after applying a Fourier transform to two distinct stacks of sub-images. One of the two stacks here corresponds to a region in which capillaries are located (left image), the other stack containing very little information.

illustre un mouvement apparent enxet enyde chaque sous-image d’un jeu de sous-images centrées sur des capillaires. Ce mouvement apparent est dû à un déplacement relatif entre le doigt et la caméra dans ce planx,y(par exemple ici à cause d’un léger tremblement du doigt pendant l’acquisition). illustrates an apparent x and y movement of each sub-image of a set of capillary-centered sub-images. This apparent movement is due to a relative displacement between the finger and the camera in this x , y plane (for example here due to a slight tremor of the finger during the acquisition).

compare à gauche et à droite des sous-images respectivement sans et avec correction du mouvement apparent précité. compares on the left and on the right of the sub-images respectively without and with correction of the aforementioned apparent movement.

Ainsi, la présente divulgation propose un dispositif, de type capillaroscope, permettant l’acquisition automatique d’au moins une image, reconstruite, nette et de haute qualité des capillaires de l’ensemble de la bordure proximale de l’ongle, depuis les bords latéraux jusqu’au centre de l’ongle . À cet effet, on prévoit l’acquisition d’une succession d’images (de type film) en appliquant un mouvement de la caméra, ce mouvement étant perpendiculaire à l’ongle (mouvement d’approche ou de recul), tandis que l’ongle est supposé fixe. Par exemple dans une réalisation, le réglage de la distance de mise au point de la caméra (ou « réglage en focale ») est fixe pendant le mouvement de la caméra. Ainsi, la caméra produit une image nette d’une zone dont la distance d0à la caméra reste constante. Les images successivement acquises sont nettes lorsque les capillaires ou les détails du doigt sont à la distance d0de la caméra. Ces zones de netteté sont différentes d’une image à l’autre, comme illustré sur les figures 2A et 2B commentées précédemment. Ici, une des images acquises au début de la succession d’images peut être la , nette pour les capillaires dans les régions des bords latéraux de l’ongle, et une image acquise à la fin de cette succession d’images peut être la qui n’est nette que dans la région correspondant au centre de l’ongle. On comprendra alors que ce mouvement de caméra permet de récupérer des images qui sont nettes dans des régions de proche en proche depuis les bords de l’ongle jusqu’en son centre.Thus, the present disclosure proposes a device, of the capillaroscope type, allowing the automatic acquisition of at least one image, reconstructed, sharp and of high quality of the capillaries of the entire proximal border of the nail, from the edges lateral to the center of the nail. To this end, provision is made for the acquisition of a succession of images (of the film type) by applying a movement of the camera, this movement being perpendicular to the nail (movement of approach or retreat), while the fingernail is assumed to be fixed. For example in one embodiment, the adjustment of the focus distance of the camera (or "focus adjustment") is fixed during the movement of the camera. Thus, the camera produces a sharp image of an area whose distance d 0 to the camera remains constant. The successively acquired images are sharp when the capillaries or the details of the finger are at the distance d 0 from the camera. These areas of sharpness are different from one image to another, as illustrated in FIGS. 2A and 2B commented on previously. Here, one of the images acquired at the beginning of the succession of images can be the , clear for the capillaries in the regions of the lateral edges of the nail, and an image acquired at the end of this succession of images can be the which is clear only in the region corresponding to the center of the nail. It will then be understood that this camera movement makes it possible to recover images which are sharp in regions step by step from the edges of the nail to its center.

Une telle réalisation peut aider au suivi des patients atteints de sclérodermie systémique grâce à un procédé non invasif et reproductible dans le temps, et surtout permettant de résoudre les limites présentées plus haut des dispositifs vidéocapillaroscopes actuels. Les avantages d’un dispositif au sens de la présente divulgation sont alors repris ci-après.Such an achievement can help in the follow-up of patients suffering from systemic sclerosis thanks to a non-invasive and reproducible process over time, and above all making it possible to resolve the limits presented above of current videocapillaroscope devices. The advantages of a device within the meaning of the present disclosure are then set out below.

La stabilité globale est obtenue grâce à l’absence de manipulation manuelle, et ce grâce au dispositif au sens de la présente divulgation, dont un exemple de réalisation est illustré sur la . Le dispositif comporte un élément de maintien ELM de la main du patient, incluant une plateforme inclinée permettant au patient de reposer sa main sans effort et donc en minimisant les tremblements. La main du patient peut donc être placée confortablement afin que le patient puisse introduire son doigt DT toujours sans effort et en limitant les tremblements dans un logement LOG que comporte l’élément de maintien ELM. Le doigt GT, une fois introduit dans le logement LOG, est en immersion avec un liquide dont l’indice optique est avantageusement proche de celui de la peau comme de l’huile de paraffine dans une encoche formée dans l’élément ELM (sur la droite de la ). Le logement LOG comporte une fenêtre transparente FEN formant paroi de maintien sur laquelle s’appuie le doigt DT du patient au niveau de l’ongle, lequel est donc en contact direct avec la paroi FEN. Des lampes d’éclairage LED (par exemple des diodes électroluminescentes) sont placées des deux côtés de la structure ELM pour éviter les réflexions de la paroi transparente FEN. Une caméra vidéo CAM fait face à la fenêtre transparente FEN et comporte un objectif de type « macro » (sur la gauche de la ) centré sur la base de l’ongle du doigt DT du patient pour acquérir des images du type représenté sur les figures 2A, 2B. Les lampes LED et l’objectif de la caméra peuvent être équipés de polariseurs permettant de diminuer les effets de diffusion et de réflexion. Un moteur MOT met en mouvement l’objectif de la caméra CAM de quelques millimètres pour faire varier sa position focale, le long d’un axe Z perpendiculaire au plan XY de la fenêtre FEN et donc du sommet de l’ongle.The overall stability is obtained thanks to the absence of manual manipulation, and this thanks to the device within the meaning of the present disclosure, an exemplary embodiment of which is illustrated in the . The device comprises an element for holding the patient's hand ELM, including an inclined platform allowing the patient to rest his hand without effort and therefore minimizing tremors. The patient's hand can therefore be placed comfortably so that the patient can introduce his finger DT always effortlessly and while limiting tremors in a housing LOG that the holding element ELM comprises. The finger GT, once introduced into the housing LOG, is immersed in a liquid whose optical index is advantageously close to that of the skin, such as paraffin oil in a notch formed in the ELM element (on the right of the ). The housing LOG comprises a transparent window FEN forming a retaining wall against which the patient's finger DT rests at the level of the nail, which is therefore in direct contact with the wall FEN. LED lighting lamps (eg light emitting diodes) are placed on both sides of the ELM structure to avoid reflections from the transparent wall FEN. A CAM video camera faces the transparent window FEN and has a "macro" type lens (on the left of the ) centered on the base of the patient's fingernail DT to acquire images of the type shown in Figures 2A, 2B. The LED lamps and the camera lens can be equipped with polarizers to reduce the effects of diffusion and reflection. A motor MOT moves the lens of the CAM camera by a few millimeters to vary its focal position, along a Z axis perpendicular to the XY plane of the window FEN and therefore of the top of the nail.

Le dispositif comporte en outre un circuit de traitement relié à la caméra CAM pour recevoir les données des images acquises. À cet effet, ce circuit de traitement comporte une interface d’entrée IN connectée à la caméra CAM. Le circuit de traitement comporte en outre un processeur PROC relié à l’interface IN, ainsi qu’une mémoire MEM stockant notamment des instructions d’un programme informatique au sens de la présente divulgation. Le processeur PROC coopère alors avec la mémoire MEM pour lire les données de ces instructions (ainsi que les données d’images issues de l’interface IN) et exécuter un traitement des données d’images selon le procédé au sens de la présente divulgation. Les données d’image peuvent être stockées au moins temporairement dans une mémoire de travail qui peut être la même mémoire (ou dans une même unité mémoire) que la mémoire MEM, ou dans une mémoire différente (non représentée sur la ).The device further comprises a processing circuit connected to the camera CAM to receive the data from the acquired images. For this purpose, this processing circuit comprises an input interface IN connected to the camera CAM. The processing circuit further comprises a processor PROC connected to the interface IN, as well as a memory MEM storing in particular instructions of a computer program within the meaning of the present disclosure. The processor PROC then cooperates with the memory MEM to read the data of these instructions (as well as the image data coming from the interface IN) and to execute a processing of the image data according to the method within the meaning of the present disclosure. The image data can be stored at least temporarily in a working memory which can be the same memory (or in the same memory unit) as the memory MEM, or in a different memory (not represented on the ).

Le circuit de traitement comporte en outre au moins une interface de sortie OUT reliée au processeur PROC, par exemple pour transmettre des instructions d’affichage d’une image traitée ainsi par le processeur PROC, ces instructions étant destinées à un écran relié au circuit de traitement pour permettre à un utilisateur manipulateur de visualiser une image traitée selon le procédé au sens de la présente divulgation. Ainsi, on comprendra que le circuit de traitement et l’écran précité peuvent être simplement ceux d’un ordinateur classique, mais judicieusement programmé pour réaliser le procédé précité.The processing circuit further comprises at least one output interface OUT connected to the processor PROC, for example for transmitting instructions for displaying an image thus processed by the processor PROC, these instructions being intended for a screen connected to the processing to allow a manipulator user to view an image processed according to the method within the meaning of the present disclosure. Thus, it will be understood that the processing circuit and the aforementioned screen can simply be those of a conventional computer, but judiciously programmed to carry out the aforementioned method.

Le circuit de traitement peut comporter une interface de sortie OUT en outre pour piloter le moteur MOT assurant le déplacement de la caméra CAM au moment de l’acquisition des images. Le circuit de traitement peut comporter une interface de sortie OUT en outre pour piloter l’éclairage par les diodes LED au moment de l’acquisition des images. Ainsi, ces éléments MOT, LED peuvent être connectés au circuit de traitement.The processing circuit may also include an output interface OUT to drive the motor MOT ensuring the movement of the camera CAM at the time of image acquisition. The processing circuit may also include an output interface OUT to control the lighting by the LED diodes at the time of image acquisition. Thus, these MOT, LED elements can be connected to the processing circuit.

Le circuit de traitement est alors programmé pour acquérir les données d’images successives pendant le déplacement de la caméra CAM le long de l’axe Z et produire ensuite une image finale en collectant et assemblant toutes les portions nettes à chaque position focale de la caméra CAM sur l’axe de déplacement Z. La production de cette image nette résulte de la mise en œuvre du procédé qui est décrit en détail ci-après. Une photographie entièrement nette de l’intégralité de la bordure de l’ongle du patient est ainsi obtenue comme illustrée sur la .The processing circuit is then programmed to acquire data from successive images while the CAM camera moves along the Z axis and then produce a final image by collecting and assembling all the sharp portions at each focal position of the camera. CAM on the displacement axis Z. The production of this sharp image results from the implementation of the method which is described in detail below. A completely sharp photograph of the entire edge of the patient's nail is thus obtained as illustrated in the .

En référence à la illustrant les étapes d’un tel procédé, le patient introduit doucement, à l’étape S1, son doigt DT dans la cavité LOG de la . Le doigt DT y est plongé dans de l’huile de paraffine (en raison de son indice optique, avantageux) maintenue par des parois transparentes. Le doigt DT est ainsi maintenu en place, l’ongle étant en contact avec la paroi FEN qui fait face à la caméra CAM, laquelle est prête à réaliser l’acquisition. La position du doigt est centrée tandis qu’une mise au point grossière est faite à l’étape S2, par exemple en étant contrôlée par l’utilisateur visualisant l’écran relié au circuit de traitement, afin que la bordure de l’ongle (la lunule par exemple) apparaisse bien centrée et nette en son centre sur l’écran. La visualisation des images acquises par la caméra CAM en temps réel sur l’écran permet au patient et à l’utilisateur de centrer la position de l’ongle dans l’image qui apparait à l’écran et de réaliser une mise au point grossière de la caméra CAM. L’utilisateur peut ensuite déclencher l’acquisition à l’étape S4 décrite plus loin.With reference to the illustrating the steps of such a method, the patient gently introduces, at step S1, his finger DT into the cavity LOG of the . The finger DT is immersed therein in paraffin oil (because of its advantageous optical index) maintained by transparent walls. The finger DT is thus held in place, the nail being in contact with the wall FEN which faces the camera CAM, which is ready to carry out the acquisition. The position of the finger is centered while coarse focusing is done in step S2, for example by being controlled by the user viewing the screen connected to the processing circuit, so that the edge of the nail ( the lunula for example) appears well centered and sharp in its center on the screen. The visualization of the images acquired by the CAM camera in real time on the screen allows the patient and the user to center the position of the nail in the image which appears on the screen and to achieve a rough focus of the CAM camera. The user can then trigger the acquisition at step S4 described below.

Concomitamment à l’étape S2 pour contrôler visuellement la position correcte du doigt DT, l’éclairage du doigt est réalisé à l’étape S3 et peut être assuré par les diodes électroluminescentes LED disposées sur les côtés de la fenêtre transparente FEN en évitant ainsi les phénomènes de réflexion. La longueur d’onde d’éclairage des diodes LED est choisie pour être adaptée à l’hémoglobine. Pour l’acquisition des images successives qui est réalisée ensuite à l’étape S4, l’éclairage par des diodes LED de différentes couleurs alternant rapidement permet l’utilisation d’une caméra monochrome ce qui élimine l’effet de filtre Bayer des caméras couleur classiques et augmente donc la résolution des images acquises. Cette réalisation permet également d’éclairer le doigt avec des longueurs d’onde proches de l’infrarouge. L’éclairage et l’intensité de couleur des diodes LED peuvent être ainsi contrôlés par le circuit de traitement. Typiquement, pour l’acquisition des images avec des couleurs distinctes, il peut être avantageux d’utiliser une caméra filmant en noir et blanc et de moduler l’éclairage en changeant de longueur d’onde de diodes LED avec par exemple les trois couleurs primaires de manière périodique. Avec les caméras ultrarapides actuellement disponibles, il est facile de synchroniser l’éclairage des diodes LED avec la caméra. Un bénéfice direct est obtenu, car les caméras couleur sont actuellement équipées d’un filtre couleur de type de Bayer qui altère la fréquence spatiale de l’image. En effet, une caméra couleur de 20-megapixel n’a pas une résolution réelle de 20 mégapixels, mais plutôt de 5 mégapixels (le filtre couleur divisant par quatre la résolution). Les 20 mégapixels que la caméra produit sont en fait interpolés, ce qui est acceptable pour des images lisses, mais pourvoyeur d’artéfacts inhérents au sous-échantillonnage dans le cas de structures à détecter ici telles que des capillaires, conduisant inévitablement à de l’aliasing. Avec une caméra noire et blanc et des expositions couleurs alternatives, l’aliasing est réduit et une caméra par exemple de 5 mégapixels devient l’équivalent d’une caméra de 15 mégapixels réels tant que l’image ne bouge pas entre les différentes expositions de couleurs.Concomitantly with step S2 to visually check the correct position of the finger DT, the lighting of the finger is carried out in step S3 and can be ensured by the light-emitting diodes LED arranged on the sides of the transparent window FEN thus avoiding the reflection phenomena. The lighting wavelength of the LED diodes is chosen to be adapted to hemoglobin. For the acquisition of the successive images which is then carried out in step S4, the lighting by LED diodes of different colors alternating rapidly allows the use of a monochrome camera which eliminates the Bayer filter effect of color cameras. classics and therefore increases the resolution of the acquired images. This realization also makes it possible to illuminate the finger with wavelengths close to infrared. The illumination and color intensity of the LED diodes can thus be controlled by the processing circuit. Typically, for the acquisition of images with distinct colors, it may be advantageous to use a camera filming in black and white and to modulate the lighting by changing the wavelength of LED diodes with, for example, the three primary colors periodically. With the ultra-fast cameras currently available, it is easy to synchronize the illumination of the LED diodes with the camera. A direct benefit is obtained, because color cameras are currently equipped with a Bayer type color filter which alters the spatial frequency of the image. Indeed, a 20-megapixel color camera does not have an actual resolution of 20 megapixels, but rather 5 megapixels (the color filter divides the resolution by four). The 20 megapixels that the camera produces are in fact interpolated, which is acceptable for smooth images, but a source of inherent undersampling artifacts in the case of structures to be detected here such as capillaries, inevitably leading to aliasing. With a black and white camera and alternate color exposures, aliasing is reduced and a 5 megapixel camera, for example, becomes the equivalent of a real 15 megapixel camera as long as the image does not move between the different exposures of colors.

Pour la mise en œuvre de l’étape S4 d’acquisition par la caméra CAM, l’étape S5 est mise en œuvre concomitamment et consiste à faire varier la position focale de la caméra grâce au moteur MOT contrôlé par le circuit de traitement, pendant l’acquisition vidéo en temps réel. On peut prévoir par exemple un mouvement rapide de recul de la position focale vers l’arrière d’un petit écart dz. L’enregistrement de la vidéo en temps réel débute alors, tandis que la position focale varie lentement en remontant vers le doigt par exemple sur une gamme de 3 x dz. Une telle réalisation permet d’obtenir toute une série de Nzimages où les bords latéraux de l’ongle apparaissent nets les premiers dans la série, comme illustré sur la , tandis que le sommet de l’ongle apparait net dans des images à la fin de la série, comme illustré sur la .For the implementation of the acquisition step S4 by the camera CAM, the step S5 is implemented concomitantly and consists in varying the focal position of the camera thanks to the motor MOT controlled by the processing circuit, during real-time video capture. It is possible, for example, to provide for a rapid backward movement of the focal position towards the rear by a small deviation dz. The recording of the video in real time then begins, while the focal position varies slowly going up towards the finger, for example over a range of 3 x dz. Such an embodiment makes it possible to obtain a whole series of N z images where the lateral edges of the nail appear sharp first in the series, as illustrated in the , while the top of the nail appears sharp in images at the end of the series, as shown in the .

Une fois les données acquises, la position focale est replacée à sa position initiale. Le circuit de traitement peut commencer à traiter les données dès les premières images acquises selon les étapes décrites ci-après (S6 et suivantes) pour extraire sur chaque cliché enregistré les images nettes de la bordure de l’ongle afin de reconstituer l’image globale du type présenté sur la .Once the data has been acquired, the focal position is returned to its initial position. The processing circuit can begin to process the data from the first images acquired according to the steps described below (S6 and following) to extract on each shot recorded the sharp images of the edge of the nail in order to reconstitute the overall image of the type shown on the .

À l’étape S4, une succession d’images est acquise sous la forme par exemple d’une vidéo réalisée en déplaçant le plan de mise au point de quelques micromètres (par exemple 1 à 5 micromètres) pour chaque image, balayant ainsi l’ensemble des plans focaux de la courbure de l’ongle. Ce procédé permet d’acquérir plusieurs centaines d’images chacune réalisée à une position focale Z légèrement différente. Durant les quelques secondes (par exemple 5 à 10 secondes) que dure l’acquisition, le patient doit garder son doigt immobile dans l’encoche LOG. Le circuit de traitement recevant de la caméra CAM les images acquises peut ensuite réaliser une première étape de traitement S6, dite « de stabilisation », pour recaler les images les unes par rapport aux autres. Ce traitement permet ainsi d’« immobiliser » l’image apparente dans la succession d’images, en supprimant les inévitables mouvements résiduels du doigt.In step S4, a succession of images is acquired in the form, for example, of a video produced by moving the plane of focus by a few micrometers (for example 1 to 5 micrometers) for each image, thus scanning the set of focal planes of the curvature of the nail. This process makes it possible to acquire several hundred images, each taken at a slightly different Z focal position. During the few seconds (for example 5 to 10 seconds) that the acquisition lasts, the patient must keep his finger immobile in the LOG notch. The processing circuit receiving the acquired images from the camera CAM can then perform a first processing step S6, called “stabilization”, to readjust the images with respect to each other. This processing thus makes it possible to “immobilize” the apparent image in the succession of images, by eliminating the inevitable residual movements of the finger.

Afin d’éviter d’assembler plusieurs images entre elles et de réaliser une simple mosaïque de bouts d’images non parfaitement raccordés entre eux, il est utilisé ici un objectif avec un champ de vue large qui couvre toute la bordure proximale de l’ongle, ce qui permet un élargissement du champ par rapport aux techniques antérieures connues. Ceci est possible grâce à la qualité optique des objectifs de caméra haute résolution. Ces caméras présentent une surface sensible dont la dimension est comparable à celle du doigt avec plusieurs millions de pixels chacun ayant une taille de quelques microns. L’obtention de l’image complète de la bordure proximale de l’ongle est plus simple, car l’utilisateur peut l’observer dans son ensemble en temps réel sur un écran. Bien sûr toute l’image de la bordure proximale de l’ongle ne peut pas apparaître nette de façon homogène due à la courbure de l’ongle. En réalisant une pile d’images prises à différentes positions focales à l’étape S6, chaque région de la bordure proximale de l’ongle apparait alors nette sur l’une de ces images prises à une position focale Z spécifique (si l’on considère le centre de la bordure de l’ongle dans un plan X,Y).In order to avoid assembling several images together and creating a simple mosaic of pieces of images that are not perfectly connected to each other, an objective is used here with a wide field of view which covers the entire proximal edge of the nail. , which allows a broadening of the field compared to known prior techniques. This is possible thanks to the optical quality of high-resolution camera lenses. These cameras have a sensitive surface whose size is comparable to that of a finger with several million pixels each having a size of a few microns. Obtaining the complete image of the proximal edge of the nail is easier, since the user can observe it as a whole in real time on a screen. Of course the entire image of the proximal edge of the nail cannot appear homogeneously sharp due to the curvature of the nail. By making a stack of images taken at different focal positions in step S6, each region of the proximal edge of the nail then appears sharp on one of these images taken at a specific focal position Z (if one considers the center of the nail border in an X,Y plane).

Le circuit de traitement réalise ensuite une deuxième étape de traitement S7 visant une sélection de toutes les régions des images qui sont nettes en vue de reconstruire une image globale nette partout. Il est alors possible d’améliorer ainsi la netteté en reconstituant une image intégralement nette de toute la bordure proximale de l’ongle (depuis ses bords latéraux jusqu’à son centre) en sélectionnant les portions les plus nettes sur l’ensemble des images collectées. Il est possible notamment d’améliorer la qualité de l’image finale par un moyennage d’un ensemble d’images. En effet, le contraste généré par une prise de vue des capillaires est assez moyen. Il atteint typiquement 10% alors que le bruit de photons impose des fluctuations du niveau de la lumière de 1 à 2%, ce qui conduit à un Rapport Signal sur Bruit de fond (RSB) assez médiocre. L’amélioration de ce rapport est difficile si on utilise une seule image de l’élément étudié, car lorsqu’il existe un niveau d’éclairage élevé, le bruit de fond de la caméra correspond au bruit intrinsèque du photon. Ce bruit de fond est corrélé au nombre maximum Nmde photons reçu par un unique pixel qui est lui-même lié au capteur de la caméra. Ce rapport RSB est égal à la racine carrée de Nm avec Nmtypiquement égal à 10000 et il est peu probable qu’il soit amélioré sur des modèles futurs de caméras. La meilleure façon d’améliorer ce rapport est de moyenner plusieurs images superposables du même élément. Dans la réalisation présentée ici, on obtient quelques dizaines d’images dont la position focale est suffisamment proche pour constituer cette collection d’images. En utilisant par exemple 16 images superposables, on peut améliorer le RSB d’un facteur 4. Pour obtenir les meilleurs résultats dans cet assemblage, l’étape de stabilisation S6 de chaque petite image est avantageuse et permet d’annuler les petits mouvements du doigt qui sont détectables à l’échelle de 10 microns. Il est préférable de collecter les données avec une grande rapidité, typiquement grâce à un nombre d’images par seconde élevé et un débit vidéo élevé, pour limiter le temps pendant lequel le patient doit maintenir son doigt immobile. Ceci est actuellement possible grâce aux caméras à interface rapide. L’acquisition ainsi aboutit à la production d’une importante quantité de données (typiquement de quelques milliers mégabytes à quelques gigabytes), à traiter ensuite.The processing circuit then carries out a second processing step S7 aiming at a selection of all the regions of the images which are sharp with a view to reconstructing a sharp global image everywhere. It is then possible to improve the sharpness in this way by reconstituting an entirely sharp image of the entire proximal edge of the nail (from its lateral edges to its center) by selecting the sharpest portions on all the images collected . It is possible in particular to improve the quality of the final image by averaging a set of images. Indeed, the contrast generated by a shot of the capillaries is quite average. It typically reaches 10% while photon noise imposes light level fluctuations of 1-2%, leading to a rather poor Signal-to-Noise Ratio (SNR). Improving this ratio is difficult if a single image of the studied element is used, because when there is a high level of illumination, the background noise of the camera corresponds to the intrinsic noise of the photon. This background noise is correlated to the maximum number N m of photons received by a single pixel which is itself linked to the camera sensor. This SNR ratio is equal to the square root of Nm with N m typically equal to 10000 and it is unlikely that it will be improved on future camera models. The best way to improve this ratio is to average multiple overlapping images of the same item. In the embodiment presented here, a few tens of images are obtained whose focal position is sufficiently close to constitute this collection of images. By using for example 16 superimposable images, the SNR can be improved by a factor of 4. To obtain the best results in this assembly, the stabilization step S6 of each small image is advantageous and makes it possible to cancel the small movements of the finger which are detectable at the scale of 10 microns. It is preferable to collect the data with great speed, typically thanks to a high number of images per second and a high video rate, to limit the time during which the patient must keep his finger immobile. This is currently possible thanks to fast interface cameras. The acquisition thus results in the production of a large quantity of data (typically from a few thousand megabytes to a few gigabytes), to be subsequently processed.

En référence à nouveau à la , l’étape d’acquisition S4 produit un jeu de Nz images de tailles (Nx, Ny) chacune caractérisée par une valeur Z correspondant à une position focale donnée, avec typiquement 1 à 5 microns de différence entre deux images successives. Afin de reconstituer l’image entièrement nette, un procédé en deux étapes S6 et S7 est appliqué à cette séquence. Durant la première étape S6, les petits mouvements du doigt du patient survenant dans chaque image sont identifiés et supprimés ce qui aboutit à la création d’une nouvelle séquence de Nz d’images de la même taille. Durant la seconde étape S7, la fraction d’images nettes à chaque position de l’ongle est sélectionnée et assemblée pour former l’image finale. Pour réaliser ces deux étapes, le jeu de grandes images est découpé en petites images et traité en fonction de Z.Referring again to the , the acquisition step S4 produces a set of Nz images of sizes (Nx, Ny) each characterized by a value Z corresponding to a given focal position, with typically 1 to 5 microns of difference between two successive images. In order to reconstruct the fully sharp image, a two-step process S6 and S7 is applied to this sequence. During the first step S6, the small movements of the patient's finger occurring in each image are identified and deleted, which results in the creation of a new sequence of Nz of images of the same size. During the second step S7, the fraction of sharp images at each position of the nail is selected and assembled to form the final image. To achieve these two steps, the set of large images is cut into small images and processed according to Z.

La première étape S6 concerne la stabilisation horizontale. À cette fin, une pile Nzde petites portions d’image de taille (nx, ny) sont d’abord extraites à partir d’un jeu original d’images (Nx, Ny) centrées par exemple sur le milieu (xc, yc) de la fenêtre FEN. Les tailles nxet nysont choisies assez petites pour que la zone couverte soit nette de manière homogène pour une position focale Z et assez grande pour contenir quelques détails de l’image d’ensemble. Typiquement par exemple, on peut choisir nx= ny= 128 ou 256 pixels alors que Nx= 3000 et Ny= 2000. Ces petites images sont choisies pour couvrir la grande image originale avec un recouvrement par exemple de nx/4 et ny/4 entre elles, assurant ainsi une certaine souplesse dans la reconstruction finale.The first step S6 relates to horizontal stabilization. To this end, a stack N z of small image portions of size (n x , n y ) are first extracted from an original set of images (N x , N y ) centered for example on the middle (x c , y c ) of the FEN window. The sizes n x and n y are chosen small enough that the covered area is homogeneously sharp for a Z focal position and large enough to contain some details of the overall image. Typically, for example, we can choose n x = n y = 128 or 256 pixels while N x = 3000 and N y = 2000. These small images are chosen to cover the large original image with an overlap of, for example, n x /4 and n y /4 between them, thus ensuring a certain flexibility in the final reconstruction.

Du fait du faible contraste des capillaires, on applique une Transformation de Fourier Rapide (TFR) comme décrit ci-après. Auparavant, on peut réaliser une opération de filtrage sur le jeu des petites images en retirant à chaque image le premier et le second ordre d’une polynomiale 2D, afin d’enlever la valeur moyenne et les modulations lentement variables. Une apodisation est appliquée pour atténuer les discontinuités liées au fait que l’image n’est pas périodique Cette apodisation concerne la zone de recouvrement des petites images. Ensuite, la TFR est utilisée pour extraire plusieurs informations utiles. La première chose recherchée est de supprimer les petits mouvements du doigt, ce qui est réalisé par corrélation entre deux images afin de déterminer le décalage entre celles-ci. Comme il est procédé à l’acquisition d’un grand nombre d’images afin d’avoir l’image des capillaires nette, les images du début et de la fin de cette série sont floues et ne présentent quasiment aucun élément permettant de mesurer proprement un décalage. De fait, le signal mesuré pour ces images est très bruyant et peut conduire à des erreurs. Pour éviter de corriger des décalages aberrants, il est déterminé, pour chaque image dans sa série, si elle porte une information suffisante pour être digne de confiance. Si ce n’est pas le cas, un signal de décalage moyen peut être utilisé, calculé à partir des images contenant, elles, suffisamment d’information pour réaliser la mesure de décalage. Le critère de qualité de l’image permettant ce choix qui parait le plus pertinent est simplement le nombre de modes de la TFR dont l’intensité dépasse le niveau de bruit de photons. Par ailleurs, on détermine ce niveau intrinsèque de bruit pour chaque image en analysant ses modes de hautes fréquences spatiales.Due to the low contrast of the capillaries, a Fast Fourier Transformation (FRT) is applied as described below. Previously, we can perform a filtering operation on the set of small images by removing from each image the first and second order of a 2D polynomial, in order to remove the average value and the slowly varying modulations. An apodization is applied to attenuate the discontinuities linked to the fact that the image is not periodic. This apodization concerns the area of overlap of the small images. Then, the FFT is used to extract several useful information. The first thing sought is to remove small movements of the finger, which is achieved by correlating between two images in order to determine the offset between them. As a large number of images are acquired in order to have a clear image of the capillaries, the images at the beginning and the end of this series are fuzzy and have almost no element allowing a proper measurement. a lag. In fact, the signal measured for these images is very noisy and can lead to errors. To avoid correcting aberrant shifts, it is determined, for each image in its series, whether it carries sufficient information to be trustworthy. If this is not the case, an average shift signal can be used, calculated from the images containing enough information to perform the shift measurement. The image quality criterion allowing this choice which seems the most relevant is simply the number of FFT modes whose intensity exceeds the photon noise level. Furthermore, this intrinsic level of noise is determined for each image by analyzing its high spatial frequency modes.

La plupart des modes ayant un nombre d’onde important correspondent au bruit des photons. L’amplitude de ce bruit est mesurée en définissant un seuil de nombre d’onde élevé kHF (correspondant typiquement à un indice de mode de 3*nx/8 et 3*ny/8, la fréquence maximale étant, pour mémoire, celle de Nyquist égale à nx/2 et ny/2). Pour ces modes de hautes fréquences spatiales vérifiant k > kHF, on peut calculer un histogramme d’amplitudes des modes en ajustant ce dernier par une exponentielle. On obtient le bruit de photon moyen. Le taux de décroissance de cette exponentielle permet d’évaluer une densité du bruit de photons Bph. Le signal d’intérêt (des capillaires) se concentre dans les modes de fréquence spatiale basse avec des amplitudes plus élevées que le bruit des photons Bph. On détermine alors le nombre NSde modes qui ont une amplitude par exemple trois fois plus grande que la densité du bruit de photons. De la même façon, on calcule le nombre d’ondes maximales kSdont la majorité des modes est supérieure au bruit. Cette valeur de kSdonne le nombre d’onde au-dessus duquel le signal est essentiellement du bruit. Pour chaque jeu de petites images on calcule NS(z), kS(z) et on détermine le maximum de ces fonctions qui est atteint normalement à la position focale où l’image apparait nette. On applique donc un filtre typiquement passe-bande qui retire du côté des basses fréquences, les premiers modes (qui correspondent aux inhomogénéités de l’éclairage) et du côté des hautes fréquences, les modes avec un nombre d’onde plus grand que Max(kS(z)) correspondant au bruit des photons. Le signal restant contient essentiellement le signal d’intérêt mélangé avec un peu de bruit de photons ayant les mêmes fréquences spatiales. C’est ce signal qui est utilisé pour calculer l’intercorrélation. Dans le jeu des Nzimages associées au centre (xc, yc), on en sélectionne un sous-ensemble NRZ tel que zi= P*(2*i+1)/(2*Nz) où P est un entier de l’ordre de quelques dizaines afin de corréler les images ayant la position zidans l’intervalle [i*P, i+1*P[. Après avoir calculé le produit de corrélation, on effectue la transformée de Fourier inverse pour revenir dans l’espace réel (espace direct) et on détermine alors la position interpolée du maximum de cette fonction qui correspond à un pic positif dont la position reflète le décalage entre les deux images et dont l’amplitude indique le degré de similitude des deux images corrélées. Une mesure quantitative supplémentaire est obtenue en normalisant l’amplitude du maximum par l’amplitude moyenne de l’image d’intercorrélation (ou cross-corrélation) en excluant le pic principal qui correspond à une évaluation du bruit. Dans ce processus, on calcule également le décalage entre les images de références successives. C’est à partir de ces données que l’on calcule le décalage absolu de chaque image. Cette stratégie évite d’accumuler trop les erreurs pour déterminer le décalage de proche en proche.Most of the modes with a large wave number correspond to photon noise. The amplitude of this noise is measured by defining a high wavenumber threshold kHF (typically corresponding to a mode index of 3*nx/8 and 3*nthere/8, the maximum frequency being, for the record, that of Nyquist equal to nx/2 and nthere/2). For these high spatial frequency modes satisfying k > kHF, one can calculate a histogram of amplitudes of the modes by adjusting the latter by an exponential. We get the average photon noise. The rate of decrease of this exponential makes it possible to evaluate a density of the noise of photons Bph. The signal of interest (from the capillaries) concentrates in the low spatial frequency modes with higher amplitudes than the B photon noiseph. We then determine the number NSmodes which have an amplitude for example three times greater than the photon noise density. In the same way, we calculate the number of maximum waves kSthe majority of the modes of which are superior to the noise. This value of kSgives the wavenumber above which the signal is mostly noise. For each set of small images we calculate NS(z),kS(z) and we determine the maximum of these functions which is normally reached at the focal position where the image appears sharp. We therefore apply a typically bandpass filter which removes on the low frequency side, the first modes (which correspond to the inhomogeneities of the lighting) and on the high frequency side, the modes with a wave number greater than Max( kS(z)) corresponding to photon noise. The remaining signal essentially contains the signal of interest mixed with some noise from photons with the same spatial frequencies. It is this signal that is used to calculate the cross-correlation. In the game of Nzimages associated with the center (xvs, yvs), we select a subset NRZ such as zI= P*(2*i+1)/(2*Nz) where P is an integer of the order of a few tens in order to correlate the images having the position zIin the interval [i*P, i+1*P[. After calculating the correlation product, the inverse Fourier transform is performed to return to real space (direct space) and the interpolated position of the maximum of this function is then determined, which corresponds to a positive peak whose position reflects the shift between the two images and whose amplitude indicates the degree of similarity of the two correlated images. An additional quantitative measure is obtained by normalizing the amplitude of the maximum by the average amplitude of the intercorrelation (or cross-correlation) image, excluding the main peak which corresponds to an evaluation of the noise. In this process, the offset between the successive reference images is also calculated. It is from these data that we calculate the absolute offset of each image. This strategy avoids accumulating too many errors to determine the shift step by step.

En fonction de sa position sur l’image globale (x c , y c ) le jeu de petites images selon l’axe Z peut contenir un élément d’intérêt comme des capillaires bien définis, mais aussi de façon moins intéressante une image d’un morceau d’ongle sans détail particulier. Dans ce dernier cas, le jeu d’images peut contenir très peu d’information et la détection de sa position de netteté devient problématique. La courbe NS(z) illustrée sur la donne un critère robuste pour déterminer si le jeu d’images obtenu contient une information utile.Depending on its position on the global image ( x c , y c ) the set of small images along the Z axis can contain an element of interest such as well-defined capillaries, but also, in a less interesting way, an image of a piece of nail without particular detail. In the latter case, the set of images may contain very little information and the detection of its sharpness position becomes problematic. The N S (z) curve shown in the gives a robust criterion to determine if the set of images obtained contains useful information.

En effet, la illustre l’évolution de NS(z) pour deux piles distinctes de petites images. La première englobe plusieurs capillaires situés à la bordure proximale de l’ongle (sur la gauche) et contient donc beaucoup d’informations utiles (courbe de dessus) tandis que la seconde, située sur l’ongle juste au-dessus de la première, contient très peu de détail hormis quelques grains de poussière ou rayures sur l’ongle (ou la fenêtre FEN) et donc relativement peu de modes (courbe de dessous). Les deux courbes suivent le nombre de modes NS(z) dont l’amplitude est plus grande que le bruit de photons. Le nombre total des modes de la transformée TFR est ici de 8192. La pile d’images comprenant les capillaires contient donc bien plus de modes utiles (~1000) que celle centrée sur l’ongle. Le maximum de chaque courbe permet de détecter finalement la position focale la plus nette suivant l’axe Z. Pour déterminer le maximum de ces courbes, il est avantageux de calculer la valeur médiane sur une fenêtre de quelques dizaines de points. La médiane permet de ne pas tenir compte des petits accidents de la courbe tout en la lissant.Indeed, the illustrates the evolution of NS(z) for two distinct stacks of small images. The first encompasses several capillaries located at the proximal edge of the nail (on the left) and therefore contains a lot of useful information (top curve) while the second, located on the nail just above the first, contains very little detail apart from a few specks of dust or scratches on the nail (or the FEN window) and therefore relatively few modes (below curve). Both curves follow the number of NS(z) modes whose amplitude is larger than the photon noise. The total number of modes of the FFT transform is here 8192. The stack of images comprising the capillaries therefore contains many more useful modes (~1000) than that centered on the nail. The maximum of each curve makes it possible to finally detect the sharpest focal position along the Z axis. To determine the maximum of these curves, it is advantageous to calculate the median value over a window of a few tens of points. The median makes it possible to ignore the small accidents of the curve while smoothing it.

Par ailleurs, le signal brut peut être parasité par le mouvement du doigt (comme cela est marqué par l’inflexion brutale de la courbe du dessus à la séquence 190 après le point culminant de la courbe). Le signal du jeu d’images de droite centrées sur l’ongle correspond principalement à du bruit de fond ne présente pas une grande valeur. Bien que le maximum de la courbe corresponde à l’image 237 sur la courbe de dessous, qui est ici le plan de netteté, le faible contraste de la courbe de dessous indique que ce signal n’est pas très fiable et cette position peut correspondre à un artéfact. Le rapport entre le nombre de modes au point maximal et au point minimal permet d’estimer la qualité de l’image pour déterminer la pertinence du décalage. Chaque jeu de petites images donne lieu à une courbe de décalage (dx(z), dy(z))( xc,yc )et à une troisième Ns(z) ( xc,yc )indiquant la qualité des données. En pratique, les décalages dx(z), dy(z) sont corrélés d’un jeu d’images aux jeux voisins et sont assez homogènes, ce qui signifie que le mouvement du doigt est principalement une translation. Pour éviter les problèmes aux positions où les images présentent peu d’information, on peut calculer le déplacement (dx(z), dy(z))( average ) moyenné sur tous les jeux d’images en utilisant la fonction de Ns(z) ( xc,yc ) pour pondérer dans cette moyenne ces images et ne donner un poids significatif qu’à celles ayant des informations. On peut obtenir ainsi une courbe fiable de déplacement moyen du doigt.In addition, the raw signal can be noisy by the movement of the finger (as marked by the sudden inflection of the curve above at sequence 190 after the highest point of the curve). The signal of the set of images on the right centered on the nail corresponds mainly to background noise and does not present a great value. Although the maximum of the curve corresponds to image 237 on the curve below, which is here the plane of sharpness, the low contrast of the curve below indicates that this signal is not very reliable and this position may correspond to an artifact. The ratio between the number of modes at the maximum point and at the minimum point makes it possible to estimate the quality of the image to determine the relevance of the offset. Each set of small images gives rise to a shift curve (dx(z), dy(z))( xc,yc )and a third Ns(z) ( xc,yc )indicating the quality of the data. In practice, the shifts dx(z), dy(z) are correlated from one set of images to the neighboring sets and are quite homogeneous, which means that the movement of the finger is mainly a translation. To avoid problems at positions where the images present little information, we can calculate the displacement (dx(z), dy(z))( average ) averaged over all image sets using the Ns(z) function ( xc,yc ) to weight these images in this average and give a significant weight only to those with information. It is thus possible to obtain a reliable average displacement curve of the finger.

Le décalage appliqué à chaque image d’un jeu, afin de supprimer les déplacements du doigt, est donc celui obtenu par l’intercorrélation des images de ce jeu lorsque le nombre NS(z) de modes est assez grands, ou alors le décalage moyen sinon.The shift applied to each image of a set, in order to eliminate the displacements of the finger, is therefore that obtained by the intercorrelation of the images of this set when the number N S (z) of modes is large enough, or else the shift average otherwise.

Afin de retirer les petits mouvements du doigt d’une image à l’autre, pour chaque position z, on peut assembler une image ou chaque petite image qui a subi un décalage calculé comme indiqué précédemment. Comme ces images présentent au départ un recouvrement, on peut les fusionner (dans le plan X,Y) pour former un jeu d’image couvrant la totalité de l’image initiale.In order to remove the small movements of the finger from one image to another, for each position z, one can assemble an image or each small image which has undergone a shift calculated as indicated previously. As these images initially present an overlap, they can be merged (in the X,Y plane) to form an image set covering the entire initial image.

La illustre le déplacement enxet enyde chaque image d’un jeu centré sur les capillaires relativement à l’image 177 utilisée comme référence. Le déplacement atteint quelques dizaines de pixels (1 pixel correspond typiquement à 4 μm). Le mouvement le plus fort enxau niveau de l’image 190 correspond à mouvement rapide du doigt visible également sur la , au niveau de l’irrégularité vers le bas de la courbe de dessus. L’amplitude totale du déplacement du doigt est donc de quelques dizaines de microns. On peut utiliser cette information pour indiquer si le jeu de données est acceptable pour l’opération en décidant de demander à l’opérateur de recommencer l’acquisition si les mouvements du doigt dépassent une valeur seuil.
The illustrates the displacement in x and y of each image of a set centered on the capillaries relative to the image 177 used as a reference. The displacement reaches a few tens of pixels (1 pixel typically corresponds to 4 μm). The strongest movement in x at the level of image 190 corresponds to the rapid movement of the finger also visible on the , at the level of the downward irregularity of the top curve. The total amplitude of the movement of the finger is therefore a few tens of microns. This information can be used to indicate whether the data set is acceptable for the operation by deciding to ask the operator to restart the acquisition if the movements of the finger exceed a threshold value.

Pour réaliser ensuite le choix de l’image la plus nette, on travaille à partir du nouveau jeu d’images stabilisées à l’issue de traitement présenté précédemment. Ce jeu de grandes images est divisé à nouveau en des jeux de petites images en utilisant les mêmes critères décrits précédemment. Dans chacun de ces jeux ainsi obtenus, l’image la plus nette est recherchée en utilisant le critère du nombre de modes au-dessus du bruit NS(z) décrit précédemment, ou encore en utilisant le critère de l’amplitude normalisée du pic de corrélation entre l’imagenet l’imagen+1(qui ne présente maintenant plus de décalage). Ces deux méthodes donnent des résultats équivalents. Elles mesurent en quelque sorte la force du signal par rapport au bruit. On trouve la position ZSla plus nette en recherchant le maximum de ces fonctions après un passage par un filtre calculant la médiane sur une dizaine de points adjacents. Une fois cette position maximale ZSobtenue, il est procédé à une moyenne sur un certain nombre d’images avant et après la position la plus nette identifiée. Cette image moyenne M est ensuite placée en position centrale (x c , y c ) sur l’image globale finale et stockée en tant que telle pour ces coordonnées (x c ,y c ).To then carry out the choice of the sharpest image, one works from the new set of stabilized images at the end of the processing presented previously. This large image set is further divided into small image sets using the same criteria described previously. In each of these sets thus obtained, the sharpest image is sought by using the criterion of the number of modes above the noise N S (z) described previously, or by using the criterion of the normalized amplitude of the peak correlation between image n and image n+1 (which now no longer exhibits any offset). These two methods give equivalent results. They measure the strength of the signal in relation to the noise. The clearest position Z S is found by seeking the maximum of these functions after passing through a filter calculating the median over ten adjacent points. Once this maximum position Z S has been obtained, an average is carried out over a certain number of images before and after the sharpest position identified. This average image M is then placed in a central position ( x c , y c ) on the final global image and stored as such for these coordinates ( x c , y c ).

Le procédé est répété de proche en proche sur les jeux d’images voisines dex c ety c jusqu’à la couverture de l’ensemble de l’image. Une seconde information est obtenue durant ce procédé : la valeur ZSde chaque jeu d’image qui correspond à la position en Z du doigt. Cette information peut être utilisée pour améliorer le procédé global. Certains de ces jeux de petites images ne contiennent que peu de détails et donc principalement du bruit de fond. La valeur ZS, trouvée au cours de la reconnaissance de l’image la plus nette du jeu, peut être erronée dans ce cas. Une position ZSaberrante peut alors être corrigée en utilisant les positions retrouvées dans les jeux d’images voisins. Pour calculer la fonction NS(z), ou l’amplitude normalisée de la corrélation, on procède de la même façon que précédemment.
The process is repeated step by step on the sets of images close to x c and y c until the entire image is covered. A second piece of information is obtained during this process: the value Z S of each set of images which corresponds to the position in Z of the finger. This information can be used to improve the overall process. Some of these sets of small images contain little detail and therefore mostly background noise. The Z S value, found during recognition of the sharpest image in the game, may be wrong in this case. An aberrant position Z S can then be corrected by using the positions found in the neighboring sets of images. To calculate the function N S (z), or the normalized amplitude of the correlation, the procedure is the same as previously.

Ainsi, après peu de temps et une intervention minimale de l’utilisateur, une image nette de toute la bordure proximale de l’ongle est obtenue par assemblage. L’utilisateur n’a finalement besoin d’effectuer qu’un réglage grossier de mise au point à l’étape S2. Le circuit de traitement se charge ensuite d’obtenir l’image nette partout (étapes S4, S6, S7 décrites plus haut).Thus, after a short time and minimal user intervention, a sharp image of the entire proximal edge of the nail is obtained by assembly. The user ultimately only needs to make a coarse focus adjustment in step S2. The processing circuit is then responsible for obtaining the sharp image everywhere (steps S4, S6, S7 described above).

Les figures 2A et 2B illustrent le principe à la base du procédé, et correspondent à deux photographies extraites d’un ensemble de 500 images séquentielles qui correspondent à deux positions focales différentes (images 25 et 243 d’une succession d’images). En haut, les capillaires sur les deux côtés de la bordure proximale de l’ongle apparaissent nets tandis que ceux du centre sont flous. En bas l’image présente une situation inverse.Figures 2A and 2B illustrate the principle underlying the process, and correspond to two photographs extracted from a set of 500 sequential images which correspond to two different focal positions (images 25 and 243 of a succession of images). At the top, the capillaries on both sides of the proximal edge of the nail appear sharp while those in the center are blurred. Below the image shows the opposite situation.

La correspond à l’image entièrement nette, reconstituée, de l’ensemble de la bordure proximale de l’ongle. Les trois images en bas sont des zones correspondant aux régions de l’image globale située au-dessus qui ont été zoomées (x4). Cette image est reconstruite à partir de la séquence des images prises à différentes positions focales. Le processus de reconstruction peut engendrer des artéfacts comme l’apparition de petites bulles déformées visibles sur la gauche.The corresponds to the completely sharp image, reconstructed, of the entire proximal border of the nail. The three images at the bottom are areas corresponding to regions of the overall image above that have been zoomed in (x4). This image is reconstructed from the sequence of images taken at different focal positions. The reconstruction process may cause artifacts such as the appearance of small distorted bubbles visible on the left.

Sur la à gauche, une série de douze petites images du même capillaire montrent l’importance de l’élimination des mouvements du doigt. Ces images ont été enregistrées avec une position de la mise au point proche de la valeur Z = 225 où ce capillaire apparait parfaitement net. Les mouvements du doigt introduiraient dans l’image finale reconstituée un flou. Alors que les six premières images de la partie de gauche, par exemple, montrent une relative immobilité, les six autres suivantes présentent un mouvement significatif.On the on the left, a series of twelve small images of the same capillary show the importance of eliminating finger movements. These images were recorded with a position of the focus close to the value Z = 225 where this capillary appears perfectly clear. The movements of the finger would introduce a blur into the final reconstructed image. While the first six images on the left, for example, show relative stillness, the next six show significant movement.

Sur la partie de droite de la , la même série d’images est présentée après réalisation de la première étape S6 du procédé de la , de stabilisation. En répétant ce traitement en se décalant horizontalement on obtient de nouveaux jeux d’images qui peuvent maintenant être compilées et assemblées sans problème. Il convient de noter que dans cette série, l’image 225 est la plus nette, mais que cette netteté reste acceptable même quand on s’écarte de 15 à 20 images.On the right side of the , the same series of images is presented after completion of the first step S6 of the method of the , stabilization. By repeating this process while shifting horizontally, new sets of images are obtained which can now be compiled and assembled without problem. It should be noted that in this series, the 225 image is the sharpest, but that this sharpness remains acceptable even when we deviate from 15 to 20 images.

Cette acquisition et les traitements qui suivent, sont reproductibles dans le temps et donnent l’ensemble de la bordure proximale de l’ongle en une image. Ils permettent une comparaison objective des anomalies capillaires au cours de l’évolution de la maladie. L’amélioration de la reproductibilité dans le temps pourrait ainsi renforcer le pouvoir pronostique de la vidéocapillaroscopie et aider au diagnostic précoce des complications graves comme l’HyperTension Artérielle Pulmonaire (HTAP).This acquisition and the treatments that follow are reproducible over time and give the entire proximal edge of the nail in one image. They allow an objective comparison of capillary abnormalities during the course of the disease. Improving reproducibility over time could thus strengthen the prognostic power of videocapillaroscopy and help in the early diagnosis of serious complications such as Pulmonary Arterial Hypertension (PAH).

Une corrélation a été établie entre des stades avancés à la capillaroscopie et la survenue des ulcères digitaux, avec la sévérité de l’atteinte cutanée et pulmonaire, mais aussi la réponse à certains traitements vasodilatateurs au cours de la sclérodermie systémique. Cependant la vidéocapillaroscopie n’a pas encore trouvé sa place en routine dans le suivi de la sclérodermie systémique du fait d’une faible reproductibilité de l’acquisition en lien avec une classification peu objective, mais actuellement utilisée dans les études cliniques en cours. Cette classification repose sur des paramètres qualitatifs pour définir trois stades d’activité (précoce : quelques rares mégacapillaires et hémorragies ; actif : nombreux mégacapillaires et hémorragies ; tardif : raréfaction capillaire diffuse, désorganisation architecturale et capillaire buissonnant). L’absence de paramètres quantitatifs mène à plusieurs interprétations possibles. Ce défaut d’objectivité est en grande partie expliqué par les limitations de l’acquisition ne permettant actuellement que la visualisation d’une petite partie du lit capillaire de la bordure de l’ongle à un instant donné : le décompte total des anomalies par doigt étudié est donc quasi-impossible.
A correlation has been established between advanced stages on capillaroscopy and the occurrence of digital ulcers, with the severity of skin and lung involvement, but also the response to certain vasodilator treatments in systemic sclerosis. However, videocapillaroscopy has not yet found its place in routine monitoring of systemic sclerosis due to poor reproducibility of acquisition in connection with a less objective classification, but currently used in ongoing clinical studies. This classification is based on qualitative parameters to define three stages of activity (early: a few rare megacapillaries and haemorrhages; active: numerous megacapillaries and haemorrhages; late: diffuse capillary rarefaction, architectural disorganization and bushy capillary). The absence of quantitative parameters leads to several possible interpretations. This lack of objectivity is largely explained by the limitations of the acquisition currently only allowing the visualization of a small part of the capillary bed of the edge of the nail at a given moment: the total count of anomalies per finger studied is therefore almost impossible.

Bien entendu, la présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d’exemples de réalisation ; elle s’étend à d’autres variantes.Of course, the present invention is not limited to the embodiments described above as exemplary embodiments; it extends to other variants.

Ainsi, par exemple, les nombres de mini-images, leur taux de recouvrement, etc. sont donnés précédemment à titre d’exemples.Thus, for example, the numbers of mini-images, their overlap rate, etc. are given above as examples.

Claims (16)

Procédé d’acquisition et de traitement d’images de vaisseaux capillaires localisés à la base d’un ongle de doigt de main d’un patient, le procédé comprenant :
- commander l’acquisition par une caméra d’une pluralité d’images successives de la base l’ongle en balayant un plan de netteté perpendiculairement à la base de l’ongle de telle façon qu’un ensemble de plans de netteté couvre des détails respectifs des capillaires de l’ongle,
- subdiviser chaque image acquise en une pluralité de sous-images ayant des positions respectives correspondant à différentes régions d’image acquise, et pour chaque même région d’image, sélectionner, parmi les sous-images de cette même région, au moins une sous-image de plus fort contraste selon un critère choisi, caractérisant une portion nette d’image, et
- reconstruire une image nette en chaque région à partir des sous-images sélectionnées.
A method of acquiring and processing images of capillary vessels located at the base of a patient's fingernail, the method comprising:
- control the acquisition by a camera of a plurality of successive images of the base of the nail by scanning a plane of sharpness perpendicular to the base of the nail in such a way that a set of planes of sharpness covers details respective capillaries of the nail,
- subdividing each acquired image into a plurality of sub-images having respective positions corresponding to different acquired image regions, and for each same image region, selecting, among the sub-images of this same region, at least one sub-image -image with the strongest contrast according to a chosen criterion, characterizing a sharp portion of the image, and
- reconstruct a sharp image in each region from the selected sub-images.
Procédé selon la revendication 1, dans lequel on commande un déplacement de la caméra dans une direction perpendiculaire à la base de l’ongle et la caméra est commandée pour acquérir, pendant le déplacement, une pluralité d’images successives de la base de l’ongle,
et dans lequel la caméra est réglée avec une focale constante pendant le déplacement, et telle que l’une au moins des images acquises est nette en un sommet de la base de l’ongle, et l’une au moins des images acquises est nette en des bords latéraux de la base de l’ongle.
Method according to claim 1, in which a movement of the camera is controlled in a direction perpendicular to the base of the nail and the camera is controlled to acquire, during the movement, a plurality of successive images of the base of the nail,
and in which the camera is adjusted with a constant focal length during movement, and such that at least one of the acquired images is sharp at a top of the base of the nail, and at least one of the acquired images is sharp at the lateral edges of the base of the nail.
Procédé selon l’une des revendications précédentes, dans lequel on applique aux sous-images une transformée de Fourier pour obtenir un nombre de modes dans un domaine transformé quantifiant le contraste selon ledit critère choisi.
Method according to one of the preceding claims, in which a Fourier transform is applied to the sub-images to obtain a number of modes in a transformed domain quantifying the contrast according to the said chosen criterion.
Procédé selon la revendication 3, dans lequel le nombre de modes de chaque sous-image est comparé à un seuil pour sélectionner, pour chaque région d’image, les sous-images dont le nombre de modes est supérieur audit seuil, une partie au moins des sous-images sélectionnées pour une région donnée étant moyennée pour obtenir une sous-image moyennée représentative d’une portion nette d’image correspondant à ladite région donnée.
Method according to Claim 3, in which the number of modes of each sub-image is compared with a threshold in order to select, for each image region, the sub-images whose number of modes is greater than said threshold, at least a part sub-images selected for a given region being averaged to obtain an averaged sub-image representative of a sharp image portion corresponding to said given region.
Procédé selon l'une des revendications précédentes, dans lequel on estime une intercorrélation spatiale entre des sous-images d’une même région pour vérifier si aucun mouvement relatif de la base de l’ongle par rapport à la caméra ne s’est produit pendant le déplacement de la caméra, et dans le cas contraire d’un mouvement relatif constaté, on recherche un maximum d’intercorrélation spatiale entre les sous-images pour corriger par recalage, en fonction de ce maximum, des positions estimées de sous-images déterminées comme associées au mouvement relatif constaté.
Method according to one of the preceding claims, in which a spatial intercorrelation is estimated between sub-images of the same region to check whether no relative movement of the base of the nail with respect to the camera has occurred during the movement of the camera, and in the opposite case of a relative movement observed, a maximum of spatial intercorrelation is sought between the sub-images to correct by registration, as a function of this maximum, of the estimated positions of determined sub-images as associated with the observed relative motion.
Procédé selon l'une des revendications précédentes, dans lequel, pour chaque image acquise, les sous-images de l’image acquise sont construites de sorte que deux sous-images adjacentes se recouvrent partiellement, et dans lequel la reconstruction de l’image nette en chaque région est menée par recherche d’un maximum de corrélation entre au moins une sous-image sélectionnée d’une première région d’image et au moins une sous-image sélectionnée d’une deuxième région d’image, adjacente à la première région.
Method according to one of the preceding claims, in which, for each acquired image, the sub-images of the acquired image are constructed so that two adjacent sub-images partially overlap, and in which the reconstruction of the sharp image in each region is carried out by searching for a correlation maximum between at least one selected sub-image of a first image region and at least one selected sub-image of a second image region, adjacent to the first region.
Procédé selon l'une des revendications précédentes, dans lequel les images sont acquises avec un éclairage par une pluralité de jeux de diodes électroluminescentes, chaque jeu émettant une même longueur d’onde,
et dans lequel les jeux de diodes sont pilotés pour émettre des longueurs d’onde respectives différentes, en alternance et périodiquement,
ladite caméra étant réglée pour acquérir les images en noir et blanc.
Method according to one of the preceding claims, in which the images are acquired with illumination by a plurality of sets of light-emitting diodes, each set emitting the same wavelength,
and wherein the sets of diodes are driven to emit different respective wavelengths, alternately and periodically,
said camera being set to acquire black and white images.
Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications précédentes, lorsque lesdites instructions sont exécutées par un processeur d’un circuit de traitement.
Computer program comprising instructions for implementing the method according to one of the preceding claims, when said instructions are executed by a processor of a processing circuit.
Circuit de traitement programmé pour la mise en œuvre du procédé selon l’une des revendications 1 à 7.
Programmed processing circuit for implementing the method according to one of Claims 1 to 7.
Système d’acquisition et de traitement d’images de vaisseaux capillaires localisés à la base d’un ongle de doigt de main d’un patient, comportant au moins une caméra, ainsi qu’un circuit de traitement selon la revendication 9.
System for acquiring and processing images of capillary vessels located at the base of a patient's fingernail, comprising at least one camera, as well as a processing circuit according to claim 9.
Système selon la revendication 10, dans lequel la caméra comporte un objectif de type macro.
A system according to claim 10, wherein the camera includes a macro type lens.
Système selon l’une des revendications 10 et 11, comportant une pluralité de jeux de diodes électroluminescentes, chaque jeu émettant une même longueur d’onde, et les jeux de diodes émettant des longueurs d’onde respectives différentes, le circuit de traitement étant configuré pour commander un éclairage par les jeux de diodes en alternance et périodiquement.
System according to one of Claims 10 and 11, comprising a plurality of sets of light-emitting diodes, each set emitting the same wavelength, and the sets of diodes emitting different respective wavelengths, the processing circuit being configured to control lighting by the sets of diodes alternately and periodically.
Système selon la revendication 12, dans lequel l’une au moins desdites longueurs d’onde est située dans l’infrarouge proche.
A system according to claim 12, wherein at least one of said wavelengths is in the near infrared.
Système selon l’une des revendications 10 à 13, comportant en outre un dispositif de maintien du doigt du patient dans un logement (LOG), fermé par une fenêtre transparente (FEN) faisant face à la caméra (CAM).
System according to one of Claims 10 to 13, further comprising a device for holding the patient's finger in a housing (LOG), closed by a transparent window (FEN) facing the camera (CAM).
Système selon la revendication 14, comportant en outre un rail de déplacement de la caméra (CAM) dans une direction perpendiculaire à ladite fenêtre (FEN), la caméra étant réglée avec une focale constante pendant le déplacement.
System according to claim 14, further comprising a rail for moving the camera (CAM) in a direction perpendicular to said window (FEN), the camera being adjusted with a constant focal length during the movement.
Système selon l’une des revendications 14 et 15, dans lequel ledit logement (LOG) est conformé pour comporter de l’huile de paraffine.System according to one of Claims 14 and 15, in which the said housing (LOG) is shaped to contain paraffin oil.
FR2014104A 2020-12-23 2020-12-23 Acquisition and processing of images, perfected, of capillaries at the base of the nail Active FR3118255B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FR2014104A FR3118255B1 (en) 2020-12-23 2020-12-23 Acquisition and processing of images, perfected, of capillaries at the base of the nail
PCT/FR2021/052247 WO2022136758A1 (en) 2020-12-23 2021-12-08 Improved acquisition and processing of images of capillaries at the base of the nail
EP21847994.7A EP4268182A1 (en) 2020-12-23 2021-12-08 Improved acquisition and processing of images of capillaries at the base of the nail

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2014104A FR3118255B1 (en) 2020-12-23 2020-12-23 Acquisition and processing of images, perfected, of capillaries at the base of the nail
FR2014104 2020-12-23

Publications (2)

Publication Number Publication Date
FR3118255A1 true FR3118255A1 (en) 2022-06-24
FR3118255B1 FR3118255B1 (en) 2023-08-04

Family

ID=75278159

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2014104A Active FR3118255B1 (en) 2020-12-23 2020-12-23 Acquisition and processing of images, perfected, of capillaries at the base of the nail

Country Status (3)

Country Link
EP (1) EP4268182A1 (en)
FR (1) FR3118255B1 (en)
WO (1) WO2022136758A1 (en)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ERTUERK S: "DIGITAL IMAGE STABILIZATION WITH SUB-IMAGE PHASE CORRELATION BASED GLOBAL MOTION ESTIMATION", IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, IEEE, NY, US, vol. 49, no. 4, 1 November 2003 (2003-11-01), pages 1320 - 1325, XP001201282 *
PIEPER R J ET AL: "IMAGE PROCESSING FOR EXTENDED DEPTH OF FIELD", APPLIED OPTICS, OPTICAL SOCIETY OF AMERICA, WASHINGTON, DC, US, vol. 22, no. 10, 15 May 1983 (1983-05-15), pages 1449 - 1453, XP002007159 *
XUANWU YIN ET AL: "Large aperture focus stacking with max-gradient flow by anchored rolling filtering", APPLIED OPTICS, OPTICAL SOCIETY OF AMERICA, US, vol. 55, no. 20, 10 July 2016 (2016-07-10), pages 5304 - 5309, XP002793939 *

Also Published As

Publication number Publication date
FR3118255B1 (en) 2023-08-04
EP4268182A1 (en) 2023-11-01
WO2022136758A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
EP0720125B1 (en) Image forming apparatus and method for correcting optical geometrical distortions in an image
EP3412245B1 (en) Process for evaluating an orthodontic splint
CA2834883C (en) Method of controlling an action, such as a sharpness modification, using a colour digital image
FR2532756A1 (en) SYSTEM FOR AUTOMATIC OBSERVATION AND QUANTIFICATION OF PHENOMENA THAT CAN BE DETECTED BY FLUORESCENCE
EP2880623B1 (en) Method and device for reconstructing super-resolution images
EP3657784A1 (en) Method for estimating a fault of an image capturing system and associated systems
CA2778682A1 (en) Method and device for analysing hyper-spectral images
FR3038431A1 (en) HIGH RESOLUTION CAMERA BLOCK FOR DRONE, WITH CORRECTION OF ONDULATING OSCILLATION TYPE INSTABILITIES
FR2940841A1 (en) IMAGE CAPTURE SYSTEM AND USE THEREOF FOR IMPROVING QUALITY OF ACQUIRED IMAGES
EP3720115B1 (en) Method for imaging with pulsed light
WO2010081982A1 (en) Monitoring of optical defects in an image capture system
EP2947433A1 (en) System and method for acquiring hyperspectral images
FR3118255A1 (en) Acquisition and processing of images, perfected, of capillaries at the base of the nail
EP1129432B1 (en) Method for comparing recorded pixel images representing equipotential lines of at least an integrated circuit chip
FR2910673A1 (en) IMAGE PROCESSING METHOD AND DEVICE IMPLEMENTING SAID METHOD
EP3934516A1 (en) Device and method for qualitatively evaluating liver grafts
EP3274913B1 (en) Device and method for biometric acquisition of the iris
FR3032543A1 (en) METHOD FOR DETERMINING A ROTATION AXIS OF A TOMOGRAPHIC OBJECT AND METHOD OF CHARACTERIZATION BY TOMOGRAPHY
EP3509483B1 (en) System and method for reconstructing a physiological signal of an artery/tissue/vein dynamic system of an organ in a surface space
BE1029378A1 (en) IMAGE PROCESSING METHOD
FR2887347A1 (en) Digital image`s depth map constructing method for e.g. digital photography field, involves evaluating clarity of each block to obtain discrete function, and determining and assigning optimal value of focal distance to map
WO2023187170A1 (en) Method for correcting optical aberrations introduced by an optical lens in an image, apparatus and system implementing such a method
WO2022195222A1 (en) Medical imaging method employing a hyperspectral camera
EP3625766A1 (en) Method of detecting and quantifying blur in a digital image
WO2024194542A1 (en) Method for the correction of images in a vehicle

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20220624

PLFP Fee payment

Year of fee payment: 3

CD Change of name or company name

Owner name: ECOLE NORMALE SUPERIEURE, FR

Effective date: 20230330

Owner name: SORBONNE UNIVERSITE, FR

Effective date: 20230330

Owner name: UNIVERSITE PARIS CITE, FR

Effective date: 20230330

Owner name: CENTRE HOSPITALIER UNIVERSITAIRE DE POITIERS, FR

Effective date: 20230330

Owner name: ECOLE SUPERIEURE DE PHYSIQUE ET DE CHIMIE INDU, FR

Effective date: 20230330

Owner name: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE -, FR

Effective date: 20230330

Owner name: PARIS SCIENCES ET LETTRES - QUARTIER LATIN, FR

Effective date: 20230330

CD Change of name or company name

Owner name: ECOLE NORMALE SUPERIEURE, FR

Effective date: 20230502

Owner name: SORBONNE UNIVERSITE, FR

Effective date: 20230502

Owner name: UNIVERSITE PARIS CITE, FR

Effective date: 20230502

Owner name: CENTRE HOSPITALIER UNIVERSITAIRE DE POITIERS, FR

Effective date: 20230502

Owner name: ECOLE SUPERIEURE DE PHYSIQUE ET DE CHIMIE INDU, FR

Effective date: 20230502

Owner name: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE -, FR

Effective date: 20230502

Owner name: PARIS SCIENCES ET LETTRES, FR

Effective date: 20230502

PLFP Fee payment

Year of fee payment: 4