FR3120940A1

FR3120940A1 - Procédé d’imagerie médicale mettant en œuvre une caméra hyperspectrale

Info

Publication number: FR3120940A1
Application number: FR2102682A
Authority: FR
Inventors: Vincent AGNUS; Manuel BARBERIO; Michele Diana
Original assignee: Institut De Rech Contre Les Cancers De Lappareil Digestif; Institut De Recherche Contre Les Cancers De L'appareil Digestif; Institut Hospitalo Universitaire de Strasbourg
Current assignee: Institut De Rech Contre Les Cancers De Lappareil Digestif; Institut De Recherche Contre Les Cancers De L'appareil Digestif; Institut Hospitalo Universitaire de Strasbourg
Priority date: 2021-03-17
Filing date: 2021-03-17
Publication date: 2022-09-23
Anticipated expiration: 2041-03-17
Also published as: WO2022195222A1; FR3120940B1

Abstract

L’invention concerne un procédé d’imagerie médicale comportant les étapes de : acquérir, au moyen d’une première caméra, du domaine visible, une image visible de référence d’une scène tel qu’un site chirurgical ;obtenir une pluralité d’images monospectrales formant un cube hyperspectral de référence de ladite scène ;incruster, dans l’image visible de référence, pour au moins une partie des pixels de cette image, des données associées aux pixels correspondants des images monospectrales du cube hyperspectral de référence ;acquérir, au moyen de la première caméra, une image visible courante de ladite scène ;déterminer une déformation d’image entre l’image visible de référence et l’image visible courante ;appliquer une déformation correspondante aux images monospectrales du cube hyperspectral de référence pour obtenir des images monospectrales virtuelles formant un cube hyperspectral virtuel ;incruster, dans l’image visible courante, pour au moins une partie des pixels de cette image, des données associées aux pixels correspondants des images monospectrales du cube hyperspectral virtuel. Figure pour l’abrégé : Fig. 1

Description

Procédé d’imagerie médicale mettant en œuvre une caméra hyperspectrale

L’invention se rapporte au domaine des procédés et systèmes d’imagerie médicale, et plus particulièrement aux procédés et systèmes impliquant la capture d’images au moyen d’une caméra hyperspectrale dans le but de fournir, en temps réel, des informations utiles au chirurgien durant une opération chirurgicale.

On connait des systèmes d’imagerie médicale visant à fournir au chirurgien des images du site chirurgical en cours d’opération et en temps réel. Il est connu également des systèmes permettant de capturer des images dans le domaine visible, grâce à une caméra du domaine visible (ou caméra RGB, sigle anglais pour « rouge-vert-bleu »), et de fournir des données relatives au patient, ces données étant collectées par un autre moyen que la caméra, par exemple par une caméra apte à collecter des données dans un autre domaine que le domaine visible, telle qu’une caméra hyperspectrale. Certains systèmes d’imagerie mettent en œuvre une deuxième source de données en plus de la caméra du domaine visible, et permettent d’afficher les données collectées sur les images captées par la caméra, ces données étant incrustées dans la séquence d’images fournies à l’utilisateur. En d’autres termes, ces systèmes d’imagerie mettent en œuvre un procédé de réalité augmentée, en fournissant à l’utilisateur une séquence d’images réelles dans lesquelles sont incrustées des données relatives au site chirurgical qui se trouve dans le champ de la caméra du domaine visible, les données étant collectées par un capteur autre que la caméra du domaine visible.

Lorsque ce capteur est une caméra hyperspectrale, le système d’imagerie peut collecter et afficher des données qui sont très utiles au chirurgien en cours d’opération, l’analyse des données hyperspectrales permettant d’obtenir des informations telles que par exemple le taux d’oxygénation des tissus. Il se pose toutefois le problème qu’une caméra hyperspectrale implique des temps de pose très longs pour acquérir une image d’une scène, de l’ordre de 10 à 20 secondes, alors qu’une caméra RGB peut capter plusieurs dizaines d’images par seconde, et ce avec une résolution bien meilleure. Bien entendu, il est possible de réduire le temps d’acquisition d’une caméra hyperspectrale, mais en réduisant la résolution de l’image obtenue, ce qui n’est pas satisfaisant. La différence de temps d’acquisition nécessaire respectivement pour une caméra RGB et pour une caméra hyperspectrale est un problème si l’on cherche à mettre au point un système d’imagerie combinant les données issues de ces deux types de caméra, surtout si ce système doit fournir des images en temps réel ou quasi-réel. En effet, il s’écoule bien plus d’une dizaine de secondes entre deux acquisitions d’image par la caméra hyperspectrale, et cette durée correspond à l’intervalle de temps entre deux mises à jour des données collectées grâce à cette caméra et incrustées sur les images captées par la caméra du domaine visible. L’intervalle de temps entre deux mises à jour fait que les données incrustées peuvent ne plus correspondre à la réalité de la scène, parce que certains éléments auront bougé, par exemple en raison des mouvements de tissus ou d’organes dus à la respiration ou à la circulation sanguine du patient, ou encore parce que le chirurgien aura retiré ou déplacé une partie d’un tissu ou d’un organe.

On ne connait pas actuellement de procédé permettant de réduire le temps d’acquisition par une caméra hyperspectrale sans nuire à la qualité de l’image obtenue en raison d’une résolution fortement dégradée.

L’invention a ainsi pour but de remédier aux inconvénients de l’état de la technique, et plus particulièrement ceux ci-dessus exposés, en proposant un procédé d’imagerie médicale mettant en œuvre un procédé de réalité augmentée au moyen d’une caméra du domaine du visible et d’une caméra hyperspectrale, le procédé permettant d’améliorer la précision des données issues de la caméra hyperspectrale et incrustées dans les images capturées par la caméra du domaine visible.

À cet effet, l’invention concerne un procédé d’imagerie médicale comportant les étapes de :

acquérir, au moyen d’une première caméra, du domaine visible, une image visible de référence d’une scène tel qu’un site chirurgical ;
obtenir une pluralité d’images monospectrales formant un cube hyperspectral de référence de ladite scène ;
incruster, dans l’image visible de référence, pour au moins une partie des pixels de cette image, des données associées aux pixels correspondants d’une ou plusieurs images monospectrales du cube hyperspectral de référence ;
acquérir, au moyen de la première caméra, une image visible courante de ladite scène ;
déterminer une déformation d’image entre l’image visible de référence et l’image visible courante ;
appliquer une déformation correspondante aux images monospectrales du cube hyperspectral de référence pour obtenir des images monospectrales virtuelles formant un cube hyperspectral virtuel ;
incruster, dans l’image visible courante, pour au moins une partie des pixels de cette image, des données associées aux pixels correspondants d’une ou plusieurs images monospectrales du cube hyperspectral virtuel.

Ainsi, le procédé conforme à l’invention permet de réaliser un système d’imagerie médicale incrustant dans les images visibles captées par une caméra standard, de type RGB, des données captées par une caméra hyperspectrale, ce système limitant les inconvénients dus à l’importance du temps d’acquisition de la caméra hyperspectrale. En effet, en déterminant la déformation entre deux images visibles successives et en appliquant cette déformation aux images du dernier cube hyperspectral disponible, on parvient à déterminer l’évolution des images du cube hyperspectral en fonction de l’évolution de la scène captée par la caméra du domaine visible. Ainsi, les données obtenues au moyen de la caméra hyperspectrale et affichées sur un écran selon un procédé de réalité augmentée tiennent compte de l’évolution de la scène captée par la caméra du domaine visible, même entre deux acquisitions par la caméra hyperspectrale. Le procédé conforme à l’invention permet donc d’éviter d’afficher des données faussées entre deux acquisitions d’un cube hyperspectral par la caméra hyperspectrale. L’invention permet ainsi de fluidifier le geste chirurgical grâce à une réalité augmentée en temps réel : le chirurgien peut observer et gérer son geste sans devoir attendre plusieurs dizaines de secondes une image hyperspectrale de contrôle.

Dans une réalisation, le cube hyperspectral de référence est obtenu lors d’une étape d’acquisition par une deuxième caméra, la deuxième caméra étant une caméra hyperspectrale.

Dans une réalisation, le cube hyperspectral de référence correspond à un cube hyperspectral virtuel précédemment obtenu par la mise en œuvre des étapes de déterminer une déformation d’image entre une image visible de référence et une image courante et d’appliquer une déformation correspondante aux images monospectrales d’un cube hyperspectral de référence pour obtenir un cube hyperspectral de référence virtuel.

Dans une réalisation, lorsque la résolution des images captées par la première caméra est supérieure à la résolution des images captées par la deuxième caméra, on met en œuvre une étape de super-résolution, pour augmenter la résolution des images captées par la deuxième caméra, de préférence avant l’étape d’appliquer une déformation aux images monospectrales du cube hyperspectral de référence.

Dans une réalisation, l’étape de super-résolution comporte une sous-étape de corrélation entre une image captée par la première caméra et une image captée par la deuxième caméra pour augmenter la résolution.

Dans une réalisation, on met en œuvre une étape préalable de calibration des première et deuxième caméras au moyen d’un élément de calibration positionné dans une zone commune aux champs optiques des deux caméras, cette étape préalable permettant d’identifier, pour chaque pixel d’une image captée par la première caméra, un pixel correspondant des images monospectrales formant un cube hyperspectral capté par la deuxième caméra.

Dans une réalisation, l’étape de déterminer une déformation entre une première et une deuxième images captées par la première caméra comporte :

- déterminer au moins un ensemble de pixels correspondant à un point remarquable sur la première image ;

- déterminer au moins un ensemble de pixels correspondant au même point remarquable sur la deuxième image ;

- déterminer une déformation en fonction de la différence de position des pixels correspondants au point remarquable de la deuxième image par rapport à la première image.

- déterminer au moins un groupe de pixels correspondant à une région homogène du point de vue du type de tissu sur la première image ;

- déterminer au moins un groupe de pixels correspondant à la même région sur la deuxième image ;

- déterminer une déformation en fonction de la différence de position des groupes de pixels correspondants à la région homogène de la deuxième image par rapport à la première image.

Dans une réalisation, une région homogène est déterminée en fonction d’au moins un critère tel que la couleur ou la texture.

Dans une réalisation, la déformation déterminée au moyen d’au moins un ensemble de points remarquables ou d’au moins une zone homogène est extrapolée au reste de l’image.

Dans une réalisation, les résultats de l’étape de déterminer une déformation entre une première et une deuxième images sont comparés aux résultats obtenus au moyen d’un algorithme d’apprentissage automatique sur la base des deux mêmes images.

Dans une réalisation, l’algorithme d’apprentissage automatique a été préalablement entrainé au moyen d’une base de données d’images obtenues lors de la mise en œuvre des étapes ci-dessus.

Dans une réalisation, le procédé comporte une étape de vérification de la cohérence entre l’image visible courante et le cube hyperspectral virtuel.

Dans une réalisation, l’étape de vérification comporte les sous-étapes suivantes :

extraire du cube hyperspectral virtuel des images monospectrales de longueur d’onde proches respectivement des longueurs d’onde correspondant au rouge, au vert et au bleu, et former une image composite par superposition desdites images extraites du cube hyperspectral virtuel ;
comparer l’image composite à l’image visible courante, de préférence à résolution égale.

Dans une réalisation, la sous-étape de comparaison permet de déterminer, pour au moins une zone de l’image visible courante, un degré de confiance relatif à la cohérence entre l’image visible courante et le cube hyperspectral virtuel.

La présente invention sera mieux comprise à la lecture de la description détaillée qui suit, faite en référence aux dessins annexés, dans lesquels :

La représente un système d’imagerie adapté pour la mise en œuvre d’un procédé d’imagerie conforme à l’invention.

La est une vue de détail de la montrant le dispositif d’acquisition.

La est un schéma illustrant le principe de correction d’une image extraite d’un cube hyperspectral, conformément au procédé conforme à l’invention.

La illustre les étapes de mise en œuvre d’un procédé conforme à l’invention.

La représente un système d’imagerie adapté pour mettre en œuvre un procédé d’imagerie conforme à l’invention. Le système d’imagerie 1 comporte un dispositif d’acquisition 10, une unité centrale 12, et au moins un écran 14 de visualisation.

L’écran 14 est destiné à afficher des images acquises par le dispositif d’acquisition 10, après traitement par l’unité centrale 12.

Le dispositif d’acquisition 10, également visible sur la , est destiné à être placé à proximité d’une scène d’opération, par exemple au-dessus d’une table d’opération 2. Le dispositif d’acquisition 10 comporte une première caméra 100, du domaine visible, ou caméra RGB 100. Le dispositif d’acquisition 10 comporte également une deuxième caméra 102, de type hyperspectral, ou caméra hyperspectrale 102. Avantageusement, le dispositif d’acquisition 10 comporte des éléments d’éclairage 104 afin d’améliorer la qualité des images capturées par les deux caméras 100, 102.

On décrit ci-après, en relation avec les figures 3 et 4, un exemple de mise en œuvre du procédé d’imagerie conforme à l’invention.

Le procédé objet de l’invention comporte une première étape d’acquisition 40 d’une image visible, ou image visible de référence IVR, d’une scène tel qu’un site chirurgical, par exemple au niveau d’un patient positionné sur une table d’opération 2. L’image visible de référence IVR est acquise au moyen de la caméra RGB 100.

Le procédé comporte une étape d’acquisition 42, au moyen de la caméra hyperspectrale 102, d’un cube hyperspectral de référence CHR de la même scène, et au même moment. Le cube hyperspectral de référence CHR comporte une pluralité d’images monospectrales IHR de ladite scène.

À chaque pixel ou groupe de pixels de l’image visible de référence IVR correspond un pixel ou un groupe de pixels des images monospectrales IHR formant le cube hyperspectral de référence CHR. La correspondance entre les pixels des images visibles captées par la première caméra 100 et les pixels des images monospectrales des cubes hyperspectraux captés par la deuxième caméra 102 est connue grâce à la mise en œuvre d’une étape préalable de calibration, décrite plus bas.

Le procédé comporte ensuite une étape d’incrustation 46, dans l’image visible de référence IVR, pour au moins une partie des pixels de cette image, de données associées aux pixels correspondants d’une ou plusieurs images monospectrales du cube hyperspectral de référence CHR. Cette étape permet d’incruster dans l’image visible des données intéressant un utilisateur du système, tel qu’un chirurgien, selon un procédé de réalité augmentée. Ainsi, l’utilisateur pourra observer à l’écran une image réelle du site chirurgical, dans laquelle sont incrustées des données provenant de l’imagerie hyperspectrale.

Le procédé comporte ensuite une étape d’acquisition 48, au moyen de la caméra RGB 100, d’une image visible courante IVC de la même scène que l’image visible de référence IVR.

Le procédé comporte ensuite une étale de détermination 50 d’une déformation d’image entre l’image visible de référence IVR et l’image visible courante IVC. Cette étape permet de déterminer si, et dans quelle mesure, des objets visibles sur l’image visible courante IVC, tels que la forme géométrique A de l’exemple de la , se sont déplacés ou déformés entre la capture de l’image visible de référence IVR et la capture de l’image visible courante IVC.

Le procédé comporte ensuite une étape d’appliquer 52, aux images monospectrales IHR du cube hyperspectral de référence CHR, une déformation analogue à celle déterminée à l’étape précédente, afin d’obtenir des images monospectrales virtuelles IHV, formant un cube hyperspectral virtuel CHV. Les données hyperspectrales, c’est-à-dire les données associées aux différents pixels composant les images monospectrales, ne sont pas modifiées lors de cette étape, mais sont le cas échéant réaffectées à des pixels de coordonnées différentes, en fonction de la déformation déterminée à l’étape précédente.

Le procédé comporte ensuite une étape d’incrustation 54, dans l’image visible courante IVC, pour au moins une partie des pixels de cette image, des données associées aux pixels correspondants d’une ou plusieurs images monospectrales virtuelles IHV du cube hyperspectral virtuel CHV.

Les étapes du procédé conforme à l’invention décrites ci-dessus permettent donc d’assurer la cohérence des données provenant de la caméra hyperspectrale 102 et affichées à l’écran, lorsque des éléments de la scène captée par le dispositif d’acquisition 10 sont susceptibles de changer (de bouger, de se déformer, etc.) entre deux acquisitions par la caméra hyperspectrale 102. En effet, en estimant la déformation des images du cube hyperspectral de référence CHR en fonction des déformations observées entre une image visible courante IVC et une image visible de référence IVR (cette dernière étant captée simultanément avec le cube hyperspectral de référence CHR), le procédé permet d’incruster dans l’image visible courante IVC des données qui sont correctes même en cas de déformation survenue entre deux captures d’un cube hyperspectral par la caméra hyperspectrale.

Dans les étapes décrites ci-dessus, le cube hyperspectral de référence CHR est obtenu directement par acquisition au moyen de la caméra hyperspectrale 102, et les étapes menant à la construction d’un cube hyperspectral virtuel CHV peuvent être réitérées tant qu’un nouveau cube hyperspectral n’a pas été acquis par la caméra hyperspectrale 102. Ainsi, un cube hyperspectral virtuel de rang n sera construit en fonction d’une image visible courante de rang n, d’une image de référence et d’un cube hyperspectral de référence. L’image de référence utilisée pour construire un cube hyperspectral virtuel de rang n pourra être :

l’image visible courante de rang n-1, c’est-à-dire l’image visible courante associée au cube hyperspectral virtuel de rang n-1 (ce dernier constituant alors le cube hyperspectral de référence), ce qui implique que la déformation d’image sera déterminée entre l’image courante de rang n et l’image courante de rang n-1 ; ou
l’image visible de référence associée au dernier cube hyperspectral acquis par la caméra hyperspectrale 102, ce qui implique que la déformation d’image sera déterminée entre l’image courante de rang n et l’image visible captée en même temps que le dernier cube hyperspectral acquis par la caméra hyperspectrale 102.

Ensuite, une fois qu’un nouveau cube hyperspectral a été capté par la caméra hyperspectrale, celui-ci devient alors le nouveau cube hyperspectral de référence, et les étapes du procédé décrites plus haut peuvent être réitérées jusqu’à une nouvelle acquisition d’un cube hyperspectral de référence.

Avantageusement, lorsque la résolution des images captées par la première caméra 100 est supérieure à la résolution des images captées par la deuxième caméra 102, on met en œuvre une étape 44 de super-résolution, pour augmenter la résolution des images captées par la caméra hyperspectrale, de préférence avant l’étape d’appliquer 52 aux images monospectrales la déformation déterminée par comparaison d’une première et d’une deuxième images visibles. De préférence, l’étape de super-résolution 44 comporte une sous-étape de corrélation entre une image captée par la première caméra 100 et une image captée par la deuxième caméra 102 pour augmenter la résolution de cette dernière.

Avantageusement, la détermination d’une déformation entre une image visible courante (ou deuxième image) et une image visible de référence (ou première image) est basée sur une détection de points remarquables. Les points remarquables correspondent à des zones de petites dimensions, dans lesquelles un élément va pouvoir être facilement repéré sur les deux images. Dans le cadre d’un site chirurgical, un élément remarquable correspondra par exemple à une bifurcation vasculaire : la forme en Y correspondant à cette bifurcation vasculaire pourra être facilement détectée et repérée d’une image à l’autre.

De préférence, afin de détecter de tels points remarquables, l’étape de déterminer la déformation entre une première et une deuxième images captées par la première caméra 100 comporte les sous-étapes suivantes :

déterminer au moins un ensemble de pixels correspondant un point remarquable sur la première image ;
déterminer au moins un ensemble de pixels correspondant au même point remarquable sur la deuxième image ;
déterminer une déformation en fonction de la différence de position des pixels correspondants au point remarquable de la deuxième image par rapport à la première image.

Avantageusement, la détermination d’une déformation entre une image visible courante et une image visible de référence est basée sur une détection d’au moins une région homogène, par exemple au niveau des caractéristiques tissulaires. Ce mode de détection consiste à détecter des zones homogènes, notamment en termes de couleur et de texture, correspondant à un organe (comme par exemple le foie).

De préférence, afin de détecter des régions homogènes, l’étape de déterminer la déformation entre une première et une deuxième images captées par la première caméra 100 comporte les sous-étapes suivantes :

déterminer au moins un groupe de pixels correspondant à une région homogène du point de vue du type de tissu sur la première image ;
déterminer au moins un groupe de pixels correspondant à la même région sur la deuxième image ;
déterminer une déformation en fonction de la différence de position des groupes de pixels correspondants à la région homogène de la deuxième image par rapport à la première image.

De préférence, une région homogène sera détectée en fonction d’au moins un critère tel que la couleur ou la texture.

Avantageusement, la déformation déterminée au moyen d’au moins un ensemble de points remarquables et/ou d’au moins une zone homogène pourra être extrapolée au reste de l’image.

Avantageusement, les résultats de l’étape de déterminer une déformation entre une première et une deuxième images sont comparés aux résultats obtenus au moyen d’un algorithme d’apprentissage automatique sur la base des deux mêmes images. De préférence, l’algorithme d’apprentissage automatique a été préalablement entrainé au moyen d’une base de données d’images obtenues lors de la mise en œuvre des étapes de détermination d’une déformation telles que décrites ci-dessus.

Avantageusement, le procédé pourra comporter une étape de vérification de la cohérence entre l’image visible courante visible courante IVC et le cube hyperspectral virtuel CHV, par exemple pour signaler une incohérence entre les images monospectrales obtenues par application d’une déformation et les images visibles, si des écarts trop importants sont relevés.

De préférence, cette étape de vérification comporte les sous-étapes suivantes :

extraire du cube hyperspectral virtuel des image monospectrales dont les longueurs d’onde correspondent respectivement aux couleurs rouge, verte et bleue, puis former une image composite en superposant les images ainsi extraites ;
comparer l’image composite à l’image visible courante, de préférence à résolution égale.

La sous-étape de comparaison permet de déterminer, pour au moins une zone de l’image visible courante IVC, un degré de confiance relatif à la cohérence entre l’image visible courante IVC et le cube hyperspectral CHV. Ainsi, le système d’imagerie mettant en œuvre le procédé conforme à l’invention pourra signaler à l’utilisateur des incohérences entre l’image visible affichée à l’écran et les images monospectrales formant le cube hyperspectral virtuel (obtenues par application d’une déformation) si celles-ci sont trop importantes.

Le dispositif d’acquisition 10 décrit plus haut inclut dans un même ensemble les deux caméras 100, 102, nécessaires à la mise en œuvre du procédé conforme à l’invention. Du fait que les objectifs des deux caméras sont séparés, il est nécessaire de mettre en œuvre une étape préalable de calibration, cette étape préalable permettant d’identifier, pour chaque pixel d’une image captée par la première caméra 100, un pixel correspondant des images monospectrales formant un cube hyperspectral capté par la deuxième caméra 102. Cette étape est réalisée par exemple au moyen d’un élément de calibration, tel qu’un damier, positionné dans une zone commune aux champs optiques des deux caméras. Cette étape de calibration permet ainsi de tenir compte de la différence de positionnement des objectifs des deux caméras. Lorsque le dispositif d’acquisition 10 inclut les deux caméras de manière fixe, cette étape de calibration ne devra être réalisée qu’une seule fois, par exemple en usine lors de l’assemblage du dispositif. Si les deux caméras 100, 102 sont mobiles l’une par rapport à l’autre, par exemple parce que montées sur des supports différents, cette étape de calibration devra être réalisée avant chaque utilisation du système d’imagerie 1.

Claims

Procédé d’imagerie médicale comportant les étapes de :
acquérir (40), au moyen d’une première caméra (100), du domaine visible, une image visible de référence (IVR) d’une scène tel qu’un site chirurgical ;

obtenir (42) une pluralité d’images monospectrales (IHR) formant un cube hyperspectral de référence (CHR) de ladite scène ;

incruster (46), dans l’image visible de référence (IVR), pour au moins une partie des pixels de cette image, des données associées aux pixels correspondants d’une ou plusieurs images monospectrales (IHR) du cube hyperspectral de référence (CHR) ;

acquérir (48), au moyen de la première caméra (100), une image visible courante (IVC) de ladite scène ;

déterminer (50) une déformation d’image entre l’image visible de référence (IVR) et l’image visible courante (IVC) ;

appliquer (52) une déformation correspondante aux images monospectrales (IHR) du cube hyperspectral de référence (CHR) pour obtenir des images monospectrales virtuelles (IHV) formant un cube hyperspectral virtuel (CHV) ;

incruster (54), dans l’image visible courante (IVC), pour au moins une partie des pixels de cette image, des données associées aux pixels correspondants d’une ou plusieurs images monospectrales du cube hyperspectral virtuel (CHV).
Procédé selon la revendication précédente, dans lequel le cube hyperspectral de référence (CHR) est obtenu lors d’une étape d’acquisition (42) par une deuxième caméra (102), la deuxième caméra (102) étant une caméra hyperspectrale.
Procédé selon la revendication 1 ou 2, dans lequel le cube hyperspectral de référence (CHR) correspond à un cube hyperspectral virtuel précédemment obtenu par la mise en œuvre des étapes de déterminer (50) une déformation d’image entre une image visible de référence (IVR) et une image visible courante (IVC) et d’appliquer (52) une déformation correspondante aux images monospectrales d’un cube hyperspectral de référence (CHR) pour obtenir un cube hyperspectral de référence virtuel (CHV).
Procédé selon l’une des revendications 2 et 3, dans lequel lorsque la résolution des images captées par la première caméra (100) est supérieure à la résolution des images captées par la deuxième caméra (102), on met en œuvre une étape (44) de super-résolution, pour augmenter la résolution des images captées par la deuxième caméra (102), de préférence avant d’appliquer (52) une déformation aux images monospectrales du cube hyperspectral de référence (CHR).
Procédé selon la revendication précédente, dans lequel l’étape de super-résolution (44) comporte une sous-étape de corrélation entre une image captée par la première caméra (100) et une image captée par la deuxième caméra (102) pour augmenter la résolution.
Procédé selon l’une des revendications 2 à 5, dans lequel on met en œuvre une étape préalable de calibration des première et deuxième caméras (100, 102), au moyen d’un élément de calibration, positionné dans une zone commune aux champs optiques des deux caméras, cette étape préalable permettant d’identifier, pour chaque pixel d’une image captée par la première caméra (100), un pixel correspondant des images monospectrales formant un cube hyperspectral capté par la deuxième caméra (102).
Procédé selon l’une des revendications précédentes, dans lequel l’étape de déterminer (50) une déformation entre une première et une deuxième images captées par la première caméra (100) comporte :
- déterminer au moins un ensemble de pixels correspondant un point remarquable sur la première image ;
- déterminer au moins un ensemble de pixels correspondant au même point remarquable sur la deuxième image ;
- déterminer une déformation en fonction de la différence de position des pixels correspondants au point remarquable de la deuxième image par rapport à la première image.
Procédé selon l’une des revendications précédentes, dans lequel l’étape de déterminer (50) une déformation entre une première et une deuxième images captées par la première caméra (100) comporte :
- déterminer au moins un groupe de pixels correspondant à une région homogène du point de vue du type de tissu sur la première image ;
- déterminer au moins un groupe de pixels correspondant à la même région sur la deuxième image ;
- déterminer une déformation en fonction de la différence de position des groupes de pixels correspondants à la région homogène de la deuxième image par rapport à la première image.
Procédé selon la revendication précédente, dans lequel une région homogène est déterminée en fonction d’au moins un critère tel que la couleur ou la texture.
Procédé selon l’une des revendications 7 à 9, dans lequel la déformation déterminée au moyen d’au moins un ensemble de points remarquables ou d’au moins une zone homogène est extrapolée au reste de l’image.
Procédé selon l’une des revendications précédentes, dans lequel les résultats de l’étape de déterminer (50) une déformation entre une première et une deuxième images sont comparés aux résultats obtenus au moyen d’un algorithme d’apprentissage automatique sur la base des deux mêmes images.
Procédé selon la revendication précédente, dont lequel l’algorithme d’apprentissage automatique a été préalablement entrainé au moyen d’une base de données d’images obtenues lors de la mise en œuvre des étapes des revendications 7 et 8.
Procédé selon l’une des revendications précédentes, comportant une étape de vérification de la cohérence entre l’image visible courante (IVC) et le cube hyperspectral virtuel (CHV).
Procédé selon la revendication précédente, dans lequel l’étape de vérification comporte les sous-étapes suivantes :
extraire du cube hyperspectral virtuel (CHV) des images monospectrales de longueur d’onde proches respectivement des longueurs d’onde correspondant au rouge, au vert et au bleu, et former une image composite par superposition desdites images extraites du cube hyperspectral virtuel (CHV) ;

comparer l’image composite à l’image visible courante, de préférence à résolution égale.
Procédé selon la revendication précédente, dans lequel la sous-étape de comparaison permet de déterminer, pour au moins une zone de l’image visible courante (IVC), un degré de confiance relatif à la cohérence entre l’image visible courante (IVC) et le cube hyperspectral virtuel (CHV).