FR3125906A1

FR3125906A1 - Procédé de construction d’une image mosaïque, dispositif et programme d’ordinateur correspondant.

Info

Publication number: FR3125906A1
Application number: FR2108318A
Authority: FR
Inventors: Dinh-Hoan TRIHN; Dominique Lamarque; Thomas Bazin; Christian DAUL
Original assignee: Assistance Publique Hopitaux de Paris APHP; Universite de Lorraine; Universite Paris Saclay
Current assignee: Assistance Publique Hopitaux de Paris APHP; Universite de Lorraine; Universite Paris Saclay
Priority date: 2021-07-30
Filing date: 2021-07-30
Publication date: 2023-02-03
Anticipated expiration: 2041-07-30
Also published as: FR3125906B1; WO2023006592A1

Abstract

L’invention se rapporte à un procédé de construction d’une image mosaïque à partir d’une séquence S d’images d’un organe creux, ladite séquence S d’images étant issue d’un endoscope inséré au sein de l’organe creux, procédé mis en œuvre par un dispositif électronique comprenant un processeur et une mémoire. Un tel procédé comprend : une étape de sélection d’images, à partir de ladite séquence S d’images, délivrant un sous-ensemble d’images SC et une image de référence parmi ce sous-ensemble d’images SC ; une étape de détermination de liens géométriques H entre l’image de référence précédemment déterminée et les images du sous-ensemble d’images SC ; une étape de construction de l’image mosaïque à partir de l’image de référence , au moins certaines des images du sous-ensemble d’images SC et des liens géométrique H de ces images du sous-ensemble d’images SC. Figure 1.

Description

Procédé de construction d’une image mosaïque, dispositif et programme d’ordinateur correspondant.

Domaine de l'invention

L'invention se rapporte à une technique de traitement d'images issues d'un dispositif de captation d'images d'un organe creux. Plus particulièrement, l'invention se rapporte à la construction d'une image résultante d'une combinaison d'une pluralité d'images issues d'un dispositif de captation, tel qu'un endoscope, se trouvant au sein d'un organe creux.

Art antérieur

Dans le domaine médical, les endoscopes jouent un rôle essentiel pour l’inspection des organes creux et des cavités du corps. Ils fournissent des images à haute résolution avec des couleurs et textures naturelles requises pour un diagnostic, le suivi des patients et les interventions chirurgicales.

Dans le domaine industriel, l’endoscope permet de réaliser une inspection par intrusion sans endommager la zone d’inspection. Dans ce domaine industriel, l’endoscope s’utilise dans en mécanique, aéronautique, ferroviaire, maritime et dans le BTP pour l'inspection de corps creux ou de canalisation à la recherche de défaut, comme par exemple des défauts de soudure.

Cependant, le champ de vue réduit des endoscopes est un facteur limitant majeur pour une interprétation aisée des scènes. Plus particulièrement, par exemple dans le domaine médical, les champs de vue limités des endoscopes et le manque d’un contrôle aisé de la trajectoire de l’instrument compliquent la recherche et le diagnostic de lésions sur les parois épithéliales des organes creux comme l’estomac ou la vessie.

Le champ de vue réduit ne permet pas de localiser l’endoscope par rapport à des repères anatomiques de sorte que le clinicien ne peut pas revenir de façon aisée à une région d’intérêt (RdI) ; ce manque de localisation peut aussi conduire à des lacunes dans les régions à inspecter (risque d’omettre la visualisation de lésions) ;
Les vidéo-endoscopies, qui sont enregistrées lors de l’examen du patient, sont en général difficiles à exploiter après l’examen, lorsque l’endoscopiste ne manipule plus l’instrument ; ceci ne facilite pas un second diagnostic (notamment par un autre médecin, ou par le même médecin) après l’examen ;
Après l’examen, aucun support de discussion n’est disponible pour un échange entre spécialistes de différentes disciplines ;
Le suivi des patients et la traçabilité des examens est difficile à effectuer ;
L'identification de certaines lésions est bien souvent difficile lors d’une endoscopie conventionnelle car celles-ci sont peu visibles et/ou très localisées ;

De plus, de nombreuses études ont documenté une variabilité importante dans la reconnaissance des lésions entre les opérateurs, ou même pour un même opérateur à plusieurs instants. Il existe donc un besoin important de techniques ou de méthodologies qui amélioreront la qualité de la reconnaissance et du diagnostic des lésions lors d'une endoscopie gastro-intestinale.

Des techniques de mosaïquage permettent le calcul d’images panoramiques de toute une zone d’intérêt qui inclut, par exemple, des lésions et des repères anatomiques.

La méthode proposée par les inventeurs ne pose pas au moins certains de ces problèmes de l’art antérieur. En effet, il est proposé un procédé de construction d’une image mosaïque à partir d’une séquence S d’images d’un organe creux, ladite séquence S d’images étant issue d’un endoscope inséré au sein de l’organe creux, procédé mis en œuvre par un dispositif électronique comprenant un processeur et une mémoire et caractérisé en ce qu’il comprend :

une étape de sélection d’images, à partir de ladite séquence S d’images, délivrant un sous-ensemble d’images S_Cet une image de référence parmi ce sous-ensemble d’images S_C;
une étape de détermination de liens géométriques H entre l’image de référence précédemment déterminée et les images du sous-ensemble d’images S_C;
une étape de construction de l’image mosaïque à partir de l’image de référence , au moins certaines des images du sous-ensemble d’images S_Cet des liens géométrique H de ces images du sous-ensemble d’images S_C.

Ainsi, il est possible de construire une représentation plus fidèle de l’intérieur de l’organe creux en minimisant les artefacts.

Selon une caractéristique particulière, l’étape de sélection d’images comprend :

une étape de détermination, parmi la séquence S d’images, du sous-ensemble d’images S_Ccorrespondant à l’enveloppe convexe des centres des images de la séquence S d’images ; et
à partir de ce sous-ensemble d’images S_C, sélection de l’image qui maximise la distance au centre de l’ensemble des images la séquence S d’images.

Ainsi, on facilite la création de la future image mosaïque en utilisant des images qui sont représentatives de l’étendue du champ de vision des images de la séquence d’images.

Selon une caractéristique particulière, l’étape de détermination d’un lien géométrique avec l’image de référence comprend, pour une image courante appartenant au sous-ensemble d’images S_C, au moins une étape de calcul d’une homographie entre l’image de référence et l’image courante, ladite homographie étant déterminée en fonction d’un taux de superposition entre les pixels de l’image de référence et les pixels de l’image courante .

Ainsi, on est en mesure de déterminer les déplacements qui sont présents au sein du sous ensemble d’images.

Selon une caractéristique particulière, lorsque le taux de superposition entre les pixels de l’image de référence et les pixels de l’image courante est inférieur à une valeur prédéterminée, ladite homographie entre l’image de référence et l’image courante est le résultat d’un produit d’au moins deux homographies intermédiaires ( , ) impliquant l’utilisation d’au moins une image intermédiaire .

Ainsi, on est en mesure de déterminer un chemin de déplacement, qui permet d’explique le lien entre des images du sous ensemble d’images.

Selon une caractéristique particulière, l’étape de construction de l’image mosaïque comprend au moins une itération des étapes suivantes :

une étape de sélection, au sein du sous-ensemble d’images S_C,de l’image la plus éloignée de l’image de référence ;
une étape de transformation de l’image dans le système de coordonnées de l’image de référence à l’aide du lien géométrique entre l’image et l’image de référence , délivrant une image transformée ;
une étape d’exclusion, à partir de l’image transformée , des pixels appartenant à l’image mosaïque délivrant une image à combiner ;
une étape d’ajout des pixels de l’image à combiner à l’image mosaïque ;
une étape de suppression de l’image du sous-ensemble d’images S_C.

Ainsi, les déplacements, sous la forme de transformations mathématiques, précédemment déterminés sont utilisés pour n’ajouter, au sein de l’image mosaïque, les pixels qui ne sont pas déjà connus antérieurement.

Selon une caractéristique particulière, l’étape d’exclusion, à partir de l’image transformée , des pixels appartenant à l’image mosaïque délivrant une image à combiner comprend la mise en œuvre de l’opération suivante :

dans laquelle :

D est l’opérateur morphologique de dilation qui utilise un élément structurant se ;

\ est l’opérateur d’exclusion ; et

est l’opérateur d’intersection.

Selon une caractéristique particulière, l’étape d’ajout des pixels de l’image à combiner à l’image mosaïque comprend la mise en œuvre de l’opération suivante :

Dans laquelle traduit l’opérateur de mélange des couleurs de pixels superposés.

Selon une caractéristique particulière, la séquence S d’images de l’organe creux est obtenue par la mise en œuvre d’une pluralité d’étapes de poursuites de points homologues d’images acquises par un opérateur de l’endoscope lors des prises de vue effectuées au sein de l’organe creux.

Selon une caractéristique particulière, préalablement à l’étape de sélection d’images, il comprend une étape d’acquisition de ladite séquence S d’images à l’aide d’un endoscope inséré dans l’organe creux, cette étape d’acquisition de ladite séquence S d’images comprenant :

une étape de sélection d’une image initiale, de ladite séquence S d’images, affichée sur un écran de visualisation ; et

pour chaque image subséquemment sélectionnée, appelée image courante :

une étape de calcul de points homologues entre ladite image courante et l’image précédente ;
une étape d’affichage d’une donnée représentative de la capture de l’image courante sur l’écran de visualisation ; et
une étape de calcul et d’affichage d’une image mosaïque approximative ; et
une étape d’ajout de ladite image courante à ladite séquence S d’images.

Selon un autre aspect, la divulgation se rapporte également à un dispositif électronique de construction d’une image mosaïque à partir d’une séquence S d’images d’un organe creux, ladite séquence S d’images étant issue d’un endoscope inséré au sein de l’organe creux. Un tel dispositif électronique comprenant un processeur et une mémoire et comprend :

des moyens de sélection d’images, à partir de ladite séquence S d’images, délivrant un sous-ensemble d’images S_Cet une image de référence parmi ce sous-ensemble d’images S_C;
des moyens de détermination de liens géométriques H entre l’image de référence précédemment déterminée et les images du sous-ensemble d’images S_C;
des moyens de construction de l’image mosaïque à partir de l’image de référence , au moins certaines des images du sous-ensemble d’images S_Cet des liens géométrique H de ces images du sous-ensemble d’images S_C.

Selon une implémentation préférée, les différentes étapes des procédés selon l’invention sont mises en œuvre par un ou plusieurs logiciels ou programmes d’ordinateur, comprenant des instructions logicielles destinées à être exécutées par un processeur de données d’un module relais selon l’invention et étant conçu pour commander l’exécution des différentes étapes des procédés.

En conséquence, l’invention vise aussi un programme, susceptible d’être exécuté par un ordinateur ou par un processeur de données, ce programme comportant des instructions pour commander l’exécution des étapes d’un procédé tel que mentionné ci-dessus.

Ce programme peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.

L’invention vise aussi un support d’informations lisible par un processeur de données, et comportant des instructions d’un programme tel que mentionné ci-dessus.

Le support d’informations peut être n’importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu’une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d’enregistrement magnétique, par exemple un support mobile (carte mémoire) ou un disque dur.

D’autre part, le support d’informations peut être un support transmissible tel qu’un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d’autres moyens. Le programme selon l’invention peut être en particulier téléchargé sur un réseau de type Internet.

Alternativement, le support d’informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l’exécution du procédé en question.

Selon un mode de réalisation, l’invention est mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique, le terme « module » peut correspondre dans ce document aussi bien à un composant logiciel, qu’à un composant matériel ou à un ensemble de composants matériels et logiciels.

Un composant logiciel correspond à un ou plusieurs programmes d’ordinateur, un ou plusieurs sous-programmes d’un programme, ou de manière plus générale à tout élément d’un programme ou d’un logiciel apte à mettre en œuvre une fonction ou un ensemble de fonctions, selon ce qui est décrit ci-dessous pour le module concerné. Un tel composant logiciel est exécuté par un processeur de données d’une entité physique (terminal, serveur, passerelle, routeur, etc.) et est susceptible d’accéder aux ressources matérielles de cette entité physique (mémoires, supports d’enregistrement, bus de communication, cartes électroniques d’entrées/sorties, interfaces utilisateur, etc.).

De la même manière, un composant matériel correspond à tout élément d’un ensemble matériel (ou hardware) apte à mettre en œuvre une fonction ou un ensemble de fonctions, selon ce qui est décrit ci-dessous pour le module concerné. Il peut s’agir d’un composant matériel programmable ou avec processeur intégré pour l’exécution de logiciel, par exemple un circuit intégré, une carte à puce, une carte à mémoire, une carte électronique pour l’exécution d’un micrologiciel (firmware), etc.

Chaque composante du système précédemment décrit met bien entendu en œuvre ses propres modules logiciels.

Les différents modes de réalisation mentionnés ci-dessus sont combinables entre eux pour la mise en œuvre de l’invention.

Figures

D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels :

la décrit le principe général de l’invention ;
la décrit les différentes étapes d’un procédé d’acquisition d’images dans un exemple de réalisation ;
la illustre une enveloppe convexe dans un exemple ;
la illustre une image mosaïque obtenue par la mise en œuvre du procédé de construction dans un exemple de réalisation ;
la illustre succinctement un dispositif apte à mettre en œuvre le système de l’invention.

Description d'un mode de réalisation

Rappels

Une technique de mosaïquage est proposée afin de présenter les informations contenues dans les images d’une séquence d’images acquises au cours de l’endoscopie sous une forme plus simple à l’exploitation et plus compacte. Cette technique consiste à calculer des déplacements géométriques entre des images de la séquence d’images et à replacer ces images dans un référentiel unique pour générer une image dite panoramique. L’opérateur peut ensuite naviguer dans cette image mosaïque et se repérer plus facilement pour par exemple retrouver des régions d’intérêt communes à une autre image mosaïque réalisée antérieurement ou encore pour identifier des lésions ou des pré-lésions. Comme les images endoscopiques sont souvent peu contrastées et texturées un algorithme de recalage spécifique est présenté. Le principe général de la divulgation consiste en la mise en œuvre d’une méthode en plusieurs étapes, mises en œuvre parallèlement (ou séquentiellement) : une étape d’acquisition, guidée, des images de la séquence d’images et à partir de la séquence d’images acquise, une étape de construction d’une image mosaïque.

Selon la présente divulgation, et en relation avec la , la construction de l’image mosaïque comprend, à partir de la séquence d’images acquises :

une étape de sélection (10) d’images, à partir de la séquence d’images (S), délivrant un sous-ensemble d’images (SSimgs) et une étape de détermination (11) d’une image de référence (IRef) parmi ce sous-ensemble d’images (SSimgs) ;
une étape de détermination (20) d’un lien géométrique (H,…) entre l’image de référence (IRef) précédemment déterminée et au moins certaines des images du sous-ensemble d’images (SSimgs) ; et
une étape de construction (30) de l’image mosaïque (IMos) à partir desdites au moins certaines des images du sous-ensemble d’images (SSimgs).

Selon la présente divulgation, plus particulièrement, l’image mosaïque est construite à partir d’un sous-ensemble d’images de la séquence d’images acquises, ce sous-ensemble d’images étant sélectionné pour minimiser les distorsions de pixels et de couleurs. Plus particulièrement, la détermination du lien géométrique entre l’image de référence et les images du sous-ensemble d’images comprend deux classes d’actions distinctes : d’une part le calcul de transformations entre les images du sous-ensemble d’images et d’autre part la sélection au sein du sous-ensemble d’images, d’images qui sont utilisées pour construire l’image mosaïque. Plus particulièrement encore, les images sélectionnées au sein du sous-ensemble d’images sont choisies de sorte à minimiser le nombre d’images à utiliser pour construire l’image mosaïque.

En d’autres termes, et de manière contre-intuitive, au lieu d’utiliser un maximum d’images pour pouvoir construire l’image mosaïque, les inventeurs ont eu l’idée d’utiliser au contraire un nombre minimum d’images afin que seules des informations pertinentes (i.e. des données de pixels pertinentes) soient insérées dans l’image mosaïque au fur et à mesure de sa construction. De cette manière, selon l’invention, on évite d’introduire, dans l’image mosaïque, de trop nombreuses données « mixées », c’est-à-dire des données qui seraient issues de mélanges de pixels provenant de plusieurs images. En effet, comme l’objectif de l’image mosaïque est de disposer d’une image représentative de la cavité photographiée à plusieurs reprises par l’endoscope, la méthode de la présente divulgation cherche à minimiser les calculs effectués sur les différents pixels, afin principalement d’insérer dans l’image mosaïque des pixels « originaux », qui sont directement issus d’images capturées par l’endoscope, et non pas des pixels « calculés », issus d’une fusion d’information entre des pixels de deux (ou plus) images. Pour ce faire, on met donc en œuvre une méthode de construction progressive de l’image mosaïque, méthode dans laquelle, à partir de l’image de référence déterminée au début de processus, on utilise les différentes images du sous-ensemble d’images pour augmenter la taille de l’image de référence, cette augmentation consistant à insérer sur les bords de l’image de référence, des pixels provenant d’au moins certaines images du sous-ensemble d’images (et plus généralement de la plupart des images du sous ensemble d’images). Pour disposer d’images satisfaisantes, dans ce sous-ensemble d’images, les inventeurs ont eu l’idée de prendre comme point de départ la séquence d’images capturées par l’endoscope et de réduire cette séquence d’images pour aboutir au sous-ensemble d’images qui comprend les images qui servent à construire l’image mosaïque. Ainsi, à partir de la séquence d’images capturée par l’endoscope, une première étape de détermination d’une enveloppe convexe est mise en œuvre, dans laquelle les images représentant les sommets de l’enveloppe convexe sont conservées et forment le sous-ensemble d’images. L’image de référence est sélectionnée parmi ce sous-ensemble d’images.

Ensuite, un lien géométrique, sous la forme d’une ou de plusieurs homographies, est calculé entre chaque image du sous-ensemble d’image (e.g. chaque image de l’enveloppe convexe) et l’image de référence. Ce lien géométrique est calculé de sorte que la transformation entre l’image de référence et une image de l’enveloppe convexe soit le produit d’au moins une homographie entre cette image de l’enveloppe convexe et l’image de référence.

Enfin, plusieurs itérations de construction de l’image mosaïque sont mises en œuvre pour, à partir de l’image de référence, augmenter celle-ci, en partant de l’image du sous-ensemble qui est la plus éloignée de l’image de référence, en ajoutant les pixels de cette image (la plus éloignée à l’image mosaïque) et ainsi de suite par distance décroissante avec l’image de référence. Lorsque c’est nécessaire (par exemple pour combler des zones vides de l’image mosaïque), des images de l’intérieur de l’enveloppe convexe (i.e. des images qui n’appartiennent pas au sous-ensemble d’images) sont utilisées : il s’agit alors de calculer des homographies pour ces images situées à l’intérieur de l’enveloppe convexe, et à partir de ces nouvelles homographies, de combler les espaces vides avec ces images transformées issues de l’intérieur de l’enveloppe convexe.

Ainsi, à l’issue de cette mise en œuvre, on dispose d’une image mosaïque, issue de la séquence d’images de l’endoscope, dans laquelle une majorité des pixels est issue d’une image originale capturée par l’endoscope. Ainsi, la technique divulguée permet d'effectuer un mosaïquage en deux dimensions de vidéo séquence d'images faiblement texturées, à textures variable et/ou sous des changements importants d'illumination. Cette technique permet plus particulièrement d'effectuer un mosaïquage dans la cadre d'une étude d'un organe creux, comme par exemple une vessie, un estomac ou des poumons, ou tout autre volume creux, que ce soit dans le domaine médical ou dans le domaine industriel. Les images traitées dans le cadre de la présente technique proviennent généralement d'un endoscope. Cette technique présente de nombreux avantages, parmi lesquels :

Une aide est proposée à l’opérateur pour effectuer en temps réel une acquisition d’une séquence vidéo qui permet de couvrir sans lacunes une RdI sans modifier la procédure médicale.
Un champ de vue élargi (mosaïque approximative) est proposé en temps réel, ce qui permet de visualiser des zones avec d’éventuelles lacunes (RdI non scannées).
Le calcul de l’image mosaïque précise (sans discontinuité géométrique et de textures dans la RdI) est réalisé en moins d’une minute dans le cas de l’antre pylorique (zone dans laquelle apparaissent des lésions dans l’estomac). Un deuxième diagnostic est possible durant l’examen et la zone peut être réinspectée si nécessaire, par visualisation de l’image mosaïque.
Une mosaïque peut être fabriquée même si très peu de textures ou de structures sont visibles dans les images (c’est le cas en lumière blanche notamment en gastroscopie).
Une mosaïque peut être fabriquée pour des textures très différentes, ce qui rend le mosaïquage possible dans d’autres modalités, comme la vidéo chromo-endoscopie (NBI vert/bleu ou la BLI suivant le constructeur) qui est souvent utilisé comme complément en dans certains types d’examen.
La méthode de mosaïquage (avec tous ses avantages d’aide à l’acquisition, etc.) peut être étendue à la cystoscopie en lumière blanche ou de fluorescence.
Comparer deux mosaïques fabriquées pour un même patient à partir de vidéo-séquences acquises à un intervalle de temps de quelques semaines, mois ou années permet de suivre l’évolution d’une lésion et facilite le suivi du patient (inexistant en endoscopie).
Archiver une mosaïque assure une traçabilité actuellement inexistante en gastroscopie.
Une mosaïque est un support d’échange nouveau pour les cliniciens de différentes spécialités.

Dans la suite du document, on décrit plus particulièrement des exemples de réalisation des étapes précédemment introduites. Il est évident que ces explications constituent des exemples et que notamment les méthodologies utilisées, notamment pour acquérir les images au moment de l’utilisation de l’endoscope ou pour déterminer l’enveloppe convexe à partir de la séquence d’images acquises peuvent être remplacées par des méthodes équivalentes fournissant des résultats équivalents. On comprend également que la méthode décrite peut être mise en œuvre différemment en fonction des conditions de mis en œuvre opérationnelles : par exemple, à la place comme décrit précédemment de calculer les transformations H uniquement pour les images de l’enveloppe convexes, il est tout à fait possible de calculer les transformations pour la totalité de images de la séquence d’images S et d’utiliser ces transformations H précalculées par la suite. De même, comme cela sera apparent par la suite, l’ensemble des résultats des calculs effectués, et notamment les résultats de calculs de transformation H, sont stockés en mémoire. Cet enregistrement poursuit deux objectifs : le premier est relatif à la possibilité, comme explicité par la suite, de passer, lors de la consultation des images, le l’image mosaïque à l’image d’origine de la séquence d’image et vice versa ; le deuxième objectif tient à la nécessité de pouvoir expliquer les calculs effectués, dans le cadre par exemple d’une analyse qualitative des résultats produits, notamment à des fins d’amélioration du traitement des images, sur une cohorte plus importante d’images.

Aide à l’acquisition d’une séquence d’image dans un exemple de réalisation

On présente ici un exemple de réalisation de l’obtention d’une séquence d’image dans un premier exemple de réalisation. Selon la présente technique, dans cet exemple de réalisation, on cherche à faire en sorte que la séquence d’image acquise soit la plus exploitable possible pour la mise en œuvre des étapes suivantes de traitement. Bien entendu, cette aide à l’acquisition est optionnelle et permet uniquement de préparer une séquence d’images qui facilite le traitement ultérieur. Il est tout à fait envisageable de ne pas mettre en œuvre cette aide à l’acquisition et d’utiliser une séquence d’images normalement acquise (i.e. sans aide à l’acquisition). Simplement, la mise en œuvre d’une aide à l’acquisition permet d’augmenter les performances des étapes suivantes.

Quoi qu’il en soit, dans cet exemple, l’acquisition d’une séquence d’images comprend deux aspects : un premier aspect se rapportant à l’affichage, en temps réel d’information à destination de l’opérateur ; et un deuxième aspect se rapportant à l’ajout d’information relative à la capture de la séquence d’image.

Ainsi, par exemple dans le cas d’un examen gastrique, dans la vidéo affichée de façon standard sur un écran en conditions réelles, l’opérateur sélectionne une zone, par exemple rectangulaire, quelconque dans une image qu’il aura choisie (voir le cadre « blanc pointillé » de la .(a)). Cette zone rectangulaire définit la zone de l’antre pylorique qui doit être poursuivie (traquée) dans les images qui suivent. Dans la .(b), les cercles « blancs » (visibles au centre du rectangle « blanc » plein) donnent, pour trois images, les positions successives des centres des régions rectangulaires traquées et placés dans l’image actuelle de la vidéo-séquence. La .(c) représente la trajectoire de la poursuite de la zone d’intérêt après l’arrêt du processus de traque (et de prise de vue) par l’opérateur. Ce dernier décide de l’arrêt de la poursuite à l’aide de la vidéo-séquence de la .(d) affichée en temps réel à l’écran. Pour chaque nouvelle image, le segment « blanc » est défini par deux points : le centre de la zone rectangulaire de l’image de départ et le centre de la zone traquée dans l’image courante. Cette représentation facilite une acquisition optimale de l’antre pylorique : idéalement les segments « blancs » successifs devraient être le plus long possible et effectuer un tour complet autour du point initial de la .(a) pour maximiser la taille de la surface acquise et minimiser le risque de lacunes. Ces rayons sont superposés à une mosaïque approximative qui est aussi affichée pour aider l’opérateur à estimer la zone couverte lors de son examen.

En d’autres termes, dans cette étape, on aide l’opérateur à capturer, à l’aide de l’endoscope, des images qui sont utilisables au maximum pour les étapes ultérieures de construction de l’image mosaïque (définitive). Cette aide est apportée en définissant une image de départ, à partir de la zone initialement sélectionnée, puis en marquant, sur l’affichage, les centres des images suivantes acquises par l’endoscope (cercles « blancs »), tout en construisant dynamiquement (i.e. en temps réel) une image mosaïque approximative et en représentant la qualité de la capture réalisée (à l’aide des indications portées sur l’image mosaïque approximative).

Tout d’abord, l’affichage des centres des images acquises par l’endoscope (cercle blancs) est mise en œuvre en effectuant une poursuite de points homologues selon deux méthodes complémentaires :

La première méthode (rapide) est une méthode de poursuite de points homologues dans deux zones rectangulaires à l’aide d’une méthode de flot optique éparse, comme par exemple la méthode de Lucas et Kanade (1981). Cette méthode présente l’avantage d’être rapide, mais elle requiert des zones avec des textures contrastées et son efficacité diminue lorsqu’il y a des changements importants d’illumination entre les images. Elle est cependant mise en œuvre en première intention : lorsqu’un nombre de paires de points homologues obtenus avec cette technique dépasse ou égale un paramètre prédéterminé (dont la valeur est comprise entre 4 et 10), alors on considère que cette première méthode rapide est suffisante et le déplacement entre les deux images pour lesquelles cette méthode est mise en œuvre (deux centres jaunes de la région d’intérêt) est calculé à partir du déplacement moyen (vecteur moyen) des points homologues.
La deuxième méthode est moins rapide, mais plus efficace. Cette deuxième méthode est mise en œuvre en deuxième intension lorsque le nombre de paires de points homologues entre deux images successives, obtenu par la première méthode, se situe en deçà du paramètre prédéterminé (c’est-à-dire en deçà de 4 à 10 en fonction de la valeur de ce paramètre). Il s’agit d’une méthode de flot optique dense qui est utilisée pour trouver des correspondants dans des régions avec peu de textures et/ou soumises à de forts changements d’illumination. Par exemple la méthode D. H. Trinh and C. Daul (2019) est utilisée. Pour cette méthode, les points homologues sont recherchés dans un voisinage de 200 fois 200 pixels centrés sur la zone marquée par le clinicien et qui se déplace au cours de la séquence. Le déplacement entre deux images est donné par le vecteur moyen des déplacements entre points homologues des deux images.

Une fois la poursuite des points homologues effectués, et qu’une nouvelle image est acquise, la mosaïque approximative est complétée uniquement par les pixels qui agrandissent l’image mosaïque approximative en cours de construction (au départ l’image mosaïque approximative correspond à la première image qui grandit successivement par ajout d’autres pixels) et le segment reliant le centre de la première zone rectangulaire à celui de l’image courante est dessiné sur l’image mosaïque approximative.

Lorsque l’opérateur a terminé la captation d’image du volume, on dispose :

d’une séquence S de N images :
d’un vecteur déplacement v_n,n+1entre la position des centres P_net P_n+1des images I_net I_n+1. (et par extension d’un vecteur de déplacement entre n’importe quel couple d’image de la séquence d’images) ;
en prenant le système de coordonnées de l’image I₁comme référence, la position des centres P_ndans le plan 2D de la mosaïque : , avec .
de l’ensemble des centres de la séquence d’images .

Comme explicité précédemment, il est tout à fait envisageable de disposer de ces données par d’autres méthodes que celles décrites précédemment.

Sélection d’images et recherche d’une image de référence dans un exemple de réalisation

Comme indiqué précédemment, la sélection d’images parmi la séquence d’images poursuit l’objectif de limiter le nombre d’images à utiliser pour construire l’image mosaïque finale. Les inventeurs ont considéré qu’un nombre réduit d’images permettait d’obtenir une image mosaïque de meilleure qualité et plus représentative d’une vue globale de l’intérieur de la cavité. Pour ce faire, on applique une méthode qui délivre un sous-ensemble (le plus petit possible) des images de S qui couvrent toute la surface d’intérêt et l’image de référence (qui sert de système de coordonnée à la l’image mosaïque), les images de ce sous-ensemble permettant de minimiser les discontinuités géométriques (distorsions) et de couleur au cours du placement des pixels dans l’image mosaïque. Pour ce faire, cette étape de sélection comprend :

une étape de détermination, parmi la séquence d’images S, d’un sous-ensemble d’image correspondant à l’enveloppe convexe des centres des images de l’ensemble d’images ; et
à partir de ce sous-ensemble d’images, sélection de l’image qui maximise la distance au centre de l’ensemble des images de la séquence d’image (i.e. celle qui est la plus éloignée du centre moyen de l’ensemble des images).

En d’autres termes, pour obtenir ce sous-ensemble, dans cet exemple de réalisation, l’enveloppe convexe (voir figure 3) de la trajectoire en deux dimensions (2D) des centres est déterminée afin de sélectionner les images qui couvrent au mieux la surface de la cavité (par exemple de l’organe) à visualiser. Plusieurs méthodes de détermination de l’enveloppe convexe peuvent être mises en œuvre, comme par exemple la méthode décrite par D.G. Kirkpatrick and R. Seidel (1986).

L’ensemble des sommets de cette enveloppe obtenue permet de sélectionner les images situées à la périphérie de la zone scannée par l’endoscope, et donc de maximiser la taille de la future image mosaïque. L’ensemble des K images ainsi retenues constitue le sous-ensemble et est dénommé . Dans la , les images du sous-ensemble sont celles présentées par les disques noirs.

Parmi les images sélectionnées, celle qui est la plus excentrée par rapport au centre P₀(position moyenne des images de la séquence d’images ) minimise les distorsions si elle est prise comme référence.

L’image de référence , dont la position du centre dans le plan 2D est , est déterminée en maximisant la distance :

Ainsi, à l’issue de cette mise en œuvre, on dispose d’une image de référence et d’un sous-ensemble d’images qui vont être utilisées pour construire progressivement l’image mosaïque. Avant cela, cependant, il est nécessaire de calculer des transformations entre les images de l’enveloppe convexe pour permettre d’effectuer le remplissage de l’image mosaïque.

Détermination de transformations géométriques dans un exemple de réalisation

Comme explicité, il s’agit dans cette étape de calculer les transformations géométriques entre l’image de référence et chaque image de l’enveloppe convexe. Ces transformations sont nécessaires pour permettre l’ajustement des pixels sur l’image mosaïque. Ainsi, on effectue une recherche du lien géométrique entre l’image de référence et chaque image de S_cpour pouvoir par la suite transformer ces images de S_cavant d’en ajouter une partie à l’image mosaïque.

D’une manière générale, le lien géométrique entre deux images et est donné par une homographie dont les paramètres t_xet t_ycorrespondent à une translation 2D, les quatre paramètres a₁₁, a₁₂, a₂₁et a₂₂dépendent d’une rotation dans le plan image et d’un facteur d’échelle alors que a₃₁et a₃₂sont les paramètres de perspective :

Les coordonnées et sont celles des pixels homologues des images et et le paramètre α_ijest entièrement défini pour les pixels i et j par les valeurs des coefficients a₃₁et a₃₂. La correspondance entre les points homologues des images et est obtenue par exemple à l’aide de la méthode de flot optique dense précédemment présentée dans l’obtention des images de la séquence d’images. Les paramètres de la matrice sont déterminés à l’aide de la méthode de rejet de points aberrants de RANSAC qui prend cette homographie comme modèle (Martin A. Fischler and Robert C. Bolles, 1981).

Pour pouvoir calculer une homographie reliant et il faut qu’il y ait un recouvrement minimal entre les deux images. Cette condition de recouvrement est vérifiée à l’aide de la relation suivante :

où

W et H sont la largeur et la hauteur de l’image ;
sont les composantes du vecteur reliant les centres et des images et ;
WH/2 un seuil minimal de recouvrement ; et
τ_i,jl’aire de recouvrement en pixels.

Alors que les deux premières lignes du système d’équations permettent de vérifier que deux images ont une partie commune, la troisième ligne permet de mesurer un taux de superposition τ_i,jqui doit être supérieur à la moitié de la surface en pixels des images.

La illustre différentes situations en fonction du résultat de test de superposition des images.

lorsqu’un sommet de l’enveloppe et le vertex de référence ont un au moins égal à WH/2, une seule homographie permet de faire le lien entre les pixels des deux images et .
lorsqu’un sommet de l’enveloppe et le vertex de référence ont un inférieur à WH/2, alors le centre P_ide l’image la plus proche de P₀est utilisé. Si les deux vecteurs et vérifient la condition de superposition ( et ) alors le produit des homographies et permet faire le lien entre les pixels des deux images et .
lorsque l’image la plus proche de P₀n’est pas suffisante pour faire la passerelle entre un vertex et l’image de référence, d’autres images intermédiaires sont utilisées pour faire le lien entre les paires d’images dont le vecteur de translation a la plus grande norme. C’est le cas, dans la figure 3, du vecteur où l’image représente une nouvelle passerelle conduisant à et .

L’homographie permet faire le lien entre les pixels des images et .

En d’autres termes, pour chaque sommet de l’enveloppe convexe, les vecteurs de déplacement entre les images sont itérativement divisés à l’aide d’images intermédiaires pour qu’un produit d’homographies puisse faire le lien entre une image d’un sommet de l’enveloppe convexe et l’image de référence . Cet algorithme, en minimisant le nombre d’images à recaler ainsi que les trajectoires d’images qui se croisent, permet de minimiser les distorsions géométriques (visibles sous la forme de discontinuités de textures) dans l’image mosaïque.

À l’issue de cette étape, on dispose d’un ensemble d’homographies, utilisables pour effectuer les transformations des images de l’enveloppe convexe afin de créer l’image mosaïque à partir de l’image de référence .

Construction de l’image mosaïque dans un exemple de réalisation

En possession des images de l’enveloppe et des transformations de ces images par rapport à l’image de référence, il est alors possible de construire l’image mosaïque.

Dans cet exemple de réalisation, l’image mosaïque initiale correspond à l’image . Le repère de l’image mosaïque est défini par le système de cordonnée de la référence . Les images correspondant à des sommets de l’enveloppe convexe sont utilisées prioritairement pour construire la mosaïque. Les autres images (situées à l’intérieur de l’enveloppe convexe) sont éventuellement utilisées pour combler des lacunes dans la mosaïque après avoir exploité toutes les images .

La construction de la mosaïque débute par la recherche l’image la plus éloignée de la référence . Celle-ci est trouvée en maximisant la distance :

Après la sélection de l’image , le vertex est retiré de l’ensemble . Les positions des pixels de sont ensuite exprimées dans le repère de la mosaïque à l’aide de l’homographie . Cette image transposée permet ensuite de faire croître la mosaïque comme suit :

où traduit l’opérateur de blending (mélange des couleurs des pixels superposés) et l’image est définie par :

Dans cette équation D est l’opérateur morphologique de dilation qui utilise l’élément structurant se.

Les pixels non nuls de l’image sont ceux de l’image qui ne sont pas superposés par la mosaïque et complétés par les pixels d’une région de taille réduite commune entre les images et utilisés lors du blending.

À chaque itération du processus qui suit est mis en œuvre :

l’image avec le moins de recouvrement avec est sélectionnée et ses pixels sont utilisés pour faire grandir la mosaïque à l’aide des deux équations précédentes, et
l’image utilisée est retirée de l’ensemble S ( ).

Il existe une région, de taille réduite située à la frontière de l’image mosaïque et des pixels de qui sont rajoutés (bords d'un pixel d'épaisseur). On effectue une dilation avec l’élément structurant se: dans cette région de la mosaïque on crée une "petite région" dont l'épaisseur est celle de l'élément structurant se pour effectuer le blending. En fonction des exemples de réalisation, l’élément structurant se est de taille plus ou moins réduite. Il correspond à un masque binaire (qui permet de prendre en compte le voisinage des pixels) et prend par exemple la forme d’un carré de quelques pixels à quelques dizaines de pixels de côté (par exemple 70). De plus, le bord d'épaisseur d’un pixel qui est dilaté par l’élément structurant se ne constitue que la région commune dans laquelle on assure une transition sans discontinuité de couleur. Les pixels ajoutés à la mosaïque pour chaque image vont bien au-delà de cette seule petite région commune de transition.

Ainsi illustré dans la , la cohérence visuelle de la mosaïque est maximisée puisque les discontinuités causées par les transitions entre pixels de différentes images sont minimisées.

Navigation entre l’image mosaïque et les images d’origine de la séquence d’images et vice-versa

Grâce à la technique précédemment décrite, les inventeurs ont calculé des liens géométriques entre les images individuelles de la séquence d’images S acquises par l’opérateur de l’endoscope et l’image mosaïque produite. Ces liens géométriques peuvent être utilisés, a posteriori, pour effectuer des allers-retours entre l’image mosaïque et les images originales ayant permis d’obtenir cette image mosaïque. Dans le cas d’un examen médical, une telle possibilité est intéressante en ce qu’elle permet par exemple de repérer des lésions ou pré-lésions et de permettre l’inspection de zones plus précises à postériori.

Ainsi, soit une région centrée sur un pixel dans l’image de la séquence d’images (cr = centre région). En supposant le chemin et les homographies correspondantes connues (car précédemment calculées et enregistrées en même temps que l’image mosaïque) entre l’image et l’image de référence de la mosaïque, la position du centre (pixel ) de la région d’intérêt peut être calculée dans l’image mosaïque à l’aide d’un produit d’homographies :

Dans cet exemple le chemin est constitué par les images géométriquement reliées par les homographies , , et respectivement. Le paramètre est entièrement défini pour chaque pixel par les coefficients de perspective et des quatre homographies. Si une région est délimitée par un polygone dans l’image , les sommets de ce polygone peuvent être ramené de la même manière dans le repère de l’image mosaïque, pour ainsi permettre l’inspection de cette région au sein de l’image mosaïque pour disposer d’une vue d’ensemble de cette région. L’inverse est également vrai : à partir d’une région délimitée par un polygone dans l’image mosaïque, il est possible de rebrousser chemin pour déterminer les images qui ont été utilisées pour aboutir à cette région et permettre une inspection de ces images.

Ainsi, comme cela est compris, en sus des opérations précédemment décrites pour construire l’image mosaïque, les étapes des procédés comprennent également des enregistrements, en mémoire, des valeurs des paramètres (notamment des valeurs des homographies) permettant de passer d’une image de la séquence d’image à l’image mosaïque et vice versa.

Autres caractéristiques et avantages

On présente, en relation avec la , une architecture simplifiée d’un dispositif électronique d’exécution apte à effectuer le traitement et l’exécution de code selon l’une au moins des procédés décris précédemment. Un dispositif électronique d’exécution comprend une mémoire 51 (et/ou éventuellement sécurisée et/ou deux mémoires séparées, une sécurisée et l’autre non), une unité de traitement 52 équipée par exemple d’un microprocesseur (et/ou éventuellement sécurisé et/ou deux processeurs séparés, un sécurisé et l’autre non), et pilotée par le programme d’ordinateur 53, mettant en œuvre tout ou partie des procédés tels que précédemment décrits. Dans au moins un mode de réalisation, l’invention est mise en œuvre au moins partiellement sous la forme d’une application installée sur ce dispositif. On dispose ainsi d’un dispositif de traitement de données pour la mise en œuvre de fonctions de traitement de la séquence d’images S issues d’un endoscope, qui comprend un processeur (52), un mémoire (51) et un ensemble de modules de traitement, mis en œuvre dans un programme. Le dispositif met en œuvre un module de traitement courant de l’ensemble de modules de traitement, ledit module de traitement courant appartenant au groupe comprenant :

Pour l’exécution des fonctions qui lui sont confiés, le dispositif comprend également les moyens de mise en œuvre de l’ensemble des étapes précédemment mentionnées, soit sous une forme matérielle, lorsque des composants spécifiques sont dédiés à ces tâches, soit sous une forme logicielle en lien avec un ou plusieurs microprogrammes s’exécutant sur un ou plusieurs processeurs du dispositif d’exécution.

Claims

Procédé de construction d’une image mosaïque à partir d’une séquence S d’images d’un organe creux, ladite séquence S d’images étant issue d’un endoscope inséré au sein de l’organe creux, procédé mis en œuvre par un dispositif électronique comprenant un processeur et une mémoire et caractérisé en ce qu’il comprend :
une étape de sélection d’images, à partir de ladite séquence S d’images, délivrant un sous-ensemble d’images S_Cet une image de référence parmi ce sous-ensemble d’images S_C;

une étape de détermination de liens géométriques H entre l’image de référence précédemment déterminée et les images du sous-ensemble d’images S_C;

une étape de construction de l’image mosaïque à partir de l’image de référence , au moins certaines des images du sous-ensemble d’images S_Cet des liens géométrique H de ces images du sous-ensemble d’images S_C.
Procédé de construction d’une image mosaïque selon la revendication 1, caractérisé en ce que l’étape de sélection d’images comprend :
une étape de détermination, parmi la séquence S d’images, du sous-ensemble d’images S_Ccorrespondant à l’enveloppe convexe des centres des images de la séquence S d’images ; et

à partir de ce sous-ensemble d’images S_C, sélection de l’image qui maximise la distance au centre de l’ensemble des images la séquence S d’images.
Procédé de construction d’une image mosaïque selon la revendication 1, caractérisé en ce que l’étape de détermination d’un lien géométrique avec l’image de référence comprend, pour une image courante appartenant au sous-ensemble d’images S_C, au moins une étape de calcul d’une homographie entre l’image de référence et l’image courante, ladite homographie étant déterminée en fonction d’un taux de superposition entre les pixels de l’image de référence et les pixels de l’image courante .
Procédé de construction d’une image mosaïque selon la revendication 3, caractérisé en ce que lorsque le taux de superposition entre les pixels de l’image de référence et les pixels de l’image courante est inférieur à une valeur prédéterminée, ladite homographie entre l’image de référence et l’image courante est le résultat d’un produit d’au moins deux homographies intermédiaires ( , ) impliquant l’utilisation d’au moins une image intermédiaire .
Procédé de construction d’une image mosaïque selon la revendication 1, caractérisé en ce que l’étape de construction de l’image mosaïque comprend au moins une itération des étapes suivantes :
une étape de sélection, au sein du sous-ensemble d’images S_C,de l’image la plus éloignée de l’image de référence ;

une étape de transformation de l’image dans le système de coordonnées de l’image de référence à l’aide du lien géométrique entre l’image et l’image de référence , délivrant une image transformée ;

une étape d’exclusion, à partir de l’image transformée , des pixels appartenant à l’image mosaïque délivrant une image à combiner ;

une étape d’ajout des pixels de l’image à combiner à l’image mosaïque ;

une étape de suppression de l’image du sous-ensemble d’images S_C.
Procédé de construction d’une image mosaïque selon la revendication 5, caractérisé en ce que l’étape d’exclusion, à partir de l’image transformée , des pixels appartenant à l’image mosaïque délivrant une image à combiner comprend la mise en œuvre de l’opération suivante :

dans laquelle :
D est l’opérateur morphologique de dilation qui utilise un élément structurant se ;
\ est l’opérateur d’exclusion ; et
est l’opérateur d’intersection.
Procédé de construction d’une image mosaïque selon la revendication 5, caractérisé en ce que l’étape d’ajout des pixels de l’image à combiner à l’image mosaïque comprend la mise en œuvre de l’opération suivante :

Dans laquelle traduit l’opérateur de mélange des couleurs de pixels superposés.
Procédé de construction d’une image mosaïque selon la revendication 1, caractérisé en ce que la séquence S d’images de l’organe creux est obtenue par la mise en œuvre d’une pluralité d’étapes de poursuites de points homologues d’images acquises par un opérateur de l’endoscope lors des prises de vue effectuées au sein de l’organe creux.
Procédé de construction d’une image mosaïque à partir d’une séquence S d’images d’un organe creux selon la revendication 1, dans lequel, préalablement à l’étape de sélection d’images, il comprend une étape d’acquisition de ladite séquence S d’images à l’aide d’un endoscope inséré dans l’organe creux, cette étape d’acquisition de ladite séquence S d’images comprenant :
une étape de sélection d’une image initiale, de ladite séquence S d’images, affichée sur un écran de visualisation ; et
pour chaque image subséquemment sélectionnée, appelée image courante :
une étape de calcul de points homologues entre ladite image courante et l’image précédente ;

une étape d’affichage d’une donnée représentative de la capture de l’image courante sur l’écran de visualisation ; et

une étape de calcul et d’affichage d’une image mosaïque approximative ; et

une étape d’ajout de ladite image courante à ladite séquence S d’images.
Dispositif électronique de construction d’une image mosaïque à partir d’une séquence S d’images d’un organe creux, ladite séquence S d’images étant issue d’un endoscope inséré au sein de l’organe creux, le dispositif électronique comprenant un processeur et une mémoire et caractérisé en ce qu’il comprend :
des moyens de sélection d’images, à partir de ladite séquence S d’images, délivrant un sous-ensemble d’images S_Cet une image de référence parmi ce sous-ensemble d’images S_C;

des moyens de détermination de liens géométriques H entre l’image de référence précédemment déterminée et les images du sous-ensemble d’images S_C;

des moyens de construction de l’image mosaïque à partir de l’image de référence , au moins certaines des images du sous-ensemble d’images S_Cet des liens géométrique H de ces images du sous-ensemble d’images S_C.
Produit programme d’ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, caractérisé en ce qu’il comprend des instructions de code de programme pour l’exécution d’un procédé selon la revendication 1, lorsqu’il est exécuté sur un ordinateur.