EP4377878A1 - Procede de construction d'une image mosaique, dispositif et programme d'ordinateur correspondant - Google Patents

Procede de construction d'une image mosaique, dispositif et programme d'ordinateur correspondant

Info

Publication number
EP4377878A1
EP4377878A1 EP22755137.1A EP22755137A EP4377878A1 EP 4377878 A1 EP4377878 A1 EP 4377878A1 EP 22755137 A EP22755137 A EP 22755137A EP 4377878 A1 EP4377878 A1 EP 4377878A1
Authority
EP
European Patent Office
Prior art keywords
images
image
sequence
subset
mosaic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22755137.1A
Other languages
German (de)
English (en)
Inventor
Dinh-Hoan TRIHN
Dominique LAMARQUE
Thomas BAZIN
Christian DAUL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut National Polytechnique de Lorraine
Assistance Publique Hopitaux de Paris APHP
Universite Paris Saclay
Original Assignee
Institut National Polytechnique de Lorraine
Assistance Publique Hopitaux de Paris APHP
Universite Paris Saclay
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut National Polytechnique de Lorraine, Assistance Publique Hopitaux de Paris APHP, Universite Paris Saclay filed Critical Institut National Polytechnique de Lorraine
Publication of EP4377878A1 publication Critical patent/EP4377878A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Definitions

  • the invention relates to a technique for processing images from a device for capturing images of a hollow organ. More particularly, the invention relates to the construction of an image resulting from a combination of a plurality of images from a capture device, such as an endoscope, located within a hollow organ .
  • endoscopes play an essential role in the inspection of hollow organs and body cavities. They provide high resolution images with natural colors and textures required for diagnosis, patient monitoring and surgical procedures.
  • the endoscope makes it possible to carry out an inspection by intrusion without damaging the inspection zone.
  • the endoscope is used in mechanics, aeronautics, railways, maritime and in the construction industry for the inspection of hollow bodies or pipes in search of defects, such as welding defects.
  • the reduced field of view of endoscopes is a major limiting factor for easy interpretation of the scenes. More particularly, for example in the medical field, the limited fields of view of endoscopes and the lack of easy control of the trajectory of the instrument complicate the search and the diagnosis of lesions on the epithelial walls of hollow organs such as the stomach or bladder. [0005]
  • the reduced field of view does not make it possible to locate the endoscope with respect to anatomical landmarks so that the clinician cannot easily return to a region of interest (RdI); this lack of localization can also lead to gaps in the regions to be inspected (risk of omitting the visualization of lesions);
  • Mosaic techniques allow the calculation of panoramic images of an entire zone of interest which includes, for example, lesions and anatomical landmarks.
  • the image selection step comprises:
  • the creation of the future mosaic image is facilitated by using images which are representative of the extent of the field of view of the images of the sequence of images.
  • the step of determining a geometric link with the reference image comprises, for a current image 3 ⁇ 4 belonging to the subset of images Sc, at least one step of calculating a homography H i ® ref between the reference image and the current image, said homography H i ® ref being determined as a function of a superposition rate T i, ref between the pixels of the reference image and the pixels of the current image I Î .
  • said homography Hj ® ref between the reference image and the current image is the result of a product of at least two intermediate homographies (H j ® J ⁇ , H J. ®ref t) involving the use of at least one image intermediate
  • the step of constructing the mosaic image I mos comprises at least one iteration of the following steps:
  • the displacements, in the form of mathematical transformations, previously determined are used to add, within the mosaic image, the pixels which are not already known previously.
  • the step of excluding, from the transformed image j ® ' trans , the pixels belonging to the mosaic image I mos delivering an image to be combined ⁇ j c ' trans comprises setting implement the following operation:
  • the step of adding the pixels of the image to be combined to the mosaic image comprises the implementation of the following operation: [0028] [0029] In which translates the operator for mixing the colors of superimposed pixels. [0030]according to a particular characteristic, the sequence S of images of the hollow organ is obtained by implementing a plurality of steps for tracking homologous points of images acquired by an operator of the endoscope when taking pictures inside the hollow organ.
  • the image selection step prior to the image selection step, it comprises a step of acquiring said sequence S of images using an endoscope inserted into the hollow organ, this step acquisition of said sequence S of images comprising: [0032] a step of selecting an initial image, of said sequence S of images, displayed on a display screen; and [0033] for each subsequently selected image, called current image: [0034] - a step of calculating homologous points between said current image and the previous image; – a step of displaying data representative of the capture of the current image on the display screen; and – a step of calculating and displaying an approximate mosaic image; and – a step of adding said current image to said sequence S of images.
  • the disclosure also relates to an electronic device for constructing a mosaic image from a sequence S of images of a hollow organ, said sequence S of images coming from of an endoscope inserted within the hollow organ.
  • an electronic device comprising a processor and a memory and comprising: [0036] – means for selecting images, from said sequence S of images, delivering a subset of images S C and a reference image among this subset of images S C ; – Means for determining geometric links H between the previously determined reference image and the images of the subset of images S C ; - means of constructing the mosaic image from the reference image at least some of the images of the subset of images S c and of the geometric links H of these images of the subset of images S c.
  • the various steps of the methods according to the invention are implemented by one or more software or computer programs, comprising software instructions intended to be executed by a data processor of a relay module according to the invention and being designed to control the execution of the various steps of the methods.
  • the invention also relates to a program, capable of being executed by a computer or by a data processor, this program comprising instructions for controlling the execution of the steps of a method as mentioned above. above.
  • This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in no any other desirable shape.
  • the invention also relates to an information medium readable by a data processor, and comprising program instructions as mentioned above.
  • the information medium can be any entity or device capable of storing the program.
  • the medium may include a storage medium, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or else a magnetic recording medium, for example a mobile medium (memory card) or a Hard disk.
  • the information medium can be a transmissible medium such as an electrical or optical signal, which can be conveyed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can in particular be downloaded from a network of the Internet type.
  • the information medium may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.
  • the invention is implemented by means of software and/or hardware components.
  • module may correspond in this document to a software component, a hardware component or a set of hardware and software components.
  • a software component corresponds to one or more computer programs, one or more sub-programs of a program, or more generally to any element of a program or software capable of implementing a function or a set of functions, as described below for the module concerned.
  • a such a software component is executed by a data processor of a physical entity (terminal, server, gateway, router, etc.) and is likely to access the hardware resources of this physical entity (memories, recording media, communication, electronic input/output cards, user interfaces, etc.).
  • a hardware component corresponds to any element of a hardware (or hardware) assembly able to implement a function or a set of functions, according to what is described below for the module concerned. It can be a hardware component that can be programmed or has an integrated processor for executing software, for example an integrated circuit, a smart card, a memory card, an electronic card for executing firmware ( firmware), etc
  • FIG.2 describes the different steps of an image acquisition process in an exemplary embodiment
  • FIG.3 illustrates a convex hull in an example
  • FIG.4 illustrates a mosaic image obtained by implementing the construction method in an exemplary embodiment
  • FIG.5 briefly illustrates a device capable of implementing the system of the invention.
  • a mosaic technique is proposed in order to present the information contained in the images of a sequence of images acquired during endoscopy in a form that is easier to use and more compact.
  • This technique consists in calculating geometric displacements between images of the sequence of images and replacing these images in a single frame of reference to generate a so-called panoramic image. The operator can then navigate in this mosaic image and find his way around more easily, for example to find regions of interest common to another mosaic image produced previously or even to identify lesions or pre-lesions.
  • endoscopic images are often low contrast and textured a specific registration algorithm is presented.
  • the general principle of the disclosure consists in the implementation of a method in several stages, implemented in parallel (or sequentially): a stage of acquisition, guided, of the images of the sequence of images and from the sequence of images acquired, a step in the construction of a mosaic image.
  • the construction of the mosaic image comprises, from the sequence of images acquired:
  • the mosaic image is constructed from a subset of images of the sequence of images acquired, this subset of images being selected to minimize the distortions of pixels and colors.
  • the determination of the geometric link between the reference image and the images of the subset of images comprises two distinct classes of actions: on the one hand the calculation of transformations between the images of the subset of images and on the other hand the selection within the subset of images, of images which are used to construct the mosaic image. More particularly still, the images selected within the subset of images are chosen so as to minimize the number of images to be used to construct the mosaic image.
  • the method of the present disclosure seeks to minimize the calculations performed on the different pixels, in order to mainly to insert "original" pixels into the mosaic image, which come directly from images captured by the endoscope, and not "calculated” pixels, resulting from a fusion of information between pixels of two (or more) images.
  • a method of progressive construction of the mosaic image is therefore implemented, a method in which, from the reference image determined at the start of the process, the different images of the subset of images are used.
  • the inventors had the idea of taking as a starting point the sequence of images captured by the endoscope and of reducing this sequence of images to arrive at the subset of images that includes the images used to build the mosaic image.
  • a first step of determining a convex hull is implemented, in which the images representing the vertices of the convex hull are kept and form the sub- set of pictures.
  • the reference image is selected from this subset of images.
  • a geometric link in the form of one or more homographies, is calculated between each image of the image subset (e.g. each image of the convex hull) and the reference image.
  • This geometric link is calculated so that the transformation between the reference image and an image of the convex hull is the product of at least one homography between this image of the convex hull and the reference image.
  • the technique disclosed makes it possible to perform two-dimensional mosaicking of a video sequence of weakly textured images, with variable textures and/or under significant changes in illumination.
  • This technique makes it possible more particularly to carry out a mosaic within the framework of a study of a hollow organ, such as for example a bladder, a stomach or the lungs, or any other hollow volume, whether in the medical field or in the industrial field.
  • the images processed within the framework of this technique generally come from an endoscope. This technique has many advantages, including:
  • An enlarged field of view (approximate mosaic) is offered in real time, which makes it possible to visualize areas with possible gaps (unscanned Rdl).
  • the calculation of the precise mosaic image (without geometric discontinuity and textures in the Rdl) is carried out in less than one minute in the case of the pyloric antrum (area in which lesions appear in the stomach). A second diagnosis is possible during the examination and the area can be re-inspected if necessary, by viewing the mosaic image.
  • a mosaic can be made even if very few textures or structures are visible in the images (this is the case in white light, especially in gastroscopy).
  • a mosaic can be made for very different textures, which makes mosaicking possible in other modalities, such as video chromo-endoscopy (NBI green/blue or BLI depending on the manufacturer) which is often used as a complement in certain types of examination.
  • video chromo-endoscopy NBI green/blue or BLI depending on the manufacturer
  • the mosaicking method (with all its advantages of acquisition assistance, etc.) can be extended to white light or fluorescence cystoscopy.
  • a mosaic is a new medium of exchange for clinicians from different specialties.
  • this acquisition aid is optional and only makes it possible to prepare a sequence of images that facilitates subsequent processing. It is quite possible not to implement this acquisition aid and to use a sequence of images normally acquired (i.e. without acquisition aid). Simply, the implementation of an acquisition aid makes it possible to increase the performance of the following steps.
  • the acquisition of a sequence of images comprises two aspects: a first aspect relating to the display, in real time, of information intended for the operator ; and a second aspect relating to the addition of information relating to the capture of the image sequence.
  • the operator selects an area, for example rectangular, any in an image that he has chosen. (see the “dotted white” frame in [Fig.2].(a)).
  • This rectangular area defines the area of the pyloric antrum that must be tracked (tracked) in the images that follow.
  • the “white” circles visible in the center of the solid “white” rectangle
  • the [Fig.2]. (c) represents the trajectory of the tracking of the area of interest after the tracking (and shooting) process has been stopped by the operator.
  • the latter decides to stop the pursuit using the video sequence of [Fig.2].(d) displayed in real time on the screen.
  • the “white” segment is defined by two points: the center of the rectangular zone of the starting image and the center of the tracked zone in the current image.
  • This representation facilitates optimal acquisition of the pyloric antrum: ideally the successive "white” segments should be as long as possible and make a complete turn around the initial point of [Fig.2].(a) to maximize the size of acquired surface and minimize the risk of gaps.
  • These rays are superimposed on an approximate mosaic which is also displayed to help the operator estimate the area covered during his examination.
  • this step the operator is helped to capture, using the endoscope, images that can be used as much as possible for the subsequent steps of building the mosaic image (final ).
  • This help is provided by defining a starting image, starting from the initially selected zone, then by marking, on the display, the centers of the following images acquired by the endoscope (“white” circles), while dynamically constructing ( i.e. in real time) an approximate mosaic image and representing the quality of the capture made (using the indications given on the approximate mosaic image).
  • the display of the centers of the images acquired by the endoscope (white circles) is implemented by carrying out a tracking of homologous points according to two complementary methods:
  • the first (fast) method is a method of tracking homologous points in two rectangular zones at T using a sparse optical flow method, such as for example the method of Lucas and Kanade (1981).
  • This method has the advantage of being fast, but it requires areas with contrasting textures and its efficiency decreases when there are large changes in illumination between images. It is however implemented in first intention: when a number of pairs of homologous points obtained with this technique exceeds or equals a predetermined parameter (whose value is between 4 and 10), then it is considered that this first fast method is sufficient and the displacement between the two images for which this method is implemented (two yellow centers of the region of interest) is calculated from the average displacement (mean vector) of the homologous points.
  • the second method is slower, but more effective.
  • This second method is implemented in second intention when the number of pairs of homologous points between two successive images, obtained by the first method, is below the predetermined parameter (i.e. below 4 to 10 depending on the value of this parameter).
  • It is a dense optical flow method that is used to find matches in regions with few textures and/or subject to strong illumination changes.
  • the DH Trinh and C. Daul (2019) method is used.
  • homologous points are sought in a neighborhood of 200 times 200 pixels centered on the area marked by the clinician and which moves during the sequence.
  • the displacement between two images is given by the average vector of the displacements between homologous points of the two images.
  • the approximate mosaic is completed only by the pixels which enlarge the approximate mosaic image under construction (at the start, the approximate mosaic image corresponds to the first image which grows successively by adding other pixels) and the segment connecting the center of the first rectangular zone to that of the current image is drawn on the approximate mosaic image.
  • this selection step includes:
  • [0076] - a step of determining, among the sequence of images S, an image subset corresponding to the convex hull of the centers images from the image set;
  • selection of the image which maximizes the distance to the center of the set of images of the image sequence i.e. the one which is farthest from the average center of the set images.
  • the convex hull (see Figure 3) of the two-dimensional (2D) trajectory of the centers is determined in order to select the images which best cover the surface of the cavity (for example of the organ) to be visualized.
  • Several methods for determining the convex hull can be implemented, such as for example the method described by DG Kirkpatrick and R. Seidel (1986).
  • the set of vertices c ⁇ ⁇ of this envelope obtained allows to select the N images located at the periphery of the area scanned by the endoscope, and therefore to maximize the size of the future mosaic image.
  • the set of K images thus retained constitutes the subset and is called In [Lig.3], the images of the subset are those presented by the black discs.
  • the one which is the furthest off center with respect to the center P minimizes the distortions if it is taken as a reference.
  • this step involves calculating the geometric transformations between the reference image and each image of the convex hull. These transformations are necessary to allow the adjustment of the pixels on the image mosaic. Thus, a search is carried out for the geometric link between the reference image and each image of S c in order to be able subsequently to transform these images of S c before adding part of them to the mosaic image.
  • the geometric link between two images I, and L is given by a homography H. ® . whose parameters t x and t y correspond to a 2D translation, the four parameters an, a 12 , a 2i and a 22 depend on a rotation in the image plane and on a scale factor whereas a 3[ and a 32 are the perspective settings:
  • the coordinates are those of the homologous pixels of the images Ij and L and the parameter n is entirely defined for the pixels i and j by the values of the coefficients a 31 and a 32 .
  • the correspondence between the homologous points of the images I j and L is obtained for example using the dense optical flow method previously presented in obtaining the images of the sequence of images.
  • the matrix parameters are determined using the RANSAC outlier rejection method which takes this homography as a model (Martin A. Fischler and Robert C. Bolles, 1981).
  • the third line makes it possible to measure a overlay rate 3 ⁇ 4 which must be greater than half of the pixel area of the images.
  • the displacement vectors between the images are iteratively divided using intermediate images so that a product of homographies can make the link between a image of a vertex of the convex hull and the reference image p ref .
  • This algorithm by minimizing the number of images to be registered as well as the trajectories of images which intersect, makes it possible to minimize the geometric distortions (visible in the form of texture discontinuities) in the mosaic image.
  • the initial mosaic image I mos corresponds to the image That's it .
  • the coordinate system of the mosaic image I mos is defined by the coordinate system of the reference ij; f .
  • the images l£ corresponding to vertices p£ of the convex hull are used as a priority to construct the mosaic.
  • the other images are possibly used to fill gaps in the mosaic after having exploited all the images l£.
  • the non- nuisance pixels of the trans image are those of the j c ' trans image which are not superimposed by the I mos mosaic and completed by the pixels of a common reduced size region between the I mos images and used during blending.
  • the structuring element se there is a region of reduced size located at the border of the mosaic image I mos and pixels of 4 th ' trans which are added (edges of one pixel in thickness).
  • An n dilation is carried out with the structuring element se: in this region of the mosaic, a "small region" is created whose thickness is that of the structuring element se to perform the blending.
  • the structuring element is of more or less reduced size. It corresponds to a binary mask (which makes it possible to take into account the neighborhood of the pixels) and takes for example the form of a square of a few pixels to a few tens of pixels aside (for example 70).
  • the thickness edge of a pixel which is dilated by the structuring element only constitutes the common region in which a transition without color discontinuity is ensured. The pixels added to the mosaic for each frame go well beyond this single small common region of transition.
  • the visual coherence of the mosaic is maximized since the discontinuities caused by the transitions between pixels of different images are minimized.
  • the inventors calculated geometric links between the individual images of the sequence of images S acquired by the operator of the endoscope and the mosaic image produced. These geometric links can be used, a posteriori, to perform round trips between the mosaic image and the original images that made it possible to obtain this mosaic image.
  • a posteriori In the case of a medical examination, such a possibility is interesting in that it makes it possible, for example, to identify lesions or pre-lesions and to allow the inspection of more precise areas a posteriori.
  • the path is formed by the images I k ® I j ® I m ® I n ® I ⁇ ef geometrically linked by the homographies H k ® j. H m ® n , H j ® m and H n ® ref respectively.
  • the °3 ⁇ 4ref parameter is entirely defined for each pixel by the perspective coefficients a 3i and a 32 of the four homographies. If a region is delimited by a polygon in the image I k , the vertices of this polygon can be brought back in the same way in the coordinate system of the mosaic image, to thus allow the inspection of this region within the mosaic image to get an overview of this region. The reverse is also true: from a region delimited by a polygon in the mosaic image, it is possible to go back to determine the images that were used to arrive at this region and allow inspection of these images.
  • the steps of the methods also include recordings, in memory, of the values of the parameters (in particular the values of the homographies) making it possible to pass from an image from image sequence to mosaic image and vice versa.
  • An electronic execution device comprises a memory 51 (and/or possibly secured and/or two separate memories, one secured and the other not), a processing unit 52 equipped for example with a microprocessor (and/or possibly secured and/or two separate processors, one secure and the other not), and controlled by the computer program 53, implementing all or part of the methods as previously described.
  • the invention is implemented at least partially in the form of an application installed on this device.
  • a data processing device for the implementation of functions for processing the sequence of images S from an endoscope, which comprises a processor (52), a memory (51) and a set of processing modules, implemented in a program.
  • the device implements a current processing module of the set of processing modules, said current processing module belonging to the group comprising:
  • the device For the execution of the functions entrusted to it, the device also comprises the means for implementing all the steps mentioned above, either in a material form, when specific components are dedicated to these tasks, or in a software form linked to one or more firmware running on one or more processors of the execution device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

L'invention se rapporte à un procédé de construction d'une image mosaïque à partir d'une séquence S d'images d'un organe creux, ladite séquence S d'images étant issue d'un endoscope inséré au sein de l'organe creux, procédé mis en œuvre par un dispositif électronique comprenant un processeur et une mémoire. Un tel procédé comprend: - une étape de sélection d'images, à partir de ladite séquence S d'images, délivrant un sous-ensemble d'images Sc et une image de référence Ic ref parmi ce sous-ensemble d'images Sc; - une étape de détermination de liens géométriques H entre l'image de référence pré- cédemment déterminée et les images du sous-ensemble d'images Sc; - une étape de construction de l'image mosaïque à partir de l'image de référence Ic ref, au moins certaines des images du sous-ensemble d'images Sc et des liens géométrique H de ces images du sous-ensemble d'images Sc.

Description

Description
Titre de l'invention : Procédé de construction d’une image mosaïque, dispositif et programme d’ordinateur correspondant. Domaine de l'invention
[0001] L'invention se rapporte à une technique de traitement d'images issues d'un dispositif de captation d'images d'un organe creux. Plus particulièrement, l'invention se rapporte à la construction d'une image résultante d'une combinaison d'une pluralité d'images issues d'un dispositif de captation, tel qu'un endoscope, se trouvant au sein d'un organe creux.
Art antérieur
[0002] Dans le domaine médical, les endoscopes jouent un rôle essentiel pour l’inspection des organes creux et des cavités du corps. Ils fournissent des images à haute résolution avec des couleurs et textures naturelles requises pour un diagnostic, le suivi des patients et les interventions chirurgicales.
[0003] Dans le domaine industriel, l’endoscope permet de réaliser une inspection par intrusion sans endommager la zone d’inspection. Dans ce domaine industriel, l’endoscope s’utilise dans en mécanique, aéronautique, ferroviaire, maritime et dans le BTP pour l'inspection de corps creux ou de canalisation à la recherche de défaut, comme par exemple des défauts de soudure.
[0004] Cependant, le champ de vue réduit des endoscopes est un facteur limitant majeur pour une interprétation aisée des scènes. Plus particulièrement, par exemple dans le domaine médical, les champs de vue limités des endoscopes et le manque d’un contrôle aisé de la trajectoire de l’instrument compliquent la recherche et le diagnostic de lésions sur les parois épithéliales des organes creux comme l’estomac ou la vessie. [0005] - Le champ de vue réduit ne permet pas de localiser l’endoscope par rapport à des repères anatomiques de sorte que le clinicien ne peut pas revenir de façon aisée à une région d’intérêt (Rdl) ; ce manque de localisation peut aussi conduire à des lacunes dans les régions à inspecter (risque d’omettre la visua lisation de lésions) ;
- Les vidéo-endoscopies, qui sont enregistrées lors de l’examen du patient, sont en général difficiles à exploiter après l’examen, lorsque l’endoscopiste ne manipule plus l’instrument ; ceci ne facilite pas un second diagnostic (notamment par un autre médecin, ou par le même médecin) après l’examen ;
- Après l’examen, aucun support de discussion n’est disponible pour un échange entre spécialistes de différentes disciplines ;
- Le suivi des patients et la traçabilité des examens est difficile à effectuer ; - L'identification de certaines lésions est bien souvent difficile lors d’une endoscopie conventionnelle car celles-ci sont peu visibles et/ou très localisées ;
[0006] De plus, de nombreuses études ont documenté une variabilité importante dans la reconnaissance des lésions entre les opérateurs, ou même pour un même opérateur à plusieurs instants. Il existe donc un besoin important de techniques ou de méthodologies qui amélioreront la qualité de la reconnaissance et du diagnostic des lésions lors d'une endoscopie gastro-intestinale.
[0007] Des techniques de mosaïquage permettent le calcul d’images panoramiques de toute une zone d’intérêt qui inclut, par exemple, des lésions et des repères anatomiques.
Résumé de l'invention
[0008] La méthode proposée par les inventeurs ne pose pas au moins certains de ces problèmes de l’art antérieur. En effet, il est proposé un procédé de construction d’une image mosaïque à partir d’une séquence S d’images d’un organe creux, ladite séquence S d’images étant issue d’un endoscope inséré au sein de l’organe creux, procédé mis en œuvre par un dispositif électronique comprenant un processeur et une mémoire et caractérisé en ce qu’il comprend :
[0009] - une étape de sélection d’images, à partir de ladite séquence S d’images, délivrant un sous-ensemble d’images Sc et une image de référence I°ef parmi ce sous-ensemble d’images Sc ;
- une étape de détermination de liens géométriques H entre l’image de référence I^ef précédemment déterminée et les images du sous-ensemble d’images Sc ;
- une étape de construction de l’image mosaïque à partir de l’image de référence au moins certaines des images du sous-ensemble d’images Sc et des liens géométrique H de ces images du sous-ensemble d’images Sc.
[0010] Ainsi, il est possible de construire une représentation plus fidèle de l’intérieur de l’organe creux en minimisant les artefacts.
[0011] Selon une caractéristique particulière, l’étape de sélection d’images comprend :
[0012] - une étape de détermination, parmi la séquence S d’images, du sous-ensemble d’images Sc correspondant à l’enveloppe convexe des centres P = { Rc, P2> · · · · P\ } des images de la séquence S d’images ; et
- à partir de ce sous-ensemble d’images Sc, sélection de l’image qui maximise la distance au centre de l’ensemble des images la séquence S d’images.
[0013] Ainsi, on facilite la création de la future image mosaïque en utilisant des images qui sont représentatives de l’étendue du champ de vision des images de la séquence d’images.
[0014] Selon une caractéristique particulière, l’étape de détermination d’un lien géométrique avec l’image de référence comprend, pour une image courante ¾ appartenant au sous-ensemble d’images Sc, au moins une étape de calcul d’une homographie Hi ® ref entre l’image de référence et l’image courante, ladite homographie Hi ® ref étant déterminée en fonction d’un taux de superposition Ti, ref entre les pixels de l’image de référence et les pixels de l’image courante IÎ.
[0015] Ainsi, on est en mesure de déterminer les déplacements qui sont présents au sein du sous ensemble d’images.
[0016] Selon une caractéristique particulière, lorsque le taux de superposition Ti, ref entre les pixels de l’image de référence I^ef et les pixels de l’image courante I, est inférieur à une valeur prédéterminée, ladite homographie Hj ® ref entre l’image de référence et l’image courante est le résultat d’un produit d’au moins deux homographies intermédiaires (Hj ® J ·, H J. ®reft) impliquant l’utilisation d’au moins une image intermédiaire
!..
[0017] Ainsi, on est en mesure de déterminer un chemin de déplacement, qui permet d’ explique le lien entre des images du sous ensemble d’images.
[0018] Selon une caractéristique particulière, l’étape de construction de l’image mosaïque Imos comprend au moins une itération des étapes suivantes :
[0019] - une étape de sélection, au sein du sous-ensemble d’images Sc,de l’image 1^ la plus éloignée de l’image de référence f ;
- une étape de transformation de l’image 1° dans le système de coordonnées de l’image de référence à l’aide du lien géométrique H, _ ref entre l’image 1° et l’image de référence f, délivrant une image transformée jc· lmns;
- une étape d’exclusion, à partir de l’image transformée des pixels ap partenant à l’image mosaïque Imos délivrant une image à combiner 4e’ trans ;
- une étape d’ajout des pixels de l’image à combiner trans à l’image mosaïque Imos ;
- une étape de suppression de l’image du sous-ensemble d’images Sc.
[0020] Ainsi, les déplacements, sous la forme de transformations mathématiques, précédemment déterminés sont utilisés pour n’ajouter, au sein de l’image mosaïque, les pixels qui ne sont pas déjà connus antérieurement.
[0021] Selon une caractéristique particulière, l’étape d’exclusion, à partir de l’image transformée j®’ trans, des pixels appartenant à l’image mosaïque Imos délivrant une image à combiner <jc' trans comprend la mise en œuvre de l’opération suivante :
[0022] trans trans -raos \ r , se ) . [0023] dans laquelle : [0024] D est l’opérateur morphologique de dilation qui utilise un élément structurant se ; [0025] \ est l’opérateur d’exclusion ; et [0026] est l’opérateur d’intersection. [0027] Selon une caractéristique particulière, l’étape d’ajout des pixels de l’image à combiner à l’image mosaïque comprend la mise en œuvre de l’opération suivante : [0028] [0029] Dans laquelle traduit l’opérateur de mélange des couleurs de pixels superposés. [0030] Selon une caractéristique particulière, la séquence S d’images de l’organe creux est obtenue par la mise en œuvre d’une pluralité d’étapes de poursuites de points ho- mologues d’images acquises par un opérateur de l’endoscope lors des prises de vue ef- fectuées au sein de l’organe creux. [0031] Selon une caractéristique particulière, préalablement à l’étape de sélection d’images, il comprend une étape d’acquisition de ladite séquence S d’images à l’aide d’un endoscope inséré dans l’organe creux, cette étape d’acquisition de ladite séquence S d’images comprenant : [0032] – une étape de sélection d’une image initiale, de ladite séquence S d’images, affichée sur un écran de visualisation ; et [0033] pour chaque image subséquemment sélectionnée, appelée image courante : [0034] – une étape de calcul de points homologues entre ladite image courante et l’image précédente ; – une étape d’affichage d’une donnée représentative de la capture de l’image courante sur l’écran de visualisation ; et – une étape de calcul et d’affichage d’une image mosaïque approximative ; et – une étape d’ajout de ladite image courante à ladite séquence S d’images. [0035] Selon un autre aspect, la divulgation se rapporte également à un dispositif élec- tronique de construction d’une image mosaïque à partir d’une séquence S d’images d’un organe creux, ladite séquence S d’images étant issue d’un endoscope inséré au sein de l’organe creux. Un tel dispositif électronique comprenant un processeur et une mémoire et comprend : [0036] – des moyens de sélection d’images, à partir de ladite séquence S d’images, délivrant un sous-ensemble d’images SC et une image de référence parmi ce sous-ensemble d’images SC ; – des moyens de détermination de liens géométriques H entre l’image de référence précédemment déterminée et les images du sous-ensemble d’images SC ; - des moyens de construction de l’image mosaïque à partir de l’image de référence au moins certaines des images du sous-ensemble d’images Sc et des liens géométrique H de ces images du sous-ensemble d’images Sc.
[0037] Selon une implémentation préférée, les différentes étapes des procédés selon l’invention sont mises en œuvre par un ou plusieurs logiciels ou programmes d’ordinateur, comprenant des instructions logicielles destinées à être exécutées par un processeur de données d’un module relais selon l’invention et étant conçu pour commander l’exécution des différentes étapes des procédés.
[0038] En conséquence, l’invention vise aussi un programme, susceptible d’être exécuté par un ordinateur ou par un processeur de données, ce programme comportant des instructions pour commander l’exécution des étapes d’un procédé tel que mentionné ci- dessus.
[0039] Ce programme peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
[0040] L’invention vise aussi un support d’informations lisible par un processeur de données, et comportant des instructions d’un programme tel que mentionné ci-dessus.
[0041] Le support d’informations peut être n’importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu’une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d’enregistrement magnétique, par exemple un support mobile (carte mémoire) ou un disque dur.
[0042] D’autre part, le support d’informations peut être un support transmissible tel qu’un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d’autres moyens. Le programme selon l’invention peut être en particulier téléchargé sur un réseau de type Internet.
[0043] Alternativement, le support d’informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l’exécution du procédé en question.
[0044] Selon un mode de réalisation, l’invention est mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique, le terme « module » peut correspondre dans ce document aussi bien à un composant logiciel, qu’à un composant matériel ou à un ensemble de composants matériels et logiciels.
[0045] Un composant logiciel correspond à un ou plusieurs programmes d’ordinateur, un ou plusieurs sous-programmes d’un programme, ou de manière plus générale à tout élément d’un programme ou d’un logiciel apte à mettre en œuvre une fonction ou un ensemble de fonctions, selon ce qui est décrit ci-dessous pour le module concerné. Un tel composant logiciel est exécuté par un processeur de données d’une entité physique (terminal, serveur, passerelle, routeur, etc.) et est susceptible d’accéder aux ressources matérielles de cette entité physique (mémoires, supports d’enregistrement, bus de communication, cartes électroniques d’entrées/sorties, interfaces utilisateur, etc.).
[0046] De la même manière, un composant matériel correspond à tout élément d’un ensemble matériel (ou hardware) apte à mettre en œuvre une fonction ou un ensemble de fonctions, selon ce qui est décrit ci-dessous pour le module concerné. Il peut s’agir d’un composant matériel programmable ou avec processeur intégré pour l’exécution de logiciel, par exemple un circuit intégré, une carte à puce, une carte à mémoire, une carte électronique pour l’exécution d’un micrologiciel (firmware), etc.
[0047] Chaque composante du système précédemment décrit met bien entendu en œuvre ses propres modules logiciels.
[0048] Les différents modes de réalisation mentionnés ci-dessus sont combinables entre eux pour la mise en œuvre de l’invention.
Figures
[0049] D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels :
[0050] - [Fig.1] la [Fig.1] décrit le principe général de l’invention ;
- [Fig.2] la [Fig.2] décrit les différentes étapes d’un procédé d’acquisition d’images dans un exemple de réalisation ;
- [Fig.3] la [Fig.3] illustre une enveloppe convexe dans un exemple ;
- [Fig.4] la [Fig.4] illustre une image mosaïque obtenue par la mise en œuvre du procédé de construction dans un exemple de réalisation ;
- [Fig.5] la [Fig.5] illustre succinctement un dispositif apte à mettre en œuvre le système de l’invention.
[0051] Description d'un mode de réalisation [0052] Rappels
[0053] Une technique de mosaïquage est proposée afin de présenter les informations contenues dans les images d’une séquence d’images acquises au cours de l’endoscopie sous une forme plus simple à l’exploitation et plus compacte. Cette technique consiste à calculer des déplacements géométriques entre des images de la séquence d’images et à replacer ces images dans un référentiel unique pour générer une image dite panoramique. L’opérateur peut ensuite naviguer dans cette image mosaïque et se repérer plus facilement pour par exemple retrouver des régions d’intérêt communes à une autre image mosaïque réalisée antérieurement ou encore pour identifier des lésions ou des pré-lésions. Comme les images endoscopiques sont souvent peu contrastées et texturées un algorithme de recalage spécifique est présenté. Le principe général de la divulgation consiste en la mise en œuvre d’une méthode en plusieurs étapes, mises en œuvre parallèlement (ou séquentiellement) : une étape d’ acquisition, guidée, des images de la séquence d’images et à partir de la séquence d’images acquise, une étape de construction d’une image mosaïque.
[0054] Selon la présente divulgation, et en relation avec la [Fig.l], la construction de l’image mosaïque comprend, à partir de la séquence d’images acquises :
[0055] - une étape de sélection (10) d’images, à partir de la séquence d’images (S), délivrant un sous-ensemble d’images (SSimgs) et une étape de détermination (11) d’une image de référence (IRef) parmi ce sous-ensemble d’images (SSimgs) ;
- une étape de détermination (20) d’un lien géométrique (H,...) entre l’image de référence (IRef) précédemment déterminée et au moins certaines des images du sous-ensemble d’images (SSimgs) ; et
- une étape de construction (30) de l’image mosaïque (IMos) à partir desdites au moins certaines des images du sous-ensemble d’images (SSimgs).
[0056] Selon la présente divulgation, plus particulièrement, l’image mosaïque est construite à partir d’un sous-ensemble d’images de la séquence d’images acquises, ce sous- ensemble d’images étant sélectionné pour minimiser les distorsions de pixels et de couleurs. Plus particulièrement, la détermination du lien géométrique entre l’image de référence et les images du sous-ensemble d’images comprend deux classes d’actions distinctes : d’une part le calcul de transformations entre les images du sous-ensemble d’images et d’autre part la sélection au sein du sous-ensemble d’images, d’images qui sont utilisées pour construire l’image mosaïque. Plus particulièrement encore, les images sélectionnées au sein du sous-ensemble d’images sont choisies de sorte à minimiser le nombre d’images à utiliser pour construire l’image mosaïque.
[0057] En d’autres termes, et de manière contre-intuitive, au lieu d’utiliser un maximum d’images pour pouvoir construire l’image mosaïque, les inventeurs ont eu l’idée d’utiliser au contraire un nombre minimum d’images afin que seules des informations pertinentes (i.e. des données de pixels pertinentes) soient insérées dans l’image mosaïque au fur et à mesure de sa construction. De cette manière, selon l’invention, on évite d’introduire, dans l’image mosaïque, de trop nombreuses données « mixées », c’est-à-dire des données qui seraient issues de mélanges de pixels provenant de plusieurs images. En effet, comme l’objectif de l’image mosaïque est de disposer d’une image représentative de la cavité photographiée à plusieurs reprises par l’endoscope, la méthode de la présente divulgation cherche à minimiser les calculs effectués sur les différents pixels, afin principalement d’insérer dans l’image mosaïque des pixels « originaux », qui sont directement issus d’images capturées par l’endoscope, et non pas des pixels « calculés », issus d’une fusion d’information entre des pixels de deux (ou plus) images. Pour ce faire, on met donc en œuvre une méthode de construction progressive de l’image mosaïque, méthode dans laquelle, à partir de l’image de référence déterminée au début de processus, on utilise les différentes images du sous-ensemble d’images pour augmenter la taille de l’image de référence, cette augmentation consistant à insérer sur les bords de l’image de référence, des pixels provenant d’au moins certaines images du sous-ensemble d’images (et plus généralement de la plupart des images du sous ensemble d’images). Pour disposer d’images satisfaisantes, dans ce sous-ensemble d’images, les inventeurs ont eu l’idée de prendre comme point de départ la séquence d’images capturées par l’endoscope et de réduire cette séquence d’images pour aboutir au sous-ensemble d’images qui comprend les images qui servent à construire l’image mosaïque. Ainsi, à partir de la séquence d’images capturée par l’endoscope, une première étape de détermination d’une enveloppe convexe est mise en œuvre, dans laquelle les images représentant les sommets de l’enveloppe convexe sont conservées et forment le sous-ensemble d’images. L’image de référence est sélectionnée parmi ce sous-ensemble d’images.
[0058] Ensuite, un lien géométrique, sous la forme d’une ou de plusieurs homographies, est calculé entre chaque image du sous-ensemble d’image (e.g. chaque image de l’enveloppe convexe) et l’image de référence. Ce lien géométrique est calculé de sorte que la transformation entre l’image de référence et une image de l’enveloppe convexe soit le produit d’au moins une homographie entre cette image de l’enveloppe convexe et l’image de référence.
[0059] Enfin, plusieurs itérations de construction de l’image mosaïque sont mises en œuvre pour, à partir de l’image de référence, augmenter celle-ci, en partant de l’image du sous-ensemble qui est la plus éloignée de l’image de référence, en ajoutant les pixels de cette image (la plus éloignée à l’image mosaïque) et ainsi de suite par distance décroissante avec l’image de référence. Lorsque c’est nécessaire (par exemple pour combler des zones vides de l’image mosaïque), des images de l’intérieur de l’enveloppe convexe (i.e. des images qui n’appartiennent pas au sous-ensemble d’images) sont utilisées : il s’agit alors de calculer des homographies pour ces images situées à l’intérieur de l’enveloppe convexe, et à partir de ces nouvelles homographies, de combler les espaces vides avec ces images transformées issues de l’intérieur de l’enveloppe convexe.
[0060] Ainsi, à l’issue de cette mise en œuvre, on dispose d’une image mosaïque, issue de la séquence d’images de l’endoscope, dans laquelle une majorité des pixels est issue d’une image originale capturée par l’endoscope. Ainsi, la technique divulguée permet d'effectuer un mosaïquage en deux dimensions de vidéo séquence d'images faiblement texturées, à textures variable et/ou sous des changements importants d'illumination. Cette technique permet plus particulièrement d'effectuer un mosaïquage dans la cadre d'une étude d'un organe creux, comme par exemple une vessie, un estomac ou des poumons, ou tout autre volume creux, que ce soit dans le domaine médical ou dans le domaine industriel. Les images traitées dans le cadre de la présente technique proviennent généralement d'un endoscope. Cette technique présente de nombreux avantages, parmi lesquels :
[0061] - Une aide est proposée à l’opérateur pour effectuer en temps réel une acquisition d’une séquence vidéo qui permet de couvrir sans lacunes une Rdl sans modifier la procédure médicale.
- Un champ de vue élargi (mosaïque approximative) est proposé en temps réel, ce qui permet de visualiser des zones avec d’éventuelles lacunes (Rdl non scannées).
- Le calcul de l’image mosaïque précise (sans discontinuité géométrique et de textures dans la Rdl) est réalisé en moins d’une minute dans le cas de l’antre pylorique (zone dans laquelle apparaissent des lésions dans l’estomac). Un deuxième diagnostic est possible durant l’examen et la zone peut être réinspectée si nécessaire, par visualisation de l’image mosaïque.
- Une mosaïque peut être fabriquée même si très peu de textures ou de structures sont visibles dans les images (c’est le cas en lumière blanche notamment en gastroscopie).
- Une mosaïque peut être fabriquée pour des textures très différentes, ce qui rend le mosaïquage possible dans d’autres modalités, comme la vidéo chromo-endoscopie (NBI vert/bleu ou la BLI suivant le constructeur) qui est souvent utilisé comme complément en dans certains types d’examen.
- La méthode de mosaïquage (avec tous ses avantages d’aide à l’acquisition, etc.) peut être étendue à la cystoscopie en lumière blanche ou de fluorescence.
- Comparer deux mosaïques fabriquées pour un même patient à partir de vidéo- séquences acquises à un intervalle de temps de quelques semaines, mois ou années permet de suivre l’évolution d’une lésion et facilite le suivi du patient (inexistant en endoscopie).
- Archiver une mosaïque assure une traçabilité actuellement inexistante en gastroscopie.
- Une mosaïque est un support d’échange nouveau pour les cliniciens de différentes spécialités.
[0062] Dans la suite du document, on décrit plus particulièrement des exemples de réalisation des étapes précédemment introduites. Il est évident que ces explications constituent des exemples et que notamment les méthodologies utilisées, notamment pour acquérir les images au moment de l’utilisation de l’endoscope ou pour déterminer l’enveloppe convexe à partir de la séquence d’images acquises peuvent être remplacées par des méthodes équivalentes fournissant des résultats équivalents. On comprend également que la méthode décrite peut être mise en œuvre différemment en fonction des conditions de mis en œuvre opérationnelles : par exemple, à la place comme décrit précédemment de calculer les transformations H uniquement pour les images de l’enveloppe convexes, il est tout à fait possible de calculer les transformations pour la totalité de images de la séquence d’images S et d’utiliser ces transformations H précalculées par la suite. De même, comme cela sera apparent par la suite, l’ensemble des résultats des calculs effectués, et notamment les résultats de calculs de transformation H, sont stockés en mémoire. Cet enregistrement poursuit deux objectifs : le premier est relatif à la possibilité, comme explicité par la suite, de passer, lors de la consultation des images, le l’image mosaïque à l’image d’origine de la séquence d’image et vice versa ; le deuxième objectif tient à la nécessité de pouvoir expliquer les calculs effectués, dans le cadre par exemple d’une analyse qualitative des résultats produits, notamment à des fins d’amélioration du traitement des images, sur une cohorte plus importante d’images.
[0063] Aide à l’acquisition d’une séquence d’image dans un exemple de réalisation
[0064] On présente ici un exemple de réalisation de l’obtention d’une séquence d’image dans un premier exemple de réalisation. Selon la présente technique, dans cet exemple de réalisation, on cherche à faire en sorte que la séquence d’image acquise soit la plus exploitable possible pour la mise en œuvre des étapes suivantes de traitement. Bien entendu, cette aide à l’acquisition est optionnelle et permet uniquement de préparer une séquence d’images qui facilite le traitement ultérieur. Il est tout à fait envisageable de ne pas mettre en œuvre cette aide à l’acquisition et d’utiliser une séquence d’images normalement acquise (i.e. sans aide à l’acquisition). Simplement, la mise en œuvre d’une aide à l’acquisition permet d’augmenter les performances des étapes suivantes.
[0065] Quoi qu’il en soit, dans cet exemple, l’acquisition d’une séquence d’images comprend deux aspects : un premier aspect se rapportant à l’affichage, en temps réel d’information à destination de l’opérateur ; et un deuxième aspect se rapportant à l’ajout d’information relative à la capture de la séquence d’image.
[0066] Ainsi, par exemple dans le cas d’un examen gastrique, dans la vidéo affichée de façon standard sur un écran en conditions réelles, l’opérateur sélectionne une zone, par exemple rectangulaire, quelconque dans une image qu’il aura choisie (voir le cadre « blanc pointillé » de la [Fig.2].(a)). Cette zone rectangulaire définit la zone de l’antre pylorique qui doit être poursuivie (traquée) dans les images qui suivent. Dans la [Fig.2] .(b), les cercles « blancs » (visibles au centre du rectangle « blanc » plein) donnent, pour trois images, les positions successives des centres des régions rectangulaires traquées et placés dans l’image actuelle de la vidéo-séquence. La [Fig.2]. (c) représente la trajectoire de la poursuite de la zone d’intérêt après l’arrêt du processus de traque (et de prise de vue) par l’opérateur. Ce dernier décide de l’arrêt de la poursuite à l’aide de la vidéo- séquence de la [Fig.2].(d) affichée en temps réel à l’écran. Pour chaque nouvelle image, le segment « blanc » est défini par deux points : le centre de la zone rectangulaire de l’image de départ et le centre de la zone traquée dans l’image courante. Cette représentation facilite une acquisition optimale de l’antre pylorique : idéalement les segments « blancs » successifs devraient être le plus long possible et effectuer un tour complet autour du point initial de la [Fig.2].(a) pour maximiser la taille de la surface acquise et minimiser le risque de lacunes. Ces rayons sont superposés à une mosaïque approximative qui est aussi affichée pour aider l’opérateur à estimer la zone couverte lors de son examen.
[0067] En d’autres termes, dans cette étape, on aide l’opérateur à capturer, à l’aide de l’endoscope, des images qui sont utilisables au maximum pour les étapes ultérieures de construction de l’image mosaïque (définitive). Cette aide est apportée en définissant une image de départ, à partir de la zone initialement sélectionnée, puis en marquant, sur l’affichage, les centres des images suivantes acquises par l’endoscope (cercles « blancs »), tout en construisant dynamiquement (i.e. en temps réel) une image mosaïque approximative et en représentant la qualité de la capture réalisée (à l’aide des indications portées sur l’image mosaïque approximative).
[0068] Tout d’abord, l’affichage des centres des images acquises par l’endoscope (cercle blancs) est mise en œuvre en effectuant une poursuite de points homologues selon deux méthodes complémentaires :
[0069] - La première méthode (rapide) est une méthode de poursuite de points homologues dans deux zones rectangulaires à T aide d’ une méthode de flot optique éparse, comme par exemple la méthode de Lucas et Kanade (1981). Cette méthode présente l’avantage d’être rapide, mais elle requiert des zones avec des textures contrastées et son efficacité diminue lorsqu’il y a des changements importants d’illumination entre les images. Elle est cependant mise en œuvre en première intention : lorsqu’un nombre de paires de points homologues obtenus avec cette technique dépasse ou égale un paramètre prédéterminé (dont la valeur est comprise entre 4 et 10), alors on considère que cette première méthode rapide est suffisante et le déplacement entre les deux images pour lesquelles cette méthode est mise en œuvre (deux centres jaunes de la région d’intérêt) est calculé à partir du déplacement moyen (vecteur moyen) des points homologues.
- La deuxième méthode est moins rapide, mais plus efficace. Cette deuxième méthode est mise en œuvre en deuxième intension lorsque le nombre de paires de points homologues entre deux images successives, obtenu par la première méthode, se situe en deçà du paramètre prédéterminé (c’est-à-dire en deçà de 4 à 10 en fonction de la valeur de ce paramètre). Il s’agit d’une méthode de flot optique dense qui est utilisée pour trouver des correspondants dans des régions avec peu de textures et/ou soumises à de forts changements d’illumination. Par exemple la méthode D. H. Trinh and C. Daul (2019) est utilisée. Pour cette méthode, les points homologues sont recherchés dans un voisinage de 200 fois 200 pixels centrés sur la zone marquée par le clinicien et qui se déplace au cours de la séquence. Le déplacement entre deux images est donné par le vecteur moyen des déplacements entre points homologues des deux images.
[0070] Une fois la poursuite des points homologues effectués, et qu’une nouvelle image est acquise, la mosaïque approximative est complétée uniquement par les pixels qui agrandissent l’image mosaïque approximative en cours de construction (au départ l’image mosaïque approximative correspond à la première image qui grandit successivement par ajout d’autres pixels) et le segment reliant le centre de la première zone rectangulaire à celui de l’image courante est dessiné sur l’image mosaïque approximative.
[0071] Lorsque l’opérateur a terminé la captation d’image du volume, on dispose :
[0072] - d’une séquence S de N images :
- d’un vecteur déplacement vnn+i entre la position des centres Pn et Pn+i des images In et In+i. (et par extension d’un vecteur de déplacement entre n’importe quel couple d’image de la séquence d’images) ;
- en prenant le système de coordonnées de l’image L comme référence, la position des centres Pn dans le plan 2D de la mosaïque , avec Pi = (0,0 ) .
- de l’ensemble des centres de la séquence d’images
[0073] Comme explicité précédemment, il est tout à fait envisageable de disposer de ces données par d’autres méthodes que celles décrites précédemment.
[0074] Sélection d’images et recherche d’une image de référence dans un exemple de réalisation
[0075] Comme indiqué précédemment, la sélection d’images parmi la séquence d’images poursuit l’objectif de limiter le nombre d’images à utiliser pour construire l’image mosaïque finale. Les inventeurs ont considéré qu’un nombre réduit d’images permettait d’obtenir une image mosaïque de meilleure qualité et plus représentative d’une vue globale de l’intérieur de la cavité. Pour ce faire, on applique une méthode qui délivre un sous-ensemble (le plus petit possible) des images de S qui couvrent toute la surface d’intérêt et l’image de référence (qui sert de système de coordonnée à la l’image mosaïque), les images de ce sous-ensemble permettant de minimiser les dis continuités géométriques (distorsions) et de couleur au cours du placement des pixels dans l’image mosaïque. Pour ce faire, cette étape de sélection comprend :
[0076] - une étape de détermination, parmi la séquence d’images S, d’un sous- ensemble d’image correspondant à l’enveloppe convexe des centres des images de l’ensemble d’images ; et
- à partir de ce sous-ensemble d’images, sélection de l’image qui maximise la distance au centre de l’ensemble des images de la séquence d’image (i.e. celle qui est la plus éloignée du centre moyen de l’ensemble des images).
[0077] En d’autres termes, pour obtenir ce sous-ensemble, dans cet exemple de réalisation, l’enveloppe convexe (voir figure 3) de la trajectoire en deux dimensions (2D) des centres est déterminée afin de sélectionner les images qui couvrent au mieux la surface de la cavité (par exemple de l’organe) à visualiser. Plusieurs méthodes de détermination de l’enveloppe convexe peuvent être mises en œuvre, comme par exemple la méthode décrite par D.G. Kirkpatrick and R. Seidel (1986).
[0078] L’ensemble des sommets c { } de cette enveloppe obtenue permet de sélectionner les N images situées à la périphérie de la zone scannée par l’endoscope, et donc de maximiser la taille de la future image mosaïque. L’ensemble des K images ainsi retenues constitue le sous-ensemble et est dénommé Dans la [Lig.3], les images du sous-ensemble sont celles présentées par les disques noirs.
[0079] Parmi les images sélectionnées, celle qui est la plus excentrée par rapport au centre P (position moyenne des images de la séquence d’images S) minimise les distorsions si elle est prise comme référence.
[0080] L’image de référence dont la position du centre dans le plan 2D est , est dé terminée en maximisant la distance :
[0081]
[0082] Ainsi, à l’issue de cette mise en œuvre, on dispose d’une image de référence et d’un sous-ensemble d’images qui vont être utilisées pour construire progressivement l’image mosaïque. Avant cela, cependant, il est nécessaire de calculer des trans formations entre les images de l’enveloppe convexe pour permettre d’effectuer le rem plissage de l’image mosaïque.
[0083] Détermination de transformations géométriques dans un exemple de réalisation
[0084] Comme explicité, il s’agit dans cette étape de calculer les transformations géo métriques entre l’image de référence et chaque image de l’enveloppe convexe. Ces transformations sont nécessaires pour permettre l’ajustement des pixels sur l’image mosaïque. Ainsi, on effectue une recherche du lien géométrique entre l’image de référence et chaque image de Sc pour pouvoir par la suite transformer ces images de Sc avant d’en ajouter une partie à l’image mosaïque.
[0085] D’une manière générale, le lien géométrique entre deux images 1, et L est donné par une homographie H. ® . dont les paramètres tx et ty correspondent à une translation 2D, les quatre paramètres an, a12, a2i et a22 dépendent d’une rotation dans le plan image et d’un facteur d’échelle alors que a3[ et a32 sont les paramètres de perspective :
[0086]
[0087] Les coordonnées sont celles des pixels homologues des images Ij et L et le paramètre «,, est entièrement défini pour les pixels i et j par les valeurs des coefficients a31 et a32. La correspondance entre les points homologues des images Ij et L est obtenue par exemple à l’aide de la méthode de flot optique dense précédemment présentée dans l’obtention des images de la séquence d’images. Les paramètres de la matrice sont déterminés à l’aide de la méthode de rejet de points aberrants de RANSAC qui prend cette homographie comme modèle (Martin A. Fischler and Robert C. Bolles, 1981).
[0088] Pour pouvoir calculer une homographie reliant Ij et L il faut qu’il y ait un re- couvrement minimal entre les deux images. Cette condition de recouvrement est vérifiée à l’aide de la relation suivante :
[0089]
[0090] où
[0091] - W et H sont la largeur et la hauteur de l’image ;
- sont les composantes du vecteur reliant les centres Pj et P. des images
- WH/2 un seuil minimal de recouvrement ; et
- l’aire de recouvrement en pixels.
[0092] Alors que les deux premières lignes du système d’équations permettent de vérifier que deux images ont une partie commune, la troisième ligne permet de mesurer un taux de superposition ¾ qui doit être supérieur à la moitié de la surface en pixels des images.
[0093] La [Fig.3] illustre différentes situations en fonction du résultat de test de superposition des images.
[0094] - lorsqu’un sommet p£ de l’enveloppe et le vertex P°ef de référence ont un
Tk, ref au moins égal à WH/2, une seule homographie Hk _* ref permet de faire le lien entre les pixels des deux images l£ e
- lorsqu’un sommet de l’enveloppe et le vertex P^(. de référence ont un
\ ref inférieur à WH/2, alors le centre P; de l’image la plus proche de P0est utilisé. Si les deux vecteurs p|p' et p.p^ vérifient la condition de superposition ( T] j > WH / 2 et Tj ref > WH / 2) alors le produit H] ® ref = Hj _*refH ® des homographies Hj i et Hj _» ref permet faire le lien entre les pixels des deux images Ij et
- lorsque l’image la plus proche de P0 n’est pas suffisante pour faire la passerelle entre un vertex et l’image de référence, d’autres images intermédiaires sont utilisées pour faire le lien entre les paires d’images dont le vecteur de translation a la plus grande norme. C’est le cas, dans la figure 3, du e une nouvelle passerelle conduisant à
[0095] permet faire le lien entre les pixels m - des images 1^ et I^f.
[0096] En d’autres termes, pour chaque sommet de l’enveloppe convexe, les vecteurs de déplacement entre les images sont itérativement divisés à l’aide d’images intermédiaires pour qu’un produit d’homographies puisse faire le lien entre une image d’un sommet de l’enveloppe convexe et l’image de référence pref. Cet algorithme, en minimisant le nombre d’images à recaler ainsi que les trajectoires d’images qui se croisent, permet de minimiser les distorsions géométriques (visibles sous la forme de discontinuités de textures) dans l’image mosaïque.
[0097] À l’issue de cette étape, on dispose d’un ensemble d’homographies, utilisables pour effectuer les transformations des images de l’enveloppe convexe afin de créer l’image mosaïque à partir de l’image de référence pref.
[0098] Construction de l’image mosaïque dans un exemple de réalisation
[0099] En possession des images de l’enveloppe et des transformations de ces images par rapport à l’image de référence, il est alors possible de construire l’image mosaïque.
[0100] Dans cet exemple de réalisation, l’image mosaïque initiale Imoscorrespond à l’image Çef. Le repère de l’image mosaïque Imos est défini par le système de cordonnée de la référence ij; f. Les images l£ correspondant à des sommets p£ de l’enveloppe convexe sont utilisées prioritairement pour construire la mosaïque. Les autres images (situées à l’intérieur de l’enveloppe convexe) sont éventuellement utilisées pour combler des lacunes dans la mosaïque après avoir exploité toutes les images l£.
[0101] La construction de la mosaïque débute par la recherche l’image la plus éloignée de la référence Celle-ci est trouvée en maximisant la distance :
[0103] Après la sélection de l’image 1^, le vertex est retiré de l’ensemble Pc. Les positions des pixels de sont ensuite exprimées dans le repère de la mosaïque à l’aide de l’homographie Hk ref. Cette image transposée trans permet ensuite de faire croître la mosaïque comme suit :
[0105] où ® traduit l’opérateur de blending (mélange des couleurs des pixels superposés) et l’image †c ’ trans est définie par : *k
[0106] {'· ““ = ,ç, »»s n D ( jç.
[0107] Dans cette équation D est l’opérateur morphologique de dilation qui utilise l’élément structurant se.
[0108] Les pixels non nuis de l’image transsont ceux de l’image jc ’ trans qui ne sont pas superposés par la mosaïque Imos et complétés par les pixels d’une région de taille réduite commune entre les images Imos et utilisés lors du blending.
[0109] À chaque itération du processus qui suit est mis en œuvre :
[0110] - l’image *c’ trans avec le moins de recouvrement avec Imos est sélectionnée et
H ses pixels sont utilisés pour faire grandir la mosaïque à l’aide des deux équations précédentes, et
- l’image jc ’ trans utilisée est retirée
[0111] Il existe une région, de taille réduite située à la frontière de l’image mosaïque Imos et des pixels de 4e’ trans qui sont rajoutés (bords d'un pixel d'épaisseur). On effectue une n dilation avec l’élément structurant se: dans cette région de la mosaïque on crée une "petite région" dont l'épaisseur est celle de l'élément structurant se pour effectuer le blending. En fonction des exemples de réalisation, l’élément structurant se est de taille plus ou moins réduite. Il correspond à un masque binaire (qui permet de prendre en compte le voisinage des pixels) et prend par exemple la forme d’un carré de quelques pixels à quelques dizaines de pixels de côté (par exemple 70). De plus, le bord d'épaisseur d’un pixel qui est dilaté par l’élément structurant se ne constitue que la région commune dans laquelle on assure une transition sans discontinuité de couleur. Les pixels ajoutés à la mosaïque pour chaque image vont bien au-delà de cette seule petite région commune de transition.
[0112] Ainsi illustré dans la [Fig.4], la cohérence visuelle de la mosaïque est maximisée puisque les discontinuités causées par les transitions entre pixels de différentes images sont minimisées.
[0113] Navigation entre l’image mosaïque et les images d’origine de la séquence d’images et vice- versa
[0114] Grâce à la technique précédemment décrite, les inventeurs ont calculé des liens géométriques entre les images individuelles de la séquence d’images S acquises par l’opérateur de l’endoscope et l’image mosaïque produite. Ces liens géométriques peuvent être utilisés, a posteriori, pour effectuer des allers-retours entre l’image mosaïque et les images originales ayant permis d’obtenir cette image mosaïque. Dans le cas d’un examen médical, une telle possibilité est intéressante en ce qu’elle permet par exemple de repérer des lésions ou pré-lésions et de permettre l’inspection de zones plus précises à postériori.
[0115] Ainsi, soit une région centrée sur un pixel p£r = ( xk r, yk r ) dans l’image Ik de la séquence d’images (cr = centre région). En supposant le chemin et les homographies correspondantes connues (car précédemment calculées et enregistrées en même temps que l’image mosaïque) entre l’image Ik et l’image f de référence de la mosaïque, la position du centre (pixel p“f = ( Xrèf, y“f ) ) de la région d’intérêt peut être calculée dans l’image mosaïque à l’aide d’un produit d’homographies :
[0116] /
¾ ® ref
[0117] Dans cet exemple le chemin est constitué par les images Ik ® Ij ® Im ® In ® I^ef géométriquement reliées par les homographies Hk ® j. Hm ® n, Hj ® m et Hn ® ref respectivement. Le paramètre °¾ref est entièrement défini pour chaque pixel par les coefficients de perspective a3i et a32 des quatre homographies. Si une région est délimitée par un polygone dans l’image Ik, les sommets de ce polygone peuvent être ramené de la même manière dans le repère de l’image mosaïque, pour ainsi permettre l’inspection de cette région au sein de l’image mosaïque pour disposer d’une vue d’ensemble de cette région. L’inverse est également vrai : à partir d’une région délimitée par un polygone dans l’image mosaïque, il est possible de rebrousser chemin pour déterminer les images qui ont été utilisées pour aboutir à cette région et permettre une inspection de ces images.
[0118] Ainsi, comme cela est compris, en sus des opérations précédemment décrites pour construire l’image mosaïque, les étapes des procédés comprennent également des enregistrements, en mémoire, des valeurs des paramètres (notamment des valeurs des homographies) permettant de passer d’une image de la séquence d’image à l’image mosaïque et vice versa.
[0119] Autres caractéristiques et avantages
[0120] On présente, en relation avec la [Fig.5], une architecture simplifiée d’un dispositif électronique d’exécution apte à effectuer le traitement et l’exécution de code selon l’une au moins des procédés décris précédemment. Un dispositif électronique d’exécution comprend une mémoire 51 (et/ou éventuellement sécurisée et/ou deux mémoires séparées, une sécurisée et l’autre non), une unité de traitement 52 équipée par exemple d’un microprocesseur (et/ou éventuellement sécurisé et/ou deux processeurs séparés, un sécurisé et l’autre non), et pilotée par le programme d’ordinateur 53, mettant en œuvre tout ou partie des procédés tels que précédemment décrits. Dans au moins un mode de réalisation, l’invention est mise en œuvre au moins partiellement sous la forme d’une application installée sur ce dispositif. On dispose ainsi d’un dispositif de traitement de données pour la mise en œuvre de fonctions de traitement de la séquence d’images S issues d’un endoscope, qui comprend un processeur (52), un mémoire (51) et un ensemble de modules de traitement, mis en œuvre dans un programme. Le dispositif met en œuvre un module de traitement courant de l’ensemble de modules de traitement, ledit module de traitement courant appartenant au groupe comprenant :
[0121] - des moyens de sélection d’images, à partir de ladite séquence S d’images, délivrant un sous-ensemble d’images Sc et une image de référence I°ef parmi ce sous-ensemble d’images Sc ;
- des moyens de détermination de liens géométriques FI entre l’image de référence l“ef précédemment déterminée et les images du sous-ensemble d’images Sc ;
- des moyens de construction de l’image mosaïque à partir de l’image de référence l£ f, au moins certaines des images du sous-ensemble d’images Sc et des liens géométrique H de ces images du sous-ensemble d’images Sc.
[0122] Pour l’exécution des fonctions qui lui sont confiés, le dispositif comprend également les moyens de mise en œuvre de l’ensemble des étapes précédemment mentionnées, soit sous une forme matérielle, lorsque des composants spécifiques sont dédiés à ces tâches, soit sous une forme logicielle en lien avec un ou plusieurs microprogrammes s’exécutant sur un ou plusieurs processeurs du dispositif d’exécution.

Claims

Revendications
[Revendication 1] Procédé de construction d’une image mosaïque à partir d’une séquence S d’images d’un organe creux, ladite séquence S d’images étant issue d’un endoscope inséré au sein de l’organe creux, procédé mis en œuvre par un dispositif électronique comprenant un processeur et une mémoire et caractérisé en ce qu’il comprend :
- une étape de sélection d’images, à partir de ladite séquence S d’images, délivrant un sous-ensemble d’images Sc et une image de référence Ç f parmi ce sous-ensemble d’images Sc ;
- une étape de détermination de liens géométriques H entre l’image de référence précédemment déterminée et les images du sous-ensemble d’images Sc ;
- une étape de construction de l’image mosaïque à partir de l’image de référence au moins certaines des images du sous-ensemble d’images Sc et des liens géométrique H de ces images du sous-ensemble d’images Sc.
[Revendication 2] Procédé de construction d’une image mosaïque selon la revendication 1, caractérisé en ce que l’étape de sélection d’images comprend :
- une étape de détermination, parmi la séquence S d’images, du sous-ensemble d’images Sc correspondant à l’enveloppe convexe des centres P = { Pi, P2> 1 ' 1 , PN } des images de la séquence S d’images ; et
- à partir de ce sous-ensemble d’images Sc, sélection de l’image Iref C1L" maximise la distance au centre de l’ensemble des images la séquence S d’images.
[Revendication 3] Procédé de construction d’une image mosaïque selon la revendication 1, caractérisé en ce que l’étape de détermination d’un lien géométrique avec l’image de référence I°ef comprend, pour une image courante Ii appartenant au sous-ensemble d’images Sc, au moins une étape de calcul d’une homographie Hj ® ref entre l’image de référence et l’image courante, ladite homographie Hi ® ref étant déterminée en fonction d’un taux de superposition Ti, ref entre les pixels de l’image de référence et les pixels de l’image courante I,.
[Revendication 4] Procédé de construction d’une image mosaïque selon la revendication 3, caractérisé en ce que lorsque le taux de superposition Ti. ref entre les pixels de l’image de référence l£ f et les pixels de l’image courante Ij est inférieur à une valeur prédéterminée, ladite homographie Hj _» ref entre l’image de référence et l’image courante est le résultat d’un produit d’au moins deux homographies intermédiaires (LL ®j, FL ®ref) impliquant l’utilisation d’au moins une image intermédiaire L.
[Revendication 5] Procédé de construction d’une image mosaïque selon la revendication 1, caractérisé en ce que l’étape de construction de l’image mosaïque Imos comprend au moins une itération des étapes suivantes :
- une étape de sélection, au sein du sous-ensemble d’images Sc> de l’image la plus éloignée de l’image de référence ;
- une étape de transformation de l’image dans le système de coordonnées de l’image de référence à l’aide du lien géométrique Hi ® ref entre l’image I® et l’image de référence l“ef, délivrant une image transformée trans;
- une étape d’exclusion, à partir de l’image transformée £ lrans, des pixels appartenant à l’image mosaïque Imos délivrant une image à combiner †c> trans ;
- une étape d’ajout des pixels de l’image à combiner *c* trans à
*k l’image mosaïque Imos ;
- une étape de suppression de l’image I® du sous-ensemble d’images Sc.
[Revendication 6] Procédé de construction d’une image mosaïque selon la revendication 5, caractérisé en ce que l’étape d’exclusion, à partir de l’image transformée jC, trans ^ qcs pjxe]s appartenant à l’image mosaïque Imos délivrant une image à combiner trans comprend la mise en œuvre de l’opération
*k suivante : ic’ trans c trans / c, trans mos \
It = It n D(It \ I , se j. dans laquelle :
D est l’opérateur morphologique de dilation qui utilise un élément structurant se ; \ est l’opérateur d’exclusion ; et n est l’opérateur d’intersection.
[Revendication 7] Procédé de construction d’une image mosaïque selon la revendication 5, caractérisé en ce que l’étape d’ajout des pixels de l’image à combiner *c· trans à l’image mosaïque Imos comprend la mise en œuvre de l’opération suivante :
Dans laquelle traduit l’opérateur de mélange des couleurs de pixels superposés.
[Revendication 8] Procédé de construction d’une image mosaïque selon la revendication 1, caractérisé en ce que la séquence S d’images de l’organe creux est obtenue par la mise en œuvre d’une pluralité d’étapes de poursuites de points homologues d’images acquises par un opérateur de l’endoscope lors des prises de vue effectuées au sein de l’organe creux.
[Revendication 9] Procédé de construction d’une image mosaïque à partir d’une séquence S d’images d’un organe creux selon la revendication 1, dans lequel, préalablement à l’étape de sélection d’images, il comprend une étape d’acquisition de ladite séquence S d’images à l’aide d’un endoscope inséré dans l’organe creux, cette étape d’acquisition de ladite séquence S d’images comprenant :
- une étape de sélection d’une image initiale, de ladite séquence
S d’images, affichée sur un écran de visualisation ; et pour chaque image subséquemment sélectionnée, appelée image courante :
- une étape de calcul de points homologues entre ladite image courante et l’image précédente ;
- une étape d’affichage d’une donnée représentative de la capture de l’image courante sur l’écran de visualisation ; et
- une étape de calcul et d’affichage d’une image mosaïque approximative ; et
- une étape d’ajout de ladite image courante à ladite séquence S d’images.
[Revendication 10] Dispositif électronique de construction d’une image mosaïque à partir d’une séquence S d’images d’un organe creux, ladite séquence S d’images étant issue d’un endoscope inséré au sein de l’organe creux, le dispositif électronique comprenant un processeur et une mémoire et caractérisé en ce qu’il comprend :
- des moyens de sélection d’images, à partir de ladite séquence S d’images, délivrant un sous-ensemble d’images Sc et une image de référence parmi ce sous-ensemble d’images Sc ;
- des moyens de détermination de liens géométriques H entre l’image de référence précédemment déterminée et les images du sous-ensemble d’images Sc ;
- des moyens de construction de l’image mosaïque à partir de l’image de référence au moins certaines des images du sous-ensemble d’images Sc et des liens géométrique H de ces images du sous-ensemble d’images
[Revendication 11] Produit programme d’ordinateur téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, caractérisé en ce qu’il comprend des instructions de code de programme pour l’exécution d’un procédé selon la revendication 1, lorsqu’il est exécuté sur un ordinateur.
EP22755137.1A 2021-07-30 2022-07-21 Procede de construction d'une image mosaique, dispositif et programme d'ordinateur correspondant Pending EP4377878A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2108318A FR3125906B1 (fr) 2021-07-30 2021-07-30 Procédé de construction d’une image mosaïque, dispositif et programme d’ordinateur correspondant.
PCT/EP2022/070567 WO2023006592A1 (fr) 2021-07-30 2022-07-21 Procede de construction d'une image mosaique, dispositif et programme d'ordinateur correspondant

Publications (1)

Publication Number Publication Date
EP4377878A1 true EP4377878A1 (fr) 2024-06-05

Family

ID=78649376

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22755137.1A Pending EP4377878A1 (fr) 2021-07-30 2022-07-21 Procede de construction d'une image mosaique, dispositif et programme d'ordinateur correspondant

Country Status (4)

Country Link
US (1) US20250022093A1 (fr)
EP (1) EP4377878A1 (fr)
FR (1) FR3125906B1 (fr)
WO (1) WO2023006592A1 (fr)

Also Published As

Publication number Publication date
US20250022093A1 (en) 2025-01-16
FR3125906B1 (fr) 2023-12-29
FR3125906A1 (fr) 2023-02-03
WO2023006592A1 (fr) 2023-02-02

Similar Documents

Publication Publication Date Title
US10929669B2 (en) Systems and methods for processing colon images and videos
US10068334B2 (en) Reconstruction of images from an in vivo multi-camera capsule
Fu et al. Image stitching techniques applied to plane or 3-D models: A review
US20160014328A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
JP2017117462A (ja) フーリエタイコグラフィによって取得された画像の物理レジストレーション
JP2010512173A (ja) 内視鏡からの映像を用いるコンピュータ支援解析
US20160295126A1 (en) Image Stitching with Local Deformation for in vivo Capsule Images
Sengupta et al. Colonoscopic 3D reconstruction by tubular non-rigid structure-from-motion
Song et al. Real-scene reflection removal with RAW-RGB image pairs
EP3624047A1 (fr) Procédé et appareil de déconvolution utilisant un rapport signal-bruit local
FR3111222A1 (fr) Génération de modèles 3D à l’échelle à partir d’images 2D produites par un dispositif d’imagerie monoculaire
Behrens et al. Real-time image composition of bladder mosaics in fluorescence endoscopy
Li et al. Collaborative surgical instrument segmentation for monocular depth estimation in minimally invasive surgery
Armin et al. Learning camera pose from optical colonoscopy frames through deep convolutional neural network (CNN)
WO2023006592A1 (fr) Procede de construction d&#39;une image mosaique, dispositif et programme d&#39;ordinateur correspondant
Ali et al. Surgery scene restoration for robot assisted minimally invasive surgery
JP5835797B2 (ja) パノラマ画像作成プログラム
CN108510537A (zh) 3d建模方法和装置
Shilaskar et al. A scalable structure-from-motion framework for efficient 2D-to-3D reconstruction of historical artifacts
Hasan et al. Inpainting surgical occlusion from laparoscopic video sequences for robot-assisted interventions
CN117372314A (zh) 目标区域识别方法、装置、计算机设备、介质和程序产品
JP6128664B2 (ja) パノラマ画像作成プログラム
Aktar Video Summarization Using Mosaicing and Activity Maps for Aerial and Biomedical Imagery
Behrens et al. A non-linear multi-scale blending algorithm for fluorescence bladder images
Chen et al. Pocket Time-Lapse

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240123

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: DAUL, CHRISTIAN

Inventor name: BAZIN, THOMAS

Inventor name: LAMARQUE, DOMINIQUE

Inventor name: TRIHN, DINH-HOAN

RIN1 Information on inventor provided before grant (corrected)

Inventor name: DAUL, CHRISTIAN

Inventor name: BAZIN, THOMAS

Inventor name: LAMARQUE, DOMINIQUE

Inventor name: TRINH, DINH-HOAN

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20260312