EP3253274A1 - Procede de determination du decalage entre axes median et optique d'un endoscope - Google Patents

Procede de determination du decalage entre axes median et optique d'un endoscope

Info

Publication number
EP3253274A1
EP3253274A1 EP16707854.2A EP16707854A EP3253274A1 EP 3253274 A1 EP3253274 A1 EP 3253274A1 EP 16707854 A EP16707854 A EP 16707854A EP 3253274 A1 EP3253274 A1 EP 3253274A1
Authority
EP
European Patent Office
Prior art keywords
endoscope
images
camera
contour
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16707854.2A
Other languages
German (de)
English (en)
Inventor
Sylvain BERNHARDT
Vincent AGNUS
Stéphane NICOLAU
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut Hospitalo-Universitaire De Chirurgie Mini -Invasive Guidee Par L'image
Institut de Recherche contre les Cancers de l'Appareil Digestif (IRCAD)
Original Assignee
Institut Hospitalo-Universitaire De Chirurgie Mini -Invasive Guidee Par L'image
Institut de Recherche contre les Cancers de l'Appareil Digestif (IRCAD)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut Hospitalo-Universitaire De Chirurgie Mini -Invasive Guidee Par L'image, Institut de Recherche contre les Cancers de l'Appareil Digestif (IRCAD) filed Critical Institut Hospitalo-Universitaire De Chirurgie Mini -Invasive Guidee Par L'image
Publication of EP3253274A1 publication Critical patent/EP3253274A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00089—Hoods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Definitions

  • the present invention relates to the field of calibration or adjustment of optical systems, in particular endoscopic devices, particularly in the context of minimally invasive surgery.
  • the subject of the invention is more precisely a method for determining the offset or misalignment between the median axis and the optical axis of a rigid endoscope, or comprising at least one rigid end portion, as well as a method for investigation and / or minimally invasive surgery.
  • the alignment of the lenses and the CCD camera sensor does not coincide with the physical center axis (center axis) of the body of the endoscope.
  • the optical axis is offset with respect to the axis of revolution, intentionally (because of the structure of the endoscope) or not (due to a deformation of the endoscope during repeated use, d a manufacturing defect or an uncertainty in the manufacturing process).
  • the inventors have recently proposed and evaluated an approach to avoid the introduction of an additional optical tracking system, which consists of positioning the body of the endoscope in front of the area of interest and acquiring the scanner image. so that the tip of the endoscope appears in the 3D image [S. Bernhardt, S. Nicolau, V. Agnus, L. Soler, C. Doignon, J. Marescaux. "Automatic detection of endoscope in intraoperative CT images: application to augmented reality guidance in laparoscopic surgery". IEEE International Symposium on Biomedical Imaging (ISBI 2014). pp 563-567].
  • end and the orientation of the endoscope are then automatically located in the 3D images and a virtual camera is created with a visualization of the zone of interest identical to that of the real endoscope, in order to be able to "increase" the endoscopic vision with 3D intraoperative data.
  • the expected accuracy following encouraging preliminary tests, could not be validated with larger amounts of data due to the lack of guarantee of a superposition of the median and optical axes of the endoscopes used.
  • the inventors have deduced that to obtain a more accurate superposition of the 3D images with those provided by the endoscope, not only a prior determination of the intrinsic and extrinsic parameters of the endoscopic camera (known as such to those skilled in the art) but also a determination of the reciprocal shifting / misalignment of the optical and median axes of the endoscope are necessary.
  • the main object of the invention is to propose a simple, fast and precise solution for the determination of this last parameter.
  • the subject of the invention is a method for determining the offset or misalignment between the median or revolution axis and the optical axis of a rigid endoscope or of a similar camera device comprising a rigid body. with a cylindrical outer envelope profiled in the direction of the optical axis, or comprising at least one rigid end segment with such an envelope,
  • a camera or a similar sensor forming part of the endoscope or the like device consists in carrying out, with a camera or a similar sensor forming part of the endoscope or the like device, a plurality of shots with a field of view limited by a contour of polygonal shape, circular or an elliptical whose positioning with respect to the median axis or of revolution is, for each shot, physically defined and specific, a relative angular rotation between the contour and the endoscope or the like intervening between two successive shots, and determining a point or a pixel in the successively acquired images whose position remains unchanged between the different shots, this point or pixel corresponding to the projection in the image plane of the median axis or revolution of the rigid body of the endoscope or the like or the rigid end segment of the latter.
  • Figure 1 is a partial schematic side elevational view of a rigid endoscope with its camera
  • FIG. 2 is a front elevational view of the image plane of the camera of FIG. 1, with indication of the projections of the optical and revolution axes of the endoscope of FIG. 1;
  • FIG. 3 is a partial schematic view of the body of a subject in which the endoscope shown in FIG. 1 has been introduced, the acquisition volume V3D of the concomitant 3D imaging system being also indicated;
  • FIGS. 4A, 4B and 4C are respectively partial schematic views of the endoscope of FIG. 1 provided with a tubular piece with a square section defining a limiting contour of the field of view (FIGS. 4A and 4B) and a representation of the resulting image at the camera ( Figure 4C);
  • FIGS. 5A, 5B and 5C are respectively partial schematic views of the endoscope of FIG. 1 provided with a tubular piece with a circular section defining a limiting contour of the field of view (FIGS. 5A and 5B) and a representation of the resulting image at the camera (Figure 5C);
  • FIGS. 6A to 6E illustrate, in connection with the embodiment of the invention of FIGS. 4, the various successive processing operations undergone by each image to identify the diagonals;
  • FIGS. 7A to 7E respectively illustrate, on the one hand, three examples of processed individual images obtained by implementing the processing operations of FIGS. 6A to 6E, for three different relative angular positions between the square section insert. and the endoscope (FIGS. 7A to 7C - assembly of FIG. 4), and, on the other hand, the two cumulative images obtained by superposition of the two types of diagonals identified in the different individual images (FIGS. 7D and 7E), and ,
  • Fig. 8 is a representation of cumulative images obtained through varying angular positions between a circular section insert and the endoscope (Fig. 5).
  • FIGS. 4 to 7 illustrate, in relation to two constructive variants of implementations, a method of determining the offset or misalignment between the median axis or axis of rotation ⁇ and the optical axis ⁇ of a rigid endoscope 1 or of a similar camera device comprising a rigid body 2 with a cylindrical outer shell 2 'profiled in the direction of the optical (or median) axis, or comprising at least one rigid end segment with such an envelope (close to the free end ⁇ of the endoscope 1).
  • this method consists in carrying out, with a camera or similar sensor 3 forming part of the endoscope or of the analogous device 1, a plurality of shots with a field of view limited by a contour 4 of polygonal, circular or elliptical shape whose positioning relative to the median axis or of revolution ⁇ is, for each shot, physically defined and specific, a relative angular rotation between the contour 4 and the endoscope or the like 1 intervening between two successive shots, and to determine a point or a pixel PI, CA in the images successively acquired whose position remains unchanged between the different shots, this point or pixel PI, CA corresponding to the projection in the image plane 3 of the median axis or of the revolution ⁇ of the rigid body 2 of the endoscope 1 or the like or the rigid end segment of this last.
  • This point PI which is invariable in the image plane regardless of the relative angular position between the contour 4 and the body 2 of the endoscope 1 (around the axis ⁇ of revolution of the latter) and which is formed by a number limited of, and preferably by a single, pixel (s) corresponds to the orthogonal projection CA of said axis of revolution ⁇ in said image plane.
  • the outline 4 presents a significant contrast with respect to the scene visualized, for example in terms of different gray levels, color difference, brightness difference, difference in color saturation level or the like.
  • said contour is defined by an opening or a cut 5 of an insert 6, temporarily associated with the endoscope 1 during the various takes of views.
  • the opening or the cut-out 5 defining the contour 4 of the field of view of the endoscope or similar device 1 may be provided by a part 6 mounted temporarily. on the endoscope 1, the similar device or an end segment of at least one of these, resting in direct or indirect support on its cylindrical outer shell 2 '.
  • the insertion then consists, before making the plurality of shots, to thread a body or a tubular piece 6, the inner section is larger than the outer section of the cylindrical shell 2 'and which is advantageously provided with a non-reflecting inner surface and dark color, on the free end ⁇ of the endoscope or the like 1, in such a way it rests longitudinally on the cylindrical body 2 of the latter or its rigid end segment and protrudes beyond its free end ⁇ to define a restricted shooting window, with a field of view limited peripherally by a contour 4, and then change the relative angular positioning between said tubular body 6 and cylindrical body 2 about said median axis or revolution ⁇ between two successive shots.
  • the determination of the point PI, CA remaining fixed in the different shots, and corresponding to the projection of the median axis or revolution ⁇ in the plane of the camera or analogue 3 consists in extracting at least one diagonal D or bisector of each of the scenes displayed in the images resulting from these successive shots, possibly after treatment of the latter, and determining at least approximately the common intersection point PI of these different diagonals D or bisectors.
  • the method may consist in applying to each of the successive images different digital processes capable of extracting at least the angular corners, or even most or all of the polygonal contour 4 visible in the different images, taken with various angular orientations of the polygonal opening, to be determined in each processed image the diagonal D or the bisector whose one end touches the edge of the contour 4 visible in the image concerned, to superimpose the different images processed with their diagonal D or respective bisector and to determine, at least approximately, the intersection point PI common to all diagonals D or bisectors superimposed, whose movement between successive images has been mapped.
  • the method may consist, for each image acquired (FIG. 6A), to be produced successively the following processing operations: bilateral filtering to eliminate the noise while preserving the edges of the contour 4 visible in the image concerned (Figure 6B); application of Canny's contour detector (FIG. 6C); application of the Hough transform; grouping the sharper extracted segments by direction and location (Figure 6D); averaging each group of segments to define the angular corners, for example square, of each contour 4 visible on the different acquired images and define a corresponding diagonal D or bisector (Figure 6E); determination of the intersection point PI, CA, at least approximately, diagonals D or bisectors selected in the different images ( Figure 7D).
  • the method may be to apply the least squares method and to define by calculation the position of the point PI situated at a minimum distance from these different diagonals D or bisectors.
  • the point PI corresponds to the intersection of the bisectors of the corner of the opening 5 corresponding to the edge of the insert 6 whose adjoining sides rest on the cylindrical body 2 of the endoscope 1.
  • the invention can provide that, in the case of a circular contour 4, the determination of the point PI, CA remaining fixed in the different shots, and corresponding to the projection of the median axis or of revolution ⁇ , consists in making a rotation substantially 360 ° of the endoscope or the like 1 with respect to the opening 5 or the cutout determining the contour 4, and to determine the center of the virtual circumferential circle in which are located all the circular images resulting from different shots, and with which these images are locally tangent.
  • the body 2 of the endoscope 1 can be rotated in the circular tube 6 and the disc zone containing the different "windows" defined by the opening 5 in the different angular positions in rotation (see Figure 8).
  • the center of this discoidal surface corresponds to the CA point.
  • the invention also relates to a method of investigation and / or minimally invasive surgical procedure using, on the one hand, a rigid endoscope or a similar camera device 1 comprising a rigid body 2 with a cylindrical outer envelope 2 'profiled in the direction of the optical axis', or comprising at least one rigid end segment with such an envelope, equipped with a camera 3, and, on the other hand, an image acquisition system 3D medical devices (not shown), both of which integrate the area of interest ZI into their respective acquisition fields.
  • a rigid endoscope or a similar camera device 1 comprising a rigid body 2 with a cylindrical outer envelope 2 'profiled in the direction of the optical axis', or comprising at least one rigid end segment with such an envelope, equipped with a camera 3, and, on the other hand, an image acquisition system 3D medical devices (not shown), both of which integrate the area of interest ZI into their respective acquisition fields.
  • An end segment of the endoscope or the like 1 is visible in the 3D images, thus making it possible to establish a correspondence between the repository of the camera 3 of the endoscope and the repository of the 3D image acquisition system, by determining the orientation of the medial axis ⁇ of the endoscope or the like and the position of its optical center in the reconstructed 3D images.
  • This method is characterized in that it consists, in advance, in determining at least certain parameters of the endoscope or similar device 1, in particular the shift or misalignment between its optical axis ⁇ and its median or revolution axis ⁇ , at the less at its end segment, by implementing the method described above.
  • the invention may also consist, in advance, of acquiring successive views, with different orientations, of a checkerboard pattern via the camera 3 of the endoscope 1, then to use these different views to determine the focal length, in particular to calculate the field of view of a virtual camera, the optical center C ⁇ in the image plane of the camera 3 of the endoscope 1 and the distortion of the lens 7 of said camera 3, and finally to take into account these intrinsic parameters to perform a prior calibration of the camera 3 and / or a posterior compensation during the shots taken at means of the endoscope or the like 1.
  • the method used in practice to determine the intrinsic parameters of the camera 3 of the endoscope may for example be that described in the document: "A flexible new technique for camera calibration” ("A new flexible technique for the calibration of a camera "), Zhang Z., IEEE Transaction on Pattern Analysis and Machine Intelligence 22, 1330-1334, 2000.
  • an accelerometer capable of measuring the angular position (pitch and roll) of its end segment.
  • the method may consist, during the investigation and / or intervention, in exploiting the results of the prior operations of determining the misalignment and the intrinsic parameters to perform a readjustment and / or a recalibration between the internal images provided. by the camera 3 of the endoscope 1 and the external images provided by the 3D image acquisition system, in particular in terms of position, orientation, focus, distortion and misalignment, in order to allow an accurate superposition of information extracted external images, including a volume rendering, on the internal images provided by the camera 3.
  • the "virtual" point of view resulting from the intraoperative 3D images is adopted from the point of view of the camera 3 of the endoscope to provide an endoscopic vision augmented by the 3D data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

La présente invention a pour objet un procédé de détermination du décalage ou désalignement entre l'axe médian ou de révolution et l'axe optique d'un endoscope rigide ou d'un dispositif similaire de prise de vues comprenant un corps rigide à enveloppe extérieure cylindrique profilée dans la direction de l'axe optique, ou comprenant au moins un segment d'extrémité rigide avec une telle enveloppe. Procédé caractérisé en ce qu'il consiste à effectuer, avec une caméra (3) faisant partie de l'endoscope (1), une pluralité de prises de vue avec un champ de vision limité par un contour, dont le positionnement par rapport à l'axe médian (Δ) est, pour chaque prise de vue, physiquement défini et spécifique, une rotation angulaire relative entre le contour et l'endoscope (1) intervenant entre deux prises de vues successives, et à déterminer un point ou un pixel dans les images successivement acquises dont la position demeure inchangée entre les différentes prises de vues, ce point correspondant à la projection dans le plan image (3) de l'axe médian ou de révolution (Δ) du corps rigide (2) de l'endoscope (1).

Description

Procédé de détermination du décalage entre
axes médian et optique d'un endoscope
La présente invention concerne le domaine de la calibration ou de l'ajustement de systèmes optiques, en particulier de dispositifs endoscopiques, notamment dans le contexte de la chirurgie mini-invasive.
L'invention a plus précisément pour objet un procédé de détermination du décalage ou du désalignement entre l'axe médian et l'axe optique d'un endoscope rigide, ou comportant au moins une portion d'extrémité rigide, ainsi qu'un procédé d'investigation et/ou d'intervention chirurgicale mini-invasive.
Dans de nombreux dispositifs endoscopiques, l'alignement des lentilles et du capteur CCD formant caméra ne coïncide pas avec l'axe central physique (axe médian) du corps de l'endoscope. Autrement dit, l'axe optique est décalé par rapport à l'axe de révolution, intentionnellement (du fait de la structure de l'endoscope) ou non (du fait d'une déformation de l'endoscope lors d'utilisations répétées, d'un défaut de fabrication ou d'une incertitude dans le procédé de fabrication).
Ce mésalignement ou décalage des deux axes est problématique dans le cadre d'une mise en œuvre d'un tel endoscope dans une salle d'opération hybride, dans laquelle des images tridimensionnelles (3D) intraopératives (par exemple acquises pendant l'intervention au moyen d'un équipement du type scanner CT à bras rotationnel en C) et des images endoscopiques sont exploitées simultanément, voire superposées. Dans ce but, il est nécessaire de déterminer la position spatiale de la caméra endoscopique par rapport à l'image 3D intraopérative.
L'approche classique de l'homme du métier dans cette situation, divulguée par exemple dans [Feuerstein, M., Mussack, T., Heining, S. M., & Navab, N. (2008). "Intraopérative laparoscope augmentation for port placement and resection planning in minimally invasive liver resection" - "Augmentation de vue laparoscopique peropératoire pour le placement des trocarts et le planning de résection en chirurgie mini-invasive hépatique". Médical Imaging, IEEE Transactions on, 27(3), 355-369], consiste à introduire un système de repérage optique dans la salle d'opération, à fixer sur la caméra et sur le scanner des marqueurs optiques, à calibrer la position du premier marqueur par rapport au centre optique de la caméra, à calibrer la position du deuxième marqueur par rapport au repère du scanner, et à fournir les conditions permettant de voir simultanément les deux marqueurs pendant l'intervention. Ces étapes de calibrage sont fastidieuses et la précision du calibrage obtenu permet d'atteindre une précision de repérage de la caméra de l'ordre de 1 mm, ce qui par effet de levier (le corps d'un endoscope dépassant souvent 30 cm), correspond à une erreur d'au moins 3 mm à la distance nominale de prise de vue.
Les inventeurs ont proposé et évalué récemment une approche permettant d'éviter l'introduction d'un système de repérage optique supplémentaire, qui consiste à positionner le corps de l'endoscope en face de la zone d'intérêt et à acquérir l'image scanner de telle sorte que le bout de l'endoscope apparaisse dans l'image 3D [S. Bernhardt, S. A. Nicolau, V. Agnus, L. Soler, C. Doignon, J. Marescaux. "Automatic Détection of Endoscope in Intraoperative CT Image: Application to AR Guidance in Laparoscopic Surgery" - "Détection automatique d'endoscope dans des images CT peropératoires : application au guidage par réalité augmentée en chirurgie laparoscopique". IEEE International Symposium on Biomédical Imaging (ISBI 2014). pp 563-567]. L'extrémité et l'orientation de l'endoscope sont ensuite localisées automatiquement dans les images 3D et une caméra virtuelle est créée avec une visualisation de la zone d'intérêt identique à celle de l'endoscope réel, afin de pouvoir "augmenter" la vision endoscopique avec les données intraopératives 3D. Néanmoins, la précision escomptée, suite à des essais préliminaires encourageants, n'a pas pu être validée avec des quantités de données plus importantes du fait de l'absence de garantie d'une superposition des axes médian et optique des endoscopes utilisés.
Les inventeurs en ont déduit que pour obtenir une superposition plus précise des images 3D avec celles fournies par l'endoscope, non seulement une détermination préalable des paramètres intrinsèques et extrinsèques de la caméra endoscopique (connue en tant que telle de l'homme du métier), mais également une détermination du décalage/mésalignement réciproque des axes optique et médian de l'endoscope, sont nécessaires.
En particulier, mais non limitativement, en relation avec le contexte précité, le but principal de l'invention est de proposer une solution simple, rapide et précise pour la détermination de ce dernier paramètre. A cet effet, l'invention a pour objet un procédé de détermination du décalage ou désalignement entre l'axe médian ou de révolution et l'axe optique d'un endoscope rigide ou d'un dispositif similaire de prise de vues comprenant un corps rigide à enveloppe extérieure cylindrique profilée dans la direction de l'axe optique, ou comprenant au moins un segment d'extrémité rigide avec une telle enveloppe,
procédé caractérisé en ce qu'il consiste à effectuer, avec une caméra ou un capteur analogue faisant partie de l'endoscope ou du dispositif analogue, une pluralité de prises de vue avec un champ de vision limité par un contour de forme polygonale, circulaire ou elliptique dont le positionnement par rapport à l'axe médian ou de révolution est, pour chaque prise de vue, physiquement défini et spécifique, une rotation angulaire relative entre le contour et l'endoscope ou similaire intervenant entre deux prises de vues successives, et à déterminer un point ou un pixel dans les images successivement acquises dont la position demeure inchangée entre les différentes prises de vues, ce point ou pixel correspondant à la projection dans le plan image de l'axe médian ou de révolution du corps rigide de l'endoscope ou analogue ou du segment d'extrémité rigide de ce dernier.
L'invention sera mieux comprise, grâce à la description ci- après, qui se rapporte à des modes de réalisation préférés, donnés à titre d'exemples non limitatifs, et expliqués avec référence aux dessins schématiques annexés, dans lesquels :
la figure 1 est une vue schématique partielle en élévation latérale d'un endoscope rigide avec sa caméra ;
la figure 2 est une vue en élévation frontale du plan image de la caméra de la figure 1, avec indication des projections des axes optique et de révolution de l'endoscope de la figure 1 ;
la figure 3 est une vue schématique partielle du corps d'un sujet dans lequel l'endoscope représenté figure 1 a été introduit, le volume V3D d'acquisition du système d'imagerie 3D concomitante étant également indiqué ;
les figures 4A, 4B et 4C sont respectivement des vues partielles schématiques de l'endoscope de la figure 1 pourvu d'une pièce tubulaire à section carrée définissant un contour limitatif du champ de vision (figures 4 A et 4B) et une représentation de l'image résultante au niveau de la caméra (figure 4C) ; les figures 5A, 5B et 5C sont respectivement des vues partielles schématiques de l'endoscope de la figure 1 pourvu d'une pièce tubulaire à section circulaire définissant un contour limitatif du champ de vision (figures 5A et 5B) et une représentation de l'image résultante au niveau de la caméra (figure 5C) ;
les figures 6A à 6E illustrent en relation avec le mode de réalisation de l'invention des figures 4 les différentes opérations de traitement successives subies par chaque image pour repérer les diagonales ;
les figures 7 A à 7E illustrent respectivement, d'une part, trois exemples d'images individuelles traitées obtenues par mise en œuvre des opérations de traitement des figures 6A à 6E, ce pour trois positions angulaires relatives différentes entre la pièce rapportée à section carrée et l'endoscope (figures 7A à 7C - montage de la figure 4), et, d'autre part, les deux images cumulatives obtenues par superposition des deux types de diagonales repérées dans les différentes images individuelles (figures 7D et 7E), et,
la figure 8 est une représentation d'images cumulées obtenues par l'intermédiaire de positions angulaires variables entre une pièce rapportée à section circulaire et l'endoscope (montage de la figure 5).
Les figures 4 à 7 illustrent, en relation avec deux variantes constructives de mises en œuvre, un procédé de détermination du décalage ou désalignement entre l'axe médian ou de révolution Δ et l'axe optique∑ d'un endoscope rigide 1 ou d'un dispositif similaire de prise de vues comprenant un corps rigide 2 à enveloppe extérieure cylindrique 2' profilée dans la direction de l'axe optique (ou médian), ou comprenant au moins un segment d'extrémité rigide avec une telle enveloppe (à proximité de l'extrémité libre Γ de l'endoscope 1).
Sur les représentations des figures 1 et 2, on remarque que les axes de révolution Δ et optique∑ peuvent non seulement être désalignés entre eux (voir le décalage entre leurs projections respectives CA et C∑ dans le plan image de la caméra 3), mais également par rapport au centre du plan image - fenêtre rectangulaire de la figure 2 - correspondant au point C de la figure 2 (la détermination du désalignement entre C et C∑ fait partie du calibrage des paramètres intrinsèques d'une caméra endoscopique).
Conformément à l'invention, ce procédé consiste à effectuer, avec une caméra ou un capteur analogue 3 faisant partie de l'endoscope ou du dispositif analogue 1, une pluralité de prises de vue avec un champ de vision limité par un contour 4 de forme polygonale, circulaire ou elliptique dont le positionnement par rapport à l'axe médian ou de révolution Δ est, pour chaque prise de vue, physiquement défini et spécifique, une rotation angulaire relative entre le contour 4 et l'endoscope ou similaire 1 intervenant entre deux prises de vues successives, et à déterminer un point ou un pixel PI, CA dans les images successivement acquises dont la position demeure inchangée entre les différentes prises de vues, ce point ou pixel PI , CA correspondant à la projection dans le plan image 3 de l'axe médian ou de révolution Δ du corps rigide 2 de l'endoscope 1 ou analogue ou du segment d'extrémité rigide de ce dernier.
Ce point PI qui est invariable dans le plan image quelle que soit la position angulaire relative entre le contour 4 et le corps 2 de l'endoscope 1 (autour de l'axe Δ de révolution de ce dernier) et qui est formé par un nombre limité de, et préférentiellement par un unique, pixel(s) correspond à la projection orthogonale CA dudit axe de révolution Δ dans ledit plan image.
Préférentiellement, et pour faciliter les opérations de traitement et de repérage des éléments significatifs dans les prises de vues, il est prévu que, dans les images acquises successivement, le contour 4 présente un contraste significatif par rapport à la scène visualisée, par exemple en termes de niveaux de gris différents, de différence de couleurs, de différence de luminosité, de différence de niveau de saturation en couleur ou analogue.
En accord avec une réalisation pratique du procédé simple à mettre en œuvre, il peut en outre être prévu que ledit contour est défini par une ouverture ou une découpe 5 d'une pièce rapportée 6, associée temporairement à l'endoscope 1 pendant les différentes prises de vues.
Plus précisément, et comme le montrent les figures 4 et 5 des dessins annexés, l'ouverture ou la découpe 5 définissant limitativement le contour 4 du champ de vision de l'endoscope ou du dispositif similaire 1 peut être fournie par une pièce 6 montée temporairement sur l'endoscope 1, le dispositif similaire ou un segment d'extrémité au moins d'un de ces derniers, en reposant en appui direct ou indirect sur son enveloppe extérieur cylindrique 2'.
Dans la pratique, l'insertion consiste alors, avant d'effectuer la pluralité de prises de vues, à enfiler un corps ou un pièce tubulaire 6, dont la section intérieure est plus grande que la section extérieure de l'enveloppe cylindrique 2' et qui est avantageusement pourvu d'une face intérieure non réfléchissante et de couleur sombre, sur l'extrémité libre Γ de l'endoscope ou analogue 1, de telle manière qu'il repose longitudinalement sur le corps cylindrique 2 de ce dernier ou de son segment d'extrémité rigide et dépasse au-delà de son extrémité libre Γ pour définir une fenêtre restreinte de prise de vues, avec un champ de vision limité périphériquement par un contour 4, et à modifier ensuite le positionnement angulaire relatif entre lesdits corps tabulaire 6 et cylindrique 2 autour dudit axe médian ou de révolution Δ entre deux prises de vues successives.
En relation avec la construction des figures 4, et en accord avec un premier mode de réalisation du procédé dont certaines étapes opératoires ressortent des images représentées sur les figures 6 et 7, il peut être prévu que, dans le cas d'un contour 4 fourni par une ouverture ou découpe 5 polygonale, préférentiellement rectangulaire ou carrée, la détermination du point PI, CA demeurant fixe dans les différentes prises de vues, et correspondant à la projection de l'axe médian ou de révolution Δ dans le plan de la caméra ou analogue 3, consiste à extraire au moins une diagonale D ou bissectrice de chacune des scènes visualisées dans les images résultant de ces prises de vues successives, éventuellement après traitement de ces dernières, et à déterminer au moins approximativement le point d'intersection commun PI de ces différentes diagonales D ou bissectrices.
Selon une caractéristique évoquée ci-dessus, le procédé peut consister à appliquer à chacune des images successives différents traitements numériques aptes à extraire au moins les coins angulaires, voire la majeure partie ou la totalité du contour polygonal 4 visible dans les différentes images, prises avec des orientations angulaires variées de l'ouverture 5 polygonale, à déterminer dans chaque image traitée la diagonale D ou la bissectrice dont une extrémité touche le bord du contour 4 visible dans l'image concernée, à superposer les différentes images traitées avec leur diagonale D ou bissectrice sélectionnée respective et à déterminer, au moins approximativement, le point d'intersection PI commun à l'ensemble des diagonales D ou bissectrices superposées, dont le déplacement entre images successives a été cartographié.
A titre d'exemple de traitements préliminaires avant exploitation des images résultant des différentes prises de vues successives, le procédé peut consister, pour chaque image acquise (figure 6A), à réaliser successivement les opérations de traitement suivantes : filtrage bilatéral visant à éliminer le bruit tout en préservant les bords du contour 4 visible dans l'image concernée (figure 6B) ; application du détecteur de contours de Canny (figure 6C) ; application de la transformée de Hough ; groupement des segments extraits les plus nets par direction et localisation (figure 6D) ; moyennage de chaque groupe de segments pour définir les coins angulaires, par exemple carrés, de chaque contour 4 visible sur les différentes images acquises et définir une diagonale D ou bissectrice correspondante (figure 6E); détermination du point d'intersection PI, CA, au moins approximatif, des diagonales D ou bissectrices sélectionnées dans les différentes images (figure 7D).
Dans le cas d'un contour 4 carré, les opérations précitées fournissent deux jeux de diagonales D dans les différentes images, un seul jeu permettant de fournir le point CA.
Afin de sélectionner le bon jeu de diagonales D (voir figures 7), et plus généralement pour la détermination du point PI, CA d'intersection au moins approximative des diagonales D ou bissectrices sélectionnées des images traitées résultant des différentes prises de vues, le procédé peut consister à appliquer la méthode des moindres carrés et à définir par le calcul la position du point PI situé à distance minimale de ces différentes diagonales D ou bissectrices.
Dans le cas d'un contour 4 de forme rectangulaire, le point PI correspond à l'intersection des bissectrices du coin de l'ouverture 5 correspondant à l'arête de la pièce rapportée 6 dont les côtés attenants reposent sur le corps cylindrique 2 de l'endoscope 1.
Conformément à un second mode de réalisation ressortant des figures 5 et 8, l'invention peut prévoir que, dans le cas d'un contour 4 circulaire, la détermination du point PI, CA demeurant fixe dans les différentes prises de vues, et correspondant à la projection de l'axe médian ou de révolution Δ, consiste à effectuer une rotation sensiblement sur 360° de l'endoscope ou analogue 1 par rapport à l'ouverture 5 ou à la découpe déterminant le contour 4, et à déterminer le centre du cercle circonférentiel virtuel dans lequel sont situées toutes les images circulaires résultant des différentes prises de vues, et avec lequel ces images sont localement tangentes.
Dans la pratique, on peut faire tourner le corps 2 de l'endoscope 1 dans le tube circulaire 6 et déterminer la zone discoïdale renfermant les différentes "fenêtres" définies par l'ouverture 5 dans les différentes positions angulaires en rotation (voir figure 8). Le centre de cette surface discoïdale correspond au point CA.
Bien entendu, les moyens informatiques logiciels et matériels pour réaliser les traitements et calculs précités sont connus de l'homme du métier et ne nécessitent pas de description supplémentaire. Ils peuvent notamment être intégrés dans le système d'imagerie mis en œuvre.
L'invention concerne également un procédé d'investigation et/ou d'intervention chirurgicale mini-invasive mettant en œuvre, d'une part, un endoscope rigide ou un dispositif similaire de prise de vues 1 comprenant un corps rigide 2 à enveloppe extérieure cylindrique 2' profilée dans la direction de l'axe optique∑, ou comprenant au moins un segment d'extrémité rigide avec une telle enveloppe, équipé d'une caméra 3, et, d'autre part, un système d'acquisition d'images médicales 3D (non représenté), intégrant tous deux la zone d'intérêt ZI dans leurs champs d'acquisition respectifs. Un segment d'extrémité de l'endoscope ou analogue 1 est visible dans les images 3D, permettant ainsi d'établir une correspondance entre le référentiel de la caméra 3 de l'endoscope et le référentiel du système d'acquisition d'images 3D, par détermination de l'orientation de l'axe médian Δ de l'endoscope ou analogue et de la position de son centre optique dans les images 3D reconstruites.
Ce procédé est caractérisé en ce qu'il consiste, au préalable, à déterminer au moins certains paramètres de l'endoscope ou du dispositif analogue 1, notamment le décalage ou désalignement entre son axe optique ∑ et son axe médian ou de révolution Δ, au moins au niveau de son segment d'extrémité, ce en mettant en œuvre le procédé décrit précédemment.
Grâce à cette mesure préalable, réalisée automatiquement, il est possible de compenser le mésalignement ou décalage entre l'axe physique Δ de l'endoscope 1 et son axe optique∑, et plus généralement par rapport à la caméra 3 (par exemple du type CCD).
Selon une caractéristique avantageuse, l'invention peut consister en outre, également au préalable, à acquérir des vues successives, avec des orientations différentes, d'un motif en damier par l'intermédiaire de la caméra 3 de l'endoscope 1, puis à utiliser ces différentes vues pour déterminer la distance focale, notamment pour calculer le champ de vision d'une caméra virtuelle, le centre optique C∑ dans le plan image de la caméra 3 de l'endoscope 1 et la distorsion de la lentille 7 de ladite caméra 3, et enfin à prendre en compte ces paramètres intrinsèques pour réaliser une calibration préalable de la caméra 3 et/ou une compensation postérieure durant les prises de vues effectuées au moyen de l'endoscope ou analogue 1.
La méthode utilisée dans la pratique pour déterminer les paramètres intrinsèques de la caméra 3 de l'endoscope peut par exemple être celle décrite dans le document : "A flexible new technique for caméra calibration" (" Une nouvelle technique souple pour le calibrage d'une caméra"), Zhang Z., IEEE Transaction on Pattern Analysis and Machine Intelligence 22, 1330-1334, 2000.
En outre, dans l'extrémité du corps 2 de l'endoscope 1 peut être monté un accéléromètre apte à mesurer la position angulaire (tangage et roulis) de son segment d'extrémité.
Dans la pratique, le procédé peut consister, en cours d'investigation et/ou d'intervention, à exploiter les résultats des opérations préalables de détermination du désalignement et des paramètres intrinsèques pour réaliser un réajustement et/ou un recalibrage entre les images internes fournies par la caméra 3 de l'endoscope 1 et les images externes fournies par le système d'acquisition d'images 3D, notamment en termes de position, orientation, focale, distorsion et de désalignement, en vue de permettre une superposition précise d'informations extraites des images externes, notamment un rendu volumique, sur les images internes fournies par la caméra 3.
Généralement, le point de vue "virtuel" issu des images 3D intraopératoires est adopté au point de vue de la caméra 3 de l'endoscope pour fournir une vision endoscopique augmentée par les données 3D.
Bien entendu, l'invention n'est pas limitée aux modes de réalisation décrits et représentés aux dessins annexés. Des modifications restent possibles, notamment du point de vue de la constitution des divers éléments ou par substitution d'équivalents techniques, sans sortir pour autant du domaine de protection de l'invention.

Claims

REVENDICATIONS
1. Procédé de détermination du décalage ou désalignement entre l'axe médian ou de révolution et l'axe optique d'un endoscope rigide ou d'un dispositif similaire de prise de vues comprenant un corps rigide à enveloppe extérieure cylindrique profilée dans la direction de l'axe optique, ou comprenant au moins un segment d'extrémité rigide avec une telle enveloppe,
procédé caractérisé en ce qu'il consiste à effectuer, avec une caméra ou un capteur analogue (3) faisant partie de l'endoscope ou du dispositif analogue (1), une pluralité de prises de vue avec un champ de vision limité par un contour (4) de forme polygonale, circulaire ou elliptique dont le positionnement par rapport à l'axe médian ou de révolution (Δ) est, pour chaque prise de vue, physiquement défini et spécifique, une rotation angulaire relative entre le contour (4) et l'endoscope ou similaire (1) intervenant entre deux prises de vues successives, et à déterminer un point ou un pixel (PI, CA) dans les images successivement acquises dont la position demeure inchangée entre les différentes prises de vues, ce point ou pixel (PI , CA) correspondant à la projection dans le plan image (3) de l'axe médian ou de révolution (Δ) du corps rigide (2) de l'endoscope (1) ou analogue ou du segment d'extrémité rigide de ce dernier.
2. Procédé de détermination selon la revendication 1, caractérisé en ce que, dans les images acquises successivement, le contour (4) présente un contraste significatif par rapport à la scène visualisée, par exemple en termes de niveaux de gris différents, de différence de couleurs, de différence de luminosité, de différence de niveau de saturation en couleur ou analogue, et en ce que ledit contour (4) est défini par une ouverture ou une découpe (5) d'une pièce rapportée (6).
3. Procédé de détermination selon la revendication 1, caractérisé en ce que l'ouverture ou la découpe (5) définissant limitativement le contour (4) du champ de vision de l'endoscope ou du dispositif similaire (1) est fournie par une pièce (6) montée temporairement sur l'endoscope (1), le dispositif similaire ou un segment d'extrémité au moins d'un de ces derniers, en reposant en appui direct ou indirect sur son enveloppe extérieur cylindrique (2').
4. Procédé de détermination selon l'une quelconque des revendications 1 à 3, caractérisé en ce qu'il consiste, avant d'effectuer la pluralité de prises de vues, à enfiler un corps ou une pièce tubulaire (6), dont la section intérieure est plus grande que la section extérieure de l'enveloppe cylindrique (2') et qui est avantageusement pourvu d'une face intérieure non réfléchissante et de couleur sombre, sur l'extrémité libre (Γ) de l'endoscope ou analogue (1), de telle manière qu'il repose longitudinalement sur le corps cylindrique (2) de ce dernier ou de son segment d'extrémité rigide et dépasse au-delà de son extrémité libre (Γ) pour définir une fenêtre restreinte de prise de vues, avec un champ de vision limité périphériquement par un contour (4), et à modifier le positionnement angulaire relatif entre lesdits corps tubulaire (6) et cylindrique (2) autour dudit axe médian ou de révolution (Δ) entre deux prises de vues successives.
5. Procédé de détermination selon l'une quelconque des revendications 1 à 4, caractérisé en ce que, dans le cas d'un contour (4) fourni par une ouverture ou découpe (5) polygonale, préférentiellement rectangulaire ou carrée, la détermination du point (PI, CA) demeurant fixe dans les différentes prises de vues, et correspondant à la projection de l'axe médian ou de révolution (Δ) dans le plan de la caméra ou analogue (3), consiste à extraire au moins une diagonale (D) ou bissectrice de chacune des scènes visualisées dans les images résultant de ces prises de vues successives, éventuellement après traitement de ces dernières, et à déterminer au moins approximativement le point d'intersection commun (PI) de ces différentes diagonales (D) ou bissectrices.
6. Procédé de détermination selon la revendication 5, caractérisé en ce qu'il consiste à appliquer à chacune des images successives différents traitements numériques aptes à extraire au moins les coins angulaires, voire la majeure partie ou la totalité du contour polygonal (4) visible dans les différentes images, prises avec des orientations angulaires variées de l'ouverture (5) polygonale, à déterminer dans chaque image traitée la diagonale (D) ou la bissectrice dont une extrémité touche le bord du contour (4) visible dans l'image concernée, à superposer les différentes images traitées avec leur diagonale (D) ou bissectrice sélectionnée respective et à déterminer, au moins approximativement, le point d'intersection commun (PI) à l'ensemble des diagonales (D) ou bissectrices superposées, dont le déplacement entre images successives a été cartographié.
7. Procédé de détermination selon l'une quelconque des revendications 5 et 6, caractérisé en ce qu'il consiste, pour chaque image acquise, à réaliser successivement les opérations de traitement suivantes : filtrage bilatéral visant à éliminer le bruit tout en préservant les bords du contour (4) visible dans l'image concernée ; application du détecteur de contours de Canny ; application de la transformée de Hough ; groupement des segments extraits les plus nets par direction et localisation ; moyennage de chaque groupe de segments pour définir les coins angulaires, par exemple carrés, de chaque contour (4) visible sur les différentes images acquises et définir une diagonale (D) ou bissectrice correspondante ; détermination du point d'intersection (PI, CA), au moins approximatif, des diagonales (D) ou bissectrices sélectionnées dans les différentes images.
8. Procédé de détermination selon la revendication 6 ou 7, caractérisé en ce que la détermination du point d'intersection au moins approximative (PI, CA) des diagonales (D) ou bissectrices sélectionnées des images traitées résultant des différentes prises de vues, consiste à appliquer la méthode des moindres carrés et à définir par le calcul la position du point (PI) situé à distance minimale de ces différentes diagonales (D) ou bissectrices.
9. Procédé de détermination selon l'une quelconque des revendications 1 à 4, caractérisé en ce que, dans le cas d'un contour (4) circulaire, la détermination du point (PI, CA) demeurant fixe dans les différentes prises de vues, et correspondant à la projection de l'axe médian ou de révolution (Δ), consiste à effectuer une rotation sensiblement sur 360° de l'endoscope ou analogue (1) par rapport à l'ouverture (5) ou à la découpe déterminant le contour (4), et à déterminer le centre du cercle circonférentiel virtuel dans lequel sont situées toutes les images circulaires résultant des différentes prises de vues, et avec lequel ces images sont localement tangentes.
10. Procédé d'investigation et/ou d'intervention chirurgicale mini-invasive mettant en œuvre, d'une part, un endoscope rigide ou un dispositif similaire de prise de vues comprenant un corps rigide à enveloppe extérieure cylindrique profilée dans la direction de l'axe optique, ou comprenant au moins un segment d'extrémité rigide avec une telle enveloppe, équipé d'une caméra, et, d'autre part, un système d'acquisition d'images médicales 3D, intégrant tous deux la zone d'intérêt dans leurs champs d'acquisition respectifs, un segment d'extrémité de l'endoscope ou analogue étant visible dans les images 3D, permettant ainsi d'établir une correspondance entre le référentiel de la caméra de l'endoscope et le référentiel du système d'acquisition d'images 3D, par détermination de l'orientation de l'axe médian de l'endoscope ou analogue dans les images 3D reconstruites,
procédé caractérisé en ce qu'il consiste, au préalable, à déterminer au moins certains paramètres de l'endoscope ou du dispositif analogue (1), notamment le décalage ou désalignement entre son axe optique (∑) et son axe médian ou de révolution (Δ), au moins au niveau de son segment d'extrémité, ce en mettant en œuvre le procédé selon l'une quelconque des revendications 1 à 9.
11. Procédé selon la revendication 10, caractérisé en ce qu'il consiste en outre, également au préalable, à acquérir des vues successives, avec des orientations différentes, d'un motif en damier par l'intermédiaire de la caméra (3) de l'endoscope (1), puis à utiliser ces différentes vues pour déterminer la distance focale, notamment pour calculer le champ de vision d'une caméra virtuelle, le centre optique (C∑) dans le plan image de la caméra (3) et la distorsion de la lentille de ladite caméra (3) de l'endoscope (1), et enfin à prendre en compte ces paramètres intrinsèques pour réaliser une calibration préalable de la caméra (3) et/ou une compensation postérieure durant les prises de vues effectuées au moyen de l'endoscope ou analogue (1).
12. Procédé selon les revendications 10 et 11, caractérisé en ce qu'il consiste, en cours d'investigation et/ou d'intervention, à exploiter les résultats des opérations préalables de détermination du désalignement et des paramètres intrinsèques pour réaliser un réajustement et/ou un recalibrage entre les images internes fournies par la caméra (3) de l'endoscope (1) et les images externes fournies par le système d'acquisition d'images 3D, notamment en termes de position, orientation, focale, distorsion et de désalignement.
EP16707854.2A 2015-02-02 2016-02-01 Procede de determination du decalage entre axes median et optique d'un endoscope Withdrawn EP3253274A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1550792A FR3032104B1 (fr) 2015-02-02 2015-02-02 Procede de determination du decalage entre axes median et optique d'un endoscope
PCT/FR2016/050203 WO2016124846A1 (fr) 2015-02-02 2016-02-01 Procede de determination du decalage entre axes median et optique d'un endoscope

Publications (1)

Publication Number Publication Date
EP3253274A1 true EP3253274A1 (fr) 2017-12-13

Family

ID=53269657

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16707854.2A Withdrawn EP3253274A1 (fr) 2015-02-02 2016-02-01 Procede de determination du decalage entre axes median et optique d'un endoscope

Country Status (4)

Country Link
US (1) US20180040139A1 (fr)
EP (1) EP3253274A1 (fr)
FR (1) FR3032104B1 (fr)
WO (1) WO2016124846A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11631197B2 (en) * 2020-10-01 2023-04-18 Ford Global Technologies, Llc Traffic camera calibration

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7187810B2 (en) * 1999-12-15 2007-03-06 Medispectra, Inc. Methods and systems for correcting image misalignment
US6498642B1 (en) * 2000-05-03 2002-12-24 Karl Storz Endovision Endoscope inspection system
JP3639561B2 (ja) * 2002-04-08 2005-04-20 オリンパス株式会社 内視鏡用フード
FR2864878B1 (fr) * 2004-01-06 2006-04-14 Thomson Licensing Sa Procede et systeme de determination du deplacement d'un pixel, et support d'enregistrement pour la mise en oeuvre du procede

Also Published As

Publication number Publication date
FR3032104A1 (fr) 2016-08-05
WO2016124846A1 (fr) 2016-08-11
FR3032104B1 (fr) 2017-02-10
US20180040139A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
ES2742264T3 (es) Adquisición de imágenes topográficas en 3D de marcas de herramientas usando un método estéreo fotométrico no lineal
EP3640892B1 (fr) Procédé et dispositif d'étalonnage d'image appliqués à une caméra tridimensionnelle
EP3179897B1 (fr) Système d'endoscope, dispositif de traitement d'image, procédé de traitement d'image et programme
TWI732814B (zh) 用於校正內視鏡及相機系統之方法
EP3172557B1 (fr) Systeme d'imagerie par rayons x permettant la correction de la radiation diffusee et la detection precise de la distance source detecteur
FR2802002A1 (fr) Procede de recalage automatique d'images tridimensionnelles
US9228920B2 (en) Method and device for estimating the optical power of corrective lenses in a pair of eyeglasses worn by a spectator
EP3555559A1 (fr) Procede de mesure d'une partie du corps a partir de photographies numeriques, et mise en oeuvre d'un tel procede pour la fabrication de chaussures sur mesure
WO2014115371A1 (fr) Dispositif, procédé et programme de traitement d'image et dispositif d'endoscope
US11000182B2 (en) Methods and apparatus for calibration of a sensor associated with an endoscope
WO2015007784A1 (fr) Procédé de détermination de mesures oculaires avec un capteur grand public
KR102632960B1 (ko) 플렌옵틱 카메라 시스템을 교정하기 위한 방법 및 시스템
BR112014013737B1 (pt) Método para combinar uma pluralidade de imagens oculares numa imagem plenóptica multifocal
FR2894685A1 (fr) Procede et dispositif d'identification et de calibration d'optiques panoramiques
EP2901209B1 (fr) Procédé d'aide à la détermination de paramètres de vision d'un sujet
US8052598B2 (en) Systems and methods for calibrating an endoscope
EP3253274A1 (fr) Procede de determination du decalage entre axes median et optique d'un endoscope
US20140355826A1 (en) Detection device, learning device, detection method, learning method, and information storage device
CN111161852A (zh) 一种内窥镜图像处理方法、电子设备及内窥镜系统
WO2009050238A1 (fr) Procede et un dispositif de reconstruction tridimensionnelle de la surface interieure d'une chaussure
Schmalz Robust single-shot structured light 3D scanning
EP2826017B1 (fr) Procédé de détermination des paramètres géométriques indiquant le mouvement d'une caméra
FR3069428B1 (fr) Systeme d'aide au repositionnement d'au moins une zone de suivi dermatologique, procede et programme d'ordinateur associes
WO2020161135A1 (fr) Procédé de détermination virtuelle de la dose de rayonnement x reçue par la peau d'un sujet
WO2020216925A1 (fr) Procede d'evaluation d'une gouttiere orthodontique

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20170817

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: AGNUS, VINCENT

Inventor name: BERNHARDT, SYLVAIN

Inventor name: NICOLAU, STEPHANE

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20190925

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200206