FR3134213A1 - Method for registering three-dimensional representations of an object on the object itself and device for aiding navigation in an object implementing this method - Google Patents

Method for registering three-dimensional representations of an object on the object itself and device for aiding navigation in an object implementing this method Download PDF

Info

Publication number
FR3134213A1
FR3134213A1 FR2202970A FR2202970A FR3134213A1 FR 3134213 A1 FR3134213 A1 FR 3134213A1 FR 2202970 A FR2202970 A FR 2202970A FR 2202970 A FR2202970 A FR 2202970A FR 3134213 A1 FR3134213 A1 FR 3134213A1
Authority
FR
France
Prior art keywords
dimensional
registration
dimensional representation
locations
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2202970A
Other languages
French (fr)
Other versions
FR3134213B1 (en
Inventor
Fabrice LAGRANDIE
Stéphane MAZALAIGUE
Guillaume KAZMITCHEFF
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to FR2202970A priority Critical patent/FR3134213B1/en
Priority to PCT/IB2023/052948 priority patent/WO2023187589A1/en
Publication of FR3134213A1 publication Critical patent/FR3134213A1/en
Application granted granted Critical
Publication of FR3134213B1 publication Critical patent/FR3134213B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

Ce procédé de recalage comporte : un enregistrement (100, 102, 114, 116) de deux représentations tridimensionnelles d’un objet (12) et de localisations d’au moins trois points de référence (Pr) de l’objet dans ces deux représentations tridimensionnelles ; un recalage angulaire de la première représentation tridimensionnelle sur l’objet à partir d’un enregistrement (104) de localisations des points de référence de l’objet dans un référentiel lié à un ancillaire de référencement (24) fixé sur l’objet ; un recalage surfacique (106, 108, 110) de la première représentation tridimensionnelle sur l’objet comportant un enregistrement (108) de localisations de points surfaciques (Ps) autres que les points de référence sur la surface de l’objet dans le référentiel tridimensionnel lié à l’ancillaire de référencement ; et un recalage de la deuxième représentation tridimensionnelle de l’objet sur l’objet lui-même comportant un recalage surfacique (120) de cette deuxième représentation tridimensionnelle à partir de l’enregistrement (108) des localisations de points surfaciques réalisé pour le recalage surfacique de la première représentation tridimensionnelle. Figure pour l’abrégé : Fig. 3This registration method comprises: a recording (100, 102, 114, 116) of two three-dimensional representations of an object (12) and locations of at least three reference points (Pr) of the object in these two representations three-dimensional; an angular registration of the first three-dimensional representation on the object from a recording (104) of locations of the reference points of the object in a frame of reference linked to a referencing instrument (24) fixed on the object; a surface registration (106, 108, 110) of the first three-dimensional representation on the object comprising a recording (108) of locations of surface points (Ps) other than the reference points on the surface of the object in the three-dimensional frame of reference linked to the referencing ancillary; and a registration of the second three-dimensional representation of the object on the object itself comprising a surface registration (120) of this second three-dimensional representation from the recording (108) of the locations of surface points carried out for the surface registration of the first three-dimensional representation. Figure for abstract: Fig. 3

Description

Procédé de recalage de représentations tridimensionnelles d’un objet sur l’objet lui-même et dispositif d’aide à la navigation dans un objet mettant en œuvre ce procédéMethod for registering three-dimensional representations of an object on the object itself and device for aiding navigation in an object implementing this method

La présente invention concerne un procédé de recalage tridimensionnel de représentations tridimensionnelles d’un objet sur l’objet lui-même, à l’aide d’un ancillaire de référencement fixé sur l’objet et d’un stylet dont une pointe est localisable dans un référentiel tridimensionnel lié à l’ancillaire de référencement. Elle concerne également un programme d’ordinateur comprenant des instructions pour l’exécution des étapes d’un tel procédé, ainsi qu’un dispositif d’aide à la navigation dans un objet mettant en œuvre ce procédé de recalage.The present invention relates to a method for three-dimensional registration of three-dimensional representations of an object on the object itself, using a referencing ancillary fixed on the object and a stylus whose tip can be located in a three-dimensional reference system linked to the referencing tool. It also relates to a computer program comprising instructions for executing the steps of such a process, as well as a device to aid navigation in an object implementing this registration process.

L'invention s’applique plus particulièrement à un procédé de ce type comportant :

  • un enregistrement en mémoire d’une première représentation tridimensionnelle de l’objet selon un premier mode d’imagerie tridimensionnelle et de localisations d’au moins trois points de référence de l’objet dans cette première représentation tridimensionnelle ;
  • un recalage tridimensionnel angulaire, par une unité de calcul, de cette première représentation tridimensionnelle sur l’objet à partir d’un enregistrement, à l’aide de la pointe du stylet, de localisations des points de référence de l’objet dans le référentiel tridimensionnel lié à l’ancillaire de référencement ;
  • un recalage tridimensionnel surfacique, par l’unité de calcul, de cette première représentation tridimensionnelle sur l’objet comportant :
    • une extraction d’une surface de l’objet dans la première représentation tridimensionnelle,
    • un enregistrement, à l’aide de la pointe du stylet, de localisations d’une pluralité de points surfaciques autres que les points de référence sur la surface de l’objet dans le référentiel tridimensionnel lié à l’ancillaire de référencement, et
    • le calcul du recalage tridimensionnel surfacique à partir de cet enregistrement de localisations de points surfaciques.
The invention applies more particularly to a process of this type comprising:
  • a memory recording of a first three-dimensional representation of the object according to a first three-dimensional imaging mode and locations of at least three reference points of the object in this first three-dimensional representation;
  • an angular three-dimensional registration, by a calculation unit, of this first three-dimensional representation on the object from a recording, using the tip of the stylus, of locations of the reference points of the object in the reference frame three-dimensional linked to the referencing tool;
  • a three-dimensional surface registration, by the calculation unit, of this first three-dimensional representation on the object comprising:
    • an extraction of a surface of the object in the first three-dimensional representation,
    • a recording, using the tip of the stylus, of locations of a plurality of surface points other than the reference points on the surface of the object in the three-dimensional reference system linked to the referencing instrument, and
    • calculating the surface three-dimensional registration from this recording of surface point locations.

Un tel procédé de recalage tridimensionnel est par exemple mis en œuvre dans un dispositif d’aide à la navigation dans un objet à l’aide d’un instrument à extrémité fonctionnelle tel que le dispositif de navigation chirurgicale commercialisé sous la marque déposée « Collin Navigation Solutions » et prévu pour des interventions en otorhinolaryngologie. L’objet est alors la tête d’un patient humain ou animal à l’intérieur de laquelle une intervention, à l’aide d’un instrument chirurgical, doit être envisagée par voie auditive, nasale ou buccale. Il s’agit d’un exemple d’application industrielle non limitatif de la présente invention.Such a three-dimensional registration method is for example implemented in a device to aid navigation in an object using an instrument with a functional end such as the surgical navigation device marketed under the registered trademark “Collin Navigation Solutions” and intended for interventions in otorhinolaryngology. The object is then the head of a human or animal patient inside which an intervention, using a surgical instrument, must be envisaged by the auditory, nasal or oral route. This is a non-limiting example of industrial application of the present invention.

Plus précisément, le recalage tridimensionnel angulaire réalisé par l’enregistrement des localisations des points de références choisis par un praticien à la fois dans la première représentation tridimensionnelle de l’objet et sur l’objet lui-même permet de faciliter, en le simplifiant, le calcul d’une matrice de passage entre le référentiel lié à l’objet, c’est-à-dire celui qui est lié à l’ancillaire de référencement, et un référentiel lié à la première représentation tridimensionnelle. Cette simplification résulte d’une limitation des solutions possibles dans la résolution algorithmique bien connue du calcul de la matrice de passage.More precisely, the three-dimensional angular registration carried out by recording the locations of the reference points chosen by a practitioner both in the first three-dimensional representation of the object and on the object itself makes it possible to facilitate, by simplifying, calculating a transition matrix between the frame of reference linked to the object, that is to say that which is linked to the referencing instrument, and a frame of reference linked to the first three-dimensional representation. This simplification results from a limitation of the possible solutions in the well-known algorithmic resolution of the calculation of the passage matrix.

Par ailleurs, il peut être prévu :

  • un enregistrement en mémoire d’une deuxième représentation tridimensionnelle de l’objet selon un deuxième mode d’imagerie tridimensionnelle, autre que le premier mode d’imagerie tridimensionnelle, et de localisations des points de référence de l’objet dans cette deuxième représentation tridimensionnelle ; et
  • un recalage tridimensionnel de cette deuxième représentation tridimensionnelle de l’objet sur l’objet lui-même.
Furthermore, it can be planned:
  • a memory recording of a second three-dimensional representation of the object according to a second three-dimensional imaging mode, other than the first three-dimensional imaging mode, and of locations of the reference points of the object in this second three-dimensional representation; And
  • a three-dimensional registration of this second three-dimensional representation of the object on the object itself.

Il peut plus généralement être prévu l’enregistrement et le recalage tridimensionnel de plus de deux représentations tridimensionnelles. Or chaque recalage tridimensionnel, même simplifié par la prise de localisations de points de repères, reste algorithmiquement complexe et donc coûteux en temps de calcul. Multiplier les représentations tridimensionnelles enregistrables, recalables et affichables pour un dispositif d’aide à la navigation dans un objet est donc certainement très intéressant du point de vue d’une approche multimodale de l’intervention dans l’objet, mais elle présente certaines limites.More generally, provision can be made for the recording and three-dimensional registration of more than two three-dimensional representations. However, each three-dimensional registration, even simplified by taking the locations of landmarks, remains algorithmically complex and therefore costly in calculation time. Multiplying three-dimensional representations that can be recorded, recalibrated and displayed for a device to aid navigation in an object is therefore certainly very interesting from the point of view of a multimodal approach to intervention in the object, but it presents certain limits.

Une autre solution pourrait être de recaler la première représentation tridimensionnelle sur l’objet, puis de recaler, en particulier de fusionner, chaque autre représentation tridimensionnelle sur la première. Mais en réalité ce n’est pas plus simple. Par ailleurs les méthodes de recalage par fusion de données connues en imagerie médicale, entre imageries par scanner et par résonance magnétique notamment, ne sont pas satisfaisantes pour une application en otorhinolaryngologie qui tire avantage d’affichages séparés des différents modes d’acquisition.Another solution could be to realign the first three-dimensional representation on the object, then to realign, in particular to merge, each other three-dimensional representation on the first. But in reality it's not simpler. Furthermore, the registration methods by data fusion known in medical imaging, between scanner and magnetic resonance imaging in particular, are not satisfactory for an application in otorhinolaryngology which benefits from separate displays of the different acquisition modes.

Il peut ainsi être souhaité de prévoir un procédé de recalage tridimensionnel qui permette de s’affranchir d’au moins une partie des problèmes et contraintes précités.It may therefore be desired to provide a three-dimensional registration process which makes it possible to overcome at least part of the aforementioned problems and constraints.

Il est donc proposé un procédé de recalage tridimensionnel de représentations tridimensionnelles d’un objet sur l’objet lui-même, à l’aide d’un ancillaire de référencement fixé sur l’objet et d’un stylet dont une pointe est localisable dans un référentiel tridimensionnel lié à l’ancillaire de référencement, comportant :

  • un enregistrement en mémoire d’une première représentation tridimensionnelle de l’objet selon un premier mode d’imagerie tridimensionnelle et de localisations d’au moins trois points de référence de l’objet dans cette première représentation tridimensionnelle ;
  • un recalage tridimensionnel angulaire, par une unité de calcul, de cette première représentation tridimensionnelle sur l’objet à partir d’un enregistrement, à l’aide de la pointe du stylet, de localisations des points de référence de l’objet dans le référentiel tridimensionnel lié à l’ancillaire de référencement ;
  • un recalage tridimensionnel surfacique, par l’unité de calcul, de cette première représentation tridimensionnelle sur l’objet comportant :
    • une extraction d’une surface de l’objet dans la première représentation tridimensionnelle,
    • un enregistrement, à l’aide de la pointe du stylet, de localisations d’une pluralité de points surfaciques autres que les points de référence sur la surface de l’objet dans le référentiel tridimensionnel lié à l’ancillaire de référencement, et
    • le calcul du recalage tridimensionnel surfacique à partir de cet enregistrement de localisations de points surfaciques ;
  • un enregistrement en mémoire d’une deuxième représentation tridimensionnelle de l’objet selon un deuxième mode d’imagerie tridimensionnelle, autre que le premier mode d’imagerie tridimensionnelle, et de localisations des points de référence de l’objet dans cette deuxième représentation tridimensionnelle ; et
  • un recalage tridimensionnel de cette deuxième représentation tridimensionnelle de l’objet sur l’objet lui-même ;
dans lequel le recalage tridimensionnel de la deuxième représentation tridimensionnelle comporte un recalage tridimensionnel surfacique de cette deuxième représentation tridimensionnelle, par l’unité de calcul, à partir de l’enregistrement des localisations de points surfaciques réalisé pour le recalage surfacique de la première représentation tridimensionnelle.A method is therefore proposed for three-dimensional registration of three-dimensional representations of an object on the object itself, using a referencing ancillary fixed on the object and a stylus whose tip can be located in a three-dimensional reference system linked to the referencing instrument, comprising:
  • a memory recording of a first three-dimensional representation of the object according to a first three-dimensional imaging mode and locations of at least three reference points of the object in this first three-dimensional representation;
  • an angular three-dimensional registration, by a calculation unit, of this first three-dimensional representation on the object from a recording, using the tip of the stylus, of locations of the reference points of the object in the reference frame three-dimensional linked to the referencing tool;
  • a three-dimensional surface registration, by the calculation unit, of this first three-dimensional representation on the object comprising:
    • an extraction of a surface of the object in the first three-dimensional representation,
    • a recording, using the tip of the stylus, of locations of a plurality of surface points other than the reference points on the surface of the object in the three-dimensional reference system linked to the referencing instrument, and
    • calculating the surface three-dimensional registration from this recording of surface point locations;
  • a memory recording of a second three-dimensional representation of the object according to a second three-dimensional imaging mode, other than the first three-dimensional imaging mode, and of locations of the reference points of the object in this second three-dimensional representation; And
  • a three-dimensional registration of this second three-dimensional representation of the object on the object itself;
in which the three-dimensional registration of the second three-dimensional representation comprises a surface three-dimensional registration of this second three-dimensional representation, by the calculation unit, from the recording of the locations of surface points carried out for the surface registration of the first three-dimensional representation.

Tirer ainsi partie de l’enregistrement des localisations de points surfaciques réalisé pour le recalage surfacique de la première représentation tridimensionnelle, pour réaliser le recalage tridimensionnel surfacique de la deuxième représentation tridimensionnelle, est une astuce qui simplifie le recalage tridimensionnel de toute représentation tridimensionnelle enregistrable à partir de la deuxième, puisque le même procédé peut s’appliquer à une troisième représentation tridimensionnelle se substituant à la deuxième, etc. Cela permet aussi d’augmenter le nombre de points surfaciques à localiser par stylet pour améliorer la qualité de chaque recalage tridimensionnel surfacique, sans augmenter d’autant la complexité et la durée du protocole de recalage.Thus taking advantage of the recording of the locations of surface points carried out for the surface registration of the first three-dimensional representation, to carry out the surface three-dimensional registration of the second three-dimensional representation, is a trick which simplifies the three-dimensional registration of any three-dimensional representation recordable from of the second, since the same process can be applied to a third three-dimensional representation replacing the second, etc. This also makes it possible to increase the number of surface points to be located by stylus to improve the quality of each three-dimensional surface registration, without increasing the complexity and duration of the registration protocol.

De façon optionnelle, le recalage tridimensionnel de la deuxième représentation tridimensionnelle comporte un recalage tridimensionnel angulaire, par l’unité de calcul, de cette deuxième représentation tridimensionnelle sur l’objet à partir de l’enregistrement, réalisé pour le recalage tridimensionnel angulaire de la première représentation tridimensionnelle, des localisations des points de référence de la surface de l’objet dans le référentiel tridimensionnel lié à l’ancillaire de référencement.Optionally, the three-dimensional registration of the second three-dimensional representation comprises an angular three-dimensional registration, by the calculation unit, of this second three-dimensional representation on the object from the recording, carried out for the angular three-dimensional registration of the first three-dimensional representation of the locations of the reference points of the surface of the object in the three-dimensional frame of reference linked to the referencing instrument.

De façon optionnelle également :

  • le recalage tridimensionnel surfacique de la première représentation tridimensionnelle sur l’objet comporte le calcul d’une première matrice de passage entre les localisations des points surfaciques enregistrées et leurs localisations sur la surface de l’objet telle qu’extraite dans la première représentation tridimensionnelle ; et
  • le recalage tridimensionnel surfacique de la deuxième représentation tridimensionnelle comporte une extraction d’une surface de l’objet dans la deuxième représentation tridimensionnelle et le calcul d’une deuxième matrice de passage entre les localisations des points surfaciques enregistrées pour le recalage surfacique de la première représentation tridimensionnelle et leurs localisations sur la surface de l’objet telle qu’extraite dans la deuxième représentation tridimensionnelle.
Also optionally:
  • the three-dimensional surface registration of the first three-dimensional representation on the object comprises the calculation of a first passage matrix between the locations of the recorded surface points and their locations on the surface of the object as extracted in the first three-dimensional representation; And
  • the three-dimensional surface registration of the second three-dimensional representation comprises an extraction of a surface of the object in the second three-dimensional representation and the calculation of a second passage matrix between the locations of the surface points recorded for the surface registration of the first representation three-dimensional and their locations on the surface of the object as extracted in the second three-dimensional representation.

De façon optionnelle également, le recalage tridimensionnel surfacique de la première représentation tridimensionnelle sur l’objet comporte l’enregistrement des localisations de plusieurs centaines de points surfaciques autres que les points de référence sur la surface de l’objet dans le référentiel tridimensionnel lié à l’ancillaire de référencement, de préférence entre 200 et 1000 points surfaciques, de préférence encore entre 500 et 600 points surfaciques.Also optionally, the three-dimensional surface registration of the first three-dimensional representation on the object includes recording the locations of several hundred surface points other than the reference points on the surface of the object in the three-dimensional reference system linked to the referencing ancillary, preferably between 200 and 1000 surface points, more preferably between 500 and 600 surface points.

De façon optionnelle également, un procédé de recalage tridimensionnel selon l’invention comporte l’acquisition préalable :

  • de la première représentation tridimensionnelle sous la forme d’une image volumique de l’objet par scanner ou tomodensitométrie ; et
  • de la deuxième représentation tridimensionnelle sous la forme d’une image volumique de l’objet par résonance magnétique.
Also optionally, a three-dimensional registration method according to the invention comprises the prior acquisition:
  • of the first three-dimensional representation in the form of a volume image of the object by scanner or tomography; And
  • of the second three-dimensional representation in the form of a volume image of the object by magnetic resonance.

De façon optionnelle également, l’objet est une tête de patient humain ou animal et l’ancillaire de référencement est un dispositif fixé sur cette tête avec une stabilité apte à induire une erreur de recalage submillimétrique, par exemple un bandeau frontal fixé de façon stable sur le front du patient, une pastille frontale fixée de façon stable sur le front du patient ou un dispositif buccal enserré dans la bouche du patient entre ses dents.Also optionally, the object is a head of a human or animal patient and the referencing ancillary is a device fixed on this head with a stability capable of inducing a submillimeter registration error, for example a forehead headband fixed in a stable manner on the patient's forehead, a forehead pad fixed stably on the patient's forehead or an oral device clamped in the patient's mouth between his teeth.

De façon optionnelle également, les points de référence de la tête du patient sont non alignés, comportant par exemple au moins un point de localisation du nasion, un point de localisation de jonction naso-labiale et un point de localisation de rebord orbitaire externe lorsque l’ancillaire de référencement est fixé de façon stable sur le front du patient.Also optionally, the reference points of the patient's head are non-aligned, comprising for example at least one nasion location point, a nasolabial junction location point and an external orbital rim location point when the The referencing instrument is fixed stably on the patient's forehead.

Il est également proposé un programme d’ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou exécutable par un processeur, comprenant des instructions pour l’exécution des étapes d’un procédé de recalage tridimensionnel de représentations tridimensionnelles d’un objet sur l’objet lui-même selon l’invention, lorsque ledit programme est exécuté par une unité de calcul d’un dispositif d’aide à la navigation dans l’objet à l’aide d’un instrument à extrémité fonctionnelle, et lorsque ce dispositif comporte par ailleurs :

  • une mémoire pour le stockage d’une première représentation tridimensionnelle de l’objet selon un premier mode d’imagerie tridimensionnelle, de localisations d’au moins trois points de référence de l’objet dans cette première représentation tridimensionnelle, d’une deuxième représentation tridimensionnelle de l’objet selon un deuxième mode d’imagerie tridimensionnelle autre que le premier mode d’imagerie tridimensionnelle, et de localisations des points de référence de l’objet dans cette deuxième représentation tridimensionnelle ;
  • un ancillaire de référencement destiné à être fixé sur l’objet ; et
  • un stylet, manipulable par un opérateur, dont une pointe est localisable dans un référentiel tridimensionnel lié à l’ancillaire de référencement.
There is also proposed a computer program downloadable from a communications network and/or recorded on a computer-readable medium and/or executable by a processor, comprising instructions for executing the steps of a three-dimensional registration method of three-dimensional representations of an object on the object itself according to the invention, when said program is executed by a calculation unit of a device for aiding navigation in the object using an instrument with a functional end, and when this device also includes:
  • a memory for storing a first three-dimensional representation of the object according to a first three-dimensional imaging mode, locations of at least three reference points of the object in this first three-dimensional representation, a second three-dimensional representation of the object according to a second three-dimensional imaging mode other than the first three-dimensional imaging mode, and locations of the reference points of the object in this second three-dimensional representation;
  • a referencing instrument intended to be fixed on the object; And
  • a stylus, manipulated by an operator, a tip of which can be located in a three-dimensional reference system linked to the referencing instrument.

Il est également proposé un dispositif d’aide à la navigation dans un objet à l’aide d’un instrument à extrémité fonctionnelle, comportant :

  • une mémoire pour le stockage d’une première représentation tridimensionnelle de l’objet selon un premier mode d’imagerie tridimensionnelle, de localisations d’au moins trois points de référence de l’objet dans cette première représentation tridimensionnelle, d’une deuxième représentation tridimensionnelle de l’objet selon un deuxième mode d’imagerie tridimensionnelle autre que le premier mode d’imagerie tridimensionnelle, et de localisations des points de référence de l’objet dans cette deuxième représentation tridimensionnelle ;
  • une unité de calcul conçue pour un recalage tridimensionnel desdites première et deuxième représentations tridimensionnelles de l’objet sur l’objet lui-même ;
  • un ancillaire de référencement destiné à être fixé sur l’objet ;
  • un stylet dont une pointe est localisable dans un référentiel tridimensionnel lié à l’ancillaire de référencement ;
dans lequel l’unité de calcul est plus précisément conçue pour exécuter :
  • un recalage tridimensionnel angulaire de la première représentation tridimensionnelle sur l’objet à partir d’un enregistrement, par interaction avec la pointe du stylet lorsqu’il est manipulé par un opérateur, des localisations des points de référence de l’objet dans le référentiel tridimensionnel lié à l’ancillaire de référencement ;
  • un recalage tridimensionnel surfacique de la première représentation tridimensionnelle sur l’objet comportant :
    • une extraction d’une surface de l’objet dans la première représentation tridimensionnelle,
    • un enregistrement, par interaction avec la pointe du stylet lorsqu’il est manipulé par un opérateur, de localisations d’une pluralité de points surfaciques autres que les points de référence sur la surface de l’objet dans le référentiel tridimensionnel lié à l’ancillaire de référencement, et
    • le calcul du recalage tridimensionnel surfacique à partir de cet enregistrement de localisations de points surfaciques ;
l’unité de calcul étant en outre conçue pour que le recalage tridimensionnel de la deuxième représentation tridimensionnelle comporte un recalage tridimensionnel surfacique de cette deuxième représentation tridimensionnelle à partir de l’enregistrement des localisations de points surfaciques réalisé pour le recalage surfacique de la première représentation tridimensionnelle.A device for aiding navigation in an object using an instrument with a functional end is also proposed, comprising:
  • a memory for storing a first three-dimensional representation of the object according to a first three-dimensional imaging mode, locations of at least three reference points of the object in this first three-dimensional representation, a second three-dimensional representation of the object according to a second three-dimensional imaging mode other than the first three-dimensional imaging mode, and locations of the reference points of the object in this second three-dimensional representation;
  • a calculation unit designed for three-dimensional registration of said first and second three-dimensional representations of the object on the object itself;
  • a referencing instrument intended to be fixed on the object;
  • a stylus whose tip can be located in a three-dimensional reference system linked to the referencing instrument;
in which the calculation unit is more precisely designed to execute:
  • an angular three-dimensional registration of the first three-dimensional representation on the object from a recording, by interaction with the tip of the stylus when it is manipulated by an operator, of the locations of the reference points of the object in the three-dimensional frame of reference linked to the referencing tool;
  • a three-dimensional surface registration of the first three-dimensional representation on the object comprising:
    • an extraction of a surface of the object in the first three-dimensional representation,
    • a recording, by interaction with the tip of the stylus when it is manipulated by an operator, of locations of a plurality of surface points other than the reference points on the surface of the object in the three-dimensional reference system linked to the ancillary SEO, and
    • calculating the surface three-dimensional registration from this recording of surface point locations;
the calculation unit being further designed so that the three-dimensional registration of the second three-dimensional representation comprises a three-dimensional surface registration of this second three-dimensional representation from the recording of the locations of surface points carried out for the surface registration of the first three-dimensional representation .

De façon optionnelle, un dispositif d’aide à la navigation dans un objet selon l’invention peut en outre comporter :

  • un instrument dont une extrémité fonctionnelle est localisable dans le référentiel tridimensionnel lié à l’ancillaire de référencement ; et
  • un écran d’affichage simultané de plusieurs reconstructions planes en coupe de l’objet, dont au moins deux reconstructions planes d’une même coupe de l’objet obtenues respectivement à partir de l’une et l’autre des première et deuxième représentations tridimensionnelles ;
dans lequel l’unité de calcul est conçue pour :
  • localiser et afficher visuellement l’extrémité fonctionnelle de l’instrument dans chaque reconstruction plane en coupe de l’objet affichée par l’écran ; et
  • commuter l’affichage entre plusieurs reconstruction planes en coupe de l’objet selon la première représentation tridimensionnelle, plusieurs reconstruction planes en coupe de l’objet selon la deuxième représentation tridimensionnelle et plusieurs reconstruction planes en coupe de l’objet selon les première et deuxième représentations tridimensionnelles, cette commutation étant activable par un rapprochement prédéterminé entre l’extrémité fonctionnelle de l’instrument et un plot d’étalonnage de l’ancillaire de référencement.
Optionally, a device to aid navigation in an object according to the invention may also include:
  • an instrument whose functional end can be located in the three-dimensional frame of reference linked to the referencing instrument; And
  • a screen for simultaneously displaying several planar sectional reconstructions of the object, including at least two planar reconstructions of the same section of the object obtained respectively from one and the other of the first and second three-dimensional representations ;
in which the calculation unit is designed to:
  • locate and visually display the functional end of the instrument in each planar sectional reconstruction of the object displayed by the screen; And
  • switch the display between several planar sectional reconstructions of the object according to the first three-dimensional representation, several planar sectional reconstructions of the object according to the second three-dimensional representation and several planar sectional reconstructions of the object according to the first and second representations three-dimensional, this switching being activated by a predetermined rapprochement between the functional end of the instrument and a calibration pad of the referencing instrument.

L’invention sera mieux comprise à l’aide de la description qui va suivre, donnée uniquement à titre d’exemple et faite en se référant aux dessins annexés dans lesquels :

  • la représente schématiquement la structure générale d’un dispositif d’aide à la navigation dans un objet, selon un mode de réalisation de l’invention,
  • la illustre un exemple d’affichage simultané de plusieurs reconstructions planes en coupe de l’objet de la obtenues à partir de deux représentations tridimensionnelles différentes, tel qu’il peut être obtenu sur un écran du dispositif d’aide à la navigation de la .
  • la illustre les étapes successives d’un procédé de recalage tridimensionnel de représentations tridimensionnelles de l’objet de la sur lui-même, tel qu’il peut être mis en œuvre par le dispositif d’aide à la navigation de la .
The invention will be better understood with the help of the description which follows, given solely by way of example and made with reference to the appended drawings in which:
  • there schematically represents the general structure of a device for aiding navigation in an object, according to one embodiment of the invention,
  • there illustrates an example of simultaneous display of several planar sectional reconstructions of the object of the obtained from two different three-dimensional representations, as can be obtained on a screen of the navigation aid device of the .
  • there illustrates the successive stages of a process for three-dimensional registration of three-dimensional representations of the object of the on itself, as it can be implemented by the navigation aid device of the .

Le dispositif 10 d’aide à la navigation dans un objet 12 représenté schématiquement sur la comporte une unité déplaçable de navigation 14 comprenant un caisson principal 16 à composants électriques, électroniques et logiciels, par exemple monté sur roulettes et muni d’une poignée de préhension (non illustrées) pour être déplacé par un praticien, et un écran d’affichage 18, par exemple un écran tactile, solidaire du caisson principal 16. Dans l’exemple non limitatif illustré sur la , il s’agit plus précisément d’un dispositif de navigation chirurgicale prévu pour des interventions en otorhinolaryngologie (ORL). L’objet 12 est alors la tête d’un patient humain ou animal à l’intérieur de laquelle une intervention doit être envisagée par voie auditive, nasale ou buccale.The device 10 for aiding navigation in an object 12 represented schematically on the comprises a movable navigation unit 14 comprising a main box 16 with electrical, electronic and software components, for example mounted on casters and provided with a gripping handle (not illustrated) to be moved by a practitioner, and a display screen 18, for example a touch screen, integral with the main box 16. In the non-limiting example illustrated on the , it is more precisely a surgical navigation device intended for otorhinolaryngology (ENT) interventions. The object 12 is then the head of a human or animal patient inside which an intervention must be envisaged by auditory, nasal or oral route.

Pour ce faire, le dispositif 10 d’aide à la navigation comporte en outre un instrument 20 à extrémité fonctionnelle 22, tel qu’un instrument chirurgical ORL à canule d’aspiration, embout tournant, pince, ou tout autre extrémité fonctionnelle 22 utile pour une intervention en chirurgie ORL par voie auditive, nasale ou buccale.To do this, the navigation aid device 10 further comprises an instrument 20 with a functional end 22, such as an ENT surgical instrument with a suction cannula, rotating tip, forceps, or any other functional end 22 useful for an ENT surgery procedure via the ear, nasal or oral route.

Pour la mise en œuvre d’un procédé de recalage tridimensionnel de représentations tridimensionnelles de l’objet 12 sur l’objet 12 lui-même, ainsi que d’un procédé de navigation assistée par suivi, sur l’écran d’affichage 18, d’un déplacement de l’extrémité fonctionnelle 22 de l’instrument chirurgical 20 dans des cavités intérieures de la tête 12 du patient, le dispositif 10 d’aide à la navigation comporte en outre :

  • un ancillaire de référencement 24 à élément électromagnétique actif de localisation 26 (i.e. un capteur électromagnétique à fonction émettrice), destiné à être fixé de façon connue en soi sur la tête 12 du patient, et
  • un stylet de recalage 28 dont une pointe distale 30 est localisable dans un référentiel tridimensionnel lié à l’ancillaire de référencement 24, ce référentiel étant donc également lié à la tête 12 du patient lorsque l’ancillaire de référencement 24 y est fixé.
For the implementation of a method of three-dimensional registration of three-dimensional representations of the object 12 on the object 12 itself, as well as of a navigation method assisted by tracking, on the display screen 18, a movement of the functional end 22 of the surgical instrument 20 in interior cavities of the patient's head 12, the navigation aid device 10 further comprises:
  • a referencing ancillary 24 with an active electromagnetic localization element 26 (ie an electromagnetic sensor with a transmitting function), intended to be fixed in a manner known per se on the head 12 of the patient, and
  • a registration stylus 28, a distal tip 30 of which can be located in a three-dimensional frame of reference linked to the referencing ancillary 24, this frame of reference therefore also being linked to the head 12 of the patient when the referencing ancillary 24 is fixed there.

Les modalités de fixation de l’ancillaire de référencement 24 sur la tête 12 sont connues en soi et ne seront pas détaillées. Elles sont par exemple avantageusement définies de manière à assurer une stabilité de la fixation apte à induire une erreur de recalage, et donc une erreur de suivi de navigation, submillimétrique.The methods of fixing the referencing ancillary 24 on the head 12 are known per se and will not be detailed. They are for example advantageously defined so as to ensure stability of the fixation capable of inducing a registration error, and therefore a submillimeter navigation tracking error.

La illustre un ancillaire de référencement 24 prenant la forme d’une pastille frontale fixée de façon stable par ruban adhésif double face sur le front du patient, mais tout autre ancillaire de référencement bien connu convient également : par exemple un bandeau frontal fixé de façon stable sur le front du patient, un dispositif buccal enserré dans la bouche du patient entre ses dents, un dispositif osseux vissé latéralement dans le crâne du patient, ou tout autre forme d’ancillaire de référencement convenant pour une intervention en chirurgie ORL.There illustrates a referencing ancillary 24 taking the form of a frontal patch fixed stably by double-sided adhesive tape on the patient's forehead, but any other well-known referencing ancillary is also suitable: for example a frontal headband fixed stably on the patient's forehead, an oral device clamped in the patient's mouth between his teeth, a bone device screwed laterally into the patient's skull, or any other form of referencing ancillary suitable for an ENT surgery intervention.

On notera que la façon dont la pointe distale 30 du stylet de recalage 28 est localisable dans le référentiel tridimensionnel lié à l’ancillaire de référencement 24 (à l’aide d’un capteur électromagnétique à fonction de réception par exemple) est bien connue, de sorte que la technologie électromagnétique mise en œuvre pour une telle localisation ne sera pas détaillée. Et c’est selon cette même technologie que l’instrument chirurgical 20 est lui aussi localisable dans le référentiel tridimensionnel lié à l’ancillaire de référencement 24 (à l’aide également d’un capteur électromagnétique à fonction de réception par exemple). Plus précisément, pour que ce soit son extrémité fonctionnelle 22, potentiellement interchangeable, qui soit elle-même directement localisable dans le référentiel tridimensionnel lié à l’ancillaire de référencement 24, un étalonnage de l’instrument chirurgical 20 peut être nécessaire. Cet étalonnage, réalisé à l’aide d’un plot d’étalonnage solidaire de l’ancillaire de référencement 24, ou à l’aide du stylet de recalage 28, est lui aussi bien connu, de sorte qu’il ne sera pas non plus détaillé.It will be noted that the way in which the distal tip 30 of the registration stylus 28 can be located in the three-dimensional frame of reference linked to the referencing instrument 24 (using an electromagnetic sensor with a reception function for example) is well known, so the electromagnetic technology implemented for such localization will not be detailed. And it is according to this same technology that the surgical instrument 20 can also be located in the three-dimensional reference system linked to the referencing instrument 24 (also using an electromagnetic sensor with a reception function, for example). More precisely, for its functional end 22, potentially interchangeable, to be itself directly localizable in the three-dimensional frame of reference linked to the referencing instrument 24, calibration of the surgical instrument 20 may be necessary. This calibration, carried out using a calibration pad secured to the reference ancillary 24, or using the registration stylus 28, is also well known, so that it will not be either more detailed.

On notera également qu’en cours d’intervention mettant en œuvre le recalage tridimensionnel de représentations tridimensionnelles de l’objet 12 sur l’objet 12 lui-même, l’étalonnage de l’instrument chirurgical 20 ou la navigation assistée précités, il convient d’isoler la tête 12 du patient sur laquelle est fixé l’ancillaire de référencement 24, le stylet de recalage 28 et l’instrument chirurgical 20 de toute perturbation, notamment de toute perturbation due à une trop grande proximité de l’unité déplaçable de navigation 14. C’est la raison pour laquelle le champ opératoire Z1 dans lequel se trouvent la tête 12 du patient, l’ancillaire de référencement 24, le stylet de recalage 28 et l’instrument chirurgical 20 est éloigné et bien isolé du champ Z2 d’aide à la navigation dans lequel se trouve l’unité déplaçable de navigation 14. Cet éloignement, ou cet isolement, est marqué dans la par le trait horizontal T en traits interrompus.It will also be noted that during an intervention implementing the three-dimensional registration of three-dimensional representations of the object 12 on the object 12 itself, the calibration of the surgical instrument 20 or the aforementioned assisted navigation, it is appropriate to isolate the head 12 of the patient on which is fixed the referencing ancillary 24, the registration stylus 28 and the surgical instrument 20 from any disturbance, in particular from any disturbance due to too close proximity to the movable unit of navigation 14. This is the reason why the operating field Z1 in which the patient's head 12, the reference ancillary 24, the registration stylus 28 and the surgical instrument 20 are located is distant and well isolated from the field Z2 navigation aid in which the movable navigation unit 14 is located. This distance, or this isolation, is marked in the by the horizontal line T in broken lines.

Pour interagir avec l’ancillaire de référencement 24, le stylet de recalage 28 et l’instrument chirurgical 20, le caisson principal 16 est muni d’une interface de localisation spatiale 32 à création de champ électromagnétique. Il s’agit d’un élément électronique permettant de déterminer les coordonnées spatiales tridimensionnelles d’un capteur spécifique, tel que ceux embarqués dans l’ancillaire de référencement 24, le stylet de recalage 28 et l’instrument chirurgical 20. Une telle interface de localisation spatiale 32 est bien connue, de sorte qu’elle ne sera pas détaillée.To interact with the referencing instrument 24, the registration stylus 28 and the surgical instrument 20, the main box 16 is provided with a spatial location interface 32 creating an electromagnetic field. This is an electronic element making it possible to determine the three-dimensional spatial coordinates of a specific sensor, such as those embedded in the referencing instrument 24, the registration stylus 28 and the surgical instrument 20. Such a control interface spatial location 32 is well known, so it will not be detailed.

Le caisson principal 16 est en outre muni d’une interface 34 pour la connexion à d’autres périphériques éventuels : notamment un clavier 36, une souris 38 et/ou une télécommande 40. La télécommande 40 est par exemple connectée par une liaison sans fil IR de type infrarouge, ce qui lui permet d’être utilisée dans le champ opératoire Z1. L’interface 34 peut en outre comporter un port USB, un lecteur de CD-ROM, ou tout autre entrée vidéo permettant d’enregistrer une représentation tridimensionnelle de l’objet 12 acquise préalablement selon un mode d’imagerie tridimensionnelle quelconque.The main box 16 is also provided with an interface 34 for connection to other possible peripherals: in particular a keyboard 36, a mouse 38 and/or a remote control 40. The remote control 40 is for example connected by a wireless connection Infrared type IR, which allows it to be used in the Z1 operating field. The interface 34 may also include a USB port, a CD-ROM reader, or any other video input making it possible to record a three-dimensional representation of the object 12 previously acquired in any three-dimensional imaging mode.

Le caisson principal 16 comporte en outre plusieurs modules fonctionnels qui vont être décrits ci-dessous. Dans l’exemple décrit, ces modules sont de nature logicielle. Ainsi, le caisson principal 16 comporte un élément de type ordinateur 42 comportant une unité de traitement 44, interagissant avec l’interface de localisation spatiale 32, l’interface 34 et l’écran d’affichage 18, et une zone de mémoire associée 46 dans laquelle une zone de stockage de données 48 et plusieurs programmes d’ordinateurs 50 à 60 ou plusieurs fonctions d’un même programme d’ordinateur sont enregistrés. Ces programmes d’ordinateurs comportent des instructions conçues pour être exécutées par l’unité de traitement 44 afin de réaliser les fonctions des modules logiciels. Ils sont présentés comme distincts, mais cette distinction est purement fonctionnelle. Ils pourraient tout aussi bien être regroupés selon toutes les combinaisons possibles en un ou plusieurs logiciels. Leurs fonctions pourraient aussi être au moins en partie micro programmées ou micro câblées dans des circuits intégrés dédiés, tels que des circuits numériques. Ainsi, en variante, l’ordinateur 42 pourrait être remplacé par un dispositif électronique composé uniquement de circuits numériques (sans programme d’ordinateur) pour la réalisation des mêmes fonctions.The main box 16 also includes several functional modules which will be described below. In the example described, these modules are software in nature. Thus, the main box 16 comprises a computer type element 42 comprising a processing unit 44, interacting with the spatial location interface 32, the interface 34 and the display screen 18, and an associated memory area 46 in which a data storage area 48 and several computer programs 50 to 60 or several functions of the same computer program are recorded. These computer programs include instructions designed to be executed by the processing unit 44 in order to carry out the functions of the software modules. They are presented as distinct, but this distinction is purely functional. They could just as easily be grouped in all possible combinations into one or more software programs. Their functions could also be at least partly micro-programmed or micro-wired into dedicated integrated circuits, such as digital circuits. Thus, as a variant, the computer 42 could be replaced by an electronic device composed solely of digital circuits (without a computer program) for carrying out the same functions.

Le caisson principal 16 comporte ainsi tout d’abord un module logiciel 50, destiné à être exécuté par l’unité de traitement 44, d’enregistrement en mémoire 46, plus précisément en zone de stockage de données 48, de représentations tridimensionnelles de l’objet 12, autrement généralement appelées « séries », selon des modes d’imagerie tridimensionnelle quelconques, de préférence selon un ou plusieurs modes d’imagerie par scanner (i.e. par tomodensitométrie) ou IRM (i.e. pour « Imagerie par Résonance Magnétique ») avec injection de produit(s) de contraste ou sans. De façon générale, tout mode d’imagerie tridimensionnelle permettant une extraction d’une surface de l’objet 12 convient, sachant que les séries obtenues par scanner sont principalement utilisées en chirurgie ORL. Une limite peut être fixée en termes de nombre de séries enregistrables en zone de stockage de données 48, par exemple quatre.The main box 16 thus firstly comprises a software module 50, intended to be executed by the processing unit 44, for recording in memory 46, more precisely in the data storage zone 48, of three-dimensional representations of the object 12, otherwise generally called "series", according to any three-dimensional imaging modes, preferably according to one or more imaging modes by scanner (i.e. by CT) or MRI (i.e. for "Magnetic Resonance Imaging") with injection of contrast product(s) or without. In general, any three-dimensional imaging mode allowing extraction of a surface of the object 12 is suitable, knowing that the series obtained by scanner are mainly used in ENT surgery. A limit can be set in terms of the number of series recordable in data storage area 48, for example four.

Le caisson principal 16 comporte en outre un module logiciel 52, destiné à être exécuté par l’unité de traitement 44, de recalage tridimensionnel angulaire de chaque représentation tridimensionnelle de l’objet 12 enregistrée en zone de stockage de données 48 sur l’objet 12 lui-même.The main box 16 further comprises a software module 52, intended to be executed by the processing unit 44, for three-dimensional angular registration of each three-dimensional representation of the object 12 recorded in the data storage zone 48 on the object 12 himself.

Selon un exemple de protocole de recalage angulaire avantageusement mis en œuvre mais non limitatif, notamment s’il s’agit de recaler angulairement une première représentation tridimensionnelle, il s’agit de localiser au moins trois points de référence prédéterminés de l’objet 12 dans la représentation tridimensionnelle concernée et de les enregistrer en zone de stockage de données 48, puis de localiser ces mêmes points de référence dans le référentiel tridimensionnel lié à l’ancillaire de référencement 24 à l’aide de la pointe 30 du stylet 28 de façon connue en soi et de les enregistrer également en zone de stockage de données 48. S’il s’agit de recaler angulairement une deuxième représentation tridimensionnelle ou ultérieure, alors que la première représentation tridimensionnelle a déjà été angulairement recalée, on peut se contenter de localiser les points de référence de l’objet 12 dans la représentation tridimensionnelle concernée et de les enregistrer en zone de stockage de données 48 sans avoir besoin de localiser de nouveau ces mêmes points de référence dans le référentiel tridimensionnel lié à l’ancillaire de référencement 24 à l’aide du stylet 28, puisque le recalage angulaire peut avantageusement tirer profit des localisations enregistrées à l’aide du stylet 28 pour la première représentation tridimensionnelle étant donné qu’elles n’ont a priori aucune raison d’être différentes.According to an example of an angular registration protocol advantageously implemented but not limiting, in particular if it involves angularly registering a first three-dimensional representation, it involves locating at least three predetermined reference points of the object 12 in the three-dimensional representation concerned and to record them in the data storage zone 48, then to locate these same reference points in the three-dimensional reference system linked to the referencing ancillary 24 using the tip 30 of the stylus 28 in a known manner in itself and also record them in data storage zone 48. If it is a question of angularly realigning a second or subsequent three-dimensional representation, while the first three-dimensional representation has already been angularly realigned, we can simply locate the reference points of the object 12 in the three-dimensional representation concerned and to record them in data storage zone 48 without needing to locate these same reference points again in the three-dimensional reference system linked to the referencing ancillary 24 to the using the stylus 28, since the angular registration can advantageously take advantage of the locations recorded using the stylus 28 for the first three-dimensional representation given that they have a priori no reason to be different.

Il convient de choisir des points de référence qui sont le moins alignés possible pour rendre opérant et précis le recalage angulaire. Par exemple lorsque l’ancillaire de référencement 24 est un bandeau ou une pastille fixé(e) de façon stable sur le front du patient, les points de référence généralement choisis sont un point de localisation du nasion, un point de localisation de la jonction naso-labiale et un point de localisation de rebord orbitaire externe gauche et/ou droit. Ils indiquent par convention des orientations principales nord, sud et ouest et/ou est. Tout autre point de référence peut être librement choisi en fonction de l’endroit où est fixé l’ancillaire de référencement 24, de l’application visée, et même plus généralement de la nature de l’objet 12.It is advisable to choose reference points which are as little aligned as possible to make the angular registration effective and precise. For example when the reference ancillary 24 is a headband or a pellet fixed in a stable manner on the patient's forehead, the reference points generally chosen are a point of location of the nasion, a point of location of the naso junction -labial and a location point for the left and/or right external orbital rim. They indicate by convention main orientations north, south and west and/or east. Any other reference point can be freely chosen depending on the location where the referencing instrument 24 is fixed, the intended application, and even more generally the nature of the object 12.

Le caisson principal 16 comporte en outre un module logiciel 54, destiné à être exécuté par l’unité de traitement 44, de recalage tridimensionnel surfacique de chaque représentation tridimensionnelle de l’objet 12 enregistrée en zone de stockage de données 48 sur l’objet 12 lui-même.The main box 16 further comprises a software module 54, intended to be executed by the processing unit 44, for three-dimensional surface registration of each three-dimensional representation of the object 12 recorded in the data storage zone 48 on the object 12 himself.

Selon un exemple de protocole de recalage surfacique avantageusement mis en œuvre mais non limitatif, s’il s’agit de recaler une première représentation tridimensionnelle, il s’agit tout d’abord d’extraire une surface de l’objet 12 dans la représentation tridimensionnelle concernée et de l’enregistrer en zone de stockage de données 48. Ceci peut généralement se faire automatiquement si de bonnes conditions connues d’acquisition de cette représentation tridimensionnelle ont été respectées. Il s’agit en outre de localiser une pluralité de points surfaciques autres que les points de référence sur la surface de l’objet 12 dans le référentiel tridimensionnel lié à l’ancillaire de référencement 24 à l’aide de la pointe 30 du stylet 28 et de les enregistrer en zone de stockage de données 48. Il s’agit enfin de calculer le recalage tridimensionnel surfacique à partir de cet enregistrement de localisations de points surfaciques.According to an example of a surface registration protocol advantageously implemented but not limiting, if it is a question of registering a first three-dimensional representation, it is first of all a question of extracting a surface of the object 12 in the representation concerned and record it in data storage area 48. This can generally be done automatically if known good conditions for acquiring this three-dimensional representation have been respected. It also involves locating a plurality of surface points other than the reference points on the surface of the object 12 in the three-dimensional frame of reference linked to the referencing ancillary 24 using the tip 30 of the stylus 28 and record them in data storage zone 48. Finally, it involves calculating the surface three-dimensional registration from this recording of surface point locations.

Plus précisément, le recalage tridimensionnel surfacique de la première représentation tridimensionnelle sur l’objet 12 comporte le calcul d’une première matrice de passage entre les localisations des points surfaciques enregistrées précédemment et leurs localisations sur la surface de l’objet 12 telle qu’extraite dans la première représentation tridimensionnelle. Le recalage angulaire préalable permet de faciliter le calcul de cette première matrice de passage en limitant les solutions possibles.More precisely, the three-dimensional surface registration of the first three-dimensional representation on the object 12 involves the calculation of a first passage matrix between the locations of the surface points recorded previously and their locations on the surface of the object 12 as extracted in the first three-dimensional representation. The prior angular registration makes it possible to facilitate the calculation of this first passage matrix by limiting the possible solutions.

S’il s’agit de recaler une deuxième représentation tridimensionnelle ou ultérieure, alors que la première représentation tridimensionnelle a déjà été recalée selon le protocole de recalage surfacique précité, on peut se contenter d’extraire une surface de l’objet 12 dans la représentation tridimensionnelle concernée et de l’enregistrer en zone de stockage de données 48, puis d’opérer directement un recalage tridimensionnel surfacique de cette deuxième représentation tridimensionnelle ou ultérieure à partir de l’enregistrement des localisations de points surfaciques réalisé pour le recalage surfacique de la première représentation tridimensionnelle. Cette façon de procéder est très avantageuse parce que l’enregistrement des localisations de points surfaciques peut être fastidieux et chronophage.If it is a question of registering a second or subsequent three-dimensional representation, while the first three-dimensional representation has already been registered according to the aforementioned surface registration protocol, we can simply extract a surface of the object 12 in the representation three-dimensional representation concerned and to record it in data storage zone 48, then to directly carry out a three-dimensional surface registration of this second or subsequent three-dimensional representation from the recording of the locations of surface points carried out for the surface registration of the first three-dimensional representation. This way of proceeding is very advantageous because recording the locations of surface points can be tedious and time-consuming.

Plus précisément, le recalage tridimensionnel surfacique de la deuxième représentation tridimensionnelle ou ultérieure sur l’objet 12 comporte le calcul d’une deuxième matrice de passage entre les localisations des points surfaciques enregistrées précédemment pour le recalage surfacique de la première représentation tridimensionnelle et leurs localisations sur la surface de l’objet 12 telle qu’extraite dans la deuxième représentation tridimensionnelle ou ultérieure. De même, le recalage angulaire préalable de la deuxième représentation tridimensionnelle ou ultérieure permet de faciliter le calcul de cette deuxième matrice de passage en limitant les solutions possibles.More precisely, the surface three-dimensional registration of the second or subsequent three-dimensional representation on the object 12 comprises the calculation of a second passage matrix between the locations of the surface points recorded previously for the surface registration of the first three-dimensional representation and their locations on the surface of the object 12 as extracted in the second or subsequent three-dimensional representation. Likewise, the prior angular registration of the second or subsequent three-dimensional representation makes it possible to facilitate the calculation of this second passage matrix by limiting the possible solutions.

Concrètement, de nombreux points surfaciques peuvent être localisés à l’aide de la pointe 30 du stylet 28 en la promenant sur la tête 12 du patient, notamment tout autour des points de référence. Il n’y a pas vraiment de limite. Par exemple, plusieurs centaines de points surfaciques sont avantageusement localisés dans le référentiel tridimensionnel lié à l’ancillaire de référencement 24 pour un recalage surfacique le plus précis possible en chirurgie ORL, de préférence entre 200 et 1000 points surfaciques, de préférence encore entre 500 et 600 points surfaciques.Concretely, numerous surface points can be located using the tip 30 of the stylus 28 by moving it over the head 12 of the patient, in particular all around the reference points. There isn't really a limit. For example, several hundred surface points are advantageously located in the three-dimensional reference system linked to the referencing instrument 24 for the most precise surface registration possible in ENT surgery, preferably between 200 and 1000 surface points, more preferably between 500 and 600 surface points.

Le caisson principal 16 comporte en outre un module logiciel 56, destiné à être exécuté par l’unité de traitement 44, de sélection d’un affichage pour assister une navigation réalisée à l’aide de l’instrument chirurgical 20 lorsque chaque représentation tridimensionnelle enregistrée en zone de stockage de données 48 a été recalée par exécution des modules logiciels 52 et 54. Notamment lorsque deux représentations tridimensionnelles recalées sont à disposition en mémoire 46, par exemple l’une sous la forme d’une image volumique de l’objet 12 par scanner, l’autre sous la forme d’une image volumique de l’objet 12 par résonance magnétique, le module logiciel 56 gère la sélection possible d’un d’affichage simultané de plusieurs reconstructions planes en coupe de l’objet 12, dont au moins deux reconstructions planes d’une même coupe de l’objet 12 obtenues respectivement à partir de l’une et l’autre des première et deuxième représentations tridimensionnelles.The main box 16 further comprises a software module 56, intended to be executed by the processing unit 44, for selecting a display to assist navigation carried out using the surgical instrument 20 when each three-dimensional representation recorded in data storage area 48 has been readjusted by execution of software modules 52 and 54. Particularly when two readjusted three-dimensional representations are available in memory 46, for example one in the form of a volume image of the object 12 by scanner, the other in the form of a volume image of the object 12 by magnetic resonance, the software module 56 manages the possible selection of a simultaneous display of several planar sectional reconstructions of the object 12, including at least two plane reconstructions of the same section of the object 12 obtained respectively from one and the other of the first and second three-dimensional representations.

En chirurgie ORL, les reconstructions planes en coupe de l’objet 12 portent généralement sur des coupes sagittales, axiales et coronales. Elles sont obtenues par un calcul connu en soi, notamment par interpolation, à partir de coupes réelles acquises selon le mode d’imagerie considéré. Dans l’exemple illustré sur l’écran d’affichage 18 de la , une fenêtre supérieure gauche illustre un menu permettant de sélectionner par exemple un mode d’affichage parmi plusieurs prédéterminés, de procéder à l’étalonnage de l’instrument chirurgical 20 ou de revoir le recalage et les points de référence des représentations tridimensionnelles à disposition. Une fenêtre inférieure gauche illustre un suivi vidéo en temps réel par caméra endoscopique de l’instrument chirurgical 20 en mode opératoire. Une fenêtre supérieure centrale illustre une reconstruction plane coronale par scanner incluant un positionnement de l’extrémité fonctionnelle 22 de l’instrument chirurgical 20. Une fenêtre supérieure droite illustre une même reconstruction plane coronale par IRM incluant un positionnement de l’extrémité fonctionnelle 22 de l’instrument chirurgical 20. Une fenêtre inférieure centrale illustre une reconstruction plane axiale par scanner incluant un positionnement de l’extrémité fonctionnelle 22 de l’instrument chirurgical 20. Une fenêtre inférieure droite illustre une même reconstruction plane axiale par IRM incluant un positionnement de l’extrémité fonctionnelle 22 de l’instrument chirurgical 20. Cela permet d’apprécier la position de l’extrémité fonctionnelle 22 de l’instrument chirurgical 20 sur les deux modes d’imagerie scanner et IRM en même tempsIn ENT surgery, planar sectional reconstructions of object 12 generally involve sagittal, axial and coronal sections. They are obtained by a calculation known per se, in particular by interpolation, from real sections acquired according to the imaging mode considered. In the example illustrated on the display screen 18 of the , an upper left window illustrates a menu allowing you to select, for example, a display mode among several predetermined ones, to calibrate the surgical instrument 20 or to review the registration and reference points of the three-dimensional representations available. A lower left window illustrates real-time video monitoring by endoscopic camera of the surgical instrument 20 in operating mode. A central upper window illustrates a coronal plane reconstruction by scanner including a positioning of the functional end 22 of the surgical instrument 20. An upper right window illustrates the same coronal plane reconstruction by MRI including a positioning of the functional end 22 of the surgical instrument 20. surgical instrument 20. A lower central window illustrates an axial plane reconstruction by scanner including a positioning of the functional end 22 of the surgical instrument 20. A lower right window illustrates the same axial plane reconstruction by MRI including a positioning of the functional end 22 of the surgical instrument 20. This makes it possible to assess the position of the functional end 22 of the surgical instrument 20 on both scanner and MRI imaging modes at the same time

Le caisson principal 16 comporte en outre un module logiciel 58, destiné à être exécuté par l’unité de traitement 44, de suivi par localisation en temps réel de l’extrémité fonctionnelle 22 de l’instrument chirurgical 20 et de mise à jour à chaque instant de chacune des reconstructions planes affichées simultanément à l’écran 18 qui la comportent.The main box 16 further comprises a software module 58, intended to be executed by the processing unit 44, for monitoring by real-time location of the functional end 22 of the surgical instrument 20 and for updating at each instant of each of the planar reconstructions displayed simultaneously on screen 18 which include it.

Le caisson principal 16 comporte en outre un module logiciel 60, destiné à être exécuté par l’unité de traitement 44, de commutation de l’affichage sur l’écran 18 entre plusieurs reconstructions planes en coupe de l’objet 12 selon la première représentation tridimensionnelle scanner, plusieurs reconstructions planes en coupe de l’objet 12 selon la deuxième représentation tridimensionnelle IRM et plusieurs reconstructions planes en coupe de l’objet 12 selon les première et deuxième représentations tridimensionnelles scanner et IRM, cette commutation étant notamment activable par un rapprochement prédéterminé entre l’extrémité fonctionnelle 22 de l’instrument chirurgical 20 et un récepteur spécifique de l’ancillaire de référencement 24, par exemple son plot d’étalonnage. Cette commutation peut en outre être activable par interaction directe avec l’écran d’affichage 18 lorsqu’il est tactile. Chaque fenêtre affichée à l’écran 18 et présentant une reconstruction plane en coupe sagittale, axiale ou coronale de l’objet 12 peut en outre éventuellement être commutée individuellement, par exemple par interaction tactile ou autre, pour changer de coupe et/ou de mode d’imagerie.The main box 16 further comprises a software module 60, intended to be executed by the processing unit 44, for switching the display on the screen 18 between several plane sectional reconstructions of the object 12 according to the first representation three-dimensional scanner, several planar sectional reconstructions of the object 12 according to the second three-dimensional MRI representation and several planar sectional reconstructions of the object 12 according to the first and second three-dimensional scanner and MRI representations, this switching being in particular activatable by a predetermined rapprochement between the functional end 22 of the surgical instrument 20 and a specific receiver of the referencing instrument 24, for example its calibration pad. This switching can also be activated by direct interaction with the display screen 18 when it is touchscreen. Each window displayed on the screen 18 and presenting a plane reconstruction in sagittal, axial or coronal section of the object 12 can also optionally be switched individually, for example by tactile or other interaction, to change section and/or mode imaging.

Les modules logiciels 56, 58 et 60 sont exécutables indépendamment par l’unité de traitement 44, pas nécessairement dans l’ordre de leur présentation ci-dessus. Ils peuvent aussi être exécutés en même temps.Software modules 56, 58 and 60 are executable independently by the processing unit 44, not necessarily in the order of their presentation above. They can also be executed at the same time.

La illustre un autre exemple non limitatif d’affichage simultané de plusieurs reconstructions planes en coupe de l’objet 12 selon les première et deuxième représentations tridimensionnelles scanner et IRM précitées. L’affichage est ici subdivisé en six fenêtres. Les trois fenêtres supérieures sont respectivement des reconstructions planes en coupes sagittale, coronale et axiale de mode scanner, tandis que les trois fenêtres inférieures sont respectivement les mêmes reconstructions planes en coupes sagittale, coronale et axiale de mode IRM. Dans chaque fenêtre, l’extrémité fonctionnelle 22 de l’instrument chirurgical 20 est précisément localisée à l’intersection de deux axes, l’un horizontal et l’autre vertical. Le fait de visualiser et suivre l’extrémité fonctionnelle 22 simultanément dans les trois coupes sagittale, coronale et axiale et dans les deux modes d’imagerie scanner et IRM est une aide précieuse pour le praticien.There illustrates another non-limiting example of simultaneous display of several planar sectional reconstructions of the object 12 according to the first and second three-dimensional scanner and MRI representations mentioned above. The display is here subdivided into six windows. The three upper windows are respectively planar reconstructions in sagittal, coronal and axial sections in scanner mode, while the three lower windows are respectively the same planar reconstructions in sagittal, coronal and axial sections in MRI mode. In each window, the functional end 22 of the surgical instrument 20 is precisely located at the intersection of two axes, one horizontal and the other vertical. The fact of visualizing and following the functional end 22 simultaneously in the three sagittal, coronal and axial sections and in the two imaging modes of scanner and MRI is a valuable aid for the practitioner.

Le procédé de recalage tridimensionnel de représentations tridimensionnelles de l’objet 12 sur l’objet 12 lui-même tel qu’il peut être mis en œuvre par le dispositif d’aide à la navigation de la , correspondant à l’exécution des modules logiciels 50, 52 et 54, va maintenant être détaillé conformément à la succession d’étapes de la .The method of three-dimensional registration of three-dimensional representations of the object 12 on the object 12 itself as it can be implemented by the navigation aid device of the , corresponding to the execution of software modules 50, 52 and 54, will now be detailed in accordance with the succession of steps of the .

Au cours d’une étape 100 réalisée par exécution du module logiciel 50, une première représentation tridimensionnelle de l’objet 12 selon un premier mode d’imagerie tridimensionnelle, par exemple un selon un mode d’acquisition par scanner, est enregistrée en zone de stockage de données 48.During a step 100 carried out by execution of the software module 50, a first three-dimensional representation of the object 12 according to a first three-dimensional imaging mode, for example one according to a scanner acquisition mode, is recorded in the zone of data storage 48.

Au cours d’une étape suivante 102 réalisée par exécution du module logiciel 52, au moins trois points de référence prédéterminés Pr de l’objet 12 sont localisés dans la première représentation tridimensionnelle et enregistrés en zone de stockage de données 48. Dans l’exemple de la , ce sont quatre points de référence Pr qui sont prédéterminés et localisés : un point de localisation du nasion, un point de localisation de jonction naso-labiale, un point de localisation de rebord orbitaire externe gauche et un point de localisation de rebord orbitaire externe droit.During a following step 102 carried out by execution of the software module 52, at least three predetermined reference points Pr of the object 12 are located in the first three-dimensional representation and recorded in data storage zone 48. In the example of the , these are four reference points Pr which are predetermined and located: a nasion location point, a nasolabial junction location point, a left external orbital rim location point and a right external orbital rim location point .

Au cours d’une étape suivante 104 réalisée par exécution du module logiciel 52, ces mêmes points de référence Pr sont localisés dans le référentiel tridimensionnel lié à l’ancillaire de référencement 24 à l’aide de la pointe 30 du stylet 28 de façon connue en soi et ils sont également enregistrés en zone de stockage de données 48.During a following step 104 carried out by execution of the software module 52, these same reference points Pr are located in the three-dimensional reference system linked to the referencing instrument 24 using the tip 30 of the stylus 28 in a known manner in itself and they are also recorded in data storage area 48.

Au cours d’une étape suivante 106 réalisée par exécution du module logiciel 54, une surface de l’objet 12 est extraite dans la première représentation tridimensionnelle et est enregistrée en zone de stockage de données 48.During a following step 106 carried out by execution of the software module 54, a surface of the object 12 is extracted in the first three-dimensional representation and is recorded in data storage area 48.

Au cours d’une étape suivante 108 réalisée par exécution du module logiciel 54, plusieurs points surfaciques Ps autres que les points de référence Pr sont localisés sur la surface de l’objet 12 dans le référentiel tridimensionnel lié à l’ancillaire de référencement 24 à l’aide de la pointe 30 du stylet 28 et sont enregistrés en zone de stockage de données 48.During a following step 108 carried out by execution of the software module 54, several surface points Ps other than the reference points Pr are located on the surface of the object 12 in the three-dimensional reference system linked to the referencing instrument 24 to using the tip 30 of the stylus 28 and are recorded in data storage area 48.

Au cours d’une étape suivante 110 réalisée par exécution du module logiciel 54, le recalage tridimensionnel surfacique de la première représentation tridimensionnelle est calculé à partir de cet enregistrement de localisations de points surfaciques Ps. Le calcul de la première matrice de passage qu’il implique est facilité par le recalage angulaire préalable réalisé par l’exécution des étapes 102 et 104.During a following step 110 carried out by execution of the software module 54, the three-dimensional surface registration of the first three-dimensional representation is calculated from this recording of locations of surface points Ps. The calculation of the first passage matrix which it implies is facilitated by the prior angular registration carried out by the execution of steps 102 and 104.

Au cours d’une étape suivante 112, le recalage obtenu de la première représentation tridimensionnelle de l’objet 12 sur l’objet 12 lui-même peut être validé à l’aide du stylet 28 selon un protocole connu en soi, de sorte que cette étape ne sera pas détaillée.During a following step 112, the registration obtained from the first three-dimensional representation of the object 12 on the object 12 itself can be validated using the stylus 28 according to a protocol known per se, so that this step will not be detailed.

Au cours d’une étape suivante 114 réalisée par exécution du module logiciel 50, une deuxième représentation tridimensionnelle de l’objet 12 selon un deuxième mode d’imagerie tridimensionnelle, par exemple selon un mode d’acquisition par IRM, est enregistrée en zone de stockage de données 48.During a following step 114 carried out by execution of the software module 50, a second three-dimensional representation of the object 12 according to a second three-dimensional imaging mode, for example according to an MRI acquisition mode, is recorded in the zone of data storage 48.

Au cours d’une étape suivante 116 réalisée par exécution du module logiciel 52, les points de référence prédéterminés Pr de l’objet 12 sont localisés dans la deuxième représentation tridimensionnelle et enregistrés en zone de stockage de données 48.During a following step 116 carried out by execution of the software module 52, the predetermined reference points Pr of the object 12 are located in the second three-dimensional representation and recorded in data storage zone 48.

Au cours d’une étape suivante 118 réalisée par exécution du module logiciel 54, une surface de l’objet 12 est extraite dans la deuxième représentation tridimensionnelle et est enregistrée en zone de stockage de données 48.During a following step 118 carried out by execution of the software module 54, a surface of the object 12 is extracted in the second three-dimensional representation and is recorded in data storage area 48.

Au cours d’une étape suivante 120 réalisée par exécution du module logiciel 54, le recalage tridimensionnel surfacique de la deuxième représentation tridimensionnelle est calculé à partir de l’enregistrement des localisations des points surfaciques Ps réalisé à l’étape 108. Le calcul de la deuxième matrice de passage qu’il implique est facilité par le recalage angulaire préalable réalisé par l’exécution des étapes 116 et 104.During a following step 120 carried out by execution of the software module 54, the three-dimensional surface registration of the second three-dimensional representation is calculated from the recording of the locations of the surface points Ps carried out in step 108. The calculation of the second passage matrix that it involves is facilitated by the prior angular registration carried out by the execution of steps 116 and 104.

Enfin, au cours d’une étape suivante 122, le recalage obtenu de la deuxième représentation tridimensionnelle de l’objet 12 sur l’objet 12 lui-même peut lui aussi être validé à l’aide du stylet 28 selon un protocole identique à celui de l’étape 112.Finally, during a following step 122, the registration obtained from the second three-dimensional representation of the object 12 on the object 12 itself can also be validated using the stylus 28 according to a protocol identical to that of step 112.

Il apparaît clairement qu’un procédé de recalage tridimensionnel de représentations tridimensionnelles d’un objet sur l’objet lui-même tel que celui décrit précédemment permet d’envisager un affichage simultané de plusieurs représentations tridimensionnelles différentes de cet objet en facilitant et accélérant le recalage. Cet affichage simultané en plusieurs reconstructions planes en coupes de l’objet selon différents modes d’acquisition, avantageusement scanner et IRM mais pas uniquement, est un outil puissant d’aide à la navigation dans l’objet pour une application en chirurgie ORL.It clearly appears that a method of three-dimensional registration of three-dimensional representations of an object on the object itself such as that described above makes it possible to envisage a simultaneous display of several different three-dimensional representations of this object by facilitating and accelerating the registration . This simultaneous display in several planar sectional reconstructions of the object according to different acquisition modes, advantageously scanner and MRI but not only, is a powerful tool to aid navigation in the object for application in ENT surgery.

On notera par ailleurs que l’invention n’est pas limitée au mode de réalisation décrit précédemment. Il apparaîtra en effet à l'homme de l'art que diverses modifications peuvent être apportées au mode de réalisation décrit ci-dessus, à la lumière de l'enseignement qui vient de lui être divulgué. Dans la présentation détaillée de l’invention qui est faite précédemment, les termes utilisés ne doivent pas être interprétés comme limitant l’invention au mode de réalisation exposé dans la présente description, mais doivent être interprétés pour y inclure tous les équivalents dont la prévision est à la portée de l'homme de l'art en appliquant ses connaissances générales à la mise en œuvre de l'enseignement qui vient de lui être divulgué.It should also be noted that the invention is not limited to the embodiment described above. It will indeed appear to those skilled in the art that various modifications can be made to the embodiment described above, in light of the teaching which has just been disclosed to him. In the detailed presentation of the invention which is made previously, the terms used should not be interpreted as limiting the invention to the embodiment set out in the present description, but must be interpreted to include all the equivalents for which the prediction is within the reach of those skilled in the art by applying their general knowledge to the implementation of the teaching which has just been disclosed to them.

Claims (10)

Procédé de recalage tridimensionnel de représentations tridimensionnelles d’un objet (12) sur l’objet (12) lui-même, à l’aide d’un ancillaire de référencement (24) fixé sur l’objet (12) et d’un stylet (28) dont une pointe (30) est localisable dans un référentiel tridimensionnel lié à l’ancillaire de référencement (24), comportant :
  • un enregistrement (100, 102) en mémoire d’une première représentation tridimensionnelle de l’objet (12) selon un premier mode d’imagerie tridimensionnelle et de localisations d’au moins trois points de référence (Pr) de l’objet (12) dans cette première représentation tridimensionnelle ;
  • un recalage tridimensionnel angulaire (102, 104), par une unité de calcul (44), de cette première représentation tridimensionnelle sur l’objet (12) à partir d’un enregistrement (104), à l’aide de la pointe (30) du stylet (28), de localisations des points de référence (Pr) de l’objet (12) dans le référentiel tridimensionnel lié à l’ancillaire de référencement (24) ;
  • un recalage tridimensionnel surfacique (106, 108, 110), par l’unité de calcul (44), de cette première représentation tridimensionnelle sur l’objet (12) comportant :
    • une extraction (106) d’une surface de l’objet (12) dans la première représentation tridimensionnelle,
    • un enregistrement (108), à l’aide de la pointe (30) du stylet (28), de localisations d’une pluralité de points surfaciques (Ps) autres que les points de référence (Pr) sur la surface de l’objet (12) dans le référentiel tridimensionnel lié à l’ancillaire de référencement (24), et
    • le calcul (110) du recalage tridimensionnel surfacique à partir de cet enregistrement (108) de localisations de points surfaciques ;
  • un enregistrement (114, 116) en mémoire d’une deuxième représentation tridimensionnelle de l’objet (12) selon un deuxième mode d’imagerie tridimensionnelle, autre que le premier mode d’imagerie tridimensionnelle, et de localisations des points de référence (Pr) de l’objet (12) dans cette deuxième représentation tridimensionnelle ; et
  • un recalage tridimensionnel (116, 118, 120) de cette deuxième représentation tridimensionnelle de l’objet (12) sur l’objet (12) lui-même ;
caractérisé en ce que le recalage tridimensionnel (116, 118, 120) de la deuxième représentation tridimensionnelle comporte un recalage tridimensionnel surfacique (118, 120) de cette deuxième représentation tridimensionnelle, par l’unité de calcul (44), à partir de l’enregistrement (108) des localisations de points surfaciques (Ps) réalisé pour le recalage surfacique (110) de la première représentation tridimensionnelle.Method for three-dimensional registration of three-dimensional representations of an object (12) on the object (12) itself, using a referencing ancillary (24) fixed on the object (12) and a stylus (28) of which a tip (30) can be located in a three-dimensional reference system linked to the referencing instrument (24), comprising:
  • a recording (100, 102) in memory of a first three-dimensional representation of the object (12) according to a first three-dimensional imaging mode and of locations of at least three reference points (Pr) of the object (12 ) in this first three-dimensional representation;
  • an angular three-dimensional registration (102, 104), by a calculation unit (44), of this first three-dimensional representation on the object (12) from a recording (104), using the tip (30 ) of the stylus (28), locations of the reference points (Pr) of the object (12) in the three-dimensional frame of reference linked to the referencing instrument (24);
  • a three-dimensional surface registration (106, 108, 110), by the calculation unit (44), of this first three-dimensional representation on the object (12) comprising:
    • an extraction (106) of a surface of the object (12) in the first three-dimensional representation,
    • a recording (108), using the tip (30) of the stylus (28), of locations of a plurality of surface points (Ps) other than the reference points (Pr) on the surface of the object (12) in the three-dimensional reference system linked to the referencing instrument (24), and
    • calculating (110) the surface three-dimensional registration from this recording (108) of surface point locations;
  • a recording (114, 116) in memory of a second three-dimensional representation of the object (12) according to a second three-dimensional imaging mode, other than the first three-dimensional imaging mode, and of locations of the reference points (Pr ) of the object (12) in this second three-dimensional representation; And
  • a three-dimensional registration (116, 118, 120) of this second three-dimensional representation of the object (12) on the object (12) itself;
characterized in that the three-dimensional registration (116, 118, 120) of the second three-dimensional representation comprises a surface three-dimensional registration (118, 120) of this second three-dimensional representation, by the calculation unit (44), from the recording (108) of the locations of surface points (Ps) carried out for the surface registration (110) of the first three-dimensional representation. Procédé de recalage tridimensionnel selon la revendication 1, dans lequel le recalage tridimensionnel (116, 118, 120) de la deuxième représentation tridimensionnelle comporte un recalage tridimensionnel angulaire (116, 104), par l’unité de calcul (44), de cette deuxième représentation tridimensionnelle sur l’objet (12) à partir de l’enregistrement (104), réalisé pour le recalage tridimensionnel angulaire (102, 104) de la première représentation tridimensionnelle, des localisations des points de référence (Pr) de la surface de l’objet (12) dans le référentiel tridimensionnel lié à l’ancillaire de référencement (24).Three-dimensional registration method according to claim 1, in which the three-dimensional registration (116, 118, 120) of the second three-dimensional representation comprises an angular three-dimensional registration (116, 104), by the calculation unit (44), of this second three-dimensional representation on the object (12) from the recording (104), produced for the three-dimensional angular registration (102, 104) of the first three-dimensional representation, of the locations of the reference points (Pr) of the surface of the object (12) in the three-dimensional reference system linked to the referencing instrument (24). Procédé de recalage tridimensionnel selon la revendication 1 ou 2, dans lequel :
  • le recalage tridimensionnel surfacique (106, 108, 110) de la première représentation tridimensionnelle sur l’objet (12) comporte le calcul (110) d’une première matrice de passage entre les localisations des points surfaciques (Ps) enregistrées et leurs localisations sur la surface de l’objet (12) telle qu’extraite (106) dans la première représentation tridimensionnelle ; et
  • le recalage tridimensionnel surfacique (118, 120) de la deuxième représentation tridimensionnelle comporte une extraction (118) d’une surface de l’objet (12) dans la deuxième représentation tridimensionnelle et le calcul (120) d’une deuxième matrice de passage entre les localisations des points surfaciques (Ps) enregistrées (108) pour le recalage surfacique (106, 108, 110) de la première représentation tridimensionnelle et leurs localisations sur la surface de l’objet (12) telle qu’extraite (118) dans la deuxième représentation tridimensionnelle.
Three-dimensional registration method according to claim 1 or 2, in which:
  • the surface three-dimensional registration (106, 108, 110) of the first three-dimensional representation on the object (12) comprises the calculation (110) of a first passage matrix between the locations of the surface points (Ps) recorded and their locations on the surface of the object (12) as extracted (106) in the first three-dimensional representation; And
  • the surface three-dimensional registration (118, 120) of the second three-dimensional representation comprises an extraction (118) of a surface of the object (12) in the second three-dimensional representation and the calculation (120) of a second passage matrix between the locations of the surface points (Ps) recorded (108) for the surface registration (106, 108, 110) of the first three-dimensional representation and their locations on the surface of the object (12) as extracted (118) in the second three-dimensional representation.
Procédé de recalage tridimensionnel selon l’une quelconque des revendications 1 à 3, dans lequel le recalage tridimensionnel surfacique (106, 108, 110) de la première représentation tridimensionnelle sur l’objet (12) comporte l’enregistrement (108) des localisations de plusieurs centaines de points surfaciques (Ps) autres que les points de référence (Pr) sur la surface de l’objet (12) dans le référentiel tridimensionnel lié à l’ancillaire de référencement (24), de préférence entre 200 et 1000 points surfaciques, de préférence encore entre 500 et 600 points surfaciques.Three-dimensional registration method according to any one of claims 1 to 3, in which the surface three-dimensional registration (106, 108, 110) of the first three-dimensional representation on the object (12) comprises the recording (108) of the locations of several hundred surface points (Ps) other than the reference points (Pr) on the surface of the object (12) in the three-dimensional reference system linked to the referencing ancillary (24), preferably between 200 and 1000 surface points , preferably between 500 and 600 surface points. Procédé de recalage tridimensionnel selon l’une quelconque des revendications 1 à 4, comportant l’acquisition préalable :
  • de la première représentation tridimensionnelle sous la forme d’une image volumique de l’objet (12) par scanner ou tomodensitométrie ; et
  • de la deuxième représentation tridimensionnelle sous la forme d’une image volumique de l’objet (12) par résonance magnétique.
Three-dimensional registration method according to any one of claims 1 to 4, comprising the prior acquisition:
  • of the first three-dimensional representation in the form of a volume image of the object (12) by scanner or tomography; And
  • of the second three-dimensional representation in the form of a volume image of the object (12) by magnetic resonance.
Procédé de recalage tridimensionnel selon l’une quelconque des revendications 1 à 5, dans lequel l’objet (12) est une tête de patient humain ou animal et l’ancillaire de référencement (24) est un dispositif fixé sur cette tête avec une stabilité apte à induire une erreur de recalage submillimétrique, par exemple un bandeau frontal fixé de façon stable sur le front du patient, une pastille frontale fixée de façon stable sur le front du patient ou un dispositif buccal enserré dans la bouche du patient entre ses dents.Three-dimensional registration method according to any one of claims 1 to 5, in which the object (12) is a head of a human or animal patient and the referencing ancillary (24) is a device fixed to this head with stability capable of inducing a submillimeter registration error, for example a forehead band stably fixed on the patient's forehead, a forehead patch stably fixed on the patient's forehead or an oral device clamped in the patient's mouth between his teeth. Procédé de recalage tridimensionnel selon la revendication 6, dans lequel les points de référence (Pr) de la tête du patient sont non alignés, comportant par exemple au moins un point de localisation du nasion, un point de localisation de jonction naso-labiale et un point de localisation de rebord orbitaire externe lorsque l’ancillaire de référencement (24) est fixé de façon stable sur le front du patient.Three-dimensional registration method according to claim 6, in which the reference points (Pr) of the patient's head are non-aligned, comprising for example at least one nasion location point, a nasolabial junction location point and a external orbital rim location point when the reference ancillary (24) is stably fixed on the patient's forehead. Programme d’ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou exécutable par un processeur, comprenant des instructions (50, 52, 54) pour l’exécution des étapes d’un procédé de recalage tridimensionnel de représentations tridimensionnelles d’un objet (12) sur l’objet (12) lui-même selon l’une quelconque des revendications 1 à 7, lorsque ledit programme est exécuté par une unité de calcul (44) d’un dispositif (10) d’aide à la navigation dans l’objet (12) à l’aide d’un instrument (20) à extrémité fonctionnelle (22), et lorsque ce dispositif (10) comporte par ailleurs :
  • une mémoire (48) pour le stockage d’une première représentation tridimensionnelle de l’objet (12) selon un premier mode d’imagerie tridimensionnelle, de localisations d’au moins trois points de référence (Pr) de l’objet (12) dans cette première représentation tridimensionnelle, d’une deuxième représentation tridimensionnelle de l’objet (12) selon un deuxième mode d’imagerie tridimensionnelle autre que le premier mode d’imagerie tridimensionnelle, et de localisations des points de référence (Pr) de l’objet (12) dans cette deuxième représentation tridimensionnelle ;
  • un ancillaire de référencement (24) destiné à être fixé sur l’objet (12) ; et
  • un stylet (28), manipulable par un opérateur, dont une pointe (30) est localisable dans un référentiel tridimensionnel lié à l’ancillaire de référencement (24).
Computer program downloadable from a communications network and/or recorded on a computer-readable medium and/or executable by a processor, comprising instructions (50, 52, 54) for executing the steps of a registration process three-dimensional representations of an object (12) on the object (12) itself according to any one of claims 1 to 7, when said program is executed by a calculation unit (44) of a device ( 10) aiding navigation in the object (12) using an instrument (20) with a functional end (22), and when this device (10) also comprises:
  • a memory (48) for storing a first three-dimensional representation of the object (12) according to a first three-dimensional imaging mode, locations of at least three reference points (Pr) of the object (12) in this first three-dimensional representation, a second three-dimensional representation of the object (12) according to a second three-dimensional imaging mode other than the first three-dimensional imaging mode, and locations of the reference points (Pr) of the object (12) in this second three-dimensional representation;
  • a referencing instrument (24) intended to be fixed on the object (12); And
  • a stylus (28), which can be manipulated by an operator, a tip (30) of which can be located in a three-dimensional frame of reference linked to the referencing instrument (24).
Dispositif (10) d’aide à la navigation dans un objet (12) à l’aide d’un instrument (20) à extrémité fonctionnelle (22), comportant :
  • une mémoire (48) pour le stockage d’une première représentation tridimensionnelle de l’objet (12) selon un premier mode d’imagerie tridimensionnelle, de localisations d’au moins trois points de référence (Pr) de l’objet (12) dans cette première représentation tridimensionnelle, d’une deuxième représentation tridimensionnelle de l’objet (12) selon un deuxième mode d’imagerie tridimensionnelle autre que le premier mode d’imagerie tridimensionnelle, et de localisations des points de référence (Pr) de l’objet (12) dans cette deuxième représentation tridimensionnelle ;
  • une unité de calcul (44) conçue pour un recalage tridimensionnel desdites première et deuxième représentations tridimensionnelles de l’objet (12) sur l’objet (12) lui-même ;
  • un ancillaire de référencement (24) destiné à être fixé sur l’objet (12) ;
  • un stylet (28) dont une pointe (30) est localisable dans un référentiel tridimensionnel lié à l’ancillaire de référencement (24) ;
dans lequel l’unité de calcul (44) est plus précisément conçue (50, 52, 54) pour exécuter :
  • un recalage tridimensionnel angulaire de la première représentation tridimensionnelle sur l’objet (12) à partir d’un enregistrement, par interaction avec la pointe (30) du stylet (28) lorsqu’il est manipulé par un opérateur, des localisations des points de référence (Pr) de l’objet (12) dans le référentiel tridimensionnel lié à l’ancillaire de référencement (24) ;
  • un recalage tridimensionnel surfacique de la première représentation tridimensionnelle sur l’objet (12) comportant :
    • une extraction d’une surface de l’objet (12) dans la première représentation tridimensionnelle,
    • un enregistrement, par interaction avec la pointe (30) du stylet (28) lorsqu’il est manipulé par un opérateur, de localisations d’une pluralité de points surfaciques (Ps) autres que les points de référence (Pr) sur la surface de l’objet (12) dans le référentiel tridimensionnel lié à l’ancillaire de référencement (24), et
    • le calcul du recalage tridimensionnel surfacique à partir de cet enregistrement de localisations de points surfaciques ;
caractérisé en ce que l’unité de calcul (44) est conçue (54) pour que le recalage tridimensionnel de la deuxième représentation tridimensionnelle comporte un recalage tridimensionnel surfacique de cette deuxième représentation tridimensionnelle à partir de l’enregistrement des localisations de points surfaciques (Ps) réalisé pour le recalage surfacique de la première représentation tridimensionnelle.Device (10) for aiding navigation in an object (12) using an instrument (20) with a functional end (22), comprising:
  • a memory (48) for storing a first three-dimensional representation of the object (12) according to a first three-dimensional imaging mode, locations of at least three reference points (Pr) of the object (12) in this first three-dimensional representation, a second three-dimensional representation of the object (12) according to a second three-dimensional imaging mode other than the first three-dimensional imaging mode, and locations of the reference points (Pr) of the object (12) in this second three-dimensional representation;
  • a calculation unit (44) designed for three-dimensional registration of said first and second three-dimensional representations of the object (12) on the object (12) itself;
  • a referencing instrument (24) intended to be fixed on the object (12);
  • a stylus (28) whose tip (30) can be located in a three-dimensional reference system linked to the referencing instrument (24);
in which the calculation unit (44) is more precisely designed (50, 52, 54) to execute:
  • an angular three-dimensional registration of the first three-dimensional representation on the object (12) from a recording, by interaction with the tip (30) of the stylus (28) when it is manipulated by an operator, of the locations of the points of reference (Pr) of the object (12) in the three-dimensional reference system linked to the referencing instrument (24);
  • a three-dimensional surface registration of the first three-dimensional representation on the object (12) comprising:
    • an extraction of a surface of the object (12) in the first three-dimensional representation,
    • a recording, by interaction with the tip (30) of the stylus (28) when it is manipulated by an operator, of locations of a plurality of surface points (Ps) other than the reference points (Pr) on the surface of the object (12) in the three-dimensional reference system linked to the referencing instrument (24), and
    • calculating the surface three-dimensional registration from this recording of surface point locations;
characterized in that the calculation unit (44) is designed (54) so that the three-dimensional registration of the second three-dimensional representation comprises a surface three-dimensional registration of this second three-dimensional representation from the recording of the locations of surface points (Ps ) carried out for the surface registration of the first three-dimensional representation. Dispositif (10) d’aide à la navigation dans un objet (12) selon la revendication 9, comportant en outre :
  • un instrument (20) dont une extrémité fonctionnelle (22) est localisable dans le référentiel tridimensionnel lié à l’ancillaire de référencement (24) ; et
  • un écran (18) d’affichage simultané de plusieurs reconstructions planes en coupe de l’objet (12), dont au moins deux reconstructions planes d’une même coupe de l’objet (12) obtenues respectivement à partir de l’une et l’autre des première et deuxième représentations tridimensionnelles ;
dans lequel l’unité de calcul (44) est conçue (58, 60) pour :
  • localiser et afficher visuellement l’extrémité fonctionnelle (22) de l’instrument (20) dans chaque reconstruction plane en coupe de l’objet (12) affichée par l’écran (18) ; et
  • commuter l’affichage entre plusieurs reconstruction planes en coupe de l’objet (12) selon la première représentation tridimensionnelle, plusieurs reconstruction planes en coupe de l’objet (12) selon la deuxième représentation tridimensionnelle et plusieurs reconstruction planes en coupe de l’objet (12) selon les première et deuxième représentations tridimensionnelles, cette commutation étant activable par un rapprochement prédéterminé entre l’extrémité fonctionnelle (22) de l’instrument (20) et un plot d’étalonnage de l’ancillaire de référencement (24).
Device (10) for aiding navigation in an object (12) according to claim 9, further comprising:
  • an instrument (20) of which a functional end (22) can be located in the three-dimensional frame of reference linked to the referencing instrument (24); And
  • a screen (18) for simultaneously displaying several planar sectional reconstructions of the object (12), including at least two planar reconstructions of the same section of the object (12) obtained respectively from one and the other of the first and second three-dimensional representations;
in which the calculation unit (44) is designed (58, 60) for:
  • locate and visually display the functional end (22) of the instrument (20) in each planar sectional reconstruction of the object (12) displayed by the screen (18); And
  • switching the display between several planar sectional reconstructions of the object (12) according to the first three-dimensional representation, several planar sectional reconstructions of the object (12) according to the second three-dimensional representation and several planar sectional reconstructions of the object (12) according to the first and second three-dimensional representations, this switching being activated by a predetermined rapprochement between the functional end (22) of the instrument (20) and a calibration pad of the referencing instrument (24).
FR2202970A 2022-03-31 2022-03-31 Method for registering three-dimensional representations of an object on the object itself and device for aiding navigation in an object implementing this method Active FR3134213B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR2202970A FR3134213B1 (en) 2022-03-31 2022-03-31 Method for registering three-dimensional representations of an object on the object itself and device for aiding navigation in an object implementing this method
PCT/IB2023/052948 WO2023187589A1 (en) 2022-03-31 2023-03-24 Method for registering three-dimensional representations of an object on the object itself and device for providing navigation assistance in an object implementing said method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2202970 2022-03-31
FR2202970A FR3134213B1 (en) 2022-03-31 2022-03-31 Method for registering three-dimensional representations of an object on the object itself and device for aiding navigation in an object implementing this method

Publications (2)

Publication Number Publication Date
FR3134213A1 true FR3134213A1 (en) 2023-10-06
FR3134213B1 FR3134213B1 (en) 2024-05-03

Family

ID=81851228

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2202970A Active FR3134213B1 (en) 2022-03-31 2022-03-31 Method for registering three-dimensional representations of an object on the object itself and device for aiding navigation in an object implementing this method

Country Status (2)

Country Link
FR (1) FR3134213B1 (en)
WO (1) WO2023187589A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018006168A1 (en) * 2016-07-05 2018-01-11 7D Surgical Inc. Systems and methods for performing intraoperative image registration

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004049258B4 (en) * 2004-10-04 2007-04-26 Universität Tübingen Device, method for controlling operation-supporting medical information systems and digital storage medium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018006168A1 (en) * 2016-07-05 2018-01-11 7D Surgical Inc. Systems and methods for performing intraoperative image registration

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANN-DER LEE ET AL: "A Coarse-to-Fine Surface Registration Algorithm for Frameless Brain Surgery", 2007 ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY : [EMBC '07] ; LYON, FRANCE, 22 - 26 AUGUST 2007 ; [IN CONJUNCTION WITH THE BIENNIAL CONFERENCE OF THE SOCIÉTÉ FRANÇAISE DE GÉNIE BIOLOGIQUE ET MÉDICAL (SFGB, 22 August 2007 (2007-08-22), pages 836 - 839, XP031336299, ISBN: 978-1-4244-0787-3 *

Also Published As

Publication number Publication date
WO2023187589A1 (en) 2023-10-05
FR3134213B1 (en) 2024-05-03

Similar Documents

Publication Publication Date Title
AU2019204469B2 (en) Dynamic 3D lung map view for tool navigation inside the lung
EP2209425B1 (en) System and method for imaging and locating biopsies under prostatic echography
US9978141B2 (en) System and method for fused image based navigation with late marker placement
WO2017211225A1 (en) Method and apparatus for positioning navigation in human body by means of augmented reality based upon real-time feedback
EP2157931B1 (en) Multi-application robotised platform for neurosurgery and resetting method
FR2779339A1 (en) MATCHING METHOD AND APPARATUS FOR ROBOTIC SURGERY, AND MATCHING DEVICE COMPRISING APPLICATION
EP3684287B1 (en) Instrument guiding device
US9351703B2 (en) Apparatus and method for medical image searching
FR3048872A1 (en) AUTOMATED TRACING METHOD AND DEVICE FOR A SURGICAL ROBOT
JP7346693B2 (en) Medical image processing device, processor device, endoscope system, operating method of medical image processing device, and program
US20010051761A1 (en) Apparatus and method for calibrating an endoscope
US20140024951A1 (en) Annular vision system
US20110251456A1 (en) Method and Apparatus For Viewing A Body Cavity
FR2908628A1 (en) METHOD AND SYSTEM FOR CONTROLLING A MEDICAL INSTRUMENT
EP1267740A1 (en) Apparatus and method for calibrating an endoscope
EP3689287B1 (en) System for proposing and visualizing dental treatments
WO2018224485A1 (en) Method and system for assistance in guiding an endovascular instrument
WO2023187589A1 (en) Method for registering three-dimensional representations of an object on the object itself and device for providing navigation assistance in an object implementing said method
CA2751398A1 (en) Ultrasound browser
FR3132832A1 (en) Robotic spinal surgery system
EP2666421B1 (en) Device for assisting with otologic surgery of a patient to be implanted with a cochlear implant
FR2801185A1 (en) SECURE VIDEO ENDOSCOPE WITH INTEGRATED LASER PROFILOMETER FOR COMPUTER-ASSISTED SURGERY
WO2008047266A2 (en) Method of performing tableside automatic vessel analysis in an operation room
US11771506B2 (en) Method and system for controlling dental machines
JP7345866B2 (en) Information processing system, information processing method and program

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20231006

PLFP Fee payment

Year of fee payment: 3