FR3095331A1 - Procédé de chirurgie orthopédique assistée par ordinateur - Google Patents

Procédé de chirurgie orthopédique assistée par ordinateur Download PDF

Info

Publication number
FR3095331A1
FR3095331A1 FR1904453A FR1904453A FR3095331A1 FR 3095331 A1 FR3095331 A1 FR 3095331A1 FR 1904453 A FR1904453 A FR 1904453A FR 1904453 A FR1904453 A FR 1904453A FR 3095331 A1 FR3095331 A1 FR 3095331A1
Authority
FR
France
Prior art keywords
tool
target
action
image
orthopedic surgery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR1904453A
Other languages
English (en)
Inventor
Blaise BLEUNVEN
Cyril MOULIN
Sophie CAHEN
Nicolas Loy Rodas
Michel Bonnin
Tarik AIT SI SELMI
Marion DECROUEZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ganymed Robotics SAS
Original Assignee
Ganymed Robotics SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ganymed Robotics SAS filed Critical Ganymed Robotics SAS
Priority to FR1904453A priority Critical patent/FR3095331A1/fr
Priority to CA3137982A priority patent/CA3137982A1/fr
Priority to CN202080042753.2A priority patent/CN113950301A/zh
Priority to EP20720079.1A priority patent/EP3958779A1/fr
Priority to US17/606,258 priority patent/US12064187B2/en
Priority to PCT/EP2020/061522 priority patent/WO2020216934A1/fr
Priority to JP2021563645A priority patent/JP7510438B2/ja
Priority to AU2020261291A priority patent/AU2020261291A1/en
Publication of FR3095331A1 publication Critical patent/FR3095331A1/fr
Priority to US18/347,837 priority patent/US20230355312A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14—Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurosurgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

L’invention concerne un procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique. Figure de l’abrégé : Figure 6

Description

Procédé de chirurgie orthopédique assistée par ordinateur
Domaine de l’invention
La présente invention concerne la chirurgie assistée par ordinateur. Ce domaine regroupe un ensemble de systèmes informatiques et/ou physiques destinés à aider le chirurgien dans la planification et/ou la réalisation d’une intervention chirurgicale. Il regroupe les trois familles de systèmes suivants : les systèmes de navigation, les systèmes robotiques et les systèmes de guidage par réalité augmentée et/ou mixte.
Les principaux éléments des systèmes actuels de chirurgie assistée par ordinateur sont les suivants :
– Création d’un modèle virtuel du patient : soit à partir de données préopératoires spécifiques au patient obtenues par imagerie médicale (tomodensitométrie, IRM, radiographies, etc.), soit générées pendant l’intervention par un traitement informatique qui combine des bases de données génériques (e.g. atlas anatomiques, modèles statistiques de formes) et l’acquisition d’images peropératoires (fluoroscopie, ultrasons, etc.) ou des données de l’anatomie du patient obtenues à l’aide de localisateurs tridimensionnels ou de systèmes de palpage.
- Génération d’une planification chirurgicale à partir du traitement informatique du modèle virtuel du patient. Cette analyse est effectuée avant l’intervention dans le cas où le modèle patient provient de données préopératoires, ou au début de l’intervention dans le cas échéant.
– Navigation chirurgicale à partir d’un procédé de mise en correspondance de données préopératoires avec des données peropératoires obtenues grâce à un système optique de suivi de marqueurs fixés au patient et aux instruments. Ce procédé permet au chirurgien de visualiser le positionnement actuel des instruments chirurgicaux par rapport à l’anatomie du patient, et de suivre l’avancement de l’intervention par rapport à la planification chirurgicale. Dans les systèmes de navigation standard, ces informations sont affichées sur un écran. Dans les systèmes de navigation par réalité mixte, le guidage chirurgical est affiché par réalité augmentée ou virtuelle au travers d’un casque ou de lunettes de visualisation.
- Système d’aide à la réalisation du geste opératoire : des instruments spécifiques au patient (guides de coupe ou de fraisage sur mesure par exemple) peuvent être produits à partir de la planification peropératoire pour assister le geste pendant l’opération. Alternativement, des informations visuelles d’aide à la décision sont fournies au chirurgien. Dans le cas où un système physique assiste le chirurgien dans la réalisation des gestes chirurgicaux, il s’agit d’un système robotique ou cobotique.
Cette invention s’inscrit dans le domaine des systèmes robotiques de chirurgie assistée par ordinateur, avec l’arthroplastie de genou unicompartimentale ou totale comme indication principale mais non exclusive.
Pratique standard en navigation chirurgicale pour l’arthroplastie du genou
L’arthroplastie robotique assistée par ordinateur fait appel à des systèmes actifs ou collaboratifs (systèmes dits synergiques permettant de combiner habiletés du chirurgien et facultés du robot pour former un partenariat améliorant la performance) et à des systèmes de navigation dits passifs.
Il est connu de procéder dans un premier temps au calibrage du membre inférieur en recherchant, par des mouvements appropriés, les 3 points définissant l’axe mécanique du membre inférieur et alignés lors de l’extension, soit le centre de la tête fémorale (H), le centre du genou (K) et le centre de la cheville (A).
Ce repérage des points anatomiques et centres de rotation se fait grâce à la mise en place de corps rigides munis de marqueurs.
On procède au repérage :
  • du plateau tibial sain pour déterminer la hauteur de coupe en intégrant la pente tibiale postérieure éventuelle et en prenant en compte l’espace réséqué au niveau du ligament croisé postérieur ;
  • du fémur (condyle médial, latéral et corticale antérieure) pour déterminer la taille de la prothèse et garantir le centre articulaire du fémur ;
  • de la cheville (pointe de la malléole externe, de la malléole interne et milieu de l’articulation tibio-tarsienne).
A ce stade, les points K, H, A ont été trouvés ; l’axe mécanique et la taille de la prothèse sont estimés en temps réel et sont affichés sur l’écran de l’ordinateur ; les étapes suivantes se succèdent :
  • mise en place manuelle des guides de coupe tibiale et fémorale ;
  • réglage et fixation à l’os quand l’obtention du positionnement souhaité (hauteur de coupe, pente tibiale postérieure, valgus/varus...) a été obtenu, puis réalisation de la coupe fémorale et tibiale.
L’implantation de la prothèse se poursuit avec la coupe des chanfreins, la mise en place des implants d’essai, le réglage de la balance ligamentaire, la vérification de la course rotulienne, le resurfaçage ou non de la rotule et enfin la vérification de l’axe mécanique du membre inférieur obtenu s’affichant sur l’écran.
Terminologie
Tous les termes décrits ci-dessous sont définis pour leur utilisation dans le cadre de la chirurgie orthopédique.
  • Capteur 3D / Caméra 3D / Caméra Depth
    Un capteur 3D est un système permettant d’acquérir des données topologiques d’une scène réelle en 3 dimensions. Ces données topologiques sont enregistrées sous forme de nuage de points, et / ou de carte de profondeur.
    Plusieurs modalités permettent d’obtenir ces données topologiques :
    • Par temps de propagation d’onde
      • Ultrason
      • Lumière (LIDAR, Time Of Flight)
    • Par vision en utilisant au moins une caméra 2D
      Un pixel d’une caméra 2D correspond à un rayon lumineux, représentée par une droite dans l’espace euclidien. Afin d’avoir un point dans l’espace, il faut connaitre la longueur de ce rayon lumineux par rapport à la caméra. Pour cela on peut utiliser :
      • Une seconde caméra : Capteur stéréoscopique
        Un capteur stéréoscopique comporte une paire de caméras (certains capteurs peuvent comporter plusieurs paires).
        Le but est de trouver la correspondance de chacun des pixels d’une caméra dans l’autre caméra. La seconde caméra apportera l’information de longueur de rayon de la première caméra.
        Afin de faciliter la mise en correspondant des pixels entre les deux caméras, on peut trouver des capteurs stéréoscopiques dits « actifs », muni d’un projecteur de lumière, projetant sur la scène un motif moucheté (tâches lumineuses aléatoires).
      • La déformation lumineuse:
        • Lumière structurée
          Une caméra prend plusieurs photos de la scène, éclairée par un motif connu, correspondant à des rais lumineux à de multiples fréquences et déphasages. Suivant la déformation de chaque rai, il est possible d’en déduire la longueur du rayon lumineux.
          Les multiples fréquences et déphasage permettent de balayer toute la scène afin d’avoir un maximum de point 3D reconstruits.
        • Scan laser
          Suivant le même principe que pour la lumière structurée, mais au lieu de projeter des rais à diverses fréquences et déphasages, les rais (généralement un seul suffit) balayent la scène et la caméra suit les déformations tout au long du balayage.
          Un capteur 3D peut contenir une ou plusieurs de ces modalités de reconstruction.
          En plus de la reconstruction topologique en 3 dimensions, certains capteurs peuvent comporter d’autre modalités d’échantillonnage de la scène afin d’apporter davantage d’informations, par exemple :
    • Une caméra couleur ou multispectrale
    • Une caméra thermique
  • Navigation
    Un système de navigation chirurgicale permet d’avoir en temps réel la position et l’orientation de marqueurs grâce à un ordinateur. Ces marqueurs peuvent être optiques ou magnétiques, actifs ou passifs. Ils sont utilisés pour repérer des éléments présents dans la scène chirurgicale, par exemple :
    • Les outils du chirurgien
    • L’anatomie du patient (éléments osseux à usiner)
    • Des outils de mesures.
L’ordinateur connait la position de tous ces éléments dans un même repère euclidien, il est capable d’informer par diverses manières (réalité augmentée, écran, signal sonore, etc.) le chirurgien et son équipe de la position et de l’orientation de ces éléments.
  • Repérage (en anglais « Tracking »)
    En vision par ordinateur, le repérage consiste à suivre un objet entre les images successives d’un flux provenant d’une caméra.
  • Recalage ou mise en correspondance (en anglais « Registration », « Matching » ou « Pose estimation »)
  • Ces différents termes désignent sensiblement la même chose, qui est le calcul de la position et l’orientation d’un objet connu dans un échantillon de données topologiques en 3 dimensions.
  • Modèle numérique tridimensionnel
    Un modèle numérique (ou virtuel) tridimensionnel est un objet virtuel en 3 dimensions. La position et l’orientation du modèle est connu dans le référentiel numérique associé.
  • Planification
    Dans notre contexte, la planification désigne la simulation des phases d’usinage réalisées avant l’opération sur un modèle osseux numérique en 3 dimensions. Dans le cas d’une opération d’arthroplastie de genou par exemple, la planification consistera à la définition de chacun des plans de coupe et des axes de perçage par rapport à un modèle tridimensionnel du fémur et du tibia.
  • Données préopératoires
    Les données préopératoires correspondent aux images (ou coupes) du patient, obtenues par imagerie médicale (TDM, IRM, PET, etc.). Le modèle tridimensionnel du patient est obtenu par un traitement de segmentation de chaque image, suivi d’une interpolation entre les images.
  • Données peropératoires
    Les données peropératoires sont des données acquises pendant l’opération. Il peut s’agir d’imagerie médicale (fluoroscopie, ultrasons, etc.), de données tridimensionnelles, d’information de couleur, de température, issues des capteurs proprioceptifs, de retour d’effort vis-à-vis de l’outil d’usinage., etc.
Etat de la technique
On connaît dans l’état de la technique le brevet EP1303841A2 qui se rapporte à un logiciel de planification de chirurgie orthopédique assistée par ordinateur permettant la génération 3D (tridimensionnelle) de modèles d'os solides à partir d'images radiologiques 2D (bidimensionnelles) d'un os de patient. Ce logiciel de planification de chirurgie orthopédique assistée par ordinateur reconstruit les contours de l'os en commençant avec un os modèle 3D et en déformant l'os modèle 3D de manière à l'adapter sensiblement à la géométrie de l'os du patient. Un module de simulation et de planification chirurgicale du logiciel de planification de chirurgie orthopédique assistée par ordinateur génère un programme chirurgical simulé présentant l'animation du processus de distraction osseuse, le type et la taille de la structure de fixation devant être fixée sur l'os du patient, le programme de fixation de cette structure, l'emplacement du site d'ostéotomie/corticotomie, et les programmes de chirurgie sont présentés sous forme de graphiques 3D sur un écran d'ordinateur de façon à fournir au chirurgien une assistance préopératoire réaliste.
Les données chirurgicales postopératoires peuvent être réintroduites dans le logiciel de planification de chirurgie orthopédique assistée par ordinateur afin de permettre une révision de la trajectoire de la distraction osseuse spécifiée antérieurement en fonction de toute différence entre les données du programme préopératoire et les données courantes, postopératoires.
On connaît aussi le brevet EP1589892B1 concernant un appareil pour capturer des informations de dispositif de localisation, ledit appareil comprenant :
• un dispositif de localisation pour détecter un marqueur associé à un outil, ledit dispositif de localisation définissant un premier champ de vue ;
• une caméra présentant un deuxième champ de vue capable d'acquérir une image de champ, ledit deuxième champ de vue comprenant au moins une partie dudit premier champ de vue ;
• une mémoire ; et
• un ordinateur couplé de façon opérationnelle audit dispositif de localisation, à ladite caméra et à ladite mémoire, générant un événement désigné automatiquement à un moment prédéfini dans le temps pendant la procédure chirurgicale et identifiant l'occurrence dudit événement désigné, ledit ordinateur invitant ladite caméra à acquérir ladite image de champ en réponse à l'occurrence dudit événement désigné, ledit ordinateur capturant dans ladite mémoire les coordonnées dudit marqueur associé audit outil et à ladite image de champ acquise en réponse à l'occurrence dudit événement désigné.
Le modèle d’utilité CN206102735 décrit un robot de chirurgie orthopédique du genou comportant un cadre, un manipulateur et un dispositif de coupe piloté par un ordinateur de planification 3D. Une caméra permet de visualiser la position d’un marqueur en fonction.
La demande de brevet internationale WO2002037935A2 décrit un procédé de mise en œuvre d'opérations chirurgicales assistées par ordinateur qui exploitent la rétroaction peropératoire.
Un modèle en trois dimensions de la région du patient devant subir une opération chirurgicale est modélisé au moyen de techniques logicielles. Le modèle logiciel permet de produire un plan chirurgical, y compris la mise en place de marqueurs multifonctionnels, en vue de la réalisation de l'opération chirurgicale. Une fois les marqueurs placés sur le patient, on prend une image actualisée du patient, que l'on utilise pour calculer un plan chirurgical final en vue de la réalisation du reste de l'opération chirurgicale. La modélisation tridimensionnelle, la planification chirurgicale, et la chirurgie peuvent être réalisées à distance les unes des autres. Les différentes entités peuvent communiquer par le biais d'un réseau de communications électroniques, par exemple l'Internet.
La demande de brevet internationale WO2004001569A2 concerne un système qui est utilisé pour aider un chirurgien à effectuer une opération grâce à l'acquisition et à l'affichage d'une image du patient. Le déplacement ultérieur du patient et des instruments est suivi et affiché sur l'image. Des images d'implants sélectionnés sont enregistrées par le système et peuvent être appelées afin d'être superposées à l'image. Les opérations chirurgicales peuvent être planifiées au moyen des images du patient, des instruments et des implants et être enregistrées sous forme d'une série de tâches séquentielles se rapportant à des données définies, telles qu'une inclinaison ou une position. Les gestes du chirurgien peuvent être utilisés dans l'étape de planification afin d'appeler l'image des instruments et au cours de l'opération afin d'assurer la progression des tâches planifiées.
Le brevet américain US10136950B2 concerne un procédé permettant d'enregistrer automatiquement un système de navigation chirurgicale sur l'anatomie d'un patient. Le procédé comprend la programmation d'un système de navigation chirurgicale avec une première relation spatiale entre un composant chirurgical et un réseau de référence connecté au composant chirurgical, la programmation du système de navigation chirurgicale avec une seconde relation spatiale entre une caractéristique anatomique d'un patient et le composant chirurgical, l'installation du composant chirurgical sur le patient de telle sorte que le composant chirurgical engage la caractéristique anatomique dans la deuxième relation spatiale, et localisant le réseau de référence avec le système de navigation chirurgical. Le système de navigation reconnaît automatiquement la position du tableau de référence par rapport à l'anatomie du patient.
Inconvénients de l’art antérieur
Les solutions de l’art antérieur se répartissent en deux catégories.
La première concerne des solutions mettant en œuvre la pose de marqueurs sur l’os et les instruments, associée à un repérage optique permanent (« tracking » en anglais) pour assurer la mise en correspondance des référentiels réels et numériques et connaître la position exacte des os et des instruments chirurgicaux dans l’espace. L’utilisation de marqueurs vissés sur l’os occasionne un risque de fracture au point d’ancrage et allonge le temps opératoire. La visibilité des marqueurs (en anglais « Line Of Sight ») doit être garantie pendant toute l’intervention. Ces solutions ne sont donc pas robustes aux occlusions et contraignent le positionnement de l’équipe chirurgicale par rapport à la scène opératoire. D’autre part, elles multiplient le nombre d’étapes et d’outils (marqueurs, palpeur) et nécessitent une étape de palpation mécanique de la structure anatomique à mettre en correspondance avec le modèle numérique. Ces contraintes allongent la durée opératoire avec un travail fastidieux et exigent un apprentissage du chirurgien et de l’instrumentiste pour maîtriser la pose des marqueurs et le déroulement de l’opération. Enfin, les dispositifs optiques associés sont encombrants et coûteux.
La seconde catégorie repose sur l’utilisation de l’imagerie médicale peropératoire (radiographie, fluoroscopie) pour vérifier le positionnement de la prothèse avant la suture finale. Elle impose l’exposition à des radiations ionisantes du patient et du personnel médical, et l’allongement de la durée opératoire. Ce sont aussi des solutions encombrantes et coûteuses.
Par ailleurs aucun repérage purement optique ne permet une boucle de contrôle mécanique temps réel. Pour s’approcher de ce niveau de performance, il faut un repérage mécanique.
Solution apportée par l’invention
La présente invention est un procédé permettant la transposition d’une action planifiée dans un environnement virtuel vers une action physique dans un environnement réel, plus spécifiquement un bloc opératoire pour une intervention de chirurgie orthopédique.
La mise en œuvre de cette invention concerne par exemple les situations où on commence par déterminer une trajectoire, une position, un déplacement ou toute autre action physique via un outil de simulation numérique, par exemple une planification chirurgicale, dans un référentiel de simulation. Pour être exploitable dans un environnement réel, il est nécessaire de transposer cette trajectoire, cette position, ce déplacement ou cette autre action physique dans le référentiel réel, du patient, sur lequel les actions doivent être appliquées. Pour ceci, il faut déterminer la transformation permettant de mettre en correspondance le référentiel de simulation (virtuel) et le référentiel réel.
A titre préférentiel, l’invention concerne l’asservissement d’un support d’outil d’usinage d’élément osseux, afin de respecter des données de planification chirurgicale.
Un autre exemple d’application de l’invention concerne la réalité augmentée, pour commander la position d’une image superposée à la zone de vision d’un opérateur, par exemple un chirurgien, soit à partir d’une lunette de vision augmentée, soit à partir d’un projecteur.
Le procédé met en œuvre une référence mécanique cinématiquement liée avec l’outil d’usinage : pendant toute l’opération, la position et l’orientation de l’outil d’usinage par rapport à la référence mécanique sont connus grâce à des capteurs de position et/ou de déplacement des éléments constitutifs de la chaîne cinématique. D’autre part, la référence mécanique est rigidement liée à l’élément osseux à usiner (cible). Pendant l’opération, l’invention utilise des données de profondeur (aussi appelées données 3D) pour effectuer un recalage initial de l’élément osseux avec les données de planification obtenues de manière préopératoire ou peropératoire (en début d’opération, après incision mais avant résections osseuses). De cette manière, la position et l’orientation de la référence mécanique par rapport à la cible est déterminée. Le recalage initial et le lien cinématique permettent de définir la trajectoire de l’outil d’usinage dans le référentiel de la cible. À tout moment la position et l’orientation de l’outil d’usinage par rapport à l’élément osseux sont connues et il est possible de corriger sa trajectoire en cas de mouvement du patient, afin de respecter la planification chirurgicale préalablement établie.
La présente invention remédie aux inconvénients de l’art antérieur en ce qu’elle ne requiert ni imagerie ionisante, ni marqueurs percutanés multiples pour permettre l’asservissement d’un support d’outil d’usinage par rapport à des données numériques de planification chirurgicale. Elle apporte en outre des avantages en termes de rapidité de calcul et compacité des dispositifs mis en œuvre.
L’invention comporte :
  • Une première étape d’acquisition d’au moins une image 3D à partir d'un capteur d'image(s) tridimensionnelle(s), d'une scène comportant :
    • une partie au moins d’une cible (l’élément osseux à usiner)
    • une partie au moins de la référence mécanique cinématiquement liée audit outil.
  • Une deuxième étape de mise en correspondance de ladite image 3D avec un modèle numérique de la cible par un traitement permettant de déterminer la transformationCTAqui définit la position et l’orientation du référentiel RAd’acquisition par rapport au référentiel RCde la cible.
  • Une troisième étape de mise en correspondance de ladite image 3D avec un modèle numérique de la référence mécanique, permettant de déterminer la transformationMTAqui définit la position et l’orientation du référentiel RApar rapport au référentiel RM de la référence mécanique.
  • Une quatrième étape de calcul de la matrice de transformation entre le repère cible RCet le repère de la référence mécanique RMen utilisant les matrices de transformationsCTAetMTA
  • Une cinquième étape de transposition de la planification initiale dans le repère RCde la cible.
Le procédé comporte des étapes d’acquisition en temps réel des positions et/ou déplacements des éléments constitutifs de la chaîne cinématique reliant ladite référence mécanique audit outil lors de ladite action physique à l’aide d’un outil.
Le procédé comporte des étapes d’acquisition en temps réel des positions et/ou déplacements des éléments constitutifs de la chaîne cinématique reliant ladite référence mécanique audit outil permettant :
  • De calculer la transformationOTMentre le référentiel de la référence mécanique et le référentiel de l’outil d’usinage puis,
  • De calculer la transformationOTCentre le référentiel de l’outil d’usinage et le référentiel de la cible, connaissantMTC ,
pour connaître, et de ce fait transposer, en temps réel la trajectoire dudit outil par rapport à ladite cible et respecter la planification lors de ladite action physique à l’aide d’un outil.
Le procédé ne repose pas sur le suivi optique en temps réel de la scène. Il s’affranchit donc des problèmes liés aux systèmes standards de navigation chirurgicale comme la multiplicité des marqueurs et la perte du suivi en cas d’occlusion de la zone opératoire. En effet, une fois que les données de planification sont connues dans RC, les capteurs proprioceptifs du dispositif mécanique permettent de calculer à tout moment, la position et l’orientation du support d’outil d’usinage par rapport à la cible.
Selon une variante, lesdites deuxième et troisième étapes de mise en correspondance sont remplacées par les étapes suivantes :
  • Une étape d’extraction des zones d'intérêts consistant à extraire une première zone d'intérêt correspondant à ladite cible et d’une deuxième zone d'intérêt correspondant à ladite référence mécanique pour déterminer :
    • Un premier sous-ensemble de ladite image numérique tridimensionnelle associé à ladite cible
    • Un deuxième sous-ensemble de ladite image numérique tridimensionnelle associé à ladite référence mécanique
  • Une étape de mise en correspondance dudit premier sous-ensemble associé à ladite cible avec le modèle numérique de ladite cible pour déterminerCTA.
  • Une étape de mise en correspondance dudit sous-ensemble associé à ladite référence mécanique avec le modèle numérique de ladite référence mécanique pour déterminerMTA.
Selon des variantes de réalisation, prises isolément ou en combinaison techniquement réaliste, l’invention concerne également les caractéristiques additionnelles suivantes :
- la chaîne cinématique proprioceptive est constituée par une structure rigide déformable comportant des capteurs de mesure des efforts s’appliquant sur ses constituants.
- ladite première étape d’acquisition d’une image 3D est réalisée par numérisation 3D texturée mettant en œuvre au moins deux caméras et un vidéoprojecteur pour réaliser une acquisition par stéréovision.
- ladite première étape d’acquisition comporte en outre une acquisition d’une image thermique.
- ladite première étape d’acquisition comporte en outre une acquisition d’une image par ultrasons.
- ladite première étape d’acquisition comporte en outre une acquisition d’une image multispectrale.
- ladite première étape d’acquisition comporte en outre une acquisition d’une image à l’échelle microscopique.
- ladite première étape d’acquisition comporte en outre une acquisition d’une image couleur.
- les mouvements dudit outil d’usinage par rapport à la cible sont suivis grâce à des capteurs de position et/ou de déplacement des éléments constitutifs de la chaîne cinématique entre la cible et ledit outil d’usinage, permettant de corriger la transposition des actions planifiés dans un environnement virtuel vers l’environnement réel.
- ledit modèle numérique tridimensionnel de la cible a été généré à partir d’images scanner ou IRM.
- ledit modèle numérique tridimensionnel de la cible a été numériquement modifié pour simuler un bruit de mesure ou la présence de cartilage, lesdites modifications étant calculées à partir de données d’apprentissage ou de données de simulation biomécaniques.
Avantageusement, ledit traitement numérique de recalage de la 2èmeétape permettant de déterminer la transformationCTAqui définit la position et l’orientation du référentiel RAd’acquisition par rapport au référentiel RCde la cible est non-rigide.
Description détaillée d'un exemple non limitatif de l'invention
Le but de la présente invention est de mettre en correspondance, de manière permanente et temps-réel, les données numériques de planification avec la réalité opératoire.
Le modèle numérique de planification consiste en un modèle numérique tridimensionnel du patient et un ensemble d’équations géométriques caractérisant les actions d’usinage sur les éléments osseux du patient.
Le modèle numérique du patient peut être généré à partir d’images médicales acquises avant l’opération. Il peut être modifié pour prendre en compte des éléments non visibles dans les images médicales, par exemple le cartilage qui n’est pas visible dans les images scanner. Dans ce cas, les modifications apportées sont générées à partir de données d’apprentissage ou de données de simulation biomécanique. Le modèle numérique peut aussi être généré à partir de modèles statistiques ou d’abaques et de données physiques du patient associés ou non aux images médicales préopératoires. De plus, le modèle numérique peut être adapté tenant compte de données acquises pendant l’opération.
Les données de planification sont acquises dans un lieu, un moment et avec un positionnement du patient par rapport aux moyens d’imagerie qui peuvent être totalement indépendants du lieu, moment et positionnement du patient pendant le déroulement de la chirurgie. Pourtant, les données numériques doivent être rapprochées de la réalité physique pour permettre un asservissement des mouvements de l’outil chirurgical réel en fonction des données numériques de planification.
A titre d’exemple, l’outil chirurgical est associé à un support d’outil relié à une référence mécanique, tel qu’un préhenseur ou une vis, fixé mécaniquement sur l’os à usiner. La liaison mécanique entre ce support d’outil et la référence mécanique est assurée par une structure déformable, par exemple un ensemble articulé comprenant des capteurs fournissant un signal en fonction de l’orientation relative des éléments articulés. Ces capteurs fournissent ainsi une information numérique permettant de déterminer en temps réel la position dans l’espace de l’extrémité active de l’outil par rapport à un point fixe de l’élément fixé sur l’os.
De plus, l’acquisition de données peropératoires et le recalage avec le modèle numérique de planification permettent de connaître la position de la référence mécanique fixée sur l’os par rapport à la surface à usiner. On peut transposer dans le monde réel une trajectoire connue par simulation dans un référentiel de simulation, par exemple pour assurer un guidage de l’outil, un asservissement de ses déplacements, ou un contrôle de position par rapport à une position prédéterminée lors de la planification.
Pour la suite de la description, les référentiels suivants seront pris en compte :
Le référentiel planning RPdes images numériques de planification enregistrées dans la mémoire d’un ordinateur. L’élément à usiner, dans l’exemple décrit le fémur (10) est connu dans ce référentiel planning RP ainsi que les données de planification chirurgicale (e.g. la position des plans de coupe (11) ou les axes de perçage).
Le référentiel cible RCcorrespond au référentiel physique de l’élément à usiner (cible), en l’occurrence la surface de la tête du fémur. Les référentiels RCet RPdoivent être mis en correspondance dans ce procédé.
Le référentiel outil ROcorrespond au référentiel physique de l’outil d’usinage (20).
Le référentiel d’acquisition RAcorrespond au référentiel « caméra » dans lequel les données acquises pendant l’opération sont décrites (30).
Le référentiel mécanique RMcorrespond au référentiel physique de la référence mécanique (40) cinématiquement liée à l’outil (20). La position et l’orientation de l’outil (20) par rapport à la référence mécanique (40) sont connues par des capteurs fournissant des signaux représentatifs des déplacements angulaires et/ou linéaires de l’outil (20) par rapport au support (40).
La présente invention sera mieux comprise à la lecture de la description détaillée d'un exemple non limitatif de l'invention qui suit, se référant aux dessins annexés où :
La figure 1 représente une vue schématique des différents référentiels.
La figure 2 représente une vue schématique de la deuxième étape du procédé. D’abord, le référentiel cible RC et le référentiel RP sont alignés pour déterminer la transformation CTA qui définit la position et l’orientation du référentiel RA par rapport à RC. CTA est une matrice homogène (matrice de passage), composée d’une matrice de rotation CRA et d’un vecteur de translation CtA. Elle définit la pose de RC par rapport à RA.
La figure 3 illustre la troisième étape, où, par un procédé similaire à celui de l’étape antérieure, la pose de RM par rapport à RA (matrice de transformation MTA) est déterminée. MTA est une matrice homogène (matrice de passage), composée d’une matrice de rotation MRA et d’un vecteur de translation MtA. Elle définit la pose de RM par rapport à RA.
Dans la figure 4, la transformation CTM entre la référence mécanique et la cible est calculée par composition des matrices ATC (matrice inverse de CTA) et MTA.
La figure 5 correspond à la cinquième étape du procédé. La transformation OTM, déterminée à partir de la chaîne cinématique liant la référence mécanique et l’outil d’usinage, est combinée à CTM pour calculer CTO (la pose de de l’outil d’usinage dans les référentiels cible et planning).
La figure 6 montre un exemple de réalisation du système, où la référence mécanique (40) est liée par une liaison cinématique à l’outil (20). Une interface homme-machine, représentée ici par l’écran (60) donne un retour visuel sur les différentes étapes du procédé.
Première étape
A cet effet, on procède à l’acquisition d’une image 3D par une caméra dont le champ de prise de vue englobe une partie de la scène opératoire dans laquelle apparaît une partie du fémur (surface à usiner ou cible) (10) et une partie de la référence mécanique (40). Le résultat de l’acquisition peut être affiché sur un écran (60).
L’acquisition peut être réalisée par une caméra 3D, un couple de caméras pour acquérir des images en stéréovision active, un scanner 3D ou encore un LIDAR pour fournir une image tridimensionnelle de type (x, y, z ; a) ou une carte de profondeur, de nuage de points, a désignant un paramètre tel que la couleur ou l’intensité.
Numérisation 3D de la scène opératoire
Une solution de numérisation 3D texturée utilise deux ou plusieurs caméras étalonnées et un vidéoprojecteur pour réaliser une acquisition par stéréovision et de la lumière structurée par décalage de phase permettant une reconstruction 3D fidèle de la zone opératoire. La solution proposée intègre un schéma de super-résolution spatio-temporelle, avec un recalage non-rigide 3D, pour corriger l’information 3D et compléter la vue scannée.
La lumière structurée est codée par un multiplexage temporel. Deux patrons sinusoïdaux en opposition de phase et un troisième patron blanc sont successivement projetés sur la scène opératoire. Un échantillonnage 2D est d’abord appliqué pour chaque caméra séparément pour localiser les points d’intersection de franges. Un modèle 3D non-dense de la scène est ainsi estimé pour chaque couple de caméras par un appariement stéréo entre les primitives obtenues et une triangulation optique. La résolution spatiale de ce modèle dépend du nombre de franges formant le patron utilisé. Un modèle 3D dense est ensuite obtenu par une estimation de l’information de phase des points situés à l’intérieur des franges, séparément pour chaque couple caméra-projecteur utilisées. Les approches classiques à base de lumière structurée par décalage de phase nécessitent un étalonnage hors-ligne du vidéoprojecteur avec les caméras et une étape de déroulement de phase.
La super-résolution spatio-temporelle permet de compléter et corriger les modèles 3D de la scène observée puisque la numérisation 3D peut engendrer des distorsions et des artéfacts causés essentiellement par des occultations, par une variation de la pose, ou même par une réflexion de la lumière sur la surface d’acquisition. Ainsi, en utilisant d’une part les différents modèles 3D fournis par tous les couples de caméras et d’autre part la trame 3D calculée à l’instant t−1, on obtient un modèle 3D de haute résolution corrigé à l’instant t. La super-résolution spatio-temporelle est assurée par une première étape d’appariement 3D suivie par une étape de fusion et de débruitage. Une approche non-rigide d’appariement 3D permet de traiter une éventuelle distorsion ou déformation de la zone observée non-rigide. Un maillage du nuage 3D obtenu et un plaquage de la texture permettent de finaliser la trame 3D texturée de l’instant t.
Le résultat de cette première étape est l’enregistrement dans la mémoire de l’ordinateur d’une image 3D de la zone contenant à la fois une partie visible de l’os (50) et une partie visible de la référence (40), sous forme de nuage de points définis chacun par une intensité lumineuse, la couleurs et les coordonnées (x,y,z) dans le référentiel d’acquisition RA.
Modalités d’imagerie additionnelles
Une solution particulière consiste à acquérir des images additionnelles de nature différentes, dans le même référentiel RA, ou dans un référentiel calibré avec RApour disposer d’informations additionnelles. La calibration de la modalité additionnelle requière l’utilisation d’une mire géométrique visible sous différents angles de vue à la fois par la caméra 3D et la modalité additionnelle. Les paires d’images ainsi obtenues sont traitées et recalées pour en déduire la matrice de calibration.
L’image additionnelle peut par exemple être une image thermique réalisée par une caméra thermique procédant à une acquisition de la zone opératoire avec une orientation et une distance proche de celle de la caméra 3D. Cette image facilite la distinction entre les zones vivantes et l’outil.
Il peut également s’agir d’une acquisition par une caméra couleur, une sonde à ultrasons ou un capteur multispectral.
Deuxième étape : Extraction des zones d’intérêts
Le traitement suivant consiste à exploiter l’image enregistrée lors de l’étape d’acquisition pour isoler les parties correspondant à la cible (fémur), et les parties de l’image correspondant à la référence mécanique.
Pour cela, on procède à un traitement de ladite image numérique tridimensionnelle, et de l’image obtenue par ladite imagerie additionnelle si elle est présente, de l’ensemble de la scène par des algorithmes de caractérisation des sous-ensembles de la carte de profondeurs ou du nuage de points.
Le résultat de ce traitement sera une segmentation ou classification :
  • avec un premier indicateur (label) associé à la référence mécanique correspondant à un premier sous-ensemble de points de l’image numérique tridimensionnelle,
  • avec un deuxième indicateur (label) associé à la cible (fémur), correspondant à un deuxième sous-ensemble de points de l’image numérique.
Ce traitement sera réalisé par des traitements successifs d’analyse de contours, de couleurs et éventuellement d’estimateurs, ou par un traitement par intelligence artificielle, ou par un traitement prenant en compte des a priori géométriques de positionnement de la référence mécanique et de la cible par rapport au système d’acquisition.
D’autre part, cette étape d’extraction des zones d’intérêt est optionnelle si les algorithmes de mise en correspondance appliqués pendant la troisième et la quatrième étapes sont suffisamment robustes.
Troisième étape : Mise en correspondance du référentiel physique lié à la cible avec le repère d’acquisition.
La troisième étape consiste à mettre en correspondance le repère physique RClié à ladite cible physique avec le repère de l’acquisition RA, par un traitement de recalage entre :
  • le sous-ensemble de l’image numérique tridimensionnelle associé à la cible, déterminé lors des étapes précédentes et
  • le modèle numérique tridimensionnel de la cible enregistré avec les données de planification.
Ce traitement consiste à déterminer la transformationCTA, donnant la position et l’orientation du référentiel RApar rapport à Rc.
Ce traitement fait appel aux techniques d’appariement permettant de trouver une déformation sous-jacente commune à deux structures géométriques de même nature, permettant de les relier, c’est-à-dire tenter de décrire la deuxième structure comme étant obtenue à partir de la première par l’application d’une transformation de l’espace.
L’homme du métier connaît des techniques de mise en correspondance fondées sur l’extraction préalable de points caractéristiques, à partir desquels sont induites les déformations, ou l’exploitation de structures géométriques dérivées des images originales : points, portions de courbes ou de surfaces obtenues par segmentation, dans la mesure où celles-ci captent les informations essentielles des images, géométriques – points ou lignes de fortes courbures – ou anatomiques.
Une technique adaptée est basée sur le recalage points-à-points (« registration » en anglais) par un processus d'estimation d’une transformation optimale entre deux jeux de données. Le recalage est dit rigide si la transformation géométrique comprend une rotation et une translation. Le recalage est dit non-rigide si la transformation géométrique est d'ordre supérieur (a-ne, polynôme, splines…) ou si la transformation n'est pas paramétrique.
Dans le cadre de la présente invention, un recalage rigide est généralement suffisant pour calculer la matrice de transformation du référentiel réel vers le référentiel de planification de l’élément osseux.
Quatrième étape : Mise en correspondance du référentiel physique lié à la référence mécanique avec le repère d’acquisition.
La quatrième étape consiste à mettre en correspondance le repère physique RMlié à ladite référence mécanique physique avec le repère de l’acquisition RA, par un traitement de recalage entre :
  • l’image numérique tridimensionnelle de ladite référence mécanique,
  • et le modèle numérique tridimensionnel de ladite référence mécanique.
On applique le même type de traitement de recalage rigide en utilisant le sous-ensemble de l’image de points de l’image 3D correspondant à la référence mécanique, et sa représentation numérique dans la mémoire de l’ordinateur.
Le résultat de ce traitement permet de déterminer la transformationMTA, donnant la position et l’orientation du référentiel RMpar rapport à RA.
Cinquième étape : transformation entre le repère cible physique R C et le repère mécanique physique R M
La cinquième étape du procédé consiste à calculer la transformation entre le repère physique de la cible RCet le repère physique de la référence mécanique RM. Connaissant les matricesCTA etMTAgrâce aux deux étapes précédentes, on peut en déduire la matrice de transformationMTCtraduisant la relation entre le référentiel RCet le référentiel RM .
Sixième étape : transposition de la planification initiale vers une planification physique
La sixième étape concerne la transposition de la planification initiale vers une planification physique dans le repère RC et l’asservissement du support de l’outil en fonction des données numériques ainsi transposées. La transformationOTM, déterminée à partir de la chaine cinématique liant la référence mécanique et l’outil d’usinage, est combinée àCTMpour calculer la pose de de l’outil dans les référentiels cible (OTC), et donc transposer les données de planification à l’environnement réel. La connaissance deOTCpermet alors de corriger la trajectoire de l’outil en fonction des mouvements de la cible pendant l’intervention.
Les données de planification chirurgicale, transposées sur les images peropératoires, peuvent être affichées sur un écran (60) dans la salle opératoire. Ainsi, le chirurgien bénéficie d’un retour visuel de l’avancement de la procédure par rapport au planning.
Variante de réalisation
Selon une variante de réalisation les étapes 2 et 3 sont réalisées sans passage par une étape d’extraction de sous-ensemble, par un traitement unique à l’aide d’un algorithme robustes aux données aberrantes, par exemple Random Sample Consensus (RANSAC).

Claims (15)

  1. – Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique caractérisé en ce qu’il comporte les étapes suivantes :
    • Une première étape d’acquisition d’au moins une image 3D à partir d'un capteur d'image(s) tridimensionnelle(s), d'une scène comportant :
      • une partie au moins d’une structure anatomique cible
      • une partie au moins d’une référence mécanique cinématiquement liée audit outil
    • Une deuxième et une troisième étape de mise en correspondance de ladite image 3D avec un modèle numérique de la cible
    • Une quatrième étape de calcul de la matrice de transformationMTCentre le repère cible RCet le repère de la référence mécanique RMen utilisant les matrices de transformationsCTAetMTA
    • Une cinquième étape de transposition de la planification initiale dans le repère RCde la cible.
    Et en ce que ledit procédé comporte des étapes d’acquisition en temps réel des positions et/ou déplacements des éléments constitutifs de la chaîne cinématique reliant ladite référence mécanique audit outil permettant :
    • De calculer la transformationOTMentre le référentiel de la référence mécanique et le référentiel de l’outil d’usinage puis,
    • De calculer la transformationOTCentre le référentiel de l’outil d’usinage et le référentiel de la cible, connaissantMTC ,
    pour connaître, et de ce fait transposer, en temps réel la trajectoire dudit outil par rapport à ladite cible et respecter la planification lors de ladite action physique à l’aide d’un outil.
  2. – Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon la revendication 1 caractérisé en ce que lesdites deuxième et troisième étapes de mise en correspondance sont constituées respectivement par :
    • Une étape de mise en correspondance de ladite image 3D avec un modèle numérique de la cible par un traitement permettant de déterminer la transformationCTAqui définit la position et l’orientation du référentiel RAd’acquisition par rapport au référentiel de la cible RC.
    • Une étape de mise en correspondance de ladite image 3D avec un modèle numérique de la référence mécanique, permettant de déterminer la transformationMTAqui définit la position et l’orientation du référentiel RApar rapport au référentiel de la référence mécanique RM
  3. – Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon la revendication 1 caractérisé en ce que lesdites deuxième et troisième étapes de mise en correspondance sont constituées par :
    • Une étape d’extraction des zones d'intérêts consistant à extraire une première zone d'intérêt correspondant à ladite cible et d’une deuxième zone d'intérêt correspondant à ladite référence mécanique pour déterminer :
      • Un premier sous-ensemble de ladite image numérique tridimensionnelle associé à ladite cible
      • Un deuxième sous-ensemble de ladite image numérique tridimensionnelle associé à ladite référence mécanique
    • Une deuxième étape de mise en correspondance dudit premier sous-ensemble associé à ladite cible avec le modèle numérique de ladite cible pour déterminerCTA.
    • Une troisième étape de mise en correspondance dudit deuxième sous-ensemble associé à ladite référence mécanique avec le modèle numérique de ladite référence mécanique pour déterminerMTA.
  4. – Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon l’un au moins des revendications 1 à 3 caractérisé en ce que ladite chaîne cinématique proprioceptive est constituée par une structure rigide déformable comportant des capteurs de positions relatives de ses constituants.
  5. – Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon l’un au moins des revendications 1 à 3 caractérisé en ce que, ladite chaîne cinématique proprioceptive est constituée par une structure rigide déformable comportant des capteurs de mesure des efforts s’appliquant sur ses constituants.
  6. – Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon la revendication 1 caractérisé en ce que ladite première étape d’acquisition d’une image 3D est réalisée par numérisation 3D texturée mettant en œuvre au moins deux caméras et un vidéoprojecteur pour réaliser une acquisition par stéréovision.
  7. – Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon la revendication 1 caractérisé en ce que ladite première étape d’acquisition comporte en outre une acquisition d’une image thermique.
  8. – Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon la revendication 1 caractérisé en ce que ladite première étape d’acquisition comporte en outre une acquisition d’une image par ultrasons.
  9. – Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon la revendication 1 caractérisé en ce que ladite première étape d’acquisition comporte en outre une acquisition d’une image multispectrale.
  10. – Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon la revendication 1 caractérisé en ce que ladite première étape d’acquisition comporte en outre une acquisition d’une image à l’échelle microscopique.
  11. - Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon la revendication 1 caractérisé en ce que ladite première étape d’acquisition comporte en outre une acquisition d’une image couleur.
  12. - Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon les revendications 1 et 4 ou 5, caractérisé en ce que les mouvements dudit outil d’usinage par rapport à la cible sont suivis grâce à des capteurs de position et/ou de déplacement des éléments constitutifs de la chaîne cinématique entre la cible et ledit outil d’usinage, permettant de corriger la transposition des actions planifiés dans un environnement virtuel vers l’environnement réel.
  13. - Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon la revendication 1 caractérisé en ce que ledit modèle numérique tridimensionnelle de la cible a été généré à partir d’images scanner ou d’images IRM.
  14. - Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon la revendication 1 caractérisé en ce que ledit modèle numérique tridimensionnel de la cible a été numériquement modifié pour simuler un bruit de mesure ou la présence de cartilage, lesdites modifications étant calculées à partir de données d’apprentissage ou de données de simulation biomécaniques.
  15. - Procédé de transposition d’une action planifiée dans un environnement virtuel vers une action physique à l’aide d’un outil, dans un environnement réel de bloc opératoire en chirurgie orthopédique selon la revendication 1 caractérisé en ce que ledit traitement numérique de recalage de la 2èmeétape est non-rigide.
FR1904453A 2019-04-26 2019-04-26 Procédé de chirurgie orthopédique assistée par ordinateur Withdrawn FR3095331A1 (fr)

Priority Applications (9)

Application Number Priority Date Filing Date Title
FR1904453A FR3095331A1 (fr) 2019-04-26 2019-04-26 Procédé de chirurgie orthopédique assistée par ordinateur
CA3137982A CA3137982A1 (fr) 2019-04-26 2020-04-24 Systeme pour chirurgie guidee par ordinateur
CN202080042753.2A CN113950301A (zh) 2019-04-26 2020-04-24 用于计算机引导手术的系统
EP20720079.1A EP3958779A1 (fr) 2019-04-26 2020-04-24 Système pour chirurgie guidée par ordinateur
US17/606,258 US12064187B2 (en) 2019-04-26 2020-04-24 Method and system for computer guided surgery
PCT/EP2020/061522 WO2020216934A1 (fr) 2019-04-26 2020-04-24 Système pour chirurgie guidée par ordinateur
JP2021563645A JP7510438B2 (ja) 2019-04-26 2020-04-24 コンピュータ支援手術のための方法及びシステム
AU2020261291A AU2020261291A1 (en) 2019-04-26 2020-04-24 System for computer guided surgery
US18/347,837 US20230355312A1 (en) 2019-04-26 2023-07-06 Method and system for computer guided surgery

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1904453 2019-04-26
FR1904453A FR3095331A1 (fr) 2019-04-26 2019-04-26 Procédé de chirurgie orthopédique assistée par ordinateur

Publications (1)

Publication Number Publication Date
FR3095331A1 true FR3095331A1 (fr) 2020-10-30

Family

ID=69024275

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1904453A Withdrawn FR3095331A1 (fr) 2019-04-26 2019-04-26 Procédé de chirurgie orthopédique assistée par ordinateur

Country Status (8)

Country Link
US (2) US12064187B2 (fr)
EP (1) EP3958779A1 (fr)
JP (1) JP7510438B2 (fr)
CN (1) CN113950301A (fr)
AU (1) AU2020261291A1 (fr)
CA (1) CA3137982A1 (fr)
FR (1) FR3095331A1 (fr)
WO (1) WO2020216934A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023285965A1 (fr) * 2021-07-14 2023-01-19 Cilag Gmbh International Endoscope avec réseau de caméras multispectrales à ouverture synthétique

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11602397B2 (en) * 2019-04-22 2023-03-14 Navisect, Inc. System and method to conduct bone surgery
FR3095331A1 (fr) * 2019-04-26 2020-10-30 Ganymed Robotics Procédé de chirurgie orthopédique assistée par ordinateur
US11270415B2 (en) * 2019-08-22 2022-03-08 Adobe Inc. Image inpainting with geometric and photometric transformations
EP4082469B8 (fr) * 2021-04-26 2023-11-29 Institut National de la Santé et de la Recherche Médicale Détermination automatique d'un positionnement approprié d'une instrumentation spécifique au patient à l'aide d'une caméra de profondeur
CN113440155A (zh) * 2021-08-04 2021-09-28 杭州键嘉机器人有限公司 一种医疗导航系统中测量膝关节间隙曲线的方法
CN113940755B (zh) * 2021-09-30 2023-05-02 南开大学 一种术像一体的外科手术规划与导航方法
US20230115512A1 (en) * 2021-10-08 2023-04-13 Medtronic Navigation, Inc. Systems and methods for matching images of the spine in a variety of postures
EP4216163A1 (fr) * 2022-01-19 2023-07-26 Ganymed Robotics Procédé et dispositif de segmentation et d'enregistrement d'une structure anatomique
CN114494190A (zh) * 2022-01-25 2022-05-13 北京工业大学 一种基于空间变换的人体结构关系描述方法及装置
US20230355333A1 (en) * 2022-05-06 2023-11-09 Jpi Consulting Method and system for remote robotic control of positioning of an instrument
CN114757995B (zh) * 2022-06-16 2022-09-16 山东纬横数据科技有限公司 一种基于数据识别的医疗器械可视化仿真方法
WO2024044188A1 (fr) * 2022-08-23 2024-02-29 Smith & Nephew, Inc. Segmentation d'images en classes multiples avec architecture w-net
FR3141054A1 (fr) * 2022-10-24 2024-04-26 Areas Systeme d’aide en temps reel a la realisation d’au moins un tunnel osseux par arthroscopie
CN117653267B (zh) * 2024-01-31 2024-04-23 鑫君特(苏州)医疗科技有限公司 膝关节截骨规划装置、膝关节自动截骨装置和相关设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002037935A2 (fr) 2000-10-23 2002-05-16 Krause Norman M Chirurgie orthopedique assistee par ordinateur
EP1303841A2 (fr) 2000-04-07 2003-04-23 Carnegie-Mellon University Distraction osseuse assistee par ordinateur
WO2004001569A2 (fr) 2002-06-21 2003-12-31 Cedara Software Corp. Systeme et procede assistes par ordinateur de remplacement de hanche, de remplacement partiel de genou et de remplacement complet de genou a invasion minimale
EP1589892B1 (fr) 2003-02-04 2007-11-28 Aesculap AG & Co. KG Procede et appareil destines a capturer des informations associees a une procedure chirurgicale realisee au moyen d'un dispositif de localisation
WO2012027816A1 (fr) * 2010-08-31 2012-03-08 Ortosoft Inc. Outil et procédé d'acquisition numérique d'un axe mécanique du tibia
CN206102735U (zh) 2016-06-23 2017-04-19 广州希润迪医疗技术有限公司 智能骨科膝髋关节手术机器人
WO2017205351A1 (fr) * 2016-05-23 2017-11-30 Mako Surgical Corp. Systèmes et procédés d'identification et de suivi d'objets physiques pendant une intervention chirurgicale robotisée
WO2018198095A1 (fr) * 2017-04-28 2018-11-01 Neocis Inc. Procédés permettant la mise en œuvre de procédures guidées orales et maxillo-faciales, et système associé
US10136950B2 (en) 2007-06-19 2018-11-27 Biomet Manufacturing, Llc Patient-matched surgical component and methods of use

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511689A (ja) * 1991-06-29 1993-01-22 Sekisui Chem Co Ltd 内臓または器官類の立体モデル製造方法
JP3780146B2 (ja) * 2000-04-12 2006-05-31 オリンパス株式会社 手術ナビゲーション装置
FR2838628B1 (fr) * 2002-04-18 2005-02-18 Univ Rennes Procede d'assistance et de guidage de navigation d'un outil dans des structures anatomiques
FR2871363B1 (fr) * 2004-06-15 2006-09-01 Medtech Sa Dispositif robotise de guidage pour outil chirurgical
EP2023842A2 (fr) 2006-05-19 2009-02-18 Mako Surgical Corp. Procédé et appareil pour commander un dispositif haptique
EP2882368A4 (fr) 2012-08-08 2016-03-16 Ortoma Ab Procédé et système pour chirurgie assistée par ordinateur
WO2014145267A1 (fr) 2013-03-15 2014-09-18 Conformis, Inc. Modélisation cinématique et paramétrée pour des implants, outils et procédures chirurgicales adaptés au patient
GB2532004A (en) * 2014-10-31 2016-05-11 Scopis Gmbh Hybrid navigation system for surgical interventions
KR102468791B1 (ko) * 2014-12-08 2022-11-17 씽크 써지컬, 인크. 관절 전치환술을 위한 임플란트 기반 계획, 디지털화 및 정합
WO2016154557A1 (fr) * 2015-03-26 2016-09-29 Universidade De Coimbra Procédés et systèmes pour chirurgie assistée par ordinateur au moyen d'une vidéo intra-opératoire acquise par une caméra à mouvement libre
US10327624B2 (en) * 2016-03-11 2019-06-25 Sony Corporation System and method for image processing to generate three-dimensional (3D) view of an anatomical portion
WO2017185170A1 (fr) 2016-04-28 2017-11-02 Intellijoint Surgical Inc. Systèmes, procédés et dispositifs servant à balayer des surfaces 3d pour une localisation peropératoire
KR20220157512A (ko) * 2016-07-15 2022-11-29 마코 서지컬 코포레이션 로봇 보조식 교정 수술을 위한 시스템
KR101848027B1 (ko) * 2016-08-16 2018-04-12 주식회사 고영테크놀러지 정위수술용 수술로봇 시스템 및 정위수술용 로봇의 제어방법
US10695134B2 (en) * 2016-08-25 2020-06-30 Verily Life Sciences Llc Motion execution of a robotic system
CN111991090B (zh) 2016-08-30 2024-06-21 马科外科公司 用于术中骨盆配准的系统和方法
EP3509526A4 (fr) * 2016-09-07 2020-07-01 Intellijoint Surgical Inc. Systèmes et méthodes de navigation chirurgicale, comprenant la navigation assistée par imagerie de la tête d'un patient
CA3053633A1 (fr) 2017-02-22 2018-08-30 Orthosoft Inc. Suivi d'os et d'outil dans une chirurgie assistee par ordinateur robotisee
TWI670681B (zh) * 2017-06-04 2019-09-01 鈦隼生物科技股份有限公司 判定手術路徑上一個或多個點之方法和系統
FR3095331A1 (fr) * 2019-04-26 2020-10-30 Ganymed Robotics Procédé de chirurgie orthopédique assistée par ordinateur

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1303841A2 (fr) 2000-04-07 2003-04-23 Carnegie-Mellon University Distraction osseuse assistee par ordinateur
WO2002037935A2 (fr) 2000-10-23 2002-05-16 Krause Norman M Chirurgie orthopedique assistee par ordinateur
WO2004001569A2 (fr) 2002-06-21 2003-12-31 Cedara Software Corp. Systeme et procede assistes par ordinateur de remplacement de hanche, de remplacement partiel de genou et de remplacement complet de genou a invasion minimale
EP1589892B1 (fr) 2003-02-04 2007-11-28 Aesculap AG & Co. KG Procede et appareil destines a capturer des informations associees a une procedure chirurgicale realisee au moyen d'un dispositif de localisation
US10136950B2 (en) 2007-06-19 2018-11-27 Biomet Manufacturing, Llc Patient-matched surgical component and methods of use
WO2012027816A1 (fr) * 2010-08-31 2012-03-08 Ortosoft Inc. Outil et procédé d'acquisition numérique d'un axe mécanique du tibia
WO2017205351A1 (fr) * 2016-05-23 2017-11-30 Mako Surgical Corp. Systèmes et procédés d'identification et de suivi d'objets physiques pendant une intervention chirurgicale robotisée
CN206102735U (zh) 2016-06-23 2017-04-19 广州希润迪医疗技术有限公司 智能骨科膝髋关节手术机器人
WO2018198095A1 (fr) * 2017-04-28 2018-11-01 Neocis Inc. Procédés permettant la mise en œuvre de procédures guidées orales et maxillo-faciales, et système associé

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIRILL KOULECHOV: "Leistungssteuerung chirurgischer Instrumente in der Kopf-Chirurgie", 26 April 2006 (2006-04-26), Technical University of Munich, Munich, Germany, XP055619501, Retrieved from the Internet <URL:https://mediatum.ub.tum.de/doc/601976/601976.pdf> [retrieved on 20190906] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023285965A1 (fr) * 2021-07-14 2023-01-19 Cilag Gmbh International Endoscope avec réseau de caméras multispectrales à ouverture synthétique

Also Published As

Publication number Publication date
US20220296302A1 (en) 2022-09-22
CN113950301A (zh) 2022-01-18
JP7510438B2 (ja) 2024-07-03
AU2020261291A1 (en) 2021-11-25
US12064187B2 (en) 2024-08-20
JP2022530490A (ja) 2022-06-29
WO2020216934A1 (fr) 2020-10-29
CA3137982A1 (fr) 2020-10-29
US20230355312A1 (en) 2023-11-09
EP3958779A1 (fr) 2022-03-02

Similar Documents

Publication Publication Date Title
FR3095331A1 (fr) Procédé de chirurgie orthopédique assistée par ordinateur
US10716643B2 (en) Surgical projection system and method
Suenaga et al. Vision-based markerless registration using stereo vision and an augmented reality surgical navigation system: a pilot study
Gavaghan et al. A portable image overlay projection device for computer-aided open liver surgery
EP3273854B1 (fr) Systèmes pour chirurgie assistée par ordinateur au moyen d&#39;une vidéo intra-opératoire acquise par une caméra à mouvement libre
EP0494943B1 (fr) Systeme interactif d&#39;intervention locale a l&#39;interieur d&#39;une structure non homogene
EP2951779B1 (fr) Segmentation d&#39;images en trois dimensions sur la base d&#39;informations d&#39;images en deux dimensions
EP2452649A1 (fr) Visualisation de données anatomiques à réalité améliorée
US8704827B2 (en) Cumulative buffering for surface imaging
WO2000052643A1 (fr) Dispositif d&#39;observation endoscopique
Habert et al. RGBDX: First design and experimental validation of a mirror-based RGBD X-ray imaging system
Maharjan et al. A novel visualization system of using augmented reality in knee replacement surgery: Enhanced bidirectional maximum correntropy algorithm
Gard et al. Image-based measurement by instrument tip tracking for tympanoplasty using digital surgical microscopy
Vogt et al. Light fields for minimal invasive surgery using an endoscope positioning robot
Joshi et al. A novel approach for intra‐operative shape acquisition of the tibio‐femoral joints using 3D laser scanning in computer assisted orthopaedic surgery
Budhathoki et al. Augmented reality for narrow area navigation in jaw surgery: Modified tracking by detection volume subtraction algorithm
US20240016550A1 (en) Scanner for intraoperative application
Daniel et al. Augmented reality for assistance of total knee replacement
Nonaka et al. Capturing a surgical area using multiple depth cameras mounted on a robotic mechanical system
EP4011314B1 (fr) Système et procédé d&#39;aide lors de chirurgies orthopédiques
Rasool et al. Virtual knee arthroscopy using haptic devices and real surgical images
WO2009085037A2 (fr) Mise en mémoire tampon cumulative pour imagerie de surface
Jouny et al. Classification of radar signals using the bispectrum
Bardosi et al. assessed, and using the sensor indicator value to communicate inac-curacies within navigation software was investigated. Novel hybrid tracker configurations included use of the Window FG with infrared and/or video-based trackers. Results
Sánchez-González et al. Endoscopic video images analysis for surgical training and image-guided surgery

Legal Events

Date Code Title Description
PLSC Publication of the preliminary search report

Effective date: 20201030

ST Notification of lapse

Effective date: 20201209