FR2898264A1 - Procede et systeme robotique medical permettant la tele-illustration en trois dimensions - Google Patents

Abstract

Un système robotique médical (100) procure une télé-illustration en 3-D sur une vue en 3-D d'une structure anatomique, en recevant une information graphique de télé-illustration en 2-D associée à l'une d'une paire d'images stéréoscopiques de la structure anatomique, provenant d'un chirurgien mentor (M), en déterminant une information d'entrée graphique de télé-illustration en 2-D correspondante, dans l'autre de la paire d'images stéréoscopiques, en utilisant une table de disparité, en mélangeant les informations d'entrée graphiques de télé-illustration dans des images respectives de la paire d'images stéréoscopiques, et en fournissant les résultats mélangés à un dispositif d'affichage en 3-D, de façon qu'une vue en 3-D de l'information d'entrée de télé-illustration puisse être présentée à un chirurgien opérant (S) en superposition sur une vue en 3-D de la structure anatomique.

Description

PROCEDE ET SYSTEME ROBOTIQUE MEDICAL PERMETTANT LA TELE-ILLUSTRATION EN

TROIS DIMENSIONS

La présente invention concerne de façon générale des systèmes chirurgicaux robotiques peu invasifs, et elle concerne en particulier un système robotique médical procurant la télé-illustration en trois dimensions. Des procédés chirurgicaux peu invasifs, tels que la laparoscopie et la thoracoscopie, peuvent réduire très fortement la morbidité, réduire l'acuité des soins, raccourcir les temps de rétablissement, et conduire à des patients plus satisfaits. Cependant, des chirurgiens effectuant une laparoscopie ou une thoracoscopie classique sont confrontés à une courbe d'apprentissage à pente raide, et doivent faire face à une dégradation importante de leur aptitude à voir et à toucher le champ opératoire, ainsi qu'à une réduction extrêmement importante de leur dextérité en comparaison avec la chirurgie ouverte. Des télérobots chirurgicaux peuvent offrir à des chirurgiens une vision tridimensionnelle (3-D) à haute fidélité et un poignet articulé intuitif à l'extrémité d'une tige d'outil, améliorant fondamentalement l'aptitude des chirurgiens à sentir et manipuler des objets dans le champs chirurgical. Des télérobots peuvent également réduire l'amplitude des mouvements des mains des chirurgiens et éliminer le tremblement pour une manipulation plus précise. Ces progrès permettent à des chirurgiens d'accomplir ce qui était précédemment impossible, comme la chirurgie de pontage des artères coronaires totalement endoscopique, et accélèrent l'adoption de procédures difficiles comme des prostatectomies radicales totalement endoscopiques. L'émergence de la chirurgie peu invasive (MIS pour "Minimally Invasive Surgery") en tant qu'approche standard pour une large variété de procédures chirurgicales a augmenté l'importance de l'acquisition du savoir-faire laparoscopique pour des chirurgiens en cours de formation et pour des chirurgiens praticiens. Le modèle d'apprentissage chirurgical actuel ne procure pas une expérience adéquate en MIS avancée, et la courbe d'apprentissage pour des procédures MIS complexes peut conduire à des complications accrues pour des chirurgiens inexpérimentés. Le défi de la formation en laparoscopie avancée pour des internes en chirurgie est devenu plus difficile conjointement au fait que des procédures MIS sont devenues de plus en plus complexes. La formation à la chirurgie peu invasive exige le développement d'un nouvel ensemble de savoir-faire en visualisation et manipulation chirurgicales. Pour répondre à ce besoin, la norme actuelle est une formation post-doctorale MIS dédiée, après l'internat. Plusieurs stratégies, telles que des laboratoires inanimés et la formation par simulation, ont également été développées pour familiariser davantage des internes à la chirurgie laparoscopique avancée, pendant la formation initiale, avec des taux de succès variables. Des chirurgiens qui opèrent déjà et sont intéressés à la mise en oeuvre de la chirurgie peu invasive avancée, sont confrontés à un défi encore plus grand. Une forte demande des patients pour des procédures MIS, ainsi que la transition en cours dans les normes de soins chirurgicaux vers des approches moins invasives, fournissent la motivation; cependant, ces chirurgiens ont souvent de la difficulté à traduire leur savoir-faire en chirurgie ouverte ou en MIS de base, en procédures MIS avancées, ce qui conduit à des résultats chirurgicaux non satisfaisants et à des taux de complication accrus. Le paradigme de formation actuel pour des chirurgiens praticiens est centré sur des cours de courte durée, spécifiques à une procédure, avec une expérience de manipulation très limitée, dans un laboratoire inanimé ou travaillant sur des animaux. De telles stratégies sont très loin d'être capables de diffuser une base de connaissance et d'expérience appropriée, et ne procurent fondamentalement aucune expérience en chirurgie réelle sur des êtres humains. Des étudiants demanderont fréquemment la présence de leurs mentors chirurgicaux à un certain nombre de procédures initiales. Au moins une étude a démontré que des cours de formation laparoscopique courants sont insuffisants pour rendre un chirurgien efficace, et une seule session surveillée par un mentor visiteur peut ne pas être suffisante. La formation par mentor classique exige la présence physique d'un chirurgien expérimenté. Pour de nombreuses nouvelles procédures, très peu de chirurgiens ont acquis suffisamment d'expérience pour jouer un rôle de surveillant ou de mentor pour un cas. Ceci augmente la demande adressée à ce petit groupe de chirurgiens. Le fait de voyager pour jouer le rôle de mentor prend du temps sur l'activité de praticien et la vie personnelle du mentor, et a un coût supporté par le chirurgien en formation et le patient. Il a été montré que la télé-illustration (ou en raccourci "téléstration"), dans laquelle le mentor est capable de créer des illustrations superposées sur la vue chirurgicale bidimensionnelle de l'étudiant, était un outil d'apprentissage effectif. La télé-illustration offre un procédé d'intervention de mentor qui peut être plus explicite qu'une communication verbale et moins intrusif qu'une démonstration mécanique, du fait que le chirurgien en cours de formation peut rester aux commandes. La télé-illustration permet au mentor de donner des renseignements visuels clairs et utiles au chirurgien en cours de formation, dans la même salle ou à distance. La télé-illustration a le potentiel d'améliorer l'accessibilité d'opportunités de formation en chirurgie robotisée, et d'augmenter le taux d'adoption de la chirurgie assistée par robot. Le système appelé Da Vinci Surgical System de la firme Intuitive Surgical, Inc., Sunnyvale, Californie, est un exemple d'un système chirurgical robotique. Le Da Vinci Surgical System peut être utilisé pour une grande variété de procédures chirurgicales, comme la réparation de valvules mitrales, la Fundoplication Nissen pour le traitement du reflux gastro-oesophagien (RGO), la chirurgie de dérivation gastrique pour l'obésité, la prostatectomie radicale (Da Vinci Prostatectomy) pour l'ablation de la prostate, la chirurgie oesophagienne, la thymectomie pour la myasthenia gravis, et la pose de conducteurs de stimulateur de type épicardiaque pour la resynchronisation biventriculaire. Une caractéristique spécifique du Da Vinci Surgical System est son affichage tridimensionnel qui donne une téléprésence supérieure au chirurgien qui opère. Le Da Vinci Surgical System fournit au chirurgien des images stéréoscopiques droite et gauche en utilisant deux tubes cathodiques et une série de miroirs et d'objectifs pour créer l'illusion d'une scène tridimensionnelle.

La télé-illustration pour l'étudiant dans un environnement laparoscopique 3-D réellement binoculaire représente une amélioration extrêmement importante par rapport à la visualisation laparoscopique 2-D traditionnelle, selon plusieurs aspects critiques. La courbe d'apprentissage exigée pour traduire une image d'opération 2-D en un modèle anatomique mental 3-D représente un défi important pour le novice en MIS, ainsi que pour le chirurgien aguerri. Bien que le rétablissement de la visualisation stéréoscopique native en trois dimensions améliore fortement la précision chirurgicale en général, il y a de nombreuses circonstances spécifiques dans lesquelles une telle formation d'image est absolument critique pour des issues favorables pour le patient. Des manoeuvres techniques, comme la manipulation de pédicules vasculaires, la dissection épargnant les nerfs, l'anastomose microvasculaire, et la dissection et l'anastomose cardiaques, exigent une appréciation détaillée de chaque aspect des structures anatomiques respectives. Cependant, un problème avec la télé-illustration sur un tel affichage tridimensionnel consiste en ce qu'un mentor avec un écran tactile peut télé-illustrer seulement sur une image bidimensionnelle (2-D), ce qui nécessite que le chirurgien qui opère appuie sur une pédale, ou un autre dispositif de commutation, pour commuter d'une vue 3-D à une vue 2-D, pour voir la télé-illustration. Ceci donne au chirurgien le bénéfice de la télé-illustration, mais interrompt le déroulement de la procédure et fait perdre le bénéfice de la vision 3-D. Pour comprendre effectivement des communications provenant du mentor et les appliquer au champ opératoire 3-D, l'étudiant doit être capable de percevoir ces communications en 3-D, sans interrompre le déroulement de son action pour commuter vers un affichage 2-D dégradé, pour regarder les dessins du mentor. Le fait que la télé-illustration du mentor apparaisse en direct dans l'affichage 3-D de l'étudiant pendant une opération chirurgicale, au lieu d'exiger que l'étudiant change de mode pour passer en 2-D, encouragera des communications plus fréquentes et impromptues entre le mentor et l'étudiant. Une option pour procurer une télé-illustration 3-D consisterait à faire utiliser par le mentor un dispositif d'entrée 3-D et un affichage stéréoscopique; cependant, le coût et la logistique qui interviennent limiteraient sévèrement l'attrait et les possibilités de changement d'échelle de la solution. Ainsi, un but de la présente invention est de procurer un procédé pour télé-illustrer sur une image 3D d'une structure anatomique, qui n'exige pas un dispositif d'entrée 3-D et un affichage stéréoscopique pour le chirurgien jouant le rôle du mentor. Un autre but de la présente invention est de procurer un procédé pour télé-illustrer sur une image 3-D d'une structure anatomique, qui fonctionne sensiblement en temps réel, et convienne pour une activité de mentor locale et à distance, dans des procédures chirurgicales peu invasives. Encore un autre but de la présente invention est de procurer un procédé pour télé-illustrer sur une image 3-D d'une structure anatomique qui se déplace par rapport à la caméra. Un autre but encore de la présente invention est de procurer un système robotique médical effectuant une télé-illustration 3-D sur une image 3-D d'une structure anatomique. Ces buts, et des buts supplémentaires, sont atteints par les divers aspects de la présente invention selon lesquels, brièvement, un aspect consiste en un procédé pour télé-illustrer sur une image 3-D d'une structure anatomique, comprenant : la réception d'une information d'entrée graphique de télé-illustration associée à l'une d'une paire d'images stéréoscopiques d'une structure anatomique; et la détermination d'une information d'entrée graphique de télé-illustration correspondante dans l'autre de la paire d'images stéréoscopiques, de façon qu'une vue 3- D correspondant à l'information d'entrée graphique de télé-illustration puisse être affichée sous la forme d'une image en superposition sur une vue 3-D de la structure anatomique. La structure anatomique peut être une partie extérieure du corps d'un patient.

La structure anatomique peut être un organe corporel à l'intérieur du corps d'un patient. Le procédé peut comprendre en outre l'opération consistant à émettre de l'information pour l'une de la paire d'images stéréoscopiques vers un emplacement avant de recevoir l'information graphique de télé- illustration provenant de l'emplacement. L'emplacement peut être un ordinateur manipulé par un chirurgien expert. Le procédé peut comprendre en outre l'opération consistant à recevoir de l'information pour la paire d'images stéréoscopiques avant d'émettre vers l'emplacement l'information pour l'une de la paire d'images stéréoscopiques. L'information pour la paire d'images stéréoscopiques peut être reçue à partir d'un endoscope stéréoscopique introduit à l'intérieur du corps du patient.

La paire d'images stéréoscopiques peut comprendre des vues de caméras droite et gauche correspondantes. Le procédé peut comprendre en outre l'opération consistant à générer une table de disparité à partir de l'information reçue pour la paire d'images stéréoscopiques.

La détermination de l'information d'entrée graphique de télé- illustration correspondante dans l'autre de la paire d'images stéréoscopiques peut utiliser la table de disparité. Le procédé peut comprendre en outre les opérations suivantes : recevoir de l'information pour une paire suivante dans le temps d'images stéréoscopiques, après l'émission vers l'emplacement de l'information pour l'une de la paire d'images stéréoscopiques; corréler l'information pour la paire d'images stéréoscopiques avec l'information pour la paire suivante dans le temps d'images stéréoscopiques, de façon à déterminer un mouvement relatif de la structure anatomique; et positionner la vue tridimensionnelle de l'information d'entrée graphique de télé-illustration de façon à suivre le mouvement de la structure anatomique. Le procédé peut comprendre en outre les opérations suivantes : déterminer une mesure de confiance utilisant la corrélation de l'information pour la paire d'images stéréoscopiques avec l'information pour la paire suivante dans le temps d'images stéréoscopiques; et afficher l'information d'entrée graphique de télé-illustration avec une luminosité proportionnelle à une grandeur de la mesure de confiance.

Le procédé peut comprendre en outre l'opération consistant à afficher la vue tridimensionnelle de l'information d'entrée graphique de télé-illustration sous la forme d'une représentation graphique non destructive superposée à la vue tridimensionnelle de la structure anatomique.

L'affichage tridimensionnel de l'information graphique de télé-illustration peut être effectué d'une manière telle que la vue tridimensionnelle de l'information d'entrée graphique de téléillustration disparaisse progressivement au cours du temps. Un autre aspect consiste en un système robotique médical procurant une télé-illustration 3-D, comprenant une console de chirurgien configurée pour recevoir une information d'entrée graphique de télé-illustration associée à une paire d'images stéréoscopiques d'une structure anatomique, et déterminer une information d'entrée graphique de télé- illustration correspondante dans l'autre de la paire d'images stéréoscopiques, de façon qu'une vue 3-D de l'information d'entrée graphique de télé-illustration puisse être affichée sous la forme d'une image en superposition sur une vue 3-D de la structure anatomique. La structure anatomique peut être une partie extérieure du corps d'un patient.

La structure anatomique peut être un organe corporel à l'intérieur du corps d'un patient. Le système robotique médical peut comprendre en outre un moyen pour émettre vers un emplacement de l'information pour l'une de la paire d'images stéréoscopiques, avant de recevoir l'information graphique de télé-illustration provenant de l'emplacement. L'emplacement peut être une console manipulée par un chirurgien expert. La console de chirurgien peut en outre être configurée de façon à recevoir de l'information pour la paire d'images stéréoscopiques avant d'émettre vers l'emplacement l'information pour l'une de la paire d'images stéréoscopiques. L'information pour la paire d'images stéréoscopiques peut être reçue par la console de chirurgien à partir d'un endoscope stéréoscopique introduit à l'intérieur du corps du patient.

La paire d'images stéréoscopiques peut comprendre des vues de caméras droite et gauche correspondantes de l'endoscope stéréoscopique. La console de chirurgien peut en outre être configurée pour générer une table de disparité d'après l'information reçue pour la paire d'images stéréoscopiques de la structure anatomique. La console de chirurgien peut en outre être configurée pour utiliser la table de disparité pour déterminer l'information d'entrée graphique de télé-illustration correspondante dans l'autre de la paire d'images stéréoscopiques.

La console de chirurgien peut en outre être configurée pour recevoir de l'information pour une paire suivante dans le temps d'images stéréoscopiques, après l'émission vers l'emplacement de l'information pour l'une de la paire d'images stéréoscopiques, pour corréler l'information pour la paire d'images stéréoscopiques avec l'information pour la paire suivante dans le temps d'images stéréoscopiques, afin de déterminer un mouvement relatif de la structure anatomique, et pour positionner la vue tridimensionnelle de l'information d'entrée graphique de télé-illustration, de façon à suivre le mouvement de la structure anatomique.

La console de chirurgien peut en outre être configurée pour déterminer une mesure de confiance utilisant la corrélation de l'information pour la paire d'images stéréoscopiques avec l'information pour la paire suivante dans le temps d'images stéréoscopiques; et afficher l'information d'entrée graphique de télé-illustration avec une luminosité proportionnelle à une grandeur de la mesure de confiance. La console de chirurgien peut comprendre un dispositif d'affichage tridimensionnel, et peut en outre être configurée pour afficher la vue tridimensionnelle de l'information d'entrée graphique de télé-illustration sous la forme d'une représentation graphique superposée à la vue tridimensionnelle de la structure anatomique, dans le dispositif d'affichage tridimensionnel. La console de chirurgien peut en outre être configurée pour afficher la vue tridimensionnelle de l'information graphique de télé-illustration d'une manière telle que la vue tridimensionnelle de l'information d'entrée graphique de télé-illustration disparaisse progressivement au cours du temps. Un autre aspect consiste en un système robotique médical procurant une télé-illustration 3-D, comprenant : un ensemble de caméra stéréoscopique pouvant être inséré dans un corps d'un patient de façon à capturer des paires d'images stéréoscopiques d'une structure anatomique du patient pendant une procédure chirurgicale peu invasive; une console d'expert ayant un récepteur configuré pour recevoir une vue droite ou gauche des paires d'images stéréoscopiques capturées par l'ensemble de caméra stéréoscopique, un dispositif d'affichage pour afficher de façon bidimensionnelle la vue droite ou gauche reçue, un dispositif de télé-illustration configuré pour faciliter la génération d'une information d'entrée graphique de télé-illustration par un opérateur de la console d'expert, sur la vue droite ou gauche affichée de façon bidimensionnelle, et un émetteur configuré pour émettre l'information d'entrée graphique de télé- illustration; et une console de chirurgien ayant un premier récepteur configuré pour recevoir les paires d'images stéréoscopiques capturées par l'ensemble de caméra stéréoscopique, et un deuxième récepteur configuré pour recevoir l'information d'entrée graphique de télé-illustration émise par l'émetteur de la console d'expert, la console de chirurgien étant configurée pour générer une table de disparité d'après les paires d'images stéréoscopiques reçues, et pour déterminer une information d'entrée graphique de télé-illustration correspondante dans l'autre de la paire d'images stéréoscopiques, en utilisant la table de disparité, de façon qu'une vue 3-D de l'information d'entrée graphique de télé-illustration puisse être affichée sous la forme d'une image en superposition sur une vue 3-D de la structure anatomique. La console de chirurgien peut en outre être configurée pour recevoir de l'information pour une paire suivante dans le temps d'images stéréoscopiques, après l'émission vers un emplacement de l'information pour l'une de la paire d'images stéréoscopiques, pour corréler l'information pour la paire d'images stéréoscopiques avec l'information pour la paire suivante dans le temps d'images stéréoscopiques, de façon à déterminer un mouvement relatif de la structure anatomique, et pour positionner la vue tridimensionnelle de l'information d'entrée graphique de télé-illustration de façon à suivre le mouvement de la structure anatomique. Des buts, caractéristiques et avantages supplémentaires des divers aspects de la présente invention ressortiront de la description suivante de son mode de réalisation préféré, cette description devant être considérée conjointement aux dessins annexés, dans lesquels ; La figure 1 illustre une vue de dessus d'une salle d'opération avec un système robotique médical procurant une télé-illustration 3-D, utilisant des aspects de la présente invention. La figure 2 illustre une vue en perspective par l'avant d'une station de commande maîtresse incluant un processeur configuré pour utiliser des aspects de la présente invention. La figure 3 illustre un schéma synoptique d'un système robotique médical procurant une télé-illustration 3-D, utilisant des aspects de la présente invention.

La figure 4 illustre un schéma synoptique de modules dans l'ordinateur de chirurgien, et de composants couplés à cet ordinateur, utilisant des aspects de la présente invention. La figure 5 illustre un schéma synoptique de modules dans l'ordinateur d'expert et de composants couplés à cet ordinateur, qui sont utiles pour mettre en pratique les aspects de la présente invention. La figure 6 illustre un organigramme d'un procédé pour télé-illustrer sur une image 3-D d'une structure anatomique, utilisant des aspects de la présente invention. La figure 7 illustre un organigramme d'un procédé pour superposer une information d'entrée graphique de télé-illustration 3-D sur une structure anatomique 3-D, utilisant des aspects de la présente invention. La figure 8 illustre un organigramme d'un procédé pour le suivi de l'anatomie et la télé-illustration 3-D sur une structure anatomique suivie, utilisant des aspects de la présente invention.

La figure 9 illustre un exemple de configuration géométrique épipolaire pour une paire d'images stéréoscopiques d'un point dans un système de coordonnées 3-D, qui est utile pour mettre en pratique des aspects de la présente invention.

La figure 1 illustre, à titre d'exemple, un système robotique médical 100 procurant une télé-illustration tridimensionnelle. Dans l'exemple, un chirurgien opérant (S) effectue une procédure chirurgicale peu invasive sur un patient (P), et un chirurgien mentor (M), qui est un expert ou qui est au moins plus expérimenté dans la procédure chirurgicale peu invasive, joue un rôle de mentor auprès du chirurgien opérant (S), ou le conseille, pendant la procédure. Un ou plusieurs assistants (A) placés au site de patient (P) peuvent également assister le chirurgien opérant (S) pendant la procédure. Le système 100 comprend une station de commande maîtresse de chirurgien 151 (également appelée ici la "console de chirurgien") manipulée par le chirurgien opérant (S), un chariot esclave 120 ayant trois mécanismes robotiques esclaves 121 à 123, et une station de commande de maîtresse de mentor 131 (également appelée ici la "console de mentor") manipulée par le chirurgien mentor (M). La station de commande maîtresse de mentor 131 est représentée séparée de la station de commande maîtresse de chirurgien 151 par une ligne courbe en pointillés, du fait qu'elle peut être soit locale vis-à-vis de la station de commande maîtresse de chirurgien 151 (c'est-à-dire à l'intérieur de l'environnement de salle d'opération), soit éloignée de la station de commande maîtresse de chirurgien 151 (c'est-à-dire éloignée de l'environnement de salle d'opération). Le chariot esclave 120 est positionné le long du patient (P), de façon que des dispositifs chirurgicaux (comme un dispositif chirurgical 167), qui sont couplés à des extrémités distales des mécanismes robotiques esclaves 121 à 123, puissent être insérés à des travers des incisions (telles que l'incision 166) dans le patient (P), et manipulés par le chirurgien opérant (S) à la station de commande maîtresse de chirurgien 151, pour effectuer la procédure chirurgicale peu invasive sur le patient (P). Chacun des mécanismes robotiques esclaves 121 à 123 comprend de préférence des segments qui sont couplés ensemble et manipulés au moyen d'articulations commandées par moteur, d'une manière classique. Bien que cet exemple montre l'utilisation d'un seul chariot esclave 120, des chariots esclaves supplémentaires peuvent être utilisés en fonction des besoins. De plus, bien que trois mécanismes robotiques esclaves 121 à 123 soient représentés sur le chariot 120, il est possible d'utiliser plus ou moins de mécanismes robotiques esclaves sur chaque chariot esclave, en fonction des besoins. On peut trouver des détails supplémentaires d'un chariot esclave tel que le chariot esclave 120, dans le Brevet US-6 837 883, appartenant à la demanderesse, intitulé "Arm Cart for Telerobotic Surgical System". Un endoscope stéréoscopique est de préférence l'un des dispositifs chirurgicaux couplés aux extrémités distales des mécanismes robotiques esclaves. D'autres des dispositifs chirurgicaux peuvent être divers outils avec des effecteurs d'extrémité manipulables pour effectuer des procédures chirurgicales peu invasives, tels que des clamps, des pinces, des ciseaux, des agrafeuses, et des porte-aiguilles. Le nombre de dispositifs chirurgicaux utilisés en même temps, et par conséquent le nombre de mécanismes robotiques esclaves dans le système 100, dépendra de façon générale de la procédure diagnostique ou chirurgicale, et des contraintes d'espace dans la salle d'opération, entre autres facteurs. S'il est nécessaire de changer un ou plusieurs des dispositifs chirurgicaux qui sont utilisés au cours d'une procédure, l'un des assistants (A) peut retirer de l'extrémité distale de son mécanisme robotique esclave le dispositif chirurgical qui n'est plus nécessaire, et le remplacer par un autre dispositif chirurgical provenant d'un plateau de tels dispositifs dans la salle d'opération. Selon une variante, un mécanisme robotique peut être prévu pour permettre au chirurgien opérant (S) d'exécuter des échanges d'outils en utilisant l'un de ses dispositifs d'entrée maîtres.

Pour faciliter la collaboration et/ou l'action de mentor pour des chirurgiens dans des procédures chirurgicales peu invasives, chacun des chirurgiens participants a un dispositif d'affichage associé pour voir le site chirurgical, et un moyen de communication tel qu'un ensemble microphone et écouteur, pour communiquer avec d'autres chirurgiens participants. L'utilisation de l'endoscope stéréoscopique dans ce cas permet la génération et l'affichage d'images tridimensionnelles du site chirurgical, en temps réel. Plus particulièrement, un dispositif d'affichage 3-D 152 est couplé à la station de commande maîtresse de chirurgien 151, ou intégré dans celle-ci, un dispositif d'affichage 3-D 132 et un écran tactile 2-D 135 sont couplés à la station de commande maîtresse de mentor 131, ou intégrés dans celle-ci, et un dispositif d'affichage 2-D 142 est installé sur un chariot de vision 141, de façon que le chirurgien opérant (S), le chirurgien mentor (M), et le ou les assistants (A) puissent voir le site chirurgical pendant la procédure chirurgicale peu invasive. Le moyen de communication fourni à chacun des participants peut inclure des composants individuels consistant en microphone et en écouteurs (ou haut-parleur), ou bien des casques individuels tels que le casque 153 représenté comme étant placé sur la tête du chirurgien opérant (S), dans le cadre d'un système audio classique. De préférence, un système de communication audio en duplex (paire microphone et haut-parleur) est incorporé dans la station de commande maîtresse de chaque chirurgien. Selon une variante, on peut utiliser des casques, incluant ceux qui utilisent des communications sans fil, pour procurer une liberté de mouvement et un confort maximaux à leurs utilisateurs, ou ceux qui peuvent être connectés par des fils à leursstations de commande maîtresses ou chariot esclave respectifs, qui à leur tour sont connectés ensemble au moyen de lignes 110 et de lignes 112 pour des communications vocales entre le chirurgien opérant (S), le chirurgien mentor (M) et un ou plusieurs assistants (A). La figure 2 illustre, comme un exemple simplifié, une vue en perspective par l'avant de la console de chirurgien ou station de commande maîtresse 151. Dans la console de chirurgien 151 est inclus un dispositif d'affichage 3-D, 152, ayant des oculaires droit et gauche, 223 et 224, qui sont positionnés de façon qu'un chirurgien assis devant la console de chirurgien 151 regardera vers le bas à travers eux pour donner la sensation que le site chirurgical observé dans ceux-ci se trouve à une telle position. Il existe également des dispositifs d'entrée maîtres droit et gauche, 203 et 204, qui sont positionnés à l'intérieur d'une région en retrait 210 de la console de chirurgien 151, de façon que le chirurgien ait la sensation qu'il manipule directement des instruments associés au site chirurgical qui est observé à travers le dispositif d'affichage 3-D 152. Un processeur 240 est couplé à la console de chirurgien 151, ou intégré dans celle-ci, pour procurer des capacités de traitement. Une pédale 231 est également incluse dans la console de chirurgien 151 pour procurer une possibilité de commutation, par exemple pour mettre la télé-illustration en fonction et hors fonction, pour cacher une télé-illustration et la rappeler ultérieurement pour l'affichage, ou pour commuter entre des vues 3-D et 2-D dans le dispositif d'affichage 3-D 152. Selon une variante, une telle possibilité de commutation peut être mise en oeuvre en utilisant un bouton sur un dispositif de télé-illustration, un dispositif d'entrée ou un dispositif d'affichage de console de commande, ou bien elle peut être mise en oeuvre par entrée vocale. On peut trouver des détails supplémentaires de stations de commande maîtresses telles que la station de commande maîtresse de chirurgien 151, dans le Brevet US-6 714 839, appartenant à la demanderesse, intitulé "Master Having Redundant Degrees of Freedom", et dans le Brevet US-6 659 939, appartenant à la demanderesse, intitulé "Cooperative Minimally Invasive Telesurgical System". La station de commande maîtresse de mentor 131 peut être construite de façon similaire à la console de chirurgien 151 ou, en variante, elle peut être simplement un ordinateur personnel classique auquel sont joints un écran tactile et un crayon numérique pour une visualisation du site chirurgical en 2-D (qui est fournie par la station de commande maîtresse de chirurgien 151), et pour la télé-illustration sur des structures anatomiques que l'on voit à l'intérieur. Pour effectuer une procédure chirurgicale peu invasive, le chirurgien opérant (S) peut manipuler un des dispositifs d'entrée maîtres droit et gauche, 203 et 204, ou les deux, ce qui commande à son tour à des mécanismes robotiques esclaves associés, comme le mécanisme robotique esclave 123, de manipuler leurs dispositifs chirurgicaux respectifs, comme le dispositif chirurgical 167, à travers une incision peut invasive, comme une incision 166, dans le corps de patient (P), pendant que le chirurgien opérant (S) observe le site chirurgical à travers son dispositif d'affichage 3-D 252.

De préférence, les dispositifs d'entrée maîtres seront mobiles avec les mêmes degrés de liberté que leurs dispositifs chirurgicaux associés, pour procurer au chirurgien opérant (S) la téléprésence, ou la perception du fait que les dispositifs d'entrée maîtres ne font qu'un avec leurs dispositifs chirurgicaux associés, de manière que le chirurgien opérant (S) ait une forte sensation de les commander directement. Dans ce but, des capteurs de position, de force et de retour tactile sont de préférence employés, et ils émettent la position, la force et des sensations tactiles à partir des dispositifs (ou leurs mécanismes robotiques esclaves respectifs) en retour vers leurs dispositifs d'entrée maîtres associés, de façon que le chirurgien opérant (S) puisse sentir ceci avec ses mains lorsqu'elles actionnent les dispositifs d'entrée maîtres. Comme décrit précédemment, pour améliorer encore davantage la sensation de téléprésence, l'image 3-D du site chirurgical (et de structures anatomiques vues à l'intérieur), qui est affichée sur le dispositif d'affichage 3-D 152 de la station de commande maîtresse 151, est orientée de façon que le chirurgien opérant (S) ait l'impression de regarder directement vers le bas sur le site opératoire. Dans ce but, une image de dispositifs chirurgicaux qui sont en train d'être manipulés par le chirurgien opérant (S) apparaît être placée sensiblement à l'endroit auquel ses mains sont placées, bien que les points d'observation (c'est-à-dire l'endoscope ou la caméra d'observation) puissent ne pas l'être, du point de vue de l'image.

On peut trouver des détails supplémentaires d'un système de téléprésence et d'un dispositif d'affichage 3-D tel que le système robotique médical 100 et le dispositif d'affichage 3-D 152, dans le brevet US-5 808 665, intitulé "Endoscopic Surgical Instrument and Method for Use", qui fait l'objet d'une licence exclusive de la demanderesse de la présente invention; et dans le Brevet US-6 424 885, intitulé "Camera Referenced Control in a Minimally Invasive Surgical Apparatus", appartenant à la demanderesse. La figure 3 illustre, à titre d'exemple, un schéma synoptique de parties d'un système robotique médical procurant la télé-illustration 3-D.

Dans cet exemple, le chirurgien mentor (M) est supposé être situé à distance (c'est-à-dire non dans la salle d'opération), tandis que le chirurgien opérant (S) est situé localement (c'est-à-dire dans la salle d'opération), conjointement au patient (P). L'information pour des vues de caméras droite (R) et gauche (L) (ou des paires d'images stéréographiques), qui ont été prises par un endoscope stéréoscopique (tel que le dispositif chirurgical couplé au mécanisme robotique esclave 122) inséré dans le site chirurgical à l'intérieur d'un patient, est reçue à partir de l'endoscope stéréoscopique 301 par un ordinateur de chirurgien 302 (tel que le processeur 240 de la station de commande maîtresse 151). En même temps, une vue de caméra de chaque paire d'images stéréographiques (comme par exemple la vue de caméra droite) est émise à travers des interfaces de communication vidéo 306 et 316 vers un ordinateur d'expert ou de mentor 312 (tel qu'un processeur couplé à la station de commande maîtresse de mentor 131, ou intégré dans celle-ci). Le Polycom VS4000 ou VSX 7000e distribué par Polycom Inc., Pleasanton, Californie, est un exemple d'une interface de communication vidéo appropriée pour un tel but. En plus de leur utilisation dans l'émission d'une vue de caméra d'une structure anatomique au site chirurgical, les interfaces de communication vidéo 306 et 316 peuvent également être utilisées pour une communication audio entre les chirurgiens opérant et expert, exploitant respectivement l'ordinateur de chirurgien 302 et l'ordinateur d'expert 312. L'ordinateur de chirurgien 302 traite l'information reçue pour les paires d'images stéréographiques, et les fournit à un dispositif d'affichage 3-D 303 (tel que le dispositif d'affichage 3-D 152 de la station de commande maîtresse 151) pour l'observation tridimensionnelle par le chirurgien opérant (S). Le chirurgien opérant (S) manipule ensuite des manipulateurs maîtres 304 (tels que les dispositifs d'entrée maîtres droit et gauche 203 et 204) pour déplacer des mécanismes robotiques esclaves 305 (tels que les mécanismes robotiques esclaves 121 et 123 du chariot esclave 120), et par conséquent les dispositifs chirurgicaux qui leur sont fixés. D'autre part, l'ordinateur d'expert 312 traite la vue de caméra reçue et la fournit à un écran tactile 313 (tel que l'écran tactile 135 couplé à la station de commande maîtresse de mentor 131) pour l'observation bidimensionnelle par le chirurgien mentor (M). Le Wacom Cintiq 15X distribué par Wacom Technology Corp., Vancouver, Etat de Washington, est un exemple d'un écran tactile approprié à ce but. Le chirurgien mentor (M) peut alors dessiner une représentation graphique de télé-illustration sur la surface de l'écran tactile 313 en utilisant un crayon numérique (tel que le crayon numérique 136 couplé à la station de commande maîtresse de mentor 131). La représentation graphique de télé-illustration peut être de façon caractéristique une ligne, un cercle, une flèche tracé à la main, ou autres.

L'ordinateur d'expert 312 peut ensuite émettre automatiquement vers l'ordinateur de chirurgien 302 l'information d'entrée de représentation graphique de télé-illustration, en temps réel et par parties, par exemple au moyen d'une connexion TCP/IP, au fur et à mesure que le chirurgien mentor (M) la dessine, ou bien il peut émettre toute l'information d'entrée de représentation graphique de télé-illustration par l'intermédiaire de la connexion TCP/IP, seulement après que le chirurgien mentor (M) a indiqué que l'émission doit être effectuée, par exemple en cliquant sur un bouton ou un commutateur approprié sur l'écran tactile 313 ou son crayon numérique.

L'ordinateur de chirurgien 302 traite ensuite l'information d'entrée graphique de télé-illustration reçue à partir de l'ordinateur d'expert 312, de façon qu'une vue en 3-D de l'information d'entrée graphique de télé-illustration puisse être présentée en superposition sur une vue en 3-D de sa structure anatomique correspondante, dans le dispositif d'affichage 3-D 303, conformément au procédé décrit en référence à la figure 6. Des détails supplémentaires sur les modules implantés respectivement dans l'ordinateur de chirurgien 302 et l'ordinateur d'expert 312 pour accomplir leurs tâches respectives, comme décrit ici, sont décrits davantage ci-dessous en référence aux figures 4 et 5. La figure 4 illustre, à titre d'exemple, un schéma synoptique de modules conférant à l'ordinateur de chirurgien 302 une capacité de télé-illustration 3-D, et de composants de matériel qui interagissent avec ces modules de l'ordinateur de chirurgien 302; et la figure 5 illustre, à titre d'exemple, un schéma synoptique de modules conférant à l'ordinateur de mentor ou d'expert 312 la capacité de générer une information d'entrée graphique de télé-illustration et de l'émettre vers l'ordinateur de chirurgien 302 pour la télé-illustration 3-D d'une telle information d'entrée graphique, et de composants de matériel qui interagissent avec ces modules de l'ordinateur d'expert 312. En se référant tout d'abord à la figure 4, on note qu'un module d'acquisition d'image 401, tel qu'une carte de capture d'image Matrox Orion, distribuée par Matrox Electronic Systems Ltd., Canada, capture de l'information de paires d'images stéréoscopiques provenant de l'endoscope stéréoscopique 301, comme dans les signaux NTSC gauche et droit provenant des caméras endoscopiques, et fournit cette information à un module de corrélation d'images 402 qui génère ou actualise périodiquement une table de disparité en utilisant des vues (ou images) de caméras droite et gauche capturées par le module d'acquisition d'image 401. L'information de sortie du module d'acquisition d'image 401 peut également être fournie à une interface d'utilisateur local 411 qui fournit de l'information pour l'une sélectionnée des paires d'images stéréoscopiques à un écran tactile local 412, tel que l'écran Wacom Cintiq 15X, pour l'affichage en 2-D sur l'écran tactile 412. Un chirurgien expert ou mentor local peut ensuite télé-illustrer sur l'écran tactile 412 en utilisant un crayon numérique pour générer une information d'entrée graphique de télé-illustration qui est fournie à une unité de rendu 404. L'information de sortie du module d'acquisition d'image 401 est information d'entrée graphique de télé-illustration 3-D générée par l'unité de rendu 404, et fournit la combinaison au dispositif d'affichage 3-D 303 pour l'observation tridimensionnelle par un chirurgien opérant (S). L'unité de rendu 404 peut recevoir une information d'entrée graphique de télé-illustration 2-D associée à l'une des paires d'images stéréoscopiques provenant soit d'un mentor local à travers l'interface d'utilisateur local 411, soit d'un mentor distant à travers une unité de réception d'information graphique de télé-illustration 403.

En se référant maintenant à la figure 5, on note qu'un module également fournie à un module de superposition graphique 405, qui combine les paires capturées d'images stéréoscopiques avec une d'acquisition d'image 501, tel que le dispositif de capture d'image Matrox Orion, capture de l'information de l'une sélectionnée des paires d'images stéréoscopiques reçues par l'interface de communication vidéo 316, comme dans le signal NTSC droit provenant des caméras endoscopiques, et fournit cette information par l'intermédiaire de l'interface d'utilisateur distant 502 à un écran tactile 313, tel que l'écran Wacom Cintiq 15X pour l'affichage en 2-D sur l'écran tactile 313. Un chirurgien expert ou mentor peut ensuite télé-illustrer sur l'écran tactile 313 en utilisant un crayon numérique pour générer une information d'entrée graphique de télé-illustration qui est fournie par l'intermédiaire de l'interface d'utilisateur distant 502 à une unité d'émission d'information graphique de télé-illustration 503. L'unité d'émission d'information graphique de télé-illustration émet ensuite sur TCP/IP, automatiquement, en temps réel, ou sur ordre de l'utilisateur, l'information d'entrée graphique de télé-illustration sous la forme de méta-données, qui peuvent être en un format de langage graphique sélectionné, vers l'unité de réception d'information graphique de télé-illustration 403 dans l'ordinateur de chirurgien 302. La figure 6 illustre un organigramme d'un procédé pour télé- illustrer sur une image 3-D d'une structure anatomique, qui est mis en oeuvre de façon générale par des modules dans l'ordinateur de chirurgien 302 travaillant sur de l'information de paires d'images stéréoscopiques reçues de l'endoscope stéréoscopique 301. Bien qu'on suppose pour les besoins de cet exemple que la télé-illustration est effectuée par un chirurgien mentor distant (c'est-à-dire distant de l'environnement de salle d'opération), il faut apprécier que le procédé peut tout aussi bien s'appliquer à des cas dans lesquels la télé-illustration est effectuée par un chirurgien mentor local (c'est-à-dire dans l'environnement de salle d'opération).

Avant d'exécuter le procédé, l'endoscope stéréoscopique 301 est de préférence entièrement étalonné, aussi bien en ce qui concerne ses paramètres intrinsèques que ses paramètres extrinsèques, de façon à éliminer la distorsion optique, et les images en perspective résultantes sont rectifiées pour être amenées en alignement. En particulier, l'étalonnage de l'endoscope stéréoscopique 301 de cette manière signifie que la disparité entre des points corrélés dans les images de vues de caméras gauche et droite s'étendra le long d'une ligne épipolaire horizontale, comme représenté par exemple sur la figure 9, ce qui permet une recherche unidimensionnelle avec moins de chances d'avoir une fausse concordance, ce qui améliore la résolution et l'exactitude. Cet étalonnage de caméras qui n'a pas lieu en temps réel est généralement effectué en utilisant des techniques classiques, comme avec le logiciel utilitaire d'étalonnage de caméras appelé Camera Calibration Toolbox for Matlab , pouvant être téléchargé au site Web du California Institute of Technology (Caltech). En 601, le module d'acquisition d'image 401 reçoit continuellement de l'information d'une paire d'images stéréoscopiques provenant d'un endoscope stéréoscopique 301. En même temps, l'unité de communication vidéo 306 peut recevoir continuellement de l'information pour seulement l'une sélectionnée de la paire d'images stéréoscopiques (correspondant par exemple à l'une des caméras gauche et droite dans l'endoscope stéréoscopique 301) provenant de l'endoscope stéréoscopique 301, pour l'émission vers l'écran tactile d'expert 313, situé à distance. En 602, le module d'acquisition d'image 401 capture un ensemble de vues de caméras droite et gauche (c'est-à-dire des images 2-D droite et gauche) à partir de l'information reçue en 601, et il le fournit au module de corrélation d'images 402 qui construit une table de disparité à partir des vues de caméras droite et gauche, en utilisant un algorithme de corrélation d'images qui est de préférence suffisamment rapide pour fonctionner en temps réel et suffisamment exact pour fournir une vue en 3-D du site chirurgical qui convient pour des procédures chirurgicales peu invasives. Un exemple d'un tel algorithme de corrélation d'images est décrit dans le Brevet US-6 108 458, intitulé "Sparse Array Image Correlation", délivré à Douglas P. Hart et cédé Massachusetts Institute of Technology. En 603, l'unité de rendu 404 effectue tout d'abord le rendu d'une vue 3-D de l'information d'entrée graphique de télé-illustration reçue du mentor distant ou du mentor local. Le module de superposition graphique 405 superpose ensuite la vue en 3-D rendue, de l'information d'entrée graphique de télé-illustration, sur une vue en 3-D du site chirurgical qui est fournie par la paire d'images stéréoscopiques reçue en 601. Enfin, le module de superposition graphique 405 fournit la vue en 3D du site chirurgical avec l'information d'entrée graphique de télé-illustration 3-D superposée, de façon que le dispositif d'affichage 3-D 303 puisse les présenter au chirurgien opérant (S). En 604, le module d'acquisition d'image 401, qui continue à recevoir de l'information de paires d'images stéréoscopiques provenant de l'endoscope stéréoscopique 301, capture un autre ensemble de vues de caméras droite et gauche (c'est-à-dire des images 2-D droite et gauche) à partir de l'information reçue à un moment postérieur par rapport à celles capturées précédemment. En 605, les images droite et gauche de l'information reçue par la suite sont corrélées avec leurs homologues capturés précédemment (c'est-à-dire que l'image droite capturée à l'instant t+1 est corrélée avec l'image droite capturée précédemment à l'instant t+0, et l'image gauche capturée à l'instant t+1 est corrélée avec l'image gauche capturée précédemment à l'instant t+0), en utilisant un algorithme de corrélation d'images approprié. En corrélant ainsi les images droite et gauche avec leurs homologues capturés précédemment, il est possible de déterminer le mouvement de structures anatomiques qui se trouvent au site chirurgical et dans le champ d'observation de la caméra, et la position en 3-D de l'information d'entrée graphique de télé-illustration peut être déplacée de manière correspondante, pour suivre le mouvement de la structure anatomique sur laquelle elle a été dessinée. De plus, une mesure de confiance, telle qu'une valeur de corrélation, peut être calculée, et la luminosité de l'information d'entrée graphique de télé-illustration affichée peut être proportionnelle à la grandeur de la mesure de confiance.

En 606, un compteur à recyclage est incrémenté, et en 607 le compteur est contrôlé pour voir s'il a été recyclé. Dans la négative, ensuite le procédé retourne en boucle pour répéter la boucle intérieure 603 à 607, et dans l'affirmative le procédé retourne en boucle pour répéter la boucle extérieure 602 à 607. De cette manière, la génération de la table de disparité en 602 peut être effectuée moins fréquemment que le suivi de structures anatomiques qui est effectué en 604 à 605. Par exemple, en sélectionnant de façon appropriée la fréquence d'horloge et la valeur de recyclage pour le compteur à recyclage, les boucles intérieures 603 à 607 peuvent être exécutées à une fréquence de 30 Hz, tandis que la boucle extérieure 602 à 607 est exécutée moins fréquemment, comme à une cadence de 1 Hz. Bien qu'il soit décrit qu'un compteur à recyclage est utilisé dans ce but, d'autres techniques classiques pour remplir la même fonction ou une fonction similaire peuvent être utilisées à la place, et entrent entièrement dans le cadre de la présente invention. La figure 7 illustre, à titre d'exemple, un organigramme montrant les détails de tâches exécutées par l'unité de rendu 404 et le module de superposition graphique 405 dans l'accomplissement de la fonction 603 du procédé décrit en référence à la figure 6. Bien qu'on suppose pour cet exemple qu'une vue de caméra droite de la paire d'images stéréographiques a été émise vers un chirurgien mentor distant, pour l'observation et la télé-illustration, le procédé suivant, et d'autres, décrits ici, s'appliquent tout aussi bien à des cas dans lesquels la vue de la caméra gauche est émise, à la place.

En 701, l'unité de rendu 404 reçoit une information d'entrée graphique de télé-illustration correspondant à la vue de caméra droite de la paire d'images stéréographiques, provenant d'un chirurgien mentor distant, par l'intermédiaire de l'unité de réception d'information graphique de télé-illustration 403. Du fait que l'information reçue définit de préférence l'information d'entrée graphique de télé-illustration en un langage graphique sélectionné, l'unité de rendu 404 traduit l'information reçue, de la manière nécessaire pour qu'elle soit compatible avec la table de disparité. De préférence, la profondeur de l'information d'entrée graphique de télé-illustration est la même que celle de la structure anatomique sur laquelle elle est positionnée dans la vue de caméra droite. Par conséquent, d'après la position de l'information d'entrée graphique de télé-illustration reçue, correspondant à la vue de caméra droite, la profondeur de l'information d'entrée graphique de télé-illustration peut être déterminée aisément en utilisant la table de disparité, du fait que la table de disparité est directement associée à une table de profondeur qui peut être déterminée en temps non réel, pendant le processus d'étalonnage pour l'endoscope stéréoscopique 301. En 702, l'unité de rendu 404 détermine ensuite la position de l'information d'entrée graphique de télé-illustration dans la vue de caméra gauche qui correspond à la position d'information d'entrée graphique de télé-illustration reçue dans la vue de caméra droite. Elle effectue ceci en utilisant la table de disparité générée précédemment pour les vues de caméras droite et gauche. En particulier, pour des points sélectionnés de l'information d'entrée graphique de télé-illustration reçue correspondant à la vue de caméra droite, des valeurs de disparité sont lues ou déterminées d'une autre manière à partir de la table de disparité, aux emplacements de ces points. Les emplacements correspondants dans la vue de caméra gauche pour ces points sont ensuite déterminés en ajustant les emplacements dans la vue de caméra droite au moyen des valeurs de disparité. En 703, le module de superposition graphique 405 superpose ou mélange l'information d'entrée graphique de télé-illustration positionnée pour la vue de caméra droite, sur ou avec la vue de caméra droite, et superpose ou mélange l'information d'entrée graphique de télé- illustration positionnée pour la vue de caméra gauche sur ou avec la vue de caméra gauche. De préférence, les deux superpositions sont effectuées d'une manière non destructive, de façon que l'information de vue de caméra sous-jacente soit préservée. Le module de superposition graphique 405 fournit ensuite au dispositif d'affichage 3-D 303 l'information de vues de caméra stéréoscopiques droite et gauche, avec l'information d'entrée graphique de télé-illustration 3-D superposée, de façon que le chirurgien opérant (S) puisse observer le site chirurgical avec l'information d'entrée graphique de télé-illustration 3-D correctement positionnée sur la structure anatomique 3-D. Facultativement, l'information peut être fournie au dispositif d'affichage 3-D 303 de manière que soit l'information d'entrée graphique de télé-illustration 3-D apparaisse comme si elle était dessinée à la main en temps réel, soit elle apparaisse dans son intégralité d'un seul coup. De plus, facultativement, l'information peut être fournie au dispositif d'affichage 3-D 303 d'une manière telle que l'information d'entrée graphique de télé-illustration 3-D disparaisse au bout d'un moment, soit en disparaissant progressivement à partir d'une extrémité jusqu'à l'autre, soit en disparaissant en même temps pour tous les points. De plus, comme décrit précédemment, une mesure de confiance telle qu'une valeur de corrélation peut être calculée, et la luminosité de l'information d'entrée graphique de télé-illustration affichée peut être proportionnelle à la grandeur de la mesure de confiance. La figure 8 illustre, à titre d'exemple, un organigramme détaillant des tâches exécutées par l'unité de rendu 404 et le module de superposition graphique 405 dans l'accomplissement de la fonction de suivi de structure anatomique 605 du procédé décrit en référence à la figure 6. En 801, l'unité de rendu 404 effectue une corrélation d'image à image en faisant accomplir au module de corrélation d'images 402 les actions suivantes : (a) corréler la vue de caméra droite capturée le plus récemment avec la vue de caméra droite capturée immédiatement avant, au moyen du module d'acquisition d'image 401, et (b) corréler la vue de caméra gauche capturée le plus récemment avec la vue de caméra gauche capturée immédiatement avant, par le module d'acquisition d'image 401. En effectuant cette corrélation d'image à image, une nouvelle position dans l'espace 3-D de l'endoscope stéréoscopique est déterminée pour la structure anatomique sur laquelle l'information d'entrée graphique de télé-illustration doit être superposée. Du fait qu'on prévoit que la structure anatomique qui est observée au site chirurgical se déplacera seulement lentement, si encore elle se déplace, par rapport à l'endoscope stéréoscopique 301, la corrélation d'image à image effectuée en 801 peut être effectuée plus rapidement que la corrélation d'images effectuée en 602 pour construire la table de disparité, du fait que l'étendue sur laquelle la corrélation d'images est effectuée peut être réduite. Cette réduction d'étendue est particulièrement utile, du fait que contrairement à la détermination de table de disparité dans laquelle on prévoit que les positions de caractéristiques d'identification dans les vues de caméras droite et gauche différeront seulement par leurs valeurs de disparité le long de lignes épipolaires horizontales, en ce qui concerne le suivi de structures anatomiques, il est également utile de considérer des mouvements verticaux et en profondeur. En 802, l'unité de rendu 404 actualise ensuite la position de l'information d'entrée graphique de télé-illustration dans les vues de caméras droite et gauche capturées le plus récemment, de façon à suivre le mouvement de la structure anatomique sur laquelle elle doit être superposée. En particulier, pour chaque point partagé (c'est-à-dire donnant lieu à superposition) de la structure anatomique et de l'information d'entrée graphique de télé-illustration, le point d'information d'entrée graphique de télé-illustration est déplacé vers la nouvelle position de son point de structure anatomique correspondant, à la fois dans les vues de caméras droite et gauche, comme déterminé au moyen de la corrélation d'image à image.

Claims (26)

REVENDICATIONS

1. Procédé pour télé-illustrer sur une image tridimensionnelle d'une structure anatomique, comprenant les opérations suivantes recevoir (701) une information d'entrée graphique de télé-illustration associée à l'une d'une paire d'images stéréoscopiques d'une structure anatomique; et déterminer (702) une information d'entrée graphique de télé-illustration correspondante dans l'autre de la paire d'images stéréoscopiques, de façon qu'une vue tridimensionnelle de l'information d'entrée graphique de télé-illustration puisse être affichée en superposition sur une vue tridimensionnelle de la structure anatomique.

2. Procédé selon la revendication 1, comprenant en outre l'opération consistant à émettre de l'information pour l'une de la paire d'images stéréoscopiques vers un emplacement avant de recevoir (701) l'information graphique de télé-illustration provenant de l'emplacement.

3. Procédé selon la revendication 2, dans lequel l'emplacement est un ordinateur (312) manipulé par un chirurgien expert (M).

4. Procédé selon la revendication 2, comprenant en outre l'opération consistant à recevoir (601) de l'information pour la paire d'images stéréoscopiques avant d'émettre vers l'emplacement l'information pour l'une de la paire d'images stéréoscopiques.

5. Procédé selon la revendication 4, dans lequel l'information pour la paire d'images stéréoscopiques est reçue (601) à partir d'un endoscope stéréoscopique (301) introduit à l'intérieur du corps du patient (P).

6. Procédé selon la revendication 4, dans lequel la paire d'images stéréoscopiques comprend des vues de caméras droite et gauche correspondantes.

7. Procédé selon la revendication 4, comprenant en outre 30 l'opération consistant à générer (602) une table de disparité à partir de l'information reçue pour la paire d'images stéréoscopiques.

8. Procédé selon la revendication 7, dans lequel la détermination (702) de l'information d'entrée graphique de télé- illustration correspondante dans l'autre de la paire d'images 35 stéréoscopiques utilise la table de disparité.

9. Procédé selon la revendication 4, comprenant en outre les opérations suivantes : recevoir (604) de l'information pour une paire suivante dans le temps d'images stéréoscopiques, après l'émission vers l'emplacement de l'information pour l'une de la paire d'images stéréoscopiques; corréler (801) l'information pour la paire d'images stéréoscopiques avec l'information pour la paire suivante dans le temps d'images stéréoscopiques, de façon à déterminer un mouvement relatif de la structure anatomique; et positionner (802) la vue tridimensionnelle de l'information d'entrée graphique de télé-illustration de façon à suivre le mouvement de la structure anatomique.

10. Procédé selon la revendication 9, comprenant en outre les opérations suivantes : déterminer une mesure de confiance utilisant la corrélation de l'information pour la paire d'images stéréoscopiques avec l'information pour la paire suivante dans le temps d'images stéréoscopiques; et afficher l'information d'entrée graphique de télé-illustration avec une luminosité proportionnelle à une grandeur de la mesure de confiance.

11. Procédé selon la revendication 1, comprenant en outre l'opération consistant à afficher la vue tridimensionnelle de l'information d'entrée graphique de télé-illustration sous la forme d'une représentation graphique non destructive superposée à la vue tridimensionnelle de la structure anatomique.

12. Procédé selon la revendication 1 1, dans lequel l'affichage tridimensionnel de l'information graphique de télé-illustration est effectué d'une manière telle que la vue tridiménsionnelle de l'information d'entrée graphique de télé-illustration disparaisse progressivement au cours du temps.

13. Système robotique médical procurant une télé-illustration tridimensionnelle, comprenant une console de chirurgien (151) configurée pour recevoir une information d'entrée graphique de télé-illustration associée à une paire d'images stéréoscopiques d'une structure anatomique, et déterminer une information d'entrée graphiquede télé-illustration correspondante dans l'autre de la paire d'images stéréoscopiques, de façon qu'une vue tridimensionnelle de l'information d'entrée graphique de télé-illustration puisse être affichée en superposition sur une vue tridimensionnelle de la structure anatomique.

14. Système robotique médical selon la revendication 13, comprenant en outre un moyen pour émettre vers un emplacement de l'information pour l'une de la paire d'images stéréoscopiques, avant de recevoir l'information graphique de télé-illustration provenant de l'emplacement.

15. Système robotique médical selon la revendication 14, dans lequel l'emplacement est une console (131) manipulée par un chirurgien expert (M).

16. Système robotique médical selon la revendication 14, dans lequel la console de chirurgien (151) est en outre configurée de façon à recevoir de l'information pour la paire d'images stéréoscopiques avant d'émettre vers l'emplacement l'information pour l'une de la paire d'images stéréoscopiques.

17. Système robotique médical selon la revendication 16, dans lequel l'information pour la paire d'images stéréoscopiques est reçue par la console de chirurgien (151) à partir d'un endoscope stéréoscopique (301) introduit à l'intérieur du corps du patient (P).

18. Système robotique médical selon la revendication 17, dans lequel la paire d'images stéréoscopiques comprend des vues de caméras droite et gauche correspondantes de l'endoscope stéréoscopique (301).

19. Système robotique médical selon la revendication 16, dans lequel la console de chirurgien (151) est en outre configurée pour générer une table de disparité d'après l'information reçue pour la paire d'images stéréoscopiques de la structure anatomique.

20. Système robotique médical selon la revendication 19, dans lequel la console de chirurgien (151) est en outre configurée pour utiliser la table de disparité pour déterminer l'information d'entrée graphique de télé-illustration correspondante dans l'autre de la paire d'images stéréoscopiques.

21. Système robotique médical selon la revendication 16, danslequel la console de chirurgien (151) est en outre configurée pour recevoir (604) de l'information pour une paire suivante dans le temps d'images stéréoscopiques, après l'émission vers l'emplacement de l'information pour l'une de la paire d'images stéréoscopiques, pour corréler (801) l'information pour la paire d'images stéréoscopiques avec l'information pour la paire suivante dans le temps d'images stéréoscopiques, afin de déterminer un mouvement relatif de la structure anatomique, et pour positionner (802) la vue tridimensionnelle de l'information d'entrée graphique de télé-illustration, de façon à suivre le mouvement de la structure anatomique.

22. Système robotique médical selon la revendication 21, dans lequel la console de chirurgien (151) est en outre configurée pour déterminer une mesure de confiance utilisant la corrélation de l'information pour la paire d'images stéréoscopiques avec l'information pour la paire suivante dans le temps d'images stéréoscopiques; et afficher l'information d'entrée graphique de télé-illustration avec une luminosité proportionnelle à une grandeur de la mesure de confiance.

23. Système robotique médical selon la revendication 13, dans lequel la console de chirurgien (151) comprend un dispositif d'affichage tridimensionnel (152), et est en outre configurée pour afficher la vue tridimensionnelle de l'information d'entrée graphique de téléillustration sous la forme d'une représentation graphique superposée à la vue tridimensionnelle de la structure anatomique, dans le dispositif d'affichage tridimensionnel (152).

24. Système robotique médical selon la revendication 23, dans lequel la console de chirurgien (151) est en outre configurée pour afficher la vue tridimensionnelle de l'information graphique de télé-illustration d'une manière telle que la vue tridimensionnelle de l'information d'entrée graphique de télé-illustration disparaisse progressivement au cours du temps.

25. Système robotique médical procurant une télé-illustration tridimensionnelle, comprenant : un ensemble de caméra stéréoscopique (301) pouvant être inséré dans le corps d'un patient (P) de façon à capturer des paires d'images stéréoscopiques d'une structure anatomique du patient, pendant uneprocédure chirurgicale peu invasive; une console d'expert (131) ayant un récepteur configuré pour recevoir une vue droite ou gauche des paires d'images stéréoscopiques capturées par l'ensemble de caméra stéréoscopique (301), un dispositif d'affichage (135) pour afficher de façon bidimensionnelle la vue droite ou gauche reçue, un dispositif de télé-illustration (136) configuré pour faciliter la génération d'une information d'entrée graphique de télé-illustration par un opérateur de la console d'expert (131), sur la vue droite ou gauche affichée de façon bidimensionnelle, et un émetteur (503) configuré pour émettre l'information d'entrée graphique de télé-illustration; et une console de chirurgien (151) ayant un premier récepteur (401) configuré pour recevoir les paires d'images stéréoscopiques capturées par l'ensemble de caméra stéréoscopique (301), et un deuxième récepteur (403) configuré pour recevoir l'information d'entrée graphique de télé-illustration émise par l'émetteur (503) de la console d'expert (131), la console de chirurgien (151) étant configurée pour générer (602) une table de disparité d'après les paires d'images stéréoscopiques reçues, et pour déterminer une information d'entrée graphique de télé- illustration correspondante dans l'autre de la paire d'images stéréoscopiques, en utilisant la table de disparité, de façon qu'une vue tridimensionnelle de l'information d'entrée graphique de télé-illustration puisse être affichée en superposition sur une vue tridimensionnelle de la structure anatomique.

26. Système robotique médical selon la revendication 25, dans lequel la console de chirurgien (151) est en outre configurée pour recevoir (604) de l'information pour une paire suivante dans le temps d'images stéréoscopiques, après l'émission vers un emplacement de l'information pour l'une de la paire d'images stéréoscopiques, pour corréler (801) l'information pour la paire d'images stéréoscopiques avec l'information pour la paire suivante dans le temps d'images stéréoscopiques, de façon à déterminer un mouvement relatif de la structure anatomique, et pour positionner (802) la vue tridimensionnelle de l'information d'entrée graphique de télé-illustration de façon à suivre le mouvement de la structure anatomique.