FR2737860A1 - Procede pour realiser l'asservissement d'un laparoscope stereoscopique dans le domaine de la chirurgie avec ingerance minimale dans le corps humain - Google Patents

Abstract

Pour l'asservissement d'un laparoscope à deux caméras (21 , 22 ), déplaçable par un robot (10) par rapport à un outil opératoire, l'outil opératoire est marqué de façon colorée et est identifié sur une image fournie par au moins une caméra, et à partir de la position de l'outil opératoire dans les images on obtient des signaux pour commander le robot pour diriger le laparoscope de sorte que l'image de l'outil opératoire soit au centre d'un moniteur de contrôle, au moyen d'une unité (11) de commande du robot reliée aux caméras par un classificateur (32), des processeurs statistiques (331 , 332 ) et d'un régulateur (34). Application notamment en coélioscopie.

Description

i

PROCÉDÉ POUR RÉALISER L'ASSERVISSEMENT D'UN LAPAROSCOPE

STÉRÉOSCOPIQUE DANS LE DOMAINE DE LA CHIRURGIE AVEC

INGÉRENCE MINIMALE DANS LE CORPS HUMAIN

L'invention concerne un procédé pour réaliser l'asservissement d'un laparoscope stéréoscopique utilisé dans la chirurgie avec ingérence minimale dans le corps humain et qui peut être déplacé à l'aide d'un robot par rapport à un outil opératoire situé dans la zone

d'opération et contrôlé au moyen d'un moniteur.

D'après WO 87/06353, on connaît un procédé pour le guidage d'opérations selon lequel on détecte à l'aide de deux caméras un objet mobile qui est présent dans un espace contrôlé et comporte des marquages. Le procédé sert

par conséquent uniquement à déterminer les coordonnées spa-

tiales des points marqués.

Étant donné que la chirurgie avec ingérence mini-

nale dans le corps humain prend de plus en plus d'impor-

tance en tant qu'alternative à la chirurgie ouverte, elle est déjà utilisée aujourd'hui dans de nombreux hôpitaux lors d'opérations de routine, comme par exemple pour une résection de la vésicule biliaire. Lorsqu'une intervention s'effectue par voie laparoscopique en liaison avec une

transmission électronique d'images sur un moniteur, le gui-

dage de la caméra était exécuté jusqu'alors par un prati-

cien assistant.

Une telle assistance s'occupant de la caméra pose cependant une série de problèmes. Sous l'effet de la fatigue, on peut avoir un guidage peu stable de la caméra et également la concentration laisse à désirer sous l'effet de l'épuisement. En outre les indications du chirurgien qui

opère sont interprétées de plus en plus d'une manière erro-

née. De plus, des décisions autoritaires du praticien assistant, qui perturbent le déroulement de l'opération, peuvent conduire, assez fréquemment, à des mésententes entre le chirurgien qui opère et l'assistant. En outre, le

chirurgien peut ressentir une gêne du point de vue phy-

sique. De même l'activité d'un assistant s'occupant de la caméra ne correspond pas à la formation médicale de haute qualité d'un praticien assistant, et c'est pourquoi en

toute généralité il est payé beaucoup trop cher et naturel-

lement est fréquemment mal considéré par le jeune prati-

cien.

Dans des systèmes de guidage utilisés jus-

qu'alors, on utilise des dispositifs de retenue, qui peu-

vent être détachés et fixés rapidement. Des exemples de

tels dispositifs sont des bras à éléments multiples compor-

tant des articulations sphériques et des dispositifs de blocage d'articulations ainsi que ce qu'on appelle "l'arc en C" et une "articulation en ciseaux" de la société KFK de Karlsruhe. En outre, la société Computer-Motion

a commercialisé un robot développé notamment pour une uti-

lisation laparoscopique et comportant six degrés de liberté et qui, pour la commande d'actionnement, est équipé aussi bien d'un appareil de commande manuel que d'un système de

commutation au pied.

Bien que les dispositifs de retenue connus déchargent le praticien assistant d'efforts physiques, il considère cependant comme un inconvénient le fait qu'ils rendent inutile une assistance pour la caméra. Il en va de

même également pour le robot devant être commandé manuelle-

ment. Bien que la commande du robot puisse être exécutée par le chirurgien lui-même au moyen d'une commutation au pied, son actionnement écarte le chirurgien de son activité

opératoire proprement dite.

C'est pourquoi l'invention a pour but d'indiquer un procédé pour réaliser l'asservissement d'un laparoscope

stéréoscopique dans le domaine de la chirurgie avec ingé-

rence minimale dans le corps humain, selon lequel d'une part il n'est plus nécesssaire qu'un praticien assistant réalise l'asservissement d'une caméra et d'autre part

également le chirurgien, qui opère, est déchargé d'activi-

tés supplémentaires d'actionnement, comme la commande d'un robot. Conformément à l'invention ceci est obtenu dans un procédé pour réaliser l'asservissement d'un laparoscope stéréoscopique dans le cadre de la chirurgie avec ingérence minimale dans le corps humain du type indiqué plus haut, grâce au fait que l'outil opératoire est marqué de façon colorée et est identifié dans au moins une image délivrée par l'une de deux caméras du laparoscope et qu'à partir de la position de l'outil opératoire marqué de façon colorée sont dérivés, dans deux images produites par les deux caméras, des signaux pour commander le robot de telle sorte que le robot amène automatiquement le laparoscope dans une position telle que l'image de l'outil opératoire marqué de façon colorée est formée en permanence dans la zone

centrale du moniteur de contrôle.

Selon une autre caractéristique de l'invention, pour éviter des déplacements d'une image, qui sont gênants lors du travail avec l'outil opératoire, on asservit le laparoscope en permanence à l'outil opératoire marqué de façon colorée de telle sorte que le suivi d'une image est réglée de manière à être relativement faible dans la zone

centrale du moniteur, mais à être intense dans la zone mar-

ginale du moniteur.

Selon une autre caractéristique de l'invention, a) pour la commande du robot inséré dans une boucle de régulation, les images colorées, qui sont enregistrées par les deux caméras du laparoscope, sont transmises selon un format rouge-vert-bleu tridimensionnel à une unité de traitement d'images, dans laquelle elles sont converties en des images bidimensionnelles dans l'espace HSV; b) ensuite des valeurs de couleurs, qui sont associées

pour le marquage, dans une table de consultation préa-

lablement mémorisée d'un classificateur de l'unité de traitement d'images sont intensifiées et sont réglées à une valeur nette ("1" logique), alors que toutes les autres valeurs sont réglées à zéro; c) l'image du barycentre et l'image d'un entourage cir- conscrit du rectangle d'une image du marquage sont formées dans les processeurs statistiques branchés en aval du classificateur, respectivement en tant que résultats d'évaluations statistiques exécutées par ce dernier; d) enfin, les pixels de marquage obtenus sont envoyés par

l'intermédiaire d'un régulateur à une unité de com-

mande du robot, dans laquelle des images du barycentre de l'image et d'une disparité sont formées à partir des barycentres de l'image des marquages dans deux images successives des caméras, un écart du centre par

rapport à une position de consigne dans la zone cen-

trale de l'image du moniteur étant utilisé pour la commande latérale du laparoscope guidé par le robot, tandis que l'écart de la disparité par rapport à sa valeur de consigne est utilisée pour la commande

transversale du laparoscope.

Selon une autre caractéristique de l'invention, pour la commande d'images stéréoscopiques à l'entrée de l'unité de traitement d'images, une commutation entre les entrées des caméras du laparoscope est exécutée à l'aide

d'un multiplexeur, selon un rythme prédéterminé.

Selon une autre caractéristique de l'invention, dans le tableau LU du classificateur, à partir d'un nombre de bits des composantes de couleurs "H" et "S" dans les images colorées converties dans l'espace HSV est formé, en tant qu'adresse pour le tableau, un mot comportant un nombre de bits doubles, le tableau étant préalablement

mémorisé de telle sorte que des valeurs de couleurs asso-

ciées au marquage reçoivent la valeur maximale ("1" logique) et que les autres valeurs sont positionnées à zéro ("0" logique), que pour la correction de pixels affectés par erreur de la valeur maximale, tous les pixels, qui sont associés à un niveau de signal très bas (bruit) ou un niveau de signaux très élevé (saturation), sont positionnés

à zéro, les composantes "V" des images en couleurs conver-

ties, qui sont délivrées par l'intermédiaire d'un généra-

teur bilatéral de valeur de seuil, sont multipliées, dans une unité multiplicatrice, par les valeurs de sortie du tableau LU, et que des erreurs résiduelles sous la forme de

pixels isolés ou groupes de pixels sont soumises à un fil-

trage temporel et local et sont ensuite délivrées, par

l'intermédiaire d'un générateur de valeur de consigne uni-

latéral, en tant que données de sortie du classificateur.

Selon une autre caractéristique de l'invention,

pour accroître la sécurité du système, on exécute en perma-

nence un contrôle de confiance des mesures.

Selon une autre caractéristique de l'invention, pour la conception rapide et sûre d'un classificateur de couleurs selon le principe de l'apprentissage contrôlé par

l'exemple,

a) à partir d'une analyse de couleurs assistée par ordi-

nateur, des scènes caractéristiques (telles que des images de caméras) sont représentées sur un moniteur de sorte que dans ces scènes on peut marquer, à l'aide d'un appareil d'entrée (telle qu'une souris), des

zones à l'intérieur desquelles, en vue de l'éta-

blissement d'un histogramme bidimensionnel des cou-

leurs, il faut exécuter une évaluation plus détaillée dans un espace normé en rapport avec la luminosité (telle que la teinte de couleur et la saturation; b) en tant que résultat de l'analyse des couleurs, l'histogramme unidimensionnel établi des couleurs est représenté sur un moniteur de sorte qu'à l'aide de l'appareil d'entrée (souris) on peut marquer, dans la représentation d'histogrammes, des zones auxquelles est associée une désignation par exemple sous la forme d'une valeur chiffrée; et c) à partir des zones colorées marquées lors de l'étape (b) et des désignations associées, on fixe ensuite

automatiquement l'occupation d'une table de consulta-

tion, qui a pour effet que la désignation choisie lors de l'étape b) est associée à chaque couleur marquée de

l'espace bidimensionnel des couleurs.

Conformément à une forme de réalisation préférée de l'invention, l'outil opératoire est marqué d'une manière colorée de sorte qu'on peut l'identifier dans au moins une

image délivrée par l'une de deux caméras du laparoscope.

Conformément à l'invention, les signaux pour la commande du

robot sont alors dérivés de la position de l'outil opéra-

tionnel marqué de façon colorée, dans des images produites

par les deux caméras du laparoscope. Grâce à une exploita-

tion de ces signaux, le robot est à même d'amener automati-

quement le laparoscope dans une position telle que l'image de l'outil opératoire marquée de façon colorée est formée en permanence dans la zone centrale du moniteur de contrôle.

Lors de l'utilisation du procédé selon l'inven-

tion, un robot commandé de façon correspondante est par

conséquent rendu à même d'orienter les caméras d'un laparo-

scope stéréoscopique automatiquement sur l'outil opéra-

toire, dès que le chirurgien, qui opère, envoie un ordre à

cet effet.

Par conséquent, conformément à l'invention, la position de la caméra par rapport à l'outil opératoire est déterminée et, dans le cas de l'existence d'un éventuel écart de position, la ou les caméras sont alors asservies automatiquement à l'aide du robot. A cet effet, les signaux présents des caméras sont utilisés et avec ces signaux, l'outil opératoire ou le marquage sur l'outil opératoire

est alors identifié en référence à la couleur appliquée.

Conformément à l'invention, la source de signal est par conséquent au moins une marque ou un marquage de couleur appropriée, qui est apposé ou prévu à proximité ou sur une pointe d'un instrument. La réalisation de cette source de signal est par conséquent remarquablement simple

et son coût est négligeable. De plus, chaque outil opéra-

toire présent peut être également en outre ultérieurement équipé de marques colorées correspondantes, de sorte que la solution selon l'invention peut être également utilisée d'une manière remarquablement économique en liaison avec

des outils opératoire existants de haute qualité.

En outre, il est également possible de réaliser une tige d'instrument, qui était jusqu'alors habituellement

noire, avec une couleur appropriée, et dans ce cas la posi-

tion d'une marque serait inutile.

En outre, une telle source de signal ne requiert aucune place et n'influe par conséquent également en aucune manière sur l'agencement mécanique ou la construction des instruments. De même, un marquage apposé ou une marque appliquée n'a également aucun effet gênant en ce qui

concerne la manipulation des outils opératoires.

Ce type de source de signal sous la forme d'un marquage coloré ne requiert également aucune source

d'énergie particulière, ce qui assurément est déjà avanta-

geux,en particulier étant donné qu'une lumière introduite de l'extérieur est absolument nécessaire pour le chirurgien

qui opère.

Le fait de prévoir des couleurs différentes per-

met également de réaliser un codage des instruments de sorte qu'il est possible d'appliquer le procédé selon

l'invention au choix à différents instruments. Une diffé-

rence de couleurs dans des images vidéo peut être réalisée rapidement et à bon marché à l'aide de dispositif moderne

de traitement d'images.

En outre, le procédé selon l'invention est conçu de telle sorte qu'il peut être réalisé à l'aide d'appareils

et de modules usuels. Le procédé selon l'invention tra-

vaille en temps réel et, dans le cadre de ce procédé, une grande sécurité est garantie de façon fiable également dans

des situations réelles.

Le procédé selon l'invention fournit par consé-

quent à un chirurgien qui opère une possibilité très com-

mode et fiable de guider le laparoscope sans avoir à dépo-

ser l'outil opératoire. Conformément à un mode de mise en oeuvre préféré du procédé selon l'invention, le laparoscope suit en permanence selon un mode dit "mode continu" l'outil

opératoire marqué de façon colorée. La régulation est choi-

sie de telle sorte qu'elle agit seulement faiblement dans la partie centrale de l'image et qu'elle agit fortement dans la zone marginale de l'image. Ceci garantit également que dans le cas de travaux dans la zone d'opérations, par exemple dans le cas d'une incision du tissu, il n'apparaît

aucun déplacement d'image gênant. D'autre part on est cer-

tain que, même dans le cas de déplacements assez impor-

tants, l'outil opératoire n'est pas perdu dans l'image du moniteur.

D'autres caractéristiques et avantages de la pré-

sente invention ressortiront de la description donnée ci-

après prise en référence aux dessins annexés, sur les-

quels: - la figure 1 représente un dispositif, reproduit schématiquement sous la forme de blocs, pour la mise en oeuvre du procédé selon l'invention; - la figure 2 représente un schéma-bloc d'un classificateur utilisé dans le dispositif de la figure 1; et - les figures 3a à 3e sont des représentations, sur la base desquelles la classification des couleurs, qui doit être exécutée en liaison avec le procédé selon

l'invention, est exécutée en liaison avec une scène d'opé-

ration.

Tout d'abord, on va décrire les composants utili-

sés pour la mise en oeuvre du procédé selon l'invention.

Des laparoscopes stéréoscopiques usuels dans le commerce possèdent un tube rigide possédant un diamètre de l'ordre de grandeur de 10 mm, sur l'extrémité duquel, qui doit être introduite dans la zone d'opération, sont prévus deux objectifs et sur l'autre extrémité duquel est prévue une

tête porte-caméras, dans laquelle sont intégrées deux camé-

ras CCD, c'est-à-dire des caméras à dispositifs à couplage de charges. Les deux images délivrées par les deux caméras sont présentes sous la forme de signaux vidéo, par exemple dans le format de signaux RVB (c'està-dire rouge, vert,

bleu).

Un robot possédant une unité de commande corres-

pondante, par exemple de la société Computer-Motion, Goleta, Californie/États-Unis d'Amérique, comporte six degrés de liberté, dont deux sont passifs. Par conséquent,

le risque de blessure d'un patient par des forces laté-

rales, c'est-à-dire des forces qui agissent transversale-

ment à l'axe du laparoscope, sont évitées. Pour la commande d'un tel robot, on dispose d'une bibliothèque et les ordres prévus: déplacement à gauche (vitesse),

déplacement à droite (vitesse), soulèvement (vitesse), des-

cente (vitesse), application du dôme (vitesse) et suppres-

sion du dôme (vitesse) concernent les déplacement d'une

image sur le moniteur et produisent les séquences de com-

mande nécessaires pour les articulations du robot.

En outre, on utilise un numériseur vidéo en cou-

leurs usuel dans le commerce, par exemple de la société

Datacube, Danvers, Massachussets/États-Unis d'Améri-

que, pour numériser les signaux analogiques enregistrés. Un

tel numériseur possède, sur le côté analogique, un multi-

plexeur à l'aide duquel on peut réaliser une commutation au choix entre deux caméras et, côté numérique, un module

pour la conversion de l'espace des couleurs.

En outre un processeur dit "pipeline" pour un traitement d'images en temps réel, tel qu'il est proposé par exemple par la société Datacube, est relié à un numériseur, comme par exemple celui de la société Datacube, par l'intermédiaire d'un bus de transmission de données à 10 MHz. Un tel processeur contient par exemple

une table de consultation (LUT), des processeurs de stabi-

lisation, un module de convolution et d'autres modules. Un tel processeur comporte les modules nécessaires pour une

mémorisation d'images et un traitement d'images; une numé-

risation, spécifique à l'utilisateur ou à l'utilisation, de ce processeur et son câblage sont programmables. L'unité centrale (CPU) est utilisée simultanément pour la gestion du matériel de traitement d'images et en tant qu'interface

pour la commande du robot.

Comme cela est visible sur la figure 1, la struc-

ture de base pour la mise en oeuvre du procédé selon

l'invention est une boucle de régulation. Un robot main-

tient un laparoscope, dont seules les deux caméras CCD 21

et 22 sont représentées sur la figure 1. Les images enre-

gistrées au moyen des caméras 21 et 22 sont transmises dans le format RVB (rouge-vert-bleu) à une unité 3 de traitement d'images. Les images présentes selon le format RVB sont appliquées à un multiplexeur 30 de l'unité 3 de traitement d'images, qui est commutée entre les deux caméras 21 et 22 à un rythme prédéterminé de par exemple 25 Hz, de sorte qu'avec une seule unité de traitement d'images, on peut

exploiter des images stéréoscopiques.

Mais, avec un tel traitement d'images, des

pixels, qui proviennent d'une marque colorée ou d'un mar-

quage coloré d'un laparoscope - non représenté sur la figure 1 -, doivent toutes être différenciées les unes des autres. En outre, pour une classification, l'espace des

couleurs HSV [H (teinte de couleur) - S (saturation de cou-

leur) - valeur (luminance)] convient nettement mieux que l'espace des couleurs RVB étant donné que dans l'espace HSV la couleur est représentée par les deux composantes "H" et "S", qui sont indépendantes de l'intensité et que l'intensité est représentée par la composante "V" qui est indépendante de la couleur. C'est pour cette raison qu'une

conversion entre les espaces de couleurs RVB/HSV est exécu-

tée dans un convertisseur 31 disposé en aval du multi-

plexeur 20.

En aval du convertisseur 31 est disposé un clas-

sificateur 32, dont l'agencement particulier va être décrit ci-après en référence à la figure 2. Sur la figure 2, le constituant central du classificateur 32 est une table de consultation LU (abréviation de l'anglais look-up) 32 à (16

x 16) bits. A partir de respectivement 8 bits des compo-

santes de couleurs "H" et "S" est formé un mot à 16 bits, qui est utilisé comme adresse pour la table LU 32-1. La table LU 32-1 est préalablement mémorisée de telle sorte que des valeurs de couleurs, qui sont associées à une marque, reçoivent la valeur 255 ("1" logique), tandis que

toutes les autres reçoivent la valeur zéro ("0" logique).

Le tableau LU 32-1 peut être lu à une cadence de 20 MHz.

En raison de bruits de la caméra et défauts de

saturation, il peut apparaître une classification erronée.

En particulier dans le cas d'un faible niveau de signal, ce risque est grand. C'est pourquoi, un post-traitement du résultat de classification obtenu au moyen du tableau LU

est exécuté avec comme but de corriger tous les pixels mar-

qués par erreur avec la valeur 255. On s'accommode du fait que des pixels, qui appartiennent à une marque colorée ou

un marquage coloré, possèdent également la valeur nulle.

A l'aide de la composante "V" du signal, on posi-

tionne à zéro tous les pixels, qui sont associés sur la

base du bruit à un niveau de signal très faible ou, en rai-

son de la saturation, à un niveau de signal très élevé. A cet effet la composante "V" du signal est transmise par

l'intermédiaire d'un générateur à valeur de seuil bilaté-

rale 32-2 et est multipliée, dans une unité multiplicatrice 32-3, par le signal de sortie de la table LU 32-1. Les erreurs résiduelles, qui subsistent, sont des pixels individuels ou de petits groupes de pixels en des emplacements qui alternent rapidement. L'image de la marque (signal utile) est au contraire un domaine étendu, qui se déplace très lentement. En raison de cette différence dans

le comportement local et temporel, on peut réduire forte-

ment et d'une manière très efficace des erreurs résiduelles au moyen d'un filtrage passe-bas temporel, puis local dans

un filtre passe-bas temporel 32-4 et dans un filtre passe-

bas local 32-5 branché en aval du filtre passe-bas précé-

dent. Ensuite, dans un générateur de valeurs de seuil uni-

latérales 36-2 est exécutée une opération correspondante à valeur de seuil, ce qui permet d'obtenir un filtrage non

linéaire efficace.

Si le filtrage est exécuté par addition de trames successives et par convolution avec un masque occupé de façon uniforme, par exemple ayant pour dimensions (7 x 7), on obtient une réduction d'erreurs de facteurs compris

entre 50 et 100 pour chaque erreur de classification.

Une évaluation statistique suivante exécutée dans

un processeur statistique 331 branché en aval du classifi-

cateur, fournit comme résultat le barycentre (SP) et une évaluation statistique suivante, dans un autre processeur

statistique 332 prévu en parallèle avec le précédent, four-

nit ce qu'on appelle le rectangule circonscrit BB (abrévia-

tion de l'anglais "bounding box") d'une image de la marque ou du marque. Même si un pourcentage important des pixels de la marque ou du marquage sont absents, ceci ne perturbe que faiblement le résultat contrairement à des pixels de

fond classés par erreur comme étant des pixels de marques.

La boucle de régulation 3 reproduite sur la figure 1 sous la forme de blocs, se ferme enfin, en aval du

classificateur 32, par l'intermédiaire d'un processeur sta-

tistique 331. Un régulateur 34 ainsi qu'une unité de com-

mande 35 du robot sont disposés en aval du processeur 331. Le centre et la disparité sont alors déterminés à partir des barycentres SP des images des marques ou des marquages dans deux images successives fournies par les caméras 21 et 22. Un écart du centre par rapport à une position de consigne dans la zone centrale de l'image du moniteur est utilisé pour réaliser une commande latérale (déplacement ascendant - descendant - à gauche - à droite) et l'écart de la disparité par rapport à chaque valeur de

consigne est utilisé pour une commande transversale (appli-

cation du zoom - réduction du zoom). Dans tous les cas, la

vitesse de rappel est proportionnelle à un écart.

Par conséquent, la stabilité du système réglé est garantie. Immédiatement, le système se comporte de façon calme dans l'environnement du point de travail, ce qui est très important pour le chirurgien; de même l'ensemble du système est ramené rapidement à l'état initial dans le cas

d'écarts importants.

Pour accroître la sécurité du système, on contrôle en permanence la fidélité des mesures lors d'un test de confiance, ainsi qu'une unité 36 pour exécuter une

commande programmée. A cet effet un processeur 35 de don-

nées de contour est branché en parallèle avec les deux pro-

cesseurs statistiques 331 et 332, qui sont disposés en aval du classificateur 32. Dans l'unité 36 exécutant des tests de confiance et une commande programmée, des régions dites intéressantes ROI (abréviation de l'anglais Region Of Interest), dans lesquelles l'image d'une marque ou d'un

marquage est attendue, sont déterminées à l'aide du rec-

tangle circonscrit BB, délivré par le processeur statis-

tique 332 et du compteur formé par le processeur 35, et sont transmises par le processeur aussi bien au régulateur 34 qu'aux deux processeurs statistiques 331 et 332 ainsi qu'au processeur de données de contour 35. Des pixels situés à l'extérieur des régions auxquelles on s'intéresse, ne sont pas évalués. Pour une utilisation pratique du procédé selon l'invention, il faut en outre également déterminer quelles couleurs doivent posséder les marques ou les marquages et de quelle manière le classificateur doit être conçu dans le cas d'une marque colorée donnée ou d'un marquage coloré donné. A cet effet, il faut déterminer notamment quelle

doit être l'occupation du tableau LU.

Pour résoudre ce problème, le déposant a déve-

loppé un procédé de sélection de couleurs basé sur le prin-

cipe "apprentissage contrôlé sur exemples" à l'aide d'une interface graphique. Pour utiliser ce procédé, il suffit de

disposer d'un ordinateur ayant la possibilité de représen-

ter des images en couleurs réelles et une interface de sou-

ris pour dessiner des polygones sur le moniteur.

Le coeur du procédé de sélection de couleurs développé par le déposant est un calcul d'histogrammes

bidimensionnels dans des domaines polygonaux, et une repré-

sentation graphique des résultats. Lors de la représenta-

tion graphique des résultats, l'image de toutes les cou-

leurs doit être formée en des points rapprochés les uns des autres, ce qu'on appelle un amas compact, et l'image de couleurs différentes doit être formée en des points très

éloignés, ce qu'on appelle des amas disjoints.

A cet effet, on prélève, à partir de bandes vidéo, qui ont été enregistrées à partir d'opérations effectives, un certain nombre d'images en couleurs de scènes typiques, dans lesquelles sont présentes toutes les

couleurs possibles, qui interviennent dans de telles opéra-

tions. Chacune de ces images est mémorisée selon le format RVB, c'est-à-dire que chaque pixel des images possède une valeur RVB qui représente une couleur. Étant donné qu'il suffit de représenter chaque couleur avec deux valeurs, chaque valeur RVB est projetée sur un plan bidimensionnel, c'est-à-dire le plan HS, qui contient la nuance de couleur et la saturation des couleurs. Dans chaque position du plan HS est additionné le nombre des pixels, qui sont projetés

dans la même position HS. De ce fait on obtient un histo-

gramme bidimensionnel des couleurs, dans lequel toutes les couleurs intervenant dans la scène sont représentées avec

leur fréquence.

Pour donner à des utilisateurs une impression

visuelle évidente des couleurs, on a représenté un histo-

gramme des couleurs; la couleur de chaque emplacement HS possède une intensité moyenne des couleurs de tous les

* pixels enregistrés en cet endroit. De ce fait, un utilisa-

teur peut trouver immédiatement des trous présents de cou-

leurs, qui peuvent être utilisés pour marquer d'une manière colorée l'outil opératoire. De ce fait, l'utilisateur peut

indiquer des valeurs objectifs de couleurs (H, S) au fabri-

cant.

A titre de sécurité, l'instrument ou l'outil opé-

ratoire marqué est analysé encore une fois du point de vue des couleurs dans un agencement du classificateur indiqué plus loin selon une forme de réalisation matérielle, en

raison d'une modification éventuelle de la couleur sélec-

tionnée par la caméra.

En référence aux figures 3A à 3E, on va expliquer

un exemple d'une classification de couleurs. Dans la repré-

sentation en noir et blanc de la figure 3A, on a reproduit une "palette de couleurs" pour l'espace des couleurs, dans laquelle la classification s'effectue ultérieurement. Pour indiquer l'allure du spectre des couleurs, on a marqué des couleurs importantes, à savoir jaune, rouge, violet, bleu et vert. Toutes les couleurs, qui sont situées sur un rayon partant du centre, possèdent une nuance "H" et toutes les

couleurs, qui sont situées sur le cercle concentrique, pos-

sèdent une saturation de couleur (S).

Sur la figure 3B, on a reproduit une scène, dans laquelle la zone en forme de pointe de flèche, qui est située au centre, possède une couleur brune et la zone, qui

l'entoure, possède essentiellement une couleur gris ver-

dâtre. Sur la figure 3C située à côté, à l'intérieur de la surface en forme de cercle on a introduit, au moyen d'une structure amorphe, les entrées dans l'espace des couleurs

pour les couleurs qui apparaissent dans la scène; c'est-à-

dire que la structure amorphe est réalisée sous la forme d'un vert grisâtre dans la zone supérieure, qui est plus sombre sur la figure 3C, et est réalisée avec une couleur brunâtre dans la zone un peu plus claire, située au-dessous

à droite.

Afin de faciliter l'association visuelle avec la scène reproduite sur la figure 3B, on n'a cependant pas

marqué les couleurs provenant de l'espace normalisé de cou-

leurs de la figure 3A, mais on a déterminé, pour chaque couleur, l'intensité moyenne, et avec cette dernière on a effectué une transformation inverse en revenant dans

l'espace des couleurs RVB, et on a marqué le résultat cor-

respondant. Dans la zone amorphe, on peut voir par consé-

quent clairement une zone colorée, qui est occupée par la scène et, comme cela a été indiqué précédemment, reproduit la couleur gris- verdàtre dans la zone supérieure un peu plus sombre et reproduit la couleur brunâtre dans la zone

inférieure sur la figure 3, qui est un peu plus claire.

A l'intérieur de cette zone amorphe, on reconnaît clairement la masse secondaire correspondant à savoir avec

sa couleur brunâtre et gris verdâtre. Les différentes cou-

leurs sont présentes à 100 % sur le bord circulaire de

l'espace des couleurs, à nouveau seules les couleurs prin-

cipales rouge, jaune, violet, bleu et vert étant marquées dans la représentation en noir et blanc de la figure 3C. On peut voir également à l'évidence quelle zone de couleur - à l'intérieur du bord circulaire multicolore - est libre pour

des marquages.

Dans la représentation en noir et blanc de la fig. 3D, on peut voir en outre un instrument marqué, en bas à droite à côté de la scène déjà reproduite sur la figure 3B. Les régions désignées de façon interactive, parmi lesquelles la zone centrale, qui est reproduite d'une manière blanchâtre sur la figure 3D, correspond à la couleur jaune et les deux zones contiguës ont une couleur bleu-vert, et sont marquées par des lignes noires sombres dans la représentation de la

figure 3D.

Dans la représentation en noir et blanc de la figure 3E, on peut voir les amas de couleurs, qui sont associés aux couleurs de la marque. La couleur "jaune", qui est reproduite dans la partie supérieure droite de la figure 3E sous la forme d'un trait passant du blanc au gris se situe nettement à proximité de la zone colorée du fond (voir figure 3C); au contraire la couleur bleu-vert en est

éloignée.

C'est pourquoi, dans le cas présent, on utilise la couleur bleu-vert pour identifier la marque étant donné qu'elle est plus éloignée de la zone colorée du fond. A cet

effet, on a marqué d'une manière interactive la zone colo-

rée associée à la marque, au moyen d'un polygone circons-

crit - marqué en blanc sur la figure 3E.

En ce qui concerne la conception du classifica-

teur 32, un utilisateur choisit par conséquent les zones, dont les couleurs forment ultérieurement une classe, dans

laquelle il marque, avec la souris, lesdits polygones cir-

conscrits. Le calcul de l'histogramme des couleurs est limité à l'intérieur des polygones, et le résultat est représenté graphiquement. Dans cette représentation,

l'utilisateur reconnaît alors l'agencement des amas de cou-

leurs et il peut à nouveau fixer les limites des classes au moyen de polygones circonscrits. De même on peut réunir différentes couleurs dans une classe. Le tableau LU 32-1

dans le classificateur 32 reçoit alors l'entrée 255 unique-

ment pour les couleurs sélectionnées, comme cela a déjà été indiqué précédemment, tandis qu'il reçoit l'entrée zéro

pour toutes les autres couleurs.

Des études de grande ampleur effectuées par le déposant ont cependant révélé que le choix d'une couleur

appropriée exclusivement sur la base de l'impression sub-

jective est très difficile et peut fréquemment conduire à des résultats peu satisfaisant. Ceci est dû au fait que la température de couleur de l'éclairement, la reproduction en couleurs de la caméra et la reproduction en couleurs du moniteur conduisent à des décalages de couleurs. En outre, la même couleur semble être détectée différemment dans le

cas d'une luminosité différente. Le procédé décrit précé-

demment de sélection de couleurs est indépendant de déca-

lages des couleurs des caméras et du moniteur et rend par conséquent objectif le choix des couleurs et l'agencement

du classificateur.

Le procédé de sélection de couleurs, qui a été décrit précédemment, peut être en outre appliqué à n'importe quel type de classification de couleurs et par exemple est indiqué pour le contrôle de qualité de textiles colorés. Ici il est alors possible d'effectuer un réglage sur une couleur déterminée pour contrôler par exemple l'allure des fils de cette couleur ou l'impression de motifs. Il est en outre avantageux que l'utilisateur n'ait en aucune manière à s'occuper de chiffres. Il active le procédé de sélection des couleurs d'une manière très

commode et aboutit très rapidement à des résultats fiables.

En outre, la sélectivité du classificateur peut être adap-

tée de façon très simple au problème considéré. En ce qui concerne la forme des limites de classe, il n'existe aucune limitation contrairement à des classificateurs analytiques

ou à des réseaux neuroniques.

Claims (7)

REVENDICATIONS

1. Procédé pour réaliser l'asservissement d'un laparoscope stéréoscopique utilisé dans la chirurgie avec ingérence minimale dans le corps humain et qui peut être déplacé à l'aide d'un robot (10) par rapport à un outil opératoire situé dans la zone d'opération et contrôlé au moyen d'un moniteur, caractérisé en ce que l'outil opératoire est marqué de façon colorée et est identifié dans au moins une image délivrée par l'une de deux caméras (21,22) du laparoscope, et qu'à partir de la position de l'outil opératoire marqué de façon colorée sont dérivés, dans deux images produites par les deux caméras, des signaux pour commander le robot (10)

de telle sorte que le robot amène automatiquement le lapa-

roscope dans une position telle que l'image de l'outil opé-

ratoire marqué de façon colorée est formée en permanence

dans la zone centrale du moniteur de contrôle.

2. Procédé selon la revendication 1, caractérisé en ce que pour éviter des déplacements d'une image, qui sont gênants lors du travail avec l'outil opératoire, on asservit le laparoscope en permanence à l'outil opératoire marqué de façon colorée de telle sorte que le suivi d'une image est réglée de manière à être relativement faible dans la zone centrale du moniteur, mais à être intense dans la

zone marginale du moniteur.

3. Procédé selon la revendication 1, caractérisé en ce que a) pour la commande du robot (10) inséré dans une boucle

de régulation, les images colorées, qui sont enregis-

trées par les deux caméras (21, 22) du laparoscope,

sont transmises selon un format rouge-vert-bleu tridi-

mensionnel à une unité (3) de traitement d'images, dans laquelle elles sont converties en des images bidimensionnelles dans l'espace HSV; b) ensuite des valeurs de couleurs, qui sont associées

pour le marquage, dans une table de consultation préa-

lablement mémorisée (LU) (32-1) d'un classificateur

(32) de l'unité (3) de traitement d'images sont inten-

sifiées et sont réglées à une valeur nette (telle que 255, "1" logique), alors que toutes les autres valeurs sont réglées à zéro; c) l'image du barycentre (SP) et l'image d'un entourage circonscrit du rectangle (BB) d'une image du marquage sont formées dans les processeurs statistiques (331;

332) branchés en aval du classificateur (32), respec-

tivement en tant que résultats d'évaluations statis-

tiques exécutées par ce dernier; d) enfin, les pixels de marquage obtenus sont envoyés par l'intermédiaire d'un régulateur (34) à une unité de commande (11) du robot (10), dans laquelle des images

du barycentre de l'image et d'une disparité sont for-

mées à partir des barycentres (SP) de l'image des mar-

quages dans deux images successives des caméras (21, 22), un écart du centre par rapport à une position de consigne dans la zone centrale de l'image du moniteur étant utilisé pour la commande latérale du laparoscope guidé par le robot, tandis que l'écart de la disparité par rapport à sa valeur de consigne est utilisée pour

la commande transversale du laparoscope.

4. Procédé selon la revendication 3, caractérisé en ce que, pour la commande d'images stéréoscopiques à

l'entrée de l'unité (3) de traitement d'images, une commu-

tation entre les entrées des caméras (21, 22) du laparo-

scope est exécutée à l'aide d'un multiplexeur (3), selon un

rythme prédétermine.

5. Procédé selon la revendication 3, caractérisé en ce que dans le tableau LU (32-1) du classificateur (32), à partir d'un nombre de bits des composantes de couleurs

"H" et "S" dans les images colorées converties dans l'espa-

ce HSV est formé, en tant qu'adresse pour le tableau LU (32-1), un mot comportant un nombre de bits doubles, le tableau (LU) étant préalablement mémorisé de telle sorte que des valeurs de couleurs associées au marquage reçoivent la valeur maximale (telle que 255, "1" logique) et que les autres valeurs sont positionnées à zéro ("0" logique), que pour la correction de pixels affectés par erreur de la valeur maximale, tous les pixels, qui sont associés à un niveau de signal très bas (bruit) ou un niveau de signaux très élevé (saturation), sont positionnés à zéro, par le

fait que les composantes "v" des images en couleurs conver-

ties, qui sont délivrées par l'intermédiaire d'un généra-

teur bilatéral de valeur de seuil (32-2), sont multipliées, dans une unité multiplicatrice (32-3), par les valeurs de sortie du tableau LU (32-1), et que des erreurs résiduelles sous la forme de pixels isolés ou groupes de pixels sont soumises à un filtrage temporel et local (32-4; 32-5 et sont ensuite délivrées, par l'intermédiaire d'un générateur

de valeur de consigne unilatéral (32-6), en tant que don-

nées de sortie du classificateur (32).

6. Procédé selon la revendication 3, caractérisé en ce que pour accroître la sécurité du système, on exécute

en permanence un contrôle de confiance des mesures.

7. Procédé selon la revendication 3, caractérisé

en ce que pour la conception rapide et sûre d'un classifi-

cateur de couleurs selon le principe de l'apprentissage contrôlé par l'exemple",

a) à partir d'une analyse de couleurs assistée par ordi-

nateur, des scènes caractéristiques (telles que des images de caméras) sont représentées sur un moniteur de sorte que dans ces scènes on peut marquer, à l'aide d'un appareil d'entrée (telle qu'une souris), des

zones, à l'intérieur desquelles, en vue de l'éta-

blissement d'un histogramme bidimensionnel des cou-

leurs, il faut exécuter une évaluation plus détaillée dans un espace normé en rapport avec la luminosité (telle que la teinte de couleur (H) et la saturation (S); b) en tant que résultat de l'analyse des couleurs, l'histogramme unidimensionnel établi des couleurs est représenté sur un moniteur de sorte qu'à l'aide de l'appareil d'entrée (souris) on peut marquer, dans la représentation d'histogrammes, des zones, auxquelles est associée une désignation par exemple sous la forme d'une valeur chiffrée; et c) à partir des zones colorées marquées lors de l'étape (b) et des désignations associées on fixe ensuite

automatiquement l'occupation d'une table de consulta-

tion, qui a pour effet que la désignation choisie lors de l'étape b) est associée à chaque couleur marquée de

l'espace bidimensionnel des couleurs.