DE19529950C1 - Verfahren zum Nachführen eines Stereo-Laparoskops in der minimalinvasiven Chirurgie - Google Patents

Description

Die Erfindung betrifft ein Verfahren zum Nachführen eines Ste­ reo-Laparoskops in der minimalinvasiven Chirurgie nach dem Oberbegriff des Anspruchs 1.

Aus WO 87/06353 A1 ist ein Verfahren zum Führen von Operatio­ nen bekannt, bei welchem mittels zweier Kameras ein in einem überwachten Raum vorhandenes, bewegliches Objekt erfaßt wird, das mit Markierungen versehen ist. Das Verfahren dient somit lediglich dazu, die Raumkoordinaten der markierten Punkte zu ermitteln.

Da die minimalinvasive Chirurgie als Alternative zur offenen Chirurgie zunehmende Bedeutung gewinnt, wird sie heute schon in vielen Krankenhäusern bei Routineoperationen, wie bei­ spielsweise einer Resektion der Gallenblase eingesetzt. Wenn hierbei ein Eingriff laparoskopisch in Verbindung mit einer elektronischen Bildübertragung auf einem Monitor erfolgt, wird bis heute die Kameraführung von einem Assistenzarzt übernom­ men.

Eine solche Kameraassistenz ist jedoch mit einer Reihe von Problemen behaftet. Durch Ermüdung kommt es zu einer unruhigen Kameraführung und ebenso läßt aufgrund der Übermüdung die Kon­ zentration nach. Ferner werden immer wieder Anweisungen des operierenden Chirurgen fehlerhaft interpretiert. Darüber hin­ aus können Eigenmächtigkeiten des Assistensarztes, welche den Operationsverlauf stören, nicht selten zu atmosphärischen Stö­ rungen zwischen dem operierenden Chirurgen und dem Assistenten führen. Darüber hinaus kann sich der Chirurg physisch behin­ dert fühlen. Auch entspricht die Tätigkeit einer Kameraassi­ stenz nicht der hochwertigen, medizinischen Ausbildung eines As­ sistenzarztes, weshalb sie im Grunde genommen dadurch viel zu teuer bezahlt wird und von jungen Ärzten verständlicherweise oftmals ungern ausgeführt wird.

Bei bisher eingesetzten Führungssystemen werden Halteeinrich­ tungen verwendet, die schnell gelöst und fixiert werden kön­ nen. Beispiele hierfür sind mehrgliedrige Arme mit Kugelgelen­ ken und Gelenksperren sowie der sogenannte "C-Bogen" und ein "Scherengelenk" des KFK-Karlsruhe. Ferner wird von der Fa. Computer-Motion einen speziell für laparoskopischen Einsatz entwickelten Roboter mit sechs Freiheitsgraden vertrieben, der zur Betätigungssteuerung sowohl mit einem Handbediengerät als auch mit einer Fußschaltung ausgerüstet ist.

Obwohl die bekannten Halteeinrichtungen den Assistenzarzt von körperlichen Anstrengungen entlasten, ist bei ihnen dennoch als nachteilig anzusehen, daß sie eine Kameraassistenz nicht überflüssig machen. Analoges gilt auch für den manuell zu be­ dienenden Roboter. Obwohl die Robotersteuerung per Fußschal­ tung vom Chirurgen selbst bedient werden kann, lenkt dessen Bedienung den Chirurgen von seiner eigentlichen operativen Tä­ tigkeit ab.

Aufgabe der Erfindung ist es daher, ein Verfahren zum Nachfüh­ ren eines Stereo-Laparoskops in der minimalinvasiven Chirurgie zu schaffen, bei welchem einerseits eine Kamera durch einen Assistenzarzt nicht mehr nachgeführt zu werden braucht und an­ dererseits auch der operierende Chirurg von zusätzlichen Be­ dienungstätigkeiten, wie dem Steuern eines Roboters, befreit ist. Gemäß der Erfindung ist dies bei einem Verfahren zum Nachführen eines Stereo-Laparoskops in der minimalinvasiven Chirurgie nach dem Oberbegriff des Anspruchs 1 durch die Merk­ male in dessen kennzeichnenden Teil erreicht. Vorteilhafte Weiterbildungen sind Gegenstand der auf den Anspruch 1 unmit­ telbar oder mittelbar rückbezogenen Ansprüche.

Gemäß einer bevorzugten Ausführungsform der Erfindung wird das Operationsbesteck farblich markiert, so daß es in mindestens einem von einer von zwei Laparoskop-Kameras gelieferten Bild identifiziert werden kann. Gemäß der Erfindung werden dann aus der Lage des farblich markierten Operationsbestecks in von den beiden Laparoskop-Kameras erzeugten Bildern Signale zum Steu­ ern des Roboters abgeleitet. Durch Auswerten dieser Signale ist dann der Roboter in der Lage, das Laparoskop selbsttätig in eine solche Position zu bringen, daß das farblich markierte Operationsbesteck ständig im Zentralbereich des Überwachungs­ monitors abgebildet wird.

Bei Einsatz des erfindungsgemäßen Verfahrens ist somit ein entsprechend angesteuerter Roboter in die Lage versetzt, die Kameras eines Stereo-Laparoskops selbstständig am Operations­ besteck auszurichten, sobald der operierende Chirurg hierzu ein Kommando erteilt.

Gemäß der Erfindung wird somit die Lage der Kamera relativ zu dem Operationsbesteck bestimmt und bei einer gegebenenfalls vorhandenen Ablage wird (werden) dann die Kamera(s) mit Hilfe des Roboters automatisch nachgeführt. Hierzu werden die ohne­ hin vorhandenen Kamerasignale verwendet und mit ihnen dann das Operationsbesteck bzw. die Markierung auf dem Operationsbe­ steck anhand der aufgebrachten Farbe identifiziert.

Bei der Erfindung ist somit die Signalquelle mindestens eine Marke oder Markierung geeigneter Farbe, die in der Nähe oder auf einer Instrumentenspitze aufgebracht bzw. vorgesehen ist. Die Realisierung dieser Signalquelle ist somit ausgesprochen einfach und deren Kosten sind vernachlässigbar. Obendrein kann jedes vorhandene Operationsbesteck auch noch nachträglich mit entsprechenden farbigen Marken versehen werden, so daß die er­ findungsgemäße Lösung auch im Hinblick auf vorhandene, hoch­ wertige Operationsbestecke ausgesprochen wirtschaftlich einge­ setzt werden kann.

Darüber hinaus ist es auch möglich, einen Instrumentenschaft, der bisher üblicherweise schwarz ist, in einer geeigneten Far­ be auszuführen, in diesem Fall würde sich dann das Aufbringen einer Marke erübrigen.

Obendrein benötigt eine solche Signalquelle keinen Platz und sie beeinflußt somit auch in keinerlei Weise die mechanische Konstruktion bzw. den Aufbau der Instrumente. Ebenso wirkt sich eine aufgebrachte Markierung bzw. angebrachte Marke auch hinsichtlich der Handhabung der Operationsinstrumente nicht störend aus.

Diese Art Signalquelle in Form einer farbigen Markierung benö­ tig auch keine eigene Energiequelle, was allein schon deswegen schon besonders vorteilhaft ist, da von außen zugeführtes Licht ohnehin von dem operierenden Chirurgen dringend benötigt wird.

Durch Vorsehen unterschiedlicher Farben ist auch eine Codie­ rung der Instrumente durchführbar, so daß es möglich ist, das erfindungsgemäße Verfahren wahlweise auf unterschiedliche In­ strumente anzuwenden. Eine Farbunterscheidung in Videobildern ist mit modernen Bildverarbeitungseinrichtungen schnell und kostengünstig realisierbar.

Ferner ist das erfindungsgemäße Verfahren so ausgelegt, daß es mit Hilfe handelsüblicher Geräte und Baugruppen realisiert werden kann. Das erfindungsgemäße Verfahren arbeitet in Echt­ zeitbetrieb und bei ihm ist auch in realistischen Situationen eine hohe Sicherheit zuverlässig gewährleistet.

Durch das erfindungsgemäße Verfahren ist somit einem operie­ renden Chirurgen eine sehr bequeme und zuverlässige Möglich­ keit zur Hand gegeben, das Laparoskop zu führen, ohne das Ope­ rationsbesteck aus der Hand legen zu müssen. Gemäß einer be­ vorzugten Auslegung des erfindungsgemäßen Verfahrens folgt das Laparoskop dem farbig markierten Operationsbesteck ständig im sogenannten "Continuous-Mode". Hierbei ist die Regelung so ausgelegt, daß sie im zentralen Bildbereich nur schwach und in dessen Randbereich stark wirkt. Hierdurch ist auch sicherge­ stellt, daß bei Arbeiten im Operationsbereich, beispielsweise bei einem Schneiden am Gewebe, keine störenden Bildbewegungen entstehen. Andererseits ist sichergestellt, daß auch bei grö­ ßeren Bewegungen das Operationsbesteck im Monitorbild nicht verloren geht.

Nachfolgend wird die Erfindung anhand von bevorzugten Ausfüh­ rungsformen unter Bezugnahme auf die anliegenden Zeichnungen im einzelnen erläutert. Es zeigen:

Fig. 1 eine schematisch in Blöcken wiedergegebene Einrichtung zur Durchführung des erfindungsgemäßen Verfahrens;

Fig. 2 ein Blockschaltbild eines in der Einrichtung der Fig. 1 verwendeten Klassifikators und

Fig. 3a bis 3e Darstellungen, anhand welcher die in Verbindung mit dem erfindungsgemäßen Verfahren durchzuführende Farbklassifizierung in Verbindung mit einer Opera­ tionsszene vorgenommen wird.

Zuerst werden die zur Durchführung des erfindungsgemäßen Ver­ fahrens verwendeten Komponenten beschrieben. Handelsübliche Stereo-Laparoskope weisen ein starres Rohr mit einem Durchmes­ ser in der Größenordnung von 10mm auf, an dessen in den Opera­ tionsbereich einzubringendem Ende zwei Objektive und an dessen anderen Ende ein Kamerakopf vorgesehen sind, in welchem zwei CCD-Kameras integriert sind. Die von den beiden Kameras gelie­ ferten zwei Bilder liegen als Videosignale beispielsweise in dem Signalformat RGB vor.

Ein Roboter mit einer entsprechenden Robotersteuerung, bei­ spielsweise der Firma Computer-Motion, Goleta, CA/USA, hat sechs Freiheitsgrade, von welchen zwei passiv sind. Damit wird die Verletzungefahr für einen Patienten durch laterale Kräfte, d. h. Kräfte, welche quer zur Laparoskop-Achse verlaufen, ver­ mieden. Zur Ansteuerung eines solchen Roboters steht eine Bi­ bliothek zur Verfügung, die vorgegebenen Kommandos Move- Left (speed), MoveRight (speed), MoveUp (speed), MoveDown (speed), ZoomIn(speed) und ZoomOut(speed) beziehen sich hierbei auf Bewegungen eines Bildes auf einem Monitor und generieren die erforderlichen Steuerfolgen für die Robotergelenke.

Ferner wird ein handelsüblicher Video-Farb-Digitalisierer, beispielsweise der Firma Datacube, Inc. Danvers MA/USA zur Di­ gitalisierung der aufgenommenen analogen Videosignale verwen­ det. Ein solcher Digitalisierer weist auf der Analogseite einen Multiplexer, mit welchem wahlweise zwischen zwei Kameras umgeschaltet werden kann, und digitalseitig ein Modul zur Farbraumkonversion auf.

Ferner ist ein sogenannter Pipeline-Prozessor zur Echtzeit- Bildverarbeitung, wie er beispielsweise von der Firma Datacube angeboten wird, mit einem Digitalisierer, wie beispielsweise demjenigen der Firma Datacube über einen 10 MHz Datenbus ver­ bunden. In einem solchen Prozessor sind beispielsweise eine LookUp-Tabelle (LUT), Stabilisierungsprozessoren, ein Fal­ tungsmodul und weitere Module enthalten. Ein solcher Prozessor hat die erforderlichen Bausteine für eine Bildspeicherung und Verarbeitung; eine anwender- bzw. anwendungsspezifische Initi­ alisierung dieses Prozessors und dessen Verschaltung sind pro­ grammierbar. Eine Zentraleinheit (CPU) wird gleichzeitig zur Verwaltung der Bildverarbeitungs-Hardware und als Schnittstel­ le zur Robotersteuerung verwendet.

Wie aus Fig. 1 zu ersehen ist, ist die Grundstruktur zur Durch­ führung des erfindungsgemäßen Verfahrens eine Regelschleife. Ein Roboter 1 hält ein Laparoskop, von welchem in Fig. 1 nur dessen beiden CCD-Kameras 2₁ und 2₂ dargestellt sind. Die mit­ tels der Kamera 2₁ und 2₂ aufgenommenen Bilder werden im RGB- (Rot-Grün-Blau)Format an eine Bildverarbeitungseinheit 3 über­ tragen. Die im RGB-Format vorliegenden Bilder werden an einen Multiplexer 30 der Bildverarbeitungseinheit 3 angelegt, der zwischen den beiden Kameras 2₁ und 2₂ in einem vorgegebenen Rhythmus von beispielsweise von 25Hz umschaltet, so daß mit nur einer Bildverarbeitungseinheit Stereobilder ausgewertet werden können.

Durch eine solche Bildverarbeitung sollen jedoch Pixel, welche von einer farbigen Marke oder Markierung eines - in Fig. 1 nicht dargestellten - Laparoskops stammen, von allen anderen zu unterscheiden sein. Ferner eignet sich für eine Klas­ sifikation der HSV- [Hue (Farbton) -Saturation (Farbsättigung) Value(Lumminanz)]Farbraum erheblich besser als der RGB-Farb­ raum, weil im HSV-Farbraum die Farbe durch die zwei intensi­ tätsunabhängigen Komponenten "H" und "S" sowie die Intensität durch die farbunabhängige Komponente "V" dargestellt werden. Aus diesem Grund erfolgt in einem dem Multiplexer 20 nachge­ ordneten Konverter 31 eine RGB/HSV-Farbraum-Konvertierung.

Dem Konverter 31 ist ein Klassifikator 32 nachgeordnet, dessen spezieller Aufbau nachstehend anhand von Fig. 2 beschrieben wird. In Fig. 2 ist die zentrale Komponente des Klassifikators 32 eine (16 × 16) Bit Look-Up-(LU-)Tabelle 32. Aus jeweils 8 Bit der Farbkomponenten "H" und "S" wird ein 16 Bit Wort ge­ bildet, welches als Adresse für die LU-Tabelle 32-1 dient. Hierbei ist die LU-Tabelle 32-1 so vorbelegt, daß Farbwerte, welche zu einer Marke gehören, den Wert 255 (logisch "1") er­ halten, während alle anderen den Wert Null (logisch "0") er­ halten. Die LU-Tabelle 32-1 kann mit einer Rate von 20 MHz ge­ lesen werden.

Aufgrund von Kamerarauschen und Sättigungseffekten kann es zu Fehlklassifikationen kommen. Insbesondere bei einem niedrigen Signalpegel ist diese Gefahr groß. Daher erfolgt eine Nachbe­ handlung des mittels der LU-Tabelle erhaltenen Klassifika­ tionsergebnisses mit dem Ziel, alle fälschlich mit dem Wert 255 markierten Pixel zu korrigieren. Hierbei wird in Kauf ge­ nommen, daß auch Pixel, welche zu einer farbigen Marke oder Markierung gehören, den Wert Null erhalten.

Mit Hilfe der Signal-Komponente "V" werden alle die Pixel auf Null gesetzt, welche aufgrund von Rauschen einem sehr niedri­ gen Signalpegel oder wegen Sättigung einem sehr hohen Signal­ pegel zugeordnet sind. Hierzu wird die Signal-Komponente "V" über den zweiseitigen Schwellenwertgeber 32-2 geleitet und in einer Multipliziereinheit 32-3 mit dem Ausgangssignal der LU- Tabelle 32-1 multipliziert.

Die verbleibenden Restfehler sind einzelne Pixel oder kleine Pixelgruppen an rasch wechselnden Orten. Das Bild der Marke (Nutzsignal) ist dagegen ein ausgedehntes Gebiet, das sich sehr langsam bewegt. Aufgrund dieser Unterschiede im örtlichen und zeitlichen Verhalten können somit Restfehler sehr effi­ zient durch eine zeitliche und anschließende örtliche Tiefpaß- Filterung in einem zeitlichen Tiefpaß 32-4 und einem diesem nachgeordneten örtlichen Tiefpaß 32-5 drastisch reduziert wer­ den. Anschließend wird in einem einseitigen Schwellenwertgeber 36-2 eine entsprechende Schwellenwertoperation durchgeführt, wodurch eine effiziente nicht-lineare Filterung realisiert wird.

Wird die Filterung durch Addition aufeinanderfolgender Frames und einer Faltung mit einer gleichförmig belegten Maske, bei­ spielsweise der Größe (7 × 7) durchgeführt, so wird eine Feh­ lerreduktion um Faktoren von 50 bis 100 pro Klassifikations­ fehler erreicht.

Eine anschließende statistische Auswertung in einem dem Klas­ sifikator nachgeordneten Statistik-Prozessor 33₁ liefert als Ergebnis den Schwerpunkt (SP) und in einem weiteren, parallel dazu vorgesehenen Statistik-Prozessor 33₂ das sogenannte um­ schreibende Rechteck BB (Bounding Box) eines Bildes der Marke oder Markierung. Auch wenn ein erheblicher Prozentsatz der Pi­ xel der Marke oder Markierung fehlen, stört dies das Ergebnis im Gegensatz zu fehlerhaft als Marken-Pixel klassifizierte Hintergrundpixel nur wenig.

Die in Fig. 1 in Form von Blockbildern wiedergegebenen Regel­ schleife 3 ist schließlich nach dem Klassifikator 32 über einen Statistik-Prozessor 33₁ abgeschlossen. Dem Prozessor 33₁ sind ein Regler 34 sowie eine Robotersteuerung 35 nachgeord­ net.

Aus den Bildschwerpunkten SP der Marken bzw. Markierungen in zwei aufeinanderfolgenden Bildern von den Kameras 2₁ und 2₂ werden dann der Mittelpunkt und die Disparität bestimmt. Eine Abweichung des Mittelpunkts von seiner Sollposition im Zen­ tralbereich des Monitorbildes wird zu einer Lateralsteuerung (MoveUp-Down-Left-Right) und die Abweichung der Disparität von jedem Sollwert wird zu einer Transversalsteuerung (ZoomIn-Out) verwendet. In allen Fällen ist die Rückstellgeschwindigkeit proportional zu einer Ablage.

Damit ist die Stabilität des geregelten Systems sicherge­ stellt. Obendrein verhält sich das System in der Umgebung des Arbeitspunktes ruhig, was für den Chirurgen sehr wichtig ist; auch wird das gesamte System bei großen Ablagen rasch zurück­ geführt.

Zur Erhöhung der Systemsicherheit wird eine Konfidenz der Mes­ sungen fortlaufend in einer Konfidenztests sowie eine Pro­ grammsteuerung durchführenden Einheit 36 geprüft. Zu den bei­ den dem Klassifikator 32 nachgeordneten Statistik-Prozessoren 33₁ und 33₂ ist hierzu ein Konturdaten-Prozessor 35 parallel­ geschaltet. In der Konfidenztests und eine Programmsteuerung durchführenden Einheit 36 werden mit Hilfe der vom Statistik- Prozessor 33₂ abgegebenen, umschreibenden Rechtecke BB und der vom Prozessor 35 gebildeten Kontur sogenannte interessierende Regionen ROI (Region Of Interest) in welchen das Bild einer Marke oder Markierung erwartet wird, bestimmt und von dieser aus sowohl an den Regler 34 als auch an die beiden Statistik- Prozessoren 33₁ und 33₂ sowie den Konturdaten-Prozessor 35 an­ gelegt. Außerhalb der interessierenden Regionen ROI liegende Pixel werden nicht ausgewertet.

Für eine praxisbezogene Anwendung des erfindungsgemäßen Ver­ fahrens muß ferner auch noch bestimmt werden, welche Farben die Marken bzw. Markierungen erhalten sollen und wie bei einer gegebenen farbigen Marke oder Markierung der Klassifikator ausgelegt werden muß. Dazu muß insbesondere festgelegt werden, wie die LU-Tabelle belegt werden muß.

Zur Lösung dieser Probleme ist von der Anmelderin ein Farbaus­ wahlverfahren nach dem Prinzip "Überwachtes Lernen an Beispie­ len" mit Hilfe eines graphischen Interfaces entwickelt worden. Zur Anwendung dieses Verfahrens sind lediglich ein Computer mit der Möglichkeit, Farbbilder in Echtfarbe darzustellen, und ein Maus-Interface erforderlich, um Polygone auf dem Monitor zu zeichnen.

Das Kernstück des von der Anmelderin entwickelten Farbauswahl- Verfahrens ist eine Berechnung von zweidimensionalen Histo­ grammen in polygonalen Gebieten und eine graphische Ergebnis­ darstellung. In der Ergebnisdarstellung sind ähnliche Farben auf nahe beieinanderliegende Punkte, sogenannte kompakte Clu­ ster, und unähnliche Farben auf weit entfernte Punkte, soge­ nannte disjunkte Cluster, abzubilden.

Hierzu werden von Videobändern, die von tatsächlichen Opera­ tionen aufgenommen worden sind, eine Anzahl Farbbilder typi­ scher Szenen genommen, in welchen sich alle möglichen, bei solchen Operationen vorkommenden Farben befinden. Jedes dieser Bilder wird im RGB-Format gespeichert, d. h. jedes Pixel der Bilder hat einen RGB-Wert, welcher eine Farbe repräsentiert. Da es ausreicht, jede Farbe mit zwei Werten darzustellen, wird jeder RGB-Wert auf eine zweidimensionale Ebene, d. h. die HS- Ebene, projiziert, die den Farbton (Hue) und die Farbsättigung (Saturation) enthält. Hierbei wird in jeder Position der HS- Ebene die Anzahl der Pixel aufsummiert, welche auf die gleiche HS-Position projiziert werden. Dadurch wird ein zweidimensio­ nales Farbhistogramm erhalten, in dem alle in den Szenen vor­ kommenden Farben mit ihrer Häufigkeit dargestellt werden.

Um Anwendern einen anschaulichen, visuellen Eindruck der Far­ ben zu geben, wird ein Farbhistogramm dargestellt; hierbei hat die Farbe jeder HS-Stelle eine durchschnittliche Farbintensi­ tät von allen an dieser Stelle registrierten Pixel. Dadurch kann ein Anwender unmittelbar vorhandene Farblücken finden, die zur Farbmarkierung des Operationsbestecks verwendet werden können. Damit kann der Anwender dem Hersteller objektive Farb­ maße (H, S) angeben.

Sicherheitshalber wird das markierte Instrument bzw. Opera­ tionsbesteck bei einer später erfolgenden Klassifikator-Ausle­ gung in einer Hardware-Implementierung wegen einer eventuellen Farbänderung der ausgewählten Farbe durch die Kamera noch ein­ mal farblich analysiert.

Anhand von Fig. 3A bis 3E wird ein Beispiel einer Farbklassifi­ zierung erläutert. In der Schwarz-Weiß-Darstellung der Fig. 3A ist eine "Farbpalette" für den Farbraum wiedergegeben, in wel­ chem die Klassifizierung später erfolgt. Um den Verlauf des Farbspektrums anzudeuten, sind markante Farben, nämlich gelb, rot, violett, blau und grün, eingetragen. Alle Farben, die auf einem vom Zentrum ausgehenden Strahl liegen, haben einen Farb­ ton (H) und alle Farben, die auf dem konzentrischen Kreis lie­ gen, haben eine Farbsättigung (S).

In Fig. 3B ist eine Szene wiedergegeben, bei welcher der etwa in der Mitte liegende pfeilspitzen-artige Bereich eine bräun­ liche Farbe hat und der ihn umgebende Bereich im wesentlichen eine grünlich-graue Farbe hat. In der daneben angeordneten Fig. 3C sind innerhalb der kreisförmigen Fläche durch ein amor­ phes Gebilde die Einträge in den Farbraum für die Farben ein­ getragen, welche in der Szene vorkommen; d. h. das amorphe Ge­ bilde ist in dem oberen, in Fig. 3C dunkleren Bereich gräulich grün und in dem rechts darunter liegenden, etwas helleren Be­ reich bräunlich ausgelegt.

Um die visuelle Zuordnung zu der in Fig. 3B wiedergegebenen Szene zu erleichtern, werden jedoch nicht die Farben aus dem normierten Farbraum der Fig. 3A eingetragen, sondern zu jeder Farbe wird die mittlere Intensität ermittelt, mit dieser auf den RGB-Farbraum zurücktransformiert, und das entsprechende Ergebnis eingetragen. In dem amorphen Bereich ist daher deut­ lich ein Farbgebiet zu erkennen, das von der Szene belegt wird, und wie vorstehend ausgeführt, in der oberen etwas dun­ kleren Bereich die Farbe grünlich grau und in dem unteren in Fig. 3C etwas helleren Bereich die bräunliche Farbe wiedergibt.

Innerhalb dieses amorphen Gebiets ist deutlich das entspre­ chende Subcluster, nämlich bräunlich und grünlich-grau zu er­ kennen. Auf dem kreisförmigen Rand des Farbraumes liegen die einzelnen Farben bei 100%, wobei in der Schwarz-Weiß-Darstel­ lung der Fig. 3C wiederum nur die Hauptfarben gelb, rot, vio­ lett, blau und grün eingetragen sind. Hieraus ist auch klar zu ersehen, welcher Farbbereich - innerhalb des kreisförmigen, vielfarbigen Randes - für Markierungen frei ist.

In der Schwarz-Weiß-Darstellung der Fig. 3D ist links unten ne­ ben der bereits in Fig. 3B wiedergegebenen Szene noch zusätz­ lich ein markiertes Instrument zu sehen. Die interaktiv einge­ zeichneten Regionen, von welchen der mittlere, in Fig. 3D weiß­ lich wiedergegebene Bereich der Farbe gelb entspricht und die beiden angrenzenden Bereiche eine blau-grüne Farbe haben, sind in der Darstellung der Fig. 3D durch dunkle schwarze Linien markiert.

In der Schwarz-Weiß-Darstellung der Fig. 3E sind die Farbclu­ ster zu erkennen, die zu den Farben der Marke gehören. Hierbei befindet sich die Farbe "gelb", die in Fig. 3E im rechten oberen Bereich als eine gezackte, von weiß in grau übergehende Linie wiedergegeben ist, in deutlicher Nähe zum Farbgebiet des Hintergrundes (siehe Fig. 3C); dagegen ist die blau-grüne Farbe weit von diesem entfernt.

Im vorliegenden Fall wird daher, die blau-grüne Farbe zur Identifizierung der Marke verwendet, da sie weiter vom Farbge­ biet des Hintergrunds entfernt ist. Hierzu wurde das zur Marke gehörige Farbgebiet interaktiv durch ein - in der Fig. 3E weiß eingetragenes - umschreibendes Polygon markiert.

Im Hinblick auf die Auslegung des Klassifikators 32 wählt so­ mit ein Anwender die Gebiete aus, deren Farben später eine Klasse bilden, indem er mit der Maus die sogenannten um­ schreibenden Polygone markiert. Die Berechnung des Farbhisto­ gramms wird auf das Innere der Polygone beschränkt, und das Ergebnis wird graphisch dargestellt. In dieser Darstellung erkennt dann der Anwender die Auslegung der Farbcluster und er kann wiederum durch umschreibende Polygone die Klassengrenzen festlegen. Hierbei können auch verschiedene Farben zu einer Klasse zusammengefaßt werden. Die LU-Tabelle 32-1 im Klassifi­ kator 32 erhält danach nur für die ausgewählten Farben den Eintrag 255, wie vorstehend bereits ausgeführt ist, während sie für alle übrigen Farben den Eintrag Null erhält.

Umfangreiche Untersuchungen der Anmelderin haben jedoch ge­ zeigt, daß die Wahl einer geeigneten Farbe ausschließlich nach dem subjektiven Eindruck sehr schwierig ist, und häufig zu un­ befriedigenden Ergebnissen führen kann. Dies liegt daran, daß die Farbtemperatur der Beleuchtung, die Farbwiedergabe der Ka­ mera und die Farbwiedergabe des Monitors zu Farbverschiebungen führen. Außerdem scheint dieselbe Farbe bei unterschiedlicher Helligkeit verschieden wahrgenommen zu werden. Die vorstehend beschriebene Farbauswahlmethode ist unabhängig von Farbver­ schiebungen der Kameras und des Monitors und objektiviert so­ mit die Farbwahl und die Klassifikatorauslegung.

Die vorstehend beschriebene Farbauswahlmethode ist darüber hinaus für jede Art von Farbklassifikation anwendbar, so bei­ spielsweise für die Qualitätskontrolle bunter Textilien ange­ führt. Hier ist es dann möglich, sich auf eine bestimmte Farbe einzustellen, um etwa den Verlauf der Fäden dieser Farbe oder den Druck von Mustern zu kontrollieren.

Ferner ist vorteilhaft, daß der Anwender es in keiner Weise mit Zahlen zu tun hat. Er bedient das Farbauswahl-Verfahren auf eine sehr bequeme Weise und kommt sehr schnell zu zuver­ lässigen Ergebnissen. Ferner kann die Selektivität des Klassi­ fikators auf sehr einfache Weise der jeweiligen Problemstel­ lung angepaßt werden. Hinsichtlich der Form der Klassengrenzen bestehen im Gegensatz zu analytischen Klassifikatoren oder Neuronalen Netzen keinerlei Beschränkungen.

Claims (7)

1. Verfahren zum Nachführen eines Stereo-Laparoskops in der minimalinvasiven Chirurgie, das bezüglich eines im Operations­ bereich befindlichen, über einen Monitor überwachten Opera­ tionsbestecks mit Hilfe eines Roboters bewegbar ist, dadurch gekennzeichnet, daß
das Operationsbesteck farblich markiert ist und in mindestens einem von einer von zwei Kameras des Laparoskops gelieferten Bild identifiziert wird, und
aus der Lage des farblich markierten Operationsbestecks in von beiden Kameras erzeugten Bildern Signale zum Steuern des Robo­ ters in der Weise abgeleitet werden,
daß der Roboter (10) das Laparoskop selbsttätig in eine solche Position bringt, daß das farblich markierte Operationsbesteck ständig im Zentralbereich des Überwachungsmonitors abgebildet wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zum Vermeiden von beim Arbeiten mit dem Operationsbesteck stören­ den Bewegungen eines Bildes das Laparoskop dem farbig markier­ ten Operationsbesteck ständig in der Weise nachgeführt wird, daß im Zentralbereich des Monitors das Nachführen eines Bildes verhältnismäßig schwach, jedoch in dessen Randbereich stark geregelt wird.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß

• a) zur Steuerung des in eine Regelschleife eingebundenen Ro­ boters (10) die mit den beiden Kameras (2₁, 2₂) des Lapa­ roskops aufgenommenen, farbigen Bilder im dreidimensiona­ len RGB-Format an eine Bildverarbeitungseinheit (3) über­ tragen werden, in welcher sie in zweidimensionale Bilder im HSV-Raum umgesetzt werden;
• b) anschließend in einer vorbelegten Look-Up-(LU-)Tabelle (32- 1) eines Klassifikators (32) der Bildverarbeitungseinheit (3) zur Markierung gehörende Farbwerte hervorgehoben und auf einen eindeutigen Wert (wie 255, logisch "1") einge­ stellt werden, während alle übrigen Werte auf Null ge­ bracht werden;
• c) in dem Klassifikator (32) nachgeordneten Statistik-Prozes­ soren (33₁; 33₂) jeweils als Ergebnisse von diesen ausge­ führten statistischen Auswertungen der Schwerpunkt (SP) bzw. ein Umschreiben der Rechtecke (BB) eines Bildes der Markierung gebildet werden;
• d) schließlich die erhaltenen Markierungspixel über einen Reg­ ler (34) an eine Steuereinheit (11) des Roboters (10) an­ gelegt werden, in welcher (11) aus den Bildschwerpunkten (SP) der Markierungen in zwei aufeinanderfolgenden Bildern der Kameras (2₁, 2₂) der Bildmittelpunkt und eine Dispa­ rität gebildet werden, wobei eine Abweichung des Mittel­ punkts von einer Sollposition im Zentralbereich des Moni­ tor-Bildes zur Lateralsteuerung des robotergeführten Laparoskops und die Abweichung der Disparität von ihrem Sollwert zur Transversalsteuerung des Laparoskops verwen­ det werden.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß zur Erzeugung von Stereobildern am Eingang der Bildverarbeitungs­ einheit (3) mittels eines Multiplexers (30) in vorgegebenem Rhythmus zwischen den Eingängen der Kameras (2₁, 2₂) des Lapa­ roskops umgeschaltet wird.

5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß in der LU-Tabelle (32-1) des Klassifikators (32) aus einer An­ zahl Bits der Farbkomponenten "H" und "S" der in den HSV-Raum umgesetzten Farbbilder als Adresse für die LU-Tabelle (32-1) ein Wort mit der doppelten Anzahl Bits gebildet wird, wobei die LU-Tabelle (32) so vorbelegt wird, daß zur Markie­ rung gehörende Farbwerte den höchsten Wert (wie 255, logisch "1") erhalten und die übrigen Werte Null (logisch "0") sind, daß zur Korrektur von fälschlich mit dem höchsten Wert verse­ henen Pixel alle Pixel Null gesetzt werden, die einem sehr niedrigen Signalpegel (Rauschen) oder einem sehr hohen Signal­ pegel (Sättigung) zugeordnet sind, indem die Komponente "V" der umgesetzten Farbbilder, über einen zweiseitigen Schwellen­ wertgeber (32-2) geleitet, in einer Multipliziereinheit (32-3) mit den Ausgangswerten der LU-Tabelle (32-1) multipliziert werden und Restfehler in Form einzelner Pixel oder Pixelgruppen einer zeitlichen und örtlichen Filterung (32-4; 32-5) unterzogen und anschließend über einen einseitigen Schwellenwertgeber (32-6) als Ausgangsdaten des Klassifikators (32) vorliegen.

6. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß zur Erhöhung der Systemsicherheit fortlaufend eine Konfidenz der Messungen durchgeführt wird.

7. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß zum schnellen und sicheren Auslegen eines Farbklassifikators nach dem Prinzip des "überwachten Lernens am Beispiel"

• a) von einer computergestützten Farbanalyse charakteristische Szenen (wie Kamerabilder) auf einem Monitor präsentiert werden, so daß in diesen Szenen mit Hilfe eines Eingabege­ räts (wie einer Maus) Regionen markierbar sind, deren In­ nenbereich hinsichtlich einer Erstellung eines zweidimen­ sionalen Farbhistogramms in einem auf Helligkeit normier­ ten Farbraum (wie Farbton (H) und Sättigung (S)) weiter ausgewertet werden soll;
• b) als Ergebnis der Farbanalyse das erstellte zweidimensionale Farbhistogramm auf dem Monitor dargestellt wird, so daß mit Hilfe des Eingabegeräts (Maus) in der Histogramm-Dar­ stellung Regionen markierbar sind, welchen eine Bezeich­ nung beispielsweise in Form eines Zahlenwerts zugeordnet wird, und
• c) aus den beim Schritt b) markierten Farbregionen und den zu­ geordneten Bezeichnungen anschließend automatisch die Be­ legung einer Look-Up-Tabelle festgelegt wird, wodurch je­ der markierten Farbe des zweidimensionalen Farbraumes die die beim Schritt b) gewählte Bezeichnung zugeordnet ist.