DE102009010263B4 - Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung - Google Patents

Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung Download PDF

Info

Publication number
DE102009010263B4
DE102009010263B4 DE102009010263A DE102009010263A DE102009010263B4 DE 102009010263 B4 DE102009010263 B4 DE 102009010263B4 DE 102009010263 A DE102009010263 A DE 102009010263A DE 102009010263 A DE102009010263 A DE 102009010263A DE 102009010263 B4 DE102009010263 B4 DE 102009010263B4
Authority
DE
Germany
Prior art keywords
eye
tracking
endoscopic instrument
image
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102009010263A
Other languages
English (en)
Other versions
DE102009010263A1 (de
Inventor
Reiner Kunz
Michael Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE102009010263A priority Critical patent/DE102009010263B4/de
Priority to PCT/EP2010/051945 priority patent/WO2010097315A1/de
Priority to US13/203,007 priority patent/US10925463B2/en
Priority to JP2011551460A priority patent/JP5568574B2/ja
Publication of DE102009010263A1 publication Critical patent/DE102009010263A1/de
Application granted granted Critical
Publication of DE102009010263B4 publication Critical patent/DE102009010263B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Position Input By Displaying (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Steuerung der Bildaufnahme und räumlichen Steuerung bei einem durch Bildgebung überwachten endoskopischen Instrument (8) für Untersuchungs- und Manipulationszwecke, bei dem mittels eines den über eine Optik beobachteten Arbeitsbereich (20) anzeigenden Monitors (18) der Arbeitsbereich (20) sowie die Position und Aktion des endoskopischen Instruments (8) überwacht werden. Das endoskopische Instrument (8) wird abhängig von der Monitoranzeige, der jeweiligen Position und vorgesehenen Aktion von einer motorisch angetriebenen Einrichtung gehaltert und bewegt. Die Augenbewegungen der Bedienungsperson (2) bzw. die Blickachse bei Beobachtung der Monitoranzeige wird nach der Eye-Tracking-Methode erfasst und zur Steuerung der Bildaufnahme und -nachführung sowie der Monitoranzeige verwendet.

Description

  • Die Erfindung betrifft ein Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie, des Weiteren eine Vorrichtung zur Bilddarstellung bei einem mittels Bildübertragung überwachten Instrument.
  • Insbesondere betrifft die Erfindung ein Verfahren zur Bildaufnahme bei einem mittels Bildübertragung überwachten endoskopischen Instrument für technische Untersuchungs- und Manipulationszwecke, bei dem der Arbeitsbereich des endoskopischen Instruments über eine Optik beobachtet und von einem Monitor angezeigt wird und die Position und Aktion des endoskopischen Instruments über den Monitor überwacht werden, wobei das endoskopische Instrument abhängig von der Monitoranzeige, der jeweiligen Position und vorgesehenen Aktion von einer motorisch angetriebenen Einrichtung gehaltert und bewegt wird.
  • Die nächstkommende Druckschrift DE 10 2008 017 111 A1 befasst sich mit der Positions- und Bewegungsüberwachung eines chirurgischen Instrumentes oder Objektes im Zuge einer bildgeführten medizinischen Prozedur (mit z. B. einem endoskopischen Instrument) relativ zu Bildern, die mittels CT, MR, PET, etc. gewonnen wurden. Es können z. B. CT- und MR-erzeugte Bilder kombiniert werden. Die hinzugefügten (akquirierten) Bilder können z. B. den Verlauf großer Gefäße wiedergeben und informieren den Chirurgen über ein Gewebe, bevor er in dieses einschneidet, so dass es z. B. nicht dazu kommt, dass dabei ungewünscht ein Gefäß mit geschnitten wird. Es erfolgt zu diesem Zweck die Fusion (auch als Verknüpfung oder Verschmelzung bezeichnet) der bildgeführten Prozedur mit einem anderen, dem statischen Bildgebungssystem, das die akquirierten Bilder liefert. Zur Überlagerung werden ein Navigationskoordinatensystem und ein Bildkoordinatensystem benötigt. Das heißt, es wird ein räumlicher Abgleich mit einer digitalisierten anatomischen Karte oder einem entsprechenden Modell durchgeführt. Die Fusion kann zeitlich versetzt oder auch on-line erfolgen. Das on-line erfasste Bild, genauer die Position des Objekts wird mit einer Abbildung des interessierenden aktuellen Bereichs (akquirierte Bilder) in räumliche Beziehung gesetzt. Dabei werden Sender und Empfänger die elektromagnetisch, per Infrarotlicht, HF etc. ein Signal erzeugen, das eine räumliche Beziehung zwischen Sender und Einfänger und damit eine Positionsinformation liefert (vgl. dort den Text in den Absätzen 0017 und 0018). Bei dem bekannten Navigationsverfahren dient die Steuerungseinrichtung zur Lokalisierung des Objekts. Die Lage des Objekts oder auch dessen Bewegung kann in Echtzeit in räumlicher Beziehung zu der anatomischen Landkarte angezeigt werden.
  • Die DE 199 61 971 A1 offenbart ein Verfahren zur automatischen Nachführung eines Endoskops und Verfolgung eines chirurgischen Instruments, genauer, von dessen Instrumentenspitze. Die Nachführung und Verfolgung des Endoskops bzw. Instruments können durch Beobachtung mit einer Kamera ganz automatisch ablaufen oder ausgeschaltet sein. Das Ziel der Nachführung und Verfolgung ist es, die Instrumentenspitze in einem definierten zentralen Bereich des Bildes auf einem Original-Monitor zu halten, der das Videobild zeigt. Auf einem MMI-Monitor wird der Status des automatischen Trackings angezeigt. Eine Führung des Endoskops durch die Bedienungsperson ist indirekt offenbart für den Fall, dass die automatische Nachführung ausgeschaltet ist.
  • Bei einem in der DE 195 29 950 C1 beschriebenen Verfahren zur Nachführung eines Stereo-Laparaskops für die minimal-invasive Chirurgie wird das Stereo-Laparaskop mittels eines Roboters bewegt. Der Roboterantrieb wird über ein im Operationsbereich befindliches monitorüberwachtes Operationsbesteck gesteuert, das zu seiner Lagebestimmung farblich markiert ist. Das Operationsbesteck wird stets im Zentralbereich des Überwachungsmonitors angezeigt. Diese Darstellungsweise beruht auf der Annahme, dass die farblich markierte Spitze des monitorüberwachten Operationsbestecks auch dem Zentralbereich der gewünschten Bilddarstellung entspricht. Der Ausschnitt der Bilddarstellung wird so über die zentrierte Darstellung einer Farbmarkierung mittels einer biokularen Optik definiert.
  • Aus der DE 10 2004 063 566 A1 ist ein Steuerungssystem mit einem Bilderzeuger und einer Augenerfassungsverarbeitung bekannt, mittels dessen eine Vorrichtung, z. B. eine Lichtquelle, ein- oder ausgeschaltet oder umgeschaltet werden kann. Das Steuerungssystem kann auch beispielsweise zum Umschalten der Polarisierung eines Fensters benutzt werden.
  • In der DE 197 31 301 A1 wird eine Mikroskopsteuerung für den Einsatz bei Augenoperationen beschrieben, bei der eine Blickrichtungsanalyse des Mikroskopbenutzers für die Ansteuerung von Geräten benutzt wird. In einem Okulartubus werden in einer Zwischenbildebene Blickpositionsdaten des Betrachters auf das Arbeitsfeld gewonnen und in einem Prozessor kalibriert, wobei die Mikroskopvergrößerung und die Größe des Arbeitsfels umgerechnet werden. Die resultierenden Daten werden an eine Steuereinheit übertragen.
  • Die DE 199 83 513 B4 betrifft ein Verfahren für das Auswählen eines auf einem Bildschirm eines Computers dargestellten, sich bewegenden grafischen Objektes, bei dem die Augenbewegungen des Benutzers überwacht und mit der Objektbewegung verglichen werden. Der Computer bestimmt die Funktion, die der Benutzer ausführen möchte, und führt sie dann aus. Es kann sich dabei um bildschirmgesteuerte Rechenanwendungen oder um Anwendungen für Personen mit Behinderungen handeln, um diesen ohne oder mit minimalem Einsatz der Hände Zugang zu Computerresourcen zu verschaffen. Weitere Anwendungen sind die Steuerung und Bedienung von Luft- und Bodenfahrzeugen, z. B. von Sichtanzeigen in Flugzeugen, ferner in Überwachungszentren und auch in Simulatoren und Unterhaltungssystemen.
  • Die WO 2008/066460 A1 offenbart eine Steuerung mit einer Bilderfassungseinrichtung und einer an diese angeschlossenen Verarbeitungseinheit. Diese liefert ein Augenpositionssignal zur Steuerung einer Lichtquelle. Die WO 2007/050029 A2 derselben Anmelderin befasst sich mit der durch Eye-Tracking gesteuerten Interaktion mit einem Computer, bei der über ein grafisches Datenmanipulationsfeld auf dem Computermonitor mittels Eye-Tracking Befehle eingegeben werden und im Computer weiterverarbeitet werden. Auf diese Weise kann ein Cursor bewegt oder Dateneingabe durchgeführt werden, z. B. Text geschrieben oder bearbeitet werden.
  • Im Bereich der Medizin und der Technik sind Anwendungen üblich, in denen Objekte mittels flexibler und starrer Endoskope gespiegelt werden. Neben der direkten Sicht wird über innenliegende Arbeitskanäle oder zusätzliche, vom Endoskop unabhängige, eingebrachte Arbeitsaktuatoren eine weitergehende Untersuchung oder Manipulation der zu untersuchenden Region erfolgen. Es befinden sich flexible, durch Bowdenzüge gelenkte Endoskope im Einsatz, die ein Bild des Arbeitsbereichs bzw. Untersuchungsobjekts liefern. 2 zeigt beispielhaft das distale Ende eines Videoendoskops 120 mit abwinkelbarem Arbeitskanälen 122, 124, Video-Optik und Objektiv 82, Kanal (84) hinsichtlich Lichtleiter 42 für die Beleuchtung, Düsen 126, 128 zur Insufflation und Spülung oder Objektivreinigung.
  • Im Bereich der Technik sind zerstörungsfreie Inspektion und Messung (Non-destructive Testing) mittels starrer und flexibler Endoskope sowie auch durch zusätzlich eingebrachte Sonden unterschiedlichster Testverfahren aus der Motoren- und Turbinentechnik, Luft- und Raumfahrt, Qualitätssicherung, Baugewerbe und Konstruktion bekannt.
  • Die Betrachtung eines Objekts beim Arbeiten mit Endoskop erfolgt in der Regel über eine Bildwandlerkette mit Sichtanzeige. Dabei kann der Betrachter unter Verwendung einer Datenübertragung räumlich weit entfernt über einen Bildwandler das zu untersuchende Objekt betrachten.
  • Exemplarisch sei dies an einem minimal-invasiven operativen Eingriff in der Medizin beschrieben: Der Anwender, d. h. die Bedienungsperson des Endoskops, betrachtet das mit einem bildaufnehmenden Endoskop gewonnene Bild, das auf einem Monitor wiedergegeben wird, wobei das Endoskop entweder durch den Anwender selbst, durch einen Kameraassistenten, ein Haltesystem oder einen Operationsroboter oder vergleichbar stabilisiert und nachgeführt wird. Der Monitor kann dabei in der Nähe des Untersuchungsgebietes positioniert oder unter Verwendung einer Datenübertragung weit entfernt vom Geschehen aufgestellt sein. Assistenten des Anwenders unterstützen diesen, indem sie Teil- oder Zusatzfunktionen bei der Endoskopführung oder bei der Betätigung zusätzlicher Manipulatoren übernehmen, um komplexe Arbeiten und Anwendungen durchführen zu können. Dies geschieht häufig rein manuell, z. B. durch eine Assistenzperson. Die Assistenten arbeiten auf Aufforderung oder selbstständig. Ermüdung, Konzentrations- oder Kommunikationsprobleme können dabei die Interaktion der Anwender erheblich behindern mit entsprechenden Störungen des Aktionsablaufes.
  • Es gibt unterschiedliche Systeme, die das Verstellen, Bewegen, Positionieren und auch das Halten der gewünschten Endposition des Endoskopes oder der Zusatzinstrumente bzw. Arbeitswerkzeuge ermöglichen. Diese werden entweder direkt manuell bewegt oder per Befehlseingabe gesteuert, motorisch angetrieben. Zur Befehlseingabe bekannt sind z. B. Tasten, Joystick, Bedienpad, oder auch Sprachsteuerung.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie zu schaffen, bei dem die Bilddarstellung, die zur Navigation im Raum und zur Darstellung eines Untersuchungs- und Manipulationsbereichs erforderlich ist, vorzugsweise auch zur Führung gesamt oder teilweise automatisiert eines Teils des Instrumentariums genutzt wird, d. h. die Darstellung des Untersuchungsraums nachzuführen oder Instrumente oder Objekte zu bewegen, in Position zu bringen und dort zu halten.
  • Diese Aufgabe ist durch die Erfindung bei einem Verfahren mit den Verfahrens-Merkmalen des Anspruchs 1 gelöst. Durch die Erfindung ist des Weiteren auch eine Vorrichtung mit den gegenständlichen Merkmalen des Anspruchs 17 geschaffen worden, die zur Durchführung des erfindungsgemäßen Verfahrens verwendbar und auch bei medizinischen Applikationen einsetzbar ist. Vorteilhafte Weiterbildungen des erfindungsgemäßen Verfahrens und der Vorrichtung sind Gegenstand der Unteransprüche.
  • Gegenstand der Erfindung ist somit ein Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie, bei dem das endoskopische Instrument abhängig von einer Anzeige, der jeweiligen Position und der vorgesehenen Aktion bewegt wird. Die Augenbewegungen der Bedienungsperson bei Beobachtung der Anzeige werden nach der Eye-Tracking-Methode erfasst und zur Steuerung des endoskopischen Instruments und seiner Funktion verwendet. Die Autofokuseinrichtung, die Vergrößerungseinstellung und/oder die Abstandsmessung der Endoskopspitze zum beobachteten Objekt werden mittels Eye-Tracking ausgewählt und/oder zugeschaltet.
  • Das erfindungsgemäße Verfahren dient zur Steuerung der Bildführung und des endoskopischen Instruments durch den Anwender selbst. Das heißt, der Anwender betrachtet mittels Bildwandlerkette den Darstellungs- und Arbeitsbereich oder ein Objekt, die auf einer Anzeige eines endoskopisch erzeugten Bildes dargestellt sind. Die Augenbewegungen des Anwenders werden bei der Betrachtung dieses Bildes automatisiert mittels Eye-Tracking verfolgt und der Anwender kann mittels Eye-Tracking-Steuerung die Bilddarstellung und Endoskop-Navigation auf die ihn interessierenden Ziele lenken.
  • Zweckmäßig wird bei einer bevorzugten Ausführungsvariante des erfindungsgemäßen Verfahrens für die Bildaufnahme eine Kamera benutzt und über Eye-Tracking bewegt und/oder ihre Einstellungen werden über Eye-Tracking gesteuert. Im Falle eines flexiblen Videoendoskops befindet sich das Kameraobjektiv in der flexiblen Endoskopspitze. Die Bildaufnahme kann aber auch per Lichtleiter und nach diesem angeordneter Kamera, CCD-Chip etc. erfolgen. Auch diese sollen mit dem Begriff ”Kamera” miterfasst sein. Mit der Kamera- bzw. Optiknachführung wird zugleich das endoskopische Instrument bzw. dessen Spitze blickgesteuert der Augenbewegung nachgeführt, d. h. vorgeschoben, zurückgezogen und gegebenenfalls auch zur Seite verschwenkt. Vorteilhaft wird die Bildaufnahme auf die Augenbewegung zentriert, d. h. die Hauptblickachse ist auf den Arbeitsbereich bzw. das Objekt des Interesses gerichtet und dieses befindet sich im wiedergegebenen Bild zentriert dargestellt. Das Endoskop mit der bildgebenden Videokamera wird entsprechend den Augenbewegungen des Anwenders so lange nachgeführt, bis das angepeilte Objekt wieder im Zentrum des aufgenommenen und wiedergegebenen Bildes liegt und die auf das Objekt des Interesses gerichteten Augen des Anwenders bzw. die Blickachse wieder auf das Zentrum des Monitorbildes gerichtet sind.
  • Durch die Anwendung der Eye-Tracking-Technologie ist es auf diese Weise möglich, ohne Zeitverzögerung und Kommunikationsprobleme Endoskope und Zusatzinstrumente in direkter Kontrolle der Fixation des Blickes eines Anwenders auf eine ”region of interest” im erzeugten Bild nachzuführen.
  • Der Betrachter kann bei Anwendung des erfindungsgemäßen Verfahrens räumlich weit entfernt vom betrachteten Objekt sein. Es ist bei Anwendung der Endoskopie wie erwähnt möglich, Hohlräume, Oberflächen etc. gegebenenfalls ganz aus der Ferne zu betrachten. Die Erfindung ermöglicht es aber auch, in komplexen Eingriffen Zusatzinstrumente zu steuern. An den betrachteten Objekten können Tätigkeiten so durchgeführt oder Materialien und Gegenstände eingebracht bzw. ortsständige Dinge manipuliert oder verändert werden, die sich an einem anderen Ort befinden. Hierzu gehören u. a. Messsonden, insbesondere auch Tuben und andere Schläuche, Klappensysteme, Clipverschlüsse und andere Materialien.
  • Es kann zweckmäßig sein, das Objektbild auf einem definierten Monitorbereich wiederzugeben, der nicht zentral, sondern außermittig im Monitorbild liegt, so dass es in diesem Fall zu einem Auseinanderfallen von Bildaufnahmezentrum und Blickachse kommt. Das Objekt wird dann in der Bildaufnahme exzentrisch erfasst und entsprechend exzentrisch auf dem Monitor wiedergegeben. Auf diese Weise können im Bildaufnahmebereich befindliche Applikatoren (Arbeitsinstrumente) etc. aufgenommen werden, im Zentrum der Anzeige, d. h. dem Monitorbild, wiedergegeben werden und hierdurch die Applikatoren gut beobachtet und/oder gehandhabt werden. So wird bei Anwendung des erfindungsgemäßen Verfahrens bevorzugt nicht nur die Kamera gesteuert, sondern es werden auch einer oder mehrere Applikatoren des endoskopischen Instruments mittels der Augenbewegungen gesteuert gehaltert und nachgeführt. Zu diesem Zweck ist es vorgesehen, dass die Eye-Tracking-Steuerung von der Steuerung des Bildes (Bildaufnahme und -nachführung) auf ein beliebiges anderes Hilfsmittel umgeschaltet wird, z. B. zur Instrumentennachführung, zur Betätigung des endoskopischen Instruments, auf einen Applikator, wobei dann das andere Gerät oder Instrument durch das Eye-Tracking gesteuert geführt und betätigt wird. Das heißt: In diesem Fall wird zunächst das Endoskop selbst durch Eye-Tracking gesteuert positioniert und dann fixiert. Die Steuerung wird auf das Arbeitsinstrument umgeschaltet und in der Folge dieser per Eye-Tracking positioniert und das betreffende Instrument wird betätigt.
  • Umgeschaltet wird beispielsweise bei Erreichen der vorgesehenen Position des endoskopischen Instruments, d. h. wenn auf dem Monitor das Objekt des Interesses wie benötigt wiedergegeben wird. Anschließend können die Position des endoskopischen Instruments und die Monitoranzeige des betreffenden Arbeitsbereichs eingefroren werden. Das Eye-Tracking kann dann zur Steuerung eines im Bildbereich befindlichen Instruments angewendet werden.
  • Nach dem Umschalten der Eye-Tracking-Funktion von einem Gerät zum nächsten und auch dem Einfrieren einer erreichten Position ist dann das nicht mehr vom Eye-Tracking geführte/gesteuerte Instrument in seiner Position fixiert, als ob es von einer Assistenzperson sicher gehalten würde. Probleme der Kommunikation entfallen dabei, der Anwender hat damit die Möglichkeit, sowohl die Endoskop/Bildführung als auch einzelne Aktuatoren selbständig zu steuern. Sobald der Bildbereich verändert benötigt wird, ist das Eye-Tracking-System wieder für die Bilddarstellung zu aktivieren und die Kamera bzw. Beobachtungsoptik, wie vorstehend erläutert, zu bewegen. Da für jeweils eingefrorene Positionen, während dieses Zustandes, das Eye-Tracking-System ungenutzt ist, besteht die Möglichkeit, mit dem System verschiedene Instrumente nacheinander alternativ zu steuern.
  • Bei dem zur Durchführung des erfindungsgemäßen Verfahrens benutzten Eye-Tracking-System kann die zur Erfassung der Augenbewegungen bzw. der Blickachse der Augen notwendige Kamera an einem Headset, am Monitor oder an einem für die Erfassung der Augenbewegungen geeigneten Ort plaziert sein.
  • Bei einer Verfahrensvariante wird vom bildaufnehmenden Endoskop eine Führungsmarkierung projiziert, die das Zentrum der Bildaufnahmeoptik und damit des aufgenommenen Bildes markiert. Auf diese eine Führungsmarkierung, die im Normalfall im Zentrum der Monitoranzeige angezeigt wird, fokussiert das Eye-Tracking. Als Führungsmarkierung können ein Lichtpunkt oder Lichtstrahl z. B. durch einen Laser-Pointer verwendet werden, der in der Fokusachse des Videoobjektivs liegt. Der Laserstrahl kann auch gleichzeitig zur Messung des Abstands – etwa mit einem optischen Abstandsmesssystem – zwischen dem Optiksystem und dem Beobachtungsgegenstand/Instrument bzw. dem betrachteten Bereich und damit zur dreidimensionalen Navigation benutzt werden. Per Eye-Tracking kann die Markierung und damit die Kamera bzw. der Bildbereich verfahren werden.
  • Bei einer bevorzugten Verfahrensvariante wird das Eye-Tracking-Steuersignal mit einstellbarer Trägheit verarbeitet. Dies ermöglicht es, das Steuersignal nachteilig beeinflussende Effekte wie das Augenflackern (Nystagmus) zu kompensieren.
  • Vorzugsweise wird vorgesehen, dass die Autofokuseinrichtung, die Vergrößerungseinstellung und/oder die Abstandsmessung der Endoskopspitze zum beobachteten Objekt mittels Eye-Tracking ausgewählt und/oder zugeschaltet werden.
  • Die Befehlseingabe für ein durch Eye-Tracking zu steuerndes Instrument, insbesondere die Auswahl eines Instruments, die Umschaltung auf das Instrument oder Umschaltungen der Instrumenteneinstellung, kann sprachgesteuert oder auch durch Bedienmittel, insbesondere Joystick, Tasten, Bedienpad, durchgeführt werden.
  • Beispielhaft ergeben sich bei endoskopischen Untersuchungen und Manipulationen, die von einer Bedienungsperson (Anwender) über den Bildschirm geführt erfolgen, durch Eye-Tracking folgende Möglichkeiten:
    • 1. Das bildaufnehmende Optiksystem kann, per Eye-Tracking gesteuert, über entsprechende Halterungs- und Führungseinheiten positioniert werden. Über Zusatzfunktionen kann definiert werden, dass die Blickerfassung des Anwenders den betrachtenden Punkt/”region of interest” in die Mitte des Bildbereichs rückt und dieser somit mittig auf dem Monitor positioniert ist. Alternativ kann der Ort des Interesses außerhalb der Bildmitte liegen, d. h. er bleibt exzentrisch auf dem erzeugten Bild. Die exzentrische Bilderfassung bietet sich an, wenn durch den Anwender ein im Bildbereich befindliches Arbeitsmittel per Eye-Tracking gesteuert werden soll. Die Kontrolle und Positionierung des Arbeitsmittels in Bezug auf das im Bild exzentrische Objekt können so erleichtert werden.
    • 2. Durch Umschalten der Steuerung von der Bild(nach)führung auf ein Instrument oder ein anderes, zweites (oder drittes) Instrument wird das Endoskop bzw. jeweils erste Instrument in seiner Position fixiert. Das gewählte Instrument kann ein beliebiges Hilfsmittel sein, das sich im Bildbereich des Endoskops befindet und positioniert/manipuliert werden muss. Es kann sich auch um zusätzliche Untersuchungsinstrumente oder aber auch um Materialien oder Gegenstände handeln, die über Endoskope visualisiert und über Eye-Tracking gesteuert in Höhlen vorübergehend oder permanent durch den Anwender kontrolliert eingebracht werden, bzw. im Bereich der technischen Endoskopie um Untersuchungs- und Manipulationstechniken im Sinne des Non-destructive Testing handeln.
  • Der Anwender kann per Eye-Tracking Abläufe direkt selbst steuern, die bisher durch Assistenzpersonen erfolgten. Bei Teamarbeit mögliche Kommunikationsstörungen können vermieden werden und ist kein oder weniger Assistenzpersonal nötig.
  • Die Erfindung wird im folgenden weiter anhand eines Ausführungsbeispiels und der Zeichnungen beschrieben. Diese Darstellung dient lediglich zu Veranschaulichungszwecken und soll die Erfindung nicht auf die konkret angegebenen Merkmalskombinationen einschränken. Es zeigen
  • 1 eine schematische Ansicht eines Aufbaus für eine endoskopische Testung und Manipulation unter Anwendung des erfindungsgemäßen Verfahrens,
  • 2 eine schematische Teildarstellung des distalen Endes eines flexiblen Endoskops und
  • 3 eine schematische Darstellung des Kontrollkörpers des flexiblen Endoskops.
  • Im folgenden wird ein Ausführungsbeispiel der Erfindung anhand von 1 erläutert, die einen Endoskop-Arbeitsplatz zeigt. Ein Anwender 2 steht in einem Untersuchungsraum 4, in dem sich ein zu untersuchendes Objekt 6 befindet. Ein mit verschiedenen Einrichtungen bestücktes Endoskop 8 und ein dicht am Untersuchungsgegenstand dargestelltes Arbeitsinstrument 10 befinden sich in Arbeitsposition an einem Arbeitsbereich und sind an einer Halte- und Positioniereinrichtung 12, 14 angebracht, die in Richtung von Pfeilen 16 bewegbar sind.
  • Das als Videoendoskop ausgeführte Endoskop 8 wird im folgenden anhand von 2 und 3 mehr im einzelnen beschrieben. Die Spitze des Endoskops 8 zeigt zwei Kanäle 82, 84. Der Kanal 82 enthält ein nicht dargestelltes Videokabel und Objektiv mit Autofokus-Funktion für die Bildaufnahme. Im Kanal 84 befinden sich Lichtleitfasern für die Beleuchtung des Arbeits- bzw. Operationsbereichs 20 und außerdem Markierungseinrichtungen. Eine nicht dargestellte, z. B. projizierte, Führungsmarkierung befindet sich am Untersuchungsgegenstand (Objekt). Das Endoskop 8 umfasst des weiteren zwei Arbeitskanäle 122, 124 und eine Jet-Düse 126.
  • An dem in 3 dargestellten Kontrollkörper des flexiblen Endoskops befinden sich die Betätigungsorgane bzw. Anschlüsse zu dessen Bedienung und Steuerung. Der Eye-Tracking-Antrieb 140, 142 ist am Manipulationsende des Kontrollkörpers angeordnet und enthält eine Rechts/Links- und Auf/Ab-Einheit. Eine Drucktaste 144 ist für das Umschalten zwischen manueller Steuerung und Eye-Tracking-Steuerung vorgesehen. Funktionstasten 146, 148 sind für das Absaugen bzw. Spülen vorgesehen. Mittels Hebeln 150, 152 kann die Steuerung auf/ab und rechts/links manuell durchgeführt werden. Mit 154 und 156 sind Anschlüsse zu Arbeitskanälen bezeichnet.
  • Die Halte- und Positioniereinrichtung 12, 14 bzw. deren Antrieb ist mit einer Steuerung 30 über Steuerleitungen 32, 34 für die Führung und Positionierung des Endoskops 8 und dessen Betätigung verbunden.
  • Das Endoskop 8 ist über eine Steuerleitung 38 mit einer Steuerungselektronik 36 verbunden. Eine Kaltlichtquelle 40 ist über Lichtleiter 42 mit dem Endoskop 8 bzw. dessen Beleuchtungskanal 84 verbunden.
  • Der Anwender 2 blickt auf einen im gezeigten Ausführungsbeispiel über dem Operationstisch aufgehängten Monitor 18. Dieser zeigt ein Videobild des Operationsbereichs 20, das über eine Bildwandlerkette 86 vom Endoskop 8 geliefert wird. Für eine eventuelle Spracheingabe (Pfeil 44) und manuelle Eingabe sind ein Audioeingang 46 und ein Eingabefeld 48 an der Steuerzentrale vorgesehen, die auch die weiteren Steuereinheiten 30, 36, 40, 72 enthält. Die Bewegungen des Endoskops 8 werden in der Regel jedoch nicht manuell, sondern mittels Eye-Tracking gesteuert und durchgeführt. Zu diesem Zweck befinden sich unterhalb des Monitors 18 eine Eye-Tracking-Beobachtungseinheit 60 mit einer Infrarot-Lichtquelle 62 und einer Videokamera 64, die auf die Augen 22 des Anwenders 2 gerichtet sind (Pfeile 66, 68) als Teil eines handelsüblichen Eye-Tracking-Systems. Der Anwender 2 beobachtet den dargestellten Bereich 20 auf dem Monitor 18 (Pfeil 70), und die Videokamera 64 beobachtet die Augenbewegungen, wobei die Auswertung in einem über eine Steuerleitung 71 verbundenen Rechner der Eye-Tracking-Steuerung 72 erfolgt, deren Ausgangssteuersignale auf die Steuerung 30 der Halte- und Positioniereinrichtung 12, 14 gegeben werden.
  • Dieser Aufbau ermöglicht es dem Anwender 2, zumindest bei relativ einfachen Manipulationen ohne Assistenzpersonal zu arbeiten. Bei aufwendigen Eingriffen, bei denen z. B. bildaufnehmende Endoskope mit multiplen Arbeitskanälen verwendet werden, ist es so auch nicht mehr nötig, 3 bis 4 Assistenzpersonen für die Bedienung der verschiedenen Instrumente einzusetzen, deren Tätigkeiten genau aufeinander und auf den Anwender abgestimmt werden müssen. Vielmehr kann beispielsweise der Anwender bei erreichtem Zielobjekt über zwei Kontrollräder die Endoskopspitze (eines flexiblen Endoskops) bewegen und das Bild einstellen, während Assistenzpersonen über Arbeitskanäle Untersuchungsinstrumente, Scheren etc. vorschieben, zurückziehen, öffnen und schließen, etc. mit den entsprechenden Koordinationsproblemen mehrerer Personen, die am selben Objekt arbeiten.
  • Die verschiedenen operativen Arbeitsschritte des Anwenders können von diesem nacheinander unter Einsatz der Eye-Tracking-Steuerung durchgeführt werden, während die Positionen der gerade nicht benötigten Instrumente und Ansichten eingefroren werden.

Claims (25)

  1. Verfahren zur Navigation eines endoskopischen Instruments (8) bei der technischen Endoskopie, bei dem das endoskopische Instrument (8) abhängig von einer Anzeige (18), der jeweiligen Position und der vorgesehenen Aktion bewegt wird, die Augenbewegungen der Bedienungsperson bei Beobachtung der Anzeige (18) nach der Eye-Tracking-Methode erfasst werden und zur Steuerung des endoskopischen Instruments (8) und seiner Funktion verwendet werden und die Autofokuseinrichtung, die Vergrößerungseinstellung und/oder die Abstandsmessung der Endoskopspitze zum beobachteten Objekt mittels Eye-Tracking ausgewählt und/oder zugeschaltet werden.
  2. Verfahren nach Anspruch 1, bei dem die Bildaufnahme auf die Augenbewegung zentriert wird.
  3. Verfahren nach Anspruch 1 oder 2, bei dem die Bildaufnahme eines bestimmten Arbeitsbereichs (20) sowie die zugehörige Anzeige eingefroren und beibehalten werden und selektiv ein oder mehrere Details im Arbeitsbereich (20) mit Hilfe des Eye-Trackings betrachtet werden, bei welchem Verfahren die jeweilige Anzeige eines betrachteten, auf der Anzeige (18) dezentral dargestellten Ausschnitts auf Anforderung durch das Eye-Tracking zentriert oder nicht zentriert wird.
  4. Verfahren nach Anspruch 3, bei dem die Spitze oder ein Arbeitskanal (122, 124) des endoskopischen Instruments (8) zum betrachteten Ausschnitt des Arbeitsbereichs (20) nachgeführt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem für die Bildaufnahme eine Kamera benutzt wird, die Kamera über Eye-Tracking bewegt und/oder ihre Einstellungen über Eye-Tracking gesteuert werden.
  6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem vom endoskopischen Instruments (8) eine Führungsmarkierung projiziert wird, die das Zentrum der Bildaufnahme markiert.
  7. Verfahren nach Anspruch 6, bei dem als Führungsmarkierung ein Lichtpunkt oder Lichtstrahl verwendet wird und der Lichtstrahl zur Messung des Abstands zwischen Optik (82) und Objektbereich verwendet wird.
  8. Verfahren nach Anspruch 7, bei dem der gemessene Abstand als Steuergröße für die Navigation des endoskopischen Instruments (8) verwendet wird.
  9. Verfahren nach einem der Ansprüche 1 bis 8, bei dem das Eye-Tracking-Steuersignal mit einstellbarer Trägheit verarbeitet wird.
  10. Verfahren nach einem der Ansprüche 1 bis 9, bei dem die Eye-Tracking-Steuerung von der Bildaufnahme und -nachführung auf die Betätigung oder Nachführung des endoskopischen Instruments (8) und/oder die Betätigung von endoskopischen Applikatoren, Zusatzinstrumenten oder Hilfsmitteln umgeschaltet wird.
  11. Verfahren nach einem der Ansprüche 1 bis 10, bei dem der Antrieb des endoskopischen Instruments (8) durch Eye-Tracking gesteuert wird.
  12. Verfahren nach einem der Ansprüche 1 bis 11, bei dem das endoskopische Instrument (8) mittels Eye-Tracking betätigt wird.
  13. Verfahren nach einem der Ansprüche 1 bis 12, bei dem einer oder mehrere Applikatoren des endoskopischen Instruments (8) oder Hilfsmittel mittels Eye-Tracking gesteuert geführt und/oder betätigt werden.
  14. Verfahren nach einem der Ansprüche 1 bis 13, bei dem mittels Eye-Tracking das Einbringen von Materialien, Gegenständen, insbesondere die Navigation von Schläuchen und Röhren, in den Arbeits- oder Untersuchungsraum, und/oder die Entnahme von Objektmaterial und -proben aus dem Arbeits- oder Untersuchungsraum mittels Applikatoren gesteuert wird.
  15. Verfahren nach einem der Ansprüche 1 bis 14, bei dem die Befehlseingabe für ein durch Eye-Tracking zu steuerndes Instrument, insbesondere die Auswahl eines solchen Instruments, die Umschaltung auf das Instrument oder Umschaltungen der Instrumenteneinstellung, mittels Eye-Tracking durchgeführt wird.
  16. Verfahren nach einem der Ansprüche 1 bis 15, bei dem die Befehlseingabe durch Bedienmittel, insbesondere Joystick, Tasten, Bedienpad, oder sprachgesteuert durchgeführt wird.
  17. Vorrichtung zur Bilddarstellung bei einem mittels Bildübertragung überwachten Instrument, umfassend ein endoskopisches Instrument (8) mit einer Bildaufnahmeeinrichtung (40, 42, 82, 84) für den Arbeitsbereich (20) des endoskopischen Instruments, eine Anzeige (18), die den Arbeitsbereich (20) des endoskopischen Instruments (8) sowie dessen Position und Aktion anzeigt, eine motorisch antreibbare Einrichtung, die das endoskopische Instrument (8) abhängig von der Anzeige (18), der jeweiligen Position und vorgesehenen Aktion haltert und bewegt, und eine Einrichtung (62, 64), die die Augenbewegungen der Bedienungsperson (2) bei Beobachtung der Anzeige (18) nach der Eye-Tracking-Methode erfasst und die ein Eye-Tracking-Ausgangssignal zur Steuerung der Bildaufnahme, zur Steuerung der Bildnachführung und der Wiedergabe auf der Anzeige (18) ausgibt, und mittels welchen von der Einrichtung (62, 64) ausgegebenen Eye-Tracking-Ausgangssignals die Auswahl und/oder Zuschaltung der Autofokuseinrichtung, der Vergrößerungseinstellung und/oder der Abstandsmessung der Endoskopspitze zum beobachteten Objekt durchgeführt wird.
  18. Vorrichtung nach Anspruch 17, bei der eine Bildwandlerkette (86) für die Bilddarstellung oder für die Bildwiedergabe auf der Anzeige (18) vorgesehen ist.
  19. Vorrichtung nach Anspruch 17, bei der die Bildaufnahmeeinrichtung (40, 82, 84, 42) eine Beobachtungsoptik mit Lichtquelle (40) und Lichtleiter (42) umfasst.
  20. Vorrichtung nach Anspruch 17, bei der die Bildaufnahmeeinrichtung (40, 82, 84, 42) eine Videooptik (82), insbesondere mit einem Kameraobjektiv in der Spitze des Endoskops (8) umfasst.
  21. Vorrichtung nach einem der Ansprüche 17 bis 20, bei der als Anzeige (18) ein Monitor (18) vorgesehen ist.
  22. Vorrichtung nach einem der Ansprüche 17 bis 21, bei der auf der Anzeige (18) ein Bedienbereich einblendbar ist, über den Steuerungsfunktionen auswählbar und zuschaltbar sind.
  23. Vorrichtung nach einem der Ansprüche 17 bis 22, bei der eine Navigationssteuerung für das endoskopische Instrument (8) und/oder zusätzliche Instrumente vorgesehen ist.
  24. Vorrichtung nach einem der Ansprüche 17 bis 23, bei der das das von der Einrichtung (62, 64) ausgegebene Eye-Tracking-Ausgangssignal zur Steuerung der Betätigung oder Nachführung des endoskopischen Instruments (8) und/oder der Führung und/oder Betätigung von endoskopischen Applikatoren (126), Zusatzinstrumenten oder Hilfsmitteln vorgesehen ist.
  25. Vorrichtung nach einem der Ansprüche 17 bis 24, bei der das von der Einrichtung (62, 64) ausgegebene Eye-Tracking-Ausgangssignal zur Steuerung des Einbringens von Materialien, Gegenständen, insbesondere der Navigation von Schläuchen und Röhren, in den Arbeits- oder Untersuchungsraum, und/oder der Entnahme von Objektmaterial und -proben aus dem Arbeits- oder Untersuchungsraum mittels Applikatoren vorgesehen ist.
DE102009010263A 2009-02-24 2009-02-24 Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung Active DE102009010263B4 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102009010263A DE102009010263B4 (de) 2009-02-24 2009-02-24 Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung
PCT/EP2010/051945 WO2010097315A1 (de) 2009-02-24 2010-02-16 Navigation endoskopischer vorrichtungen mittels eye-tracker
US13/203,007 US10925463B2 (en) 2009-02-24 2010-02-16 Navigation of endoscopic devices by means of eye-tracker
JP2011551460A JP5568574B2 (ja) 2009-02-24 2010-02-16 内視鏡装置をナビゲーションする方法、および画像表示のための装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009010263A DE102009010263B4 (de) 2009-02-24 2009-02-24 Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung

Publications (2)

Publication Number Publication Date
DE102009010263A1 DE102009010263A1 (de) 2010-09-02
DE102009010263B4 true DE102009010263B4 (de) 2011-01-20

Family

ID=42124723

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009010263A Active DE102009010263B4 (de) 2009-02-24 2009-02-24 Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung

Country Status (4)

Country Link
US (1) US10925463B2 (de)
JP (1) JP5568574B2 (de)
DE (1) DE102009010263B4 (de)
WO (1) WO2010097315A1 (de)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
DE102010060877B4 (de) * 2010-11-29 2013-08-29 Reiner Kunz Trokaranordnung
DE102012206963A1 (de) * 2011-04-26 2012-10-31 Otto-Von-Guericke-Universität Magdeburg Medizinische Fakultät Endoskop
RU2622367C2 (ru) 2011-09-16 2017-06-14 Конинклейке Филипс Н.В. Трехмерный рентгеновский просмотр в режиме реального времени
CN102579138A (zh) * 2012-04-06 2012-07-18 苏州迪凯尔医疗科技有限公司 导航视图视角自动调整法
US20140024889A1 (en) * 2012-07-17 2014-01-23 Wilkes University Gaze Contingent Control System for a Robotic Laparoscope Holder
US10265057B2 (en) 2013-08-14 2019-04-23 Intuitive Surgical Operations, Inc. Endoscope control system
US10432922B2 (en) 2014-03-19 2019-10-01 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking for stereo viewer
US10278782B2 (en) * 2014-03-19 2019-05-07 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking
US10157313B1 (en) 2014-09-19 2018-12-18 Colorado School Of Mines 3D gaze control of robot for navigation and object manipulation
CN107049210B (zh) * 2017-01-25 2018-09-28 山东省肿瘤防治研究院 一种基于增强现实的腔镜显示控制系统
WO2019087790A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
US11690677B2 (en) * 2017-12-31 2023-07-04 Asensus Surgical Us, Inc. Use of eye tracking for tool identification and assignment in a robotic surgical system
DE102018110642B4 (de) * 2018-05-03 2024-02-22 Carl Zeiss Meditec Ag Mikroskopieverfahren zur Abbildung eines Objekts sowie Mikroskop
CN108524011A (zh) * 2018-05-09 2018-09-14 杨琨 基于眼动仪原理的视野焦点指示系统及方法
WO2023049489A1 (en) * 2021-09-27 2023-03-30 Covidien Lp System of operating surgical robotic systems with access ports of varying length

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19961971A1 (de) * 1999-12-22 2001-07-26 Karlsruhe Forschzent Verfahren zur sicheren automatischen Nachführung eines Endoskops und Verfolgung (Tracking) eines chirurgischen Instrumentes mit einem Endoskopführungssystem (EFS) für die minimal invasive Chirurgie
DE10335369A1 (de) * 2003-07-30 2005-03-03 Carl Zeiss Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung und Vorrichtung zum Durchführen des Verfahrens
US20060100642A1 (en) * 2002-09-25 2006-05-11 Guang-Zhong Yang Control of robotic manipulation
DE102008017111A1 (de) * 2007-04-03 2008-10-09 General Electric Co. System und Verfahren zur Navigation eines Ojektes in einem abgebildeten Subjekt

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5969049A (ja) * 1982-10-15 1984-04-19 オリンパス光学工業株式会社 内視鏡診断システム
JPH0642644Y2 (ja) * 1988-10-15 1994-11-09 オリンパス光学工業株式会社 内視鏡湾曲装置
JP3126065B2 (ja) 1991-12-09 2001-01-22 オリンパス光学工業株式会社 計測用内視鏡装置
JP2665052B2 (ja) * 1993-05-14 1997-10-22 エスアールアイ インターナショナル 遠隔中心位置決め装置
US6406472B1 (en) * 1993-05-14 2002-06-18 Sri International, Inc. Remote center positioner
US5526812A (en) * 1993-06-21 1996-06-18 General Electric Company Display system for enhancing visualization of body structures during medical procedures
JP3482228B2 (ja) * 1993-11-02 2003-12-22 オリンパス株式会社 視線検出によるマニピュレータ制御システム
JP3540362B2 (ja) * 1994-06-14 2004-07-07 オリンパス株式会社 手術用マニピュレータの制御システム及びその制御方法
US5876325A (en) * 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
US5803082A (en) * 1993-11-09 1998-09-08 Staplevision Inc. Omnispectramammography
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
WO1995027918A2 (de) * 1994-04-11 1995-10-19 Leica Ag Verfahren zur ermittlung von positionsdaten eines messpunktes und vorrichtung für das messen der vergrösserung in einem optischen strahlengang
JPH07299027A (ja) * 1994-05-10 1995-11-14 Olympus Optical Co Ltd 光源装置
US6463361B1 (en) * 1994-09-22 2002-10-08 Computer Motion, Inc. Speech interface for an automated endoscopic system
DE59504515D1 (de) * 1994-10-26 1999-01-21 Leica Mikroskopie Sys Ag Mikroskop, insbesondere operationsmikroskop
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
JP3532660B2 (ja) * 1995-06-09 2004-05-31 オリンパス株式会社 体腔内観察装置
DE19529950C1 (de) 1995-08-14 1996-11-14 Deutsche Forsch Luft Raumfahrt Verfahren zum Nachführen eines Stereo-Laparoskops in der minimalinvasiven Chirurgie
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
AU2299797A (en) 1996-04-03 1997-10-29 Graham Stewart Brandon Street Apparatus and method for stereoscopic endoscopy
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
JPH10290392A (ja) * 1997-04-14 1998-10-27 Olympus Optical Co Ltd 画像処理装置
DE19731301C2 (de) 1997-07-13 2001-05-10 Smi Senso Motoric Instr Gmbh Vorrichtung zum Steuern eines Mikroskopes mittels Blickrichtungsanalyse
US6243076B1 (en) 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US6663559B2 (en) * 2001-12-14 2003-12-16 Endactive, Inc. Interface for a variable direction of view endoscope
EP1466552B1 (de) * 2002-07-31 2007-01-03 Olympus Corporation Endoskop
HUP0301899A2 (hu) * 2003-06-20 2005-05-30 János Fehér Eljárás és berendezés a szem látásfunkcióinak vizsgálatára
US7091471B2 (en) 2004-03-15 2006-08-15 Agilent Technologies, Inc. Using eye detection for providing control and power management of electronic devices
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
WO2005091978A2 (en) * 2004-03-22 2005-10-06 Vanderbilt University System and methods for surgical instrument disablement via image-guided position feedback
US7480402B2 (en) * 2005-04-20 2009-01-20 Visionsense Ltd. System and method for producing an augmented image of an organ of a patient
WO2007035775A2 (en) * 2005-09-19 2007-03-29 Feng Ma Imaging system and method utilizing primary radiation
EP1943583B1 (de) 2005-10-28 2019-04-10 Tobii AB Augenverfolgungssystem mit visuellem feedback
US20070265495A1 (en) * 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
SE0602545L (en) 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
US20080297590A1 (en) * 2007-05-31 2008-12-04 Barber Fred 3-d robotic vision and vision control system
EP2235713A4 (de) * 2007-11-29 2012-04-25 Oculis Labs Inc Verfahren und vorrichtung zur anzeige von sicherem visuellem inhalt
WO2009101153A2 (en) * 2008-02-13 2009-08-20 Ubisoft Entertainment S.A. Live-action image capture
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
WO2010051037A1 (en) * 2008-11-03 2010-05-06 Bruce Reiner Visually directed human-computer interaction for medical applications
US20110202842A1 (en) * 2010-02-12 2011-08-18 Dynavox Systems, Llc System and method of creating custom media player interface for speech generation device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19961971A1 (de) * 1999-12-22 2001-07-26 Karlsruhe Forschzent Verfahren zur sicheren automatischen Nachführung eines Endoskops und Verfolgung (Tracking) eines chirurgischen Instrumentes mit einem Endoskopführungssystem (EFS) für die minimal invasive Chirurgie
US20060100642A1 (en) * 2002-09-25 2006-05-11 Guang-Zhong Yang Control of robotic manipulation
DE10335369A1 (de) * 2003-07-30 2005-03-03 Carl Zeiss Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung und Vorrichtung zum Durchführen des Verfahrens
DE102008017111A1 (de) * 2007-04-03 2008-10-09 General Electric Co. System und Verfahren zur Navigation eines Ojektes in einem abgebildeten Subjekt

Also Published As

Publication number Publication date
US20120069166A1 (en) 2012-03-22
US10925463B2 (en) 2021-02-23
WO2010097315A1 (de) 2010-09-02
JP5568574B2 (ja) 2014-08-06
DE102009010263A1 (de) 2010-09-02
JP2012518504A (ja) 2012-08-16

Similar Documents

Publication Publication Date Title
DE102009010263B4 (de) Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung
EP0975257B1 (de) Endoskopisches system
DE19914455B4 (de) Verfahren zur Bestimmung der Bewegung eines Organs oder Therapiegebiets eines Patienten sowie hierfür geeignetes System
EP3363358B1 (de) Vorrichtung zum festlegen und wiederauffinden eines bezugspunkts während eines chirurgischen eingriffs
WO2008058520A2 (de) Vorrichtung zur bereitstellung von bildern für einen operateur
DE102014226240A1 (de) System zur roboterunterstützten medizinischen Behandlung
WO2012107041A1 (de) Endoskopisches bildverarbeitungssystem mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische vermessungsinformation erzeugen
DE10108547A1 (de) Vorrichtung und Verfahren zur Steuerung von chirurgischen Instrumenten bei einem operativen Eingriff
EP3484338B1 (de) Endoskopische vorrichtung und verfahren zur endoskopischen untersuchung
DE102014210046A1 (de) Operationsmikroskopsystem
DE102015204867A1 (de) Robotersystem und Verfahren zum Betrieb eines teleoperativen Prozesses
DE102011005259A1 (de) Verfahren und System zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops
DE102019134352A1 (de) Chirurgieroboter für endoskopische Anwendungen
DE102007030747A1 (de) Verfahren und Einrichtung zum Durchführen eines minimalinvasiven Eingriffs in einem menschlichen oder tierischen Hohlorgan
WO1997046168A1 (de) Positionsbestimmung eines beweglichen objektes
DE102014210056A1 (de) Verfahren zur Ansteuerung eines chirurgischen Geräts sowie chirurgisches Gerät
DE102005012295B4 (de) Verfahren zur endoskopischen Navigation und zur Eichung von Endoskopsystemen sowie System
DE102016205370A1 (de) OCT-System
DE102005029002A1 (de) Verfahren und Vorrichtung zur berührenden Messung einer Kraft
DE102004052753A1 (de) Verfahren und Operations-Assistenz-System zur Steuerung der Nachführung zumindest eines Hilfsinstrumentes bei einem medizinisch minimal-invasiven Eingriff
DE102014107315A1 (de) Medizinisches Instrumentarium und Verfahren zum Betreiben eines medizinischen Instrumentariums
DE102010023345B4 (de) Medizinisches Biplan-Röntgensystem und Verfahren zur Ansteuerung des Biplan-Röntgensystems
WO2021058727A1 (de) Vorrichtung zum navigieren eines medizinischen instruments relativ zu einer patientenanatomie
EP1537830B1 (de) Verfahren und Vorrichtung zum Beobachten von Objekten mit einem Mikroskop
DE4204601A1 (de) Vorrichtung zum erfassen von lageinformationen mit einer optischen beobachtungseinheit und verfahren zu deren betrieb

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R020 Patent grant now final

Effective date: 20110420

R082 Change of representative

Representative=s name: BEATE KOENIG, 80539 MUENCHEN, DE

Representative=s name: BEATE KOENIG, DE

Representative=s name: KOENIG, BEATE, DIPL.-PHYS. DR.RER.NAT., DE

Representative=s name: WEICKMANN & WEICKMANN PATENT- UND RECHTSANWAEL, DE

R082 Change of representative

Representative=s name: WEICKMANN & WEICKMANN PATENT- UND RECHTSANWAEL, DE