-
Technisches
Gebiet der Erfindung
-
Die
Erfindung betrifft ein Endoskop zur Tiefendatenakquisition. Genauer
gesagt liegt die Erfindung auf dem Gebiet der 3D-Videoendoskopie,
welche das Ziel hat, einem Betrachter eine dreidimensionale Ansicht
eines Bereiches vor einer Spitze des Endoskops zu vermitteln.
-
Hintergrund
der Erfindung
-
Endoskopische
Untersuchungen bieten beispielsweise in der Medizin oder in der
Industrie die Möglichkeit,
solche Bereiche visuell zu inspizieren, die nur schwer zugänglich sind.
Außerdem
ist speziell im Bereich der Medizin ein offener Eingriff für den Patienten
traumatisierender als ein minimal-invasiv durchgeführter und
endoskopisch unterstützter
Eingriff.
-
Herkömmliche
monokulare Endoskope dienen der Akquise von Bilddaten, d.h. solchen
Daten, die das Erzeugen zweidimensionaler Visualisierungen gestatten.
Bei der Erfassung des vor der Spitze des Endoskops liegenden Bereichs
gehen allerdings die räumlichen
Informationen der betrachteten Szene verloren. Die Tiefen- oder
räumliche
Wahrnehmung ist jedoch für
den Menschen ein wesentliches Kriterium zur Analyse und Bewertung
einer Szene. Häufig sind
daher räumliche
Informationen für
die aussagekräftige
Bewertung einer Szene erforderlich. Tiefendaten sind in diesem Zusammenhang
relative oder absolute Angaben über
Abstände
bzw. Entfernungen (z.B. von der Endoskopspitze), die beispielsweise
ein direktes Vermessen der Szene ermöglichen. Aus vorliegenden Tiefendaten
kann über
eine Visualisierung dieser Informationen eine Tiefenwahrnehmung
erzeugt werden.
-
Die
endoskopische Akquisition von Tiefendaten etwa im medizinischen
oder im industriellen Bereich würde
daher eine deutliche Verbesserung der Anwendbarkeit bedeuten. Im
industriellen Bereich werden Endoskope derzeit u.a. für die Inspektion
von Hohlräumen
eingesetzt. Hier stellt die Interpretation der von herkömmlichen
Systemen gewonnenen 2D-Daten ein Problem dar, da eine Vermessung
von Objekten zwar wünschenswert,
aber mit derartigen Daten nicht möglich ist. Als weiteres Beispiel
sei der Einsatz von Endoskopen bei chirurgischen Eingriffen genannt.
Liegen räumliche
Informationen vor, beispielsweise in Form einer geeigneten Darstellung
auf einer Anzeigeeinrichtung, kann der Chirurg viel leichter den
Abstand seines Werkzeuges (z.B. eines Skalpells oder einer Biopsie-Nadel)
zu Organen und Gefäßen einschätzen. Neben
einer Verkürzung
der Operationszeit könnten
auch unbeabsichtigte Verletzungen sicherer vermieden werden.
-
Der
Mensch gewinnt einen räumlichen
Eindruck von seiner Umgebung durch binokulares, stereoskopisches
Sehen mittels zweier Augen und Verrechnung der Konvergenzstellung
der Augen im Gehirn. Bei einkanaligen Optiken (etwa bei monokularen
Endoskopen) kann der Betrachter für sich einen räumlichen
Eindruck durch Erfahrung und die Bewertung von Helligkeitsunterschieden,
Schattenbildungen und Überlagerungen
von Objekten gewinnen.
-
Bei
dem derzeitigen Stand der Technik auf dem Gebiet der Endoskopie
ist die technische Rekonstruktion von Tiefeninformationen nur bei
Vorliegen mehrerer Bilder und/oder unter erheblichem rechentechnischem
Aufwand möglich.
Beispielsweise werden bei manchen einkanaligen Optiken zwei stereoskopische
Halbbilder durch eine Stablinsenoptik übertragen. Aufgrund der geringen
Stereobasis entsteht allerdings nur ein geringer Raumeindruck. Bei zweikanaligen
Optiken mit zwei Kameras werden zwei stereoskopische Halbbilder
durch zwei verschiedene Einzeloptiken übertragen. Eine Drehung der
Optik gegen die zugeordnete Kamera ist auf Grund der festen Adaptation
beider Kameras an die Einzeloptiken nicht möglich. Bei einer Drehung müssen somit
immer beide Kameras gedreht werden.
-
Aus
der WO 96/02114 ist ein Endoskop mit zwei optischen Eingängen bekannt.
Die beiden optischen Eingänge
werden mittels Blenden und eines Prismas abwechselnd auf den optischen
Eingang einer einzigen Kamera gelenkt. Die Video-Halbbilder werden
dann auf einem nachgeschalteten Monitor zum Bild der Szene zusammengesetzt.
-
Bei
den geschilderten Ansätzen
werden jeweils zwei stereoskopische Halbbilder akquiriert. Es werden
jedoch keine 3D-Daten berechnet, sondern die Erzeugung eines 3D-
oder räumlichen
Eindrucks aus den zwei 2D-Bildern wird dem menschlichen Gehirn überlassen.
Durch die Emulation stereoskopischer Daten ist es für einen
geübten
Betrachter möglich,
eine gewisse Tiefenwahrnehmung zu erlangen. Tatsächliche Tiefendaten werden
aber nicht ermittelt, und derartige Endoskope sind darüber hinaus
für ungeübte Benutzer
nicht geeignet.
-
Bei
der rechenbasierten 3D-Endoskopie werden 3D-Informationen aus einer
Sequenz von 2D-Bildern extrahiert. Dazu werden Feature-Punkte über mehrere
Bilder der Sequenz verfolgt. Bei Kenntnis extrinsischer und intrinsischer
Kameraparameter können
die 3D-Koordinaten des Feature-Punktes berechnet werden. Das Ergebnis
ist eine 3D-Punktewolke der Feature-Punkte. Allerdings ist dieses
Verfahren rechen- und damit zeitaufwändig. Eine Ermittlung von brauchbaren
Tiefendaten in Echtzeit ist mit verfügbaren Berechnungskapazitäten im Allgemeinen
nicht möglich.
Auch hängt
die Qualität
und die Quantität
der Tiefendaten von der Segmentierbarkeit einzelner Merkmale (Features)
der beobachteten Szenerie ab. Insgesamt sind derartige Endoskopsysteme
kompliziert aufgebaut und teuer.
-
Die
Aufgabe der Erfindung besteht darin, ein Endoskop anzugeben, bei
dem die Akquisition von Tiefendaten mit geringerem Rechenaufwand
als beim Stand der Technik möglich
ist, und mit dem Tiefendaten möglichst
unabhängig
von den Eigenschaften der Szene, etwa der Segmentierbarkeit ihrer Merkmale,
gewonnen werden können.
-
Kurzdarstellung
der Erfindung
-
Diese
Aufgabe wird durch ein Endoskop zur Tiefendatenakquisition gelöst mit einer
ersten Lichtquelle, einer Lichtleiteroptik, um Licht der Lichtquelle aufzunehmen
und das aufgenommene Licht einem Lichtaustritt an einer Spitze des
Endoskops zuzuleiten und um von einem Lichteintritt an der Spitze
des Endoskops empfangenes Licht aufzunehmen und weiterzuleiten,
sowie einem Sensor, um von der Lichtleiteroptik vom Lichteintritt
weitergeleitetes Licht zu empfangen und ein das empfangene Licht
repräsentierendes
Sensorsignal zu erzeugen. Ein erfindungsgemäßes Endoskop umfasst weiterhin
eine Modulationseinheit zur Ansteuerung der Lichtquelle gemäß Modulationsinformationen
derart, dass die Lichtquelle ein moduliertes Lichtsignal aussendet, und
eine mit dem Sensor verbundene Auswertungseinheit zur Auswertung
des Sensorsignals unter Heranziehung der Modulationsinformationen,
um Tiefendaten zu ermitteln. Der Begriff „Licht" ist nicht auf das sichtbare elektromagnetische
Spektrum beschränkt, sondern
umfasst auch z.B. den UV- oder Infrarotbereich.
-
Bei
dem Endoskop kann es sich um ein starres oder ein nicht-starres
Endoskop handeln. Die Lichtleiteroptik kann einen, zwei oder mehr
Lichtleiter umfassen. Unter dem Begriff „Lichtleiter" werden hier Lichtleitfasern
bzw. faseroptische Lichtleiter, lichtleitende Kanäle, beispielsweise
Stablinsen, oder sonstige zur Licht(weiter)leitung geeignete Einrichtungen verstanden.
Bei einem Endoskop könnte
beispielsweise ein erster Lichtleiter in Form einer Lichtleitfaser vorgesehen
sein, um das Licht der ersten Lichtquelle aufzunehmen und das aufgenommene
Licht dem Lichtaustritt an der Spitze des Endoskops zuzuleiten. Ein
zweiter Lichtleiter könnte
beispielsweise in Form einer Stablinse vorgesehen sein, um von dem
Lichteintritt an der Spitze des Endoskops empfangenes Licht aufzunehmen
und weiterzuleiten.
-
Die
Modulationsinformationen können
die Amplitudenform (Rechteck, Sinus, etc.) oder die Frequenz des
ausgesendeten Lichtsignals betreffen. Die Modulierung (oder Kodierung)
kann aber auch etwa durch einzelne Lichtimpulse (sog. „Bursts") erfolgen.
-
Die
Modulationsinformationen können
in einer Steuerungseinheit im Endoskop erzeugt und der Modulations-
und Auswertungseinheit übermittelt werden.
Jedoch ist eine Kopplung von Modulations- und Auswertungseinheit
nicht unbedingt erforderlich. Die Auswertungseinheit muss lediglich
zur Auswertung der Modulationen, die von der Modulationseinheit
dem ausgesendeten Licht aufgeprägt
werden, ausgebildet sein. Dies kann auch durch die Auswahl der für den Aufbau
der Auswertungseinheit verwendeten Komponenten und/oder durch eine
einmalige Konfiguration bei der Herstellung des Endoskops oder der
Auswertungseinheit erreicht werden.
-
Die
Auswertungseinheit kann zur Berechnung der Tiefendaten aus der Laufzeit
des empfangenen Lichtsignals ausgebildet sein. Aus der Laufzeit kann
der zurückgelegte
Weg und damit die Entfernung eines bestrahlten Punktes berechnet
werden. Die Laufzeit des Lichts kann direkt oder indirekt gemessen
werden. Andere Auswertungsstrategien, die nicht laufzeitorientiert
sind, können
jedoch auch zum Einsatz gelangen.
-
Die
Auswertungseinheit kann ferner zur Erstellung einer Matrix von Tiefendaten
für eine
Anzahl von Bildpunkten ausgebildet sein, indem für jeden Bildpunkt der (absolute
oder relative) Abstand eines bestrahlten Objektes von der Endoskopspitze
berechnet wird.
-
Bei
weiteren Ausführungsmöglichkeiten
des erfindungsgemäßen Endoskops
ist dieses zur zusätzlichen
Akquisition von Bilddaten für
eine (zusätzliche)
herkömmliche
2D-Darstellung vor
der Endoskopspitze befindlicher Objekte ausgebildet.
-
Bei
weiteren Ausführungsformen
eines erfindungsgemäßen Endoskops
wird das Prinzip des „time-of-flight", z.B. mittels eines
Photonenmischdetektors (PMD), bei der Auswertung herangezogen. Hierbei
handelt es sich um ein inkohärentes
Laufzeitmessungsverfahren. Die einem PMD-Videosensor nachgeschaltete
Auswertungseinheit liefert pixelweise Tiefen- und Intensitätsinformationen.
Mit einer typischen Frequenz von 15–50 Hertz kann eine Matrix von
Intensitätsinformationen
bzw. -werten (entsprechend etwa einem Grauwertbild) und eine Matrix
von Distanzwerten erzeugt werden. Die Intensitätsinformationen betreffen etwa
die reflektierte Amplitude oder Gesamtenergie. Die Auswertungseinheit
kann ausgebildet sein, Bilddaten aus den Intensitätsinformationen
zu erzeugen. Weitere Einheiten oder Vorrichtungen zur Akquisition
von Bilddaten sind in diesem Fall nicht unbedingt erforderlich.
-
Bei
weiteren Ausführungsmöglichkeiten
ist eine Strahlteileroptik zur Teilung des von der Lichtleiteroptik
vom Lichteintritt weitergeleiteten Lichtes in zwei Teil-Lichtstrahlen
vorgesehen. Ein erster der Teil-Lichtstrahlen kann zur Generierung
der Tiefendaten, der zweite zur Generierung der Bilddaten verwendet
werden. Der zweite Teil-Lichtstrahl
kann auch unmittelbar über
ein optisches Element, etwa eine Linse, dem Benutzer ausgegeben
werden.
-
Bei
einer weiteren Ausgestaltung weist das Endoskop eine zweite Lichtquelle
auf, die zur Ausstrahlung von Licht ausgebildet ist, welches zur
Akquisition der Bilddaten geeignet ist. Die erste Lichtquelle kann
beispielsweise Infrarotlicht emittieren, während die zweite Lichtquelle
das normale Tageslichtspektrum oder Teile hiervon emittiert. Wird
allerdings zur Akquise der Tiefendaten Licht mit einer Frequenz
oder einem Frequenzspektrum (auch) im sichtbaren Bereich verwendet,
ist eine zweite Lichtquelle nicht unbedingt erforderlich. Wird also
beispielsweise rotes Licht im Bereich von 500 nm bis ca. 700 nm
zur Tiefendatenakquise verwendet, kann dieses prinzipiell auch zur
Bilddatenerstellung oder für die
direkte optische Ausgabe verwendet werden. Ebenfalls ist es denkbar,
statt zweier Lichtquellen nur eine Lichtquelle (z.B. mit einem besonders
breiten Emissionsspektrum) zu verwenden.
-
Liegt
eine zweite Lichtquelle vor, kann die Lichtleiteroptik ausgebildet
sein, um Licht der zweiten Lichtquelle aufzunehmen und das aufgenommene Licht
dem Lichtaustritt zuzuleiten. Ein gemeinsamer Lichtleiter für beide
Lichtquellen verringert die Abmessungen des Endoskops und vereinfacht
dessen Aufbau. Getrennte Lichtleiter könnten jedoch ebenfalls zum
Einsatz gelangen.
-
Bei
weiteren Ausgestaltungen der vorgenannten Ausführungsformen ist mindestens
ein Lichtfilter zur Filterung des von der Lichtleiteroptik vom Lichteintritt
weitergeleiteten Lichts vorgesehen. Hierdurch kann beispielsweise
der für
die weitere Verarbeitung gewünschte
Spektralanteil herausgefiltert werden. Bei kombiniertem Einsatz
zweier Filter mit einem Strahlteiler liegt dann etwa in dem einen Strahlengang
der für die
normale Bildgebung zu verwendende Strahlungsanteil und in dem anderen Strahlengang
der für
die Tiefendatenakquisition zu verwendende Strahlungsanteil vor.
Auch ohne Strahlteiler ermöglicht
ein Filter die Verwendung eines Endoskops mit zwei Lichtquellen
oder einer einzigen Lichtquelle, ggf. mit breitem Emissionsspektrum,
alternativ zur normalen Bildgebung (ohne Filter) oder zur Tiefendatenakquisition
(sichtbares Licht wird aus dem Strahlengang ausgefiltert; statt
einer Anzeige- oder Betrachtungseinheit ist dann eine Sensor- und
Auswertungseinheit dem Strahlengang nachgeschaltet).
-
Ein
erfindungsgemäßes Endoskop
kann weiterhin über
einen zweiten Sensor verfügen,
um von der Lichtleiteroptik vom Lichteintritt weitergeleitetes Licht
zu empfangen und ein entsprechendes zweites Sensorsignal zu erzeugen.
Dieses Sensorsignal kann beispielsweise der Umsetzung von empfangenem
sichtbaren oder nicht-sichtbaren Licht in ein Sensorsignal dienen,
um daraus herkömmliche
Bilddaten zu erzeugen. Der zweite Sensor kann fest angeordnet sein,
etwa hinter einem von zwei durch einen Strahlteiler erzeugten Strahlengängen, oder
er kann schwenkbar angebracht sein, um alternativ zu dem ersten
Sensor in einen einzigen Strahlengang eingebracht zu werden. Mit
einem derartigen Endoskop wäre
bei einem vereinfachten Aufbau die sequentielle Akquisition von
Tiefen- und Bilddaten möglich.
-
Die
Auswertungseinheit kann zur Auswertung der Tiefendaten und/oder
einer Kombination von Tiefen- und Bilddaten ausgebildet sein. Die
Auswertung umfasst etwa die Analyse, Dateninterpretation und/oder
die direkte Darstellung der Daten auf einer Anzeigeeinrichtung.
Die Auswertung kann z. B. auch eine Abstandsvermessung oder Durchmesserbestimmung
umfassen.
-
Bei
weiteren Ausführungsformen
eines erfindungsgemäßen Endoskops
kann die Auswertungseinheit zur Fusion der Tiefendaten und der Bilddaten ausgebildet
sein. Die Kombination von Tiefeninformationen mit (z.B. tageslichtspektralen)
Bilddaten, also eine 2D-3D-Datenfusion, ermöglicht die Verknüpfung der
Vorteile von 2D-Sensoren,
nämlich hohe
Auflösung
bzw. feine Texturen, mit den Vorteilen der 3D-Sensoren (Erzeugung einer Tiefenwahrnehmung).
Die Datenfusion erfordert u.U. die Anwendung von Bildregistrierungsverfahren,
wobei Korrespondenzen zwischen den Tiefendaten und den Bildpunkten
gefunden werden Für
die Registrierung kann eine initiale Kalibrierung der Hardwarekonfiguration mit
einem Kalibriermuster nötig
sein.
-
Bei
weiteren Ausgestaltungen der Erfindung ist die Auswertungseinheit
zum Aufbau eines dreidimensionalen Modells der Umgebung der Endoskopspitze
aus sequentiell gewonnenen Tiefen- und Bilddatensätzen ausgebildet.
Hierbei werden die über
einen Zeitraum gewonnenen Daten integriert (zum Beispiel Bilddaten,
die aus verschiedenen Blickwinkeln gewonnen wurden).
-
Bei
erfindungsgemäßen Endoskopen
kann die Auswertungseinheit und/oder eine Anzeigeinheit zur Anzeige
der Auswertungsdaten integriert angeordnet sein. Derartige Endoskope
sind kompakt und erfordern keine weiteren Komponenten. Die Auswertungseinheit
kann etwa als DSP („Digital
Signal Processor")
oder FPGA („Field
Programmable Gate Array")
vorliegen.
-
Alternativ
hierzu kann die Auswertungseinheit und/oder Anzeigeeinheit abgesetzt
angeordnet sein. In diesem Fall kann die Auswertungseinheit etwa
auf einem separaten Rechner implementiert sein und die Anzeigeeinheit
wird durch die Anzeigeeinrichtung des Rechners realisiert.
-
Ein
erfindungsgemäßes Verfahren
zur Akquisition von Tiefendaten mit einem Endoskop umfasst die folgenden
Schritte:
- – Ansteuern
einer Lichtquelle des Endoskops gemäß Modulationsinformationen
derart, dass die Lichtquelle ein moduliertes Lichtsignal aussendet,
- – Aufnehmen
des von der Lichtquelle ausgesendeten Lichtes durch eine Lichtleiteroptik,
- – Leiten
des aufgenommenen Lichts zu einem Lichtaustritt an einer Spitze
des Endoskops,
- - Empfangen von Licht an einem Lichteintritt an der Spitze des
Endoskops,
- – Erzeugen
eines das empfangene Licht repräsentierenden
Sensorsignals und
- – Auswerten
des Sensorsignals unter Heranziehung der Modulationsinformationen,
um Tiefendaten zu berechnen.
-
Dem
Schritt des Ansteuerns der Lichtquelle des Endoskops kann ein Schritt
des Erzeugens der Modulationsinformationen vorgelagert sein. Bei
einer Weiterbildung des Verfahrens werden die Tiefendaten aus der
Laufzeit des empfangenen Lichtsignals berechnet. Bei einer Ausgestaltung
werden zusätzlich
Bilddaten zur Abbildung vor der Endoskopspitze befindlicher Objekte
akquiriert.
-
Gemäß einem
weiteren Aspekt der Erfindung kann ein Photonenmischdetektor (PMD)
für ein Endoskop
zur Tiefendatenakquisition verwendet werden.
-
Kurze Beschreibung
der Figuren
-
Nachfolgend
wird die Erfindung anhand von Ausführungsbeispielen weiter erläutert, die
in den beigefügten
Zeichnungen dargestellt sind. Es zeigt:
-
1 eine
schematische Darstellung eines ersten Ausführungsbeispiels eines erfindungsgemäßen Endoskops;
-
2 eine
schematische Darstellung eines zweiten Ausführungsbeispiels eines erfindungsgemäßen Endoskops;
-
3 eine
schematische Darstellung eines dritten Ausführungsbeispiels eines erfindungsgemäßen Endoskops;
-
4 eine
schematische Darstellung eines vierten Ausführungsbeispiels eines erfindungsgemäßen Endoskops;
-
5 eine
schematische Darstellung eines fünften
Ausführungsbeispiels
eines erfindungsgemäßen Endoskops;
und
-
6 in
Form eines Flussdiagramms eine verfahrensmäßige Ausgestaltung der Erfindung.
-
Beschreibung
bevorzugter Ausführungsbeispiele
-
In
der nachfolgenden Beschreibung werden konkrete Ausführungsbeispiele
der Erfindung beschrieben, um die Aspekte, Vorteile und Zweckmäßigkeiten
der Erfindung weiter zu veranschaulichen. Dem Fachmann ist offenkundig,
dass weitere Anwendungen der Erfindung möglich sind, die in fachmännischen
Details von den hier geschilderten abweichen.
-
Funktionale
Aspekte der Erfindung können
in Form von Hardware, Firmware, Software oder einer Kombination
hiervon implementiert werden. Die Funktion von in Soft- oder Firmware
ausgeführten Aspekten
ergibt sich mit der Ausführung
auf einem entsprechend programmierten Prozessor, beispielsweise
einem allgemein verwendbaren Prozessor oder einem für bestimmte
Anwendungen optimierten Prozessor, z.B. einem ASIC („Application
Specific Integrated Circuit")
oder einem programmierten DSP („Digital Signal Processor"). Ein erfindungsgemäßes Verfahren
kann durch die Ausführung
eines in einem Speicher gespeicherten Programms auf einem Prozessor
realisiert werden. Statt eines Programms können auch mehrere Programme
vorliegen.
-
In
der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung
werden gleiche und gleichwirkende Teile mit denselben Bezugsziffern
bezeichnet.
-
1 zeigt
in schematischer Form ein erstes Ausführungsbeispiel eines erfindungsgemäßen Endoskops 100 mit
einer Lichtquelle 102 und einer zwei Lichtleiter 104 und 106 umfassenden
Lichtleiteroptik. Die Lichtleiter 104 und 106 befinden
sich in einer gemeinsamen Hülle 107,
die biegsam oder starr sein kann. Der Lichtleiter 104 ist
als Lichtleitfaser ausgeführt,
der Lichtleiter 106 als Stablinse. Andere Ausgestaltungen
wären jedoch
auch möglich.
Weiterhin weist das Endoskop 100 einen Sensor 108 sowie eine
im Ausführungsbeispiel
kombinierte Steuer- und Modulationseinheit 110 und eine
Auswertungseinheit 112 auf. Die Steuer- und Modulationseinheit 110 kann
mit der Auswertungseinheit 112 gekoppelt sein, um dieser
die Modulationsinformation als Referenz für die Auswertung bereitzustellen.
Die Auswertungseinheit 110 kann auf dem Prinzip des „time-of-flight" basieren und der
Sensor 108 beispielsweise eine Kamera des Typs PMD [vision]® 19K
der Firma PMD Technologies GmbH, D-57076 Siegen, beinhalten.
-
Das
von der Lichtquelle 102 ausgestrahlte Licht wird vom Lichtleiter 104 aufgenommen
und einer Spitze des Endoskops 100 zugeführt, genauer gesagt
dem Lichtaustritt 114. Der Lichtaustritt 114 kann
eine Linse aufweisen, um den Bereich vor der Endoskopspitze in einer
für den
Einsatzzweck des Endoskops geeigneten Weise auszuleuchten. Das abgestrahlte
Licht fällt
beispielsweise auf ein Objekt 116 und wird von diesem in
Abhängigkeit
etwa von seiner Oberflächenbeschaffenheit
bzw. Textur und seinem Reflexionsvermögen zurück in Richtung Endoskopspitze
reflektiert.
-
Teile
des reflektierten Lichts fallen auf den Lichteintritt 118,
der durch eine lichtdurchlässige Scheibe
oder Linse gebildet wird. An der Endoskopspitze können weiterhin
Austrittsöffnungen
für Instrumente
oder Absaugkanäle
ausgebildet sein. Außerdem
können
Einrichtungen zum Schutz von Lichtaustritt 114 und Lichteintritt 118 gegen
Verschmutzungen vorliegen, wie beispielsweise Spülkanäle bzw. -düsen oder Abschirmvorrichtungen.
Diese sind aus Gründen
der Klarheit der Darstellung in 1 nicht eingezeichnet.
-
Das
vom Lichteintritt 118 aufgenommene Licht wird durch den
Lichtleiter 106 dem Sensor 108 zugeführt. Hier
wird das optische Signal in ein elektrisches Signal umgewandelt.
Dieses wird der Auswertungseinheit 112 übergeben.
-
Im
Betrieb erzeugt die Steuereinheit 110 Modulationsinformationen.
Die Steuereinheit 110 ist gleichzeitig als Modulationseinheit
zur Ansteuerung der Lichtquelle 102 gemäß den Modulationsinformationen
ausgebildet. Die so angesteuerte Lichtquelle 102 erzeugt
ein entsprechend moduliertes Lichtsignal. Die Modulationsinformationen
können
eine bestimmte Form (Rechteck, Sinus, etc.) des ausgesendeten Lichtsignals
vorgeben. Die Modulierung (oder Kodierung) kann aber auch etwa durch
einzelne Lichtimpulse (im ,Burst Modus') erfolgen. Die Modulationsfrequenz
kann etwa bei 20 Megahertz (MHz) liegen, kann aber auch andere Werte
annehmen.
-
Das
von dem Objekt 116 reflektierte Licht tritt mit einer durch
den Abstand des Objekts 116 von der Endoskopspitze gegebenen
Laufzeitverzögerung wieder
in das Endoskop 100 ein. Dieses Licht weist immer noch
die aufgeprägte
Modulation bzw. Kodierung auf. Die Auswertungseinheit 112 erhält zusätzlich die
Modulationsinformationen von der Steuereinheit 110 und
ermittelt die Laufzeitverzögerung
des reflektierten Lichtsignals (z.B. aus der Phasenverschiebung
der Modulation des reflektierten Lichtsignals gegen die Modulationsinformationen).
-
Aus
der ermittelten Laufzeit kann der Abstand des Objekts 116 von
der Endoskopspitze (bzw. vom Lichtaustritt 114 und Lichteintritt 118)
berechnet werden.
-
Die
Auswertungseinheit führt
die Berechnung für
eine Matrix von Bildpunkten durch, zum Beispiel 160×120 Pixel.
Für jeden
Bildpunkt wird die Laufzeit des auf diesen Punkt treffenden, reflektierten Lichts
und somit der zurückgelegte
Weg bestimmt. Aus dem Weg kann wiederum der Abstand eines bestrahlten
Objektes von der Endoskopspitze berechnet werden. Die Abstandsinformation
für jeden
Bildpunkt kann bei Kenntnis der intrinsischen Kameraparameter, die
z.B. in einem Kalibrierschritt bestimmt werden können, in ein kartesisches (Welt-)Koordinatensystem überführt werden.
Bezogen auf 1 liegen dann metrische Tiefeninformationen
für diejenigen
Bildpunkte des Sensors 108 vor, auf die von dem Objekt 116 reflektiertes
Licht fällt.
-
Zusätzlich zu
der die Tiefendaten repräsentierenden
Matrix erstellt die Auswertungseinheit 112 eine Intensitätsmatrix,
welche die Intensität
des erfassten Lichts pro Bildpunkt angibt. Die entsprechenden Bilddaten
können
beispielsweise als Graustufenbild dargestellt werden und ergeben
so eine 2D-Darstellung der vor der Endo skopspitze befindlichen Szene
im Lichte des von der Lichtquelle 102 ausgestrahlten Lichtes.
-
Die
Lichtquelle 102 strahlt Infrarot(IR)-Licht bei einer Wellenlänge von
870 nm aus. Die genaue Wellenlänge
ist für
die Funktionsweise der Erfindung jedoch ohne Belang. Es können ohne
weiteres auch andere Wellenlängen
oder Wellenlängenbereiche verwendet
werden, bspw. im Bereich von 500 nm–1000 nm.
-
Bei
der oben beschriebenen Betriebsweise liefert das Endoskop Tiefendaten
mit einer Frequenz von etwa 15 Hz. Höhere oder niedrigere Erfassungsfrequenzen
sind ebenfalls möglich.
Bei dem in der 1 gezeigten Ausführungsbeispiel
ist die Auswertungseinheit mit den weiteren Komponenten des Endoskops
integriert. Andere Konfigurationen sind möglich und werden weiter unten
vorgestellt. Die Auswertungseinheit bzw. -elektronik kann etwa als DSP
(„Digital
Signal Processor")
oder FPGA („Field Programmable
Gate Array") vorliegen.
Gleiches gilt auch für
die Steuerungs- und
Modulationseinheit 110.
-
2 zeigt
ein weiteres Ausführungsbeispiel eines
erfindungsgemäßen Endoskops 200.
Dieses unterscheidet sich von dem in der 1 gezeigten dadurch,
dass eine weitere Lichtquelle 202 vorgesehen ist. Der Lichtleiter 104 nimmt
das Licht beider Lichtquellen auf und leitet es dem Lichtaustritt 114 zu. In
Richtung auf einen optischen Ausgang des Lichtleiterkanals 106 ist
ein Strahlteiler 204 angebracht. Einer der beiden Teilstrahlen
fällt wie
bei dem Endoskop der 1 auf einen Sensor 108,
dessen Signal in der mit Bezug auf 1 beschriebenen
Weise verarbeitet wird (eine Steuerungseinheit ist in der 2 aus
Gründen
der Übersichtlichkeit
nicht eingezeichnet). Der zweite Teilstrahl dient der optischen
Wahrnehmung durch einen Beobachter 206.
-
Die
Lichtquellen 102, 202 unterscheiden sich in dem
hier geschilderten Beispiel in ihrem Emissionsspektrum. Die Quelle 102 sendet
IR-Licht bei einer Wellenlänge
von 870 nm aus. Die Lichtquelle 202 ist eine Tageslichtquelle,
strahlt also sichtbares Licht aus. Die Szenerie vor der Endoskopspitze,
in der Figur das Objekt 116, wird also sowohl mit IR-Licht
als auch mit ,Tageslicht' bestrahlt.
In den Strahlteiler 204 kann ein entsprechender Lichtfilter
(nicht gezeigt) integriert sein. Dieser kann für den Strahlengang zum Sensor 108 die
Tageslichtkomponente herausfiltern.
-
Auf
den Sensor 108 fällt
dann also nur das ursprünglich
von der Lichtquelle 102 emittierte IR-Licht mit dem aufgeprägten Modulationssignal.
Je nach Art der Quelle 202 ist eventuell auch von dieser eine
geringe IR-Komponente enthalten. Dieser Anteil sollte so gering
sein, dass das Signal-Rausch-Verhältnis des von den Sensor-Pixeln empfangenen
Signals für
die nachfolgende Auswertung ausreichend ist.
-
Die
Unterscheidung zwischen moduliertem, d.h. von der Lichtquelle 102 ausgesandtem
Licht, und nicht-moduliertem Licht kann auch auf Basis einer speziellen
Hardware-Schaltung erfolgen. Im Rahmen der PMD-Technologie sind
derartige Schaltungen unter dem Stichwort SBI bekannt („Suppression
of Background Illumination").
-
In
den Strahlengang zum Beobachter 206 muss nicht notwendigerweise
ein Filter vorgesehen werden, da ein menschlicher Beobachter IR-Strahlung
der Wellenlänge
870 nm nicht wahrnehmen kann. Nur wenn die Intensität der IR-Strahlung
sehr hoch ist, kann ein Filter zur Vermeidung von Schäden am Auge
des Betrachters sinnvoll sein.
-
Auch
das in der 2 dargestellte Endoskop 200 ermöglicht die
parallele Akquisition von Tiefendaten und von Bild-„Daten", wobei letztere
in diesem Fall vom Betrachter direkt wahrgenommen werden. Die errechneten
Tiefendaten können
dem Betrachter 206 beispielsweise über einen abgesetzt vom Endoskop 200 vorhandenen
Anzeigeschirm (nicht gezeigt) ausgegeben werden.
-
Die
Emissionsspektren der verwendeten Lichtquellen müssen nicht vollständig disjunkt
sein. So haben etwa Glüh-
oder Halogenlampen kein sehr scharf definiertes Spektrum. Es sollte
jedoch darauf geachtet werden, dass die für die Akquise der Bilddaten
verwendete Lichtquelle nicht die für die Akquise der Tiefendaten
verwendete Quelle überstrahlt.
-
Wird
die Tiefendatenakquisition in einem Wellenlängenbereich durchgeführt, der
innerhalb des sichtbaren Spektralbereiches liegt, beispielsweise
im Bereich von 600 nm, kann auf eine zusätzliche Lichtquelle sowie auf
einen oder mehrere Filter im Strahlteiler verzichtet werden. Der
Beobachter nimmt die Szene vor der Endoskopspitze dann in intensiv rotem
Licht wahr.
-
Die
Tiefendatenakquisition kann auch in einem breiterem Wellenlängenbereich
(z.B. komplettes Tageslichtspektrum) durchgeführt werden. Wird das modulierte
Licht, bei entspechend hoher Modulationsfrequenz und Intensität) mit einer
derartigen Licht quelle erzeugt, kann der Beobachter die Szene mit
normaler Farbempfindung wahrnehmen.
-
3 zeigt
ein drittes Ausführungsbeispiel eines
erfindungsgemäßen Endoskops 300.
Gegenüber
dem in der 2 dargestellten Endoskop 200 ist hier
ein zusätzliches
Sensorsystem 302 vorgesehen. Ein zusätzlicher Lichtfilter (nicht
gezeigt) im Strahlteiler 204 filtert den für die Tiefendatenakquise
verwendeten Strahlenanteil der Lichtquelle 102 heraus,
so dass auf den Sensor 302 nur sichtbares Licht fällt.
-
Das
Signal des Sensors 302 wird ebenfalls der Auswertungseinheit 112 zugeführt. Die
Einheit 112 erstellt (neben der Tiefendaten-Matrix) eine
Matrix mit Bildinformationen aus dem Sensorsignal, d.h. eine 2D-Darstellung
der mit sichtbarem Licht ausgeleuchteten Szene vor der Endoskopspitze.
Das Format der Matrix (die Auflösung)
kann hierbei identisch mit demjenigen der Tiefendaten sein, oder
es kann eine höhere
Auflösung
gewählt
werden (beispielsweise ein Sensor mit 1600×1200 Pixeln).
-
Zusätzlich oder
alternativ hierzu kann die Auswertungseinheit 112 zur gemeinsamen
Verarbeitung der Daten der beiden Lichtkanäle ausgebildet sein. Hierbei
wird dann eine 2D-3D-Datenfusion durchgeführt, bei der letztlich die
Tiefendaten und die Bilddaten kombiniert werden. Die kombinierte
Information, die im Vergleich zu einer isolierten Betrachtung beider
Datensätze
eine deutlich verbesserte Informationsbasis darstellt, kann dann
z.B. für
die Auswertung und Weiterverarbeitung oder die gemeinsame Repräsentation
der Szene verwendet werden.
-
Es
können
Verfahren der Datenfusion angewendet werden, wie sie für die Kombination
von Daten unterschiedlicher Sensoren beispielsweise aus dem Automotive-Bereich bekannt sind.
Die Datenfusion erfordert u.U. die Anwendung von Bildregistrierungsverfahren,
wobei Korrespondenzen zwischen den Tiefendaten und den Bildpunkten
gefunden werden. Für
die Registrierung kann eine initiale Kalibrierung der Hardwarekonfiguration
mit einem Kalibriermuster nötig
sein.
-
Zusätzlich zur
Darstellung gewonnener Einzelbilder (Nur Tiefendaten – nur Bilddaten – 3D-Darstellung
mit Bild- und Tiefendaten) können
auch Bildsequenzen erstellt werden, die einen zeitlichen Ablauf
wiedergeben, beispielsweise die Szene vor der Endoskopspitze aus
veränderlichem
Blickwinkel zeigen. Eine weitere Möglichkeit der Datenauswertung besteht
in der Erstellung eines 3D-Modells der Umgebung der Endoskopspitze
aus Datensätzen,
die aus unterschiedlichen Blickwinkeln gewonnen wurden.
-
4 zeigt
ein weiteres Ausführungsbeispiel eines
erfindungsgemäßen Endoskops 400.
Gegenüber
dem in 3 dargestellten Endoskop 300 ist hier eine
Anzeigeeinheit 402 in das Endoskop integriert. Auf diese
werden die Auswertungsergebnisse der Auswertungseinheit 112 ausgegeben.
Das Display 402 kann fest mit dem Endoskop 400 verbunden sein,
oder kann lösbar
angebracht sein. Der Benutzer kann die mit dem Endoskop untersuchte
Szene unmittelbar beobachten.
-
5 zeigt
ein fünftes
Ausführungsbeispiel eines
erfindungsgemäßen Endoskops.
Hier ist ein Teil der Auswertungseinheit 112 abgesetzt
angeordnet, etwa in Form von Software auf einem handelsüblichen
PC 502. Gleiches kann auch für die Steuerungseinheit und
ggf. die Modulationseinheit 110 gelten (nicht dargestellt,
vgl. 1). Die Auswertungs-, Steuerungs- und Modulationseinheiten
könnten
auch nur auf einem PC oder einer programmierbaren Einrichtung vorhanden
sein.
-
Als
Anzeigeeinrichtung wird ein Monitor 402 des PCs 502 verwendet.
Selbstverständlich
kann eine weitere Anzeigeeinheit auch integriert mit den anderen
Komponenten des Endoskops vorgesehen sein (nicht dargestellt). Zur
Darstellung können
2D-, aber auch 3D-Displaytechnologien verwendet werden.
-
Die
Auswertungseinheit bzw. -elektronik 112 kann eine Komponente
zur Ausgabe von Daten auf ein Speichermedium 504 umfassen.
-
Je
nach Bauart können
vorhandene Endoskope in erfindungsgemäßer Weise aufgerüstet werden.
Für die
Einspeisung des Lichtsignals kann die in einem Endoskop bereits
vorhandene Lichtleiteroptik verwendet werden. Für Endoskope, die über keine
eigene Lichteinspeisung verfügen,
muss allerdings ein zusätzlicher
Kanal für
die Übertragung
des Lichtsignals hinzugefügt
werden.
-
Für die Auswertung
des Lichtsignals kann die Sensorvorrichtung an den optischen Ausgang
eines herkömmlichen
Endoskops angeschlossen werden, wobei die schon im Endoskop vorhandene
Optik zur Signalübertragung
von der Endoskopspitze zum optischen Ausgang benutzt wird. Die nachgeschaltete
Auswertungselektronik sowie die Steuerungs- und ggf. Modulationseinheit
kann dann extern in einem eigenen Gehäuse vorgesehen werden. Hierbei
kann es sich etwa um einen PC handeln.
-
In 6 sind
für ein
weiteres Ausführungsbeispiel
die Schritte einer verfahrensmäßigen Ausgestaltung 600 der
Erfindung wiedergegeben. Ein Verfahren zur Akquisition von Tiefendaten
mit einem Endoskop beginnt im Schritt 602 mit dem Erzeugen
von Modulationsinformationen. In einem Schritt 604 wird eine
Lichtquelle des Endoskops gemäß den Modulationsinformationen
derart angesteuert, dass die Lichtquelle ein moduliertes Lichtsignal
aussendet. In einem weiteren Schritt 606 wird das von der
Lichtquelle ausgesendete Licht durch eine Lichtleiteroptik aufgenommen.
Im nächsten
Schritt 608 wird das aufgenommene Licht zu einem Lichtaustritt
an einer Spitze des Endoskops geleitet. In Schritt 610 wird Licht
an einem Lichteintritt an der Spitze des Endoskops empfangen. Es
wird ein das empfangene Licht repräsentierende Sensorsignal erzeugt
(Schritt 612). Schließlich
wird in Schritt 614 das Sensorsignal unter Heranziehung
der Modulationsinformationen ausgewertet, um Tiefendaten zu berechnen.
-
Die
Erfindung ermöglicht
die Akquisition von Tiefendaten in Echtzeit. In jedem Datenerfassungschritt
liegen 3D-Daten vor, ohne dass eine nachgelagerte Bearbeitung („Post-Processing°) erforderlich ist.
Typische Schrittfrequenzen liegen etwa bei 15–50 Hz. Das erfindungsgemäße Endoskop
ermöglicht
die Akquise von Tiefeninformation mit großer Geschwindigkeit und hoher
Auflösung
und daher auch die Vermittlung einer entsprechenden Tiefenwahrnehmung. Die
Erfindung ist für
alle Anwendungsgebiete herkömmlicher
Endoskope vorteilhaft anwendbar, vom Bereich medizinischer Applikationen
bis hin zur Industriesensorik.
-
Die
Qualität
und Quantität
der mit einem erfindungsgemäßen Endoskop
gewonnenen Tiefeninformation hängt
nicht von der Segmentierbarkeit von Features der beobachteten Szenerie
ab. Die Szene muss lediglich hinreichend gute Reflektionseigenschaften
im Spektralbereich des kodierten Lichtsignals haben. Auch ermöglicht die
Erfindung die parallele Akquisition von Bild- und Tiefendaten. Hieraus ergibt
sich die Möglichkeit
der Kombination von Bild- und Tiefendaten für die Auswertung und Darstellung.
-
Die
hier dargestellten Ausführungsbeispiele stellen
zweckmäßige Ausführungsformen
der Erfindung dar. Im Rahmen des erfindungsgemäßen Grundgedankens sind durch
fachmännisches
Handeln weitere Ausführungsformen
denkbar, ohne dass der Geltungsbereich der Erfindung verlassen wird, der
allein durch die beigefügten
Ansprüche
beschrieben werden soll.