DE102010040948A1

DE102010040948A1 - Endoskopieverfahren zum Erzeugen eines Panoramabildes aus Einzelbildern, die zeitlich nacheinander mit einer magnetgeführten Endoskopiekapsel aufgenommen werden und nach diesem Verfahren arbeitende Endoskopieeinrichtung

Info

Publication number: DE102010040948A1
Application number: DE102010040948A
Authority: DE
Inventors: Christopher George Harris; Philip Mewes
Original assignee: Siemens AG; Roke Manor Research Ltd
Current assignee: Siemens AG; Roke Manor Research Ltd
Priority date: 2010-09-17
Filing date: 2010-09-17
Publication date: 2012-04-26
Also published as: WO2012034973A1

Abstract

Bei einem Endoskopieverfahren und einer Endoskopieeinrichtung zum Erzeugen eines Panoramabildes (Σij), das aus Einzelbidern (i) zusammengesetzt wird, die zeitlich nacheinander mit einer magnetgeführten Endoskopiekapsel (2) aufgenommen werden, deren Bewegung durch Anlegen eines externen Magnetfeldes (H) gesteuert wird, werden aus den zur Steueru) die Werte für eine zwischen aufeinanderfolgenden Einzelbildern (i) erfolgte Translation (T) und Rotation (R) der Endoskopiekapsel (2) ermittelt und zur Registrierung der Einzelbilder (i) herangezogen.

Description

Die Erfindung bezieht sich auf ein Endoskopieverfahren zum Erzeugen eines Panoramabildes aus Einzelbildern, die zeitlich nacheinander mit einer magnetgeführten Endoskopiekapsel aufgenommen werden. Außerdem bezieht sich die Erfindung auf eine nach diesem Verfahren arbeitende Endoskopieeinrichtung.
Eine in einem solchen Endoskopieverfahren verwendete magnetgeführte Endoskopiekapsel ist beispielsweise aus der DE 101 42 253 C1 bekannt und wird zur Untersuchung von Hohlorganen, insbesondere zur Untersuchung des Magens eingesetzt. Die von der Endoskopiekapsel aufgenommenen Einzelbilder werden drahtlos an eine externe Empfangs- und Auswerteeinheit übertragen und müssen nach der Untersuchung von einem Arzt ausgewertet werden, um eine vollständige Aussage über mögliche Befunde treffen zu können. Aufgrund der Vielzahl der sich teilweise überlappenden und denselben Teil des Hohlorgans wiedergebenden Bilder ist eine solche postinterventionelle Auswertung zeitintensiv und daher ineffizient.
Um eine solche postinterventionelle Auswertung zu erleichtern ist es daher bekannt, die aufgenommenen Einzelbilder zu einer sogenannten Szene zusammenzusetzen, die dem Arzt einen besseren Überblick über die diagnostisch relevanten Areale des Hohlorgans gestattet.
Das Zusammensetzen von Einzelbildern zu einer Szene oder einem Panorama, das sogenannte Mosaicing, geschieht dabei in der Regel in drei Schritten. Zunächst muss die Abbildungsoptik der in der Endoskopiekapsel befindlichen Kamera kalibriert werden, d. h. gegebenenfalls vorhandene Verzerrungen, beispielsweise verursacht durch die Verwendung eines Fischaugenobjektivs oder durch nicht exakte Aussichtung des CCD-Sensors auf die optische Achse der Objektivlinse, eliminiert werden. Anschließend erfolgt eine Registrierung der Einzelbilder zueinander, um diese anschließend zu einer Szene zusammenzusetzen. Die Registrierung der Einzelbilder zueinander erfolgt dabei über die Identifikation von Strukturen, die sich in jeden von zwei zeitlich nacheinander aufgenommenen Einzelbildern befinden. Dabei wird über die Veränderung der Lage und Größe dieser Strukturen die Translation und Rotation der Kamera zwischen den beiden aufeinanderfolgenden Aufnahmen annähernd ermittelt. Bei Einzelbildern mit wenigen Texturen, wie es beispielsweise bei Bildern von der Magenwand der Fall ist, ist ein derartiges Verfahren jedoch fehleranfällig.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Endoskopieverfahren zum Erzeugen eines Panoramabildes aus Einzelbildern, die zeitlich nacheinander mit einer magnetgeführten Endoskopiekapsel aufgenommen werden, anzugeben, das gegenüber den im Stand der Technik bekannten Verfahren verbessert ist. Außerdem liegt der Erfindung die Aufgabe zugrunde, eine mit diesem Verfahren arbeitende Endoskopieeinrichtung anzugeben.
Hinsichtlich des Verfahrens wird die genannte Aufgabe gemäß der Erfindung gelöst, mit einem Endoskopieverfahren mit den Merkmalen des Patentanspruches 1. Gemäß diesen Merkmalen werden beim Erzeugen eines Panoramabildes, das aus Einzelbildern zusammengesetzt wird, die zeitlich nacheinander mit einer magnetgeführten Endoskopiekapsel erzeugt werden, deren Bewegung durch Anlegen eines externen Magnetfeldes gesteuert wird, aus den zur Steuerung des Magnetfeldes verwendeten Steuerdaten die Werte für eine zwischen aufeinanderfolgenden Einzelbildern erfolgte Translation und Rotation der Endoskopiekapsel ermittelt und zur Registrierung der Einzelbilder herangezogen.
Mit anderen Worten: Für die Berechnung der zur Registrierung aufeinander folgender Einzelbilder erforderlichen Abbildung liegen bereits vorab Informationen über die Rotation und Translation der Kamera vor, so dass das Zusammensetzen der Einzelbilder zu einer Szene einerseits beschleunigt und andererseits mit weniger Fehlern behaftet ist.
Die Steuerdaten können dabei entweder von einer automatisierten Software vorgegeben sein oder aus Steuerbefehlen abgeleitet werden, die vom Benutzer mit einem externen Eingabegerät eingegeben werden.
Hinsichtlich der Endoskopieeinrichtung wird die Aufgabe gemäß der Erfindung gelöst, mit einer Endoskopieeinrichtung mit den Merkmalen des Patentanspruches 3, die ebenso wie die Merkmale des auf diesen zurückbezogenen Unteranspruches sinngemäß den in den Verfahrensansprüchen angegeben Merkmalen entsprechen.
Zur weiteren Erläuterung der Erfindung wird auf das in den Figuren dargestellte Ausführungsbeispiel verwiesen. Es zeigen:
1 eine Endoskopieeinrichtung gemäß der Erfindung in einer schematischen Prinzipdarstellung,
2 ein vereinfachtes Ablaufdiagramm zum Erläutern des erfindungsgemäßen Verfahrens.
Gemäß 1 ist eine magnetgeführte Endoskopiekapsel 2 in das Innere eines in der Regel mit Wasser 4 gefüllten Hohlorgans 6, beispielsweise ein Magen, eingeführt. In der Endoskopiekapsel 2 ist eine Kamera 8 angeordnet, mit der eine Serie von Einzelbildern von der Wand des Hohlorgans 6 aufgenommen wird. Die aufgenommenen Einzelbilder i werden über Funk an eine Steuer- und Auswerteeinheit 10 übertragen, in der sie wie nachstehend erläutert zu einer Szene zusammengesetzt werden.
In der Endoskopiekapsel 2 ist ein Permanentmagnet 12 angeordnet, um die Endoskopiekapsel 2 über ein von einem externen Magnetsystem 14 erzeugtes Magnetfeld H zu führen, d. h. gezielt innerhalb des Hohlorgans 6 zu bewegen.
Die Steuerung der Bewegung der Endoskopiekapsel 2 erfolgt entweder automatisch mit einer in der Steuer- und Auswerteeinheit 10 implementierten Software oder manuell von einem Benutzer mit einer Eingabeeinheit 16, im Beispiel ein Joystick, mit der Steuerdaten S zum Steuern des Magnetsystems 14 generiert werden. Anhand der von der Eingabeeinheit 16 oder von der Steuer- und Auswerteeinheit 10 generierten Steuerdaten S wird nun in der Steuer- und Auswerteeinheit 10 das Ausmaß der Bewegung der Endoskopiekapsel 2 innerhalb des Hohlorgans 6 zwischen aufeinanderfolgenden Aufnahmen ermittelt. Diese Bewegung setzt sich zusammen aus einer Translation T, in der Figur veranschaulicht durch den Translationsvektor t, sowie aus einer Rotation R, in der Figur veranschaulicht durch Drehwinkel φ_x, φ_y, φ_z. Die auf diese Weise vorliegende Information über die Änderung der Position und Orientierung der Endoskopiekapsel 2 wird nun verwendet, um zwei aufeinanderfolgende Einzelbilder i zu registrieren, d. h. im richtigen Größenverhältnis und mit der richtigen Perspektive zusammenzusetzen.
Dies ist anhand der 2 näher veranschaulicht. Nach erfolgter Aufnahme eines Einzelbildes i_j wird die Endoskopiekapsel mit Hilfe der vom Benutzer eingegebenen Steuerdaten S bewegt. Diese Bewegung setzt sich zusammen aus einer Rotation R_j+1 und einer Translation T_j+1. Nach erfolgter Bewegung wird ein weiteres Einzelbild i_j+1 aufgenommen. Anschließend erfolgt eine weitere Rotation R_j+2 und Translation T_j+2 und die Aufnahme eines weiteren Einzelbildes i_j+2. Die zwischen aufeinanderfolgenden Einzelbildern i_j jeweils bekannten Rotationen R_j und Translationen T_j werden nun herangezogen, um die zur Registrierung aufeinanderfolgender Einzelbilder i_j jeweils erforderliche Abbildung zu ermitteln, mit der diese ortsrichtig überlagert werden, so dass identische Objektpunkte in beiden Einzelbildern im selben Bildpunkt des zusammengesetzten Bildes wiedergegeben werden. Nach erfolgter Registrierung der aufeinanderfolgenden Einzelbilder i_j wird die auf diese Weise gewonnene Serie von Einzelbildern zu einer in der Figur veranschaulichten Szene oder einem Panoramabild Σi_j zusammengesetzt, bei dem es sich um ein 2D-Panoramabild oder, wie in der Figur dargestellt, ein 3D-Panoramabild 20 handeln kann.
Eine erste Methode zum Zusammensetzen der Einzelbilder ij basiert auf der Erzeugung eines 3D-Modells der betrachteten Oberfläche und einer Bestimmung der Positionen der Kamera im Raum. Wenn ein solches Grundmodell erstellt ist, dient jedes zusätzliche Einzelbild i_j dazu, das bestehende 3D-Oberflächenmodell auszudehnen und zu modifizieren. Dies geschieht dadurch, dass zunächst eine Anzahl diskreter Strukturen in einem Einzelbild i_j detektiert wird, die mit anderen Strukturen in überlappenden Einzelbildern i_j der Oberfläche übereinstimmen. Die Form der 3D-Oberfläche wird anschließend so geändert, dass diese Strukturen zusammenfallen. Das Verfahren kann damit beginnen, dass eine Analyse zweier sich in einem großen Bereich überschneidender Einzelbilder i_j erfolgt, die einen Teil der 3D-Oberfläche wiedergeben. Wenn ein solches 3D-Modell der Oberfläche erzeugt worden ist, kann dieses unter Benutzung des Inhalts der Einzelbilder i_j optisch strukturiert und anschließend ausgehend von einem beliebigen Standpunkt im dreidimensionalen Raum betrachtet werden.
Ein zweites Verfahren zum Zusammensetzen der Einzelbilder i_j beruht auf einer elastischen Verformung der Einzelbilder i_j bis eine gute geometrische Übereinstimmung der sich überlappenden Einzelbilder i_j erzielt wird. Der sich überschneidende Bereich der Einzelbilder i_j kann durch die Detektion einer Anzahl diskreter optischer Eigenschaften detektiert werden, die in beiden Einzelbildern i_j gleich ausschauen. Die paarweise Überschneidung kann geometrisch beispielsweise durch die Benutzung einer ebenen Homographie erfolgen. Auf diese Weise kann ein Netzwerk aus sich paarweise überlagernden Einzelbildern i_j konstruiert werden, in dem die gesamte Übereinstimmung maximal ist. Dadurch ist eine beliebige Navigation durch die Einzelbilder i_j auch in den Fällen möglich, in denen weder von den Kamerapositionen noch von der betrachteten Oberfläche ein 3D-Modell erzeugt worden ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10142253 C1 [0002]

Claims

Endoskopieverfahren zum Erzeugen eines Panoramabildes (Σi_j), das aus Einzelbildern (i) zusammengesetzt wird, die zeitlich nacheinander mit einer magnetgeführten Endoskopiekapsel (2) aufgenommen werden, deren Bewegung durch Anlegen eines externen Magnetfeldes (H) gesteuert wird, bei dem aus den zur Steuerung des Magnetfeldes (H) verwendeten Steuerdaten (S) die Werte für eine zwischen aufeinanderfolgenden Einzelbildern (i) erfolgte Translation (T) und Rotation (R) der Endoskopiekapsel (2) ermittelt werden, die zur Registrierung der Einzelbilder (i) herangezogen werden.
Verfahren nach Anspruch 1, bei dem die Steuerdaten (S) aus Steuerbefehlen abgeleitet werden, die mit einem externen Eingabegerät (16) eingegeben werden.
Endoskopieeinrichtung mit einer magnetgeführten Endoskopiekapsel (2) zum Aufnehmen von Einzelbildern (i), einem externen Magnetsystem (14) zum Erzeugen eines externen Magnetfeldes (H) zum Steuern der Bewegung der Endoskopiekapsel (2), einer Empfangs- und Auswerteeinheit (10) zum Empfangen der vom Endoskopiekapsel zeitlich nacheinander aufgenommenen Einzelbilder (i) und Ermitteln von Werten für eine zwischen aufeinanderfolgenden Einzelbildern (i) erfolgte Translation (T) und Rotation (R) der Endoskopiekapsel (2) aus den zum Steuern des Magnetfeldes (4) generierten Steuerdaten (S) und zum Zusammensetzen der Einzelbilder (i) unter Heranziehung dieser Werte.
Endoskopieeinrichtung nach Anspruch 3, mit einem externen Eingabegerät (16) zum Eingeben von Steuerbefehlen, aus denen die Steuerdaten (S) abgeleitet werden.