-
[Technisches Gebiet]
-
Die vorliegende Erfindung betrifft Endoskopvorrichtungen.
-
[Technischer Hintergrund]
-
Es ist eine Endoskopvorrichtung bekannt, die einen langen, dünnen Einführabschnitt hat, der in einen schmalen Raum eingeführt wird, und die ein Bild von einem erwünschten Bereich eines Beobachtungsziels, das sich in dem Raum befindet, mit einer Bildaufnahmeeinheit aufnimmt, die an dem distalen Ende des Einführabschnitts zur Beobachtung vorgesehen ist (siehe beispielsweise PTL 1 und PTL 2).
-
[Literaturliste]
-
[Patentliteratur]
-
- [PTL 1] Japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer 2012-245161
- [PTL 2] Japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer 2011-152202
-
[Kurzbeschreibung der Erfindung]
-
[Technisches Problem]
-
Während ein Beobachtungsziel unter Verwendung der in der Patentliteratur offenbarten Endoskopvorrichtungen beobachtet wird, kann aufgrund von unbeabsichtigten Bewegungen des distalen Endes des Einführabschnitts oder des Beobachtungsziels der zu beobachtende Bereich fehlen oder die Einführrichtung verloren gehen. In einem solchen Fall muss das Beobachtungsziel oder die Einführrichtung durch Versuch und Irrtum gefunden werden, was zu viel Zeit zum erneuten Beginnen der ursprünglichen Aufgabe braucht.
-
Die vorliegende Erfindung wurde in Anbetracht der vorstehend beschriebenen Umstände erdacht und eine Aufgabe davon ist die Bereitstellung einer Endoskopvorrichtung, die das Beobachtungsziel oder die Einführrichtung schnell finden kann, selbst wenn das Beobachtungsziel fehlt oder die Einführrichtung verloren geht, wodurch die Zeit zum erneuten Beginnen der ursprünglichen Aufgabe reduziert wird und die Benutzerfreundlichkeit verbessert wird.
-
[Lösung des Problems]
-
Ein Aspekt der vorliegenden Erfindung ist eine Endoskopvorrichtung, die umfasst: eine Bildaufnahmeeinheit, die nacheinander eine Mehrzahl von Bildern I(t1) bis I(tn) eines Beobachtungsziels zu Zeiten t1 bis tn (n ist eine ganze Zahl) mit Zeitintervallen aufnimmt; eine Bildverarbeitungseinheit, die die Mehrzahl von von der Bildaufnahmeeinheit aufgenommenen Bildern verarbeitet; und eine Anzeigevorrichtung, die die von der Bildverarbeitungseinheit verarbeiteten Bilder anzeigt, wobei die Bildverarbeitungseinheit umfasst: eine Einheit zur Erfassung von sich entsprechenden Punkten, die eine Mehrzahl sich von entsprechenden Punkten erfasst, die Pixelpositionen sind, an denen sich das Bild I(tn) und das Bild I(tn – 1) entsprechen; eine Beobachtungspositionsidentifizierungseinheit, die Koordinaten einer Beobachtungsposition in jedem Bild identifiziert; und eine Koordinatenumwandlungsverarbeitungseinheit, die die in dem Bild I(tn – 1) identifizierten Koordinaten der Beobachtungsposition unter Verwendung der Mehrzahl von sich entsprechenden Punkten in Koordinaten in einem Koordinatensystem des Bildes I(tn) umwandelt, wenn die Beobachtungspositionsidentifizierungseinheit die Koordinaten der Beobachtungsposition in dem Bild I(tn) nicht identifizieren kann, wobei die Anzeigevorrichtung zusammen mit dem von der Bildverarbeitungseinheit verarbeiteten Bild I(tn) Information über die Koordinaten der Beobachtungsposition in dem Koordinatensystem des Bildes I(tn) anzeigt, das von der Koordinatenumwandlungsverarbeitungseinheit umgewandelt wird.
-
Gemäß diesem Aspekt erfasst die Einheit zur Erfassung von sich entsprechenden Punkten eine Mehrzahl von sich entsprechenden Punkten, die Pixelpositionen sind, an denen sich das Bild I(tn) und das Bild I(tn – 1) entsprechen, in der Mehrzahl von von der Bildaufnahmeeinheit aufgenommenen Bildern und identifiziert die Beobachtungspositionsidentifizierungseinheit die Koordinaten der Beobachtungsposition in jedem Bild. Diese Verarbeitung wird sequenziell wiederholt und wenn die Koordinaten der Beobachtungsposition in dem Bild I(tn) nicht identifiziert werden können, wandelt die Koordinatenumwandlungsverarbeitungseinheit die in dem Bild I(tn – 1) identifizierten Koordinaten der Beobachtungsposition unter Verwendung der Mehrzahl von sich entsprechenden Punkten zwischen dem Bild I(tn) und dem Bild I(tn – 1) in Koordinaten in dem Koordinatensystem des Bildes I(tn) um.
-
Wenn die Koordinaten der Beobachtungsposition in dem Bild I(tn) nicht identifiziert werden können, wird davon ausgegangen, dass die Beobachtungsposition nicht in dem Bild I(tn) enthalten ist, d. h. die Beobachtungsposition fehlt. In diesem Fall ist es durch Umwandeln der in dem Bild I(tn – 1) identifizierten Koordinaten der Beobachtungsposition in Koordinaten in dem Koordinatensystem des Bildes I(tn) unter Verwendung der Mehrzahl von sich entsprechenden Punkten zwischen dem Bild I(tn) und dem Bild I(tn – 1) möglich, die Positionsbeziehung zwischen dem Bild I(tn) und dem Bild I(tn – 1) zu schätzen.
-
Folglich ist es möglich, die Richtung zu berechnen und zu schätzen, in der sich die Koordinaten der Beobachtungsposition aus Perspektive des Bildes I(tn) befinden. Durch Angabe, zusammen mit dem Bild I(tn), in dem die Koordinaten der Beobachtungsposition nicht identifiziert werden können, der geschätzten Richtung als die Information über die Koordinaten der Beobachtungsposition in dem Koordinatensystem des Bildes I(tn), ist es, selbst wenn die Beobachtungsposition nicht in dem Bild I(tn) enthalten ist, möglich, einem Nutzer die Richtung zu zeigen, in der sich die Beobachtungsposition aus Perspektive des Bildes I(tn) befindet. Somit kann der Nutzer den Beobachtungsbereich oder die Einführrichtung schnell finden und somit die Zeit für den Neubeginn der ursprünglichen Aufgabe reduzieren, selbst wenn der Nutzer das Beobachtungsziel verpasst oder die Einführrichtung verliert.
-
Es ist anzumerken, dass es durch Bereitstellen der Richtungsschätzungseinheit, die die Richtung der Koordinaten der Beobachtungsposition, die von der Koordinatenumwandlungsverarbeitungseinheit umgewandelt wurden, bezüglich der Bildmitte berechnet, möglich ist, mit der Richtungsschätzungseinheit die Richtung der umgewandelten Koordinaten der Beobachtungsposition bezüglich der Bildmitte zu berechnen und die Richtung zu berechnen und zu schätzen, in der sich die Koordinaten der Beobachtungsposition aus Perspektive des Bildes I(tn) befinden.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Endoskopvorrichtung, die umfasst: eine Bildaufnahmeeinheit, die nacheinander eine Mehrzahl von Bildern I(t1) bis I(tn) eines Beobachtungsziels zu Zeiten t1 bis tn (n ist eine ganze Zahl) mit Zeitintervallen aufnimmt; eine Bildverarbeitungseinheit, die die Mehrzahl von von der Bildaufnahmeeinheit aufgenommenen Bildern verarbeitet; und eine Anzeigevorrichtung, die die von der Bildverarbeitungseinheit verarbeiteten Bilder anzeigt, wobei die Bildverarbeitungseinheit umfasst: eine Einheit zur Erfassung von sich entsprechenden Punkten, die eine Mehrzahl von sich entsprechenden Punkten erfasst, die Pixelpositionen sind, an denen sich das Bild I(tn) und das Bild I(tn – 1) entsprechen; eine Beobachtungspositionsidentifizierungseinheit, die einen Trennungsabstand zwischen dem Bild I(tn) und dem Bild I(tn – 1) auf Grundlage der Mehrzahl von sich entsprechenden Punkten berechnet und die in dem Bild I(tn – 1) enthaltene Koordinaten als Koordinaten einer Beobachtungsposition identifiziert, wenn der Trennungsabstand größer ist als ein vorbestimmter Schwellenwert; und eine Koordinatenumwandlungsverarbeitungseinheit, die die in dem Bild I(tn – 1) identifizierten Koordinaten der Beobachtungsposition unter Verwendung der Mehrzahl von sich entsprechenden Punkten in Koordinaten in einem Koordinatensystem des Bildes I(tn) umwandelt, wobei die Anzeigevorrichtung, zusammen mit dem von der Bildverarbeitungseinheit verarbeiteten Bild I(tn), Information über die Koordinaten der Beobachtungsposition in dem Koordinatensystem des Bildes I(tn) anzeigt, das von der Koordinatenumwandlungsverarbeitungseinheit umgewandelt wird.
-
Gemäß diesem Aspekt erfasst die Einheit zur Erfassung von sich entsprechenden Punkten in der Mehrzahl der von der Bildaufnahmeeinheit aufgenommenen Bildern eine Mehrzahl von sich entsprechenden Punkten, die Pixelpositionen sind, an denen sich das Bild I(tn) und das Bild I(tn – 1) entsprechen, und wird der Trennungsabstand zwischen dem Bild I(tn) und dem Bild I(tn – 1) auf Grundlage der Mehrzahl von sich entsprechenden Punkten berechnet. Diese Verarbeitung wird sequenziell wiederholt und wenn der Trennungsabstand größer als ein vorbestimmter Schwellenwert ist, identifiziert die Beobachtungspositionsidentifizierungseinheit in dem Bild I(tn – 1) enthaltene Koordinaten (zum Beispiel die Mittelpunktkoordinaten) als die Koordinaten der Beobachtungsposition. Wenn der Trennungsabstand zwischen dem Bild I(tn) und dem Bild I(tn – 1) größer ist als der vorbestimmte Schwellenwert, wird davon ausgegangen, dass eine große Bewegung zwischen Zeiten tn und tn – 1 stattgefunden hat und dass die Bildaufnahmeeinheit die Beobachtungsposition verpasst hat. In diesem Fall identifiziert die Beobachtungspositionsidentifizierungseinheit in dem Bild I(tn – 1) enthaltene Koordinaten als die Koordinaten der Beobachtungsposition und wandelt die Koordinatenumwandlungsverarbeitungseinheit die Koordinaten der Beobachtungsposition Verwendung der Mehrzahl von sich entsprechenden Punkten zwischen dem Bild I(tn) und dem Bild I(tn – 1) in die Koordinaten in dem Koordinatensystem des Bildes I(tn) unter um.
-
Folglich ist es möglich, die Positionsbeziehung zwischen dem Bild I(tn) und dem Bild I(tn – 1) zu schätzen und die Richtung zu berechnen und zu schätzen, in der sich die Koordinaten der Beobachtungsposition aus Perspektive des Bildes I(tn) befinden.
-
Außerdem ist es durch Angabe der geschätzten Richtung zusammen mit dem Bild I(tn), in dem die Koordinaten der Beobachtungsposition nicht identifiziert werden können, selbst wenn die Beobachtungsposition nicht in dem Bild I(tn) enthalten ist, möglich, einem Nutzer die Richtung zu zeigen, in der sich die Beobachtungsposition aus Perspektive des Bildes I(tn) befindet. Somit kann der Nutzer, selbst wenn er das Beobachtungsziel verpasst oder die Einführrichtung verliert, den Beobachtungsbereich oder die Einführrichtung schnell finden und somit die Zeit zum Neubeginn der ursprünglichen Aufgabe reduzieren.
-
In dem vorstehend beschriebenen Aspekt kann die Beobachtungspositionsidentifizierungseinheit als die Koordinaten der Beobachtungsposition Koordinaten, die eine tiefste Position in einem Lumen in dem Beobachtungsziel zeigen, identifizieren.
-
Mit dieser Konfiguration ist es, wenn das Beobachtungsziel beispielsweise der Dickdarm ist und eine Untersuchung oder Behandlung durchgeführt wird, während das Endoskop in das Lumen des Dickdarms eingeführt wird, selbst wenn die Vorwärtsbewegungsrichtung verloren geht, möglich, die Fortbewegungsrichtung anzugeben. Somit kann der Nutzer den Beobachtungsbereich oder die Einführrichtung schnell finden und die ursprüngliche Aufgabe neu beginnen.
-
In dem vorstehend beschriebenen Aspekt kann die Beobachtungspositionsidentifizierungseinheit als die Koordinaten der Beobachtungsposition Koordinaten, die eine Position eines betroffenen Teils in dem Beobachtungsziel zeigen, identifizieren.
-
Mit dieser Konfiguration ist es, wenn beispielsweise der betroffene Teil fehlt, während der betroffene Teil behandelt wird, möglich, die Richtung des betroffenen Teils anzugeben, und kann der Nutzer den zu behandelnden Bereich schnell finden und die ursprüngliche Aufgabe neu beginnen.
-
[Vorteilhafte Wirkungen der Erfindung]
-
Die vorliegende Erfindung schafft einen Vorteil darin, dass es, selbst wenn das Beobachtungsziel fehlt oder die Einführrichtung verloren geht, möglich ist, den Beobachtungsbereich oder die Einführrichtung schnell zu finden und die Zeit zum Neubeginn der ursprünglichen Aufgabe zu reduzieren, wodurch die Benutzerfreundlichkeit verbessert wird.
-
[Kurze Beschreibung der Zeichnungen]
-
1 ist ein Blockdiagramm, das schematisch die Konfiguration einer Endoskopvorrichtung gemäß einer ersten Ausführung der vorliegenden Erfindung zeigt.
-
2 ist ein schematisches Diagramm, das ein von der Endoskopvorrichtung in 1 aufgenommenes Beispielbild zeigt.
-
3 ist ein erläuterndes Diagramm, das von der Endoskopvorrichtung in 1 aufgenommene Beispielbilder zeigt.
-
4 ist ein erläuterndes Diagramm, das von der Endoskopvorrichtung in 1 aufgenommene Beispielbilder zeigt.
-
5 ist ein erläuterndes Diagramm, das von der Endoskopvorrichtung in 1 aufgenommene Beispielbilder zeigt.
-
6 ist ein erläuterndes Diagramm, das von der Endoskopvorrichtung in 1 aufgenommene Beispielbilder zeigt.
-
7 ist ein erläuterndes Diagramm, das von der Endoskopvorrichtung in 1 aufgenommene Beispielbilder zeigt.
-
8 ist ein erläuterndes Diagramm, das die durch Koordinatenumwandlung in der Endoskopvorrichtung in 1 erhaltene Beobachtungspositionsrichtung zeigt.
-
9 ist ein Diagramm, das die Bestimmung der Richtung eines auf einem Führungsbild gezeigten Pfeils erläutert, wenn die Richtung der Beobachtungsposition identifiziert wird und das in der Endoskopvorrichtung in 1 erzeugte Führungsbild erzeugt wird.
-
10 ist ein erläuterndes Diagramm, das ein auf einer in der Endoskopvorrichtung in 1 Anzeigevorrichtung angezeigtes Beispielbild zeigt.
-
11 ist ein Ablaufdiagramm im Zusammenhang mit einem Betrieb der Endoskopvorrichtung in 1.
-
12 ist ein Blockdiagramm, das schematisch die Konfiguration einer Endoskopvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
-
13 ist ein schematisches Diagramm, das ein von der Endoskopvorrichtung in 12 aufgenommenes Beispielbild zeigt.
-
14 ist ein schematisches Diagramm, das von der Endoskopvorrichtung in 12 aufgenommene Beispielbilder zeigt.
-
[Beschreibung von Ausführungsformen]
-
[Erste Ausführung]
-
Eine Endoskopvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung wird nachstehend mit Bezugnahme auf die Zeichnungen beschrieben. Es ist anzumerken, dass in dieser Ausführungsform ein beispielhafter Fall beschrieben wird, in dem das Beobachtungsziel der Dickdarm ist und ein Endoskopabschnitt der Endoskopvorrichtung in den Dickdarm eingeführt wird.
-
Wie in 1 gezeigt, umfasst eine Endoskopvorrichtung gemäß dieser Ausführungsform: einen biegbaren Endoskopabschnitt 2, der lang und dünn konfiguriert ist und der in ein Subjekt eingeführt wird, um Bilder eines Beobachtungsziels aufzunehmen; eine Bildverarbeitungseinheit 3, die eine vorbestimmte Verarbeitung auf den von dem Endoskopabschnitt 2 aufgenommenen Bildern ausführt; und eine Anzeigevorrichtung 4, die die von der Bildverarbeitungseinheit 3 verarbeiteten Bilder anzeigt.
-
Der Endoskopabschnitt 2 hat an einem distalen Endteil davon eine CCD, die als eine Bildaufnahmeeinheit dient, und eine auf der Bildaufnahmeoberflächenseite der CCD angeordnete Objektivlinse. Der Endoskopabschnitt 2 nimmt Bild I(t1) bis Bild I(tn) zu Zeiten t1 bis tn durch Biegen des distalen Endteils in eine erwünschte Richtung auf.
-
Es wird angenommen, dass, wenn beispielsweise der Endoskopabschnitt 2 ein Bild des Dickdarms aufnimmt, ein Bild eines Bereiches, der einen tiefen Teil des Lumens des Dickdarms enthält, zur Zeit t = t0 aufgenommen wird, wie in 2 gezeigt. Außerdem wird angenommen, dass eine Mehrzahl von Bildern bei einer bestimmten Bildfrequenz im Verlauf von Zeit aufgenommen wird und ein in dem unteren linken Einzelbild in 2 gezeigtes Bild zu einer Zeit t = tn aufgenommen wird. Wie beispielsweise in 3 und 4 gezeigt, werden zwischen t = 0 und t = n Bilder I(t1), I(t2), I(t3), I(t4) ··· I(tn) zu Zeiten t = t1, t2, t3, t4 ··· tn aufgenommen. In den Bildern I(t0) und I(t1) ist es leicht, die Tiefenposition des Lumens in dem Bild zu bestimmen. Jedoch ist es in dem Bild I(tn) schwierig, die Tiefenposition des Lumens in dem Bild zu bestimmen.
-
Die Bildverarbeitungseinheit 3 umfasst eine Beobachtungspositionsidentifizierungseinheit 10, eine Einheit zur Erfassung von sich entsprechenden Punkten 11, eine Beobachtungsrichtungsschätzungseinheit 12 (Koordinatenumwandlungsverarbeitungseinheit, Richtungsschätzungseinheit), eine Führungsbilderzeugungseinheit 13 und eine Bildkombinationseinheit 14.
-
Die Beobachtungspositionsidentifizierungseinheit 10 identifiziert die Koordinaten der Beobachtungsposition in den von dem Endoskopabschnitt 2 aufgenommenen Bildern des Beobachtungsziels. Im Speziellen identifiziert die Beobachtungspositionsidentifizierungseinheit 10 in den von dem Endoskopabschnitt 2 zu Zeiten t1 bis tn aufgenommenen Bildern die Koordinaten (xg, yg) der Beobachtungsposition in jedem Bild, wie in 5 gezeigt.
-
Das Beobachtungsziel ist in dieser Ausführungsform der Dickdarm und eine Untersuchung oder Behandlung wird durch Einführung des Endoskopabschnitts 2 in den Dickdarm ausgeführt. Dementsprechend befinden sich hierin die von der Beobachtungspositionsidentifizierungseinheit 10 zu identifizierenden Koordinaten der Beobachtungsposition an dem tiefsten Teil in die Richtung, in die sich der Endoskopabschnitt 2 vorwärtsbewegt, d. h. dem tiefsten Teil des Lumens. Die Koordinaten des tiefsten Teils des Lumens können beispielsweise auf Grundlage einer Berechnung der Helligkeit erfasst werden. Insbesondere wird das Innere des Bildes in vorbestimmte lokale Bereiche unterteilt und wird die gemittelte Helligkeit für jeden lokalen Bereich berechnet. Wenn das Verhältnis der gemittelten Helligkeit eines lokalen Bereichs zu der gemittelten Helligkeit des Gesamtbildes kleiner oder gleich einem vorbestimmten Wert ist, werden die Mittelpunktkoordinaten dieses lokalen Bereiches als die Koordinaten der tiefsten Position des Lumens, d. h. die Koordinaten (xg, yg) der Beobachtungsposition, wie beispielsweise links in 5 gezeigt, identifiziert. Wenn Koordinaten in mehr als einem lokalen Bereich erlangt werden, werden die Mittelpunktkoordinaten des lokalen Bereiches, dessen Verhältnis der gemittelten Helligkeit zu der gemittelten Helligkeit des Gesamtbildes am niedrigsten ist, als die Koordinaten (xg, yg) der Beobachtungsposition identifiziert.
-
Wie in der rechten Zeichnung in 5 gezeigt, ist es, wenn der Endoskopabschnitt 2 die innere Wand des Darms aufnimmt und ein Bild der Wandoberfläche erlangt wird, schwierig, den tiefsten Teil des Lumens zu erfassen. In diesem Fall kann der lokale Bereich, dessen Verhältnis der gemittelten Helligkeit gleich oder kleiner einem vorbestimmten Wert ist, nicht erlangt werden. Somit können die Koordinaten der Beobachtungsposition nicht identifiziert werden und werden Koordinaten (–1, –1) vorübergehend eingestellt.
-
Die Bilder I(t1) bis I(t) zu den entsprechenden Zeiten und die identifizierten Koordinaten der Beobachtungsposition werden zugeordnet und an die Einheit zur Erfassung von sich entsprechenden Punkten 11 ausgegeben.
-
Die Einheit zur Erfassung von sich entsprechenden Punkten 11 erfasst eine Mehrzahl von sich entsprechenden Punkten, die Pixelpositionen sind, an denen sich das Bild I(tn) und das Bild I(tn – 1) entsprechen. Insbesondere erfasst auf Eingabe des zur Zeit t = tn aufgenommenen Bildes I(tn) und der Koordinaten (xg, yg) der Beobachtungsposition in dem Bild I(tn) die Einheit zur Erfassung von sich entsprechenden Punkten 11 entsprechende Punkte zwischen dem vorübergehend gespeicherten zur Zeit t = tn – 1 aufgenommenen Bild I(tn – 1) und dem eingegebenen Bild I(tn).
-
Hierin werden beispielsweise, wie in 6 gezeigt, in jedem des Bildes I(tn) und des Bildes I(tn – 1) ein Paar Koordinaten, die der gleichen Position an dem Beobachtungsziel entsprechen, unter Verwendung der Bildeigenschaften als sich entsprechende Punkte berechnet, die durch die Struktur von Blutgefäßen und die Struktur von in dem Bild enthaltenen Falten als Hinweise erzeugt werden. Vorzugsweise werden mindestens drei entsprechende Punkte berechnet. Es ist anzumerken, dass 7 die Beziehung zwischen den in einer Mehrzahl von Bildern erfassten sich entsprechenden Punkten zeigt.
-
Es ist anzumerken, dass es, wenn Bildeigenschaften, wie beispielsweise die Blutgefäße oder Falten, aufgrund von verschwommenen Bildern oder dergleichen nicht identifiziert werden können, unmöglich ist, die sich entsprechenden Punkte zu erfassen. In diesem Fall werden, wenn beispielsweise sich entsprechende Punkte zu einer Zeit tn nicht eingestellt werden können, die vorübergehend gespeicherten sich entsprechenden Punkte zur Zeit tn – 1 als die sich entsprechenden Punkte zur Zeit tn eingestellt. Diese Verarbeitung ermöglicht eine Einstellung von sich entsprechenden Punkten auf Grundlage einer Annahme, dass eine Bewegung ähnlich derjenigen zur Zeit tn – 1 stattfindet, selbst wenn die sich entsprechenden Punkte nicht eingestellt werden können.
-
Die Einheit zur Erfassung von sich entsprechenden Punkten 11 speichert das Bild I(tn)n und die eingestellten sich entsprechende Punkte und gibt diese an die Beobachtungsrichtungsschätzungseinheit 12 aus.
-
Wenn die Beobachtungspositionsidentifizierungseinheit 10 die Koordinaten der Beobachtungsposition in dem Bild I(tn) nicht identifizieren kann, wandelt die Beobachtungsrichtungsschätzungseinheit 12 die in dem Bild I(tn – 1) identifizierten Koordinaten der Beobachtungsposition unter Verwendung der Mehrzahl von sich entsprechenden Punkten in Koordinaten in dem Koordinatensystem des Bildes I(tn) um. Insbesondere werden die Koordinaten (xg, yg) der Beobachtungsposition in dem Bild I(tn) und die sich entsprechenden Punkte von der Beobachtungspositionsidentifizierungseinheit 10 über die Einheit zur Erfassung von sich entsprechenden Punkten 11 in die Beobachtungsrichtungsschätzungseinheit 12 eingegeben.
-
Wenn die Koordinaten (–1, –1) der Beobachtungsposition in dem Bild I(tn) von der Beobachtungspositionsidentifizierungseinheit
10 eingegeben werden, wird angenommen, dass die Koordinaten der Beobachtungsposition nicht identifiziert werden konnten, und werden die in dem vorübergehend gespeicherten Bild I(tn – 1) identifizierten Koordinaten der Beobachtungsposition in Koordinaten (xg', xy') in dem Koordinatensystem des Bildes I(tn) umgewandelt. Es ist anzumerken, dass, wenn die Beobachtungsposition identifiziert ist, die Koordinaten der Beobachtungsposition ohne diese Umwandlungsverarbeitung gespeichert werden.
-
Wie durch Ausdruck (1) vorstehend gezeigt, werden die Koordinaten (x0, y0) in dem Bild vor der Umwandlung in die Koordinaten (x1, y1) umgewandelt. Außerdem wird mij (i = 1 bis 2, j = 1 bis 3) unter Verwendung von drei oder mehr sich entsprechenden Punkten durch Anwendung der Methode der kleinsten Quadrate oder dergleichen berechnet.
-
Mit der so erlangten Matrix werden die in dem Bild I(tn – 1) identifizierten Koordinaten (xg, yg) der Beobachtungsposition in die Koordinaten (xg', yg') in dem Koordinatensystem des Bildes I(tn) umgewandelt und werden die umgewandelten Koordinaten (xg', yg') gespeichert.
-
Außerdem berechnet die Beobachtungsrichtungsschätzungseinheit 12 die Richtung der umgewandelten Koordinaten der Beobachtungsposition bezüglich der Bildmitte. Genauer werden, wie in 8 gezeigt, die Koordinaten (xg', yg') in Koordinaten in dem polaren Koordinatensystem umgewandelt, in dem die Mittelposition des Bildes als die Mittelpunktkoordinaten beobachtet werden, wird die Lumenrichtung θ aus Perspektive der Bildmitte berechnet und wird θ an die Führungsbilderzeugungseinheit 13 ausgegeben.
-
Die Führungsbilderzeugungseinheit 13 erzeugt ein Führungsbild, in dem die durch θ angegebene Richtung beispielsweise als ein Pfeil in dem Bild gezeigt ist, auf Grundlage des von der Beobachtungsrichtungsschätzungseinheit 12 ausgegebenen Wertes θ. Die Führungsbilderzeugungseinheit 13 kann die Richtung des anzugebenden Pfeils auf dem Führungsbild auf Grundlage von beispielsweise dem Bereich aus Bereichen (1) bis (8), zu denen θ gehört, in einem in gleiche Bereiche (1) bis (8) unterteilten Kreis bestimmen, wie in 9 gezeigt. Die Führungsbilderzeugungseinheit 13 gibt das erzeugte Führungsbild an die Bildkombinationseinheit 14 aus.
-
Die Bildkombinationseinheit 14 kombiniert das von der Führungsbilderzeugungseinheit 13 eingegebene Führungsbild und das von dem Endoskopabschnitt 2 eingegebene Bild I(tn) derart, dass sie einander überlappen, und gibt das Bild an die Anzeigevorrichtung 4 aus.
-
Wie beispielsweise in 10 gezeigt, ist ein Pfeil, der die Richtung des Lumens angibt, auf der Anzeigevorrichtung 4 zusammen mit dem Bild des Beobachtungsziels angezeigt.
-
Ein Verarbeitungsablauf, wenn die Richtung der Beobachtungsposition in der so konfigurierten Endoskopvorrichtung angegeben wird, ist nachstehend gemäß dem Ablaufdiagramm in 11 beschrieben.
-
In Schritt S11 nimmt der Endoskopabschnitt 2 das Bild I(tn) zur Zeit tn auf und der Prozess fährt mit Schritt S12 fort.
-
In Schritt S12 werden die Koordinaten (xg, yg) der Beobachtungsposition in dem Bild des Beobachtungsziels identifiziert, das in Schritt S11 von dem Endoskopabschnitt 2 aufgenommen wird.
-
Wie vorstehend beschrieben, ist das Beobachtungsziel in dieser Ausführungsform der Dickdarm und sind die von der Beobachtungspositionsidentifizierungseinheit 10 zu identifizierenden Koordinaten der Beobachtungsposition hier an der tiefsten Position in dem Lumen. Somit ist das Bild in vorbestimmte lokale Bereiche unterteilt und wird die gemittelte Helligkeit für jeden lokalen Bereich berechnet. Wenn das Verhältnis der gemittelten Helligkeit eines lokalen Bereichs zu der gemittelten Helligkeit des Gesamtbildes kleiner oder gleich einem vorbestimmten Wert ist, werden die Mittelpunktkoordinaten dieses lokalen Bereichs als die Koordinaten der tiefsten Position in dem Lumen identifiziert, das heißt, die Mittelpunktkoordinaten der durch eine gestrichelte Linie gekennzeichneten Kreisfläche in der linken Zeichnung in 5 werden beispielsweise als die Koordinaten (xg, yg) der Beobachtungsposition identifiziert.
-
Wenn die Koordinaten der Beobachtungsposition in mehr als einem lokalen Bereich erlangt werden, werden die Mittelpunktkoordinaten des lokalen Bereiches, dessen Verhältnis der gemittelten Helligkeit zu der gemittelten Helligkeit des Gesamtbildes am niedrigsten ist, als die Koordinaten (xg, yg) der Beobachtungsposition identifiziert. Das Bild I(tn) und die identifizierten Koordinaten der Beobachtungsposition werden zugeordnet und an die Einheit zur Erfassung von sich entsprechenden Punkten 11 ausgegeben.
-
Wenn bestimmt wird, dass die Beobachtungsposition nicht identifiziert werden kann, d. h. wie in der Zeichnung in 5 gezeigt, wenn der Endoskopabschnitt 2 die innere Wand des Dickdarms aufnimmt und das erlangte Bild ein Bild der Wandoberfläche ist, ist die Erfassung des tiefsten Teils des Lumens in Schritt S12 schwierig. In diesem Fall kann der lokale Bereich, dessen Verhältnis der gemittelten Helligkeit gleich oder kleiner einem vorbestimmten Wert ist, nicht erlangt werden. Somit können die Koordinaten der Beobachtungsposition nicht identifiziert werden und werden vorübergehend Koordinaten (–1, –1) eingestellt.
-
In Schritt S13 erfasst die Einheit zur Erfassung von sich entsprechenden Punkten 11 eine Mehrzahl von sich entsprechenden Punkten, die Pixelpositionen sind, an denen sich das Bild I(tn) und das Bild I(tn – 1) entsprechen. Insbesondere erfasst die Einheit zur Erfassung von sich entsprechenden Punkten 11 auf Eingabe des zur Zeit t = tn aufgenommenen Bildes I(tn) und der Koordinaten (xg, yg) der Beobachtungsposition in dem Bild I(tn) hin sich entsprechende Punkte zwischen dem vorübergehend gespeicherten zur Zeit t = tn – 1 aufgenommenen Bild I(tn – 1) und dem eigegebenen Bild I(tn) und speichert das Bild I(tn) und die Erfassungsergebnisse.
-
In Schritt S14 wird bestimmt, ob die Beobachtungsposition in Schritt S12 identifiziert werden kann. Wenn die Beobachtungsposition identifiziert werden kann, fährt der Prozess mit Schritt S15b fort und wird die Beobachtungsposition gespeichert.
-
Wenn die Beobachtungsposition nicht identifiziert werden kann, fährt der Prozess mit Schritt S15a fort und werden die Koordinaten (xg, yg) der Beobachtungsposition in dem vorübergehend gespeicherten Bild I(tn – 1) in die Koordinaten (xg', yg') in dem Koordinatensystem des Bildes I(tn) umgewandelt.
-
Außerdem werden in Schritt S16 die Koordinaten (xg', yg') in Koordinaten in dem polaren Koordinatensystem umgewandelt, in dem die Mittelposition des Bildes als die Mittelpunktkoordinaten beobachtet wird, wird die Lumenrichtung θ aus Perspektive der Bildmitte berechnet und wird ein Führungsbild, in dem die durch θ angegebene Richtung beispielsweise als ein Pfeil auf dem Bild angegeben wird, erzeugt. In Schritt S17 werden das von dem Endoskopabschnitt 2 eingegebene Bild I(tn) und das Führungsbild so kombiniert, dass sie einander überlappen, und werden an die Anzeigevorrichtung 4 ausgegeben. Auf der Anzeigevorrichtung 4 ist beispielsweise, wie in 10 gezeigt, der Pfeil, der die Richtung des Lumens angibt, zusammen mit dem Bild des Beobachtungsziels angegeben.
-
Wie vorstehend beschrieben, ist es in dieser Ausführungsform, selbst wenn der Endoskopabschnitt 2 das Beobachtungsziel verpasst oder die Einführrichtung verliert, möglich, den Beobachtungsbereich oder die Einführrichtung schnell zu finden und somit die Zeit für den Neubeginn der ursprünglichen Aufgaben zu reduzieren und die Benutzerfreundlichkeit zu verbessern.
-
Obgleich diese Ausführungsform derart konfiguriert ist, dass ein Führungsbild erzeugt wird, in dem die Lumenrichtung θ aus Perspektive der Bildmitte aus den Koordinaten (xg', yg') der Beobachtungsposition berechnet wird und als ein Pfeil in dem Bild angegeben wird, und das Bild I(tn) und das Führungsbild so kombiniert werden, dass sie einander überlappen, und an die Anzeigevorrichtung 4 ausgegeben werden, kann jegliches Ausgabeverfahren verwendet werden, solange es möglich ist, die Positionsbeziehung zwischen dem Bild I(tn) und den Koordinaten (xg', yg') der Beobachtungsposition zu zeigen. Beispielsweise kann das Bild I(tn) in kleiner Größe angezeigt werden und können das kleine Bild I(tn) und eine Markierung, die die Position der Koordinaten (xg', yg') der Beobachtungsposition angibt, kombiniert und angezeigt werden. Außerdem ist es in einem anderen Beispiel möglich, den Abstand r von der Bildmitte von den Koordinaten (xg', yg') zu berechnen, um einen Pfeil mit einer Länge, die proportional zu r ist, als das Führungsbild zu erzeugen und das Führungsbild mit dem anzuzeigenden Bild I(tn) zu kombinieren.
-
(Zweite Ausführungsform)
-
Eine Endoskopvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung ist nachstehend mit Bezugnahme auf die Zeichnungen beschrieben. In der Endoskopvorrichtung gemäß dieser in 12 gezeigten Ausführungsform sind die gleichen Komponenten wie die in der vorstehend beschriebenen ersten Ausführungsform mit den gleichen Bezugszeichen bezeichnet und Beschreibungen davon werden weggelassen.
-
Wie in 13 und 14 gezeigt, nimmt in der Bildverarbeitungseinheit 5 der Endoskopvorrichtung gemäß dieser Ausführungsform, wenn das Beobachtungsziel der Dickdarm ist, der Endoskopabschnitt 2 im Verlauf von Zeit eine Mehrzahl von Bildern bei einer bestimmten Bildfrequenz auf und werden Bilder I(t0), I(t1), I(t2), I(t3), I(t4) ··· I(tn) zu Zeiten t = t0, t1, t2, t3, t4 ··· tn aufgenommen.
-
Obgleich die zu Zeiten t0, t1 und t2 aufgenommenen Bilder aufgenommen werden, während die Bewegung des Endoskopabschnitts 2 relativ gering ist, gibt es eine große Bewegung zwischen zu Zeiten t2 und tn aufgenommenen Bildern. Mit anderen Worten gibt es wenige sich entsprechende Punkte zwischen dem Bild I(t2) und dem Bild I(tn). In diesem Fall wird davon ausgegangen, dass eine unbeabsichtigte abrupte Änderung stattfindet, die die Bestimmung der tiefen Position des Lumen schwierig macht.
-
Um diesem Problem zu begegnen, wird ein Führungsbild unter der Annahme erzeugt, dass die Mittelpunktkoordinaten des Bildes I(tn – 1), das direkt vor Auftreten der großen Bewegung aufgenommen wird, die Koordinaten (xg, yg) der Beobachtungsposition sind.
-
Insbesondere umfasst die Bildverarbeitungseinheit 5 die Einheit zur Erfassung von sich entsprechenden Punkten 11, die Beobachtungsrichtungsschätzungseinheit 12 (Koordinatenumwandlungsverarbeitungseinheit, Richtungsschätzungseinheit), die Führungsbilderzeugungseinheit 13 und die Bildkombinationseinheit 14.
-
Die Einheit zur Erfassung von sich entsprechenden Punkten 11 erfasst eine Mehrzahl von sich entsprechenden Punkten, die Pixelpositionen sind, an denen sich das Bild I(tn) und das Bild I(tn – 1) entsprechen. Insbesondere erfasst auf Eingabe des zur Zeit t = tn aufgenommenen Bildes I(tn) die Einheit zur Erfassung von sich entsprechenden Punkten 11 sich entsprechende Punkte zwischen dem vorübergehend gespeicherten zur Zeit t = tn – 1 aufgenommenen Bild I(tn – 1) und dem eingegebenen Bild I(tn).
-
Außerdem wird der Trennungsabstand zwischen dem Bild I(tn) und dem Bild I(tn – 1) auf Grundlage der Mehrzahl von sich entsprechenden Punkten berechnet und wenn der Trennungsabstand größer als ein vorbestimmter Schwellenwert ist, werden die Mittelpunktkoordinaten des Bildes I(tn – 1) als die Koordinaten (xg, yg) der Beobachtungsposition identifiziert. Die identifizierten Koordinaten (xg, yg) der Beobachtungsposition werden zusammen mit den erfassten sich entsprechenden Punkten an die Beobachtungsrichtungsschätzungseinheit 12 ausgegeben. Die Einheit zur Erfassung von sich entsprechenden Punkten 11 speichert das Bild I(tn) und die sich entsprechenden Punkte in der Einheit zur Erfassung von sich entsprechenden Punkten 11.
-
Die Beobachtungsrichtungsschätzungseinheit 12 wandelt unter Verwendung der Mehrzahl von sich entsprechenden Punkten die in dem Bild I(tn – 1) identifizierten Koordinaten der Beobachtungsposition in Koordinaten in dem Koordinatensystem des Bildes I(tn) um und berechnet die Richtung der umgewandelten Koordinaten der Beobachtungsposition bezüglich der Bildmitte. Da die von der Beobachtungsrichtungsschätzungseinheit 12 ausgeführte Verarbeitung die gleiche wie die in der ersten Ausführungsform ist, wird eine ausführliche Beschreibung davon hier weggelassen.
-
Mit der so konfigurierten Endoskopvorrichtung kann, wenn aus dem aufgenommenen Bild bestimmt wird, dass eine abrupte Änderung aufgetreten ist, bestimmt werden, dass die Beobachtungsposition aufgrund einer unbeabsichtigten abrupten Änderung fehlt. Da es möglich ist, die Richtung der Beobachtungsposition aus dem Bild zu schätzen, bevor bestimmt wird, dass die Beobachtungsposition fehlt, ist es möglich, den Beobachtungsbereich oder die Einführrichtung schnell zu finden und somit die Zeit für den Neubeginn der ursprünglichen Aufgabe zu reduzieren und die Benutzerfreundlichkeit zu verbessern.
-
Obgleich diese Ausführungsform so konfiguriert ist, dass unter der Annahme, dass die Mittelpunktkoordinaten des Bildes I(tn – 1) direkt vor einer großen Bewegung die Koordinaten (xg, yg) der Beobachtungsposition sind, ein Führungsbild für die Koordinaten (xg, yg), die als die Beobachtungsposition angenommen werden, erzeugt wird, kann jegliche Position, deren Koordinaten in dem Bild I(tn – 1) enthalten sind, als die Koordinaten (xg, yg) verwendet werden. Beispielsweise kann in Positionen in dem Bild I(tn – 1) eine Position am nächsten an dem Bild I(tn) als die Koordinaten (xg, yg) verwendet werden.
-
(Modifikation)
-
In den vorstehend beschriebenen Ausführungsformen ist, obgleich die Beschreibung auf Grundlage einer Annahme gemacht wurde, dass das Beobachtungsziel der Dickdarm ist, das Beobachtungsziel nicht auf den Dickdarm beschränkt und kann beispielsweise ein betroffenes Teil eines Organs sein. In diesem Fall kann die Verarbeitung beispielsweise durch Erfassen eines interessierenden Bereiches, der einen betroffenen Bereich umfasst, in dem sich jegliche Eigenschaft von der von peripheren Teilen unterscheidet, aus dem von dem Endoskopabschnitt 2 aufgenommenen Bild und durch Identifizieren des Mittelpixels dieses interessierenden Bereiches als die Koordinaten der Beobachtungsposition fortgesetzt werden.
-
Außerdem sind die Beobachtungsziele nicht auf die im medizinischen Bereich beschränkt und kann die vorliegende Erfindung auch auf Beobachtungsziele im industriellen Bereich angewendet werden. Wenn beispielsweise ein Endoskop zur Untersuchung eines Risses oder dergleichen in einer Leitung verwendet wird, kann durch Einstellen des Risses in der Leitung als das Beobachtungsziel die gleiche Verarbeitung wie vorstehend beschrieben verwendet werden.
-
Als ein beispielhaftes Verfahren zum Erfassen eines interessierenden Bereiches, wenn ein betroffener Teil als der interessierende Bereich beobachtet wird, kann ein Erfassungsverfahren, in dem der interessierende Bereich gemäß dem Bereich und der Stärke der Farbe (beispielsweise rot) klassifiziert werden, ein Unterschied in der Intensität von dem peripheren Teil verwendet wird. Dann wird die gleiche Verarbeitung wie die in den vorstehend beschriebenen Ausführungsformen ausgeführt, wird ein Führungsbild erzeugt, das die Richtung des interessierenden Bereiches ausgibt, der den betroffenen Teil umfasst, wenn ein Führungsbild erzeugt wird, und wird ein Bild, in dem das Führungsbild dem Beobachtungsbild überlagert wird, auf der Anzeigevorrichtung 4 angezeigt. Dadurch ist es möglich, einem Beobachter einen Beobachtungsbereich und eine Einführrichtung schnell zu zeigen. Dadurch ist es möglich, die Zeit für den Neubeginn der ursprünglichen Aufgabe zu reduzieren und die Benutzerfreundlichkeit somit zu verbessern.
-
Bezugszeichenliste
-
- 2
- Endoskopabschnitt (Bildaufnahmeeinheit)
- 3
- Bildverarbeitungseinheit
- 4
- Anzeigevorrichtung
- 10
- Beobachtungspositionsidentifizierungseinheit
- 11
- Einheit zur Erfassung von sich entsprechenden Punkten
- 12
- Beobachtungsrichtungsschätzungseinheit (Koordinatenumwandlungsverarbeitungseinheit, Richtungsschätzungseinheit)
- 13
- Führungsbilderzeugungseinheit
- 14
- Bildkombinationseinheit
