DE112016001224T5

DE112016001224T5 - Bildverarbeitungsvorrichtung, Verfahren und Programm

Info

Publication number: DE112016001224T5
Application number: DE112016001224.1T
Authority: DE
Inventors: Kenta Yamada
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2015-03-18
Filing date: 2016-02-16
Publication date: 2017-11-30
Also published as: JP2016171946A; US10799100B2; US20170360285A1; WO2016147778A1; JP6356623B2

Abstract

Eine Bildverarbeitungsvorrichtung, ein Verfahren und ein Programm sind vorgesehen, die Schwierigkeiten einer Bedienperson damit, ein Endoskop erneut zu greifen, verringern und die Bedienbarkeit in einem Fall, in dem das Endoskop ein Endoskop ist, in dem ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene möglich ist, verbessern. Ein Parameterwert bezüglich eines Endoskopvorgangs an einer beliebigen Position auf einem Kurs wird aus einem dreidimensionalen Bild, das eine luminale Struktur angibt, berechnet. Insbesondere wird eine Richtung im Uhrzeigersinn oder eine Richtung gegen den Uhrzeigersinn um eine Achse als positiv festgelegt, die andere Richtung wird als negativ festgelegt und ein Drehwinkel des Endoskops aufgrund eines Drehungsvorgangs an einer Position eines Ziels so berechnet, dass eine Summe eines kumulativen Gesamtwinkels von Drehwinkeln des Endoskops aufgrund eines Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt des Endoskops an der Position des Ziels ankommt, nachdem der distale Endabschnitt des Endoskops in eine luminale Struktur eingeführt worden ist, und des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an der Position des Ziels in einen vorbestimmten Winkelbereich fällt.

Description

1. Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung, ein Verfahren und ein Programm, bei denen ein Parameterwert bezüglich eines Endoskopvorgangs zum Vorrücken eines Endoskops entlang eines vorbestimmten Kurses in einer luminalen Struktur aus einem dreidimensionalen Bild, das die luminale Struktur angibt, berechnet wird.
2. Beschreibung des Standes der Technik
In den letzten Jahren hat eine Technologie zum Durchführen einer Beobachtung oder Behandlung einer röhrenförmigen Struktur wie etwa eines Dickdarms oder einer Bronchie eines Patienten unter Verwendung eines Endoskops Aufmerksamkeit erregt. JP 2009-254837 A offenbart eine Technologie zum Unterstützen einer Betätigung eines Endoskops durch eine Bedienperson durch Präsentieren verschiedener Arten von Informationen zum Führen eines distalen Endabschnitts des Endoskops zu einer gewünschten Position in einer luminalen Struktur. Ferner offenbart JP 2009-511155 A eine Technologie zum Berechnen von Aufwärts-, Abwärts-, Rechts- und Links-Biegewinkeln eines distalen Endabschnitts an jeder Position auf einem Kurs bzw. Verlauf zum Vorrücken eines Endoskops entlang eines gewünschten Kurses in einer luminalen Struktur in einem Fall, in dem ein Vorgang des Biegens des distalen Endabschnitts in einer Aufwärts-Abwärts-Richtung und einer Links-Rechts-Richtung in dem Endoskop möglich ist.
Zusammenfassung der Erfindung
Im Übrigen kann in einem Endoskop wie etwa einem Endoskop für eine Bronchie, bei dem ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene möglich ist, das Endoskop nicht nur durch einen Vorgang des Biegens des distalen Endabschnitts in einer gewünschten Richtung vorgerückt werden. In diesem Fall ist es notwendig, die eine Ebene, in der der Vorgang des Biegens des distalen Endabschnitts möglich ist, mit der gewünschten Richtung durch Drehen des Endoskops um eine Achse vor dem Biegevorgang abzugleichen. In diesem Fall wird als Drehrichtung (im Uhrzeigersinn oder gegen den Uhrzeigersinn) des Endoskops üblicherweise eine Drehrichtung gewählt, in der die für einen Drehungsvorgang erforderliche Drehung kleiner ist. Beispielsweise ist es in einem Fall, in dem das Endoskop im Uhrzeigersinn um 50° gedreht wird, kein Problem, das oben beschriebene Endoskop auch in einer Drehung von 130° im Gegenuhrzeigersinn vorzurücken. Jedoch wird normalerweise die Drehung von 50° im Uhrzeigersinn, in der der Drehungsbetrag kleiner ist, gewählt.
Jedoch kann bei diesem Verfahren die Drehung in einer Drehrichtung in mehreren Drehungsvorgängen fortgesetzt werden, und das Endoskop kann sich in der einen Drehrichtung über einen Bewegungsbereich eines Handgelenks hinaus drehen. In diesem Fall besteht ein Problem darin, dass eine Bedienperson das Endoskop erneut greifen muss und die Bedienbarkeit schlecht ist.
Eine Aufgabe der vorliegenden Erfindung besteht darin, eine Bildverarbeitungsvorrichtung, ein Verfahren und ein Programm bereitzustellen, die die Schwierigkeiten einer Bedienperson damit, ein Endoskop erneut zu greifen, verringert und die Bedienbarkeit in einem Fall, in dem das Endoskop ein Endoskop ist, in dem ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene möglich ist, im Hinblick auf die obigen Umstände verbessert.
Eine Bildverarbeitungsvorrichtung der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung, die eine Parameterberechnungseinheit enthält, die einen Parameterwert bezüglich eines Endoskopvorgangs zum Vorrücken eines Endoskops entlang eines vorbestimmten Kurses bzw. Verlaufs innerhalb einer luminalen Struktur aus einem dreidimensionalen Bild berechnet, das die luminale Struktur angibt, wobei ein Vorrück- und Rückzugsvorgang in einer axialen Richtung, ein Drehungsvorgang um eine Achse und ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene, die eine Achse des distalen Endabschnitts enthält, in dem Endoskop möglich sind, und die Parameterberechnungseinheit eine Richtung im Uhrzeigersinn oder eine Richtung gegen den Uhrzeigersinn um die Achse als positiv festlegt, die andere Richtung als negativ festlegt und einen Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als Parameterwert in Bezug auf den Drehungsvorgang berechnet, wobei die Parameterberechnungseinheit den Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an einer Position eines Ziels so berechnet, dass eine Summe eines kumulativen Gesamtwinkels von Drehwinkeln des Endoskops aufgrund eines Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt an der Position des Ziels ankommt, nachdem der distale Endabschnitt in die luminale Struktur eingeführt worden ist, und des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an der Position des Ziels in einen vorbestimmten Winkelbereich fällt.
Hierbei bedeuten die Richtung im Uhrzeigersinn und die Richtung gegen den Uhrzeigersinn um die Achse eine Richtung im Uhrzeigersinn und eine Richtung gegen den Uhrzeigersinn bei Betrachtung von einer Basisendseite eines Endoskops.
In der Bildverarbeitungsvorrichtung der vorliegenden Erfindung beträgt der Winkelbereich von –90° bis +90°.
In der Bildverarbeitungsvorrichtung der vorliegenden Erfindung kann die luminale Struktur ein luminales Organ eines menschlichen Körpers sein, der Winkelbereich kann von –Ta° bis +Tb° sein, wobei Ta und Tb positive Werte sind, wobei Ta und Tb positive Werte von mehr als 90 sind, und beim Berechnen des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als Parameterwert bezüglich des Drehungsvorgangs kann die Parameterberechnungseinheit einen Drehwinkel, bei dem eine Richtung von einer dorsalen Seite zu einer ventralen Seite eines menschlichen Körpers oder eine Richtung von der ventralen Seite zu der dorsalen Seite näher an einer Aufwärtsrichtung eines Bildes, das durch das Endoskop nach dem Drehungsvorgang aufgenommen wird, ist, als einen Parameterwert bezüglich des Drehungsvorgangs in einem Fall, in dem zwei Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position des Ziels vorhanden sind, so berechnen, dass die Summe in den Winkelbereich fällt.
Hier bedeutet die Aufwärtsrichtung des Bildes eine Aufwärtsrichtung (Richtung von unten nach oben) in einer Aufwärts- und Abwärtsrichtung (vertikalen Richtung) des Bildes.
In der Bildverarbeitungsvorrichtung der vorliegenden Erfindung kann die luminale Struktur ein luminales Organ eines menschlichen Körpers sein, der Winkelbereich kann von –Ta° bis +Tb° sein, wobei Ta und Tb positive Werte sind, wobei Ta und Tb positive Werte von mehr als 90 sind, und beim Berechnen des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als Parameterwert bezüglich des Drehungsvorgangs kann die Parameterberechnungseinheit einen Drehwinkel, bei dem eine Richtung von einer Innenseite zu einer Außenseite des menschlichen Körpers näher an einer Aufwärtsrichtung eines Bildes, das durch das Endoskop nach dem Drehungsvorgang aufgenommen wird, ist, als einen Parameterwert bezüglich des Drehungsvorgangs in einem Fall, in dem zwei Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position des Ziels vorhanden sind, so berechnen, dass die Summe in den Winkelbereich fällt.
In der Bildverarbeitungsvorrichtung der vorliegenden Erfindung kann die luminale Struktur ein luminales Organ eines menschlichen Körpers sein, der Winkelbereich kann von –Ta° bis +Tb° sein, wobei Ta und Tb positive Werte sind, wobei Ta und Tb positive Werte von mehr als 90 sind, und beim Berechnen des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als Parameterwert bezüglich des Drehungsvorgangs kann die Parameterberechnungseinheit einen Drehwinkel, bei dem eine Summe von Absolutwerten der Drehwinkel an Positionen, an denen jeweilige Drehungsvorgänge durchgeführt werden, von der Position eines Ziels bis zu Positionen, an denen eine oder mehrere vorhergehende Drehungsvorgänge durchgeführt werden, kleiner ist, als einen Parameterwert bezüglich des Drehungsvorgangs in einem Fall, in dem es zwei Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position des Ziels gibt, so berechnen, dass die oben beschriebene Summe in den Winkelbereich fällt.
Die Bildverarbeitungsvorrichtung der vorliegenden Erfindung kann eine Bilderzeugungseinheit enthalten, die den von der Parameterberechnungseinheit berechneten Parameterwert anwendet, um ein virtuelles endoskopisches Bild aus dem dreidimensionalen Bild zu erzeugen.
Die Bildverarbeitungsvorrichtung der vorliegenden Erfindung kann enthalten: eine Anzeigeeinheit, die ein Bild anzeigt; und eine Anzeigesteuereinheit, die den Parameterwert, der der Position des Endoskops entspricht und von der Parameterberechnungseinheit berechnet wird, auf der Anzeigeeinheit entsprechend der Position des Endoskops auf dem Kurs anzeigt, wenn das Endoskop entlang des Kurses in der luminalen Struktur vorgerückt wird.
Ein Bildverarbeitungsverfahren der vorliegenden Erfindung ist ein Bildverarbeitungsverfahren zum Berechnen eines Parameterwerts bezüglich eines Endoskopvorgangs zum Vorrücken eines Endoskops entlang eines vorbestimmten Kurses bzw. Verlaufsinnerhalb einer luminalen Struktur aus einem dreidimensionalen Bild, das die luminale Struktur angibt, wobei ein Vorrück- und Rückzugsvorgang in einer axialen Richtung, ein Drehungsvorgang um eine Achse und ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene, die eine Achse des distalen Endabschnitts enthält, in dem Endoskop möglich sind bzw. zugelassen werden, und ein Berechnungsprozess eine Richtung im Uhrzeigersinn oder eine Richtung gegen den Uhrzeigersinn um die Achse als positiv festlegt, die andere Richtung als negativ festlegt und einen Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als Parameterwert in Bezug auf den Drehungsvorgang berechnet, wobei der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an einer Position eines Ziels so berechnet wird, dass eine Summe eines kumulativen Gesamtwinkels von Drehwinkeln des Endoskops aufgrund eines Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt an der Position des Ziels ankommt, nachdem der distale Endabschnitt in die luminale Struktur eingeführt worden ist, und der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position des Ziels in einen vorbestimmten Winkelbereich fällt.
Ein Bildverarbeitungsprogramm der vorliegenden Erfindung ist ein Bildverarbeitungsprogramm, das veranlasst, dass ein Computer einen Prozess zum Berechnen eines Parameterwerts bezüglich eines Endoskopvorgangs zum Vorrücken eines Endoskops entlang eines vorbestimmten Kurses bzw. Verlaufs innerhalb einer luminalen Struktur aus einem dreidimensionalen Bild, das die luminale Struktur angibt, ausführt, wobei ein Vorrück- und Rückzugsvorgang in einer axialen Richtung, ein Drehungsvorgang um eine Achse und ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene, die eine Achse des distalen Endabschnitts enthält, in dem Endoskop möglich sind, und ein Berechnungsprozess enthält: Festlegen einer Richtung im Uhrzeigersinn oder einer Richtung gegen den Uhrzeigersinn um die Achse als positiv, Festlegen der anderen Richtung als negativ und Berechnen eines Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als Parameterwert bezüglich des Drehungsvorgangs, wobei der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position eines Ziels so berechnet wird, dass eine Summe eines kumulativen Gesamtwinkels von Drehwinkeln des Endoskops aufgrund eines Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt an der Position des Ziels ankommt, nachdem der distale Endabschnitt in die luminale Struktur eingeführt worden ist, und der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position des Ziels in einen vorbestimmten Winkelbereich fällt.
Bei dem Bildverarbeitungsverfahren und dem Programm der vorliegenden Erfindung kann der Winkelbereich von –90° bis +90° reichen.
Das Bildverarbeitungsprogramm der vorliegenden Erfindung enthält üblicherweise mehrere Programmodule und jeder Prozess wird durch ein oder mehrere Programmmodule umgesetzt. Eine Gruppe von Programmmodulen wird auf einem Aufzeichnungsmedium wie einer CD-ROM oder einer DVD aufgezeichnet oder in einem herunterladbaren Zustand in einem an den Server-Computer angeschlossenen Speicher oder einem Netzspeicher aufgezeichnet und für einen Anwender zur Verfügung gestellt.
In der Bildverarbeitungsvorrichtung, dem Verfahren und dem Programm der vorliegenden Erfindung wird unter der Annahme, dass ein Vorrück- und Rückzugsvorgang in einer axialen Richtung, ein Drehungsvorgang um eine Achse und ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene, die eine Achse des distalen Endabschnitts enthält, in dem Endoskop möglich sind, der Parameterwert bezüglich des Endoskopvorgangs zum Vorrücken des Endoskops entlang eines vorbestimmten Kurses in der luminalen Struktur aus dem dreidimensionalen Bild, das die luminale Struktur angibt, berechnet. Wenn speziell eine Richtung im Uhrzeigersinn oder eine Richtung gegen den Uhrzeigersinn um die Achse als positiv festgelegt wird ist, die andere Richtung als negativ festgelegt wird und ein Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als ein Parameterwert bezüglich des Drehungsvorgangs berechnet, wird der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position des Ziels so berechnet, dass eine Summe eines kumulativen Gesamtwinkels von Drehwinkeln des Endoskops aufgrund eines Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt an der Position des Ziels ankommt, nachdem der distale Endabschnitt in die luminale Struktur eingeführt worden ist, und der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position des Ziels in den vorbestimmten Winkelbereich fällt. Somit wird ein geeigneter Winkelbereich, für den ein Bewegungsbereich eines Handgelenks oder dergleichen berücksichtigt wird, im Voraus so bestimmt, dass die Drehung des Endoskops aufgrund des Drehungsvorgangs nur innerhalb des Winkelbereichs erfolgt und es möglich ist, die Schwierigkeiten einer Bedienperson damit, ein Endoskop erneut zu greifen, zu reduzieren und die Bedienbarkeit zu verbessern. Weiterhin ist es möglich, eine Belastung der Patienten zu reduzieren, indem eine Untersuchungszeit dank der verbesserten Bedienbarkeit verkürzt wird.
Kurzbeschreibung der Zeichnungen
1 ist eine Darstellung, die eine schematische Konfiguration eines Bildverarbeitungssystems, das eine Ausführungsform der vorliegenden Erfindung enthält, darstellt.
2 ist ein Blockdiagramm, das Funktionen darstellt, die in einer Bildverarbeitungsvorrichtung in 1 bereitgestellt werden.
3 ist eine Darstellung, die ein Verfahren zum Berechnen eines Biegewinkels bei einem Biegevorgang eines Endoskops darstellt.
4 ist eine Darstellung, die eine Ebene darstellt, die an drei Punkten in einem Verlauf einer Bronchie durch Positionen eines Biegevorgangs verläuft.
5 ist eine Darstellung, die eine Ebene darstellt, in der ein Vorgang des Biegens eines distalen Endabschnitts eines Endoskops möglich ist.
6 ist eine Darstellung, die ein Verfahren zum Berechnen eines Drehwinkels bei einem Drehungsvorgang des Endoskops darstellt.
7 ist eine Darstellung (Teil 1), die ein Verfahren zum Bestimmen eines Drehwinkels auf der Basis einer Richtung eines Bildes darstellt.
8 ist eine Darstellung (Teil 2), die ein Verfahren zum Bestimmen eines Drehwinkels auf der Basis einer Richtung eines Bildes darstellt.
9 ist ein Ablaufdiagramm, das einen Ablauf eines Prozesses darstellt, der durch die Bildverarbeitungsvorrichtung von 1 durchgeführt wird.
Beschreibung der bevorzugten Ausführungsformen
Nachfolgend wird ein Bildverarbeitungssystem, das eine Ausführungsform einer Bildverarbeitungsvorrichtung, eines Verfahrens und eines Programms der vorliegenden Erfindung enthält, unter Bezugnahme auf die Zeichnungen beschrieben. 1 ist ein Blockdiagramm, das eine schematische Konfiguration eines Bildverarbeitungssystems darstellt. Wie in 1 dargestellt sind in diesem System eine Endoskopvorrichtung 1, eine 3D-Bildaufnahmevorrichtung 2, ein Bildspeicherserver 3 und eine Bildverarbeitungsvorrichtung 4 über das Netz 9 kommunikationstechnisch miteinander verbunden.
Die Endoskopvorrichtung 1 enthält ein Endoskop 11, das in eine Bronchie (eine luminale Struktur) einer Person eingeführt wird und das Innere der Bronchie abbildet, eine Prozessorvorrichtung 12, die ein Bild des Inneren der Bronchie (nachfolgend als "endoskopisches Bild" bezeichnet) auf der Basis eines durch Abbilden in dem Endoskop 11 erhaltenen Abbildungssignals erzeugt, und einer Positionsdetektionsvorrichtung 13, die eine Position eines distalen Endes des Endoskops 11 in der Bronchie detektiert.
Das Endoskop 11 ist so ausgelegt, dass ein Vorrück- und Rückzugsvorgang in einer axialen Richtung, ein Drehungsvorgang um eine Achse und ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene, die eine Achse des distalen Endabschnitts enthält, möglich sind. Das Endoskop 11 enthält eine Bedienungseinheit zum Bedienen eines Vorgangs des Endoskops auf der Basisendseite und weist einen Mechanismus zum Biegen des distalen Endabschnitts in einem vorbestimmten Winkelbereich innerhalb einer Ebene, die eine Achse des distalen Endabschnitts enthält, gemäß einer Bedienungseingabe von der Bedienungseinheit auf.
Die Prozessorvorrichtung 12 setzt das durch Abbilden in dem Endoskop 11 erhaltene Abbildungssignal in ein digitales Bildsignal um, führt eine Korrektur der Bildqualität durch eine digitale Signalverarbeitung wie etwa eine Weißabgleichanpassung und eine Schattierungskorrektur durch und erzeugt das endoskopische Bild. Das erzeugte endoskopische Bild wird über den Bildspeicherserver 3 oder direkt an die Bildverarbeitungsvorrichtung 4 gesendet.
Die Positionsdetektionsvorrichtung 13 detektiert eine charakteristische Form eines distalen Endes des Endoskops unter Verwendung beispielsweise einer Echovorrichtung mit einem Detektionsbereich in einem dreidimensionalen Koordinatensystem mit einer spezifischen Position der Person als Bezugspunkt, um die Position des distalen Endes des Endoskops in der Bronchie zu detektieren. Informationen über die detektierte Position werden an die Bildverarbeitungsvorrichtung 4 gesendet.
Die 3D-Bildaufnahmevorrichtung 2 ist eine Vorrichtung, die einen Inspektionszielteil der Person abbildet, um ein dreidimensionales Bild zu erzeugen, das den Inspektionszielteil darstellt. Insbesondere ist die 3D-Bildaufnahmevorrichtung 2 eine Vorrichtung für Computertomographie (CT), eine Magnetresonanzabbildung (MRI) oder dergleichen. Das erzeugte dreidimensionale Bild wird an den Bildspeicherserver 3 gesendet und gespeichert. In dieser Ausführungsform erzeugt die 3D-Bildaufnahmevorrichtung 2 ein dreidimensionales Bild, in dem ein Brustbereich, der die Bronchie enthält, eingefangen wird.
Der Bildspeicherserver 3 ist ein Computer, der Daten speichert und verwaltet und eine externe Speichervorrichtung und eine Datenbankverwaltungssoftware enthält. Der Bildspeicherserver 3 erfasst Bilddaten wie das von der Endoskopvorrichtung 1 aufgenommene endoskopische Bild und das von der 3D-Bildaufnahmevorrichtung 2 erzeugte dreidimensionale Bild über ein Netz, speichert die Bilddaten in einem Aufzeichnungsmedium wie einer externen Speichervorrichtung und verwaltet die Bilddaten.
Die Bildverarbeitungsvorrichtung 4 ist eine Bildverarbeitungsvorrichtung, bei der ein Bildverarbeitungsprogramm der vorliegenden Erfindung in einem Computer (der ein Smartphone oder einen Tablet-Computer enthält) installiert ist. Die Bildverarbeitungsvorrichtung 4 enthält einen Vorrichtungskörper 5 mit einer zentralen Verarbeitungseinheit (CPU) und dergleichen, eine Eingabeeinheit 6, die eine Eingabe von einem Anwender empfängt, und eine Anzeigeeinheit 7, die eine Anzeige durchführt. Die Eingabeeinheit 6 ist eine Maus, eine Tastatur, ein Berührungsfeld oder dergleichen. Die Anzeigeeinheit 7 ist eine Flüssigkristallanzeige, eine Berührungstafel, ein Berührungsbildschirm oder dergleichen.
Der Vorrichtungskörper 5 enthält eine CPU 5a, einen Speicher 5b und ein Festplattenlaufwerk (HDD) 5c. Die CPU 5a, der Speicher 5b und die HDD 5c sind durch eine Busleitung miteinander verbunden. Auf der HDD 5c sind das Bildverarbeitungsprogramm der vorliegenden Erfindung und die Daten, auf die sich das Programm bezieht, gespeichert. Die CPU 5a führt verschiedene Prozesse unter Verwendung des Speichers 5b als primärem Speicherbereich gemäß dem auf der HDD 5c gespeicherten Programm aus.
2 ist ein Funktionsblockdiagramm, das Funktionen der Bildverarbeitungsvorrichtung 4 darstellt. Wie in 2 dargestellt fungiert der Vorrichtungskörper 5 der Bildverarbeitungsvorrichtung 4 als eine Bilderfassungseinheit 51, eine Parameterberechnungseinheit 52, eine Bilderzeugungseinheit 53, eine Positionsinformationserfassungseinheit 54 und eine Anzeigesteuereinheit 55, indem die CPU 5a eine Informationsverarbeitung gemäß dem auf der HDD 5c gespeicherten Programm ausführt.
Die Bilderfassungseinheit 51 erfasst die Bilddaten wie etwa das von der Endoskopvorrichtung 1 erzeugte endoskopische Bild und das von der 3D-Bildaufnahmevorrichtung 2 erzeugte dreidimensionale Bild direkt von den jeweiligen Vorrichtungen oder über den Bildspeicherserver 3. Das von der Bilderfassungseinheit 51 erfasste Bild wird auf der HDD 5c gespeichert.
Die Parameterberechnungseinheit 52 berechnet einen Parameterwert bezüglich eines Endoskopvorgangs zum Vorrücken des Endoskops entlang eines vorbestimmten Kurses in der Bronchie aus dem dreidimensionalen Bild, das von der Bilderfassungseinheit 51 erfasst wird. In diesem Fall wird angenommen, dass ein Vorrück- und Rückzugsvorgang in einer axialen Richtung, ein Drehungsvorgang um eine Achse und ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene, die eine Achse des distalen Endabschnitts enthält, in einem Endoskop möglich ist.
Die Parameterberechnungseinheit 52 extrahiert zuerst eine 3D-Graphstruktur eines in dem dreidimensionalen Bild enthaltenen Bronchienbereichs durch Bildanalyse und legt automatisch oder manuell einen Kurs C fest, auf dem das Endoskop in die extrahierte Graphstruktur eingeführt wird.
Auf der Basis von Informationen über den festgelegten Kurs C berechnet die Parameterberechnungseinheit 52 Parameterwerte bezüglich des Vorrück- und Rückzugsvorgangs, des Drehungsvorgangs und des Biegevorgangs des Endoskops.
Speziell berechnet die Parameterberechnungseinheit 52 eine Einführlänge des Endoskops entlang des festgelegten Kurses C als einen Parameter des Vorrück- und Rückzugsvorgangs. Ferner berechnet die Parameterberechnungseinheit 52 einen Biegewinkel des Endoskops, der einem Winkel der Biegung in einer beliebigen Position entspricht, an der das Endoskop durch eine Abzweigung oder dergleichen auf dem Kurs C gebogen ist, als einen Parameter des Biegevorgangs an der Position. Genauer gesagt berechnet die Parameterberechnungseinheit 52 einen Winkel θ(i), der durch zwei Vektoren einschließlich eines Vektors V(i – 1) von einer Position P(i – 1) eines vorherigen Biegevorgangs auf dem Kurs C zu einer Position P(i) auf dem Kurs C und eines Vektors V(i) von der Position P(i) zu einer Position P(i + 1) eines nächsten Biegevorgangs auf dem Kurs C gebildet wird, als Winkel der Biegung des Endoskops an der Position P(i), wie es in 3 dargestellt ist.
Ferner berechnet die Parameterberechnungseinheit 52 den Drehwinkel bei dem Drehungsvorgang des Endoskops zum weiteren Vorrücken des Endoskops zu einer beliebigen Position P(i) (oder einer Position davor), an der das Endoskop aufgrund einer Abzweigung oder dergleichen auf dem Kurs C gebogen wird, vorwärts entlang des Kurses C als einen Parameter des Drehungsvorgangs an der Position. Insbesondere wird zunächst eine Ebene S(i), die durch drei Punkte einer Position P(i – 1) eines unmittelbar vorherigen Biegevorgangs auf dem Kurs C, einer aktuellen Position P(i) und einer Position P(i + 1) des nächsten Biegevorgangs verläuft, wie es in 4 dargestellt, erhalten. Wie in 5 dargestellt wird in einem Zustand des Endoskops vor dem Drehungsvorgang eine Ebene S erhalten, die durch drei Punkte einer Position Q1, die ein Angelpunkt der Biegung des distalen Endabschnitts ist, und der Positionen Q2 und Q3 des distalen Endes des Endoskops, die erhalten werden, wenn der distale Endabschnitt um zwei beliebige unterschiedliche Biegewinkel gebogen wird, verläuft. In 5 ist eine Richtung, in der der Vorgang des Biegens des distalen Endabschnitts durchgeführt werden kann, durch einen Pfeil B angedeutet. Ebenso ist in 6 eine Richtung, in der der Vorgang des Biegens des distalen Endabschnitts durchgeführt werden kann, durch einen Pfeil B angedeutet.
Ferner berechnet die Parameterberechnungseinheit 52 wie in 6 dargestellt einen Drehwinkel um die Achse des Endoskops, der ein Drehwinkel ist, um zu bewirken, dass die Ebene S die Ebene S(i) überlappt, und dessen Summe mit dem kumulativen Gesamtwinkel der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt des Endoskops an der gegenwärtigen Position P(i) ankommt, nachdem der distale Endabschnitt des Endoskops in die Bronchie eingeführt worden ist, wobei die Drehung im Uhrzeigersinn um eine Achse des Endoskops positiv ist und gegen den Uhrzeigersinn negativ ist, in einen vorbestimmten Winkelbereich Ra (z. B. –90° bis +90°) fällt, als Parameter des Drehungsvorgangs an der Position P(i). Zum Beispiel wird in einem Fall, in dem der vorbestimmte Winkelbereich Ra von –90° bis +90° reicht und ein kumulativer Gesamtwinkel der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs, der durchgeführt wird, bis das Endoskop an der Position P(i) ankommt, +45° beträgt und der Drehwinkel des Endoskops, um zu bewirken, dass die Ebene S mit der Ebene S(i) überlappt, +50° (im Uhrzeigersinn) oder –130° (gegen den Uhrzeigersinn) ist, –130°, d. h. ein Drehwinkel, dessen Summe mit dem kumulativen Gesamtwinkel in den Bereich von 90° bis +90° fällt, als Parameter des Drehungsvorgangs an der Position P(i) berechnet.
Obwohl ein Fall, in dem der Winkelbereich Ra von –90° bis +90° festgelegt ist, in der obigen Beschreibung beschrieben worden ist, kann der Winkelbereich Ra automatisch oder manuell beliebig festgelegt werden und kann bei Bedarf entsprechend geändert werden. Ein Beispiel für den festlegbaren Winkelbereich Ra kann –Ta° bis +Tb° (z. B. –120° bis +120°) enthalten, wobei Ta und Tb beispielsweise positive Werte von mehr als 90 sind. Hierbei kann beim Festlegen eines solchen Winkelbereichs kann eine Summe von jeglichen Drehwinkeln im Uhrzeigersinn und gegen den Uhrzeigersinn, bei denen bewirkt werden kann, dass die Ebene S mit der Ebene S(i) überlappt, und eines kumulativen Gesamtwinkels der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt des Endoskops an der aktuellen Position P(i) ankommt, in den Winkelbereich Ra fallen. Beispielsweise fällt in einem Fall, in dem der vorbestimmte Winkelbereich Ra von –120° bis +120° reicht, ein kumulativer Gesamtwinkel der Drehwinkel des Endoskops aufgrund des bis zu der Position P(i) durchgeführten Drehungsvorgangs +45° beträgt und der Drehwinkel des Endoskops, der in der Lage ist, zu bewirken, dass die Ebene S mit der Ebene S(i) überlappt, +50° (im Uhrzeigersinn) oder –130° (gegen den Uhrzeigersinn) beträgt, eine Summe jeglicher Drehwinkel und des kumulativen Gesamtwinkels in einen Bereich von –120° bis +120°.
In einem solchen Fall kann die Parameterberechnungseinheit 52 einen von zwei Drehwinkeln im Uhrzeigersinn und gegen den Uhrzeigersinn als Parameterwerte bezüglich des Drehungsvorgangs unter Verwendung irgendeines des nachstehend beschriebenen ersten bis dritten Verfahrens berechnen.
Als erstes Verfahren kann die Parameterberechnungseinheit 52 den Drehwinkel, bei dem eine Richtung von einer dorsalen Seite zu einer ventralen Seite eines menschlichen Körpers (oder einer Richtung von der ventralen Seite zu der dorsalen Seite) gemäß dem Drehwinkel unter den beiden Drehwinkeln im Uhrzeigersinn und gegen den Uhrzeigersinn näher an einer Aufwärtsrichtung eines von dem Endoskop aufgenommenen Bildes nach dem Drehungsvorgang liegt, als Parameterwert bezüglich des Drehungsvorgangs berechnen.
In diesem Fall gibt es verschiedene Verfahren zum Spezifizieren des Drehwinkels, bei dem eine Richtung von der dorsalen Seite zu der ventralen Seite des menschlichen Körpers (oder eine Richtung von der ventralen Seite zu der dorsalen Seite) unter den beiden Drehwinkeln näher an der Aufwärtsrichtung des Bildes liegt. Zum Beispiel enthält ein Verfahren zum Erfassen eines Richtungsvektors auf einem dreidimensionalen Bild, der einer Aufwärtsrichtung des Bildes, das durch das Endoskop aufgenommen wird, nach dem Drehungsvorgang gemäß dem Drehwinkel entspricht, in Bezug auf jeden der beiden Drehwinkel ein Berechnen eines inneren Produktes des Richtungsvektors auf dem dreidimensionalen Bild und eines Richtungsvektors, der in dem dreidimensionalen Bild von der dorsalen Seite zu der ventralen Seite des menschlichen Körpers gerichtet ist, und ein Spezifizieren des Drehwinkels, bei dem ein durch die Berechnung erhaltener Wert klein ist. Ferner gibt es ein Verfahren zum Erhalten des Winkels β in der Aufwärtsrichtung Eup des von dem Endoskop aufgenommenen Bildes unmittelbar nach dem Einführen in die Bronchie mit Bezug auf die Richtung Bup von der dorsalen Seite zu der ventralen Seite des menschlichen Körpers in dem dreidimensionalen Bild und zum Spezifizieren eines Drehwinkels, bei dem eine Summe des Winkels β und eines kumulativen Gesamtwinkels der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt des Endoskops an der aktuellen Position P (i) ankommt, nachdem der distale Endabschnitt des Endoskops in die Bronchie eingeführt worden ist, in einen Winkelbereich Rup von (–90 – β)° bis (+90 – β)° fällt.
Beispielsweise kann wie in 7 dargestellt in einem Fall, in dem der vorbestimmte Winkelbereich Ra von –120° bis +120° reicht und der zweite Winkelbereich Rup von –90° bis +90° reicht aufgrund des Zusammenfallens der Aufwärtsrichtung Eup des Bildes, das durch das Endoskop in einem Zustand unmittelbar nach dem Einführen in die Bronchie aufgenommen wird, mit der Richtung Bup von der dorsalen Seite zu der ventralen Seite des menschlichen Körpers in dem dreidimensionalen Bild, bewirkt werden, die Ebene S mit der Ebene S(i) überlappt, und in einem Fall, in dem es zwei Drehwinkel des Endoskops gibt, deren Summe mit dem kumulativen Gesamtwinkel in einen Bereich von –120° bis +120° fällt, der Drehwinkel unter den beiden Drehwinkeln, bei dem eine Summe mit dem kumulativen Gesamtwinkel in den Bereich von –90° bis +90° fällt, als der Parameterwert bezüglich des Drehungsvorgangs berechnet wird.
Ferner kann in einem Fall, in dem der vorbestimmte Winkelbereich Ra von –120° bis +120° reicht und der zweite Winkelbereich Rup von –70° bis +110° reicht, da der Winkels β einer Aufwärtsrichtung Eup des Bildes, das von dem Endoskop an einer Einführungsstartposition aufgenommen wird, in Bezug auf eine Richtung Bup von der dorsalen Seite zu der ventralen Seite des menschlichen Körpers in dem dreidimensionalen Bild –20° beträgt, wie es in 8 dargestellt ist, bewirkt werden, dass die Ebene S mit der Ebene S(i) überlappt, und wenn es zwei Drehwinkel des Endoskops gibt, deren Summe mit dem kumulativen Gesamtwinkel in den Bereich von –120° bis +120° fällt, der Drehwinkel unter den beiden Drehwinkeln, bei dem die Summe mit dem kumulativen Gesamtwinkel in den Bereich von –70° bis +110° fällt, als der Parameterwert bezüglich des Drehungsvorgangs berechnet.
Als das zweite Verfahren kann die Parameterberechnungseinheit 52 den Drehwinkel, bei dem eine Richtung, die von einer Innenseite zu einer Außenseite eines menschlichen Körpers gerichtet ist, entsprechend dem Drehwinkel unter den beiden Drehwinkeln im Uhrzeigersinn und gegen dem Uhrzeigersinn näher an einer Aufwärtsrichtung eines Bildes, das von dem Endoskop nach einem Drehungsvorgang aufgenommen wird, liegt, als Parameterwert für den Drehungsvorgang berechnet. In diesem Fall enthält ein Verfahren zum Spezifizieren des Drehwinkels unter den zwei Drehwinkeln, bei dem eine von der Innenseite zu der Außenseite des menschlichen Körpers gerichtete Richtung näher an der Aufwärtsrichtung des Bildes liegt, beispielsweise ein Verfahren, das enthält: zunächst Festlegen eines Referenzpunkts an einer Position in einem dreidimensionalen Bild, die einer Mitte (oder einem Schwerpunkt) eines menschlichen Körperbereichs, der in dem dreidimensionalen Bild enthalten ist, entspricht und dann Spezifizieren eines Drehwinkels, bei dem der festgelegte Referenzpunkt in einem Fall, in dem für jeden Drehwinkel das dreidimensionale Bild, das durch das Endoskop nach dem Drehungsvorgang aufgenommen wird, gemäß dem Drehwinkel in einer vertikalen Richtung zweigeteilt wird, in einem unteren Abschnitt unter den zwei geteilten Abschnitten vorhanden ist.
Als das dritte Verfahren kann die Parameterberechnungseinheit 52 einen Drehwinkel, bei dem eine Summe von Absolutwerten der Drehwinkel an Positionen, an denen jeweilige Drehungsvorgänge von einer Position davon zu Positionen, an denen eine oder mehrere vorhergehende Drehungsvorgänge durchgeführt werden, durchgeführt werden, unter den beiden Drehwinkeln im Uhrzeigersinn und im Gegenuhrzeigersinn kleiner ist, als einen Parameterwert für den Drehungsvorgang berechnen.
Die Bilderzeugungseinheit 53 erzeugt ein virtuelles endoskopisches Bild, das durch virtuelles Abbilden einer Innenwand der Bronchie, die in dem dreidimensionalen Bild enthalten ist, durch ein virtuelles Endoskop erhalten wird, dessen Position und Stellung durch Parameterwerte des Endoskopbetriebs definiert sind, die durch die Parameterberechnungseinheit 52 aus dem dreidimensionalen Bild berechnet werden. Zur Erzeugung des virtuellen endoskopischen Bildes kann ein bekanntes Verfahren wie ein Volumenwiedergabeverfahren oder ein Oberflächenwiedergabeverfahren verwendet werden. Gemäß der Bilderzeugungseinheit 53 ist es möglich, nicht nur das virtuelle endoskopische Bild eines Standbildes an jeder Position auf dem Kurs C zu erhalten, sondern auch ein virtuelles endoskopisches Bild eines bewegten Bildes, das gemäß einer Bewegung des Endoskops entlang des Kurses C aufgenommen wird.
Die Positionsinformationserfassungseinheit 54 erfasst Positionsinformationen des distalen Endes des Endoskops, die durch die Positionserfassungsvorrichtung 13 detektiert werden.
Die Anzeigesteuereinheit 55 zeigt Navigationsinformationen zum Führen des Endoskops zu einer Zielposition entlang eines vorbestimmten Kurses in der Bronchie auf der Anzeigeeinheit 7 an. Die Anzeigesteuereinheit 55 kann insbesondere einen Parameterwert des Endoskopbetriebs, der durch die Parameterberechnungseinheit 52 berechnet wird, das virtuelle endoskopische Bild des bewegten Bildes oder des Standbildes, das von der Bilderzeugungseinheit 53 erzeugt wird, und dergleichen als Navigationsinformationen auf der Anzeigeeinheit 7 anzeigen. Beispielsweise kann die Anzeigesteuereinheit 55 das endoskopische Bild, das durch die Bilderfassungseinheit 51 von der Endoskopvorrichtung 1 in Echtzeit erfasst wird, auf der Anzeigeeinheit 7 anzeigen und kann auch Parameterwerte eines Endoskopbetriebs an einer Position des distalen Endes des Endoskops 11, die durch die Positionsinformationserfassungseinheit 54 erfasst werden, anzeigen. Ferner kann die Anzeigesteuereinheit 55 das virtuelle endoskopische Bild zum Navigieren eines Endoskopvorgangs an der Position des distalen Endes des Endoskops 11, das durch die Positionsinformationserfassungseinheit 54 erhalten wird, oder eines nächsten Endoskopvorgangs auf der Anzeigeeinheit 7 anzeigen, anstatt das endoskopische Bild und die Parameterwerte des Endoskopvorgangs anzuzeigen oder zusätzlich dazu. Natürlich können die Parameterwerte des Endoskopvorgangs zusammen auf der Anzeige des virtuellen endoskopischen Bildes angezeigt werden.
Als Nächstes wird ein Beispiel eines Ablaufs eines Prozesses, der durch die Bildverarbeitungsvorrichtung 4 durchgeführt wird, unter Bezugnahme auf ein in 9 dargestelltes Ablaufdiagramm beschrieben. Zuerst erfasst die Bilderfassungseinheit 51 das durch Abbilden des Brustbereichs einschließlich der Bronchie erhaltene dreidimensionale Bild von dem Bildspeicherserver 3 (S1). Dann berechnet die Parameterberechnungseinheit 52 den Parameterwert bezüglich des Endoskopvorgangs zum Vorrücken des Endoskops entlang eines vorbestimmten Kurses in der Bronchie aus dem dreidimensionalen Bild (S2). Speziell extrahiert die Parameterberechnungseinheit 52 zuerst eine dreidimensionale Graphstruktur eines in dem dreidimensionalen Bild enthaltenen Bronchienbereichs durch Bildanalyse, legt den Kurs C, auf dem das Endoskop eingeführt wird, in der extrahierten Graphstruktur fest und berechnet Parameterwerte für den Vorrück- und Rückzugsvorgang, den Drehungsvorgang und den Biegevorgang des Endoskops auf der Basis von Informationen über den festgelegten Kurs C. Insbesondere berechnet die Parameterberechnungseinheit 52 einen Drehwinkel um die Achse des Endoskops, um zu bewirken, dass die Ebene S, auf der ein Vorgang des Biegens des Endoskops durchgeführt werden kann, mit der Ebene S(i), die durch Positionen von drei Punkten auf dem Kurs C verläuft, die eine beliebige Position P(i) enthalten, überlappt, der ein Drehwinkel ist, dessen Summe mit einem kumulativen Gesamtwinkel der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt des Endoskops bei der aktuellen Position P(i) ankommt, nachdem der distale Endabschnitt des Endoskops in die Bronchie eingeführt worden ist, in einen vorbestimmten Winkelbereich Ra (z. B. –90° bis +90°) fällt, als Parameter des Drehungsvorgangs des Endoskops an der beliebigen Position P(i), an der das Endoskop durch eine Verzweigung oder dergleichen auf dem Kurs C gebogen wird.
Dann erfasst die Positionsinformationserfassungseinheit 54 die Positionsinformationen des distalen Endes des Endoskops, die von der Positionserfassungsvorrichtung 13 detektiert werden (S3), und die Anzeigesteuereinheit 55 erfasst den Parameterwert des Endoskopvorgangs, der der Position des distalen Endes des Endoskops 11 entspricht, die von der Positionsinformationserfassungseinheit 54 erhalten wird, aus den in Schritt S2 (S4) berechneten Parameterwerten bezüglich des Endoskopvorgangs. Ferner erzeugt die Bilderzeugungseinheit 53 ein virtuelles endoskopisches Bild zum Navigieren des Endoskopvorgangs entsprechend der Position des distalen Endes des Endoskops 11, die durch die Positionsinformationserfassungseinheit 54 aus dem dreidimensionalen Bild erfasst wird (S5). Die Anzeigesteuereinheit 55 zeigt die Informationen über den in Schritt S4 erfassten Parameterwert oder das in Schritt S5 erfasste virtuelle endoskopische Bild auf der Anzeigeeinheit 7 an (S6) und beendet den Prozess.
Bei der obigen Konfiguration berechnet die Parameterberechnungseinheit 52 in dem Bildverarbeitungssystem dieser Ausführungsform unter der Annahme, dass das Endoskop ein Endoskop ist, bei dem ein Vorrück- und Rückzugsvorgang in einer axialen Richtung, ein Drehungsvorgang um eine Achse und ein Vorgang des Biegens eines distalen Endabschnitt nur innerhalb einer Ebene, die eine Achse des distalen Endabschnitts enthält, möglich sind, den Parameterwert bezüglich des Endoskopvorgangs zum Vorrücken des Endoskops entlang eines vorbestimmten Kurses in der Bronchie aus dem dreidimensionalen Bild, das die Bronchie darstellt. Wenn speziell eine Richtung im Uhrzeigersinn oder eine Richtung gegen den Uhrzeigersinn um die Achse als positiv festgelegt ist, die andere Richtung als negativ festgelegt ist und ein Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als Parameterwert bezüglich des Drehungsvorgangs berechnet wird, wird der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position des Ziels so berechnet, dass eine Summe eines kumulativen Gesamtwinkels von Drehwinkeln des Endoskops aufgrund eines Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt an der Position des Ziels ankommt, nachdem der distale Endabschnitt in die Bronchie eingeführt worden ist, und des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an der Position des Ziels in den vorbestimmten Winkelbereich Ra fällt. Somit wird ein geeigneter Winkelbereich Ra, für den ein Bewegungsbereich eines Handgelenks oder dergleichen berücksichtigt wird, im Voraus so bestimmt, dass die Drehung des Endoskops aufgrund des Drehungsvorgangs nur innerhalb des Winkelbereichs Ra durchgeführt wird, und es ist möglich, die Schwierigkeiten einer Bedienperson damit, ein Endoskop erneut zu greifen, zu verringern und die Bedienbarkeit zu verbessern.
Insbesondere ist es in dem Bildverarbeitungssystem dieser Ausführungsform in einem Fall, in dem der Winkelbereich Ra von –90° bis +90° reicht, möglich, die Schwierigkeiten der Bedienperson damit, ein Endoskop erneut zu greifen, zu verringern und die Bedienbarkeit zu verbessern.
Obwohl der Fall, in dem die Bildverarbeitungsvorrichtung 4 die Bilderzeugungseinheit 53, die Positionsinformationserfassungseinheit 54 und die Anzeigesteuereinheit 55 enthält, in der obigen Ausführungsform beschrieben worden ist, können Konfigurationen davon entfallen, wobei der Parameterwert in Bezug auf den Endoskopvorgang durch die Parameterberechnungseinheit 52 aus dem von der Bilderfassungseinheit 51 erfassten dreidimensionalen Bild berechnet wird und der berechnete Parameterwert kann einer externen Vorrichtung zur Verfügung gestellt werden.
In der obigen Ausführungsform wurde der Fall beschrieben, in dem die Bildverarbeitungsvorrichtung, das Verfahren und das Programm der vorliegenden Erfindung auf die Bedienung des Endoskops in der Bronchie angewendet werden, aber die vorliegende Erfindung ist nicht darauf beschränkt und die vorliegende Erfindung kann auch auf einen Fall angewendet werden, in dem das Endoskop in einer anderen röhrenförmigen Struktur mit einer verzweigten Struktur, wie einem Gefäß, betrieben wird.
Bezugszeichenliste

1: Endoskopvorrichtung
2: 3D-Bildaufnahmevorrichtung
3: Bildspeicherserver
4: Bildverarbeitungsvorrichtung
5: Vorrichtungskörper
5a: CPU
5b: Speicher
5c: HDD
6: Eingabeeinheit
7: Anzeigeeinheit
11: Endoskop
12: Prozessorvorrichtung
13: Positionsdetektionsvorrichtung
51: Bildaufnahmeeinheit
52: Parameterberechnungseinheit
53: Bilderzeugungseinheit
54: Positionsinformationserfassungseinheit
55: Anzeigesteuervorrichtung

Claims

Bildverarbeitungsvorrichtung, die eine Parameterberechnungseinheit enthält, die einen Parameterwert bezüglich eines Endoskopvorgangs zum Vorrücken eines Endoskops entlang eines vorbestimmten Kurses bzw. Verlaufs innerhalb einer luminalen Struktur aus einem dreidimensionalen Bild, das die luminale Struktur angibt, berechnet, wobei ein Vorrück- und Rückzugsvorgang in einer axialen Richtung, ein Drehungsvorgang um eine Achse und ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene, die eine Achse des distalen Endabschnitts enthält, in dem Endoskop möglich sind, und die Parameterberechnungseinheit eine Richtung im Uhrzeigersinn oder eine Richtung gegen den Uhrzeigersinn um die Achse als positiv festlegt, die andere Richtung als negativ festlegt und einen Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als Parameterwert in Bezug auf den Drehungsvorgang berechnet, wobei die Parameterberechnungseinheit den Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position so berechnet, dass eine Summe eines kumulativen Gesamtwinkels von Drehwinkeln des Endoskops aufgrund eines Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt an der Position ankommt, nachdem der distale Endabschnitt in die luminale Struktur eingeführt worden ist, und des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an der Position in einen vorbestimmten Winkelbereich fällt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei der Winkelbereich von –90° bis +90° reicht.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die luminale Struktur ein luminales Organ eines menschlichen Körpers ist, der Winkelbereich von –Ta° bis +Tb° reicht, wobei Ta und Tb positive Werte sind, wobei Ta und Tb positive Werte größer als 90 sind, und die Parameterberechnungseinheit beim Berechnen des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an der beliebigen Position auf dem Kurs als Parameterwert bezüglich des Drehungsvorgangs einen Drehwinkel, bei dem eine Richtung von einer dorsalen Seite zu einer ventralen Seite eines menschlichen Körpers näher an einer Aufwärtsrichtung eines Bildes, das durch das Endoskop nach dem Drehungsvorgang aufgenommen wird, ist, als einen Parameterwert bezüglich des Drehungsvorgangs in einem Fall, in dem zwei Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position vorhanden sind, so berechnet, dass die Summe in den Winkelbereich fällt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die luminale Struktur ein luminales Organ eines menschlichen Körpers ist, der Winkelbereich von –Ta° bis +Tb° reicht, wobei Ta und Tb positive Werte sind, wobei Ta und Tb positive Werte größer als 90 sind, und die Parameterberechnungseinheit beim Berechnen des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an der beliebigen Position auf dem Kurs als Parameterwert bezüglich des Drehungsvorgangs einen Drehwinkel, bei dem eine Richtung von einer Innenseite zu einer Außenseite des menschlichen Körpers näher an einer Aufwärtsrichtung eines Bildes, das durch das Endoskop nach dem Drehungsvorgang aufgenommen wird, ist, als einen Parameterwert bezüglich des Drehungsvorgangs in einem Fall, in dem es zwei Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position gibt, so berechnet, dass die Summe in den Winkelbereich fällt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei der Winkelbereich von –Ta° bis +Tb° reicht, wobei Ta und Tb positive Werte sind, wobei Ta und Tb positive Werte größer als 90 sind, und die Parameterberechnungseinheit beim Berechnen des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als Parameterwert bezüglich des Drehungsvorgangs einen Drehwinkel, bei dem eine Summe von Absolutwerten der Drehwinkel an Positionen, an denen jeweilige Drehungsvorgänge durchgeführt werden, von der beliebigen Position bis zu Positionen, an denen eine oder mehrere vorhergehende Drehungsvorgänge durchgeführt werden, kleiner ist, als einen Parameterwert bezüglich des Drehungsvorgangs in einem Fall, in dem es zwei Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position gibt, so berechnet, dass die oben beschriebene Summe in den Winkelbereich fällt.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, die enthält: eine Bilderzeugungseinheit, die den von der Parameterberechnungseinheit berechneten Parameterwert anwendet, um ein virtuelles endoskopisches Bild aus dem dreidimensionalen Bild zu erzeugen.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 6, die enthält: eine Anzeigeeinheit, die ein Bild anzeigt; und eine Anzeigesteuereinheit, die den Parameterwert, der der Position des Endoskops entspricht und von der Parameterberechnungseinheit berechnet wird, auf der Anzeigeeinheit entsprechend der Position des Endoskops auf dem Kurs anzeigt, wenn das Endoskop entlang des Kurses in der luminalen Struktur vorgerückt wird.
Bildverarbeitungsverfahren, das enthält: Berechnen eines Parameterwerts bezüglich eines Endoskopvorgangs zum Vorrücken eines Endoskops entlang eines vorbestimmten Kurses bzw. Verlaufs innerhalb einer luminalen Struktur aus einem dreidimensionalen Bild, das die luminale Struktur angibt, wobei ein Vorrück- und Rückzugsvorgang in einer axialen Richtung, ein Drehungsvorgang um eine Achse und ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene, die eine Achse des distalen Endabschnitts enthält, in dem Endoskop möglich sind bzw. zugelassen werden, und ein Prozess zum Berechnen des Parameterwerts enthält: Festlegen einer Richtung im Uhrzeigersinn oder einer Richtung gegen den Uhrzeigersinn um die Achse als positiv, Festlegen der anderen Richtung als negativ und Berechnen eines Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als Parameterwert bezüglich des Drehungsvorgangs, wobei der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position so berechnet wird, dass eine Summe eines kumulativen Gesamtwinkels von Drehwinkeln des Endoskops aufgrund eines Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt an der Position ankommt, nachdem der distale Endabschnitt in die luminale Struktur eingeführt worden ist, und des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an der Position in einen vorbestimmten Winkelbereich fällt.
Bildverarbeitungsvorrichtung nach Anspruch 8, wobei der Winkelbereich von –90° bis +90° reicht.
Bildverarbeitungsprogramm zum Veranlassen, dass ein Computer einen Prozess zum Berechnen eines Parameterwerts bezüglich eines Endoskopvorgangs zum Vorrücken eines Endoskops entlang eines vorbestimmten Kurses bzw. Verlaufs innerhalb einer luminalen Struktur aus einem dreidimensionalen Bild, das die luminale Struktur angibt, ausführt, wobei ein Vorrück- und Rückzugsvorgang in einer axialen Richtung, ein Drehungsvorgang um eine Achse und ein Vorgang des Biegens eines distalen Endabschnitts nur innerhalb einer Ebene, die eine Achse des distalen Endabschnitts enthält, in dem Endoskop möglich sind, und ein Prozess zum Berechnen des Parameterwerts enthält: Festlegen einer Richtung im Uhrzeigersinn oder einer Richtung gegen den Uhrzeigersinn um die Achse als positiv, Festlegen der anderen Richtung als negativ und Berechnen eines Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an einer beliebigen Position auf dem Kurs als Parameterwert bezüglich des Drehungsvorgangs, wobei der Drehwinkel des Endoskops aufgrund des Drehungsvorgangs an der Position so berechnet wird, dass eine Summe eines kumulativen Gesamtwinkels von Drehwinkeln des Endoskops aufgrund eines Drehungsvorgangs, der durchgeführt wird, bis der distale Endabschnitt an der Position ankommt, nachdem der distale Endabschnitt in die luminale Struktur eingeführt worden ist, und des Drehwinkels des Endoskops aufgrund des Drehungsvorgangs an der Position in einen vorbestimmten Winkelbereich fällt.
Bildverarbeitungsvorrichtung nach Anspruch 10, wobei der Winkelbereich von –90° bis +90° reicht.