JP6356623B2 - 画像処理装置、方法、及びプログラム - Google Patents

Description

本発明は、管腔構造を表す３次元画像から、内視鏡を管腔構造内で予め定められた経路に沿って進めるための内視鏡操作に関するパラメータ値を算出する画像処理装置、方法、及びプログラムに関する。

近年、患者の大腸や気管支等の管状構造を内視鏡を用いて観察または処置を行う技術が注目されている。特許文献１には、内視鏡の先端部を管腔構造内の所望の位置へ誘導する各種の情報を提示することにより、操作者による内視鏡の操作を支援する技術が開示されている。また、特許文献２には、内視鏡が先端部を上下及び左右の方向に曲げる操作が可能なものである場合に、内視鏡を管腔構造内で所望の経路に沿って進めるための、経路上の各位置における先端部の上下及び左右の曲げ角度を算出する技術が開示されている。

特開２００９−２５４８３７号公報 特表２００９−５１１１５５号公報

ところで、気管支用の内視鏡のような、先端部を１つの平面内でしか曲げる操作ができない内視鏡では、先端部の曲げ操作だけでは内視鏡を所望の方向に進められない場合があり、その場合には、曲げ操作の前に内視鏡を軸線周りに回転させることによって、先端部の上記曲げの操作が可能な１つの平面を上記所望の方向に合せる必要がある。このとき、内視鏡の回転方向（時計回り又は反時計回りの方向）は、通常その回転操作に必要な回転量が小さい方の回転方向が選択される。たとえば、時計回りに５０°の回転をさせる場合、反時計回りに１３０°の回転でも上述した内視鏡を進めるのに問題はないが、通常は、回転量が小さい方の時計回りに５０°の回転が選択される。

しかし、この方法では、複数回にわたる回転操作において一方の回転方向での回転が続くなどして、内視鏡を一方の回転方向に手首の可動範囲を超えて回転させることとなる場合があり、その場合には、操作者は内視鏡を握り直さなければならず、操作性が悪い、という問題がある。

本発明は、上記事情に鑑み、内視鏡が先端部を１つの平面内でしか曲げる操作ができないものである場合に、操作者が内視鏡を握り直す手間を軽減させ、操作性を向上させる画像処理装置、方法、及びプログラムを提供することを目的とするものである。

本発明の画像処理装置は、管腔構造を表す３次元画像から、内視鏡を管腔構造内で予め定められた経路に沿って進めるための内視鏡操作に関するパラメータ値を算出するパラメータ算出部を備えた画像処理装置であって、内視鏡が、軸線方向への進退操作、軸線周りの回転操作、および先端部に対する先端部の軸線を含む１つの平面内のみにおける曲げ操作が可能なものであり、パラメータ算出部が、軸線回りの時計回り及び反時計回りのいずれか一方を正とし、他方を負として、経路上の任意の位置における回転操作による内視鏡の回転角度を回転操作に関するパラメータ値として算出するものであって、先端部が管腔構造内に挿入されてから対象の位置に至るまでに行われた回転操作による内視鏡の回転角度の累計と、対象の位置における回転操作による内視鏡の回転角度との合計が予め定められた角度範囲内に収まるように、対象の位置における回転操作による内視鏡の回転角度を求めるものであることを特徴とする。

ここで、軸線周りの時計回り及び反時計回りとは、内視鏡の基端側から見たときの時計回り及び反時計回りを意味する。

上記本発明の画像処理装置において、角度範囲は−９０゜〜＋９０゜であってもよい。

上記本発明の画像処理装置において、管腔構造は、人体の管腔臓器であり、角度範囲は、９０を超える正の値であるＴａおよびＴｂにより表される−Ｔａ゜〜＋Ｔｂ゜であり、パラメータ算出部は、経路上の任意の位置における回転操作による内視鏡の回転角度を回転操作に関するパラメータ値として算出する際に、上述した合計が角度範囲内に収まるような対象の位置における回転操作による内視鏡の回転角度が２つ存在する場合に、人体の背側から腹側に向かう方向又は腹側から背側に向かう方向が、回転操作の後に内視鏡により撮影される画像の上方向により近いものとなる方の回転角度を、回転操作に関するパラメータ値として算出するものであってもよい。

ここで、画像の上方向とは、画像の上下方向（縦方向）における上方向（下から上に向かう方向）を意味する。

上記本発明の画像処理装置において、管腔構造は、人体の管腔臓器であり、角度範囲は、９０を超える正の値であるＴａおよびＴｂにより表される−Ｔａ゜〜＋Ｔｂ゜であり、パラメータ算出部は、経路上の任意の位置における回転操作による内視鏡の回転角度を回転操作に関するパラメータ値として算出する際に、上述した合計が角度範囲内に収まるような対象の位置における回転操作による内視鏡の回転角度が２つ存在する場合に、人体の内側から外側へ向かう方向が、回転操作の後に内視鏡により撮影される画像の上方向により近いものとなる方の回転角度を、回転操作に関するパラメータ値として算出するものであってもよい。

上記本発明の画像処理装置において、角度範囲は、９０を超える正の値であるＴａおよびＴｂにより表される−Ｔａ゜〜＋Ｔｂ゜であり、パラメータ算出部は、経路上の任意の位置における回転操作による内視鏡の回転角度を回転操作に関するパラメータ値として算出する際に、上述した合計が角度範囲内に収まるような対象の位置における回転操作による内視鏡の回転角度が２つ存在する場合に、対象の位置から１つ以上先の回転操作を行う位置までの各回転操作を行う位置における回転角度の絶対値の合計がより小さいものとなる方の回転角度を、回転操作に関するパラメータ値として算出するものであってもよい。

上記本発明の画像処理装置は、パラメータ算出部により算出されたパラメータ値を適用して、３次元画像から仮想内視鏡画像を生成する画像生成部を備えたものであってもよい。

上記本発明の画像処理装置において、画像を表示する表示部と、内視鏡を管腔構造内で経路に沿って進める際に、経路上における内視鏡の位置に応じて、パラメータ算出部により算出された内視鏡の位置に対応するパラメータ値を表示部に表示させる表示制御部とを備えたものであってもよい。

本発明の画像処理方法は、管腔構造を表す３次元画像から、内視鏡を管腔構造内で予め定められた経路に沿って進めるための内視鏡操作に関するパラメータ値を算出する画像処理方法であって、内視鏡が、軸線方向への進退操作、軸線周りの回転操作、および先端部に対する先端部の軸線を含む１つの平面内のみにおける曲げ操作が可能なものであり、パラメータ値を算出する処理が、軸線回りの時計回り及び反時計回りのいずれか一方を正とし、他方を負として、経路上の任意の位置における回転操作による内視鏡の回転角度を回転操作に関するパラメータ値として算出するものであって、先端部が管腔構造内に挿入されてから対象の位置に至るまでに行われた回転操作による内視鏡の回転角度の累計と、対象の位置における回転操作による内視鏡の回転角度との合計が予め定められた角度範囲内に収まるように、対象の位置における回転操作による内視鏡の回転角度を求めるものであることを特徴とする。

本発明の画像処理プログラムは、コンピュータに、管腔構造を表す３次元画像から、内視鏡を管腔構造内で予め定められた経路に沿って進めるための内視鏡操作に関するパラメータ値を算出する処理を実行させるための画像処理プログラムであって、内視鏡が、軸線方向への進退操作、軸線周りの回転操作、および先端部に対する先端部の軸線を含む１つの平面内のみにおける曲げ操作が可能なものであり、パラメータ値を算出する処理が、軸線回りの時計回り及び反時計回りのいずれか一方を正とし、他方を負として、経路上の任意の位置における回転操作による内視鏡の回転角度を回転操作に関するパラメータ値として算出するものであって、先端部が管腔構造内に挿入されてから対象の位置に至るまでに行われた回転操作による内視鏡の回転角度の累計と、対象の位置における回転操作による内視鏡の回転角度との合計が予め定められた角度範囲内に収まるように、対象の位置における回転操作による内視鏡の回転角度を求めるものであることを特徴とする。

上記本発明の画像処理方法及びプログラムにおいて、角度範囲は−９０゜〜＋９０゜であってもよい。

また、本発明の画像処理プログラムは、通常、複数のプログラムモジュールからなり、上記各処理は、それぞれ、一または複数のプログラムモジュールにより実現される。これらのプログラムモジュール群は、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。

本発明の画像処理装置、方法、及びプログラムでは、内視鏡が、軸線方向への進退操作、軸線周りの回転操作、および先端部に対する先端部の軸線を含む１つの平面内のみにおける曲げ操作が可能なものであることを前提に、管腔構造を表す３次元画像から、内視鏡を管腔構造内で予め定められた経路に沿って進めるための内視鏡操作に関するパラメータ値を算出する。具体的には、軸線回りの時計回り及び反時計回りのいずれか一方を正とし、他方を負として、経路上の任意の位置における回転操作による内視鏡の回転角度を回転操作に関するパラメータ値として算出する際に、先端部が管腔構造内に挿入されてから対象の位置に至るまでに行われた回転操作による内視鏡の回転角度の累計と、対象の位置における回転操作による内視鏡の回転角度との合計が予め定められた角度範囲内に収まるように、対象の位置における回転操作による内視鏡の回転角度を求めるようにしている。これにより、手首の可動範囲等が考慮された適切な角度範囲を予め定め、回転操作による内視鏡の回転がその角度範囲内でのみ行われるようにすることができ、操作者が内視鏡を握り直す手間を軽減させ、操作性を向上させることができる。また、この操作性の向上による検査時間の短縮により、患者の負担を軽減することができる。

本発明の一実施形態を備えた画像処理システムの概略構成を示す図 図１の画像処理装置に実装された機能を示すブロック図 内視鏡の曲げ操作における曲げの角度を算出する方法を説明するための図 気管支の経路上の３点の曲げ操作の位置を通る平面を示す図 内視鏡の先端部の曲げの操作が可能な平面を示す図 内視鏡の回転操作における回転の角度を算出する方法を説明するための図 画像の向きに基づいて回転の角度を決める方法を説明するための図（その１） 画像の向きに基づいて回転の角度を決める方法を説明するための図（その２） 図１の画像処理装置により行われる処理の流れを示すフローチャート

以下、図面を参照して、本発明の画像処理装置、方法、及びプログラムの一実施形態を備えた画像処理システムについて説明する。図１は、画像処理システムの概略構成を示すブロック図である。図１に示すように、このシステムでは、内視鏡装置１と、３次元画像撮影装置２と、画像保管サーバ３と、画像処理装置４とが、ネットワーク９を経由して通信可能な状態で接続されている。

内視鏡装置１は、被検体の気管支（管腔構造）内に挿入され、気管支の内部を撮影する内視鏡１１、内視鏡１１で撮影された撮影信号に基づいて気管支の内部の画像（以下「内視鏡画像」という）を生成するプロセッサ装置１２、および気管支内における内視鏡１１の先端の位置を検出する位置検出装置１３を備えている。

内視鏡１１は、軸線方向への進退操作、軸線周りの回転操作、および先端部に対するその先端部の軸線を含む１つの平面内のみにおける曲げ操作が可能に構成されている。内視鏡１１は、基端側に内視鏡の動作を操作するための操作部を備え、操作部からの操作入力に応じて、先端部をその先端部の軸線を含む１つの平面内において所定の角度範囲内で湾曲させる機構を有している。

プロセッサ装置１２は、内視鏡１１で撮影された撮影信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像を生成するものである。なお、生成される内視鏡画像は、画像保管サーバ３を経由してまたは直接、画像処理装置４に送信される。

位置検出装置１３は、たとえば被検体の特定位置を基準点とした３次元座標系の検出領域を有するエコー装置等により、内視鏡の先端の特徴的な形状を検出することで、気管支内における内視鏡の先端の位置を検出するものである。なお、検出された位置の情報は画像処理装置４に送信される。

３次元画像撮影装置２は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置等である。なお、生成された３次元画像は画像保管サーバ３に送信され、保存される。本実施形態では、３次元画像撮影装置２は、気管支を含む胸部を撮影した３次元画像を生成する。

画像保管サーバ３は、データを保存して管理するコンピュータであり、外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、内視鏡装置１で取得された内視鏡画像および３次元画像撮影装置２で生成された３次元画像等の画像データをネットワーク経由で取得し、外部記憶装置等の記録媒体に保存して管理する。

画像処理装置４は、コンピュータ（スマートフォンやタブレットコンピュータを含む）に、本発明の画像処理プログラムをインストールしたものである。画像処理装置４は、ＣＰＵ（Central Processing Unit）等が格納される装置本体５と、ユーザによる入力を受け付ける入力部６と、表示を行う表示部７とで構成されている。入力部６は、マウス、キーボード、タッチパッド等である。表示部７は、液晶ディスプレイ、タッチパネル、タッチスクリーン等である。

装置本体５は、ＣＰＵ５ａ、メモリ５ｂ、およびＨＤＤ（Hard Disk Drive）５ｃで構成されている。そして、ＣＰＵ５ａ、メモリ５ｂ、およびＨＤＤ５ｃは互いにバスラインで接続されている。ＨＤＤ５ｃには、本発明の画像処理プログラムとそのプログラムが参照するデータが記憶されている。ＣＰＵ５ａは、ＨＤＤ５ｃに記憶されているプログラムに従い、メモリ５ｂを一次記憶領域として、各種処理を実行する。

図２は、画像処理装置４の機能を示す機能ブロック図である。図２に示すように、画像処理装置４の装置本体５は、ＨＤＤ５ｃに記憶されているプログラムによる情報処理をＣＰＵ５ａが実行することで、画像取得部５１、パラメータ算出部５２、画像生成部５３、位置情報取得部５４、および表示制御部５５として機能する。

画像取得部５１は、内視鏡装置１で生成された内視鏡画像、３次元画像撮影装置２で生成された３次元画像等の画像データをそれぞれの装置から直接または画像保管サーバ３を経由して取得するものである。この画像取得部５１により取得された画像は、ＨＤＤ５ｃに記憶される。

パラメータ算出部５２は、画像取得部５１により取得された３次元画像から、内視鏡を気管支内で予め定められた経路に沿って進めるための内視鏡操作に関するパラメータ値を算出するものである。このとき、内視鏡は、軸線方向への進退操作、軸線周りの回転操作、および先端部に対するその先端部の軸線を含む１つの平面内のみにおける曲げ操作が可能なものであることを前提とする。

パラメータ算出部５２は、まず３次元画像に含まれる気管支領域の３次元のグラフ構造を画像解析により抽出し、抽出されたグラフ構造において内視鏡を挿入する経路Ｃを自動または手動で設定する。そして、パラメータ算出部５２は、設定された経路Ｃの情報に基づいて、内視鏡の進退操作、回転操作、および曲げ操作に関するパラメータ値を算出する。

具体的には、パラメータ算出部５２は、設定された経路Ｃに沿った内視鏡の挿入長さを、進退操作のパラメータとして算出する。また、経路Ｃ上の分岐等により湾曲している任意の位置において、その湾曲した角度に対応した内視鏡の曲げの角度を、その位置における曲げ操作のパラメータとして算出する。具体的には、図３に示すように、経路Ｃ上の位置Ｐ（ｉ）における内視鏡の曲げの角度として、経路Ｃ上の一つ前の曲げ操作の位置Ｐ（ｉ−１）から位置Ｐ（ｉ）へのベクトルＶ（ｉ−１）と、位置Ｐ（ｉ）から経路Ｃ上の次の曲げ操作の位置Ｐ（ｉ＋１）へのベクトルＶ（ｉ）の２つのベクトルがなす角度θ（ｉ）を算出する。

また、パラメータ算出部５２は、経路Ｃ上の分岐等により湾曲している任意の位置Ｐ（ｉ）（またはその手前の位置）にまで進められた内視鏡を、経路Ｃに沿ってさらに先に進めるための、内視鏡の回転操作における回転の角度を、その位置における回転操作のパラメータとして算出する。具体的には、まず、図４に示すように、経路Ｃ上の一つ前の曲げ操作の位置Ｐ（ｉ−１）、現在の位置Ｐ（ｉ）、及び次の曲げ操作の位置Ｐ（ｉ＋１）の３点を通る平面Ｓ（ｉ）を求める。そして、図５に示すように、回転操作前の内視鏡の状態において、先端部の曲げの支点となる位置Ｑ１、および任意の異なる２つの曲げ角度で先端部を曲げたときに得られる内視鏡先端の位置Ｑ２、Ｑ３の３点を通る平面Ｓを求める。なお、図５では、先端部の曲げの操作が可能な方向を矢印Ｂで示している。図６において同じ（？）。

さらに、パラメータ算出部５２は、図６に示すように、平面Ｓを平面Ｓ（ｉ）に重なるようにするための、内視鏡の軸線回りの回転角度であって、内視鏡の軸線回りの時計回りを正とし、反時計回りを負として、内視鏡の先端部が気管支内に挿入されてから現在の位置Ｐ（ｉ）に至るまでに行われた回転操作による内視鏡の回転角度を累計した値との合計が予め定められた角度範囲Ｒａ（たとえば、−９０゜〜＋９０゜）内に収まる回転角度を、位置Ｐ（ｉ）における回転操作のパラメータとして算出する。たとえば、予め定められた角度範囲Ｒａが−９０゜〜＋９０゜であり、位置Ｐ（ｉ）に至るまでに行われた回転操作による内視鏡の回転角度を累計した値が＋４５゜である場合において、平面Ｓを平面Ｓ（ｉ）に重なるようにすることができる内視鏡の回転角度が＋５０゜（時計回り）または−１３０°（反時計回り）である場合、累計との合計が−９０゜〜＋９０゜内に収まる回転角度である−１３０°を、位置Ｐ（ｉ）における回転操作のパラメータとして算出する。

なお、上記説明では、角度範囲Ｒａを−９０゜〜＋９０゜とした場合について説明したが、角度範囲Ｒａは、自動または手動で任意に設定することができ、必要に応じて適宜変更することもできる。設定可能な角度範囲Ｒａの一例として、たとえば９０を超える正の値であるＴａおよびＴｂにより表される−Ｔａ゜〜＋Ｔｂ゜（たとえば−１２０゜〜＋１２０゜）が挙げられる。ここで、このような角度範囲の設定においては、平面Ｓを平面Ｓ（ｉ）に重なるようにすることが可能な時計回り及び反時計回りの各回転角度のいずれも、現在の位置Ｐ（ｉ）に至るまでに行われた回転操作による内視鏡の回転角度を累計した値との合計が角度範囲Ｒａ内に収まる場合が発生する。たとえば、予め定められた角度範囲Ｒａが−１２０゜〜＋１２０゜であり、位置Ｐ（ｉ）に至るまでに行われた回転操作による内視鏡の回転角度の累計が＋４５゜である場合において、平面Ｓを平面Ｓ（ｉ）に重なるようにすることができる内視鏡の回転角度が＋５０゜（時計回り）または−１３０°（反時計回り）である場合、そのいずれの回転角度も累計との合計が−１２０゜〜＋１２０゜内に収まることとなる。

このような場合、パラメータ算出部５２は、以下に説明する第１から第３までのいずれかの一の方法により、時計回り及び反時計回りの２つの回転角度のうちのいずれか一方を、回転操作に関するパラメータ値として算出する。

第１の方法として、パラメータ算出部５２は、時計回り及び反時計回りの２つの回転角度のうち、人体の背側から腹側に向かう方向（または腹側から背側に向かう方向）が、その回転角度による回転操作の後に内視鏡により撮影される画像の上方向により近いものとなる方の回転角度を、回転操作に関するパラメータ値として算出することができる。

このとき、２つの回転角度の中から、人体の背側から腹側に向かう方向（または腹側から背側に向かう方向）が、画像の上方向により近いものとなる回転角度を特定する方法としては、種々の方法がある。たとえば、２つの回転角度のそれぞれについて、その回転角度による回転操作後の内視鏡により撮影される画像の上方向に対応する３次元画像上の方向ベクトルを取得し、３次元画像における人体の背側から腹側に向かう方向ベクトルとの内積を計算し、その計算により得られた値が小さい方の回転角度を特定する方法がある。他にも、３次元画像における人体の背側から腹側に向かう方向Ｂｕｐを基準にした気管支内への挿入直後の内視鏡により撮影される画像の上方向Ｅｕｐの角度βを求め、内視鏡の先端部が気管支内に挿入されてから現在の位置Ｐ（ｉ）に至るまでに行われた回転操作による内視鏡の回転角度を累計した値との合計が（−９０―β）°〜（＋９０―β）°の角度範囲Ｒｕｐ内に収まる方の回転角度を特定する方法がある。

たとえば、図７に示すように、予め定められた角度範囲Ｒａが−１２０゜〜＋１２０゜であり、気管支内への挿入直後の状態での内視鏡により撮影される画像の上方向Ｅｕｐと３次元画像における人体の背側から腹側に向かう方向Ｂｕｐと一致することにより、第２の角度範囲Ｒｕｐが−９０゜〜＋９０゜である場合において、平面Ｓを平面Ｓ（ｉ）に重なるようにすることができ、かつ、累計との合計が−１２０゜〜＋１２０゜内に収まる内視鏡の回転角度が２つ存在する場合には、２つの回転角度のうち、累計との合計がさらに−９０゜〜＋９０゜内に収まる方の回転角度を、回転操作に関するパラメータ値として算出する。

また、図８に示すように、予め定められた角度範囲Ｒａが−１２０゜〜＋１２０゜であり、かつ、３次元画像における人体の背側から腹側に向かう方向Ｂｕｐに対する、挿入開始位置の内視鏡により撮影される画像の上方向Ｅｕｐの角度βが−２０゜であることにより、第２の角度範囲Ｒｕｐが−７０゜〜＋１１０゜である場合において、平面Ｓを平面Ｓ（ｉ）に重なるようにすることができ、かつ、累計との合計が−１２０゜〜＋１２０゜内に収まる内視鏡の回転角度が２つ存在する場合には、２つの回転角度のうち、累計との合計がさらに−７０゜〜＋１１０゜内に収まる方の回転角度を、回転操作に関するパラメータ値として算出する。

第２の方法として、パラメータ算出部５２は、時計回り及び反時計回りの２つの回転角度のうち、人体の内側から外側へ向かう方向が、その回転角度による回転操作の後に内視鏡により撮影される画像の上方向により近いものとなる方の回転角度を、回転操作に関するパラメータ値として算出することができる。このとき、２つの回転角度の中から、人体の内側から外側へ向かう方向が、画像の上方向により近いものとなる回転角度を特定する方法としては、たとえば、まず、３次元画像において、３次元画像に含まれる人体領域の中心（または重心）に相当する位置に基準点を設定し、次に、２つの回転角度のそれぞれについて、その回転角度による回転操作後の内視鏡により撮影される３次元画像を上下に二分した場合に、二分されたうちの下側の部分に上記設定された基準点が存在する方の回転角度を特定する方法がある。

第３の方法として、パラメータ算出部５２は、時計回り及び反時計回りの２つの回転角度のうち、その位置から１つ以上先の回転操作を行う位置までの各回転操作を行う位置における回転角度の絶対値の合計がより小さいものとなる方の回転角度を、回転操作に関するパラメータ値として算出することができる。

画像生成部５３は、３次元画像から、パラメータ算出部５２により算出された内視鏡操作のパラメータ値によって位置および姿勢が規定される仮想の内視鏡によって、３次元画像に含まれる気管支の内壁を仮想的に撮影した仮想内視鏡画像を生成するものである。仮想内視鏡画像の生成には、ボリュームレンダリング法、サーフェスレンダリング法等の公知の手法を用いることができる。画像生成部５３によれば、経路Ｃ上の各位置における静止画の仮想内視鏡画像はもちろん、経路Ｃに沿った内視鏡の移動に応じて撮影される動画の仮想内視鏡画像を得ることもできる。

位置情報取得部５４は、位置検出装置１３が検出した内視鏡の先端の位置情報を取得するものである。

表示制御部５５は、内視鏡を気管支内で予め定められた経路に沿って目標とする位置まで導くためのナビゲーション情報を表示部７に表示させるものである。表示制御部５５は、具体的には、パラメータ算出部５２により算出された内視鏡操作のパラメータ値、画像生成部５３により生成された動画または静止画の仮想内視鏡画像等をナビゲーション情報として表示部７に表示させることができる。たとえば、表示制御部５５は、画像取得部５１により内視鏡装置１からリアルタイムで取得した内視鏡画像を表示部７に表示させるとともに、位置情報取得部５４により取得した内視鏡１１の先端の位置における内視鏡操作のパラメータ値を併せて表示させることができる。また、表示制御部５５は、上記内視鏡画像と内視鏡操作のパラメータ値の表示に代えて、またはこれに加えて、位置情報取得部５４により取得した内視鏡１１の先端の位置における内視鏡操作または次の内視鏡操作をナビゲーションする仮想内視鏡画像を表示部７に表示させることができる。もちろん、この仮想内視鏡画像の表示上に、内視鏡操作のパラメータ値を併せて表示させるようにしてもよい。

次に、画像処理装置４により行われる処理の流れの一例について、図９に示すフローチャートを参照して説明する。まず、画像取得部５１が、画像保管サーバ３から気管支を含む胸部を撮影した３次元画像を取得する（Ｓ１）。次いで、パラメータ算出部５２が、３次元画像から、内視鏡を気管支内で予め定められた経路に沿って進めるための内視鏡操作に関するパラメータ値を算出する（Ｓ２）。具体的には、まず３次元画像に含まれる気管支領域の３次元のグラフ構造を画像解析により抽出し、抽出されたグラフ構造において内視鏡を挿入する経路Ｃを設定し、設定された経路Ｃの情報に基づいて、内視鏡の進退操作、回転操作、および曲げ操作に関するパラメータ値を算出する。特に、経路Ｃ上の分岐等により湾曲している任意の位置Ｐ（ｉ）における内視鏡の回転操作のパラメータとして、内視鏡の曲げの操作が可能な平面Ｓが、位置Ｐ（ｉ）を含む経路Ｃ上の３点の位置を通る平面Ｓ（ｉ）に重なるようにするための内視鏡の軸線回りの回転角度であって、内視鏡の先端部が気管支内に挿入されてから現在の位置Ｐ（ｉ）に至るまでに行われた回転操作による内視鏡の回転角度を累計した値との合計が予め定められた角度範囲Ｒａ（たとえば、−９０゜〜＋９０゜）内に収まる回転角度を算出する。

次いで、位置情報取得部５４が、位置検出装置１３が検出した内視鏡の先端の位置情報を取得し（Ｓ３）、表示制御部５５が、ステップＳ２において算出された内視鏡操作に関するパラメータ値の中から、位置情報取得部５４により取得した内視鏡１１の先端の位置に対応する内視鏡操作のパラメータ値を取得する（Ｓ４）。また、画像生成部５３が、３次元画像から、位置情報取得部５４により取得した内視鏡１１の先端の位置に対応する内視鏡操作をナビゲーションする仮想内視鏡画像を生成する（Ｓ５）。そして、表示制御部５５が、ステップＳ４で取得されたパラメータ値の情報やステップＳ５で取得された仮想内視鏡画像を表示部７に表示させ（Ｓ６）、処理を終了する。

以上の構成により、本実施形態の画像処理システムでは、内視鏡が、軸線方向への進退操作、軸線周りの回転操作、および先端部に対する先端部の軸線を含む１つの平面内のみにおける曲げ操作が可能なものであることを前提に、パラメータ算出部５２が、気管支を表す３次元画像から、内視鏡を気管支内で予め定められた経路に沿って進めるための内視鏡操作に関するパラメータ値を算出している。具体的には、軸線回りの時計回り及び反時計回りのいずれか一方を正とし、他方を負として、経路上の任意の位置における回転操作による内視鏡の回転角度を回転操作に関するパラメータ値として算出する際に、先端部が気管支内に挿入されてから対象の位置に至るまでに行われた回転操作による内視鏡の回転角度の累計と、対象の位置における回転操作による内視鏡の回転角度との合計が予め定められた角度範囲Ｒａ内に収まるように、対象の位置における回転操作による内視鏡の回転角度を求めるようにしている。これにより、手首の可動範囲等が考慮された適切な角度範囲Ｒａを予め定め、回転操作による内視鏡の回転がその角度範囲Ｒａ内でのみ行われるようにすることができ、操作者が内視鏡を握り直す手間を軽減させ、操作性を向上させることができる。

特に、本実施形態の画像処理システムにおいて、角度範囲Ｒａを−９０゜〜＋９０゜とした場合には、操作者が内視鏡を握り直す手間を省いて、操作性をより向上させることができる。

なお、上記実施の形態では、画像処理装置４が、画像生成部５３、位置情報取得部５４、および表示制御部５５を備えたものである場合について説明したが、それらの構成を省略して、画像取得部５１により取得された３次元画像から、内視鏡操作に関するパラメータ値をパラメータ算出部５２により算出し、算出されたパラメータ値を外部の装置において利用可能に提供するものとしてもよい。

また、上記実施の形態では、本発明の画像処理装置方法、及びプログラムを気管支内における内視鏡の操作に適用した場合について説明したが、これに限定されるものではなく、血管のような分岐構造を有する他の管状構造内において内視鏡を操作する場合にも、本発明を適用できる。

１ 内視鏡装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ 画像処理装置
５ 装置本体
５ａ ＣＰＵ
５ｂ メモリ
５ｃ ＨＤＤ
６ 入力部
７ 表示部
１１ 内視鏡
１２ プロセッサ装置
１３ 位置検出装置
５１ 画像取得部
５２ パラメータ算出部
５３ 画像生成部
５４ 位置情報取得部
５５ 表示制御部

Claims (11)

1. 管腔構造を表す３次元画像から、内視鏡を前記管腔構造内で予め定められた経路に沿って進めるための内視鏡操作に関するパラメータ値を算出するパラメータ算出部を備えた画像処理装置であって、
   前記内視鏡が、軸線方向への進退操作、軸線周りの回転操作、および先端部に対する該先端部の軸線を含む１つの平面内のみにおける曲げ操作が可能なものであり、
   前記パラメータ算出部が、前記軸線回りの時計回り及び反時計回りのいずれか一方を正とし、他方を負として、前記経路上の任意の位置における前記回転操作による前記内視鏡の回転角度を前記回転操作に関するパラメータ値として算出するものであって、前記先端部が前記管腔構造内に挿入されてから前記位置に至るまでに行われた回転操作による前記内視鏡の回転角度の累計と、当該位置における回転操作による前記内視鏡の回転角度との合計が予め定められた角度範囲内に収まるように、当該位置における回転操作による前記内視鏡の回転角度を求めるものである
   ことを特徴とする画像処理装置。
2. 前記角度範囲が、−９０゜〜＋９０゜である請求項１記載の画像処理装置。
3. 前記管腔構造が、人体の管腔臓器であり、
   前記角度範囲が、９０を超える正の値であるＴａおよびＴｂにより表される−Ｔａ゜〜＋Ｔｂ゜であり、
   前記パラメータ算出部が、前記経路上の任意の位置における前記回転操作による前記内視鏡の回転角度を前記回転操作に関するパラメータ値として算出する際に、前記合計が前記角度範囲内に収まるような前記位置における回転操作による前記内視鏡の回転角度が２つ存在する場合に、前記人体の背側から腹側に向かう方向が、前記回転操作の後に前記内視鏡により撮影される画像の上方向により近いものとなる方の回転角度を、前記回転操作に関するパラメータ値として算出するものである請求項１記載の画像処理装置。
4. 前記管腔構造が、人体の管腔臓器であり、
   前記角度範囲が、９０を超える正の値であるＴａおよびＴｂにより表される−Ｔａ゜〜＋Ｔｂ゜であり、
   前記パラメータ算出部が、前記経路上の任意の位置における前記回転操作による前記内視鏡の回転角度を前記回転操作に関するパラメータ値として算出する際に、前記合計が前記角度範囲内に収まるような前記位置における回転操作による前記内視鏡の回転角度が２つ存在する場合に、前記人体の内側から外側へ向かう方向が、前記回転操作の後に前記内視鏡により撮影される画像の上方向により近いものとなる方の回転角度を、前記回転操作に関するパラメータ値として算出するものである請求項１記載の画像処理装置。
5. 前記角度範囲が、９０を超える正の値であるＴａおよびＴｂにより表される−Ｔａ゜〜＋Ｔｂ゜であり、
   前記パラメータ算出部が、前記経路上の任意の位置における前記回転操作による前記内視鏡の回転角度を前記回転操作に関するパラメータ値として算出する際に、前記合計が前記角度範囲内に収まるような前記位置における回転操作による前記内視鏡の回転角度が２つ存在する場合に、当該位置から１つ以上先の回転操作を行う位置までの各回転操作を行う位置における回転角度の絶対値の合計がより小さいものとなる方の回転角度を、前記回転操作に関するパラメータ値として算出するものである請求項１記載の画像処理装置。
6. 前記パラメータ算出部により算出されたパラメータ値を適用して、前記３次元画像から仮想内視鏡画像を生成する画像生成部を備えた請求項１から５のいずれか一項記載の画像処理装置。
7. 画像を表示する表示部と、
   前記内視鏡を前記管腔構造内で前記経路に沿って進める際に、前記経路上における前記内視鏡の位置に応じて、前記パラメータ算出部により算出された前記内視鏡の位置に対応するパラメータ値を前記表示部に表示させる表示制御部と
   を備えた請求項１から６のいずれか一項記載の画像処理装置。
8. 画像処理装置が、管腔構造を表す３次元画像から、内視鏡を前記管腔構造内で予め定められた経路に沿って進めるための内視鏡操作に関するパラメータ値を算出する画像処理方法であって、
   前記内視鏡が、軸線方向への進退操作、軸線周りの回転操作、および先端部に対する該先端部の軸線を含む１つの平面内のみにおける曲げ操作が可能なものであり、
   前記パラメータ値を算出する処理が、前記軸線回りの時計回り及び反時計回りのいずれか一方を正とし、他方を負として、前記経路上の任意の位置における前記回転操作による前記内視鏡の回転角度を前記回転操作に関するパラメータ値として算出するものであって、前記先端部が前記管腔構造内に挿入されてから前記位置に至るまでに行われた回転操作による前記内視鏡の回転角度の累計と、当該位置における回転操作による前記内視鏡の回転角度との合計が予め定められた角度範囲内に収まるように、当該位置における回転操作による前記内視鏡の回転角度を求めるものであることを特徴とする画像処理方法。
9. 前記角度範囲が、−９０゜〜＋９０゜である請求項８記載の画像処理方法。
10. コンピュータに、管腔構造を表す３次元画像から、内視鏡を前記管腔構造内で予め定められた経路に沿って進めるための内視鏡操作に関するパラメータ値を算出する処理を実行させるための画像処理プログラムであって、
    前記内視鏡が、軸線方向への進退操作、軸線周りの回転操作、および先端部に対する該先端部の軸線を含む１つの平面内のみにおける曲げ操作が可能なものであり、
    前記パラメータ値を算出する処理が、前記軸線回りの時計回り及び反時計回りのいずれか一方を正とし、他方を負として、前記経路上の任意の位置における前記回転操作による前記内視鏡の回転角度を前記回転操作に関するパラメータ値として算出するものであって、前記先端部が前記管腔構造内に挿入されてから前記位置に至るまでに行われた回転操作による前記内視鏡の回転角度の累計と、当該位置における回転操作による前記内視鏡の回転角度との合計が予め定められた角度範囲内に収まるように、当該位置における回転操作による前記内視鏡の回転角度を求めるものである
    ことを特徴とする画像処理プログラム。
11. 前記角度範囲が、−９０゜〜＋９０゜である請求項１０記載の画像処理プログラム。