JP2009148468A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】体内の管空内を移動する撮像装置の管空深部向きの移動量を算出すること。
【解決手段】画像パターン判定部７５１は、管空内画像を撮像した際のカプセル型内視鏡３（撮像装置）の姿勢および被写体に対するカプセル型内視鏡３（撮像装置）の相対的な動き方を判定する。管移動量算出部７５４は、画像パターン判定部７５１によって判定された被写体の種類および動き方と、時系列で近傍する管空内画像間に映る同一の対象領域の対応関係とをもとに、一方の管空内画像の撮像時から他方の管空内画像の撮像時までに移動したカプセル型内視鏡の管空深部向きの移動量を算出する。
【選択図】図２

Description

本発明は、体内の管空内を移動する撮像装置によって撮像された時系列の管空内画像を処理する画像処理装置および画像処理プログラムに関するものである。

近年、カプセル型内視鏡に代表されるように、体内の管空内を移動しながら時系列の管空内画像を順次撮像する医用の撮像装置が開発されている。カプセル型内視鏡は、患者の口から飲み込まれて体内に導入されると、管空内を蠕動運動等により移動しながら順次画像を撮像して体外の受信装置に送信し、最終的に体外に排出される。このカプセル型内視鏡による検査では、患者は、受信装置を携帯することによって自由に行動できる。医師は、体外の受信装置で受信した時系列の管空内画像を診断用のワークステーション等で確認し、患部を発見した場合には、必要に応じて再度患者の体内に医療処置具を挿入したり、患者の体を切開する等して、組織採取や止血、患部切除といった医療処置を行う。

このような医療処置を効率よく行うためには、発見した患部が管空内のどこにあるのかという情報が必要となるが、撮像装置が患部を撮像した場合、撮像時の撮像装置の位置は患部の付近に相当する。したがって、撮像時の撮像装置の位置が把握できれば、患部の位置を推定することができる。

撮像時のカプセル型内視鏡の位置等を検出する手法としては、カプセル型内視鏡に内蔵されるデータ送信用のアンテナと、体表上の所定位置に配置される複数の受信アンテナとを用い、電磁波信号の受信強度をもとにカプセル型内視鏡のアンテナの位置および向きを推定する方法が開示されている（特許文献１参照）。

特開２００７−６０８号公報

しかしながら、特許文献１のように、電磁波信号の受信強度をもとにカプセル型内視鏡の位置等を推定する場合、次のような問題があった。すなわち、体内に存在するカプセル型内視鏡のアンテナから送信された電磁波信号が体外の受信アンテナで受信されるまでの間に、その受信強度が変動してしまうという問題があった。例えば、臓器等の体内器官の種類によって電磁波信号の減衰率が異なるため、カプセル型内視鏡のアンテナと体外の受信アンテナとの間に存在する体内器官によって受信強度の変動の程度が変化してしまう。あるいは、検査中の患者周辺の環境の変化、例えば患者の行動範囲に存在する電子機器等によるノイズや受信アンテナの位置ズレ等の影響を受けて受信強度が変動してしまう場合もある。一方で、臓器が変形したことによる受信強度の変動と、カプセル型内視鏡が移動したことによる受信強度の変動とが区別できないという問題もあった。このため、推定される移動量に誤差が生じ、推定精度が低下するという問題があった。ここで、撮像時の撮像装置の位置に関する情報は、体内での空間的な座標よりも、管空の入口や出口、あるいは特定の臓器の開始位置または終了位置から管空に沿ってどの程度の距離を移動した時点で撮像したのかという情報が有用である。例えば、小腸のように体内で形を変える臓器では、撮像時の撮像装置の位置を体内での座標で把握しても、臓器が変形してしまうと、特定した位置と実際の患部の位置とが一致しなくなる。これに対し、撮像時の撮像装置の位置を管空の入口等の基点からの距離によって把握すれば、臓器が変形した場合であっても患部の位置を知ることができる。

本発明は、上記に鑑みてなされたものであって、体内の管空内を移動する撮像装置の管空深部向きの移動量を算出することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上記した課題を解決し、目的を達成するため、本発明にかかる画像処理装置は、体内の管空内を移動する撮像装置によって撮像された時系列の管空内画像を処理する画像処理装置であって、前記管空内画像を撮像した際の前記管空に対する前記撮像装置の姿勢および被写体に対する前記撮像装置の相対的な動き方を判定する画像パターン判定手段と、前記画像パターン判定手段によって判定された前記撮像装置の姿勢および前記撮像装置の相対的な動き方の情報を用いて、前記撮像装置の管空深部向きの移動量を算出する移動量算出手段と、を備えることを特徴とする。

また、本発明にかかる画像処理プログラムは、体内の管空内を移動する撮像装置によって撮像された時系列の管空内画像を処理するコンピュータに、前記管空内画像を撮像した際の前記管空に対する前記撮像装置の姿勢および被写体に対する前記撮像装置の相対的な動き方を判定する画像パターン判定ステップと、前記画像パターン判定ステップによって判定された前記撮像装置の姿勢および前記撮像装置の相対的な動き方の情報を用いて、前記撮像装置の管空深部向きの移動量を算出する移動量算出ステップと、を実行させることを特徴とする。

本発明にかかる画像処理装置によれば、撮像装置が撮像した時系列の管空内画像を用いて撮像装置の姿勢および被写体に対する撮像装置の相対的な動き方を判定することによって、撮像装置の管空深部向きの移動量を簡便に算出することができる。

以下、図面を参照し、本発明を実施するための最良の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態）
図１は、本発明の実施の形態である画像処理装置を含む画像処理得システムの全体構成を示す概略模式図である。なお、本実施の形態では、体内の管空内を移動する撮像装置の一例としてカプセル型内視鏡を用いる。図１に示すように、画像処理システムは、被検体１の体内の管空内の画像（管空内画像）を撮像するカプセル型内視鏡３、カプセル型内視鏡３から無線送信される管空内画像データを受信する受信装置４、受信装置４によって受信された管空内画像を画像処理する画像処理装置７０等を備える。受信装置４と画像処理装置７０との間の管空内画像のデータの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）５が使用される。

カプセル型内視鏡３は、撮像機能や無線機能、撮像部位を照明する照明機能等を具備するものであって、例えば、検査のために人や動物等の被検体１の口から飲込まれて被検体１内部に導入される。そして、自然排出されるまでの間、食道、胃、小腸、大腸等の内部の管空内画像を順次撮像して取得し、体外に無線送信する。

受信装置４は、複数の受信アンテナＡ１〜Ａｎを介してカプセル型内視鏡３から無線送信される管空内画像を受信する。受信装置４は、可搬型記録媒体５の着脱が自在に構成されており、受信した管空内画像の画像データを可搬型記録媒体５に逐次保存する。本実施の形態では、管空の入口での時刻ｔ（０）から管空の出口での時刻ｔ（Ｔ）までの間に撮像された管空内画像の画像データが時系列順に可搬型記録媒体５に保存されることとする。ここで、管空の入口での時刻ｔ（０）は、例えばカプセル型内視鏡３が被検体内部に導入された時刻に相当し、管空の出口における時刻ｔ（Ｔ）は、カプセル型内視鏡３が体外に排出された時刻に相当する。

受信アンテナＡ１〜Ａｎは、例えばループアンテナで構成され、被検体１の体外表面に貼付される。具体的には、被検体１内におけるカプセル型内視鏡３の通過経路に対応する位置に分散配置される。なお、受信アンテナＡ１〜Ａｎは、被検体１に着用させるジャケットに分散配置されるものであってもよい。この場合には、受信アンテナＡ１〜Ａｎは、被検体１がこのジャケットを着用することによって、被検体１内におけるカプセル型内視鏡３の通過経路に対応する被検体１の体表上の所定位置に配置される。なお、受信アンテナは、被検体１に対して１つ以上配置されればよく、その数は限定されない。

画像処理装置７０は、ワークステーションやパソコン等の汎用コンピュータで実現されるものであり、可搬型記録媒体５の着脱が自在に構成される。この画像処理装置７０は、可搬型記録媒体５に保存された時系列の管空内画像を取得し、取得した管空内画像をＬＣＤやＥＬＤ等のディスプレイに表示する。

図２は、画像処理装置７０の機能構成を説明するブロック図である。本実施の形態では、画像処理装置７０は、外部インターフェース７１と、入力部７２と、表示部７３と、記憶部７４と、演算部７５と、画像処理装置７０全体の動作を制御する制御部７６とを備える。

外部インターフェース７１は、カプセル型内視鏡３で撮像され、受信装置４で受信した管空内画像の画像データを取得するためのものであり、例えば可搬型記録媒体５を着脱自在に装着し、この可搬型記録媒体５に保存された管空内画像の画像データを読み出すリーダ装置で構成される。なお、カプセル型内視鏡３によって撮像された時系列の管空内画像の取得は、可搬型記録媒体５を用いた構成に限定されるものではない。例えば、可搬型記録媒体５のかわりに別途サーバを設置し、このサーバに時系列の管空内画像を予め保存しておく構成としてもよい。この場合には、外部インターフェースを、サーバと接続するための通信装置等で構成する。そして、この外部インターフェースを介してサーバとデータ通信を行い、時系列の管空内画像を取得する。あるいは、記憶部７４内にカプセル型内視鏡３によって撮像された時系列の管空内画像を予め保存しておく構成としてもよい。

入力部７２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、入力された指示情報を制御部７６に出力する。表示部７３は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部７６の制御によって、時系列の管空内画像の表示画面を含む各種画面を表示する。

記憶部７４は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体及びその読取装置等によって実現されるものであり、画像処理装置７０の動作に係るプログラムや、画像処理装置７０の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。また、演算部７５がカプセル型内視鏡３の管空内での位置を算出するための画像処理プログラム７４１が格納される。

演算部７５は、カプセル型内視鏡３によって撮像された時系列の管空内画像を順次処理し、カプセル型内視鏡３の管空内での位置の算出にかかる種々の演算処理を行う。この演算部７５は、画像パターン判定手段としての画像パターン判定部７５１と、管移動量算出手段としての管移動量算出部７５４と、管相対位置算出手段としての管相対位置算出部７５６とを含む。

画像パターン判定部７５１は、管空内画像を撮像した際のカプセル型内視鏡３（撮像装置）の姿勢および被写体に対するカプセル型内視鏡３（撮像装置）の相対的な動き方を判定する。この画像パターン判定部７５１は、管空深部検出手段としての管空深部検出部７５２と、動き判定手段としての画像動き判定部７５３とを備える。管空深部検出部７５２は、カプセル型内視鏡３が管の終端に向かう向き（以下、「管空深部向き」と呼ぶ。）を撮影したときに画像上に暗い画素の領域として現れる管空深部の領域を検出することによって、カプセル型内視鏡３の姿勢を判定する。管空深部領域が検出されれば、その管空内画像は、カプセル型内視鏡３が管空深部向きを向いた姿勢で管空深部向きを撮像した画像であり、検出されなければ、管空深部向きと略直交する向きを向いた姿勢で管空内壁を撮像した画像と判定できる。画像動き判定部７５３は、時系列で異なる時刻に撮像された管空内画像間で各画像に映る同一の対象領域の対応付けを行い、その位置の変化量を表すベクトルデータ（動きベクトル）をもとに各管空内画像を撮像した際の被写体に対するカプセル型内視鏡３の相対的な動き方を判定する。具体的には、画像動き判定部７５３は、「動きなし」「平行移動」「被写体に接近する向きへの移動」「被写体から遠ざかる向きへの移動」「設定外の移動」のいずれかの動きパターンに分類することで判定する。

管移動量算出部７５４は、画像パターン判定部７５１によって判定されたカプセル型内視鏡３の姿勢および被写体に対するカプセル型内視鏡３の相対的な動き方と、時系列で近傍する管空内画像間に映る同一の対象領域の対応関係とをもとに、一方の管空内画像の撮像時から他方の管空内画像の撮像時までに移動したカプセル型内視鏡３の管空深部向きの移動量（以下、「管移動量」と呼ぶ。）を算出する。この管移動量算出部７５４は、管空深部向き推定手段としての管空深部向き推定部７５５を備える。前述のように、管空深部検出部７５２によって管空深部領域が検出されたか否かによって撮像時のカプセル型内視鏡３の姿勢が管空深部向きを向いていたのか管空深部向きと略直交する向きを向いていたのかが判定できるが、管空深部向き推定部７５５は、管空深部検出部７５２によって管空深部領域が検出されなかった管空内画像について、この管空内画像に映る被写体に対して管空深部がどの方向にあるのか推定する。

管相対位置算出部７５６は、管移動量算出部７５４により算出されたカプセル型内視鏡３の管移動量をもとに、各管空内画像を撮像した際のカプセル型内視鏡３の管空全長に対する相対位置を算出する。

図３は、画像処理装置７０の演算部７５が行う演算処理手順を示す全体フローチャートである。なお、ここで説明する処理は、演算部７５が記憶部７４に格納された画像処理プログラム７４１を読み出して実行することによって実現される。

図３に示すように、演算部７５は、先ず、処理対象の管空内画像の時系列順序を示すインデックスｉを「０」に初期化する（ステップａ１）。そして、演算部７５は、外部インターフェース７１および制御部７６を介して処理対象の管空内画像の直前に撮像された時系列で前の管空内画像である時刻ｔ（ｉ）の管空内画像（以下、適宜「時系列前画像Ｉ（ｉ）」と呼ぶ。）と処理対象の管空内画像である時刻ｔ（ｉ＋１）の管空内画像（以下、適宜「処理対象画像Ｉ（ｉ＋１）」と呼ぶ）とを取得する（ステップａ３）。なお、ここでは、時系列で連続する管空内画像を取得することとしたが、互いの管空内画像に管空内の共通部分が映る場合であれば、必ずしも時系列で連続した管空内画像を取得する必要はない。そして、管空深部検出部７５２が処理対象画像Ｉ（ｉ＋１）の中から管空深部領域を検出する管空深部検出処理を実行し（ステップａ５）、画像動き判定部７５３が処理対象画像Ｉ（ｉ＋１）に映る被写体の動き方を判定する画像動き判定処理を実行し（ステップａ７）、管移動量算出部７５４が時刻ｔ（ｉ）からｔ（ｉ＋１）までのカプセル型内視鏡３の管空深部向きの管移動量を算出する管移動量算出処理を実行する（ステップａ９）。

そして、ステップａ９の管移動量算出処理の後、演算部７５が、時系列順序を示すインデックスをインクリメントしてｉ＝ｉ＋１とし（ステップａ１１）、次に処理対象とする時刻ｔ（ｉ＋１）の管空内画像の有無をｔ（ｉ＋１）が処理対象とする管空内画像の最終時刻ｔ（Ｔ）と一致するか否かによって判定する。ｔ（ｉ＋１）＝最終時刻でない場合には（ステップａ１３：Ｎｏ）、ステップａ３〜ａ１１の処理を再度実行し、直前に処理した管空内画像である時刻ｔ（ｉ）の管空内画像を撮像してから時刻ｔ（ｉ＋１）の管空内画像を撮像するまでの間のカプセル型内視鏡３の管空深部向きの管移動量を算出する。一方、ｔ（ｉ＋１）＝最終時刻であれば（ステップａ１３：Ｙｅｓ）、ステップａ１５に移行し、管相対位置算出部７５６が、各管空内画像を撮像した際のカプセル型内視鏡３の管空全長に対する相対位置を算出する管相対位置算出処理を実行する。そして、演算部７５が、管相対位置算出処理の結果に基づいて、各管空内画像の撮像時におけるカプセル型内視鏡３の管空内での位置情報を出力して（ステップａ１７）、画像処理装置７０における演算部７５の演算処理を終了する。例えば、演算部７５は、制御部７６を介して位置情報を表示部７３に表示出力させる。

次に、演算部７５の各部が実行する処理について、詳細に説明する。先ず、図３のステップａ５による管空深部検出処理について説明する。この管空深部検出処理では、管空深部検出部７５２は、処理対象画像Ｉ（ｉ＋１）の中から管空深部領域を検出する。管空深部は、カプセル型内視鏡３から距離が離れているため、カプセル型内視鏡３からの照明が届きにくく、暗い領域として得られる。管空深部検出部７５２は、この暗い画素が集まっている領域を管空深部領域として検出する。

図４は、管空深部検出処理の詳細な処理手順を示すフローチャートである。管空深部検出部７５２は、先ず、処理対象画像Ｉ（ｉ＋１）を構成する各画素のＧ値と、予め設定される所定の閾値とを比較し、処理対象画像Ｉ（ｉ＋１）の各画素の中から、Ｇ値が所定の閾値以下の画素を暗部画素として抽出する（ステップｂ１）。ここでＧ値を用いるのは、血液中のヘモグロビンの吸収帯域の波長に近く、感度や解像度が高いことから、管空内画像の明暗情報をよく表すためである。なお、Ｇ値以外の色成分の値を用いて暗部画素を抽出することとしてもよい。続いて、管空深部検出部７５２は、ステップｂ１で抽出した暗部画素に対して公知のラベリング処理を行って、隣接する暗部画素群に固有の値（ラベル）を付ける（ステップｂ３）。これにより、処理対象画像Ｉ（ｉ＋１）中の暗部領域を決定することができる。ラベリング処理の手法としては、例えば、“ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１８１ｐ，ラベリング”で開示された手法を用いることができる。

続いて、管空深部検出部７５２は、ステップｂ３で決定した処理対象画像Ｉ（ｉ＋１）中の各暗部領域の面積をそれぞれ算出し、面積が最も大きい暗部領域を抽出する（ステップｂ５）。管空内画像には、例えば管空粘膜のしわの影等、管空深部以外の暗部領域も存在するが、通常これらの領域は管空深部に比べて面積が小さいので、管空深部との識別が可能である。そして、管空深部検出部７５２は、ステップｂ５で抽出した暗部領域の面積と予め閾値として設定される基準面積とを比較し、基準面積以上の場合には（ステップｂ７：Ｙｅｓ）、抽出した暗部領域を管空深部領域として検出し（ステップｂ９）、図３のステップａ５にリターンする。一方、抽出した暗部領域の面積が基準面積未満の場合には（ステップｂ７：Ｎｏ）、管空深部検出部７５２は、処理対象画像Ｉ（ｉ＋１）に管空深部が映っていない（管空深部領域なし）として（ステップｂ１１）、図３のステップａ５にリターンする。

次に、図３のステップａ７による画像動き判定処理について説明する。図５は、画像動き判定処理の詳細な処理手順を示すフローチャートである。この画像動き判定処理では、先ず、画像動き判定部７５３は、ステップｃ１〜ｃ５において、管空内画像中に複数設定した設定領域をテンプレートとしたテンプレートマッチングを行う。具体的には、時系列前画像Ｉ（ｉ）と処理対象画像Ｉ（ｉ＋１）との間で各テンプレート位置の動きベクトルを算出する。図６−１は、時系列前画像Ｉ（ｉ）の一例を示す図であり、図６−２は、処理対象画像Ｉ（ｉ＋１）の一例を示す図であり、図６−３は、図６−１の時系列前画像Ｉ（ｉ）に設定した設定領域１１１と図６−２の処理対象画像Ｉ（ｉ＋１）に設定した対応領域１１３とをもとに算出した動きベクトルを示す図である。

図５に示すように、画像動き判定部７５３は先ず、時系列前画像Ｉ（ｉ）中に複数の設定領域を設定する（ステップｃ１）。例えば、図６−１に示すように、時系列前画像Ｉ（ｉ）中に所定数（例えば１６個）の設定領域１１１を設定する。設定する画素領域の位置やサイズ、数等は予め設定しておくこととしてもよいし、ユーザ操作等によって設定変更可能に構成してもよい。あるいは、予め定められた所定の特徴を有する画素が含まれる領域、例えば画素値の分散が大きい領域やエッジ抽出して得られたエッジ強度が強い領域等を設定領域として設定してもよい。続いて、画像動き判定部７５３は、各設定領域１１１を順次テンプレートとし、公知のテンプレートマッチング処理を行って処理対象画像の中から各テンプレートと最もマッチングする（相関値が高い）対応領域を検出する（ステップｃ３）。テンプレートマッチングの手法としては、例えば特開平９−１０２０３９号公報に開示されている技術を用いることができる。具体的には、テンプレート画像（時系列前画像）について、動径方向には等比級数的に、角度方向には等差級数的に極座標型サンプリング点を定め、極座標型テンプレート画像を得る。探索画像（処理対象画像）の各走査点についても同様にして極座標型探索画像を得る。そして、極座標型探索画像に極座標型テンプレート画像を重ね合わせ、動径方向および角度方向に移動しながら最大の正規化相関値をもつ座標を探索することで、拡大・縮小や回転に対応したマッチングを行う。ここで、得られた最大の正規化相関値が所定の閾値以下のものについては、マッチング失敗とする。このマッチングの結果、例えば図６−２に示すように、処理対象画像Ｉ（ｉ＋１）の中から図６−１の各設定領域１１１と最も類似する対応領域１１３が探索され、その正規化相関値が得られる。

そして、図５に示すように、画像動き判定部７５３は、時系列前画像Ｉ（ｉ）の各設定領域と、探索された対応する処理対象画像Ｉ（ｉ＋１）の対応領域とをもとに、中心座標の変化を動きベクトルとして算出する（ステップｃ５）。例えば図６−３に示すように、探索された対応領域、より詳細には、探索された対応領域であってマッチングが成功した対応領域の動きベクトル１１５をそれぞれ算出する。得られたマッチング結果のデータは記憶部７４に保持される。例えば、テンプレートとする設定領域の識別番号と対応付けて、マッチングの成否、得られた対応領域やその相関値、動きベクトル等が記憶される。

そして、画像動き判定部７５３は、ステップｃ７〜ｃ２７において、ステップｃ５で算出した動きベクトルを用いて時刻ｔ（ｉ）からｔ（ｉ＋１）における被写体に対するカプセル型内視鏡３の相対的な動き方を判定する。先ず、画像動き判定部７５３は、処理対象画像について行ったマッチングの成功数と予め閾値として設定される基準成功数とを比較し、基準成功数以下の場合には（ステップｃ７：Ｙｅｓ）、ステップｃ２７に移行する。これは、マッチング失敗数が多い場合は画像動き判定処理の結果に信頼性が得られないと考えられるためであり、ステップｃ９〜ステップｃ２５の処理を行わない。一方、マッチングの成功数が基準成功数より多い場合には（ステップｃ７：Ｎｏ）、画像動き判定部７５３は、平行移動判定処理を実行する（ステップｃ９）。

図７は、平行移動判定処理の詳細な処理手順を示すフローチャートである。動きパターンが「平行移動」の場合、その動きベクトルは全て同じような大きさと向きを持つ。この平行移動判定処理では、各動きベクトルの向きをもとに動きパターンが「平行移動」か否かを判定する。すなわち、先ず、画像動き判定部７５３は、マッチングベクトル数が、予めステップｄ１の判定用の閾値として設定される所定数以下か否かを判定する。そして、画像動き判定部７５３は、マッチングベクトル数が所定数より多い場合には（ステップｄ１：Ｎｏ）、動きベクトルの角度（向き）の平均を算出してこの角度平均との差分の絶対値が最も大きい動きベクトルを選出し、外れ値としてステップｄ５以降の処理の対象から除外する（ステップｄ３）。これは、動きベクトル算出の際に間違った位置でマッチングがとられた動きベクトルが存在することがあり、この場合を考慮して判定精度を向上させるためであるが、マッチングが成功した動きベクトルが少ない場合には、外れ値の除外によって動きパターンの判定に用いる動きベクトルが少なくなり、誤った動きパターンに当てはめてしまう可能性があるため、マッチングが成功したマッチングベクトル数が所定数以下の場合には（ステップｄ１：Ｙｅｓ）、外れ値を除外するステップｄ３の処理を行わない。

続いて、画像動き判定部７５３は、外れ値として除外された動きベクトル以外の動きベクトルをもとに、動きベクトルの角度のばらつきを算出する（ステップｄ５）。本実施形態では、角度のばらつきとして、角度分散を算出する。続いて、画像動き判定部７５３は、マッチングベクトル数に応じてベクトル角度分散閾値を設定する（ステップｄ７）。ベクトル角度分散閾値は、マッチングベクトル数が少ないほどその値が小さくなるように設定される。平行移動判定に用いる動きベクトル数が少ない場合、動きパターンが偶然「平行移動」に当てはまる可能性が高くなるためである。

実際には、このベクトル角度分散閾値は、予め設定される基準ベクトル角度分散閾値をもとに次式（１）に従って算出される。

ここで、Ｖ_p’はベクトル角度分散閾値、Ｖ_pは基準ベクトル角度分散閾値、ｐはマッチングが成功した動きベクトル数、Ｎは全てのマッチングが成功した場合の動きベクトル数、α_pは変換係数を表す。

そして、画像動き判定部７５３は、ステップｄ５で算出した動きベクトルの角度分散が、ステップｄ７で設定したベクトル角度分散閾値以下の場合に（ステップｄ９：Ｙｅｓ）、動きパターンを「平行移動」に分類する（ステップｄ１１）。時系列前画像Ｉ（ｉ）と処理対象画像Ｉ（ｉ＋１）とをもとに算出した処理対象画像Ｉ（ｉ＋１）中の動きベクトルがほぼ同一方向を向いている場合、動きパターンは「平行移動」と分類される。そして、画像動き判定部７５３は、図５のステップｃ９にリターンし、その後ステップｃ１１に移行する。

ステップｃ１１では、画像動き判定部７５３は、動きパターンが「平行移動」か否かを判定する。そして、画像動き判定部７５３は、動きパターンが「平行移動」の場合、すなわちステップｃ９の平行移動判定処理によって動きパターンが「平行移動」に分類された場合には（ステップｃ１１：Ｙｅｓ）、本処理を終了する。一方、画像動き判定部７５３は、動きパターンが「平行移動」でない場合には（ステップｃ１１：Ｎｏ）、被写体方向移動判定処理を実行する（ステップｃ１３）。

図８は、被写体方向移動判定処理の詳細な処理手順を示すフローチャートである。この被写体方向移動判定処理では、画像動き判定部７５３は、先ず、処理対象画像Ｉ（ｉ＋１）中に所定数の中心点候補を設定する（ステップｅ１）。処理対象画像Ｉ（ｉ＋１）中に設定する中心点候補の位置および数は、予め設定しておく。

そして、画像動き判定部７５３は、この中心点候補の中から奥行き中心点を選定する。ここでいう奥行き中心点とは、画像上に表れるカプセル型内視鏡３の移動の進行方向位置であり、例えば、処理対象画像Ｉ（ｉ＋１）上のカプセル型内視鏡３の進行方向位置と最も近接する中心点候補を選定し、奥行き中心点とする。具体的には、画像動き判定部７５３は、各中心点候補それぞれについて、中心点候補から各動きベクトルの始点へのベクトル（以下、「始点ベクトル」と呼ぶ）を算出し、続いて各中心点候補それぞれについて算出した各始点ベクトルについて、当該始点ベクトルが指し示す位置を始点とする動きベクトルとの内積（以下、「動きベクトル内積」と呼ぶ。）を算出する（ステップｅ３）。そして、画像動き判定部７５３は、中心点候補毎に動きベクトル内積の平均を算出し（ステップｅ５）、算出した動きベクトル内積の平均の絶対値が最大値の中心点候補を、奥行き中心点として選定する（ステップｅ７）。

仮に動きパターンが「被写体に接近する向きへの移動」または「被写体から遠ざかる向きへの移動」であるとすると、正しい奥行き中心点である中心点候補では、中心点候補を各動きベクトルの始点と結んだ各始点ベクトルの方向が、それぞれその始点ベクトルが指し示す位置を始点とする動きベクトルの方向と近くなる。このとき「被写体に接近する向きへの移動」であれば始点ベクトルと動きベクトルとの向きは同じとなり、「被写体から遠ざかる向きへの移動」であれば逆向きとなる。これに対し、奥行き中心点ではない中心点候補について算出した各始点ベクトルと対応する各動きベクトルとの関係をみると、これらの向きに一致性がみられない。ここで、始点ベクトルと動きベクトルの方向が近いということは、これらのなす角度が０度もしくは１８０度に近くなるということであり、始点ベクトルと動きベクトルの内積（動きベクトル内積）の値の絶対値は「１」に近くなる。そこで、中心点候補毎に動きベクトル内積の平均を算出し、中心点候補のうち、動きベクトル内積の平均の絶対値が最大値となる中心点候補を奥行き中心点として選定する。なお、奥行き中心点に極めて近い位置で動きベクトルが算出された場合、動きベクトルが０ベクトルになることがある。この０ベクトルについては、動きベクトル内積の値を、その平均がプラスの値の場合には「１．０」、マイナスの値の場合には「−１．０」として処理する。

続いて、画像動き判定部７５３は、マッチングの失敗数と、奥行き中心点からの動きベクトル内積の絶対値が予め設定される基準内積値以下の動きベクトル数、すなわち、その方向が始点ベクトルの方向（すなわち奥行き方向）と一致していない動きベクトル数との総和を算出し、予めステップｅ９の判定用の閾値として設定される所定数未満の場合には（ステップｅ９：Ｎｏ）、ステップｅ１１に移行する。所定数以上の場合には（ステップｅ９：Ｙｅｓ）、本処理を終了する。これは、マッチング失敗数が多い場合や、その方向が始点ベクトルの方向と一致しない動きベクトルが多い場合は、被写体方向移動判定の結果に信頼性が得られないと考えられるためであり、被写体方向移動判定処理におけるステップｅ９以降の処理を行わない。具体的には、動きベクトル内積の平均がプラスの値の場合であれば、動きベクトル内積の値が所定の内積下限値以下の動きベクトルを、その方向が始点ベクトルの方向と一致していないと判定する。動きベクトル内積の平均がマイナスの値であれば、動きベクトル内積の値が所定の内積上限値以上の動きベクトルを、その方向が始点ベクトルの方向と一致していないと判定する。そして、これら始点ベクトルの方向と一致しない方向を持つ動きベクトルの数とマッチングの失敗数との総和が所定数以上か否かを判定する。

ステップｅ１１では、画像動き判定部７５３は、マッチングベクトル数をもとに接近判定用内積閾値および離隔判定用内積閾値を設定する。

接近判定用内積閾値は、マッチングベクトル数が少ないほどその値が「１」に近くなるように設定される。被写体方向移動判定に用いる動きベクトル数が少ない場合、動きパターンが偶然「被写体に接近する向きへの移動」に当てはまる可能性が高くなるためであり、接近判定用内積閾値を高く設定する。

実際には、この接近判定用内積閾値は、予め設定される基準接近判定用内積閾値をもとに次式（２）に従って算出される。

ここで、Ｖ_b’は接近判定用内積閾値、Ｖ_bは基準接近判定用内積閾値、ｐはマッチングが成功した動きベクトル数、Ｎは全てのマッチングが成功した場合の動きベクトル数、α_bは変換係数を表す。

離隔判定用内積閾値は、マッチングベクトル数が少ないほどその値が「−１」に近くなるように設定される。被写体方向移動判定に用いる動きベクトル数が少ない場合、動きパターンが偶然「被写体から遠ざかる向きへの移動」に当てはまる可能性が高くなるためであり、離隔判定用内積閾値を低く設定する。

実際には、この離隔判定用内積閾値は、予め設定される基準離隔判定用内積閾値をもとに次式（３）に従って算出される。

ここで、Ｖ_d’が離隔判定用内積閾値、Ｖ_dは基準離隔判定用内積閾値、ｐはマッチングが成功した動きベクトル数、Ｎは全てのマッチングが成功した場合の動きベクトル数、α_dは変換係数を表す。

そして、画像動き判定部７５３は、ステップｅ５で奥行き中心点について算出した動きベクトル内積の平均が、ステップｅ１１で設定した接近判定用内積閾値以上の場合に（ステップｅ１３：Ｙｅｓ）、動きパターンを「被写体に接近する向きへの移動」に分類する（ステップｅ１５）。処理対象画像Ｉ（ｉ＋１）中の各動きベクトルが、対応する始点ベクトルと略正向きである場合には、動きパターンが「被写体に接近する向きへの移動」に分類される。

一方、画像動き判定部７５３は、ステップｅ５で奥行き中心点について算出した動きベクトル内積の平均が、ステップｅ１１で設定した離隔判定用内積閾値以下の場合に（ステップｅ１７：Ｙｅｓ）、動きパターンを「被写体から遠ざかる向きへの移動」に分類する（ステップｅ１９）。処理対象画像Ｉ（ｉ＋１）中の各動きベクトルが、それぞれ対応する始点ベクトル（奥行き中心点に向かう方向）と略逆向きである場合には、動きパターンが「被写体から遠ざかる向きへの移動」に分類される。そして、画像動き判定部７５３は、図５のステップｃ１３にリターンし、その後ステップｃ１５に移行する。

図５のステップｃ１５では、画像動き判定部７５３は、動きパターンが「被写体に接近する向きへの移動」か否かを判定する。そして、画像動き判定部７５３は、動きパターンが「被写体に接近する向きへの移動」の場合、すなわちステップｃ１３の被写体方向移動判定処理によって動きパターンが「被写体に接近する向きへの移動」に分類された場合には（ステップｃ１５：Ｙｅｓ）、本処理を終了する。一方、画像動き判定部７５３は、動きパターンが「被写体に接近する向きへの移動」でない場合には（ステップｃ１５：Ｎｏ）、続いて、動きパターンが「被写体から遠ざかる向きへの移動」か否かを判定する。そして、画像動き判定部７５３は、動きパターンが「被写体から遠ざかる向きへの移動」の場合、すなわちステップｃ１３の被写体方向移動判定処理によって動きパターンが「被写体から遠ざかる向きへの移動」に分類された場合には（ステップｃ１７：Ｙｅｓ）、本処理を終了する。動きパターンが「被写体から遠ざかる向きへの移動」でなければ（ステップｃ１７：Ｎｏ）、画像動き判定部７５３は、回転移動判定処理を実行する（ステップｃ１９）。

図９は、回転移動判定処理の詳細な処理手順を示すフローチャートである。この回転移動判定処理では、画像動き判定部７５３は、先ず、処理対象画像中に所定の中心点候補を設定する（ステップｆ１）。そして、画像動き判定部７５３は、この中心点候補の中から回転中心点を選定する。具体的には、画像動き判定部７５３は、各中心点候補それぞれについて、中心点候補から各動きベクトルの始点への始点ベクトルを算出し、続いて各中心点候補それぞれについて算出した各始点ベクトルについて、当該始点ベクトルが指し示す位置を始点とする動きベクトルとの動きベクトル内積を算出する（ステップｆ３）。そして、画像動き判定部７５３は、中心点候補毎に動きベクトル内積の絶対値の平均を算出し（ステップｆ５）、算出した動きベクトル内積の絶対値平均が最小値の中心点候補を、回転中心点として選定する（ステップｆ７）。仮に動きパターンが「回転移動」であるとすると、正しい回転中心点である中心点候補では、中心点候補を各動きベクトルの始点と結んだ各始点ベクトルが、それぞれその始点ベクトルが指し示す位置を始点とする動きベクトルと９０度に近い角度をなし、始点ベクトルと動きベクトルの内積（動きベクトル内積）の値の絶対値は「０」に近くなる。そこで、中心点候補毎に動きベクトル内積の絶対値平均を算出し、中心点候補のうち、動きベクトル内積の絶対値平均が最小値となる中心点候補を回転中心点として選定する。

そして、画像動き判定部７５３は、ステップｆ７で選定した回転中心点について算出した動きベクトル内積の絶対値平均が予め設定される回転判定用閾値以下の場合に（ステップｆ９：Ｙｅｓ）、動きパターンを「回転移動」に分類する（ステップｆ１１）。そして、画像動き判定部７５３は、図５のステップｃ１９にリターンし、その後ステップｃ２１に移行する。

ステップｃ２１では、画像動き判定部７５３は、動きパターンが「回転移動」か否かを判定する。そして、画像動き判定部７５３は、動きパターンが「回転移動」の場合、すなわちステップｃ１９の回転移動判定処理によって動きパターンが「回転移動」に分類された場合には（ステップｃ２１：Ｙｅｓ）、本処理を終了する。一方、画像動き判定部７５３は、動きパターンが「回転移動」でない場合には（ステップｃ２１：Ｎｏ）、動きなし判定処理を実行する（ステップｃ２３）。

図１０は、動きなし判定処理の詳細な処理手順を示すフローチャートである。この動きなし判定処理では、画像動き判定部７５３は、先ず、マッチングが成功して得られたベクトル数（マッチングベクトル数）が、予めステップｇ１の判定用の閾値として設定される所定数以下か否かを判定する。そして、画像動き判定部７５３は、所定数より多い場合には（ステップｇ１：Ｎｏ）、その大きさが最大値の動きベクトルを選出し、外れ値としてステップｇ５以降の処理の対象から除外する（ステップｇ３）。これは、平行移動判定処理と同様に、動きベクトル算出の際に間違った位置でマッチングがとられた場合を考慮して判定精度を向上させるためであり、マッチングが成功したマッチングベクトル数が所定数以下の場合には（ステップｇ１：Ｙｅｓ）、外れ値を除外するステップｇ３の処理を行わない。

続いて、画像動き判定部７５３は、外れ値として除外された動きベクトル以外の動きベクトルをもとに、動きベクトルの大きさの平均値を算出する（ステップｇ５）。続いて、画像動き判定部７５３は、マッチングベクトル数に応じてベクトル平均閾値を設定する（ステップｇ７）。ベクトル平均閾値は、マッチングベクトル数が少ないほどその値が小さくなるように設定される。これは、動きなし判定に用いる動きベクトル数が少ない場合、動きパターンが偶然「動きなし」に当てはまる可能性が高くなるためである。

実際には、このベクトル平均閾値は、予め設定される基準ベクトル平均閾値をもとに次式（４）に従って算出される。

ここで、Ｖ_s’はベクトル平均閾値、Ｖ_sは基準ベクトル平均閾値、ｐはマッチングが成功した動きベクトル数（マッチングベクトル数）、Ｎは全てのマッチングが成功した場合の動きベクトル数（時系列前画像Ｉ（ｉ）中に設定した画素領域数に相当）、α_sは変換係数を表す。

そして、画像動き判定部７５３は、ステップｇ５で算出した動きベクトルの大きさの平均値が、ステップｇ７で設定したベクトル平均閾値以下の場合に（ステップｇ９：Ｙｅｓ）、動きパターンを「動きなし」に分類する（ステップｇ１１）。時系列前画像Ｉ（ｉ）と処理対象画像Ｉ（ｉ＋１）とがほとんど変化しない場合、処理対象画像Ｉ（ｉ＋１）中で算出される動きベクトルは小さく、動きパターンは「動きなし」に分類される。そして、画像動き判定部７５３は、図５のステップｃ２３にリターンし、その後ステップｃ２５に移行する。

ステップｃ２５では、画像動き判定部７５３は、動きパターンが「動きなし」か否かを判定する。そして、画像動き判定部７５３は、動きパターンが「動きなし」の場合、すなわちステップｃ２３の動きなし判定処理によって動きパターンが「動きなし」に分類された場合には（ステップｃ２５：Ｙｅｓ）、本処理を終了する。一方、画像動き判定部７５３は、動きパターンが「動きなし」でない場合には（ステップｃ２５：Ｎｏ）、画像動き判定部７５３は、ステップｃ２７に移行する。

ステップｃ２７では、画像動き判定部７５３は、動きパターンを「設定外の動き」に分類する。すなわち、画像動き判定部７５３は、ステップｃ７においてマッチングの成功数が基準成功数以下と判定した場合に、動きパターンを「設定外の動き」に分類する。時系列の前後でカプセル型内視鏡３の撮像位置が大きく変わり、画像の見えが大きく変わった場合、時系列前画像Ｉ（ｉ）で設定したテンプレートに対して処理対象画像Ｉ（ｉ＋１）でマッチングする位置が得られない、あるいは得られたテンプレートマッチング位置での相関値が低くなるため、マッチングに失敗した箇所が多く発生する。このように、マッチングの失敗数が多く、マッチングが成功したテンプレート数が基準成功数以下の場合には、動きパターンは「設定外の動き」に分類される。さらに、画像動き判定部７５３は、マッチングが成功したテンプレート数が基準成功数より多い場合であっても、ステップｃ９〜ステップｃ２５の処理で動きパターンが「平行移動」「被写体に接近する向きへの移動」「被写体から遠ざかる向きへの移動」「回転移動」「動きなし」のいずれにも設定されなかったものについても、動きパターンを「設定外の動き」に分類する。処理対象画像Ｉ（ｉ＋１）中の各動きベクトルの大きさや向きに規則性がなく、単純に動きなしや平行移動、奥行き方向への移動と判定できない場合には、動きパターンは「設定外の動き」に分類される。これは、正しいテンプレートマッチングがとれる位置がないため、誤ったマッチング位置で動きベクトルを算出した場合や、カプセル型内視鏡３が撮像した体腔内の粘膜が実際に不規則に動いた等の要因が考えられる。

そして、画像動き判定部７５３は、図３のステップａ７にリターンする。この画像動き判定処理による動きパターンの分類結果は、記憶部７４に保持される。

次に、図３のステップａ９による管移動算出処理について説明する。この管移動量算出処理では、処理対象画像Ｉ（ｉ＋１）中の管空深部領域の有無と、分類された動きパターンをもとに、時刻ｔ（ｉ）からｔ（ｉ＋１）におけるカプセル型内視鏡３の管空深部向きの管移動量を算出する。

図１１は、管移動量算出処理の詳細な処理手順を示すフローチャートである。管移動量算出部７５４は、先ず、分類された動きパターンを判定し、「動きなし」または「回転移動」の場合には（ステップｈ１：Ｙｅｓ）、カプセル型内視鏡３が管空深部向きへ移動していないと考えられるので、管移動量を「０」とする（ステップｈ３）。そして、管移動量算出部７５４は、図３のステップａ９にリターンする。動きパターンが「動きなし」または「回転移動」でないならば（ステップｈ１：Ｎｏ）、管移動量算出部７５４は、処理対象画像Ｉ（ｉ＋１）中の管空深部領域の有無を判定する。管空深部検出処理の結果、処理対象画像Ｉ（ｉ＋１）から管空深部領域が検出されている場合には（ステップｈ５：Ｙｅｓ）、ステップｈ７に移行し、管空深部領域なしであれば（ステップｈ５：Ｎｏ）、ステップｈ１７に移行する。

ステップｈ７では、管移動量算出部７５４は、動きパターンが「平行移動」か否かを判定し、「平行移動」の場合には（ステップｈ７：Ｙｅｓ）、管移動量を「０」とする（ステップｈ９）。そして、管移動量算出部７５４は、図３のステップａ９にリターンする。図１２−１は、処理対象画像Ｉ（ｉ＋１）の一例を示す図であり、図１２−２は、図１２−１の処理対象画像Ｉ（ｉ＋１）を撮像したときの被写体に対するカプセル型内視鏡３の動き方を示す図である。図１２−１の処理対象画像Ｉ（ｉ＋１）では、管空深部領域１２１が検出されている。また、各動きベクトル１２３が略同一の方向を向いており、動きパターンが「平行移動」に分類される。このように、管空深部領域１２１が検出されており、分類された動きパターンが「平行移動」の場合、撮像時のカプセル型内視鏡３は、図１２−２に示すように、管空深部向きを向いた姿勢で被写体に対して平行移動していると推定できる。したがって、カプセル型内視鏡３が管空深部向きへ移動していないと考えられるので、管移動量を「０」とする。

動きパターンが「平行移動」でない場合には（ステップｈ７：Ｎｏ）、管移動量算出部７５４は、動きパターンが「被写体に接近する向きへの移動」または「被写体から遠ざかる向きへの移動」か否かを判定する。そして、「被写体に接近する向きへの移動」または「被写体から遠ざかる向きへの移動」でない場合、すなわち、管空深部領域が検出されており、動きパターンが「設定外の動き」の場合には（ステップｈ１１：Ｎｏ）、管移動量算出部７５４は、管移動量に予め設定される所定値を設定する（ステップｈ１３）。例えば、所定値として、経験的に得られる撮像間隔でのカプセル型内視鏡３の平均的な所定量の移動量が設定される。そして、管移動量算出部７５４は、図３のステップａ９にリターンする。

動きパターンが「被写体に接近する向きへの移動」または「被写体から遠ざかる向きへの移動」ならば（ステップｈ１１：Ｙｅｓ）、カプセル型内視鏡３が管空深部向きに沿って移動したとして前記移動量を算出する。図１３−１は、処理対象画像Ｉ（ｉ＋１）の一例を示す図であり、図１３−２は、図１３−１の処理対象画像Ｉ（ｉ＋１）を撮像したときの被写体に対するカプセル型内視鏡３の動き方を示す図である。図１３−１の処理対象画像Ｉ（ｉ＋１）では、管空深部領域１３１が検出されている。また、各動きベクトル１３３が、対応する始点ベクトル（選定される奥行き中心点から動きベクトルに向かう向き）と略正向きであり、画像動きパターンが「被写体に接近する向きへの移動」に分類される。このように、管空深部領域１３１が検出されており、分類された動きパターンが「被写体に接近する向きへの移動」の場合、撮像時のカプセル型内視鏡３は、図１３−２に示すように、管空深部向きを向いた姿勢で、管空深部向きに移動していると推定できる。同様にして、管空深部領域が検出されており、分類された動きパターンが「被写体から遠ざかる向きへの移動」の場合であれば、撮像時のカプセル型内視鏡３は、管空深部向きを向いた姿勢で、管空深部向きと逆方向に移動していると推定できる。

具体的には、図１１に示すように、管移動量算出部７５４は、同一の対象領域として対応関係が設定された時系列前画像Ｉ（ｉ）中の設定領域と処理対象画像Ｉ（ｉ＋１）中の対応領域とを用いて管移動量を算出する（ステップｈ１５）。図１４は、ステップｈ１５での管移動量の算出処理を説明するための管空内とカプセル型内視鏡３のモデル図である。図１４では、時刻ｔ（ｉ）において管空内の対象領域１４１を映した設定領域を含む時系列前画像Ｉ（ｉ）を撮像したカプセル型内視鏡３の撮像状況モデルを上段に示し、時刻ｔ（ｉ＋１）において設定領域に対応する対応領域を含む処理対象画像Ｉ（ｉ＋１）を撮像したカプセル型内視鏡３の撮像状況モデルを下段に示している。図１４の下段に示す撮像状況モデルでは、上段に示す撮像状況モデルに対して、その姿勢の変化と撮像位置（カプセル型内視鏡３の位置）の変化とが見られる。ここで、Ｄは、時刻ｔ（ｉ）におけるカプセル型内視鏡３から管空内壁の対象領域１４１までの距離を管空内壁面上に投影した対象領域距離を表し、Ｄ’は、時刻ｔ（ｉ＋１）におけるカプセル型内視鏡３から管空内壁の対象領域１４１までの距離を管空内壁面上に投影した対象領域距離を表す。Ｏはカプセル型内視鏡３が有するレンズ等の光学系の主点に相当する光学中心である。Ｒは管空半径である。この管空半径Ｒとしては、例えば平均的な管空半径を用いる。

また、図１４上段のモデル図中に示す画像座標１４２ａは、この撮像状況モデルによってカプセル型内視鏡３の撮像素子上に投影されて得られる時系列前画像Ｉ（ｉ）の画像座標である。画像座標１４２ａは、カプセル型内視鏡３の光軸１４３と交わる位置を原点とした座標系であり、ｆは、カプセル型内視鏡３の光学中心Ｏから撮像素子までの距離である。ここで、この撮像状況モデルによって得られる時系列前画像Ｉ（ｉ）中の対象領域１４１が映る設定領域の中心の座標を構造領域中心座標Ｔ（ｘＴ，ｙＴ）とし、この時系列前画像Ｉ（ｉ）における管空深部の重心位置の座標を管空深部重心座標Ｃ（ｘＣ，ｙＣ）とする。また、θを、時刻ｔ（ｉ）における光学中心Ｏから管空深部向き（管空深部の重心方向）１４４へのベクトルＯＣと光学中心Ｏから対象領域１４１へのベクトルＯＴとの成す角とする。

同様にして、図１４下段のモデル図中に示す画像座標１４２ｂは、この撮像状況モデルによって得られる処理対象画像Ｉ（ｉ＋１）の画像座標である。画像座標１４２ｂは、カプセル型内視鏡３の光軸１４３と交わる位置を原点とした座標系であり、ｆは、カプセル型内視鏡３の光学中心Ｏから撮像素子までの距離である。ここで、この撮像状況モデルによって得られる処理対象画像Ｉ（ｉ＋１）中の対象領域１４１が映る対応領域の中心の座標を対応領域中心座標Ｔ’（ｘＴ’，ｙＴ’）とし、この処理対象画像Ｉ（ｉ＋１）における管空深部の重心位置の座標を管空深部重心座標Ｃ’（ｘＣ’，ｙＣ’）とする。また、θ’を、時刻ｔ（ｉ＋１）における光学中心Ｏから管空深部向き１４４へのベクトルＯＣ’と光学中心Ｏから対象領域１４１へのベクトルＯＴ’とのなす角とする。

このとき、図１４上段の撮像状況モデルの対象領域距離Ｄ，構造領域中心座標Ｔ，管空深部重心座標Ｃ，距離ｆ，管空半径Ｒから、次式（５）が得られる。なお、δは、カプセル型内視鏡３の撮像素子のピッチを表す。距離ｆおよび撮像素子のピッチδの各カメラパラメータの値は、事前に取得しておく。

同様にして、図１４下段の撮像状況モデルの対象領域距離Ｄ’，構造領域中心座標Ｔ’，管空深部重心座標Ｃ’，距離ｆ，管空半径Ｒから、から、次式（６）が得られる。

そして、式（５）および式（６）から次式（７）が得られる。

式（７）を変形すると、次式（８）が得られる。

式（８）が示すＤ−Ｄ’は、時刻ｔ（ｉ）およびｔ（ｉ＋１）の各時刻でのカプセル型内視鏡３から管空内壁の対象領域１４１までの距離を管空内壁面上に投影した対象領域距離の差分であり、図１４下段に示す時刻ｔ（ｉ）からｔ（ｉ＋１）までのカプセル型内視鏡３の管移動量（管空に沿った移動量）ｄに相当する。このようにしてＤ−Ｄ’を求めることにより、時刻ｔ（ｉ）からｔ（ｉ＋１）までのカプセル型内視鏡３の管移動量を算出することができる。具体的には、管移動量算出部７５４は、時系列前画像Ｉ（ｉ）と処理対象画像Ｉ（ｉ＋１）との間でマッチングが成功していてその動きパターン（「被写体に接近する向きへの移動」または「被写体から遠ざかる向きへの移動」）と合致する動きベクトルが得られた設定領域と対応領域との組み合わせについて、それぞれ管移動量を算出する。そして、管移動量算出部７５４は、得られた複数の管移動量の値の平均値を算出して、カプセル型内視鏡３の時刻ｔ（ｉ）からｔ（ｉ＋１）までの管移動量として算出する。

以上のようにして管移動量推定処理を行い、管移動量を推定したならば、管移動量算出部７５４は、図３のステップａ９にリターンする。

一方、図１１のステップｈ１７では、管移動量算出部７５４は、動きパターンが「平行移動」か否かを判定する。「平行移動」でないならば（ステップｈ１７：Ｎｏ）、管移動量算出部７５４は、動きパターンが「被写体に接近する向きへの移動」または「被写体から遠ざかる向きへの移動」か否かを判定する。

そして、「被写体に接近する向きへの移動」または「被写体から遠ざかる向きへの移動」であれば（ステップｈ１９：Ｙｅｓ）、管移動量算出部７５４は、管移動量を「０」とする（ステップｈ２１）。そして、管移動量算出部７５４は、図３のステップａ９にリターンする。図１５−１は、処理対象画像Ｉ（ｉ＋１）の一例を示す図であり、図１５−２は、図１５−１の処理対象画像Ｉ（ｉ＋１）を撮像したときの被写体に対するカプセル型内視鏡３の動き方を示す図である。図１５−１の処理対象画像Ｉ（ｉ＋１）では、管空深部領域が検出されていない。また、各動きベクトル１５１が、対応する始点ベクトル（選定される奥行き中心点１５３から動きベクトルに向かう向き）と略正向きであり、画像動きパターンが「被写体に接近する向きへの移動」に分類される。このように、管空深部領域が検出されておらず、分類された動きパターンが「被写体に接近する向きへの移動」の場合、撮像時のカプセル型内視鏡３は、図１５−２に示すように、管空深部向きと略直交する向きを向いた姿勢で、管空内壁に近づくように移動していると推定できる。同様にして、管空深部領域が検出されておらず、分類された動きパターンが「被写体から遠ざかる向きへの移動」の場合であれば、撮像時のカプセル型内視鏡３は、管空深部向きと略直交する向きを向いた姿勢で、管空内壁から遠ざかるように移動していると推定できる。したがって、カプセル型内視鏡３が管空深部向きへ移動していないと考えられるので、管移動量を「０」とする。

また、図１１に示すように、動きパターンが「被写体に接近する向きへの移動」または「被写体から遠ざかる向きへの移動」でない場合、すなわち、管空深部領域が検出されておらず、動きパターンが「設定外の動き」の場合には（ステップｈ１９：Ｎｏ）、管移動量算出部７５４は、管移動量に所定値を設定する（ステップｈ２３）。そして、管移動量算出部７５４は、図３のステップａ９にリターンする。

そして、ステップｈ１７において動きパターンを「平行移動」と判定した場合には（ステップｈ１７：Ｙｅｓ）、カプセル型内視鏡３が管空深部向きに沿う移動がある可能性があるとして前記移動量を算出する。図１６−１は、処理対象画像Ｉ（ｉ＋１）の一例を示す図であり、図１６−２は、図１６−１の処理対象画像Ｉ（ｉ＋１）を撮像したときの被写体に対するカプセル型内視鏡３の動き方を示す図である。図１６−１の処理対象画像Ｉ（ｉ＋１）では、管空深部領域が検出されていない。また、各動きベクトル１６１が略同一の方向を向いており、動きパターンが「平行移動」に分類される。このように、管空深部領域が検出されておらず、分類された動きパターンが「平行移動」の場合、撮像時のカプセル型内視鏡３は、図１６−２に示すように、管空深部向きと略直交する向きを向いた姿勢で管空深部に沿って図１６−２中に実線で示すように管空深部向きまたは一点鎖線で示すように管空深部向きと逆方向に移動していると推定できる。

具体的には、図１１に示すように、先ず管空深部向き推定部７５５が、処理対象画像Ｉ（ｉ＋１）に映る被写体に対して管空深部向きがどの方向にあるのかを推定する（ステップｈ２５）。図１７は、管空深部の方向を推定する処理について説明する説明図である。管空深部向き推定部７５５は、先ず、時系列前画像Ｉ（ｉ）から順に時系列を遡って管空深部領域が検出されている管空内画像を探索する。図１７の例では、上段に示すように、処理対象画像Ｉ（ｉ＋１）から時系列で２つ前の時刻ｔ（ｉ−１）に撮像された管空内画像Ｉ（ｉ−１）において管空深部領域１７１が検出されており、この管空内画像Ｉ（ｉ−１）が探索される。この場合のカプセル型内視鏡３は、その動きベクトルから、図１７の下段に示すように、管空深部向きを向いた姿勢で管空内画像Ｉ（ｉ−１）を撮像した後、管空深部向きと略直交する向きに姿勢を変えて時系列前画像Ｉ（ｉ）を撮像し、そのまま管空深部向きに沿って管空深部向きと逆方向に平行移動していると推定できる。

続いて、管空深部向き推定部７５５は、探索した管空内画像から処理対象画像Ｉ（ｉ＋１）まで動きベクトルを順次平均して、得られた動きベクトル平均をもとに処理対象画像Ｉ（ｉ＋１）に映る被写体に対する管空深部向きを推定する。例えば図１７の例では、先ず、時系列画像Ｉ（ｉ−１）において、画像の中心座標から管空深部領域１７１の中心座標へのベクトル１７３を算出し管空深部向きとする。次に、時系列前画像Ｉ（ｉ）の各動きベクトル１７５の平均を算出し、前記管空深部向きに算出した動きベクトル平均を加えたベクトルの方向を時系列前画像Ｉ（ｉ）に映る被写体に対する管空深部向き（推定管空深部向き）と推定する。続いて、処理対象画像Ｉ（ｉ＋１）の各動きベクトル１７７の平均を算出する。そして、求めた動きベクトル平均を推定管空深部向きに加え、得られた推定管空深部向きを処理対象画像Ｉ（ｉ＋１）に映る被写体に対する管空深部向きとして推定する。この推定管空深部向きは、撮像時におけるカプセル型内視鏡３の被写体に対する管空深部の大まかな向きを推定している。図１７の例では、時系列画像Ｉ（ｉ−１）において管空深部の位置が画像右側にあり、動きベクトル１７５，１７７が全て図１７中に向かって右側を向いており、推定管空深部向きも右側を向いたベクトルとして得られる。このため、処理対象画像Ｉ（ｉ＋１）の右側、すなわち処理対象画像Ｉ（ｉ＋１）に映る被写体に対して右側に管空深部向きがあると推定する。

続いて、管移動量算出部７５４が、同一の対象領域として対応関係が設定された時系列前画像Ｉ（ｉ）中の設定領域と処理対象画像Ｉ（ｉ＋１）中の対応領域とを用いて、管移動量を算出する（ステップｈ２７）。図１８は、ステップｈ２７での管移動量の算出処理を説明するための管空内とカプセル型内視鏡３のモデル図である。図１８では、時刻ｔ（ｉ）において管空内の対象領域１８１を映した設定領域を含む時系列前画像Ｉ（ｉ）を撮像したカプセル型内視鏡３の撮像状況モデルを上段に示し、時刻ｔ（ｉ＋１）において設定領域に対応する対応領域を含む処理対象画像Ｉ（ｉ＋１）を撮像したカプセル型内視鏡３の撮像状況モデルを下段に示している。図１８の下段に示す撮像状況モデルでは、上段に示す撮像状況モデルに対して、その姿勢の変化と撮像位置の変化が見られる。ここで、Ｄは、時刻ｔ（ｉ）におけるカプセル型内視鏡３の光学中心Ｏと管空内壁との交点から対象領域１８１までの距離を表し、Ｄ’は、時刻ｔ（ｉ＋１）におけるカプセル型内視鏡３の光学中心Ｏと管空内壁との交点から対象領域１８１までの距離を表す。Ｏはカプセル型内視鏡３が有するレンズ等の光学系の主点に相当する光学中心である。ｈはカプセル型内視鏡３から管空内壁までの距離である。この距離ｈとしては、例えばカプセル型内視鏡３の外壁と管空内壁がほぼ密着しているとして光学中心Ｏからカプセル型内視鏡３の外壁までの距離を用いる。あるいは、カプセル型内視鏡３の照射光量をｕ、撮像素子の信号すなわち画素値をｖとすると、画素値ｖは、撮像装置の照射光量ｕに比例し距離ｈの２乗に反比例するという関係が成り立つが、この関係式（９）を用いて距離ｈを算出することとしてもよい。ここで、画素値ｖは、画像中の特定の画素の画素値としてもよいし、全画素の画素値の平均値としてもよい。また、αは所定の係数である。

また、図１８上段のモデル図中に示すに画像座標１８２ａは、この撮像状況モデルによってカプセル型内視鏡３の撮像素子上に投影されて得られる時系列前画像Ｉ（ｉ）の画像座標である。画像座標１８２ａは、カプセル型内視鏡３の光軸１８３と交わる位置を原点とした座標系であり、ｆは、カプセル型内視鏡３の光学中心Ｏから撮像素子までの距離である。ここで、この撮像状況モデルによって得られる時系列前画像Ｉ（ｉ）中の対象領域１８１が映る設定領域の中心の座標を設定領域中心座標Ａ（ｘＡ，ｙＡ）とし、画像座標１８２ａの原点の座標を原点座標Ｓ（ｘＳ，ｙＳ）とする。また、θを、時刻ｔ（ｉ）における光学中心Ｏから光軸１８３方向へのベクトルＯＳと光学中心Ｏから対象領域１８１へのベクトルＯＡとの成す角とする。

同様にして、図１８下段のモデル図中に示す画像座標１８２ｂは、この撮像状況モデルによって得られる処理対象画像Ｉ（ｉ＋１）の画像座標である。画像座標１８２ｂは、カプセル型内視鏡３の光軸１８３と交わる位置を原点とした座標系であり、ｆは、カプセル型内視鏡３の光学中心Ｏから撮像素子までの距離である。ここで、この撮像状況モデルによって得られる処理対象画像Ｉ（ｉ＋１）中の対象領域１８１が映る対応領域の中心の座標を対応領域中心座標Ａ’（ｘＡ’，ｙＡ’）とし、画像座標１８２ｂの原点の座標を原点座標Ｓ’（ｘＳ’，ｙＳ’）とする。また、θ’を、時刻ｔ（ｉ＋１）における光学中心Ｏから光軸１８３方向へのベクトルＯＳ’と光学中心Ｏから対象領域１８１へのベクトルＯＡ’とのなす角とする。

このとき、図１８上段の撮像状況モデルの光学中心Ｏと管空内壁との交点から対象領域１８１までの距離Ｄ，設定領域中心座標Ａ，原点座標Ｓ，距離ｆ，カプセル型内視鏡３から管空内壁までの距離ｈから、次式（１０）が得られる。なお、δは、カプセル型内視鏡３の撮像素子のピッチを表す。距離ｆおよび撮像素子のピッチδの各カメラパラメータの値は、事前に取得しておく。

同様にして、図１８下段の撮像状況モデルの光学中心Ｏと管空内壁との交点から対象領域１８１までの距離Ｄ’，設定領域中心座標Ａ’，原点座標Ｓ’，距離ｆ，カプセル型内視鏡３から管空内壁までの距離ｈから、次式（１１）が得られる。

そして、式（１０）および式（１１）から次式（１２）が得られる。

式（１２）を変形すると、次式（１３）が得られる。

式（１３）が示す｜Ｄ−Ｄ’｜は、時刻ｔ（ｉ）でのカプセル型内視鏡３の光軸ベクトルＯＳと管空内壁の交点から対象領域１８１までの距離Ｄおよび時刻ｔ（ｉ＋１）でのカプセル型内視鏡３の光軸ベクトルＯＳ’と管空内壁の交点から対象領域１８１までの距離Ｄ’の差分であり、時刻ｔ（ｉ）からｔ（ｉ＋１）までのカプセル型内視鏡３の管移動量に相当する。このようにして｜Ｄ−Ｄ’｜を求めることにより、時刻ｔ（ｉ）からｔ（ｉ＋１）までのカプセル型内視鏡３の管移動量を推定することができる。具体的には、管移動量算出部７５４は、時系列前画像Ｉ（ｉ）と処理対象画像Ｉ（ｉ＋１）との間でマッチングが成功していてその動きパターン（例えば図１７の例では「平行移動」）と合致する動きベクトルであって、その動きベクトルの向きが所定の閾値範囲内である設定領域と対応領域との組み合わせについて、それぞれ管移動量を算出する。そして、管移動量算出部７５４は、得られた複数の管移動量の値をもとに、カプセル型内視鏡３の時刻ｔ（ｉ）からｔ（ｉ＋１）までの管移動量ｄを次式（１４）に従って算出する。

例えば図１７の例では、処理対象画像Ｉ（ｉ＋１）に映る被写体に対して右側に管空深部向きがあると推定されている。一方、処理対象画像Ｉ（ｉ＋１）の各動きベクトルの向きは略右向きとなっている。画像上で被写体が右に動くように表れたということは、実際にはカプセル型内視鏡３が被写体に対して左側、すなわち管空深部向きに沿って管空深部向きと逆方向に移動したことになる。このため、時刻ｔ（ｉ）からｔ（ｉ＋１）までの管移動量を得られた値に負の符号を付けた値として算出される。

以上のようにして管移動量算出処理を行い、管移動量を算出したならば、管移動量算出部７５４は、図３のステップａ９にリターンする。

次に、図３のステップａ１５による管相対位置算出処理について説明する。この管相対位置算出処理では、管相対位置算出部７５６は、先ず、管移動量算出処理の結果算出された時刻ｔ（ｉ）からｔ（ｉ＋１）までのカプセル型内視鏡３の管移動量の累積値を時刻毎に求める。この累積値は、管空の入口での時刻ｔ（０）から撮像時の時刻ｔ（ｉ＋１）までのカプセル型内視鏡３の移動距離に相当する。そして、管相対位置算出部７５６は、求めた管移動量の累積値を管空入口の時刻ｔ（０）から出口での時刻ｔ（Ｔ）までの管移動量の総和、すなわち管空の全長で除算することにより、各時刻における管空内でのカプセル型内視鏡３の相対的な位置を算出する。これにより、管の全長を１．０としたときの、各画像を撮像したときの管入り口からの管長手方向への相対移動位置が求められる。

図１９は、管相対位置算出処理の結果を示す模式図であり、横軸を時刻ｔ、縦軸を管空入口から管空出口までのカプセル型内視鏡３の相対的な位置として、推定されたカプセル型内視鏡３の相対的な位置の時系列変化を示している。これによれば、患部を映した管空内画像の撮像時刻をもとに、この管空内画像を撮像した際の管空内でのカプセル型内視鏡３の管空入口または管空出口からの相対的な位置を知ることができ、患部の位置を推定することが可能となる。

以上説明したように、本実施の形態によれば、カプセル型内視鏡３が時系列で撮像した管空内画像をもとに、その撮像時においてカプセル型内視鏡３が管空に対してどのような姿勢で、どのように動いたかを判定することによってカプセル型内視鏡３の管空深部向きの管移動量を簡便に算出することができる。これによれば、従来のように電磁波信号の受信強度をもとに移動量推定する場合と比較して外部環境による影響を受け難い移動量推定が実現でき、体内の管空内における撮像装置の移動量の推定精度を向上させることができるという効果を奏する。

なお、本実施の形態では、管空入口から出口までを対象に説明を行ったが、小腸または大腸等の特定の臓器の開始位置または終了位置等を基点としたカプセル型内視鏡３の位置を推定してもよい。これによれば、特定の臓器の開始位置または終了位置から管空に沿ってどの程度の位置に患部があるかという情報を得ることができる。

画像処理装置を含む画像処理得システムの全体構成を示す概略模式図である。 画像処理装置の機能構成を説明するブロック図である。 画像処理装置の演算部が行う演算処理手順を示す全体フローチャートである。 管空深部検出処理の詳細な処理手順を示すフローチャートである。 画像動き判定処理の詳細な処理手順を示すフローチャートである。 時系列前画像の一例を示す図である。 処理対象画像の一例を示す図である。 図６−１の時系列前画像の設定領域と図６−２の処理対象画像の対応領域とをもとに算出した動きベクトルを示す図である。 平行移動判定処理の詳細な処理手順を示すフローチャートである。 被写体方向移動判定処理の詳細な処理手順を示すフローチャートである。 回転移動判定処理の詳細な処理手順を示すフローチャートである。 動きなし判定処理の詳細な処理手順を示すフローチャートである。 管移動量算出処理の詳細な処理手順を示すフローチャートである。 処理対象画像の一例を示す図である。 図１２−１の処理対象画像を撮像したときの被写体に対するカプセル型内視鏡の動き方を示す図である。 処理対象画像の一例を示す図である。 図１３−１の処理対象画像を撮像したときの被写体に対するカプセル型内視鏡の動き方を示す図である。 管移動量の算出処理を説明するための管空内とカプセル型内視鏡３のモデル図である。 処理対象画像の一例を示す図である。 図１５−１の処理対象画像を撮像したときの被写体に対するカプセル型内視鏡の動き方を示す図である。 処理対象画像の一例を示す図である。 図１６−１の処理対象画像を撮像したときの被写体に対するカプセル型内視鏡の動き方を示す図である。 管空深部の方向を推定する処理について説明する説明図である。 管移動量の算出処理を説明するための管空内とカプセル型内視鏡３のモデル図である。 管相対位置算出処理の結果を示す模式図である。

符号の説明

３ カプセル型内視鏡
４ 受信装置
Ａ１〜Ａｎ 受信アンテナ
５ 可搬型記録媒体
７０ 画像処理装置
７１ 外部インターフェース
７２ 入力部
７３ 表示部
７４ 記憶部
７４１ 画像処理プログラム
７５ 演算部
７５１ 画像パターン判定部
７５２ 管空深部検出部
７５３ 画像動き判定部
７５４ 管移動量算出部
７５５ 管空深部向き推定部
７５６ 管相対位置算出部
７６ 制御部
１ 被検体

Claims (15)

1. 体内の管空内を移動する撮像装置によって撮像された時系列の管空内画像を処理する画像処理装置であって、
   前記管空内画像を撮像した際の前記管空に対する前記撮像装置の姿勢および被写体に対する前記撮像装置の相対的な動き方を判定する画像パターン判定手段と、
   前記画像パターン判定手段によって判定された前記撮像装置の姿勢および前記撮像装置の相対的な動き方の情報を用いて、前記撮像装置の管空深部向きの移動量を算出する移動量算出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画像パターン判定手段は、前記管空内画像の中から管空深部の領域を検出する管空深部検出手段を有し、前記管空深部検出手段による検出結果をもとに前記撮像装置の姿勢を判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像パターン判定手段は、前記管空深部検出手段によって管空深部が検出された場合には前記管空内画像を撮像した際の前記撮像装置の姿勢を管空深部向きを向いた姿勢とし、管空深部が検出されない場合には管空深部向きと直交する向きを向いた姿勢として、前記撮像装置の姿勢を判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像パターン判定手段は、前記時系列の管空内画像を構成する複数の画像間の動きベクトルを用いて被写体に対する前記撮像装置の相対的な動き方を判定する動き判定手段を有することを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
5. 前記動き判定手段は、被写体に対する前記撮像装置の相対的な動き方を、動きなし、平行移動、被写体に接近する向きへの移動、被写体から遠ざかる向きへの移動、回転移動および設定外の移動のいずれかの動きパターンに分類することを特徴とする請求項４に記載の画像処理装置。
6. 前記移動量算出手段は、前記時系列の管空内画像を構成する複数の画像間の動きベクトルを用いて、前記管空深部向きの移動量を算出することを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。
7. 前記移動量算出手段は、前記管空深部検出手段によって管空深部が検出されない場合に、前記管空内画像と時系列で近傍し、管空深部が検出された他の管空内画像との間の動きベクトルを用いて前記被写体に対する管空深部向きを推定する管空深部向き推定手段を有することを特徴とする請求項１〜６のいずれか１つに記載の画像処理装置。
8. 前記移動量算出手段は、前記管空深部検出手段によって管空深部が検出された場合であって、前記動き判定手段によって動きパターンが被写体に接近する向きへの移動または被写体から遠ざかる向きへの移動に分類された場合に、前記撮像装置が管空深部向きに沿って移動したとして前記移動量を算出することを特徴とする請求項４〜７のいずれか１つに記載の画像処理装置。
9. 前記移動量算出手段は、前記管空深部検出手段によって管空深部が検出されない場合であって、前記動き判定手段によって動きパターンが平行移動に分類された場合に、動きベクトルの方向が管空深部向きとなす角度に従い、前記撮像装置の管空深部向きの移動量を算出することを特徴とする請求項４〜８のいずれか１つに記載の画像処理装置。
10. 前記移動量算出手段は、前記動き判定手段によって動きパターンが動きなしまたは回転移動に分類された場合に、前記撮像装置が管空深部向きに移動していないとして前記移動量を算出することを特徴とする請求項４〜９のいずれか１つに記載の画像処理装置。
11. 前記移動量算出手段は、前記動き判定手段によって動きパターンが設定外の移動に分類された場合に、前記撮像装置が管空深部向きに所定量移動したとして前記移動量を算出することを特徴とする請求項４〜１０のいずれか１つに記載の画像処理装置。
12. 前記移動量算出手段は、前記管空深部検出手段によって管空深部が検出された場合であって、前記動き判定手段によって動きパターンが平行移動に分類された場合に、前記撮像装置の管空深部向きへの移動量を０とすることを特徴とする請求項４〜１１のいずれか１つに記載の画像処理装置。
13. 前記移動量算出手段は、前記管空深部検出手段によって管空深部が検出されない場合であって、前記動き判定手段によって被写体に接近する向きへの移動または被写体から遠ざかる向きへの移動に分類された場合に、前記撮像装置の管空深部向きへの移動量を０とすることを特徴とする請求項４〜１２のいずれか１つに記載の画像処理装置。
14. 前記移動量算出手段によって算出された移動量をもとに、前記管空内画像を撮像した際の前記撮像装置の管空内での相対的な位置を算出する管相対位置算出手段を備えることを特徴とする請求項１〜１３のいずれか１つに記載の画像処理装置。
15. 体内の管空内を移動する撮像装置によって撮像された時系列の管空内画像を処理するコンピュータに、
    前記管空内画像を撮像した際の前記管空に対する前記撮像装置の姿勢および被写体に対する前記撮像装置の相対的な動き方を判定する画像パターン判定ステップと、
    前記画像パターン判定ステップによって判定された前記撮像装置の姿勢および前記撮像装置の相対的な動き方の情報を用いて、前記撮像装置の管空深部向きの移動量を算出する移動量算出ステップと、
    を実行させることを特徴とする画像処理プログラム。

Images