JP2010240000A - 画像処理装置、画像処理方法、およびシステム - Google Patents

Abstract

【課題】 内視鏡における処理の負荷を軽減すると共に、診断に適した画像を提供することが可能な画像処理装置、方法およびシステムを提供することを目的とする。
【解決手段】 内視鏡により撮影された内視鏡画像を用いて診断用画像を生成する診断画像生成手段と、内視鏡画像の特徴パラメータを算出する特徴パラメータ算出手段と、特徴パラメータに基づいて、内視鏡画像の優先順位を決定する優先順位決定手段と、を備え、診断画像生成手段は、複数の内視鏡画像が重複する場合には、優先順位の最も高い内視鏡画像を用いて診断用画像を生成することを特徴とする画像処理装置が提供される。
【選択図】 図２

Description

本発明は、画像処理装置、画像処理方法、およびシステムに関し、特に医療用内視鏡によって撮影された画像の処理装置、方法およびシステムに関する。

患者の体腔内を診断又は治療するために、先端部にＣＣＤなどの固体撮像素子を備えた電子内視鏡と、固体撮像素子により生成された画像信号を処理してモニタに出力する電子内視鏡用プロセッサとを備えた電子内視鏡システムが広く知られており、実用に供されている。また、近年、電子内視鏡の挿入部を咽喉部に差し込まれることに因る患者の苦痛を無くすために、患者が嚥下することにより被検者の体腔内（消化管内）に導入されるカプセル内視鏡と、患者の体外に配置される体外受信装置とからなるカプセル内視鏡システムが開発されている。

このようなカプセル内視鏡システムで用いられるカプセル内視鏡は、カプセル型の容器内に、体腔内の画像を撮影するための小型のイメージセンサや光源、およびそれらの電源となる電池を備えている。また、カプセル内視鏡は、その移動を制御するためのケーブル等は備えておらず、患者によって嚥下された後は、撮影を行いながら体内を流動し排出される。このようなカプセル内視鏡では、嚥下されてから排出されるまでの間に、例えば、２フレーム／秒の撮影間隔で約８時間分の画像を撮影することができる。そして、カプセル内視鏡によって撮影された画像は、随時、患者の体外の受信装置に無線で送信され、受信装置が備えるメモリに記憶される。その後、カプセル内視鏡による撮影が終了すると、画像処理装置によって、受信装置のメモリに記憶された画像に所定の画像処理が行われる。そして、処理された画像がモニタに表示され、診断者による観察が行なわれる。

このとき、診断者によってカプセル内視鏡で撮像された８時間分の画像を全て確認しようとすると、多大な時間と労力がかかってしまう。具体的には、上述のように２フレーム／秒のフレームレートによる撮影が行われた場合には５７６００枚もの画像を確認しなければならず、診断者にかかる負担が大きいといった問題があった。この問題を解決するため、従来より、カプセル内視鏡によって撮像された画像から病変部を含む画像のみを抽出してモニタに表示させるなど、診断者が診断しやすい画像を生成して提供するための種々の画像処理方法や画像処理装置が提案されている。このような画像処理方法の一例が、特許文献１に記載される。

特許文献１は、カプセル内視鏡と、カプセル内視鏡により撮像された画像を記憶するための受信装置と、画像処理を行うＰＣとからなるカプセル内視鏡システムに関する。特許文献１に記載されるカプセル内視鏡システムでは、カプセル内視鏡によって撮影された画像を、アンテナの受信強度に基づいて検出した位置情報やパターン情報に基づいてつなぎ合わせ、体腔内の該当部位の輪郭図と共に表示させることで、診断者が容易に体腔内の状態を診断できるようにしている。また、当該カプセル内視鏡システムでは、位置情報に基づいて、カプセル内視鏡の移動速度が遅い部分では撮影のフレームレート下げ、早い部分ではフレームレートを上げるという処理が行われる。このようにフレームレートを制御することにより、カプセル内視鏡によって撮影される画像における前のフレームと次のフレームとの画像の重なり量を調整し、滑らかな画像を作成できるようになっている。

特開２００７−２３６７００号公報

しかしながら、特許文献1のカプセル内視鏡のように、位置情報に応じてフレームレートの変更を行う場合は、カプセル内視鏡のＣＰＵにおいて複雑な制御が必要となり、ＣＰＵに対して大きな負荷をかけてしまうといった問題がある。特にカプセル内視鏡の場合には、小型のＣＰＵを用いて制御を行う必要があるため、ＣＰＵにおける処理には限界がある。

また、特許文献１のカプセル内視鏡システムで行われる画像処理では、画像の重なり部分を位置情報やパターン画像から見出す構成となっているが、重なり部分の画像をどのように表示するかについては記載されていない。体腔壁の同じ位置を撮影した画像であっても、体腔内の蠕動運動などにより病変部の見え方が異なる場合がある。そのため、重なり部分が適切に表示されないことにより、病変部を見逃してしまう恐れがある。

そこで、本発明は上記事情に鑑みてなされたものであり、内視鏡における処理の負荷を軽減すると共に、診断に適した画像を提供することが可能な画像処理装置、方法およびシステムを提供することを目的とする。

上記の課題を解決するため、本発明により、内視鏡により撮影された内視鏡画像を用いて診断用画像を生成する診断画像生成手段と、内視鏡画像の特徴パラメータを算出する特徴パラメータ算出手段と、特徴パラメータに基づいて、内視鏡画像の優先順位を決定する優先順位決定手段と、を備える画像処理装置が提供される。また、当該画像処理装置における診断画像生成手段は、複数の内視鏡画像が重複する場合には、優先順位の最も高い内視鏡画像を用いて前記診断用画像を生成することを特徴とする。

このように構成することにより、複数の内視鏡画像が重複する場合には、内視鏡画像における特徴パラメータに基づく優先順位に従って診断画像が生成される。これにより、特徴部を発見するための情報が多い、またはより特徴部を多く含む、優先順位の高い画像が他の画像と重複することによって隠れてしまうことを防ぐことができる。そして、このように体内における特徴部を適切に表示させた診断用画像を提供することにより、診断にかかる時間や労力を軽減することが可能となる。

また、上記画像処理装置は、内視鏡の位置情報を取得する位置情報取得手段と、内視鏡の位置情報に基づいて、内視鏡画像の位置を算出する画像位置算出手段と、を更に備える構成としても良い。さらに、この場合、診断画像生成手段は、画像位置算出手段で算出された位置に基づいて、内視鏡画像を用いて診断用画像を生成する。

このように構成することにより、時系列で撮影された内視鏡画像から、時間ではなく内視鏡の位置に基づいた診断画像を生成することができる。これにより、診断者は、時系列に画像を確認する必要がなく、時間に縛られることなく、位置に基づいて内視鏡画像を観察することが可能となり、診断に係る負担を軽減することができる。

また、上記画像処理装置は、内視鏡画像を診断画像の生成に適した画像へと変形する画像変形手段を更に備える構成としても良い。このように構成することにより、様々な角度から撮影された画像を診断用画像に適した画像へと統一させることが可能となり、より適切な診断用画像を提供することが可能となる。

また、上記画像変形手段は、内視鏡画像を複数の領域に分割し、該分割した画像それぞれを診断画像の生成に適した画像へと変形しても良い。このように構成することにより、画像の変形作業を容易に行うことが可能となる。

また、上記位置情報は、内視鏡が備える加速度センサ、内視鏡画像を受信する複数のアンテナにおける信号の受信強度、もしくは内視鏡画像に基づくオプティカルフローの少なくともいずれか一つに基づいて求められても良い。もしくは、上記位置情報は、内視鏡が備える加速度センサ、内視鏡画像を受信する複数のアンテナにおける信号の受信強度、および内視鏡画像に基づくオプティカルフローに基づいて求められた位置情報の平均値であっても良い。このように構成することにより、内視鏡の位置検出精度をより向上させることが可能となる。

また、上記特徴パラメータは、内視鏡画像の明度、彩度、赤色度、または輪郭の少なくともいずれか１つに基づいて算出されても良い。このように構成することにより、病変部であると推測される部分を含む画像であるか否かを、特徴パラメータに基づいて判断することが可能となる。

また、上記画像処理装置は、診断者による入力を受け付ける入力手段を更に備えても良い。そして、特徴パラメータ算出手段は、入力手段によって入力された情報に従って、特徴パラメータの算出を行っても良い。これにより、診断者が所望する特徴を備えた診断用画像を提供することが可能となり、診断者の負担を更に軽減することが可能となる。

また、上記特徴パラメータ算出手段、および優先順位決定手段における処理は、複数の内視鏡画像が重複する場合に、重複する部分のみに対して行われても良い。これにより、重複する部分における画像の特徴の有無をより反映した診断用画像を提供することが可能となる。

また、上記診断画像生成手段は、複数の前記内視鏡画像を、体腔内部位の３Ｄモデルに貼付けて診断用画像を生成しても良い。このように構成することで、診断者が容易に体内の部位の状況を確認することができ、診断の負担を軽減することが可能となる。

また、本発明により内視鏡画像の特徴パラメータを算出する特徴パラメータ算出ステップと、特徴パラメータに基づいて、内視鏡画像の優先順位を決定する優先順位決定ステップと、複数の内視鏡画像が重複する場合には、優先順位の高い内視鏡画像を用いて診断用画像を生成する診断用画像生成ステップと、を備える、内視鏡により撮影された内視鏡画像の処理を行う画像処理装置によって実行される画像処理方法が提供される。

さらに本発明により、体腔内の撮影を行うカプセル内視鏡と、上記いずれかの画像処理装置と、画像処理装置によって生成された診断用画像を表示する表示装置と、からなるカプセル内視鏡システムが提供される。

上記画像処理方法およびカプセル内視鏡システムによっても、上記画像処理装置と同様の効果を得ることができる。

したがって、本発明によれば、内視鏡における処理の負荷を増加させることなく、複数の内視鏡画像が重複する場合には、特徴を多く備えた内視鏡画像を用いて診断用画像を生成することができる。これにより、診断者が診断画像に基づいて容易に診断を行うことができ、また病変部の見逃しを減らすことも可能となる。

本発明のカプセル内視鏡システムの概略構成を示す図である。 本発明の受信装置および画像処理装置の概略構成を示す図である。 画像処理装置の位置算出部における画像の貼付位置算出処理を示すフローチャートである。 貼付位置算出処理における画像の貼付位置算出方法を説明するための図である。 診断画像生成部における診断画像生成処理を示すフローチャートである。

以下、図面を参照して、本発明の実施形態について説明する。図１は、本発明が適用されるカプセル内視鏡システム１の概略構成を示す図である。図１に示すように、カプセル内視鏡システム１は、患者の体内に導入されるカプセル内視鏡１００、体外に配置され、カプセル内視鏡１００により撮影された画像のデータを受信する受信装置２００、受信装置２００から該画像データを受信し、該画像データに対して画像処理を行う画像処理装置３００、および画像処理装置３００によって処理された画像を表示するモニタ４００から構成される。

カプセル内視鏡１００は、両端面が半球状で中央部が円筒状の形状を有する外装内に、体腔内の画像を撮影するための対物光学系１１、複数の光源１２および撮像部１３、体外の受信装置２００へ図示しないアンテナを介して画像データを送信するためのデータ送信部１６、各部に電力を供給するための電池１７、ならびに各部を制御するための制御部１５を備えている。また、本実施形態のカプセル内視鏡１００は、体内におけるカプセル内視鏡１００の位置を検出するための様々なセンサを含むセンサ部１４を備えている。

ここで、センサ部１４には、カプセル内視鏡１００の直線移動量や回転量を検出するための加速度センサ、体内の各部位におけるＰＨ値を検出するためのＰＨセンサ、およびカプセル内視鏡１００が体腔内に導入されてからの経過時間を計測するタイマーなどが含まれる。また、本実施形態では、カプセル内視鏡１００の空間的な位置を検出するためにＸ軸、Ｙ軸、Ｚ軸における直線移動量および回転量を検出可能な三軸の加速度センサが用いられる。また、直線移動量および回転量を検出するセンサとしては、加速度センサ以外にもジャイロセンサなどを用いることも可能である。さらに、その他にも、例えば体腔内における圧力を検出するための圧力センサなど、様々なセンサをセンサ部１４に備えても良い。

カプセル内視鏡１００が患者によって嚥下され、体腔内に導入された状態において撮影が開始されると、電池１７からの駆動電流を受けて、光源１２から照明光が体腔壁に照射される。体腔壁によって反射された光は、対物光学系１１によって撮像部１３に結像される。そして、撮像部１３によって、その撮像面上に結ばれた像をＲＧＢの各原色毎に光電変換するよって、画像データが生成される。撮像部１３によって生成された画像データは、データ送信部１６へ送られる。また、センサ部１４では、画像データの生成と同期してカプセル内視鏡１００の位置情報（直線移動量、回転量、ＰＨ値、経過時間）が検出され、データ送信部１６に送られる。データ送信部１６では、生成された画像データと位置情報とが関連付けられ、図示しないアンテナを介して無線通信によって体外へ送信される。画像データの生成、センサ部１４における各種データの検出、およびデータ送信部１６におけるデータの送信は、制御部１５の制御の下、一定の周期（例えば２フレーム／秒）で行われる。

図２は、本実施形態における受信装置２００および画像処理装置３００の概略構成を示す図である。図２に示すように、受信装置２００は、多数個のアンテナ２１と、カプセル内視鏡１００および画像処理装置３００と、データの送受信を行う通信ユニット２０とから構成される。多数個のアンテナ２１は、カプセル内視鏡１００が患者の体内のどこにある場合でも、カプセル内視鏡１００から送信される信号を受信できるように、患者の身体表面に分散して取り付けられる。また、通信ニット２０は、患者が装着するベルトなどに取り付けられ、撮影中は、常時アンテナ２１を介して信号を受信できるように患者によって携帯される。また、本実施形態の受信装置２００は、４つのアンテナ２１を備え、各アンテナ２１が通信ユニット２０に接続されているが、アンテナ２１の数は４つに限定されるものではなく、任意の数のアンテナを備えることができる。ただし、後述するように、カプセル内視鏡１００の位置を検出するためにアンテナ２１を用いる場合においては、少なくとも３つ以上のアンテナ２１を備えることが望ましい。

通信ユニット２０は、データ受信部２２、位置検出部２３、およびデータ送信部２４を備えている。データ受信部２２は、複数のアンテナ２１の何れかを介してカプセル内視鏡１００から送信される画像データおよび位置情報を受信する。位置検出部２３は、複数のアンテナ２１における信号の受信強度から、カプセル内視鏡１００の体内における直線移動量を検出する。具体的には、位置検出部２３では、まず、複数のアンテナ２１の内、受信強度が高いアンテナの上位３つを選択する。そして、選択された３つのアンテナ２１における受信強度からカプセル内視鏡１００までの距離を推定し、周知の三角法を用いて、カプセル内視鏡１００の位置を算出する。そして、アンテナ２１が最初にカプセル内視鏡１００からデータを受信した時点のカプセル内視鏡１００の位置を基準点として、当該基準点からの変位をカプセル内視鏡１００の直線移動量として検出する。位置検出部２３における位置の検出は、カプセル内視鏡１００から信号が送信されるタイミングに同期して行われる。そして、検出されたカプセル内視鏡１００の直線移動量は、データ受信部２２によって受信した位置情報に付加される。そして、該位置情報は、画像データと共にデータ送信部２４から画像処理装置３００へ無線通信によって送信される。

画像処理装置３００は、カプセル内視鏡１００によって生成された画像データに基づいて、診断に適した診断用画像を生成するための処理装置である。画像処理装置３００としては、ワークステーションやパーソナルコンピュータ（ＰＣ）などが用いられる。また、本実施形態においては、画像処理装置３００は、カプセル内視鏡１００で撮影された画像を用いて、体腔内の３次元モデルの診断画像を生成する。詳しくは、画像処理装置３００では、体内の各部位（例えば「胃」、「小腸」、「大腸」など）における既存の３Ｄモデルにカプセル内視鏡１００で撮影された画像を貼り付けて３Ｄの診断用画像を生成するものである。

図２に示すように、画像処理装置３００は、データ受信部３１、画像データ記録部３２、位置情報記録部３３、オプティカルフロー処理部３４、位置算出部３５、画像変形部３６、および診断画像生成部３７を備えている。また、上記各部は、図示しない制御部によって制御される。データ受信部３１は、受信装置２００と無線通信を行って、画像データおよび位置情報を受信する受信部である。画像データ記録部３２は、データ受信部３１で受信した画像データを記録する記録部である。位置情報記録部３３は、データ受信部３１で受信した位置情報、すなわちセンサ部１４によって検出された直線移動量、回転量、ＰＨ値および経過時間、ならびに位置検出部２３によって検出した直線移動量を記録する記録部である。画像データおよび位置情報は、カプセル内視鏡１００が患者に嚥下されてから排出されるまで所定の間隔でカプセル内視鏡１００から送信され、受信装置２００を介して、随時、各記録部３２および３３に記録される。そして、カプセル内視鏡１００による撮影が終了した時点で、約８時間分の画像データと、該画像データと同期して得られた位置情報とが各記録部３２および３３にそれぞれ記録される。

オプティカルフロー処理部３４は、周知のオプティカルフローと呼ばれる方法を用いて、画像データ記録部３２に記録される画像データから、カプセル内視鏡１００の直線移動距離および回転量を算出する。この方法では、時間的に連続する複数の画像（フレーム）における特徴点の動きから、カプセル内視鏡１００の直線移動量と回転量とが算出される。そして、オプティカルフロー処理部３４にて算出された直線移動量および回転量は、該オプティカルフローに用いられた画像データに対応する位置情報に付加され、位置情報記録部３３に記録される。これにより、位置情報記録部３３は、カプセル内視鏡１００のセンサ部１４により検出された直線移動量、回転量、ＰＨ値および経過時間、受信装置２００によって検出された、アンテナ２１の受信強度に基づくカプセル内視鏡１００の直線移動量、ならびに画像処理装置３００のオプティカルフロー処理部３４によって算出された直線移動量および回転量が記録される。

位置算出部３５は、位置情報記録部３３に記録される位置情報に基づいて、カプセル内視鏡１００によって生成された画像の、３Ｄモデル上における貼付位置を算出する処理部である。図３は、位置算出部３５における画像の貼付位置算出処理の流れを示すフローチャートである。まず、貼付位置算出処理では、位置情報記録部３３から位置情報が読み出される（Ｓ１１）。次に、読み出された位置情報に含まれる経過時間およびＰＨ値に基づいて、該位置情報を検出した時点に、カプセル内視鏡１００が存在した部位の特定が行われる（Ｓ１２）。ここで、カプセル内視鏡１００が嚥下されてから体腔内の各部位に到達するまでの時間や、各部位におけるＰＨ値は、実験等によって予め求められている。そして、経過時間およびＰＨ値の検出結果から、カプセル内視鏡１００の位置する部位を推定することができる。例えば、読み出された位置情報に含まれる経過時間が１時間で、ＰＨ値が酸性である場合（例えばＰＨ値＝２の場合）は、カプセル内視鏡１００は「胃」に存在すると特定される。

次にＳ１２にて特定された部位に基づいて、診断画像を生成するための３Ｄモデルデータが読み出される（Ｓ１３）。この３Ｄモデルデータは、一般的に教材などに用いられる既存のデータであり、画像処理装置３００の図示しないメモリに予め各部位の３Ｄモデルデータ記憶されている。そして、上述のように、Ｓ１２においてカプセル内視鏡１００が存在する部位が胃であると特定された場合には、胃の３Ｄモデルデータがメモリから読み出される。

次に、Ｓ１１にて読み出された位置情報に含まれる直線移動量および回転量を抽出し、それらの平均値が算出される（Ｓ１４）。詳しくは、カプセル内視鏡１００のセンサ部１４により検出された直線移動量、受信装置２００によって検出されたアンテナ２１の受信強度に基づくカプセル内視鏡１００の直線移動量、および画像処理装置３００のオプティカルフロー処理部３４によって算出された直線移動量の平均値、ならびにカプセル内視鏡１００のセンサ部１４により検出された回転量、および画像処理装置３００のオプティカルフロー処理部３４によって算出された回転量の平均値が算出される。

このように、種々の方法にて検出したカプセル内視鏡１００の位置情報の平均値を求めることで、カプセル内視鏡１００の位置情報の誤差を減らし、検出結果の精度を向上させることができる。また、このとき、最も信頼性が高いと推測されるカプセル内視鏡１００のセンサ部１４により検出された直線移動量および回転量に対して重み付けを行って平均値を算出したり、誤差の許容範囲外のデータを平均値の算出から除外したりすることで、より精度の高い位置情報を得ることができる。

次にＳ１４で算出された直線移動量および回転量に基づいて、３Ｄモデルにおけるカプセル内視鏡１００の位置（座標）が特定される（Ｓ１５）。具体的には、まず、Ｓ１２にて部位が胃であると特定され、胃の３Ｄモデルが選択されている場合、胃の入り口付近の中心座標および重力方向を、該３Ｄモデルにおける直線移動距離および回転量の基準点とする。そして、Ｓ１２にて最初に「胃」であると判断されたときの位置情報を該基準点に位置するものと推定し、その後の位置情報における直線移動量および回転量に基づいて、基準点からの変位を求めることで、カプセル内視鏡１００が位置する３Ｄモデルにおける座標を求めることができる。

次に、Ｓ１５にて求められたカプセル内視鏡１００の３Ｄモデルにおける座標に基づいて、カプセル内視鏡１００によって撮影された画像を貼付する位置（座標）が特定される（Ｓ１６）。ここで、図４を参照して、画像を貼付する座標がどのように特定されるかについて説明する。まず、上述のＳ１５の処理によって、図４に示すカプセル内視鏡１００の３Ｄモデル内における座標（Ｅｘ，Ｅｙ，Ｅｚ）およびカプセル内視鏡１００の角度θが求められる。そして、本実施形態においては、既存の３Ｄモデルを用いるため、該３Ｄモデルの各所（例えば胃壁）の座標は既知である。そのため、これらの情報に基づき、カプセル内視鏡１００が位置する座標（Ｅｘ，Ｅｙ，Ｅｚ）から角度θの方向へと線を延ばし、３Ｄモデルにおける体腔壁とが交わる点の座標（Ｄｘ，Ｄｙ，Ｄｚ）を求めることで、カプセル内視鏡１００にて撮影された画像の貼付位置の中心座標を求めることができる。位置算出部３５では、位置情報記録部３３に記録される全ての位置情報に対して、Ｓ１１からＳ１６までの処理が行われる。これにより、位置情報に関連付けられる全ての画像データにおける３Ｄモデルへの貼付け位置が算出される。

画像変形部３６は、画像データ記録部３２に記録された画像データを、３Ｄモデルへと貼り付けるための貼付画像に変換するための処理部である。画像データ記録部３２に記録された画像データは、カプセル内視鏡により撮影された全方位画像である。そのため、画像変形部３６では、まずカプセル内視鏡１００によって撮影される全方位画像を展開して展開画像を生成する。次いで、該展開画像を正面画像へと変形する処理が行われる。ここで、カプセル内視鏡１００の撮像部１３と撮影対象となる体腔壁とは、常に平行に向かい合っているわけではないため、撮影された画像は正面画像ではない場合がある。例えば、図４に示されるように、斜め方向から撮影された場合には、当該画像を正面画像へと変換する必要がある。

そのため、画像変形部３６では、位置算出部３５によって算出されるカプセル内視鏡１００の３Ｄモデル内における角度θ（図４参照）に基づいて、斜めから撮影された画像を正面画像へと変形して、貼付画像が生成される。また、このとき、１フレーム分の画像を複数の領域に分割し、それぞれに対して正面画像への変形が行なわれる。このように画像を分割することにより、作業が容易になるだけでなく、暗部などの体腔内画像でない領域を排除することも可能となる。

診断画像生成部３７は、位置算出部３５によって算出された画像の貼付位置、および画像変形部３６によって生成された貼付画像に基づいて、診断画像を生成する処理部である。図５は、診断画像生成部における診断画像生成処理の流れを示すフローチャートである。本処理では、まず、画像変形部３６によって生成された貼付画像が、位置算出部３５によって算出された３Ｄモデルにおける画像の貼付位置へと貼り付けられる（Ｓ２１）。そして、このとき、貼付画像の貼付位置が他の貼付画像と重複しているか否かが判断される（Ｓ２２）。ここで、他の貼付画像と重複していない場合（Ｓ２２：Ｎｏ）は、当該貼付画像を位置算出部によって算出された位置に貼り付けて、当該処理を終了する。

一方、貼付位置が一部でも他の貼付画像と重複している場合（Ｓ２２：Ｙｅｓ）、例えば、貼付画像Ｂを貼り付けようとした場所に、既に貼付画像Ａが貼り付けられているような場合、貼付画像が重複する部分の優先順位に基づいて、最上位に表示させる画像が選択される。ここで、重複部分の優先順位は、貼付画像の重複する部分が病変部等の疾患を含む可能性があるかどうか、および疾患を発見するための情報が多いかどうかに基づいて算出された特徴パラメータによって決定される。

まず、貼付画像Ａおよび貼付画像Ｂの重複する部分の画像がそれぞれ抽出される（Ｓ２３）。そして、続くＳ２４〜Ｓ３０に処理において、抽出された重複部分の画像における様々な特徴に基づいて、優先順位を決定するための特徴パラメータが算出される。

Ｓ２４では、抽出された重複部分における画像情報から、色情報が抽出される。そして、抽出された色情報に基づいて、明度、彩度および赤色度が算出される（Ｓ２５〜Ｓ２７）。ここで、明度は画像の明るさを表すものであり、数値が高いほど画像が明るく、また、数値が低いほど画像が暗いことを示す。また、彩度は色の鮮やかさを表すものであり、鮮やかな原色に近い色ほど彩度の数値が高く、色合いの少ないくすんだ色ほど彩度の数値が低くなる。また、赤色度は、色情報に含まれる赤色成分を表すものであり、赤色成分が多いほど赤色度が高くなる。

また、Ｓ２８では、抽出された重複部分における画像情報から、輪郭情報の抽出が行われる。ここでは、画像情報に対して、周知の方法で二値化処理等を施して輪郭情報が抽出される。また、その他にも、周知の「Ｓｈａｐｅ ｆｒｏｍ Ｓｈａｄｉｎｇ」と呼ばれる方法を用いて、画像の陰影から輪郭を抽出することも可能である。

続くＳ２９では、Ｓ２５、Ｓ２６、Ｓ２７およびＳ２８によって算出された各情報に基づいて、特徴の有無を判断するための各種パラメータＰ１〜Ｐ８が算出される。この各種パラメータＰ１〜Ｐ８は、疾患を発見するための情報が多いかどうかを判断するためのパラメータと、病変部等の疾患が存在するかどうかを判断するためのパラメータに分けられる。疾患を発見するための情報が多いかどうかを判断するためのパラメータは、画像の明るさを示すパラメータＰ１、色のコントラストを示すパラメータＰ２、凹凸の度合いを示すパラメータＰ３、および影の度合いを示すパラメータＰ４を含む。また、病変部等の疾患が存在するかどうかを判断するためのパラメータは、出血の有無を示すパラメータＰ５、発赤の有無を示すパラメータＰ６、腫瘍の有無を示すパラメータＰ７、およびポリープの有無を示すパラメータＰ８を含む。

画像の明るさを示すパラメータＰ１は、Ｓ２５で算出された明度に基づき算出される。また、色のコントラストを示すパラメータＰ２は、Ｓ２６で算出された彩度に基づき算出される。また、凹凸を示すパラメータＰ３は、Ｓ２８にて抽出された輪郭情報に基づいて算出される。また、影を示すパラメータＰ４は、Ｓ２５で算出された明度およびＳ２８にて抽出された輪郭情報に基づいて算出される。また、出血の有無を示すパラメータＰ５は、Ｓ２６で算出された彩度およびＳ２７で算出された赤色度に基づいて算出される。また、発赤の有無を示すパラメータＰ６は、Ｓ２６で算出された彩度、Ｓ２７で算出された赤色度およびＳ２８で抽出された輪郭情報に基づいて算出される。また、腫瘍の有無を示すパラメータＰ７およびポリープの有無を示すパラメータＰ８は、Ｓ２６で算出された彩度およびＳ２８で抽出された輪郭情報に基づいて算出される。

また、パラメータＰ１からＰ８は、それぞれ０〜１００の間の数値で表される。具体的には、画像の明るさを示すパラメータＰ１や、色のコントラストを示すパラメータＰ２の場合は、算出された明度や彩度の数値がそのままパラメータＰ１およびＰ２となる。また、凹凸を示すパラメータＰ３の場合は、輪郭情報に基づいて、全く凹凸がない場合を０とし、凹凸の大きさおよび量によって、最大値が１００となるようにその度合いが設定される。その他のパラメータについても同様に、当該パラメータの特徴がない場合（例えば影がない、出血していないなど）のパラメータ値（最小値）が０となり、特徴が多く含まれる場合（所定の閾値以上の影や出血が存在する場合）のパラメータ値（最大値）が１００となるように、各パラメータ値が算出される。

そして、続くＳ３０では、上述の各種パラメータＰ１〜Ｐ８を加算することによって特徴パラメータが算出される。このとき、疾患を発見するための情報が多いもの、および病変部等の疾患が存在する可能性も高いものは、特徴パラメータの数値が高くなる。そして、続くＳ３１では、Ｓ３０によって算出された特徴パラメータに基づいて、優先順位が決定される。ここでは、特徴パラメータの値が高いほど、優先順位が高く設定される。従って、例えば、貼付画像Ａの特徴パラメータが貼付画像Ｂの特徴パラメータよりも高い場合は、貼付画像Ａの優先順位が高くなる。そのため、貼付画像Ａと貼付画像Ｂが重複する部分においては、貼付画像Ａの画像が最上位となるように貼り付けられる。一方、貼付画像Ｂの特徴パラメータが貼付画像Ａの特徴パラメータよりも高い場合は、貼付画像Ａと貼付画像Ｂが重複する部分は、貼付画像Ｂの画像が最上位となるように貼り付けられる。

このように、診断画像生成部３８では、全ての貼付画像データに対して、Ｓ２１からＳ３１の処理の処理が行われ、診断画像が生成される。そして、生成された診断画像は、モニタ４００に送られ、表示される。このように、本実施形態の画像処理装置３００では、カプセル内視鏡１００によって、体腔内の同じ位置の画像が複数撮影された場合でも、病変部を発見するための情報を多く含む画像や、病変部などの特徴をより多く含む画像を用いて診断画像を生成することができる。そのため、従来のようにフレームレートを制御して画像の重複量を制御する必要がなく、カプセル内視鏡１００における処理の負荷を軽減することができる。

また、病変部などの特徴を発見するための情報が多い画像や、特徴をより多く含む画像を最上位に表示させることにより、画像が重複することにより病変部が隠れてしまうことを防ぐことができる。そのため、同じ位置を撮影した画像において、体内の蠕動運動などにより病変部の見え方が異なる場合でも、病変部が撮影されている画像を用いて診断画像を生成することができるため、病変部の見逃しを有効に防ぐこともできる。さらに、診断画像として３Ｄモデルによる部位全体を表示させることで、診断者によって、容易に各部の状態を把握することができ、診断にかける時間や労力を軽減することができる。

以上が本発明の実施形態であるが、本発明はこの実施形態に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。まず、上記実施形態においては、画像処理装置３００において画像の重複部分を検出した場合、予め設定された特徴、すなわち明度、彩度、赤色度及び輪郭情報に基づいて算出した各種パラメータから特徴パラメータを算出し、画像の優先順位を決定する構成としたが、本発明はこれに限定されるものではない。例えば、診断者によって、特徴パラメータを算出するための特徴を任意に指定できるよう構成することも可能である。このような構成とする場合、画像処理装置３００は、診断者による入力を可能とする入力部を備える。この場合の入力部としては、キーボードやタッチパネル等を用いることができる。そして、例えば、診断者によって入力部から画像の明るさ、出血の有無、ポリープの有無など、各種パラメータにおける特徴のいずれかが入力されると、診断画像生成部３７において、入力された特徴のパラメータ値がそのまま特徴パラメータとして設定される。これにより、診断者により入力された特徴に基づいて、重複する画像の優先順位が決定される。

また、その他にも、診断者によって特徴に重み付けを行って、特徴パラメータを算出することも可能である。具体的には、診断者が体内における出血の状況に重点をおいて確認したいという場合は、入力部から、出血の有無に重み付けを行うよう指示がなされる。そして、診断画像生成部３７は、上記実施形態のようにパラメータＰ１〜Ｐ８を単に加算するのではなく、該入力部からの指示に基づいて出血の有無を示すパラメータＰ５に対して重み付けを行って（例えば２倍して）特徴パラメータを算出する。これにより、出血度が高い画像に対して優先順位を高く設定することが可能となる。このように構成することにより、より診断者の要望に適した診断画像を提供することができ、診断にかかる労力および時間をより軽減することができる。

また、上記入力部を用いて、診断者が診断を所望する部位の入力を行うことも可能である。例えば、診断者が小腸の画像のみを確認したい場合には、入力部を介して小腸の診断画像のみを表示するよう指示が行われる。そして、診断画像生成部３７では、位置情報に含まれる経過時間やＰＨ値に基づいて、入力された部位に該当する画像データおよび位置情報のみが抽出される。そして、当該部位の３Ｄモデルへの画像の貼付が行われ、診断画像が生成される。このように構成することで、目的の部位以外の診断画像については、処理が不要となり画像処理装置３００の負荷を軽減することが可能になるとともに、診断者が、目的の部位のみを迅速に観察することができる。

また、上記実施形態においては、重複する部分おける画像の特徴パラメータを算出し、優先順位を決定する構成となっていたが、重複していない部分も含めて、画像全体の特徴パラメータを算出し、優先順位を決定する構成としても良い。この場合は、重複部分の抽出等を行う必要がないため、画像処理装置３００における処理を簡素化することが可能となる。さらに、上記実施形態のように、画像における明度、彩度等の特徴だけでなく、位置情報に含まれる検出値に基づいて特徴パラメータを算出することも可能である。例えばカプセル内視鏡１００のセンサ部１４に圧力センサを備え、圧力センサによる圧力値や、ＰＨセンサによるＰＨ値に基づいてポリープの有無を示すパラメータＰ８を算出することも可能である。この場合は、例えばポリープが存在する位置の圧力が高くなることを考慮し、圧力が高いほどパラメータＰ８の値が大きくなるよう設定される。

また、上記実施形態においては、カプセル内視鏡１００の位置情報の精度を向上させるため、カプセル内視鏡１００のセンサ部１４、受信装置２００の位置検出部２３、および画像処理装置３００のオプティカルフロー処理部３４の３種類の検出手段でカプセル内視鏡１００の直線移動量と回転量を求め、それぞれの平均値を算出する構成としたが、本発明はこれに限定されるものではない。例えば、直線移動量であれば、カプセル内視鏡１００のセンサ部１４、受信装置２００の位置検出部２３、もしくは画像処理装置３００のオプティカルフロー処理部３４のいずれか１つを備え、該いずれかの検出値に基づいて位置算出部３５の処理を行う構成としても良い。また、上述の３手段以外の方法によって、カプセル内視鏡１００の位置を検出するような構成とすることも可能である。

また、上記実施形態のように、既存の３Ｄモデルにカプセル内視鏡１００で撮影された画像を貼り付けるだけでなく、検出されたカプセル内視鏡の位置情報に基づいて、既存の３Ｄモデルを変形させることも可能である。具体的には、まず、位置情報に含まれる直線移動量に基づいて、カプセル内視鏡１００の体内における軌跡を形成する。そして、形成された軌跡が、３Ｄモデルの中心軸となるように３Ｄモデルの形状を変形させる。このように構成することで、より患者の体腔内の状態に近い診断画像を提供することが可能となり、診断者がより容易に、かつ正確に体腔内の状態を確認することが可能となる。

また、上記実施形態においては、３Ｄモデルにカプセル内視鏡１００で撮影された画像を貼り付ける構成としたが、本発明は、これに限定されるものではない。例えば、二次元の体腔内モデルに、貼付画像を貼り付けて診断画像を生成する際にも、本発明を適用することが可能である。さらに、カプセル内視鏡だけでなく、一般的な電子内視鏡によって撮影された画像を処理する際にも、本発明を適用することができる。この場合も、電子内視鏡の先端位置に関する位置情報および画像データに基づいて、診断画像の生成が行われる。

さらに、本実施形態においては、受信装置２００と画像処理装置３００とが無線通信を行い、画像処理装置３００が備える画像データ記録部３２および位置情報記録部３３に画像データ及び位置情報を記録する構成となっているが、受信装置２００に各記録部３２および３３を設ける構成としても良い。この場合は、受信装置２００の記録部にて、カプセル内視鏡１００からの画像データおよび位置情報を記録する。そして、例えば受信装置２００の記録部を着脱可能に構成し、受信装置２００での記録が終了した時点で、該記録部を受信装置２００から取り外して画像処理装置３００に取り付けて使用する。このように構成することで、受信装置２００にデータ送信部を備える必要がなくなり、構成を簡素化することが可能となる。

１ カプセル内視鏡システム
２１ アンテナ
２２ 通信ユニット
１００ カプセル内視鏡
２００ 受信装置
３００ 画像処理装置
４００ モニタ

Claims (12)

1. 内視鏡により撮影された内視鏡画像を処理するための画像処理装置であって、
   前記内視鏡画像を用いて診断用画像を生成する診断画像生成手段と、
   前記内視鏡画像の特徴パラメータを算出する特徴パラメータ算出手段と、
   前記特徴パラメータに基づいて、前記内視鏡画像の優先順位を決定する優先順位決定手段と、を備え、
   前記診断画像生成手段は、複数の内視鏡画像が重複する場合には、前記優先順位の最も高い内視鏡画像を用いて前記診断用画像を生成することを特徴とする画像処理装置。
2. 前記画像処理装置は、
   前記内視鏡の位置情報を取得する位置情報取得手段と、
   前記内視鏡の位置情報に基づいて、前記内視鏡画像の位置を算出する画像位置算出手段と、を更に備え、
   前記診断画像生成手段は、前記画像位置算出手段で算出された位置に基づいて、前記内視鏡画像を用いて診断用画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理装置は、前記内視鏡画像を前記診断画像の生成に適した画像へと変形する画像変形手段を更に備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記画像変形手段は、前記内視鏡画像を複数の領域に分割し、該分割した画像それぞれを前記診断画像の生成に適した画像へと変形することを特徴とする請求項３に記載の画像処理装置。
5. 前記位置情報は、前記内視鏡が備える加速度センサ、前記内視鏡と通信を行う複数のアンテナにおける信号の受信強度、もしくは前記内視鏡画像に基づくオプティカルフローの少なくともいずれか一つに基づいて取得されることを特徴とする請求項２から請求項４のいずれかに記載の画像処理装置。
6. 前記位置情報は、前記内視鏡が備える加速度センサ、前記内視鏡と通信を行う複数のアンテナにおける信号の受信強度、および前記内視鏡画像に基づくオプティカルフローに基づいて得られた位置情報の平均値を求めることで取得されることを特徴とする請求項２から請求項４のいずれかに記載の画像処理装置。
7. 前記特徴パラメータは、前記内視鏡画像の明度、彩度、赤色度、または輪郭の少なくともいずれか１つに基づいて算出されることを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
8. 前記画像処理装置は、診断者による入力を受け付ける入力手段を更に備え、
   前記特徴パラメータ算出手段は、前記入力手段によって入力された情報に従って、前記特徴パラメータの算出を行うことを特徴とする請求項１から請求項７のいずれかに記載の画像処理装置。
9. 前記特徴パラメータ算出手段、および前記優先順位決定手段における処理は、複数の内視鏡画像が重複する場合に、該重複する部分の画像に対してのみ行われることを特徴とする請求項１から請求項８のいずれかに記載の画像処理装置。
10. 前記診断画像生成手段は、複数の前記内視鏡画像を、体腔内部位の３Ｄモデルに貼付けて診断用画像を生成することを特徴とする請求項１から請求項９のいずれかに記載の画像処理装置。
11. 内視鏡により撮影された内視鏡画像の処理を行う画像処理装置によって実行される画像処理方法であって、
    前記内視鏡画像の特徴パラメータを算出する特徴パラメータ算出ステップと、
    前記特徴パラメータに基づいて、前記内視鏡画像の優先順位を決定する優先順位決定ステップと、
    複数の前記内視鏡画像が重複する場合には、前記優先順位の高い内視鏡画像を用いて診断用画像を生成する診断用画像生成ステップと、を備えることを特徴とする画像処理方法。
12. 体腔内の撮影を行うカプセル内視鏡と、
    請求項１から請求項１０のいずれかに記載の画像処理装置と、
    前記画像処理装置によって生成された診断用画像を表示する表示装置と、からなることを特徴とするカプセル内視鏡システム。

Images