JP2007175432A - 画像処理装置および当該画像処理装置における画像処理方法 - Google Patents

Abstract

【課題】ユーザによる観察の効率化をはかることができる画像処理装置および当該画像処理装置における画像処理方法を提供する。
【解決手段】本発明の画像処理装置は、撮像機能を有する医療機器により撮像された複数の画像に基づく画像信号を入力する画像信号入力手段と、前記複数の画像を各々複数の領域に分割する画像分割手段と、前記複数の領域各々における特徴量を算出する特徴量算出手段と、前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において生成した複数のクラスタを複数のクラスのいずれかに各々分類するクラスタ分類手段と、前記複数の画像を用い、複数のサブセットを生成するサブセット生成手段と、一のサブセットに含まれる画像各々の、前記特徴空間における前記特徴量の分布状態に基づき、前記一のサブセットに含まれる画像を分類する際の分類基準を算出する分類基準算出手段とを具備する。
【選択図】図１１

Description

本発明は、画像処理装置および当該画像処理装置における画像処理方法に関し、特に、生体粘膜表面の像が良好に撮像されていない画像を除外することができる画像処理装置および当該画像処理装置における画像処理方法に関するものである。

従来、医療分野において、Ｘ線、ＣＴ、ＭＲＩ、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、生体としての体腔内に挿入される細長の挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。

そして、近年、前述したような内視鏡装置と略同様の有用性が期待できる画像撮像機器として、例えば、カプセル型内視鏡装置が提案されている。一般的に、カプセル型内視鏡装置は、被検者が口から飲み込むことにより体腔内に配置され、撮像した該体腔内の像を撮像信号として外部に送信するカプセル型内視鏡と、送信された該撮像信号を体腔外で受信した後、受信した該撮像信号を蓄積するレシーバと、レシーバに蓄積された撮像信号に基づく体腔内の像の画像を観察するための観察装置とから構成される。

カプセル型内視鏡装置を構成するカプセル型内視鏡は、消化管の蠕動運動により進むため、例えば、口から体腔内に入れられた後、肛門から排出されるまで数時間程度の時間がかかることが一般的である。そして、カプセル型内視鏡は、体腔内に入れられた後、排出されるまでの間、レシーバに対して撮像信号を略常時出力し続けるため、例えば、数時間分の動画像における、レシーバに蓄積されたフレーム画像としての静止画像の枚数は膨大なものとなる。そのため、ユーザによる観察の効率化という点において、例えば、蓄積された画像のうち、出血部位等の病変部位が含まれる所定の画像を検出するような画像処理方法が行われた上において、該所定の画像以外の画像を表示または記憶しないという処理が行われることにより、画像のデータ量が削減されるような提案が望まれている。

前述したような画像処理方法としては、例えば、特許文献１に記載されているようなものがある。特許文献１に記載されている、生体内での比色分析の異常を検出するための方法は、正常粘膜と出血部位との色調の違いに着目し、色調を特徴量と設定した特徴空間における各平均値からの距離に基づき、画像の分割領域毎に出血部位の検出を行う方法、すなわち、病変部位としての出血部位が含まれる所定の画像を検出するための方法を有する画像処理方法である。

ＰＣＴ ＷＯ ０２／０７３５０７ Ａ２号公報

しかし、特許文献１に記載されている画像処理方法においては、以下に記すような課題がある。

一般に、消化管においては、常に生体粘膜表面の像のみの撮像が行われている訳ではなく、例えば、便、泡、粘液または食物残渣等の異物の像と、生体粘膜表面の像とが混在した状態において撮像が行われている。そのため、前述したような異物の存在を考慮していない特許文献１に記載されている画像処理方法においては、例えば、該異物により正常粘膜を出血部位と誤検出してしまう可能性、及び該異物の像が大部分を占めるような画像を検出する可能性が考えられる。その結果、ユーザによる観察の効率化をはかることができないという課題が生じている。

本発明は、前述した点に鑑みてなされたものであり、例えば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物の像としての便及び泡の像とを画像の小領域毎に識別して分類することにより、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率化をはかることのできる画像処理装置および当該画像処理装置における画像処理方法を提供することを目的としている。

また、本発明は、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる画像処理装置および当該画像処理装置における画像処理方法を提供することを目的としている。

本発明における第１の画像処理装置は、撮像機能を有する医療機器により撮像された複数の画像に基づく画像信号を入力する画像信号入力手段と、前記画像信号入力手段において入力した画像信号に基づき、前記複数の画像を各々複数の領域に分割する画像分割手段と、前記画像分割手段により分割された前記複数の領域各々における特徴量を算出する特徴量算出手段と、前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれかに各々分類するクラスタ分類手段と、前記複数の画像を用い、前記複数の画像が各々撮像されたタイミングに基づく複数のサブセットを生成するサブセット生成手段と、前記サブセット生成手段により生成された一のサブセットに含まれる画像各々の、前記特徴空間における前記特徴量の分布状態に基づき、前記一のサブセットに含まれる画像を、前記複数のクラスのいずれかに各々分類する際の分類基準を算出する分類基準算出手段とを具備することを特徴とする。

本発明における第２の画像処理装置は、前記第１の画像処理装置において、さらに、前記分類基準算出手段は、前記複数のクラスのうち、一のサブセットにおいて前記特徴量が発生しないクラスについては、前記分類基準を算出しないことを特徴とする。

本発明における第３の画像処理装置は、前記第１または第２の画像処理装置において、前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする。

本発明における第４の画像処理装置は、前記第３の画像処理装置において、さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類手段と、前記一の画像の分類結果に基づき、前記一の画像が前記生体粘膜に関するクラスとして分類された領域を有している場合、該領域各々に対し、病変箇所を検出するための処理を行う病変検出手段とを有することを特徴とする。

本発明における第５の画像処理装置は、撮像機能を有する医療機器により時系列的に撮像された複数の画像に基づく画像信号を入力する画像信号入力手段と、前記画像信号入力手段において入力した画像信号に基づき、前記複数の画像を各々複数の領域に分割する画像分割手段と、前記画像分割手段により分割された前記複数の領域各々における特徴量を算出する特徴量算出手段と、前記特徴量に基づき、前記複数の領域各々を複数のクラスのいずれかに各々分類する画像領域分類手段と、前記複数の画像各々において、少なくとも一のクラスの特徴量の代表値を算出する代表値算出手段と、前記代表値の変動が極大となる画像または時間のいずれかを検出する変動検出手段とを具備することを特徴とする。

本発明における第６の画像処理装置は、前記第５の画像処理装置において、さらに、前記代表値各々に対して時系列方向の平滑化を適用する平滑化手段を有し、前記変動検出手段は、前記平滑化手段により平滑化された後の前記代表値に基づき、前記代表値の変動が極大となる画像または時間のいずれかを検出することを特徴とする。

本発明における第７の画像処理装置は、前記第５または第６の画像処理装置において、前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする。

本発明における第８の画像処理装置は、前記第５または第６の画像処理装置において、前記代表値の変動は、生体内における便の存在に基づいて生じるものであることを特徴とする。

本発明における第９の画像処理装置は、前記第５または第６の画像処理装置において、前記代表値の変動は、生体内における胆汁の存在に基づいて生じるものであることを特徴とする。

本発明における第１０の画像処理装置は、前記第５または第６の画像処理装置において、前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする。

本発明における第１１の画像処理装置は、前記第５乃至第１０の画像処理装置において、 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

本発明における第１の画像処理方法は、撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された前記複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれかに各々分類するクラスタ分類ステップと、前記複数の画像を用い、前記複数の画像が各々撮像されたタイミングに基づく複数のサブセットを生成するサブセット生成ステップと、前記サブセット生成ステップにより生成された一のサブセットに含まれる画像各々の、前記特徴空間における前記特徴量の分布状態に基づき、前記一のサブセットに含まれる画像を各々分類する際の分類基準を算出する分類基準算出ステップとを具備することを特徴とする。

本発明における第２の画像処理方法は、前記第１の画像処理方法において、さらに、前記分類基準算出ステップは、前記複数のクラスのうち、一のサブセットにおいて前記特徴量が発生しないクラスについては、前記分類基準を算出しないことを特徴とする。

本発明における第３の画像処理方法は、前記第１または第２の画像処理方法において、前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする。

本発明における第４の画像処理方法は、前記第３の画像処理方法において、さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類ステップと、前記一の画像の分類結果に基づき、前記一の画像が前記生体粘膜に関するクラスとして分類された領域を有している場合、該領域各々に対し、病変箇所を検出するための処理を行う病変検出ステップとを有することを特徴とする。

本発明における第５の画像処理方法は、撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された前記複数の領域各々における特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を複数のクラスのいずれかに各々分類する画像領域分類ステップと、前記複数の画像各々において、少なくとも一のクラスの特徴量の代表値を算出する代表値算出ステップと、前記代表値の変動が極大となる画像または時間のいずれかを検出する変動検出ステップとを具備することを特徴とする。

本発明における第６の画像処理方法は、前記第５の画像処理方法において、さらに、前記代表値各々に対して時系列方向の平滑化を適用する平滑化ステップを有し、前記平滑化ステップにより平滑化された後の前記代表値に基づき、前記代表値の変動が極大となる画像または時間のいずれかを検出する処理を前記変動検出ステップにおいて行うことを特徴とする。

本発明における第７の画像処理方法は、前記第５または第６の画像処理方法において、 前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする。

本発明における第８の画像処理方法は、前記第５または第６の画像処理方法において、前記代表値の変動は、生体内における便の存在に基づいて生じるものであることを特徴とする。

本発明における第９の画像処理方法は、前記第５または第６の画像処理方法において、前記代表値の変動は、生体内における胆汁の存在に基づいて生じるものであることを特徴とする。

本発明における第１０の画像処理方法は、前記第５または第６の画像処理方法において、 前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする。

本発明における第１１の画像処理方法は、前記第５乃至第１０の画像処理方法において、前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする。

本発明における画像処理装置および当該画像処理装置における画像処理方法によると、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率化をはかることができる。

また、本発明における画像処理装置および当該画像処理装置における画像処理方法によると、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる。

以下、図面を参照して本発明の実施の形態を説明する。図１は、本発明の第１の実施形態である画像処理動作が行われる画像処理装置および周辺機器の外観を示した外観正面図である。図２は、本実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図である。図３は、本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図である。図４は、本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図である。図５は、図２に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャートである。図６は、図２に示すカプセル型内視鏡の位置検出を説明する説明図である。図７は、図３に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図である。図８は、図３に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図である。図９は、図３に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図である。図１０は、図２に示すカプセル型内視鏡の電気的な構成を示すブロック図である。図１１は、本実施形態に係る画像処理動作を示すフローチャートである。図１２は、制御部が行う処理により作成される、特徴空間におけるヒストグラムの一例を示す図である。図１３は、制御部が行う処理により作成される、特徴空間におけるクラスタの一例を示す図である。図１４は、図１３に示すクラスタのうち、特徴空間における面積または体積が所定の閾値未満であるクラスタが削除される様子を示す図である。図１５は、制御部が行う処理である、境界が接している２つ以上のクラスタの統合または分離判定の処理の一例を示すフローチャートである。図１６は、胃粘膜クラス及び絨毛クラスに分類された領域が有する特徴量μｇｐの、サブセット毎の時間方向における変化を示すグラフである。図１７は、図１６のグラフに示される特徴量μｇｐにおいて、時間方向への平滑化処理を行った場合のグラフである。図１８は、制御部が行う処理である、病変検出処理の一例を示すフローチャートである。

本発明の実施形態である画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置１は、図３に示すように、カプセル型内視鏡３、アンテナユニット４及び外部装置５とを有して要部が構成されている。

医療機器としてのカプセル型内視鏡３は、詳細は後述するが、被検体である患者２の口から体腔内に飲み込まれることにより体腔内に配置された後、蠕動運動により消化管内を進行する形状に形成され、かつ、内部に体腔内を撮像し、その撮像画像情報を生成する撮像機能と、その撮像画像情報を体外に送信する送信機能とを有している。アンテナユニット４は、詳細は後述するが、患者２の身体表面上に設置され、前記カプセル型内視鏡３から送信される撮像画像情報を受信する複数の受信アンテナ１１を有している。外部装置５は、外形が箱形形状に形成されており、詳細は後述するが、前記アンテナユニット４が受信した撮像画像情報の各種処理、撮像画像情報の記録、及び撮像画像情報による撮像画像表示等の機能を有している。この外部装置５の外装の表面に前記撮像画像を表示させる液晶モニタ１２と、各種機能の操作指示を行う操作部１３とが設けられている。

また、この外部装置５は、駆動電源用の電池の残量に関する警告表示用のＬＥＤと、電源スイッチ等のスイッチからなる操作部１３とが外装の表面に設けられている。又、カプセル型内視鏡３の内部には、ＣＰＵ及びメモリを用いた演算実行部が設けられており、例えば、該演算実行部において、受信及び記録した撮像画像情報に対して後述する画像処理が実行されるような構成であっても良い。

この外部装置５は、患者２の身体に着脱自在に装着されると共に、図１に示すように、クレードル６に装着されることにより、本発明の第１の実施形態である画像処理装置（以下、端末装置と記す）７に着脱自在に接続されるようになっている。この端末装置７は、たとえば、パーソナルコンピュータが用いられ、各種データの処理機能や記憶機能を有する端末本体９と、各種操作処理入力用のキーボード８ａ及びマウス８ｂと、及び各種処理結果を表示するディスプレイ８ｃとを有している。この端末装置７は、基本的機能として、例えば、前記外部装置５に記録されている撮像画像情報をクレードル６を介して取り込み、端末本体９に内蔵されている書換可能なメモリ、或いは端末本体９に着脱自在な書換可能な半導体メモリ等の可搬型メモリに書込記録させ、かつ、その記録した撮像画像情報をディスプレイ８ｃに表示する画像処理を行うような機能を有している。なお、前記外部装置５に記憶されている撮像画像情報は、前記クレードル６に代えて、ＵＳＢケーブル等によって端末装置７に取り込まれるようにしても良い。

なお、端末装置７が行う画像処理は、例えば、前記外部装置５から取り込み記録した撮像画像情報から経過時間に応じて表示させる画像を選択する処理、及び後述する画像処理として、端末本体９が有する制御部９ａにおいて行われる。制御部９ａは、ＣＰＵ（中央処理装置）等を有し、例えば、前述したような処理を行う場合に、処理結果を一時的に図示しないレジスタ等に保持することができる。

次に、前記カプセル型内視鏡３の外形と内部構造について、図２を用いて説明する。カプセル型内視鏡３は、断面がＵ字状の外装部材１４と、この外装部材１４の先端側の開放端に接着剤により水密装着された透明部材により形成された略半球形状のカバー部材１４ａと有する。そのため、カプセル型内視鏡３の外装は、外装部材１４と、カバー部材１４ａとが接続された状態においては、水密構造かつカプセル形状を有するように形成されている。

この外装部材１４とカバー部材１４ａを有するカプセル形状の内部中空部であって、前記カバー部材１４ａの半球の円弧の略中央にあたる部分には、カバー部材１４ａを介して入射された観察部位像を取り込む対物レンズ１５がレンズ枠１６に収納されて配置されている。この対物レンズ１５の結像位置には、撮像素子である電荷結合素子（以降、ＣＣＤと記す）１７が配置されている。また、前記対物レンズ１５を収納するレンズ枠１６の周囲には、照明光を発光放射させる４つの白色系のＬＥＤ１８が同一平面上に配置されている（図中には２つのＬＥＤのみを表記している）。前記ＣＣＤ１７の後端側の前記外装部材１４の内部中空部には、前記ＣＣＤ１７を駆動制御して光電変換された撮像信号の生成、その撮像信号に所定の信号処理を施して撮像画像信号を生成する撮像処理、及び前記ＬＥＤ１８の点灯／非点灯の動作を制御するＬＥＤ駆動の処理を行う処理回路１９と、この処理回路１９の撮像処理により生成された撮像画像信号を無線信号に変換して送信する通信処理回路２０と、この通信処理回路２０からの無線信号を外部に送信する送信アンテナ２３と、前記処理回路１９と通信処理回路２０の駆動用電源を供給する複数のボタン型の電池２１とが配置されている。

なお、ＣＣＤ１７、ＬＥＤ１８、処理回路１９、通信処理回路２０及び送信アンテナ２３は、図示しない基板上に配置され、それらの基板の間は、図示しないフレキシブル基板にて接続されている。また、前記処理回路１９には、後述する画像処理を行うための図示しない演算回路を備えている。つまり、前記カプセル型内視鏡３は、図３に示すように、前記ＣＣＤ１７、ＬＥＤ１８及び処理回路１９とを有する撮像装置４３と、前記通信処理回路２０を有する送信器３７と、送信アンテナ２３とを有する。

次に、前記カプセル型内視鏡３の撮像装置４３の詳細構成について、図１０を用いて説明する。撮像装置４３は、ＬＥＤ１８の点灯／非点灯の動作を制御するＬＥＤドライバ１８Ａと、ＣＣＤ１７の駆動を制御して光電変換された電荷の転送を行う為のＣＣＤドライバ１７Ａと、前記ＣＣＤ１７から転送された電荷を用いて撮像信号を生成し、かつ、その撮像信号に所定の信号処理を施して撮像画像信号を生成する処理回路１９Ａと、前記ＬＥＤドライバ１８Ａ、ＣＣＤドライバ１７Ａ、処理回路１９Ａ、及び送信器３７に電池２１からの駆動電源を供給するスイッチ部と、前記スイッチ部及びＣＣＤドライバ１７Ａにタイミング信号を供給するタイミングジェネレータ１９Ｂとからなっている。なお、前記スイッチ部は、電池２１から前記ＬＥＤドライバ１８Ａへの電源供給をオン／オフをするスイッチ１９Ｃと、前記ＣＣＤ１７、ＣＣＤドライバ１７Ａ及び処理回路１９Ａへの電源供給をオン・オフするスイッチ１９Ｄと、前記送信器３７への電源供給をオン／オフするスイッチ１９Ｅとからなっている。また、前記タイミングジェネレータ１９Ｂには、電池２１から常時駆動電源が供給されるようになっている。

このような構成を有するカプセル型内視鏡３の撮像装置４３においては、スイッチ１９Ｃと、スイッチ１９Ｄと、スイッチ１９Ｅとがオフ状態である場合、タイミングジェネレータ１９Ｂ以外の各部は非動作状態である。そして、タイミングジェネレータ１９Ｂからタイミング信号が出力されると、前記スイッチ１９Ｄがオンされ、これにより、電池２１から電源が供給されたＣＣＤ１７、ＣＣＤドライバ１７Ａ及び処理回路１９Ａは動作状態となる。

前記ＣＣＤ１７の駆動初期時に、ＣＣＤ１７の電子シャッターを動作させて、不要な暗電流を除去した後、タイミングジェネレータ１９Ｂは、スイッチ１９ＣをオンさせてＬＥＤドライバ１８Ａを駆動させてＬＥＤ１８を点灯させＣＣＤ１７を露光する。ＬＥＤ１８は、ＣＣＤ１７の露光に必要な所定の時間だけ点灯された後、消費電力低減の為に、スイッチ１９Ｃがオフしたタイミングにおいて消灯される。

前記ＣＣＤ１７の露光が行われた前記所定の時間内に蓄えられた電荷は、ＣＣＤドライバ１７Ａの制御により処理回路１９Ａへ転送される。処理回路１９Ａは、ＣＣＤ１７から転送された電荷を基に撮像信号を生成し、その撮像信号に所定の信号処理を施して内視鏡画像信号を生成する。処理回路１９Ａは、例えば、送信器３７から送信される信号がアナログ無線方式である場合、ＣＤＳ出力信号に対して複合同期信号を重畳させたアナログ撮像信号を生成した後、該アナログ撮像信号を内視鏡画像信号として送信器３７へ出力する。また、処理回路１９Ａは、例えば、送信器３７から送信される信号がデジタル無線方式である場合、アナログ／デジタルコンバータにより生成したシリアルなデジタル信号に対し、さらにスクランブル等の符号化処理を施したデジタル撮像画像信号を生成し、該デジタル撮像信号を内視鏡画像信号として送信器３７へ出力する。

この送信器３７は、前記処理回路１９Ａから供給された内視鏡画像信号である、アナログ撮像画像信号またはデジタル撮像画像信号に対して変調処理を施して送信アンテナ２３から外部へ無線送信する。この時、スイッチ１９Ｅは、前記処理回路１９Ａから撮像画像信号が出力されたタイミングにおいてのみ送信器３７に駆動電力が供給されるように、タイミングジェネレータ１９Ｂによりオン／オフされる。

なお、スイッチ１９Ｅは、処理回路１９Ａから撮像画像信号が出力されてから所定の時間が経過した後に、送信器３７に駆動電力が供給されるように制御されても良い。また、スイッチ１９Ｅは、カプセル型内視鏡３に設けられた、図示しないｐＨセンサーによる所定値のｐＨ値の検出、図示しない湿度センサーによる所定値以上の湿度の検出、図示しない圧力センサーまたは図示しない加速度センサーによる所定値以上の圧力または加速度の検出等の検出結果に基づいてタイミングジェネレータ１９Ｂから出力される信号により、被検体である患者２の体腔内に挿入された際に、送信器３７に電源を供給するように制御されるような構成を有していても良い。

なお、前記カプセル型内視鏡３の撮像装置４３は、通常毎秒２枚の画像（毎秒２フレーム＝２ｆｐｓ）を撮像するものであるが、例えば、食道の検査の場合は、毎秒１５〜３０枚の画像（１５ｆｐｓ〜３０ｆｐｓ）を撮像できるようにする。具体的には、カプセル型内視鏡３に、図示しないタイマー回路を設け、このタイマー回路により、例えば、タイマーカウントが所定時間以内においては毎秒当たりの撮像枚数の多い高速撮像とし、所定時間が経過した後は、毎秒当たりの撮像枚数の少ない低速撮像となるように撮像装置４３の駆動を制御させる。或いは、カプセル型内視鏡３の電源の投入と共にタイマー回路を作動させて、このタイマー回路により、例えば、患者２が飲み込んだ直後の食道を通過するまでの時間は高速撮像となるように、撮像装置４３の駆動を制御させることも可能である。さらに、低速撮像用カプセル型内視鏡と高速撮像用カプセル型内視鏡とを個別に設けて、観察対象部位に応じて使い分けるようにしても良い。

次に、前記患者２の身体表面上に設置されるアンテナユニット４について説明する。図４に示すように、カプセル型内視鏡３を飲み込んで内視鏡検査を行う場合、患者２は、複数の受信アンテナ１１からなるアンテナユニット４が設置されたジャケット１０を装着する。このアンテナユニット４は、図７に示すように、たとえば、ＧＰＳに使用されているパッチアンテナのような単方向の指向性を有する複数の受信アンテナ１１を患者２の身体内方向にその指向性を向けて配置する。つまり、カプセル型内視鏡３のカプセル本体３Ｄは、身体内に留置されるため、その身体内のカプセル本体３Ｄを取り囲むように前記複数のアンテナ１１が配置される。この指向性の高いアンテナ１１を使用することにより、身体内のカプセル本体３Ｄ以外からの電波による干渉妨害の影響を受けにくくしている。

前記ジャケット１０は、図８に示すように、患者２の身体表面に設置する前記アンテナユニット４と、ベルトにより患者２の腰に設置された外部装置５の本体部５Ｄを覆うように電磁シールド繊維で形成されたシールドジャケット７２とからなる。このシールドジャケット７２を形成する電磁シールド繊維は、金属繊維、金属化学繊維、硫化銅含有繊維等が用いられている。なお、このシールドジャケット７２は、ジャケット形状に限るものではなく、例えば、ベスト、ワンピース形状等であっても良い。

又、前記シールドジャケット７２に前記外部装置５を装着する例として、図９に示すように、前記外部装置５の外部本体５Ｄに鍵穴７４を設け、前記シールドジャケット７２に設けた鍵７５を前記鍵穴７４に差し込むことにより、ベルト７３に着脱自在に装着できるようにする。或いは、単にシールドジャケット７２に図示しないポケットを設け、そのポケットに外部本体５Ｄを収納したり、又は、外部装置５の外部本体５Ｄとシールドジャケット７２にマジックテープ（登録商標）を設置し、そのマジックテープ（登録商標）により取付固定しても良い。

つまり、アンテナユニット４が配置された身体にシールドジャケット７２を装着することにより、アンテナユニット４に対する外部からの電波がシールド遮蔽されて、外部電波による干渉妨害の影響を一層受けにくくしている。

次に、前記アンテナユニット４と外部装置５の構成について、図３を用いて説明する。前記アンテナユニット４は、前記カプセル型内視鏡３の送信アンテナ２３から送信された無線信号を受信する複数の受信アンテナ１１ａ〜１１ｄと、このアンテナ１１ａ〜１１ｄを切り替えるアンテナ切換スイッチ４５とからなる。前記外部装置５は、アンテナ切換スイッチ４５からの無線信号を撮像画像信号に変換及び増幅等の受信処理を行う受信回路３３と、この受信回路３３から供給された撮像画像信号に所定の信号処理を施して、撮像画像の表示用信号及び撮像画像データを生成する信号処理回路３５と、この信号処理回路３５により生成された撮像画像表示用信号に基づいて撮像画像を表示する液晶モニタ１２と、前記信号処理回路３５により生成された撮像画像データを記憶するメモリ４７と、前記受信回路３３により受信処理された無線信号の大きさにより前記アンテナ切換スイッチ４５を制御するアンテナ選択回路４６とからなる。

前記アンテナユニット４の図中受信アンテナ１１ａ〜１１ｄとして示した複数の受信アンテナ１１は、前記カプセル型内視鏡３の送信アンテナ２３から一定の電波強度により送信された無線信号を受信する。この複数の受信アンテナ１１ａ〜１１ｄは、前記外部装置５のアンテナ選択回路４６からのアンテナ選択信号によりアンテナ切替スイッチ４５が制御されて、前記無線信号を受信する受信アンテナを順次切り替える。つまり、前記アンテナ切替スイッチ４５により順次切り替えられた各受信アンテナ１１ａ〜ｄ毎に受信した無線信号が前記受信器３３に出力される。この受信器３３において、各受信アンテナ１１ａ〜１１ｄ毎の無線信号の受信強度を検出して、各受信アンテナ１１ａ〜１１ｄとカプセル型内視鏡３の位置関係を算出すると共に、その無線信号を復調処理して撮像画像信号を信号処理回路３５へと出力する。前記アンテナ選択回路４６は、前記受信器３３からの出力によって制御される。

前記アンテナ選択回路４６によるアンテナ切替スイッチ４５の動作について説明する。前記カプセル型内視鏡３から送信される無線信号は、図５に示すように、撮像画像信号の１フレームの送信期間に、無線信号の受信強度を示す受信強度信号の送信期間である強度受信期間と、撮像画像信号の送信期間である映像信号期間とが順次繰り返されて送信されるとする。

前記アンテナ選択回路４６は、前記受信回路３３を介して、各受信アンテナ１１ａ〜１１ｄが受信した受信強度信号の受信強度が供給される。前記アンテナ選択回路４６は、前記受信器３３からの供給された各アンテナ１１ａ〜１１ｄの受信強度信号の強度を比較して、映像信号期間の撮像画像信号を受信する最適な受信アンテナ、つまり、受信強度信号の強度が最も高いアンテナ１１ｉ（ｉ＝ａ〜ｄ）を決定して、アンテナ切替回路４５をそのアンテナ１１ｉに切り替えるための制御信号を生成出力する。これにより、現在画像信号を受信しているアンテナよりも、他のアンテナの受信強度信号の受信強度が高い場合には、映像信号期間の受信アンテナを次フレーム分から切り替えるようにする。

このように、カプセル型内視鏡３からの無線信号を受信するたびに、撮像画像信号、又は受信強度信号の受信強度を比較し、この比較結果を受けたアンテナ選択回路４６によって受信強度が最大となるアンテナ１１ｉを画像信号受信用のアンテナとを指定するようにしている。これにより、カプセル型内視鏡３が患者２の体内で移動しても、その移動位置において最も受信強度の高い信号を検出できるアンテナ１１により取得した画像信号を受信することができる。また、体内でのカプセル型内視鏡３の移動速度は非常に遅い部分と早い部分に分かれるので、撮像動作１回につき常にアンテナ切替動作を１回行うとは限らず、高速撮像モードなどでは複数回の撮像動作に対してアンテナ切替動作を１回行うようにしてもよい。

なお、カプセル型内視鏡３は、患者２の体内を移動しているので、適宜の時間間隔で外部装置５から電波強度を検出した結果である検出結果信号を送り、その信号に基づいてカプセル型内視鏡３が送信する際のその出力を更新するようにしてもよい。このようにすれば、カプセル型内視鏡３が患者２の体内を移動した場合にも、適切な送信出力に設定でき、電池２１のエネルギを無駄に消費すること等を防止でき、信号の送受信状態を適切な状態に維持できるようになる。

次に、前記複数の受信アンテナ１１とカプセル型内視鏡３の位置関係を示す情報の取得方法について、図６を用いて説明する。なお、図６において、カプセル型内視鏡３を３次元座標Ｘ、Ｙ、Ｚの原点に設定した場合を例に説明する。又、前記複数の受信アンテナ１１ａ〜１１ｄのうち、説明を簡単化するために、３つの受信アンテナ１１ａ、１１ｂ、１１ｃを用い、受信アンテナ１１ａと受信アンテナ１１ｂとの間の距離をＤａｂ、受信アンテナ１１ｂと受信アンテナ１１ｃとの間の距離をＤｂｃ、受信アンテナ１１ａと受信アンテナ１１ｃとの間の距離Ｄａｃとしている。さらに、この受信アンテナ１１ａ〜１１ｃとカプセル型内視鏡３の間は、所定の距離関係としている。

カプセル型内視鏡３の送信された一定の送信強度の無線信号は、各受信アンテナ１１ｊ（ｊ＝ａ、ｂ、ｃ）で受信した場合の受信強度は、カプセル型内視鏡３（カプセル型内視鏡３の送信アンテナ２３）からの距離Ｌｉ（ｉ＝ａ，ｂ，ｃ）の関数となる。具体的には電波減衰量が伴う距離Ｌｉに依存する。従って、カプセル型内視鏡３から送信された無線信号の受信アンテナ１１ｊにより受信した受信強度からカプセル型内視鏡３と各受信アンテナ１１ｊとの間の距離Ｌｉを算出する。この距離Ｌｉの算出には、前記カプセル型内視鏡３と受信アンテナ１１ｊの間の距離による電波の減衰量などの関係データを事前に前記アンテナ選択回路４６に設定する。又、その算出されたカプセル型内視鏡３と各受信アンテナ１１ｊの位置関係を示す距離データは、前記メモリ４７にカプセル型内視鏡３の位置情報として記憶させる。このメモリ４７に記憶された撮像画像情報及びカプセル型内視鏡３の位置情報を基に、前記端末装置７による後述する画像情報処理方法において、内視鏡観察所見の位置設定に有用となる。

次に、本実施形態の画像処理装置における画像処理動作について説明を行う。

なお、本実施形態においては、カプセル型内視鏡３により撮像された体腔内の像の画像は、ｘ軸方向のドット数ＩＳＸ×ｙ軸方向のドット数ＩＳＹ（１≦ＩＳＸ、１≦ＩＳＹを満たす値であり、例えば、ＩＳＸ＝３００、ＩＳＹ＝３００）、Ｒ（赤）Ｇ（緑）Ｂ（青）の３プレーンからなり、各プレーンにおける各画素は、濃度値であるＲＧＢ値として各々８ｂｉｔ、すなわち、０から２５５の値をとるものとする。また、本発明の実施形態においては、時系列的に連続して撮像されたＮ枚の画像（１≦Ｎ）におけるｉ番目の画像をＩｉ（１≦ｉ≦Ｎ）と示すものとする。さらに、本実施形態においては、画像Ｉｉの各プレーンにおけるｖ番目の画素（１≦ｖ≦ＩＳＸ×ＩＳＹ）をそれぞれｒｉｖ、ｇｉｖ及びｂｉｖと示すものとする。

また、本実施形態の画像処理装置における画像処理動作は、前述した端末装置７の端末本体９が有する制御部９ａにおける処理として行われるようになっている。

まず、制御部９ａは、端末装置７において予め設定されたサンプリング値ｋ（ｋ＝１，２，…）に基づき、カプセル型内視鏡３により時系列的に連続して撮像されたＮ枚の画像において、ｋ番目毎の画像Ｉｋ、Ｉ２ｋ、…、Ｉｎｋ（ｎｋは１≦ｎｋ≦Ｎを満たす整数であるとする）のサンプリングを行う（図１１のステップＳ１）。例えば、カプセル型内視鏡３が毎秒２枚の画像を撮像し、かつ、サンプリング値ｋが２０として設定されている場合、制御部９ａは、カプセル型内視鏡３により撮像されたＮ枚の画像において、撮像開始時間から１０秒経過毎の画像を１枚ずつサンプリングする。

そして、制御部９ａは、サンプリングした（Ｎ／ｋ）枚（Ｎ／ｋは、端数を切り捨てた整数であるとする）の画像Ｉｎｋをサンプル画像群とした後、該サンプル画像群の画像Ｉｎｋ各々に対し、以下に記す処理を行う。なお、前記サンプル画像群は、（Ｎ／ｋ）枚の画像Ｉｎｋに加え、１番目の画像Ｉ１を含む（ｎ＋１）枚の画像からなるものであっても良い。

制御部９ａは、入力された画像Ｉｎｋを構成するＲｎｋ、Ｇｎｋ及びＢｎｋの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆γ補正を行うと共に、ハレーション画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく（図１１のステップＳ２）。そして、前記閾値に基づく処理は、例えば、ｒｎｋｖ、ｇｎｋｖ及びｂｎｋｖの濃度値の全てが１０以下の値であれば暗部画素、また、ｒｎｋｖ、ｇｎｋｖ及びｂｎｋｖの濃度値の全てが２３０以上の値であればハレーション画素とするような処理として行われる。

制御部９ａは、入力された画像Ｉｎｋを、例えば、８×８からなる複数の矩形領域に分割する（図１１のステップＳ３）。なお、以降の説明においては、制御部９ａにおいて分割された矩形領域のうち、一の領域をＨｐ（ｐは１以上の整数）と示すものとする。

その後、制御部９ａは、画像Ｉｎｋの一の領域Ｈｐ各々における各画素のＲＧＢ値の比に基づく値である、ｇｎｋｖ／ｒｎｋｖの平均値（以降、μｇｐと示す）及びｂｎｋｖ／ｇｎｋｖの平均値（以降、μｂｐと示す）からなる、画像の色度を示す２つの特徴量を算出する（図１１のステップＳ４）。

さらに、制御部９ａは、領域Ｈｐ各々において得られた特徴量μｇｐ及びμｂｐを各々離散化するとともに、離散化した特徴量μｇｐ及びμｂｐの発生頻度に基づく、特徴空間におけるヒストグラムを作成する（図１１のステップＳ５）。具体的には、制御部９ａは、特徴量μｇｐ及びμｂｐの値を、例えば、１以上の値を全て１としつつ、各々０から１までの値をとるものとして扱うとともに、さらに、０から１までの値としての特徴量μｇｐ及びμｂｐを８０倍した値を整数値に丸めることにより、離散化及びヒストグラムの作成を行う。

制御部９ａは、離散化した特徴量μｇｐ及びμｂｐ各々に対し、例えば、所定のサイズの平均値フィルタを適用することにより、ヒストグラムを平滑化する（図１１のステップＳ６）。なお、制御部９ａが以上までの処理を行うことにより作成されるヒストグラムは、例えば、図１２に示されるようなものとなる。

次に、制御部９ａは、サンプル画像群としての（Ｎ／ｋ）枚の画像全てに対して前述した処理を行うことにより作成したヒストグラムにおいて、発生頻度が極大となる（μｇｐ，μｂｐ）の要素、すなわち、ピーク点を検出する（図１１のステップＳ７）。具体的には、制御部９ａは、作成したヒストグラムにおいて、一の要素及び該一の要素の８近傍の要素からなる９個の要素を抽出した後、抽出した該９個の要素のうち、発生頻度が最大となる要素をピーク点として検出する。

制御部９ａは、作成したヒストグラムにおいて、（μｇｐ，μｂｐ）＝（０，０）以外の各要素が、検出した各ピーク点のうち、いずれのピーク点に向かうものであるかを、ｇｒａｄｉｅｎｔベクトルに基づく解析手法としての、例えば、Ｖａｌｌｅｙ−Ｓｅｅｋｉｎｇ法を用いることにより特定する（図１１のステップＳ８）。そして、制御部９ａは、同一のピーク点に向かうｇｒａｄｉｅｎｔベクトルを有する要素を同一クラスタに属する要素とする処理である、ヒストグラム内の各要素に対する教師なしクラスタリング処理を行う（図１１のステップＳ９）。なお、制御部９ａが教師なしクラスタリング処理を行うことにより作成される各クラスタは、例えば、図１３に示されるようなものとなる。

なお、制御部９ａは、前述した教師なしクラスタリング処理において、２つ以上のクラスタの境界が接していることを検出した場合、以降に記すような、該２つ以上のクラスタの統合または分離判定の処理をさらに行うものであってもよい。

その場合、制御部９ａは、作成した各クラスタのうち、８近傍の要素を含む９個の要素において、２以上のクラスタを含む要素を抽出することにより、すなわち、２以上のクラスタの境界に属している要素を抽出することにより、該２以上のクラスタが接していると判定する（図１５のステップＳ２１）。さらに、制御部９ａは、処理対象となる前記２以上のクラスタの境界に属している前記各要素のうち、発生頻度が最小となる一の要素を抽出し、該一の要素における発生頻度をμｍｉｎとする（図１５のステップＳ２２）。また、制御部９ａは、処理対象となる前記２以上のクラスタにおける各ピーク点のうち、発生頻度が最大となる一のピーク点を抽出し、該一のピーク点における発生頻度をμｍａｘとする（図１５のステップＳ２３）。

制御部９ａは、μｍｉｎ及びμｍａｘを抽出した後、μｍｉｎ／μｍａｘの値と、閾値μｔｈｒとの比較を行う。そして、制御部９ａは、μｍｉｎ／μｍａｘの値が閾値μｔｈｒよりも大きいことを検出した場合（図１５のステップＳ２４）、処理対象となる前記２以上のクラスタを各々別クラスタと判定し、該２以上のクラスタを分離したままとする（図１５のステップＳ２５）。また、制御部９ａは、μｍｉｎ／μｍａｘの値が閾値μｔｈｒ以下であることを検出した場合（図１５のステップＳ２４）、処理対象となる前記２以上のクラスタが同一クラスタに属すると判定するとともに、該２以上のクラスタを統合し、発生頻度μｍａｘのピーク点を新たなピーク点とする、統合後のクラスタを作成する（図１５のステップＳ２６）。なお、前述した閾値μｔｈｒは、本実施形態においては、例えば、０．１であるとする。

制御部９ａは、前述した教師なしクラスタリングの処理（図１１のステップＳ９に示す処理）を行った後、生成した各クラスタについて、該各クラスタのクラスタ情報を取得する（図１１のステップＳ１０）。なお、制御部９ａが取得するクラスタ情報は、例えば、クラスタ番号、該各クラスタのピーク点となる要素、該各クラスタ各々の特徴空間における面積及び体積、及び該各クラスタにおける特徴量μｇｐ及びμｂｐの平均値ベクトルといった情報である。

その後、制御部９ａは、取得したクラスタ情報に基づき、例えば、図１４に示すように、特徴空間における面積または体積が所定の閾値未満であるクラスタを削除する（図１１のステップＳ１１）。

さらに、制御部９ａは、特徴空間に残った各クラスタにおける特徴量μｇｐ及びμｂｐの平均値ベクトル及び教師データセットから作成された、例えば、線形判別関数またはベイズの定理に基づく関数等の識別器を用いることにより、特徴空間に残った各クラスタがいずれのクラスに属するかを判定する（図１１のステップＳ１２）。なお、本実施形態においては、前記クラスは、胃粘膜、絨毛、便及び泡からなる４つのクラスであるとする。また、本実施形態においては、前記教師データセットは、前記４つのクラスの教師データを構成する複数の画像であるとする。

そして、制御部９ａは、特徴空間に残った各クラスタを胃粘膜、絨毛、便及び泡の４つのクラスに分類するとともに、該４つのクラスに分類不可能なクラスタを不明クラスとして分類する（図１１のステップＳ１３）。

ここで、図１１のステップＳ１２及びステップＳ１３に示す処理の具体例を以下に詳述する。なお、制御部９ａは、特徴空間に残ったクラスタ全てに対し、以下に述べる処理を各々行うものであるとする。

前述した４つのクラスの識別及び分類において、一のクラスωａ（ａ＝１、２、…、Ｃ、Ｃはクラス数を示す）が発生する事前確率をＰ（ωａ）とし、特徴空間に残った各クラスタにおける特徴量μｇｐ及びμｂｐから決定された特徴ベクトルをｘとし、全クラスからの特徴ベクトルｘの発生確率に基づく確率密度関数をｐ（ｘ）とし、一のクラスωａからの特徴ベクトルｘの発生確率に基づく状態依存確率密度（多変量正規確率密度）関数をｐ（ｘ｜ωａ）とすると、発生した特徴ベクトルｘが一のクラスωａに属する事後確率Ｐ（ωａ｜ｘ）を算出するための計算式は、下記数式（１）として示される。

・・・（１）

なお、状態依存確率密度関数ｐ（ｘ｜ωａ）及び確率密度関数ｐ（ｘ）は、下記数式（２）及び数式（３）として示される。

・・・（２）

・・・（３）

なお、上記数式（２）及び数式（３）において、ｄはｘの特徴量の個数と同数である次元数を示し、μａ及びΣａはクラスωａにおける特徴ベクトルｘの平均ベクトル及び一のクラスωａにおける分散共分散行列を示すものとする。また、（ｘ−μａ）^ｔは（ｘ−μａ）の転置行列を示し、｜Σａ｜はΣａの行列式を示し、Σａ^−１はΣａの逆行列を示すものとする。さらに、説明の簡単のため、事前確率Ｐ（ωａ）は、全クラスにおいて等しい値をとると仮定し、また、確率密度関数ｐ（ｘ）は、上記数式（３）により全クラス共通の関数として表されるものとする。

前述したようなベイズの定理に基づく統計的識別器と共に、分類基準として用いられる平均ベクトルμａ及び分散共分散行列Σａは、一のクラスωａにおける母数を構成する要素であり、１番目の画像Ｉ１が端末装置７に入力される以前の段階において、胃粘膜、絨毛、便及び泡からなる４つのクラスの教師データを構成する複数の画像に基づき、該画像の一の領域各々において都度決定される特徴ベクトルｘから、クラス毎に予め算出された後、初期値として端末装置７に各々記録される。なお、このとき、制御部９ａは、各クラスの教師データにおける特徴ベクトルに、画像Ｉｉにおける各クラスの特徴ベクトルを加えるようにして母数を推定しても良い。

なお、平均ベクトルμａは、特徴ベクトルｘが有する２つの特徴量各々の平均値からなり、かつ、特徴ベクトルｘと同一の次元数を有するベクトルである。すなわち、特徴ベクトルｘがｘ＝（μｇｐ，μｂｐ）として表される場合、平均ベクトルμａは、特徴ベクトルｘが有する２つの特徴量各々の平均値である、μ（μｇｐ）及びμ（μｂｐ）を用いて、μａ＝（μ（μｇｐ），μ（μｂｐ））として表されるものとする。また、分散共分散行列Σａは、一のクラスωａに属する特徴ベクトルｘの分布のバラツキ及び広がり具合を示す行列であり、特徴ベクトルｘの特徴量の個数と同数である次元数ｄに対し、ｄ×ｄ行列として表されるものとする。

制御部９ａは、発生した特徴ベクトルｘがクラスω１に属する事後確率Ｐ（ω１｜ｘ）と、発生した特徴ベクトルｘがクラスω２に属する事後確率Ｐ（ω２｜ｘ）と、発生した特徴ベクトルｘがクラスω３に属する事後確率Ｐ（ω３｜ｘ）と、発生した特徴ベクトルｘがクラスω４に属する事後確率Ｐ（ω４｜ｘ）とを、ベイズの定理に基づいた上記数式（１）から数式（３）を用いて各々算出する。そして、制御部９ａは、これら４つの事後確率のうち、最大の事後確率Ｐ１（ωａ｜ｘ）を与えるクラスωａに特徴ベクトルｘが属するものとして識別を行い、該識別結果に基づいて特徴ベクトルｘが発生した領域である一のクラスタをクラスωａに分類すると共に、最大の事後確率Ｐ１（ωａ｜ｘ）を与える確率密度関数ｐ１（ｘ｜ωａ）の値を算出する。

そして、制御部９ａは、以上までの処理において、クラスωａに分類された一のクラスタの分類結果が正確なものであるか否かを判定するため、平均値からの距離に基づく処理、すなわち、最大の事後確率Ｐ１（ωａ｜ｘ）を与える確率密度関数ｐ１（ｘ｜ωａ）の値に対する閾値に基づく処理をさらに行う。

具体的には、まず、制御部９ａは、平均ベクトルμａが有する２つの特徴量各々の平均値のうち、例えば、特徴量μｇｐの平均値μ（μｇｐ）に対し、特徴量μｇｐの標準偏差σ（μｇｐ）と、所定の定数としての乗算係数αとの積を加えた値を含む、閾値ベクトルｘｂ１を決定する。なお、このような閾値ベクトルｘｂ１は、例えば、下記数式（４）として示されるものであり、また、本実施形態においては、乗算係数αの値は１．５であるとする。

ｘｂ１＝（μ（μｇｐ）＋α×σ（μｇｐ），μｂｐ） ・・・（４）

上記数式（４）により閾値ベクトルｘｂ１が決定されると、制御部９ａは、閾値ベクトルｘｂ１を上記数式（１）、数式（２）及び数式（３）のｘとして代入し、一のクラスタが分類されたクラスωａの閾値としての、確率密度関数ｐ（ｘｂ１｜ωａ）の値を算出する。

そして、制御部９ａは、ｐ１（ｘ｜ωａ）の値がｐ（ｘｂ１｜ωａ）の値より大きいことを検出すると、前述した処理において、一のクラスタをクラスωａに分類した分類結果が正確であると判定する。

また、制御部９ａは、ｐ１（ｘ｜ωａ）の値がｐ（ｘｂ１｜ωａ）の値以下であることを検出すると、前述した処理において、一のクラスタをクラスωａに分類した分類結果が不正確であると判定し、一のクラスタを不明クラスに分類する。

さらに、制御部９ａは、前述したクラス分類を行った後、サンプル画像群としての（Ｎ／ｋ）枚の画像Ｉｎｋから、撮像されたタイミングに基づく所定の間隔ｔ毎のサブセットを生成する（図１１のステップＳ１４）。例えば、撮像開始時間から１０秒経過毎の画像が１枚ずつサンプリングされ（ｋ＝２０と設定され）、かつ、間隔ｔが１８０として設定されている場合、制御部９ａは、サンプル画像群としての（Ｎ／ｋ）枚の画像Ｉｎｋにおいて、撮像開始時間から１８００秒経過毎までに含まれる画像を１組のサブセットとする。

その後、制御部９ａは、各サブセットに含まれる画像Ｉｎｋ各々において、特徴空間において発生したクラスの種別の分布を示すクラス分布情報と、該特徴空間において発生したクラスタに含まれる特徴量μｇｐ及びμｂｐの、クラス毎の分布状態を示す特徴量分布情報とを取得する（図１１のステップＳ１５）。そして、制御部９ａは、前記特徴量分布情報に基づき、画像を分類する際の分類基準としての平均値ベクトル及び分散共分散行列を算出した後、該平均値ベクトル及び該分散共分散行列を用いた、サブセット毎の識別器を構成する（図１１のステップＳ１６）。さらに、制御部９ａは、前述した処理により、サブセット毎に構成した識別器を用いつつ、Ｎ枚の画像各々に対する分類を行う（図１１のステップＳ１７）。このような処理を行うことにより、制御部９ａは、前述した統計的識別器において、各クラスの分布を規定するための多変量正規確率密度関数の母数を、サブセット毎に最適に設定することができる。

制御部９ａは、以上に述べた、図１１のステップＳ１から図１１のステップＳ１７までに示す処理を行うことにより、カプセル型内視鏡３により撮像された画像の分類を高精度かつ高速に行うことができる。

なお、制御部９ａは、取得した特徴量分布情報に基づき、一のサブセットにおいて発生しなかったクラスについては、平均値ベクトル及び分散共分散行列を算出しないものであっても良い。

また、以上に述べた、制御部９ａが行う処理は、Ｎ枚の画像が撮像された後に行われるものに限るものではなく、例えば、間隔ｔに基づく、一のサブセットの画像が撮像された直後毎に随時行われるものであっても良い。

さらに、制御部９ａは、さらに高精度な処理結果を得るために、図１１のステップＳ１５に示す処理において取得した特徴量分布情報に対し、例えば、１次元において均等な重み付けがなされた所定のサイズの平滑化フィルタを用いた処理である、平滑化処理を行うものであっても良い。そして、制御部９ａは、このような平滑化処理を行うことにより、特徴量分布情報のうち、特徴量μｇｐまたはμｂｐの変動が顕著である部分、または、特徴量μｇｐまたはμｂｐの変動が極大となる部分から、撮像部位及び病変部位を特定することができる。

前述した、平滑化処理の処理結果に基づき、制御部９ａが撮像部位及び病変部位を特定するための方法の一例を以降に記す。

例えば、制御部９ａが図１１のステップＳ１５に示す処理において取得した特徴量分布情報に基づき、胃粘膜クラス及び絨毛クラスに分類された領域が有する特徴量μｇｐのサブセット毎の時間方向における変化を表した場合、該変化は図１６のようなグラフとして示される。

本来、生体粘膜等の色調は、同一の撮像部位を撮像し続けた場合、時間方向における頻繁な変動を伴うものではない。そのため、時間的に近接した画像から得られる特徴量μｇｐ（または特徴量μｂｐ）の値は、類似した値をとると考えられる。

そして、前述したような観点に基づいて予め設定された所定のサイズのフィルタとして、例えば、サイズ２０の１次元均等重み付けフィルタを用いた、図１６のようなグラフとして示される特徴量μｇｐに対する時間方向への平滑化処理を制御部９ａが行うことにより、特徴量μｇｐのサブセット毎の時間方向における変化は、図１７のようなグラフとして示されるものになる。なお、図１６及び図１７に示すグラフは、特徴量μｇｐのサブセット毎の時間方向における変化を表したものであるが、特徴量μｂｐにおいても、サブセット毎の時間方向における変化を示す、略同様のグラフを描くことが可能である。

また、制御部９ａは、平滑化処理を行った後においてもなお特徴量μｇｐまたは特徴量μｂｐの値が顕著に変動する時間帯が存在することを検知した場合、該時間帯において、例えば、撮像部位の変化が確認されたと判定する。あるいは、制御部９ａは、平滑化処理を行った後においてもなお特徴量μｇｐまたは特徴量μｂｐの値が顕著に変動する時間帯が存在することを検知した場合、該時間帯において、例えば、便、胆汁の泡または病変部位等の存在が確認されたと判定する。

例えば、カプセル型内視鏡３が胃から小腸（十二指腸）へ移動する際には、胆汁等の消化液が分泌されることにより、黄色がかった被写体の像が撮像される。そのため、制御部９ａは、胃粘膜クラス及び絨毛クラスにおける特徴量μｂｐの値が顕著な減少を示す時間帯の存在を検知した場合、該時間帯において、カプセル型内視鏡３の撮像部位が胃から小腸へ変化したということを特定することができる。

また、例えば、カプセル型内視鏡３が、病変部位の１つとしての出血部位を通過する際には、該出血部位における血液の存在により、赤色がかった被写体の像が撮像される。そのため、制御部９ａは、同一クラスにおいて特徴量μｇｐの値が顕著な減少を示す時間帯の存在を検知した場合、該時間帯において、カプセル型内視鏡３が病変部位を撮像したということを特定することができる。

そして、制御部９ａは、以上に述べた、図１１のステップＳ１から図１１のステップＳ１７までに示す一連の処理に加え、さらに、以降に記す処理を行うものであっても良い。なお、以降に記す処理において、制御部９ａが取得するクラス分布情報には、胃粘膜、絨毛、便、泡及び不明の、５つのクラスの情報が含まれているものであるとする。また、前述したクラス分布情報は、前述した５つのクラスの情報を含むものに限るものではなく、例えば、胃粘膜及び絨毛クラスが生体粘膜クラスとして同一のクラスとして扱われるとともに、便、泡及び不明クラスが非生体粘膜クラスとして同一のクラスとして扱われるような情報を含むものであっても良いし、白色調の生体粘膜と黄色調の生体粘膜とが同一のクラスとして扱われている情報を含むものであっても良い。

制御部９ａは、前述した、図１１のステップＳ１７の処理を行った後、入力されたｉ番目の画像Ｉｉを、例えば、８×８の複数の矩形領域に分割する（図１８のステップＳ３１）。

ここで、前述した、図１１のステップＳ１７までの処理において生成したｓ番目（ｓは整数であるとする）のサブセットが有する最初の画像及び最後の画像を、それぞれＩｓ１及びＩｓ２（ｓ１及びｓ２は、１≦ｓ１＜ｓ２≦Ｎを満たす整数であるとする）とした場合、制御部９ａは、前述した処理において生成した各サブセットのうち、ｓ１≦ｉ＜ｓ２またはｉ＝ｓ２を満たす所定のサブセットにおけるクラス分布情報及び特徴量分布情報を取得する（図１８のステップＳ３２）。

その後、制御部９ａは、ｓ１≦ｉ＜ｓ２またはｉ＝ｓ２を満たす所定のサブセットにおけるクラス分布情報及び特徴量分布情報に基づき、画像Ｉｉが有する各矩形領域が、胃粘膜、絨毛、便、泡及び不明からなる５つのクラスのうち、どのクラスに属するかを識別し、該識別結果に基づく分類を行う（図１８のステップＳ３３）。なお、制御部９ａは、前述した、図１１のステップＳ１７までの処理において発生していないクラスについて、教師データにより予め推定された特徴量分布情報を用いた識別及び分類を行うものであっても良い。

さらに、制御部９ａは、図１８のステップＳ３３における分類結果に基づき、画像Ｉｉの各矩形領域のうち、胃粘膜または絨毛として分類された領域、すなわち、生体粘膜が撮像された領域が存在するか否かを判定する。そして、制御部９ａは、画像Ｉｉの各矩形領域のうち、生体粘膜が撮像された領域が存在する場合（図１８のステップＳ３４）、画像Ｉｉにおいて生体粘膜が撮像されていると判定された全領域における全特徴量に基づく値と、画像Ｉｉにおいて生体粘膜が撮像されていると判定された一の領域が有する特徴量μｇｐ及びμｂｐの値との比較により病変箇所を検出するための処理、すなわち、病変検出処理として、例えば、出血または発赤を検出する処理を行う（図１８のステップＳ３５）。

具体的には、制御部９ａは、例えば、画像Ｉｉにおいて生体粘膜が撮像されていると判定された一の領域が有する特徴量μｇｐ及びμｂｐの値と、画像Ｉｉにおいて生体粘膜が撮像されていると判定された全領域に含まれる各画素のＲＧＢ値の比に基づく値としての、ｇｉｖ／ｒｉｖの平均値（以降、μｇｉと記す）及びｂｉｖ／ｇｉｖの平均値（以降、μｂｉと記す）とに基づき、μｇｐとμｇｉとの比較及びμｂｐとμｂｉとの比較を行うことにより、画像Ｉｉにおいて生体粘膜が撮像された領域のうち、出血または発赤が撮像された領域を検出する。このような処理を行うことにより、制御部９ａは、クラス分類を伴う領域分割結果において、生体粘膜が撮像されていると判定された全領域の平均色度に対し、出血または発赤調の変化を呈するとされる色度を有する一の領域を、出血領域または発赤領域として正確に検出することができる。なお、制御部９ａは、画像Ｉｉにおいて不明クラスに分類された一の領域が有する特徴量とμｇｉ及びμｂｉとの比較結果に基づく処理をさらに行うことにより、画像Ｉｉにおいて生体粘膜が撮像された領域に加え、画像Ｉｉにおいて不明クラスに分類された領域に対しても出血または発赤が撮像された領域を検出可能とするものであっても良い。

制御部９ａは、入力されたＮ枚の画像全てに対し、前述した処理が完了していない場合（図１８のステップＳ３６）、画像番号ｉに１を加え（図１８のステップＳ３７）、次の画像について、図１８のステップＳ３１からステップＳ３６までに示す処理を引き続き行う。

なお、制御部９ａは、胃粘膜または絨毛として分類された領域に加え、胆汁等により黄色調になった絨毛もまた生体粘膜が撮像された領域であるとして判定するものであっても良い。

また、以上に述べた画像処理方法は、カプセル型内視鏡により撮像された画像に対してのみ適用されるものに限らず、例えば、生体内に挿入可能であるとともに、撮像機能を有する挿入部を具備して構成される内視鏡により撮像された画像に対して適用されるものであっても良い。

以上に述べたように、本実施形態における画像処理方法によれば、画像を撮像対象毎に高精度かつ高速に分類することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率化をはかることができる。

また、本実施形態によれば、生体粘膜が撮像された領域として分類された各々の領域に対し、さらに、前述した病変検出処理を用いることにより、病変部位の検出精度を高めることができる。

また、本発明の第１の実施形態及び第２の実施形態において、制御部９ａは、一の画像Ｉｉを大きさ８×８からなる複数の矩形領域に分割して一連の処理を行うとして説明を行っているが、これに限るものではなく、例えば、１×１、すなわち画素毎に分割して処理を行うものであってもよいし、また、他の大きさの矩形領域に分割して処理を行うものであってもよい。

さらに、本発明の第１の実施形態及び第２の実施形態において、制御部９ａは、一の画像Ｉｉを大きさ８×８からなる複数の矩形領域に分割して一連の処理を行うとして説明を行っているが、これに限るものではなく、例えば、エッジ情報等に応じた、一の画像Ｉｉにおける分類結果に基づく領域に分割して処理を行うものであってもよいし、また、他の形状を有する領域に分割して処理を行うものであってもよい。

なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

本発明の第１の実施形態である画像処理動作が行われる画像処理装置および周辺機器の外観を示した外観正面図。 本実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図。 本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図。 本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図。 図２に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャート。 図２に示すカプセル型内視鏡の位置検出を説明する説明図。 図３に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図。 図３に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図。 図３に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図。 図２に示すカプセル型内視鏡の電気的な構成を示すブロック図。 本実施形態に係る画像処理動作を示すフローチャート。 制御部が行う処理により作成される、特徴空間におけるヒストグラムの一例を示す図。 制御部が行う処理により作成される、特徴空間におけるクラスタの一例を示す図。 図１３に示すクラスタのうち、特徴空間における面積または体積が所定の閾値未満であるクラスタが削除される様子を示す図。 制御部が行う処理である、境界が接している２つ以上のクラスタの統合または分離判定の処理の一例を示すフローチャート。 胃粘膜クラス及び絨毛クラスに分類された領域が有する特徴量μｇｐの、サブセット毎の時間方向における変化を示すグラフ。 図１６のグラフに示される特徴量μｇｐにおいて、時間方向への平滑化処理を行った場合のグラフ。 制御部が行う処理である、病変検出処理の一例を示すフローチャート。

符号の説明

１・・・カプセル型内視鏡装置、２・・・患者、３・・・カプセル型内視鏡、３Ｄ・・・カプセル本体、４・・・アンテナユニット、５・・・外部装置、５Ｄ・・・本体部、６・・・クレードル、７・・・端末装置、８ａ・・・キーボード、８ｂ・・・マウス、８ｃ・・・ディスプレイ、９・・・端末本体、９ａ・・・制御部、１０・・・ジャケット、１１，１１ａ，１１ｂ，１１ｃ，１１ｄ・・・受信アンテナ、１２・・・液晶モニタ、１３・・・操作部、１４・・・外装部材、１４ａ・・・カバー部材、１５・・・対物レンズ、１６・・・レンズ枠、１７・・・電荷結合素子、１７Ａ・・・ＣＣＤドライバ、１８・・・ＬＥＤ、１８Ａ・・・ＬＥＤドライバ、１９，１９Ａ・・・処理回路、１９Ｂ・・・タイミングジェネレータ、１９Ｃ，１９Ｄ，１９Ｅ・・・スイッチ、２０・・・通信処理回路、２１・・・電池、２３・・・送信アンテナ、 ３３・・・受信回路、３５・・・信号処理回路、３７・・・送信器、４３・・・撮像装置、４５・・・アンテナ切換スイッチ、４６・・・アンテナ選択回路、４７・・・メモリ、７２・・・シールドジャケット、７３・・・ベルト、７４・・・鍵穴、 ７５・・・鍵

Claims (22)

1. 撮像機能を有する医療機器により撮像された複数の画像に基づく画像信号を入力する画像信号入力手段と、
   前記画像信号入力手段において入力した画像信号に基づき、前記複数の画像を各々複数の領域に分割する画像分割手段と、
   前記画像分割手段により分割された前記複数の領域各々における特徴量を算出する特徴量算出手段と、
   前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれかに各々分類するクラスタ分類手段と、
   前記複数の画像を用い、前記複数の画像が各々撮像されたタイミングに基づく複数のサブセットを生成するサブセット生成手段と、
   前記サブセット生成手段により生成された一のサブセットに含まれる画像各々の、前記特徴空間における前記特徴量の分布状態に基づき、前記一のサブセットに含まれる画像を、前記複数のクラスのいずれかに各々分類する際の分類基準を算出する分類基準算出手段と、
   を具備することを特徴とする画像処理装置。
2. さらに、前記分類基準算出手段は、前記複数のクラスのうち、一のサブセットにおいて前記特徴量が発生しないクラスについては、前記分類基準を算出しないことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類手段と、
   前記一の画像の分類結果に基づき、前記一の画像が前記生体粘膜に関するクラスとして分類された領域を有している場合、該領域各々に対し、病変箇所を検出するための処理を行う病変検出手段と、
   を有することを特徴とする請求項３に記載の画像処理装置。
5. 撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、
   前記画像分割ステップにより分割された前記複数の領域各々における特徴量を算出する特徴量算出ステップと、
   前記特徴量及び前記特徴量の発生頻度に基づき、特徴空間において複数のクラスタを生成するとともに、該複数のクラスタを複数のクラスのいずれかに各々分類するクラスタ分類ステップと、
   前記複数の画像を用い、前記複数の画像が各々撮像されたタイミングに基づく複数のサブセットを生成するサブセット生成ステップと、
   前記サブセット生成ステップにより生成された一のサブセットに含まれる画像各々の、前記特徴空間における前記特徴量の分布状態に基づき、前記一のサブセットに含まれる画像を各々分類する際の分類基準を算出する分類基準算出ステップと、
   を具備することを特徴とする画像処理装置における画像処理方法。
6. さらに、前記分類基準算出ステップは、前記複数のクラスのうち、一のサブセットにおいて前記特徴量が発生しないクラスについては、前記分類基準を算出しないことを特徴とする請求項５に記載の画像処理装置における画像処理方法。
7. 前記複数のクラスは、生体粘膜に関するクラスと、非生体粘膜に関するクラスとを少なくとも有することを特徴とする請求項５または請求項６に記載の画像処理装置における画像処理方法。
8. さらに、前記分類基準に基づき、前記一のサブセットに含まれる一の画像における各領域の分類を行う分類ステップと、
   前記一の画像の分類結果に基づき、前記一の画像が前記生体粘膜に関するクラスとして分類された領域を有している場合、該領域各々に対し、病変箇所を検出するための処理を行う病変検出ステップと、
   を有することを特徴とする請求項７に記載の画像処理装置における画像処理方法。
9. 撮像機能を有する医療機器により時系列的に撮像された複数の画像に基づく画像信号を入力する画像信号入力手段と、
   前記画像信号入力手段において入力した画像信号に基づき、前記複数の画像を各々複数の領域に分割する画像分割手段と、
   前記画像分割手段により分割された前記複数の領域各々における特徴量を算出する特徴量算出手段と、
   前記特徴量に基づき、前記複数の領域各々を複数のクラスのいずれかに各々分類する画像領域分類手段と、
   前記複数の画像各々において、少なくとも一のクラスの特徴量の代表値を算出する代表値算出手段と、
   前記代表値の変動が極大となる画像または時間のいずれかを検出する変動検出手段と、
   を具備することを特徴とする画像処理装置。
10. さらに、前記代表値各々に対して時系列方向の平滑化を適用する平滑化手段を有し、
    前記変動検出手段は、前記平滑化手段により平滑化された後の前記代表値に基づき、前記代表値の変動が極大となる画像または時間のいずれかを検出することを特徴とする請求項９に記載の画像処理装置。
11. 前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする請求項９または請求項１０に記載の画像処理装置。
12. 前記代表値の変動は、生体内における便の存在に基づいて生じるものであることを特徴とする請求項９または請求項１０に記載の画像処理装置。
13. 前記代表値の変動は、生体内における胆汁の存在に基づいて生じるものであることを特徴とする請求項９または請求項１０に記載の画像処理装置。
14. 前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする請求項９または請求項１０に記載の画像処理装置。
15. 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項９乃至請求項１４のいずれか一に記載の画像処理装置。
16. 撮像機能を有する医療機器により撮像された画像に基づいて入力される画像信号に基づき、前記画像を各々複数の領域に分割する画像分割ステップと、
    前記画像分割ステップにより分割された前記複数の領域各々における特徴量を算出する特徴量算出ステップと、
    前記特徴量に基づき、前記複数の領域各々を複数のクラスのいずれかに各々分類する画像領域分類ステップと、
    前記複数の画像各々において、少なくとも一のクラスの特徴量の代表値を算出する代表値算出ステップと、
    前記代表値の変動が極大となる画像または時間のいずれかを検出する変動検出ステップと、
    を具備することを特徴とする画像処理装置における画像処理方法。
17. さらに、前記代表値各々に対して時系列方向の平滑化を適用する平滑化ステップを有し、
    前記平滑化ステップにより平滑化された後の前記代表値に基づき、前記代表値の変動が極大となる画像または時間のいずれかを検出する処理を前記変動検出ステップにおいて行うことを特徴とする請求項１６に記載の画像処理装置における画像処理方法。
18. 前記代表値の変動は、生体内における観察部位の変化に基づいて生じるものであることを特徴とする請求項１６または請求項１７に記載の画像処理装置における画像処理方法。
19. 前記代表値の変動は、生体内における便の存在に基づいて生じるものであることを特徴とする請求項１６または請求項１７に記載の画像処理装置における画像処理方法。
20. 前記代表値の変動は、生体内における胆汁の存在に基づいて生じるものであることを特徴とする請求項１６または請求項１７に記載の画像処理装置における画像処理方法。
21. 前記代表値の変動は、生体内における病変部位の存在に基づいて生じるものであることを特徴とする請求項１６または請求項１７に記載の画像処理装置における画像処理方法。
22. 前記代表値は、前記複数のクラス各々における特徴量の平均値であることを特徴とする請求項１６乃至請求項２１のいずれか一に記載の画像処理装置における画像処理方法。

Images