JP2016087370A - 大腸拡大内視鏡画像診断支援装置 - Google Patents

Abstract

【課題】 大腸ポリープの表面構造を５つのピットパターンに分類できるが、どのピットパターンに分類されるかを内視鏡検査時にリアルタイムに自動診断することが可能な病理画像診断支援装置等を提供すること。
【解決手段】 本発明は、大腸拡大内視鏡に電気的に接続された装置であり、大腸拡大内視鏡に電気的に接続されたフットスイッチなどを押すことにより、内視鏡内で見ている内視鏡画像をリアルタイムに本装置に取り込み、取り込まれた画像を数値化し、数値化された情報を画像特徴量データベースの情報とパターン認識し、検索された類似特徴量から診断確率を計算し、結果を表示する。また、大量の既存の診断済み内視鏡画像を取り込み、それを数値化し、数値化された大量の情報を統計処理して画像特徴量データベースに情報を蓄積する。
【選択図】図２

Description

本発明は、コンピュータ支援診断（Ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｉａｇｎｏｓｉｓ：ＣＡＤ）等に代表される画像診断支援装置に関するものであり、特に、大腸内視鏡検査時に、拡大内視鏡で大腸ポリープの表面構造をリアルタイムに質的診断するための診断支援装置に関するものである。

コンピュータ支援診断とは、診断における最終判断は医師が行うことを前提として、入力したデジタル画像から検出した病巣候補の位置や、コンピュータを用いて解析した定量的な結果を医師に分かりやすく提示するものである。この技術は、例を挙げると、胸部Ｘ線写真による肺癌の検診システム、乳癌マンモグラフィの自動スクリーニングシステム、細胞診の画像診断システム、病理画像診断支援システムなどに用いられている。

大腸内視鏡検査時に、大腸ポリープが腫瘍か非腫瘍か、腫瘍であるなら良性腫瘍（腺腫）か悪性腫瘍（癌）なのかを診断するために、拡大内視鏡を用いて大腸ポリープ表面構造を分類することで病理診断を予測するのが一般的である。大腸ポリープの表面は、腺管の開口部であるピットと、それを取り囲む窩間部で構成される。申請者らは、大腸ポリープの表面構造を５つのピットパターンに分類し、それぞれが高い精度で病理診断を予測できることを報告しており、このピットパターン診断は全世界で標準化している（非特許文献１）。

また、特許文献１においては、大腸の病変部を、ピットを検出することにより高精度で診断できる診断装置を提供し、内視鏡および光プローブを用いた装置構成により３次元光断層画像を取得し、３次元断層画像データをもとに、生体組織の深さ方向に垂直な平面のＸＹ面画像を複数の深さ位置について切り出し、その平均画像からピットパターン形の強調表示画像を生成することで診断支援を行っている。

特許文献２においては、ピットパターンの形状に基づいて病変部の位置を自動認識し、病変部の位置を示すマークを自動的に内視鏡画像に重畳させることとしている。

非特許文献２および非特許文献３では、ピットパターン診断をウェーブレット変換により行っているとあるが、学習データの画像はすべて、染色法としてインジゴカルミンを使用したものであり、この点で正確にはピットパターンの画像解析とは言えない。クリスタルバイオレット染色は、ピットパターンを微細に観察するのに適しており、特にＩＩＩｓ型やＶ型ピットパターン診断には、インジゴカルミンによる染色では不十分で、クリスタルバイオレット染色を用いることが必要である（非特許文献１）。

さらに、非特許文献２および非特許文献３では、リアルタイムに診断支援をする訳ではなく、拡大内視鏡の画像を一度保存し、それを別のコンピュータで解析しているため、画像に保存されていない疾患部分を見落とす可能性が大きくなる。

また、非特許文献２および非特許文献３では、画像の中で解析対象とするのは、２５６×２５６ピクセルの小さな枠内のみであり、しかも画像全体のどの部分を解析するかは、手作業で選んでいる。このため、病変が疑われる部分を何度も解析する必要がある。拡大内視鏡の画像の大きさは６４０×４８０ピクセルある。１画像の中に複数種類のピットパターンが含まれる場合、小さな枠内でのみ診断ができるとすると、どの領域を最も重視して最終診断とするかは、利用者が判断する必要があり、この点で診断支援システムとしては不完全である。

特開２０１０−６８８６５号公報 特開２０１１−８７７９３号公報

工藤進英編著、大腸拡大内視鏡、日本メディカルセンター、２００９年１０月 Ｍｉｃｈａｅｌ Ｌｉｅｄｌｇｒｕｂｅｒ，Ａｎｄｒｅａｓ Ｕｈｌ，Ｓｔａｔｉｓｔｉｃａｌ ａｎｄ Ｓｔｒｕｃｔｕｒａｌ Ｗａｖｅｌｅｔ Ｐａｃｋｅｔ Ｆｅａｔｕｒｅｓ ｆｏｒ Ｐｉｔ Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｃａｔｉｏｎ ｉｎ Ｚｏｏｍ−Ｅｎｄｏｓｃｏｐｉｃ Ｃｏｌｏｎ Ｉｍａｇｅｓ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ７ｔｈ ＷＳＥＡＳ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｗａｖｅｌｅｔ Ａｎａｌｙｓｉｓ ＆ Ｍｕｌｔｉｒａｔｅ Ｓｙｓｔｅｍｓ，Ａｒｃａｃｈｏｎ，Ｆｒａｎｃｅ，Ｏｃｔｏｂｅｒ １３−１５，２００７． Ｒｏｌａｎｄ Ｋｗｉｔｔ，Ｓｔａｔｉｓｔｉｃａｌ Ｍｏｄｅｌｉｎｇ ｉｎ ｔｈｅ Ｗａｖｅｌｅｔ Ｄｏｍａｉｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，Ａ ｔｈｅｓｉｓ ｓｕｂｍｉｔｔｅｄ ｔｏ ｔｈｅ Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ ａｔ ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓａｌｚｂｕｒｇ，Ａｐｒｉｌ ２０１０．

しかしながら、大腸ポリープ表面におけるピットの場所を特定し、強調表示画像を生成するだけでは十分な診断支援とは言えない。なぜなら、ピットの局在が分かっても、どのピットパターンに分類されるかを診断すること自体がしばしば難解であり、ピットパターンそのものをアウトプットとして提示しなければ真の診断支援とは言えないからである。ピットパターンをアウトプットとする自動診断の試みは現在までにもなされてきたが、ポリープの表面構造を抽出する過程で精度を欠いたり、あるいはリアルタイム性を担保するための技術の確立ができずに不成功に終わっている。

本発明の目的は、上述した事情に鑑み、なされたもので、この発明の主たる目的は、医師などが内視鏡検査時に大腸ポリープの表面構造を診断しようとする際に、その部分画像がピットパターンのどの分類で、それがどれくらいの確率であるかをリアルタイムに表示することにより、診断支援とするものである。１つの画像の中に複数の分類のピットパターンが含まれていることも多く、どの分類がどれくらいの確率であるかということを、リアルタイムに確認できることは、疾患部分の見落としを少なくし、検査者の能力にかかわらず、質の高い客観的診断を提供し、誤診の回避や正確な治療が可能となる。

本発明は、大腸拡大内視鏡に電気的に接続された装置であり、大腸拡大内視鏡に電気的に接続されたフットスイッチなどを押すことにより内視鏡画像をリアルタイムに本装置に取り込む内視鏡画像取り込み手段と、取り込まれた画像を数値化する画像数値化手段、数値化された情報を画像特徴量データベースの情報とパターン認識するための類似特徴量検索手段と、検索された類似特徴量から診断確率を計算する診断確率計算手段と、結果を表示する結果表示手段と、画像特徴量データベースに情報を蓄積するために、大量の既存の診断済み内視鏡画像を取り込むための既存内視鏡画像取り込み手段と、取り込まれた画像を数値化する画像数値化手段と、数値化された大量の情報を統計処理するための画像特徴量データ格納手段とで構成される。

上記の構成によれば、内視鏡で見ている画像をリアルタイムに解析し、その画像がピットパターン分類のどの分類で、それがどれくらいの確率であるかを表示することができる。

前記目的を達成するために、請求項１に記載の大腸拡大内視鏡画像診断支援装置は、内視鏡で表示している画面のデジタル画像を取り込み、この画像を複数に分割し、分割した各画像をウェーブレット変換などで数値化し、画像特徴量データベースの学習データに対してパターン認識し、パターン認識した結果をもとに診断確率を計算し表示することにより、ピットパターンの自動診断をリアルタイムに行うことを特徴とする。

また、請求項２に示すように、内視鏡から取り込んだデジタル画像は、ピットパターンの違いを区別可能でかつ元の画像に対して重複を許して１０ないし２０個程度の正方形小画像に分割し、それぞれの小画像とウェーブレット変換などの数値化変換を行うことを特徴とする。

また、請求項３に示すように、画像特徴量データベースの学習データは、既に診断済み症例のデジタル画像を取り込み、ピットパターン分類ごとに小画像を多数切り出し、同様のウェーブレット変換などの数値化変換を行い、統計処理により、ピットパターン分類ごとに分類および外れ値処理を行ったデータを蓄積されたものであることを特徴とする。

また、請求項４に示すように、内視鏡から取り込んだ画像を小画像に分割し、数値化処理したものそれぞれ１個ずつ画像特徴量データベースの学習データに対して最近隣近傍法によりパターン認識を行う。つまり、最も距離の近い学習データのピットパターン分類を結果とするパターン認識である。ただし、２つのデータ間の距離があるしきい値より大きなときは認識させない。この認識されたピットパターン分類の個数をカウントし、分割された小画像の個数で割ることにより、分類ごとの確率として結果を表示することを特徴とする。

本発明によれば、大腸拡大内視鏡の画像に対する自動診断を行うことができる。特に、拡大内視鏡で見ている画像に対してリアルタイムに解析し、その画像がピットパターン分類のどの分類で、それがどれくらいの確率であるかを表示することが可能になる。

機器構成。 機能ブロック図。 内視鏡画像。 数値化される画像。 小画像ごとの数値データ。 画像特徴量データベースのデータ構造。 カウント表。 既存症例小画像の数値化された特徴量のデータ構造。 クラスター分析のデンドログラム

以下、本発明を実施するための形態を図面にしたがって説明する。また、ピットパターンの分類はＩ型からＶ型まであり、さらにＩＩＩ型はＩＩＩＬ型とＩＩＩｓ型に、ＩＶ型からＶ型についても詳細に分類されるが、この説明ではＩＩ型からＶ型までの４種類の簡単な分類で行う。図１は、本発明の大腸拡大内視鏡画像診断支援装置（以下、診断支援装置とする。）の実施形態に係わるハードウェア構成図である。図２は、本発明の診断支援装置の機能ブロック図である。

本発明の診断支援装置は、図１によれば、診断中の内視鏡画像をデジタル変換しこのｊｐｅｇなどの画像ファイルを出力する大腸拡大内視鏡１０と診断支援装置としてのコンピュータ２０と、大腸拡大内視鏡から画像ファイルの出力を指示するフットスイッチなどのスイッチ３０とから構成されている。なお、コンピュータ２０には、データ入力や各種の処理を指示するためのキーボードやポインティングデバイスと、処理結果等を表示するための画像表示部等が接続されている。

図２は、診断支援装置の機能ブロックを示すものである。新規画像取り込み処理部１１０は、図１の大腸拡大内視鏡１０で出力されたｊｐｅｇなどの画像ファイルを入力し、コンピュータ２０内のハードディスク装置などに一時的に保存する。ただし、デジタル化された画像ファイルは、２５６色とする。

数値化処理部１２０では、画像ファイルの一部からウェーブレット変換により数値化する。図３に示すように、内視鏡の画像は４８０×６４０の大きさであるが、大腸自体の画像は八角形の枠の中にあり、診断可能な正方形の領域を、例えば３２０×３２０ピクセルの大きさとする。これは、内視鏡を病巣部分と思われるところが八角形の中央に位置したときに、図１のスイッチ３０を押すことにより、新規画像取り込み処理部１１０に取り込まれる。図４に示すように、数値化される画像は、例えば１２８×１２８ピクセルの大きさで、重複を許して分割すると、３２０×３２０ピクセルの領域からは１６個の小画像が抽出される。この小画像は、各ピットパターンの違いを認識できる大きさであり、各小画像をウェーブレット変換やフーリエ変換などにより画像の特徴量を数値化する。例えば、ウェーブレット変換で深さが６とすると、１個の小画像は、１８個の数値データに変換される。なお、ウェーブレット変換する前に、各小画像はグレースケールに変換し、染色の色の違いや色むらなどの影響がないようにする。３２０×３２０ピクセルの診断領域を前述のように小領域に分割し、ウェーブレット変換すると、図５に示すような数値データが得られる。

図２の類似特徴量検索処理部１３０では、前述の各小画像が、画像特徴量データベース１７０のどの特徴量に最も類似しているのかを検索する。画像特徴量データベースは、図６のような構造とする。学習データとして、診断済み既存症例のピットパターンごとの特徴量データは、図６上図のように、分類されてグループごとに蓄積される。ピットパターンごとの画像特徴量の分類方法は後述する。この特徴量は、図６下図のように、グループ別に平均値を計算し、保存されている。

新規画像特徴量の数値を数１のように行列で表す。ｋは１６個の小画像の番号、ｉはウェーブレット変換による１８個の変数番号を示す。
１つの小画像が、図６上図の最も類似している画像特徴量を検索するには、まず図６下図の最も近いグループの平均を見つけることを行う。つまり、以下の数２で表されるｔとｊを探す。
ここで、Ｃｔは各ピットパターンＩＩ、ＩＩＩ、ＩＶ、Ｖの中のグループ番号であり、そのグループの１８個ある変数ごとの平均値を数３とする。
ピットパターンとグループ番号ｊ_０を見つけたら、図６上図の対応する部分の画像特徴量で最も近いものを見つける。つまり、以下の式を満たす特徴量番号ｎを探す。ここで、数４は、グループｊ_０の中のｎ番目の特徴量でｉは１から１８までの変数を持つ。
１６個の小画像とグループｊ_０のｎ個の特徴量（数４）の中で最小の距離を数５で表す。
このとき、Ｔをしきい値とし、ｄがＴよりも小さい場合はそのｎを採用し、ｄがＴより大きい場合は近い特徴量がなかったものとする。しきい値Ｔの決め方については、後述する。

１６個の小画像に対して類似特徴量を検索し、ピットパターンの型を識別することで、図７のようなカウント表を作成することができる。このカウント表をもとに、ピットパターンごとの診断確率を数６のように定義する。
このように診断確率を定義することにより、複数のピットパターンが含まれている場合にも対応することができる。

つぎに、画像特徴量データベースに特徴量を格納する方法について説明する。
図２の既存画像取り込み処理部１９０では、既に診断済みの症例の画像を取り込む。診断済みの症例画像は、拡大内視鏡で診断時に画像として保存され、症例自体は病理検査等も行い、確定診断済みのものである。画像の形式は、新規画像取り込み処理部１１０の場合と同様であるが、ハードディスク等に既に保存されているものを用いる。既存画像取り込み処理部１９０では、八角形の枠の中の診断可能な正方形の領域を、例えば３２０×３２０ピクセルの大きさの部分を抽出し、さらに、例えば１２８×１２８ピクセルの大きさで、重複を許して分割する。この大きさは、新規画像取り込み処理部１１０のときの小画像の大きさと同等でなければならない。

数値化処理部２００では、数値化処理部１２０と同様に、各小画像をウェーブレット変換やフーリエ変換などにより画像の特徴量を数値化する。この数値化の方法は、数値化処理部１２０と同じ方法でなければならない。

数値化処理部２００ですべての既存画像が数値化されるが、統計処理部２１０では、統計処理により分類と外れ値除去の処理をする。各小画像は診断済みであるので、数値化された特徴量のデータ構造は、図８のようにピットパターン番号と特徴量番号がついている。この特徴量データをピットパターンの型ごとに分類と外れ値除去を行い、さらに内視鏡診断専門医による医学的視点からの精査を行う。医学的視点からの精査とは、分類された特徴量に対応する各小画像を見ることにより、そのピットパターンとして不適切なデータを手作業で除去することである。

分類・外れ値除去をするための統計処理は、階層的あるいは非階層的クラスター分析や主成分分析、因子分析などが考えられるが、階層的クラスター分析を用いる処理を示す。ピットパターンのあるひとつの型について、階層的クラスター分析を行い、図９のようなデンドログラムを結果として表示する。図９は、２０個の特徴量データに対して分析したもので、特徴量番号が図の下部に、距離の近いデータが結合してクラスターを形成して行く過程が、線により示されている。左側の数値は、データ間あるいはデータと結合されたクラスター間などとの距離を示している。

ここで、データ間の距離とは、つぎのように定義する。例えば、データ１５とデータ１６との距離は数７の式で定義される。ｉは変数を表し、１８変数ある。
データ１５と１６により新しくクラスターができるが、このクラスターと他のデータとの距離を定義する場合、クラスターの各変数の平均値、つまりクラスターの重心、を用いることにより計算することができる。この他に様々な定義で新しいクラスターとの距離を定義する方法があるが、どの方法を使ってもよい。

図９で、例えば、距離が７のところで横に線を引くと、３つのクラスターに分けられる。それぞれ、８個、２個、１０個のデータを含む。ここで、データ１７と１８を含むクラスターは他のクラスターから離れているが、他のクラスターは８個と１０個のデータを含み比較的まとまっていると言える。このように、１０個程度のデータを含むクラスターに分類すると共に、少数個のデータを含むクラスターは外れ値と考えることができる。しきい値Ｔを７とすることにより、２個のクラスターに分類し、２個のデータを外れ値とすることができる。

前述のように、しきい値Ｔは類似の特徴量を検索するときにも重要な役割をするが、データの個数および分類されたクラスター内のデータ数をいくつ位にするかと言うことを考慮して決める必要がある。

各クラスター内のデータ、つまり小画像の特徴量、は距離が近いため、類似の小画像と判断されるが、クラスターごとに小画像を並べ直して、人間の目で比較検討し、取捨選択を行う。この場合、大腸拡大内視鏡診断専門家の経験を十分に活用する必要がある。

同様にして、すべてのピットパターンの種類について、クラスター分析を用いた分類と外れ値除去を行う。分類された特徴量は、変数ごとに平均値を計算し、図６の画像特徴量のグループ別平均値の表に格納しておく。

Claims (4)

1. 大腸拡大内視鏡に接続し、内視鏡で表示している画面のデジタル画像を取り込む内視鏡画像取り込み手段と、
   前記デジタル画像を複数に分割し、分割した各画像を数値化する画像数値化手段と、
   数値化したそれぞれの情報を、画像特徴量データベースの学習データに対してパターン認識する類似特徴量検索手段と、
   パターン認識した結果をもとに診断確率を計算する診断確率計算手段と、結果を表示する結果表示手段によりピットパターンの自動診断をリアルタイムに行うことを特徴とする大腸拡大内視鏡画像診断支援装置。
2. 内視鏡画像取り込み手段により内視鏡から取り込んだデジタル画像は、画像数値化手段においてピットパターンの違いを区別可能でかつ元の画像に対して重複を許して１０ないし２０個程度の正方形小画像に分割し、
   それぞれの小画像とウェーブレット変換などの数値化変換を行うことを特徴とする請求項１に記載の大腸拡大内視鏡画像診断支援装置。
3. 画像特徴量データベースの学習データは、既に診断済み症例のデジタル画像を既存内視鏡画像取り込み手段により取り込み、ピットパターン分類ごとに請求項２で記述された小画像を多数切り出し、同様のウェーブレット変換などの数値化変換を画像数値化手段により行い、
   画像特徴量データ格納手段において、統計処理により、ピットパターン分類ごとに分類および外れ値処理を行ったデータを蓄積されたものであることを特徴とする、請求項１に記載の大腸拡大内視鏡画像診断支援装置。
4. 内視鏡から内視鏡画像取り込み手段により取り込んだ画像を小画像に分割し、画像数値化手段により数値化処理したものそれぞれ１個ずつ画像特徴量データベースの学習データに対して最近隣近傍法によりパターン認識を類似特徴量検索手段により行う。つまり、最も近くで、決められたしきい値より小さい距離の学習データのピットパターン分類を結果とするパターン認識である。
   診断確率計算手段によりこの認識されたピットパターン分類の個数をカウントし、認識された小画像の個数で割ることにより、分類ごとの確率として結果表示手段により結果を表示することを特徴とする、請求項１に記載の大腸拡大内視鏡画像診断支援装置。