JP2005157902A - 画像解析方法 - Google Patents

Abstract

【課題】 特徴量を利用した所見の客観化結果に基づく病変判定精度を向上させる。
【解決手段】原画像取得処理ステップＳ１において、操作装置の操作により指定された画像データを、内視鏡ファイリング装置から取得し、メモリ上に原画像として記憶させる処理を行う。画像解析処理ステップＳ２において、原画像取得処理ステップＳ１により取得した原画像を処理し、２値化画像と、ラベリング画像と、細線化画像と、血管形状特徴量と、血管特徴量と、解析処理画像とを生成してメモリ上に記憶させる処理を行う。解析結果表示処理ステップＳ３において、血管画像解析結果ウィンドウを表示装置上に表示する処理を行う。
【選択図】 図４

Description

本発明は、１ないし複数の線状パターンを含む画像の解析を行う画像解析方法に関する。

医療分野においてはＸ線、ＣＴ、ＭＲＩ、超音波観測装置、内視鏡装置等の画像撮像機器を用いた診断が広く行われている。

例えば内視鏡装置においては、細長の挿入部を体腔内に挿入し、固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、診断をすることができる。また、前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断することのできる超音波内視鏡装置も広く用いられている。

これらの機器により撮像された画像を用いた最終的な診断は、医師の主観に依存している部分が多大であるため、画像解析手法により撮像対象に関する特徴量を算出し、客観的・数値的な診断支援情報を医師に提示することにより、医師の診断行為を支援する、診断支援装置がある。

ここで、特徴量とは、画像上の様々な所見を反映した数値であり、画像解析手法の適用により得られるものである。

例えば内視鏡画像において、粘膜表面の発赤といった色調に関する所見、透見血管像に見られる血管の屈折・蛇行性といった血管の形状に関する所見、胃小区における粘膜模様のパターンに関する所見は、病変の悪性度診断において重要な要素となっている。例えば非特許文献１（「”消化器内視鏡”2001vol.13 No.3 voI.13 東京医学社刊 P349-354」）は、粘膜所見及び血管の形状に関する所見による病変良悪性の鑑別についての例である。

このような画像解析手法による特徴量算出手法及び診断支援装置として、特開平１０−１４８６４号公報がある。

また、血管新生の成長度合いを客観化する特徴量として、血管の分岐点を算出する例として、特開２００３−４４８６２号公報がある。

また、血管形状の特徴量として血管の屈折点を検出する際に、非特許文献１（「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」）に基づく手法が、従来技術として利用されている。
特開平１０−１４８６４号公報 特開２００３−４４８６２号公報 "消化器内視鏡"2001 vol.13 No.3 voI.13 東京医学社刊 P349-354 "細線化図形の屈折点検出の一手法"小山ら、電子通信学会研究会資料 PRL80-107 PP,80-90(1980) "画像処理を極めるアルゴリズムラボ" ソフトバンク刊：Ｃ ＭＡＧＡＺＩＮＥ ２０００．９PPI23-129 "コンピュータ画像処理入門" 田村秀行著 総研出版 P.84〜85

しかしながら、従来の画像解析装置においては，以下の（１）〜（３）のような問題があった。

（１）血管を画像解析の撮像対象とするとき、対象となる血管の血管新生の度合いや、血管の存在する粘膜層の深さ、観察倍率に応じて、撮像画像として表示される血管の形態は様々である。画像表示上の血管形態を大きく分類すると、点状に散在する点状血管、血管が樹枝状に不規則に分岐する樹枝状血管、複数の血管要素が多数組み合わさり網状に複雑に絡み合う網状血管と分類される。これらの血管の各形態分類に関して、病変の良悪性の診断に有用な特徴量を得るための処理は、各形態分類ごとに使用する手法が異なる。若しくは、手法が同一であっても使用するパラメータが異なる。また、特定の形態分類においてしか、有用な特徴量を得られない場合がある。

しかしながら撮像画像の内容は、これらの血管形態が混在した画像であることが多く、算出対象となる血管形態以外の血管形態を含んでいるため、正確な特徴量を算出することが困難であった。

（２）血管を撮像対象とするとき、撮像された血管を抽出し、血管の要素ごとに血管の特徴量を求める処理が一般に行われる。例えば、１血管あたりの全長、１血管あたりに含まれる分岐点の数、１血管あたりに含まれる屈折点の数を算出し、血管の分岐や蛇行による異常血管の有無を数値化する特徴量として利用する。

しかしながら、撮像画像へのノイズの混入により、実際には存在しない偽血管を抽出してしまい、実際には存在しない分岐点を誤検出してしまう問題があった。

また、複数の血管が撮像画像の奥行き方向に絡み合っている場合には、実際には交差または分岐していないのに画像上では交差または分岐してしまうため、誤った血管抽出処理を行ってしまい、正確な分岐点数及び又は血管数を算出することができなかった。

（３）非特許文献１（「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」）に示す屈折点の検出手法では、図２２に示すように、血管の屈折位置の頂点ではなく、屈折点周辺の複数の点を検出してしまったり、頂点から少しずれた点を検出してしまい、正確な屈折点の検出ができなかった。

本発明は、上記事情に鑑みてなされたものであり、特徴量を利用した所見の客観化結果に基づく病変判定精度を向上させることのできる画像解析方法を提供することを目的としている。

本発明の画像解析方法は、１ないし複数の線状パターンを含む画像に対して画像解析を行う画像解析方法において、前記線状パターンを前記画像から抽出する線状パターン抽出ステップと、前記抽出された線状パターンに関する第１の特徴量を算出する第１の特徴量算出ステップと、前記第１の特徴量に基づいて解析の対象となる前記線状パターンを選択するパターン選択ステップと、前記パターン選択ステップにより選択された前記線状パターンについて第２の特徴量を算出する第２の特徴量算出ステップとを備えて構成される。

本発明によれば、特徴量を利用した所見の客観化結果に基づく病変判定精度を向上させるができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図１１は本発明の実施例１に係わり、図１は内視鏡画像解析装置の構成を示すブロック図、図２は図１のメモリ上に記憶される情報を示す図、図３は図１の情報処理装置の処理により表示装置上に表示される血管画像解析結果ウィンドウを示す図、図４は図１のＣＰＵにより実行される画像解析プログラムの処理の流れを示すフローチャート、図５は図４の画像解析処理の流れを示すフローチャート、図６は図５の処理により生成される２値化画像の画像データの例を示す図、図７は図６の２値化画像をラベリング処理した画像データを表す図、図８は図７のラベリング画像を細線化処理した画像データを表す図、図９は図４の形状特徴量算出処理における周囲８近傍を説明する図、図１０は図４の形状特徴量算出処理の流れを示すフローチャート、図１１は図１０の形状特徴量算出処理による選択すべき血管形状として樹枝状血管を選択した時の修正細線化画像を示す図である。

（構成）
図１に示すように、本実施例の内視鏡画像解析装置１は、生体内を撮像してアナログ画像信号を出力する内視鏡観察装置２と、内視鏡観察装置２の出力するアナログ画像信号から画像データを生成すると共に生成された画像データを蓄積する内視鏡ファイリング装置３と、画像解析処理を行う画像処理装置４とを備えて構成される。

画像処理装置４は、情報処理を行う情報処理装置５と、キーボードとマウス等とからなる操作装置６と、ハードディスク等からなる記憶装置７と、ＣＲＴあるいは液晶ディスプレイあるいはプラズマディスプレイ等の表示手段からなる表示装置８とを具備して構成される。

内視鏡ファイリング装置３と情報処理装置５は、ＴＣＰ／ＩＰをプロトコルとするＬＡＮ９に接続されており、相互に通信可能である。

情報処理装置５は、一般のパーソナルコンピュータが用いられており、内視鏡ファイリング装置３に蓄積されている画像データをＬＡＮ９経由で取得し、画像データに対して画像解析処理を行い、画像解析結果を表示装置８に表示するようになっている。ここで、処理を行う画像データの指定、指定された画像データの取得指示、処理実行の指示は、操作装置６を用いた操作によって行われる。

情報処理装置５では、制御・処理を行うＣＰＵ１０と、処理プログラム・データを記憶するメモリ１１と、記憶装置７との間で情報の読み書きを行う外部記憶Ｉ／Ｆ１２と、外部機器との通信を行うネットワークカード１３と、操作装置６との入出力を行う操作Ｉ／Ｆ１４と、表示装置８にビデオ信号を出力するグラフィックボード１５とが、バス１６に接続されており、バス１６を介して相互にやり取りを行うようになっている。

ネットワークカード１３は、ＬＡＮ９上に接続されている内視鏡ファイリング装置８とデータの送受信処理を行うようになっている。

操作Ｉ／Ｆ１４は、操作装置６のキーボードやマウスによって入力された入力信号を受け取り、必要なデータ処理を行うようになっている。

記憶装置７は情報処理装置５に接続されており、画像解析処理を実行する画像解析プログラムを格納している。該画像解析プログラムは、複数の実行ファイルまたは動的リンクライブラリファイルまたは設定ファイルから構成される。

外部記憶Ｉ／Ｆ１２は、記憶装置７に記憶されている画像解析プログラムを読み込み、メモリ１１に記憶させるようになっている。

図２に示すように、メモリ１１は、画像解析プログラム２０と、解析データ２１を保持している。

メモリ１１に記憶された画像解析プログラム２０は、ＣＰＵ１０による実行により、操作装置６によって指定された内視鏡画像データを内視鏡ファイリング装置３から取得し、取得した画像データに対して画像解析処理をし、画像解析結果の表示装置８への表示処理を行うプログラムである。

メモリ１１に記憶された解析データ２１は、ＣＰＵ１０における各処理により取得及び生成されるデータである。記憶される解析データ２１は、内視鏡ファイリング装置３から取得した画像データである原画像２２及び後述する各種処理により生成される２値化画像２３、ラベリング画像２４、細線化画像２５、血管形状特徴量２６、血管特徴量２７、解析結果画像２８からなる。

（作用）
ＣＰＵ１０は、画像解析プログラム２０を実行して生成された解析データ２１を使用して、図３に示すような血管画像解析結果ウィンドウ３０を作成する。またＣＰＵ１０は、グラフィックボード１５を介して、表示装置８への血管画像解析結果ウィンドウ３０の表示処理を行う。

血管画像解析結果ウィンドウ３０は、解析画像表示領域３１と、解析値表示領域３２とから構成され、解析画像表示領域３１には血管解析処理画像を表示し、解析値表示領域３２には血管解析値を表示する。

ＣＰＵ１０にて実行される画像解析プログラム２０の処理について説明する。この処理では、図４に示すように、原画像取得処理ステップＳ１において、操作装置６の操作により指定された画像データを、内視鏡ファイリング装置３から取得し、メモリ１１上に原画像２２として記憶させる処理を行う。

次に、画像解析処理ステップＳ２において、原画像取得処理ステップＳ１により取得した原画像２２を処理し、２値化画像２３と、ラベリング画像２４と、細線化画像２５と、血管形状特徴量２６と、血管特徴量２７と、解析処理画像２８とを生成してメモリ１１上に記憶させる処理を行う。

そして、解析結果表示処理ステップＳ３において、血管画像解析結果ウィンドウ３０を表示装置８上に表示する処理を行う。血管画像解析結果ウィンドウ３０の解析画像表示領域３１にはメモリ１１に記憶される解析処理結果画像２８を表示し、解析値表示領域３２にはメモリ１１に記憶される血管特徴量２７に基づき、特徴量の種類と、特徴量の値と、を表示する。

なお、本実施例においては、解析血管表示処理ステップＳ３において、解析処理画像として、原画像に細線化画像を重畳処理した血管芯線画像を表示し、血管特徴量として、画像中に存在する血管数と、１血管あたりの分岐点数と、を表示する処理を行うものとする。

次に、上記画像解析処理ステップＳ２における処理の詳細を説明する。図５に示すように、２値化処理ステップＳ１０において、原画像２２に対する２値化処理を行う。原画像２２は、Ｒ、Ｇ、Ｂの３プレーンのモノクロ画像データからなるが、そのうちのＧのモノクロ画像データに対して２値化処理を行い、２値化画像２３を生成する。

２値化画像２３は、原画像２２の血管部分の画素値が１、背景部分の画素値が０となる画像データであり、原画像２２から血管を抽出した画像に相当する。２値化処理ステップＳ１０は、生成された２値化画像２３を、メモリ１１上に記憶させる処理を行う。

ここで、２値化処理は、対象となる画像データの各画素の画素値について、画素値があらかじめ設定された閾値以上であれば画素値を１とし、閾値よりも小さければ画素値を０とする処理である。２値化画像の画像データの例を図６に示す。

次に、ラベリング処理ステップＳ１１において、２値化画像２３を基にしてラベリング画像２４を作成する。ラベリング画像２４は、血管の要素ごとにラベルを順次割り振った画像データから構成される。同一のラベルをもち、且つ、隣接する画素を連結した画素は、それぞれ１つの血管を表すことになる。

ここで、ラベリング処理は、２値化画像２３を画像データの左上より順次走査し、画素値が１である点を抽出し、画素値が１であるを起点として、前記起点に連結する全ての画素を、ラベルにより塗りつぶす処理により実現する。ラベルとして２以上の整数を割り当てる。ラベリング画像２４の例として、図６に示す２値化画像をラベリング処理した画像データを表す図を図７に示す。

続いて、細線化処理ステップＳ１２において、ラベリング画像２４に対して細線化処理することにより、血管の幅が１画素である細線化画像２５に変換して、細線化画像２５をメモリ１１に記憶させる。

本実施例においては、細線化画像２５は、血管の芯線を表す画像であって、線の画素値を前記ラベル、背景の画素値を０とする画像データからなる。ラベルにより、細線化画像２５中の血管要素を識別する。

ここで、細線化処理は、Ｈｉｌｄｉｃｈの細線化手法として公知に知られる手法に基づくものであって、ラベリング画像２４の画素値がラベルである画素について画素の連結性を保持することが可能である場合に、当該画素の画素値を０として線幅を減少させる処理である。

なお、Ｈｉｌｄｉｃｈの細線化手法に関しては、非特許文献３：「ソフトバンク刊：Ｃ ＭＡＧＡＺＩＮＥ ２０００．９”画像処理を極めるアルゴリズムラボ”PPI23-129」に詳しい。

血管の線幅が１になるまで細線化処理を反復処理することにより、線幅１の血管芯線を抽出した細線化画像２５を生成する。細線化画像２５の例として、図７に示すラベリング画像を細線化処理したところの画像データをあらわす図を図８に示す。

次に、形状特徴量算出ステップＳ１３において、細線化画像２５に関する形状特徴量を算出し、形状特徴量を血管形状特徴量２６としてメモリ１１に記憶させる処理を行う。本実施例では、形状特徴量として、１本の血管の全長と、分岐点数とを算出する。

本実施例においては、血管長は、細線化された血管の画素数と同等であるとみなして処理を行う。すなわち、血管長は、細線化画像２５上の各血管要素ごとの画素数をカウントし、血管要素のラベルと前記カウントした画素数とを組とする特徴量として算出する。

また本実施例では、分岐点数は、血管要素の細線上に存在する三叉点数または直交点数の和を示す。分岐点数は、各血管要素ごとに存在する三叉点数と直交点数とをカウントし、血管要素のラベルと前記カウントした三叉点数と直交点数とを組とする特徴量として算出する。

三叉点と直交点を求める方法は、非特許文献２：「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に述べられているように、血管要素上の各点に対して、対象とする点の３×３論理マスクにおいて、周囲８近傍における血管要素点の数をカウントすることにより、三叉点または直交点であるか否かを判断する処理によるものである。

ここで、上記周囲８近傍（単に、「８近傍」とも記す）について図９を用いて説明する。注目点の画素を、図９の中央の画素Ｏとすると、注目点の周囲８近傍における画素は、画素Ｏの上下左右斜めに位置する画素Ａ〜Ｈが該当する。以降の説明に使用する周囲８近傍の意味も同一である。

以上により、血管要素のラベルと血管要素の全長、血管要素の識別値と三叉点数及び直交点数、の各組を血管形状特徴量２６としてメモリ１１に記憶させる。

続いて、血管選択処理ステップＳ１４において、前記形状特徴量算出処理ステップＳ１３において算出された血管形状特徴量２６を基にして、あらかじめ選択された血管形状を有する血管要素を検出して選択する。本実施例において選択する血管形状は、点状血管、樹枝状血管、網状血管のうちのいずれかであるものとする。

図１０を用いて、上記血管選択処理ステップＳ１４における処理の詳細を説明する。

図１０に示すように、血管選択処理ステップＳ１４では、まずステップＳ２１において、対象となる識別値Ｉの初期値として１を設定する。

そして、ステップＳ２２において、ラベルＩに対して１を加算し、ステップＳ２３において、ラベリング画像２４上に、画素値がラベルＩである画素が存在するか否かを判定する。画素値がラベルＩである画素が、ラベリング画像２４上に存在しない場合には、処理を終了する。

次に、ステップＳ２４において、ラベルＩに対応する血管要素の血管長をメモリ１１の血管形状特徴量２６の中から取得し、血管長が閾値Ｔ1未満である場合にはステップＳ２５で点状血管として判定する。血管長が閾値Ｔ1以上である場合には、ステップＳ２６に進む。

ここで、閾値Ｔ1は、あらかじめ血管選択処理ステップ５４が保持している数値であり、本実施例ではＴ1＝２として処理する。

ステップＳ２６において、ラベルＩに対応する血管要素の三叉点数と直交点数の和をメモリ１１の血管形状特徴量２６の中から取得し、三叉点数と直交点数の和が閾値Ｔ2未満である場合には、樹枝状血管であると判定する。三叉点数と直交点数の和が閾値Ｔ2以上である場合には、網状血管であると判定する。

ここで、閾値Ｔ2は、あらかじめ血管選択処理ステップ５４が保持している数値である。本実施例ではＴ2＝８として処理する。

続いてステップＳ２７において、既定の選択すべき血管形状と、ステップＳ２４、ステップＳ２５、ステップＳ２６における血管形状の判定結果（点状血管または樹枝状血管または網状血管のいずれかの判定結果）とが異なる場合には、ラベリング画像２４及び細線化画像２５の画素値がラベルＩである全ての画素を０にする。また、血管形状特徴量２６のうち、ラベルＩに対応する特徴量を消去する。ステップＳ２７における処理終了後、ステップＳ２２に戻り処理を継続する。

例として、図８に示す細線化画像を、血管選択処理ステップＳ１４により、選択すべき血管形状として樹枝状血管を選択した時の修正細線化画像を図１１に示す。

図５に戻り、血管選択処理ステップＳ１４が終わると、特徴量算出処理ステップＳ１５において、血管選択処理ステップＳ１４により処理された紬線化画像２５及び血管形状特徴量２６を基にして、血管特徴量２７の算出処理を行う。本実施例では血管特徴量２７として、血管数、１血管あたりの分岐点数を算出する。

血管数は、血管形状特徴量２６として記憶される血管長が０より大きい血管要素の総数として算出する。１血管あたりの分岐点数は、血管形伏特徴量２６として記憶される三叉点数と直交点数との総和と、上記血管数との比として算出する。

血管数、１血管あたりの分岐点数は、血管特徴量２７としてメモリ１１に記憶させ、血管画像解析結果ウィンドウ３０の表示に利用する。

次に、解析結果画像処理ステップＳ１６において、原画像２２に対して、血管選択処理ステップＳ１４において修正された細線化画像２５を重畳処理する。細線化画像２５の各面家について、画素値が２以上である場合に、原画像２２の対応画素の画素値を、（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）とする。重畳処理画像データを解析結果画像２８としてメモリ１１に記憶させる。

（効果）
本実施例によれば、対象となる血管形状のみに関する血管特徴量を算出でき、血管の形状に応じて解析対象を選択し、選択した対象に関する特徴量を求めるため、特徴量を利用した所見の客観化結果に基づく病変判定精度を向上させることができる。

なお、本実施例では、血管形状特徴量２６として血管長と分岐点数とを用いて、血管選択処理ステップＳ１４において解析対象となる血管を、血管の形状に基づいて選択したが、血管の特徴量として血管を構成する画素のＲＧＢ値の平均値を求め、ＲＧＢ値平均値を用いて、血管の色調に基づいて血管を選択するようにしてもよい。

図１２ないし図１６は本発明の実施例２に係わり、図１２はＣＰＵにより実行される画像解析プログラムの処理の流れを示すフローチャート、図１３は図１２の血管分離処理の流れを示すフローチャート、図１４は図１３の処理における直交点の８近傍の画素値の第１の状態を示す図、図１５は図１３の処理における直交点の８近傍の画素値の第２の状態を示す図、図１６は図１２の画像解析プログラムの処理の結果得られる血管画像解析結果ウィンドウを示す図である。

実施例２は、実施例１とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

実施例２は、実施例１に対し、画像解析処理ステップＳ２（図４参照）において算出される血管特徴量２７として、１血管あたりの屈折点数を追加することが異なる。実施例１との相違点について説明する。

（構成）
本実施例では、血管特徴量２７としての屈折点数算出にあたり、メモリ１１に切断血管座標列２９を記憶することが、実施例１との変更点である。切断血管座標列２９については、後述する。

（作用）
本実施例における画像解析プログラム２０の画像解析処理ステップＳ２における処理フローを図１２に示す。

実施例１との相違点は、図１２に示すように、血管選択処理ステップＳ１４の後に血管分離処理ステップＳ１７を追加し、特徴量算出ステップＳ１５において算出する血管特徴量２７として、１血管あたりの屈折点数を算出することである。算出された、１血管あたりの屈折点数は、解析結果表示処理ステップＳ３にて、解析結果ウィンドウ３０の解析値表示領域３２に表示する。

また実施例１では、形状特徴量算出ステップＳ１３において血管要素ごとのラベルと、三叉点と、直交点とを組にして血管形状特徴量２６としてメモリ１１に記憶させていたが、本実施例ではさらに、三叉点及び直交点の各座標列を組にして、血管形状特徴量２６としてメモリ１１に記憶させる。

血管分離処理ステップＳ１７における処理フローを図１３に示す。

血管分離処理では、図１３に示すように、ステップＳ３１において、細線化画像２５上の全ての画素のラベルを調べて、ラベルの最大値Ｉmaxを取得する。最大値Ｉmaxは、血管のラベルの最大値に相当する。

次に、ステップＳ３２において、対象となるラベルＩの初期値として１を設定し、ステップＳ３３において、ラベルＩに対して１を加算し、ステップＳ３４において、細線化画像２５上に、画素値がラベルＩである画素が存在するか否かを判定する。

画素値がラベルＩである画素が細線化画像２５上に存在せず、かつＩ＞Ｉmaxである場合には、処理を終了し、そうでなければステップＳ３５に進む。

そして、ステップＳ３５において、ラベルＩに対応する直交点数Ｆを取得する。直交点数Ｆは、形状特徴量算出処理ステップＳ１４において血管形状特徴量２６としてメモリ１１に記憶されるものである。ステップＳ３６において直交点数Ｆが０であればステップＳ３８に進み、直交点数Ｆが１以上であればステップＳ３７に進む。

直交点の８近傍の画素値の状態は、図１４または図１５のうちのいずれかである。Ｐ0は直交点を表す。ここで、図中”黒塗り□”で示す画素はラベルがＩである画素を示し、”□”で示す画素はラベルが０である画素を示す。直交点における細線化血管の交差は、実際の観察対象上において２本の血管が奥行き方向に重なるために生ずるものである。

ステップＳ３７での処理は、画像上において分岐して観察される細線化血管線分を分離する処理である。ステップＳ３７では、交差点において交差する血管の線分を分離する処理を行う。交差点の８近傍の画素のラベルを調べ、直交点において交差する２本の線分要素のうち、一方の線分要素の細線化画像２５の画素のラベルをＩmax＋１に全て更新し、次にＩmaxに１を加算する処理を行う。この処理を各交差点に対して実行を繰り返し、ステップＳ３８に進む。

細線化画像２５の画素のラベルをＩmax＋１に更新する処理について説明する。

まず、メモリ１１に記憶されている血管形状特徴量２６の中から、該当する直交点の座標を取得する。

次に、直交点の８近傍について細線化画像２５の画素のラベルを調べ、交差する線分のうちの一方を、細線化画像２５の画素のラベルの更新対象線分として決定する。本実施例では、図１４、図１５におけるＰ及びＰ’を、更新対象の線分の起点画素とする。

またメモリ１１上に、トレース判定画像を作成する。トレース判定画像は、細線化画像２５と同一の幅及び高さである画像データであって、１または０の画素値を各画素ごとに格納する。トレース判定画像の各画素の画素値の初期値は０とする。

次に境界線追跡処理を行い、Ｐ、Ｐ’を起点とする線分のトレースを行う。このトレース処理は、公知の境界線追跡処理により達成され、非特許文献４：「コンピュータ画像処理入門 田村秀行著 総研出版 P.84〜85」に詳しい。

まずＰを起点として、８近傍の細線化画像２５のラベルがＩである画素を順次トレースする。ただし、交差点Ｐ0は、トレースの対象とはしない。トレース済みの座標ついて、トレース判定画像の対応画素の画素値を１にする。トレース点の座標に関して、トレース判定画像の対応画素の画素値が０である場合には、トレース点の座標の細線化画像２５の画素のラベルを、Ｉmax＋１に更新するとともに、トレース判定画像の対応画素の画素値を１にセットする。

トレース処理において、注目点の８近傍に画素のラベルがＩである画素が注目点の８近傍に存在しない場合には、トレースを終了する。途中、三叉点または直交点をトレースした場合には、その点を起点として接続する各血管に対して同様にトレース及び細線化画像２５の画素のラベルの更新処理を行う。また、三叉点または直交点をトレースした場合には、ラベルＩに関連付けられている、該当する三叉点または交差点を、ラベルＩmax＋１に関連付けるよう更新する。三叉点または直交点であるか否かの判断は、メモリ１１に記憶された血管形状特徴量２６を基にして処理する。

Ｐ’に対しても同様の処理を行い、最後に、直交点Ｐ0のラベルをＩmax＋１に更新する。

以上により、直交点において交差する２本の血管線分のうちの一方の血管線分に関する細線化画像２５のラベルを更新して、細線化画像２５上での血管線分の分離処理を行う。

ステップＳ３８での処理は、細線血管を、分岐点を含まない血管要素に切断分解するとともに、原画像２２に生ずるノイズにより発生した、実際の観察対象上には存在しない三叉分岐点を除去する処理である。

ステップＳ３８では、細線化画像２５の画素のラベルがＩである細線血管について、三叉点で切断する処理を行い、切断後の血管の座標列を、メモリ１１に切断血管座標列２９として記憶する処理を行う。切断血管点列２９を記憶する際に、ラベルＩと、切断血管点列の点数とを組として関連付けて記憶するよう処理する。

三叉点での細線血管の切断処理について説明する。まず、メモリ１１に記憶されている血管形状特徴量２６の中から、識別値Ｉに対応する三叉点座標を１つ取得する。

また、ステップＳ３７での処理と同様に、メモリ１１上に、トレース判定画像を作成する。

次に、三叉点の８近傍について細線化画像２５の画素のラベルを調べ、ラベルがＩである点を起点として、８近傍の画素のラベルがＩである画素を、トレースする。

トレース済みの座標ついて、トレース判定画像の対応画素の画素値を１にする。トレース処理において、注目点の８近傍に未トレースの画素がなく、かつ、細線化画像２５のラベルがＩである画素がない場合にはトレースを終了する。また、注目画素が三叉点である場合にもトレースを終了する。トレースした各血管の座標列の点数を切断血管の全長とみなし、血管の全長が閾値Ｔ3以上である場合には、トレース点の座標列を切断血管座標列２９（図１２参照）として、ラベルＩと、切断血管の全長とみなされた座標列の点数とを組にして、メモリ１１に記憶させる。

なお、閾値Ｔ3は、あらかじめ血管分離処理ステップＳ１７が保持している数値である。本実施例ではＴ3＝２として処理する。

以上の処理を、各三叉点について実行した後、ステップＳ３３に戻り、処理を継続する。

特徴量算出ステップＳ１６（図１２参照）では、切断血管座標列２９をメモリ１１から取得し、切断血管座標列２９を基にして屈折点の検出を行う。屈折点の検出方法として、非特許文献２：「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に紹介される手法を使用する。

切断血管座標列２９には、識別値が関連付けられている。識別値は一意な値であり、識別値の総数は、血管要素の数に相当する。各切断血管座標列２９に関する屈折点の総和を、識別値の総数で除することにより、１本あたりの屈折点数を算出し、血管特徴量２７としてメモリ１１に記憶させる。

本実施例における解析結果表示処理ステップＳ３では、血管画像解析結果ウィンドウ３０の解析値表示領域３２に、１血管あたりの屈折点数を追加表示する。図１６は、本実施例における血管画像解析結果ウィンドウ３０を示す。実施例１における血管画像解析結果ウィンドウ３０を示す図３と比較して、交差するＡ血管６０と、Ｂ血管６１とを別個の血管として区別するとともに、血管線分６２の全長が短いため実際には存在しない血管線分とみなして細線化画像から除外している。

（効果）
本実施例では、実施例１の効果に加え、交差する血管を分離するとともに、血管の誤抽出を補正するため、血管特徴量の精度が向上する。すなわち、本実施例によれば、画像中の交差する血管を別個の血管として認識するとともに、血管上のノイズを除去するため、特徴量の精度を向上させるとともに、特徴量を利用した所見の客観化結果に基づく病変判定精度を向上させることができる。

図１７ないし図２１は本発明の実施例３に係わり、図１７は特徴量算出処理の流れを示すフローチャート、図１８は図１７の特徴量算出処理における屈折点頂点評価値Ａを算出方法及び屈折点頂点評価値Ａを用いての屈折候補点検出処理を説明するための説明図、図１９は図１７の屈折点決定処理の流れを示すフローチャート、図２０は図１９の処理において屈折点候補点の中から屈折点を決定することを説明する図、図２１は図１９の処理における移動平均法による切断血管座標列の平滑化を説明する図である。

実施例３は、実施例２とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

実施例３は、実施例２に対し、画像解析処理ステップＳ２において算出される血管特徴量２７である屈折点数の算出方法が異なる。実施例２との相違点について説明する。

本実施例においては、血管の屈折部付近に屈折点候補点を数点検出し、その中から最も適切な屈折点を選択的に決定することにより屈折点数・位置の検出精度を向上させることが可能となる画像処理手法について説明する。

本実施例において、特徴量算出処理ステップＳ１６は、屈折点候補点を検出する屈折点候補点検出処理と、屈折点候補点の中から最終的な屈折点を決定する屈折点決定処理とを順次実行することにより、屈折点を検出し、屈折点数を算出するところの屈折点数算出処理を含んでいる。実施例２との相違点は特徴量算出ステップＳ１６において算出する屈折点数の算出方法であるため、相違について説明する。

図１７に示すように、本実施例における屈折点候補点検出処理は、ステップＳ４１において、メモリ１１に記憶されたN_Points個の点から成る切断血管座標列２９を取得する。

ステップＳ４２において、処理の対象となる切断血管の最小点数の閾値threlとの比較を行う。本実施例では、thre1＝１０とする。N_Points＞thre1であればステップＳ４３に進み、そうでなければ処理を終了する。

ステップＳ４３において、各点における屈折点頂点評価値Ａ（ｉ）（1≦i≦N_Points）を算出する。ステップＳ４３の詳細については後述する。

ステップＳ４４においてｉを初期化し、ステップＳ４５において、点Ｐ（ｉ）を対象点とし対象点における屈折点頂点評価値Ａ（ｉ）と、対象点からｋ点前後する点Ｐ（ｉ−ｋ），Ｐ（ｉ＋ｋ）におる屈折点頂点評価値Ａ（ｉ−ｋ），Ａ（ｉ＋ｋ）を取得する。値ｋは、ステップＳ４６における比較対象を選択するパラメータであり、本実施例ではｋ＝５とする。ステップＳ４５の詳細については後述する。

ステップＳ４６において、屈折点頂点評価値Ａ（ｉ），Ａ（ｉ−ｋ），Ａ（ｉ＋ｋ）の比較を行う。Ａ（ｉ）＜Ａ（ｉ−ｋ）かつＡ（ｉ）＜Ａ（ｉ＋ｋ）であればステップＳ４７に進み、そうでなければステップＳ４９に進む。ステップＳ４６の詳細については後述する。

ステップ４７において、屈折検出のための屈折の大きさを制限する閾値thre2との比較を行う。本実施例では、thre2＝０．９７とする。Ａ（ｉ）／Ｌ＜thre2であれば、ステップＳ４８に進み、そうでなければ処理を終了する。

ステップＳ４８において、対象点Ｐ（ｉ）を屈折点候補点として検出してメモリ１１に記憶させる。

ステップＳ４９において、対象点Ｐ（ｉ）が切断血管座標列２９の最終点つまりｉ＝N_PointsであればステップＳ５０で屈折点を決定して処理を終了し、ｉ≠N_PointsであればステップＳ５１に進む。

ステップＳ５１において、ｉ＝ｉ＋1として対象点を更新し、ステップＳ４５ないしＳ４９に示す一連の処理を繰り返す。

ステップＳ５０においての、屈折点決定処理は流れを図１９に示し、詳細については後述する。

次に、ステップＳ４３における屈折点頂点評価値Ａを算出方法と、ステップＳ４５、ステップＳ４６における屈折点頂点評価値Ａを用いての屈折候補点検出処理の詳細について説明する。

図１８は本実施例における屈折点頂点評価値Ａを算出方法と、屈折点頂点評価値Ａを用いての屈折候補点検出処理を説明するための説明図である。

屈折点頂点評価値Ａの算出方法としては、非特許文献２：「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に示される手法を使用する。

取得した切断血管座標列２９の各点について、細線血管像に沿って、各点を中心とする図１８に太線にて示す長さＬの曲線を抽出し、その曲線の始点終点の距離（弦長）を屈折点頂点評価値Ａ（ｉ）として算出する。ただし、点Ｐ（ｉ）が切断血管座標列２９の両端から［Ｌ／２］の範囲に存在し、長さＬの曲線が抽出できない場合、Ａ（ｉ）＝Ｌとする。ここで［］はガウス記号である。

また、屈折候補点検出処理において点Ｐ（ｉ）が両端からｋの範囲に存在し、点Ｐ（ｉ−ｋ），Ｐ（ｉ＋ｋ）が切断血管座標列２９上の点に成り得ない場合、Ａ（ｉ−ｋ）＝Ｌ，Ａ（ｉ＋ｋ）＝Ｌとする。点Ｐ（ｉ）における屈折点頂点評価値Ａ（ｉ）が、ｋ点前の点Ｐ（ｉ−ｋ）における屈折点頂点評価値Ａ（ｉ−ｋ）、かつｋ点後の点Ｐ（ｉ＋ｋ）における屈折点頂点評価値Ａ（ｉ＋ｋ）より小さい場合は、Ｐ（ｉ）における屈折が点Ｐ（ｉ−ｋ），Ｐ（ｉ＋ｋ）より大であることを示すから、屈折候補点として検出する。

この比較評価を、切断血管座標列２９を形成するすべての点に対して順に行う。切断血管座標列２９の両端から［Ｌ／２］の範囲では、上述した通りＡ(ｉ)＝Ｌとしたため、屈折点候補点の検出からは除外される。

次に屈折点決定処理における処理フローを図１９に示す。

ステップＳ６１において、前述の屈折点候補点検出処理により検出された屈折点候補点を、メモリ１１から取得する。屈折点候補点が隣接して連続している場合は、その点列を一つの組（以下、パターンと称する）として抽出する。ここで切断血管座標列２９において生成されたパターン数をN_pattern（１≦N_pattern≦屈折点候補点数）とし、各パターンを形成する屈折点候補点数Ｃn（１≦ｎ≦N_pattern）を算出する。

そして、ステップＳ６２において、最初のパターンを示すｎ＝１に初期化し、ステップＳ６３において、ステップＳ６１にて生成されたパターンのうちの１つを対象点pattern(n)（１≦ｎ≦N_pattern）として取得し、対象パターンpattern(n)の屈折点候補点数Ｃn=１であれば、他の屈折候補点が隣接しておらず単独で存在すると判断し、その屈折点候補点を屈折点と決定する。対象パターンpattern(n)の屈折点候補点数Ｃn≧２であれば、ステップＳ６４に進み、対象パターンの屈折点候補点列の中から１点を屈折点と決定する。

ステップＳ６４において、対象パターンpattern(n)中で、Ａ(ｉ)が極小となる点を屈折点と決定する。図２０は、屈折点候補点の中から屈折点を決定することを表す図である。

ステップＳ６５において、対象パターンpattern(n)が最終パターン、つまりｎ=N_patternであれば処理を終了し、ｎ≠N_patternであればステップＳ６６に進む。

ステップＳ６６において、ｎ＝ｎ＋1として屈折点決定の対象パターンを更新し、ステップＳ６３ないしＳ６５に示す一連の処理を繰り返す。

なお、切断血管座標列２９が滑らかでない場合は、ステップＳ４１で取得した切断血管座標列２９を、非特許文献２：「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に示されるように、移動平均法により座標値を平滑化する。ここでの移動平均法とは、点Ｐの座標値を座標列の前後［ｍ／２］点の座標値の平均値に設定する手法である。値ｍは移動平均点数、すなわち平滑化の強さを決定するパラメータである。本実施例では図２１に示すようにｍ＝９、すなわち９点の移動平均をもちいる。

また、切断血管座標列29の両端から［Ｌ／２］の範囲では、Ａ(ｉ)＝Ｌと仮定するため、屈折点候補点は検出されないが、検出対象に含める場合には、非特許文献２：「”細線化図形の屈折点検出の一手法”小山ら、電子通信学会研究会資料PRL80-107 PP,80-90(1980)」に示されるようにステップＳ４１で取得した切断血管座標列29の両端の延長を行えばよい。

また、ステップＳ４５におけるパラメータｋは、切断血管座標列２９を形成する点数N_Pointsに基づいて決定してもよい。

また、本実施例では、ステップＳ６４において、対象パターン中の屈折点候補点列のＡ(ｉ)が極小となる点を屈折点として決定したが、対象パターン中の屈折点候補点列の中心点、すなわち［Ｃn／２］番目の点と決定するようにしてもよい。

（効果）
本実施例では、実施例２の効果に加え、屈折点頂点評価値Ａ(ｉ)をｋ点前後の屈折点頂点評価値Ａ（ｉ−ｋ），Ａ（ｉ＋ｋ）と比較することにより、血管の屈折部付近に屈折点候補点が数点検出され、その中から最も適切な屈折点を選択的に決定することにより屈折点数・位置の検出精度が向上する。すなわち、本実施例によれば、血管の屈折点数、位置の検出精度を向上させるとともに、血管屈折点数、位置を利用した所見の客観化結果に基づく病変判定精度を向上させることができる。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る内視鏡画像解析装置の構成を示すブロック図 図１のメモリ上に記憶される情報を示す図 図１の情報処理装置の処理により表示装置上に表示される血管画像解析結果ウィンドウを示す図 図１のＣＰＵにより実行される画像解析プログラムの処理の流れを示すフローチャート 図４の画像解析処理の流れを示すフローチャート 図５の処理により生成される２値化画像の画像データの例を示す図 図６の２値化画像をラベリング処理した画像データを表す図 図７のラベリング画像を細線化処理した画像データを表す図 図４の形状特徴量算出処理における周囲８近傍を説明する図 図４の形状特徴量算出処理の流れを示すフローチャート 図１０の形状特徴量算出処理による選択すべき血管形状として樹枝状血管を選択した時の修正細線化画像を示す図 本発明の実施例２に係るＣＰＵにより実行される画像解析プログラムの処理の流れを示すフローチャート 図１２の血管分離処理の流れを示すフローチャート 図１３の処理における直交点の８近傍の画素値の第１の状態を示す図 図１３の処理における直交点の８近傍の画素値の第２の状態を示す図 図１２の画像解析プログラムの処理の結果得られる血管画像解析結果ウィンドウを示す図 本発明の実施例３に係る特徴量算出処理の流れを示すフローチャート 図１７の特徴量算出処理における屈折点頂点評価値Ａを算出方法及び屈折点頂点評価値Ａを用いての屈折候補点検出処理を説明するための説明図 図１７の屈折点決定処理の流れを示すフローチャート 図１９の処理において屈折点候補点の中から屈折点を決定することを説明する図 図１９の処理における移動平均法による切断血管座標列の平滑化を説明する図 従来の屈折点の検出手法の問題点を説明する図

符号の説明

１…内視鏡画像解析装置
２…内視鏡観察装置
３…内視鏡ファイリング装置
４…画像処理装置
５…情報処理装置
６…操作装置
７…記憶装置
８…表示装置
９…ＬＡＮ
１０…ＣＰＵ
１１…メモリ
１２…外部記憶Ｉ／Ｆ
１３…ネットワークカード
１４…操作Ｉ／Ｆ
１５…グラフィックボード
１６…バス
２０…画像解析プログラム
２１…解析データ
２２…原画像
２３…２値化画像
２４…ラベリング画像
２５…細線化画像
２６…血管形状特徴量
２７…血管特徴量
２８…解析結果画像
代理人 弁理士 伊藤 進

Claims (24)

1. １ないし複数の線状パターンを含む画像に対して画像解析を行う画像解析方法において、
   前記線状パターンを前記画像から抽出する線状パターン抽出ステップと、
   前記抽出された線状パターンに関する第１の特徴量を算出する第１の特徴量算出ステップと、
   前記第１の特徴量に基づいて、解析の対象となる前記線状パターンを選択するパターン選択ステップと、
   前記パターン選択ステップにより選択された前記線状パターンについて第２の特徴量を算出する第２の特徴量算出ステップと
   を備えたことを特徴とする画像解析方法。
2. 前記線状パターン抽出ステップは、前記画像に対して２値化処理を行うことにより得られる２値化画像から、前記線状パターンを抽出する
   ことを特徴とする請求項１に記載の画像解析方法。
3. 前記線状パターン抽出ステップは、前記２値化画像に対して細線化処理を行うことにより得られる細線化画像から、前記線状パターンを抽出する
   ことを特徴とする請求項２に記載の画像解析方法。
4. 前記第１の特徴量算出ステップ及び前記第２の特徴量算出ステップの算出する特徴量は、前記線状パターンの形状を表す形状特徴量である
   ことを特徴とする請求項１，２または３のいずれか１つに記載の画像解析方法。
5. 前記第１の特徴量算出ステップ及び前記第２の特徴量算出ステップの算出する特徴量は、前記線状パターンの色調を表す色調特徴量である
   ことを特徴とする請求項１，２，３または４のいずれか１つに記載の画像解析方法。
6. 前記形状特徴量は、前記線状パターンの全長乃至分岐点数乃至屈折点数である
   ことを特徴とする請求項４に記載の画像解析方法。
7. 前記パターン選択ステップは、前記第１の特徴量算出ステップの算出する特徴量に基づき、画像に含まれる前記解析の対象となる前記線状パターンを分類し、分類した結果に基づき前記線状パターンを選択する
   ことを特徴とする請求項１，２，３，４，５または６のいずれか１つに記載の画像解析方法。
8. 前記画像は、血管を描出する医用画像である
   ことを特徴とする請求項１，２，３，４，５，６または７のいずれか１つに記載の画像解析方法。
9. 前記医用画像は、内視鏡画像である
   ことを特徴とする請求項９に記載の画像解析方法。
10. 前記パターン選択ステップは、前記第１の特徴量算出ステップの算出する特徴量に基づき、前記線状パターンにより抽出された線状パターンを、点状血管乃至網状血管乃至樹枝状血管のいずれかに分類する
    ことを特徴とする請求項８または９に記載の画像解析方法。
11. 前記第２の特徴量算出ステップは、分岐点を含む前記線状パターンに対して、当該分岐点の位置において前記線状パターンを修正するところのパターン修正ステップを備え、
    前記第２の特徴量算出ステップは、前記パターン修正ステップにより修正された前記線状パターンについて前記第２の特徴量を算出する
    ことを特徴とする請求項６に記載の画像解析方法。
12. 前記パターン修正ステップは、分岐点に接続する前記線状パターンの各線要素について、線要素の全長が所定の閾値より短い場合には、該当する前記線要素を消去する
    ことを特徴とする請求項１１に記載の画像解析方法。
13. 前記パターン修正ステップは、分岐点に接続する前記線状パターンの前記線要素の接続数に応じて、当該線要素のうちの１乃至複数の線要素から構成される前記線状パターンを生成する
    ことを特徴とする請求項１１または１２に記載の画像解析方法。
14. 前記パターン修正ステップは、分岐点に接続する前記線状パターンの前記線要素の接続数が４である場合には、対向する前記線要素を分離し、分離した前記線要素を結合した前記線状パターンを生成する
    ことを特徴とする請求項１３に記載の画像解析方法。
15. 前記パターン修正ステップは、分岐点に接続する前記線状パターンの前記線要素の接続数が３である場合には、分岐点において接続する各線要素を、前記線状パターンとして分離して生成する
    ことを特徴とする請求項１３または１４に記載の画像解析方法。
16. 前記第２の特徴量算出ステップは、
    前記線状パターンから屈折点候補点を検出する屈折点候補点検出ステップと、
    前記屈折点候補点検出ステップの検出する前記屈折点候補点の中から、前記線状パターンの屈折点を決定する屈折点決定ステップと
    を備えたことを特徴とする請求項１１，１２，１３，１４または１５のいずれか１つに記載の画像解析方法。
17. 前記屈折点候補点検出ステップは、
    前記線状パターンを構成する各座標点に対して屈折点頂点評価値を算出し、前記屈折点頂点評価値に基づいた評価により、前記屈折点候補点を検出する
    ことを特徴とする請求項１６に記載の画像解析方法。
18. 前記屈折点頂点評価値は、対象点の座標位置から前記線状パターンに沿って、既定の距離だけ離れた座標位置を結んだときの弦長である
    ことを特徴とする請求項１７に記載の画像解析方法。
19. 前記屈折点候補点検出ステップにより行われるところの屈折点候補点の検出は、
    対象点の前記屈折点頂点評価値が、対象点の座標位置から前記線状パターンに沿って、既定の距離範囲内にある座標点における前記屈折点頂点評価値の最小値である場合に、対象点を前記屈折点候補点として検出する
    ことを特徴とする請求項１７または１８に記載の画像解析方法。
20. 前記屈折点決定ステップは、前記屈折点候補点検出ステップにより検出された前記屈折点候補点が近接して複数存在する場合、座標位置に基づいた評価を行って、前記屈折点候補点のうちの１つを屈折点として決定する
    ことを特徴とする請求項１６，１７，１８または１９のいずれか１つに記載の画像解析方法。
21. 前記屈折点決定ステップにて行われるところの座標位置に基づいた評価は、
    前記複数存在する屈折点候補点の中で、中央に位置する屈折点候補点を、屈折点として決定する
    ことを特徴とする請求項２０に記載の画像解析方法。
22. 前記屈折点決定ステップは、前記屈折点候補点検出ステップにより検出された前記屈折点候補点が近接して複数存在する場合，前記屈折点頂点評価値に基づいた評価を行って、前記屈折点候補点のうちの１つを屈折点として決定する
    ことを特徴とする請求項１６，１７，１８または１９のいずれか１つに記載の画像解析方法。
23. 前記屈折点決定ステップにて行われるところの前記屈折点頂点評価値に基づいた評価は、
    前記複数存在する前記屈折点候補点の中で、前記屈折点頂点評価値が最小である前記屈折点候補点を、屈折点として決定する
    ことを特徴とする請求項２２に記載の画像解析方法。
24. 被検体組織を撮像して得られた画像データに所定の処理を施してこの画像データに含まれる血管の走行形状パターンを抽出する走行形状パターン抽出手段と、
    血管の走行形状の性状に基づき予め想定された走行形状パターンの特徴量と、前記走行形状パターン抽出手段により抽出された前記走行形状パターンとを比較し、前記抽出された前記走行形状パターンの特徴量を算出して決定する特徴量算出手段と
    を備えたことを特徴とする画像解析装置。

Images