JP2008216066A - 類似画像検索装置 - Google Patents

Abstract

【課題】対象病理組織標本に対して医学的に主観的な類似度の高い病理組織標本を過去のデータベース装置から検索し表示し、医師の診断の支援を行うことが可能な類似画像検索装置を提供する。
【解決手段】画像データ背景分離装置３１は、画像データ入力装置２から入力された胃の生検画像などの画像データから背景領域を除去する。細胞核抽出装置３２は、分離後の細胞質領域３１ａから細胞核を抽出する。局所細胞核−細胞質比算出装置３３は、ブロックに分割された画像データの各ブロックに対して細胞核−細胞質面積比を算出し、そのヒストグラムをベクトル化する。類似度検索装置６は、該ベクトルを利用して、画像データベース１内の画像データから類似画像データを検索する。検索結果出力装置７は、類似度の大きい画像データとそれに付された所見データとを画像データベース１から読み出し、表示する。
【選択図】 図１

Description

本発明は、医療分野の、特に胃生検診断において、画像処理を用いて過去の類似の症例画像を検索することにより、医師の診断の支援が可能な類似画像検索装置に関する。

従来、病理診断を支援する画像処理技術として以下のような手法が提案されている。病理組織診断における知見として、癌細胞では細胞内に占める核と細胞質の割合（核−細胞質比：nucleocytoplasmic ratio）が正常細胞と比較して顕著に増大することが知られている。このような基本的かつ重要な知見を病理組織診断に盛り込むことができれば、診断精度が大きく向上するものと考えられる。

そこで、下記の特許文献１に示される従来手法は、この核−細胞質比を利用して、核が分布すると推定する領域の画素数Shと、細胞質が分布すると推定する領域の画素数Seの合計Sh＋Seが所定の閾値Tsより小さい場合、または、Sh＋Seが所定の閾値Ts以上の場合であり且つSh/Seが所定の閾値Trより小さい場合にはその特定領域は癌部位を含まないと推定し、Sh+Seが所定の閾値Ts以上の場合でありかつSh/Seが所定の閾値Tr以上である場合にはその特定領域は癌部位を含むと推定して、診断支援を行っている。
特開２００４−２８６６６６号公報

病理医が目視によって診断を行う場合、核および腔の形状や分布を総合的に判断し、診断を下すことが知られている。前記従来手法では、核−細胞質比の閾値判断で診断画像の特定局所領域が癌であるか判断している。しかしながら従来手法では、対象局所領域が癌であるかの診断を行えるが、画像全体に対して医師の画像診断の観点から2つの画像間の類似度を算出することはできなかった。

本発明は、上記の問題に鑑みてなされたもので、核−細胞質比を利用して、医学的に主観的な類似度の高い成分を抽出し、これを応用することで、対象病理組織標本と医師が主観的に類似していると感じる病理組織標本を過去のデータベースから検索し、医師の診断の支援を行うことが可能な類似画像検索装置を提供することを目的とする。

前記の目的を達成するために、本発明は、標本組織の画像データを保持する画像データベースと、標本組織の画像データが入力される画像データ入力手段と、画像全体あるいは指定されたROI領域全体に対して、医学的に主観的な類似度の高い成分を抽出する医学的主観類似度算出部と、前記により抽出された類似度を基に類似する画像データを前記画像データベースから検索する類似度検索手段と、前記画像データ入力手段から入力された画像データと前記類似度検索手段で検索された画像データベースからの画像データを表示する検索結果出力手段とを具備した点に第１の特徴がある。

また、本発明は、標本組織の画像データおよびそれに対する所見データを少なくとも保持する画像データベースと、標本組織の画像データが入力される画像データ入力手段と、前記画像データ入力手段に入力された画像データを、細胞質領域と背景・腔領域とに分離する画像データ背景分離手段と、前記画像データ背景分離手段で分離された細胞質領域から細胞核を抽出する細胞核抽出手段と、前記画像データ背景分離手段で分離された細胞質領域と前記細胞核抽出手段で抽出された細胞核が占める面積とに基づいて細胞核−細胞質面積比を算出する局所細胞核−細胞質比算出手段と、前記算出された細胞核−細胞質面積比に類似する画像データを前記画像データベースから検索する類似度検索手段と、前記画像データ入力手段から入力された画像データと前記類似度検索手段で検索された画像データベースからの画像データおよび該画像データの所見データとを表示する検索結果出力装置とを具備した点に第２の特徴がある。

また、前記画像データ背景分離手段で分離された細胞質領域から色情報を抽出する色情報抽出手段を具備し、前記類似度検索手段は、該色情報に類似する画像データを前記画像データベースから検索するようにした点に第３の特徴がある。

また、前記画像データ背景分離手段における背景領域の決定及び／または前記細胞核抽出手段における細胞核の抽出を、輝度値または色情報を用いて判別分析法で行うようにした点に第４の特徴がある。

本発明によれば対象病理組織標本に対して医学的に主観的な類似度の高い病理組織標本を過去のデータベースから検索し、医師の診断の支援を行うことが可能な類似画像検索装置を提供することができる。

また本発明によれば、細胞質に対する細胞核の分布を定量的に定め、該分布を標本画像間の類似度として利用するようにしているので、特別な閾値を設定せずに医師の診断の支援を行える類似画像を提供することができるようになる。

なお、本発明は、胃癌の診断において特に有用であるが、同様の特徴を持つ大腸・肝臓その他数多くの標本組織画像にも適用可能である。

以下に、図面を参照して、本発明を詳細に説明する。図１は本発明の類似画像検索装置の一実施形態の構成を示すブロック図である。

図において、画像データベース１には、過去の症例の画像データ、該画像データの中の着目したい領域（ＲＯＩ；Region of Interest）画像の類似度の特徴量（細胞核−細胞質面積比、色情報など）、および画像に対する医師の所見データ等が保存されている。該画像データと医師の所見データとは、互いにリンクされている。

画像データ入力装置２には、一般的な画像フォーマットであるJPEGやBITMAP等、あるいは医療画像フォーマットであるDICOM画像等の画像データを入力することができる。また入力する際に、画像データの特定の領域を検索するためにROIを指定することができる。

図２は、該画像データ入力装置２に入力される画像データの一例を示す。この画像データ１０は、胃の生検画像例を示し、HE染色液により染色されたものである。HE染色液は、ヘマトキシリンとエオジンからなる周知の染色液であり、対象画像の細胞領域と細胞核領域とを異なる色に染色する。なお、画像データ１０の透けて見えている色の薄い領域（図２の、例えばA、B領域）は背景領域、その他の領域は細胞質領域であり、その中の色の濃い領域（図２の、例えばC領域）は細胞核領域である。なお、前記B領域は一般的には腔領域と呼ばれるが、本発明では背景領域とみなされる。

医学的主観類似度算出部３は、画像全体あるいは指定されたROI領域全体に対して、医学的に主観的な類似度の高い成分を抽出するものであり、画像データ背景分離装置３１、細胞核抽出装置３２、局所細胞核−細胞質比算出手段３３、および広域特徴量算出手段３４から構成されている。

画像データ背景分離装置３１は、入力画像から背景領域を分離し、細胞質領域３１ａを出力する。背景領域は細胞質領域とは輝度が異なり、ほとんど均一な輝度の傾向がある。また背景領域の一部は画面端（図２のE）に接していることが多い。このため、画像全体に対して輝度値を用いて、周知の判別分析法（大津，“ 判別および最小2 乗基準に基づく自動閾値選定法，”電子通信学会論文誌，Vol.J63-D，No.4，pp.349-356，1980.）にて背景領域候補を得る。背景領域候補のうち画面端に接している領域の輝度値の平均と分散を求め、この平均値から該分散に相関するある一定の閾値α内の領域、すなわち、（平均±α）内の領域を背景領域と判断する。この手法により、固定閾値によらないロバストな背景領域の分離を行うことができる。

該画像データ背景分離装置３１の上記した処理をフローチャートで表すと図３のようになる。ステップＳ１では、画像データ入力装置２から画像データが入力する。ステップＳ２では、該入力画像全体に対して輝度値を用いて画像を２値化し、前記判別分析法により背景領域候補を得る。ステップＳ３では、該背景領域候補のうち、画面端に接する領域を取得する。ステップＳ４では、該画面端Ｅに接する領域の輝度値の平均値と分散値とを計算する。ステップＳ５では、前記平均値±αの領域を背景と判断する。ステップＳ６では、前記画像データから背景領域を除去する。したがって、該画像データ背景分離装置３１からは、画像データの中の細胞質領域３１ａが出力される。

次に、細胞核抽出装置３２では、該細胞質領域を、細胞核領域とその他の領域（以下、細胞領域という）に分離する。前記したように、画像データは例えばHE染色液により染色されたものであるので、対象画像の細胞領域と細胞核領域とは異なる色に染色されている。そこで、前記画像データ背景分離装置３１により背景領域を除去された画像は、該細胞領域と細胞核領域の色情報の違い(RGB色空間においてR（赤）成分)を利用して、R成分による判別分析法を用いて正確な細胞核領域３２ａを抽出される。なお、図２の画像では、概略、黒さが濃い程R成分は大きいと考えることができる。

局所細胞核−細胞質比算出装置３３では、図４に示すように、図２の画像１０を予め定められた大きさの方形状（例えば、正方形）のブロックに分割する。次いで、分割された方形領域１０ａ、１０ｂ、１０ｃ、・・、１０ｐ、・・、１０ｎ内にて細胞核−細胞質面積比を計算する。すなわち、全ての方形領域の各々について、例えば図５に代表として示されている方形領域１０ｐの画像から背景領域または腔領域を除去した細胞質の面積に対して細胞核が占める面積の占有率を、１００分率で表現する。

広域特徴量算出手段３４では、全ての方形領域における細胞核の占有率を、度数分布のヒストグラムで表現する。対象方形領域がすべて背景領域の場合はヒストグラムに加算しない。次に、好ましくは、ヒストグラムの正規化、次元圧縮を行う。これらの特徴はベクトルで表現される。

例えば、前記度数分布のヒストグラムが図６のような場合（横軸；％、縦軸；頻度）、度数の小さい所は考慮外とし、度数の大きい範囲Ｐに次元圧縮する。次元圧縮された範囲Ｐの特徴は、（ｐ１，ｐ２，・・・・，ｐｎ）＝（Ｖ_１，Ｖ_２，・・・・，Ｖ_ｎ）とベクトルで表現される。

類似度検索装置６では、前記広域特徴量算出手段３４で求められた特徴（ベクトル）に基づき、画像データベース１に蓄積されている画像データとの類似度を算出する。例えば、類似度をベクトルのユークリッド距離で表現する。２つの画像ａ、ｂの特徴量ベクトルをＶａ、Ｖｂとし、それぞれのk番目のベクトルをＶａｋ、Ｖｂｋとする時、類似度Dは下記の(1)式で表される。

検索結果出力装置７では、前記類似度Ｄに基づいて検索結果を表示する。例えば、予め定められた大きさ以上の類似度Ｄを有する画像データについて、あるいは予め定められた画像データ数について、好ましくは該類似度の大きさ順に、前記入力画像とデータベース１上の画像とを、該データベース１上の医師の所見データを付けて表示する。

以上のように、本実施形態によれば、対象病理組織標本と類似の病理組織標本をデータベースから検索し医師等に提供できるので、医師の診断の支援を行うことができる。また、固定閾値によらないロバストな類似画像を提供することができる。

次に、本発明の第２実施形態を、図７のブロック図を参照して説明する。図７において、８は色情報抽出装置を示し、他の符号は図１と同一または同等物を示す。この実施形態が前記第１実施形態と異なる所は、色情報抽出装置８を付加した点にある。

色情報抽出装置８は、図４のように方形状に分割し、該方形の細胞質領域の色情報を抽出し、広域特徴量算出装置３４に送出する。広域特徴量算出装置３４は、色情報の特徴を例えばヒストグラムで表現する。細胞質領域は色空間の全てのレンジに分布していることは少なく、色空間のレンジを圧縮しても良い。さらに、画像サイズに柔軟な性質をもつように正規化を行うこともでき、また計算速度向上のためわずかな色差に対するロバスト性を保つため次元を圧縮してもよい。これらの特徴はベクトルで表現される。

例えば、前記色情報のヒストグラムが図８のような場合（横軸；色の濃度（８ビットで表現）、縦軸；頻度）、色空間は例えば図のＱの範囲に分布している場合が多いので、レンジＱに次元圧縮する。次元圧縮された範囲Ｑの特徴は、（ｑ１，ｑ２，・・・・，ｑｎ）＝（Ｖ_１，Ｖ_２，・・・・，Ｖ_ｎ）とベクトルで表現される。

類似度検索装置６は、前記と同様に、前記方形状毎の抽出された特徴（ベクトル）に基づき、画像データベース１に蓄積されている画像データとの類似度を算出する。そして、該色情報の特徴の類似度と前記細胞核−細胞質面積比の類似度の両方に基づいて検索結果を表示する。上記以外は前記第１実施形態と同じであるので説明を省略する。

この実施形態によれば、細胞核−細胞質面積比の類似度と色情報の特徴の類似度との両方で画像データベースを検索できるので、より精度の良い検索結果を得ることができる。

また、本発明の変形例として、図１、図７に点線で示したように、画像データ、核−細胞質比算出装置３３，色情報抽出装置８で得たデータは、所見データを付されて画像データベース１に記憶される。

また、前記画像データ入力装置に入力される画像データは、胃癌に限らず、肝臓、大腸等のあらゆる生検画像を対象とする画像データとすることができる。また、前記所見データは、疾患名、疾患部位、治療方法、所見、患者名、患者性別、患者年齢、担当医師名、撮影日時、撮影手段、および経過観察情報のうちの少なくとも一つとすることができる。

本発明の第１実施形態の構成を示すブロック図である。 HE染色液により染色された生検画像例を示す図である。 図１の画像データ背景分離装置の処理例を示すフローチャートである。 HE染色液により染色された生検画像を方形状にブロック分割する場合の説明図である。 １つのブロック内の生検画像例を示す図である。 細胞核−細胞質面積比のヒストグラムの説明図である。 本発明の第２実施形態の構成を示すブロック図である。 細胞質の色情報のヒストグラムの説明図である。

符号の説明

１・・・画像データベース、２・・・画像データ入力装置、３・・・医学的主観類似度算出部、６・・・類似度検索装置、７・・・検索結果出力装置、８・・・色情報抽出装置、１０・・・画像データ、１０ａ、１０ｂ、・・、１０ｎ・・・ブロック、３１・・・画像データ背景分離装置、３２・・・細胞核抽出装置、３３・・・局所細胞核−細胞質比算出装置、３４・・・広域特徴量算出手段、３１ａ・・・細胞質領域、３２ａ・・・細胞核領域。

Claims (12)

1. 標本組織の画像データを保持する画像データベースと、
   標本組織の画像データが入力される画像データ入力手段と、
   画像全体あるいは指定されたROI領域全体に対して、医学的に主観的な類似度の高い成分を抽出する医学的主観類似度算出部と、
   前記により抽出された類似度を基に類似する画像データを前記画像データベースから検索する類似度検索手段と、
   前記画像データ入力手段から入力された画像データと前記類似度検索手段で検索された画像データベースからの画像データを表示する検索結果出力手段とを具備したことを特徴とする類似画像検索装置。
2. 請求項１に記載の類似画像検索装置において、
   前記医学的主観類似度算出部が、
   前記画像データ入力手段に入力された画像データを、細胞質領域と背景・腔領域とに分離する画像データ背景分離手段と、
   前記画像データ背景分離手段で分離された細胞質領域から細胞核を抽出する細胞核抽出手段と、
   前記画像データ背景分離手段で分離された細胞質領域と前記細胞核抽出手段で抽出された細胞核が占める面積とに基づいて局所的に細胞核−細胞質面積比を算出する局所細胞核−細胞質比算出手段と、
   画像全体に対する該局所細胞核−細胞質比から画像全体が持つ特徴量を算出する広域特徴量算出手段とで構成され、
   医学的に主観的な類似度の高い成分を抽出することを特徴とする類似画像検索装置。
3. 請求項１または２に記載の類似画像検索装置において、
   前記画像データベースは、画像データに加えて該画像データに対する医師の所見データを保持し、該画像データと医師の所見データとが検索結果として表示されることを特徴とする類似画像検索装置。
4. 請求項２に記載の類似画像検索装置において、
   前記画像データ背景分離手段で分離された細胞質領域から色情報を抽出する色情報抽出手段をさらに具備し、
   前記類似度検索手段は、該色情報に類似する画像データを前記画像データベースから検索することを特徴とする類似画像検索装置。
5. 請求項２に記載の類似画像検索装置において、
   前記画像データ入力手段に入力された画像データ、および前記局所細胞核−細胞質比算出手段で算出された細胞核−細胞質面積比に所見データを付して、前記画像データベースに登録することを特徴とする類似画像検索装置。
6. 請求項４に記載の類似画像検索装置において、
   前記画像データ入力手段に入力された画像データ、前記局所細胞核−細胞質比算出手段で算出された細胞核−細胞質面積比、および前記色情報抽出手段で抽出された色情報に所見データを付して、前記画像データベースに登録することを特徴とする類似画像検索装置。
7. 請求項２ないし６のいずれかに記載の類似画像検索装置において、
   前記画像データ背景分離手段は、画像データ全体に対して輝度値を用いて判別分析法で背景領域候補を得、該背景領域候補のうち画面端に接する背景領域の輝度値の平均値と分散値を基に、前記画像データの背景領域を判定することを分離することを特徴とする類似画像検索装置。
8. 請求項２ないし７のいずれかに記載の類似画像検索装置において、
   前記細胞核抽出手段は、前記細胞質領域に対して色成分を用いて判別分析法で細胞核を抽出することを特徴とする類似画像検索装置。
9. 請求項２ないし８のいずれかに記載の類似画像検索装置において、
   前記局所細胞核−細胞質比算出手段は、画像をブロックに分割しそのブロック内における細胞核−細胞質面積比を計算することを特徴とする類似画像検索装置。
10. 請求項９に記載の類似画像検索装置において、
    前記広域特徴量算出手段は、前記局所細胞核−細胞質面積比のブロック全体の度数分布（ヒストグラム）を求め、これをベクトル化することを特徴とする類似画像検索装置。
11. 請求項１ないし１０のいずれかに記載の類似画像検索装置において、
    前記検索結果出力手段は、前記画像データに類似する類似画像と、これに付属する所見データとを、類似度の順位をつけて表示することを特徴とする類似画像検索装置。
12. 請求項１ないし１１のいずれかに記載の類似画像検索装置において、
    前記画像データ入力手段は、ＲＯＩ指定された画像データを出力することを特徴とする類似画像検索装置。