JP2004286666A

JP2004286666A - Pathological diagnosis support apparatus and pathological diagnosis support program

Info

Publication number: JP2004286666A
Application number: JP2003080918A
Authority: JP
Inventors: Satoshi Arai; 敏荒井; Susumu Kikuchi; 奨菊地; Kiyoshi Mukai; 清向井; Yoshitaka Izumi; 美貴泉; Keiko Fujii; 恵子藤井; Hiroyuki Fukuda; 弘之福田
Original assignee: Olympus Corp; National Institute of Information and Communications Technology
Current assignee: Olympus Corp; National Institute of Information and Communications Technology
Priority date: 2003-03-24
Filing date: 2003-03-24
Publication date: 2004-10-14

Abstract

<P>PROBLEM TO BE SOLVED: To provide a pathological diagnosis support apparatus and a pathological diagnosis support program for making a pathological diagnosis, based on the accurate distribution of nucleus and cytoplasm, obtained by imaging a pathological tissue sample for treatment and by quantitatively obtaining the distribution of the nucleus and cytoplasm. <P>SOLUTION: The distribution of the nucleus and cytoplasm of an organization sample in image data, inputted by an image data inputting means (4, 5), is estimated by nucleus/cytoplasm distribution estimating sections 6. A cancer part estimating section 7 estimates the distribution of a cancer part in the tissue sample, based on the distribution of the nucleus and cytoplasm estimated by the nucleus/cytoplasm distribution estimation section 6. Then, an image display section 9 displays the distribution of the cancer part estimated by the cancer part estimating section 7, thus quantitatively obtaining the distribution of the nucleus and cytoplasm, and estimates the distribution of the cancer part in the tissue sample for displaying images, based on the resulting accurate distribution of the nucleus and cytoplasm. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理を用いて病理診断を行う技術、特に癌組織標本画像を多バンドで撮像し、これを処理することで癌の分布範囲を求めたり、前立腺癌の進行度を分類することが可能な病理診断支援装置および病理診断支援プログラムに関する。
【０００２】
【従来の技術】
従来、病理診断を支援する画像処理技術として以下のような手法が提案されている。
【０００３】
特表２００１−５２５５８０号公報「癌細胞の検出方法」では、正常部位と癌部位をそれぞれ選択的に染色するような２種類の染料で病理標本を染色し、更にスペクトル画像からランベルト・ベールの法則を用いて染色濃度を評価し、癌細胞の有無を判定している。
【０００４】
「分光透過率を用いた組織標本の分析−染色状態の定量化手法の検討」（藤井他、第３回デジタル生体医用画像の「色」シンポジウム）では、ＨＥ染色（ヘマトキシリン・エオジン染色）された病理標本のスペクトル画像を用い、各染料の染色濃度をランベルト・ベールの法則に従って、赤血球等の異物も考慮した上で定量的に評価している。
【０００５】
特開２００１−５９８４２号公報「病理診断装置」では、病理標本画像から細胞核（以下単に核）と腔を抽出し、核同士の重なりや腔同士の距離を評価し、患部が良性であるか悪性であるかを形態的に判断している。
【０００６】
【特許文献１】
特表２００１−５２５５８０号公報
【０００７】
【特許文献２】
特開２００１−５９８４２号公報
【０００８】
【非特許文献１】
「分光透過率を用いた組織標本の分析−染色状態の定量化手法の検討」（藤井他、第３回デジタル生体医用画像の「色」シンポジウム）
【０００９】
【発明が解決しようとする課題】
病理医が目視によって診断を行う場合、核および腔の形状や分布を総合的に判断し、診断を下す事が知られている。これと同じ手順を画像処理的に行うには、核や腔を精度良く抽出できる事が大前提となる。腔は核も細胞質も無い或いは殆ど無い部位を指すから、実際には核と細胞質の抽出に帰着される。
【００１０】
しかし、生体組織は本来個体差が大きい事に加え、染色条件や観察条件の変動も考慮に入れねばならず、これらを精度良く抽出する事は単純な画像処理では困難である。特に癌部位では核のコントラストが低下するのに加え、膨張した核同士が３次元的に重なり合って観察される為、核を個別に認識する事は益々難しくなる。
【００１１】
特表２００１−５２５５８０号公報は、癌部位と正常部位を選択的に染色する染料の使用を前提とした癌部位判定方法を提供するが、病理学の領域で広く用いられているＨＥ染色は単に核と細胞質を選択的に染色するのみであり、癌部位と正常部位に対する選択性を有しない。従って、癌部位に対する選択性を持つ染色を別途施す必要がある。
【００１２】
「分光透過率を用いた組織標本の分析−染色状態の定量化手法の検討」はＨＥ染色標本のスペクトル画像にランベルト・ベールの法則を適用し、ヘマトキシリンとエオジンそれぞれの染色濃度を定量的に評価しているが、この手法は染色状態の良否判定や補正を目的としたものであり、病理学的診断には何の知見も与えない。
【００１３】
特開２００１−５９８４２号公報は核および腔の形状や分布を用いて診断を行う事を主張しているが、核や腔を具体的にどのように抽出するかを開示していない。
【００１４】
病理組織診における知見として、癌細胞では細胞内に占める核と細胞質の割合（ＮＣ比；ｎｕｃｌｅｏ−ｃｙｔｏｐｌａｓｍｉｃｒａｔｉｏ）が正常細胞と比較して顕著に増大する事が知られている。このような基本的かつ重要な知見を盛り込む事ができれば、診断精度の向上に大きく寄与すると考えられるが、ＮＣ比を計算する為には核と細胞質の分布を定量的に求める必要がある。従来のＲＧＢ画像を用いた処理では、このような定量的な分布を十分な精度で求める事ができなかった。
【００１５】
本発明は、上記の問題に鑑みてなされたもので、病理組織標本を撮像・処理することで、核と細胞質の分布を定量的に求め、これによって得られた核と細胞質の正確な分布に基づいて病理診断を行うことが可能な病理診断支援装置および病理診断支援プログラムを提供することを目的とするものである。
【００１６】
【課題を解決するための手段】
請求項１の発明による病理診断支援装置は、組織標本の画像データが入力される画像データ入力手段と、前記画像データ入力手段に入力された画像データにおける組織標本の核および細胞質の分布を推定する核・細胞質分布推定手段と、前記核・細胞質分布推定手段で推定した核および細胞質の分布に基づき、組織標本内における癌部位の分布を推定する癌部位推定手段と、前記癌部位推定手段で推定した癌部位の分布を表示する画像表示手段と、を有するものである。
【００１７】
本発明の装置によれば、核と細胞質の分布を定量的に求め、これによって得られた核と細胞質の正確な分布に基づいて、組織標本内における癌部位の分布を推定し、画像表示することができる。
【００１８】
請求項２の発明は、請求項１の発明において、前記癌部位推定手段は、細胞内に占める核と細胞質の分布面積の割合（ＮＣ比）を用いることを特徴とするものである。
【００１９】
本発明のようにＮＣ比を用いることにより、癌の診断精度を著しく向上させることができる。
【００２０】
請求項３の発明は、請求項１の発明において、前記癌部位推定手段は、前記画像データ入力手段に入力された画像データを複数の領域に分割し、この分割した単位領域毎に癌部位の分布を推定することを特徴とするものである。
【００２１】
請求項４の発明は、請求項２の発明において、前記癌部位推定手段は、前記画像データ入力手段に入力された画像データの特定領域において、核が分布すると推定する領域の画素数Ｓｈと、細胞質が分布すると推定する領域の画素数Ｓｅの合計Ｓｈ＋Ｓｅが所定の閾値Ｔｓより小さい場合、または、Ｓｈ＋Ｓｅが所定の閾値Ｔｓ以上の場合であり且つＳｈ／Ｓｅが所定の閾値Ｔｒより小さい場合にはその特定領域は癌部位を含まないと推定し、Ｓｈ＋Ｓｅが所定の閾値Ｔｓ以上の場合であり且つＳｈ／Ｓｅが所定の閾値Ｔｒ以上である場合にはその特定領域は癌部位を含むと推定することを特徴とするものである。
【００２２】
請求項５の発明は、請求項１の発明において、前記画像表示手段は、前記画像データ入力手段に入力された画像データに、前記癌部位推定手段が推定した癌部位の分布位置画像を重ね合わせて表示することを特徴とするものである。
【００２３】
請求項６の発明は、請求項５の発明において、前記画像表示手段に重ね合わせて表示する推定した癌部位の分布位置画像は、所定のパターンのハッチング画像であることを特徴とするものである。
【００２４】
請求項７の発明による病理診断支援装置は、請求項１の発明において、更に、前記画像データ入力手段に入力された画像データにおける組織標本の腺腔の分布を抽出する腺腔分布抽出手段と、前記癌部位推定手段が推定した癌部位の進行度を、前記腺腔分布抽出手段が抽出した腺腔分布の特徴量を用いて判定する進行度判定手段と、を有するものである。
【００２５】
本発明の装置は、前立腺癌の診断において特に有用である。何故なら、前立腺癌の診断においては主に腺腔の大きさや形状に着目して進行度を判定する手法であるグレソン分類が、世界的な標準として使用されているからである。従って、標本としては前立腺に関するものであることが望ましい。
【００２６】
請求項８の発明は、請求項７の発明において、前記腺腔分布抽出手段は、核が分布すると推定する領域と細胞質が分布すると推定する領域の分布面積がそれぞれ所定の値以下である領域を腺腔が分布する領域であると推定することを特徴とするものである。
【００２７】
請求項９の発明は、請求項８の発明において、前記進行度判定手段が用いる特徴量として、推定された腺腔に関する面積、円形度、輪郭粗度のうち、少なくとも一つを含むことを特徴とするものである。
【００２８】
請求項１０の発明は、請求項１の発明において、染色された組織標本に対する病理診断を支援する装置において、前記画像データ入力手段に入力された画像データは、染色された組織標本を分光画像として撮影した画像データであり、前記核・細胞質分布推定手段は、前記画像データの分光情報を用いて核および細胞質の分布を推定することを特徴とするものである。
【００２９】
請求項１１の発明は、請求項７の発明において、前記画像表示手段は、更に、画像データ入力手段に入力された画像データに、前記進行度判定手段が判定した癌部位の進行度の情報を重ね合わせて表示することを特徴とするものである。
【００３０】
請求項１２の発明による病理診断支援プログラムは、コンピュータを、組織標本の画像データが入力される画像データ入力手段と、前記画像データ入力手段に入力された画像データにおける組織標本の核および細胞質の分布を推定する核・細胞質分布推定手段と、前記核・細胞質分布推定手段で推定した核および細胞質の分布に基づき、組織標本内における癌部位の分布を推定する癌部位推定手段と、前記癌部位推定手段で推定した癌部位の分布を表示する画像表示手段として機能させるためのものである。
【００３１】
本発明のプログラムによれば、核と細胞質の分布を定量的に求め、これによって得られた核と細胞質の正確な分布に基づいて、組織標本内における癌部位の分布を推定し、画像表示することができる。
【００３２】
請求項１３の発明による病理診断支援プログラムは、更にプログラムを、前記画像データ入力手段に入力された画像データにおける組織標本の腺腔の分布を抽出する腺腔分布抽出手段と、前記癌部位推定手段が推定した癌部位の進行度を、前記腺腔分布抽出手段が抽出した腺腔分布の特徴量を用いて判定する進行度判定手段として機能させるためのものである。
【００３３】
本発明のプログラムは、前立腺癌の診断において特に有用である。
【００３４】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
【００３５】
〔第１の実施の形態〕
第１の実施の形態は、病理染色標本を、異なる光通過帯域を持つ複数のバンドパスフィルタを用いて多バンドで撮影した後、染色色素の分光特性を先見情報として染色色素の分布を求め、これを核および細胞質の分布と見倣して最終的に癌部位の分布を推定するものである。
【００３６】
図１は本実施の形態における病理診断支援装置の構成を示す。また、図２に、図１の処理のフローチャートを示す。
【００３７】
図１に示す病理診断支援装置は、照明手段２にて照明された病理組織標本１を顕微鏡光学系３を通して二次元的な分光画像として撮像する分光画像撮像部４と、該分光画像撮像部４と共に画像データ入力手段を構成するもので、分光画像撮像部４にて撮像された分光画像を記憶するメモリ５と、前記画像データ入力手段に入力された画像データにおける組織標本の核および細胞質の分布を推定する核・細胞質分布推定部６と、前記核・細胞質分布推定部６で推定した核および細胞質の分布に基づき、組織標本内における癌部位の分布を推定する癌部位推定部７と、前記メモリ５に記憶された多バンド画像である分光画像から組織標本ＲＧＢ画像を生成するＲＧＢ画像生成部８と、前記癌部位推定部７で推定した癌部位の分布を、前記ＲＧＢ画像生成部８からの組織標本ＲＧＢ画像に重ね合わせる等して表示する画像表示部９と、を有して構成されている。
【００３８】
従って、図１の装置の動作は概略的に図２に示すようになる。すなわち、組織標本の分光画像撮像を行った後（ステップＳ１）、この分光画像データにおける組織標本の核および細胞質の分布を推定し（ステップＳ２）、組織標本内における癌部位の分布を推定する（ステップＳ３）。一方、前記の撮像された分光画像から組織標本ＲＧＢ画像を生成し（ステップＳ４）、この組織標本ＲＧＢ画像にステップＳ３にて推定した癌部位の分布を重ね合わせて表示する（ステップＳ５）。
【００３９】
観察対象としては、２種類の色素、ヘマトキシリンとエオジンによって染色された病理組織標本を用いる（図３参照）。ヘマトキシリンとエオジンによる染色方法（ＨＥ染色）は標準染色とも呼ばれ、組織標本の染色方法として最も広く用いられている。
【００４０】
次に、図１乃至図３で示した本実施の形態の内容を、図４乃至図１０を参照して詳細に説明する。
【００４１】
先ず、病理組織標本１は照明手段２によって透過的に照明され、顕微鏡光学系３によって結像した後、分光画像撮像部４によって二次元的な分光画像（以下、組織標本分光画像）として撮像される。二次元的な分光画像は、通常のＲＧＢ画像とは異なり、画像の各画素が試料の対応点のスペクトル情報で構成されているような多バンドの画像である。本実施の形態では、バンド数は少なくとも３以上であるとする。分光画像撮像部４におけるスペクトル情報取得には、例えば特開平７−１２０３２４号公報に記載のバンドパスフィルタを複数枚用いた多バンド画像の撮影装置を使用する。撮像された組織標本分光画像はメモリ５に転送され、記憶される。
【００４２】
ここで、以下に、多バンド画像の撮影装置の具体例について説明する。
【００４３】
図４はその構成を示す図で、本実施の形態の色分類装置は、絞りやレンズを含む光学系２０、図５の（Ａ）に示されるような複数枚のバンドパスフィルタ２２Ａ，２２Ｂ，…，２２Ｅで構成される回転色フィルタ２２、対象物Ｏ及び参照板Ｒの画像を取り込むためのＣＣＤ２４、Ａ／Ｄ変換器２６、フレームメモリ２８、撮影している部分を表示するモニタ３０、ＣＣＤ駆動ドライバ３２、回転色フィルタ２２の駆動モータ３４、ＣＣＤ駆動ドライバ３２及び回転色フィルタ駆動モータ３４等を制御すると共に分類演算回路３８に命令を送るコントロール部３６、分類を行なうための分類演算回路３８から構成される。上記回転色フィルタ２２は、図５の（Ｂ）又は（Ｃ）に示すように、何種類かのバンドパスフィルタ２２Ａ〜２２Ｅから構成されており、各フィルタは同図の（Ａ）に示すような任意のバンド幅を透過するような特性を持っている。本実施の形態では、図面及び説明の簡単化のため５枚のバンドパスフィルタで回転色フィルタ２２を構成している。なお、光学系２０と回転色フィルタ２２の配置は、光学系２０の前に回転色フィルタ２２を配置するような逆の配置でも良い。
【００４４】
次に、核・細胞質分布推定部６により染色標本における核と細胞質の分布を定量的に推定し、二次元的な分布画像として構成する。核・細胞質分布推定部６は以下のように推定処理を行う。
【００４５】
この手法は、分光透過率を用いた組織標本の分析−染色状態の定量化手法の検討」（藤井他、第３回デジタル生体医用画像の「色」シンポジウム）にて開示されたものである。
【００４６】
分光画像撮像部４によって撮像した組織標本分光画像をＩ（λ，ｘ，ｙ）、予め撮像した照明光の分光画像をＩｏ（λ，ｘ，ｙ）とする。ここでλは波長を、ｘ，ｙはそれぞれ水平方向と垂直方向の位置を表すパラメータである。Ｉ（λ，ｘ，ｙ）とＩｏ（λ，ｘ，ｙ）を撮像する際、照明、露出等の撮像条件は全て同一に揃えられているものとする。
【００４７】
染色された病理組織標本は光の透過体であるから、ランベルト・ベールの法則に基き、点（ｘ，ｙ）において式（１）が成り立つ（図６参照）。
【００４８】
Ｉ（λ，ｘ，ｙ）＝Ｉｏ（λ，ｘ，ｙ）・ｅｘｐ｛−Ｃｈ（ｘ，ｙ）・εｈ（λ）−Ｃｅ（ｘ，ｙ）・εｅ（λ）−Ｃｏ（ｘ，ｙ）・εｏ（λ）｝（１）
ここで、式（１）に含まれる各変数は、以下の物理量を表す。
【００４９】
Ｃｈ：ヘマトキシリンの色素量
Ｃｅ：エオジンの色素量
Ｃｏ：組織に含まれるヘマトキシリン・エオジン以外の色素量（２）
εｈ：ヘマトキシリンの透過率
εｅ：エオジンの透過率
εｏ：組織に含まれるヘマトキシリン・エオジン以外の色素の透過率
本実施の形態では、組織に含まれるヘマトキシリン・エオジン以外の色素として、赤血球の影響のみを考慮する。但し、赤血球以外の異物を考慮する場合にも本発明の手法は有効である。
【００５０】
Ｃｈ，Ｃｅ，Ｃｏは位置に依存したパラメータであり、核・細胞質分布推定部６における推定対象である。
【００５１】
εｈ，εｅ，εｏは位置には依存しない波長の関数であって、核・細胞質分布推定部６における推定対象ではなく、予め測定によって値を取得しておく必要がある。本実施の形態では、ヘマトキシリン、エオジン、赤血球の分光透過率を予め測定しておき、それぞれεｈ，εｅ，εｏとして用いる。分光透過率の測定には、通常の分光計あるいは本実施の形態の構成要素である平面分光画像撮像部４が利用できる。
【００５２】
式（１）を変形し両辺の対数を取ると、式（３）になる。
【００５３】
−ｌｏｇ｛Ｉ（λ，ｘ，ｙ）／Ｉｏ（λ，ｘ，ｙ）｝＝Ｃｈ（ｘ，ｙ）・εｈ（λ）＋Ｃｅ（ｘ，ｙ）・εｅ（λ）＋Ｃｏ（ｘ，ｙ）・εｏ（λ）（３）
式（３）に含まれる未知変数は、各点毎にεｈ，εｅ，εｏの３個である。従って、核・細胞質分布推定部６への入力データとなる組織標本分光画像が各点毎に３バンド以上の情報を有していれば、原理的に全ての未知変数の値が決定できる。本実施の形態ではノイズに対する頑強性を確保する為、４バンド以上の組織標本分光画像を用い、最小二乗法によって未知変数を評価する。
【００５４】
組織標本分光画像の各バンドの観察波長をλｉ（ｉ＝１，２， …，Ｎ）で表す。ここでＮはバンド数である。この時、点（ｘ，ｙ）における未知変数の値は、最小二乗法を用いて式（４）のように決定できる。
【００５５】
【数１】

ここで、Σはｉについて１，２， …，Ｎの総和を求めることを意味する。また［・］^−１は逆行列を表す。
【００５６】
このようにして求めたヘマトキシリン色素の２次元分布Ｃｈ（ｘ，ｙ）とエオジン色素の２次元分布Ｃｅ（ｘ，ｙ）を、以下ではそれぞれヘマトキシリン分布画像（図７（ｂ）参照）、エオジン分布画像（図７（ｃ）参照）と呼称する。図７（ａ）は組織標本の画像である。
【００５７】
ヘマトキシリンとエオジンによる染色後、ヘマトキシリン色素はその殆どが細胞核の内部に存在するので、ヘマトキシリン分布画像Ｃｈ（ｘ，ｙ）を細胞核の分布と見倣すことができる。また、エオジン色素はその殆どが細胞質の内部に存在するので、エオジン分布画像Ｃｅ（ｘ，ｙ）を細胞質の分布と見倣すことができる。
【００５８】
一方、組織内に赤血球が残留していた場合、その分布はＣｏ（ｘ，ｙ）によって表され、ヘマトキシリンやエオジンの分布とは明確に分離することができる。病理組織標本を用いて診断を行う場合、組織に残留した赤血球は観察を妨げる異物と見倣され、その影響は除去しなければならない。一般に組織標本をＲＧＢ画像として撮像した場合、細胞質と赤血球のＲＧＢ値は似通った値となり両者の分離は難しいが、本発明の手法では両者を異なる分布画像として取得することができるので、両者を明確に分離することが可能である。
【００５９】
癌分布推定部７では、核・細胞質分布推定部６によって作成した、ヘマトキシリン分布画像とエオジン分布画像を用い、病理組織標本における癌部位の分布を推定する。癌分布推定部７は、以下のように推定処理を行う。
【００６０】
先ず、ヘマトキシリン分布画像Ｃｈ（ｘ，ｙ）およびエオジン分布画像Ｃｅ（ｘ，ｙ）を、同じサイズの小矩形に分割する（図８参照）。小矩形の位置は（ｉ，ｊ）のように表現し、ｉが水平方向、ｊが垂直方向のインデックスに対応する。
【００６１】
図９に、癌部位の判定手順を示している。
【００６２】
ヘマトシキリン分布画像の小矩形（ｉ，ｊ）において、画素値が所定の閾値Ｔｈ以上である画素の数Ｓｈ（ｉ，ｊ）を求める。同様に、エオジン分布画像の小矩形（ｉ，ｊ）において、画素値が所定の閾値Ｔｅ以上である画素の数Ｓｅ（ｉ，ｊ）を求める。
【００６３】
和Ｓｈ（ｉ，ｊ）＋Ｓｅ（ｉ，ｊ）を所定の閾値Ｔｓと比較する（ステップＳ１１）。
【００６４】
和Ｓｈ（ｉ，ｊ）＋Ｓｅ（ｉ，ｊ）が所定の閾値Ｔｓより小さい場合、その小矩形には組織が含まれておらず、当然ながら癌組織も含まないと判定する（ステップＳ１３）。
【００６５】
和Ｓｈ（ｉ，ｊ）＋Ｓｅ（ｉ，ｊ）が所定の閾値Ｔｓに等しい、あるいはより大きい場合、引き続き比Ｓｈ（ｉ，ｊ）／Ｓｅ（ｉ，ｊ）を所定の閾値Ｔｒと比較する（ステップＳ１２）。
【００６６】
Ｓｈ（ｉ，ｊ）／Ｓｅ（ｉ，ｊ）＜Ｔｒの場合、その小矩形内ではＮＣ比が小さい、即ち癌部位を含まない（正常である）と判定する（ステップＳ１３）。Ｓｈ（ｉ，ｊ）／Ｓｅ（ｉ，ｊ）≧Ｔｒの場合、その小矩形内ではＮＣ比が大きい、即ち癌部位が含まれると判定する（ステップＳ１４）。
【００６７】
ステップＳ１１における、和Ｓｈ（ｉ，ｊ）＋Ｓｅ（ｉ，ｊ）と閾値Ｔｓとの比較は、小矩形に組織自体が含まれている否かを判定するものである。癌組織も組織の一部である以上、組織自体が小矩形に含まれていなければ、癌部位も含まれないと見倣せるからである。
【００６８】
ステップＳ１２における、比Ｓｈ（ｉ，ｊ）／Ｓｅ（ｉ，ｊ）と閾値Ｔｒとの比較は、小矩形内におけるＮＣ比（式（５）参照）を評価するものである。病理学の分野では、癌細胞におけるＮＣ比が正常細胞におけるＮＣ比と比較して著しく大きいことが知られており、癌部位の特定に用いられている。本実施の形態ではヘマトキシリン分布画像とエオジン分布画像を用いてＮＣ比を定量的に評価し、その結果を用いて癌部位の分布を決定している。
【００６９】
【数２】

以上の判定処理を行い、癌部位の有無を癌分布画像Ｐｃ（ｘ，ｙ）を作成する。但し、癌分布画像Ｐｃ（ｘ，ｙ）の画素値は式（６）の規則によって決定する。
【００７０】
【数３】

次にＲＧＢ画像生成部８において、多バンド画像である組織標本分光画像をＲＧＢ画像に変換する。このＲＧＢ画像を組織標本ＲＧＢ画像と呼称する。組織標本ＲＧＢ画像の各画素におけるＲＧＢ値は、組織標本分光画像の各画素における分光透過率情報と、ＲＧＢ表色系の等色関数との積和演算によって求めることができる。
【００７１】
最後に、画像表示部９によってＲＧＢ画像生成部８からの組織標本ＲＧＢ画像と癌分布推定部７からの癌分布画像を重ね合わせて表示する。画像表示部９では、癌分布推定部７からの癌分布画像（図１０（ｂ）参照）が組織標本ＲＧＢ画像（図１０（ａ）参照）の前面になるように配置し、同時に半透明化処理を行う（図１０（ｃ）参照）。癌分布画像の半透明化により、癌分布画像と組織標本ＲＧＢ画像を同時に重ね合わせて表示させることができ、両者の対応を把握することが容易になる。半透明化処理としては、アルファブレンディングが一般的であるが、所定のパターンによるハッチングを利用しても良い。
【００７２】
第１の実施の形態に記載の手法によれば、異物の混入による影響を抑えながら、ヘマトキシリンとエオジンの分布を定量的に推定することができ、これによって得られた核と細胞質の正確な分布に基づいて病理診断を行うことが可能となる。更にＮＣ比の大小という病理学的な基準に則して癌部位の分布を判定することができ、診断精度を向上させることが可能となる。
【００７３】
〔第２の実施の形態〕
以下、本発明の第２の実施の形態について、図１１乃至図１５を用いて説明する。
【００７４】
本実施の形態は、第１の実施の形態で説明した癌部位の判定に加え、前立腺癌の進行度（グレソン分類におけるグレード）を評価する。基本的な考え方は、エオジン分布画像を用いて前立腺癌部位の腺腔を抽出し、腺腔の特徴量に従って進行度を分類するというものである。なお、グレソン分類は、前立腺癌の診断においては主に腺腔の大きさや形状に着目して進行度を判定する手法であり、世界的な標準として普及している。
【００７５】
グレソン分類では、図１１のようなグレソン分類基準チャートに従って、癌部位に存在する腺腔の形状やサイズに応じて進行度を５段階評価する。第１段階（グレード１或いはＧ１）が最も進行が軽微であり、第５段階（グレード５あるいはＧ５）が最も病状が進行している。図１１中、左端の数字がグレードを表す。
【００７６】
図１２は本実施の形態における病理診断支援装置の構成を示す。また、図１３に、図１２の処理のフローチャートを示す。図１及び図２と同一部分及びステップには同一符号を付して説明する。
【００７７】
図１２に示す病理診断支援装置は、照明手段２にて照明された病理組織標本１を顕微鏡光学系３を通して二次元的な分光画像として撮像する分光画像撮像部４と、該分光画像撮像部４と共に画像データ入力手段を構成するもので、分光画像撮像部４にて撮像された分光画像を記憶するメモリ５と、前記画像データ入力手段に入力された画像データにおける組織標本の核および細胞質の分布を推定する核・細胞質分布推定部６と、前記核・細胞質分布推定部６で推定した核および細胞質の分布に基づき、組織標本内における癌部位の分布を推定する癌部位推定部７と、前記画像データ入力手段に入力された画像データにおける組織標本の腺腔の分布を抽出する腺腔分布抽出部１０と、前記癌部位推定部７が推定した癌部位の進行度を、前記腺腔分布抽出部１０が抽出した腺腔分布の特徴量を用いて判定する進行度判定部１１と、前記メモリ５に記憶された多バンド画像である分光画像から組織標本ＲＧＢ画像を生成するＲＧＢ画像生成部８と、前記癌部位推定部７で推定した癌部位の分布と前記進行度判定部１１で判定した癌部位進行度とを、前記ＲＧＢ画像生成部８からの組織標本ＲＧＢ画像に重ね合わせる等して表示する画像表示部９ａと、を有して構成されている。
【００７８】
従って、図１２の装置の動作は概略的に図１３に示すようになる。すなわち、組織標本の分光画像撮像を行った後（ステップＳ１）、この分光画像データにおける組織標本の核および細胞質の分布を推定し（ステップＳ２）、組織標本内における癌部位の分布を推定する（ステップＳ３）。更に、組織標本の腺腔の分布を抽出し（ステップＳ６）、部位の進行度を判定する（ステップＳ７）。一方、前記の撮像された分光画像から組織標本ＲＧＢ画像を生成し（ステップＳ４）、この組織標本ＲＧＢ画像にステップＳ３にて推定した癌部位の分布と、進行度判定ステップＳ７にて判定した癌部位進行度とを重ね合わせて表示する（ステップＳ５’）。
【００７９】
本実施の形態は、第１の実施の形態と同じ構成の照明手段２、顕微鏡光学系３、分光画像撮像部４、メモリ５、核・細胞質分布推定部６、癌分布推定部７、ＲＧＢ画像生成部８を備えており、第１の実施の形態と同じ処理によってヘマトキシリン分布画像、エオジン分布画像、癌分布画像、組織標本ＲＧＢ画像を生成する。これらの画像の内容は、第１の実施の形態と全く同様である。
【００８０】
次に、図１１乃至図１３で示した本実施の形態の内容を、図１４及び図１５を参照して詳細に説明する。
【００８１】
腺腔抽出部１０は、ヘマトキシリン分布画像とエオジン分布画像を解析し、癌部位の腺腔に相当する連結領域のみを抽出する。腺腔抽出部１０は以下のように抽出処理を行う。
【００８２】
先ず、エオジン分布画像において画素値が所定の閾値Ｔｂ以下であるような画素の集合と、ヘマトキシリン分布画像において画素値が所定の閾値Ｔｃ以下であるような画素の集合を求め、更に両方の画像集合に共通して含まれる画素の集合を連結領域として抽出する。抽出された連結領域はヘマトキシリン色素とエオジン色素量の少ない領域であり、これは細胞組織を殆ど含まない領域、即ち腔に対応している。
【００８３】
次に、抽出された連結領域に関する特徴量を求める。
【００８４】
各連結領域について、重心位置、画像端への接触の有無、面積、周囲長、凸周囲長、円形度、輪郭粗度を求め、表１のような一覧を作成する。
【００８５】
【表１】

凸周囲長は、輪郭における凸部を線分で結んだ仮想的な図形の周囲長であり、図１４で概念的に示される。本実施の形態では円形度と輪郭粗度の両方を特徴量として求めているが、どちらか一方のみを計算し、他方の計算を省略して計算時間の短縮を図っても構わない。また、凸周囲長は輪郭粗度を求める場合にのみ使用するので、輪郭粗度を求めない場合には計算する必要は無い。
【００８６】
本実施の形態における円形度の定義としては式（７）を、輪郭粗度の定義としては式（８）を用いる。
【００８７】
【数４】

円形度は真円の場合に値が１で最も大きく、形状が円から外れるに従って値が小さくなる。
【００８８】
【数５】

輪郭粗度は１以上の値を持ち、輪郭上の凹凸構造が増えるに従ってより大きな値となる。
【００８９】
抽出した連結領域毎に、癌部位における腺腔に該当するかどうかを以下のように判定する。ここで、腺腔とは腺（本実施の形態では前立腺）の内側に存在する腔を指す。以下の判定▲１▼乃至▲３▼で除外された連結領域は癌部位における腺腔ではないと見倣し、一覧から削除する。
【００９０】
▲１▼ 連結領域を構成する画素のうち、癌分布画像における癌部位にも含まれている画素の数を計上する。癌部位に含まれている画素がＴｎ個より少ない場合は、一覧から削除する。ここでＴｎは所定の閾値である。
【００９１】
▲２▼ 連結領域が画像端に接触しているか否かを調べる。画像端に接している連結領域は、一覧から削除する。
【００９２】
▲３▼ 連結領域の面積が所定の閾値Ｔａより小さいか否かを調べる。面積がＴａより小さい場合は、一覧から削除する。この項目は、耐ノイズ性を向上させる為のものである。
【００９３】
以上の判定処理後に一覧に残された連結領域を癌部位に属する腺腔と見倣し、特徴量と共に腺腔一覧として記録する。
【００９４】
進行度判定部１１では、腺腔抽出部１０によって生成された腺腔一覧を用い、腺腔の分類を行うことでその腺腔の属する癌部位の進行度を評価する。
【００９５】
先ず、腺腔に関する特徴量である面積、円形度、輪郭粗度のうち１つ以上を要素とする特徴ベクトルｖを作成する。面積、円形度、輪郭粗度の全てを用いた場合は、特徴ベクトルｖは以下のような３次元ベクトルになる。
【００９６】
【数６】

特徴量の分類判定は、進行度が既知である癌部位の腺腔について予め特徴量を求めておき、これを教師データとした距離比較によって行う。
【００９７】
着目した腺腔と各グレードとの距離は、マハラノビス距離によって評価する。マハラノビス距離は式（１０）のように定義される。
【００９８】
Ｄｉ＝（ｖ−μｉ）^ＴΣｉ^−１（ｖ−μｉ）（１０）
ここで ^Ｔの表記は行列の転置を意味する。また、各変数の意味は以下の通り。
【００９９】
Ｄｉ：着目した腺腔とグレードＧ＿ｉとの特徴空間におけるマハラノビス距離
μｉ：グレードＧｉに属するサンプルの特徴ベクトルの平均
Σｉ：グレードＧｉに属するサンプルの特徴ベクトルの共分散行列
腺腔一覧に記録された各腺腔に対して、各グレードとのマハラノビス距離を求め、それぞれ最もマハラノビス距離の小さなグレードに分類する。
【０１００】
更に、癌分布画像において各癌部位の連結性を調べ、連結領域を形成している各癌部位について重心位置がその癌部位に含まれる腺腔の数をグレード毎に集計する。最も度数の多いグレードを以ってその癌部位の進行度とする。
【０１０１】
最後に画像表示部９ａによって、ＲＧＢ画像生成部８からの組織標本ＲＧＢ画像（図１５（ａ）参照）と癌分布推定部７からの癌分布画像（図１５（ｂ）参照）を重ね合わせて表示し、更にその前面に癌部位の進行度を表示する（図１５（ｃ）参照）。
【０１０２】
第２の実施の形態に記載の手法によれば、核と細胞質の分布を定量的に求め、これによって得られた核と細胞質の正確な分布に基づいて病理診断を行うことが可能となる一方、癌部位の分布が得られるだけでなく、前立腺癌の進行度をも決定することができる。この際、予め癌部位に属する腺腔のみを識別した後に進行度の分類を行うので、正常部位の腺腔を誤って判定に用いることが無い。また、画像内に複数の癌部位が含まれる場合にも、それぞれ個別に進行度を判定することができる。
【０１０３】
【発明の効果】
以上述べたように本発明によれば、病理組織標本を撮像・処理することで、核と細胞質の分布を定量的に求め、核と細胞質の正確な分布に基づいた病理診断を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の病理診断支援装置の構成を示すブロック図。
【図２】図１の動作を概略的に示すフローチャート。
【図３】ＨＥ染色された病理標本（前立腺癌）の例を示す図。
【図４】第１の実施の形態の装置に用いられる多バンド画像の撮像装置の構成を示すブロック図。
【図５】図４の多バンド画像撮像装置に用いられるバンドパスフィルタの特性及び配置を示す図。
【図６】染色された組織標本の断面図。
【図７】ヘマトキシリン分布画像とエオジン分布画像を示す図。
【図８】ヘマトキシリン分布画像とエオジン分布画像を小矩形に分割する状態を表す図。
【図９】癌部位の判定手順を示すフローチャート。
【図１０】癌分布推定結果の表示を示す図。
【図１１】グレソン分類基準チャート。
【図１２】本発明の第２の実施の形態の病理診断支援装置の構成を示すブロック図。
【図１３】図１２の動作を概略的に示すフローチャート。
【図１４】凸周囲長の概念図。
【図１５】進行度判定結果の表示を示す図。
【符号の説明】
１…病理組織標本
２…照明手段
３…顕微鏡光学系
４…分光画像撮像部
５…メモリ
６…核・細胞質分布推定部
７…癌分布推定部
８…ＲＧＢ画像生成部
９，９ａ…画像表示部
１０…腺腔抽出部
１１…進行度判定部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention is a technique for performing pathological diagnosis using image processing, in particular, imaging cancer tissue specimen images in multiple bands, and processing this to determine the distribution range of cancer or to classify the degree of progression of prostate cancer The present invention relates to a pathological diagnosis support device and a pathological diagnosis support program capable of performing the method.
[0002]
[Prior art]
Conventionally, the following methods have been proposed as image processing techniques for supporting pathological diagnosis.
[0003]
In Japanese Patent Application Laid-Open No. 2001-525580, "Method for Detecting Cancer Cells", a pathological specimen is stained with two types of dyes that selectively stain a normal site and a cancer site, respectively, and further, Lambert-Beer's law is obtained from a spectral image. Is used to evaluate the staining concentration to determine the presence or absence of cancer cells.
[0004]
HE staining (hematoxylin / eosin staining) was performed in "Analysis of tissue specimen using spectral transmittance-Examination of quantification method of staining state" (Fujii et al., 3rd "Color" Symposium on Digital Biomedical Images). Using the spectral image of the pathological specimen, the staining density of each dye is quantitatively evaluated according to Lambert-Beer's law, taking into account foreign substances such as red blood cells.
[0005]
Japanese Patent Application Laid-Open No. 2001-59842 discloses a "pathological diagnosis apparatus" in which a cell nucleus (hereinafter simply referred to as a nucleus) and a cavity are extracted from a pathological specimen image, an overlap between the nuclei and a distance between the cavities are evaluated, and whether the affected part is benign or malignant. Is determined morphologically.
[0006]
[Patent Document 1]
JP 2001-525580 A
[0007]
[Patent Document 2]
JP 2001-59842 A
[0008]
[Non-patent document 1]
"Analysis of Tissue Specimens Using Spectral Transmittance-Examination of Quantification Method of Staining State" (Fujii et al., 3rd "Color" Symposium on Digital Biomedical Images)
[0009]
[Problems to be solved by the invention]
It is known that when a pathologist makes a visual diagnosis, the shape and distribution of the nucleus and cavity are comprehensively determined to make a diagnosis. In order to perform the same procedure image-wise, it is essential to be able to extract the nucleus and cavity with high accuracy. Since the cavity refers to a site with little or no nucleus or cytoplasm, it actually results in nucleus and cytoplasm extraction.
[0010]
However, in addition to the fact that biological tissues have large individual differences, variations in staining conditions and observation conditions must be taken into account, and it is difficult to extract these with high accuracy by simple image processing. In particular, in a cancer site, since the contrast of the nucleus is reduced and the swelled nuclei are observed three-dimensionally overlapping each other, it is increasingly difficult to recognize the nuclei individually.
[0011]
JP 2001-525580 A provides a cancer site determination method on the premise of using a dye that selectively stains a cancer site and a normal site, but HE staining widely used in the field of pathology is simply It only stains the nucleus and cytoplasm selectively and has no selectivity for cancer sites and normal sites. Therefore, it is necessary to separately perform staining having selectivity for the cancer site.
[0012]
"Analysis of tissue specimens using spectral transmittance-Examination of quantification method of staining state" applies Lambert-Beer's law to spectral images of HE-stained specimens and quantitatively evaluates the staining concentrations of hematoxylin and eosin. However, this method is intended to judge the quality of the stained state and to correct it, and does not give any knowledge to the pathological diagnosis.
[0013]
Japanese Patent Application Laid-Open No. 2001-59842 asserts that diagnosis is performed using shapes and distributions of nuclei and cavities, but does not disclose how to specifically extract nuclei and cavities.
[0014]
It is known from the findings in histopathological diagnosis that the ratio of nucleus and cytoplasm (NC ratio; nucleo-cytoplasmic ratio) in cancer cells is significantly increased as compared to normal cells. If such basic and important knowledge can be incorporated, it is considered to greatly contribute to improvement in diagnostic accuracy. However, in order to calculate the NC ratio, it is necessary to quantitatively determine the distribution of nuclei and cytoplasm. In a process using a conventional RGB image, such a quantitative distribution cannot be obtained with sufficient accuracy.
[0015]
The present invention has been made in view of the above problems, and quantitatively obtains the distribution of nuclei and cytoplasm by imaging and processing a pathological tissue specimen, and obtains the accurate distribution of nuclei and cytoplasm obtained by this. It is an object of the present invention to provide a pathological diagnosis support apparatus and a pathological diagnosis support program capable of performing pathological diagnosis based on the pathological diagnosis.
[0016]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided a pathological diagnosis support apparatus configured to estimate image data input means to which image data of a tissue sample is input, and to estimate a distribution of nuclei and cytoplasm of the tissue sample in the image data input to the image data input means. Nuclear / cytoplasmic distribution estimating means, cancer site estimating means for estimating the distribution of cancer sites in a tissue sample based on the nucleus and cytoplasm distribution estimated by the nuclear / cytoplasmic distribution estimating means, and estimating by the cancer site estimating means Image display means for displaying the distribution of the selected cancer site.
[0017]
According to the apparatus of the present invention, the distribution of the nucleus and the cytoplasm is quantitatively obtained, and based on the accurate distribution of the nucleus and the cytoplasm obtained, the distribution of the cancer site in the tissue specimen is estimated and displayed as an image. be able to.
[0018]
A second aspect of the present invention is characterized in that, in the first aspect of the present invention, the cancer site estimating means uses a ratio (NC ratio) of a distribution area of a nucleus and a cytoplasm in a cell.
[0019]
By using the NC ratio as in the present invention, the accuracy of cancer diagnosis can be significantly improved.
[0020]
According to a third aspect of the present invention, in the first aspect of the present invention, the cancer site estimating unit divides the image data input to the image data input unit into a plurality of regions, and generates a cancer site for each of the divided unit regions. It is characterized by estimating the distribution.
[0021]
According to a fourth aspect of the present invention, in the second aspect of the present invention, the cancer site estimating means includes, in a specific area of the image data input to the image data inputting means, a pixel number Sh of an area where a nucleus is estimated to be distributed; When the sum Sh + Se of the number of pixels Se in the region where the cytoplasm is estimated to be distributed is smaller than a predetermined threshold Ts, or when Sh + Se is larger than a predetermined threshold Ts and Sh / Se is smaller than a predetermined threshold Tr, It is estimated that the specific region does not include a cancer site, and it is estimated that the specific region includes a cancer site when Sh + Se is equal to or greater than a predetermined threshold Ts and when Sh / Se is equal to or greater than a predetermined threshold Tr. It is characterized by the following.
[0022]
According to a fifth aspect of the present invention, in the first aspect of the present invention, the image display unit superimposes a cancer location distribution position image estimated by the cancer site estimation unit on the image data input to the image data input unit. Is displayed.
[0023]
According to a sixth aspect of the present invention, in the invention of the fifth aspect, the estimated distribution position image of the cancer site, which is displayed by being superimposed on the image display means, is a hatched image having a predetermined pattern. .
[0024]
A pathological diagnosis support apparatus according to a seventh aspect of the present invention, in the first aspect, further comprises a glandular cavity distribution extracting unit for extracting a distribution of a glandular cavity of a tissue specimen in the image data input to the image data input unit, A progression determining unit that determines the degree of progression of the cancer site estimated by the cancer site estimating unit using the characteristic amount of the glandular cavity distribution extracted by the glandular cavity distribution extracting unit.
[0025]
The device of the present invention is particularly useful in diagnosing prostate cancer. This is because, in the diagnosis of prostate cancer, the Gleason classification, which is a method of judging the degree of progress mainly by focusing on the size and shape of the glandular cavity, is used as a global standard. Therefore, it is desirable that the specimen relates to the prostate.
[0026]
According to an eighth aspect of the present invention, in the invention of the seventh aspect, the glandular cavity distribution extracting means sets the distribution areas of the region where the nucleus is estimated to be distributed and the region where the cytoplasm is estimated to be distributed to a predetermined value or less. The gland cavity is estimated to be a region where the gland cavity is distributed.
[0027]
According to a ninth aspect of the present invention, in the invention of the eighth aspect, the feature amount used by the progress degree determination means includes at least one of an estimated area, circularity, and contour roughness related to the glandular cavity. It is assumed that.
[0028]
According to a tenth aspect of the present invention, in the apparatus for supporting a pathological diagnosis on a stained tissue specimen according to the first aspect of the present invention, the image data input to the image data input means includes the stained tissue specimen as a spectral image. It is photographed image data, wherein the nucleus / cytoplasm distribution estimating means estimates the distribution of nucleus and cytoplasm using spectral information of the image data.
[0029]
In an eleventh aspect based on the seventh aspect, the image display means further includes information on the degree of progress of the cancer site determined by the degree of progress determination, in the image data input to the image data input means. It is characterized by being superimposed and displayed.
[0030]
The pathological diagnosis support program according to the twelfth aspect of the present invention provides a computer-readable storage medium storing a computer, comprising: image data input means for inputting image data of a tissue specimen; Nuclear / cytoplasmic distribution estimating means for estimating, a cancer site estimating means for estimating a cancer site distribution in a tissue sample based on the nuclear and cytoplasmic distribution estimated by the nuclear / cytoplasmic distribution estimating means, This function is to function as image display means for displaying the distribution of the cancer site estimated by the means.
[0031]
According to the program of the present invention, the distribution of the nucleus and the cytoplasm is quantitatively obtained, and based on the accurate distribution of the nucleus and the cytoplasm obtained, the distribution of the cancer site in the tissue specimen is estimated and displayed as an image. be able to.
[0032]
14. The pathological diagnosis support program according to claim 13, further comprising: a glandular cavity distribution extracting unit configured to extract a distribution of a glandular cavity of a tissue specimen in the image data input to the image data input unit; The function of the glandular cavity distribution extracting means is to use the characteristic amount of the glandular cavity distribution extracted by the glandular cavity distribution extracting means to function as the degree of progressing determining means.
[0033]
The program of the present invention is particularly useful in diagnosing prostate cancer.
[0034]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
[0035]
[First Embodiment]
In the first embodiment, a pathological stained sample is photographed in multiple bands using a plurality of band-pass filters having different light pass bands, and then the distribution of the stain is determined using the spectral characteristics of the stain as the foresight information. By imitating this as the distribution of the nucleus and cytoplasm, the distribution of the cancer site is finally estimated.
[0036]
FIG. 1 shows a configuration of a pathological diagnosis support apparatus according to the present embodiment. FIG. 2 shows a flowchart of the processing in FIG.
[0037]
The pathological diagnosis support apparatus shown in FIG. 1 includes a spectral image capturing unit 4 that captures a pathological tissue sample 1 illuminated by an illumination unit 2 through a microscope optical system 3 as a two-dimensional spectral image, and a spectral image capturing unit 4. And a memory 5 for storing a spectral image captured by the spectral image capturing unit 4, and a distribution of a nucleus and a cytoplasm of a tissue specimen in the image data input to the image data input unit. A nucleus / cytoplasmic distribution estimating unit 6 for estimating, a cancer site estimating unit 7 for estimating a cancer site distribution in a tissue specimen based on the nucleus and cytoplasmic distribution estimated by the nucleus / cytoplasmic distribution estimating unit 6, An RGB image generation unit 8 that generates a tissue sample RGB image from a spectral image that is a multiband image stored in the memory 5, and a distribution of cancer sites estimated by the cancer site estimation unit 7 are stored in the RGB image. It includes an image display section 9 to display the like superimposed on the tissue specimen RGB image from the generator 8, a is configured.
[0038]
Accordingly, the operation of the apparatus shown in FIG. 1 is schematically shown in FIG. That is, after the spectral image of the tissue sample is captured (Step S1), the distribution of the nucleus and cytoplasm of the tissue sample in the spectral image data is estimated (Step S2), and the distribution of the cancer site in the tissue sample is estimated (Step S2). Step S3). On the other hand, a tissue sample RGB image is generated from the captured spectral image (step S4), and the distribution of the cancer site estimated in step S3 is superimposed on the tissue sample RGB image and displayed (step S5).
[0039]
As an observation target, a pathological tissue specimen stained with two kinds of dyes, hematoxylin and eosin, is used (see FIG. 3). The staining method using hematoxylin and eosin (HE staining) is also called standard staining, and is most widely used as a staining method for tissue specimens.
[0040]
Next, the contents of the present embodiment shown in FIGS. 1 to 3 will be described in detail with reference to FIGS.
[0041]
First, the pathological tissue sample 1 is illuminated transparently by the illuminating means 2, formed an image by the microscope optical system 3, and then imaged as a two-dimensional spectral image (hereinafter, tissue sample spectral image) by the spectral image imaging unit 4. You. The two-dimensional spectral image is different from a normal RGB image and is a multiband image in which each pixel of the image is constituted by spectral information of a corresponding point of the sample. In the present embodiment, it is assumed that the number of bands is at least three or more. For obtaining the spectrum information in the spectral image capturing unit 4, for example, a multiband image capturing apparatus using a plurality of bandpass filters described in Japanese Patent Application Laid-Open No. 7-120324 is used. The captured tissue sample spectral image is transferred to the memory 5 and stored.
[0042]
Here, a specific example of a multiband image photographing apparatus will be described below.
[0043]
FIG. 4 is a diagram showing the configuration. The color classification apparatus according to the present embodiment includes an optical system 20 including an aperture and a lens, and a plurality of band-

pass filters

22A, 22B, , 22E, a rotary color filter 22, a CCD 24 for capturing an image of the object O and the reference plate R, an A / D converter 26, a frame memory 28, a monitor 30 for displaying a portion being photographed, a CCD A control unit 36 for controlling the drive driver 32, the drive motor 34 of the rotary color filter 22, the CCD drive driver 32, the rotary color filter drive motor 34, etc. and sending an instruction to a classification calculation circuit 38; a classification calculation circuit 38 for performing classification Consists of As shown in FIG. 5B or 5C, the rotating color filter 22 is composed of several types of bandpass filters 22A to 22E, and each filter is as shown in FIG. It has the property of transmitting an arbitrary bandwidth. In this embodiment, the rotation color filter 22 is composed of five bandpass filters for simplification of the drawing and the description. Note that the arrangement of the optical system 20 and the rotating color filter 22 may be reversed such that the rotating color filter 22 is arranged before the optical system 20.
[0044]
Next, the nucleus / cytoplasm distribution estimation unit 6 quantitatively estimates the distribution of nucleus and cytoplasm in the stained specimen, and configures the image as a two-dimensional distribution image. The nucleus / cytoplasm distribution estimating unit 6 performs an estimation process as follows.
[0045]
This technique is disclosed in "Analysis of Tissue Specimens Using Spectral Transmittance-Examination of Quantification Technique of Staining State" (Fujii et al., 3rd "Color" Symposium on Digital Biomedical Images).
[0046]
The spectral image of the tissue sample captured by the spectral image capturing unit 4 is defined as I (λ, x, y), and the spectral image of the illumination light captured in advance is defined as Io (λ, x, y). Here, λ is a wavelength, and x and y are parameters representing positions in the horizontal and vertical directions, respectively. When imaging I (λ, x, y) and Io (λ, x, y), it is assumed that the imaging conditions such as illumination and exposure are all the same.
[0047]
Since the stained pathological tissue specimen is a light transmitting body, the equation (1) is established at the point (x, y) based on Lambert-Beer's law (see FIG. 6).
[0048]
I (λ, x, y) = Io (λ, x, y) · exp ｛−Ch (x, y) · εh (λ) -Ce (x, y) · εe (λ) -Co (x, y ) · Εo (λ)｝ (1)
Here, each variable included in equation (1) represents the following physical quantity.
[0049]
Ch: amount of pigment of hematoxylin
Ce: amount of dye of eosin
Co: amount of pigment other than hematoxylin and eosin contained in tissue (2)
εh: Hematoxylin permeability
εe: transmittance of eosin
εo: transmittance of dyes other than hematoxylin and eosin contained in tissue
In the present embodiment, only the effect of erythrocytes is considered as a dye other than hematoxylin and eosin contained in the tissue. However, the method of the present invention is also effective when considering foreign substances other than red blood cells.
[0050]
Ch, Ce, and Co are position-dependent parameters, and are estimation targets in the nucleus / cytoplasm distribution estimation unit 6.
[0051]
[epsilon] h, [epsilon] e, and [epsilon] o are functions of wavelength that do not depend on the position, and are not estimation targets in the nucleus / cytoplasm distribution estimating unit 6, but need to obtain values by measurement in advance. In this embodiment, the spectral transmittances of hematoxylin, eosin, and erythrocytes are measured in advance and used as εh, εe, and εo, respectively. For measurement of the spectral transmittance, a normal spectrometer or the planar spectral image capturing unit 4 which is a component of the present embodiment can be used.
[0052]
By transforming equation (1) and taking the logarithm of both sides, equation (3) is obtained.
[0053]
−log {I (λ, x, y) / Io (λ, x, y)} = Ch (x, y) · εh (λ) + Ce (x, y) · εe (λ) + Co (x, y)・ Εo (λ) (3)
The unknown variables included in the equation (3) are εh, εe, and εo for each point. Therefore, if the tissue sample spectral image serving as input data to the nucleus / cytoplasm distribution estimation unit 6 has information of three or more bands for each point, the values of all unknown variables can be determined in principle. In the present embodiment, in order to ensure robustness against noise, unknown variables are evaluated by the least squares method using tissue sample spectral images of four or more bands.
[0054]
The observation wavelength of each band of the tissue specimen spectral image is represented by λi (i = 1, 2,..., N). Here, N is the number of bands. At this time, the value of the unknown variable at the point (x, y) can be determined as in equation (4) using the least squares method.
[0055]
(Equation 1)

Here, Σ means that the sum of 1, 2,..., N is obtained for i. Also[·]^-1Represents an inverse matrix.
[0056]
The two-dimensional distribution Ch (x, y) of the hematoxylin dye and the two-dimensional distribution Ce (x, y) of the eosin dye obtained in this manner are hereinafter referred to as a hematoxylin distribution image (see FIG. 7B) and an eosin distribution, respectively. This is called an image (see FIG. 7C). FIG. 7A is an image of a tissue specimen.
[0057]
After staining with hematoxylin and eosin, most of the hematoxylin dye exists inside the cell nucleus, so that the hematoxylin distribution image Ch (x, y) can be regarded as the distribution of the cell nucleus. In addition, since most of the eosin dye exists inside the cytoplasm, the eosin distribution image Ce (x, y) can be regarded as the distribution of the cytoplasm.
[0058]
On the other hand, when erythrocytes remain in the tissue, their distribution is represented by Co (x, y) and can be clearly separated from the distribution of hematoxylin and eosin. When making a diagnosis using a histopathological specimen, the red blood cells remaining in the tissue are regarded as foreign substances that obstruct the observation, and the effects must be eliminated. In general, when a tissue specimen is imaged as an RGB image, the RGB values of the cytoplasm and the erythrocytes are similar values, and it is difficult to separate the two. However, according to the method of the present invention, both can be acquired as different distribution images, so that both are clearly defined. It is possible to separate
[0059]
The cancer distribution estimating unit 7 estimates the distribution of the cancer site in the pathological tissue specimen using the hematoxylin distribution image and the eosin distribution image created by the nuclear / cytoplasmic distribution estimating unit 6. The cancer distribution estimating unit 7 performs an estimation process as described below.
[0060]
First, the hematoxylin distribution image Ch (x, y) and the eosin distribution image Ce (x, y) are divided into small rectangles of the same size (see FIG. 8). The position of the small rectangle is expressed as (i, j), where i corresponds to the index in the horizontal direction and j corresponds to the index in the vertical direction.
[0061]
FIG. 9 shows a procedure for determining a cancer site.
[0062]
In the small rectangle (i, j) of the hematoshikirin distribution image, the number Sh (i, j) of pixels whose pixel values are equal to or greater than a predetermined threshold Th is obtained. Similarly, in the small rectangle (i, j) of the eosin distribution image, the number Se (i, j) of pixels whose pixel values are equal to or larger than a predetermined threshold Te is obtained.
[0063]
The sum Sh (i, j) + Se (i, j) is compared with a predetermined threshold Ts (step S11).
[0064]
If the sum Sh (i, j) + Se (i, j) is smaller than the predetermined threshold Ts, it is determined that the small rectangle does not include a tissue and naturally does not include a cancer tissue (step S13).
[0065]
If the sum Sh (i, j) + Se (i, j) is equal to or greater than the predetermined threshold Ts, the ratio Sh (i, j) / Se (i, j) is continuously compared with the predetermined threshold Tr. (Step S12).
[0066]
If Sh (i, j) / Se (i, j) <Tr, it is determined that the NC ratio is small within the small rectangle, that is, the cancer area is not included (normal) (step S13). If Sh (i, j) / Se (i, j) ≧ Tr, it is determined that the NC ratio is large, that is, a cancer site is included in the small rectangle (step S14).
[0067]
The comparison between the sum Sh (i, j) + Se (i, j) and the threshold value Ts in step S11 determines whether or not the small rectangle includes the tissue itself. This is because, as long as the cancer tissue is a part of the tissue, if the tissue itself is not included in the small rectangle, it can be assumed that the cancer site is not included.
[0068]
The comparison between the ratio Sh (i, j) / Se (i, j) and the threshold value Tr in step S12 evaluates the NC ratio (see equation (5)) within the small rectangle. In the field of pathology, it is known that the NC ratio in cancer cells is significantly higher than that in normal cells, and is used to identify cancer sites. In the present embodiment, the NC ratio is quantitatively evaluated using the hematoxylin distribution image and the eosin distribution image, and the distribution of the cancer site is determined using the results.
[0069]
(Equation 2)

The above determination processing is performed to create a cancer distribution image Pc (x, y) based on the presence or absence of a cancer site. However, the pixel value of the cancer distribution image Pc (x, y) is determined by the rule of Expression (6).
[0070]
(Equation 3)

Next, the RGB image generation unit 8 converts the tissue sample spectral image, which is a multi-band image, into an RGB image. This RGB image is referred to as a tissue specimen RGB image. The RGB value of each pixel of the tissue sample RGB image can be obtained by the product-sum operation of the spectral transmittance information of each pixel of the tissue sample spectral image and the color matching function of the RGB color system.
[0071]
Finally, the image display unit 9 superimposes and displays the tissue sample RGB image from the RGB image generation unit 8 and the cancer distribution image from the cancer distribution estimation unit 7. In the image display unit 9, the cancer distribution image (see FIG. 10 (b)) from the cancer distribution estimating unit 7 is arranged so as to be in front of the tissue sample RGB image (see FIG. 10 (a)), and at the same time, translucent. Processing is performed (see FIG. 10C). By making the cancer distribution image semi-transparent, the cancer distribution image and the tissue specimen RGB image can be displayed simultaneously superimposed, and it is easy to grasp the correspondence between the two. Alpha-blending is generally used as the translucent processing, but hatching with a predetermined pattern may be used.
[0072]
According to the method described in the first embodiment, it is possible to quantitatively estimate the distribution of hematoxylin and eosin while suppressing the influence of the contamination with foreign substances, and obtain the accurate distribution of the nucleus and cytoplasm obtained thereby. It is possible to make a pathological diagnosis based on the Further, the distribution of the cancer site can be determined in accordance with the pathological criterion of the NC ratio, and the diagnostic accuracy can be improved.
[0073]
[Second embodiment]
Hereinafter, a second embodiment of the present invention will be described with reference to FIGS.
[0074]
In the present embodiment, in addition to the determination of the cancer site described in the first embodiment, the degree of progression of prostate cancer (grade in the Gleason classification) is evaluated. The basic idea is to extract the glandular cavity of the prostate cancer site using the eosin distribution image and classify the degree of progress according to the characteristic amount of the glandular cavity. The Gleason classification is a method of determining the degree of progress by focusing on the size and shape of the glandular cavity in the diagnosis of prostate cancer, and is widely used as a global standard.
[0075]
In the Gleason classification, the progress is evaluated in five stages according to the shape and size of the glandular cavity existing in the cancer site according to the Gleason classification standard chart as shown in FIG. The first stage (grade 1 or G1) is the least advanced, and the fifth stage (grade 5 or G5) is the most advanced. In FIG. 11, the number at the left end indicates the grade.
[0076]
FIG. 12 shows a configuration of a pathological diagnosis support apparatus according to the present embodiment. FIG. 13 shows a flowchart of the processing in FIG. 1 and 2 are denoted by the same reference numerals and will be described.
[0077]
The pathological diagnosis support apparatus shown in FIG. 12 includes a spectral image capturing unit 4 that captures a pathological tissue sample 1 illuminated by the illumination unit 2 as a two-dimensional spectral image through a microscope optical system 3, and a spectral image capturing unit 4. And a memory 5 for storing a spectral image captured by the spectral image capturing unit 4, and a distribution of a nucleus and a cytoplasm of a tissue specimen in the image data input to the image data input unit. A nucleus / cytoplasmic distribution estimating unit 6 for estimating the nucleus / cytoplasmic distribution estimated by the nucleus / cytoplasmic distribution estimating unit 6, A glandular cavity distribution extraction unit 10 for extracting a distribution of glandular cavities of a tissue specimen in the image data input to the image data input means, and a progression degree of the cancer site estimated by the cancer site estimating unit 7, A degree-of-progress determining unit 11 that determines using the glandular-cavity distribution characteristic amount extracted by the cloth extracting unit 10, and an RGB image generation that generates a tissue sample RGB image from a spectral image that is a multiband image stored in the memory 5. And superimposing the cancer site distribution estimated by the cancer site estimation unit 7 and the cancer site progress degree determined by the progress degree determination unit 11 on the tissue sample RGB image from the RGB image generation unit 8, and the like. And an image display unit 9a for displaying the image.
[0078]
Accordingly, the operation of the apparatus shown in FIG. 12 is schematically shown in FIG. That is, after the spectral image of the tissue sample is captured (Step S1), the distribution of the nucleus and cytoplasm of the tissue sample in the spectral image data is estimated (Step S2), and the distribution of the cancer site in the tissue sample is estimated (Step S2). Step S3). Further, the glandular cavity distribution of the tissue specimen is extracted (step S6), and the degree of progress of the site is determined (step S7). On the other hand, an RGB image of a tissue sample is generated from the captured spectral image (step S4), and the distribution of the cancer site estimated in step S3 and the cancer determined in step S7 are determined in the tissue sample RGB image. The site progress degree is superimposed and displayed (step S5 ').
[0079]
In the present embodiment, the illumination unit 2, the microscope optical system 3, the spectral image capturing unit 4, the memory 5, the nucleus / cytoplasm distribution estimating unit 6, the cancer distribution estimating unit 7, the RGB image A generator 8 is provided, and generates a hematoxylin distribution image, an eosin distribution image, a cancer distribution image, and a tissue specimen RGB image by the same processing as in the first embodiment. The contents of these images are exactly the same as in the first embodiment.
[0080]
Next, the contents of the present embodiment shown in FIGS. 11 to 13 will be described in detail with reference to FIGS.
[0081]
The glandular cavity extraction unit 10 analyzes the hematoxylin distribution image and the eosin distribution image, and extracts only a connection region corresponding to the glandular cavity at the cancer site. The glandular cavity extraction unit 10 performs an extraction process as follows.
[0082]
First, a set of pixels whose pixel values are equal to or smaller than a predetermined threshold Tb in the eosin distribution image and a set of pixels whose pixel values are equal to or smaller than a predetermined threshold Tc in the hematoxylin distribution image are obtained. Are extracted as a connected region. The extracted connection region is a region having a small amount of hematoxylin dye and eosin dye, and corresponds to a region containing little cell tissue, that is, a cavity.
[0083]
Next, a feature amount regarding the extracted connected region is obtained.
[0084]
For each connected region, the position of the center of gravity, the presence / absence of contact with the image edge, the area, the perimeter, the convex perimeter, the circularity, and the contour roughness are obtained, and a list such as Table 1 is created.
[0085]
[Table 1]

The convex perimeter is the perimeter of a virtual figure in which convex portions in the contour are connected by line segments, and is conceptually shown in FIG. In this embodiment, both the circularity and the contour roughness are obtained as the feature values. However, only one of them may be calculated, and the other calculation may be omitted to shorten the calculation time. Further, since the convex perimeter is used only when the contour roughness is obtained, there is no need to calculate when the contour roughness is not obtained.
[0086]
Equation (7) is used to define the circularity in the present embodiment, and equation (8) is used to define the contour roughness.
[0087]
(Equation 4)

The degree of circularity is the largest when the value is 1 in the case of a perfect circle, and decreases as the shape deviates from the circle.
[0088]
(Equation 5)

The contour roughness has a value of 1 or more, and becomes larger as the number of uneven structures on the contour increases.
[0089]
For each of the extracted connected regions, it is determined whether or not the extracted connected region corresponds to the glandular cavity in the cancer site as follows. Here, the glandular cavity refers to a cavity existing inside the gland (the prostate in this embodiment). The connected region excluded in the following determinations (1) to (3) is regarded as not being a gland cavity in the cancer site, and is deleted from the list.
[0090]
{Circle around (1)} The number of pixels included in the cancer site in the cancer distribution image among the pixels constituting the connected region is counted. If the number of pixels included in the cancer site is less than Tn, it is deleted from the list. Here, Tn is a predetermined threshold.
[0091]
{Circle around (2)} Check whether the connected area is in contact with the edge of the image. The connected area in contact with the image edge is deleted from the list.
[0092]
(3) It is checked whether or not the area of the connection region is smaller than a predetermined threshold value Ta. If the area is smaller than Ta, it is deleted from the list. This item is for improving noise resistance.
[0093]
The connected area left in the list after the above-described determination processing is imitated as a glandular cavity belonging to the cancer site, and is recorded as a glandular cavity list together with the feature amount.
[0094]
Using the glandular cavity list generated by the glandular cavity extracting unit 10, the degree-of-progress determining unit 11 classifies the glandular cavity to evaluate the degree of progression of the cancer site to which the glandular cavity belongs.
[0095]
First, a feature vector v having at least one of an area, a circularity, and a contour roughness, which are feature quantities related to the glandular cavity, is created. When all of the area, the circularity, and the contour roughness are used, the feature vector v is a three-dimensional vector as follows.
[0096]
(Equation 6)

The classification of the feature amount is determined by previously obtaining the feature amount for the gland cavity of the cancer site with a known degree of progress, and using this as the teacher data for distance comparison.
[0097]
The distance between the glandular cavity of interest and each grade is evaluated by the Mahalanobis distance. The Mahalanobis distance is defined as in equation (10).
[0098]
Di = (v-μi)^TΣi^-1(V-μi) (10)
here ^T Represents the transposition of a matrix. The meaning of each variable is as follows.
[0099]
Di: Mahalanobis distance in feature space between gland cavity of interest and grade G_i
μi: average of feature vectors of samples belonging to grade Gi
Σi: Covariance matrix of feature vectors of samples belonging to grade Gi
For each glandular cavity recorded in the glandular cavity list, the Mahalanobis distance with each grade is obtained, and the respective classes are classified into the grade having the smallest Mahalanobis distance.
[0100]
Further, the connectivity of each cancer site is examined in the cancer distribution image, and the number of glandular cavities included in the cancer site at the center of gravity of each cancer site forming the connection region is counted for each grade. The grade with the highest frequency is defined as the degree of progression of the cancer site.
[0101]
Finally, the image display unit 9a superimposes the tissue sample RGB image from the RGB image generation unit 8 (see FIG. 15A) and the cancer distribution image from the cancer distribution estimation unit 7 (see FIG. 15B). Then, the progress of the cancer site is displayed on the front side (see FIG. 15C).
[0102]
According to the method described in the second embodiment, it is possible to quantitatively determine the distribution of the nucleus and the cytoplasm and make a pathological diagnosis based on the accurate distribution of the nucleus and the cytoplasm obtained thereby. Not only can the distribution of cancer sites be obtained, but also the degree of progression of prostate cancer can be determined. At this time, since the degree of progress is classified after identifying only the glandular cavities belonging to the cancer site in advance, the glandular cavities at the normal site are not erroneously used for the determination. In addition, even when a plurality of cancer sites are included in the image, the degree of progress can be individually determined.
[0103]
【The invention's effect】
As described above, according to the present invention, by imaging and processing a pathological tissue sample, it is possible to quantitatively determine the distribution of the nucleus and the cytoplasm and perform a pathological diagnosis based on the accurate distribution of the nucleus and the cytoplasm. It becomes.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a pathological diagnosis support apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart schematically showing the operation of FIG. 1;
FIG. 3 is a diagram showing an example of a HE-stained pathological specimen (prostate cancer).
FIG. 4 is a block diagram illustrating a configuration of a multiband image capturing apparatus used in the apparatus according to the first embodiment.
FIG. 5 is a view showing characteristics and arrangement of a band-pass filter used in the multi-band image pickup device of FIG.
FIG. 6 is a cross-sectional view of a stained tissue specimen.
FIG. 7 is a diagram showing a hematoxylin distribution image and an eosin distribution image.
FIG. 8 is a diagram showing a state in which a hematoxylin distribution image and an eosin distribution image are divided into small rectangles.
FIG. 9 is a flowchart showing a procedure for determining a cancer site.
FIG. 10 is a diagram showing a display of a cancer distribution estimation result.
FIG. 11 is a Gleason classification standard chart.
FIG. 12 is a block diagram illustrating a configuration of a pathological diagnosis support device according to a second embodiment of the present invention.
FIG. 13 is a flowchart schematically showing the operation of FIG. 12;
FIG. 14 is a conceptual diagram of a convex perimeter.
FIG. 15 is a diagram showing a display of a progress degree determination result.
[Explanation of symbols]
1 ... Pathological tissue specimen
2. Lighting means
3 ... Microscope optical system
4: Spectral image pickup unit
5… Memory
6. Nuclear / cytoplasmic distribution estimator
7 ... Cancer distribution estimation unit
8 ... RGB image generation unit
9, 9a: Image display unit
10 ... Gland cavity extraction part
11: progress degree determination unit

Claims

Image data input means for receiving image data of the tissue specimen;
Nuclear / cytoplasmic distribution estimating means for estimating the distribution of the nucleus and cytoplasm of the tissue specimen in the image data input to the image data input means,
Based on the distribution of nuclei and cytoplasm estimated by the nucleus / cytoplasm distribution estimation means, a cancer site estimation means for estimating the distribution of cancer sites in a tissue specimen,
Image display means for displaying the distribution of cancer sites estimated by the cancer site estimation means,
A pathological diagnosis support device comprising:

The pathological diagnosis support apparatus according to claim 1, wherein the cancer site estimating means uses a ratio (NC ratio) of a distribution area of a nucleus and a cytoplasm in a cell.

The cancer site estimation means,
2. The pathological diagnosis support apparatus according to claim 1, wherein the image data input to the image data input unit is divided into a plurality of regions, and a distribution of a cancer site is estimated for each of the divided unit regions.

The cancer site estimation means,
In a specific area of the image data input to the image data input means, the sum Sh + Se of the number of pixels Sh of the area where the nucleus is estimated to be distributed and the number of pixels Se of the area where the cytoplasm is estimated to be distributed is smaller than a predetermined threshold Ts. In the case where Sh + Se is equal to or greater than a predetermined threshold Ts and Sh / Se is smaller than a predetermined threshold Tr, it is estimated that the specific region does not include a cancer site, and Sh + Se is equal to or greater than a predetermined threshold Ts. 3. The pathological diagnosis support apparatus according to claim 2, wherein, when Sh / Se is equal to or greater than a predetermined threshold Tr, the specific region is estimated to include a cancer site.

The image display means,
The pathological diagnosis support apparatus according to claim 1, wherein a distribution position image of the cancer site estimated by the cancer site estimation unit is displayed on the image data input to the image data input unit.

The pathological diagnosis support apparatus according to claim 5, wherein the estimated distribution position image of the cancer site displayed by being superimposed on the image display means is a hatched image having a predetermined pattern.

Furthermore,
Glandular cavity distribution extracting means for extracting the distribution of glandular cavities of a tissue specimen in the image data input to the image data inputting means,
The degree of progress of the cancer site estimated by the cancer site estimating means, the degree of progress determining means to determine using the characteristic amount of the glandular cavity distribution extracted by the glandular cavity distribution extracting means,
The pathological diagnosis support device according to claim 1, comprising:

The glandular cavity distribution extracting means,
The region in which the distribution area of the region in which the nucleus is estimated and the distribution area of the region in which the cytoplasm is estimated is respectively less than or equal to a predetermined value is estimated as the region in which the glandular cavity is distributed. Pathological diagnosis support device.

9. The pathological diagnosis support apparatus according to claim 8, wherein the feature amount used by the progress degree determination unit includes at least one of an area, a circularity, and a contour roughness regarding the estimated glandular cavity.

In an apparatus for supporting a pathological diagnosis on a stained tissue specimen, the image data input to the image data input means is image data obtained by photographing a stained tissue specimen as a spectral image, and the nucleus / cytoplasm distribution estimation means The apparatus for estimating a pathological diagnosis according to claim 1, wherein the apparatus estimates distribution of a nucleus and a cytoplasm using spectral information of the image data.

The method according to claim 7, wherein the image display unit further displays information on the degree of progress of the cancer site determined by the degree of progress determination unit, on the image data input to the image data input unit. The pathological diagnosis support device according to the above.

Computer
Image data input means for receiving image data of the tissue specimen;
Nuclear / cytoplasmic distribution estimating means for estimating the distribution of the nucleus and cytoplasm of the tissue specimen in the image data input to the image data input means,
Based on the distribution of nuclei and cytoplasm estimated by the nucleus / cytoplasm distribution estimation means, a cancer site estimation means for estimating the distribution of cancer sites in a tissue specimen,
A pathological diagnosis support program for functioning as image display means for displaying the distribution of cancer sites estimated by the cancer site estimation means.

Further programs
Glandular cavity distribution extracting means for extracting the distribution of glandular cavities of a tissue specimen in the image data input to the image data inputting means,
13. The function according to claim 12, which functions as a degree-of-progress determining means for determining the degree of progress of the cancer site estimated by the cancer-part estimating means by using the characteristic amount of the glandular cavity distribution extracted by the glandular cavity distribution extracting means. Pathological diagnosis support program.