JP2003065948A - 顕微鏡画像処理装置、顕微鏡画像処理方法並びに顕微鏡画像処理プログラム - Google Patents

Abstract

(57)【要約】 【課題】観察装置に依存しない組織標本の解析を可能に
するとともに、染色状態の定量化、変換、組織自体の構
造を明確にすることができる顕微鏡画像処理装置を提供
する。 【解決手段】組織標本を撮影して得られたカメラの信号
値から分光透過率画像を推定する分光透過率画像推定部
３０１と、分光透過率画像推定部３０１で推定された分
光透過率画像から組織標本の染色液の色素量分布を算出
する色素量分布算出部３０２と、色素量分布算出部３０
２で算出された色素量分布から染色状態及び組織自体の
構造を解析する染色状態解析部３０３とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顕微鏡画像処理装
置、顕微鏡画像処理方法並びに顕微鏡画像処理プログラ
ムに関する。

【０００２】

【従来の技術】例えばデジタルカメラで撮影された組織
標本の顕微鏡像から、組織標本の分光透過率画像を推定
し、推定した画像を用いて組織標本の染色状態を解析す
る病理診断支援技術が知られている。

【０００３】染色された病理組織標本は染色状態に大き
く影響をうける。染色標本の作成行程で、染色状態を定
量化・標準化しようとする試みはなされているが、作成
行程は非常に複雑であるため非常に難渋しているという
現状がある。画像処理にて染色状態を定量化・標準化し
ようとする試みは為されていない。

【０００４】従来の病理診断支援を目的とした画像処理
技術の開発研究の中で、本画像処理技術に最も類似して
いる研究は、“独立成分解析による細胞画像解析，中桐
豊史他，２０００年電子情報通信学会総合大会 予稿
集”である。この研究では、組織標本のスペクトル画像
の独立成分分析を行うことで、重要なスペクトル成分を
抜き出し、その成分に基づき核や類洞などの組織の抽出
を行っている。

【０００５】一方、デジタルカメラで取得した画像か
ら、分光情報の画像を推定する技術の開発は、盛んに行
われている。代表的なものとしては、“Natural color
reproduction of human skin for telemedicine, Yuri
OHYA, Takashi OBI, MasahiroYAMAGUCHI, Nagaaki OHYA
MA, and Yasuhiro KOMIYA, Medical Imaging 1998 Pro
c.of SPIE(1998)”、“Estimation of transmittance s
pectra from multibandmicrographs of fungi and its
application to segmentation of conidia andhypae, M
asaru Takeya, Norimichi Tsumura, Hideaki Haneishi,
and Yoichi Miyake, Applied Optics Vol.38 No.16(19
99)”などがある。

【０００６】前者の研究で提案している被写体のスペク
トルの統計情報を用いたスペクトル推定方法は、本画像
処理技術における分光透過率の推定で用いている。後者
の研究は、光学顕微鏡像の分光透過率画像推定を行って
いる珍しい例である。この研究では、推定した分光透過
率画像を用いて菌類の識別を行っている。

【０００７】

【発明が解決しようとする課題】従来の病理診断支援技
術では、カメラから得られたＲＧＢ３バンドの信号値の
画像をそのまま処理している。このため、画像解析に用
いる色情報は観察装置の影響（具体的には顕微鏡の光源
レベルの違いやフィルターの有無による違いや、カメラ
の分光感度特性の違いなど）を受けていることになる。
このような影響は病理組織標本の性質の違いを解析する
上で非常に大きなノイズとなり、このため、得られた解
析結果が観察装置に依存してしまったりするため、定量
的な解析が困難であるという現状がある。

【０００８】また、組織標本の染色には、様々なメーカ
ーの色素が用いられたり、多種多様な染色行程が用いら
れたりする。これにより、染色された病理組織標本の色
は大きく影響をうける。このような影響も、病理組織標
本そのものの性質の違いを解析し、定量化することを困
難にしている。

【０００９】本発明は上記した課題に着目してなされた
ものであり、その目的とするところは、観察装置に依存
しない組織標本の解析を行なう顕微鏡画像処理装置、顕
微鏡画像処理方法並びに顕微鏡画像処理プログラムを提
供することにある。

【００１０】また、本発明の他の目的は、染色液に含ま
れる色素濃度の推定を行うことで、染色状態の定量化、
変換、組織自体の構造の明確化を行なう顕微鏡画像処理
装置、顕微鏡画像処理方法並びに顕微鏡画像処理プログ
ラムを提供することにある。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明は顕微鏡画像処理装置であって、組織
標本を撮影して得られたカメラの信号値から分光透過率
画像を推定する分光透過率画像推定部と、この分光透過
率画像推定部で推定された分光透過率画像から組織標本
の染色液の色素量分布を算出する色素量分布算出部と、
この色素量分布算出部で算出された色素量分布から染色
状態及び組織自体の構造を解析する染色状態解析部とを
具備する。

【００１２】また、第２の発明は、第１の発明に係る顕
微鏡画像処理装置において、前記染色状態解析部は、染
色状態を示すパラメータを算出する手段を有する。

【００１３】また、第３の発明は、第１の発明に係る顕
微鏡画像処理装置において、前記染色状態解析部は、核
の占有率分布画像を算出する手段を有する。

【００１４】また、第４の発明は、第１の発明に係る顕
微鏡画像処理装置において、前記染色状態解析部は、染
色状態変換後の分光透過率画像を推定する手段を有す
る。

【００１５】また、第５の発明は顕微鏡画像処理方法で
あって、組織標本を撮影して得られたカメラの信号値か
ら分光透過率画像を推定する分光透過率画像推定ステッ
プと、この分光透過率画像推定ステップで推定された分
光透過率画像から組織標本の染色液の色素量分布を算出
する色素量分布算出ステップと、この色素量分布算出ス
テップで算出された色素量分布から染色状態及び組織自
体の構造を解析する染色状態解析ステップとを具備す
る。

【００１６】また、第６の発明は顕微鏡画像処理プログ
ラムであって、コンピュータに、組織標本を撮影して得
られたカメラの信号値から分光透過率画像を推定する分
光透過率画像推定機能と、この分光透過率画像推定機能
により推定された分光透過率画像から組織標本の染色液
の色素量分布を算出する色素量分布算出機能と、この色
素量分布算出機能により算出された色素量分布から染色
状態及び組織自体の構造を解析する染色状態解析機能と
を実現させるものである。

【００１７】

【発明の実施の形態】まず、本発明の実施の形態の概略
を説明する。本発明では色情報として、カメラの信号値
ではなく分光透過率を用いるというアプローチをとって
いる。物理量である分光透過率は、顕微鏡装置やカメラ
の分光特性に依存しないという特徴を持っている。さら
に、光の物理モデルを適用することが可能であるため、
分光透過率画像を用いることで、色素濃度の推定が可能
になる。

【００１８】第１の発明は、Ｈ＆Ｅ染色が施された任意
の組織標本をカメラと顕微鏡を用いて撮影し、撮影され
た画像から分光透過率画像を推定し、推定された分光透
過率画像からＨ＆Ｅ染色の色素、具体的にはヘマトキシ
リンとエオジン、それぞれの色素量分布を求める。そし
て、色素量分布を解析することで、染色状態パラメー
タ、具体的には、染色試薬の濃度、染色の選択性の良さ
を示す定量値、を算出する画像処理方式である。

【００１９】第２の発明は、第１の発明における色素
（ヘマトキシリン、エオジン）の色素量分布を用いて、
対象としている染色標本における核の占有率の分布画像
を算出する手法である。

【００２０】第３の発明は、第１の発明における染色状
態パラメータを用いて、対象としている染色標本を選択
性の良い染色状態に変換するシミュレーション方法であ
る。

【００２１】上記、第２、第３の発明は、目的、用途に
応じて用いることが可能である。

【００２２】以下、図面を参照して本方式の実施の形態
を詳細に説明する。

【００２３】（第１実施の形態）図１は、本発明の顕微
鏡画像処理を方式を実施する時のシステムを示してい
る。図１に示すように、本方式ではまず、画像取得装置
１０２において、被写体であるＨ＆Ｅ染色が施された組
織標本１０１の撮影が行われる。そして、演算処理装置
１０３において、画像取得装置１０２から送られてきた
画像に対して本方式の処理を行う。そして、ここで得ら
れた結果が出力装置１０４におくられ、出力装置１０４
において組織標本１０１の染色状態を変換した画像、ま
たは、染色状態及び核の占有率を示す定量値を処理結果
１０５として提示する。

【００２４】画像取得装置１０２は、図２に示すように
顕微鏡２０１とデジタルカメラ２０２からなる。２０３
は組織標本である。顕微鏡装置２０１の分光透過率特性
の一例を図４に、デジタルカメラ２０２の分光感度特性
の一例を図５に示す。

【００２５】演算処理装置１０３は、図３に示すよう
に、分光透過率画像推定部３０１、色素量分布算出部３
０２、染色状態解析部３０３、の３つのパートに分けら
れる。以後、各パートについての詳細を解説する。

【００２６】分光透過率画像推定部３０１では、画像入
力装置３０４から入力されたカメラの信号値画像３０５
に関して第１の演算部３０９で演算を行なうことにより
分光透過率画像３１０を推定する。この時、事前に測定
している顕微鏡の分光透過率特性Ｍ（λ）３０６（図４
参照）、カメラの分光感度特性Ｓ（λ）３０７（図５参
照）、Ｈ＆Ｅ染色が施された組織標本の分光透過率の統
計情報３０８を用いる。

【００２７】統計情報３０８とは、具体的には上位３軸
までの主成分軸であり、図６にそのグラフを示す。図６
は、Ｈ＆Ｅ染色が施された組織標本の分光透過率の主成
分Ｐ（λ）を示している。

【００２８】以下、式を用いてカメラの信号値画像３０
５から分光透過率画像３１０を推定する処理の流れを説
明する。

【００２９】以下、波長域λ＝４００〜７６０ｎｍはｋ
個に離散化して扱い、顕微鏡の分光透過率特性３０６
Ｍ（λ）、カメラの分光感度特性３０７ Ｓ（λ）、Ｈ
＆Ｅ染色が施された組織標本の分光透過率の統計情報３
０８ Ｐ（λ）は離散的に表記する。また、画像上の全
画素で共通の計算式が成り立つため、下式（１）〜
（４）においては画素の位置座標は表記しない。

【００３０】カメラの信号値画像３０５と分光透過率画
像３１０の関係は下式で記述できる。

【００３１】 ｇ＝（ＭＳ）^tＴ （１） （注：下記に示す通り、Ｍ，ｇ，Ｔはベクトル、Ｓは行
列である。） カメラの信号値画像３０５：ｇ＝［ｇ₁，ｇ₂，ｇ₃］^t 分光透過率画像３１０：Ｔ＝［Ｔ₁，Ｔ₂，…，Ｔ_k］^t カメラの分光感度特性３０７：Ｓ＝［ｓ₁，ｓ₂，ｓ₃］、 ｓ_i＝［ｓ_i1，ｓ_i2，…，ｓ_ik］^t 顕微鏡の分光透過率特性３０６：Ｍ＝［Ｍ₁，Ｍ₂，…，
Ｍ_k］ 一方、Ｈ＆Ｅ染色が施された組織標本の分光透過率の統
計情報３０８を用いることで、Ｔは下式で記述できる。

【００３２】 Ｔ＝Ｐα （２） （注：下記に示す通り、αはベクトル、Ｐは行列であ
る。） Ｈ＆Ｅ染色が施された組織標本の分光透過率の主成分
軸：Ｐ＝［ｐ₁，ｐ₂，…，ｐ_k］^t，ｐ_i＝［ｐ_i1，
ｐ_i2，…，ｐ_ik］^t Ｈ＆Ｅ染色が施された組織標本の分光透過率の主成分展
開係数：α＝［α₁，α₂，…，α_k］^t ここで、Ｈ＆Ｅ染色が施された組織標本の分光透過率は
上位３軸までの主成分である程度良く近似できるため、
下式を用いて近似する。

【００３３】

【数１】

【００３４】（３）式を（１）式に代入することで、下
式が得られる。

【００３５】 Ｔ^e＝Ｐ^′αe＝Ｐ^′｛（ＭＳ）^tＰ^′｝^-1ｇ （４） （４）式にて、ｇ（カメラの信号値画像：３０５）から
分光透過率画像Ｔの推定Ｔ^eを得る。

【００３６】色素量分布算出部３０２では、第２の演算
部３１１により、分光透過率画像３１０からＨ＆Ｅ染色
液に含まれるヘマトキシリンとエオジンの２種類の色素
における色素量分布画像３１２を算出する。この時、予
め用意されている色素の吸光度スペクトル３１３を用い
る。ヘマトキシリン色素とエオジン色素の吸光度スペク
トルＥ（λ）３１３を図７に示す。

【００３７】以下、式を用いて分光透過率画像３１０か
ら色素量分布画像３１２を推定する処理の流れを説明す
る。

【００３８】以下では波長域λ＝４００〜７６０ｎｍは
ｋ個に離散化して扱う。また、以下の式では画像の位置
座標を（ｘ，ｙ）として表す。

【００３９】分光透過率画像３１０、色素の吸光度スペ
クトル３１３、色素量分布画像３１２の関係は下式で示
せる。

【００４０】 −log｛Ｔ（ｘ，ｙ）｝＝ＥＣ（ｘ，ｙ） （５） （注：下記に示す通り、Ｔ，Ｃはベクトル、Ｅは行列で
ある。） 分光透過率画像３１０：Ｔ（ｘ，ｙ）＝［Ｔ₁（ｘ，
ｙ），Ｔ₂（ｘ，ｙ），…，Ｔ_k（ｘ，ｙ），］ 色素の吸光度スペクトル３１３：Ｅ＝［ε_H，ε_E］、ε
_H＝［ε_H1，ε_H2，…，ε_Hk］、ε_E＝［ε_E1，ε_E2，
…，ε_Ek］ 色素量分布画像３１２：Ｃ（ｘ，ｙ）＝［Ｃ_H（ｘ，
ｙ），Ｃ_E（ｘ，ｙ）］（５）式を変形することで、下
式を得ることができる。

【００４１】 Ｃ^e（ｘ，ｙ）＝Ｅ⁺Ｌ（ｘ，ｙ） （６） ここで、Ｌ（ｘ，ｙ）＝−log｛Ｔ（ｘ，ｙ）｝（Ｌ
（ｘ，ｙ）＝［Ｌ₁（ｘ，ｙ），Ｌ₂（ｘ，ｙ），…，Ｌ
_k（ｘ，ｙ）］）であり、Ｅ⁺はＥの疑似逆行列である。

【００４２】染色状態解析部３０３では、色素量分布画
像３１２から、第３の演算部３１４により、染色状態を
示すパラメータ３１５、核の占有率分布画像３１６、良
好な染色状態に変換した分光透過率画像３１７を算出
し、用途に応じて出力装置３２０へ出力する。

【００４３】染色状態を示すパラメータ３１５とは、 ・各色素分子の組織標本中の濃度パラメータ、具体的に
は、核内のヘマトキシリン濃度ａ_nuH、細胞質内エオジ
ン濃度ａ_cyE ・染色の選択性の悪さを示すパラメータ、具体的には、
核内のエオジン濃度ａ _nuE、細胞質内のヘマトキシリン
濃度ａ_cyH である。

【００４４】以後、これを

【数２】 として表記する。

【００４５】ここで、核内、核以外の組織内でのそれぞ
れの濃度は一定であるとすれば、色素量分布画像３１２
Ｃ（ｘ，ｙ）は下式で分解できる。

【００４６】 Ｃ（ｘ，ｙ）＝ｒ（ｘ，ｙ）Ａ （７） ｒ（ｘ，ｙ）＝［ｒ_nu（ｘ，ｙ），ｒ_cy（ｘ，ｙ）］ （ｒ_nu：核の厚さ方向の占有率、ｒ_cy：核以外の組織の
厚さ方向の占有率）（注：ｒはベクトルである。） 以下に算出手順を示す。

【００４７】１．全画像中から、Ｃ_Hが最大となる
（ｘ，ｙ）を探し、この点においてｒ（ｘ，ｙ）＝
［１，０］であるとすることで、ａ_nuH及びａ_nuEを算出
する。

【００４８】２．全画像中から、Ｃ_Hが最小となる
（ｘ，ｙ）を探し、この点においてｒ（ｘ，ｙ）＝
［０，１］であるとすることで、ａ_cyE及びａ_cyHを算出
する。

【００４９】（第２実施の形態）第２実施の形態では、
第１実施の形態で得られたＣ（ｘ，ｙ）及び

【数３】 から、下式を用いて核の厚さ方向の占有率分布画像３１
６

【数４】 を得る。

【００５０】 ｒ^e（ｘ，ｙ）＝Ｃ（ｘ，ｙ）Ａ^-1 （８） （第３実施の形態）第３実施の形態では、第１実施の形
態、及び、第２実施の形態で得られた

【数５】 ここで得られたＡ′及び（８）で得られたｒ^e（ｘ，
ｙ）から、良好な染色状態における色素量分布Ｃ′
(ｘ，ｙ）を得る。

【００５１】 Ｃ′(ｘ，ｙ）＝ｒ^e（ｘ，ｙ）Ａ′ （９） 得られたＣ′(ｘ，ｙ）を（５）式にあてはめることで
（１０）式が得られ、（１０）式を変形することで（１
１）式が得られ、良好な染色状態に変換した分光透過率
画像３１７ Ｔ″(ｘ，ｙ）を得る。

【００５２】 −log｛Ｔ″(ｘ，ｙ）｝＝ＥＣ′(ｘ，ｙ） （１０） Ｔ″(ｘ，ｙ)＝exp｛−ＥＣ′(ｘ，ｙ)｝ （１１） ここで、染色状態変換後の分光透過率画像３１７の場合
は、表示装置の特性データ３１８と顕微鏡の分光透過率
特性３０６を用いて出力装置３２０の信号値画像３１９
に変換する必要がある。

【００５３】

【発明の効果】本発明によれば、色情報としてカメラの
信号値ではなく分光透過率を用いるというアプローチを
とっているので、撮影装置（顕微鏡やカメラの特性）に
依存しない病理組織標本の解析が可能になる。

【００５４】更に、光の物理モデルに基づき染色液の色
素濃度の推定を行なうので、染色状態の定量化や標準化
が可能となる。これにより、組織自体の性質を明らかに
する（ここでは、核の占有率分布の算出）こと、更に、
染色状態に影響を受けない病理組織標本の解析が可能に
なる。

【図面の簡単な説明】

【図１】本発明の顕微鏡画像処理を方式を実施する時の
システムを示す図である。

【図２】画像取得装置の外観斜視図である。

【図３】図１に示す演算処理装置における処理の流れを
説明するための図である。

【図４】顕微鏡の分光透過率特性Ｍ（λ）３０６を示す
図である。

【図５】デジタルカメラの分光感度特性Ｓ（λ）３０７
を示す図である。

【図６】Ｈ＆Ｅ染色が施された組織標本の分光透過率の
主成分Ｐ（λ）を示す図である。

【図７】Ｈ＆Ｅ染色液の色素分子の吸光度スペクトルＥ
（λ）を示す図である。

【符号の説明】

１０１ 組織標本 １０２ 画像取得装置 １０３ 演算処理装置 １０４ 出力装置 １０５ 処理結果 ２０１ 顕微鏡 ２０２ デジタルカメラ ２０３ 組織標本 ３０１ 分光透過率画像推定部 ３０２ 色素量分布算出部 ３０３ 染色状態解析部 ３０４ 画像入力装置 ３０５ カメラ信号値の画像 ３０６ 顕微鏡の分光透過率特性 ３０７ カメラの分光感度特性 ３０８ Ｈ＆Ｅ染色組織標本の統計情報 ３０９ 第１の演算部 ３１０ 分光透過率画像 ３１１ 第２の演算部 ３１２ 色素量分布画像 ３１３ ヘマトキシリン、エオジン色素分子の吸光度係
数スペクトル ３１４ 第３の演算部 ３１５ 染色状態を示すパラメータ ３１６ 核の占有率分布画像 ３１７ 染色状態変換後の分光透過率画像 ３１８ 表示装置の特性データ ３１９ 染色状態変換後の出力装置の信号値画像 ３２０ 出力装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山口 雅浩 東京都港区芝２−31−19 通信・放送機構 内 Ｆターム(参考） 2G045 AA24 AA25 BB24 FA16 FA19 JA01 JA20 2G059 AA01 BB12 CC20 EE01 EE13 FF03 HH02 KK04 MM01 MM20 NN06

Claims (6)

【特許請求の範囲】
1. 【請求項１】 組織標本を撮影して得られたカメラの信
   号値から分光透過率画像を推定する分光透過率画像推定
   部と、 この分光透過率画像推定部で推定された分光透過率画像
   から組織標本の染色液の色素量分布を算出する色素量分
   布算出部と、 この色素量分布算出部で算出された色素量分布から染色
   状態及び組織自体の構造を解析する染色状態解析部と、 を具備することを特徴とする顕微鏡画像処理装置。
2. 【請求項２】 前記染色状態解析部は、染色状態を示す
   パラメータを算出する手段を有することを特徴とする請
   求項１記載の顕微鏡画像処理装置。
3. 【請求項３】 前記染色状態解析部は、核の占有率分布
   画像を算出する手段を有することを特徴とする請求項１
   記載の顕微鏡画像処理装置。
4. 【請求項４】 前記染色状態解析部は、染色状態変換後
   の分光透過率画像を推定する手段を有することを特徴と
   する請求項１記載の顕微鏡画像処理装置。
5. 【請求項５】 組織標本を撮影して得られたカメラの信
   号値から分光透過率画像を推定する分光透過率画像推定
   ステップと、 この分光透過率画像推定ステップで推定された分光透過
   率画像から組織標本の染色液の色素量分布を算出する色
   素量分布算出ステップと、 この色素量分布算出ステップで算出された色素量分布か
   ら染色状態及び組織自体の構造を解析する染色状態解析
   ステップと、 を具備することを特徴とする顕微鏡画像処理方法。
6. 【請求項６】 コンピュータに、 組織標本を撮影して得られたカメラの信号値から分光透
   過率画像を推定する分光透過率画像推定機能と、 この分光透過率画像推定機能により推定された分光透過
   率画像から組織標本の染色液の色素量分布を算出する色
   素量分布算出機能と、 この色素量分布算出機能により算出された色素量分布か
   ら染色状態及び組織自体の構造を解析する染色状態解析
   機能と、 を実現させるための顕微鏡画像処理プログラム。