JP2021124861A - 解析装置、解析方法、解析プログラム及び診断支援システム - Google Patents

解析装置、解析方法、解析プログラム及び診断支援システム Download PDF

Info

Publication number
JP2021124861A
JP2021124861A JP2020016863A JP2020016863A JP2021124861A JP 2021124861 A JP2021124861 A JP 2021124861A JP 2020016863 A JP2020016863 A JP 2020016863A JP 2020016863 A JP2020016863 A JP 2020016863A JP 2021124861 A JP2021124861 A JP 2021124861A
Authority
JP
Japan
Prior art keywords
analysis
image
unit
result
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020016863A
Other languages
English (en)
Inventor
健治 山根
Kenji Yamane
健治 山根
真司 渡辺
Shinji Watanabe
真司 渡辺
寛 長谷川
Hiroshi Hasegawa
寛 長谷川
一真 高橋
Kazuma Takahashi
一真 高橋
威 國弘
Takeshi Kunihiro
威 國弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2020016863A priority Critical patent/JP2021124861A/ja
Priority to PCT/JP2021/002442 priority patent/WO2021157405A1/ja
Publication of JP2021124861A publication Critical patent/JP2021124861A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Abstract

【課題】パラメータによる解析結果の影響を確認することができる解析装置、解析方法、解析プログラム及び診断支援システムを提案する。
【解決手段】解析装置100は、病理に関する画像の第一の解析処理で用いられるパラメータを受け付ける受付部130cと、前記パラメータを基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する出力部130eとを備える。
【選択図】図10

Description

本開示は、解析装置、解析方法、解析プログラム及び診断支援システムに関する。
ガラススライドに収められた観察対象物を顕微鏡で撮影して、デジタル化した病理画像を生成し、病理画像に対して、各種の画像解析を行うシステムがある。たとえば、観察対象物は、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等に対応する。
従来のシステムでは、ユーザが病理画像に対して、解析対象となる領域を指定すると、指定された領域に対して、所定のパラメータを用いて、所定の解析手順で解析を行い、最終的な解析結果を出力する。
米国特許第7602524号明細書 米国特許第8199358号明細書
解析内容によっては、病理画像に対する解析手順やパラメータが確立しておらず、その場合、ユーザが、解析手順やパラメータを調整する必要がある。
しかしながら、最終的な解析結果に、どの解析手順・パラメータが影響するのか把握が難しく、改善の余地があった。
そこで、本開示では、パラメータによる解析結果の影響を確認することができる解析装置、解析方法、解析プログラム及び診断支援システムを提案する。
上記の課題を解決するために、本開示に係る一形態の解析装置は、病理に関する画像の第一の解析処理で用いられるパラメータを受け付ける受付部と、前記パラメータを基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する出力部とを備える。
第1の実施形態に係る診断支援システムを示す図である。 第1の実施形態に係る撮像処理を説明するための図である。 第1の実施形態に係る撮像処理を説明するための図である。 部分画像(タイル画像)の生成処理を説明するための図である。 第1の実施形態に係る病理画像を説明するための図である。 第1の実施形態に係る病理画像を説明するための図である。 病理画像の閲覧者による閲覧態様の一例を示す図である。 サーバが有する閲覧履歴記憶部の一例を示す図である。 医療情報システムが有する診断情報記憶部を示す図である。 医療情報システムが有する診断情報記憶部を示す図である。 医療情報システムが有する診断情報記憶部を示す図である。 第1の実施形態に係る解析装置の一例を示す図である。 病理画像DBのデータ構造の一例を示す図である。 解析モジュールテーブルのデータ構造の一例を示す図である。 解析モジュール構成情報のデータ構造の一例を示す図である。 図13に示した解析モジュール構成情報に基づく解析モジュールの接続関係を示す図である。 パラメータテーブルのデータ構造の一例を示す図である。 中間データテーブルのデータ構造の一例を示す図である。 概要パラメータ変換テーブルのデータ構造の一例を示す図である。 本実施例1に係る解析対象指定部の処理を説明するための図である。 第1の実施形態に係る解析結果画面の一例を示す図である。 概要パラメータの変更処理を説明するための図である。 第1の実施形態に係る解析処理手順を示すフローチャートである。 第1の実施形態に係るパラメータ表示処理手順を示すフローチャートである。 パラメータの一例を説明するための図である。 解析モジュールが生成するヒストグラムの一例を示す図である。 第2の実施形態に係る解析装置の一例を示す図である。 本実施例2に係る解析対象指定部の処理を説明するための図である。 第2の実施形態に係る解析結果画面の一例を示す図である。 HE染色画像とIHC染色画像の一例を示す図である。 HE染色画像とIHC染色画像を用いた解析結果画面の一例を示す図である。 HE染色画像と蛍光IHC染色画像の一例を示す図である。 細胞間距離分布の一例を示す図である。 HE染色画像と蛍光IHC染色画像を用いた解析結果画面の一例を示す図である。 HE染色画像とCT画像の一例を示す図である。 HE染色画像とCT画像を用いた解析結果画面の一例を示す図である。 解析装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
<第1の実施形態>
1.第1の実施形態に係るシステムの構成
2.各種情報について
2−1.病理画像
2−2.閲覧履歴情報
2−3.診断情報
3.第1の実施形態に係る解析装置
4.処理手順
4−1.第1の実施形態に係る解析処理手順
4−2.第1の実施形態に係るパラメータ表示処理手順
5.パラメータの一例
6.第1の実施形態に係る解析装置の効果
<第2の実施形態>
7.第2の実施形態に係る解析装置
8.第2の実施形態に係る解析装置の効果
9.複数タイプの病理画像を組み合わせた解析
9−1.HE染色画像とIHC染色画像を用いた解析例
9−2.HE染色画像と蛍光IHC染色画像を用いた解析例
9−3.HE染色画像と病理画像以外の画像を用いた解析例
10.ハードウェア構成
11.むすび
(第1の実施形態)
[1.実施形態に係るシステムの構成]
まず、図1を用いて、第1の実施形態に係る診断支援システム1について説明する。図1は、第1の実施形態に係る診断支援システム1を示す図である。図1に示すように、診断支援システム1は、病理システム10と、解析装置100とを含む。
病理システム10は、主に病理医が使用するシステムであり、例えば研究所や病院に適用される。図1に示すように、病理システム10は、顕微鏡11と、サーバ12と、表示制御装置13と、表示装置14とを含む。
顕微鏡11は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像(医療画像の一例)を取得する撮像装置である。なお、観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等である。
サーバ12は、顕微鏡11によって撮像された病理画像を図示しない記憶部に記憶、保存する装置である。サーバ12は、表示制御装置13から閲覧要求を受け付けた場合に、図示しない記憶部から病理画像を検索し、検索した病理画像を表示制御装置13に送る。また、サーバ12は、解析装置100から病理画像の取得要求を受け付けた場合に、記憶部から病理画像を検索し、検索した病理画像を、解析装置100に送る。
表示制御装置13は、ユーザから受け付けた病理画像の閲覧要求をサーバ12に送る。そして、表示制御装置13は、サーバ12から受け付けた病理画像を表示するよう表示装置14を制御する。
表示装置14は、例えば、液晶、EL(Electro‐Luminescence)、CRT(Cathode Ray Tube)などが用いられた画面を有する。表示装置14は4Kや8Kに対応していてもよいし、複数の表示装置により形成されてもよい。表示装置14は、表示制御装置13によって表示するよう制御された病理画像を表示する。なお、詳細は後述するが、サーバ12は、表示装置14を介して病理医に観察された病理画像の領域に関する閲覧履歴情報を記憶する。
解析装置100は、サーバ12に対して病理画像の取得要求を送り、サーバ12から受け付けた病理画像を解析する装置である。
[2.各種情報について]
[2−1.病理画像]
上記の通り、病理画像は、顕微鏡11によって観察対象物が撮像されることで生成される。まず、図2及び図3を用いて、顕微鏡11による撮像処理を説明する。図2及び図3は、第1の実施形態に係る撮像処理を説明するための図である。以下に説明する顕微鏡11は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを有する。
図2には、顕微鏡11の撮影可能な領域である撮像領域R10に、観察対象物A10が収められたガラススライドG10が含まれる。ガラススライドG10は、例えば図示しないステージに置かれる。顕微鏡11は、低解像度撮像部により撮像領域R10を撮像することで観察対象物A10が全体的に撮像された病理画像である全体画像を生成する。図2に示すラベル情報L10は、観察対象物A10を識別するための識別情報(例えば、文字列やQRコード(登録商標))が記載される。ラベル情報L10に記載される識別情報と患者を対応付けておくことで、全体画像に対応する患者を特定することが可能になる。図2の例では、識別情報として「#001」が記載されている。なお、ラベル情報L10には、例えば、観察対象物A10の簡単な説明が記載されてもよい。
続いて、顕微鏡11は、全体画像を生成した後に、全体画像から観察対象物A10が存在する領域を特定し、観察対象物A10が存在する領域を所定サイズ毎に分割した各分割領域を高解像度撮像部により順次撮像する。例えば、図3に示すように、顕微鏡11は、最初に領域R11を撮像し、観察対象物A10の一部領域を示す画像である高解像度画像I11を生成する。続いて、顕微鏡11は、ステージを移動させることで、領域R12を高解像度撮像部により撮像し、領域R12に対応する高解像度画像I12を生成する。同様にして、顕微鏡11は、領域R13、R14、・・・に対応する高解像度画像I13、I14、・・・を生成する。図3では領域R18までしか図示していないが、顕微鏡11は、ステージを順次移動させることで、観察対象物A10に対応する全ての分割領域を高解像度撮像部により撮像し、各分割領域に対応する高解像度画像を生成する。
ところで、ステージを移動させる際にガラススライドG10がステージ上で移動することがある。ガラススライドG10が移動すると、観察対象物A10のうち未撮影の領域が発生するおそれがある。顕微鏡11は、図3に示すように、隣り合う分割領域が一部重なるように、高解像度撮像部により撮像することで、ガラススライドG10が移動した場合であっても、未撮影領域の発生を防止することができる。
なお、上述した低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡11は、撮像対象に応じて解像度を変更する。また、上記では、ステージを移動させることで撮像領域を変更する例を示したが、顕微鏡11が光学系(高解像度撮像部など)を移動させることで撮像領域を変更してもよい。また、図3では、顕微鏡11が観察対象物A10の中央部から撮像する例を示した。しかし、顕微鏡11は、図3に示した撮像順とは異なる順序で観察対象物A10を撮像してもよい。例えば、顕微鏡11は、観察対象物A10の外周部から撮像してもよい。また、上記では、観察対象物A10が存在する領域のみを高解像度撮像部で撮像する例を示した。しかし、観察対象物A10が存在する領域を正確に検出できない場合もあるので、顕微鏡11は、図2に示した撮像領域R10又はガラススライドG10の全領域を分割して高解像度撮像部で撮像してもよい。
続いて、顕微鏡11によって生成された各々の高解像度画像は、所定のサイズに分割される。これにより、高解像度画像から部分画像(以下、タイル画像と表記する)が生成される。この点について、図4を用いて説明する。図4は、部分画像(タイル画像)の生成処理を説明するための図である。図4には、図3に示した領域R11に対応する高解像度画像I11を示す。なお、以下では、サーバ12によって、高解像度画像から部分画像が生成されるものとして説明する。しかし、サーバ12以外の装置(例えば、顕微鏡11内部に搭載される情報処理装置など)によって部分画像が生成されてもよい。
図4に示す例では、サーバ12は、1つの高解像度画像I11を分割することで、100個のタイル画像T11、T12、・・・を生成する。例えば、高解像度画像I11の解像度が2560×2560[pixel:ピクセル]である場合、サーバ12は、高解像度画像I11から、解像度が256×256[pixel:ピクセル]である100個のタイル画像T11、T12、・・・を生成する。同様にして、サーバ12は、他の高解像度画像も同様のサイズに分割することでタイル画像を生成する。
なお、図4の例において、領域R111、R112、R113、R114は、隣り合う他の高解像度画像(図4には図示しない)と重複する領域である。サーバ12は、重複する領域をテンプレートマッチング等の技法により位置合わせを行うことで、互いに隣り合う高解像度画像にスティッチング処理を施す。この場合、サーバ12は、スティッチング処理後に高解像度画像を分割することでタイル画像を生成してもよい。または、サーバ12は、スティッチング処理前に、領域R111、R112、R113及びR114以外の領域のタイル画像を生成し、スティッチング処理後に、領域R111、R112、R113及びR114のタイル画像を生成してもよい。
このようにして、サーバ12は、観察対象物A10の撮像画像の最小単位となるタイル画像を生成する。そして、サーバ12は、最小単位のタイル画像を順次合成することで、階層の異なるタイル画像を生成する。具体的には、サーバ12は、隣り合う所定数のタイル画像を合成することで、1つのタイル画像を生成する。この点について、図5及び図6を用いて説明する。図5及び図6は、第1の実施形態に係る病理画像を説明するための図である。
図5の上段には、サーバ12によって各高解像度画像から生成された最小単位のタイル画像群を示す。図5の上段の例において、サーバ12は、タイル画像のうち、互いに隣り合う4つのタイル画像T111、T112、T211、T212を合成することで、1つのタイル画像T110を生成する。例えば、タイル画像T111、T112、T211、T212の解像度がそれぞれ256×256である場合、サーバ12は、解像度が256×256であるタイル画像T110を生成する。同様にして、サーバ12は、互いに隣り合う4つのタイル画像T113、T114、T213、T214を合成することで、タイル画像T120を生成する。このようにして、サーバ12は、最小単位のタイル画像を所定数ずつ合成したタイル画像を生成する。
また、サーバ12は、最小単位のタイル画像を合成した後のタイル画像のうち、互いに隣り合うタイル画像を更に合成したタイル画像を生成する。図5の例において、サーバ12は、互いに隣り合う4つのタイル画像T110、T120、T210、T220を合成することで、1つのタイル画像T100を生成する。例えば、タイル画像T110、T120、T210、T220の解像度が256×256である場合、サーバ12は、解像度が256×256であるタイル画像T100を生成する。例えば、サーバ12は、互いに隣り合う4つのタイル画像を合成した解像度512×512の画像から、4画素平均や、重み付けフィルタ(近い画素を遠い画素よりも強く反映する処理)や、1/2間引き処理等を施すことにより、解像度が256×256であるタイル画像を生成する。
サーバ12は、このような合成処理を繰り返すことで、最終的には、最小単位のタイル画像の解像度と同様の解像度を有する1つのタイル画像を生成する。例えば、上記例のように、最小単位のタイル画像の解像度が256×256である場合、サーバ12は、上述した合成処理を繰り返すことにより、最終的に解像度が256×256である1つのタイル画像T1を生成する。
図6に、図5に示したタイル画像を模式的に示す。図6に示した例では、最下層のタイル画像群は、サーバ12によって生成された最小単位のタイル画像である。また、下から2階層目のタイル画像群は、最下層のタイル画像群が合成された後のタイル画像である。そして、最上層のタイル画像T1は、最終的に生成される1つのタイル画像であることを示す。このようにして、サーバ12は、病理画像として、図6に示すピラミッド構造のような階層を有するタイル画像群を生成する。
なお、図5に示す領域Dは、表示装置14等のディスプレイ画面に表示される領域の一例を示す。例えば、表示装置が表示可能な解像度が、縦3個分のタイル画像であり、横4個分のタイル画像であるものとする。この場合、図5に示す領域Dのように、表示対象のタイル画像が属する階層によって、表示装置に表示される観察対象物A10の詳細度が変わる。例えば、最下層のタイル画像が用いられる場合には、観察対象物A10の狭い領域が詳細に表示される。また、上層のタイル画像が用いられるほど観察対象物A10の広い領域が粗く表示される。
サーバ12は、図6に示したような各階層のタイル画像を図示しない記憶部に記憶する。例えば、サーバ12は、各タイル画像を一意に識別可能なタイル識別情報(部分画像情報の一例)とともに、各タイル画像を記憶する。この場合、サーバ12は、他の装置(例えば、表示制御装置13)からタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、タイル識別情報に対応するタイル画像を他の装置へ送信する。また、例えば、サーバ12は、各階層を識別する階層識別情報と、同一階層内で一意に識別可能なタイル識別情報とともに、各タイル画像を記憶してもよい。この場合、サーバ12は、他の装置から階層識別情報とタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、階層識別情報に対応する階層に属するタイル画像のうち、タイル識別情報に対応するタイル画像を他の装置へ送信する。
なお、サーバ12は、図6に示したような各階層のタイル画像をサーバ12以外の他の記憶装置に記憶してもよい。例えば、サーバ12は、クラウドサーバ等に各階層のタイル画像を記憶してもよい。また、図5及び図6に示したタイル画像の生成処理はクラウドサーバ等で実行されてもよい。
また、サーバ12は、全ての階層のタイル画像を記憶しなくてもよい。例えば、サーバ12は、最下層のタイル画像のみを記憶してもよいし、最下層のタイル画像と最上層のタイル画像のみを記憶してもよいし、所定の階層(例えば、奇数番目の階層、偶数番目の階層など)のタイル画像のみを記憶してもよい。このとき、サーバ12は、記憶していない階層のタイル画像を他の装置から要求された場合には、記憶しているタイル画像を動的に合成することで、他の装置から要求されたタイル画像を生成する。このように、サーバ12は、保存対象のタイル画像を間引くことで、記憶容量の圧迫を防止することができる。
また、上記例では撮像条件について言及しなかったが、サーバ12は、撮像条件毎に、図6に示したような各階層のタイル画像を記憶してもよい。撮像条件の例としては、被写体(観察対象物A10など)に対する焦点距離が挙げられる。例えば、顕微鏡11は、同一の被写体に対して焦点距離を変更しながら撮像してもよい。この場合、サーバ12は、焦点距離毎に、図6に示したような各階層のタイル画像を記憶してもよい。なお、焦点距離を変更する理由は、観察対象物A10によっては半透明であるため、観察対象物A10の表面を撮像するために適した焦点距離や、観察対象物A10の内部を撮像するために適した焦点距離があるからである。言い換えれば、顕微鏡11は、焦点距離を変更することで、観察対象物A10の表面を撮像した病理画像や、観察対象物A10の内部を撮像した病理画像を生成することができる。
また、撮像条件の他の例として、観察対象物A10に対する染色条件が挙げられる。具体的に説明すると、病理診断では、観察対象物A10のうち特定の部分(例えば、細胞の核など)に発光物を染色する場合がある。発光物とは、例えば、特定の波長の光が照射されると発光する物質である。そして、同一の観察対象物A10に対して異なる発光物が染色される場合がある。この場合、サーバ12は、染色された発光物毎に、図6に示したような各階層のタイル画像を記憶してもよい。
また、上述したタイル画像の数や解像度は一例であってシステムによって適宜変更可能である。例えば、サーバ12が合成するタイル画像の数は4つに限られない。例えば、サーバ12は、3×3=9個のタイル画像を合成する処理を繰り返してもよい。また、上記例ではタイル画像の解像度が256×256である例を示したが、タイル画像の解像度は256×256以外であってもよい。
表示制御装置13は、上述した階層構造のタイル画像群に対応可能なシステムを採用するソフトウェアを用い、ユーザの表示制御装置13を介した入力操作に応じて、階層構造のタイル画像群から所望のタイル画像を抽出し、これを表示装置14に出力する。具体的には、表示装置14は、ユーザにより選択された任意の解像度の画像のうちの、ユーザにより選択された任意の部位の画像を表示する。このような処理により、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示制御装置13は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。
[2−2.閲覧履歴情報]
次に、図7を用いて、サーバ12に保存される病理画像の閲覧履歴情報について説明する。図7は、病理画像の閲覧者による閲覧態様の一例を示す図である。図7に示した例では、病理医等の閲覧者が、病理画像I10のうち、領域D1、D2、D3、・・・、D7の順に閲覧したものとする。この場合、表示制御装置13は、閲覧者による閲覧操作に従って、最初に領域D1に対応する病理画像をサーバ12から取得する。サーバ12は、表示制御装置13からの要求に応じて、領域D1に対応する病理画像を形成する1以上のタイル画像を記憶部から取得し、取得した1以上のタイル画像を表示制御装置13へ送信する。そして、表示制御装置13は、サーバ12から取得した1以上のタイル画像から形成される病理画像を表示装置14に表示する。例えば、表示制御装置13は、タイル画像が複数である場合には、複数のタイル画像を並べて表示する。同様にして、表示制御装置13は、閲覧者によって表示領域の変更操作が行われるたびに、表示対象の領域(領域D2、D3、・・・、D7など)に対応する病理画像をサーバ12から取得し、表示装置14に表示する。
図7の例では、閲覧者は、最初に比較的広い領域D1を閲覧し、領域D1内に注意深く観察する領域がなかったため、閲覧領域を領域D2に移動させている。そして、閲覧者は、領域D2内に注意深く観察したい領域があったため、領域D2の一部領域を拡大して領域D3を閲覧している。そして、閲覧者は、さらに領域D2の一部領域である領域D4へ移動させている。そして、閲覧者は、領域D4内にさらに注意深く観察したい領域があったため、領域D4の一部領域を拡大して領域D5を閲覧している。このようにして、閲覧者は、領域D6、D7についても閲覧している。例えば、領域D1、D2、D7に対応する病理画像が1.25倍率の表示画像であり、領域D3、D4に対応する病理画像が20倍率の表示画像であり、領域D5、D6に対応する病理画像が40倍率の表示画像である。表示制御装置13は、サーバ12に記憶されている階層構造のタイル画像群のうち、各倍率に対応する階層のタイル画像を取得して表示することになる。例えば、領域D1及びD2に対応するタイル画像の階層は、領域D3に対応するタイル画像の階層よりも上(すわなち、図6に示したタイル画像T1に近い階層)になる。
上記のように病理画像が閲覧されている間、表示制御装置13は、所定のサンプリング周期で閲覧情報を取得する。具体的には、表示制御装置13は、所定のタイミング毎に、閲覧された病理画像の中心座標と表示倍率を取得し、取得した閲覧情報をサーバ12の記憶部に格納する。
この点について、図8を用いて説明する。図8は、サーバ12が有する閲覧履歴記憶部12aの一例を示す図である。図8に示すように、閲覧履歴記憶部12aは、「サンプリング」、「中心座標」、「倍率」、「時間」といった情報を記憶する。「サンプリング」は、閲覧情報を記憶するタイミングの順番を示す。「中心座標」は、閲覧された病理画像の位置情報を示す。ここの例では、中心座標は、閲覧された病理画像の中心位置が示す座標であって、最下層のタイル画像群の座標系の座標に該当する。「倍率」は、閲覧された病理画像の表示倍率を示す。「時間」は、閲覧が開始されてからの経過時間を示す。図8の例では、サンプリング周期が30秒であることを示す。すなわち、表示制御装置13は、30秒毎に閲覧情報を閲覧履歴記憶部12aに保存する。ただし、この例に限られず、サンプリング周期は、例えば0.1〜10秒であってもよいし、この範囲外であってもよい。
図8の例において、サンプリング「1」は図7に示す領域D1の閲覧情報を示し、サンプリング「2」は領域D2の閲覧情報を示し、サンプリング「3」及び「4」は領域D3の閲覧情報を示し、サンプリング「5」は領域D4の閲覧情報を示し、サンプリング「6」、「7」及び「8」は領域D5の閲覧情報を示す。つまり、図8の例では、領域D1が30秒程度閲覧され、領域D2が30秒程度閲覧され、領域D3が60秒程度閲覧され、領域D4が30秒程度閲覧され、領域D5が90秒程度閲覧されたことを示す。このように、閲覧履歴情報から、各領域の閲覧時間を抽出することができる。
また、閲覧履歴情報から各領域を閲覧した回数を抽出することができる。例えば、表示領域の変更操作(例えば、表示領域の移動操作、表示サイズの変更操作)が行われるたびに、表示された病理画像の各画素の表示回数が1回ずつ増加するものとする。例えば、図7に示した例において、最初に領域D1が表示された場合、領域D1に含まれる各画素の表示回数は1回となる。次に領域D2が表示された場合には、領域D1と領域D2との双方に含まれる各画素の表示回数は2回となり、領域D1には含まれず領域D2に含まれる各画素の表示回数は1回となる。閲覧履歴記憶部12aの中心座標及び倍率を参照することで表示領域を特定可能であるので、閲覧履歴記憶部12aに記憶されている閲覧履歴情報を分析することで、病理画像の各画素(各座標ともいえる)が表示された回数を抽出することができる。
表示制御装置13は、閲覧者から所定時間(例えば5分)、表示位置を変更する操作が行われなかった場合には、閲覧情報の記憶処理を中断してもよい。また、上記例では、中心座標と倍率によって閲覧された病理画像を閲覧情報として記憶する例を示したが、この例に限られず、閲覧情報は、閲覧された病理画像の領域を特定可能な情報であれば如何なる情報であってもよい。例えば、表示制御装置13は、閲覧された病理画像に対応するタイル画像を識別するタイル識別情報や、閲覧された病理画像に対応するタイル画像の位置示す情報を、病理画像の閲覧情報として記憶してもよい。また、図8では、図示することを省略したが、閲覧履歴記憶部12aには、患者、カルテ等を識別する情報が記憶される。すなわち、図8に示した閲覧履歴記憶部12aは、閲覧情報と、患者やカルテ等と対応付け可能に記憶される。
[2−3.診断情報]
次に、図9A〜図9Cを用いて、医療情報システム30に記憶される診断情報について説明する。図9A〜図9Cは、医療情報システム30が有する診断情報記憶部を示す図である。図9A〜図9Cでは、それぞれ検査対象の臓器毎に異なるテーブルで診断情報を記憶する例を示す。例えば、図9Aは、乳がん検査に関する診断情報を記憶するテーブルの例を示し、図9Bは、肺がん検査に関する診断情報を記憶するテーブルの例を示し、図9Cは、大腸検査に関する診断情報を記憶するテーブルの例を示す。
図9Aに示す診断情報記憶部30Aは、「患者ID」、「病理画像」、「診断結果」、「グレード」、「組織型」、「遺伝子検査」、「超音波検査」、「投薬」といった情報を記憶する。「患者ID」は、患者を識別するための識別情報を示す。「病理画像」は、病理医が診断時に保存した病理画像を示す。「病理画像」には、画像自体ではなく、全体画像に対する、保存対象の画像領域を示す位置情報(中心座標と倍率など)が記憶されてもよい。「診断結果」は、病理医による診断結果であり、例えば、病変部位の有無、病変部位の種類を示す。「グレード」は、病気部位の進行度を示す。「組織型」は、病気部位の種類を示す。「遺伝子検査」は、遺伝子検査の結果を示す。「超音波検査」は、超音波検査の結果を示す。投薬は、患者への投薬に関する情報を示す。
図9Bに示す診断情報記憶部30Bは、図9Aに示した診断情報記憶部30Aに記憶される「超音波検査」の代わりに、肺がん検査で行われる「CT検査」に関する情報を記憶する。図9Cに示す診断情報記憶部30Cは、図9Aに示した診断情報記憶部30Aに記憶される「超音波検査」の代わりに、大腸検査で行われる「内視鏡検査」に関する情報を記憶する。
図9A〜図9Cの例において、「診断結果」に「正常」が記憶されている場合には、病理診断の結果が陰性であったことを示し、「診断結果」に「正常」以外の情報が記憶されている場合には、病理診断の結果が陽性であったことを示す。なお、図9A〜図9Cでは、患者IDについて、各項目(病理画像、診断結果、グレード、組織型、遺伝子検査、超音波検査、投薬)を対応付けて記憶する場合について説明したが、診断、検査に関わる情報を、患者IDに対応付けて記憶すればよく、全ての項目が必要なわけではない。
[3.第1の実施形態に係る解析装置]
次に、第1の実施形態に係る解析装置100について説明する。図10は、第1の実施形態に係る解析装置の一例を示す図である。図10に示すように、この解析装置100は、通信部110と、入力部111と、表示部112と、記憶部120と、制御部130とを有する。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。通信部110は、図示しないネットワークと有線又は無線で接続され、ネットワークを介して、病理システム10等との間で情報の送受信を行う。後述する制御部130は、通信部110を介して、これらの装置との間で情報の送受信を行う。
入力部111は、各種の情報を、解析装置100に入力する入力装置である。入力部111は、キーボードやマウス、タッチパネル等に対応する。
表示部112は、制御部130から出力される情報を表示する表示装置である。表示部112は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、タッチパネル等に対応する。
記憶部120は、病理画像DB(Data Base)120a、解析モジュールテーブル120b、解析モジュール構成情報120c、パラメータテーブル120d、中間データテーブル120e、概要パラメータ変換テーブル120fを有する。記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
病理画像DB120aは、複数の病理画像を格納するデータベースである。図11は、病理画像DBのデータ構造の一例を示す図である。図11に示すように、この病理画像DB120aは、「患者ID」と、「病理画像」とを有する。患者IDは、患者を一意に識別する情報である。病理画像は、病理医が診断時に保存した病理画像を示す。病理画像は、サーバ12から送信される。病理画像DB120aは、患者ID、病理画像の他に、図9A〜9Cで説明した「診断結果」、「グレード」、「組織型」、「遺伝子検査」、「超音波検査」、「投薬」といった情報を保持していてもよい。
解析モジュールテーブル120bは、病理画像に対する解析処理を実行する複数の解析モジュールを保持するテーブルである。図12は、解析モジュールテーブルのデータ構造の一例を示す図である。図12に示すように、この解析モジュールテーブル120bは、「モジュールID」と、「モジュールタイプ」と、「解析モジュール」とを有する。モジュールIDは、解析モジュールを一意に識別する情報である。モジュールタイプは、解析モジュールが実行する解析内容を示す情報である。解析モジュールは、該当する解析モジュールのデータ(プログラム)である。
たとえば、モジュールID「M1」の解析モジュールは、染色分離を実行するモジュールである。染色分離は、病理画像の色を基にして、指定された領域を、陽性に属する領域と、陰性に属する領域に分離することである。
モジュールID「M2」の解析モジュールは、陽性核検出を実行するモジュールである。陽性核検出は、陽性に属する領域から、細胞の核を検出することである。モジュールID「M3」の解析モジュールは、陰性核検出を実行するモジュールである。陰性核検出は、陰性に属する領域から、細胞の核を検出することである。
モジュールID「M4」の解析モジュールは、核の陽性率計算を実行するモジュールである。核の陽性率計算では、指定された領域に含まれる陽性の核の数と、陰性の核の数から、核の陽性率を計算する。
モジュールID「M5」の解析モジュールは、陽性膜検出を実行するモジュールである。陽性膜検出は、陽性に属する領域から、細胞の膜を検出することである。モジュールID「M6」の解析モジュールは、陰性膜検出を実行するモジュールである。陰性膜検出は、陰性に属する領域から、細胞の膜を検出することである。
モジュールID「M7」の解析モジュールは、膜の陽性率計算を実行するモジュールである。膜の陽性率計算では、指定された領域に含まれる陽性の膜の数と、陰性の膜の数から、膜の陽性率を計算する。
モジュールID「M8」の解析モジュールは、癌腫特定を実行するモジュールである。癌腫特定では、膜の陽性率と、核の陽性率とから癌腫を特定する。たとえば、モジュールID「M8」の解析モジュールは、非特許文献「HER2検査ガイド、[online]、第三版 2009年9月、[令和1年11月8日検索」、インターネット(URL:http://pathology.or.jp/news/pdf/HER2_guideline_090828.pdf)に記載されたプロトコルに従い、癌腫を特定してもよい。
図10の説明に戻る。解析モジュール構成情報120cは、解析モジュールの接続関係を示す情報である。図13は、解析モジュール構成情報120cのデータ構造の一例を示す図である。図13に示すように、解析モジュール構成情報120cは、「第1モジュールID」と、「第2モジュールID」とを有する。第1モジュールIDは、接続元の解析モジュールのモジュールIDに対応する。第2モジュールIDは、接続先の解析モジュールのモジュールIDに対応する。解析モジュール構成情報120cは「順序定義情報」の一例である。
図14は、図13に示した解析モジュール構成情報120cに基づく解析モジュールの接続関係を示す図である。以下の説明では、モジュールID「Mn(nは自然数)」の解析モジュールを、解析モジュールMnと表記する。
図14に示すように、解析モジュールM1の配下には、解析モジュールM2,M3,M5,M6が接続される。解析モジュールM2の配下には、解析モジュールM4が接続される。解析モジュールM3の配下には、解析モジュールM4が接続される。解析モジュールM5の配下には、解析モジュールM7が接続される。解析モジュールM6の配下には、解析モジュールM7が接続される。解析モジュールM4の配下には、解析モジュールM8が接続される。解析モジュールM7の配下には、解析モジュールM8が接続される。
図10の説明に戻る。パラメータテーブル120dは、各解析モジュールが解析処理を実行する場合に利用するパラメータを格納するテーブルである。図15は、パラメータテーブル120dのデータ構造の一例を示す図である。図15に示すように、パラメータテーブル120dは、モジュールIDと、パラメータセットとを対応付ける。モジュールIDは、解析モジュールを一意に識別する情報である。パラメータセットには、複数のパラメータが対応付けられる。図15に示す例では、第1パラメータ、第2パラメータ、第3パラメータを示すが、パラメータセットには、他のパラメータが更に含まれていてもよい。
図10の説明に戻る。中間データテーブル120eは、各解析モジュールの処理結果をそれぞれ格納するテーブルである。図16は、中間データテーブル120eのデータ構造の一例を示す図である。図16に示すように、この中間データテーブル120eは、モジュールIDと、中間データとを対応付ける。モジュールIDは、解析モジュールを一意に識別する情報である。中間データは、モジュールIDに識別される解析モジュールの処理結果のデータを示す。
たとえば、モジュールID「M1」の中間データは、染色分離の処理結果のデータとなる。モジュールID「M2」の中間データは、陽性核検出の処理結果のデータとなる。モジュールID「M3」の中間データは、陰性核検出の処理結果のデータとなる。モジュールID「M4」の中間データは、核の陽性率計算の処理結果のデータとなる。モジュールID「M5」の中間データは、陽性膜検出の処理結果のデータとなる。モジュールID「M6」の中間データは、陰性膜検出の処理結果のデータとなる。モジュールID「M7」の中間データは、膜の陽性率計算の処理結果のデータとなる。モジュールID「M8」の中間データは、スコアリングの処理結果のデータとなる。
図10の説明に戻る。概要パラメータ変換テーブル120fは、パラメータを概要パラメータに変換する場合に参照されるテーブルである。図17は、概要パラメータ変換テーブル120fのデータ構造の一例を示す図である。図17に示すように、概要パラメータ変換テーブル120fには、モジュールIDと、概要パラメータ変換式とを対応付ける。モジュールIDは、解析モジュールを一意に識別する情報である。概要パラメータ変換式は、パラメータを概要パラメータに変換する場合に用いられる変換式である。
たとえば、図15で説明したように、モジュールID「M1」のパラメータには、第1パラメータ、第2パラメータ、第3パラメータの3つのパラメータが存在するが、概要パラメータ変換式よって、一つのパラメータに統合される。
図10の説明に戻る。制御部130は、取得部130a、解析対象指定部130b、受付部130c、解析部130d、出力部130eを有する。制御部130は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)によって、解析装置100内部に記憶されたプログラム(解析プログラムの一例)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、例えばASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実行されてもよい。
取得部130aは、サーバ12に対して病理画像の取得要求を送り、サーバ12から病理画像を取得する処理部である。取得部130aは、取得した病理画像を、病理画像DB120aに登録する。病理画像には、患者IDの他に、図9A〜9Cで説明した「診断結果」、「グレード」、「組織型」、「遺伝子検査」、「超音波検査」、「投薬」といった情報が添付されていてもよい。
解析対象指定部130bは、ユーザの操作に基づいて、病理画像のうち、解析対象となる領域を指定する処理部である。以下の説明では、解析対象となる領域を「アノテーション」と表記する。
図18は、本実施例1に係る解析対象指定部130bの処理を説明するための図である。たとえば、解析対象指定部130bは、病理画像DB120aから病理画像I1の情報を取得して、表示部112に表示させる。病理画像I1には、観察対象物A10が全体的に描出される。ユーザは、表示部112を参照しつつ、入力部111を操作して、アノテーションRI21を選択する。なお、病理画像に対するアノテーションは、予め、病理システム10の病理医が指定しておいてもよい。
解析対象指定部130bは、病理画像およびアノテーションの情報を、解析部130dに出力する。
受付部130cは、病理画像の解析処理で用いられるパラメータを受け付ける処理部である。受付部130cは、後述する出力部130eと協働して、各解析モジュールが用いるパラメータの変更を受け付ける。
解析部130dは、病理画像に対して指定されたアノテーションに対して、複数の解析モジュールによる解析処理を実行する処理部である。一つの解析モジュールによる解析処理が「部分解析処理」に対応する。また、部分解析処理は、第一の解析処理、第二の解析処理に対応する。解析部130dは、解析モジュール構成情報120cを基にして、解析モジュールを順にロードし、解析モジュールに対応するパラメータを用いて、部分解析処理を実行する。解析部130dは、上流の部分解析処理の結果を入力として、下流の部分解析処理を実行する。
図14を用いて、解析部130dの処理を説明する。解析部130dは、「解析モジュールM1」を、解析モジュールテーブル120bからロードする。解析部130dは、解析モジュールM1に対するパラメータを取得する。解析部130dは、解析モジュールM1に病理画像のアノテーションの情報を入力して、部分解析処理(染色分離)を実行する。解析部130dは、部分解析処理(染色分離)の結果(中間データ)を、中間データテーブル120eに登録する。
解析部130dは、「解析モジュールM2」を、解析モジュールテーブル120bからロードする。解析部130dは、解析モジュールM2に対するパラメータを取得する。解析部130dは、中間データテーブル120eから、解析モジュールM1の中間データを取得する。解析部130dは、解析モジュールM1の中間データを解析モジュールM2に入力して、部分解析処理(陽性核検出)を実行する。解析部130dは、部分解析処理(陽性核検出)の結果(中間データ)を、中間データテーブル120eに登録する。
解析部130dは、「解析モジュールM3」を、解析モジュールテーブル120bからロードする。解析部130dは、解析モジュールM3に対するパラメータを取得する。解析部130dは、中間データテーブル120eから、解析モジュールM1の中間データを取得する。解析部130dは、解析モジュールM1の中間データを解析モジュールM3に入力して、部分解析処理(陰性核検出)を実行する。解析部130dは、部分解析処理(陰性核検出)の結果(中間データ)を、中間データテーブル120eに登録する。
解析部130dは、「解析モジュールM5」を、解析モジュールテーブル120bからロードする。解析部130dは、解析モジュールM5に対するパラメータを取得する。解析部130dは、中間データテーブル120eから、解析モジュールM1の中間データを取得する。解析部130dは、解析モジュールM1の中間データを、解析モジュールM5に入力して、部分解析処理(陽性膜検出)を実行する。解析部130dは、部分解析処理(陽性膜検出)の結果(中間データ)を、中間データテーブル120eに登録する。
解析部130dは、「解析モジュールM6」を、解析モジュールテーブル120bからロードする。解析部130dは、解析モジュールM6に対するパラメータを取得する。解析部130dは、中間データテーブル120eから、解析モジュールM1の中間データを取得する。解析部130dは、解析モジュールM1の中間データを解析モジュールM6に入力して、部分解析処理(陰性膜検出)を実行する。解析部130dは、部分解析処理(陽性膜検出)の結果(中間データ)を、中間データテーブル120eに登録する。
解析部130dは、「解析モジュールM4」を、解析モジュールテーブル120bからロードする。解析部130dは、解析モジュールM4に対するパラメータを取得する。解析部130dは、中間データテーブル120eから、解析モジュールM2,M3の中間データを取得する。解析部130dは、解析モジュールM2,M3の中間データを解析モジュールM4に入力して、部分解析処理(核の陽性率計算)を実行する。解析部130dは、部分解析処理(核の陽性率計算)の結果(中間データ)を、中間データテーブル120eに登録する。
解析部130dは、「解析モジュールM7」を、解析モジュールテーブル120bからロードする。解析部130dは、解析モジュールM7に対するパラメータを取得する。解析部130dは、中間データテーブル120eから、解析モジュールM5,M6の中間データを取得する。解析部130dは、解析モジュールM5,M6の中間データを解析モジュールM7に入力して、部分解析処理(膜の陽性率計算)を実行する。解析部130dは、部分解析処理(膜の陽性率計算)の結果(中間データ)を、中間データテーブル120eに登録する。
解析部130dは、「解析モジュールM8」を、解析モジュールテーブル120bからロードする。解析部130dは、解析モジュールM8に対するパラメータを取得する。解析部130dは、中間データテーブル120eから、解析モジュールM4,M7の中間データを取得する。解析部130dは、解析モジュールM4,M7の中間データを解析モジュールM8に入力して、部分解析処理(癌腫特定)を実行する。解析部130dは、部分解析処理(癌腫特定)の結果(中間データ)を、中間データテーブル120eに登録する。
ところで、解析部130dは、解析モジュールMn(n=1〜8)に対するパラメータとして、受付部130cが受け付けたパラメータを用いる。解析部130dは、パラメータを受け付けていない場合、予め、解析モジュールMnに対して設定されたパラメータの初期値を用いる。たとえば、パラメータの初期値を、パラメータテーブル120dのパラメータセット「Set1」のパラメータとする。
解析部130dは、受付部130cからパラメータの更新を受け付けた場合には、更新されたパラメータを用いて、各解析モジュールMnを実行する。解析部130dは、特定の解析モジュールのパラメータが更新された場合、全ての解析モジュールMnの部分解析処理を実行してもよいし、特定の解析モジュールの下流に位置する解析モジュールの部分解析処理のみを実行してもよい。
更に、解析部130dは、受付部130cから概要パラメータを受け付けた場合には、概要パラメータを用いて、各解析モジュールMnを実行する。各解析モジュールMnは、パラメータに基づいて実行する部分解析処理のアルゴリズムとは別に、概要パラメータに基づいて実行する簡易的な部分解析処理のアルゴリズムが定義されているものとする。
出力部130eは、パラメータを基にして実行される解析処理の途中経過の情報を視覚可能な状態で出力する処理部である。たとえば、出力部130eは、図19に示すような解析結果画面を生成して、表示部112に表示させる。
図19は、第1の実施形態に係る解析結果画面の一例を示す図である。図19に示すように、解析結果画面40には、アイコンIC1〜IC8が配置される。アイコンIC1〜IC8は、解析モジュールM1〜M8に対応するアイコンである。出力部130eは、解析モジュール構成情報120cを基にして、解析モジュールM1〜M8の接続関係を特定し、接続関係を基にして、アイコンIC1〜IC8を配置して接続する。
アイコンICn(n=1〜8)には、解析モジュールMnの部分解析処理の結果(中間データ)を表示する領域A41〜A48が関連付けて配置される。たとえば、出力部130eは、部分解析処理(染色分離)の結果(中間データ)を中間データテーブル120eから取得し、アイコンIC1の領域A41に、視覚可能に配置する。出力部130eは、部分解析処理(染色分離)の結果(中間データ)が更新された場合には、更新された中間データを、領域A41に、視覚可能に配置する。
出力部130eは、部分解析処理(陽性核検出)の結果(中間データ)を中間データテーブル120eから取得し、アイコンIC2の領域A42に、視覚可能に配置する。出力部130eは、部分解析処理(陽性核検出)の結果(中間データ)が更新された場合には、更新された中間データを、領域A42に、視覚可能に配置する。
出力部130eは、部分解析処理(陰性核検出)の結果(中間データ)を中間データテーブル120eから取得し、アイコンIC3の領域A43に、視覚可能に配置する。出力部130eは、部分解析処理(陰性核検出)の結果(中間データ)が更新された場合には、更新された中間データを、領域A43に、視覚可能に配置する。
出力部130eは、部分解析処理(陽性膜検出)の結果(中間データ)を中間データテーブル120eから取得し、アイコンIC5の領域A45に、視覚可能に配置する。出力部130eは、部分解析処理(陽性膜検出)の結果(中間データ)が更新された場合には、更新された中間データを、領域A45に、視覚可能に配置する。
出力部130eは、部分解析処理(陰性膜検出)の結果(中間データ)を中間データテーブル120eから取得し、アイコンIC6の領域A46に、視覚可能に配置する。出力部130eは、部分解析処理(陰性膜検出)の結果(中間データ)が更新された場合には、更新された中間データを、領域A46に、視覚可能に配置する。
出力部130eは、部分解析処理(核の陽性率計算)の結果(中間データ)を中間データテーブル120eから取得し、アイコンIC4の領域A44に、視覚可能に配置する。出力部130eは、部分解析処理(核の陽性率計算)の結果(中間データ)が更新された場合には、更新された中間データを、領域A44に、視覚可能に配置する。
出力部130eは、部分解析処理(膜の陽性率計算)の結果(中間データ)を中間データテーブル120eから取得し、アイコンIC7の領域A47に、視覚可能に配置する。出力部130eは、部分解析処理(膜の陽性率計算)の結果(中間データ)が更新された場合には、更新された中間データを、領域A47に、視覚可能に配置する。
出力部130eは、部分解析処理(癌腫特定)の結果(中間データ)を中間データテーブル120eから取得し、アイコンIC8の領域A48に、視覚可能に配置する。出力部130eは、部分解析処理(癌腫特定)の結果(中間データ)が更新された場合には、更新された中間データを、領域A48に、視覚可能に配置する。
図19では図示を省略するが、出力部130eは、アイコンICn(n=1〜8)に、解析モジュールMnが部分解析処理で用いたパラメータをそれぞれ視覚可能に表示してもよい。出力部130eは、解析モジュールMnに設定されたパラメータを、パラメータテーブル120dから取得してもよいし、受付部130cから取得してもよい。
ここで、アイコンICn(n=1〜8)には、パラメータを変更するための変更ボタンbu1〜bu8がそれぞれ配置される。ユーザは、解析モジュールM1で用いるパラメータを変更する場合には、入力部111を操作して、変更ボタンbu1を押下する。同様に、解析モジュールMnで用いるパラメータを変更する場合には、ユーザは、変更ボタンbunを押下する。
パラメータの変更に関する処理は、上記の受付部130cが実行する。ユーザによって、変更ボタンbun(n=1〜8)が押下された場合、受付部130cは、モジュールID「Mn」に対応するパラメータセットSet1〜Set3の各パラメータ(第1〜第3パラメータ)を、パラメータテーブル120dから取得する。
受付部130cは、取得したパラメータセットSet1〜Set3の各パラメータを表示部112に表示させる。ユーザは、入力部111を操作して、いずれかのパラメータセットを選択し、受付部130cは、パラメータの変更を受け付ける。ユーザは、いずれかのパラメータセットを選択した後に、入力部111を操作して、第1〜第3パラメータの値を直接変更してもよい。
受付部130cは、上記の処理によって、パラメータの変更を受け付けると、変更後のパラメータと、パラメータが変更されたモジュールIDとを対応付けて、解析部130dに出力する。
解析部130dは、受付部130cからパラメータの更新を受け付けた場合には、更新されたパラメータを用いて、各解析モジュールMnを実行する。解析部130dは、特定の解析モジュールのパラメータが更新された場合、全ての解析モジュールMnの部分解析処理を実行してもよいし、特定の解析モジュールの下流に位置する一部の解析モジュールの部分解析処理のみを実行してもよい。解析部130dが、係る処理を実行することで、新たな中間データが生成され、中間データテーブル120eの中間データが更新される。このように、中間データテーブル120eが更新されることで、図19に示した解析結果画面の領域A4nの中間データも更新される。出力部130eは、中間データが更新される度に、解析結果画面40を更新する。
ところで、受付部130cは、パラメータの変更ボタンbun(n=1〜8)の押下を受け付けた場合、パラメータを基にした概要パラメータを生成して、表示部112に表示させてもよい。概要パラメータを生成するか否かは事前に設定されていてもよいし、ユーザが入力部111を操作して、設定してもよい。
受付部130cは、概要パラメータ変換テーブル120fを基にして、概要パラメータを生成する。たとえば、受付部130cは、パラメータセットSet1〜Set3の第1〜第3パラメータの概要パラメータを算出し、パラメータセットSet1〜Set3の概要パラメータを視覚可能な状態で、表示部112に表示させる。
ユーザは、入力部111を操作して、いずれかのパラメータセットを選択し、受付部130cは、選択されたパラメータセットに対応する概要パラメータを受け付ける。ユーザは、いずれかのパラメータセットを選択した後に、入力部111を操作して、概要パラメータの値を直接変更してもよい。受付部130cは、上記の処理によって、概要パラメータの選択を受け付けると、概要パラメータと、モジュールIDとを対応付けて、解析部130dに出力する。
更に、受付部130cは、解析結果画面40のアイコンICnに、概要パラメータを視覚可能な画像に変換して表示し、概要パラメータの変更を受け付けてもよい。図20は、概要パラメータの変更処理を説明するための図である。図20では一例として、アイコンIC2を用いて説明する。アイコンIC2には、概要パラメータ変更領域A52が含まれている。受付部130cは、選択候補となる概要パラメータを画像に変換し、変換した画像を概要パラメータ変更領域A52に配列する。たとえば、受付部130cは、概要パラメータに応じた輝度画像を、概要パラメータ変更領域A52に配列する。各画像と、各概要パラメータとはそれぞれ対応付けられており、ユーザによって、いずれかの画像が選択されると、受付部130cは、受け付けた画像に対応する概要パラメータを取得する。
[4.処理手順]
[4−1.第1の実施形態に係る解析処理手順]
次に、図21、図22を用いて、第1の実施形態に係る処理手順を説明する。図21は、第1の実施形態に係る解析処理手順を示すフローチャートである。図21に示すように、解析装置100の解析部130dは、解析モジュール構成情報120cを取得する(ステップS101)。解析装置100の解析対象指定部130bは、病理画像DB120aから、病理画像を取得し、表示部112に表示させる(ステップS102)。
解析対象指定部130bは、入力部111を操作するユーザから、アノテーションの指定を受け付ける(ステップS103)。解析装置100の解析部130dは、解析モジュールテーブル120bから、解析モジュールをロードする(ステップS104)。解析部130dは、ロードした解析モジュールに対するパラメータを取得する(ステップS105)。
解析部130dは、解析モジュールの部分解析処理を実行する(ステップS106)。解析部130dは、部分解析処理の処理結果を、中間データテーブル120eに格納する(ステップS107)。
出力部130eは、中間データテーブル120eの中間データを基にして、解析結果画面を生成して、表示部112に表示させる(ステップS108)。解析部130dは、次の解析モジュールがない場合には(ステップS109,No)、ステップS111に移行する。一方、解析部130dは、次の解析モジュールがある場合には(ステップS109,Yes)、次の解析モジュールをロードし(ステップS110)、ステップS105に移行する。
受付部130cは、パラメータの変更を受け付けたか否かを判定する(ステップS111)。受付部130cは、パラメータの変更を受け付けていない場合には(ステップS111,No)、解析処理を終了する。一方、受付部130cが、パラメータの変更を受け付けた場合には(ステップS111,Yes)、解析部130dは、変更されたパラメータに関する解析モジュールをロードし(ステップS112)、ステップS105に移行する。
[4−2.第1の実施形態に係るパラメータ表示処理手順]
図22は、第1の実施形態に係るパラメータ表示処理手順を示すフローチャートである。図22に示すように、解析装置100の出力部130eは、解析結果画面を表示する(ステップS201)。解析装置100の受付部130cは、パラメータの変更ボタンbunの押下を受けない場合には(ステップS202,No)、処理を終了する。
解析装置100の受付部130cは、パラメータの変更ボタンbunの押下を受け付けた場合(ステップS202,No)、ステップS203に移行する。受付部130cは、概要パラメータで表示する場合には(ステップS203,Yes)、概要パラメータ変換テーブル120fを基にして、概要パラメータを算出する(ステップS204)。受付部130cは、概要パラメータを表示する(ステップS205)。一方、受付部130cは、概要パラメータで表示しない場合には(ステップS203,No)、パラメータを表示する(ステップS206)。
[5.パラメータの一例]
以下において、解析モジュールMnで用いられるパラメータの一例について説明する。解析モジュールM1のように、染色分離を行う部分解析処理では、RGB(Red Green Blue)空間に2つのベクトルを配置し、この2つのベクトルをパラメータとして用いる。解析部130dは、解析モジュールM1を実行し、2つのベクトル(第1ベクトル、第2ベクトル)を用いて、アノテーションを、核を検出するための染色の領域と、膜を検出するための染色の領域とに分離する。たとえば、解析部130dは、領域の色が第1ベクトルに近い場合には、かかる領域を、核を検出するための染色の領域とする。解析部130dは、領域の色が第2ベクトルに近い場合には、かかる領域を、膜を検出するための染色の領域とする。
解析モジュールM2,M3のように、細胞核を検出する解析処理では、パラメータとして、核の円形度、異形度、真円度等が指定される。解析モジュールM2,M3は、核の円形度、異形度、真円度等のうち少なくとも一つを用いて、アノテーションから核細胞を検出する部分解析処理を実行する。また、解析モジュールM2,M3(他の解析モジュールMn)は、細胞のCR比、染色の染まり具合に関するスコアを、パラメータとして用いてもよい。
ある解析モジュールMnは、アノテーションに対応する細胞を検出する場合、アノテーションと細胞の核との距離が閾値未満で、かつ、最も近い細胞を、アノテーションの細胞として検出する処理を実行する場合がある。ここで用いられる閾値が、パラメータとして用いられる。図23は、パラメータの一例を説明するための図である。図23に示す例では、アノテーションA21の近辺に、核n1,n2,n3が存在しているが、アノテーションA21との距離が最短で、閾値未満(パラメータ)となる、核n1が、アノテーションA21に対応する細胞の核として選択される。
ある解析モジュールMn(距離モジュール)は、複数の細胞を検出した場合にクラスタリングを実行することで、複数の細胞を、第1細胞群と、第2細胞群に分類し、第1細胞群と、第2細胞群との距離を算出する処理を実行する場合がある。この第1細胞群と、第2細胞群との距離を算出する場合に、比較対象となる細胞をどのように決定するのかを示す情報がパラメータとして指定される。たとえば、第1細胞群の重心に近い細胞と、第2細胞群の重心に近い細胞を、比較対象とすることなどが、パラメータで指定される。
たとえば、かかる解析モジュール(距離モジュール)では、第1細胞群と第2細胞群との距離と頻度との関係を基にして、ヒストグラムを生成する。図24は、解析モジュールが生成するヒストグラムの一例を示す図である。ヒストグラムh1の縦軸は、頻度に対応し、横軸は距離に対応する。出力部130eは、かかるヒストグラムh1を中間データとして、解析モジュールのアイコンに対応付けて視覚可能に表示してもよい。
[6.第1の実施形態に係る解析装置の効果]
第1の実施形態に係る解析装置100によれば、受付部130cが、病理画像の解析処理で用いられるパラメータを受け付け、出力部130eが、パラメータを基にして実行される解析処理の途中経過の情報を視覚可能な状態で出力する。これによって、ユーザは、パラメータによる解析結果の影響を確認することができる。
解析装置100によれば、受付部130cがパラメータの変更を更に受け付け、出力部130eは、パラメータが変更される度に、変更されたパラメータを基にして実行される解析処理の途中経過を視覚可能な状態で出力する。これによって、ユーザは、パラメータの変更が及ぼす解析結果の途中経過の情報を確認できる。
解析装置100によれば、出力部130eは、解析処理の途中経過の情報と、パラメータとを対応付けて視覚可能な状態で出力する。これによって、ユーザは、解析モジュールが用いるパラメータを容易に確認することができる。
解析装置100によれば、出力部130eは、複数のパラメータを一つにまとめられた概要パラメータを基にして実行される解析処理の途中経過の情報と、概要パラメータとを対応付けて視覚可能な状態で出力する。これによって、ユーザは、概要パラメータによる解析結果の影響を確認することができる。また、ユーザは、複数のパラメータを、一つの概要パラメータで大まかに把握することができる。
解析装置100は、解析部130dが、解析モジュールテーブル120bに格納された各解析モジュールを順に読み出して、部分解析処理を実行し、出力部130eは、部分解析処理の結果をそれぞれ視覚可能な状態で出力する。これによって、ユーザは、パラメータの変更が及ぼす各部分解析処理の結果をそれぞれ確認することができる。
解析装置100は、解析部130dが、上流の部分解析処理を実行した結果(中間データ)を、中間データテーブル120eに格納し、中間データテーブル120eの中間データを、下流の部分解析処理を実行する場合の入力として用いる。これによって、上流の部分解析処理の結果を用いて、下流の部分解析処理を実行することができる。
解析装置100は、解析モジュール構成情報120cを基にして、各解析モジュールを読み出し、各解析モジュールの部分解析処理を順に実行する。これによって、解析モジュール構成情報に応じた順序で、各解析モジュールの部分解析処理を実行することができる。
解析装置100が実行する部分解析処理には、細胞核を検出する処理が含まれ、細胞核を検出する処理のパラメータは、円形度、異形度、真円度が含まる。解析部130dは、円形度、異形度、真円度のうち少なくとも一つを用いて、病理画像から細胞核を検出する部分解析処理を実行する。これによって、円形度、異形度、真円度等のパラメータを用いた部分解析処理を実行し、細胞核を検出することができる。
解析装置100が実行する部分解析処理には、染色の分離を行う処理が含まれ、染色の分離を行う処理のパラメータは、分離を行うためのRGB空間のベクトルを含む。解析部130dは、RGB空間のベクトルパラメータとして用いることで、アノテーションの領域を、核を検出するための染色の領域と、膜を検出するための染色の領域とに分離することができる。
(第2の実施形態)
[7.第2の実施形態に係る解析装置]
上記第1の実施形態では、病理画像に対して、一つのアノテーションを指定し、アノテーションに対して解析処理を実行する場合について説明した。第2の実施形態では、複数の病理画像に対して指定された複数のアノテーションそれぞれについて、解析処理を実行し、各解析処理の途中経過の情報を視覚可能な状態で出力する例について説明する。図示を省略するが、第2の実施形態に係る解析装置は、図1で説明した病理システム10に接続されているものとする。
ここで、複数の病理画像はどのような画像の組み合わせであってもよい。複数の画像の組み合わせの一例を列挙すると、「異なる試薬で染色された病理画像」、「明視野画像と蛍光画像」、「一般染色画像と特殊染色画像」、「病理画像と、病理画像とは異なる医療画像」が上げられる。
たとえば、明視野画像は、透過波を対物絞りで選択して観察する公知の明視野法で観測された顕微鏡画像である。蛍光画像は、細胞に対して蛍光染色を実施してコントラストを高めた細胞の画像である。一般染色画像は、病変部から採取した組織を、ヘマトキシリン・エオジン(HE)で染色したものを撮影した病理画像である。特殊染色画像は、目的ごとに特定の組織要素を可視化する染色を、病変部から採取した組織に対して行い(特殊染色)、特殊染色した組織を撮影した病理画像である。なお、医療画像は、X線画像(CT画像)、内視鏡画像または顕微鏡画像等に対応する。
図25は、第2の実施形態に係る解析装置の一例を示す図である。図25に示すように、この解析装置200は、通信部210と、入力部211と、表示部212と、記憶部220と、制御部230とを有する。
通信部210は、例えば、NIC等によって実現される。通信部210は、図示しないネットワークと有線又は無線で接続され、ネットワークを介して、病理システム10等との間で情報の送受信を行う。後述する制御部230は、通信部210を介して、これらの装置との間で情報の送受信を行う。
入力部211は、各種の情報を、解析装置200に入力する入力装置である。入力部211は、キーボードやマウス、タッチパネル等に対応する。
表示部212は、制御部230から出力される情報を表示する表示装置である。表示部212は、液晶ディスプレイ、有機ELディスプレイ、タッチパネル等に対応する。
記憶部220は、病理画像DB220a、解析モジュールテーブル220b、解析モジュール構成情報220c、パラメータテーブル220d、中間データテーブル220e、概要パラメータ変換テーブル220fを有する。記憶部220は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
病理画像DB220aは、複数の病理画像を格納するデータベースである。病理画像DB220aに関する説明は、第1の実施形態で説明した病理画像DB120aに関する説明と同様である。
解析モジュールテーブル220bは、病理画像に対する解析処理を実行する複数の解析モジュールを保持するテーブルである。解析モジュールテーブル220bに関する説明は、第1の実施形態で説明した解析モジュールテーブル120bに関する説明と同様である。
解析モジュール構成情報220cは、解析モジュールの接続関係を示す情報である。解析モジュール構成情報220cに関する説明は、第1の実施形態で説明した解析モジュール構成情報120cに関する説明と同様である。
パラメータテーブル220dは、各解析モジュールが解析処理を実行する場合に利用するパラメータを格納するテーブルである。パラメータテーブル220dに関する説明は、第1の実施形態で説明したパラメータテーブル120dに関する説明と同様である。
中間データテーブル220eは、各解析モジュールの処理結果をそれぞれ格納するテーブルである。中間データテーブル220eに関する説明は、第1の実施形態で説明した中間データテーブル120eに関する説明と同様である。
概要パラメータ変換テーブル220fは、パラメータを概要パラメータに変換する場合に参照されるテーブルである。概要パラメータ変換テーブル220fに関する説明は、第1の実施形態で説明した概要パラメータ変換テーブル120fに関する説明と同様である。
制御部230は、取得部230a、解析対象指定部230b、受付部230c、解析部230d、出力部230eを有する。制御部230は、例えば、CPUやMPUによって、解析装置200内部に記憶されたプログラム(解析プログラムの一例)がRAM等を作業領域として実行されることにより実現される。また、制御部230は、例えばASICやFPGA等の集積回路により実行されてもよい。
取得部230aは、サーバ12に対して病理画像の取得要求を送り、サーバ12から病理画像を取得する処理部である。取得部230aは、取得した病理画像を、病理画像DB220aに登録する。
解析対象指定部230bは、ユーザの操作に基づいて、複数の病理画像に対して、解析対象となるアノテーションを指定する処理部である。
図26は、本実施例2に係る解析対象指定部230bの処理を説明するための図である。たとえば、解析対象指定部230bは、病理画像DB220aから病理画像I1,I2の情報を取得して、表示部212に表示させる。
病理画像I1には、観察対象物A10が全体的に描出される。病理画像I2には、観察対象A11が全体的に描出される。たとえば、ユーザは、表示部212を参照しつつ、入力部211を操作して、アノテーションRI21,RI22,RI23を選択する。なお、病理画像に対する各アノテーションは、予め、病理システム10の病理医が指定しておいてもよい。
解析対象指定部230bは、病理画像およびアノテーションの情報を、解析部230dに出力する。
受付部230cは、病理画像の解析処理で用いられるパラメータを受け付ける処理部である。受付部230cは、後述する出力部230eと協働して、各解析モジュールが用いるパラメータの変更を受け付けてもよい。
解析部230dは、各病理画像に対して指定された複数のアノテーションに対して、複数の解析モジュールによる解析処理をそれぞれ実行する処理部である。解析部230dが、一つのアノテーションに対して実行する処理は、解析部130dが実行する解析処理と同様である。たとえば、解析部230dは、アノテーションRI21,RI22,RI23を入力として、ぞれぞれ、解析部130dで説明した解析処理を実行する。
図示を省略するが、解析部230dは、アノテーションRI21に対して実行した解析処理(複数の部分解析処理)の中間データ、アノテーションRI22に対して実行した解析処理(複数の部分解析処理)の中間データ、アノテーションRI23に対して実行した解析処理(複数の部分解析処理)の中間データをそれぞれ区別して、中間データテーブル220eに登録する。
解析部230dは、解析モジュールMn(n=1〜8)に対するパラメータとして、受付部230cが受け付けたパラメータを用いる。解析部230dは、パラメータを受け付けていない場合、予め、解析モジュールMnに対して設定されたパラメータの初期値を用いる。たとえば、パラメータの初期値を、パラメータテーブル220dのパラメータセット「Set1」のパラメータとする。
解析部230dは、受付部230cからパラメータの更新を受け付けた場合には、更新されたパラメータを用いて、各解析モジュールMnを実行する。解析部230dは、特定の解析モジュールのパラメータが更新された場合、全ての解析モジュールMnの部分解析処理を実行してもよいし、特定の解析モジュールの下流に位置する解析モジュールの部分解析処理のみを実行してもよい。
更に、解析部230dは、受付部230cから概要パラメータを受け付けた場合には、概要パラメータを用いて、各解析モジュールMnを実行する。各解析モジュールMnは、パラメータに基づいて実行する部分解析処理のアルゴリズムとは別に、概要パラメータに基づいて実行する簡易的な部分解析処理のアルゴリズムが定義されているものとする。
出力部230eは、パラメータを基にして実行される解析処理の途中経過の情報を視覚可能な状態で出力する処理部である。たとえば、出力部230eは、図27に示すような解析結果画面50を生成して、表示部112に表示させる。
図27は、第2の実施形態に係る解析結果画面50の一例を示す図である。図27に示すように、解析結果画面50には、アイコンIC1−1〜IC8−1,IC1−2〜IC8−2,IC1−3〜IC8−3が配置される。アイコンIC1−1〜IC8−1,IC1−2〜IC8−2,IC1−3〜IC8−3はそれぞれ、解析モジュールM1〜M8に対応するアイコンである。出力部230eは、解析モジュール構成情報220cを基にして、解析モジュールM1〜M8の接続関係を特定し、接続関係を基にして、アイコンIC1〜IC8,IC1−2〜IC8−2,IC1−3〜IC8−3を配置して接続する。
アイコンICn−1(n=1〜8)には、「アノテーションRI21」に対する解析モジュールMnの部分解析処理の結果(中間データ)を視覚可能に表示する領域が関連付けて配置される。
アイコンICn−2(n=1〜8)には、「アノテーションRI22」に対する解析モジュールMnの部分解析処理の結果(中間データ)を視覚可能に表示する領域が関連付けて配置される。
アイコンICn−3(n=1〜8)には、「アノテーションRI23」に対する解析モジュールMnの部分解析処理の結果(中間データ)を視覚可能に表示する領域が関連付けて配置される。
ここで、アイコンICn−1,ICn−2、ICn−3(n=1〜8)には、パラメータを変更するための変更ボタンがそれぞれ配置される。たとえば、ユーザは、アイコンIC1−1の変更ボタンを押下することで、アノテーションRI21に対して、染色分離を実行する解析モジュールM1で用いるパラメータを変更する。
ユーザは、アイコンIC1−2の変更ボタンを押下することで、アノテーションRI22に対して、染色分離を実行する解析モジュールM1で用いるパラメータを変更する。ユーザは、アイコンIC1−3の変更ボタンを押下することで、アノテーションRI23に対して、染色分離を実行する解析モジュールM1で用いるパラメータを変更する。
変更ボタンを押下して、パラメータを変更する処理は、第1の実施形態と同様である。ユーザは、同一の部分解析処理を実行する解析モジュールに対して、それぞれ独立したパラメータを指定することができる。たとえば、個別に指定されるパラメータは、アイコンの識別情報等を用いて、それぞれ区別される。なお、ユーザは、入力部111を操作して、一括して、パラメータを指定してもよい。たとえば、受付部230cは、アイコンIC1−1〜IC8−1に指定したパラメータを、そのまま、アイコンIC1−2〜IC8−2,IC1−3〜IC8−3のパラメータとして受け付けてもよい。
受付部230cは、上記の処理によって、パラメータの変更を受け付けると、変更後のパラメータと、パラメータが変更されたアイコンの識別情報とを対応付けて、解析部230dに出力する。解析部230dは、受付部130cからパラメータの更新を受け付けた場合には、更新されたパラメータを用いて、各解析モジュールMnを実行する。
たとえば、解析部230dは、アイコンIC1−1、IC1−2、IC1−3に対してそれぞれ、パラメータが更新された場合には、解析モジュールM1をロードし、アイコンIC1−1で指定されたパラメータを用いた染色分離、アイコンIC1−2で指定されたパラメータを用いた染色分離、アイコンIC1−3で指定されたパラメータを用いた染色分離をそれぞれ実行して、中間データを算出する。他の解析モジュールMnについても同様である。
[8.第2の実施形態に係る解析装置の効果]
第2の実施形態に係る解析装置200によれば、出力部230eが、異なる複数の病理画像に対して実行される各解析結果の途中経過の情報を視覚可能な状態で出力する。これによって、ユーザは、異なる複数の病理画像に対して、パラメータによる解析結果の影響を比較して確認することができる。たとえば、ユーザは、一つの病理画像に対して最適なパラメータを設定できても、かかるパラメータを用いて、他の病理画像に対して解析処理を実行した場合に、適切に解析結果を得られるか否かを比較検討することができる。
[9.複数タイプの病理画像を組み合わせた解析]
[9−1.HE染色画像とIHC染色画像を用いた解析例]
上述した第2の実施形態に係る解析装置200は、複数タイプの病理画像を組み合わせた解析を実行することができる。まず、HE染色画像とIHC染色画像を用いた解析例について説明する。図28は、HE染色画像とIHC染色画像の一例を示す図である。解析対象指定部230bは、病理画像DB220aから、HE染色画像I1a、IHC染色画像I1b、IHC染色画像I1cの情報を取得して、表示部212に表示させる。
HE染色画像I1aは、一般染色画像に対応する。IHC染色画像I1bは、特殊染色画像(ER;核染色)に対応し、IHC染色画像I1cは、特殊染色画像(HER2;膜染色)に対応する。HE染色画像I1aには、観察対象A10aが全体的に抽出される。IHC染色画像I1bには、観察対象A10bが全体的に抽出される。IHC染色画像I1cには、観察対象A10cが全体的に抽出される。
ユーザは、表示部212を参照しつつ、入力部211を操作して、アノテーションRI21aを選択する。解析対象指定部230bは、アノテーションRI21aの選択を受け付けると、観察対象A10aとの位置および向きのずれを補正するため、観察対象A10b,A10Cの位置・回転補正を行った後に、アノテーションRI21aと対応する位置に、それぞれアノテーションRI21b,RI21cを設定する。なお、ユーザが、入力部211を操作して、アノテーションRI21b,RI21cを指定してもよい。
解析対象指定部230bは、HE染色画像I1a、IHC染色画像I1b、IHC染色画像I1c、各アノテーションRI21a,RI21b,RI21cの情報を、解析部230dに出力する。
解析部230dは、アノテーションRI21aを入力として、染色されている核の領域を検出し、形状特徴量(面積、周囲長、長軸長、短軸長、円形度等)を算出する。解析部230dは、形状特徴量から核の異型度を示す「核形状スコア」を算出する。たとえば、解析部230dは、部分解析処理として、HE染色分離、核領域検出、核形状特徴量算出、核形状スコア算出を実行する。
解析部230dは、アノテーションRI21bを入力として、陽性核及び陰性核を検出する。解析部230dは、検出された陽性核から核染色強度を、陽性核数及び陰性核数から核染色率を算出する。解析部230dは、核染色強度及び核染色率から「核染色スコア」を算出する。たとえば、解析部230dは、部分解析処理として、IHC染色分離、陰性核検出、陽性核検出、核染色率算出、核染色強度算出、核染色スコア算出を実行する。
解析部230dは、アノテーションRI21cを入力として、陰性核を検出し、検出された陰性核周辺から陽性膜を検出する。解析部230dは、検出された陽性膜から膜染色強度を、陰性核数と陽性膜数から膜染色率を算出する。解析部230dは、膜染色強度及び膜染色率から「膜染色スコア」を算出する。たとえば、解析部230dは、部分解析処理として、IHC染色分離、陰性核検出、陽性膜検出、膜染色率算出、膜染色強度算出、膜染色スコア算出を実行する。
そして、解析部230dは、核形状スコア、核染色スコア及び膜染色スコアから、トータルスコアを算出する。たとえば、解析部230dは、部分解析処理として、トータルスコア算出を実行する。
図示を省略するが、各部分解析処理に対応する各解析モジュールMnは、解析モジュールテーブル220bに登録されているものとする。また、各解析モジュールの接続関係の情報は、解析モジュール構成情報220cに登録されているものとする。
解析部230dは、アノテーションRI21aに対して実行した解析処理(複数の部分解析処理)の中間データ、アノテーションRI21bに対して実行した解析処理(複数の部分解析処理)の中間データ、アノテーションRI21cに対して実行した解析処理(複数の部分解析処理)の中間データをそれぞれ区別して、中間データテーブル220eに登録する。
解析部230dは、解析モジュールMnに対するパラメータとして、受付部230cが受け付けたパラメータを用いる。解析部230dは、パラメータを受け付けていない場合、予め、解析モジュールMnに対して設定されたパラメータの初期値を用いる。
解析部230dは、受付部230cからパラメータの更新を受け付けた場合には、更新されたパラメータを用いて、各解析モジュールMnを実行する。解析部230dは、特定の解析モジュールのパラメータが更新された場合、全ての解析モジュールMnの部分解析処理を実行してもよいし、特定の解析モジュールの下流に位置する解析モジュールの部分解析処理のみを実行してもよい。
出力部230eは、パラメータを基にして実行される解析処理の途中経過の情報を視覚可能な状態で出力する処理部である。たとえば、出力部230eは、図29に示すような解析結果画面60を生成して、表示部112に表示させる。
図29は、HE染色画像とIHC染色画像を用いた解析結果画面60の一例を示す図である。図29に示すように、解析結果画面60には、アイコンIC61−1〜IC64−1,IC61−2〜IC66−2,IC61−3〜IC66−3,IC67が配置される。
アイコンIC61−1〜IC64−1は、HE染色分離、核領域検出、核形状特徴量算出、核形状スコア算出の解析モジュールに対応するアイコンである。アイコンIC61−2〜IC66−2は、IHC染色分離、陰性核検出、陽性核検出、核染色率算出、核染色強度算出、核染色スコア算出の解析モジュールに対応するアイコンである。アイコンIC61−3〜IC66−3は、IHC染色分離、陰性核検出、陽性膜検出、膜染色率算出、膜染色強度算出、膜染色スコア算出の解析モジュールに対応するアイコンである。アイコンIC67は、トータルスコア算出の解析モジュールに対応するアイコンである。
アイコンICn−1(n=61〜64)には、「アノテーションRI21a」に対する解析モジュールMnの部分解析処理の結果(中間データ)を視覚可能に表示する領域が関連付けて配置される。
アイコンICn−2(n=61〜66)には、「アノテーションRI21b」に対する解析モジュールMnの部分解析処理の結果(中間データ)を視覚可能に表示する領域が関連付けて配置される。
アイコンICn−3(n=61〜66)には、「アノテーションRI21c」に対する解析モジュールMnの部分解析処理の結果(中間データ)を視覚可能に表示する領域が関連付けて配置される。アイコンIC67には、トータルスコア算出の結果を視覚可能に表示する領域が関連付けて配置される。
なお、アイコンICn−1,ICn−2,ICn−3,IC67には、パラメータを変更するための変更ボタンがそれぞれ配置される。たとえば、ユーザは、アイコンICの変更ボタンを押下することで、パラメータを変更することが可能である。
[9−2.HE染色画像と蛍光IHC染色画像を用いた解析例]
続いて、HE染色画像と蛍光IHC染色画像を用いた解析例について説明する。図30は、HE染色画像と蛍光IHC染色画像の一例を示す図である。解析対象指定部230bは、病理画像DB220aから、HE染色画像I1a、蛍光IHC染色画像I1dの情報を取得して、表示部212に表示させる。
HE染色画像I1aは、一般染色画像に対応する。蛍光IHC染色画像I1dは、細胞に対して蛍光染色を実施してコントラストを高めた細胞の画像である。HE染色画像I1aには、観察対象A10aが全体的に抽出される。蛍光IHC染色画像I1dには、観察対象A10dが全体的に抽出される。
ユーザは、表示部212を参照しつつ、入力部211を操作して、アノテーションRI21aを選択する。解析対象指定部230bは、アノテーションRI21aの選択を受け付けると、観察対象A10aとの位置および向きのずれを補正するため、観察対象A10dの位置・回転補正を行った後に、アノテーションRI21aと対応する位置に、アノテーションRI21dを設定する。なお、ユーザが、入力部211を操作して、アノテーションRI21dを指定してもよい。
解析対象指定部230bは、HE染色画像I1a、蛍光IHC染色画像I1d、各アノテーションRI21a,RI21dの情報を、解析部230dに出力する。
解析部230dは、アノテーションRI21aを入力として、染色されている核の領域を検出し、形状特徴量(面積、周囲長、長軸長、短軸長、円形度等)を算出する。解析部230dは、形状特徴量に基づきゲーティング処理(たとえば、サンプルの中の関心のある特徴量の細胞集団だけを選び出し、その細胞のみのヒストグラムを作る処理)を行い、所定の特徴を有する細胞を、腫瘍細胞として抽出する。たとえば、解析処理230dは、部分解析処理として、HE染色分離、核領域検出、核形状特徴量算出、腫瘍細胞抽出を実行する。
解析部230dは、アノテーションRI21dを入力として、蛍光染色分離を行い、染色ごとに陽性細胞(T細胞、B細胞等)の検出を行う。たとえば、解析処理部230dは、部分解析処理として、蛍光染色分離、陽性細胞検出(蛍光1;T細胞)、陽性細胞検出(蛍光2;B細胞)を実行する。
解析部230dは、HE染色細胞から検出された腫瘍細胞の核と、蛍光画像から検出された細胞間で、総当たり距離を算出し、細胞間距離分布を作成する。たとえば、解析部230dは、部分解析処理として、第1細胞間距離分布算出、第2細胞間距離分布算出を実行する。第1細胞間距離は、腫瘍細胞の核と、T細胞との距離を示す。第2細胞間距離は、腫瘍細胞の核と、B細胞との距離を示す。
図31は、細胞間距離分布の一例を示す図である。図31に示すグラフにおいて、縦軸は頻度に対応し、横軸は細胞間距離に対応する。曲線31aは、第1細胞間距離分布算出によって算出される第1細胞間距離の分布を示すものである。曲線31bは、第2細胞間距離分布算出によって算出される第2細胞間距離の分布を示すものである。
図示を省略するが、各部分解析処理に対応する各解析モジュールMnは、解析モジュールテーブル220bに登録されているものとする。また、各解析モジュールの接続関係の情報は、解析モジュール構成情報220cに登録されているものとする。
解析部230dは、アノテーションRI21aに対して実行した解析処理(複数の部分解析処理)の中間データ、アノテーションRI21dに対して実行した解析処理(複数の部分解析処理)の中間データをそれぞれ区別して、中間データテーブル220eに登録する。
解析部230dは、解析モジュールMnに対するパラメータとして、受付部230cが受け付けたパラメータを用いる。解析部230dは、パラメータを受け付けていない場合、予め、解析モジュールMnに対して設定されたパラメータの初期値を用いる。
解析部230dは、受付部230cからパラメータの更新を受け付けた場合には、更新されたパラメータを用いて、各解析モジュールMnを実行する。解析部230dは、特定の解析モジュールのパラメータが更新された場合、全ての解析モジュールMnの部分解析処理を実行してもよいし、特定の解析モジュールの下流に位置する解析モジュールの部分解析処理のみを実行してもよい。
出力部230eは、パラメータを基にして実行される解析処理の途中経過の情報を視覚可能な状態で出力する処理部である。たとえば、出力部230eは、図32に示すような解析結果画面70を生成して、表示部112に表示させる。
図32は、HE染色画像と蛍光IHC染色画像を用いた解析結果画面70の一例を示す図である。図32に示すように、解析結果画面70には、アイコンIC71−1〜IC74−1,IC71−2〜IC72−3,IC73,IC74が配置される。
アイコンIC71−1〜IC74−1は、HE染色分離、核領域検出、核形状特徴量算出、腫瘍細胞抽出の解析モジュールに対応するアイコンである。アイコンIC71−2〜IC73−2は、蛍光染色分離、陽性細胞検出(蛍光1;T細胞)、陽性細胞検出(蛍光1;T細胞)の解析モジュールに対応するアイコンである。アイコンIC73は、第1細胞間距離算出の解析モジュールに対応するアイコンである。アイコンIC74は、第2細胞間距離算出の解析モジュールに対応するアイコンである。
アイコンICn−1(n=71〜74)には、「アノテーションRI21a」に対する解析モジュールMnの部分解析処理の結果(中間データ)を視覚可能に表示する領域が関連付けて配置される。
アイコンICn−2(n=71〜73)には、「アノテーションRI21d」に対する解析モジュールMnの部分解析処理の結果(中間データ)を視覚可能に表示する領域が関連付けて配置される。
アイコンIC73には、第1細胞間距離算出の結果(中間データ)を視覚可能に表示する領域が設定される。アイコンIC74には、第2細胞間距離算出の結果(中間データ)を視覚可能に表示する領域が設定される。
なお、アイコンICn−1,ICn−2,IC73,IC74には、パラメータを変更するための変更ボタンがそれぞれ配置される。たとえば、ユーザは、アイコンICの変更ボタンを押下することで、パラメータを変更することが可能である。
[9−3.HE染色画像と病理画像以外の画像を用いた解析例]
続いて、HE染色画像と病理画像以外の画像を用いた解析例について説明する。ここでは、病理画像以外の画像として、CT画像(X線画像)を用いて説明を行う。図33は、HE染色画像とCT画像の一例を示す図である。解析対象指定部230bは、病理画像DB220aから、HE染色画像I1aの情報を取得し、図示しないDBから、CT画像G33の情報を取得し、表示部212に表示させる。
HE染色画像I1aは、一般染色画像に対応する。CT画像G33は、病理画像以外の画像である。HE染色画像I1aには、観察対象A10aが全体的に抽出される。
ユーザは、表示部212を参照しつつ、入力部211を操作して、アノテーションRI21a,RI21eを選択する。解析対象指定部230bは、アノテーションRI21aに対応する、アノテーションRI21eを自動的に選択してもよい。
解析対象指定部230bは、HE染色画像I1a、CT画像G33、各アノテーションRI21a,RI21eの情報を、解析部230dに出力する。
解析部230dは、アノテーションRI21aを入力として、染色されている核の領域を検出する。解析部230dは、予め深層学習等で学習したモデルを使って、細胞のタイプを分類する。解析部230dは、細胞のタイプを、未分化、低分化、高分化のいずれかに分類する。あるいは、解析部230dは、細胞のタイプを、ステージ0、ステージ1、ステージ2、ステージ3等のいずれかに分類する。たとえば、解析部230dは、部分解析処理として、HE染色分離、核領域検出、細胞タイプ分類を実行する。
解析部230dは、アノテーションRI21eを入力として、臓器領域を検出し、臓器領域の内部から腫瘍領域を検出して腫瘍の面積を算出する。たとえば、解析部230dは、部分解析処理として、臓器領域検出、腫瘍領域検出、腫瘍サイズを実行する。
解析部230dは、細胞タイプと腫瘍面積から腫瘍の悪性スコアを算出する。たとえば、解析部230dは、部分解析処理として、腫瘍悪性度スコア算出を実行する。
図示を省略するが、各部分解析処理に対応する各解析モジュールMnは、解析モジュールテーブル220bに登録されているものとする。また、各解析モジュールの接続関係の情報は、解析モジュール構成情報220cに登録されているものとする。
解析部230dは、アノテーションRI21aに対して実行した解析処理(複数の部分解析処理)の中間データ、アノテーションRI21eに対して実行した解析処理(複数の部分解析処理)の中間データをそれぞれ区別して、中間データテーブル220eに登録する。
解析部230dは、解析モジュールMnに対するパラメータとして、受付部230cが受け付けたパラメータを用いる。解析部230dは、パラメータを受け付けていない場合、予め、解析モジュールMnに対して設定されたパラメータの初期値を用いる。
解析部230dは、受付部230cからパラメータの更新を受け付けた場合には、更新されたパラメータを用いて、各解析モジュールMnを実行する。解析部230dは、特定の解析モジュールのパラメータが更新された場合、全ての解析モジュールMnの部分解析処理を実行してもよいし、特定の解析モジュールの下流に位置する解析モジュールの部分解析処理のみを実行してもよい。
出力部230eは、パラメータを基にして実行される解析処理の途中経過の情報を視覚可能な状態で出力する処理部である。たとえば、出力部230eは、図34に示すような解析結果画面80を生成して、表示部112に表示させる。
図34は、HE染色画像とCT画像を用いた解析結果画面80の一例を示す図である。図34に示すように、解析結果画面80には、アイコンIC81−1〜IC83−1,IC81−2〜IC83−2,IC84が配置される。
アイコンIC81−1〜IC83−1は、HE染色分離、核領域検出、細胞タイプ分類の解析モジュールに対応するアイコンである。アイコンIC81−2〜IC83−2は、内臓領域検出、腫瘍領域検出、腫瘍サイズ算出の解析モジュールに対応するアイコンである。アイコンIC84は、腫瘍悪性度スコア算出の解析モジュールに対応するアイコンである。
アイコンICn−1(n=81〜83)には、「アノテーションRI21a」に対する解析モジュールMnの部分解析処理の結果(中間データ)を視覚可能に表示する領域が関連付けて配置される。
アイコンICn−2(n=81〜83)には、「アノテーションRI21e」に対する解析モジュールMnの部分解析処理の結果(中間データ)を視覚可能に表示する領域が関連付けて配置される。
アイコンIC84には、腫瘍悪性度スコア算出の結果を視覚可能に表示する領域が関連付けて配置される。
なお、アイコンICn−1,ICn−2,IC84には、パラメータを変更するための変更ボタンがそれぞれ配置される。たとえば、ユーザは、アイコンICの変更ボタンを押下することで、パラメータを変更することが可能である。
[10.ハードウェア構成]
上述してきた各実施形態に係る解析装置は、たとえば、図35に示すような構成のコンピュータ1000によって実現される。以下、第1の実施形態に係る解析装置100を例に挙げて説明する。図35は、解析装置の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る解析装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた解析処理プログラムを実行することにより、取得部130a、解析対象指定部130b、受付部130c、解析部130d、出力部130e等の機能を実現する。また、HDD1400には、本開示に係る解析処理プログラム等が格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
[11.むすび]
解析装置は、受付部と、出力部とを有する。受付部は、病理に関する画像の第一の解析処理で用いられるパラメータを受け付ける。出力部は、前記パラメータに基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する。前記第一の結果と前記第二の結果は、画像情報である。これによって、ユーザは、パラメータによる解析結果の影響を確認することができる。
前記受付部は、前記パラメータの更新を更に受け付け、前記出力部は、前記パラメータが更新される度に、更新されたパラメータを基にして実行される前記第一の結果と、前記第二の結果を視覚可能な状態で出力する。これによって、これによって、ユーザは、パラメータの変更が及ぼす解析結果の途中経過の情報を確認できる。
前記出力部は、前記第一の結果と、前記第二の結果と、前記パラメータとを対応付けて視覚可能な状態で出力する。これによって、ユーザは、解析モジュールが用いるパラメータを容易に確認することができる。
前記出力部は、複数のパラメータを一つにまとめられた概要パラメータを基にして実行される前記第一の結果と、前記第二の結果と、前記概要パラメータとを対応付けて視覚可能な状態で出力する。これによって、ユーザは、概要パラメータによる解析結果の影響を確認することができる。また、ユーザは、複数のパラメータを、一つの概要パラメータで大まかに把握することができる。
前記解析処理には、前記第一の解析処理および前記第二の解析処理を含む、連続する複数の解析処理が含まれ、前記出力部は、前記複数の解析処理のうち、前記受付部によって受け付けられたパラメータを基にして解析処理が行われる解析処理の結果を視覚可能な状態で出力する。これによって、ユーザは、部分解析処理毎に出力される処理の途中経過を確認することができる。
前記複数の解析処理の順序を定義した順序定義情報を基にして、前記複数の解析処理を順に実行する解析部を更に有する。前記解析部は、前記順序定義情報を基にして、前記複数の解析処理のうち、前の解析処理に続く、次の解析処理を特定し、前記前の解析処理の結果を入力として、前記次の解析処理を実行する。これによって、順序定義情報(解析モジュール構成情報)に応じた順序で、各解析モジュールの部分解析処理を実行することができる。また、前の解析処理の結果を用いて、次の解析処理を実行することができる。
前記出力部は、異なる複数の画像に対して実行される前記第一の解析処理の第一の結果と、前記第二の解析処理の第二の結果を視覚可能な状態で出力する。前記複数の画像は、異なる試薬で染色された病理画像である。前記複数の画像は、明視野画像と蛍光画像とを含む。前記複数の画像は、一般染色画像と特殊染色画像とを含む。前記複数の画像は、病理画像と、前記病理画像とは異なる医療画像とを含む。前記医療画像は、X線画像、内視鏡画像または顕微鏡画像である。これによって、ユーザは、異なる複数の病理画像に対して、パラメータによる解析結果の影響を比較して確認することができる。たとえば、ユーザは、一つの病理画像に対して最適なパラメータを設定できても、かかるパラメータを用いて、他の病理画像に対して解析処理を実行した場合に、適切に解析結果を得られるか否かを比較検討することができる。
前記複数の解析処理は、細胞核を検出する処理を含み、前記細胞核を検出する処理のパラメータは、円形度、異形度、真円度が含まれ、前記解析部は、前記円形度、前記異形度、前記真円度のうち少なくとも一つを用いて、前記画像から細胞核を検出する解析処理を実行する。これによって、円形度、異形度、真円度等のパラメータを用いた解析処理を実行し、細胞核を検出することができる。
前記複数の解析処理は、染色の分離を行う処理を含み、前記染色の分離を行う処理のパラメータは、前記分離を行うための色空間のベクトルを含み、前記解析部は、前記色空間のベクトルを用いて、前記画像の領域を、核を検出するための染色の領域と、膜を検出するための染色の領域とに分離する。これによって、色空間のベクトルを用いた解析処理を実行し、染色分離を実行することができる。
前記複数の解析処理は、複数の細胞を検出して、第1細胞群と第2細胞群に分類する処理を含み、前記分類する処理のパラメータは、比較対象の細胞の決定方法が含まれ、前記解析部は、前記第1細胞群と前記第2細胞群との距離を算出する。前記解析部は、前記第1細胞群と前記第2細胞群との距離と頻度との関係を基にして、ヒストグラムを生成する処理を更に実行する。これによって、第1細胞群と第2細胞群との距離と頻度との関係を容易に確認することができる。
前記複数の解析処理は、複数の細胞核を検出する処理を含み、前記解析部は、各細胞核と所定領域との距離をそれぞれ比較し、距離が閾値未満となる細胞核を前記所定領域に対応する細胞核として選択する。これによって、最適な細胞核を選択することができる。
医療画像取得装置と、前記医療画像取得装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される診断支援システムにおいて、前記ソフトウェア(解析プログラム)は、病理に関する画像の第一の解析処理で用いられるパラメータを受け付け、前記パラメータに基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する処理を解析装置に実行させる。これによって、ユーザは、パラメータによる解析結果の影響を確認することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
病理に関する画像の第一の解析処理で用いられるパラメータを受け付ける受付部と、
前記パラメータに基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する出力部と
を有する解析装置。
(2)
前記第一の結果と前記第二の結果は、画像情報であることを特徴とする前記(1)に記載の解析装置。
(3)
前記受付部は、前記パラメータの更新を更に受け付け、
前記出力部は、前記パラメータが更新される度に、更新されたパラメータを基にして実行される前記第一の結果と、前記第二の結果を視覚可能な状態で出力することを特徴とする前記(1)または(2)に記載の解析装置。
(4)
前記出力部は、前記第一の結果と、前記第二の結果と、前記パラメータとを対応付けて視覚可能な状態で出力することを特徴とする(1)、(2)または(3)に記載の解析装置。
(5)
前記出力部は、複数のパラメータを一つにまとめられた概要パラメータを基にして実行される前記第一の結果および前記第二の結果と、前記概要パラメータとを対応付けて視覚可能な状態で出力することを特徴とする前記(4)に記載の解析装置。
(6)
前記解析処理には、前記第一の解析処理および前記第二の解析処理を含む、連続する複数の解析処理が含まれ、前記出力部は、前記複数の解析処理のうち、前記受付部によって受け付けられたパラメータを基にして解析処理が行われる解析処理の結果を視覚可能な状態で出力することを特徴とする前記(1)〜(5)のいずれか一つに記載の解析装置。
(7)
前記複数の解析処理の順序を定義した順序定義情報を基にして、前記複数の解析処理を順に実行する解析部を更に有することを特徴とする前記(6)に記載の解析装置。
(8)
前記解析部は、前記順序定義情報を基にして、前記複数の解析処理のうち、前の解析処理に続く、次の解析処理を特定し、前記前の解析処理の結果を入力として、前記次の解析処理を実行することを特徴とする前記(7)に記載の解析装置。
(9)
前記出力部は、異なる複数の画像に対して実行される前記第一の解析処理の第一の結果と、前記第二の解析処理の第二の結果を視覚可能な状態で出力することを特徴とする前記(1)に記載の解析装置。
(10)
前記複数の画像は、異なる試薬で染色された病理画像であることを特徴とする前記(9)に記載の解析装置。
(11)
前記複数の画像は、明視野画像と蛍光画像とを含むことを特徴とする前記(9)に記載の解析装置。
(12)
前記複数の画像は、一般染色画像と特殊染色画像とを含むことを特徴とする前記(9)に記載の解析装置。
(13)
前記複数の画像は、病理画像と、前記病理画像とは異なる医療画像とを含むことを特徴とする前記(9)に記載の解析装置。
(14)
前記医療画像は、X線画像、内視鏡画像または顕微鏡画像であることを特徴とする前記(13)に記載の解析装置。
(15)
前記複数の解析処理は、細胞核を検出する処理を含み、前記細胞核を検出する処理のパラメータは、円形度、異形度、真円度が含まれ、前記解析部は、前記円形度、前記異形度、前記真円度のうち少なくとも一つを用いて、前記画像から細胞核を検出する解析処理を実行することを特徴とする前記(7)に記載の解析装置。
(16)
前記複数の解析処理は、染色の分離を行う処理を含み、前記染色の分離を行う処理のパラメータは、前記分離を行うための色空間のベクトルを含み、前記解析部は、前記色空間のベクトルを用いて、前記画像の領域を、核を検出するための染色の領域と、膜を検出するための染色の領域とに分離することを特徴とする前記(7)に記載の解析装置。
(17)
前記複数の解析処理は、複数の細胞を検出して、第1細胞群と第2細胞群に分類する処理を含み、前記分類する処理のパラメータは、比較対象の細胞の決定方法が含まれ、前記解析部は、前記第1細胞群と前記第2細胞群との距離を算出することを特徴とする前記(7)に記載の解析装置。
(18)
前記解析部は、前記第1細胞群と前記第2細胞群との距離と頻度との関係を基にして、ヒストグラムを生成する処理を更に実行することを特徴とする前記(17)に記載の解析装置。
(19)
前記複数の解析処理は、複数の細胞核を検出する処理を含み、前記解析部は、各細胞核と所定領域との距離をそれぞれ比較し、距離が閾値未満となる細胞核を前記所定領域に対応する細胞核として選択することを特徴とする前記(7)に記載の解析装置。
(20)
前記解析部は、細胞核の領域を検出する処理、細胞核の形状の特徴量を検出する処理、前記細胞核の特徴量を基にして、ゲーティング処理を実行し、腫瘍細胞を抽出する処理を更に実行することを特徴とする前記(7)に記載の解析装置。
(21)
コンピュータが、
病理に関する画像の第一の解析処理で用いられるパラメータを受け付け、
前記パラメータを基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する
処理を実行する解析方法。
(22)
コンピュータを、
病理に関する画像の第一の解析処理で用いられるパラメータを受け付ける受付部と、
前記パラメータに基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する出力部
として機能されるための解析プログラム。
(23)
医療画像取得装置と、前記医療画像取得装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、
前記ソフトウェアは、
病理に関する画像の第一の解析処理で用いられるパラメータを受け付け、
前記パラメータに基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する処理を解析装置に実行させる
診断支援システム。
100,200 解析装置
110,210 通信部
111,211 入力部
112,212 表示部
120,220 記憶部
120a,220a 病理画像DB
120b,220b 解析モジュールテーブル
120c,220c 解析モジュール構成情報
120d,220d パラメータテーブル
120e,220e 中間データテーブル
120f,220f 概要パラメータ変換テーブル
130,230 制御部
130a,230a 取得部
130b,230b 解析対象指定部
130c,230c 受付部
130d,230d 解析部
130e,230e 出力部

Claims (23)

  1. 病理に関する画像の第一の解析処理で用いられるパラメータを受け付ける受付部と、
    前記パラメータに基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する出力部と
    を有する解析装置。
  2. 前記第一の結果と前記第二の結果は、画像情報であることを特徴とする請求項1に記載の解析装置。
  3. 前記受付部は、前記パラメータの更新を更に受け付け、
    前記出力部は、前記パラメータが更新される度に、更新されたパラメータを基にして実行される前記第一の結果と、前記第二の結果を視覚可能な状態で出力することを特徴とする請求項1に記載の解析装置。
  4. 前記出力部は、前記第一の結果と、前記第二の結果と、前記パラメータとを対応付けて視覚可能な状態で出力することを特徴とする請求項1に記載の解析装置。
  5. 前記出力部は、複数のパラメータを一つにまとめられた概要パラメータを基にして実行される前記第一の結果および前記第二の結果と、前記概要パラメータとを対応付けて視覚可能な状態で出力することを特徴とする請求項4に記載の解析装置。
  6. 前記解析処理には、前記第一の解析処理および前記第二の解析処理を含む、連続する複数の解析処理が含まれ、前記出力部は、前記複数の解析処理のうち、前記受付部によって受け付けられたパラメータを基にして解析処理が行われる解析処理の結果を視覚可能な状態で出力することを特徴とする請求項1に記載の解析装置。
  7. 前記複数の解析処理の順序を定義した順序定義情報を基にして、前記複数の解析処理を順に実行する解析部を更に有することを特徴とする請求項6に記載の解析装置。
  8. 前記解析部は、前記順序定義情報を基にして、前記複数の解析処理のうち、前の解析処理に続く、次の解析処理を特定し、前記前の解析処理の結果を入力として、前記次の解析処理を実行することを特徴とする請求項7に記載の解析装置。
  9. 前記出力部は、異なる複数の画像に対して実行される前記第一の解析処理の第一の結果と、前記第二の解析処理の第二の結果を視覚可能な状態で出力することを特徴とする請求項1に記載の解析装置。
  10. 前記複数の画像は、異なる試薬で染色された病理画像であることを特徴とする請求項9に記載の解析装置。
  11. 前記複数の画像は、明視野画像と蛍光画像とを含むことを特徴とする請求項9に記載の解析装置。
  12. 前記複数の画像は、一般染色画像と特殊染色画像とを含むことを特徴とする請求項9に記載の解析装置。
  13. 前記複数の画像は、病理画像と、前記病理画像とは異なる医療画像とを含むことを特徴とする請求項9に記載の解析装置。
  14. 前記医療画像は、X線画像、内視鏡画像または顕微鏡画像であることを特徴とする請求項13に記載の解析装置。
  15. 前記複数の解析処理は、細胞核を検出する処理を含み、前記細胞核を検出する処理のパラメータは、円形度、異形度、真円度が含まれ、前記解析部は、前記円形度、前記異形度、前記真円度のうち少なくとも一つを用いて、前記画像から細胞核を検出する解析処理を実行することを特徴とする請求項7に記載の解析装置。
  16. 前記複数の解析処理は、染色の分離を行う処理を含み、前記染色の分離を行う処理のパラメータは、前記分離を行うための色空間のベクトルを含み、前記解析部は、前記色空間のベクトルを用いて、前記画像の領域を、核を検出するための染色の領域と、膜を検出するための染色の領域とに分離することを特徴とする請求項7に記載の解析装置。
  17. 前記複数の解析処理は、複数の細胞を検出して、第1細胞群と第2細胞群に分類する処理を含み、前記分類する処理のパラメータは、比較対象の細胞の決定方法が含まれ、前記解析部は、前記第1細胞群と前記第2細胞群との距離を算出することを特徴とする請求項7に記載の解析装置。
  18. 前記解析部は、前記第1細胞群と前記第2細胞群との距離と頻度との関係を基にして、ヒストグラムを生成する処理を更に実行することを特徴とする請求項17に記載の解析装置。
  19. 前記複数の解析処理は、複数の細胞核を検出する処理を含み、前記解析部は、各細胞核と所定領域との距離をそれぞれ比較し、距離が閾値未満となる細胞核を前記所定領域に対応する細胞核として選択することを特徴とする請求項7に記載の解析装置。
  20. 前記解析部は、細胞核の領域を検出する処理、細胞核の形状の特徴量を検出する処理、前記細胞核の特徴量を基にして、ゲーティング処理を実行し、腫瘍細胞を抽出する処理を更に実行することを特徴とする請求項7に記載の解析装置。
  21. コンピュータが、
    病理に関する画像の第一の解析処理で用いられるパラメータを受け付け、
    前記パラメータを基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する
    処理を実行する解析方法。
  22. コンピュータを、
    病理に関する画像の第一の解析処理で用いられるパラメータを受け付ける受付部と、
    前記パラメータに基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する出力部
    として機能されるための解析プログラム。
  23. 医療画像取得装置と、前記医療画像取得装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、
    前記ソフトウェアは、
    病理に関する画像の第一の解析処理で用いられるパラメータを受け付け、
    前記パラメータに基づき実行される前記第一の解析処理の第一の結果と、前記第一の結果に基づき実行される第二の解析処理の第二の結果を視覚可能な状態で出力する処理を解析装置に実行させる
    診断支援システム。
JP2020016863A 2020-02-04 2020-02-04 解析装置、解析方法、解析プログラム及び診断支援システム Pending JP2021124861A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020016863A JP2021124861A (ja) 2020-02-04 2020-02-04 解析装置、解析方法、解析プログラム及び診断支援システム
PCT/JP2021/002442 WO2021157405A1 (ja) 2020-02-04 2021-01-25 解析装置、解析方法、解析プログラム及び診断支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020016863A JP2021124861A (ja) 2020-02-04 2020-02-04 解析装置、解析方法、解析プログラム及び診断支援システム

Publications (1)

Publication Number Publication Date
JP2021124861A true JP2021124861A (ja) 2021-08-30

Family

ID=77200483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020016863A Pending JP2021124861A (ja) 2020-02-04 2020-02-04 解析装置、解析方法、解析プログラム及び診断支援システム

Country Status (2)

Country Link
JP (1) JP2021124861A (ja)
WO (1) WO2021157405A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661207B (zh) * 2022-02-22 2023-09-26 中元汇吉生物技术股份有限公司 一种界面模块控制方法、装置、计算机设备及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4087640B2 (ja) * 2002-05-14 2008-05-21 富士フイルム株式会社 疾患候補情報出力システム
US20040101186A1 (en) * 2002-11-27 2004-05-27 Xin Tong Initializing model-based interpretations of digital radiographs
JP5155039B2 (ja) * 2008-07-01 2013-02-27 レンゴー株式会社 包装箱
US8269827B2 (en) * 2009-09-29 2012-09-18 General Electric Company System and methods for mapping fluorescent images into a bright field color space
US9042630B2 (en) * 2011-10-26 2015-05-26 Definiens Ag Biomarker evaluation through image analysis
WO2013146841A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP6187989B2 (ja) * 2012-04-30 2017-08-30 ゼネラル・エレクトリック・カンパニイ 生物組織に共局在するバイオマーカーを解析するためのシステム及び方法
WO2014089494A1 (en) * 2012-12-06 2014-06-12 Clarient Diagnostic Services, Inc. Systems and methods for split screen display of a biological specimen and for capturing records thereof
EP2929453B1 (en) * 2012-12-06 2020-04-08 Global Life Sciences Solutions USA LLC Selection and display of biomarker expressions
US8995740B2 (en) * 2013-04-17 2015-03-31 General Electric Company System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
JP6576612B2 (ja) * 2013-08-29 2019-09-18 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム
US10175220B2 (en) * 2013-12-18 2019-01-08 Konica Minolta, Inc. Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method
EP3124956B1 (en) * 2014-03-27 2018-12-26 Konica Minolta, Inc. Image processing device and image processing program
US11232565B2 (en) * 2014-04-03 2022-01-25 Koninklijke Philips N.V. Examining device for processing and analyzing an image
US10094767B2 (en) * 2014-09-19 2018-10-09 Konica Minolta, Inc. Image processor, image processing method, and program
WO2016107896A1 (en) * 2014-12-30 2016-07-07 Ventana Medical Systems, Inc. Systems and methods for co-expression analysis in immunoscore computation
JP6729569B2 (ja) * 2015-05-22 2020-07-22 コニカミノルタ株式会社 画像処理装置、画像処理方法、および画像処理用のプログラム
WO2017150194A1 (ja) * 2016-03-04 2017-09-08 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
WO2017170085A1 (ja) * 2016-03-28 2017-10-05 コニカミノルタ株式会社 医用診断装置、及び医用診断プログラム
US10846848B2 (en) * 2016-06-10 2020-11-24 Hoffman-La Roche Inc. System for bright field image simulation
US10025902B2 (en) * 2016-08-12 2018-07-17 Verily Life Sciences Llc Enhanced pathology diagnosis
CN109791693B (zh) * 2016-10-07 2023-09-26 文塔纳医疗系统公司 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程
EP3567546A4 (en) * 2017-01-05 2019-11-13 Konica Minolta, Inc. IMAGE ANALYSIS PROGRAM AND IMAGE ANALYSIS METHOD
JPWO2018143406A1 (ja) * 2017-02-06 2019-12-26 コニカミノルタ株式会社 画像処理装置及びプログラム
JP2019054896A (ja) * 2017-09-20 2019-04-11 株式会社日立製作所 医用画像処理装置及び医用画像処理方法及びそれに用いる処理プログラム
JP7231631B2 (ja) * 2017-12-05 2023-03-01 ベンタナ メディカル システムズ, インコーポレイテッド 腫瘍空間異質性およびインターマーカ異質性の計算方法
CN111417958A (zh) * 2017-12-07 2020-07-14 文塔纳医疗系统公司 用于生物图像中的联合细胞和区域分类的深度学习系统和方法
EP3764095A1 (en) * 2018-03-08 2021-01-13 Konica Minolta, Inc. Image processing method, image processing device, and program

Also Published As

Publication number Publication date
WO2021157405A1 (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
JP6816196B2 (ja) 包括的なマルチアッセイ組織分析のためのシステムおよび方法
AU2014230824B2 (en) Tissue object-based machine learning system for automated scoring of digital whole slides
EP3151143A1 (en) Control method and control apparatus
WO2014103664A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10261681B2 (en) Method for displaying a medical image and a plurality of similar medical images obtained from a case search system
WO2021230000A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
US11373422B2 (en) Evaluation assistance method, evaluation assistance system, and computer-readable medium
WO2021157405A1 (ja) 解析装置、解析方法、解析プログラム及び診断支援システム
JP2011103095A (ja) 医用画像表示システム及びプログラム
WO2022004337A1 (ja) 判断支援装置、情報処理装置及び学習方法
WO2020174863A1 (ja) 診断支援プログラム、診断支援システム及び診断支援方法
WO2021261185A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム
WO2021220873A1 (ja) 生成装置、生成方法、生成プログラム及び診断支援システム
WO2021261323A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2021220803A1 (ja) 表示制御方法、表示制御装置、表示制御プログラム及び診断支援システム
JP2019519794A (ja) サンプルの画像の中の、生体要素のうち少なくとも1つの関心ある要素の判別を支援するための方法及び電子デバイス、関連するコンピュータプログラム
JP2011229707A (ja) 医用画像表示装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200406