JP2022189096A - 情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法 - Google Patents
情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法 Download PDFInfo
- Publication number
- JP2022189096A JP2022189096A JP2021097477A JP2021097477A JP2022189096A JP 2022189096 A JP2022189096 A JP 2022189096A JP 2021097477 A JP2021097477 A JP 2021097477A JP 2021097477 A JP2021097477 A JP 2021097477A JP 2022189096 A JP2022189096 A JP 2022189096A
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial images
- images
- classification
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004590 computer program Methods 0.000 title claims abstract description 18
- 238000003672 processing method Methods 0.000 title claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000011862 kidney biopsy Methods 0.000 claims description 99
- 238000012549 training Methods 0.000 claims description 50
- 230000003902 lesion Effects 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 17
- 210000005239 tubule Anatomy 0.000 claims description 9
- 206010061218 Inflammation Diseases 0.000 claims description 8
- 210000004204 blood vessel Anatomy 0.000 claims description 8
- 230000004054 inflammatory process Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 description 29
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 22
- 238000003745 diagnosis Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010186 staining Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 3
- 210000001124 body fluid Anatomy 0.000 description 3
- 210000002665 bowman capsule Anatomy 0.000 description 3
- 230000001434 glomerular Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000001054 cortical effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000029142 excretion Effects 0.000 description 2
- 210000003608 fece Anatomy 0.000 description 2
- 230000002757 inflammatory effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- KHIWWQKSHDUIBK-UHFFFAOYSA-N periodic acid Chemical compound OI(=O)(=O)=O KHIWWQKSHDUIBK-UHFFFAOYSA-N 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000007447 staining method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 102000003886 Glycoproteins Human genes 0.000 description 1
- 108090000288 Glycoproteins Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 210000002469 basement membrane Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000001185 bone marrow Anatomy 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000834 fixative Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- VKYKSIONXSXAKP-UHFFFAOYSA-N hexamethylenetetramine Chemical compound C1N(C2)CN3CN1CN2C3 VKYKSIONXSXAKP-UHFFFAOYSA-N 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000003584 mesangial cell Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000001138 tear Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法を提供する。【解決手段】検体の観察画像を取得する取得部と、取得した観察画像上に仮想枠を設定し、部分画像同士が一部重複するように仮想枠をスライドさせながら複数の部分画像を抽出する抽出部と、画像の入力に応じて画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、抽出部より抽出される複数の部分画像の夫々を入力し、複数の部分画像の夫々について分類クラスの情報を取得する分類部と、複数の部分画像が重複する重複部分毎に、複数の部分画像について取得した分類クラスの情報を集計する集計部と、集計結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して観察画像を複数種の領域に分割することにより、領域分割画像を生成する生成部と、生成された領域分割画像を表示する表示部とを備える。【選択図】図15
Description
本発明は、情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法に関する。
病理診断の分野において、組織又は細胞の画像を機械学習の学習モデルに入力し、学習モデルによる演算結果を参照して、腫瘍などの病変部の有無を判断する画像解析装置が提案されている(例えば、特許文献1-3を参照)。
また、病理診断の分野において、検体の小領域を順次撮像し、得られた複数の画像を継ぎ目なく貼り合わせてバーチャルスライド画像を構築する顕微鏡装置が提案されている(例えば、特許文献4を参照)。このような顕微鏡装置では、高い解像度と広い視野範囲とを両立することが可能である。
機械学習の分野において、学習モデルに入力される画像のサイズは、数百ピクセル四方(例えば512×512ピクセル)であることが一般的である。このため、数億~数十億ピクセル以上の画素数を有するような画像(例えばバーチャルスライド画像)について、機械学習の学習モデルを用いて解析する場合、解析対象の画像から適宜のサイズの部分画像を切り出し、切り出した部分画像を学習モデルに入力することによって学習モデルによる演算を行う。
しかしながら、解析対象の画像から任意に切り出した部分画像に、検出すべき組織や病変部が判別可能な状態で含まれている保証はない。切り出した部分画像に検出対象が全く含まれていないケースもあれば、部分的に欠けた状態で部分画像に含まれるケースもあり得る。部分画像のサイズを大きくすれば、検出対象が含まれる可能が高くなるが、部分画像を単位として検出対象の有無を判断するため、部分画像より小さな構造を検出することはできず、観察画像を緻密に解析することができない。一方、部分画像のサイズを小さくすれば、その中に含まれる組織や病変を視認することが困難となるので、そもそも部分画像についてアノテーションを行うことが困難となり、学習モデルを生成するために十分な訓練データを得ることはできない。
一つの側面では、抽出すべき部分画像同士が一部重複するように仮想枠をスライドさせながら観察画像から複数の部分画像を抽出し、部分画像の重複部分について学習済みモデルから得られる分類クラスの情報を集計して重複部分の分類を決定し、分類された重複部分に対応して領域分割画像を生成することにより、観察画像内の構造的な特徴を認識できるような大きさの部分画像を用いた場合であっても、部分画像よりも小さな領域に現れる組織や病変部などの構造を検出することができ、観察画像を緻密に解析することができる情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法を提供することを目的とする。
一つの側面に係る情報処理装置は、検体の観察画像を取得する取得部と、取得した観察画像上に仮想枠を設定し、抽出すべき部分画像同士が一部重複するように、前記仮想枠をスライドさせながら複数の部分画像を抽出する抽出部と、画像の入力に応じて前記画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、前記抽出部より抽出される複数の部分画像の夫々を入力し、前記複数の部分画像の夫々について分類クラスの情報を取得する分類部と、複数の部分画像が重複する重複部分毎に、前記複数の部分画像について取得した分類クラスの情報を集計する集計部と、集計した結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して前記観察画像を複数種の領域に分割することにより、領域分割画像を生成する生成部と、生成された領域分割画像を表示する表示部とを備える。
一つの側面では、観察画像内の構造的な特徴を認識できるような大きさの部分画像を用いた場合であっても、部分画像よりも小さな領域に現れる組織や病変部などの構造を検出することができ、観察画像を緻密に解析することができる。
実施の形態に係る情報処理装置は、検体の観察画像を取得する取得部と、取得した観察画像上に仮想枠を設定し、抽出すべき部分画像同士が一部重複するように、前記仮想枠をスライドさせながら複数の部分画像を抽出する抽出部と、画像の入力に応じて前記画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、前記抽出部より抽出される複数の部分画像の夫々を入力し、前記複数の部分画像の夫々について分類クラスの情報を取得する分類部と、複数の部分画像が重複する重複部分毎に、前記複数の部分画像について取得した分類クラスの情報を集計する集計部と、集計した結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して前記観察画像を複数種の領域に分割することにより、領域分割画像を生成する生成部と、生成された領域分割画像を表示する表示部とを備える。
本明細書において、検体は、被検者から採取される組織、細胞、体液、排泄物、及びこれらの処理物を含む。代替的に、検体は、ヒト以外の動物から採取される組織、細胞、体液、排泄物、及びこれらの処理物であってもよい。
被検者から採取される組織及び細胞は、特に制限されないが、食道、胃、大腸、肝臓、腎臓、膵臓、脾臓、胆嚢などの臓器、若しくは、脂肪、血管、筋肉、膜状構造物などの非臓器から外科的に切除された組織、生検として採取された組織や細胞などを含む。体液は、血液、骨髄液、髄液、リンパ液、唾液、涙液などを含む。排泄物は、尿及び便を含む。処理物は、被検者から採取された組織などを所定の固定液で固定したもの、パラフィンで包埋したもの、観察しやすいように薄切りにしたもの、染色をしたものなどを含む。染色には、PAS染色(Periodic Acid Schiff stain)、PAM染色(Periodic Acid Methenamine silver stain)、ヘマトキシリン・エオジン染色(Hematoxylin and Eosin stain)などが用いられる。
観察画像は、光学顕微鏡、透過電子顕微鏡(TEM : Transmission Electron Microscope)、操作電子顕微鏡(SEM : Scanning Electron Microscope)などの顕微鏡装置によって検体を撮像することにより得られるデジタル形式の画像であり、複数の画素により構成される。観察画像は、顕微鏡装置によって撮像された複数の撮像画像を継ぎ目なく貼り合わせることにより生成されるバーチャルスライド画像を含む。観察画像は、数億~数十億ピクセル以上の画素数を有する画像であってもよい。
仮想枠は、観察画像から部分画像を抽出するために設定されるスライディングウィンドウである。仮想枠のサイズは、学習済みモデルに入力する部分画像のサイズに合わせて設定される。一例では、仮想枠のサイズは512×512画素のサイズである。
部分画像は、観察画像上で仮想枠をスライドさせながら各位置において仮想枠内の画像を観察画像から抽出することにより得られる画像である。仮想枠のスライド幅は、抽出すべき部分画像同士が一部重複するように設定される。仮想枠のサイズを512×512画素のサイズとした場合、スライド幅は、例えば、縦方向及び横方向にそれぞれ64画素分に設定することができる。仮想枠を64×64画素のブロック単位で縦方向及び横方向に順次スライドさせていくことによって、最大で64枚の部分画像が重複する。
学習済みモデルは、機械学習や深層学習の適宜のアルゴリズムによって学習された学習済みの学習モデルであり、画像の入力に応じて当該画像の分類を示す分類クラスの情報を出力するように構成される。学習モデルには、画像セグメンテーション用の学習モデルや物体検出用の学習モデルなどが用いられる。画像セグメンテーション用の学習モデルは、EfficientNet、SegNet(Segmentation Network)、FCN(Fully Convolutional Network)、U-Net(U-Shaped Network)、PSPNet(Pyramid Scene Parsing Network)などを含む。物体検出用の学習モデルは、YOLO(You Only Look Once)、SSD(Single Shot Multi-Box Detector)などを含む。学習済みモデルは、観察画像から抽出される複数の部分画像と、各部分画像の分類クラスを示すラベル情報とを含むデータセットを訓練データに用いて、上記の学習モデルをトレーニング(学習)することによって生成される。なお、訓練データに含まれる各部分画像のラベル情報は、医師などの専門家によって付与される。
分類クラスは、同一の属性を有する部分集合を表す。本明細書では、部分画像を分類するために分類クラスが設定される。例えば、観察画像が腎生検画像である場合、分類クラスとして、糸球体、ボーマン嚢、髄質、皮質、尿細管、血管、動脈、筋肉、脂肪、炎症、Kimmelstiel-Wilson病変などが設定される。分類クラスは、観察画像の種類に応じて適宜設定されるとよい。
部分画像を入力した場合に学習モデルから出力される分類クラスの情報は、部分画像の重複部分毎に集計される。上述の例では、64×64画素のブロック単位で重複部分が形成されるので、このブロック単位で分類クラスの情報が集計される。分類クラスの集計結果に基づき、重複部分が分類されるべき分類クラスが決定される。
領域分割画像は、観察画像を複数種の領域に分割した画像である。領域分割画像は、同一の分類クラスに分類された重複部分を一連の領域として抽出することによって生成される。例えば、糸球体の分類クラスに分類された重複部分を一連の領域として抽出した場合、糸球体に属する領域と、糸球体に属さない領域とに分割した領域分割画像を生成することができる。なお、領域の分割数は、2つに限らず、3つ以上であってもよい。すなわち、糸球体、ボーマン嚢、髄質、皮質、尿細管、血管、動脈、筋肉、脂肪、炎症、Kimmelstiel-Wilson病変などの分類クラスに属する領域を個別に分割した領域分割画像を生成してもよい。
情報処理装置は、表示すべき領域の種別に関する選択を受付ける受付部を備え、前記生成部は、選択された種別に対応する領域のみを示す領域分割画像を生成し、前記表示部は、生成された領域分割画像を前記観察画像に重畳して表示してもよい。受付部は、医師などのユーザによる操作を受付けるユーザインタフェースである。ユーザインタフェースは、キーボード、マウス、タッチパネルなどを含む。受付部により選択を受付ける種別は、上述した分類クラスである。例えば、糸球体の分類クラスが種別として選択された場合、糸球体に属する領域分割画像が観察画像上に重畳して表示される。
前記表示部は、前記観察画像に占める各領域の割合の情報を前記領域分割画像と共に表示してもよい。観察画像に占める各領域の割合は、領域毎の面積を観察画像の面積で除算した値を表す。各領域の画素数を観察画像全体の画素数で除算して割合を算出してもよい。
前記学習済みモデルは、観察画像から抽出される複数の部分画像と、各部分画像の分類クラスを示すラベル情報とを含むデータセットを訓練データに用いて生成したものであってもよい。ラベル情報は、分類クラスを指定するための情報であり、例えば、01,02,…といった分類クラス毎に割り当てられた値(クラス値)が用いられる。
前記訓練データは、前記部分画像を、画素値のバラツキが相対的に大きい第1画像群と、画素値のバラツキが相対的に小さい第2画像群とに選別し、前記第1画像群に選別された部分画像に対して前記ラベル情報が付与された訓練データを含んでもよい。画素値のバラツキは、一定の領域内で画素値がどれだけばらけているのかを示す指標である。画素値のバラツキとして標準偏差や分散が用いられる。画素値のバラツキが相対的に大きい第1画像群には、画像内の濃淡差が比較的明瞭であり、構造的な特徴が明瞭に現れている部分画像が選別される。一方、画素値のバラツキが相対的に小さい第2画像群には、濃淡差の少ない領域が画像内の多くを占める部分画像が選別される。訓練データに用いる部分画像として、第1画像群に選別された部分画像を用いることができる。
前記訓練データは、前記部分画像の全領域における画素値のバラツキと、前記部分画像の四隅領域における画素値のバラツキとに基づき、前記第2画像群に選別された部分画像を、背景画像群と非背景画像群とに選別し、背景画像群に選別された部分画像と、非背景画像群に選別された部分画像とに対して前記ラベル情報が付与された訓練データを更に含んでもよい。第2画像群に選別された部分画像は、背景画像群と非背景画像群とに選別される。背景画像群には、部分画像の全領域における画素値のバラツキが相対的に小さい画像が選別され、非背景画像群には、部分画像の四隅領域における画素値のバラツキが相対的に大きい画像が選別される。訓練データに用いる部分画像として、背景画像群及び非背景画像群に選別された部分画像を用いてもよい。
情報処理装置は、各部分画像の識別情報と、前記分類部より得られる各部分画像の分類クラスの情報とを関連付けて記憶する記憶部とを備えてもよい。部分画像の識別情報は、個々の部分画像を識別するための情報である。観察画像から抽出された部分画像の識別情報は、アノテーションにより付与された分類クラスの情報に関連付けてメモリなどの記憶部に記憶される。
前記観察画像は、検体を撮像して得られる複数の撮像画像を継ぎ合わせることにより生成される合成画像であり、前記抽出部は、前記仮想枠を前記観察画像の直交する2つの方向に夫々スライドさせて前記部分画像を抽出してもよい。合成画像は、一例ではバーチャルスライド画像である。合成画像は、バーチャルスライド画像に限らず、複数の撮像画像を継ぎ合わせた画像であってもよい。
前記観察画像は、腎生検画像であり、前記学習済みモデルは、腎生検画像の入力に応じて、糸球体、尿細管、血管、皮質、髄質、炎症部、及び病変部を含む分類クラスの情報を出力するよう構成してもよい。腎生検画像は、腎生検によって得られる観察画像であり、糸球体、尿細管、血管、皮質、髄質などの組織を含む画像である。腎生検画像は、検出対象として炎症部や病変部を含んでもよい。
糸球体を含むように前記部分画像の寸法を規定してもよい。腎生検画像を観察画像とした場合、糸球体を含むように部分画像を寸法が規定される。
以下、本発明の適用例の1つとして、腎生検画像の診断支援を行う診断支援システムについて、図面を用いて具体的に説明する。
(実施の形態1)
図1は診断支援システムの構成例を示す模式図である。実施の形態に係る診断支援システムは、情報処理装置1と、顕微鏡装置2とを備える。
(実施の形態1)
図1は診断支援システムの構成例を示す模式図である。実施の形態に係る診断支援システムは、情報処理装置1と、顕微鏡装置2とを備える。
情報処理装置1は、腎生検組織の画像を解析し、診断支援に関する情報を出力するためのサーバコンピュータ、パーソナルコンピュータなどの処理装置である。情報処理装置1は、例えば、腎生検組織を診断する医療施設内に設置される。代替的に、情報処理装置1は、医療施設の外部に設けられ、通信により各種情報を送受信してもよい。情報処理装置1は、顕微鏡装置2から腎生検画像を取得し、取得した腎生検画像を解析することによって診断支援に関する情報を出力する。
なお、本実施の形態では、顕微鏡装置2から腎生検画像を取得する構成としたが、外部のコンピュータに取り込まれた腎生検画像を通信などの手段により取得する構成としてもよい。
図2は情報処理装置1の内部を示すブロック図である。情報処理装置1は、制御部11、記憶部12、入力部13、通信部14、操作部15、表示部16などを備える専用又は汎用のコンピュータである。
制御部11は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などを備える。制御部11が備えるROMには、情報処理装置1が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部11内のCPUは、ROMに記憶された制御プログラムや後述する記憶部12に記憶された各種コンピュータプログラムを実行し、ハードウェア各部の動作を制御することによって、装置全体を本願の情報処理装置として機能させる。制御部11が備えるRAMには、演算の実行中に生成されるデータが一時的に記憶される。
制御部11は、CPU、ROM、及びRAMを備える構成としたが、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える1又は複数の演算回路であってもよい。また、制御部11は、日時情報を出力するクロック、開始指示を与えてから終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。
記憶部12は、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記憶装置を備える。記憶部12には、制御部11によって実行される各種コンピュータプログラムや制御部11によって利用される各種データが記憶される。
記憶部12に記憶されるコンピュータプログラムは、診断支援プログラムPG1を含む。診断支援プログラムPG1は、腎生検画像から複数の部分画像を抽出し、それぞれを学習済みモデルMDに入力することにより各部分画像について分類クラスの情報を取得し、部分画像の重複部分について分類クラスの情報を集計し、集計結果に基づいて領域分割画像を生成して表示する処理をコンピュータに実行させるためのコンピュータプログラムである。
記憶部12に記憶されるコンピュータプログラムは、モデル生成プログラムPG2を含んでもよい。モデル生成プログラムPG2は、腎生検画像から複数の部分画像を抽出し、抽出した部分画像を、画素値のバラツキが相対的に大きい第1画像群と、画素値のバラツキが相対的に小さい第2画像群とに選別し、第1画像群に選別された部分画像と当該部分画像に対するラベル情報とを含むデータセットを訓練データに用いて学習済みモデルを生成する処理をコンピュータに実行させるためのコンピュータプログラムである。
記憶部12に記憶されるコンピュータプログラムは、当該コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体RMにより提供される。記録媒体RMは、例えば、CD-ROM、USBメモリ、SD(Secure Digital)カード、コンパクトフラッシュ(登録商標)などの可搬型メモリである。制御部11は、図に示していない読取装置を用いて、記録媒体RMに記録されたコンピュータプログラムを読み取り、読み取ったコンピュータプログラムを記憶部12に記憶させる。代替的に、記憶部12に記憶されるコンピュータプログラムは、通信によって提供されてもよい。この場合、制御部11は、通信部14を通じてコンピュータプログラムを取得し、取得したコンピュータプログラムを記憶部12に記憶させればよい。
記憶部12は、学習済みモデルMDを備えてもよい。学習済みモデルMDは、腎生検画像の部分画像が入力された場合、当該部分画像が属する分類クラスの情報を出力するよう構成される。学習済みモデルMDは、例えばEfficientNetにより構築される機械学習の学習モデルである。学習済みモデルMDは、EfficientNetに限らず、SegNet、FCN、U-Net、PSPNetなど画像セグメンテーションが行える任意のニューラルネットワークを用いて構築されてもよい。代替的に、学習済みモデルMDは、YOLO、SSDなど物体検出用のニューラルネットワークを用いて構築されてもよい。記憶部12には、学習済みモデルMDを定義する情報として、ニューラルネットワークを構成する層の情報、各層を構成するノードの情報、ノード間に設定される重みやバイアスの情報などが記憶される。
入力部13は、外部装置を接続するためのインタフェースを備える。入力部13に接続される外部装置の一例は、腎生検組織を撮像し、観察画像として生成する顕微鏡装置2である。顕微鏡装置2は、例えば、対物レンズを光軸と垂直の方向に移動させながら、観察対象物を所定の倍率(例えば20倍や40倍など)で順次撮像し、得られた複数の撮像画像を継ぎ目なく貼り合わせることにより観察画像(バーチャルスライド画像、WSI:Whole Slide Imageともいう)を生成する。情報処理装置1は、入力部13に接続された顕微鏡装置2から腎生検組織の観察画像(腎生検画像)を取得する。代替的に、情報処理装置1は、外部のコンピュータに取り込まれ、当該コンピュータにより画像処理が施された腎生検画像を通信により取得してもよい。
通信部14は、各種データを送受信する通信インタフェースを備える。通信部14が備える通信インタフェースは、例えば、WiFi(登録商標)やイーサネット(登録商標)で用いられるLAN(Local Area Network)の通信規格に準じた通信インタフェースである。通信部14は、送信すべきデータが制御部11から入力された場合、指定された宛先へ送信すべきデータを送信する。また、通信部14は、外部装置から送信されたデータを受信した場合、受信したデータを制御部11へ出力する。
操作部15は、キーボード、マウス、タッチパネルなどの操作デバイスを備え、医療従事者等による各種の操作及び設定を受付ける。制御部11は、操作部15より与えられる各種の操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部12に記憶させる。
表示部16は、液晶モニタや有機EL(Electro-Luminescence)などの表示デバイスを備え、制御部11からの指示に応じて医師などに報知すべき情報を表示する。
なお、情報処理装置1は、単一のコンピュータに限らず、複数のコンピュータや周辺機器からなるコンピュータシステムであってもよい。また、情報処理装置1は、ソフトウェアによって仮想的に構築される仮想マシンであってもよい。実施の形態に係る情報処理装置1は、操作部15及び表示部16を備える構成としたが、これらは必須ではなく、情報処理装置1と通信可能に接続された外部コンピュータから操作を受付け、外部モニタに各種の情報を表示させる構成であってもよい。
情報処理装置1は、学習フェーズにおいて、訓練データを用いて機械学習を行うことにより学習済みモデルMDを生成し、運用フェーズにおいて、学習済みモデルMDを用いて腎生検画像を解析し、解析結果に基づいて診断支援に関する情報を出力する。
以下、学習フェーズについて説明する。
情報処理装置1は、学習フェーズにおいて、(A1)訓練用の腎生検画像を取得し、(A2)腎生検画像を所定サイズに分割することにより多数のパッチ画像を生成し、(A3)パッチ画像にラベルを付与した訓練データを生成し、(A4)生成した訓練データを用いて機械学習を行うことにより学習済みモデルMDを生成する。
情報処理装置1は、学習フェーズにおいて、(A1)訓練用の腎生検画像を取得し、(A2)腎生検画像を所定サイズに分割することにより多数のパッチ画像を生成し、(A3)パッチ画像にラベルを付与した訓練データを生成し、(A4)生成した訓練データを用いて機械学習を行うことにより学習済みモデルMDを生成する。
(A1)腎生検画像の取得
腎生検画像は腎生検組織(検体)の観察画像である。腎生検組織の観察のために、腎生検組織にはPAS染色が施される。PAS染色は、糖タンパク質を赤く染め、糸球体や尿細管などの腎生検組織の観察に優れた染色法である。代替的に、PAM染色やヘマトキシリン・エオジン染色などの染色が施されてもよい。
腎生検画像は腎生検組織(検体)の観察画像である。腎生検組織の観察のために、腎生検組織にはPAS染色が施される。PAS染色は、糖タンパク質を赤く染め、糸球体や尿細管などの腎生検組織の観察に優れた染色法である。代替的に、PAM染色やヘマトキシリン・エオジン染色などの染色が施されてもよい。
腎生検組織の観察には顕微鏡装置2が用いられる。顕微鏡装置2は、既存の光学顕微鏡であり、観察対象物(腎生検組織)が載置されるステージ、ステージを水平面内で二軸方向に駆動するアクチュエータ、観察対象物に照明光を照射する光源、観察対象物を撮像する撮像素子、観察対象物の光学像を撮像素子に投影する光学系などを備える。光学系は対物レンズを含む。顕微鏡装置2は、ステージを駆動しながら観察対象物を順次撮像し、得られた複数の撮像画像を継ぎ目なく貼り合わせることにより、高解像度と高視野領域とを実現したバーチャルスライド画像(デジタル画像)を生成する。
図3は腎生検画像の一例を示す模式図である。図3は腎生検組織のバーチャルスライド画像である。バーチャルスライド画像には、糸球体、ボーマン嚢、基底膜、上皮細胞、メザンギウム細胞、尿細管、血管などの組織が含まれる。
情報処理装置1は、顕微鏡装置2により生成される腎生検画像を入力部13より取得する。情報処理装置1は、取得した腎生検画像を記憶部12に記憶させる。情報処理装置1は、外部のコンピュータに取り込まれた腎生検画像を通信などの手段により取得してもよい。
(A2)パッチ画像の生成
情報処理装置1の制御部11は、取得した腎生検画像から、学習済みモデルMDの訓練データに用いるパッチ画像(部分画像)を生成する。図4はパッチ画像の生成手法を説明する説明図である。情報処理装置1は、腎生検画像を複数の領域に分割することによりパッチ画像を生成する。図4の例では、腎生検画像を7×26個の矩形領域に分割した例を示しているが、分割数は元の腎生検画像のサイズや撮像時の拡大率(対物レンズの倍率)等に応じて定められる。パッチ画像は、それぞれが512×512程度の画素数を有し、糸球体の構造を認識できる程度の大きさ(現実の寸法で90×90μm程度の大きさ)を有するようにサイズが調整される。
情報処理装置1の制御部11は、取得した腎生検画像から、学習済みモデルMDの訓練データに用いるパッチ画像(部分画像)を生成する。図4はパッチ画像の生成手法を説明する説明図である。情報処理装置1は、腎生検画像を複数の領域に分割することによりパッチ画像を生成する。図4の例では、腎生検画像を7×26個の矩形領域に分割した例を示しているが、分割数は元の腎生検画像のサイズや撮像時の拡大率(対物レンズの倍率)等に応じて定められる。パッチ画像は、それぞれが512×512程度の画素数を有し、糸球体の構造を認識できる程度の大きさ(現実の寸法で90×90μm程度の大きさ)を有するようにサイズが調整される。
制御部11は、生成したパッチ画像から、訓練データに用いるパッチ画像を選別する。パッチ画像の選別には画素値のバラツキが用いられる。制御部11は、画素値のバラツキとして、標準偏差(SD:Standard Deviation)を計算する。代替的に、制御部11は、画素値の分散を計算してもよい。
制御部11は、各パッチ画像について、パッチ画像の領域全体の標準偏差SD_allと、四隅領域の標準偏差SD_four cornersとを計算する。四隅領域は、パッチ画像を例えば4×4の合計16個の小領域に分割したとき、四隅に位置する4個の少領域を表す。制御部11は、計算した標準偏差SD_all,SD_four cornersを閾値と比較し、何れも閾値以上である場合、相対的に画素値のバラツキが大きいと判断し、そのパッチ画像を第1画像群に選別する。閾値の一例は8であるが、腎生検画像のフォーマットや腎生検組織の染色法などに応じて適宜設定すればよい。一方、何れか1つの標準偏差が閾値未満である場合、相対的に画素のバラツキは小さいと判断し、そのパッチ画像を第2画像群に選別する。なお、図4では、計算した5つの標準偏差の全てが8以上である場合を「SD≧8」、何れか1つが8未満である場合を「SD<8」と略記して示している。
制御部11は、更に、第2画像群に選別したパッチ画像を、背景画像群と非背景画像群とに選別する。背景画像群は、パッチ画像の領域全体の標準偏差SD_allが閾値未満の画像群であり、非背景画像群は、パッチ画像の領域全体の標準偏差SD_allが閾値以上、かつ四隅領域の標準偏差SD_four cornersの何れか1つが閾値未満の画像群である。
制御部11は、第1画像群に選別したパッチ画像を、訓練データに用いるパッチ画像として選別する。また、制御部11は、背景画像群に選別したパッチ画像のうち、ランダムに選択した所定数のパッチ画像を、訓練データに用いるパッチ画像として選別してもよい。更に、制御部11は、非背景画像群に選別したパッチ画像を、訓練データに用いるパッチ画像として選別してもよい。
(A3)訓練データの生成
制御部11は、選別したパッチ画像に対するラベル(分類クラス)を受付けることにより、複数のパッチ画像と、各パッチ画像の分類クラスを示すラベル情報とを含むデータセットを訓練データとして生成する。各パッチ画像に対するラベル付け(アノテーション)は、医師などの専門家によりマニュアルで実施される。図5は分類クラスの一例を示す図である。図5に示す分類クラスのうち、クラス値が01~13のものは糸球体関連の分類クラス、14~26は尿細管関連の分類クラス、27~32は円柱に属する分類クラス、33~35は血管に属する分類クラス、36~40は基質などの分類クラス、41~42はその他に属する分類クラス、43~48は解析に不適切な分類クラス、49~56は背景に属する分類クラスを表す。なお、パッチ画像の分類クラスは、図5に示すものに限らず、適宜設定されるとよい。
制御部11は、選別したパッチ画像に対するラベル(分類クラス)を受付けることにより、複数のパッチ画像と、各パッチ画像の分類クラスを示すラベル情報とを含むデータセットを訓練データとして生成する。各パッチ画像に対するラベル付け(アノテーション)は、医師などの専門家によりマニュアルで実施される。図5は分類クラスの一例を示す図である。図5に示す分類クラスのうち、クラス値が01~13のものは糸球体関連の分類クラス、14~26は尿細管関連の分類クラス、27~32は円柱に属する分類クラス、33~35は血管に属する分類クラス、36~40は基質などの分類クラス、41~42はその他に属する分類クラス、43~48は解析に不適切な分類クラス、49~56は背景に属する分類クラスを表す。なお、パッチ画像の分類クラスは、図5に示すものに限らず、適宜設定されるとよい。
図5に示す分類クラスに基づきアノテーションが実施された場合、第1画像群の各パッチ画像には、01~50(ただし45を除く)の何れかのクラス値が付与される。また、背景画像群のパッチ画像には、51~56の何れかのクラス値が付与され、非背景画像群のパッチ画像には、45のクラス値が付与される。
制御部11は、腎生検画像から生成した複数のパッチ画像と、それぞれのパッチ画像に付与されたクラス値(分類クラス)とのデータセットを、訓練データとして記憶部12に記憶させる。図6は訓練データの記憶例を示す概念図である。図6の例は、パッチ画像を識別するパッチ画像IDに関連付けて、分類クラスの情報(クラス値)を記憶部12に記憶した状態を示している。
(A4)学習済みモデルMDの生成
制御部11は、記憶部12に記憶された訓練データに基づき、学習済みモデルMDを生成する。図7は学習済みモデルMDの構成例を示す模式図である。学習済みモデルMDは、入力層、中間層(隠れ層)、及び出力層を備える。入力層、中間層、及び出力層は複数のノードを備える。入力層が備える各ノードには、パッチ画像を構成する各画素の画素値が入力される。入力層の各ノードに入力されたパッチ画像の各画素の画素値を示すデータは中間層へ送出される。
制御部11は、記憶部12に記憶された訓練データに基づき、学習済みモデルMDを生成する。図7は学習済みモデルMDの構成例を示す模式図である。学習済みモデルMDは、入力層、中間層(隠れ層)、及び出力層を備える。入力層、中間層、及び出力層は複数のノードを備える。入力層が備える各ノードには、パッチ画像を構成する各画素の画素値が入力される。入力層の各ノードに入力されたパッチ画像の各画素の画素値を示すデータは中間層へ送出される。
中間層は、畳み込み層、プーリング層、全結合層などにより構成される。簡略化のために、図7の例では中間層を2つだけ記載しているが、学習済みモデルMDが備える中間層の数は2つに限定されず、3つ以上であってもよい。また、中間層が備える層の種類は、使用するニューラルネットワークに応じて適宜設計される。中間層の各層が備える個々のノードは、前後に設けられた層のノードに結合されている。各ノードにおける内部活性度やノード間の結合の強さ(重み係数)を含む学習済みモデルMDのパラメータは、学習の過程で定められる。中間層の各層のノードは、内部活性度や重み係数などのパラメータに基づいて計算される値を後段のノードへ出力する。
出力層は、中間層から入力される値を基にソフトマックス関数を用いて確率を計算する。出力層の各ノードが出力する確率は、分類対象のパッチ画像が各分類クラスに属する確率を表す。本実施の形態に係る学習済みモデルMDは、パッチ画像に関して、クラス値01の分類クラス(糸球体)に該当する確率P1、クラス値02の分類クラス(メサンギウム増殖を伴う糸球体)に該当する確率P2、…、及びクラス値56の分類クラス(黒)に該当する確率P56を出力するよう構成される。制御部11は、分類対象のパッチ画像を学習済みモデルMDに与えたとき、学習済みモデルMDの出力層から出力される確率を参照し、確率が最も高い分類クラスをそのパッチ画像の分類クラスとして推定する。
情報処理装置1は、事前に準備した訓練データを用いて、学習済みモデルMDを生成する。すなわち、情報処理装置1は、訓練データに含まれるパッチ画像と、当該パッチ画像に付与されたラベル(正解データ)とを用いて、所定の学習アルゴリズムで学習することにより、学習済みモデルMDを生成することができる。
図8は学習フェーズにおいて情報処理装置1が実行する処理の手順を示すフローチャートである。情報処理装置1の制御部11は、入力部13若しくは通信部14を通じて、腎生検画像を取得する(ステップS101)。制御部11は、例えば入力部13に接続された顕微鏡装置2から腎生検画像を取得する。代替的に、制御部11は、通信部14を介して通信可能に接続された外部のコンピュータから腎生検画像を取得する。情報処理装置1が取得する腎生検画像は、例えば腎生検組織の撮像画像を継ぎ目なく貼り合わせたバーチャルスライド画像である。
次いで、制御部11は、取得した腎生検画像からパッチ画像を抽出する(ステップS102)。制御部11は、腎生検画像を複数の領域に分割することにより、パッチ画像を抽出する。パッチ画像のサイズは、糸球体の構造を認識できる程度のサイズである。制御部11は、腎生検画像から抽出したパッチ画像を記憶部12に記憶させる。
次いで、制御部11は、訓練データに用いるパッチ画像を選別する(ステップS103)。制御部11は、各パッチ画像について画素値のバラツキ(例えば標準偏差SD)を計算し、相対的に画素値のバラツキが大きいものを第1画像群、相対的に画素値のバラツキが小さいものを第2画像群に選別する。また、制御部11は、第2画像群に選別したパッチ画像を、領域全体の画素値のバラツキが小さい背景画像群と、四隅領域の何れかのみの画素値のバラツキが小さい非背景画像群とに選別する。
次いで、制御部11は、選別されたパッチ画像についてラベルを受付ける(ステップS104)。制御部11は、操作部15を通じて医師などの専門家の操作を受付けることにより、各パッチ画像に対するラベル(クラス値)を受付ける。図5に示すように56種類の分類クラスが設定されている場合、第1画像群に選別されたパッチ画像には、01~50(45を除く)の何れかのクラス値が付与される。また、背景画像群に選別されたパッチ画像には、51~56の何れかのクラス値が付与され、非背景画像群に選別されたパッチ画像には、45のクラス値が付与される。
次いで、制御部11は、各パッチ画像と、各パッチ画像に対して付与されたラベル(クラス値)とを関連付け、それらのデータセットを学習用の訓練データとして記憶部12に記憶させる(ステップS105)。
次いで、制御部11は、学習を開始するか否かを判断する(ステップS106)。予め定められた数の訓練データが得られた場合、制御部11は、学習を開始すると判断する。また、操作部15を通じて学習開始指示を受付けた場合、制御部11は、学習を開始すると判断してもよい。学習を開始しないと判断した場合(S106:NO)、制御部11は、処理をステップS101へ戻す。
学習を開始すると判断した場合(S106:YES)、制御部11は、後述するモデル生成処理を実行する(ステップS107)。
図9はモデル生成処理の手順を示すフローチャートである。制御部11は、記憶部12に記憶されている訓練データから、パッチ画像と、当該パッチ画像に付与されているクラス値とを一組選択し(ステップS121)、選択したパッチ画像を、予め用意されている学習モデルに入力することによって、当該学習モデルによる演算を実行する(ステップS122)。なお、学習を開始する前の段階において、学習モデルを特徴付けるパラメータ(各ノードの内部活性度やノード間の重み)には、初期値が設定されているものとする。
制御部11は、学習モデルによる演算結果を評価し(ステップS123)、学習が完了したか否かを判断する(ステップS124)。制御部11は、演算結果より推定される分類クラスの推定値(クラス値)と、正解データとして含むクラス値とに基づく誤差関数(目的関数、損失関数、コスト関数ともいう)に基づき、学習モデルによる演算結果を評価することができる。制御部11は、例えば、最急降下法などの勾配降下法により誤差関数を最適化(最小化又は最大化)する課程で、誤差関数が閾値以下(又は閾値以上)となった場合、学習が完了したと判断する。
学習が完了していないと判断した場合(S124:NO)、制御部11は、各ノードの内部活性度やノード間の重みを含むパラメータを更新し(ステップS125)、処理をステップS121へ戻す。制御部11は、学習モデルの出力層から入力層に向かって各ノードの内部活性度やノード間の重みを含む学習パラメータを順次更新する誤差逆伝搬法を用いて、各ノードのパラメータを更新することができる。
学習が完了したと判断した場合(S124:YES)、制御部11は、学習済みの学習モデルが得られるので、当該学習モデルを学習済みモデルMDとして記憶部12に記憶させる(ステップS125)。
本実施の形態では、情報処理装置1において学習済みモデルMDを生成する構成について説明したが、外部のサーバ装置において生成されてもよい。情報処理装置1は、外部のサーバ装置において生成された学習済みモデルMDを通信又は記録媒体により取得し、取得した学習済みモデルMDを記憶部12にインストールすればよい。
また、本実施の形態では、医師などの専門家がマニュアルでラベル付けを行うことによりアノテーションを実施する構成としたが、学習が進めば、学習済みモデルMDに入力したパッチ画像と、学習済みモデルMDの演算結果に基づく分類結果とを訓練データの一部として用いてもよい。
次に、運用フェーズについて説明する。
情報処理装置1は、学習済みモデルMDを取得した後のタイミングで運用フェーズに移行する。情報処理装置1は、運用フェーズにおいて、(B1)診断対象の腎生検画像を取得し、(B2)腎生検画像から複数のパッチ画像を抽出し、(B3)各パッチ画像を学習済みモデルMDに入力することによって分類クラスに分類し、(B5)分類結果を集計し、(B6)集計結果に基づき領域分割画像を生成して表示部16に表示する。
情報処理装置1は、学習済みモデルMDを取得した後のタイミングで運用フェーズに移行する。情報処理装置1は、運用フェーズにおいて、(B1)診断対象の腎生検画像を取得し、(B2)腎生検画像から複数のパッチ画像を抽出し、(B3)各パッチ画像を学習済みモデルMDに入力することによって分類クラスに分類し、(B5)分類結果を集計し、(B6)集計結果に基づき領域分割画像を生成して表示部16に表示する。
(B1)腎生検画像の取得
情報処理装置1は、診断対象の腎生検画像を取得する。診断対象の腎生検画像は、被検者から採取された腎生検組織の観察画像である。腎生検画像の一例は、顕微鏡装置2より得られる複数の撮像画像を継ぎ目なく貼り合わせて生成されるバーチャルスライド画像である。情報処理装置1は、入力部13に接続された顕微鏡装置2から腎生検画像を取得する。代替的に、情報処理装置1は、代替的に、情報処理装置1は、外部のコンピュータに取り込まれ、当該コンピュータにより画像処理が施された腎生検画像を通信により取得する。
情報処理装置1は、診断対象の腎生検画像を取得する。診断対象の腎生検画像は、被検者から採取された腎生検組織の観察画像である。腎生検画像の一例は、顕微鏡装置2より得られる複数の撮像画像を継ぎ目なく貼り合わせて生成されるバーチャルスライド画像である。情報処理装置1は、入力部13に接続された顕微鏡装置2から腎生検画像を取得する。代替的に、情報処理装置1は、代替的に、情報処理装置1は、外部のコンピュータに取り込まれ、当該コンピュータにより画像処理が施された腎生検画像を通信により取得する。
(B2)パッチ画像の抽出
情報処理装置1は、取得した腎生検画像にスライディングウィンドウを設定し、当該スライディングウィンドウを直交する2つの方向にスライドさせながら、パッチ画像(部分画像)を抽出する。
情報処理装置1は、取得した腎生検画像にスライディングウィンドウを設定し、当該スライディングウィンドウを直交する2つの方向にスライドさせながら、パッチ画像(部分画像)を抽出する。
図10はスライディングウィンドウSWの一例を示す模式図である。スライディングウィンドウSWは、腎生検画像からパッチ画像を抽出するために設定される仮想枠であり、抽出すべきパッチ画像と同じ大きさを有する。情報処理装置1の制御部11は、スライディングウィンドウSWが設定された位置において、スライディングウィンドウSW内の画素情報を腎生検画像から読み出すことにより、パッチ画像を抽出する。制御部11は、抽出したパッチ画像を記憶部12に記憶させる。制御部11は、スライディングウィンドウSWを腎生検画像上の直交する2つの方向(図10に示すX方向及びY方向)に1ブロックずつスライドさせながら、各位置においてパッチ画像を順次抽出する。1つのブロックは、X方向及びY方向にそれぞれスライディングウィンドウSWの1/nの寸法を有する。ここで、nは2以上の整数である。図10はn=8の例を示している。
図11はパッチ画像の抽出例を示す模試図である。制御部11は、腎生検画像上でスライディングウィンドウSWを1ブロックずつスライドさせながら、パッチ画像を順次抽出する。図11Aは、腎生検画像の左上隅にスライディングウィンドウSWを設定し、その位置にてパッチ画像を抽出した例を示している。図11Bは、図11Aの状態からX方向に1ブロックだけスライディングウィンドウSWをスライドさせ、その位置においてパッチ画像を抽出した例を示している。図11Cは、スライディングウィンドウSWのスライドと、パッチ画像の抽出とを更に進め、X方向に10ブロック、Y方向に6ブロックまでスライドさせたスライディングウィンドウSWからパッチ画像を抽出した例を示している。このように、制御部11は、腎生検画像上でスライディングウィンドウSWを1ブロックずつスライドさせながら、腎生検画像の画像全体からパッチ画像を抽出する。
(B3)分類クラスへの分類
制御部11は、診断対象の腎生検画像から抽出した複数のパッチ画像をそれぞれ学習済みモデルMDに入力し、学習済みモデルMDによる演算を実行する。学習済みモデルMDは、パッチ画像を入力した場合、出力層が備える各ノードから各分類クラスに該当する確率を出力するよう学習されている。制御部11は、学習済みモデルMDから得られる演算結果に基づき、確率が最も高い分類クラスを特定することにより、パッチ画像を分類クラスの何れかに分類することができる。
制御部11は、診断対象の腎生検画像から抽出した複数のパッチ画像をそれぞれ学習済みモデルMDに入力し、学習済みモデルMDによる演算を実行する。学習済みモデルMDは、パッチ画像を入力した場合、出力層が備える各ノードから各分類クラスに該当する確率を出力するよう学習されている。制御部11は、学習済みモデルMDから得られる演算結果に基づき、確率が最も高い分類クラスを特定することにより、パッチ画像を分類クラスの何れかに分類することができる。
(B4)分類結果の集計
本実施の形態では、X方向及びY方向にそれぞれn分割したブロック単位でスライディングウィンドウSWをスライドさせ、パッチ画像を抽出するので、各パッチ画像について分類を行った場合、各ブロックにつき最大でn×n個の分類結果が得られる。制御部11は、パッチ画像を分類する都度、分類結果を集計テーブルに記録する。集計テーブルは、例えば記憶部12に用意される。
本実施の形態では、X方向及びY方向にそれぞれn分割したブロック単位でスライディングウィンドウSWをスライドさせ、パッチ画像を抽出するので、各パッチ画像について分類を行った場合、各ブロックにつき最大でn×n個の分類結果が得られる。制御部11は、パッチ画像を分類する都度、分類結果を集計テーブルに記録する。集計テーブルは、例えば記憶部12に用意される。
図12は集計テーブルの一例を示す概念図である。腎生検画像の左上隅のブロックを(1,1)、その右に隣接するブロックを(2,1)、更にその右に隣接するブロックを(3,1)、…、といったように、各ブロックを座標(x,y)により表す。このとき、腎生検画像の左上隅に設定したスライディングウィンドウSWから抽出したパッチ画像には、(1,1)~(8,8)の合計64個のブロックが含まれる。このパッチ画像について分類を行った結果、糸球体(クラス値=01)との分類結果が得られた場合、制御部11は、(1,1)~(8,8)の64個のブロックについて、クラス値01に対応するカウンタを1だけ増加させる。この結果、図12に示されている範囲では、(1,1)~(8,1)のブロックについて、クラス値01に対応するカウンタが1だけ増加する。
同様に、X方向に1ブロックだけスライディングウィンドウSWをスライドさせ、パッチ画像を抽出した場合、このパッチ画像には、(2,1)~(9,8)の合計64個のブロックが含まれる。このパッチ画像について分類を行った結果、同じく糸球体(クラス値=01)との分類結果が得られた場合、制御部11は、(2,1)~(9,8)の64個のブロックについて、クラス値01に対応するカウンタを1だけ増加させる。この結果、図12に示されている範囲では、(2,1)~(8,1)のブロックについて、クラス値01に対応するカウンタが1だけ増加する。
このように、制御部11は、スライディングウィンドウSWをブロック単位でスライドさせながらパッチ画像を抽出し、各パッチ画像について分類を行い、ブロック毎の分類結果を集計する。
(B5)領域分割画像の生成・表示
制御部11は、集計テーブルに記録されたカウント値を参照し、領域分割画像を生成する。例えば、糸球体の領域のみを抽出した領域分割画像を生成する場合、制御部11は、集計テーブルのクラス値01の欄に記録されているカウント値を参照し、糸球体が存在していると推定される領域の画像(領域分割画像)を生成すればよい。図13は糸球体の領域分割画像の一例を示す模式図である。図13Aは腎生検画像の一例を示し、図13Bは学習済みモデルMDの演算結果に基づき生成した糸球体の領域分割画像の例を示している。制御部11は、クラス値01に対応するカウント値が、例えば、0~14の範囲、15~24の範囲、25~34の範囲、35~44の範囲、45~54の範囲、及び55~64の範囲に属する領域をそれぞれ区別して描画することにより、図13Bに示すようなコンターマップを生成することができる。なお、図13Bに示すコンターマップは、白色から黒色に向かうにつれて、糸球体である確度が高い領域であることを示している。
制御部11は、集計テーブルに記録されたカウント値を参照し、領域分割画像を生成する。例えば、糸球体の領域のみを抽出した領域分割画像を生成する場合、制御部11は、集計テーブルのクラス値01の欄に記録されているカウント値を参照し、糸球体が存在していると推定される領域の画像(領域分割画像)を生成すればよい。図13は糸球体の領域分割画像の一例を示す模式図である。図13Aは腎生検画像の一例を示し、図13Bは学習済みモデルMDの演算結果に基づき生成した糸球体の領域分割画像の例を示している。制御部11は、クラス値01に対応するカウント値が、例えば、0~14の範囲、15~24の範囲、25~34の範囲、35~44の範囲、45~54の範囲、及び55~64の範囲に属する領域をそれぞれ区別して描画することにより、図13Bに示すようなコンターマップを生成することができる。なお、図13Bに示すコンターマップは、白色から黒色に向かうにつれて、糸球体である確度が高い領域であることを示している。
同様に、炎症を含む領域を抽出した領域分割画像を生成する場合、制御部11は、炎症に該当するクラス値(クラス値19,20,30など)に関連付けて記録されているカウント値を集計テーブルから読み出し、読み出したカウント値に基づき炎症と推定される領域の画像を生成すればよい。病変を含む領域を抽出した領域分割画像を生成する場合、制御部11は、特定の病変に応じたクラス値(クラス値02,03,04,06,08など)に関連付けて記録されているカウント値を集計テーブルから読み出し、読み出したカウント値に基づき病変と推定される領域の画像を生成すればよい。
図14は炎症部分及び病変部分の領域分割画像の一例を示す模式図である。図14Aは腎生検画像の一例を示し、図14Bは学習済みモデルMDの演算結果に基づき生成した炎症部分の領域分割画像の例、図14Cは学習済みモデルMDの演算結果に基づき生成した病変部分(Kimmelstiel-Wilson病変部分)の領域分割画像の例を示している。制御部11は、クラス値20に対応するカウント値が例えば上記の各範囲に属する領域をそれぞれ区別して描画することにより、図14Bに示すようなコンターマップを生成することができる。同様に、制御部11は、クラス値04に対応するカウント値が例えば上記の各範囲に属する領域をそれぞれ区別して描画することにより、図14Cに示すようなコンターマップを生成することができる。なお、図14Bに示すコンターマップは、白色から黒色に向かうにつれて、炎症である確度が高い領域であることを示し、図14Cに示すコンターマップは、白色から黒色に向かうにつれて、Kimmelstiel-Wilson病変である確度が高い領域であることを示している。
本実施の形態では、一例として、糸球体領域を示す領域分割画像(図13B)、炎症領域を示す領域分割画像(図14B)、及びKimmelstiel-Wilson病変領域を示す領域分割画像(図14C)について示したが、制御部11は、56種類の分類クラス毎に領域分割画像を生成することができる。
制御部11は、生成した領域分割画像を表示部16に表示する。表示部16に表示される領域分割画像は、医師への診断支援情報となり得る。制御部11は、診断対象の腎生検画像と、この腎生検画像から生成した領域分割画像とを並べて表示してもよく、腎生検画像に重畳して領域分割画像を表示してもよい。
図13の例では糸球体の領域分割画像、図14では炎症部分及び病変部分の領域分割画像を示したが、制御部11は、糸球体、炎症部分、病変部分の領域分割画像に限らず、各分類クラスに対応した領域分割画像を個別に生成することが可能である。制御部11は、操作部15を通じて分類クラスの選択を受付け、選択された分類クラスに該当する領域分割画像を生成してもよい。
また、本実施の形態では、分類クラス毎に領域分割画像を生成する構成としたが、複数の分類クラスをまとめ、1つの領域分割画像として生成してもよい。例えば、分類クラス22及び23は、共に髄質に該当する分類クラスを示すので、制御部11は、これらの分類クラスのカウント値を合計し、合計値に基づき領域分割画像を生成してもよい。
また、制御部11は、カウント値を閾値と比較し、カウント値が閾値以上の領域のみを抽出して分類画像を生成してもよい。閾値は、分類クラス毎に設定された値であってもよく、分類クラスに依らず一律の値であってもよい。また、閾値は、医師の入力操作によって設定され、運用開始後に適宜変更されてもよい。
図15は領域分割画像の他の例を示す模式図である。図15Aは腎生検画像の一例を示し、図15Bは学習済みモデルMDの演算結果に基づき生成した領域分割画像の他の例を示している。図15Bの例では、健全な皮質尿細管(クラス値14)、皮質髄質(クラス値21)、基質拡張(クラス値24,25)、糸球体(クラス値01)、及び動脈(クラス値33,34)の領域を個別に抽出し、これらの5つの領域を含む領域分割画像を生成した例を示している。
制御部11は、複数の領域を含む領域分割画像を生成する際、画像全体に各領域が占める割り合いを算出し、領域分割画像と共に表示してもよい。画像全体の面積は、腎生検画像に含まれる全てのブロックの個数として算出される。また、各領域分割画像の面積は、各領域に含まれるブロックの個数として算出される。制御部11は、各領域分割画像の面積を画像全体の面積で除算することにより、画像全体に各領域が占める割り合いを算出することができる。
制御部11は、生成した領域分割画像を表示部16に表示する。表示部16に表示した領域分割画像は、医師への診断支援情報となり得る。制御部11は、診断対象の腎生検画像と、この腎生検画像から生成した領域分割画像とを並べて表示してもよく、腎生検画像に重畳して領域分割画像を表示してもよい。
図16は運用フェーズにおいて情報処理装置1が実行する処理の手順を示すフローチャートである。情報処理装置1の制御部11は、入力部13若しくは通信部14を通じて、腎生検画像を取得する(ステップS201)。制御部11は、例えば入力部13に接続された顕微鏡装置2から腎生検画像を取得する。代替的に、制御部11は、通信部14を介して通信可能に接続された外部のコンピュータから腎生検画像を取得する。情報処理装置1が取得する腎生検画像は、例えば腎生検組織の撮像画像を継ぎ目なく貼り合わせたバーチャルスライド画像である。
次いで、制御部11は、取得した腎生検画像からパッチ画像を抽出する(ステップS202)。制御部11は、取得した腎生検画像上にスライディングウィンドウSWを設定し、スライディングウィンドウSWが設定された位置において、ウィンドウ内の画素情報を腎生検画像から読み出すことにより、パッチ画像を抽出する。
次いで、制御部11は、抽出したパッチ画像を学習済みモデルMDに入力し、学習モデル済みMDによる演算を実行する(ステップS203)。学習済みモデルMDが備える入力層の各ノードには、パッチ画像を構成する各画素の画素値のデータが与えられる。入力層の各ノードに与えられたデータは、隣接する中間層のノードへ出力される。中間層では各ノードの内部活性度やノード間の重み等に基づく演算が実行される。学習済みモデルMDの出力層は、中間層から入力される値を基にソフトマックス関数を用いて確率を計算し、各ノードから演算結果として出力する。出力層の各ノードが出力する確率は、分類対象のパッチ画像が各分類クラスに属する確率を表す。
次いで、制御部11は、学習済みモデルMDによる演算結果に基づき、パッチ画像を分類する(ステップS204)。制御部11は、学習済みモデルMDから得られる演算結果を参照して、確率が最も高い分類クラスを特定することにより、パッチ画像を分類クラスの何れかに分類することができる。
次いで、制御部11は、分類結果を集計する(ステップS205)。制御部11は、分類結果を集計テーブルに記録することによって集計する。具体的には、制御部11は、パッチ画像を構成する各ブロックについて、分類されたクラス値に対応するカウンタを1だけ増加させることにより、分類結果を集計する。
次いで、制御部11は、全てのパッチ画像について分類が終了したか否かを判断する(ステップS206)。分類が終了していないパッチ画像が存在する場合(S206:NO)、制御部11は、スライディングウィンドウSW(仮想枠)をX方向又はY方向に1ブロックだけスライドさせ(ステップS207)、処理をステップS202へ戻す。
全てのパッチ画像について分類が終了したと判断した場合(S206:YES)、制御部11は、分類の集計結果に基づき、領域分割画像を生成する(ステップS208)。制御部11は、予め設定された1又は複数の領域を含む領域分割画像を生成してもよい。代替的に、制御部11は、存在率が上位の分類クラスを特定し、例えば上位5種までの分類クラスの領域を含む領域分類画像を生成してもよい。また、制御部11は、操作部15を通じて分類クラスの選択を受付け、選択された分類クラスに該当する領域の領域分割画像を生成してもよい。更に、選択された分類クラスに該当する領域と、存在率が上位の領域とを含む領域分割画像を生成してもよい。
次いで、制御部11は、生成した領域分割画像を表示部16に表示する(ステップS209)。制御部11は、腎生検画像と領域分割画像とを並べて表示してもよく、腎生検画像上に領域分割画像を重畳して表示してもよい。制御部11は、画像全体に各領域が占める割り合いを算出し、領域分割画像と共に表示してもよい。
本願発明者らは、国内24施設において腎生検を受けた5002名を対象に腎生検バーチャルスライドデータを収集し、臨床データと紐づけたデータベースを作成した。PAS染色画像からパッチ画像を切り出して、学習データとした。
本願発明者らは、データを訓練及び検証用のデータセットとテストセットとに分割し、患者背景に差がないことを確認した。訓練及び検証用のデータセットは、更に5分割され、そのうち2つのサブセットから約26万枚のパッチ画像を選択して56クラスに分類した訓練データを作成した。この訓練データに基づき学習済みモデル(AI1とする)を生成した。AI1を用いて、残りの3つのサブセットのパッチ画像を予測させ、高信頼性を示した約139万枚の画像を新たな訓練データとして作成した。新たに作成した訓練データを用いて学習済みモデル(AI2とする)を新たに生成した。AI2を用いて、AI1の学習に用いた訓練データ約26万枚を分類させたところ、適合率(precision)は平均で0.916、再現率(recall)は平均で0.947となった。更に、訓練及び検証用のデータセットに含まれる全パッチ画像(約240万枚)を訓練データに用いて学習済みモデル(AI3)を生成し、領域分割画像により病変を可視化したところ、良好に病変が検出された。
以上のように、本実施の形態では、バーチャルスライド画像のような大きな観察画像をパッチ画像に分割して機械学習を行うことにより、パッチ画像の入力に応じて、分類クラスの情報を出力するよう構成された学習済みモデルMDを構築した。また、学習済みモデルMDを用いた推論の際には、パッチ画像同士が重複するようにスライディングウィンドウSWをスライドさせながら複数のパッチ画像を抽出し、重複部分について得られる分類クラスの情報を集計して領域分割画像を生成した。本実施の形態では、パッチ画像として512×512画素のサイズの画像を用いているが、重複部分として形成される64×64画素のブロック単位で分類クラスを決定することができるので、このブロックを単位として領域分割画像を生成することにより、観察画像内の組織や病変の構造をより緻密に描画することができる。本実施の形態により、腎生検画像の診断の標準化が可能となり、患者により良い医療の提供が可能となることが期待される。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
例えば、実施の形態に係る情報処理装置1は、腎生検画像に基づき診断支援に関する情報を出力する構成としたが、診断の対象は腎生検画像に限定されない。例えば、細胞を診断対象とした細胞診画像、癌を診断対象とした癌生検画像など、検体を撮像して得られる任意の観察画像について本実施の形態に開示した手法を適用することが可能である。
また、本実施の形態では、学習フェーズの終了後に運用フェーズに移行する構成とたが、運用開始後の適宜のタイミングで学習済みモデルMDの再学習を行ってもよい。すなわち、制御部11は、運用開始後に学習済みモデルMDに入力したパッチ画像と、学習済みモデルMDの演算結果により推定した分類の情報とのデータセットを訓練データとして蓄積しておき、定期的なタイミング若しくはシステムの管理者等が指示するタイミングにて、学習済みモデルMDの再学習を行ってもよい。また、学習済みモデルMDによる分類結果に誤りがある場合、操作部15を通じて分類クラスの修正を受け付けてもよい。制御部11は、学習済みモデルMDに入力したパッチ画像と、修正後の分類クラスの情報とを蓄積しておき、これらのデータセットを再学習の際の訓練データとして用いてもよい。なお、再学習の手順は、図8のフローチャートに示される手順と同様であるため、その説明を省略する。
1 情報処理装置
2 顕微鏡装置
11 制御部
12 記憶部
13 入力部
14 通信部
15 操作部
16 表示部
PG1 診断支援プログラム
PG2 モデル生成プログラム
MD 学習済みモデル
2 顕微鏡装置
11 制御部
12 記憶部
13 入力部
14 通信部
15 操作部
16 表示部
PG1 診断支援プログラム
PG2 モデル生成プログラム
MD 学習済みモデル
Claims (14)
- 検体の観察画像を取得する取得部と、
取得した観察画像上に仮想枠を設定し、抽出すべき部分画像同士が一部重複するように、前記仮想枠をスライドさせながら複数の部分画像を抽出する抽出部と、
画像の入力に応じて前記画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、前記抽出部より抽出される複数の部分画像の夫々を入力し、前記複数の部分画像の夫々について分類クラスの情報を取得する分類部と、
複数の部分画像が重複する重複部分毎に、前記複数の部分画像について取得した分類クラスの情報を集計する集計部と、
集計した結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して前記観察画像を複数種の領域に分割することにより、領域分割画像を生成する生成部と、
生成された領域分割画像を表示する表示部と
を備える情報処理装置。 - 表示すべき領域の種別に関する選択を受付ける受付部を備え、
前記生成部は、選択された種別に対応する領域のみを示す領域分割画像を生成し、
前記表示部は、生成された領域分割画像を前記観察画像に重畳して表示する
請求項1に記載の情報処理装置。 - 前記表示部は、前記観察画像に占める各領域の割合の情報を前記領域分割画像と共に表示する
請求項1又は請求項2に記載の情報処理装置。 - 前記学習済みモデルは、観察画像から抽出される複数の部分画像と、各部分画像の分類クラスを示すラベル情報とを含むデータセットを訓練データに用いて生成したものである
請求項1から請求項3の何れか1つに記載の情報処理装置。 - 前記訓練データは、前記部分画像を、画素値のバラツキが相対的に大きい第1画像群と、画素値のバラツキが相対的に小さい第2画像群とに選別し、前記第1画像群に選別された部分画像に対して前記ラベル情報が付与された訓練データを含む
請求項4に記載の情報処理装置。 - 前記訓練データは、前記部分画像の全領域における画素値のバラツキと、前記部分画像の四隅領域における画素値のバラツキとに基づき、前記第2画像群に選別された部分画像を、背景画像群と非背景画像群とに選別し、背景画像群に選別された部分画像と、非背景画像群に選別された部分画像とに対して前記ラベル情報が付与された訓練データを更に含む
請求項5に記載の情報処理装置。 - 各部分画像の識別情報と、前記分類部より得られる各部分画像の分類クラスの情報とを関連付けて記憶する記憶部
を備える請求項1から請求項6の何れか1つに記載の情報処理装置。 - 前記観察画像は、検体を撮像して得られる複数の撮像画像を継ぎ合わせることにより生成される合成画像であり、
前記抽出部は、前記仮想枠を前記観察画像の直交する2つの方向に夫々スライドさせて前記部分画像を抽出する
請求項1から請求項7の何れか1つに記載の情報処理装置。 - 前記観察画像は、腎生検画像であり、
前記学習済みモデルは、腎生検画像の入力に応じて、糸球体、尿細管、血管、皮質、髄質、炎症部、及び病変部を含む分類クラスの情報を出力するよう構成してある
請求項1から請求項8の何れか1つに記載の情報処理装置。 - 糸球体を含むように前記部分画像の寸法を規定してある
請求項9に記載の情報処理装置。 - 検体の観察画像を取得し、
取得した観察画像上に仮想枠を設定し、抽出すべき部分画像同士が一部重複するように、前記仮想枠をスライドさせながら複数の部分画像を抽出し、
画像の入力に応じて前記画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、抽出した複数の部分画像の夫々を入力し、前記複数の部分画像の夫々について分類クラスの情報を取得し、
複数の部分画像が重複する重複部分毎に、前記複数の部分画像について取得した分類クラスの情報を集計し、
集計した結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して前記観察画像を複数種の領域に分割することにより、領域分割画像を生成し、
生成した領域分割画像を出力する
処理をコンピュータにより実行する情報処理方法。 - コンピュータに、
検体の観察画像を取得し、
取得した観察画像上に仮想枠を設定し、抽出すべき部分画像同士が一部重複するように、前記仮想枠をスライドさせながら複数の部分画像を抽出し、
画像の入力に応じて前記画像の分類を示す分類クラスの情報を出力するよう構成された学習済みモデルに、抽出した複数の部分画像の夫々を入力し、前記複数の部分画像の夫々について分類クラスの情報を取得し、
複数の部分画像が重複する重複部分毎に、前記複数の部分画像について取得した分類クラスの情報を集計し、
集計した結果に基づき、各重複部分が分類されるべき分類クラスを決定し、分類された重複部分に対応して前記観察画像を複数種の領域に分割することにより、領域分割画像を生成し、
生成した領域分割画像を出力する
処理を実行させるためのコンピュータプログラム。 - コンピュータにより、
検体の観察画像を取得し、
取得した観察画像から複数の部分画像を抽出し、
抽出した複数の部分画像を、画素値のバラツキが相対的に大きい第1画像群と、画素値のバラツキが相対的に小さい第2画像群とに選別し、
前記第1画像群に選別された複数の部分画像と、該複数の部分画像の夫々の分類クラスを示すラベル情報とを含むデータセットを訓練データに用いて、部分画像の入力に応じて前記部分画像が属する分類クラスの情報を出力するための学習済みモデルを生成する
学習モデルの生成方法。 - 前記コンピュータにより、
前記部分画像の全領域における画素値のバラツキと、前記部分画像の四隅領域における画素値のバラツキとに基づき、前記第2画像群に選別された部分画像を、背景画像群と非背景画像群とに選別し、
前記背景画像群に選別された複数の部分画像と、該複数の部分画像の夫々の分類クラスを示すラベル情報とを含むデータセット、並びに、前記非背景画像群に選別された複数の部分画像と、該複数の部分画像の夫々の分類クラスを示すラベル情報とを更に含むデータセットを訓練データに用いて、前記学習済みモデルを生成する
請求項13に記載の学習モデルの生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021097477A JP2022189096A (ja) | 2021-06-10 | 2021-06-10 | 情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021097477A JP2022189096A (ja) | 2021-06-10 | 2021-06-10 | 情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022189096A true JP2022189096A (ja) | 2022-12-22 |
Family
ID=84532761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021097477A Pending JP2022189096A (ja) | 2021-06-10 | 2021-06-10 | 情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022189096A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024147255A1 (ja) * | 2023-01-05 | 2024-07-11 | 富士通株式会社 | 画像探索方法及び画像探索プログラム |
-
2021
- 2021-06-10 JP JP2021097477A patent/JP2022189096A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024147255A1 (ja) * | 2023-01-05 | 2024-07-11 | 富士通株式会社 | 画像探索方法及び画像探索プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Veta et al. | Predicting breast tumor proliferation from whole-slide images: the TUPAC16 challenge | |
US11935644B2 (en) | Deep learning automated dermatopathology | |
JP4688954B2 (ja) | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 | |
CN112088394A (zh) | 生物组织的计算机分类 | |
US11645753B2 (en) | Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images | |
Nateghi et al. | A deep learning approach for mitosis detection: application in tumor proliferation prediction from whole slide images | |
CN112347977B (zh) | 一种诱导性多能干细胞的自动检测方法、存储介质及装置 | |
CN115210772B (zh) | 用于处理通用疾病检测的电子图像的系统和方法 | |
Janik et al. | Interpretability of a deep learning model in the application of cardiac MRI segmentation with an ACDC challenge dataset | |
CN115210817A (zh) | 用于分析电子图像以进行质量控制的系统和方法 | |
AU2022313781A1 (en) | Systems and methods for processing images for image matching | |
JP2022189096A (ja) | 情報処理装置、情報処理方法、コンピュータプログラム、及び学習モデルの生成方法 | |
Do et al. | Supporting thyroid cancer diagnosis based on cell classification over microscopic images | |
Cyprys et al. | Rigid and Elastic Registrations Benchmark on Re-stained Histologic Human Ileum Images | |
Cosatto et al. | A multi-scale conditional deep model for tumor cell ratio counting | |
Li et al. | Structure regularized attentive network for automatic femoral head necrosis diagnosis and localization | |
Liu | The application of deep learning on fast skin cancer diagnosis | |
US12087454B2 (en) | Systems and methods for the detection and classification of biological structures | |
US20240212146A1 (en) | Method and apparatus for analyzing pathological slide images | |
Ben Taieb | Analyzing cancers in digitized histopathology images | |
Fontes et al. | Check for updates Similarity-Based Explanations for Deep Interpretation of Capsule Endoscopy Images | |
Zheng | Automated grading of modic changes using cnns–improving the performance with mixup | |
Saju et al. | OHDLL: Optimized Hybrid Deep Learning Model for Classification of Leukaemia images | |
Issaev | Robust image-to-image translation tool for fibrotic quantification of whole-slide images | |
Kaur et al. | A New Deep Learning Framework for Accurate Intracranial Brain Hemorrhage Detection and Classification Using Real-Time Collected NCCT Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240527 |