JP2021506022A - 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法 - Google Patents
生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法 Download PDFInfo
- Publication number
- JP2021506022A JP2021506022A JP2020531491A JP2020531491A JP2021506022A JP 2021506022 A JP2021506022 A JP 2021506022A JP 2020531491 A JP2020531491 A JP 2020531491A JP 2020531491 A JP2020531491 A JP 2020531491A JP 2021506022 A JP2021506022 A JP 2021506022A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cell
- cells
- region
- tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 143
- 238000013135 deep learning Methods 0.000 title description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 57
- 210000004027 cell Anatomy 0.000 claims description 323
- 210000001519 tissue Anatomy 0.000 claims description 136
- 239000000523 sample Substances 0.000 claims description 130
- 210000004940 nucleus Anatomy 0.000 claims description 105
- 206010028980 Neoplasm Diseases 0.000 claims description 80
- 210000004698 lymphocyte Anatomy 0.000 claims description 59
- 230000011218 segmentation Effects 0.000 claims description 38
- 210000004881 tumor cell Anatomy 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 36
- 239000003550 marker Substances 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 25
- 239000012472 biological sample Substances 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 21
- 210000003855 cell nucleus Anatomy 0.000 claims description 20
- 210000002536 stromal cell Anatomy 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000001338 necrotic effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract 1
- 239000000090 biomarker Substances 0.000 description 49
- 238000003384 imaging method Methods 0.000 description 39
- 238000010186 staining Methods 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 27
- 239000000975 dye Substances 0.000 description 26
- 238000000926 separation method Methods 0.000 description 25
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 24
- 230000008569 process Effects 0.000 description 24
- 238000001228 spectrum Methods 0.000 description 18
- 206010006187 Breast cancer Diseases 0.000 description 16
- 208000026310 Breast neoplasm Diseases 0.000 description 16
- 238000010191 image analysis Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 16
- 201000011510 cancer Diseases 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 14
- 108090000623 proteins and genes Proteins 0.000 description 14
- 238000003556 assay Methods 0.000 description 13
- 230000002055 immunohistochemical effect Effects 0.000 description 13
- 239000000243 solution Substances 0.000 description 13
- 230000003595 spectral effect Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 12
- 230000007170 pathology Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 230000000877 morphologic effect Effects 0.000 description 10
- 238000000701 chemical imaging Methods 0.000 description 9
- 230000007717 exclusion Effects 0.000 description 9
- 239000012528 membrane Substances 0.000 description 9
- 102000008096 B7-H1 Antigen Human genes 0.000 description 8
- 108010074708 B7-H1 Antigen Proteins 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 8
- 239000000427 antigen Substances 0.000 description 8
- 210000002865 immune cell Anatomy 0.000 description 8
- 238000007689 inspection Methods 0.000 description 8
- 210000000170 cell membrane Anatomy 0.000 description 7
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000007901 in situ hybridization Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 102000004169 proteins and genes Human genes 0.000 description 7
- 102000036639 antigens Human genes 0.000 description 6
- 108091007433 antigens Proteins 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000012552 review Methods 0.000 description 6
- 210000003171 tumor-infiltrating lymphocyte Anatomy 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 210000000805 cytoplasm Anatomy 0.000 description 5
- 230000001086 cytosolic effect Effects 0.000 description 5
- 102000015694 estrogen receptors Human genes 0.000 description 5
- 108010038795 estrogen receptors Proteins 0.000 description 5
- 239000000834 fixative Substances 0.000 description 5
- 239000012530 fluid Substances 0.000 description 5
- 102000039446 nucleic acids Human genes 0.000 description 5
- 108020004707 nucleic acids Proteins 0.000 description 5
- 150000007523 nucleic acids Chemical class 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 4
- 241001510071 Pyrrhocoridae Species 0.000 description 4
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 4
- SXEHKFHPFVVDIR-UHFFFAOYSA-N [4-(4-hydrazinylphenyl)phenyl]hydrazine Chemical compound C1=CC(NN)=CC=C1C1=CC=C(NN)C=C1 SXEHKFHPFVVDIR-UHFFFAOYSA-N 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000000386 microscopy Methods 0.000 description 4
- 210000004882 non-tumor cell Anatomy 0.000 description 4
- 102000003998 progesterone receptors Human genes 0.000 description 4
- 108090000468 progesterone receptors Proteins 0.000 description 4
- 238000004393 prognosis Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- QTBSBXVTEAMEQO-UHFFFAOYSA-N Acetic acid Chemical compound CC(O)=O QTBSBXVTEAMEQO-UHFFFAOYSA-N 0.000 description 3
- 241000239223 Arachnida Species 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 3
- 206010018338 Glioma Diseases 0.000 description 3
- -1 Ki-67 Proteins 0.000 description 3
- OKKJLVBELUTLKV-UHFFFAOYSA-N Methanol Chemical compound OC OKKJLVBELUTLKV-UHFFFAOYSA-N 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000011532 immunohistochemical staining Methods 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 239000002096 quantum dot Substances 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- CSCPPACGZOOCGX-UHFFFAOYSA-N Acetone Chemical compound CC(C)=O CSCPPACGZOOCGX-UHFFFAOYSA-N 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 2
- 108020004414 DNA Proteins 0.000 description 2
- 102000004190 Enzymes Human genes 0.000 description 2
- 108090000790 Enzymes Proteins 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 206010033128 Ovarian cancer Diseases 0.000 description 2
- 206010061535 Ovarian neoplasm Diseases 0.000 description 2
- 102000007066 Prostate-Specific Antigen Human genes 0.000 description 2
- 108010072866 Prostate-Specific Antigen Proteins 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000027455 binding Effects 0.000 description 2
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 239000003431 cross linking reagent Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 210000004907 gland Anatomy 0.000 description 2
- 230000028993 immune response Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002601 intratumoral effect Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 210000005265 lung cell Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004452 microanalysis Methods 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000017074 necrotic cell death Effects 0.000 description 2
- 238000013188 needle biopsy Methods 0.000 description 2
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 2
- GYHFUZHODSMOHU-UHFFFAOYSA-N nonanal Chemical compound CCCCCCCCC=O GYHFUZHODSMOHU-UHFFFAOYSA-N 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 108090000765 processed proteins & peptides Proteins 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000002966 serum Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- IJRLLVFQGCCPPI-NVGRTJHCSA-L 2-[4-[2-[[(2R)-1-[[(4R,7S,10S,13R,16S,19R)-10-(4-aminobutyl)-4-[[(1S,2R)-1-carboxy-2-hydroxypropyl]carbamoyl]-7-[(1R)-1-hydroxyethyl]-16-[(4-hydroxyphenyl)methyl]-13-(1H-indol-3-ylmethyl)-6,9,12,15,18-pentaoxo-1,2-dithia-5,8,11,14,17-pentazacycloicos-19-yl]amino]-1-oxo-3-phenylpropan-2-yl]amino]-2-oxoethyl]-10-(carboxylatomethyl)-7-(carboxymethyl)-1,4,7,10-tetrazacyclododec-1-yl]acetate copper-64(2+) Chemical compound [64Cu++].C[C@@H](O)[C@H](NC(=O)[C@@H]1CSSC[C@H](NC(=O)[C@@H](Cc2ccccc2)NC(=O)CN2CCN(CC(O)=O)CCN(CC([O-])=O)CCN(CC([O-])=O)CC2)C(=O)N[C@@H](Cc2ccc(O)cc2)C(=O)N[C@H](Cc2c[nH]c3ccccc23)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H]([C@@H](C)O)C(=O)N1)C(O)=O IJRLLVFQGCCPPI-NVGRTJHCSA-L 0.000 description 1
- WEVYNIUIFUYDGI-UHFFFAOYSA-N 3-[6-[4-(trifluoromethoxy)anilino]-4-pyrimidinyl]benzamide Chemical compound NC(=O)C1=CC=CC(C=2N=CN=C(NC=3C=CC(OC(F)(F)F)=CC=3)C=2)=C1 WEVYNIUIFUYDGI-UHFFFAOYSA-N 0.000 description 1
- 241001482107 Alosa sapidissima Species 0.000 description 1
- 208000032791 BCR-ABL1 positive chronic myelogenous leukemia Diseases 0.000 description 1
- 108700020463 BRCA1 Proteins 0.000 description 1
- 102000036365 BRCA1 Human genes 0.000 description 1
- 101150072950 BRCA1 gene Proteins 0.000 description 1
- 102000052609 BRCA2 Human genes 0.000 description 1
- 108700020462 BRCA2 Proteins 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 101150008921 Brca2 gene Proteins 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 108010001857 Cell Surface Receptors Proteins 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 208000010833 Chronic myeloid leukaemia Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 102000018651 Epithelial Cell Adhesion Molecule Human genes 0.000 description 1
- 108010066687 Epithelial Cell Adhesion Molecule Proteins 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000233866 Fungi Species 0.000 description 1
- 206010051066 Gastrointestinal stromal tumour Diseases 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 238000011460 HER2-targeted therapy Methods 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 102000011782 Keratins Human genes 0.000 description 1
- 108010076876 Keratins Proteins 0.000 description 1
- 102000018697 Membrane Proteins Human genes 0.000 description 1
- 108010052285 Membrane Proteins Proteins 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 241000289419 Metatheria Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000033761 Myelogenous Chronic BCR-ABL Positive Leukemia Diseases 0.000 description 1
- 108020004711 Nucleic Acid Probes Proteins 0.000 description 1
- 108091034117 Oligonucleotide Proteins 0.000 description 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 1
- 206010033701 Papillary thyroid cancer Diseases 0.000 description 1
- 229930040373 Paraformaldehyde Natural products 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 108020004518 RNA Probes Proteins 0.000 description 1
- 239000003391 RNA probe Substances 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 101000611441 Solanum lycopersicum Pathogenesis-related leaf protein 6 Proteins 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 210000001744 T-lymphocyte Anatomy 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 208000009956 adenocarcinoma Diseases 0.000 description 1
- 150000001299 aldehydes Chemical class 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 229940045799 anthracyclines and related substance Drugs 0.000 description 1
- 230000000692 anti-sense effect Effects 0.000 description 1
- 239000007864 aqueous solution Substances 0.000 description 1
- 210000003719 b-lymphocyte Anatomy 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 239000002771 cell marker Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000003398 denaturant Substances 0.000 description 1
- 238000004925 denaturation Methods 0.000 description 1
- 230000036425 denaturation Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 102000052116 epidermal growth factor receptor activity proteins Human genes 0.000 description 1
- 108700015053 epidermal growth factor receptor activity proteins Proteins 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 210000003722 extracellular fluid Anatomy 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 210000003701 histiocyte Anatomy 0.000 description 1
- 230000001744 histochemical effect Effects 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 238000009169 immunotherapy Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000003446 ligand Substances 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000891 luminescent agent Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 210000003563 lymphoid tissue Anatomy 0.000 description 1
- 230000002934 lysing effect Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 102000006240 membrane receptors Human genes 0.000 description 1
- 229960002523 mercuric chloride Drugs 0.000 description 1
- LWJROJCJINYWOX-UHFFFAOYSA-L mercury dichloride Chemical compound Cl[Hg]Cl LWJROJCJINYWOX-UHFFFAOYSA-L 0.000 description 1
- 229910021645 metal ion Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- WSFSSNUMVMOOMR-NJFSPNSNSA-N methanone Chemical compound O=[14CH2] WSFSSNUMVMOOMR-NJFSPNSNSA-N 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 238000010369 molecular cloning Methods 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 238000007837 multiplex assay Methods 0.000 description 1
- YOHYSYJDKVYCJI-UHFFFAOYSA-N n-[3-[[6-[3-(trifluoromethyl)anilino]pyrimidin-4-yl]amino]phenyl]cyclopropanecarboxamide Chemical compound FC(F)(F)C1=CC=CC(NC=2N=CN=C(NC=3C=C(NC(=O)C4CC4)C=CC=3)C=2)=C1 YOHYSYJDKVYCJI-UHFFFAOYSA-N 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 210000000440 neutrophil Anatomy 0.000 description 1
- 239000002547 new drug Substances 0.000 description 1
- 239000012454 non-polar solvent Substances 0.000 description 1
- 239000002853 nucleic acid probe Substances 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000012285 osmium tetroxide Substances 0.000 description 1
- 229910000489 osmium tetroxide Inorganic materials 0.000 description 1
- 239000007800 oxidant agent Substances 0.000 description 1
- 201000002528 pancreatic cancer Diseases 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 238000009595 pap smear Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 229920002866 paraformaldehyde Polymers 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- OXNIZHLAWKMVMX-UHFFFAOYSA-N picric acid Chemical compound OC1=C([N+]([O-])=O)C=C([N+]([O-])=O)C=C1[N+]([O-])=O OXNIZHLAWKMVMX-UHFFFAOYSA-N 0.000 description 1
- 210000004180 plasmocyte Anatomy 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 239000003586 protic polar solvent Substances 0.000 description 1
- 210000004915 pus Anatomy 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000012088 reference solution Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012419 revalidation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 230000009870 specific binding Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000001138 tear Anatomy 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 208000030045 thyroid gland papillary carcinoma Diseases 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000005748 tumor development Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000009790 vascular invasion Effects 0.000 description 1
- 239000000080 wetting agent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Abstract
Description
[0001] 本願は、2017年12月7日に出願された米国特許出願第62/596036号の優先権を主張する。
[0045] 本開示は、試料画像内にある細胞および領域を連帯的にそして同時に分類するために多層ニューラル・ネットワークを訓練するための自動システムおよび方法に関する。また、本開示は、未標識画像(unlabeled image)内にある細胞を分類するために、訓練済み多層ニューラル・ネットワークを使用するための自動システムおよび方法に関する。
[0053] ある実施形態では、初期ステップとして、そして図2を参照すると、ディジタル病理学システム200は画像取得モジュール202を実行して、(例えば、撮像装置12を使用して)1つ以上の染色を有する生体試料の画像または画像データをキャプチャする(即ち、画像は単純画像でも多重画像でもよい)。ある実施形態では、受け取られる画像または取得される画像はRGB画像またはマルチスペクトル画像である。ある実施形態では、キャプチャされた画像はメモリ201に格納される(または記憶モジュール240内)。ニューラル・ネットワークを訓練するためにグラウンド・トゥルース・データを導き出すことができるのは、取得画像からである。即ち、グラウンド・トゥルース・データを生成するために、試料画像または試料画像データを取得するまたは引き出すことができる(ステップ300から302まで)。同様に、未標識画像または未標識画像データも取得するまたは引き出すことができ、未標識画像または未標識画像データ内にある細胞を、訓練済み多層ニューラル・ネットワークを使用して分類することができる(ステップ303から305まで)。試料画像または未標識画像はいずれも、ホール・スライド画像またはその任意の一部(例えば、所定の視野)である。
[0063] 図3Aを参照すると、多層ニューラル・ネットワークの訓練は、(i)試料画像データを受け取るステップ(ステップ300)(例えば、画像取得モジュール202を使用する)、(ii)試料画像データからグラウンド・トゥルース・データを生成するステップ(ステップ301)(例えば、グラウンド・トゥルース訓練モジュール210を使用する)、および(iii)試料画像データおよび生成したグラウンド・トゥルース・データを使用して多層ニューラル・ネットワーク(220)を訓練するステップ(ステップ302)を含む。
[0065] 次いで、領域識別モジュール203を使用することによってというようにして、試料画像内の種々の領域に対してグラウンド・トゥルース・データを生成する。例えば、種々の組織領域、例えば、正常組織、腫瘍組織、壊死組織、リンパ管リンパ球豊富領域、間質組織等に関するグラウンド・トゥルース・データを、H&E試料画像から生成することができる。勿論、識別される領域は、腫瘍周囲領域、免疫辺縁領域(immune margin region)、血管侵入、神経浸潤 、コメド状領域、形質細胞または好中球豊富領域、活性化間質、出血、正常腺房または管等であってもよく、識別される領域の型は、生体試料の型に依存することは、当業者には認められよう。ある実施形態では、識別された部分が、特異的バイオマーカ、例えば、特異的IHCマーカの過剰発現腫瘍領域を表すこともある。
[0070] 画像取得および/または分離に続いて、入力画像または分離画像チャネル画像を細胞検出モジュール204に供給して細胞を検出し、続いて細胞分類モジュール205に供給して細胞および/または核を分類する(ステップ300)。本明細書において説明する手順およびアルゴリズムは、入力画像内の特徴に基づいて種々の型の細胞または細胞核を識別および分類するように構成することができ、腫瘍細胞、非腫瘍細胞、間質細胞、およびリンパ球を識別および分類することを含む。尚、識別された細胞型は、例えば、免疫細胞のコンテキストでは、試料画像の型および染色に依存する場合もあり、CD3およびCD8を含む異なる型の免疫細胞が検出および分類される可能性もあることは、当業者には認められよう。同様に、細胞分類は、マーカ陽性腫瘍細胞またはマーカ陰性腫瘍細胞としてもよい。他の例として、CD3またはCD8リンパ球のような免疫マーカで染色されたIHC画像において、膜マーカ染色(DAB)を有する細胞(cells with membrane marker staining)は陽性であり、対比染色されたリンパ球はマーカ陰性(marker negative)である。尚、異なる組織は、異なる細胞型、例えば、甲状腺乳頭がんの乳頭突起、腺癌の腺、および化生性がんの多核巨大細胞を含むことは、当業者には認められよう。
[0079] 「形態学的特徴」(morphology feature)とは、本明細書において使用する場合、例えば、核の形状または寸法を示す特徴である。いずれの特定の理論にも束縛されることを望むのではないが、形態学的特徴は細胞またはその核の大きさおよび形状についていくつかの極めて重要な情報を提供すると考えられる。例えば、形態学的特徴は、核ブロブまたはシード内に含まれる画素あるいはその周囲にある画素に対して種々の画像分析アルゴリズムを適用することによって計算することができる。ある実施形態では、形態学的特徴は、面積、短軸および長軸の長さ、外周、半径、中実であること(solidity)等を含む。細胞レベルでは、このような特徴は、核を健康な細胞または罹患された細胞に属するものとして分類するために使用される。組織レベルでは、組織全体におけるこれらの特徴の統計が、組織が罹患されているか否かの分類において利用される。
[0080] 「外観的特徴」(appearance feature)とは、本明細書において使用する場合、例えば、核を識別するために使用される核ブロブまたはシード内に含まれる画素あるいはそれを取り囲む画素の画素強度値を比較することによって、特定の核について計算された特徴であり、これによって、異なる画像チャネル(例えば、背景チャネル、バイオマーカの染色のためのチャネル等)から、比較画素強度(compared pixel intensities)が導き出される。ある実施形態では、外観的特徴から導き出されるメトリックは、異なる画像チャネルから計算される画素強度(pixel intensities)および勾配強度(gradient magnitudes)のパーセンタイル値(例えば、10、50,および95パーセンタイル値)から計算される。例えば、最初に、対象の核を表す核ブロブ内にある複数ICの画像チャネル(例えば、3つのチャネル:HTX、DAB、輝度)の各々の画素値のX−パーセンタイル値(X=10、50、95)の数Pを特定する。外観的特徴メトリックを計算することは、有利であると言える。何故なら、導かれるメトリックは、核領域のプロパティを記述することができ、更に、核を取り囲む膜領域を記述することができるからである。
[0081] 「背景特徴」(background feature)とは、例えば、細胞質における外観および/または染料の存在を示す特徴、ならびに核を含む細胞の細胞膜の特徴であり、背景特徴はこれらを求めて画像から抽出されたものである。背景特徴および対応するメトリックは、例えば、核ブロブまたは核を表すシードを識別し、識別された1組の細胞に直接隣接する画素エリア(例えば、核ブロブ境界周囲の厚さ20画素、即ち、約9ミクロンの帯状体)を分析し、したがって、この核がある細胞の外観ならびに細胞質および膜における染料の存在を、細胞に直接隣接するエリアと共にキャプチャすることによって、ディジタル画像内に表現される核および対応する細胞について計算することができる。これらのメトリックは、核の外観的特徴に似ているが、各核の境界周囲の約20画素(約9ミクロン)の厚さの帯状体において計算され、したがって、識別された核を有する細胞の外観、ならびに細胞質および膜における染料の存在が、この細胞に直接隣接するエリアと共に、キャプチャされる。いずれの特定の理論にも束縛されることを望むのではないが、この帯状体のサイズを選択したのは、核を取り囲む十分な量の背景組織エリアをキャプチャし、核の差別について有用な情報を提供するために使用することができると考えられるからである。これらの特徴は、J. Kong, et al., "A comprehensive framework for classification of nuclei in digital microscopy imaging: An application to diffuse gliomas"(ディジタル顕微鏡撮像における核の分類のための総合的フレームワーク:びまん性神経膠腫に対する応用)in ISBI, 2011, pp.2128-2131によって開示されたものと同様である。尚、これらの特徴は、周囲の組織が間質かまたは上皮か判定するために使用することができると考えられる(H&E染色組織試料におけるように)。いずれの特定の理論にも束縛されることを望むのではないが、これらの背景特徴は、膜染色パターンもキャプチャし、膜染色パターンは、組織試料がしかるべき膜染色剤によって染色されるときに有用であると考えられる。
[0083] ある実施形態では、色から導き出されるメトリックには、色比率、R/(R+G+B)、または色の主成分が含まれる。他の実施形態では、色から導き出されるメトリックには、色の各々の局所的統計(平均/中央/分散/標準偏差)、および/または局所画像ウィンドウにおける色強度相関(color intensity correlation)が含まれる。
[0085] 病理組織学的スライド画像内に表示される灰色の細胞の黒から白までの明暗度の間で、一定の特異的プロパティ値を有する隣接細胞の一群を設定する。色特徴の相関は、サイズ・クラスのインスタンスを定め、したがって、このようにして、これらの着色された細胞の明暗度によって、病的細胞を、その周囲にある黒い細胞のクラスタから判定する。
[0087] テクスチャ特徴の例、およびそれらの導出方法は、PCT公開WO/2016/075095およびWO/2016/075096に記載されている。
[0089] ある実施形態では、空間特徴は、局所細胞密度、2つの隣接する検出細胞間の平均距離、および/または細胞からセグメント化領域までの距離を含む。
[0091] また、当業者には、核特徴からもメトリックを導き出せることが認められよう。このような核特徴の計算については、Xing et al. "Robust Nucleus/Cell Detection and Segmentation in Digital Pathology and Microscopy Images: A Comprehensive Review"(ディジタル病理学および顕微鏡画像におけるロバストな核/細胞検出およびセグメンテーション:包括的な再検証), IEEE Rev Biomed Eng 9, 234-263, January 2016に記載されている。
[0101] 他の例として、PCT公開第WO/2016/075096号に記載されているように、細胞をリンパ球として分類することもできる。具体的には、PCT公開第WO/2016/075096号は、PD−L1バイオマーカの存在を求めてIHCアッセイにおいて染色された組織試料の画像内において細胞を分類するコンピュータ実装方法について記載する。この方法は、組織試料の画像内にある核の特徴から核特徴メトリックを計算するステップと、組織試料の画像を用いて、対象の核に基づいてコンテキスト情報メトリックを計算するステップと、核特徴メトリックとコンテキスト情報メトリックとの組み合わせを使用して(分類器の入力として)組織試料の画像内において細胞を分類するステップとを含み、細胞は、陽性免疫細胞、陽性腫瘍細胞、陰性免疫細胞、および陰性腫瘍細胞、または他の細胞の内少なくとも1つとして分類される。ある実施形態では、この方法は、更に、細胞内において個々の核を識別するために前景セグメント化マスクを作成するステップも含む。更に、この特許公開は、PD−L1染色組織のコンテキストにおいて、PD−L1バイオマーカを発現しないリンパ球(「陰性リンパ球」)がある領域は小さい青色のブロブによって特徴付けられ、PD−L1バイオマーカを発現するリンパ球(「陽性リンパ球」)がある領域は小さい青色のブロブおよび茶色のブロブによって特徴付けられ、PD−L1バイオマーカを主に発現する細胞がある腫瘍領域(「陽性腫瘍細胞」)は大きな青色のブロブおよび茶色のリングによって特徴付けられ、PD−L1バイオマーカを発現しない細胞(「陰性腫瘍細胞」)がある腫瘍領域は大きな青色のブロブのみによって特徴付けられることも記載している。
ここで、画素cj∈Cj毎に、Πj(cj)は画素cjがクラスωTに属する複合尤度であり、αjiは、特徴Φiについて訓練する間に決定される重みであり、Tは繰り返しの回数である。
[0107] 以上で説明したような自動画像分析を使用する細胞検出および分類に続いて、病理学者または他の医療専門家によって自動分類を調節する、またそうでなければ訂正することができる(ステップ314)。このように、細胞分類は半自動または半教師付である。例えば、自動画像分析アルゴリズムによって行われる細胞分類は、ビューアにおいて試料画像上に被せるオーバーレイとして表示することができ、次いで、医療専門家は細胞が正しく分類されたことを確認するために、疑わしい細胞分類を再検討することができる。他方で、細胞が正しく分類されていなかった場合、医療専門家は細胞分類を調節する機会を有することができる、即ち、自動細胞分類を手作業で無効にすることができる。例えば、医療専門家は、分類し損ねた細胞を手作業で選択し、これらに正しい分類を標識付けし直してもよい。尚、自動分類結果を再検討することによって、改良した(better)グラウンド・トゥルース訓練データを多層ニューラル・ネットワークに供給できることは、当業者には認められよう。ステップ314の出力は、自動画像分析からの、正しく識別された分類と、1組の調節された細胞分類との組み合わせであり、「最終的な」細胞分類を提示する。
[0108] 医療専門家によって細胞分類結果が再検討された後、組織領域識別および細胞分類を画素レベルで組み合わせる(ステップ314)。
[0113] 次いで、試料画像、およびこの試料画像内において各画素に割り当てられた標識を使用して、多層ニューラル・ネットワークを訓練する(図3Aのステップ302、図3Bのステップ316)。この目的のためには、いずれの多層ニューラル・ネットワークでも実装してよい。適した多層ニューラル・ネットワークには、Yann LeCunによって提案されたLeNet、Alex Krizhevsky et alによって提案されたAlexNet、Matthew Zeiler et al.によって提案されたZF Net、Szegedt et al.によって提案されたGoogLeNet、Karen Simonyan et al.によって提案されたVGGNet、およびKaiming He et al.によって提案されたResNetが含まれる。ある実施形態では、多層ニューラル・ネットワークはVGG16(Simonyan, 2014)である。他の実施形態では、多層ニューラル・ネットワークはDenseNetである(Huang et al., "Densely Connected Convolutional Networks"(密接続畳み込みネットワーク)arXiv: 1608.06993を参照のこと)。ある実施形態では、Long et al., "Fully Convolutional Networks for Semantic Segmentation"(セマンティック・セグメント化のための完全畳み込みネットワーク) Computer Vision and Pattern Recognition (CVPR), 2015 IEEE Conference, June 20015 (INSPEC Accession Number: 15524435)によって記載されるような、完全畳み込みニューラル・ネットワークが利用される。
[0116] また、本開示は、訓練済み多層ネットワークを使用して、領域および細胞を分類するシステムならびに方法も提供する(図3A参照)。ある実施形態では、未標識画像データを、訓練済み多層ニューラル・ネットワークに供給する(ステップ303)。ここで、訓練済み多層ニューラル・ネットワークは、未標識画像において検出された細胞を分類する(ステップ304)。一旦未標識画像内の細胞を分類したなら、分類結果を更なる分析に使用することができる(例えば、オーバーレイ・マスクの作成、採点等)。これらのステップの各々について本明細書において更に詳しく説明する。
[0126] 本明細書において概説した種々のステップを例示するために、非限定的な例を示す。
[0127] HER2−標的治療およびアンスラサイクリン系化学療法に対する反応を予測するバイオマーカが、個別患者看護のために必要である。腫瘍浸潤リンパ球(TIL: tumor infiltrating lymphocytes)の組織学に基づく評価は、乳癌において予後を予測し、潜在的に治療を予測する(therapy-predictive)と思われる。しかしながら、TIL、腫瘍細胞、他の微小環境メディエータ、これらの空間的関係、量、およびその他の画像に基づく特徴の相互作用(interplay)は、未だこれらの医学的必要性のコンテキストでは網羅的および系統的に判定されていない。患者コホート(patient cohort)におけるこれらの態様を定量化し調査するために、乳癌のH&E組織ホール・スライド画像の領域レベルおよび細胞レベル双方のセグメント化ならびに分類のために、深層学習に基づく画像分析アルゴリズムを開発した。
[0128] 深層学習(DL)とは、顕著な特徴を自動的に発見し異なる対象構造間で区別する(discriminate)ように、多層(深層)畳み込みニューラル・ネットワークを訓練する機械学習手法である。H&E画像の自動解釈について、腫瘍細胞、間質細胞、およびリンパ球細胞、ならびに腫瘍領域および間質領域を識別し、他の領域(例えば、壊死、アーチファクト)を拒絶することを定めた。1つの深層ネットワークを、画素レベルにおける複合領域および細胞分類のために訓練した。領域レベルのグラウンド・トゥルースに手作業で注釈付けした。しかしながら、手作業で各細胞に注釈付けするのは厄介であり、誤りが起こり易い。この問題を軽減するために、半自動方法を使用し、画像分析アルゴリズムによって出力された偽分類を、病理学者が手作業で訂正する。
[0129] ネットワークを訓練するために、領域および細胞注釈付け(〜20,000領域、500,000細胞、2×108画素@0.5μmのために、倍率を20倍とした20枚のホール・スライド画像を使用した。
結果
[0131] 2つの実験において、開発したアルゴリズムを病理学者のグラウンド・トゥルースと比較した。
[0137] 本開示のシステムおよび方法と共に使用することができる他のコンポーネント(例えば、システムまたはモジュール)について、以下に説明する。
[0138] ある実施形態では、入力として受け取られた画像は多重画像であってもよい。即ち、受け取られた画像が、1つよりも多い染料によって染色された生体試料のものでもよい。これらの実施形態では、そして更に処理する前に、多重画像(multiple image)を最初にその構成チャネルに分離する。各分離チャネルは個々の染料またはシグナルに対応する。ある実施形態では、分離画像(「チャネル画像」または「画像チャネル画像」と呼ばれることも多い)が、本明細書において説明する各モジュールに対する入力として使用されてもよい。例えば、インターマーカ異質性は、第1H&E画像、複数の分化マーカのクラスタ(CD3、CD8等)を求めて染色された第2多重画像、および個々のバイオマーカ(例えば、ER、PR、Ki67等)を求めて各々染色された複数の単純画像によって判定されてもよい。この例では、多重画像は最初にその構成チャネル画像に分離され、これらのチャネル画像がH&E画像および複数の単純画像と共に使用され、インターマーカ異質性を判定することができる。
[0147] 本開示のシステム200は、組織標本上で1つ以上の調製プロセスを実行することができる標本処理装置に関連付けることもできる。調製プロセスは、限定ではなく、標本を脱パラフィンし、標本をコンディショニングし(例えば、細胞コンディショニング)、標本を染色し、抗原賦活化を実行し、免疫組織化学染色(標識付けを含む)または他の反応を実行し、および/またはイン・サイチュー・ハイブリダイゼーション(例えば、SISH、FISH等)染色(標識付けを含む)もしくは他の反応を実行し、更には、顕微鏡検査、微細分析、質量分光分析法、または他の分析方法のために標本を調製する他のプロセスを実行することを含むことができる。
[0166] 以上、多数の例示的な実施形態を参照しながら本開示について説明したが、本開示の原理の主旨および範囲に該当する数多くの他の変更や実施形態も、当業者によって考案できることは理解されてしかるべきである。更に特定すれば、以上の開示、図面、および添付した請求項の範囲内で、本開示の主旨から逸脱することなく、主題の組み合わせ構成のコンポーネント部分および/または配置において、合理的な変形および変更が可能である。コンポーネント部分および/または配置における変形ならびに変更に加えて、当業者には代替使用も明白であろう。
Claims (15)
- 1組の訓練画像からの試料画像内において異なる細胞型および領域を検出および分類するために多層ニューラル・ネットワークを訓練する方法であって、
生体標本の試料画像内において異なる組織領域を識別するステップと、
前記試料画像内にある特徴に基づいて細胞を検出および分類し、提案細胞分類を行うステップと、
最終細胞分類を行うために、ユーザからの入力を使用して、正しく分類されなかった提案細胞分類を訂正するステップと、
前記識別した組織領域と最終細胞分類との組み合わせに基づいて、各試料画像内にある各画素に対して標識を割り当てるステップであって、前記画素標識が、生物学的に実現可能な細胞および領域の組み合わせのみに割り当てられる、ステップと、
前記試料画像と、前記試料画像内にある各画素に割り当てられた前記標識とを使用して、前記多層ニューラル・ネットワークを訓練するステップと、
を含む、方法。 - 請求項1記載の方法において、前記試料画像内において異なる領域を識別するステップが、病理学者によって手作業で、および/または1つ以上のプロセッサ(209)によって自動的に実行される、方法。
- 請求項1または2記載の方法において、前記試料画像内にある特徴に基づいて細胞を検出および分類するステップが、(i)細胞核を検出するステップと、(ii)前景セグメント化マスクを計算するステップと、(iii)検出した細胞核から特徴を導き出すステップと、(iv)前記導き出した特徴に基づいて、分類器を使用して核を分類するステップとを含む、方法。
- 請求項1から3のいずれか1項記載の方法において、画素毎に割り当てられる前記標識が、前記分類した細胞型の識別と、前記試料画像において前記画素が位置する組織領域とを含むベクトルである、方法。
- 請求項1から4のいずれか1項記載の方法において、前記組織領域が、腫瘍領域、間質領域、リンパ球豊富領域、および壊死領域を含み、細胞型が、腫瘍細胞、間質細胞、およびリンパ球を含む、方法。
- 請求項5記載の方法において、前記生物学的に実現可能な組み合わせが、(i)腫瘍領域における腫瘍細胞、(ii)腫瘍領域における間質細胞、(iii)腫瘍領域におけるリンパ球、(iv)間質領域における腫瘍細胞、(v)間質領域における間質細胞、(vi)間質領域におけるリンパ球、(vii)リンパ球豊富領域における腫瘍細胞、および(viii)リンパ球豊富領域におけるリンパ球を含む、方法。
- 請求項1から6のいずれか1項記載の方法であって、更に、未標識画像を、前記訓練済み多層ニューラル・ネットワークに供給するステップと、前記未標識画像内にある画素毎に予測標識を受け取るステップとを含む、方法。
- 生体試料の未標識画像内において細胞を分類する方法であって、
前記未標識画像において細胞中心を検出するステップと、
前記未標識画像のために前景セグメント化マスクを計算するステップと、
前記計算した前景セグメント化マスクによって前記未標識画像をフィルタリングすることによって、前記未標識画像において個々の細胞を識別するステップと、
異なる細胞型および組織領域を連帯的に検出し分類するように訓練された多層ニューラル・ネットワークを前記未標識画像に適用するステップであって、前記訓練済み多層ニューラル・ネットワークの適用によって、前記未標識画像内にある各画像に対して予測標識を提示し、各予測標識が、(i)前記それぞれの画素に対応する細胞型と、(ii)前記それぞれの画素に対応する領域型とに対応する、ステップと、
細胞標識を、識別された個々の細胞各々に割り当てるステップと、
を含む、方法。 - 請求項8記載の方法であって、更に、異なる標識を付けられた個々の細胞を定量化し、発現スコアを計算するステップを含む、方法。
- 請求項9記載の方法であって、更に、腫瘍領域または間質領域においてリンパ球の数および他の空間分布プロパティを定量化するステップを含む、方法。
- 請求項10記載の方法において、識別された個々の細胞各々に細胞標識を割り当てるステップが、(i)前記識別された個々の細胞内において各予測標識を支持する画素の数を定量化するステップと、(ii)最も大きな量を有する予測標識を細胞標識として割り当てるステップとを含む、方法。
- システム(200)であって、
1つ以上のプロセッサ(209)と、
命令を格納する非一時的コンピュータ読み取り可能メモリ(201)と、
を備え、前記命令が前記1つ以上のプロセッサ(209)によって実行されると、請求項1から7までのいずれか1項記載の方法を前記1つ以上のプロセッサ(209)に実行させる、システム(200)。 - システム(200)であって、
未標識画像内において細胞を識別するように構成された細胞検出モジュール(204)と、
請求項1から7までの1項記載の方法を使用して、前記未標識画像内にある画素毎に予測標識を提供するように訓練された多層ニューラル・ネットワーク(220)であって、前記予測標識が異なる細胞型に対応する、多層ニューラル・ネットワーク(220)と、
前記細胞検出モジュール(204)によって識別された細胞を、請求項8から11までのいずれか1項記載の方法を使用して分類するように構成された細胞標識付けモジュール(208)と、
を備える、システム(200)。 - 請求項13記載のシステムであって、更に、前記未標識画像内にある細胞標識を数え、前記種々の数えた細胞標識の比率に基づいて発現スコアを出力するように構成された採点モジュールを備え、特に、採点が前記未標識画像内の所定の視野内で実行される、システム。
- コンピューティング・システムの処理リソースによって実行可能な命令がエンコードされた非一時的コンピュータ読み取り可能記憶媒体であって、請求項1から11までの1項記載の方法を前記コンピューティング・システムに実行させる、非一時的コンピュータ読み取り可能記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762596036P | 2017-12-07 | 2017-12-07 | |
US62/596,036 | 2017-12-07 | ||
PCT/EP2018/083473 WO2019110583A1 (en) | 2017-12-07 | 2018-12-04 | Deep-learning systems and methods for joint cell and region classification in biological images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021506022A true JP2021506022A (ja) | 2021-02-18 |
JP7250793B2 JP7250793B2 (ja) | 2023-04-03 |
Family
ID=64606995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020531491A Active JP7250793B2 (ja) | 2017-12-07 | 2018-12-04 | 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11682192B2 (ja) |
EP (1) | EP3721373A1 (ja) |
JP (1) | JP7250793B2 (ja) |
CN (1) | CN111417958A (ja) |
WO (1) | WO2019110583A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7225458B1 (ja) | 2022-05-10 | 2023-02-20 | 株式会社エクサウィザーズ | 情報処理方法、コンピュータプログラム及び情報処理装置 |
KR20230081910A (ko) * | 2021-11-30 | 2023-06-08 | (주)자비스 | 인공 지능 기반 대상체 앙상블 비파괴 검사 방법, 장치 및 시스템 |
WO2023105548A1 (ja) * | 2021-12-06 | 2023-06-15 | 日本電気株式会社 | 分類装置、分類方法、およびプログラム |
WO2023162394A1 (ja) * | 2022-02-25 | 2023-08-31 | 株式会社Screenホールディングス | モデル選定方法および画像処理方法 |
WO2023228229A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Families Citing this family (77)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018091486A1 (en) * | 2016-11-16 | 2018-05-24 | Ventana Medical Systems, Inc. | Convolutional neural networks for locating objects of interest in images of biological samples |
WO2019110583A1 (en) * | 2017-12-07 | 2019-06-13 | Ventana Medical Systems, Inc. | Deep-learning systems and methods for joint cell and region classification in biological images |
US11138737B2 (en) * | 2018-02-13 | 2021-10-05 | Chung Yuan Christian University | Method and apparatus for predicting cell reprogramming |
US20210018742A1 (en) * | 2018-04-12 | 2021-01-21 | Google Llc | Augmented reality microscope for pathology with overlay of quantitative biomarker data |
EP3776337A1 (en) * | 2018-04-13 | 2021-02-17 | Ventana Medical Systems, Inc. | Systems for cell shape estimation |
CN108921836A (zh) * | 2018-06-28 | 2018-11-30 | 京东方科技集团股份有限公司 | 一种提取眼底图像标注的方法及装置 |
JP2021535484A (ja) * | 2018-08-30 | 2021-12-16 | アプライド マテリアルズ インコーポレイテッドApplied Materials, Incorporated | 自動的な腫瘍検出及び分類のためのシステム |
EP3660791A1 (de) * | 2018-11-27 | 2020-06-03 | a.tron3d GmbH | Computerimplementiertes verfahren zum erfassen von dreidimensionalen oberflächengeometrien |
US11348231B2 (en) | 2018-12-06 | 2022-05-31 | Astrazeneca Computational Pathology Gmbh | Deep learning method for predicting patient response to a therapy |
EP3896647A4 (en) * | 2018-12-14 | 2022-01-26 | FUJIFILM Corporation | MINI-BATCH LEARNING DEVICE, OPERATING PROGRAM FOR MINI-BATCH LEARNING DEVICE, OPERATING METHOD FOR MINI-BATCH LEARNING DEVICE, AND IMAGE PROCESSING DEVICE |
US11808760B1 (en) * | 2019-02-14 | 2023-11-07 | Curi Bio, Inc. | System and methods for in vitro structural toxicity testing |
US11276172B2 (en) * | 2019-05-03 | 2022-03-15 | Huron Technologies International Inc. | Image diagnostic system, and methods of operating thereof |
WO2020243545A1 (en) * | 2019-05-29 | 2020-12-03 | Leica Biosystems Imaging, Inc. | Computer supported review of tumors in histology images and post operative tumor margin assessment |
CN110473166A (zh) * | 2019-07-09 | 2019-11-19 | 哈尔滨工程大学 | 一种基于改进Alexnet模型的尿液有形成分识别方法 |
JP7342950B2 (ja) * | 2019-07-18 | 2023-09-12 | 株式会社島津製作所 | 細胞画像解析方法および細胞画像解析装置 |
US11631234B2 (en) | 2019-07-22 | 2023-04-18 | Adobe, Inc. | Automatically detecting user-requested objects in images |
US11468550B2 (en) | 2019-07-22 | 2022-10-11 | Adobe Inc. | Utilizing object attribute detection models to automatically select instances of detected objects in images |
US11107219B2 (en) | 2019-07-22 | 2021-08-31 | Adobe Inc. | Utilizing object attribute detection models to automatically select instances of detected objects in images |
US12008747B2 (en) * | 2019-07-29 | 2024-06-11 | Case Western Reserve University | Population-specific prediction of prostate cancer recurrence based on stromal morphology features |
WO2021041082A1 (en) * | 2019-08-23 | 2021-03-04 | Nantcell, Inc. | Performing segmentation based on tensor inputs |
EP4022286A1 (en) | 2019-08-28 | 2022-07-06 | Ventana Medical Systems, Inc. | Label-free assessment of biomarker expression with vibrational spectroscopy |
EP3789960A1 (en) * | 2019-09-05 | 2021-03-10 | Leica Biosystems Imaging, Inc. | User-assisted iteration of cell image segmentation |
US10803586B1 (en) | 2019-09-26 | 2020-10-13 | Aiforia Technologies Oy | Image analysis in pathology |
WO2021086671A1 (en) * | 2019-10-31 | 2021-05-06 | Ventana Medical Systems, Inc. | Image-processing-based object classification using bootstrapping of region-level annotations |
US11373095B2 (en) * | 2019-12-23 | 2022-06-28 | Jens C. Jenkins | Machine learning multiple features of depicted item |
CN111145209B (zh) * | 2019-12-26 | 2023-06-02 | 推想医疗科技股份有限公司 | 一种医学图像分割方法、装置、设备及存储介质 |
US20210216745A1 (en) | 2020-01-15 | 2021-07-15 | DeePathology Ltd. | Cell Detection Studio: a system for the development of Deep Learning Neural Networks Algorithms for cell detection and quantification from Whole Slide Images |
CN111260638B (zh) * | 2020-01-19 | 2023-05-23 | 陕西未来健康科技有限公司 | 基于卷积神经网络的脑脊液细胞和病原体的自动检测计数方法及系统 |
JP2021124861A (ja) * | 2020-02-04 | 2021-08-30 | ソニーグループ株式会社 | 解析装置、解析方法、解析プログラム及び診断支援システム |
JPWO2021157397A1 (ja) * | 2020-02-06 | 2021-08-12 | ||
US11468110B2 (en) | 2020-02-25 | 2022-10-11 | Adobe Inc. | Utilizing natural language processing and multiple object detection models to automatically select objects in images |
US20210268740A1 (en) * | 2020-02-28 | 2021-09-02 | The Boeing Company | Methods and Systems for Detection of Impurities in Additive Manufacturing Material |
US20210272694A1 (en) * | 2020-03-02 | 2021-09-02 | Case Western Reserve University | Predicting biochemical recurrence based on computerized quantification of cribriform morphology |
US11055566B1 (en) | 2020-03-12 | 2021-07-06 | Adobe Inc. | Utilizing a large-scale object detector to automatically select objects in digital images |
CN112883770A (zh) * | 2020-04-20 | 2021-06-01 | 深圳裕策生物科技有限公司 | 一种基于深度学习的pd-1/pd-l1病理图片识别方法和装置 |
US11430240B2 (en) | 2020-05-06 | 2022-08-30 | Volvo Car Corporation | Methods and systems for the automated quality assurance of annotated images |
EP3910399A1 (de) * | 2020-05-12 | 2021-11-17 | Siemens Healthcare Diagnostics, Inc. | Verfahren zur virtuellen annotation von zellen |
JP2023537978A (ja) * | 2020-08-13 | 2023-09-06 | ベンタナ メディカル システムズ, インコーポレイテッド | デジタル病理学のためのアクティブラーニングシステム |
KR20230066094A (ko) * | 2020-09-12 | 2023-05-12 | 아스트라제네카 유케이 리미티드 | 항-her2 항체-약물 접합체 치료법을 위한 채점 방법 |
CN112102300A (zh) * | 2020-09-18 | 2020-12-18 | 青岛商汤科技有限公司 | 计数方法及装置、电子设备和存储介质 |
CN112233123B (zh) * | 2020-09-21 | 2024-05-14 | 广州金域医学检验中心有限公司 | 病理图片中肿瘤间质分类方法、装置、计算机设备及存储介质 |
US11373121B2 (en) * | 2020-10-09 | 2022-06-28 | Sas Institute Inc. | Method to increase discovery pipeline hit rates and lab to field translation |
CN112200749B (zh) * | 2020-10-21 | 2023-04-28 | 河南理工大学 | 一种基于结构张量的图像修复方法 |
CN112396583B (zh) * | 2020-11-18 | 2024-01-26 | 深思考人工智能机器人科技(北京)有限公司 | 一种基于巴氏染色方式的dna倍体定量分析的方法及系统 |
CN112530577B (zh) * | 2020-12-01 | 2024-04-23 | 中南大学湘雅三医院 | 一种智能口腔肿瘤检测系统及检测方法 |
US20220172355A1 (en) * | 2020-12-02 | 2022-06-02 | Mayo Foundation For Medical Education And Research | Cytological analysis of nuclear neat-1 expression for detection of cholangiocarcinoma |
CN112481346B (zh) * | 2020-12-03 | 2022-12-09 | 中国人民解放军陆军军医大学第二附属医院 | 外周血细胞形态学检出异常细胞的自动预警系统及其方法 |
EP4260324A1 (en) | 2020-12-11 | 2023-10-18 | Tempus Labs, Inc. | Systems and methods for generating histology image training datasets for machine learning models |
CN112667834A (zh) * | 2020-12-23 | 2021-04-16 | 深圳开立生物医疗科技股份有限公司 | 一种图像标注方法及相关装置 |
CN112419452B (zh) * | 2020-12-24 | 2022-08-23 | 福州大学 | 一种胃癌pd-l1数字病理切片图像快速合并系统及方法 |
CN112580748B (zh) * | 2020-12-30 | 2022-10-14 | 电子科技大学 | 一种对染色图像的分类细胞计数的方法 |
CN112801939B (zh) * | 2020-12-31 | 2022-07-22 | 杭州迪英加科技有限公司 | 一种用于提高病理图像ki67指标准确性的方法 |
CN114723652A (zh) * | 2021-01-04 | 2022-07-08 | 富泰华工业(深圳)有限公司 | 细胞密度确定方法、装置、电子设备及存储介质 |
CN112819755A (zh) * | 2021-01-14 | 2021-05-18 | 北京小白世纪网络科技有限公司 | 一种甲状腺的结节ti-rads分级系统及方法 |
US11587234B2 (en) * | 2021-01-15 | 2023-02-21 | Adobe Inc. | Generating class-agnostic object masks in digital images |
US11972569B2 (en) | 2021-01-26 | 2024-04-30 | Adobe Inc. | Segmenting objects in digital images utilizing a multi-object segmentation model framework |
US20220245802A1 (en) * | 2021-02-01 | 2022-08-04 | PathAI, Inc. | Systems and methods for classifying biomedical image data using a graph neural network |
CN112884725B (zh) * | 2021-02-02 | 2022-12-20 | 杭州迪英加科技有限公司 | 针对用于细胞判别的神经网络模型输出结果的修正方法 |
CN113077438B (zh) * | 2021-03-31 | 2022-10-04 | 中南大学 | 针对多细胞核彩色图像的细胞核区域提取方法及成像方法 |
CN113066080A (zh) * | 2021-04-19 | 2021-07-02 | 广州信瑞医疗技术有限公司 | 切片组织识别方法、装置,细胞识别模型及组织分割模型 |
CN113237881B (zh) * | 2021-05-10 | 2023-09-12 | 博奥生物集团有限公司 | 一种特定细胞的检测方法、装置和病理切片检测系统 |
TWI795787B (zh) * | 2021-05-24 | 2023-03-11 | 鴻海精密工業股份有限公司 | 自編碼器的訓練方法、細胞數量檢測方法及相關設備 |
CN113643235B (zh) * | 2021-07-07 | 2023-12-29 | 青岛高重信息科技有限公司 | 一种基于深度学习的芯片计数方法 |
WO2023018785A2 (en) * | 2021-08-11 | 2023-02-16 | Histowiz, Inc. | Systems and methods for automated tagging of digital histology slides |
WO2023108412A1 (zh) * | 2021-12-14 | 2023-06-22 | 深圳先进技术研究院 | 目标蛋白快速识别及定量方法 |
CN114317675B (zh) * | 2022-01-06 | 2024-06-21 | 福州大学 | 基于机器学习定性和定量不同创面细菌的检测方法及系统 |
WO2023137627A1 (zh) * | 2022-01-19 | 2023-07-27 | 深圳先进技术研究院 | 基于数字病理图像的肿瘤微环境空间关系建模系统与方法 |
CN114596218B (zh) * | 2022-01-25 | 2023-11-07 | 西北大学 | 基于卷积神经网络的古代绘画图像修复方法、模型和装置 |
EP4231310A1 (en) * | 2022-02-16 | 2023-08-23 | Leica Instruments (Singapore) Pte Ltd | Systems and methods for training and application of machine learning algorithms for microscope images |
WO2023177891A1 (en) * | 2022-03-17 | 2023-09-21 | New York Stem Cell Foundation, Inc. | Methods and systems for predicting infantile neuroaxonal dystrophy disease state |
EP4246525A1 (en) | 2022-03-18 | 2023-09-20 | Lunit Inc. | Method and device for processing pathological slide image |
WO2023205780A2 (en) * | 2022-04-21 | 2023-10-26 | FUJIFILM Cellular Dynamics, Inc. | Automated cell culture analysis and classification and detection |
WO2024081150A1 (en) * | 2022-10-10 | 2024-04-18 | Ventana Medical Systems, Inc. | Expression-level prediction for biomarkers in digital pathology images |
CN115908363B (zh) * | 2022-12-07 | 2023-09-22 | 赛维森(广州)医疗科技服务有限公司 | 肿瘤细胞统计方法、装置、设备和存储介质 |
CN116309368B (zh) * | 2023-02-21 | 2023-11-14 | 北京透彻未来科技有限公司 | 一种基于深度迁移学习的肺癌病理诊断系统 |
CN116451176B (zh) * | 2023-06-15 | 2024-01-12 | 武汉大学人民医院(湖北省人民医院) | 一种基于深度学习的药物光谱数据分析方法及装置 |
CN117497064A (zh) * | 2023-12-04 | 2024-02-02 | 电子科技大学 | 基于半监督学习的单细胞三维基因组数据分析方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293264A (ja) * | 2004-03-31 | 2005-10-20 | Olympus Corp | 学習型分類装置及び学習型分類方法 |
US20110182490A1 (en) * | 2009-08-10 | 2011-07-28 | Hoyt Clifford C | Visualization of stained samples |
JP2016518813A (ja) * | 2013-03-15 | 2016-06-30 | ベンタナ メディカル システムズ, インコーポレイテッド | デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム |
WO2016133900A1 (en) * | 2015-02-17 | 2016-08-25 | Siemens Healthcare Diagnostics Inc. | Model-based methods and apparatus for classifying an interferent in specimens |
US20170091937A1 (en) * | 2014-06-10 | 2017-03-30 | Ventana Medical Systems, Inc. | Methods and systems for assessing risk of breast cancer recurrence |
JP2017516992A (ja) * | 2014-05-23 | 2017-06-22 | ベンタナ メディカル システムズ, インコーポレイテッド | 画像内の生物学的構造及び/又はパターンの検出のためのシステム及び方法 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5595707A (en) | 1990-03-02 | 1997-01-21 | Ventana Medical Systems, Inc. | Automated biological reaction apparatus |
US6463438B1 (en) * | 1994-06-03 | 2002-10-08 | Urocor, Inc. | Neural network for cell image analysis for identification of abnormal cells |
US20020186874A1 (en) * | 1994-09-07 | 2002-12-12 | Jeffrey H. Price | Method and means for image segmentation in fluorescence scanning cytometry |
US6582962B1 (en) | 1998-02-27 | 2003-06-24 | Ventana Medical Systems, Inc. | Automated molecular pathology apparatus having independent slide heaters |
US20030211630A1 (en) | 1998-02-27 | 2003-11-13 | Ventana Medical Systems, Inc. | Automated molecular pathology apparatus having independent slide heaters |
JP3847559B2 (ja) | 1998-02-27 | 2006-11-22 | ベンタナ・メデイカル・システムズ・インコーポレーテツド | 独立スライド加熱器を有する自動化分子病理学装置 |
US7760927B2 (en) | 2003-09-10 | 2010-07-20 | Bioimagene, Inc. | Method and system for digital image based tissue independent simultaneous nucleus cytoplasm and membrane quantitation |
US20060280348A1 (en) * | 2005-06-01 | 2006-12-14 | Smith Matthew W | Method of screening cellular tissue |
US8488863B2 (en) * | 2008-11-06 | 2013-07-16 | Los Alamos National Security, Llc | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials |
CA2842721C (en) | 2009-10-19 | 2016-03-29 | Ventana Medical Systems, Inc. | Imaging system and techniques |
EP2939026B1 (en) | 2012-12-28 | 2017-07-05 | Ventana Medical Systems, Inc. | Image analysis for breast cancer prognosis |
EP3005293B1 (en) | 2013-06-03 | 2018-10-03 | Ventana Medical Systems, Inc. | Image adaptive physiologically plausible color separation |
WO2015113895A1 (en) | 2014-01-28 | 2015-08-06 | Ventana Medical Systems, Inc. | Adaptive classification for whole slide tissue segmentation |
EP3108448B1 (en) | 2014-02-21 | 2019-05-15 | Ventana Medical Systems, Inc. | Group sparsity model for image unmixing |
CA2935473C (en) | 2014-02-21 | 2022-10-11 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
WO2015181371A1 (en) | 2014-05-30 | 2015-12-03 | Ventana Medical Systems, Inc. | An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains |
EP3389011B1 (en) | 2014-06-30 | 2019-06-12 | Ventana Medical Systems, Inc. | Image analysis system for detecting edges of a nucleus |
EP3175389B1 (en) | 2014-07-28 | 2024-05-15 | Ventana Medical Systems, Inc. | Automatic glandular and tubule detection in histological grading of breast cancer |
WO2016075095A2 (en) | 2014-11-10 | 2016-05-19 | Ventana Medical Systems, Inc. | Using contextual information to classify nuclei in histology images |
WO2016120442A1 (en) | 2015-01-30 | 2016-08-04 | Ventana Medical Systems, Inc. | Foreground segmentation and nucleus ranking for scoring dual ish images |
US10304188B1 (en) * | 2015-03-27 | 2019-05-28 | Caleb J. Kumar | Apparatus and method for automated cell analysis |
US9922433B2 (en) * | 2015-05-29 | 2018-03-20 | Moira F. Schieke | Method and system for identifying biomarkers using a probability map |
US20170337596A1 (en) | 2016-05-18 | 2017-11-23 | Steven E. Larkin | Systems and methods for generating a business review assessement score via an online website |
US10528848B2 (en) * | 2016-11-04 | 2020-01-07 | Case Western Reserve University | Histomorphometric classifier to predict cardiac failure from whole-slide hematoxylin and eosin stained images |
WO2018089783A1 (en) * | 2016-11-11 | 2018-05-17 | University Of South Florida | Automated stereology for determining tissue characteristics |
US20180211380A1 (en) * | 2017-01-25 | 2018-07-26 | Athelas Inc. | Classifying biological samples using automated image analysis |
WO2019020556A1 (en) | 2017-07-24 | 2019-01-31 | Ventana Medical Systems, Inc. | METHODS AND SYSTEMS FOR ASSESSING INFILTRAT OF IMMUNE CELLS IN TUMOR SAMPLES |
US10303956B2 (en) * | 2017-08-23 | 2019-05-28 | TuSimple | System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection |
US10706535B2 (en) * | 2017-09-08 | 2020-07-07 | International Business Machines Corporation | Tissue staining quality determination |
WO2019110583A1 (en) * | 2017-12-07 | 2019-06-13 | Ventana Medical Systems, Inc. | Deep-learning systems and methods for joint cell and region classification in biological images |
-
2018
- 2018-12-04 WO PCT/EP2018/083473 patent/WO2019110583A1/en unknown
- 2018-12-04 JP JP2020531491A patent/JP7250793B2/ja active Active
- 2018-12-04 EP EP18814866.2A patent/EP3721373A1/en active Pending
- 2018-12-04 CN CN201880077902.1A patent/CN111417958A/zh active Pending
-
2020
- 2020-06-03 US US16/891,809 patent/US11682192B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293264A (ja) * | 2004-03-31 | 2005-10-20 | Olympus Corp | 学習型分類装置及び学習型分類方法 |
US20110182490A1 (en) * | 2009-08-10 | 2011-07-28 | Hoyt Clifford C | Visualization of stained samples |
JP2016518813A (ja) * | 2013-03-15 | 2016-06-30 | ベンタナ メディカル システムズ, インコーポレイテッド | デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム |
JP2017516992A (ja) * | 2014-05-23 | 2017-06-22 | ベンタナ メディカル システムズ, インコーポレイテッド | 画像内の生物学的構造及び/又はパターンの検出のためのシステム及び方法 |
US20170091937A1 (en) * | 2014-06-10 | 2017-03-30 | Ventana Medical Systems, Inc. | Methods and systems for assessing risk of breast cancer recurrence |
WO2016133900A1 (en) * | 2015-02-17 | 2016-08-25 | Siemens Healthcare Diagnostics Inc. | Model-based methods and apparatus for classifying an interferent in specimens |
Non-Patent Citations (5)
Title |
---|
ANOOP HARIDAS ET AL.: ""Interactive Segmentation Relabeling for Classification of Whole-Slide Histopathology Imagery"", 2015 IEEE 28TH INTERNATIONAL SYMPOSIUM ON COMPUTER-BASED MEDICAL SYSTEMS, JPN6022027532, 22 June 2015 (2015-06-22), US, pages 84 - 87, ISSN: 0005003996 * |
FRANCESCO CIOMPI ET AL.: ""The importance of stain normalization in colorectal tissue classification with convolutional networ", 2017 IEEE 14TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2017), vol. pp.160-163, JPN6022027531, 18 April 2017 (2017-04-18), US, ISSN: 0005003995 * |
山本 究一、村上 伸一: ""K平均法を用いた画像の領域分割に関する一検討"", 情報処理学会研究報告, vol. 2003, no. 125, JPN6022027527, 19 December 2003 (2003-12-19), JP, pages 173 - 178, ISSN: 0004898462 * |
嶌田 聡、外3名: ""歩行指導のための足圧時系列画像からの足領域自動切出し法"", 電子情報通信学会論文誌, vol. 86, no. 4, JPN6022027528, 1 April 2003 (2003-04-01), JP, pages 501 - 510, ISSN: 0004898463 * |
高橋 正信、外2名: ""ニューラルネットワークを利用した病理診断支援システム"", 信号処理, vol. 3, no. 6, JPN6022027529, 30 November 1999 (1999-11-30), JP, pages 407 - 414, ISSN: 0005003994 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230081910A (ko) * | 2021-11-30 | 2023-06-08 | (주)자비스 | 인공 지능 기반 대상체 앙상블 비파괴 검사 방법, 장치 및 시스템 |
WO2023101374A1 (ko) * | 2021-11-30 | 2023-06-08 | (주)자비스 | 인공 지능 기반 대상체 앙상블 비파괴 검사 방법, 장치 및 시스템 |
KR102597081B1 (ko) * | 2021-11-30 | 2023-11-02 | (주)자비스 | 인공 지능 기반 대상체 앙상블 비파괴 검사 방법, 장치 및 시스템 |
WO2023105548A1 (ja) * | 2021-12-06 | 2023-06-15 | 日本電気株式会社 | 分類装置、分類方法、およびプログラム |
WO2023162394A1 (ja) * | 2022-02-25 | 2023-08-31 | 株式会社Screenホールディングス | モデル選定方法および画像処理方法 |
JP7225458B1 (ja) | 2022-05-10 | 2023-02-20 | 株式会社エクサウィザーズ | 情報処理方法、コンピュータプログラム及び情報処理装置 |
JP2023166812A (ja) * | 2022-05-10 | 2023-11-22 | 株式会社エクサウィザーズ | 情報処理方法、コンピュータプログラム及び情報処理装置 |
WO2023228229A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7250793B2 (ja) | 2023-04-03 |
CN111417958A (zh) | 2020-07-14 |
EP3721373A1 (en) | 2020-10-14 |
US11682192B2 (en) | 2023-06-20 |
US20200342597A1 (en) | 2020-10-29 |
WO2019110583A1 (en) | 2019-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11682192B2 (en) | Deep-learning systems and methods for joint cell and region classification in biological images | |
US11922681B2 (en) | Systems and methods for identifying cell clusters within images of stained biological samples | |
JP7231631B2 (ja) | 腫瘍空間異質性およびインターマーカ異質性の計算方法 | |
JP7233506B2 (ja) | 一次染色および免疫組織化学画像に基づくコンピュータ採点 | |
JP7197584B2 (ja) | デジタル病理学分析結果の格納および読み出し方法 | |
US12020493B2 (en) | Systems for automated in situ hybridization analysis | |
US11972859B2 (en) | Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies | |
US11959848B2 (en) | Method of storing and retrieving digital pathology analysis results | |
JP2021507419A (ja) | 膜特徴に基づいて組織画像内で細胞を分類するためのシステム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221004 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230203 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230203 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230215 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7250793 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |