JP2023501126A - 組織画像分類用のマルチインスタンス学習器 - Google Patents
組織画像分類用のマルチインスタンス学習器 Download PDFInfo
- Publication number
- JP2023501126A JP2023501126A JP2022523835A JP2022523835A JP2023501126A JP 2023501126 A JP2023501126 A JP 2023501126A JP 2022523835 A JP2022523835 A JP 2022523835A JP 2022523835 A JP2022523835 A JP 2022523835A JP 2023501126 A JP2023501126 A JP 2023501126A
- Authority
- JP
- Japan
- Prior art keywords
- tiles
- image
- tile
- value
- mil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 claims abstract description 296
- 230000006870 function Effects 0.000 claims abstract description 181
- 238000011176 pooling Methods 0.000 claims abstract description 147
- 238000000034 method Methods 0.000 claims abstract description 101
- 230000004931 aggregating effect Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 250
- 238000012360 testing method Methods 0.000 claims description 75
- 238000000605 extraction Methods 0.000 claims description 54
- 239000000090 biomarker Substances 0.000 claims description 48
- 206010028980 Neoplasm Diseases 0.000 claims description 47
- 238000010191 image analysis Methods 0.000 claims description 43
- 239000003814 drug Substances 0.000 claims description 42
- 229940079593 drug Drugs 0.000 claims description 40
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 238000011282 treatment Methods 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 24
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 20
- 201000011510 cancer Diseases 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 14
- 206010027476 Metastases Diseases 0.000 claims description 11
- 230000002596 correlated effect Effects 0.000 claims description 11
- 230000009401 metastasis Effects 0.000 claims description 10
- 208000003788 Neoplasm Micrometastasis Diseases 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000002068 genetic effect Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 230000001575 pathological effect Effects 0.000 claims description 4
- 108091092878 Microsatellite Proteins 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 206010067484 Adverse reaction Diseases 0.000 claims description 2
- 230000006838 adverse reaction Effects 0.000 claims description 2
- 230000001747 exhibiting effect Effects 0.000 claims description 2
- 230000004547 gene signature Effects 0.000 claims description 2
- 210000001519 tissue Anatomy 0.000 description 323
- 239000000523 sample Substances 0.000 description 66
- 238000013459 approach Methods 0.000 description 33
- 230000008901 benefit Effects 0.000 description 29
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 25
- 201000010099 disease Diseases 0.000 description 24
- 238000010801 machine learning Methods 0.000 description 24
- 239000000975 dye Substances 0.000 description 23
- 210000002569 neuron Anatomy 0.000 description 23
- 238000005070 sampling Methods 0.000 description 22
- 238000010186 staining Methods 0.000 description 20
- 210000004027 cell Anatomy 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 206010006187 Breast cancer Diseases 0.000 description 13
- 208000026310 Breast neoplasm Diseases 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 8
- 108090000623 proteins and genes Proteins 0.000 description 8
- 210000001789 adipocyte Anatomy 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 7
- 102000004169 proteins and genes Human genes 0.000 description 7
- 210000004881 tumor cell Anatomy 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000001744 histochemical effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000007170 pathology Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 206010009944 Colon cancer Diseases 0.000 description 5
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 5
- 201000005202 lung cancer Diseases 0.000 description 5
- 208000020816 lung neoplasm Diseases 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 4
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 4
- 230000002378 acidificating effect Effects 0.000 description 4
- 208000029742 colonic neoplasm Diseases 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000000386 microscopy Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000004083 survival effect Effects 0.000 description 4
- 108020004414 DNA Proteins 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 150000003839 salts Chemical class 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 101150023956 ALK gene Proteins 0.000 description 2
- 102100033793 ALK tyrosine kinase receptor Human genes 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 239000004475 Arginine Substances 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 2
- 239000004472 Lysine Substances 0.000 description 2
- KDXKERNSBIXSRK-UHFFFAOYSA-N Lysine Natural products NCCCCC(N)C(O)=O KDXKERNSBIXSRK-UHFFFAOYSA-N 0.000 description 2
- 108091028043 Nucleic acid sequence Proteins 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 150000001413 amino acids Chemical group 0.000 description 2
- ODKSFYDXXFIFQN-UHFFFAOYSA-N arginine Natural products OC(=O)C(N)CCCNC(N)=N ODKSFYDXXFIFQN-UHFFFAOYSA-N 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 210000003850 cellular structure Anatomy 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- 230000000857 drug effect Effects 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 210000002865 immune cell Anatomy 0.000 description 2
- 229940043355 kinase inhibitor Drugs 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 206010061289 metastatic neoplasm Diseases 0.000 description 2
- 210000004088 microvessel Anatomy 0.000 description 2
- 108020004707 nucleic acids Proteins 0.000 description 2
- 102000039446 nucleic acids Human genes 0.000 description 2
- 150000007523 nucleic acids Chemical class 0.000 description 2
- 239000003757 phosphotransferase inhibitor Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- DQMZLTXERSFNPB-UHFFFAOYSA-N primidone Chemical compound C=1C=CC=CC=1C1(CC)C(=O)NCNC1=O DQMZLTXERSFNPB-UHFFFAOYSA-N 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 238000007447 staining method Methods 0.000 description 2
- 238000013517 stratification Methods 0.000 description 2
- 101710168331 ALK tyrosine kinase receptor Proteins 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 206010013710 Drug interaction Diseases 0.000 description 1
- -1 EGRF Proteins 0.000 description 1
- 101710172176 Fasciclin-1 Proteins 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 206010061309 Neoplasm progression Diseases 0.000 description 1
- 208000037273 Pathologic Processes Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000003559 RNA-seq method Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- WLDHEUZGFKACJH-UHFFFAOYSA-K amaranth Chemical compound [Na+].[Na+].[Na+].C12=CC=C(S([O-])(=O)=O)C=C2C=C(S([O-])(=O)=O)C(O)=C1N=NC1=CC=C(S([O-])(=O)=O)C2=CC=CC=C12 WLDHEUZGFKACJH-UHFFFAOYSA-K 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000981 basic dye Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000000339 bright-field microscopy Methods 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 125000003636 chemical group Chemical group 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 210000004292 cytoskeleton Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000013537 high throughput screening Methods 0.000 description 1
- 230000009610 hypersensitivity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 238000009169 immunotherapy Methods 0.000 description 1
- 210000004020 intracellular membrane Anatomy 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 230000000869 mutational effect Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 1
- 210000004882 non-tumor cell Anatomy 0.000 description 1
- 230000009054 pathological process Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 125000002467 phosphate group Chemical group [H]OP(=O)(O[H])O[*] 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 230000007420 reactivation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000003705 ribosome Anatomy 0.000 description 1
- 210000003935 rough endoplasmic reticulum Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000005005 sentinel lymph node Anatomy 0.000 description 1
- 230000019491 signal transduction Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 210000004895 subcellular structure Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 229940124597 therapeutic agent Drugs 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 230000005751 tumor progression Effects 0.000 description 1
- 210000003171 tumor-infiltrating lymphocyte Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
Description
本発明は、デジタル病理学の分野、特に、画像分析の分野に関する。
デジタル病理画像を「健常組織」または「がん組織」などの異なるカテゴリに分類するために使用されることができるいくつかの画像分類方法が知られている。例えば、Sertan Kaymakaらは、「Breast cancer image classification using artificial neural networks」、Procedia Computer Science,Volume 120,2017,ページ126-131(非特許文献1)において、逆伝播ニューラルネットワーク(BPPN)を用いた乳がん診断用画像の自動分類方法を記載している。
本発明の目的は、組織画像を分類する改善された方法および独立請求項に記載の対応する画像分析システムを提供することである。本発明の実施形態は、従属請求項に記載されている。本発明の実施形態は、それらが互いに排他的でない場合、互いに自由に組み合されることができる。
一態様では、本発明は、組織画像を分類する方法に関する。本方法は、
-画像分析システムにより、複数のデジタル画像を受信することであって、デジタル画像のそれぞれが、患者の組織サンプルを示す、複数のデジタル画像を受信することと、
-画像分析システムにより、各受信画像を画像タイルのセットに分割することと、
-タイルのそれぞれについて、画像分析システムにより、タイルから選択的に抽出された画像特徴を含む特徴ベクトルを計算することと、
-前記入力画像の全てのタイルから抽出された特徴ベクトルに基づいて、少なくとも2つの異なるクラスのうちの1つのメンバとして任意の入力画像を分類するためのモデルを使用するように構成されたマルチインスタンス学習(MIL)プログラムを提供することと、
-タイルのそれぞれについて、(本発明の実施形態によれば本明細書では「c」と呼ばれる)確実性値を計算することであって、確実性値が、タイルが導き出された画像の分類に対するタイルの特徴ベクトルの寄与に関するモデルの確実性値を示す、計算することと、
-各画像について、
・MILプログラムにより、画像から抽出された特徴ベクトルを画像のタイルの確実性値の関数としてグローバル特徴ベクトルに集約するための確実性値ベースのプーリング関数を使用し、グローバル特徴ベクトルから集約予測値(本発明の実施形態によれば本明細書では「ah」と呼ばれる)を計算すること、または
・MILプログラムにより、画像の特徴ベクトルのそれぞれからの予測値を計算し、MILプログラムにより、画像の予測値を集約予測値(本発明の実施形態によれば本明細書では「ah」と呼ばれる)に集約するための確実性値ベースのプーリング関数を、画像のタイルの確実性値の関数として使用することと、
-MILプログラムにより、画像のそれぞれを、集約予測値に基づいて少なくとも2つの異なるクラスのうちの1つのメンバとして分類することと、を含む。
実施形態によれば、MILプログラムは、画像のタイルについて計算された予測値を集約予測値に集約するために、確実性値ベースのプーリング関数を使用する。この方法は、MILプログラムによって、タイルのそれぞれについて、予測値のうちの1つ(本発明の実施形態によれば本明細書では「h」と呼ばれる)を計算することを含む。各予測値は、タイルから抽出された特徴ベクトルの関数として計算される。予測値は、タイルが導き出された画像の分類に対するタイルの特徴ベクトルの寄与を示すデータ値である。特定のタイルの予測値を計算するとき、MILプログラムは、好ましくは、特徴ベクトルが導き出されたタイルの特徴ベクトルのみを考慮に入れる(他のタイルの特徴ベクトルは考慮に入れない)。
-a1)各タイルの予測値(例えば「h」と呼ばれる)を、このタイルに対して計算された確実性値(例えば「c」と呼ばれる)によって加重し、それによって加重予測値(例えば「wh」と呼ばれる)を取得すること;例えば、加重は、タイルの加重予測値(wh)を計算するために、タイルのうちの1つについて計算された確実性値(c)を、その1つのタイルについて計算された予測値(h)と乗算することを含み、例えば、K個のタイルに分割された特定の画像Imについて、K個のタイルのいずれか1つの加重予測値whm_kは、以下のように計算されることができる:whm_k=hm_kXcm_k、
-a2)画像の全てのタイルに対して計算された全ての加重予測値の最大値(例えば「whMAX」と呼ばれる)を特定すること;例えば、最大値は、以下にしたがって計算される:
および
-a3)最大加重予測値(whMAX(Im))を集約予測値として使用すること;または
-b)最大確実性値(cmax)を有するタイルの予測値(h)を集約予測値として使用すること。
-各タイルの予測値(例えば「h」と呼ばれる)を、このタイルに対して計算された確実性値(例えば「c」と呼ばれる)によって加重し、それによって加重予測値(例えば「wh」と呼ばれる)を取得すること;例えば、加重は、タイルの加重予測値(wh)を計算するために、タイルのうちの1つについて計算された確実性値(c)を、その1つのタイルについて計算された予測値(h)と乗算することを含む;例えば、K個のタイルに分割された特定の画像Imについて、K個のタイルのいずれか1つの画像Imのモデルによって生成された加重予測値whm_kは、以下のように計算zされることができる:whm_k=hm_kXcm_k;
-画像の全てのタイルに対して計算された全ての加重予測値whの平均(例えば「whMEAN」と呼ばれる)を計算すること;例えば、平均は、以下にしたがって計算される:
別の実施形態によれば、平均は、以下にしたがって計算される:
-および平均加重予測値(whMEAN(Im))を集約予測値として使用すること。
代替の実施形態によれば、MILプログラムは、画像のタイルから抽出された特徴ベクトルを、集約予測値を計算するために再び使用されるグローバル(「集約」)特徴ベクトルに集約するために、確実性値ベースのプーリング関数を使用する。本方法は、以下を含む:
-画像のグローバル特徴ベクトルを計算するために、画像のタイルについて計算された特徴ベクトルおよび確実性値にプーリング関数を適用することであって、グローバル特徴ベクトルの計算が、タイルの特徴ベクトルおよび確実性値を考慮に入れる、適用すること、および
-集約予測値を計算するためにグローバル特徴ベクトルを使用すること。
-c1)タイルのそれぞれの特徴ベクトル(例えば「fw」と呼ばれる))を、このタイルについて計算された確実性値(例えば「c」と呼ばれる)によって加重し、それによって加重特徴ベクトル(例えば「wfv」と呼ばれる)を取得すること;例えば、特徴ベクトルの特徴は、数値特徴ベクトルのみから構成されてもよい;加重は、タイルの加重特徴ベクトル(fv)を取得するために、タイルのうちの1つについて計算された確実性値(c)に、1つのタイルについて計算された特徴ベクトル(fv)内の各特徴値を乗算すること;
-c2)画像の全てのタイルについて計算された全ての加重特徴ベクトルの最大値(wfvmax)を特定すること;または
-d)最大の確実性値(cmax)を有するタイルの特徴ベクトル(fv)をグローバル特徴ベクトルとして使用すること、を含む。
-タイルのそれぞれから抽出された特徴ベクトル(例えば「h」と呼ばれる)を、このタイルについて計算された確実性値(例えば「c」と呼ばれる)によって加重し、それによって加重特徴ベクトル(例えば「wfv」と呼ばれる)を取得すること;例えば、各特徴ベクトルは、複数の数値特徴値を含むことができ、特徴ベクトルの各数値特徴値は、特定のタイルの加重特徴ベクトルに記憶された加重特徴ベクトル値を取得するために、確実性値と乗算される;
-画像について計算された全ての加重特徴ベクトル(wfv)から平均加重特徴ベクトルを計算すること;例えば、平均加重特徴ベクトルの特徴値は、同じベクトル位置内の画像の加重特徴ベクトルに記憶された全ての加重特徴値の平均として計算されることができる;
-および、画像について計算された平均加重特徴ベクトルを、集約予測値を計算するために使用される画像のグローバル特徴ベクトルとして使用すること。
他の実施形態によれば、本方法は、画像のそれぞれについて、確実性値にソフトマックス関数を適用することによって画像について計算された確実性値を正規化することを含む。確実性値ベースのプーリング関数は、予測値を正規化された確実性値の関数として集約予測値に集約するか、または正規化された確実性値の関数として特徴ベクトルをグローバル特徴ベクトルに集約するように構成され、グローバル特徴値は、集約予測値を計算するために使用される。
・画像のタイルから抽出された全ての特徴ベクトルから計算された全ての予測値hの最大値を特定して返すように構成された最大プーリング関数;例えば、特定の画像Imに対する従来の集約予測値は、
として計算されることができる;
・画像のタイルから抽出された全ての特徴ベクトルから計算された全ての予測値hの平均を特定して返すように構成された平均プーリング関数;例えば、特定の画像Imに対する従来の集約予測値は、
として計算されることができる;
・画像のタイルから抽出された全ての特徴ベクトルのうち、タイルが導き出された画像のクラスメンバシップに対して最も予測パワーが高いとアテンション学習技術により特定された特徴ベクトルの1つの予測値hを特定して返すアテンションプーリング機能;例えば、特定の画像Imに対する従来の集約予測値は、
として計算されることができる。
にしたがって与えられ、ここで、σ(xk)は、インスタンスkのMCドロップアウト平均-STDであり、εは、0による除算を妨げる小さい数である。
-タイルのそれぞれについて、タイルから抽出された特徴ベクトルに基づいて予測値hdを複数回計算することであって、予測値hdが計算されるたびに、ネットワークのノードの異なるサブセットが1つ以上の再活性化または追加されたドロップアウトレイヤによってドロップされる、形成することと、
-タイルのそれぞれについて、タイルについて計算された複数の予測値hdの変動性の関数としてタイルの確実性値cを計算することであって、変動性が大きいほど、確実性値cが低い、計算することと、を含む。
-組織サンプルのデジタルトレーニング画像のセットを提供することであって、各デジタルトレーニング画像が、少なくとも2つのクラスのうちの1つを示すクラスラベルを割り当てられている、提供すること、
-各トレーニング画像をトレーニング画像タイルに分割することであって、各トレーニングタイルが、トレーニングタイルが導き出されたデジタルトレーニング画像と同じクラスラベルを割り当てられている、分割すること、
-タイルのそれぞれについて、画像分析システムにより、タイルから選択的に抽出された画像特徴を含むトレーニング特徴ベクトルを計算すること、および/または
-損失関数の誤差が最小になるようにMILプログラムのモデルを繰り返し適応させることであって、損失関数の誤差が、トレーニングタイルの予測クラスラベルと、トレーニングタイルに実際に割り当てられたクラスラベルとの差を示し、予測クラスラベルが、トレーニングタイルの特徴ベクトルに基づいてモデルによって計算されている、適応させることを含む。
-各タイルの予測値hを、このタイルに対して計算された確実性値cで加重し、それによって加重予測値whを取得することと、
-MILプログラムにより、最も高い加重予測値whが計算された画像のタイルのうちの1つを特定することと、
-画像の他のタイルのそれぞれについて、他のタイルの加重予測値whを最も高い加重予測値と比較することによって関連性インジケータを計算することであって、関連性インジケータが、比較された加重予測値の差と負に相関する数値である、関連性インジケータを計算することと、
-関連性インジケータの関数として画像の関連性ヒートマップを計算することであって、関連性ヒートマップのピクセル色および/またはピクセル強度が、画像内のタイルに対して計算された関連性インジケータを示す、計算することと、
-GUI上に関連性ヒートマップを表示することと、をさらに含む。
-特定の薬物に対して反応性のある患者;
-転移または特定の形態の転移(例えば、微小転移)を発症した患者;
-特定の治療に対する特定の反応、例えば病理学的完全奏効(pCR)を示すがん患者;
-特定の形態学的状態またはマイクロサテライト状態を示すがん患者組織;
-特定の薬物に対する有害反応を発症した患者;
-特定の遺伝的属性、例えば特定の遺伝子シグネチャを有する患者;および/または
-特定のRNA発現プロファイルを有する患者。
-どのタイル由来特徴ベクトルがタイルのクラスメンバシップを予測するために最も関連するかを学習したトレーニングされたアテンションMILを提供すること、
-タイルのそれぞれのアテンション加重(aw)を、アテンションMILによってそれぞれのタイルの特徴ベクトルの関数として計算することであって、アテンション加重が、クラスに対するこのタイルのメンバシップに関するこのタイルの特徴値の関連性の指標である、アテンション加重(aw)を計算すること、
タイルのアテンション加重(aw)にタイルの特徴ベクトル値を乗算して、タイルのアテンション加重特徴値を有するアテンションベース特徴ベクトルを取得すること、アテンションベースの特徴ベクトルを、スライドの予測値(h)、確実性値(c)および/または加重予測値(wh)を計算するためにMILプログラムに入力される特徴ベクトルとして使用することによって、予測値(h)、確実性値(c)および/または加重予測値(wh)がアテンションベースの予測値、アテンションベースの確実性値および/またはアテンションベースの加重予測値として計算される、使用すること、または
-アテンションベースの予測値、アテンションベースの確実性値、および/またはアテンションベースの加重予測値を取得するために、タイルのアテンション加重(aw)に、タイルの予測値(h)、確実性値(c)を、またはMILによって計算されたタイルの加重予測値(wh)を、乗算することをさらに含む。
-タイルのそれぞれについて、確実性値を計算することであって、確実性値が、タイルが導き出された画像の分類に対するタイルの特徴ベクトルの寄与に関するモデルの確実性値を示す、計算することと、
-各画像について、
・MILプログラムにより、画像から抽出された特徴ベクトルを画像のタイルの確実性値の関数としてグローバル特徴ベクトルに集約するための確実性値ベースのプーリング関数を使用し、グローバル特徴ベクトルから集約予測値(本発明の実施形態によれば本明細書では「ah」と呼ばれる)を計算すること、または
・MILプログラムにより、画像の特徴ベクトルのそれぞれからの予測値を計算し、MILプログラムにより、画像の予測値を集約予測値(「ah」)に集約するための確実性値ベースのプーリング関数を、画像のタイルの確実性値の関数として使用することと、
-集約予測値に基づいて、画像のそれぞれを少なくとも2つの異なるクラスのうちの1つのメンバとして分類することと、のためにさらに構成される。
実施形態によれば、トレーニング時および/またはテスト時におけるタイルのそれぞれについての特徴ベクトルの計算は、タイルから1つ以上の画像特徴を抽出することと、抽出された特徴を特徴ベクトル内の1つ以上の特徴の形態で表すこととを含む。任意に、特徴ベクトルの計算は、さらに、組織サンプルがタイルに描かれている患者の患者関連データを受信することと、特徴ベクトル内の1つ以上の特徴の形態で患者関連データを表すこととを含む。患者関連データは、例えば、ゲノムデータ、RNAシーケンスデータ、患者の既知の疾患、年齢、性別、体液中の代謝産物濃度、健康パラメータおよび現在の医薬品とすることができる。
実施形態によれば、特徴ベクトルは、ラベル付けされたタイルペアを含むトレーニングデータセットについてトレーニングされた特徴抽出機械学習ロジック(「特徴抽出MLL」)により計算され、これにより、各ラベルは、タイルペアにより描かれた2つの組織パターンの類似性を表し、タイルペアの2つのタイルの空間距離の関数として計算される。
ここで、xijは、特定のレイヤにおける場所(i,j)におけるデータベクトルであり、yijは、これに続くレイヤにおける前記場所におけるデータベクトルであり、ここで、yijは、ネットワークの活性化機能により生成される出力であり、ここで、kは、カーネルサイズと呼ばれ、sは、ストライドまたはサブサンプリングファクタであり、fksは、次のレイヤタイプを決定する:畳み込みまたは平均プーリングのための行列の乗算、maxプーリングのための空間的max、または、活性化機能のための要素毎の非直線性、他のタイプのレイヤに対するものなど。この関数形態は、次の変換ルールにしたがうカーネルサイズおよびストライドをもってして、組成の下で維持される。
として計算され、式中、
は要素毎の乗算であり、zはパラメータθを有する別のニューラルネットワークfθ(x)の出力である。実施形態によれば、アテンション値は、ソフトアテンションとして使用され、これは、0と1との間のアテンション値の(ソフト)マスク、またはそれらの値が正確に0または1、すなわちa∈{0,1}kであるように制約されている場合のハードアテンションを特徴に乗算する。後者の場合、ハードアテンションマスクが使用されて、特徴ベクトル:g~=z[a](Matlab表記)に直接インデックス付けし、これにより、その次元を変更し、ここでg~∈Rm、m≦kとなる。
-描かれたタイルがそこから導き出された画像に割り当てられたラベル、図8に描かれている1つのラベルは、「グラウンドトゥルース:0」、
-バッグのラベルに関して、バッグ(画像)毎にMILプログラムにより計算された予測的正確さ、
-全スライド画像において類似するタイルの数、および/または、(例えば、閾値による)類似しないものと比較しての、類似するタイルのパーセンテージ(割合)、および、
-全スライド画像における全てのタイルの類似性値の平均、中央値、またはヒストグラム。
-レポートタイルギャラリにおけるタイルの1つを選択することと、
-受信した画像のいくつかまたは全ての他のタイルのそれぞれに対して、選択されたタイルに関して、類似性スコアを、同じ画像と、選択されたタイルの特徴ベクトルを有する他の画像の、他のタイルの特徴ベクトルを比較することにより計算することと、
-それらのタイルが、それぞれの類似性スコアを計算するために使用された画像のそれぞれに対して、それぞれの類似性ヒートマップを、選択されたタイルに対する、前記画像におけるタイルの類似性を示す類似性ヒートマップの類似性スコア、ピクセルカラー、および/またはピクセル強度の関数として計算することと、
-類似性ヒートマップを表示することと、を含む。
ここで、f1、f2は、2つの同一のサブネットワークを出力し、yは、以下のタイルペアのグラウンドトゥルースラベルである:それらが「類似」とラベル付けされている場合は0(タイルペアの第1のセット)、それらが「非類似」とラベル付けされている場合は1(タイルペアの第2のセット)。
102-116 ステップ
200 画像分析システム
202 プロセッサ
204 ディスプレイ
206 画像タイルギャラリ
207 分類された画像
208 全体スライドヒートマップ
210 記憶媒体
212 デジタル画像
214 分割モジュール
216 ラベル付けされたタイルのバッグ
218 特徴抽出モジュール
220 特徴ベクトル
221 確実性値
222 アテンション機械学習ロジックプログラム
224 特徴ベクトルの加重
226 マルチインスタンス学習プログラム
228 タイルの数的関連性スコア
229 分類結果
230 GUI生成モジュール
232 GUI
300 表1
400 表2
502 標準ニューラルネット
504 ドロップアウト後のニューラルネット
600 特徴抽出MLLのネットワークアーキテクチャ
602 入力として使用された画像タイル
603 入力レイヤ
604 複数のレイヤ
606 ボトルネックレイヤ
700 レポートタイルギャラリを含むGUI
702 第1の組織パターンの類似タイルの第1のサブセット
704 第2の組織パターンを表す類似タイルの第2のサブセット
706 第3の組織パターンを表す類似タイルの第3のサブセット
708 第4の組織パターンを表す類似タイルの第4のサブセット
710 選択可能なGUI要素のセット
712 全スライド画像
714 全スライド画像
716 全スライド画像
718 全スライド画像
722 関連性ヒートマップ
724 関連性ヒートマップ
726 関連性ヒートマップ
728 関連性ヒートマップ
800 類似性サーチタイルギャラリを含むGUI
802 第1の組織パターンの類似タイルの第1のサブセット
804 第2の組織パターンを表す類似タイルの第2のサブセット
806 第3の組織パターンを表す類似タイルの第3のサブセット
808 第4の組織パターンを表す類似タイルの第4のサブセット
812 全スライド画像
814 全スライド画像
816 全スライド画像
818 全スライド画像
822 類似性ヒートマップ
824 類似性ヒートマップ
826 類似性ヒートマップ
828 類似性ヒートマップ
830 クエリタイル
900 複数のタイルにスライスされたデジタル組織画像
902 タイルT1
904 タイルT2
906 タイルT3
908 第1の空間的近接閾値(2D)
910 第2の空間的近接閾値(2D)
912 「類似」とラベル付けされたタイルのペア
913 「類似」とラベル付けされたタイルのペア
914 「非類似」とラベル付けされたタイルのペア
915 「非類似」とラベル付けされたタイルのペア
916 トレーニングデータ
932 画像900に整列されたデジタル組織画像
934 画像932に整列されたデジタル組織画像
936 第1の空間的近接閾値(3D)
938 第2の空間的近接閾値(3D)
940 タイルT4
942 タイルT5
1000 シャムネットワーク
1002 サブネットワーク
1003 サブネットワーク
1004 第1の入力タイル
1005 第1のネットワークN1の入力レイヤ
1006 隠れレイヤ
1007 近接ベースの(「測定された」)類似性ラベル
1008 第1の入力タイルの特徴ベクトルを計算するための隠れレイヤ
1010 第1の入力タイル904から抽出された特徴ベクトル
1014 第2の入力タイル
1015 第2のネットワークN2の入力レイヤ
1016 隠れレイヤ
1018 第2の入力タイルの特徴ベクトルを計算するための隠れレイヤ
1020 第2の入力タイル914から抽出された特徴ベクトル
1022 入力タイルのペア
1024 ネットワークN1、N2を接合する出力レイヤ
1026 予測された類似性ラベル
1028 トレーニングデータセットの個別データレコード
950 特徴抽出MLL
952 個別の入力画像/タイル
954 特徴ベクトル
980 コンピュータシステム
982 プロセッサ
984 ユーザ
986 個別の入力画像/タイル
988 サーチ特徴ベクトル
990 特徴ベクトルベースのサーチエンジン
992 複数の画像またはタイルを含むデータベース
994 返された類似性サーチ結果
995 グローバル特徴ベクトル
996 確実性値ベースのプーリング関数
997 集約予測値
998 予測値
999 予測モデル
Claims (18)
- 組織画像(212、712~718、822~282)を分類するための方法(100)であって、
-画像分析システム(200)により、複数のデジタル画像(212、712~718、822~282)を受信すること(102)であって、前記デジタル画像のそれぞれが、患者の組織サンプルを示す、受信すること(102)と、
-前記画像分析システムにより、受信した各画像を画像タイルのセット(216、902~906、940、942)に分割すること(104)と、
-前記タイルのそれぞれについて、前記画像分析システムにより、前記タイルから選択的に抽出された画像特徴を含む特徴ベクトル(220)を計算すること(106)と、
-任意の入力画像を、前記入力画像の全てのタイルから抽出された前記特徴ベクトルに基づいて少なくとも2つの異なるクラスのうちの一つのメンバとして分類するためのモデルを使用するように構成された、マルチインスタンス学習(MIL)プログラム(226)を提供すること(108)と、
-前記タイルのそれぞれについて、前記タイルが導き出された前記画像の分類に対する前記タイルの特徴ベクトルの寄与に関する前記モデルの確実性を示す確実性値(221)を計算すること(110)と、
-各画像について、
・前記MILプログラム(226)により、前記画像から抽出された前記特徴ベクトルを前記画像の前記タイルの前記確実性値(221)の関数としてグローバル特徴ベクトル(995)に集約する(111)ための確実性値ベースのプーリング関数(996)を使用し、前記グローバル特徴ベクトルから集約予測値(997)を計算すること(112)、または
・前記MILプログラムにより、前記画像の前記特徴ベクトル(220)のそれぞれから予測値(998)を計算し(113)、前記MILプログラム(226)により、前記画像の前記予測値を集約予測値(997)に集約するための確実性値ベースのプーリング関数(996)を、前記画像の前記タイルの前記確実性値の関数として使用すること(114)と、
-前記MILプログラムにより、前記画像のそれぞれを、前記集約予測値に基づいて前記少なくとも2つの異なるクラスのうちの一つのメンバとして分類すること(116)と
を含む、方法。 - -GUIを介して、前記分類結果をユーザに出力すること、および/または
-前記分類結果を他のアプリケーションプログラムに出力すること
をさらに含む、請求項1に記載の方法。 - -前記MILプログラムが、バイナリMILプログラムであり、
-前記少なくとも2つのクラスが、「陽性クラス」と呼ばれる第1のクラスおよび「陰性クラス」と呼ばれる第2のクラスからなり、
-前記MILモデルが、当該画像のタイルのうちの少なくとも1つについて、当該タイルの前記特徴ベクトルが前記「陽性クラス」の証拠を含むと予測した場合、前記画像のいずれか1つが前記「陽性クラス」に分類され、
-前記MILモデルが、当該画像の全てのタイルについて、それらのそれぞれの前記特徴ベクトルが前記「陽性クラス」の証拠を含まないと予測した場合、前記画像のいずれか1つが前記「陰性クラス」に分類される、
前記請求項のいずれか一項に記載の方法。 - 前記確実性値ベースのプーリング関数がテスト時に使用され、
前記MILプログラムを提供すること(108)が、
-トレーニング画像のセットから生成されたトレーニングタイルのセットから特徴ベクトルを抽出することと、
-前記特徴ベクトル上で前記MILプログラムをトレーニングすることによって、トレーニング時に、テスト時に使用されたのと同じ確実性値ベースのプーリング関数を使用するか、またはトレーニング時に、テスト時に使用された確実性値ベースのプーリング関数ではない別の確実性値ベースのプーリング関数を使用することと
を含み、
好ましくは、トレーニング時に使用される前記確実性値ベースのプーリング関数が、確実性値ベースの最大プーリング関数または確実性値ベースの平均プーリング関数であり、テスト時に使用される前記確実性値ベースのプーリング関数が、確実性値ベースの最大プーリング関数である、
前記請求項のいずれか一項に記載の方法。 - 前記確実性値ベースのプーリング関数が、確実性値ベースの最大プーリング関数であり、前記確実性値ベースのプーリング関数を使用することが、前記画像のそれぞれについて、サブ方法a)、b、c)またはd)を含み、前記サブ方法が、それぞれ、
-a1)各タイルの予測値(h,998)を、当該タイルに対して計算された確実性値(c,221)によって加重し、それによって加重予測値(wh,228)を取得すること、
-a2)前記画像の前記全てのタイルについて計算された全ての加重予測値の最大値(whmax)を特定すること、および
-a3)前記最大加重予測値(whmax)を前記集約予測値(997)として使用すること、または
-b)前記最大確実性値(cmax)を有する前記タイルの前記予測値(h,998)を前記集約予測値(997)として使用すること、または
-c1)前記タイルのそれぞれの前記特徴ベクトル(fv,220)を、当該タイルについて計算された前記確実性値(c,221)によって加重し、それによって加重された特徴ベクトル(wfv)を取得すること、
-c2)画像の全てのタイルについて計算された全ての加重特徴ベクトルの最大値(wfvmax)を特定すること、または
-d)前記最大確実性値(cmax)を有する前記タイルの前記特徴ベクトル(fv)を前記グローバル特徴ベクトル(995)として使用すること
を含む、前記請求項のいずれか一項に記載の方法。 - 前記確実性値ベースのプーリング関数が、確実性値ベースの平均プーリング関数であり、
前記確実性値ベースのプーリング関数を使用することが、前記画像のそれぞれについて、
-各タイルの前記特徴ベクトル(fv)を、当該タイルに対して計算された確実性値(c)によって加重し、それによって加重特徴ベクトル(wfv)を取得すること、および前記グローバル特徴ベクトルを、前記画像の全ての前記加重特徴ベクトル(wfv)の平均として計算すること、または
-各タイルの予測値(h)を、当該タイルに対して計算された確実性値(c)によって加重し、それによって加重予測値(wh)を取得すること、前記画像の前記加重予測値の前記平均を計算すること、および前記計算された平均を前記集約予測値として使用すること
を含む、前記請求項のいずれか一項に記載の方法。 - 前記MILプログラムがニューラルネットワークであり、前記ニューラルネットワークのモデルのトレーニング時および/またはテスト時にドロップアウト技術を使用して前記確実性値が計算される、前記請求項のいずれか一項に記載の方法。
- 前記確実性値が、モンテカルロドロップアウト(MCドロップアウト)として計算される、請求項7に記載の方法。
- 前記ドロップアウト技術および/または前記確実性値ベースのプーリング関数が、前記モデルのトレーニング時ではなくテスト時に使用される、前記請求項のいずれか一項に記載の方法。
- 前記ニューラルネットワークが、1つ以上の非活性化されたドロップアウトレイヤを含み、前記非活性化されたドロップアウトレイヤが、トレーニング時に活性化されかつテスト時に非活性化されたドロップアウトレイヤであり、前記方法が、テスト時に前記1つ以上のドロップアウトレイヤを再活性化することを含み、または
トレーニング時における前記ニューラルネットワークが、いかなるドロップアウトレイヤも含まず、前記方法が、テスト時における1つ以上のドロップアウトレイヤを前記ニューラルネットワークに追加することを含み、
テスト時における前記タイルのいずれか1つについての前記確実性値を計算することが、
-前記タイルのそれぞれについて、前記タイルから抽出された前記特徴ベクトルに基づいて予測値(hd)を複数回計算することであって、前記予測値(hd)が計算されるたびに、前記ネットワークのノードの異なるサブセットが前記1つ以上の再活性化または追加されたドロップアウトレイヤによってドロップされる、計算することと、
-前記タイルのそれぞれについて、前記タイルについて計算された前記複数の予測値(hd)の前記変動性の関数として前記タイルの前記確実性値を計算することであって、前記変動性が大きいほど、前記確実性値(c)が小さくなる、計算することと
をさらに含む、請求項8または9に記載の方法。 - 受信された前記デジタル画像が、
-組織サンプルのデジタル画像であって、それらのピクセル強度値が、非バイオマーカ特異的染料、特にヘマトキシリン染色剤またはH&E染色剤の量と相関する、組織サンプルのデジタル画像、および/または
-組織サンプルのデジタル画像であって、それらのピクセル強度値が、前記組織サンプルに含まれるバイオマーカを選択的に染色するよう適合されたバイオマーカ特異的染料の量と相関する、組織サンプルのデジタル画像
を含む、前記請求項のいずれか一項に記載の方法。 - 前記MILプログラムを提供することが、前記MILプログラムのモデルをトレーニングすることを含み、
前記トレーニングすることが、
-組織サンプルのデジタルトレーニング画像のセットを提供することであって、各デジタルトレーニング画像が、少なくとも2つのクラスのうちの1つを示すクラスラベルが割り当てられている、提供すること、
-各トレーニング画像をトレーニング画像タイルに分割することであって、各トレーニングタイルが、前記トレーニングタイルが導き出された前記デジタルトレーニング画像と同じクラスラベルが割り当てられている、分割すること、
-前記タイルのそれぞれについて、前記画像分析システムにより、前記タイルから選択的に抽出された画像特徴を含むトレーニング特徴ベクトルを計算すること、および/または
-前記トレーニングタイルの予測クラスラベルと、前記トレーニングタイルに実際に割り当てられた前記クラスラベルとの差を示す損失関数の誤差が最小化されるように、前記MILプログラムの前記モデルを繰り返し適応させることであって、前記予測クラスラベルが、前記トレーニングタイルの前記特徴ベクトルに基づいて前記モデルによって計算されている、適応させること
を含む、前記請求項のいずれか一項に記載の方法。 - 受信された前記デジタル画像のそれぞれについて、
-各タイルの予測値(h)を、当該タイルに対して計算された確実性値(c)によって加重し、それによって加重予測値(wh)を取得することと、
-前記MILプログラムにより、最も高い加重予測値(wh)が計算された前記画像の前記タイルのうちの1つを特定することと、
-前記画像の他のタイルのそれぞれについて、前記他のタイルの前記加重予測値(wh)を前記最も高い加重予測値と比較することによって関連性インジケータを計算することであって、前記関連性インジケータが、比較された前記加重予測値の差と負に相関する数値である、計算することと、
-前記関連性インジケータの関数として前記画像(712~718,812~828)の関連性ヒートマップ(722~728,822~828)を計算することであって、前記関連性ヒートマップの前記ピクセル色および/またはピクセル強度が、前記画像内の前記タイルに対して計算された前記関連性インジケータを示す、計算することと、
-GUI上に前記関連性ヒートマップを表示することと
をさらに含む、前記請求項のいずれか一項に記載の方法。 - -受信された前記画像を画面のGUI上に表示することであって、前記画像が、前記分類の結果にしたがって前記GUI内で前記少なくとも2つの異なるクラスにグループ化される、表示すること
をさらに含む、前記請求項のいずれか一項に記載の方法。 - 前記少なくとも2つのクラスのそれぞれが、
-特定の薬物に対して反応性のある患者、
-転移または特定の形態の転移(例えば、微小転移)を発症した患者、
-特定の治療に対する特定の反応、例えば病理学的完全奏効(pCR)を示すがん患者、
-特定の形態学的状態またはマイクロサテライト状態を示すがん患者組織、
-特定の薬物に対する有害反応を発症した患者、
-特定の遺伝的属性、例えば特定の遺伝子シグネチャを有する患者、および/または
-特定のRNA発現プロファイルを有する患者
を含むグループから選択される、前記請求項のいずれか一項に記載の方法。 - 前記確実性値ベースのプーリング関数(996)が、確実性値ベースの最大プーリング、平均プーリング、またはアテンションプーリング関数である、前記請求項のいずれか一項に記載の方法。
- -どのタイル由来特徴ベクトルがタイルのクラスメンバシップを予測するために最も関連するかを学習したトレーニングされたアテンションMLL(222)を提供すること、
-前記タイルのそれぞれのアテンション加重(aw)を、前記アテンションMLLによって前記それぞれのタイルの前記特徴ベクトルの関数として計算することであって、前記アテンション加重が、クラスに対する当該タイルのメンバシップに関する当該タイルの特徴値の関連性の指標である、計算すること、
-前記タイルのアテンション加重特徴値を有するアテンションベース特徴ベクトルを取得するために、前記タイルのアテンション加重(aw)に前記タイルの特徴ベクトル値を乗算すること;ならびに前記アテンションベースの特徴ベクトルを、前記スライドの前記予測値(h)、前記確実性値(c)、および/または前記加重予測値(wh)を計算するために前記MILプログラムに入力される前記特徴ベクトルとして使用することであって、それによって前記予測値(h)、前記確実性値(c)、および/または前記加重予測値(wh)が、アテンションベースの予測値、アテンションベースの確実性値、および/またはアテンションベースの加重予測値として計算される、使用すること、または
-前記アテンションベースの予測値、前記アテンションベースの確実性値、および/または前記アテンションベースの加重予測値を取得するために、前記タイルの前記アテンション加重(aw)に、前記タイルの前記予測値(h)、前記確実性値(c)を、または前記MILによって計算された前記タイルの前記加重予測値(wh)を、乗算すること
をさらに含む、前記請求項のいずれか一項に記載の方法。 - 組織画像を分類するための画像分析システムであって、
-少なくとも1つのプロセッサ(202)と、
-患者の組織サンプルをそれぞれ示すデジタル画像を含む揮発性または不揮発性記憶媒体(210)と、
-前記少なくとも1つのプロセッサによって実行可能であり、前記画像のそれぞれを画像タイルのセット(216)に分割するように構成された、画像分割モジュール(214)と、
-前記少なくとも1つのプロセッサにより実行可能であり、前記タイルのそれぞれに対して、前記タイルから選択的に抽出された画像特徴を含む特徴ベクトル(220)を計算するように構成された、特徴抽出モジュール(218)と、
-前記少なくとも1つのプロセッサによって実行可能であり、前記入力画像の全てのタイルから抽出された前記特徴ベクトルに基づいて、少なくとも2つの異なるクラスのうちの一つのメンバとして任意の入力画像を分類するためのモデルを使用するように構成された、マルチインスタンス学習(MIL)プログラム(226)と
を備え、前記MILプログラムが、
-前記タイルのそれぞれについて、前記タイルが導き出された前記画像の分類に対する前記タイルの特徴ベクトルの寄与に関する前記モデルの確実性を示す確実性値を計算すること(110)と、
-各画像について、
・前記MILプログラム(226)により、前記画像から抽出された前記特徴ベクトルを前記画像の前記タイルの前記確実性値(221)の関数としてグローバル特徴ベクトル(995)に集約する(111)ための確実性値ベースのプーリング関数(996)を使用し、前記グローバル特徴ベクトルから集約予測値(997)を計算すること(112)、または
・前記MILプログラムにより、前記画像の前記特徴ベクトル(220)のそれぞれから予測値(998)を計算し(113)、前記MILプログラム(226)により、前記画像の前記予測値を集約予測値(997)に集約するための確実性値ベースのプーリング関数(996)を、前記画像の前記タイルの前記確実性値の関数として使用すること(114)と、
-前記MILプログラムにより、前記画像のそれぞれを、前記集約予測値に基づいて前記少なくとも2つの異なるクラスのうちの一つのメンバとして分類すること(116)と
のためにさらに構成された、画像分析システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19210814 | 2019-11-22 | ||
EP19210814.0 | 2019-11-22 | ||
PCT/EP2020/082917 WO2021099584A1 (en) | 2019-11-22 | 2020-11-20 | Multiple instance learner for tissue image classification |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023501126A true JP2023501126A (ja) | 2023-01-18 |
Family
ID=68654336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022523835A Pending JP2023501126A (ja) | 2019-11-22 | 2020-11-20 | 組織画像分類用のマルチインスタンス学習器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220237788A1 (ja) |
EP (1) | EP4022500A1 (ja) |
JP (1) | JP2023501126A (ja) |
CN (1) | CN114730463A (ja) |
WO (1) | WO2021099584A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102640426B1 (ko) * | 2023-08-07 | 2024-02-23 | 주식회사 에이비스 | 자가 지도 학습 모델을 활용한 약한 지도 학습 기반의 병리 영상 판독 방법 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10818386B2 (en) * | 2018-11-21 | 2020-10-27 | Enlitic, Inc. | Multi-label heat map generating system |
US11914672B2 (en) * | 2021-09-29 | 2024-02-27 | Huawei Technologies Co., Ltd. | Method of neural architecture search using continuous action reinforcement learning |
WO2022256458A1 (en) * | 2021-06-02 | 2022-12-08 | Genentech, Inc. | Whole slide image search |
EP4105879A1 (en) * | 2021-06-17 | 2022-12-21 | Fujitsu Limited | An unsupervised learning method to detect transparent, or hard to see, anomalies in images |
CN113805695B (zh) * | 2021-08-26 | 2024-04-05 | 深圳静美大健康科技有限公司 | 阅读理解水平的预测方法及装置、电子设备和存储介质 |
EP4246525A1 (en) * | 2022-03-18 | 2023-09-20 | Lunit Inc. | Method and device for processing pathological slide image |
CN114693624A (zh) * | 2022-03-23 | 2022-07-01 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置、设备及可读存储介质 |
WO2023212107A1 (en) * | 2022-04-29 | 2023-11-02 | Genentech, Inc. | Machine learning enabled hepatocellular carcinoma molecular subtype classification |
WO2024054980A1 (en) * | 2022-09-09 | 2024-03-14 | Genentech, Inc. | Identification of duplication of sample images of tissue slices |
WO2024059291A1 (en) * | 2022-09-16 | 2024-03-21 | Ohio State Innovation Foundation | Image classification using machine learning including weakly-labeled data |
CN115329118B (zh) * | 2022-10-14 | 2023-02-28 | 山东省凯麟环保设备股份有限公司 | 一种面向垃圾图像的图像相似性检索方法及系统 |
CN115471662B (zh) * | 2022-11-03 | 2023-05-02 | 深圳比特微电子科技有限公司 | 语义分割模型的训练方法、识别方法、装置和存储介质 |
WO2024105595A1 (en) * | 2022-11-15 | 2024-05-23 | Janssen Research & Development, Llc | Automatic histologic disease scoring for bowel disease |
CN116128798B (zh) * | 2022-11-17 | 2024-02-27 | 台州金泰精锻科技股份有限公司 | 钟形壳锻面齿的精锻方法 |
CN116030303B (zh) * | 2023-01-09 | 2024-01-30 | 深圳市大数据研究院 | 一种基于半监督孪生网络的视频结直肠病变分型方法 |
CN116502158B (zh) * | 2023-02-07 | 2023-10-27 | 北京纳通医用机器人科技有限公司 | 肺癌分期识别方法、装置、设备及存储介质 |
CN116824297B (zh) * | 2023-06-20 | 2024-02-06 | 河北大学 | Ki67影像预测模型的伪标签自蒸馏优化方法 |
CN116819482B (zh) * | 2023-08-28 | 2023-11-10 | 四川省石棉县恒达粉体材料有限责任公司 | 一种基于雷达数据的方解石探测方法 |
CN117152106A (zh) * | 2023-09-13 | 2023-12-01 | 厦门良医真选健康科技有限公司 | 基于深度学习的生物活性检测方法及装置 |
CN117038023A (zh) * | 2023-10-08 | 2023-11-10 | 中国医学科学院北京协和医院 | 基于结直肠癌病理图像的dMMR胚系突变亚型分类方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190122073A1 (en) * | 2017-10-23 | 2019-04-25 | The Charles Stark Draper Laboratory, Inc. | System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture |
WO2019161342A1 (en) * | 2018-02-17 | 2019-08-22 | Regeneron Pharmaceuticals, Inc. | Gan-cnn for mhc peptide binding prediction |
WO2019204651A1 (en) * | 2018-04-20 | 2019-10-24 | Facebook Technologies, Llc | Personalized gesture recognition for user interaction with assistant systems |
-
2020
- 2020-11-20 EP EP20807782.6A patent/EP4022500A1/en active Pending
- 2020-11-20 CN CN202080078832.9A patent/CN114730463A/zh active Pending
- 2020-11-20 JP JP2022523835A patent/JP2023501126A/ja active Pending
- 2020-11-20 WO PCT/EP2020/082917 patent/WO2021099584A1/en unknown
-
2022
- 2022-03-30 US US17/708,819 patent/US20220237788A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190122073A1 (en) * | 2017-10-23 | 2019-04-25 | The Charles Stark Draper Laboratory, Inc. | System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture |
WO2019161342A1 (en) * | 2018-02-17 | 2019-08-22 | Regeneron Pharmaceuticals, Inc. | Gan-cnn for mhc peptide binding prediction |
WO2019204651A1 (en) * | 2018-04-20 | 2019-10-24 | Facebook Technologies, Llc | Personalized gesture recognition for user interaction with assistant systems |
Non-Patent Citations (6)
Title |
---|
BASURA FERNANDO ET AL.: ""Deep Multiple Instance Learning with Gaussian Weighting"", ICLR 2020 CONFERENCE BLIND SUBMISSION, JPN7023001485, 26 September 2019 (2019-09-26), US, pages 1 - 10, ISSN: 0005037559 * |
MAXIMILIAN ILSE ET AL.: ""Attention-based Deep Multiple Instance Learning"", ARXIV, JPN7023001484, 28 June 2018 (2018-06-28), US, pages 1 - 16, ISSN: 0005037558 * |
NITISH SRIVASTAVA ET AL.: ""Dropout: a Simple Way to Prevent Neural Networks from Overfitting"", THE JOURNAL OF MACHINE LEARNING RESEARCH, vol. 15, no. 1, JPN7023001483, 14 June 2014 (2014-06-14), US, pages 1929 - 1958, ISSN: 0005037563 * |
YASUFUMI SAKAI ET AL.: ""Dropout and DropConnect for Reliable Neuromorphic Inference Under Communication Constraints in Netw", IEEE JOURNAL ON EMERGING AND SELECTED TOPICS IN CIRCUITS AND SYSTEMS, vol. 9, no. 4, JPN6023015151, 19 November 2019 (2019-11-19), US, pages 658 - 667, XP011760498, ISSN: 0005037561, DOI: 10.1109/JETCAS.2019.2952642 * |
YUN GU ET AL.: ""Reliable Label-Efficient Learning for Biomedical Image Recognition"", IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, vol. 66, no. 9, JPN6023015153, 27 December 2018 (2018-12-27), US, pages 2423 - 2432, XP011740982, ISSN: 0005037562, DOI: 10.1109/TBME.2018.2889915 * |
村田 賢太: ""第3章 深層学習入門 階層が増えて起きる問題とその解決方法"", WEB+DB PRESS, vol. 89, JPN6023015150, 25 November 2015 (2015-11-25), JP, pages 62 - 66, ISSN: 0005037560 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102640426B1 (ko) * | 2023-08-07 | 2024-02-23 | 주식회사 에이비스 | 자가 지도 학습 모델을 활용한 약한 지도 학습 기반의 병리 영상 판독 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP4022500A1 (en) | 2022-07-06 |
WO2021099584A1 (en) | 2021-05-27 |
US20220237788A1 (en) | 2022-07-28 |
CN114730463A (zh) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7270058B2 (ja) | 予測的組織パターン特定のためのマルチプルインスタンスラーナ | |
US20220237788A1 (en) | Multiple instance learner for tissue image classification | |
US11416716B2 (en) | System and method for automatic assessment of cancer | |
Lu et al. | Data-efficient and weakly supervised computational pathology on whole-slide images | |
US8831327B2 (en) | Systems and methods for tissue classification using attributes of a biomarker enhanced tissue network (BETN) | |
US20220139072A1 (en) | Machine learning using distance-based similarity labels | |
Vaickus et al. | Automating the Paris System for urine cytopathology—A hybrid deep‐learning and morphometric approach | |
WO2021081257A1 (en) | Artificial intelligence for personalized oncology | |
Moshkov et al. | Learning representations for image-based profiling of perturbations | |
Zeiser et al. | Breast cancer intelligent analysis of histopathological data: A systematic review | |
Ghoshal et al. | DeepHistoClass: a novel strategy for confident classification of immunohistochemistry images using deep learning | |
Kanya Kumari et al. | An adaptive teaching learning based optimization technique for feature selection to classify mammogram medical images in breast cancer detection | |
Giuste et al. | Explainable synthetic image generation to improve risk assessment of rare pediatric heart transplant rejection | |
Foran et al. | Automated image interpretation and computer-assisted diagnostics | |
Saranyaraj et al. | Early prediction of breast cancer based on the classification of HER‐2 and ER biomarkers using deep neural network | |
Nanthini et al. | Cervical Cancer Cell Segmentation and Classification using ML Approach | |
Nagdeote et al. | A model to perform prediction based on feature extraction of histopathological images of the breast | |
Elazab et al. | A multi-class brain tumor grading system based on histopathological images using a hybrid YOLO and RESNET networks | |
Swain | Combining VGG16 with Random Forest and Capsule Network for Detecting Multiple Myeloma | |
Sharma | Medical image analysis of gastric cancer in digital histopathology: methods, applications and challenges | |
Ben Taieb | Analyzing cancers in digitized histopathology images | |
Jonaitytė | Survival analysis incorporating medical imaging data | |
Wright | Automated analysis of colorectal cancer | |
Alomari et al. | Adaptive Localization of Focus Point Regions via Random Patch Probabilistic Density from Whole‐Slide, Ki‐67‐Stained Brain Tumor Tissue | |
Banachowicz et al. | Convolutional Neural Networks for Dot Counting in Fluorescence in Situ Hybridization Imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230714 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231122 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231205 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20231228 |