JP2022527145A - 予測的組織パターン特定のためのマルチプルインスタンスラーナ - Google Patents
予測的組織パターン特定のためのマルチプルインスタンスラーナ Download PDFInfo
- Publication number
- JP2022527145A JP2022527145A JP2021552185A JP2021552185A JP2022527145A JP 2022527145 A JP2022527145 A JP 2022527145A JP 2021552185 A JP2021552185 A JP 2021552185A JP 2021552185 A JP2021552185 A JP 2021552185A JP 2022527145 A JP2022527145 A JP 2022527145A
- Authority
- JP
- Japan
- Prior art keywords
- tiles
- tile
- image
- patient
- tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 208
- 238000000034 method Methods 0.000 claims abstract description 86
- 238000012549 training Methods 0.000 claims description 158
- 238000000605 extraction Methods 0.000 claims description 54
- 239000000090 biomarker Substances 0.000 claims description 48
- 239000003814 drug Substances 0.000 claims description 47
- 238000010191 image analysis Methods 0.000 claims description 47
- 229940079593 drug Drugs 0.000 claims description 45
- 239000000975 dye Substances 0.000 claims description 32
- 238000010801 machine learning Methods 0.000 claims description 29
- 238000011282 treatment Methods 0.000 claims description 29
- 206010028980 Neoplasm Diseases 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 25
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 24
- 201000010099 disease Diseases 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 20
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 16
- 201000011510 cancer Diseases 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 206010027476 Metastases Diseases 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 5
- 108091092878 Microsatellite Proteins 0.000 claims description 4
- 208000003788 Neoplasm Micrometastasis Diseases 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000001575 pathological effect Effects 0.000 claims description 3
- 108091028043 Nucleic acid sequence Proteins 0.000 claims description 2
- 210000001124 body fluid Anatomy 0.000 claims description 2
- 239000010839 body fluid Substances 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000004547 gene signature Effects 0.000 claims description 2
- 230000036541 health Effects 0.000 claims description 2
- 239000002207 metabolite Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 3
- 210000001519 tissue Anatomy 0.000 description 284
- 239000000523 sample Substances 0.000 description 63
- 230000008901 benefit Effects 0.000 description 24
- 210000004027 cell Anatomy 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000010186 staining Methods 0.000 description 15
- 238000013459 approach Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 13
- 206010006187 Breast cancer Diseases 0.000 description 11
- 208000026310 Breast neoplasm Diseases 0.000 description 11
- 210000002569 neuron Anatomy 0.000 description 11
- 108090000623 proteins and genes Proteins 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 9
- 102000004169 proteins and genes Human genes 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 210000001789 adipocyte Anatomy 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 7
- 210000004881 tumor cell Anatomy 0.000 description 7
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 6
- 230000001744 histochemical effect Effects 0.000 description 6
- 201000005202 lung cancer Diseases 0.000 description 6
- 208000020816 lung neoplasm Diseases 0.000 description 6
- 230000009401 metastasis Effects 0.000 description 6
- 108020004414 DNA Proteins 0.000 description 5
- 102000053602 DNA Human genes 0.000 description 5
- 230000004913 activation Effects 0.000 description 5
- 230000002068 genetic effect Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000007170 pathology Effects 0.000 description 5
- 206010009944 Colon cancer Diseases 0.000 description 4
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 4
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 4
- 230000002378 acidificating effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000004083 survival effect Effects 0.000 description 4
- 102100033793 ALK tyrosine kinase receptor Human genes 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000003703 image analysis method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 150000003839 salts Chemical class 0.000 description 3
- 230000000391 smoking effect Effects 0.000 description 3
- 101150023956 ALK gene Proteins 0.000 description 2
- 239000004475 Arginine Substances 0.000 description 2
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 2
- 108060006698 EGF receptor Proteins 0.000 description 2
- 102000001301 EGF receptor Human genes 0.000 description 2
- 101000851181 Homo sapiens Epidermal growth factor receptor Proteins 0.000 description 2
- 239000004472 Lysine Substances 0.000 description 2
- KDXKERNSBIXSRK-UHFFFAOYSA-N Lysine Natural products NCCCCC(N)C(O)=O KDXKERNSBIXSRK-UHFFFAOYSA-N 0.000 description 2
- 239000013255 MILs Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 150000001413 amino acids Chemical group 0.000 description 2
- ODKSFYDXXFIFQN-UHFFFAOYSA-N arginine Natural products OC(=O)C(N)CCCNC(N)=N ODKSFYDXXFIFQN-UHFFFAOYSA-N 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 208000029742 colonic neoplasm Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- 210000002950 fibroblast Anatomy 0.000 description 2
- 210000002865 immune cell Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 210000001165 lymph node Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 206010061289 metastatic neoplasm Diseases 0.000 description 2
- 238000002493 microarray Methods 0.000 description 2
- 210000004088 microvessel Anatomy 0.000 description 2
- 108020004707 nucleic acids Proteins 0.000 description 2
- 102000039446 nucleic acids Human genes 0.000 description 2
- 150000007523 nucleic acids Chemical class 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- OWZPCEFYPSAJFR-UHFFFAOYSA-N 2-(butan-2-yl)-4,6-dinitrophenol Chemical compound CCC(C)C1=CC([N+]([O-])=O)=CC([N+]([O-])=O)=C1O OWZPCEFYPSAJFR-UHFFFAOYSA-N 0.000 description 1
- 101710168331 ALK tyrosine kinase receptor Proteins 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 206010013710 Drug interaction Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- YFONKFDEZLYQDH-OPQQBVKSSA-N N-[(1R,2S)-2,6-dimethyindan-1-yl]-6-[(1R)-1-fluoroethyl]-1,3,5-triazine-2,4-diamine Chemical compound C[C@@H](F)C1=NC(N)=NC(N[C@H]2C3=CC(C)=CC=C3C[C@@H]2C)=N1 YFONKFDEZLYQDH-OPQQBVKSSA-N 0.000 description 1
- 206010061309 Neoplasm progression Diseases 0.000 description 1
- 208000015914 Non-Hodgkin lymphomas Diseases 0.000 description 1
- SJEYSFABYSGQBG-UHFFFAOYSA-M Patent blue Chemical compound [Na+].C1=CC(N(CC)CC)=CC=C1C(C=1C(=CC(=CC=1)S([O-])(=O)=O)S([O-])(=O)=O)=C1C=CC(=[N+](CC)CC)C=C1 SJEYSFABYSGQBG-UHFFFAOYSA-M 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 108091000080 Phosphotransferase Proteins 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 108010026552 Proteome Proteins 0.000 description 1
- 239000000980 acid dye Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- WLDHEUZGFKACJH-UHFFFAOYSA-K amaranth Chemical compound [Na+].[Na+].[Na+].C12=CC=C(S([O-])(=O)=O)C=C2C=C(S([O-])(=O)=O)C(O)=C1N=NC1=CC=C(S([O-])(=O)=O)C2=CC=CC=C12 WLDHEUZGFKACJH-UHFFFAOYSA-K 0.000 description 1
- 239000000981 basic dye Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007321 biological mechanism Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 125000003636 chemical group Chemical group 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 210000004292 cytoskeleton Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012362 drug development process Methods 0.000 description 1
- 230000000857 drug effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 210000002816 gill Anatomy 0.000 description 1
- 238000013537 high throughput screening Methods 0.000 description 1
- 230000007768 histopathological growth pattern Effects 0.000 description 1
- 230000009610 hypersensitivity Effects 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 238000009169 immunotherapy Methods 0.000 description 1
- 239000003112 inhibitor Substances 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 210000004020 intracellular membrane Anatomy 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 229940043355 kinase inhibitor Drugs 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 210000004882 non-tumor cell Anatomy 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 239000012806 old tissue sample Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 125000002467 phosphate group Chemical group [H]OP(=O)(O[H])O[*] 0.000 description 1
- 102000020233 phosphotransferase Human genes 0.000 description 1
- 239000003757 phosphotransferase inhibitor Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920002477 rna polymer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000019491 signal transduction Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 229940124597 therapeutic agent Drugs 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 230000005751 tumor progression Effects 0.000 description 1
- 210000003171 tumor-infiltrating lymphocyte Anatomy 0.000 description 1
- 238000013107 unsupervised machine learning method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B15/00—ICT specially adapted for analysing two-dimensional or three-dimensional molecular structures, e.g. structural or functional relations or structure alignment
- G16B15/30—Drug targeting using structural data; Docking or binding prediction
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Probability & Statistics with Applications (AREA)
- Chemical & Material Sciences (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Pharmacology & Pharmacy (AREA)
- Medicinal Chemistry (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Crystallography & Structural Chemistry (AREA)
- Biotechnology (AREA)
- Mathematical Physics (AREA)
Abstract
Description
画像分析システムにより、患者のグループにおける各患者に対して、患者の組織サンプルの少なくとも1つのデジタル画像を受信することであって、少なくとも1つの画像には、少なくとも2つの異なる、予め定められたラベルの内の1つが割り当てられており、各ラベルは、その組織が、ラベル付けされた画像に描かれている患者の患者関連属性値を示す、患者のグループにおける各患者に対して、患者の組織サンプルの少なくとも1つのデジタル画像を受信することと、
画像分析システムにより、各受信した画像を、画像タイルのセットに分割することであって、各タイルには、そのタイルを生成することに使用された画像に割り当てられたラベルが割り当てられている、各受信した画像を、画像タイルのセットに分割することと、
タイルのそれぞれに対して、画像分析システムにより、そのタイルに描かれている組織パターンから選択的に抽出された画像特徴を含む特徴ベクトルを計算することと、
マルチプルインスタンスラーニング(Multiple-Instance-Learning、MIL)プログラムに、グループにおけるすべての患者に対して受信したすべての画像のすべてのタイル及びそれぞれの特徴ベクトルをトレーニングさせることであって、タイルの各セットは、MILプログラムにより、同じラベルを有するタイルのバッグとして扱われており、トレーニングさせることは、タイルのそれぞれに対して、タイルが導き出された画像に割り当てられたラベルに関して、タイルに関連付けられた特徴ベクトルの予測パワーを示す数値を計算するために、特徴ベクトルを分析することを含む、マルチプルインスタンスラーニング(Multiple-Instance-Learning、MIL)プログラムに、グループにおけるすべての患者に対して受信したすべての画像のすべてのタイル及びそれぞれの特徴ベクトルをトレーニングさせることと、
画像分析システムのグラフィカルユーザインタフェース(graphical user interface又はGUI)を介して、画像タイルのレポートギャラリを出力することであって、レポートギャラリは、タイルのサブセットを含み、タイルのサブセットは、それらの、それぞれ計算された数値に従ってソートされている、及び/又は、それらのそれぞれの数値の図形表現を含む、画像タイルのレポートギャラリを出力することと、
を含む。
その画像から導き出されており、その画像から導き出されたすべてのタイルに、最も高いスコアが割り当てられている、レポートギャラリにおけるタイルの1つを特定することであって、1つの実施形態によると、このスコアは、MILにより、各タイルに対して計算された数値であり、代替的な実施形態によると、このスコアは、本発明の実施形態についてここに説明するような、アテンションMLLにより、各タイルに対して計算された加重であり、さらに別の実施形態によると、このスコアは、そのタイルに対して、MILにより計算された数値と、アテンションMLLにより計算された加重と、の組み合わせであり、これにより、この組み合わせは、例えば、数値と加重との乗算であり得る、レポートギャラリにおけるタイルの1つを特定することと、
画像の他のタイルのそれぞれに対して、他のタイルのスコアを、最も高いスコアを有するタイルのスコアと比較することにより、関連性インジケータを計算することであって、関連性インジケータは、他のタイルのスコアの、最も高いスコアを有するタイルのスコアとの差異と負に相関する数値である、関連性インジケータを計算することと、
関連性インジケータの関数として、画像に対する関連性ヒートマップを計算することであって、これにより、関連性ヒートマップのピクセルカラー及び/又はピクセル強度は、その画像におけるタイルに対して計算された関連性インジケータを示す、画像に対する関連性ヒートマップを計算することと、
関連性ヒートマップを表示することと、
を含む。例えば、関連性ヒートマップは、レポートタイルギャラリにおいて、関連性ヒートマップが計算された、全体スライド画像に空間的に近接して表示され得る。
レポートギャラリの画像タイルの特定の1つの、ユーザの選択を受信することと、
選択されたタイルに類似する組織パターンを描くすべての受信した画像から取得されたすべてのタイルを、選択されたタイルの特徴ベクトルへのその類似性が閾値を超える特徴ベクトルが割り当てられている、すべての受信した画像から取得されたすべてのタイルを特定することにより、特定することと、
類似性サーチギャラリであって、その特定されたタイルを選択的に含む類似性サーチギャラリを表示することと、
を含む。
選択されたタイルと同じラベルが割り当てられている選択されたタイルに類似する組織パターンを描くそれらのタイル内のタイルの数及び/又は割合を決定することと、
決定された数及び/又は割合を類似性サーチギャラリに表示することと、
をさらに含む。
レポートタイルギャラリにおけるタイルの1つを選択することと、
受信した画像のいくつか又はすべての他のタイルのそれぞれに対して、選択されたタイルに関して、類似性スコアを、同じ画像と、選択されたタイルの特徴ベクトルを有する他の画像と、から導き出された、他のタイルの特徴ベクトルを比較することにより計算することと、
それらのタイルが、それぞれの類似性スコアを計算するために使用された画像のそれぞれに対して、それぞれの類似性ヒートマップを、選択されたタイルに対する、その画像におけるタイルの類似性を示す類似性ヒートマップの類似性スコア、ピクセルカラー、及び/又はピクセル強度の関数として計算すること、
類似性ヒートマップを表示することと、
を含む。
特徴抽出アプローチ
近接に基づく類似性ラベルの使用を可能にする特徴抽出アプローチ
MILプログラムにより処理されるラベル
MILプログラムとアテンションMLLとの組み合わせ
加重された数値を提供するアテンションMLLプログラム
加重された特徴ベクトルを提供するアテンションMLLプログラム
さらなる実施形態
画像分析システムにより、患者のさらなるグループにおける各患者に対して、患者の組織サンプルの少なくとも1つのさらなるデジタル画像を受信することであって、各さらなる画像には、予め定められたラベルの1つが割り当てられている、患者のさらなるグループにおける各患者に対して、患者の組織サンプルの少なくとも1つのさらなるデジタル画像を受信することと、
画像分析システムにより、各受信したさらなる画像を、さらなる画像タイルのセットに分割することであって、各タイルには、さらなるタイルを生成することに使用された画像に割り当てられたラベルが割り当てられている、各受信したさらなる画像を、さらなる画像タイルのセットに分割することと、
さらなるタイルのそれぞれに対して、画像分析システムにより、そのさらなるタイルから、及び、そこに描かれた組織パターンから、選択的に抽出された画像特徴を含むさらなる特徴ベクトルを計算することと、
トレーニング済みマルチプルインスタンスラーニング(multiple-instance-learning又はMIL)プログラムに、さらなるグループにおけるすべての患者に対して受信したすべてのさらなる画像のさらなるタイル及びそれぞれのさらなる特徴ベクトルを、さらなるタイルのそれぞれに対して、さらなるタイルが導き出された画像に特定のラベルが割り当てられる確率を示す数値であって、そのさらなるタイルの特徴ベクトルの学習済み非線形変換関数として計算される数値を計算するために、適用することと、
画像分析システムのGUIを介して、さらなる画像タイルのレポートギャラリを出力することであって、さらなるレポートギャラリは、複数のさらなるタイルを含み、タイルは、それらの、それぞれ計算された数値に従ってソートされている、及び/又は、それらのそれぞれの数値の図形表現を含む、さらなる画像タイルのレポートギャラリを出力することと、
をさらに含む。
少なくとも1つのプロセッサと、
患者のグループの組織のデジタル組織画像を含む揮発性又は不揮発性記憶媒体であって、患者のグループにおける各患者に対して、患者の組織サンプルの少なくとも1つのデジタル画像が、記憶媒体に記憶されており、少なくとも1つの画像には、少なくとも2つの異なる、予め定められたラベルの内の1つが割り当てられており、各ラベルは、その組織が、ラベル付けされた画像に描かれている患者の患者関連属性値を示す、揮発性又は不揮発性記憶媒体と、
少なくとも1つのプロセッサにより実行可能であり、画像のそれぞれを、画像タイルのセットに分割するよう構成されている画像分割モジュールであって、各タイルには、そのタイルを生成することに使用された画像に割り当てられたラベルが割り当てられている、画像分割モジュールと、
少なくとも1つのプロセッサにより実行可能であり、タイルのそれぞれに対して、そのタイルに描かれている組織パターンから選択的に抽出された画像特徴を含む特徴ベクトルを計算するよう構成されている特徴抽出モジュールと、
少なくとも1つのプロセッサにより実行可能なマルチプルインスタンスラーニング(multiple-instance-learning又はMIL)プログラムであって、MILプログラムのトレーニングフェーズにおいて、グループにおけるすべての患者のすべての画像のすべてのタイル及びそれぞれの特徴ベクトルを受信するよう構成されているマルチプルインスタンスラーニング(multiple-instance-learning又はMIL)プログラムであって、MILプログラムは、各タイルのセットを、トレーニングフェーズ中に、同じラベルを有するタイルのバッグとして扱うよう構成されており、トレーニングは、タイルのそれぞれに対して、タイルが導き出された画像に割り当てられたラベルに関して、タイルに関連付けられた特徴ベクトルの予測パワーを示す数値を計算するために、特徴ベクトルを分析することを含む、マルチプルインスタンスラーニング(multiple-instance-learning又はMIL)プログラムと、
少なくとも1つのプロセッサにより実行可能であり、画像タイルのレポートギャラリを含むGUIを生成して出力するよう構成されているGUI生成モジュールであって、レポートギャラリは、タイルのサブセットを含み、タイルのサブセットは、それらの、それぞれ計算された数値に従ってソートされている、及び/又は、それらのそれぞれの数値の図形表現を含む、GUI生成モジュールと、
画像タイルのレポートギャラリによりGUIを表示するよう適合されているディスプレイと、
を含む。
、のように実施され、
ここで、
は、要素毎の乗算であり、zは、パラメータθを用いる別のニューラルネットワークfθ(x)の出力である。特徴を、ゼロと1との間の(ソフト)マスクの値と乗算するソフトアテンション、又は、それらの値が、正確にゼロ又は1、すなわち、a∈{0,1}k、となるよう制約される際のハードアテンションについて説明することができる。後者の場合では、ハードアテンションマスクを使用して、次のように、特徴ベクトルを直接指数化することができる:g~=z[a](Matlab表記法にて)、これは、その次元を変え、m≦kにて、g~∈Rmとなる。
ここで、xijは、特定のレイヤにおける場所(i,j)でのデータベクトルであり、yijは、これに続くレイヤにおけるその場所でのデータベクトルであり、ここで、yijは、ネットワークの活性化機能により生成される出力であり、ここで、kは、カーネルサイズと呼ばれ、sは、ストライド又はサブサンプリングファクターであり、fksは、次のレイヤタイプを決定する:畳み込み又は平均プーリングのための行列の乗算、maxプーリングのための空間的max、又は、活性化機能のための要素毎の非直線性、他のタイプのレイヤに対するものなど。この関数形態は、次の変換ルールにしたがうカーネルサイズ及びストライドをもってして、組成の下で維持される。
描かれたタイルがそこから導き出された画像に割り当てられたラベル、図4に描かれている1つのラベルは、「グラウンドトゥルース:0」、
バッグのラベルに関して、バッグ(画像)毎にMILプログラムにより計算された予測的正確さ、
全体スライド画像において類似するタイルの数、及び/又は、(例えば、閾値による)類似しないものと比較しての、類似するタイルのパーセンテージ(割合)、及び、
全体スライド画像におけるすべてのタイルの類似性値の平均、中央値、又はヒストグラム。
CL=(1-y)2(f1-f2)+y*max(0,m-L2(f1-f2))、
ここで、f1、f2は、2つの同じサブネットワークの出力であり、yは、タイルペアに対するグラウンドトゥルースラベルである:0は、それらが、「類似する」とラベル付けされている場合(第1のセットのタイルペア)であり、1は、それらが、「類似しない」とラベル付けされている場合(第2のセットのタイルペア)である。
符号の説明
102 から110 ステップ
200 画像分析システム
202 プロセッサ(単一又は複数)
204 ディスプレイ
206 画像タイルギャラリ
208 全体スライドヒートマップ
210 記憶媒体
212 デジタル画像
214 分割モジュール
216 ラベル付けされたタイルのバッグ
218 特徴抽出モジュール
220 特徴ベクトル
222 アテンション機械学習ロジックプログラム
224 特徴ベクトルの加重
226 マルチプルインスタンスラーニングプログラム
228 タイルの数的関連性スコア
230 GUI生成モジュール
232 GUI
300 レポートタイルギャラリを含むGUI
302 第1の組織パターンを表す、類似するタイルの第1のサブセット
304 第2の組織パターンを表す、類似するタイルの第2のサブセット
306 第3の組織パターンを表す、類似するタイルの第3のサブセット
308 第4の組織パターンを表す、類似するタイルの第4のサブセット
310 選択可能なGUI要素のセット
312 全体スライド画像
314 全体スライド画像
316 全体スライド画像
318 全体スライド画像
322 関連性ヒートマップ
324 関連性ヒートマップ
326 関連性ヒートマップ
328 関連性ヒートマップ
400 類似性サーチタイルギャラリを含むGUI
402 第1の組織パターンを表す、類似するタイルの第1のサブセット
404 第2の組織パターンを表す、類似するタイルの第2のサブセット
406 第3の組織パターンを表す、類似するタイルの第3のサブセット
408 第4の組織パターンを表す、類似するタイルの第4のサブセット
410 選択可能なGUI要素のセット
412 全体スライド画像
414 全体スライド画像
416 全体スライド画像
418 全体スライド画像
422 類似性ヒートマップ
424 類似性ヒートマップ
426 類似性ヒートマップ
428 類似性ヒートマップ
430 クエリタイル
950 特徴抽出MLLのネットワークアーキテクチャ
602 入力として使用された画像タイル
603 入力レイヤ
604 複数のレイヤ
606 ボトルネックレイヤ
800 複数のタイルにスライスされたデジタル組織画像
802 タイルT1
804 タイルT2
806 タイルT3
808 第1の空間的近接閾値(2D)
810 第2の空間的近接閾値(2D)
812 「類似する」とラベル付けされたタイルのペア
813 「類似する」とラベル付けされたタイルのペア
814 「類似しない」とラベル付けされたタイルのペア
815 「類似しない」とラベル付けされたタイルのペア
816 トレーニングデータ
832 画像300に整列されたデジタル組織画像
834 画像332に整列されたデジタル組織画像
836 第1の空間的近接閾値(3D)
838 第2の空間的近接閾値(3D)
840 タイルT4
842 タイルT5
900 サイアミーズネットワーク
902 サブネットワーク
903 サブネットワーク
904 第1の入力タイル
905 第1のネットワークN1の入力レイヤ
906 隠れレイヤ
907 近接に基づく(「測定された」)類似性ラベル
908 第1の入力タイルに対する特徴ベクトルを計算するよう適合されている隠れレイヤ
910 第1の入力タイル904から抽出された特徴ベクトル
914 第2の入力タイル
915 第2のネットワークN2の入力レイヤ
916 隠れレイヤ
918 第2の入力タイルに対する特徴ベクトルを計算するよう適合されている隠れレイヤ
920 第2の入力タイル914から抽出された特徴ベクトル
922 入力タイルのペア
924 ネットワークN1、N2を繋ぐ出力レイヤ
926 予測された類似性ラベル
928 トレーニングデータセットの個別データレコード
950 特徴抽出MLL
952 個別の入力画像/タイル
954 特徴ベクトル
980 コンピュータシステム
982 プロセッサ
984 ユーザ
986 個別の入力画像/タイル
988 サーチ特徴ベクトル
990 特徴ベクトルに基づくサーチエンジン
992 複数の画像又はタイルを含むデータベース
994 返された類似性サーチ結果
Claims (20)
- 患者関連属性値を示す組織パターンを特定する方法(100)であって、
画像分析システム(200)により、患者のグループにおける各患者に対して、患者の組織サンプルの少なくとも1つのデジタル画像(212)を受信すること(102)であって、少なくとも1つの画像には、少なくとも2つの異なる、予め定められたラベルの内の1つが割り当てられており、各ラベルは、その組織が、ラベル付けされた画像に描かれている患者の患者関連属性値を示す、患者の組織サンプルの少なくとも1つのデジタル画像(212)を受信すること(102)と、
画像分析システムにより、各受信した画像を、画像タイルのセット(216)に分割すること(104)であって、各タイルには、タイルを生成することに使用される、画像に割り当てられたラベルが割り当てられている、画像タイルのセット(216)に分割すること(104)と、
タイルのそれぞれに対して、画像分析システムにより、タイルに描かれている組織パターンから選択的に抽出された画像特徴を含む特徴ベクトル(220)を計算すること(106)と、
マルチプルインスタンスラーニング(Multiple-Instance-Learning、MIL)プログラム(226)に、グループにおけるすべての患者に対して受信した画像のタイル及びそれぞれの特徴ベクトルをトレーニングさせること(108)であって、各タイルのセットは、MILプログラムにより、同じラベルを有するタイルのバッグとして扱われ、トレーニングさせることは、タイルのそれぞれに対して、タイルが導き出された画像に割り当てられたラベルに関して、タイルに関連付けられた特徴ベクトルの予測パワーを示す数値(228)を計算するために、特徴ベクトル(220)を分析することを含む、トレーニングさせること(108)と、
前記画像分析システムのGUI(232)を介して、画像タイルのレポートギャラリ(206)を出力すること(110)であって、レポートギャラリは、タイルのサブセットを含み、タイルのサブセットは、それらの、それぞれ計算された数値に従ってソートされる、画像タイルのレポートギャラリ(206)を出力すること(110)と、
を含む方法。 - 受信したデジタル画像が、
組織サンプルのデジタル画像であって、それらのピクセル強度値が、非バイオマーカ特異的染料、特に、ヘマトキシリン染料、又は、H&E染料の量と相関する、組織サンプルのデジタル画像、
組織サンプルのデジタル画像であって、それらのピクセル強度値が、組織サンプルに含まれるバイオマーカを選択的に染色するよう適合されたバイオマーカ特異的染料の量と相関する、組織サンプルのデジタル画像、及び/又は、
組織サンプルのデジタル画像であって、それらのピクセル強度値が、第1のバイオマーカ特異的染料の量と相関する、組織サンプルのデジタル画像と、
組織サンプルのデジタル画像であって、それらのピクセル強度値が、非バイオマーカ特異的染料の量と相関し、バイオマーカ特異的染料は、組織サンプルに含まれるバイオマーカを選択的に染色するよう適合されている、組織サンプルのデジタル画像と、
の組み合わせ、
を含み、
同じ患者からの、同じ組織サンプルを描く、及び/又は、隣接する組織サンプルを描くすべてのデジタル画像には、同じラベルが割り当てられており、MILは、前記デジタル画像から導き出されたすべてのタイルを、タイルの同じバッグのメンバーとして扱うよう構成されている、
請求項1に記載の方法。 - 画像タイルのレポートギャラリ(300)に示す画像タイルが、受信した画像の1つ又はそれ以上(312、314、316、318)から導き出されており、方法は、レポートタイルギャラリにおける1つ又はそれ以上の画像のそれぞれに対して、
- 画像から導き出されたレポートギャラリにおけるタイルの1つであって、前記画像から導き出されたすべてのタイルの、最も高いスコアが割り当てられている、該タイルの1つを特定することであって、スコアは、MILにより、各タイルに対して計算された数値、又は、アテンションMLLにより、各タイルに対して計算された加重、又は、前記タイルに対して、MILとアテンションMLLとにより計算された数値と加重との組み合わせである、特定することと、
- 画像の他のタイルのそれぞれに対して、該他のタイルのスコアを、最も高いスコアを有するタイルのスコアと比較することにより、関連性インジケータを計算することであって、関連性インジケータは、前記他のタイルのスコアの、最も高いスコアを有するタイルのスコアとの差異と負に相関する数値である、関連性インジケータを計算することと、
- 関連性インジケータの関数として、画像(312、314、316、318)に対する関連性ヒートマップ(322、324、326、328)を計算すること(208)であって、関連性ヒートマップのピクセルカラー及び/又はピクセル強度は、前記画像におけるタイルに対して計算された関連性インジケータを示す、関連性ヒートマップ(322、324、326、328)を計算すること(208)と、
- 関連性ヒートマップを表示することと、
を含む、請求項1又は請求項2に記載の方法。 - レポートギャラリに示す画像タイルが選択可能であり、GUIが、類似性サーチタイルギャラリを計算して表示するよう構成されており、前記計算は、 - レポートギャラリの画像タイルの特定の1つの、ユーザの選択を受信することと、
- 類似する組織パターンを描くすべての受信した画像から取得されたすべてのタイルを、選択されたタイルの特徴ベクトルへのその類似性が閾値を超える特徴ベクトルが割り当てられている、すべての受信した画像から取得されたすべてのタイルを特定することにより、選択されたタイルとして特定することと、
- 類似性サーチタイルギャラリを表示することであって、類似性サーチタイルギャラリが前記特定されたタイルを選択的に含む、類似性サーチタイルギャラリを表示することと、
を含み、
- 計算は、任意選択的に、選択されたタイルと同じラベルが割り当てられている特定されたタイル内のタイルの数及び/又は割合を決定定することをさらに含み;表示された類似性サーチタイルギャラリは、決定された数及び/又は割合をさらに含む、
請求項1から3のいずれか一項に記載の方法。 - レポートギャラリにおける画像タイルが、患者であって、それらの組織サンプル画像からタイルが導き出された該患者に基づいてグループ化されている、及び/又は、レポートギャラリにおける画像タイルが、タイルが導き出された画像に割り当てられたラベルに基づいてグループ化されている、請求項1から4のいずれか一項に記載の方法。
- - 追加的なタイルのセットを生成することにより、タイルのバッグの数を計算的に増やすことをさらに含み、各追加的なタイルのセットは、MILプログラムにより、ソースタイルが生成された組織画像と同じラベルが割り当てられている、追加的なタイルのバッグとして扱われ、追加的なタイルのセットの生成は、特に、
1つ又はそれ以上のアーチファクト生成アルゴリズムを、アーチファクトを含む新たなタイルを生成するために、タイルの少なくとも1つのサブセットに適用すること、及び/又は
それらのそれぞれのソースタイルよりきめが細かい、又は、これよりきめが粗い、新たなタイルを生成するために、タイルの少なくとも1つのサブセットの解像度を増やすこと、又は、これを減らすこと、
を含む、請求項1から5のいずれか一項に記載の方法。 - - 1つ又はそれ以上の受信したデジタル画像から取得されたタイルのクラスタを計算することをさらに含み、タイルは、それらの特徴ベクトルの類似性に基づいて、クラスタにグループ化される、請求項1から6のいずれか一項に記載の方法。
- MILプログラムのトレーニングが、タイルのセットから、タイルのサブセットを取り出すために、タイルのセットを繰り返しサンプリングすることと、MILプログラムに、タイルのサブセットについてトレーニングさせることと、を含む、請求項1から7のいずれか一項に記載の方法。
- サンプリングすることが、患者に対して取得されたタイルのクラスタのそれぞれから、サンプリングすることにおいて生成された各タイルのサブセットにおけるタイルの数が、前記タイルが取り出されるクラスタのサイズに対応するように、タイルを選択することを含む、請求項8と組み合わせての、請求項7に記載の方法。
- タイルのそれぞれに対して特徴ベクトルを計算することが、患者であって、その組織サンプルがタイルに描かれている該患者の患者関連データを受信することと、患者関連データを、特徴ベクトルにおける1つ又はそれ以上の特徴の形態に表すことと、を含み、患者関連データは、特に、ゲノムデータ、RNA配列データ、該患者の既知の疾患、年齢、性別、体液における代謝物濃度、健康パラメータ、及び現在の投薬を含む群から選択される、請求項1から9のいずれか一項に記載の方法。
- 特徴ベクトルを計算することが、トレーニング済み機械学習ロジック(950)、特に、少なくとも1つのボトルネックレイヤ(606)を含むトレーニング済み全畳み込みニューラルネットワークにより行われる、請求項1から10のいずれか一項に記載の方法。
- 特徴ベクトルが、ラベル付けされたタイルペアを含むトレーニングデータセットについてトレーニングされた特徴抽出機械学習ロジックにより計算され、各ラベルは、タイルペアにより描かれた2つの組織パターンの類似性を表し、タイルペアの2つのタイルの空間的距離の関数として計算される、請求項1から11のいずれか一項に記載の方法。
- - それぞれが組織サンプルを描く、複数のデジタルトレーニング画像(800、832、834)を受信することと、
- 受信したトレーニング画像のそれぞれを複数のタイルに分割することと、
- タイルペア(812、813、814、815、922)を自動的に生成することであって、各タイルペアには、該ペアの2つのタイルに描かれている2つの組織パターの類似性の程度を示すラベル(907)が割り当てられており、類似性の程度は、ペアにおける2つのタイルの空間的近接(d1、d2、d3、d4)の関数として計算され、距離は、非類似性と正に相関する、タイルペア(812、813、814、815、922)を自動的に生成することと、
- 機械学習ロジック(MLL)(900、902、903、950)に、トレーニングデータとして、ラベル付けされたタイルペアを使用して、トレーニング済みMLL(900)を生成するようトレーニングさせることであって、トレーニング済みMLLは、類似する画像は類似する特徴ベクトルを有し、類似しない画像は類似しない特徴ベクトルを有するような方法で画像を表すデジタル組織画像から特徴ベクトルを抽出するように学習している、機械学習ロジック(MLL)(900、902、903、950)に、トレーニングデータとして、ラベル付けされたタイルペアを使用して、トレーニング済みMLL(900)を生成するようトレーニングさせることと、
- タイルの特徴ベクトルを計算するために、前記トレーニング済みMLL又はそのコンポーネントを使用することと、
をさらに含む、請求項12に記載の方法。 - トレーニング済みMLLが、2つのニューラルサブネットワーク(902、903)であって、それらの出力レイヤ(924)により結合されている、2つのニューラルサブネットワーク(902、903)を含むサイアミーズネットワーク(900)であり、
― トレーニング済みサイアミーズネットワーク(900)のサブネットワークの1つ(902)を記憶媒体上に個別に記憶することと、
- 記憶したサブネットワークを、タイルの特徴ベクトルを計算するために使用されるトレーニング済みMLL(900)のコンポーネントとして使用することと、
をさらに含む、請求項13に記載の方法。 - ラベルが、
- 特定の薬に反応した患者のインジケーション、
- 患者が、転移又は特定の形態の転移(例えば、微小転移)を発症したことのインジケーション、
- がん患者が、特定の治療に応答して、病理学的完全奏効(pCR)を示したことのインジケーション、
- 患者が、特定の形態学的状態又はマイクロサテライトステータスを伴うがんを有することのインジケーション、
- 患者が、特定の薬に対する拒絶反応を発症したことのインジケーション、
― 遺伝子属性、特に、遺伝子シグネチャー、及び/又は、
RNA発現プロファイル
を含む群から選択される、請求項1から14のいずれか一項に記載の方法。 - MILプログラムのトレーニングが、
アテンション機械学習ロジックプログラム(222)(アテンションMLLプログラム)に、すべての受信した画像のすべてのタイルの特徴ベクトル(220)及びラベル(216)について、タイルのそれぞれに対して加重を計算するようレーニングさせることであって、加重は、タイルのラベルにより表される患者関連属性値に関しての特徴ベクトル及びそれぞれのタイルの予測パワーを示す、タイルのそれぞれに対して加重を計算するようトレーニングさせることと、
- タイルのそれぞれに対して、組み合わされた予測値を計算することであって、組み合わされた予測値は、タイルに対してMILにより計算された数値及びタイルに対してアテンションMLLにより計算された加重の関数であり、組み合わされた数値は、タイルのラベルにより表される患者関連属性値に関する特徴ベクトル及びそれぞれのタイルの予測パワーを示す、組み合わされた予測値を計算することと、
- 特定のラベルに対して取得された組み合わされた予測値と、タイルに割り当てられた実際のラベルとの差異を示す損失値を計算することと、
- MILプログラムのモデルを、計算された損失値に基づいて誤差逆伝播法を使用して適応させることと、
を含む、請求項1から15のいずれか一項に記載の方法。 - MILプログラムのトレーニングが、
- アテンション機械学習ロジックプログラム(222)(アテンションMLLプログラム)に、すべての受信した画像のすべてのタイルの特徴ベクトル(220)及びラベル(216)について、タイルのそれぞれに対して加重を計算するようトレーニングさせることであって、加重は、タイルのラベルにより表される患者関連属性値に関する特徴ベクトル及びそれぞれのタイルの予測パワーを示す、タイルのそれぞれに対して加重を計算するようトレーニングさせることと、
- タイルのそれぞれに対して、タイルに対してアテンションMLLにより計算された加重及びタイルから抽出された特徴ベクトルの関数として、加重された特徴ベクトルを計算することと、
- 加重された特徴ベクトルを、MILが、加重された特徴ベクトルを、特徴ベクトルとして使用して、タイルのそれぞれに対して、数値を計算できるようにMILに入力することと
- 特定のラベルに対して取得された数値と、タイルに割り当てられた実際のラベルとの差異を示す損失値を計算することと、
- MILプログラムのモデルを、計算された損失値に基づいて誤差逆伝播法を使用して適応させることと、
を含む、請求項1から16のいずれか一項に記載の方法。 - - 画像分析システムにより、患者のさらなるグループにおける各患者に対して、患者の組織サンプルの少なくとも1つのさらなるデジタル画像を受信することであって、各さらなる画像には、予め定められたラベルの1つが割り当てられている、少なくとも1つのさらなるデジタル画像を受信することと、
- 画像分析システムにより、各受信したさらなる画像を、さらなる画像タイルのセットに分割することであって、各タイルには、さらなるタイルを生成することに使用された画像に割り当てられたラベルが割り当てられている、各受信したさらなる画像を、さらなる画像タイルのセットに分割することと、
- さらなるタイルのそれぞれに対して、画像分析システムにより、さらなるタイルから、及び、そこに描かれた組織パターンから、選択的に抽出された画像特徴を含むさらなる特徴ベクトルを計算することと、
- トレーニング済みマルチプルインスタンスラーニング(Multiple-Instance-Learning、MIL)プログラムを、さらなるグループにおけるすべての患者に対して受信したすべてのさらなる画像のさらなるタイル及びそれぞれのさらなる特徴ベクトルに、さらなるタイルのそれぞれに対して、さらなるタイルが導き出された画像に特定のラベルが割り当てられる確率を示す数値であって、さらなるタイルの特徴ベクトルの学習済み非線形変換関数として計算される数値を計算するために、適用することと、
- 画像分析システムのGUIを介して、さらなる画像タイルのレポートギャラリを出力することであって、さらなるレポートギャラリは、複数のさらなるタイルを含み、タイルは、それらの、それぞれ計算された数値に従ってソートされている、及び/又は、それらのそれぞれの数値の図形表現を含む、さらなる画像タイルのレポートギャラリを出力することと、
をさらに含む、請求項1から17のいずれか一項に記載の方法。 - - 1つ又はそれ以上の「高予測パワータイル」であって、ラベルの特定の1つに関して、その特徴ベクトルの予測パワーを示すその数値(228)が、高予測パワー閾値を超えるタイルである高予測パワータイルを、自動的に選択すること、又は、ユーザが選択できるようにすること、及び/又は、
- 1つ又はそれ以上の「アーチファクトタイル」であって、ラベルの特定の1つに関して、その特徴ベクトルの予測パワーを示すその数値(228)が、最小予測パワー閾値未満である、又は、1つ又はそれ以上のアーチファクトを描くタイルであるアーチファクトタイルを、自動的に選択すること、又は、ユーザが選択できるようにすること、
をさらに含み、
- 1つ又はそれ以上の高予測パワータイル及び/又はアーチファクトタイルの選択に応答して、MILプログラムに自動的に再トレーニングさせ、これにより、トレーニングセットから、高予測パワータイル及びアーチファクトタイルを除外する、
請求項1から18のいずれか一項に記載の方法。 - 患者関連属性値を示す組織パターンを特定する画像分析システム(100)であって、
- 少なくとも1つのプロセッサ(202)と、
- 患者のグループの組織のデジタル組織画像(212)を含む揮発性又は不揮発性記憶媒体(210)であって、患者のグループにおける各患者に対して、患者の組織サンプルの少なくとも1つのデジタル画像が、記憶媒体に記憶されており、少なくとも1つの画像には、少なくとも2つの異なる、予め定められたラベルの内の1つが割り当てられており、各ラベルは、その組織が、ラベル付けされた画像に描かれている患者の患者関連属性値を示す、揮発性又は不揮発性記憶媒体(210)と、
- 少なくとも1つのプロセッサにより実行可能であり、画像のそれぞれを、画像タイルのセット(216)に分割するよう構成されている画像分割モジュール(214)であって、各タイルには、タイルを生成することに使用される画像に割り当てられたラベルが割り当てられている、画像分割モジュール(214)と、
- 前記少なくとも1つのプロセッサにより実行可能であり、タイルのそれぞれに対して、タイルに描かれている組織パターンから選択的に抽出された画像特徴を含む特徴ベクトル(220)を計算するよう構成されている特徴抽出モジュール(218)と、
- 前記少なくとも1つのプロセッサにより実行可能なマルチプルインスタンスラーニング(Multiple-Instance-Learning、MIL)プログラム(226)であって、MILプログラムのトレーニングフェーズにおいて、グループにおけるすべての患者のすべての画像のすべてのタイル及びそれぞれの特徴ベクトル(220)を受信するよう構成されており、タイルの各セットを、トレーニングフェーズ中に、同じラベルを有するタイルのバッグとして扱うよう構成されており、トレーニングは、タイルのそれぞれに対して、タイルが導き出された画像に割り当てられたラベルに関して、タイルに関連付けられた特徴ベクトルの予測パワーを示す数値(228)を計算するように特徴ベクトルを分析することを含む、マルチプルインスタンスラーニング(MIL)プログラム(226)と、
- 少なくとも1つのプロセッサにより実行可能であり、画像タイルのレポートギャラリ(206)を含むGUI(232)を生成して出力するよう構成されているGUI生成モジュール(230)であって、おり、レポートギャラリは、前記タイルのサブセットを含み、タイルのサブセットは、それらの、それぞれ計算された数値に従ってソートされているGUI生成モジュール(230)と、
- 画像タイルのレポートギャラリによりGUIを表示するよう適合されているディスプレイ(204)と、
を含む、画像分析システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19162244.8 | 2019-03-12 | ||
EP19162244 | 2019-03-12 | ||
EP19165967 | 2019-03-28 | ||
EP19165967.1 | 2019-03-28 | ||
PCT/EP2020/056174 WO2020182710A1 (en) | 2019-03-12 | 2020-03-09 | Multiple instance learner for prognostic tissue pattern identification |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022527145A true JP2022527145A (ja) | 2022-05-31 |
JP7270058B2 JP7270058B2 (ja) | 2023-05-09 |
Family
ID=69726594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021552185A Active JP7270058B2 (ja) | 2019-03-12 | 2020-03-09 | 予測的組織パターン特定のためのマルチプルインスタンスラーナ |
Country Status (5)
Country | Link |
---|---|
US (1) | US11901077B2 (ja) |
EP (1) | EP3938948A1 (ja) |
JP (1) | JP7270058B2 (ja) |
CN (1) | CN113454733B (ja) |
WO (1) | WO2020182710A1 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11011257B2 (en) * | 2018-11-21 | 2021-05-18 | Enlitic, Inc. | Multi-label heat map display system |
JP7346603B2 (ja) * | 2019-06-07 | 2023-09-19 | ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング | 生物学関連のデータを処理するためのシステムおよび方法ならびに顕微鏡 |
CA3147085A1 (en) * | 2019-09-09 | 2021-03-18 | Jason Lock | Systems and methods for processing images of slides for digital pathology |
US11462032B2 (en) | 2019-09-23 | 2022-10-04 | Proscia Inc. | Stain normalization for automated whole-slide image classification |
KR20210071410A (ko) * | 2019-12-06 | 2021-06-16 | 삼성전자주식회사 | 센서 특화 이미지 인식 장치 및 방법 |
US11508481B2 (en) * | 2020-03-06 | 2022-11-22 | Salesforce, Inc. | Machine-learned hormone status prediction from image analysis |
CN113393940B (zh) * | 2020-03-11 | 2024-05-24 | 宏达国际电子股份有限公司 | 控制方法以及医疗系统 |
WO2022061083A1 (en) * | 2020-09-18 | 2022-03-24 | Proscia Inc. | Training end-to-end weakly supervised networks at the specimen (supra-image) level |
IL301593B2 (en) | 2020-09-23 | 2024-07-01 | Proscia Inc | Identifying critical components through deep learning and attention |
WO2022076479A1 (en) * | 2020-10-05 | 2022-04-14 | Modern Adjusting Services, LLC | Methods, systems, and software for inspection of a structure |
US20220108097A1 (en) * | 2020-10-05 | 2022-04-07 | Rakuten, Inc. | Dual encoder attention u-net |
WO2022090205A1 (en) * | 2020-10-30 | 2022-05-05 | Genfit | A method and a system for obtaining a training dataset usable for training a neural network to detect cells, using color deconvolutions and geometrical attributes |
KR102510221B1 (ko) * | 2020-12-24 | 2023-03-15 | 연세대학교 산학협력단 | 골절 위험 예측 방법 및 장치 |
US11791035B2 (en) | 2021-03-09 | 2023-10-17 | PAIGE.AI, Inc. | Systems and methods for artificial intelligence powered molecular workflow verifying slide and block quality for testing |
US11544849B2 (en) * | 2021-05-21 | 2023-01-03 | PAIGE.AI, Inc. | Systems and methods to process electronic images to categorize intra-slide specimen tissue type |
WO2023287235A1 (ko) * | 2021-07-14 | 2023-01-19 | 주식회사 루닛 | 병리 이미지 분석 방법 및 시스템 |
US20230115448A1 (en) * | 2021-10-12 | 2023-04-13 | PAIGE.AI, Inc. | Systems and methods for processing electronic images with preanalytic adjustment |
CN114429281B (zh) * | 2021-12-30 | 2022-11-15 | 华中师范大学 | 一种基于深度聚类算法的在线学习者活跃度测评方法 |
KR20230116727A (ko) * | 2022-01-28 | 2023-08-04 | 서울대학교병원 | 인공지능 기반의 바이오 마커 선별 장치 및 방법 |
WO2023164164A1 (en) * | 2022-02-24 | 2023-08-31 | The Johns Hopkins University | System and method for annotating pathology images to predict patient outcome |
CN114648680B (zh) * | 2022-05-17 | 2022-08-16 | 腾讯科技(深圳)有限公司 | 图像识别模型的训练方法、装置、设备、介质 |
JP7342194B1 (ja) | 2022-05-19 | 2023-09-11 | ヤフー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
WO2023228230A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 分類装置、学習装置、分類方法、学習方法、およびプログラム |
WO2023244567A1 (en) * | 2022-06-13 | 2023-12-21 | Rensselaer Polytechnic Institute | Self-supervised representation learning with multi-segmental informational coding |
CN115578797B (zh) * | 2022-09-30 | 2023-08-29 | 北京百度网讯科技有限公司 | 模型训练方法、图像识别方法、装置及电子设备 |
CN115908374B (zh) * | 2022-12-14 | 2024-07-19 | 广州科盛隆纸箱包装机械有限公司 | 基于度量学习的瓦楞纸箱印刷图案匹配检测方法、系统及存储介质 |
WO2024137801A1 (en) * | 2022-12-22 | 2024-06-27 | Verily Life Sciences Llc | Gene expression prediction from whole slide images |
WO2024130333A1 (en) * | 2022-12-22 | 2024-06-27 | Franklin-AI Pty Ltd | Diagnostic data user interfaces |
CN116646088B (zh) * | 2023-07-27 | 2023-12-01 | 广东省人民医院 | 一种预测方法、装置、设备及介质 |
CN117637189B (zh) * | 2023-12-20 | 2024-06-21 | 北京壹永科技有限公司 | 多模态大语言模型的训练及推理方法、装置、设备及介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140270495A1 (en) * | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Multiple Cluster Instance Learning for Image Classification |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8170330B2 (en) * | 2007-10-30 | 2012-05-01 | Siemens Aktiengesellschaft | Machine learning for tissue labeling segmentation |
CN103154933B (zh) * | 2010-07-28 | 2016-08-17 | 中药方程资讯科技有限公司 | 用于将草药成分与中医中的疾病相关联的人工智能和方法 |
AU2013355260B2 (en) * | 2012-12-04 | 2019-07-25 | Caris Mpi, Inc. | Molecular profiling for cancer |
GB2542765A (en) * | 2015-09-23 | 2017-04-05 | Pathxl Ltd | Method and apparatus for tissue recognition |
WO2015073935A1 (en) * | 2013-11-15 | 2015-05-21 | Corista LLC | Continuous image analytics |
AU2015331579A1 (en) * | 2014-10-17 | 2017-05-25 | Cireca Theranostics, Llc | Methods and systems for classifying biological samples, including optimization of analyses and use of correlation |
WO2016075095A2 (en) * | 2014-11-10 | 2016-05-19 | Ventana Medical Systems, Inc. | Using contextual information to classify nuclei in histology images |
US10489633B2 (en) * | 2016-09-27 | 2019-11-26 | Sectra Ab | Viewers and related methods, systems and circuits with patch gallery user interfaces |
EP3659110A1 (en) | 2017-07-24 | 2020-06-03 | Ventana Medical Systems, Inc. | Methods and systems for evaluation of immune cell infiltrate in tumor samples |
WO2019183596A1 (en) * | 2018-03-23 | 2019-09-26 | Memorial Sloan Kettering Cancer Center | Systems and methods for multiple instance learning for classification and localization in biomedical imagining |
-
2020
- 2020-03-09 WO PCT/EP2020/056174 patent/WO2020182710A1/en unknown
- 2020-03-09 JP JP2021552185A patent/JP7270058B2/ja active Active
- 2020-03-09 CN CN202080014846.4A patent/CN113454733B/zh active Active
- 2020-03-09 EP EP20708112.6A patent/EP3938948A1/en active Pending
-
2021
- 2021-07-15 US US17/376,796 patent/US11901077B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140270495A1 (en) * | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Multiple Cluster Instance Learning for Image Classification |
Non-Patent Citations (7)
Title |
---|
CAMPANELLA GABRIELE ET AL.: "Terabyte-scale Deep Multiple Instance Learning for Classification and Localization in Pathology", ARXIV, JPN6022044175, 27 September 2018 (2018-09-27), ISSN: 0004905273 * |
CHUNG YU-AN ET AL.: "Learning Deep Representations of Medical Images using Siamese CNNs with Application to Content-Based", ARXIV, JPN6022044178, 27 December 2017 (2017-12-27), ISSN: 0004905275 * |
ILSE MAXIMILIAN ET AL.: "Attention-based Deep Multiple Instance Learning", ARXIV, JPN6022044176, 28 June 2018 (2018-06-28), ISSN: 0004905274 * |
QUELLEC GWENOLE ET AL.: "Multiple-Instance Learning for Medical Image and Video Analysis", IEEE REVIEWS IN BIOMEDICAL ENGINEERING, vol. 10, JPN6022044183, 10 January 2017 (2017-01-10), pages 213 - 234, ISSN: 0004905279 * |
SUDHARSHAN P.J. ET AL.: "Multiple instance learning for histopathological breast cancer image classification", EXPERT SYSTEMS WITH APPLICATIONS, vol. Vol.117 (2019), JPN6022044181, 24 September 2018 (2018-09-24), pages 103 - 111, ISSN: 0004905277 * |
XU YAN ET AL.: "Deep Learning of Feature Representation with Multiple Instance Learning for Medical Image Analysis", 2014 IEEE INTERNATIONAL CONFERENCE ON ACOUSTIC, SPEECH AND SIGNAL PROCESSING (ICASSP), JPN6022044182, 14 July 2014 (2014-07-14), pages 1626 - 1630, ISSN: 0004905278 * |
XU YAN ET AL.: "Weakly supervised histopathology cancer image segmentation and classification", MEDICAL IMAGE ANALYSIS, vol. 18, JPN6022044180, 22 February 2014 (2014-02-22), pages 591 - 604, ISSN: 0004905276 * |
Also Published As
Publication number | Publication date |
---|---|
CN113454733A (zh) | 2021-09-28 |
US20210350176A1 (en) | 2021-11-11 |
EP3938948A1 (en) | 2022-01-19 |
CN113454733B (zh) | 2024-04-05 |
US11901077B2 (en) | 2024-02-13 |
JP7270058B2 (ja) | 2023-05-09 |
WO2020182710A1 (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7270058B2 (ja) | 予測的組織パターン特定のためのマルチプルインスタンスラーナ | |
US20220237788A1 (en) | Multiple instance learner for tissue image classification | |
US11756318B2 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
Silva-Rodríguez et al. | Going deeper through the Gleason scoring scale: An automatic end-to-end system for histology prostate grading and cribriform pattern detection | |
JP7231631B2 (ja) | 腫瘍空間異質性およびインターマーカ異質性の計算方法 | |
JP7504116B2 (ja) | 距離ベース類似性ラベルを使用する機械学習 | |
CN111448569B (zh) | 存储和检索数字病理学分析结果的方法 | |
US8831327B2 (en) | Systems and methods for tissue classification using attributes of a biomarker enhanced tissue network (BETN) | |
Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
CN114600155A (zh) | 用于细胞检测和分割的弱监督多任务学习 | |
Giuste et al. | Explainable synthetic image generation to improve risk assessment of rare pediatric heart transplant rejection | |
Gupta et al. | Simsearch: A human-in-the-loop learning framework for fast detection of regions of interest in microscopy images | |
Sui et al. | Point supervised extended scenario nuclear analysis framework based on LSTM-CFCN | |
Santamaria-Pang et al. | Epithelial cell segmentation via shape ranking | |
Alomari et al. | Adaptive Localization of Focus Point Regions via Random Patch Probabilistic Density from Whole‐Slide, Ki‐67‐Stained Brain Tumor Tissue | |
Lin Huang | U-Net vs HoVer-Net: A Comparative Study of Deep Learning Models for Cell Nuclei Segmentation and Classification in Breast Cancer Diagnosis | |
Shamsaddini-Farsangi | Instance Segmentation and Classification of Histology Images Using a Multi-task Learning Strategy Based on Cross-stitch and Self-attention | |
Alim et al. | Integrating convolutional neural networks for microscopic image analysis in acute lymphoblastic leukemia classification: A deep learning approach for enhanced diagnostic precision | |
Yang | Using convolutional neural networks to predict NRG1-fusions in PDAC biopsy images | |
Corrigan et al. | Image analysis in drug discovery | |
Tamura et al. | Machine-learning methods for detecting tuberculosis in Ziehl-Neelsen stained slides: A systematic literature review | |
Wright | Automated analysis of colorectal cancer | |
Borges | A computer-assisted approach to supporting taxonomical classification of freshwater green microalga images | |
Nandy | Segmentation and informatics in multidimensional fluorescence optical microscopy images | |
Höfener | Automated Quan� fica� on of Cellular Structures in Histological Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7270058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |