JP2022525288A - 距離ベース類似性ラベルを使用する機械学習 - Google Patents
距離ベース類似性ラベルを使用する機械学習 Download PDFInfo
- Publication number
- JP2022525288A JP2022525288A JP2021552551A JP2021552551A JP2022525288A JP 2022525288 A JP2022525288 A JP 2022525288A JP 2021552551 A JP2021552551 A JP 2021552551A JP 2021552551 A JP2021552551 A JP 2021552551A JP 2022525288 A JP2022525288 A JP 2022525288A
- Authority
- JP
- Japan
- Prior art keywords
- tile
- tiles
- image
- tissue
- mlm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000007170 pathology Effects 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 21
- 238000010191 image analysis Methods 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 112
- 238000003860 storage Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract 1
- 210000001519 tissue Anatomy 0.000 description 219
- 239000000523 sample Substances 0.000 description 55
- 206010028980 Neoplasm Diseases 0.000 description 36
- 239000000090 biomarker Substances 0.000 description 23
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 18
- 210000004027 cell Anatomy 0.000 description 16
- 238000003709 image segmentation Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000010186 staining Methods 0.000 description 11
- 201000011510 cancer Diseases 0.000 description 10
- 206010006187 Breast cancer Diseases 0.000 description 9
- 208000026310 Breast neoplasm Diseases 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 8
- 102000004169 proteins and genes Human genes 0.000 description 8
- 108090000623 proteins and genes Proteins 0.000 description 8
- 230000001744 histochemical effect Effects 0.000 description 7
- 230000001575 pathological effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000003364 immunohistochemistry Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 108020004414 DNA Proteins 0.000 description 3
- 206010027476 Metastases Diseases 0.000 description 3
- 230000002378 acidificating effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000007621 cluster analysis Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 210000004940 nucleus Anatomy 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 239000004475 Arginine Substances 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 2
- 239000004472 Lysine Substances 0.000 description 2
- KDXKERNSBIXSRK-UHFFFAOYSA-N Lysine Natural products NCCCCC(N)C(O)=O KDXKERNSBIXSRK-UHFFFAOYSA-N 0.000 description 2
- 150000001413 amino acids Chemical group 0.000 description 2
- 239000000427 antigen Substances 0.000 description 2
- 102000036639 antigens Human genes 0.000 description 2
- 108091007433 antigens Proteins 0.000 description 2
- ODKSFYDXXFIFQN-UHFFFAOYSA-N arginine Natural products OC(=O)C(N)CCCNC(N)=N ODKSFYDXXFIFQN-UHFFFAOYSA-N 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002055 immunohistochemical effect Effects 0.000 description 2
- 238000000338 in vitro Methods 0.000 description 2
- 230000003834 intracellular effect Effects 0.000 description 2
- 210000001165 lymph node Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 102000039446 nucleic acids Human genes 0.000 description 2
- 108020004707 nucleic acids Proteins 0.000 description 2
- 150000007523 nucleic acids Chemical class 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000007447 staining method Methods 0.000 description 2
- 210000004881 tumor cell Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- -1 EGRF Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 108091028043 Nucleic acid sequence Proteins 0.000 description 1
- SJEYSFABYSGQBG-UHFFFAOYSA-M Patent blue Chemical compound [Na+].C1=CC(N(CC)CC)=CC=C1C(C=1C(=CC(=CC=1)S([O-])(=O)=O)S([O-])(=O)=O)=C1C=CC(=[N+](CC)CC)C=C1 SJEYSFABYSGQBG-UHFFFAOYSA-M 0.000 description 1
- 208000037273 Pathologic Processes Diseases 0.000 description 1
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000000980 acid dye Substances 0.000 description 1
- WLDHEUZGFKACJH-UHFFFAOYSA-K amaranth Chemical compound [Na+].[Na+].[Na+].C12=CC=C(S([O-])(=O)=O)C=C2C=C(S([O-])(=O)=O)C(O)=C1N=NC1=CC=C(S([O-])(=O)=O)C2=CC=CC=C12 WLDHEUZGFKACJH-UHFFFAOYSA-K 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006907 apoptotic process Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 239000000981 basic dye Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000030833 cell death Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 125000003636 chemical group Chemical group 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 210000004292 cytoskeleton Anatomy 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000013537 high throughput screening Methods 0.000 description 1
- 229930195733 hydrocarbon Natural products 0.000 description 1
- 150000002430 hydrocarbons Chemical class 0.000 description 1
- 238000011532 immunohistochemical staining Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000004020 intracellular membrane Anatomy 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000013425 morphometry Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 230000009054 pathological process Effects 0.000 description 1
- 125000002467 phosphate group Chemical group [H]OP(=O)(O[H])O[*] 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000003935 rough endoplasmic reticulum Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000012192 staining solution Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 210000002536 stromal cell Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Biodiversity & Conservation Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
Description
第1の空間的近接性閾値を使用してタイル対の第1のセットを生成することであって、第1のセット内の各タイル対の2つのタイルによって描写される2つの組織領域は、第1の空間的近接性閾値より小さい距離だけ互いから分離される、生成すること;
第2の空間的近接性閾値を使用してタイル対の第2のセットを生成することであって、第2のセット内の各タイル対の2つのタイルによって描写される2つの組織領域は、第2の空間的近接性閾値より大きい距離だけ互いから分離される、生成すること
を含む。例えば、これは、本発明の実施形態について既に述べたように、複数の開始タイルを選択すること、各開始タイルの周りで第1および第2の空間的近接性閾値に基づいて第1および第2の円を計算すること、および、開始タイルおよび「近傍タイル」(第1のセット)または「遠方タイル」(第2のセット)を含むタイル対を選択することによって、実装することができる。
CL=(1-y)2(f1-f2)+y*max(0,m-L2(f1-f2))
に従って計算することができる。
ここで、f1、f2は2つの同一のサブネットワークの出力であり、yはタイル対についての真値ラベルである:「類似」とラベル付けされる場合(タイル対の第1のセット)0であり、「非類似」とラベル付けされる場合(タイル対の第2のセット)1である。
1つの例の実施形態によれば、自動化ラベル付き訓練用データセットは、×10解像度のCamelyon16データセットから抽出された。Camelyon16訓練用データセットは、270の乳房リンパ節ヘマトキシリン・エオジン(H&E)染色済み組織全スライド画像を含む。最初に、Camelyon16データセット内の画像は、サイズ224×224の非オーバーラップタイルに分割された。2つのタイル間の1792ピクセルの最大距離は、第1の空間的近接性閾値として使用され、1792ピクセルより短い距離を有するタイル対が「類似」タイル対として自動的にラベル付けされたことを意味する。9048ピクセルの距離は、第2の空間的近接性閾値として使用され、9048ピクセルより長い距離を有するタイル対が「非類似」タイル対としてラベル付けされたことを意味する。近傍タイルの32の対および遠方タイルの32の対をサンプリングすることは、7千万対のデータセットを生じ、その中で、3千5百万が「類似」とラベル付けされ、3千5百万が「非類似」とラベル付けされる。これらの自動化ラベル付きタイル対は、シャムネットワーク400を訓練するために使用された。画像対に関する訓練用損失として、対比損失が使用された。シャムネットワーク400は、24時間、訓練され、それまでに、シャムネットワーク400は、訓練用セット内の画像対の40%にほぼ匹敵する3千万画像対にわたる反復をかろうじて達成した。訓練は、PyTorch DataParallel実装を使用するRoche Pharma HPC上で8 V100 GPUを使用して行われた。
この実験からの結果に基づいて、特許請求される本発明の実施形態に従って訓練されたMLMが、他の検査されたベンチマーク方法に比べて、試験セット上の記述子空間において、近傍および遠方(または「類似」および「非類似」)タイルを分離するタスクにおけるベンチマーク方法において優れるように見える。
さらに、本発明の実施形態に従ってMLMを訓練する方法が、良好な画像取り出し性能をさらにもたらすことができることが観測された。さらなる実験において、病理画像取り出しタスクを実施する学習済みベクトル-出力-MLM402の能力が評価された。ベクトル-出力-MLM402は、データ記憶ユニット上に、訓練済みシャムネットワーク400のサブネットワークのうちの1つのサブネットワークを別個に記憶し、画像類似性検索において使用される訓練済みMLMとしてサブネットワーク(「切り詰めシャムネットワーク(truncated Siamese network)」)を使用することによって得られた。
視覚的に意味のある画像記述子を生成するためにMLMを訓練するための新規な自己教師あり手法が提供され、その手法が、Camelyon16データセットに関して他のベンチマーク方法と比べて実質的に良好な画像取り出し結果をもたらすことを、2つの試験が明らかにする。空間的距離導出類似性ラベルは、組織パターン類似性について非常に意味がありかつ正確な記述子および画像取り出しを提供することを立証した。さらに、デジタル病理データセットのための改良型特徴抽出アルゴリズムが提供され、そのアルゴリズムを、教師あり訓練のためのラベルが、得ることが難しいかまたは不可能であるデジタル病理問題に対して適用することもできる。空間的近接性ベース類似性ラベルが、実際の組織類似性(例えば、腫瘍/非腫瘍)の意味のある記述子を提供することを2つの試験が明らかにした。
102~108 ステップ
202~203 異なる患者の組織試料
208~212 隣接する組織試料のスタック内の組織試料
214~218 隣接する組織試料のさらなるスタック内の組織試料
220~236 組織試料をそれぞれ描写するデジタル画像
300 複数のタイルにスライスされたデジタル組織画像
302 タイルT1
304 タイルT2
306 タイルT3
308 第1の空間的近接性閾値(2D)
310 第2の空間的近接性閾値(2D)
312 「類似」とラベル付けされたタイルの対
313 「類似」とラベル付けされたタイルの対
314 「非類似」とラベル付けされたタイルの対
315 「非類似」とラベル付けされたタイルの対
316 訓練用データ
332 画像300に整列したデジタル組織画像
334 画像332に整列したデジタル組織画像
336 第1の空間的近接性閾値(3D)
338 第2の空間的近接性閾値(3D)
340 タイルT4
342 タイルT5
400 (未訓練)シャムネットワーク
400’ (訓練済み)シャムネットワーク
402 サブネットワーク
403 サブネットワーク
404 第1の入力タイル
405 第1のネットワークN1の入力層
406 隠れ層
407 近接性ベース(「測定済み」)類似性ラベル
408 第1の入力タイルについての特徴ベクトルを計算するように適合される隠れ層
410 第1の入力タイル404から抽出された特徴ベクトル
414 第2の入力タイル
415 第2のネットワークN2の入力層
416 隠れ層
418 第2の入力タイルについての特徴ベクトルを計算するように適合される隠れ層
420 第2の入力タイル414から抽出された特徴ベクトル
422 入力タイルの対
424 ネットワークN1、N2を接合する出力層
426 予測類似性ラベル
428 訓練用データセットの個々のデータレコード
502 入力タイル
504 第1の入力タイル
506 第2の入力タイル
508 予測類似性ラベル
510 入力タイル対502および予測類似性ラベル508を含む完全データレコード
600 ベクトル-出力-MLM
602 個々の入力画像/タイル
604 特徴ベクトル
700 コンピュータシステム
702 ユーザー
704 個々の入力画像/タイル
706 検索特徴ベクトル
708 特徴ベクトルベース検索エンジン
710 複数の画像またはタイルを含むデータベース
712 返された類似性検索結果
714 プロセッサ
800 コンピュータシステム
802 ユーザー
804 個々の入力画像/タイル
806 画像分割エンジン
808 複数のタイル
810 複数の特徴ベクトル
812 クラスタリングエンジン
814 類似性特徴ベクトルの識別されたクラスター
816 クラスター分析結果:識別された組織タイプ
818 画像セグメント化エンジン
820 ユーザーインタフェース
822 セグメント化画像
824 プロセッサ
900 コンピュータシステム
902 プロセッサ
Claims (15)
- デジタル病理のためのコンピュータ実装自己教師あり学習方法であって、
- それぞれが組織試料を描写する複数のデジタル画像を受信する(102)こと、
- 前記受信された画像のそれぞれを複数のタイルに分割する(104)こと、
- タイル対(312、313、314、315、422)を自動的に生成する(106)ことであって、各タイル対は、前記対の2つのタイルにおいて描写される2つの組織パターンの類似性の程度を示すラベル(403)を割り当てられており、前記類似性の程度は、前記対内の前記2つのタイルの空間的近接性(d1、d2、d3、d4)の関数として計算され、距離が非類似性と正相関し、前記タイル対(313、315)の少なくともサブセットは、隣接する組織スライスのスタックの2つの異なる組織スライス内に含まれる2つの組織領域を描写し、前記組織スライスのそれぞれは、前記受信デジタル画像(300、332、334)のそれぞれの1つのデジタル画像において描写される前記組織試料であり、隣接する組織スライスのスタックの組織スライスを描写する受信画像は、3D座標系において互いに整列し、前記サブセットの前記タイル対の前記タイル間の距離(d3、d4)は前記3D座標系内で計算される、タイル対(312、313、314、315、422)を自動的に生成する(106)こと、および、
- ラベル付けされたタイル対を訓練用データとして使用して、機械学習モジュール-MLM-(400、402、403、600)を訓練し、デジタル組織病理画像の画像解析を実施するために適合される訓練済みMLMを生成すること、
を含む、コンピュータ実装自己教師あり学習方法。 - - 前記タイル対(312、314)の少なくとも一部は、同じ組織スライスに含まれる2つの組織領域を描写し、前記組織スライスのそれぞれは、前記受信デジタル画像のそれぞれ1つの画像において描写され、タイル間の距離は、前記対内の前記タイルがそこから導出された前記受信されたデジタル画像(300)のx次元およびy次元によって規定される2D座標系内で計算される、請求項1に記載のコンピュータ実装方法。
- 前記タイル対(313、315)の少なくともさらなるサブセットは、同じ組織スライスの2つの組織領域を描写するタイル対を含み、前記さらなるサブセットの前記タイル対の前記タイル間の距離(d1、d2)は、異なる組織スライスを描写すると導出されるタイル対の前記サブセットの前記タイル対の間の距離として、前記空間的近接性の関数に基づいて計算される、請求項1または2に記載のコンピュータ実装方法。
- 各タイルは、0.5mm未満、好ましくは0.3mm未満の最大エッジ長を有する組織またはバックグラウンド領域を描写する、請求項1から3のいずれか一項に記載のコンピュータ実装方法。
- 前記タイル対の自動生成は、
- 第1の空間的近接性閾値(308、336)を使用してタイル対(312、313)の第1のセットを生成することであって、前記第1のセット内の各タイル対の前記2つのタイルによって描写される前記2つの組織領域は、前記第1の空間的近接性閾値より小さい距離互いから分離される、タイル対(312、313)の第1のセットを生成すること、
- 第2の空間的近接性閾値(310、338)を使用してタイル対(314、315)の第2のセットを生成することであって、前記第2のセット内の各タイル対の前記2つのタイルによって描写される前記2つの組織領域は、前記第2の空間的近接性閾値より大きい距離互いから分離される、タイル対(314、315)の第2のセットを生成すること
を含む、請求項1から4のいずれか一項に記載のコンピュータ実装方法。 - 前記第2の空間的近接性閾値は、前記第1の空間的近接性閾値より少なくとも2mm大きい、請求項5に記載のコンピュータ実装方法。
- 前記第1の空間的近接性閾値は、2mmより小さい、好ましくは1.5mmより小さい、特に1.0mmの距離である、および/または、
前記第2の空間的近接性閾値は、4mmより大きい、好ましくは8mmより大きい、特に10.0mmの距離である、請求項5または6に記載のコンピュータ実装方法。 - 前記MLMは、共通出力層(424)によって接合される2つの同一のニューラルサブネットワーク(402、403)を備えるシャムニューラルネットワーク(400)であり、前記2つのニューラルサブネットワークのそれぞれは、前記MLMへの入力として提供されるタイル対(422)の2つのタイル(404、414)のそれぞれの1つのタイルから特徴ベクトル(410、420)を抽出するように適合され、
訓練済みシャムニューラルネットワーク(400’)の出力層は、入力として提供される各タイル対(502)についてのラベル(508)を、2つの特徴ベクトル(410、420)の関数として計算するように適合され、前記ラベルは、入力として提供される前記タイル対(502)において描写される前記2つの組織パターンの予測類似性を示す、請求項1から7のいずれか一項に記載のコンピュータ実装方法。 - 前記MLMは、ベクトル-出力-MLM(600)であるかまたは前記ベクトル-出力-MLM(600)を含み、前記ベクトル-出力-MLMは、入力として単一デジタル画像またはタイルを受信するように適合されかつ前記画像またはタイルから抽出される特徴ベクトルを出力するように適合されるMLMであり、
それにより、前記ラベル付けされたタイル対に対する前記MLMの訓練は、バックプロパゲーション操作を含み、バックプロパゲーション中に、前記MLMの予測モデルは、特定の組織パターンについて特徴的でありかつ類似のおよび非類似の画像対のベクトル比較ベース識別を可能にする特徴量を、前記MLMによって抽出される前記ベクトル内の特徴量が含むように変更される、請求項1から8のいずれか一項に記載のコンピュータ実装方法。 - 前記MLMはシャムネットワークであり、方法は、前記ベクトル-出力-MLM(600)を提供することをさらに含み、前記ベクトル-出力-MLMを前記提供することは、
- 前記訓練済みシャムネットワーク(400’)の前記サブネットワークのうちの1つのサブネットワーク(402)を、別個に記憶媒体上に記憶すること、および、
- 前記ベクトル-出力-MLM(600)として前記記憶されたサブネットワークを使用すること
を含む、請求項8および9に記載のコンピュータ実装方法。 - - 前記ベクトル-出力-MLMの入力としてデジタル検索画像を提供することであって、前記検索画像は組織試料または前記組織試料のサブ領域を描写する、デジタル検索画像を提供すること、
- 前記ベクトル-出力-MLMによって、前記検索画像から検索特徴ベクトルを抽出すること、
- デジタル組織試料画像の画像データベース(710)において類似性検索を、類似性検索エンジン(708)によって実施することであって、前記類似性検索エンジンは、前記画像データベース内の前記画像のそれぞれについて前記ベクトル-出力-MLMによって抽出された特徴ベクトルを用いて、前記検索特徴ベクトルの類似性を決定する、類似性検索を実施すること、および、
- 前記データベース内の前記画像のうちの画像であって、画像の特徴ベクトルは、前記類似性検索の結果として、前記検索特徴ベクトルに最も類似する、画像を返すこと
をさらに含む、請求項9または10に記載のコンピュータ実装方法。 - - 前記ベクトル-出力-MLMの入力としてデジタル画像(804)を提供することであって、前記デジタル画像は、全スライド組織試料または前記全スライド組織試料のサブ領域を描写する、デジタル画像(804)を提供すること
- 前記提供されたデジタル画像(804)を複数のタイル(808)に分割すること、
- 前記タイル(808)のそれぞれから特徴ベクトルを、前記ベクトル-出力-MLMによって抽出すること、
- 前記複数のタイルから抽出される前記特徴ベクトルを、クラスタリングエンジン(812)によってクラスター化することであって、それにより、類似の特徴ベクトルのクラスターを作成する、前記特徴ベクトルをクラスター化すること、
- 前記タイルの特徴ベクトルについて計算された前記クラスターに従って、前記複数のタイルをタイルのクラスターにグループ分けすること、および、
- タイルの前記クラスターを、グラフィカルユーザーインタフェースによって出力すること
をさらに含む、請求項9から11のいずれか一項に記載のコンピュータ実装方法。 - - 前記提供されたデジタル画像(804)内でセグメントを識別することであって、各セグメントは隣接するタイルの群であり、各セグメント内の全てのタイルは、タイルの前記識別されたクラスターの同じクラスターに属する、セグメントを識別すること、および、
- 前記提供されたデジタル画像(804)内の前記識別されたセグメントの光学的指示を、前記グラフィカルユーザーインタフェースを介して出力すること
を含む、請求項12に記載のコンピュータ実装方法。 - コンピュータ解釈可能命令を含む不揮発性記憶媒体であって、前記コンピュータ解釈可能命令は、実行されると、請求項1から13のいずれか一項に記載のコンピュータ実装方法によって生成される訓練済み機械学習モジュール―MLM―(400、402、403、600)をインスタンス化および/または実行する、不揮発性記憶媒体。
- 画像解析システム(700、800、900)であって、
- 少なくとも1つのプロセッサ(714、824、902)と、
- 揮発性または不揮発性記憶媒体とを備え、前記記憶媒体は、請求項1から13のいずれか一項に記載のコンピュータ実装方法によって生成される訓練済み機械学習モジュール―MLM―(400、402、403、600)を備える、画像解析システム(700、800、900)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19165965 | 2019-03-28 | ||
EP19165965.5 | 2019-03-28 | ||
PCT/EP2020/058570 WO2020193708A1 (en) | 2019-03-28 | 2020-03-26 | Machine learning using distance-based similarity labels |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022525288A true JP2022525288A (ja) | 2022-05-12 |
JP7504116B2 JP7504116B2 (ja) | 2024-06-21 |
Family
ID=66001073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021552551A Active JP7504116B2 (ja) | 2019-03-28 | 2020-03-26 | 距離ベース類似性ラベルを使用する機械学習 |
Country Status (5)
Country | Link |
---|---|
US (1) | US12026875B2 (ja) |
EP (1) | EP3948651A1 (ja) |
JP (1) | JP7504116B2 (ja) |
CN (1) | CN113574534A (ja) |
WO (1) | WO2020193708A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3731154A1 (en) * | 2019-04-26 | 2020-10-28 | Naver Corporation | Training a convolutional neural network for image retrieval with a listwise ranking loss function |
WO2020227710A1 (en) * | 2019-05-09 | 2020-11-12 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Systems and methods for slide image alignment |
US11423678B2 (en) | 2019-09-23 | 2022-08-23 | Proscia Inc. | Automated whole-slide image classification using deep learning |
US11556848B2 (en) * | 2019-10-21 | 2023-01-17 | International Business Machines Corporation | Resolving conflicts between experts' intuition and data-driven artificial intelligence models |
AU2021349226C1 (en) | 2020-09-23 | 2023-08-24 | Proscia Inc. | Critical component detection using deep learning and attention |
CN112241452B (zh) * | 2020-10-16 | 2024-01-05 | 百度(中国)有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
WO2022090205A1 (en) * | 2020-10-30 | 2022-05-05 | Genfit | A method and a system for obtaining a training dataset usable for training a neural network to detect cells, using color deconvolutions and geometrical attributes |
CN112381798A (zh) * | 2020-11-16 | 2021-02-19 | 广东电网有限责任公司肇庆供电局 | 一种输电线路缺陷识别方法和终端 |
CN112819802B (zh) * | 2021-02-09 | 2024-03-05 | 东北大学 | 基于风口信息深度学习的监督及预测高炉炉况异常的方法 |
EP4348452A1 (en) * | 2021-06-02 | 2024-04-10 | Genentech, Inc. | Whole slide image search |
CN113838058B (zh) * | 2021-10-11 | 2024-03-19 | 重庆邮电大学 | 一种基于小样本分割的医学图像自动标注方法及系统 |
EP4207095A1 (en) * | 2021-12-30 | 2023-07-05 | Leica Biosystems Imaging, Inc. | System and method for similarity learning in digital pathology |
CN114648680B (zh) * | 2022-05-17 | 2022-08-16 | 腾讯科技(深圳)有限公司 | 图像识别模型的训练方法、装置、设备、介质 |
CN116681839B (zh) * | 2023-08-02 | 2024-02-23 | 深圳市森歌数据技术有限公司 | 一种基于改进NeRF的实景三维目标重建与单体化方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009123234A (ja) | 2002-07-30 | 2009-06-04 | Fujifilm Corp | オブジェクト識別方法および装置ならびにプログラム |
US9805248B2 (en) * | 2014-08-29 | 2017-10-31 | Definiens Ag | Applying pixelwise descriptors to a target image that are generated by segmenting objects in other images |
US10716457B2 (en) * | 2015-10-14 | 2020-07-21 | Siemens Aktiengesellschaft | Method and system for calculating resected tissue volume from 2D/2.5D intraoperative image data |
EP3424019A4 (en) * | 2016-03-01 | 2019-10-23 | Ventana Medical Systems, Inc. | ENHANCED IMAGE ANALYSIS ALGORITHMS USING CONTROL BLADES |
WO2018017355A1 (en) | 2016-07-22 | 2018-01-25 | Case Western Reserve University | Methods and apparatus for predicting benefit from immunotherapy using tumoral and peritumoral radiomic features |
EP3507770A1 (en) * | 2016-08-31 | 2019-07-10 | Koninklijke Philips N.V. | Apparatus for tubulus detection from a tissue biopsy |
IL272433B2 (en) * | 2017-08-03 | 2024-02-01 | Nucleai Ltd | Systems and methods for tissue image analysis |
-
2020
- 2020-03-26 JP JP2021552551A patent/JP7504116B2/ja active Active
- 2020-03-26 WO PCT/EP2020/058570 patent/WO2020193708A1/en unknown
- 2020-03-26 EP EP20713644.1A patent/EP3948651A1/en active Pending
- 2020-03-26 CN CN202080020523.6A patent/CN113574534A/zh active Pending
- 2020-03-26 US US17/431,334 patent/US12026875B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220139072A1 (en) | 2022-05-05 |
US12026875B2 (en) | 2024-07-02 |
WO2020193708A1 (en) | 2020-10-01 |
JP7504116B2 (ja) | 2024-06-21 |
EP3948651A1 (en) | 2022-02-09 |
CN113574534A (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7504116B2 (ja) | 距離ベース類似性ラベルを使用する機械学習 | |
JP7270058B2 (ja) | 予測的組織パターン特定のためのマルチプルインスタンスラーナ | |
JP7231631B2 (ja) | 腫瘍空間異質性およびインターマーカ異質性の計算方法 | |
JP7425145B2 (ja) | 包括的なマルチアッセイ組織分析のためのシステムおよび方法 | |
JP2023501126A (ja) | 組織画像分類用のマルチインスタンス学習器 | |
JP7197584B2 (ja) | デジタル病理学分析結果の格納および読み出し方法 | |
US20220058839A1 (en) | Translation of images of stained biological material | |
Song et al. | Unsupervised content classification based nonrigid registration of differently stained histology images | |
JP6882329B2 (ja) | Ihc画像解析のための空間インデックス作成 | |
US11176412B2 (en) | Systems and methods for encoding image features of high-resolution digital images of biological specimens | |
JP2023512560A (ja) | 機械学習アルゴリズムを訓練し、患者のプライバシーを維持するための連合学習システム | |
EP3935577A1 (en) | Improved histopathology classification through machine self-learning of "tissue fingerprints | |
CN116805319A (zh) | 提供训练机器学习分割算法的训练数据集的方法和系统 | |
Nanthini et al. | Cervical Cancer Cell Segmentation and Classification using ML Approach | |
Santamaria-Pang et al. | Epithelial cell segmentation via shape ranking | |
Sabata | Digital pathology imaging-The next frontier in medical imaging | |
Stokes et al. | Quality Control and Analysis Algorithms for Tissue Microarrays as Biomarker Validation Tools | |
Nguyen | Computational Pathology for Quantifying Spatial Heterogeneity in Digital Images of Tissue Sections from Solid Tumors | |
Nandy | Segmentation and informatics in multidimensional fluorescence optical microscopy images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230313 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240611 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7504116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |