CN111727371B - 超突变型癌的判别系统、程序及方法 - Google Patents
超突变型癌的判别系统、程序及方法 Download PDFInfo
- Publication number
- CN111727371B CN111727371B CN201980013657.2A CN201980013657A CN111727371B CN 111727371 B CN111727371 B CN 111727371B CN 201980013657 A CN201980013657 A CN 201980013657A CN 111727371 B CN111727371 B CN 111727371B
- Authority
- CN
- China
- Prior art keywords
- image data
- cancer
- unit
- image
- mutant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 208
- 201000011510 cancer Diseases 0.000 title claims abstract description 203
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000001575 pathological effect Effects 0.000 claims abstract description 56
- 238000010801 machine learning Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 32
- 238000009826 distribution Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000010186 staining Methods 0.000 claims description 5
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 claims description 3
- 238000007447 staining method Methods 0.000 claims description 2
- 238000007796 conventional method Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 19
- 210000001519 tissue Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000001506 immunosuppresive effect Effects 0.000 description 8
- 230000035772 mutation Effects 0.000 description 7
- 102000037982 Immune checkpoint proteins Human genes 0.000 description 6
- 108091008036 Immune checkpoint proteins Proteins 0.000 description 6
- 206010062016 Immunosuppression Diseases 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 206010009944 Colon cancer Diseases 0.000 description 5
- 102100040678 Programmed cell death protein 1 Human genes 0.000 description 5
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 4
- 101150062460 DNM1 gene Proteins 0.000 description 4
- 101710089372 Programmed cell death protein 1 Proteins 0.000 description 4
- 210000001744 T-lymphocyte Anatomy 0.000 description 4
- 239000000427 antigen Substances 0.000 description 4
- 108091007433 antigens Proteins 0.000 description 4
- 102000036639 antigens Human genes 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 239000003446 ligand Substances 0.000 description 4
- 230000037361 pathway Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 229940076838 Immune checkpoint inhibitor Drugs 0.000 description 3
- 108091008026 Inhibitory immune checkpoint proteins Proteins 0.000 description 3
- 102000037984 Inhibitory immune checkpoint proteins Human genes 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004043 dyeing Methods 0.000 description 3
- 239000012274 immune-checkpoint protein inhibitor Substances 0.000 description 3
- 239000003112 inhibitor Substances 0.000 description 3
- 229960005386 ipilimumab Drugs 0.000 description 3
- 230000033607 mismatch repair Effects 0.000 description 3
- 229960003301 nivolumab Drugs 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 206010069754 Acquired gene mutation Diseases 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 229940045513 CTLA4 antagonist Drugs 0.000 description 2
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 208000032818 Microsatellite Instability Diseases 0.000 description 2
- 241000500121 Mirax Species 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 208000002495 Uterine Neoplasms Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000002246 antineoplastic agent Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 230000008076 immune mechanism Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 229960002621 pembrolizumab Drugs 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000019491 signal transduction Effects 0.000 description 2
- 230000037439 somatic mutation Effects 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 229950007217 tremelimumab Drugs 0.000 description 2
- 206010046766 uterine cancer Diseases 0.000 description 2
- 206010061424 Anal cancer Diseases 0.000 description 1
- 208000007860 Anus Neoplasms Diseases 0.000 description 1
- 102100029822 B- and T-lymphocyte attenuator Human genes 0.000 description 1
- 206010004593 Bile duct cancer Diseases 0.000 description 1
- 206010005003 Bladder cancer Diseases 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 108010021064 CTLA-4 Antigen Proteins 0.000 description 1
- 102000008203 CTLA-4 Antigen Human genes 0.000 description 1
- 101100463133 Caenorhabditis elegans pdl-1 gene Proteins 0.000 description 1
- 102100039498 Cytotoxic T-lymphocyte protein 4 Human genes 0.000 description 1
- 102100028843 DNA mismatch repair protein Mlh1 Human genes 0.000 description 1
- 102100028849 DNA mismatch repair protein Mlh3 Human genes 0.000 description 1
- 102100034157 DNA mismatch repair protein Msh2 Human genes 0.000 description 1
- 102100037700 DNA mismatch repair protein Msh3 Human genes 0.000 description 1
- 102100021147 DNA mismatch repair protein Msh6 Human genes 0.000 description 1
- 108010075613 DNA replicase Proteins 0.000 description 1
- 230000004543 DNA replication Effects 0.000 description 1
- 101150003850 DNM2 gene Proteins 0.000 description 1
- 206010061825 Duodenal neoplasm Diseases 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 208000022072 Gallbladder Neoplasms Diseases 0.000 description 1
- 102100034458 Hepatitis A virus cellular receptor 2 Human genes 0.000 description 1
- 101710083479 Hepatitis A virus cellular receptor 2 homolog Proteins 0.000 description 1
- 101000864344 Homo sapiens B- and T-lymphocyte attenuator Proteins 0.000 description 1
- 101000889276 Homo sapiens Cytotoxic T-lymphocyte protein 4 Proteins 0.000 description 1
- 101000577867 Homo sapiens DNA mismatch repair protein Mlh3 Proteins 0.000 description 1
- 101001134036 Homo sapiens DNA mismatch repair protein Msh2 Proteins 0.000 description 1
- 101001027762 Homo sapiens DNA mismatch repair protein Msh3 Proteins 0.000 description 1
- 101000968658 Homo sapiens DNA mismatch repair protein Msh6 Proteins 0.000 description 1
- 101000914514 Homo sapiens T-cell-specific surface glycoprotein CD28 Proteins 0.000 description 1
- 101000666896 Homo sapiens V-type immunoglobulin domain-containing suppressor of T-cell activation Proteins 0.000 description 1
- 102000002698 KIR Receptors Human genes 0.000 description 1
- 108010043610 KIR Receptors Proteins 0.000 description 1
- 208000008839 Kidney Neoplasms Diseases 0.000 description 1
- 102000017578 LAG3 Human genes 0.000 description 1
- 101150030213 Lag3 gene Proteins 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 101150110531 MLH1 gene Proteins 0.000 description 1
- 229910015837 MSH2 Inorganic materials 0.000 description 1
- 108010074346 Mismatch Repair Endonuclease PMS2 Proteins 0.000 description 1
- 102100037480 Mismatch repair endonuclease PMS2 Human genes 0.000 description 1
- 108010026664 MutL Protein Homolog 1 Proteins 0.000 description 1
- 108091028043 Nucleic acid sequence Proteins 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 206010033128 Ovarian cancer Diseases 0.000 description 1
- 206010061535 Ovarian neoplasm Diseases 0.000 description 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 1
- 208000002471 Penile Neoplasms Diseases 0.000 description 1
- 206010034299 Penile cancer Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 208000015634 Rectal Neoplasms Diseases 0.000 description 1
- 206010038389 Renal cancer Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 206010054184 Small intestine carcinoma Diseases 0.000 description 1
- 230000006044 T cell activation Effects 0.000 description 1
- 229940126547 T-cell immunoglobulin mucin-3 Drugs 0.000 description 1
- 102100027213 T-cell-specific surface glycoprotein CD28 Human genes 0.000 description 1
- 208000024313 Testicular Neoplasms Diseases 0.000 description 1
- 206010057644 Testis cancer Diseases 0.000 description 1
- 208000023915 Ureteral Neoplasms Diseases 0.000 description 1
- 206010046392 Ureteric cancer Diseases 0.000 description 1
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 1
- 102100038282 V-type immunoglobulin domain-containing suppressor of T-cell activation Human genes 0.000 description 1
- 206010047741 Vulval cancer Diseases 0.000 description 1
- 210000000612 antigen-presenting cell Anatomy 0.000 description 1
- 201000011165 anus cancer Diseases 0.000 description 1
- 208000021780 appendiceal neoplasm Diseases 0.000 description 1
- 208000026900 bile duct neoplasm Diseases 0.000 description 1
- 238000002619 cancer immunotherapy Methods 0.000 description 1
- 208000006990 cholangiocarcinoma Diseases 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 201000010989 colorectal carcinoma Diseases 0.000 description 1
- 208000035250 cutaneous malignant susceptibility to 1 melanoma Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 201000000312 duodenum cancer Diseases 0.000 description 1
- 229950009791 durvalumab Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 230000017188 evasion or tolerance of host immune response Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- IJJVMEJXYNJXOJ-UHFFFAOYSA-N fluquinconazole Chemical compound C=1C=C(Cl)C=C(Cl)C=1N1C(=O)C2=CC(F)=CC=C2N=C1N1C=NC=N1 IJJVMEJXYNJXOJ-UHFFFAOYSA-N 0.000 description 1
- 201000010175 gallbladder cancer Diseases 0.000 description 1
- 238000012252 genetic analysis Methods 0.000 description 1
- 208000005017 glioblastoma Diseases 0.000 description 1
- 201000010536 head and neck cancer Diseases 0.000 description 1
- 208000014829 head and neck neoplasm Diseases 0.000 description 1
- 230000036737 immune function Effects 0.000 description 1
- 230000028993 immune response Effects 0.000 description 1
- 230000000899 immune system response Effects 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 201000010982 kidney cancer Diseases 0.000 description 1
- 201000011061 large intestine cancer Diseases 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 230000011987 methylation Effects 0.000 description 1
- 238000007069 methylation reaction Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 201000002528 pancreatic cancer Diseases 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 229950010773 pidilizumab Drugs 0.000 description 1
- 108020003175 receptors Proteins 0.000 description 1
- 102000005962 receptors Human genes 0.000 description 1
- 206010038038 rectal cancer Diseases 0.000 description 1
- 201000001275 rectum cancer Diseases 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 201000003120 testicular cancer Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000005760 tumorsuppression Effects 0.000 description 1
- 201000011294 ureter cancer Diseases 0.000 description 1
- 201000005112 urinary bladder cancer Diseases 0.000 description 1
- 206010046885 vaginal cancer Diseases 0.000 description 1
- 208000013139 vaginal neoplasm Diseases 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 201000005102 vulva cancer Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/15—Medicinal preparations ; Physical properties thereof, e.g. dissolubility
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
- G01N2001/302—Stain compositions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Urology & Nephrology (AREA)
- Hematology (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Optics & Photonics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pharmacology & Pharmacy (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
提供一种与以往相比精度更高的超突变癌的判别方法、程序及方法。根据本发明,提供一种超突变型癌的判别系统,其特征在于,具备输入部、保持部、机械学习执行部以及判别部,所述输入部构成为,能够输入多个第1图像数据、多个第2图像数据及多个第3图像数据,第1图像数据是表示被染色的超突变型癌的病理切片的图像数据,第2图像数据是表示非超突变型癌的癌的病理切片,且与第1图像数据的来源的癌的病理切片的染色相同的病理切片的图像数据,第3图像数据是表示,新进行是否是超突变型癌的判别的癌的病理切片,且与第1图像数据的来源的癌的病理切片的染色相同的病理切片的图像数据,所述保持部构成为,能够保持第1图像数据及第2图像数据,所述机械学习执行部构成为,能够将由所述保持部保持的第1图像数据及第2图像数据为示教数据,生成判别是否是超突变型癌的判别模型,所述判别部构成为,能够将第3图像数据输入至所述判别模型,判别第3图像数据是否是超突变型癌。
Description
【技术领域】
本发明涉及超突变型癌的判别系统、程序及方法。
【背景技术】
通过广泛研究癌的基因突变,从而已逐渐得知可根据基因突变的形态对癌进行分类。作为这样的癌的特征性突变的一种,有超突变型(Hypermutation或Hypermutated)。超突变型的癌通过体细胞突变率高于其他形式来区分。已知胃癌、乳腺癌、大肠癌、胶质母细胞瘤、子宫癌等会呈现超突变型的特征。超突变型的癌在很多情况下同时具有呈现DNA复制时的错配修复机制的缺陷或不全的微卫星不稳定性的性质。被认为这是因为,作为错配修复酶的MLH1、MLH3、MSH2、MSH3、MSH6、PMS2的基因引起突变或者因甲基化抑制MLH1基因的体现。并且,已知由于作为DNA复制酶的聚合酶ε(POLE)的突变,以超高频率引起体细胞突变而成为超突变型(非专利文献1,2)。
另一方面,癌免疫逃避机制已被阐明,临床上已可以利用以该机制为靶标的新的癌免疫治疗法。其中,特征是也被称为免疫检查点路径的PD-1(Programmed cell Death-1)/PD-L1(PD-1Ligand1)路径。通过阻断免疫抑制辅助信号PD-1/PD-L1路径,从而解除T细胞的免疫抑制,T细胞活化而引起表达癌特异性抗原的肿瘤的抑制。并且,CTLA-4也表达在活化T细胞上,若抗原呈递细胞的CD28配体结合,则会抑制T细胞的活化,因此即使阻断该路径,也可以解除T细胞的免疫抑制,引起肿瘤抑制。利用这种原理的抗癌剤已被投入使用(例:纳武单抗、伊匹单抗)。
另外,还存在几个这样的免疫抑制性的机制,期待将来阻断这些免疫抑制机制的抗肿瘤剂也被逐渐研发、投入使用。超突变型的癌由于具有较多的成为免疫机制的标靶的癌特异性抗原,因此呈现出阻断免疫抑制的信号路径的疗法的效果较高,需要一种能够简单地判别癌是否是超突变型的方法(非专利文献3)。
已往,检查超突变型癌时,已知有进行全面的基因分析而计算突变数的方法,但存在检测需要大量的工夫和时间的问题。并且,已知通过相关基因的免疫染色或微卫星不稳定性试验检测作为癌引起超突变的原因的一种的错配修复机制的缺陷或不全的方法,但是这个方法存在无法检查所有的超突变型癌的问题。
另一方面,已知存在如专利文献1公开的病理诊断支援程序。
【现有技术文献】
【非专利文献】
【非专利文献1】Nat Rev Cancer.2014December;14(12):786-800
【非专利文献2】J Pathol 2013;230:148-153
【非专利文献3】Science 03Apr 2015Vol.348,Issue 6230,pp.124-128
【专利文献】
【专利文献1】日本专利申请2004-346911号公报
【发明内容】
【发明要解决的问题】
在专利文献1中,提到能够判定肿瘤的有无、良性·恶性,但是没有提及超突变癌的判别方法。
本发明是鉴于这样的情况而完成的,提供一种比以往的精度更高的超突变癌的判别方法、程序及方法。
【解决问题的手段】
根据本发明,提供一种超突变型癌的判别系统,其具备输入部、保持部、机械学习执行部以及判别部,所述输入部构成为,能够输入多个第1图像数据、多个第2图像数据及多个第3图像数据,第1图像数据是表示被染色的超突变型癌的病理切片的图像数据,第2图像数据是表示非超突变型癌的癌的病理切片,且与第1图像数据的来源的癌的病理切片的染色相同的病理切片的图像数据,第3图像数据是表示,新进行是否是超突变型癌的判别的癌的病理切片,且与第1图像数据的来源的癌的病理切片的染色相同的病理切片的图像数据,所述保持部构成为,能够保持第1图像数据及第2图像数据,所述机械学习执行部构成为,能够将由所述保持部保持的第1图像数据及第2图像数据为示教数据,生成判别是否是超突变型癌的判别模型,所述判别部构成为,能够将第3图像数据输入至所述判别模型,判别第3图像数据是否是超突变型癌。
根据本发明,将第1图像数据及第2图像数据作为示教数据,生成判别是否是超突变型癌的判别模型。这里,第1图像数据是表示被染色的超突变型癌的病理切片的图像数据。并且,第2图像数据表示,不是超突变型的癌的病理切片,且与第1图像数据的来源的癌的病理切片染色相同的病理切片的图像数据。另外,构成为能够将第3图像数据输入至判别模型,判别第3图像数据是否是超突变型癌。这里,第3图像数据是表示新进行是否是超突变型癌的判别的癌的病理切片,且与第1图像数据来源的病理切片染色相同的病理切片的图像数据。由此,能够迅速且高精度地进行超突变型癌的判别,能够容易地进行使治疗有效的药剂,上述超突变型癌的判别在已往若不进行利用第二代测序仪等的基因分析则非常困难。
以下,例示本发明的各种实施方式。以下示出的实施方式可以相互组合。
优选,所述病理切片的染色方法是苏木精和伊红染色。
优选,所述输入部构成为,还能够输入非癌图像数据,所述非癌图像数据是非癌的病理切片的图像数据,所述保持部构成为,还能够保持所述非癌图像数据,所述机械学习执行部构成为,还能够将由所述保持部保持的非癌图像数据为示教数据,生成判别是否是癌的病理切片的图像数据的判别模型,所述判别部构成为,还能够判别第3图像数据是否是癌的图像数据。
优选,具备图像处理部,所述图像处理部构成为,基于第1图像数据、第2图像数据或非癌图像数据整体的颜色分布,对第1图像数据、第2图像数据及非癌图像数据中的至少1个执行将各个像素中的RGB的各个颜色转换为CIE表色系中的Z值的Z值转换处理。
优选,所述图像处理部构成为,能够执行将输入至所述输入部的第1图像数据、第2图像数据、以及非癌图像数据中的至少1个拆分的拆分处理。
优选,所述拆分处理构成为,对第1图像及第2图像数据中的至少一个,执行拆分同一个病理切片的图像数据的拆分处理。
优选,所述图像处理部以在拆分后的图像中部分区域重复的方式执行所述拆分处理。
优选,所述图像处理部构成为,还能够执行拆分输入至所述输入部的第3图像数据的拆分处理。
优选,所述判别部判别所述第3图像数据是否是癌的病理切片的图像数据,对被判别为是癌的病理切片的图像数据,进一步判别是否是超突变型癌。
优选,所述判别部基于被判别为是超突变型癌的图像数据在被判别为是癌的病理切片的图像数据的图像数据中的比率,判别所述癌是否是超突变癌。
根据别的观点,提供一种程序,其使计算机作为输入部、保持部、机械学习执行部及判别部发挥功能,所述输入部构成为,能够输入多个第1图像数据及多个第2图像数据,第1图像数据是表示被染色的超突变型癌的病理切片的图像数据,第2图像数据是表示,非超突变型癌的癌的病理切片,且与第1图像数据的来源的癌的病理切片的染色相同的病理切片的图像数据,所述保持部构成为,能够保持第1图像数据及第2图像数据,所述机械学习执行部构成为,能够将由所述保持部保持的第1图像数据及第2图像数据作为示教数据,生成判别是否是超突变型癌的判别模型。
根据别的观点,提供一种超突变型癌的判别方法,其利用上述任一项所述的系统执行。
根据别的观点,提供一种超突变型癌的判别方法,其利用上述任一项所述的程序执行。
优选,包含判断免疫检查点抑制剂的有效性的工序。
【附图说明】
图1是本发明的第1实施方式所涉及的系统10的功能框图。
图2是表示本发明的第1实施方式所涉及的生成判别是否是超突变型癌的判别模型的流程的流程图。
图3是利用判别模型判别第3图像数据是否是超突变型癌时的第3图像数据的流程的示意图。
图4是表示本发明的第1实施方式所涉及的判别是否是超突变型癌的流程的流程图。
图5是用于说明图4的S13中的分析的示意图。
图6是用于说明判别模型中的权重w的示意图。
图7是图2的S5中的机械学习的执行的示意图。
图8是第2实施方式所涉及的系统20的功能框图。
图9是说明图像处理部22的输入图像的拆分处理。
图10是说明图像处理部22的输入图像的拆分处理的图。
图11是本实施方式中的第3图像数据的判别处理的处理流程。
图12是说明判别部25的判别处理的图。
【具体实施方式】
以下,利用附图说明本发明的实施方式。以下示出的实施方式中所示的各种特征事项可以互相组合。
<1.第1实施方式>
1.1.是否是超突变型癌的判别
以下,利用图1~图4说明本发明的一个实施方式所涉及的系统10。
(1.1.1.系统10)
如图1所示,系统10具备输入部1、图像处理部2、保持部3、机械学习执行部4及判别部5。
输入部1构成为能够输出多个第1图像数据、多个第2图像数据及多个第3图像数据。这里,第1图像数据是表示被染色的超突变型癌的病理切片。并且,第2图像数据是表示非超突变型癌的癌的病理切片,且与成为第1图像数据的来源的癌的病理切片染色相同的病理切片的图像数据。另外,第3图像数据是表示新进行是否是超突变型癌判别的癌的病理切片,且与成为第1图像数据的来源的癌的病理切片染色相同的病理切片的图像数据。这里,在本实施方式中,这些图像数据的RGB值可取0~255的值。
在本实施方式中,得到了通过癌基因组DNA序列的分析被判断为Hypermutation型(超突变型)及Non-Hypermutation型(非超突变型)的大肠癌样本的各17个病例的病理组织染色标本。这里,这样的17个病例是日本人的大肠癌患者201人进行癌基因组测序的结果,判定为Hypermutation的17个病例(参考:Nagahashi et al GenomeMed 2017)。另外,利用数字化病理技术使对这样的标本进行苏木精和伊红染色的大肠癌的病理组织染色标本作为第1图像数据及第2图像数据。这里,在本实施方式中,作为依据MIRAX格式(MIRAXformat)的数字化病理图像数据保存第1图像数据及第2图像数据。这里,上述条件不限于此,也可以构成为获得规定病例数的大肠癌以外的癌样本。
如此,在本实施方式中,由于利用临床病例较多的苏木精和伊红染色的图像数据作为第1图像数据及第2图像数据,因此能够实现泛用性高的判别系统。
其中,根据条件可利用其他的染色方法。另外,图像数据的保存格式也不限于此。
图像处理部2构成为能够执行拆分输入到输入部1的多个第1图像数据、第2图像数据及第3图像数据的拆分处理。在本实施方式中,图像处理部2具备将第1图像数据、第2图像数据及第3图像数据拆分为规定的图块(tile)的功能。作为一个例子,通过图像处理部2使第1图像数据、第2图像数据及第3图像数据被拆分为300pixel×300pixel尺寸的图像。应予说明,这样的拆分尺寸没有特别限定,优选能够识别图像数据是否是癌组织部位的尺寸。并且,在本实施方式中,通过拆分处理,将第1图像数据及第2图像数据分别拆分为1000个以上。另外,在本实施方式中,图像处理部2构成为能够对第1图像及第2图像数据中的至少一个执行拆分同一个病理切片的图像数据的拆分处理。应予说明,拆分尺寸及拆分个数没有特别限定,可利用任意条件。
如此,通过拆分输入到输入部1的图像数据,从而能够增加用于后续的机械学习的示教数据的数据数,且能够提高机械学习的精度。
并且,在本实施方式中,图像处理部2构成为还能够执行转换处理,所述转换处理是对于被拆分的第1图像数据及第2图像数据,基于第1图像数据及第2图像数据整体的颜色分布,将每个像素的RGB的各个颜色转换为CIE表色系中的Z值的处理。具体而言,由于Z值取以0为中心的正态分布,图像数据的RGB值为0~255的值,因此优选将RGB各个颜色Z值化的值控制在标准偏差(σ)的2倍的范围。因此,图像处理部2具备将2σ以上的值校正为2σ,将-2σ以下的值校正为-2σ的功能。并且,图像处理部2具备以下功能:对这些值加以2使所有值转换为0以上的值之后除以4,从而标准化为0~1值。另外,图像处理部2具备通过在这些值乘以255而转换为通常颜色表现的值的功能。除此之外,图像处理部2还进行舍入小数点以下的处理,使这些值成为整数值。应予说明,标准化的手法不限于此。
这里,若规定为“x=int(((min(max(xz,-2),2)+2)/4)×255)”,则“xz=Z值化的RGB的值”成立。
如此,通过将第1图像数据及第2图像数据的RGB的各个颜色转换为Z值,从而能够减少染色处理中的色调的不均匀(颜色的浓淡),且能够抑制染色的程度对后续的机械学习的影响。结果能够提高机械学习的精度。
保持部3构成为能够保持第1图像数据及第2图像数据。这里,保持部3由任意的储存器、锁存器、HDD或SSD等构成。
机械学习执行部4构成为以由保持部3保持的第1图像数据及第2图像数据为示教数据,生成判别是否是超突变型癌的判别模型。利用图3在下面具体说明判别模型。
机械学习执行部4的机械学习算法没有特别限定,例如可利用神经网络或深度学习(Deep learning)。并且,例如可以用由Google社开发的叫做“Inception-v3”的图像识别用CNN(Convolutional Neural Network)。另外,可利用“Keras”框架执行CNN。并且,关于机械学习本身,为了防止过度学习可利用“Early Stopping”方法实施,所述“EarlyStopping”方法是以验证集的图像计算每1epoch的学习中模型的精度,并且在精度指标的变动收敛的epoch停止学习。应予说明,在本实施方式中,在Z值化的学习中,反复执行14epoch份的机械学习。
判别部5构成为能够向判别模型输入第3图像数据,判别第3图像数据是否是超突变型癌。
(1.1.2.流程图)
接着,利用图2说明本发明的一个实施方式所涉及的生成判别是否是超突变型癌的判别模型的流程。
首先,在S1中将第1图像数据及第2图像数据输入至输入部1。
接着,在S2中,通过图像处理部2执行拆分第1图像数据及第2图像数据的拆分处理。在本实施方式中,第1图像数据及第2图像数据分别被拆分为1000个以上的图块。应予说明,这样的拆分数可适当设定,例如为1000~3000,优选为1000~2000,更优选为1000~1500个。具体而言例如为1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000、2100、2200、2300、2400、2500、2600、2700、2800、2900、3000个,也可以在这里例示的任意2个数值之间的范围内。
除此之外,通过图像处理部2执行Z值化,其对被拆分的第1图像数据及第2图像数据进行Z值化。
接着,在S3中,对于被Z值化的第1图像数据及第2图像数据,根据分别的图像数据是超突变型癌(Hypermutation型)还是非超突变型癌组织部位(Non-hypermutation型),对各个图像数据添加标签。
接着,在S4中,从输入到输入部1的17病例份的第1图像数据及第2图像数据选定利用于由机械学习执行部4的机械学习的13病例份的图像数据。这样的选定可以随机执行,也可以通过以癌为专业的病理医选定。另外,添加有标签的第1图像数据及第2图像数据保持在保持部3。这样的第1图像数据及第2图像数据成为机械学习中的“正解集”。
接着,在S5中,通过机械学习执行部4,将由保持部3保持的第1图像数据及第2图像数据作为示教数据,为了生成判别是否是超突变型癌的判别模型而执行机械学习。具体而言,利用在S4中添加有标签的13病例份的第1图像数据及第2图像数据,执行用于判别这样的图像数据是否是超突变型癌的机械学习。
接着,在S6中,判断判别模型的判定精度是否是规定的精度以上。当判别模型的判定精度不在规定精度以上时(NO),再回到S4,从17病例份的第1图像数据及第2图像数据选定不同组合的13病例份的图像数据,指定S5中的处理。另一方面,当判别模型的判定精度是规定的精度以上时(YES),采用这样的判别模型,执行S7。
最后,在S7中,判别部5输出在S6决定的判别模型,储存到保持部3或未图示的储存部。
(1.1.3.是否是超突变型癌的判别)
接着,利用图3及图4说明利用判别模型判别第3图像数据是否是超突变型癌时的第3图像数据的流程。
如图3所示,在本实施方式中,输入至输入部1的第3图像数据被输出至图像处理部2,已执行上述图像处理(拆分处理及Z值化处理)的第3图像数据被输出至判别部5。另外,判别部5利用在图2的S7中输出的判别模型,判别第3图像数据是否是超突变型癌。
如此,通过对第3图像数据也进行拆分处理,使判别对象的图像数据的尺寸与第1及第2图像数据的尺寸一致,从而能够提高判别部5的判别精度。
此时的流程图如下。
如图4所示,首先在S11中第3图像数据被输入至输入部1。
接着,在S12中,通过图像处理部2执行图像处理(拆分处理及Z值化处理)。
接着,在S13中,通过判别部5利用上述的判别模型判别第3图像数据是否是超突变型癌。
最后在S14中,输出由判别部5的判别结果。这样的判别结果的输出方式没有特别限定,可以为“是超突变型癌”、“非超突变型癌”、“是超突变型癌的概率为X%”等。
(1.1.4.由判别模型的判别)
接着,利用图5及图6说明使用图4的S13中的判别模型的判别。应予说明,在本实施方式中,机械学习的算法没有特别限定,可利用神经网络或深度学习(Deep learning)。以下,为了便于说明,对利用神经网络的例子进行说明。
如图5所示,神经网络(以下,图面中标记为NN)由多个层(第1层L1~第3层L3)及多个计算节点N(N11~N31)构成。这里,Nij表示第i层的第j个计算节点N。在本实施方式中,i=3、j=5的方式构筑神经网络。应予说明,i,j的值不限于此,例如可以为i=1~100、j=1~100之间的整数或100以上的整数。
并且,各计算节点N上设定有预定的权重w。如图4所示,例如关注第2层的计算节点N23时,在计算节点N23与作为前一个层的第1层的全计算节点N11~N15之间设定有权重w。权重w例如设定为-1~1的值。
机械学习执行部4将各种参数输出至神经网络。在本实施方式中,作为输入至神经网络的参数,利用第3图像数据的Z值、第3图像数据的Z值的分布、第3图像数据的Z值与第1图像数据的Z值的差分、第3图像数据的Z值与第2图像数据的Z值的差分、第3图像数据的Z值与第1图像数据及第2图像数据的Z值的分布的差分。这里,第1~第3图像数据的Z值是像素单位的Z值。并且,第1~第3图像数据的Z值的分布是图像数据(300pixel×300pixel)中的Z值的分布。并且,第3图像数据与第1图像数据及第2图像数据的Z值的分布的差分是,第3图像数据的Z值的分布与、第1图像数据及第2图像数据的对应的各个像素的Z值的分布的差分、或者图像数据内的对应的各个像素的Z值的差分的总和。
这里,如上所述,各个参数被输入至神经网络时,被标准化为0~1的值。例如,当输入参数为0时候,作为输入信号输入0。并且,当输入参数为1时,作为输入信号输入1。
另外,判别部5将通过各种参数规定的输入信号输入至第1层L1。这样的输入信号分别从第1层的计算节点N11~N15输出至第2层L2的计算节点N21~N25。此时,从计算节点N11~N15输出的值乘以每个计算节点N设定的权重w而得到的值被输入至计算节点N21~N25。计算节点N21~N25将输入值相加,并将在这样的值加上图6所示的偏置b的值输入至激活函数f()。另外,激活函数f()的输出值(在图6的例子中为来自虚拟的计算节点N’23的输出值)被传送到作为下一个节点的计算节点N31。此时,计算节点N21~N25与计算节点N31之间设定的权重w乘以上述输出值而得到的值被输入至计算节点N31。计算节点N31将输入值相加,并将总值作为输出信号输出。此时,计算节点N31可以将输入值相加,并将在总值上加以偏置的值输入至激活函数f()而将其输出值作为输出信号输出。这里,在本实施方式中,输出信号的值调整为0~1的值。另外,机械学习执行部4将与输出信号值对应的值作为判别是否是超突变型癌的概率输出。
如上所述,本实施方式的系统10将第1图像数据及第2图像数据作为示教数据,执行由机械学习执行部4的机械学习,从而生成判别是否是超突变型癌的判别模型(神经网络及权重w)。另外,通过判别部5利用这样的判别模型判别第3图像数据是否是超突变型癌。
1.2.判别模型的生成
接着,利用图7说明图2的S5~S6中的判别模型的生成。
如图7所示,机械学习执行部4对构成与图5所示的神经网络相同结构的神经网络的各计算节点N,设定例如-1~1的权重w。此时,为了减少权重w的影响,优选最初设定的权重w的绝对值较小。另外,将5种类的参数集输入至神经网络。在本实施方式中,作为输入至神经网络的参数,利用第1图像数据的Z值、第2图像数据的Z值、第1图像数据的Z值的分布、第2图像数据的Z值的分布、第1图像数据与第2图像数据的Z值的差分。这里,第1图像数据のZ值及第2图像数据的Z值是像素单元的Z值。并且,第1图像数据的Z值的分布及第2图像数据的Z值的分布是图像数据(300pixel×300pixel)内的Z值的分布。并且,第1图像数据与第2图像数据的Z值的差分是第1图像数据及第2图像数据的对应的每个像素的Z值的差分或者图像数据内的对应的每个像素的Z值的差分的总和。
另外,比较来自神经网络的输出信号与示教数据,当输出信号与示教数据的差分(以下称为误差)为预定的阈值以上时,改变权重w,再将5种类的参数集输入至神经网络。此时,权重w的改变通过公知的误差传播法(Error propagation method)等执行。反复执行(机械学习)这样的计算,从而使来自神经网络的输出信号与预先给出的示教数据的误差极小化。此时,机械学习的学习次数没有特别限定,例如可以为1000次~20000次。并且,即使实际的输出信号与预先给出的示教数据的误差未被极小化,也可以在这样的误差预定的阈值以下时或者在研发者的任意时机结束机械学习。
另外,若由机械学习执行部4的机械学习结束,则机械学习执行部4将此时的各计算节点N权重设定于神经网络。即,在本实施方式中,权重w保存在设置于图5的神经网络上的储存器等的储存部。另外,由机械学习执行部4设定的权重w被发送至设置于系统10的未图示的储存部,成为图5的神经网络的各计算节点N的权重w。这里,使图7的神经网络的结构与图5的神经网络的结构相同,从而可以沿用由机械学习执行部4设定的权重w。
<2.第2实施方式>
利用图8~图12,说明本发明的第2实施方式。应予说明,对于与实施方式1相同的结构和功能,不重复说明。
如图8所示,在第2实施方式的系统20中,除了第1图像数据、第2图像数据,输入部21构成为还能够输入非癌图像数据。这里,非癌图像数据是指癌的病理切片以外的图像数据。图像处理部22对被输入的图像数据进行拆分处理。对拆分处理在后面具体说明。
除了被拆分的第1图像数据及第2图像数据,保持部23构成为还能够保持被拆分的非癌图像数据。机械学习执行部24构成为,将由保持部3保持的第1图像数据、第2图像数据以及非癌图像数据作为示教数据,能够生成判别是否是癌的图像的判别模型(以下称为第1判别模型)、以及判别癌的图像是否是超突变型癌的判别模型(以下称为第2判别模型)。判别部25构成为,将第3图像数据输入至第1及第2判别模型,能够判别第3图像数据是否是癌的图像数据,以及判别是否是超突变型癌的图像数据。
图9表示作为输入至输入部21的一个例子的图像数据P。图像数据P具有组织区域T、以及空白区域BL(例如载玻片的区域)。组织区域T包含非超突变型癌的癌的区域C1、超突变型癌的区域C2、以及非癌的组织区域NC。
图像处理部22对被输入至输入部21的图像数据P进行拆分处理。图9示出的例子中,对组织区域T进行竖10×横10的100拆分。即,以包含组织区域T的方式设定由100个构成的图块D00~D99。
在该例子中,与超突变型癌的区域C2对应的图块(例如图块D54)相当于第1图像数据,与非超突变型癌的癌的区域C1对应的图块(例如图块D34)相当于第2图像数据。并且,仅与非癌的组织区域NC对应的图块(例如图块D15)、仅与空白区域BL对应的图块(例如图块D49)、以及、包含非癌的组织区域NC和空白区域BL的图块(例如图块D04)均相当于非癌图像数据。
如此,在本实施方式中,作为非癌图像数据,输入与非癌的组织区域NC对应的图块、仅与空白区域BL对应的图块、包含非癌的组织区域NC和空白区域BL的图块等各种图像而进行机械学习。如此增加非癌图像的多样性,从而提高判定检查对象数据是否是癌图像的精度。
并且,在本实施方式中,也可以对上述拆分处理(以下称为第1拆分处理)后的图像数据,进行进一步的拆分处理(以下称为第2拆分处理)。在图10中,通过第1拆分处理将拆分后的图块Dnm进一步拆分为5个图块。这里,在第2拆分处理中,以使拆分后的图块有部分区域重复的方式执行拆分处理。即,第2拆分处理后的图块Dnm1与图块Dnm2的部分图像重复。并且,图块Dnm2与图块Dnm3也有部分图像重复。
如此,在拆分后的图像中,以使部分区域重复的方式执行拆分处理,从而能够增加图像数,且能够提高后续的机械学习中的学习效率。
图11表示本实施方式中的第3图像数据的判别处理的处理流程。如图11所示,在本实施方式中,判别部25进行第3图像数据是否是癌图像的判别、以及是否是超突变型癌的判别。
具体而言,在步骤S23中的步骤S231中,判别部25进行第3图像数据是否是癌图像的判别。在不是癌图像的情况下(在步骤S231中No)、在步骤S233中判别为该第3图像数据是非癌图像。
另一方面,在是癌图像的情况下(步骤S231中Yes),判别部25在步骤S232中进行第3图像数据是否是超突变型癌的图像的判别。在不是超突变型癌的情况下(步骤S232中No),在步骤S235中,判别为该第3图像数据不是超突变型癌的图像。另一方面,在是超突变型癌的情况下(步骤S232中Yes),在步骤S234中,判别为该第3图像数据是超突变型癌的图像。
如此,在本实施方式中,进行第3图像数据是否是癌图像的判别、以及是否是超突变型癌的判别。因此,无须由病理医生等预先诊断是否是癌的图像数据,能够提高判别处理中的工作效率。
这里,判别部25也可以基于被判别为是超突变型癌的图像数据与被判别为是癌的图像数据的在图像数据中的比率,判别该癌是否是超突变癌。
在图12示出的例子中,在第3图像数据P2,被判别为是癌的图像数据的图像E1内,存在被判别为是超突变型癌的图像E2。此时,由(E2的图块的张数)/(E1的图块的张数)定义的比率大于预定的阈值时,判别部25判别图像E1所示的区域是超突变型癌。
由此,能够将判别为是局部性的超突变型癌的假阳性作为干扰信息排除,从而能够提高判别的精度。
如此,在第2实施方式中,输入部21构成为能够进一步输入非癌图像数据及癌图像数据,机械学习执行部24构成为,能够将非癌图像数据和癌图像数据也作为示教数据,还生成判别是否是癌的病理切片的图像数据的判别模型。另外,判别部25构成为,还能够判别第3图像数据是否是癌的图像数据。通过这样的结构,关于第3图像数据,无须由病理医生等诊断是否是癌,从而提高判别处理的工作效率。
<3.其他实施方式>
以上,说明了各种实施方式,但本发明也可以通过以下的方式实施。
一种程序,其使计算机作为输入部、保持部、机械学习执行部及判别部发挥功能,所述输入部构成为,能够输入多个第1图像数据及多个第2图像数据,第1图像数据是表示被染色的超突变型癌的病理切片的图像数据,第2图像数据是表示,非超突变型癌的癌的病理切片,且与第1图像数据的来源的癌的病理切片的染色相同的病理切片的图像数据,所述保持部构成为,能够保持第1图像数据及第2图像数据,所述机械学习执行部构成为,能够将由所述保持部保持的第1图像数据及第2图像数据作为示教数据,生成判别是否是超突变型癌的判别模型。
利用上述任1个所述的系统执行的超突变型癌的判别方法。应予说明,这里所说的超突变型癌包括任意癌种,例如可列举脑瘤、头颈癌、乳腺癌、肺癌、食道癌、胃癌、十二指肠癌、阑尾癌、大肠癌、直肠癌、肝癌、胰腺癌、胆囊癌、胆管癌、肛门癌、肾癌、输尿管癌、膀胱癌、前列腺癌、阴茎癌、睾丸癌、子宫癌、卵巢癌、外阴癌、阴道癌、皮肤癌等实体癌,但不限于此。对于本发明的目的而言,超突变型癌优选大肠癌、肺癌、胃癌、黑色素瘤(恶性黑色素瘤)、头颈癌、食道癌。
利用上述程序执行的超突变型癌的判别方法。
包括判断免疫检查点抑制剂的有效性的工序的,上述任1个所述的判别方法。这样的判别方法还可以包括被判别为患有超突变型癌的患者呈现使用免疫检查点抑制剂的高疗效性的工序。已经证明,由于超突变型癌具有许多成为免疫机制的标靶的癌特异性抗原,因此阻断免疫抑制的信号路径的疗法非常有效。在这样的判别方法中,能够简便地判别癌是超突变型因而会非常有利。这里所说的“免疫检查点”是该领域公知的(Naidoo etal.British Journal of Cancer(2014)111,2214-2219),已知有CTLA4、PD1、以及、其配体PDL-1等。其他还包括TIM-3,KIR,LAG-3,VISTA,BTLA。免疫检查点的抑制剂抑制这些正常的免疫功能。例如,控制免疫检查点的分子的表达为负性,或者将其结合到分子,从而阻断正常的受体/配体相互作用而进行抑制。由于免疫检查点的作用是对抗原的免疫系应答进行制动,因此其抑制剂减少该免疫抑制效果,增强免疫应答。免疫检查点的抑制剂是该技术领域公知的,优选抗CTLA-4抗体(例;伊匹单抗(ipilimumab),替西木单抗(tremelimumab))、抗PD-1抗体(例:纳武单抗(nivolumab)、派姆单抗(pembrolizumab)、pidilizumab和RG7446(Roche))、以及抗PDL-1抗体(例;BMS-936559(Bristol-MyersSquibb)、MPDL3280A(Genentech)、MSB0010718C(EMD-Serono)及MEDI4736(AstraZeneca))等抗-免疫检查点抗体。
并且,保持部3也可以为设置于外部的PC或服务器等信息处理装置的云计算的方式。此时,外部的信息处理装置每次计算时将必要的数据发送至系统10。
并且,也可以作为储存有上述程序的、计算机可读的非暂时性记录介质提供。此外,也可以提供实现上述程序的功能的ASIC(application specific integratedcircuit),FPGA(field-programmable gate array),DRP(Dynamic ReconfigurableProcessor)。
【符号的说明】
1,21:输入部
2,22:图像处理部
3,23:保持部
4,24:机械学习执行部
5,25:判别部
10,20:系统
Claims (10)
1.一种超突变型癌的判别系统,其特征在于,具备输入部、保持部、机械学习执行部、判别部以及图像处理部,
所述输入部构成为,能够输入多个第1图像数据、多个第2图像数据及多个第3图像数据,
第1图像数据是表示被染色的超突变型癌的病理切片的图像数据,
第2图像数据是表示非超突变型癌的病理切片,且与第1图像数据的来源的癌的病理切片的染色相同的病理切片的图像数据,
第3图像数据是表示,新进行是否是超突变型癌的判别的癌的病理切片,且与第1图像数据来源的癌的病理切片的染色相同的病理切片的图像数据,
所述保持部构成为,能够保持第1图像数据及第2图像数据,
所述图像处理部构成为,能够基于所述第1图像数据、所述第2图像数据或所述第3图像数据整体的颜色分布,对所述第1图像数据、所述第2图像数据及所述第3图像数据执行将各个像素中的RGB的各个颜色转换为CIE表色系中的Z值的转换处理,
所述机械学习执行部构成为,能够将被进行了所述转换处理且由所述保持部保持的第1图像数据及第2图像数据为示教数据,生成判别是否是超突变型癌的判别模型,
所述判别部构成为,能够将被进行了所述转换处理的第3图像数据输入至所述判别模型,判别第3图像数据是否是超突变型癌。
2.根据权利要求1所述的系统,其特征在于,
所述病理切片的染色方法是苏木精和伊红染色。
3.根据权利要求1或2所述的系统,其特征在于,
所述输入部构成为,还能够输入非癌图像数据,
所述非癌图像数据是非癌的病理切片的图像数据,
所述保持部构成为,还能够保持所述非癌图像数据,
所述机械学习执行部构成为,还能够将由所述保持部保持的非癌图像数据为示教数据,生成判别是否是癌的病理切片的图像数据的判别模型,
所述判别部构成为,还能够判别第3图像数据是否是癌的图像数据。
4.根据权利要求1所述的系统,其特征在于,
所述系统具备图像处理部,
所述图像处理部构成为,能够基于非癌图像数据整体的颜色分布,对非癌图像数据执行将各个像素中的RGB的各个颜色转换为CIE表色系中的Z值的转换处理。
5.根据权利要求4所述的系统,其特征在于,
所述图像处理部构成为,
能够执行将输入至所述输入部的第1图像数据、第2图像数据、以及非癌图像数据中的至少1个拆分的拆分处理。
6.根据权利要求5所述的系统,其特征在于,
所述图像处理部以在拆分后的图像中部分区域重复的方式执行所述拆分处理。
7.根据权利要求5或6所述的系统,其特征在于,
所述图像处理部构成为,
还能够执行拆分输入至所述输入部的第3图像数据的拆分处理。
8.根据权利要求3所述的系统,其特征在于,
所述判别部判别所述第3图像数据是否是癌的病理切片的图像数据,
对被判别为是癌的病理切片的图像数据,进一步判别是否是超突变型癌。
9.根据权利要求8所述的系统,其特征在于,
所述判别部基于被判别为是超突变型癌的图像数据在被判别为是癌的病理切片的图像数据的图像数据中的比率,判别所述癌是否是超突变癌。
10.一种存储有程序的计算机可读取的记录介质,所述程序使计算机作为输入部、保持部、机械学习执行部、判别部及图像处理部发挥功能,
所述输入部构成为,能够输入多个第1图像数据、多个第2图像数据及多个第3图像数据,
第1图像数据是表示被染色的超突变型癌的病理切片的图像数据,
第2图像数据是表示,非超突变型癌的病理切片,且与第1图像数据来源的癌的病理切片的染色相同的病理切片的图像数据,
所述保持部构成为,能够保持第1图像数据及第2图像数据,
所述图像处理部构成为,能够基于所述第1图像数据、所述第2图像数据或所述第3图像数据整体的颜色分布,对所述第1图像数据、所述第2图像数据及所述第3图像数据执行将各个像素中的RGB的各个颜色转换为CIE表色系中的Z值的转换处理,
所述机械学习执行部构成为,能够将被进行了所述转换处理且由所述保持部保持的第1图像数据及第2图像数据作为示教数据,生成判别是否是超突变型癌的判别模型。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211268488.7A CN115684569A (zh) | 2018-02-15 | 2019-02-07 | 超突变型癌的判别系统、程序及方法 |
CN202211267904.1A CN115684568A (zh) | 2018-02-15 | 2019-02-07 | 超突变型癌的判别系统、程序及方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-024784 | 2018-02-15 | ||
JP2018024784 | 2018-02-15 | ||
PCT/JP2019/004499 WO2019159821A1 (ja) | 2018-02-15 | 2019-02-07 | 高頻度変異型癌の判別システム、プログラム及び方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211267904.1A Division CN115684568A (zh) | 2018-02-15 | 2019-02-07 | 超突变型癌的判别系统、程序及方法 |
CN202211268488.7A Division CN115684569A (zh) | 2018-02-15 | 2019-02-07 | 超突变型癌的判别系统、程序及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111727371A CN111727371A (zh) | 2020-09-29 |
CN111727371B true CN111727371B (zh) | 2022-11-04 |
Family
ID=67619174
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211268488.7A Pending CN115684569A (zh) | 2018-02-15 | 2019-02-07 | 超突变型癌的判别系统、程序及方法 |
CN201980013657.2A Active CN111727371B (zh) | 2018-02-15 | 2019-02-07 | 超突变型癌的判别系统、程序及方法 |
CN202211267904.1A Pending CN115684568A (zh) | 2018-02-15 | 2019-02-07 | 超突变型癌的判别系统、程序及方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211268488.7A Pending CN115684569A (zh) | 2018-02-15 | 2019-02-07 | 超突变型癌的判别系统、程序及方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211267904.1A Pending CN115684568A (zh) | 2018-02-15 | 2019-02-07 | 超突变型癌的判别系统、程序及方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11295447B2 (zh) |
EP (2) | EP3754334B1 (zh) |
JP (2) | JP7292685B2 (zh) |
KR (1) | KR20200121318A (zh) |
CN (3) | CN115684569A (zh) |
WO (1) | WO2019159821A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4134909A4 (en) * | 2020-04-06 | 2024-02-21 | Niigata University | DATA GENERATION DEVICE, DATA GENERATION METHOD AND PROGRAM |
US20230274428A1 (en) * | 2020-10-14 | 2023-08-31 | Genomedia Inc. | Information processing system, information processing method, and program |
WO2023228229A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4265283B2 (ja) | 2003-05-26 | 2009-05-20 | トヨタ自動車株式会社 | Cngエンジンの燃料性状別制御方法 |
JP6235886B2 (ja) | 2013-01-08 | 2017-11-22 | キヤノン株式会社 | 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置 |
JP6763305B2 (ja) | 2014-12-09 | 2020-09-30 | コニカミノルタ株式会社 | 画像処理装置及び画像処理プログラム |
WO2017010397A1 (ja) * | 2015-07-15 | 2017-01-19 | 国立大学法人大阪大学 | 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体 |
US10839510B2 (en) * | 2015-08-19 | 2020-11-17 | Colorado Seminary, Which Owns And Operates The University Of Denver | Methods and systems for human tissue analysis using shearlet transforms |
JP6725646B2 (ja) | 2015-09-02 | 2020-07-22 | ベンタナ メディカル システムズ, インコーポレイテッド | 解析的に別個の検体染色のパターンの混合を有する細胞サンプルの自動化解析 |
US10438096B2 (en) * | 2016-12-27 | 2019-10-08 | Definiens Ag | Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring |
US20180225424A1 (en) * | 2017-02-03 | 2018-08-09 | Q Bio, Inc | Iterative medical testing of biological samples |
US11954614B2 (en) * | 2017-02-08 | 2024-04-09 | 10X Genomics, Inc. | Systems and methods for visualizing a pattern in a dataset |
JP7198577B2 (ja) * | 2017-11-17 | 2023-01-04 | シスメックス株式会社 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
WO2019106946A1 (ja) * | 2017-12-01 | 2019-06-06 | ソニー株式会社 | 画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム |
-
2019
- 2019-02-07 KR KR1020207025337A patent/KR20200121318A/ko not_active Application Discontinuation
- 2019-02-07 WO PCT/JP2019/004499 patent/WO2019159821A1/ja unknown
- 2019-02-07 EP EP19753904.2A patent/EP3754334B1/en active Active
- 2019-02-07 JP JP2020500447A patent/JP7292685B2/ja active Active
- 2019-02-07 CN CN202211268488.7A patent/CN115684569A/zh active Pending
- 2019-02-07 EP EP23173859.2A patent/EP4235594A3/en active Pending
- 2019-02-07 US US16/964,550 patent/US11295447B2/en active Active
- 2019-02-07 CN CN201980013657.2A patent/CN111727371B/zh active Active
- 2019-02-07 CN CN202211267904.1A patent/CN115684568A/zh active Pending
-
2022
- 2022-04-04 US US17/713,026 patent/US11869190B2/en active Active
-
2023
- 2023-02-03 JP JP2023015100A patent/JP2023058553A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107064019A (zh) * | 2017-05-18 | 2017-08-18 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
Non-Patent Citations (3)
Title |
---|
Andrew J. Schaumberg et al..H&E-stained Whole Slide Image Deep Learning Predicts SPOP Mutation State in Prostate Cancer.《BIORxiv》.2017,1-14. * |
H&E-stained Whole Slide Image Deep Learning Predicts SPOP Mutation State in Prostate Cancer;Andrew J. Schaumberg et al.;《BIORxiv》;20170303;1-14 * |
Methods of Hematoxylin and Erosin Image Information Acquisition and Optimization in Confocal Microscopy;Woong Bae Yoon, BS,et al.;《Healthc Inform Res.》;20160701;238-242 * |
Also Published As
Publication number | Publication date |
---|---|
CN115684569A (zh) | 2023-02-03 |
US11295447B2 (en) | 2022-04-05 |
CN115684568A (zh) | 2023-02-03 |
JPWO2019159821A1 (ja) | 2021-03-04 |
US20210035300A1 (en) | 2021-02-04 |
JP7292685B2 (ja) | 2023-06-19 |
WO2019159821A1 (ja) | 2019-08-22 |
KR20200121318A (ko) | 2020-10-23 |
EP3754334B1 (en) | 2023-06-21 |
US20220301167A1 (en) | 2022-09-22 |
EP3754334A4 (en) | 2021-04-14 |
EP4235594A3 (en) | 2023-10-25 |
EP4235594A2 (en) | 2023-08-30 |
CN111727371A (zh) | 2020-09-29 |
JP2023058553A (ja) | 2023-04-25 |
US11869190B2 (en) | 2024-01-09 |
EP3754334A1 (en) | 2020-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11869190B2 (en) | System, program, and method for determining hypermutated tumor | |
Luchini et al. | ESMO recommendations on microsatellite instability testing for immunotherapy in cancer, and its relationship with PD-1/PD-L1 expression and tumour mutational burden: a systematic review-based approach | |
Buzdin et al. | Molecular pathway activation–new type of biomarkers for tumor morphology and personalized selection of target drugs | |
Parra et al. | Immunohistochemical and image analysis-based study shows that several immune checkpoints are co-expressed in non–small cell lung carcinoma tumors | |
Drifka et al. | Highly aligned stromal collagen is a negative prognostic factor following pancreatic ductal adenocarcinoma resection | |
Wang et al. | Spatial interplay patterns of cancer nuclei and tumor-infiltrating lymphocytes (TILs) predict clinical benefit for immune checkpoint inhibitors | |
Yeong et al. | Intratumoral CD39+ CD8+ T cells predict response to programmed cell death protein-1 or programmed death ligand-1 blockade in patients with NSCLC | |
Jang et al. | Prediction of clinically actionable genetic alterations from colorectal cancer histopathology images using deep learning | |
Enfield et al. | Hyperspectral cell sociology reveals spatial tumor-immune cell interactions associated with lung cancer recurrence | |
Liu et al. | Deep learning for prediction of hepatocellular carcinoma recurrence after resection or liver transplantation: a discovery and validation study | |
Forsberg et al. | Signatures of post-zygotic structural genetic aberrations in the cells of histologically normal breast tissue that can predispose to sporadic breast cancer | |
Kim et al. | PD-L1 expression in gastric cancer determined by digital image analyses: pitfalls and correlation with pathologist interpretation | |
Heydt et al. | Comparison of in situ and extraction-based methods for the detection of MET amplifications in solid tumors | |
Huang et al. | Prediction of target-drug therapy by identifying gene mutations in lung cancer with histopathological stained image and deep learning techniques | |
Hoang et al. | Prediction of cancer treatment response from histopathology images through imputed transcriptomics | |
Hu et al. | Prediction of clinicopathological features, multi-omics events and prognosis based on digital pathology and deep learning in HR+/HER2− breast cancer | |
Restle et al. | Organ-specific heterogeneity in tumor-infiltrating immune cells and cancer antigen expression in primary and autologous metastatic lung adenocarcinoma | |
Schmauch et al. | Transcriptomic learning for digital pathology | |
Choi et al. | Artificial intelligence in the pathology of gastric cancer | |
Lee et al. | Programmed cell death-ligand 1 assessment in urothelial carcinoma: prospect and limitation | |
Manganaro et al. | Consensus clustering methodology to improve molecular stratification of non-small cell lung cancer | |
Harms et al. | Molecular dissection of large cell carcinomas of the lung with null immunophenotype | |
Salmaninejad et al. | Expression analysis of p16, c-Myc, and mSin3A in non-small cell lung cancer by computer aided scoring and analysis (CASA) | |
Ha et al. | Development of bioinformatics and multi-omics analyses in organoids | |
Adeuyan et al. | An update on methods for detection of prognostic and predictive biomarkers in melanoma |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |