JP2023099093A - 画像処理のための自動アッセイ評価および正規化 - Google Patents
画像処理のための自動アッセイ評価および正規化 Download PDFInfo
- Publication number
- JP2023099093A JP2023099093A JP2023073117A JP2023073117A JP2023099093A JP 2023099093 A JP2023099093 A JP 2023099093A JP 2023073117 A JP2023073117 A JP 2023073117A JP 2023073117 A JP2023073117 A JP 2023073117A JP 2023099093 A JP2023099093 A JP 2023099093A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- stain
- titer
- derived
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010606 normalization Methods 0.000 title claims description 63
- 238000012545 processing Methods 0.000 title description 18
- 238000003556 assay Methods 0.000 title description 16
- 238000009826 distribution Methods 0.000 claims abstract description 166
- 238000000034 method Methods 0.000 claims abstract description 106
- 239000012472 biological sample Substances 0.000 claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims description 48
- 230000015654 memory Effects 0.000 claims description 21
- 230000001131 transforming effect Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 abstract description 13
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 226
- 210000001519 tissue Anatomy 0.000 description 81
- 239000000523 sample Substances 0.000 description 44
- 210000004027 cell Anatomy 0.000 description 43
- 238000000926 separation method Methods 0.000 description 28
- 238000004422 calculation algorithm Methods 0.000 description 27
- 238000010186 staining Methods 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 26
- 239000000090 biomarker Substances 0.000 description 23
- 238000012360 testing method Methods 0.000 description 23
- 238000012549 training Methods 0.000 description 22
- 239000013598 vector Substances 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 18
- 230000003595 spectral effect Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 16
- 230000002055 immunohistochemical effect Effects 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 15
- 230000009466 transformation Effects 0.000 description 15
- 241000282472 Canis lupus familiaris Species 0.000 description 14
- 206010028980 Neoplasm Diseases 0.000 description 14
- 230000007170 pathology Effects 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 12
- 238000009795 derivation Methods 0.000 description 12
- 239000000203 mixture Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 108090000623 proteins and genes Proteins 0.000 description 12
- 239000000243 solution Substances 0.000 description 12
- 238000000701 chemical imaging Methods 0.000 description 11
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 10
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 10
- 201000011510 cancer Diseases 0.000 description 9
- 102000015694 estrogen receptors Human genes 0.000 description 9
- 108010038795 estrogen receptors Proteins 0.000 description 9
- 230000000717 retained effect Effects 0.000 description 9
- 239000000427 antigen Substances 0.000 description 8
- 239000000834 fixative Substances 0.000 description 8
- 230000014759 maintenance of location Effects 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 8
- 206010006187 Breast cancer Diseases 0.000 description 7
- 208000026310 Breast neoplasm Diseases 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000007901 in situ hybridization Methods 0.000 description 7
- 102000004169 proteins and genes Human genes 0.000 description 7
- 238000007637 random forest analysis Methods 0.000 description 7
- 102000036639 antigens Human genes 0.000 description 6
- 108091007433 antigens Proteins 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 210000004940 nucleus Anatomy 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 102000039446 nucleic acids Human genes 0.000 description 5
- 108020004707 nucleic acids Proteins 0.000 description 5
- 150000007523 nucleic acids Chemical class 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 101100519207 Mus musculus Pdcd1 gene Proteins 0.000 description 4
- 238000002835 absorbance Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 210000002865 immune cell Anatomy 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- -1 methacan Substances 0.000 description 4
- 238000000386 microscopy Methods 0.000 description 4
- 210000004881 tumor cell Anatomy 0.000 description 4
- QTBSBXVTEAMEQO-UHFFFAOYSA-N Acetic acid Chemical compound CC(O)=O QTBSBXVTEAMEQO-UHFFFAOYSA-N 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 3
- OKKJLVBELUTLKV-UHFFFAOYSA-N Methanol Chemical compound OC OKKJLVBELUTLKV-UHFFFAOYSA-N 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000007636 ensemble learning method Methods 0.000 description 3
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003364 immunohistochemistry Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 102000003998 progesterone receptors Human genes 0.000 description 3
- 108090000468 progesterone receptors Proteins 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- CSCPPACGZOOCGX-UHFFFAOYSA-N Acetone Chemical compound CC(C)=O CSCPPACGZOOCGX-UHFFFAOYSA-N 0.000 description 2
- 102000008096 B7-H1 Antigen Human genes 0.000 description 2
- 108010074708 B7-H1 Antigen Proteins 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 2
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 2
- 102000004190 Enzymes Human genes 0.000 description 2
- 108090000790 Enzymes Proteins 0.000 description 2
- 101150054472 HER2 gene Proteins 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 108020004711 Nucleic Acid Probes Proteins 0.000 description 2
- 206010033128 Ovarian cancer Diseases 0.000 description 2
- 206010061535 Ovarian neoplasm Diseases 0.000 description 2
- 102000007066 Prostate-Specific Antigen Human genes 0.000 description 2
- 108010072866 Prostate-Specific Antigen Proteins 0.000 description 2
- 210000001744 T-lymphocyte Anatomy 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000027455 binding Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 210000000349 chromosome Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 108700020302 erbB-2 Genes Proteins 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000028993 immune response Effects 0.000 description 2
- 238000011532 immunohistochemical staining Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013188 needle biopsy Methods 0.000 description 2
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 2
- GYHFUZHODSMOHU-UHFFFAOYSA-N nonanal Chemical compound CCCCCCCCC=O GYHFUZHODSMOHU-UHFFFAOYSA-N 0.000 description 2
- 239000002853 nucleic acid probe Substances 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 108090000765 processed proteins & peptides Proteins 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000002966 serum Anatomy 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- HSTOKWSFWGCZMH-UHFFFAOYSA-N 3,3'-diaminobenzidine Chemical compound C1=C(N)C(N)=CC=C1C1=CC=C(N)C(N)=C1 HSTOKWSFWGCZMH-UHFFFAOYSA-N 0.000 description 1
- WEVYNIUIFUYDGI-UHFFFAOYSA-N 3-[6-[4-(trifluoromethoxy)anilino]-4-pyrimidinyl]benzamide Chemical compound NC(=O)C1=CC=CC(C=2N=CN=C(NC=3C=CC(OC(F)(F)F)=CC=3)C=2)=C1 WEVYNIUIFUYDGI-UHFFFAOYSA-N 0.000 description 1
- 241000243818 Annelida Species 0.000 description 1
- 241000239290 Araneae Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000032791 BCR-ABL1 positive chronic myelogenous leukemia Diseases 0.000 description 1
- 108700020463 BRCA1 Proteins 0.000 description 1
- 102000036365 BRCA1 Human genes 0.000 description 1
- 101150072950 BRCA1 gene Proteins 0.000 description 1
- 102000052609 BRCA2 Human genes 0.000 description 1
- 108700020462 BRCA2 Proteins 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 239000011547 Bouin solution Substances 0.000 description 1
- 101150008921 Brca2 gene Proteins 0.000 description 1
- 206010050337 Cerumen impaction Diseases 0.000 description 1
- 208000010833 Chronic myeloid leukaemia Diseases 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 239000004971 Cross linker Substances 0.000 description 1
- 108020003215 DNA Probes Proteins 0.000 description 1
- 239000003298 DNA probe Substances 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000233866 Fungi Species 0.000 description 1
- SXRSQZLOMIGNAQ-UHFFFAOYSA-N Glutaraldehyde Chemical compound O=CCCCC=O SXRSQZLOMIGNAQ-UHFFFAOYSA-N 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 102000018697 Membrane Proteins Human genes 0.000 description 1
- 108010052285 Membrane Proteins Proteins 0.000 description 1
- 241000289419 Metatheria Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000033761 Myelogenous Chronic BCR-ABL Positive Leukemia Diseases 0.000 description 1
- 108091034117 Oligonucleotide Proteins 0.000 description 1
- 102000043276 Oncogene Human genes 0.000 description 1
- 108700020796 Oncogene Proteins 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 1
- 229930040373 Paraformaldehyde Natural products 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 108020004518 RNA Probes Proteins 0.000 description 1
- 239000003391 RNA probe Substances 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 150000001299 aldehydes Chemical class 0.000 description 1
- WLDHEUZGFKACJH-UHFFFAOYSA-K amaranth Chemical compound [Na+].[Na+].[Na+].C12=CC=C(S([O-])(=O)=O)C=C2C=C(S([O-])(=O)=O)C(O)=C1N=NC1=CC=C(S([O-])(=O)=O)C2=CC=CC=C12 WLDHEUZGFKACJH-UHFFFAOYSA-K 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 230000000692 anti-sense effect Effects 0.000 description 1
- 210000003719 b-lymphocyte Anatomy 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 239000013060 biological fluid Substances 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000000339 bright-field microscopy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002619 cancer immunotherapy Methods 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000005119 centrifugation Methods 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 210000002939 cerumen Anatomy 0.000 description 1
- 239000005081 chemiluminescent agent Substances 0.000 description 1
- KRVSOGSZCMJSLX-UHFFFAOYSA-L chromic acid Substances O[Cr](O)(=O)=O KRVSOGSZCMJSLX-UHFFFAOYSA-L 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 208000030499 combat disease Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000003431 cross linking reagent Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 238000004163 cytometry Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000003398 denaturant Substances 0.000 description 1
- 238000004925 denaturation Methods 0.000 description 1
- 230000036425 denaturation Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 229940088679 drug related substance Drugs 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 102000052116 epidermal growth factor receptor activity proteins Human genes 0.000 description 1
- 108700015053 epidermal growth factor receptor activity proteins Proteins 0.000 description 1
- 230000001973 epigenetic effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000003722 extracellular fluid Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002550 fecal effect Effects 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- AWJWCTOOIBYHON-UHFFFAOYSA-N furo[3,4-b]pyrazine-5,7-dione Chemical compound C1=CN=C2C(=O)OC(=O)C2=N1 AWJWCTOOIBYHON-UHFFFAOYSA-N 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001744 histochemical effect Effects 0.000 description 1
- 210000004251 human milk Anatomy 0.000 description 1
- 235000020256 human milk Nutrition 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 210000000987 immune system Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012296 in situ hybridization assay Methods 0.000 description 1
- 108091008042 inhibitory receptors Proteins 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000003446 ligand Substances 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 238000004949 mass spectrometry Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229960002523 mercuric chloride Drugs 0.000 description 1
- LWJROJCJINYWOX-UHFFFAOYSA-L mercury dichloride Chemical compound Cl[Hg]Cl LWJROJCJINYWOX-UHFFFAOYSA-L 0.000 description 1
- 229910021645 metal ion Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- WSFSSNUMVMOOMR-NJFSPNSNSA-N methanone Chemical compound O=[14CH2] WSFSSNUMVMOOMR-NJFSPNSNSA-N 0.000 description 1
- 238000001531 micro-dissection Methods 0.000 description 1
- 238000004452 microanalysis Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000010369 molecular cloning Methods 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 238000007837 multiplex assay Methods 0.000 description 1
- YOHYSYJDKVYCJI-UHFFFAOYSA-N n-[3-[[6-[3-(trifluoromethyl)anilino]pyrimidin-4-yl]amino]phenyl]cyclopropanecarboxamide Chemical compound FC(F)(F)C1=CC=CC(NC=2N=CN=C(NC=3C=C(NC(=O)C4CC4)C=CC=3)C=2)=C1 YOHYSYJDKVYCJI-UHFFFAOYSA-N 0.000 description 1
- 239000002547 new drug Substances 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 239000012454 non-polar solvent Substances 0.000 description 1
- 210000000633 nuclear envelope Anatomy 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 239000012285 osmium tetroxide Substances 0.000 description 1
- 229910000489 osmium tetroxide Inorganic materials 0.000 description 1
- 239000007800 oxidant agent Substances 0.000 description 1
- 201000002528 pancreatic cancer Diseases 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 238000009595 pap smear Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 229920002866 paraformaldehyde Polymers 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- OXNIZHLAWKMVMX-UHFFFAOYSA-N picric acid Chemical compound OC1=C([N+]([O-])=O)C=C([N+]([O-])=O)C=C1[N+]([O-])=O OXNIZHLAWKMVMX-UHFFFAOYSA-N 0.000 description 1
- 239000002798 polar solvent Substances 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000004915 pus Anatomy 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 239000012088 reference solution Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 102200055464 rs113488022 Human genes 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 230000009870 specific binding Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000001138 tear Anatomy 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 239000000080 wetting agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Dispersion Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
ンが暗くなり過ぎたり薄くなり過ぎたりするため、このようなステインタイターの急激な変動を考慮した設計となっていない画像処理アルゴリズムに誤差が生じ得ると考えられる。実際、処理アルゴリズムは通例、所定の染色濃度内で作用するように調節されており、濃度がこの範囲外となった場合は、アルゴリズムが機能しなくなる可能性がある。開示の画像正規化システムおよび方法の使用により、画像内の濃度(または、タイター)は、任意の画像処理アルゴリズムの所定の染色濃度範囲内となるように調整され得る。このように、自動化ステイン正規化のための開示のシステムおよび方法は、ステインの色および強度の変動の抑制を可能にする。また、本明細書に開示の自動化システムおよび方法は、たとえば生物学的サンプルのスコアリングまたは組織画像内の特徴の定量化を行う取得画像の拡張下流処理を可能にする。
実施形態において、第1のステインは、ヘマトキシリンであり、所定のパラメータ値は、クエリ画像内の推定されたヘマトキシリンタイターレベルに対応する。いくつかの実施形態において、推定タイターレベルは、正規化に先立って決定される。いくつかの実施形態において、推定タイターレベルは、正規化中(たとえば、濃度成分を含むカラーモデル(たとえば、HSDカラーモデル)へとRGBクエリ画像を変換した後、画素ごとの変換座標の導出に先立って)に決定される。
i)演算された加重平均スコアが所定のタイター範囲内でない場合に、全スライド画像をテンプレート画像に対して正規化するステップと、を含み、全スライド画像が、(a)全スライド画像の色・濃度分布をテンプレート画像の色・濃度分布と整合させることであり、全スライド画像およびテンプレート画像の両者の色・濃度分布が、濃度成分を含むカラーモデル内で導出される、ことと、(b)加重変換座標を用いて、濃度成分を含むカラーモデル内で全スライド画像を逆変換することによりRGB画像を再構成することと、によって正規化される、方法である。いくつかの実施形態において、所定のタイター範囲は、およそ3~およそ6である。いくつかの実施形態において、濃度成分を含むカラーモデルは、HSDカラーモデルである。
であって、(i)画像取得デバイスと、(ii)1つまたは複数のプロセッサと、(iii)プロセッサに結合され、当該1つまたは複数のプロセッサにより実行された場合に、(a)濃度成分を含むカラーモデル内で、クエリ画像において生成されたパッチの画素ごとに色・濃度分布座標を導出することと、(b)クエリ画像の推定タイターレベルに特有の所定の位置合わせおよびスケーリングパラメータ値を用いて、生成されたパッチの画素ごとに導出された色・濃度分布座標を変換することにより、変換色・濃度分布座標を提供することと、(c)画素確率値により重み付けされた変換色・濃度分布座標を用いて、濃度成分を含むカラーモデル内でクエリ画像を逆変換することによりRGB画像を再構成することと、を含む動作を1つまたは複数のプロセッサに実行させるコンピュータ実行可能命令を格納するメモリと、を備えた、撮像システムである。いくつかの実施形態において、この撮像システムは、染色装置をさらに備える。いくつかの実施形態において、生物学的サンプルは、少なくとも2つのステインで染色されている。いくつかの実施形態において、第1のステインは、ヘマトキシリンである。いくつかの実施形態において、濃度成分を含むカラーモデルは、HSDカラーモデルである。
と、(b)導出されたクエリ画像中の色分布座標をテンプレート画像の色分布座標と位置合わせして、変換色分布座標を提供することであり、位置合わせが、テンプレート色分布座標と同じ平均および配向を有するように、導出されたクエリ画像中の色分布座標をシフトおよび回転させることを含み、位置合わせステップが、全スライド画像の演算された加重平均タイタースコアと整合された所定の位置合わせパラメータを利用する、ことと、(c)導出されたクエリ画像中の濃度分布座標をテンプレート画像の濃度分布座標でスケーリングして、変換濃度分布座標を提供することであり、スケーリングが、テンプレート濃度分布座標と同じ加重平均および加重標準偏差を有するように、導出された濃度分布座標を変換することを含み、スケーリングステップが、全スライド画像の演算された加重平均タイタースコアと整合された所定のスケーリングパラメータを利用する、ことと、(d)加重変換色・濃度分布座標を用いて、濃度成分を含むカラーモデル内でクエリ画像を逆変換することによりRGB画像を再構成することと、によって正規化される、非一時的コンピュータ可読媒体である。いくつかの実施形態において、第1のステインは、ヘマトキシリンである。いくつかの実施形態において、生物学的サンプルは、免疫組織化学アッセイおよび/またはin-situハイブリダイゼーションアッセイにおいて1つまたは複数のステインで染色されている。いくつかの実施形態において、濃度成分を含むカラーモデルは、HSDカラーモデルである。
[0050]本明細書において、用語「色チャネル(color channel)」は、画像センサのチャネルを表す。たとえば、画像センサは、赤(R)、緑(G),および青(B)等の3つの色チャネルを有していてもよい。
刊行物はすべて、その全内容が参照により本明細書に組み込まれる。種々特許、出願、および公開の概念を採用する必要に応じて、さらに別の実施形態を提供するように、実施形態の態様が改良され得る。
[0060]デジタル病理学の全スライド画像(WSI)における画像分析アルゴリズムの性能は、画像間のステイン変動によって妨げられ得る。このような困難を克服するため、画像中のすべてのステインに正規化が適用される多くのステイン正規化法が提案されている。ただし、免疫組織化学(IHC)画像の場合は、特にステイン変動が特定の生物学的指標に関連する場合、画像中のすべてのステインの正規化が望まれるわけでもなければ、すべてのステインの正規化が実現可能なわけでもない状況が存在する。これに対して、カウンタステイン(通例、ヘマトキシリン(HTX))は常に、堅牢な核検出のため、画像間で一貫していることが望まれる。本研究においては、テンプレートIHC WSIに対する位置合わせによってIHC WSIのHTXステインを正規化するフレームワークが開示される。このため、色相飽和濃度(HSD)モデルが利用され、画像の色成分分布がテンプレートと位置合わせされる。その後、テンプレートと整合するように、濃度成分がシフトおよびスケーリングされる。非HTXステインを保持するため、純粋なHTXステインを有する画素は、HTXおよび非HTXステインの混合である画素と区別され、これに応じて、異なる正規化方法が適用される(実施例3参照)。
スキャンする手段を有する装置)およびコンピュータ14を備えることにより、撮像装置12およびコンピュータが通信可能に(たとえば、直接またはネットワーク20を介して間接的に)一体結合されていてもよい。コンピュータシステム14は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット等、デジタル電子回路、ファームウェア、ハードウェア、メモリ602、コンピュータ記憶媒体、コンピュータプログラムもしくは命令セット(たとえば、プログラムがメモリもしくは記憶媒体に格納された場合)、プロセッサ(プログラムされたプロセッサを含む)、ならびに/またはその他を含み得る。図1に示されるコンピュータシステム14は、表示装置16および筐体18を含むコンピュータを備えていてもよい。コンピュータシステムは、(メモリ、サーバ、または別のネットワーク接続デバイス等のローカルに)2進法形式でデジタル画像を格納可能である。また、デジタル画像は、画素行列に分割され得る。画素には、ビット深度により規定される1つまたは複数のビットのデジタル値を含み得る。当業者には当然のことながら、他のコンピュータデバイスまたはシステムが利用されるようになっていてもよく、また、本明細書に記載のコンピュータシステムは、付加的な構成要素(たとえば、標本分析器、顕微鏡、他の撮像システム、自動スライド作成機器等)に対して通信可能に結合されていてもよい。これら付加的な構成要素の一部および利用され得るさまざまなコンピュータ、ネットワーク等については、本明細書において別途記載される。
の動作により、たとえば取得画像、または1つまたは複数のステインで染色された生物学的サンプルのマルチチャネル画像データを生成または受信するステップと、(b)分離モジュール205の動作により、1つまたは複数のステインチャネルに対応する画像チャネル画像を生成するステップと、(c)FOV生成モジュール206の動作により、テスト画像のFOVを生成するとともに、生成されたすべてのFOVの中から、所定の基準を満たすFOVを選択するステップ(ステップ250)と、パッチ生成・保持モジュール207の動作により、保持された各FOV内で一連のパッチを生成するとともに、タイターが評価されるステインの有無を示す所定の基準を満たすそれらのパッチを保持するステップ(ステップ251)と、特徴抽出モジュール208の動作により、タイターが推定されるステインに関するステイン色特徴およびステイン強度特徴を導出するステップ(ステップ252)と、タイター分類モジュール209の動作により、抽出された色およびステイン特徴を分類するステップ(ステップ253)と、テスト画像のタイターの加重平均スコアを出力するステップ(ステップ254)と、を含む、方法を提供する。いくつかの実施形態において、ステインは、ヘマトキシリンである。
[0073]最初のステップとして、図2を参照するに、デジタル病理学システム200は、画像取得モジュール202を動作させて、1つまたは複数のステインを有する生物学的サンプルの画像または画像データを捕捉する。いくつかの実施形態において、受信または取得される画像は、RGB画像またはマルチスペクトル画像である。いくつかの実施形態において、補足された画像は、メモリ201に格納される。
Associates and Wiley-Intersciences(1987)に論じられており、その開示内容が参照により本明細書に組み込まれる。非限定的な一例として、乳がんの検出に関しては、いくつかの実施形態において、エストロゲン受容体マーカ、プロゲステロン受容体マーカ、Ki-67マーカ、またはHER2マーカを含む1つまたは複数のバイオマーカの有無について、組織サンプルがIHCアッセイにおいて染色される。このため、いくつかの実施形態において、入力として用いられるバイオマーカ画像は、エストロゲン受容体(ER)マーカ、プロゲステロン受容体(PR)マーカ、Ki-67マーカ、またはHER2マーカのうちの少なくとも1つの有無に対応する信号を含むIHC画像である。非限定的な別の例として、非小細胞肺がんの検出に関しては、いくつかの実施形態において、PD-L1バイオマーカを含む1つまたは複数のバイオマーカの有無について、組織サンプルがIHCアッセイにおいて染色される。このため、いくつかの実施形態において、入力として用いられるバイオマーカ画像は、PD-L1マーカ、CD3マーカ、およびCD8マーカのうちの有無に対応する信号を含むIHC画像である。いくつかの実施形態において、コンピュータ実装方法は、分類された核をスコアリングするステップをさらに含む。
000、chapter 2参照)。いくつかの実施形態においては、画像中のデジタル化組織データとスライドとの識別に画像セグメント化技術が利用されるが、この場合、組織が前景に、スライドが背景に対応する。いくつかの実施形態においては、構成要素が全スライド画像中の関心エリア(AoI)を演算することにより、分析される背景の非組織エリアの量を制限しつつ、AoI中のすべての組織領域を検出する。たとえば、組織データと非組織または背景データとの境界を決定するのに、広範な画像セグメント化技術(たとえば、HSVカラーベース画像セグメント化、Lab画像セグメント化、平均シフトカラー画像セグメント化、領域拡張、レベル設定法、高速マーチング法等)が使用され得る。また、構成要素は、セグメント化に少なくとも部分的に基づいて、組織データに対応するデジタル化スライドデータの部分の識別に使用可能な組織前景マスクを生成可能である。あるいは、構成要素は、組織データに対応しないデジタル化スライドデータの部分の識別に用いられる背景マスクを生成可能である。
for Analyzing a Multi-Channel Image Obtained from a Biological Tissue Sample Being Stained by Multiple Stains(複数のステインにより染色される生物学的組織サンプルから得られたマルチチャネル画像を分析する画像処理方法およびシステム)」という名称のPCT/EP/2015/062015に開示されており、そのすべての開示内容が参照により本明細書に組み込まれる。
[0082]画像取得の後、システム200は、多重化画像を入力として受信する(たとえば、ステップ280)が、多重化画像は、本明細書に記載の通り、1つまたは複数のステインチャネルに対応する信号を含む。別途処理および分析に先立って、この最初の画像はまず、分離モジュール205等によって、その構成チャネルへと分離される。各分離チャネルは、特定のステインまたは信号に対応する。以下、分離画像は、「チャネル画像」と称され、本明細書に記載の各モジュールの入力として使用され得る。
Microscopy(光学顕微鏡法におけるスペクトル撮像および線形分離)」、Adv Biochem Engin/Biotechnol(2005) 95:245-265およびC.L.Lawson and R.J.Hanson、「Solving least squares Problems(最小二乗問題を解く)」、PrenticeHall、1974、Chapter 23、p. 161に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。線形ステイン分離においては、如何なる画素における測定スペクトル(S(λ))もステインスペクトル成分の線形混合と考えられ、当該画素において発現する個々のステインの色基準(R(λ))の割合または重み(A)の合計に等しい。
[0088]これは、以下のように行列形式でより一般的に表され得る。
[0090]取得チャネル画像がM個、個々のステインがN個存在する場合は、M×N行列Rの列が本明細書において導出される最適な表色系であり、N×1ベクトルAが個々のステインの割合の未知の部分であり、M×1ベクトルSが画素における測定マルチチャネル・スペクトルベクトルである。これらの方程式において、各画素の信号(S)は、多重化画像の取得中に測定され、基準スペクトル(すなわち、最適な表色系)は、本明細書に記載の通り導出される。さまざまなステインの寄与(Ai)は、測定スペクトル中の各点に対するそれぞれの寄与を計算することにより決定され得る。いくつかの実施形態においては、以下の方程式集合を解くことにより測定スペクトルと計算スペクトルとの二乗差を最小化する逆最小二乗フィッティング手法を用いて、解が求められる。
[0092]この方程式において、jは検出チャネルの数を表し、iはステインの数に等しい。線形方程式の解では、制約を受けた分離が強制的に重み(A)の合計を1とし得る場合が多い。
[0096]いくつかの実施形態において、全スライド画像は、その全体または一領域が複数のFOVへと細分され、FOVサンプリンググリッドを生成する(ステップ250または260)。FOVサンプリンググリッドは、互いに比較可能な一組の代表領域を画像内に有するように生成される。いくつかの実施形態において、FOVは、分析する関連領域の代表サンプルを捕捉するように画像全体に分配される。これが実現され得る1つの方法として、FOVの一定間隔のグリッドを自動または手動で生成することにより、偏りのない構造化サンプリングを画像全体に施す。いくつかの実施形態において、グリッドは、画像全体を網羅する。他の実施形態において、グリッドは、画像全体を網羅しない。
[00101]FOVが画像から抽出されたら、各FOVにおいて一連のパッチが生成される
(ステップ251および261)。FOV生成と同じように、パッチは、サンプリンググリッドの生成、すなわち、パッチの一定間隔のグリッドを自動または手動で生成して偏りのない構造化サンプリングをFOV内で施すことにより生成されるようになっていてもよい。いくつかの実施形態において、パッチは、FOVの寸法のサイズのおよそ5%~およそ2%の範囲の(x,y)寸法を有する。たとえば、FOVが1000画素×1000画素のサイズを有する場合、FOV内の各パッチは、100画素×100画素のサイズを有していてもよい。当業者には当然のことながら、複数の非重畳パッチがFOVごとに導出されることになる。
形態である。スーパーピクセルは、複数の隣接画素を網羅する画像のサブエリアである。「スーパーピクセル」は、画像を自由形状の非交差画像パッチに分割する。いくつかの実施形態において、この形状は、各スーパーピクセルが目標サイズ範囲を満たし、主として1種類の組織または細胞を含むように選定されるようになっていてもよい。スーパーピクセルは、「グラフベースアルゴリズム」、「勾配上昇ベースアルゴリズム」、SLICアルゴリズム、平均シフト、および正規化カットを含む多くの方法により生成され得る。このため、実施形態によれば、スーパーピクセル生成手順が画像に適用され、それぞれがスーパーピクセルであるパッチを生成するようにしてもよい。実施形態によれば、「パッチ」として使用される隣接画素集合(すなわち、スーパーピクセル)を識別するため、単純線形反復クラスタリングが用いられる。単純線形反復クラスタリング(SLIC)は、スーパーピクセル生成のためのK平均法の適応であるが、重要な差異が2つあり、(i)スーパーピクセルサイズに比例する領域に探索空間を制限することによって、最適化における距離計算の数が劇的に少なくなり(これにより複雑性が抑えられて、スーパーピクセルの数kとは独立に画素数が線形になると考えられる)、(ii)加重距離測度がスーパーピクセルのサイズおよび緊密さを制御するのと同時に、色および空間近接性を組み合わせる(Achanta et al.、「SLIC Superpixels Compared to State-of-the-Art Superpixel Methods(最新のスーパーピクセル法との比較によるSLICスーパーピクセル)」、IEEE Transactions on Pattern Analysis and Machine Intelligence、Vol.34、No.11、November 2012参照(そのすべての開示内容が参照により本明細書に組み込まれる))。たとえば、スーパーピクセルサイズに比例する領域は、スーパーピクセルの識別に用いられるスーパーピクセルエリアの所定の上限と同じであってもよい。
みが別途分析用に保持される。たとえば、細胞を一切有していないパッチ(背景パッチ)は、ステインを一切有していないはずであるため、タイターレベル決定に関して有用な情報を有していないと考えられる。
うちのある所定の割合は、タイターが評価対象となっているステインに対応する信号を有する必要があり、これは、当該ステインの画像チャネルを用いて決定される(たとえば、ステインがヘマトキシリンである場合は、ヘマトキシリンチャネルが利用される)。いくつかの実施形態において、ステイン画素の所定割合は、少なくとも60%である。他の実施形態において、ステイン画素の所定割合は、少なくとも65%である。さらに他の実施形態において、ステイン画素の所定割合は、少なくとも70%である。別の実施形態において、ステイン画素の所定割合は、少なくとも75%である。たとえば、パッチサイズが100画素×100画素であり、閾値割合が70%に設定されている場合は、パッチ内の
10,000画素のうち、7,000個が評価対象のステイン(ヘマトキシリンの場合)を代表する必要がある。
定の割合は、何らかの染色がなされている必要がある。RGB色空間における3つの色チャネルがそれぞれ200より大きな値を有する場合(各チャネルが8ビットを有すると仮定して)、画素は「白」と考えられる。当業者には当然のことながら、RGB画像が24ビットの場合は、各チャネル(言い換えると、赤、緑、および青)が8ビットを有し、当該画像は3つの画像(各チャネルに1つずつ)で構成される。各画像は、0~255の従来の輝度強度で離散画素を格納することができる。いくつかの実施形態において、染色がなされる必要がある画素の所定割合は、少なくとも40%である。すなわち、画素の少なくとも40%が、それぞれ200未満のRGBチャネル値を有する必要がある。他の実施形態において、染色がなされる必要がある画素の所定割合は、少なくとも45%である。さらに他の実施形態において、染色がなされる必要がある画素の所定割合は、少なくとも50%である。別の実施形態において、染色がなされる必要がある画素の所定割合は、少なくとも60%である。
構造に配置される必要がある。いくつかの実施形態において、細胞様構造に配置される必要があるすべての画素のうちの所定割合は、取得画像またはその任意の選択部分におけるすべての画素のうちの少なくとも25%である。他の実施形態において、所定割合は、少なくとも30%である。さらに他の実施形態において、所定割合は、およそ30%~およそ35%の範囲である。
[0105]パッチ生成・保持モジュール207を用いて、ステインを示すデータを含むパッチを保持した後(ステップ251)は、タイターが評価対象となっているステインを示す色・強度特徴が導出される(ステップ252)。
算にLチャネルおよびBチャネルのヒストグラムが用いられる。いくつかの実施形態において、第1不変モーメントは、LAB分解の後にLおよびBチャネルから導出された強度値のヒストグラムから計算される。
[0115]いくつかの実施形態において、特徴は、画像ヒストグラムの標準偏差値であり、最初にヒストグラムから平均画素強度値を導出した後、平均画素強度値の平方根を取ることによって計算される。
[0117]特徴抽出モジュール208を用いたステイン色・強度特徴の導出(ステップ252)の後は、導出された特徴が分類モジュールに提供されて、各導出画像パッチ内のステインのタイターレベルが演算されるようになっていてもよい(ステップ253および254)。
of models」)、スタッキング(stacked generalization)、およびランダムフォレストが挙げられるが、これらに限定されない。いくつかの実施形態において、アンサンブル学習法は、複数の決定木を構成し、個々の木のクラス(分類)または平均予測(回帰)のモードであるクラスを出力することによって動作するランダムフォレストを含む。
[0126]本開示のいくつかの態様によれば、入力画像(「クエリ」画像)中のステインのタイターをテンプレート画像中のステインのタイターに対して正規化するのに、HSD変換モジュール210が利用されるようになっていてもよい。そして、結果としての正規化画像が別途処理に用いられるようになっていてもよく、たとえば、正規化画像を用いて、核および/または形態学的特徴が識別、分類、およびスコアリングされるようになっていてもよい。
[0130]色相飽和濃度(HSD)カラーモデルは、色相飽和強度カラーモデルから導出さ
れる。HSDカラーモデルの背後にある考え方では、強度の代わりとなる個々のRGBチャネルの光学濃度(OD)に対して、RGB-HSI変換(色相飽和強度変換)を適用する。当業者には当然のことながら、カラーカメラにより得られた3つの強度の直接使用によって、RGBカラーモデルが得られる。HSDモデルの色成分がステインの量とは無関係であることから、得られる色空間は、異なるステインの吸収特性をより良好に区別すると考えられる。RGBデータから強度を切り離すことによって、HSIカラーモデルが得られる。任意特定の理論に縛られることを望まないなら、透過光学顕微鏡法において認識される強度の変動の大部分は、染色濃度の変動が原因と考えられる。したがって、HSD変換は、個々のRGBチャネルの強度ではなく光学濃度値に適用されるRGB-HSI変換として規定される。
[0134]チャネルの光学濃度Dchは、チャネルchにおけるステインの吸収値を所与として、ステインの量に線形依存する。いくつかの実施形態において、RGB信号の全体強度は、方程式(2)のように規定される。
[0137]
[0144]
[0146]光学濃度の全体測度は、以下のように規定され得る。
[0148]HSD座標の導出すなわちRGB画像-HSD変換の実行の後、各保持パッチ内の画素ごとに変換座標(cx’,cy’,D)が導出される。一般的に、テスト画像の各パッチ中の各画素の色分布座標(cx,cy)は、テンプレート画像中の色分布座標と整合(位置合わせ)されて、色分布変換座標(cx’,cy’)を与える(ステップ604)。同様に、テスト画像の各パッチ中の各画素の濃度分布座標(D)は、テンプレート画像中の濃度分布座標と整合(スケーリング)されて、濃度分布変換座標(D’)を与える(ステップ605)。位置合わせ(位置合わせを実行するパラメータの導出を含む)およびスケーリングのステップについては、本明細書において記載される。
[0150]テンプレート画像中の対応するクラス分布と整合するようにテスト画像の色・濃度分布座標を変換するため(ステップ604)、(cx,cy)平面における色情報の2D位置決めが実行される。以下のように変換関数Tが科せられるような位置決め問題が規定され得るように色分布を示すため、F(cx,cy)が用いられる。
[0152]色分布の位置決めの手順には、後述の通り、(1)テンプレートスライドからの統計パラメータの抽出および(2)2D色分布の変換という2つのステップがある。
[0154]統計パラメータは、本明細書に記載の位置合わせおよびスケーリングの両ステップの変換座標の導出に必要とされる。統計パラメータは、HSDパラメータデータベース212から導出または再試行されるようになっていてもよい。
in digital images from transmitted light microscopy(透過光学顕微鏡法によるデジタル画像におけるステイン認識のための色相飽和濃度(HSD)モデル)」、Cytometry、vol.39、no.4、pp.275-284、2000にさらに開示されており、そのすべての開示内容が参照により本明細書に組み込まれる。
ケーリングに関する統計パラメータの導出は、演算上の負荷がかなり大きくなり得る。また、当業者には当然のことながら、データが制御源から生成される場合は、分析の分散を抑えることができる。実際のところ、組織源からの分散を抑えて、ステインの分散のみを残すことができる。このため、演算時間を早め、演算コストを抑え、組織種、病理学等と関連付けられたバイアスを抑えようとして、出願人らは、アッセイ標準に従って染色された組織から導出された統計パラメータの標準化「参照」値のデータベースの使用を提案する。任意特定の理論に縛られることを望まないなら、パラメータの推定にバイアスまたは誤差がある場合は、正規化を「オフ」にすることにより、結果としての正規化画像が画像品質の点で劣ったものになり得ると考えられる。たとえば、画像が生物学的原因では非常に暗い一方、染色手順によっては暗くなく、これを正規化パラメータで捕捉する場合は、正規化によって、画像がその生物学的意味を失うことになる。
[0160]統計パラメータの導出またはデータベース212からの読み出しがなされた後、位置合わせが実行される(ステップ604)。一般的に、各パッチ中の各画素の色分布座標(cx,cy)は、導出または読み出し統計値を使用することにより、テンプレート色分布座標と整合されて、位置合わせ色分布座標(cx’,cy’)を与える。
[0164]統計パラメータの導出またはデータベース212からの読み出しがなされた後は、導出または読み出しパラメータを用いてスケーリングが実行される(ステップ605)。一般的に、各パッチ中の各画素の濃度分布座標(D)は、テンプレート濃度分布座標と整合されて、スケーリング色分布座標(D’)を与える。
[0167]あるいは、変換濃度分布は、以下により決定され得る。
[0169]\mud=mean(Dt)(所望の平均値)
[0170]Ds=Dt/\sigma*\sigma_t
[0171]\muo=mean(Ds)(標準偏差の正規化後に得られる平均)
[0172]D’=Ds-\muo+\mud
[0173]変換座標の重み付け
[0174]HSD空間における最終的な変換座標は、元の座標と、テンプレート中のステインクラス(たとえば、ヘマトキシリン)により位置合わせおよびスケーリングされた座標との加重和となる。このように、ステインクラス(たとえば、ヘマトキシリン)に属さない画素が不変を維持することになる。
[0177](cx,f,cy,f)=wstain(cx’,cy’)+wno-stain(cx,cy)
[0178]Df=wstainD’+wno-stainD
[0179]ここで、wstainは、画素がステインクラスに属する確率であり、wno-stainは、画素がこのステインクラスに属さない確率である。
[0181]最終ステップにおいては、RGB色空間においてテスト画像を再生するため、加重変換座標が用いられる(ステップ607)。これは、本明細書に記載のHSD変換の逆を実行することにより実現されるようになっていてもよい。
[0183]
[0185]Icb=I0,cb・e-Dcb
[0186]いくつかの実施形態において、RGB再構成中の色位置合わせの場合は、カラーデコンボリューションに用いられる元のヘマトキシリン色基準ベクトルの採用の代わりに、テンプレート画像中の純粋なヘマトキシリン画素からの正規化平均RGB ODベクトルが再構成に用いられる。
[0188]いくつかの実施形態においては、ステイン画素ではない画素から、タイターが正規化対象となっているステインのステイン画素であるテンプレート画像中の画素を認識するため、すなわち、画素分類結果を与えるために分類器がトレーニングされるが、この場合は、HSD変換(ステップ603)により各パッチ中の画素ごとに導出されたHSD座標(cx,cy,D)が特徴として用いられる。
[0195]本開示のシステム200は、組織標本に対して1つまたは複数の作成プロセスを実行可能な標本処理装置に接続されていてもよい。作成プロセスとしては、標本の脱パラフィン化、標本の調節(たとえば、細胞調節)、標本の染色、抗原読み出しの実行、免疫組織化学染色(標識化を含む)もしくは他の反応の実行、ならびに/またはin-situハイブリダイゼーション(たとえば、SISH、FISH等)染色(標識化を含む)もしくは他の反応の実行のほか、顕微鏡法、微量分析法、質量分光法、または他の分析方法のために標本を作成する他のプロセスが挙げられるが、これらに限定されない。
ステイン、プローブ、試薬、洗浄液、および/または調節剤が挙げられるが、これらに限定されない。これらの物質としては、流体(たとえば、気体、液体、または気体/液体混合物)等が可能である。流体としては、溶媒(たとえば、極性溶媒、非極性溶媒等)、溶液(たとえば、水溶液または他種の溶液)等が可能である。試薬としては、ステイン、湿潤剤、抗体(たとえば、モノクローナル抗体、ポリクローナル抗体等)、抗原回復液(たとえば、水性または非水性の抗原緩衝液、抗原回復緩衝剤等)が挙げられるが、これらに限定されない。プローブとしては、検出可能な標識またはレポータ分子に付着した単離核酸または単離合成オリゴヌクレオチドが可能である。標識としては、放射性同位体、酵素基質、補因子、リガンド、化学発光または蛍光剤、ハプテン、および酵素が挙げられる。
は、自動分析を実行するシステムおよび方法を開示した多くの米国特許の譲受人であり、米国特許第5,650,327号、第5,654,200号、第6,296,809号、第6,352,861号、第6,827,901号、および第6,943,029号、ならびに米国特許出願公開第2003/0211630号および第2004/0052685号を含み、それぞれのすべての内容が参照により本明細書に組み込まれる。あるいは、標本は、手動で処理され得る。
された1本の光軸を有する。このシステムは、異なる離散スペクトル帯において画像が取得されるように(たとえば、コンピュータプロセッサによって)スペクトル選択システムが調整または調節されるように、組織の一連の画像を構成する。また、この装置は、ディスプレイも含んでいてもよく、このディスプレイにおいて、取得された一連の画像から少なくとも1つの視覚的に知覚可能な組織の画像が現れる。スペクトル選択システムは、回折格子、薄膜干渉フィルタ等の一群の光学フィルタ、またはユーザ入力もしくは予めプログラムされたプロセッサのコマンドのいずれかに応答して、光源からサンプルを通じて検出器へと透過した光のスペクトルから特定の通過帯域を選択するように構成されたその他任意のシステム等、光分散要素を含んでいてもよい。
[0215]色正規化の有効性を実証するため、さまざまなタイターレベルでの正規化を伴う場合および伴わない場合について、画像における細胞検出アルゴリズムの性能を評価した。細胞の数は、さまざまなタイターで相対的に一定としたが、正規化が適用されない場合は、増加傾向が観察された。図_および図_は、全細胞数に対する染色および非染色細胞の割合が異なる(4つのブロックからの)12枚のスライドについて、タイター4に対する変動を示している。図示のように、タイターレベルが4以上では、非正規化画像に対して非染色細胞の数が過大評価されているが、この問題は、ステイン正規化が適用された場合に緩和された。
[0217]提案の方法の性能は、3つの異なるスキャナ(便宜上、スキャナ1、スキャナ2、およびスキャナ3と称される)から得られた3020個の全スライド画像から成るデータセットに対して評価された。スキャナごとに、3つの異なるマーカの画像すなわちHER2、ER、およびKi67が収集された。これらの画像は12個のブロックに由来し、ブロックごとに3つの異なる部分が利用可能である。ブロックおよび部分ごとに、タイターレベル1~9の結果が提供される。また、マーカ/スキャナの一部に対して、いくつかの制御全スライドが利用可能である。以下の表1においては、異なるマーカ/スキャナに利用可能な全スライドの数が示される。
表1:全スライド分布
表2:タイター推定結果
別のブロックに属する)図9BのFOVよりもはるかに暗い。これらの結果もまた、正規化の必要性を示している。特定のタイターは、同じマーカおよびスキャナを用いた異なるブロックに対してさえ異なって見え得るためである。他のマーカについても、同様の結果が観察され得る。図9(a)は、表2の結果を与えるのに用いられたブロックからのタイター1の例示的なFOVを示している。このブロックについては、タイターがより低いブロックに対して過大評価されているため、同じタイターの例示的なFOVが図9(b)に示される。トレーニングに用いられるFOVよりもテスト用FOVに対してヘマトキシリンレベルがはるかに暗くなる事実が見られるため、同じマーカおよびスキャナに対してさえ、染色の強度が異なるブロックで変動することを所与として、過大評価の理由が得られるとともに、正規化の必要性が示される。
[0223]テンプレートおよび対象WSIの両者に対してHSD変換が実行され、RGB光学濃度(OD)値をHSD座標(cx,cy,D)に変換する。最初の2つの座標は、ステインの量とは無関係の色情報を含む。一方、最後の座標は、ステイン濃度と線形関係の濃度成分である。対象WSIにおける(cx,cy)成分の分布はテンプレート中の成分と位置合わせされ、濃度成分はテンプレートと整合するようにスケーリングされる。本願のフレームワークにおいては、HSD座標位置合わせをすべてのステインに適用する代わりに、純粋なHTXステインの正規化のみに対して、この位置合わせプロセスを採用する。これは、対象画像中のHTXステインの色・濃度分布をテンプレート画像中の分布と最大限に整合させるためである。最終的に正規化された純粋なHTX画素は、位置合わせされたHSD座標(cx’,cy’,D’)を用いたHSD-RGB変換によって得られる。本願の実験においては、色相飽和分布がテンプレートと劇的に異なるHTXステインを位置合わせしようとする場合に、cxおよびcyに対するヒストグラムの伸長によって、色のアーチファクトが深刻になり得ることが分かっている。したがって、このステップは、IHC画像におけるHTX正規化の場合は省略されるものとする。
[0225]HTXステインが他のステインと混合された場合、混合物中のHTXステインの実際の色・濃度分布を導出してHSD座標位置合わせに利用するのは不可能である。そこで、テンプレート画像中の純粋なHTXステインの平均色・濃度に対して「グローバル」位置合わせを実行する。混合物中のDABステインを変更することなくこれを行うため、テンプレート画像および対象画像の両者にカラーデコンボリューションを適用する。HTXI/(DABI)を対象画像のカラーデコンボリューションによるHTX(DAB)成分とし、ΗΤΧT(DABT)をテンプレート画像のHTX(DAB)成分とする。濃度位置合わせのため、ΗΤΧTと同じ平均および標準偏差を有するようにΗΤΧIのシフトおよびスケーリングを行って、ΗΤΧfを得る。その後、ΗΤΧfおよびDABIを用いることにより、RGB再構成が実行される。RGB再構成中の色位置合わせの場合は、カラーデコンボリューションに用いられる元のHTX色基準ベクトルの採用の代わりに、テンプレート画像中の純粋なHTX画素からの正規化平均RGB ODベクトルを再構成に用いる。背景画素およびHTXと共局在しない他の非HTXステインは、正規化されることなく不変である。
[0227]以下、純粋なHTXおよびHTX混合物の画素を識別する方法を説明する。ヘマトキシリンおよびエオシンステインの混合物に画素が属し得ることを考慮するなら、ヘマトキシリン、エオシン、または背景に画素が属する確率を導出するように単純ベイズ分類
器がトレーニングされる。そして、最終的な変換座標は、クラス確率を重みとして用いたステイン固有の変換座標の加重和である。本願のフレームワークにおいては、2つのクラスすなわちHTXおよび非HTXのみが考慮されるが、これは、ユーザが正規化したい他種のステインに対する手法の一般化を容易にするためである。分類器は、テンプレート画像の画素のHSD座標を用いてトレーニングされる。本願の実験においては、特にクラス境界画素に関して、クラス確率を重みとして用いる場合、この単純な分類器の分類誤差によって、望ましくない色のアーチファクトがもたらされる可能性があることが分かっている。したがって、以下の基準を用いて規定された純粋なHTX画素に対してのみ、重み付け方式を適用する。
[0229]画素の色相がHSD空間において所定の青の範囲内である。
[0231]HTX混合物の画素を識別するため、DoGフィルタが分離DAB成分に適用される。DoGフィルタの出力が0より大きく、画素の分離DABおよびHTXの両成分が固定閾値(th=0.2)よりも高く、画素の色相が所定の青の範囲外である場合は、画素がHTX混合物と決定される。他の画素は、不変である。
[0233]WSI中の画素数が非常に多いことに留意する。このため、正規化に必要な統計データを解くためにWSI中のすべての画素を使用することは、演算コストが非常に高く、不要である。代替として、WSI中のHTXステインを代表する画素を選択する一般的な方法を設計する。本願の実施態様においては、上位50個の視野(FOV)画像(600×600画素)(その平均分離HTX成分がWSI中のすべてのFOVのうちの第80の百分位数に最も近い)が最初に選択される。図12は、選択されたFOVの一例を示している。その後は、十分なHTXステインを含むパッチ(100×100画素)を各FOVからさらに選択する。これは、背景画素を主に(70%超)含むパッチを破棄することによって実現される。パッチ選択後は、実施例4に記載の基準を用いて、純粋なHTX画素を識別する。これらの画素は、上記実施例において、すべての統計データを解くのに用いられる。このステップにおいて、画素は、当該FOV中のすべての青色画素の第25の百分位数よりもODが低い場合に背景と考えられるが、ここで青色画素は、色相がHSD空間において所定の青の範囲内である画素として識別される。
[0235]324個のHER2染色IHC WSIから成るデータセットに対する提案方法の性能を評価する。これらのスライドは、12個の乳がん組織ブロックに由来し、27枚のスライドが各ブロックから切り出されている。同じブロックに由来するスライドは、9つの制御濃度レベルでHTXを用いて染色されるが、これらは1~9の値のタイター数によって表され、1が最も明るい染色を示し、9が最も暗い染色を示す。各HTXタイターは、3つの連続スライドから成る群に適用される。テンプレート画像として、タイター4からWSIを選択する。
導出された第1のステイン画像特徴に基づいて、全スライド画像の加重平均タイタースコアを演算するステップと、
演算された加重平均スコアが所定のタイター範囲内でない場合に、全スライド画像をテンプレート画像に対して正規化するステップと、
を含み、
全スライド画像が、(a)全スライド画像の色・濃度分布をテンプレート画像の色・濃度分布と整合させることであり、全スライド画像およびテンプレート画像の両者の色・濃度分布が、濃度情報を組み込んだカラーモデル内で導出される、ことと、(b)加重変換座標を用いて、濃度情報を組み込んだカラーモデル内で全スライド画像を逆変換すること
によりRGB画像を再構成することと、によって正規化される、方法がさらに開示される。
[0244]全スライド画像の色・濃度分布が、(i)全スライド画像の画像パッチ内で変換を実行して、画像パッチそれぞれのすべての画素の色・濃度分布座標(cx,cy,D)を取得することと、(ii)テンプレート色座標と同じ平均および配向を有するように全スライド画像中の得られた色分布座標(cx,cy)をシフトおよび回転させて、各画像パッチの画素ごとに位置合わせされた色座標(cx’,cy’)を提供することと、(iii)テンプレート濃度分布と同じ加重平均および加重標準偏差を有するように全スライド画像から得られた濃度分布(D)をスケーリングして、各画像パッチの画素ごとにスケーリングされた濃度分布(D’)を提供することと、によって、テンプレート画像の色・濃度分布と整合される、方法がさらに開示される。
[0248]所定のタイター範囲が、4~6である、方法がさらに開示される。
[0249]濃度情報を組み込んだカラーモジュールが、HSDカラーモジュールである、方法がさらに開示される。
濃度情報を組み込んだカラーモジュール内で、クエリ画像において生成されたパッチの画素ごとに色・濃度分布座標を導出することと、
クエリ画像の推定タイターレベルに特有の所定の位置合わせおよびスケーリングパラメータ値を用いて、生成されたパッチの画素ごとに導出された色・濃度分布座標を変換することにより、生成されたパッチの画素ごとに変換色・濃度分布座標を提供することと、
画素確率値により重み付けされた変換色・濃度分布座標を用いて、濃度情報を組み込んだカラーモデル内でクエリ画像を逆変換することによりRGB画像を再構成することと、
を含む動作を1つまたは複数のプロセッサに実行させるコンピュータ実行可能命令を格納するメモリと、を備えた、撮像システムがさらに開示される。
[0252]生物学的サンプルが、少なくとも2つのステインで染色された、撮像システムがさらに開示される。
[0255]クエリ画像の推定タイターレベルが、導出された第1のステイン色・強度特徴に基づいて、クエリ画像の加重平均タイタースコアを演算することにより決定され、選択される位置合わせおよびスケーリングパラメータがクエリ画像の加重平均タイタースコアを近似する、撮像システムがさらに開示される。
[0261]1つまたは複数のステインで染色された生物学的サンプルの全スライド画像内の第1のステインのタイターを検査し、全スライド画像を第1のステインのタイターに対して正規化する非一時的コンピュータ可読媒体であって、
導出された第1のステイン画像特徴に基づいて、全スライド画像の加重平均タイタースコアを演算することと、
第1のステインの全スライド画像のタイターをテンプレート画像の第1のステインのタ
イターに対して正規化することと、を含み、全スライド画像が、
濃度情報を組み込んだカラーモデル内でクエリ画像中の色・濃度分布座標を導出することと、
導出されたクエリ画像中の色分布座標をテンプレート画像の色分布座標と位置合わせして、変換色分布座標を提供することであり、位置合わせが、テンプレート色分布座標と同じ平均および配向を有するように、導出されたクエリ画像中の色分布座標をシフトおよび回転させることを含み、位置合わせステップが、全スライド画像の演算された加重平均タイタースコアと整合された所定の位置合わせパラメータを利用する、ことと、
導出されたクエリ画像中の濃度分布座標をテンプレート画像の濃度分布座標でスケーリングして、変換濃度分布座標を提供することであり、スケーリングが、テンプレート濃度分布座標と同じ加重平均および加重標準偏差を有するように、導出された濃度分布座標を変換することを含み、スケーリングステップが、全スライド画像の演算された加重平均タイタースコアと整合された所定のスケーリングパラメータを利用する、ことと、
加重変換色・濃度分布座標を用いて、濃度情報を組み込んだカラーモデル内でクエリ画像を逆変換することによりRGB画像を再構成することと、
によって正規化される、非一時的コンピュータ可読媒体がさらに開示される。
[0264]導出された第1のステイン画像特徴に基づく全スライド画像の加重平均タイタースコアが、(a)全スライド画像から所定数のFOVを抽出することと、(b)抽出された各FOVの一組のパッチを演算することと、(c)一組のパッチ内の各パッチから、複数の第1のステイン色・強度特徴を導出することと、(d)トレーニングされたタイター分類器を用いて、導出された複数の第1のステイン色・強度特徴を分類することと、(e)すべてのパッチからの分類結果に基づいて、加重平均スコアを演算することと、によって演算される、非一時的コンピュータ可読媒体がさらに開示される。
Claims (15)
- クエリ画像内の第1のステイン(stain)のタイター(titer)をテンプレート画像中の前記第1のステインのタイターに対して正規化する方法であり、前記クエリ画像が少なくとも前記第1のステインで染色された生物学的サンプルの画像である、方法であって、
(i)濃度情報を組み込んだカラーモデル内で前記クエリ画像中の色・濃度分布座標を導出するステップ(603)と、
(ii)前記導出された前記クエリ画像中の色分布座標をテンプレート画像の色分布座標と位置合わせして、変換色分布座標を提供するステップ(604)と、
(iii)前記導出された前記クエリ画像中の濃度分布座標をテンプレート画像の濃度分布座標でスケーリングして、変換濃度分布座標を提供するステップ(605)と、
(iv)加重変換色・濃度分布座標を用いること(607)により、前記濃度情報を組み込んだ前記カラーモデル内で前記クエリ画像を逆変換することによってRGB画像を再構成するステップ(608)と、
を含み、
前記位置合わせおよびスケーリングが、前記クエリ画像の推定タイターレベルに特有の所定のパラメータ値を利用する、方法。 - 前記所定のパラメータ値が、既知の第1のステインタイターレベルで決定された導出平均(derived mean)、角度、およびスケーリングパラメータである、請求項1に記載の方法。
- 前記クエリ画像の前記推定タイターレベルが、導出された第1のステイン色・強度特徴に基づいて、前記クエリ画像の加重平均タイタースコアを演算することにより決定される(254)、請求項1または2に記載の方法。
- 前記推定タイターレベルが、正規化に先立って決定される、請求項1~3のいずれか一項に記載の方法。
- 前記推定タイターレベルが、正規化中に決定される、請求項1~4のいずれか一項に記載の方法。
- 前記加重平均タイタースコアが、(a)前記クエリ画像中の一連のパッチそれぞれから複数の第1のステイン画像特徴を導出すること(252)と、(b)トレーニングされたタイター識別分類器(titer-identification classifier)を用いることにより、前記画像
パッチそれぞれから導出された前記複数の画像特徴を分類すること(253)と、によって演算される、請求項1~5のいずれか一項に記載の方法。 - 前記一連のパッチが、(a)前記クエリ画像から所定数のFOVを抽出すること(250)と、(b)前記抽出された各FOVの一組のパッチを演算すること(251)と、(c)各抽出FOVの前記一組のパッチのうち、閾値パッチ基準を満たすパッチを保持することと、によって導出される、請求項6に記載の方法。
- 前記タイター識別分類器が、第1のステインタイターレベルをクラス標識として用いることにより標準化サンプルから導出された第1のステイン色・強度特徴に対してトレーニングされたマルチクラス分類器である、請求項6に記載の方法。
- 前記加重変換色・濃度分布座標が、(i)画素が第1のステイン画素である確率を演算すること(606)と、(ii)前記演算された確率で前記変換色・濃度分布座標を重み付けすること(607)と、によって導出される、請求項1~8のいずれか一項に記載の
方法。 - 色・濃度分布座標が、前記クエリ画像中の一連のパッチの画素ごとに導出され、前記一連のパッチが、(a)前記クエリ画像から所定数のFOVを抽出すること(601)と、(b)前記抽出された各FOVの一組のパッチを演算すること(602)と、(c)各抽出FOVの前記一組のパッチのうち、閾値パッチ基準を満たすパッチを保持することと、によって導出される、請求項9に記載の方法。
- 前記位置合わせが、テンプレート色分布座標と同じ平均(mean)および配向(orientation)を有するように前記導出された前記クエリ画像中の色分布座標をシフトおよび回転させ
ること(604)を含む、請求項1~10のいずれか一項に記載の方法。 - 前記スケーリングが、テンプレート濃度分布座標と同じ加重平均および加重標準偏差を有するように前記導出された濃度分布座標を変換すること(605)を含む、請求項1~11のいずれか一項に記載の方法。
- 濃度情報を組み込んだ前記カラーモジュールが、HSDカラーモジュールである、請求項1~12のいずれか一項に記載の方法。
- 撮像システム(200)であって、(i)1つまたは複数のプロセッサ(203)と、(ii)前記1つまたは複数のプロセッサ(203)に結合され、前記1つまたは複数のプロセッサ(203)により実行された場合に、請求項1~13のいずれか一項に記載の方法を当該撮像システム(200)に実行させるコンピュータ実行可能命令を格納する1つまたは複数のメモリ(201)と、を備えた、撮像システム(200)。
- 撮像システム(200)の1つまたは複数のプロセッサ(203)により実行された場合に、請求項1~13のいずれか一項に記載の方法を前記撮像システム(200)に実行させる命令を格納した非一時的コンピュータ可読媒体(201)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762541621P | 2017-08-04 | 2017-08-04 | |
US62/541,621 | 2017-08-04 | ||
JP2022045397A JP7273215B2 (ja) | 2017-08-04 | 2022-03-22 | 画像処理のための自動アッセイ評価および正規化 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022045397A Division JP7273215B2 (ja) | 2017-08-04 | 2022-03-22 | 画像処理のための自動アッセイ評価および正規化 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023099093A true JP2023099093A (ja) | 2023-07-11 |
Family
ID=63371651
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020505322A Active JP7047059B2 (ja) | 2017-08-04 | 2018-08-02 | 画像処理のための自動アッセイ評価および正規化 |
JP2022045397A Active JP7273215B2 (ja) | 2017-08-04 | 2022-03-22 | 画像処理のための自動アッセイ評価および正規化 |
JP2023073117A Pending JP2023099093A (ja) | 2017-08-04 | 2023-04-27 | 画像処理のための自動アッセイ評価および正規化 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020505322A Active JP7047059B2 (ja) | 2017-08-04 | 2018-08-02 | 画像処理のための自動アッセイ評価および正規化 |
JP2022045397A Active JP7273215B2 (ja) | 2017-08-04 | 2022-03-22 | 画像処理のための自動アッセイ評価および正規化 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11380085B2 (ja) |
EP (2) | EP4300424A3 (ja) |
JP (3) | JP7047059B2 (ja) |
CN (2) | CN117174263A (ja) |
WO (1) | WO2019025533A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117174263A (zh) | 2017-08-04 | 2023-12-05 | 文塔纳医疗系统公司 | 用于图像处理的自动测定评估和归一化 |
US11515009B2 (en) * | 2018-03-19 | 2022-11-29 | International Business Machines Corporation | Biomarker quantification in a tissue sample |
WO2019244586A1 (ja) * | 2018-06-21 | 2019-12-26 | パナソニックIpマネジメント株式会社 | 肌評価装置、肌評価システム、肌評価方法、および肌評価のためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
US11716533B2 (en) | 2019-06-20 | 2023-08-01 | Cilag Gmbh International | Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system |
US11892403B2 (en) | 2019-06-20 | 2024-02-06 | Cilag Gmbh International | Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system |
US11986160B2 (en) * | 2019-06-20 | 2024-05-21 | Cllag GmbH International | Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system |
US11516387B2 (en) | 2019-06-20 | 2022-11-29 | Cilag Gmbh International | Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
JP2022546430A (ja) | 2019-08-28 | 2022-11-04 | ベンタナ メディカル システムズ, インコーポレイテッド | 振動分光法によるバイオマーカー発現の無標識評価 |
CN111028923B (zh) * | 2019-10-18 | 2024-01-30 | 平安科技(深圳)有限公司 | 数字病理图像染色归一化方法、电子装置及存储介质 |
US11621078B2 (en) * | 2020-03-18 | 2023-04-04 | International Business Machines Corporation | Pre-processing whole slide images in cognitive medical pipelines |
US11335462B1 (en) * | 2020-10-23 | 2022-05-17 | PAIGE.AI, Inc. | Systems and methods to process electronic images to identify diagnostic tests |
US11455753B1 (en) | 2021-05-12 | 2022-09-27 | PAIGE.AI, Inc. | Systems and methods to process electronic images to adjust attributes of the electronic images |
KR20240006599A (ko) * | 2021-05-12 | 2024-01-15 | 페이지.에이아이, 인크. | 전자 이미지의 속성을 조정하기 위해 전자 이미지를 처리하는 시스템 및 방법 |
CN113469939B (zh) * | 2021-05-26 | 2022-05-03 | 透彻影像(北京)科技有限公司 | 一种基于特性曲线的her-2免疫组化自动判读系统 |
CN113591919B (zh) * | 2021-06-29 | 2023-07-21 | 复旦大学附属中山医院 | 基于ai对早期肝细胞癌术后复发预后的分析方法及系统 |
US20230022057A1 (en) * | 2021-07-16 | 2023-01-26 | Taiwan Semiconductor Manufacturing Company, Ltd. | Method for retrieving images from database |
WO2023007920A1 (ja) * | 2021-07-29 | 2023-02-02 | 株式会社島津製作所 | 画像処理方法および画像処理装置 |
CN114627010B (zh) * | 2022-03-04 | 2023-01-06 | 北京透彻未来科技有限公司 | 一种基于染色密度图的染色空间迁移方法 |
CN114936141B (zh) * | 2022-07-22 | 2022-11-04 | 浙江中控技术股份有限公司 | 分布式控制系统的控制回路的性能评估方法及系统 |
WO2024035674A1 (en) * | 2022-08-10 | 2024-02-15 | The Johns Hopkins University | Methods and related aspects for producing processed images with controlled images quality levels |
CN117726622B (zh) * | 2024-02-07 | 2024-04-30 | 武汉船舶职业技术学院 | 一种用于扎染工艺的计算机控制方法及系统 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5595707A (en) | 1990-03-02 | 1997-01-21 | Ventana Medical Systems, Inc. | Automated biological reaction apparatus |
WO1999044030A1 (en) | 1998-02-27 | 1999-09-02 | Ventana Medical Systems, Inc. | Automated molecular pathology apparatus having independent slide heaters |
US20030211630A1 (en) | 1998-02-27 | 2003-11-13 | Ventana Medical Systems, Inc. | Automated molecular pathology apparatus having independent slide heaters |
US6582962B1 (en) | 1998-02-27 | 2003-06-24 | Ventana Medical Systems, Inc. | Automated molecular pathology apparatus having independent slide heaters |
US8042022B2 (en) | 2007-03-08 | 2011-10-18 | Micron Technology, Inc. | Method, system, and apparatus for distributed decoding during prolonged refresh |
JP5154844B2 (ja) * | 2007-06-14 | 2013-02-27 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
CA2596204C (en) * | 2007-08-07 | 2019-02-26 | Historx, Inc. | Method and system for determining an optimal dilution of a reagent |
SG187478A1 (en) | 2009-10-19 | 2013-02-28 | Ventana Med Syst Inc | Imaging system and techniques |
FR2965951B1 (fr) * | 2010-10-11 | 2013-10-04 | Olea Medical | Systeme et procede pour estimer une quantite d'interet d'un systeme dynamique artere/tissu/veine |
WO2014195193A1 (en) | 2013-06-03 | 2014-12-11 | Ventana Medical Systems, Inc. | Image adaptive physiologically plausible color separation |
CN103679184A (zh) * | 2013-12-06 | 2014-03-26 | 河海大学 | 一种基于相关向量机的白细胞自动识别方法 |
JP6176752B2 (ja) * | 2013-12-11 | 2017-08-09 | 日本電気株式会社 | 抗核抗体画像解析システム、抗核抗体画像解析方法および抗核抗体画像解析プログラム |
EP3108448B1 (en) | 2014-02-21 | 2019-05-15 | Ventana Medical Systems, Inc. | Group sparsity model for image unmixing |
CN104408717A (zh) * | 2014-11-24 | 2015-03-11 | 北京航空航天大学 | 一种基于着色分离的病理图像颜色质量综合评价方法 |
CN115457550A (zh) * | 2015-09-16 | 2022-12-09 | 徕卡生物系统公司 | 病理学明场像中的自动化染色查找 |
CN117174263A (zh) | 2017-08-04 | 2023-12-05 | 文塔纳医疗系统公司 | 用于图像处理的自动测定评估和归一化 |
-
2018
- 2018-08-02 CN CN202311034068.7A patent/CN117174263A/zh active Pending
- 2018-08-02 WO PCT/EP2018/070978 patent/WO2019025533A1/en unknown
- 2018-08-02 EP EP23208934.2A patent/EP4300424A3/en active Pending
- 2018-08-02 JP JP2020505322A patent/JP7047059B2/ja active Active
- 2018-08-02 EP EP18759553.3A patent/EP3662484B1/en active Active
- 2018-08-02 CN CN201880062455.2A patent/CN111512383B/zh active Active
-
2020
- 2020-01-30 US US16/777,649 patent/US11380085B2/en active Active
-
2022
- 2022-03-22 JP JP2022045397A patent/JP7273215B2/ja active Active
- 2022-05-27 US US17/827,656 patent/US11715557B2/en active Active
-
2023
- 2023-04-27 JP JP2023073117A patent/JP2023099093A/ja active Pending
- 2023-05-31 US US18/326,716 patent/US11990228B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20200279126A1 (en) | 2020-09-03 |
EP4300424A3 (en) | 2024-03-06 |
WO2019025533A1 (en) | 2019-02-07 |
EP3662484A1 (en) | 2020-06-10 |
CN117174263A (zh) | 2023-12-05 |
JP2022084796A (ja) | 2022-06-07 |
CN111512383B (zh) | 2023-09-19 |
US20230317253A1 (en) | 2023-10-05 |
EP3662484B1 (en) | 2024-01-03 |
JP2020530613A (ja) | 2020-10-22 |
CN111512383A (zh) | 2020-08-07 |
JP7273215B2 (ja) | 2023-05-12 |
JP7047059B2 (ja) | 2022-04-04 |
EP4300424A2 (en) | 2024-01-03 |
US11990228B2 (en) | 2024-05-21 |
US20220366667A1 (en) | 2022-11-17 |
US11715557B2 (en) | 2023-08-01 |
US11380085B2 (en) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7273215B2 (ja) | 画像処理のための自動アッセイ評価および正規化 | |
US11682192B2 (en) | Deep-learning systems and methods for joint cell and region classification in biological images | |
US11526984B2 (en) | Method of computing tumor spatial and inter-marker heterogeneity | |
US10755406B2 (en) | Systems and methods for co-expression analysis in immunoscore computation | |
US11842483B2 (en) | Systems for cell shape estimation | |
US11978200B2 (en) | Image enhancement to enable improved nuclei detection and segmentation | |
JP7197584B2 (ja) | デジタル病理学分析結果の格納および読み出し方法 | |
US12020493B2 (en) | Systems for automated in situ hybridization analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240508 |