CN116757998A - 基于ai的ctc细胞和ctc样细胞的筛查方法及装置 - Google Patents
基于ai的ctc细胞和ctc样细胞的筛查方法及装置 Download PDFInfo
- Publication number
- CN116757998A CN116757998A CN202310508589.5A CN202310508589A CN116757998A CN 116757998 A CN116757998 A CN 116757998A CN 202310508589 A CN202310508589 A CN 202310508589A CN 116757998 A CN116757998 A CN 116757998A
- Authority
- CN
- China
- Prior art keywords
- ctc
- cell
- cells
- image information
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012216 screening Methods 0.000 title claims abstract description 217
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000000877 morphologic effect Effects 0.000 claims abstract description 89
- 238000012549 training Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 66
- 210000001124 body fluid Anatomy 0.000 claims abstract description 56
- 239000010839 body fluid Substances 0.000 claims abstract description 56
- 210000004027 cell Anatomy 0.000 claims description 622
- 239000012528 membrane Substances 0.000 claims description 47
- 206010028980 Neoplasm Diseases 0.000 claims description 43
- 239000011148 porous material Substances 0.000 claims description 26
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 24
- 210000004940 nucleus Anatomy 0.000 claims description 24
- 239000011521 glass Substances 0.000 claims description 23
- 230000007170 pathology Effects 0.000 claims description 23
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 claims description 20
- 229960000907 methylthioninium chloride Drugs 0.000 claims description 20
- 210000000633 nuclear envelope Anatomy 0.000 claims description 20
- 238000010186 staining Methods 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 20
- 201000011510 cancer Diseases 0.000 claims description 19
- 238000004043 dyeing Methods 0.000 claims description 18
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 claims description 15
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 claims description 15
- 210000003855 cell nucleus Anatomy 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 14
- 210000004698 lymphocyte Anatomy 0.000 claims description 13
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims description 12
- 230000003211 malignant effect Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 206010039491 Sarcoma Diseases 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000000108 ultra-filtration Methods 0.000 claims description 10
- 201000010099 disease Diseases 0.000 claims description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 7
- 241000234314 Zingiber Species 0.000 claims description 6
- 235000006886 Zingiber officinale Nutrition 0.000 claims description 6
- 235000008397 ginger Nutrition 0.000 claims description 6
- 230000036541 health Effects 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 210000005266 circulating tumour cell Anatomy 0.000 description 423
- 239000000523 sample Substances 0.000 description 94
- 238000003745 diagnosis Methods 0.000 description 34
- 230000001575 pathological effect Effects 0.000 description 22
- 210000004881 tumor cell Anatomy 0.000 description 18
- 108020004707 nucleic acids Proteins 0.000 description 15
- 150000007523 nucleic acids Chemical class 0.000 description 15
- 102000039446 nucleic acids Human genes 0.000 description 15
- 210000001519 tissue Anatomy 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 13
- 238000002372 labelling Methods 0.000 description 10
- 210000000601 blood cell Anatomy 0.000 description 8
- 238000002509 fluorescent in situ hybridization Methods 0.000 description 8
- 210000004369 blood Anatomy 0.000 description 7
- 239000008280 blood Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 6
- 108090000623 proteins and genes Proteins 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 239000000427 antigen Substances 0.000 description 4
- 108091007433 antigens Proteins 0.000 description 4
- 102000036639 antigens Human genes 0.000 description 4
- 210000000170 cell membrane Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000000805 cytoplasm Anatomy 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 206010056342 Pulmonary mass Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003480 eluent Substances 0.000 description 2
- 210000002889 endothelial cell Anatomy 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009396 hybridization Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012758 nuclear staining Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 229920000620 organic polymer Polymers 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010003445 Ascites Diseases 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010066054 Dysmorphism Diseases 0.000 description 1
- 206010048612 Hydrothorax Diseases 0.000 description 1
- 208000005016 Intestinal Neoplasms Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000003872 anastomosis Effects 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000003040 circulating cell Anatomy 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005138 cryopreservation Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 230000000120 cytopathologic effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 102000038379 digestive enzymes Human genes 0.000 description 1
- 108091007734 digestive enzymes Proteins 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 210000003038 endothelium Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001976 enzyme digestion Methods 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000012268 genome sequencing Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 208000024200 hematopoietic and lymphoid system neoplasm Diseases 0.000 description 1
- 230000011132 hemopoiesis Effects 0.000 description 1
- 230000001900 immune effect Effects 0.000 description 1
- 238000007901 in situ hybridization Methods 0.000 description 1
- 210000004969 inflammatory cell Anatomy 0.000 description 1
- 201000002313 intestinal cancer Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 210000001161 mammalian embryo Anatomy 0.000 description 1
- 229940127554 medical product Drugs 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 238000006864 oxidative decomposition reaction Methods 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000003753 real-time PCR Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012106 screening analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012174 single-cell RNA sequencing Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000009870 specific binding Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
本发明提供一种基于AI的CTC细胞和CTC样细胞的筛查方法及装置,涉及人工智能技术领域,其中所述方法包括:从图像采集设备获取患者的待筛查体液细胞对应的初始图像信息;将初始图像信息输入第一模型组,得到第一模型组输出的目标图像信息;第一模型组包括细胞形态检测模型和CTC细胞筛查模型,细胞形态检测模型用于检测初始图像信息中符合预设细胞形态特征的目标细胞图像;CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练至收敛后得到的,目标细胞样本集中包括符合预设CTC细胞形态特征和预设CTC样细胞形态特征的细胞样本。通过上述方法,提高了筛查CTC细胞及CTC样细胞的准确度。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于AI的CTC细胞和CTC样细胞的筛查方法及装置。
背景技术
循环肿瘤细胞(Circulating Cell Tumors,CTC)已经大量入选在临床肿瘤诊疗规范和方案,以及世界卫生组织病理学指南中使用,类似的各种具体的肿瘤病理学智能学习诊疗软件和图像分析软件也大量涌现,尤其利用人工智能(Artificial Intelligence,AI)模型进行病理形态学的图像分析模型有了快速应用。
相关技术中,利用AI模型对CTC细胞进行筛查时,通常是利用软件或数码扫描分析工具进行单一的建模,或者在荧光原位杂交显微镜下的暗视野背景中分析循环肿瘤细胞带有的荧光标记物。
然而,CTC细胞来源多样,形态分类繁杂,病理专业诊断标准不断动态更新且难于达成形态共识和长期稳定应用,特别是多年来肿瘤荧光显微镜下的CTC细胞形态暗视野dapi胞浆染色观察全细胞图像模糊,核内标志物荧光度强弱不一,表现出重复性很低的异质性,使得AI模型无法有效学习FISH-CTC细胞的病理形态特征,进而导致在荧光显微镜暗视野用AI模型筛查CTC细胞的准确率低。
因此,如何提高对CTC细胞筛查的准确率是目前亟待解决的问题。
发明内容
针对现有技术存在的问题,本发明实施例提供一种基于AI的CTC细胞和CTC样细胞的筛查方法及装置。
本发明提供一种基于AI的CTC细胞和CTC样细胞的筛查方法,应用于CTC筛查设备,包括:
从图像采集设备获取患者的待筛查体液细胞对应的初始图像信息;所述待筛查体液细胞是放置在滤膜载玻片上,经过苏木素伊红HE染色或亚甲蓝染色后得到的;所述初始图像信息中包括多个细胞图像;
可选地,滤膜是透明有机聚合物材料,打孔成8um直径的小孔规律等距排列,以便滤过红细胞和白细胞等,保留体液内超过8um直径更大的肿瘤细胞,滤膜可置放在滤管或针头滤器内并被取出放在载玻片上以便显微镜下染色观察滞留的肿瘤细胞和获取其使用。
将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括循环肿瘤细胞CTC图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设形态特征的目标细胞图像,所述预设形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
可选地,所述滤膜载玻片上设置有多个直径相等的圆形滤孔,所述目标细胞包括符合所述预设CTC细胞形态特征的CTC类相似细胞、符合所述预设CTC样细胞形态特征的CTC样类相似细胞、恶性癌细胞及肉瘤细胞;所述预设细胞形态特征包括以下至少一项:
第一预设细胞形态特征,用于指示将所述初始图像信息中直径超过所述滤孔第一阈值的细胞作为所述CTC类相似细胞,将直径超过所述滤孔第二阈值的细胞作为所述CTC样类相似细胞,将直径超过所述滤孔第三阈值的细胞作为所述恶性癌细胞或所述肉瘤细胞;其中,所述第一阈值大于或等于所述第二阈值,所述第三阈值大于所述第一阈值;
第二预设细胞形态特征,用于指示将所述初始图像信息中直径超过滤膜孔缘间距第四阈值的细胞作为所述CTC类相似细胞,将所述初始图像信息中直径超过滤膜孔缘间距第五阈值的细胞作为所述CTC样类相似细胞;其中,所述第四阈值大于或等于所述第五阈值;
第三预设细胞形态特征,用于指示将所述初始图像信息中体积超过正常淋巴细胞体积第六阈值的细胞作为所述CTC类相似细胞,将体积超过正常淋巴细胞体积第七阈值的细胞作为所述CTC样类相似细胞;其中,所述第六阈值大于或等于所述第七阈值;
第四预设细胞形态特征,用于指示将所述初始图像信息中细胞核的像素值达到第八阈值的细胞作为所述CTC类相似细胞,将细胞核的像素值达到第九阈值的细胞作为所述CTC样类相似细胞;其中,所述第九阈值大于或等于所述第八阈值;
第五预设细胞形态特征,用于指示将所述初始图像信息中细胞核的核膜呈现凹凸不平,且核沟及核膜轮廓线刚性切入核内成生姜块状的细胞作为CTC类相似细胞;将细胞核轮廓呈现不规则类圆形,且核膜呈顺应性切入核内的轮廓线的细胞作为所述CTC样类相似细胞。
可选地,将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息,包括:
将所述初始图像信息输入所述细胞形态检测模型,得到所述细胞形态检测模型输出的包括所述目标细胞的目标细胞图像信息;
将所述目标细胞图像信息输入所述CTC细胞筛查模型,得到所述CTC细胞筛查模型输出的所述目标图像信息。
可选地,所述CTC细胞筛查模型通过以下方式得到:
获取初始训练样本集;所述训练样本集包括多种细胞类型的细胞样本;
从所述图像采集设备获取符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本,并添加至所述初始训练样本集,生成所述目标细胞样本集;
利用所述目标细胞样本集对所述初始CTC细胞筛查模型进行训练,并利用验证集对所述初始CTC细胞筛查模型进行验证,直至所述初始CTC细胞筛查模型收敛,得到所述CTC细胞筛查模型。
可选地,在所述得到所述第一模型组输出的目标图像信息之后,所述方法还包括:
基于所述患者的临床病史信息及所述目标图像信息,生成针对所述患者的多学科综合临床病理评估报告;所述多学科综合临床病理评估报告用于反映所述患者的实时健康或疾病状态。
本发明还提供一种基于AI的CTC细胞和CTC样细胞的筛查装置,应用于CTC筛查设备,包括:
获取模块,用于从图像采集设备获取患者的待筛查体液细胞对应的初始图像信息;所述待筛查体液细胞是放置在滤膜载玻片上,经过苏木素伊红HE染色或亚甲蓝染色后得到的;所述初始图像信息中包括多个细胞图像;
输入模块,用于将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括循环肿瘤细胞CTC图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设形态特征的目标细胞图像,所述预设形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
本发明还提供一种基于AI的CTC细胞和CTC样细胞的筛查系统,所述系统包括图像采集设备及CTC筛查设备,所述图像采集设备为包括有CCD相机的光学显微镜;
所述图像采集设备,用于采集患者的待筛查体液细胞对应的初始图像信息;所述待筛查体液细胞是放置在滤膜载玻片上,经过苏木素伊红HE染色后得到的;所述初始图像信息中包括多个细胞图像;
所述CTC筛查设备,用于从图像采集设备获取患者的待筛查体液细胞对应的初始图像信息;将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括循环肿瘤细胞CTC图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设形态特征的目标细胞图像,所述预设形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
本发明还提供一种CTC筛查设备,包括移动电子设备及非移动电子设备,所述CTC筛查设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上述任一种所述基于AI的CTC细胞和CTC样细胞的筛查方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于AI的CTC细胞和CTC样细胞的筛查方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于AI的CTC细胞和CTC样细胞的筛查方法。
本发明提供的基于AI的CTC细胞和CTC样细胞的筛查方法及装置,通过对放置在滤膜载玻片上的患者的待筛查体液细胞进行HE或亚甲蓝染色,可以使CTC筛查设备对图像采集设备采集的初始图像信息进行初始筛查,从HE染色的待筛查体液细胞中机器学习初步识别出CTC细胞图像、CTC样细胞图像和高度可疑的其他细胞图像;然后将初始图像信息输入第一模型组,利用细胞形态检测模型机器学习检测出初始图像信息中符合预设CTC细胞形态特征及预设CTC样细胞形态特征的目标细胞图像;由于CTC细胞筛查模型是基于目标CTC细胞样本集对初始CTC细胞筛查模型进行训练得到的,目标CTC细胞样本集中包括符合预设CTC细胞形态特征和CTC样细胞形态特征的细胞样本,因此CTC细胞筛查模型充分学习了病理CTC细胞专家预设CTC细胞诊断形态特征,进而利用CTC细胞筛查机器学习模型,可以从初始图像信息的各目标细胞中确定出包括CTC细胞及CTC样细胞的目标图像信息,通过细胞形态图文检测模型以及CTC细胞筛查机器学习模型相结合的方式进行CTC细胞及CTC样细胞智能筛查,减少了CTC细胞和CTC样细胞的遗漏和误判,提高了筛查CTC细胞和CTC样细胞的准确度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于AI的CTC细胞和CTC样细胞的筛查方法的流程示意图之一;
图2是本发明提供的基于AI的CTC细胞和CTC样细胞的筛查方法的流程示意图之二;
图3是本发明提供的基于AI的CTC细胞和CTC样细胞的筛查装置的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了便于更加清晰地理解本申请各实施例,首先对一些相关的背景知识进行如下介绍。
目前已有各种器官肿瘤,包括肺癌,肠癌,乳腺癌,前列腺癌和甲状腺癌等组织形态病理智能学习图像分析产品文献报道,但是病理学肿瘤组织形态分类繁杂,WHO组织形态专业诊断标准数年即动态更新难于达成共识和长期稳定应用,特别是肿瘤显微镜下形态图像90%以上表现出重复性很低的不均一的异质性,病理形态特征很难单独由AI领域专家分类和理解,需要在病理专业知识里把握海量的人工智能形态特征anchors进行大量的试错性学习,寻找器官组织癌症细胞规律性的特异性形态特征进行标注后再测试。
多数研究目前的结构是利用软件或数码扫描分析工具进行单一的建模,或者在荧光原位杂交显微镜下的暗视野背景中分析CTC细胞带有的荧光标记物而不是分析CTC细胞形态本身。分析原理是针对某一种肿瘤或类型癌症其中的接近同类形态图像的组织细胞,进行全图像画面整体结构标注区的大致形貌特征的数字学习分析,而不是针对某一类肿瘤有共同形态和相同生物学属性特点和图像规律的单个肿瘤细胞逐一进行细胞学形态神经网络卷积RCNN深度学习分析。
以往经典的大多数病理形态数码扫描工具软件,主要是灰度、密度、距离、核膜曲度等经典视觉图像参数算法应用,采用局部分析逻辑算法公式,未采取深度学习多层叠加卷积的人工智能算法,无法获得血液里全部特类目标肿瘤细胞精准图像,无法在敏感性和特异性的形态分析特征达到高技术专业人员的专业精准程度和稳定的重复性成果。
相关技术中,针对CTC技术的缺陷有如下几个方面:
(1)、CTC捕获仪器效能低问题
目前对CTC细胞的筛查捕获,均是来自CellSearch技术原型,采取免疫亲和特异抗体在磁珠扩面上或微流体滞留面捕获对应的CTC抗原细胞,但对于缺乏抗体抗原特异结合力的肿瘤细胞基本都假阴性漏掉而捕获失败,对于沾染上肿瘤抗原的血细胞又假阳性捕获。
在上述过程中不可避免的损害血液肿瘤细胞浆膜的完整性,使其形态改变为裸核细胞及活力锐减,在FISH观察中为DAPI阴性的裸核细胞核内标记物阳性,但裸核细胞又不计入阳性细胞,评估产生假阴性,但不影响该技术后续的标志物杂交参入细胞核,可被FISH观察为阳性,从而将标志物阳性裸核细胞推理定性为目标肿瘤细胞出现矛盾结果。因此具有真实完整的肿瘤细胞形态的CTC细胞反而因FISH阴性标记技术忽视和放弃了,既不观察,也不再作为CTC检测结果报告,甚至怪异的用阳性的标志物来否定真实形态的出现免疫标志荧光阴性的CTC细胞。
以上结果导致在实操中CellSearch和类似技术只能发现20-30%左右的肿瘤细胞,甚至晚期肿瘤也仅有不到40%的CTC阳性报告率,但是血流中污染了肿瘤标志物的正常细胞,可能误作为肿瘤细胞报告,在早期肿瘤也可能高达50%以上。
(2)、CTC细胞玻片制备HE染色问题
相关技术中,获取CTC细胞过程会使得胞膜或胞浆化学性破坏,细胞形态改变、失真甚至不完整,再进行核酸荧光原位杂交化学染色,细胞形态的完整性在温度,酸碱和酶的消化下几乎消失;
而在核内点状染色的荧光信号是荧光显微镜下在暗视野用差分辨率粗略观察,进行人工或数码图像点信号识别,不能精准观察到CTC全细胞核、浆异常改变,不能进行全细胞形态HE染色,不能评估细胞大小,核染色深浅和细胞异常的形态,就不能按照WHO肿瘤细胞形态标准形成病理显微镜下诊断。
(3)、CTC荧光暗视野FISH显微镜缺陷和光学显微镜技术环节存在缺陷
目前CTC显微镜95%以上用荧光显微镜在暗视野下观察CTC细胞内标记的红蓝两色或更多色道标志物,这种荧光色标观察结果不能分析出细胞学全部形态的良性或恶性细胞诊断,只能报告标记物的阴性或阳性结果,即使采用荧光电子自动扫描软件,功能上仍然达不到医师观察细胞全貌的诊断层次要求。
而CCD自动荧光扫描软件只能调整玻片运动和记录分析荧光信号数据。目前的CTC诊疗系统中如果用光学显微镜仪器来明场观察细胞形态是透明的模糊影像,不能分析WHO国际共识性细胞学诊断数据,现有CTC技术95%以上采用荧光染色试剂盒,只能在荧光显微镜暗视野看见核内的荧光染色标志物,看不见正常光学显微镜下的癌细胞HE或亚甲蓝等染色形态。
(4)不能基于AI模型筛查CTC细胞。
经过检索,目前缺乏CTC细胞图像智能AI分析算法软件和临床应用图像报告软件,仅仅靠传统的专业病理医生经过熟练训练后再人力阅片,费事费时费力,技术要求高,培训时间长,技能差异导致重复性差,需要在有条件的大医院经过长期临床实践才能成长为合格的医生,并且换了新标志又要新学习评估标准,不能普及到大部分医院。造成上述问题的原因,一是上述基于荧光杂交信号观察CTC相关产品的设计人员不是CTC诊断专业人员和医师场景应用人员;二是以前FISH-CTC产品应用目的的思路仅仅是解决CTC细胞核内的标志信号倍观察发现,主要用于临床分析CTC能否浸润转移或存在活力,而不是解决病理诊断行业标准性的完整细胞形态观察早期和精准诊断目的,第三方科研与医师临床诊断应用方的底线标准存在专业应用不对称鸿沟,存在和WHO病理标准间的原则差距而又极难协调,比如第三方生物技师对裸核CTC细胞不计入,而对细胞簇所含细胞包括内皮细胞都计入CTC,而这些非CTC细胞在病理HE染色形态下第三方技师与病理医师诊断看法相左。三是第三方个体技师出具的CTC的各自FISH报告本身标准不一混乱,缺乏医师专业共识结果分析软件系统的评分,没有按照WHO病理形态一致性体系评价,临床医生审视检测报告无章可循,无标可用,也无途径介入诊疗和纳入临床影像及反馈管理。
(5)、微量CTC细胞核酸提取困难不能进入基因检测应用
CTC细胞目前在FISH检查结束后只能下载暗视野荧光图片,玻片上的细胞100%不能存储,或者是进入细胞培养,或者是自然干枯丢弃。因为CTC细胞仅仅1-10多个,不能做具体细胞的微量核酸提取是国际上实验室难题。不能用其微量DNA做基因测序和高通量全基因组检测,只能做玻片或试管内血细胞和CTC混合总成成分核酸的单细胞随机引物扩增后测序,存在假性的不确定的较高比例的自生扩增数据,或者是scRNA-seq单细胞测序提供的低通量CNV,成功率小于60%,且不能说明是哪一个肿瘤单细胞的基因组数据,也没有扣除胚系克隆造血基因组数据,笼统给出不能重复的结果。
综上所述,为了解决上述技术问题,提高对CTC细胞筛查的准确率,本发明实施例提供一种基于AI的CTC细胞和CTC样细胞的筛查方法及装置。
下面结合图1至图2对本发明提供的基于AI的CTC细胞和CTC样细胞的筛查方法进行具体描述。图1是本发明提供的基于AI的CTC细胞和CTC样细胞的筛查方法的流程示意图之一,参见图1所示,该方法应用CTC筛查设备,包括步骤101-步骤102,其中:
步骤101、从图像采集设备获取患者的待筛查体液细胞对应的初始图像信息;所述待筛查体液细胞是放置在滤膜载玻片上,经过苏木素伊红HE染色或亚甲蓝染色后得到的;所述初始图像信息中包括多个细胞图像。
首先需要说明的是,本发明的执行主体为循环肿瘤细胞筛查设备,例如可以是能够实现循环肿瘤细胞筛查的任何电子设备,例如可以为智能手机、智能手表、台式电脑、手提电脑等任何一种电子设备;其中,电子设备包括移动终端及非移动终端,本发明对终端的类型不作具体限定。
在本实施例中,在获取患者的待筛查体液细胞对应的初始图像信息之前,需要将采集到的患者的待筛查体液细胞放置在滤膜载玻片上,并对待筛查体液细胞进行苏木素伊红(hematoxylin-eosin,HE)染色或亚甲蓝染色。其中,患者也包括进行体检的人。
需要说明的是,待筛查体液细胞是CTC捕获仪器设备经过滤膜捕获后得到的,对待筛查体液细胞进行HE染色,是由于形态各异的组织肿瘤细胞一旦进入血液成为CTC细胞,在血液流动环境的适应导致其细胞形态呈现了一致性的单一同形面貌:即,各肿瘤原来不同的细胞形态均不约而同的转变或归一合并呈同类环境形态下的圆形、类圆形面貌,变为形态单一的圆形或类圆形一致形态特征细胞,CTC细胞在HE染色后核呈现深蓝色,胞浆呈现淡红色,仅细胞大小染色深浅有些差异,CTC为圆形或类圆形成为各器官来源的CTC细胞的规律性形态特征。在血液环境中,CTC经过HE染色后,不同的器官肿瘤细胞形态都改变标化成圆形或类圆形的形状,血液生存场景简化了CTC细胞器和细胞浆结构,凸显了肿瘤细胞核形态,导致CTC形态与血细胞和正常组织细胞迥然不同,这些特点可以为AI模型分析学习提供简洁标化的清晰形态确切差异图像信息。
并且,CTC细胞改为HE染色后有细胞诊断资质经验的病理医师在廉价和易得的光镜下观察,不再使用昂贵的标记探针和抗体试剂,可以应用国际通行病理细胞学诊断共识作为规范的诊断标准研发软件,进行普及作业形成快速和规模化诊断报告,可以精准计数和清晰的进行CTC细胞收集保障不再丢失浪费,可以便利的获取CTC微量核酸进行后续基因检测。
其中,患者的待筛查体液细胞例如可以是:血液、穿刺洗脱液,胸腹水,脑脊液,尿液,灌洗液等多种液体。
在实际应用中,例如可以采集患者5ml静脉血,抽取5ml进入物理原理的CTC分离富集仪器,按照仪器试剂说明进行操作,实验进行到富集CTC液管阶段,将细胞收集通过单个8um孔径透明滤膜的上万个孔过滤或汇集吸附到1.5ml EP管转移到8um透明滤膜管过滤。
过滤后的滤膜上富集有多种类型的细胞,包括CTC细胞、靴钉样CTC细胞、CTC样细胞,血液细胞和正常的内皮,上皮和炎细胞等,其中,靴钉样CTC细胞是由早期不典型腺瘤样细胞组成,CTC样细胞主要由形态不典型的CTC细胞或甚至小细胞肿瘤组成,也可能是吞噬CTC的组织细胞和少数大淋巴转化细胞等。
可选地,对CTC细胞的HE染色也可以经60度以下低温烤片10分钟后用手工方法按照HE染色常规病理技术流程进行并封片。
可选地,对CTC细胞的染色也可手工用亚甲蓝滴染,透明水合粘剂封片,光镜下观察。
上述细胞滤膜转移至滤膜载玻片上进行操作,进行HE染色或通过teanswell细胞小井进行无遗漏CTC的HE染色,然后利用图像采集设备进行图像采集。
图像采集设备例如可以是安置于显微镜顶端的电荷耦合器件(charge coupleddevice,CCD)相机。
在本实施例中,初始图像信息中包括多个细胞图像,例如CTC细胞、靴钉样CTC细胞、CTC样细胞、血细胞、内皮细胞等。
在图像采集设备采集到经过HE染色后的初始图像信息后,可以将初始图像信息存储至服务器或者本地数据库中。
步骤102、将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括CTC细胞图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设形态特征的目标细胞图像,所述预设形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
在本实施例中,需要将初始图像信息输入第一模型组,采用细胞形态检测模型和CTC细胞筛查模型相结合的方式,对初始图像信息中的CTC细胞及CTC样细胞进行筛查。
细胞形态检测模型用于检测初始图像信息中符合病理专业标准的目标细胞图像,目标细胞图像符合预设CTC细胞形态特征及预设CTC样细胞形态特征。
具体地,需要对初始图像信息中CTC细胞以及CTC样血细胞的体积大小、染色深浅程度、细胞核异形曲度程度大小等三形态特征进行筛查和验证。
CTC细胞筛查模型例如可以是基于区域的卷积神经网络模型(Region-basedConvolutional Network,RCNN),或者快速的基于区域的卷积神经网络模型(Fast Region-based Convolutional Network,Fast-RCNN)。
RCNN模型包括以下至少一项:
a)Yolov5模型,适宜CTC细胞宽度和深度均为小目标的信息丢失的图像,目的仅区别CTC和非CTC。
b)U-net卷积神经网络模型,像素点,两个全连接层,细胞分类概率图进行细胞分类,后续通过激活函数softmax报告全视野,叠加数字切片,非专业人员可用。
c)手工语义加卷积神经网络提取器(LCT、HOG、Garbor)和色彩平衡算法、几何仿射变换算法图像技术。
d)支持向量机(Support Vector Machine,SVM)或者logistic等分类器+Fast-RCNN方法和特征金字塔网络(Feature pyramid network,FPN)方法。将传统和深度学习重叠结合,将会节省训练量,同时在较少遗漏训练测试集样本并增加阳性检出。
e)完成组织细胞标注-基于AI Unet神经网络模型语义分割-检测出病理扫描图像的细胞区域-利用VGG 16深度卷积神经网络模型,结合迁移学习技术-对单体癌细胞识别,应用于AI组织区域和细胞病理诊断。
f)CSV文件存储,staintools包训练均值器,均值器Normalizer对训练集和测试集进行归一化,利用sci-image读取归一化后的细胞图像,完成预处理。好处是图片文件归一化后的运算既包涵细胞图像特征,又包涵细胞周围组织图像特征。ResNet网络作为特征提取器,输出单个细胞特征-并迁移学习-归一化后整个细胞组织图像中的每个迁移学习后的细胞特征作为图片阳性率特征-输入多示例学习层进行聚合-聚合后的输出作为整个细胞组织图像的预测概率-优化函数进行训练,建立预测模型。好处是因为细胞图像相对组织图像较小,采用ResNet家族中ResNet50或ResNet18这样比较小的网络工具。
需要说明的是,采用细胞形态检测模型和CTC细胞筛查模型相结合的方式,是因为仅利用RCNN或Fast-RCNN模型,需要有大量的长期专业经验的肿瘤病理细胞学高级医师进行各种形态特征的框标(anchor)特征,才能使得RCNN精度更高。
因此,如果仅使用RCNN或Fast-RCNN模型筛选初始图像信息时可能会有遗漏的细胞图像,因此需要引入细胞形态检测模型,专门针对CTC细胞进行图像诊断特征性人工标注训练,从CTC显著的图像特点如大小,染色和不规则形态进行参数设置,设计算法模型,使得初始图像信息中只要有符合预设CTC细胞形态特征的细胞图像确定为目标细胞图像,再结合RCNN或Fast-RCNN模型进行重复性验证,共同完成CTC细胞智能学习的定性筛查,大大减少了CTC细胞的遗漏和误判。
本发明提供的基于AI的CTC细胞和CTC样细胞的筛查方法,通过对放置在滤膜载玻片上的患者的待筛查体液细胞进行HE或亚甲蓝染色,可以使CTC筛查设备对图像采集设备采集的初始图像信息进行初始筛查,从HE染色的待筛查体液细胞中机器学习初步识别出CTC细胞图像、CTC样细胞图像和高度可疑的其他细胞图像;然后将初始图像信息输入第一模型组,利用细胞形态检测模型机器学习检测出初始图像信息中符合预设CTC细胞形态特征及预设CTC样细胞形态特征的目标细胞图像;由于CTC细胞筛查模型是基于目标CTC细胞样本集对初始CTC细胞筛查模型进行训练得到的,目标CTC细胞样本集中包括符合预设CTC细胞形态特征和CTC样细胞形态特征的细胞样本,因此CTC细胞筛查模型充分学习了病理CTC细胞专家预设CTC细胞诊断形态特征,进而利用CTC细胞筛查机器学习模型,可以从初始图像信息的各目标细胞中确定出包括CTC细胞及CTC样细胞的目标图像信息,通过细胞形态图文检测模型以及CTC细胞筛查机器学习模型相结合的方式进行CTC细胞及CTC样细胞智能筛查,减少了CTC细胞和CTC样细胞的遗漏和误判,提高了筛查CTC细胞和CTC样细胞的准确度。
可选地,所述滤膜载玻片上设置有多达上万个直径相等的圆形滤孔,所述目标细胞包括符合所述预设CTC细胞形态特征的CTC类相似细胞、符合所述预设CTC样细胞形态特征的CTC样类相似细胞、恶性癌细胞及肉瘤细胞;所述预设细胞形态特征包括以下至少一项:
a)第一预设细胞形态特征,用于指示将所述初始图像信息中直径超过所述滤孔第一阈值的细胞作为所述CTC类相似细胞,将直径超过所述滤孔第二阈值的细胞作为所述CTC样类相似细胞,将直径超过所述滤孔第三阈值的细胞作为所述恶性癌细胞或所述肉瘤细胞;其中,所述第一阈值大于或等于所述第二阈值,所述第三阈值大于所述第一阈值。
实际应用中,滤膜片采用不同的透明材质多层有机聚合物激光打孔,形成一层透明滤膜,室温变化下成上大下小的6-8um直径的滤孔并等距排列。
以上孔8um为孔径尺寸内对照,对直径超过2.5-3.5倍范围滤孔大小以上(即第一阈值,取值范围为20um-28um以上)的细胞作为CTC类的相似细胞纳入初筛库备用比较;
对2.0-3.0倍范围滤膜孔大小(即第二阈值,取值范围为18um-24um)的细胞作为CTC样类相似细胞纳入初筛库备用比较。
需要说明的是,两种细胞尺寸界定有0.5倍数值左右的重叠,用以吸收染色深浅和核型规则度参数重叠,调整CTC类相似细胞、CTC样类相似细胞的定性,并结合影像和临床病史,留给临床和病理医师评估决定。
超过3.5倍以上(即第三阈值,取值范围为28um以上)的CTC类相似细胞绝大多数作为恶性癌细胞或肉瘤细胞。
b)第二预设细胞形态特征,用于指示将所述初始图像信息中直径超过滤膜孔缘间距第四阈值取值范围为24um-30um的细胞作为所述CTC类相似细胞,将所述初始图像信息中直径超过滤膜孔缘间距第五阈值的细胞作为所述CTC样类相似细胞;其中,所述第四阈值大于或等于所述第五阈值。
实际应用中,将初始图像信息中滤膜孔缘间距超过2/3以上距离(即第四阈值,取值范围为24um-30um)的细胞作为CTC类相似细胞,将滤膜孔缘间距超过1/2以上距离到2/3距离(即第五阈值,取值范围为18um-24um)的细胞作为CTC样类相似细胞。
c)第三预设细胞形态特征,用于指示将所述初始图像信息中体积超过正常淋巴细胞体积第六阈值的细胞作为所述CTC类相似细胞,将体积超过正常淋巴细胞体积第七阈值的细胞作为所述CTC样类相似细胞;其中,所述第六阈值大于或等于所述第七阈值。
实际应用中,将初始图像信息中细胞体积大于正常淋巴细胞3倍体积以上(即第六阈值)的细胞作为CTC类相似细胞;将细胞提及大于正常淋巴细胞2-3倍之间(即第七阈值)的细胞作为CTC样相似细胞。
d)第四CTC细胞形态特征,用于指示将所述初始图像信息中细胞核的像素值达到第八阈值的细胞作为所述CTC类相似细胞,将细胞核的像素值达到第九阈值的细胞作为所述CTC样类相似细胞;其中,所述第九阈值大于或等于所述第八阈值。
实际应用中,将初始图像信息中HE染色CTC细胞核颜色深蓝色甚至紫黑色(即像素值达到第八阈值)的细胞作为CTC类相似细胞;将HE染色CTC细胞核颜色呈深蓝色(即像素值达到第九阈值)的细胞作为CTC样相似细胞。
e)第五预设细胞形态特征,用于指示将所述初始图像信息中细胞核的核膜呈现凹凸不平,且核沟及核膜轮廓线刚性切入核内成生姜块状的细胞作为CTC类相似细胞;将细胞核轮廓呈现不规则类圆形,且核膜呈顺应性切入核内的轮廓线的细胞作为所述CTC样相似细胞。
需要说明的是,HE染色的CTC细胞核有凸凹不平的核膜,核沟及核膜轮廓线刚性切入核内成生姜块状,CTC样细胞核轮廓不顺滑呈不规则类圆形,核膜也有少量切入核内的轮廓线,并且CTC样细胞的细胞形态特征也符合上述CTC细胞形态特征a)-d)的至少一项,亚甲蓝染色也存在类似的形态特征。
上述病例CTC细胞形态特征及CTC样细胞形态特征不仅在训练集和验证集进行模型验证,在CTC细胞病理报告的后续病理活检或冰冻切片形态也进行了100例肺结节相同CTC病例队列的CTC细胞病理与组织病理间的前瞻性病理验证比较,获得高于95%以上的吻合率。
在上述实施方式中,通过预设CTC细胞形态特征,确定了CTC细胞共同的形态和相同生物学属性特点,基于该预设CTC细胞形态特征筛选出的目标细胞图像可以应用于AI模型学习领域,即利用预设CTC细胞形态特征筛选细胞样本,用于对初始CTC细胞筛查模型进行训练,进而可以提高CTC细胞筛查模型的筛查精度。
可选地,在本发明实施例一种可能的实现方式中,将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息,具体可以通过以下步骤实现:
步骤1)、将所述初始图像信息输入所述细胞形态检测模型,得到所述细胞形态检测模型输出的包括所述目标细胞的目标细胞图像信息;
步骤2)、将所述目标细胞图像信息输入所述CTC细胞筛查模型,得到所述CTC细胞筛查模型输出的所述目标图像信息。
在本实施例中,细胞形态检测模型例如可以是image Pro plus 6.0,将初始图像信息输入至细胞形态检测模型,即可得到细胞形态检测模型输出的包括目标细胞的目标细胞图像信息。
然后将目标细胞图像信息输入CTC细胞筛查模型,得到CTC细胞筛查模型输出的目标图像信息,其中,目标图像信息中包括CTC细胞图像。
进一步地,可以将CTC细胞筛查模型输出的目标图像信息与细胞形态检测模型输出的包括目标细胞的目标细胞图像信息进行对比,将相同的细胞图像作为最终的CTC细胞图像,可以进一步提高CTC细胞筛查的准确率。
在实际应用中,CTC细胞筛查模型可以是RCNN模型,或Fast-RCNN模型。
RCNN筛查CTC细胞的原理如下:
首先,鉴于循环肿瘤细胞仍然是肿瘤细胞图像形态学范畴,RCNN智能图像分析一般原理仍然适宜应用,只是研发思路和应用需求关键点各有不同,如果将智能图像分析RCNN进入最基本的临床病理应用,必须需要在平台系统上进行并协作病理医师运作。
具体包括以下步骤:
1、首先要获得光学显微镜下的高分辨率细胞图像,有时需要多层焦距的图像备选出最清晰图像层存储。
2、转化为灰图,二值化处理。
3、合并可疑CTC样细胞区域备用。
4、基于网络模型如ZF改进和提出网络结构,结构包括CTC和CTC样细胞(CTC-LC)分类,检测,存储,候诊,报告等。
5、将全分辨率图像分成一定大小的样例图像,进一步分割成图像块,通过CNN检测出阳、阴性样本,供专业经验鲁棒性好的病理主任医师进行图像标注,再建立样本数据库。
6、在基础神经卷积网络之上,构建区域建议网络(Regionl Proposal Network,RPN),以便进行预选区域提取。
7、完成感兴趣区域池化层(Region of Interest,ROI),将相应的预选区域的特征,整合为特定长度向量,提供给Softmax分类层。
8、ROI也将预选区特征传递给边界框回归层,获得最终目标类别和精确目标边界框位置,实现对循环肿瘤细胞CTC和循环肿瘤细胞样细胞CTC-LC的精准识别和检测。
在上述实施方式中,通过细胞形态检测模型对CTC细胞的大小、细胞核染色深浅和核异形的核膜曲度程度进行经典细胞学分析,可以对所有滤膜片上的肿瘤细胞经典的肿瘤形态特征进行把控和筛查,以免由于神经网络卷积在训练集不足的早期阶段疏漏CTC细胞;进一步地,CTC细胞筛查模型对所有滤膜片上的CTC细胞、CTC样细胞等进行全面精准的自动学习性筛查,记忆,储存和分类,进而可以提高CTC细胞的检测精度。
通过细胞形态检测模型以及CTC细胞筛查模型相结合的方式进行CTC细胞筛查,减少了CTC细胞的遗漏和误判,提高了筛查CTC细胞的准确度。
可选地,所述CTC细胞筛查模型通过以下方式得到,具体包括步骤[1]-步骤[3]:
步骤[1]、获取初始训练样本集;所述训练样本集包括多种细胞类型的细胞样本;
步骤[2]、从所述图像采集设备获取符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本,并添加至所述初始训练样本集,生成所述目标细胞样本集;
实际应用中,CTC细胞图像样本是具有多年CTC诊疗经验的高级职称病理专家进行标注的。
步骤[3]、利用所述目标细胞样本集对所述初始CTC细胞筛查模型进行训练,并利用验证集对所述初始CTC细胞筛查模型进行验证,直至所述初始CTC细胞筛查模型收敛,得到所述CTC细胞筛查模型。
在本实施例中,初始训练样本集中包括CTC细胞样本、CTC样细胞样本、内皮细胞或上皮细胞等肿瘤或正常细胞样本。
每一种类型的细胞样本都对应有标签信息,实际应用中,可以参照WHO病理指南的肿瘤细胞形态,由日常进行CTC细胞诊断实践经验病理主任医师对各类型的细胞样本进行打标,打标标注规则例如为:针对CTC细胞、CTC样细胞、血液细胞、正常细胞,分别加上红框,红圈,蓝圈,蓝框四种标注符号。
需要说明的是,初始训练样本集中只有小部分训练样本,例如10例肺结节有100个具有细胞样本的病例图,对应有约为500个标注框。利用初始训练样本集对初始CTC细胞筛查模型进行训练;小训练集就能够达到高敏感度和特异性的目标细胞标注、训练模型和算法,才会定型为本筛查系统的智能AI模型。
然后从图像采集设备获取符合预设CTC细胞和CTC样细胞形态特征的100例肺结节样本,并添加至初始CTC细胞样本集,从而对初始训练样本集进行扩充,生成目标CTC细胞样本集,目标CTC细胞样本集例如包括1000个具有细胞样本的肿瘤病例图,每个图由病理主任医师针对CTC细胞、CTC样细胞、血液细胞、正常细胞,分别加上红框,红圈,蓝圈,蓝框四种标注符号,对多目标按照上法标注,共有约5000-20000个以上的标注框,然后再加大3倍病例量进行验证。
利用目标CTC细胞样本集对初始CTC细胞筛查模型进行训练,直至初始CTC细胞筛查模型收敛,即可得到CTC细胞筛查模型。
需要说明的是,以CTC细胞筛查模型是Fast-RCNN模型为例,Fast-RCNN模型的训练过程主要包括以下步骤:
1)首先,Conv layers-Region Proposal Networks训练,通过softmax判断anchors,利用bounding box regression修正anchors获得精确的proposals-Roi Pooling收集输入、提取feature maps和proposals,送入后续全连接层--Classification计算proposal的类别,同时再次bounding box regression获得检测框最终的精确位置。
已经训练好的model(如VGG_CNN_M_1024,VGG,ZF)的基础上继续进行深度学习训练,在已经训练好的model上,训练RPN网络,对应stage1_rpn_train.pt;
2)利用步骤1中训练好的RPN网络,收集proposals,对应rpn_test.pt;
3)第一次训练Fast RCNN网络,对应stage1_fast_rcnn_train.pt;
4)第二训练RPN网络,对应stage2_rpn_train.pt;
5)再次利用步骤4中训练好的RPN网络,收集proposals,对应rpn_test.pt;
6)第二次训练Fast RCNN网络,对应stage2_fast_rcnn_train.pt;
7)最后完成Faster RCNN训练,保存的pickle文件,获取proposals与foregroundprobability。
从data层输入网络--proposals作为rois传入网络--foregroundprobability作为bbox_inside_weights传入网络--通过caffe blob大小对比,计算出bbox_outside_weights(即λ)--训练最后的识别softmax与最终的bounding regression。
通过上述小样本数据量的训练,不断阶段性调整参数获得AI训练集与人工经验标注CTC筛查结果高达95%的吻合率后,进一步扩大AI的CTC验证集,新纳入300例肺癌CTC亚甲蓝染色图像作为上述训练集算法模型的验证集,并再次不断优化RCNN参数,不断收敛,使得AI算法在300例前瞻性验证集稳定性也达到95%吻合率以上
表1本发明提供的CTC报告和临床手术病例病理诊断部分病例截面对照表。如表1所示,CTC病理细胞报告和后期手术病理诊断恶性肿瘤验证比较符合率达到95%以上。
表1
在上述实施方式中,由于CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练得到的,目标细胞样本集中包括符合预设CTC细胞形态特征和CTC样细胞形态特征的细胞样本,因此CTC细胞筛查模型充分学习了预设CTC细胞形态特征和预设CTC样细胞形态特征,进而利用CTC细胞筛查模型,可以从初始图像信息的各目标细胞中确定出包括CTC细胞和CTC样细胞的目标图像信息。
可选地,在所述得到所述第一模型组输出的目标图像信息之后,还可以生成用于反映包括体检患者在内的实时健康和疾病状态的临床和影像多学科综合临床病理评估报告,具体可以通过以下步骤实现:
基于所述患者的临床病史信息及所述目标图像信息,生成针对所述患者的CTC图像的多学科综合临床病理评估报告;所述CTC图像的多学科综合临床病理评估报告用于反映所述患者的实时疾病和健康状态。
在实际应用中,在执行主体中安装有CTC图基检视筛查多学科综合评估软件,基于患者的临床病史信息,例如年龄,吸烟,个人癌症史,癌症家族史、影像学肿瘤灶、占位、结节性状以及CTC目标图像信息等风险要素等给予各学科不同的权重数据,最后乘以系数使风险评分数据达到百分率,利用CTC图基检视筛查多学科综合软件进行分析处理,即可生成针对患者的多学科综合临床病理评估报告。综合临床病理评估报告又称影像和临床多学科综合MDT临床病理评估报告。
在本发明实施例一种可能的实现方式中,在对患者的待筛查体液完成CTC细胞筛查分析后,需要立即处理成CTC微量核酸液体置放EP管封膜冷冻保存,以免除单个CTC细胞的氧化分解即使在干粉情况下也可再次保质量利用。
在本发明实施例一种可能的实现方式中,在对患者的待筛查体液完成CTC细胞筛查分析后,及时转移滤膜所有的CTC细胞,进入EP管进行单细胞分离和消化酶处理,利用微量核酸真空离心仪进行微量核酸浓缩,提取核酸达到基因测试工作浓度要求,作为基因组测序、定量PCR或全基因组芯片等下游检测流程。
实际应用中,需要将滤膜片载有CTC细胞一起放入提取核酸提取系统,获取微量核酸20ul-50ul,放入微量核酸真空离心仪进行一次或二次浓缩,形成需要的体积和浓度,即可符合下游基因测试质量标准进入测序、芯片和PCR基因检测。
可选地,对CTC微量核酸浓缩处理,也可采取手工方法,将20ul洗脱液放入1.5muEP管,不换管开盖,盖子黏贴在空调叶片上,设定17-20度以下环境下风冷浓缩4-6小时以上,可获得小于7-ul-10ul浓缩的CTC微量核酸液。
图2是本发明提供的基于AI的CTC细胞和CTC样细胞的筛查方法的流程示意图之二,参见图2所示,具体包括步骤201至步骤204:
步骤201、从图像采集设备获取患者的待筛查体液对应的初始图像信息;其中,待筛查体液是放置在滤膜载玻片上,经过HE染色或亚甲蓝染色后得到的,初始图像信息中包括多个细胞图像。
实际应用中,可以采用物理方式获取获取患者的待筛查体液,例如通过滤膜技术或/和微流体技术,将CTC细胞富集后转移到滤膜上
也可以采用化学方法,获取免疫抗原化学反应原理富集的CTC细胞。
步骤202、将初始图像信息输入细胞形态检测模型,得到细胞形态检测模型输出的包括目标细胞的目标细胞图像信息;其中,细胞形态检测模型用于检测初始图像信息中符合预设细胞形态特征的目标细胞图像。
具体地,滤膜载玻片上设置有多个直径相等的圆形滤孔,所述目标细胞包括符合预设CTC细胞形态特征的CTC类相似细胞、符合预设CTC样细胞形态特征的CTC样类相似细胞、恶性癌细胞及肉瘤细胞;所述预设CTC细胞形态特征包括以下至少一项:
a)第一预设细胞形态特征,用于指示将所述初始图像信息中直径超过所述滤孔第一阈值的细胞作为所述CTC类相似细胞,将直径超过所述滤孔第二阈值的细胞作为所述CTC样类相似细胞,将直径超过所述滤孔第三阈值的细胞作为所述恶性癌细胞或所述肉瘤细胞;其中,所述第一阈值大于或等于所述第二阈值,所述第三阈值大于所述第一阈值;
b)第二预设细胞形态特征,用于指示将所述初始图像信息中直径超过滤膜孔缘间距第四阈值的细胞作为所述CTC类相似细胞,将所述初始图像信息中直径超过滤膜孔缘间距第五阈值的细胞作为所述CTC样类相似细胞;其中,所述第四阈值大于或等于所述第五阈值;
c)第三预设细胞形态特征,用于指示将所述初始图像信息中体积超过正常淋巴细胞体积第六阈值的细胞作为所述CTC类相似细胞,将体积超过正常淋巴细胞体积第七阈值的细胞作为所述CTC样类相似细胞;其中,所述第六阈值大于或等于所述第七阈值;
d)第四预设细胞形态特征,用于指示将所述初始图像信息中细胞核的像素值达到第八阈值的细胞作为所述CTC类相似细胞,将细胞核的像素值达到第九阈值的细胞作为所述CTC样类相似细胞;其中,所述第九阈值大于或等于所述第八阈值;
e)第五预设细胞形态特征,用于指示将初始图像信息中细胞核的核膜呈现凹凸不平,且核沟及核膜轮廓线刚性切入核内成生姜块状的细胞作为CTC类相似细胞;将细胞核轮廓呈现不规则类圆形,且核膜呈顺应性切入核内的轮廓线的细胞作为CTC样类相似细胞。
步骤203、将目标细胞图像信息输入CTC细胞筛查模型,得到CTC细胞筛查模型输出的目标图像信息;其中,目标图像信息中包括CTC细胞图像及CTC样细胞图像。
具体地,CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,目标细胞样本集中包括符合预设CTC细胞形态特征和预设CTC样细胞形态特征的细胞样本。
CTC细胞筛查模型是通过以下方式训练得到:
1)获取初始训练样本集;其中,训练样本集包括多种细胞类型的细胞样本。
2)从图像采集设备获取符合预设CTC细胞形态特征和预设CTC样细胞形态特征的细胞样本,并添加至初始训练样本集,生成目标细胞样本集。
3)利用目标细胞样本集对初始CTC细胞筛查模型进行训练,初步达到和专家人工标注结果吻合率95%以上;
4)加入比训练集3倍更多的同病种验证集病例,非标记数据无监督条件模式提高鲁棒性进行上述训练集算法验证,不断调整优化参数和新病例机器学习,直至初始CTC细胞筛查模型收敛,得到CTC细胞筛查模型。
5)将此CTC的AI筛查模型融入CTC图基筛查多学科综合评分系统,该系统纳入影像和临床信息结合CTC或CTC样细胞筛查结果设定临床诊疗验证的算法公式获得评分结果。评分结果提供给病理医师根据诊断指南规范分析,人机对话后签发报告,或线上线下会诊或存储,或指示进入下一步操作如术中冰冻活检验证或进行全基因组检测程序定性诊断和分析肿瘤来源,靶向药物等应用和疗效观察预测。
上述过程中,CTC细胞图像可在光镜下自动扫描无级放大,也可手动视野不同物镜倍数光镜下观察CTC染色膜片,评分系统软件协助专业医师筛查出由高到低评分的CTC图像排列显示,
6)CTC图基检视多学科综合评分系统的算法和意义
小于60分患者自定正常体检或CTC复查,
大于72分需要及时临床诊疗处理,
61-71分咨询临床病理医生复查意见
超过100分按照100分计算。
CTC评分=CTC(A或B或C)+影像(D或E或F)+临床(G或H或I)x 0.6
其中,A-I为临床CTC诊疗依据学科权重分别赋分后实验随访后数据。
步骤204、基于患者的临床病史信息及目标图像信息,生成针对患者的多学科综合临床病理评估报告;其中,多学科综合临床病理评估报告用于反映患者的实施健康或疾病状态,协助医生通过人机对话应用多学科综合诊疗做出评分和分析报告,以便存储、会诊或下游全基因组定性诊断和分析CTC器官来源,提供靶向药物和预测。
本发明提供的基于AI的CTC细胞和CTC样细胞的筛查方法,通过对放置在滤膜载玻片上的包括体检在内的患者的待筛查体液细胞进行HE或亚甲蓝染色,可以使光镜CCD针对CTC筛查图像采集设备采集的初始图像信息进行初始筛查,从HE染色的待筛查体液细胞中初步识别出CTC细胞图像、CTC样细胞图像和高度可疑的其他细胞图像;然后将初始图像信息输入第一模型组,利用细胞形态检测模型检测出初始图像信息中符合预设CTC细胞形态特征及预设CTC样细胞形态特征的目标细胞图像;由于CTC细胞筛查模型是基于目标CTC细胞样本集对初始CTC细胞筛查模型进行训练和无监督验证得到的,目标CTC细胞样本集中包括符合预设CTC细胞形态特征和CTC样细胞形态特征的细胞样本,因此CTC细胞筛查模型充分学习了病理专业预设CTC细胞诊断形态特征,进而利用CTC细胞筛查机器学习模型,可以从初始图像信息的各目标细胞中确定出包括CTC细胞及CTC样细胞的目标图像信息,通过细胞形态图文检测模型以及CTC细胞筛查机器学习模型相结合的方式进行CTC细胞智能筛查,其社会经济和科技价值是:开拓了一种全新的医疗样本类型和肿瘤筛查模式和CT后筛查的新项目应用,研发了低成本国产设备系统并优于国外昂贵的同类产品的诊断效能,智能应用高科技手段为数十种肿瘤早筛和辅助诊断协助医师专业诊断进入实用阶段,发挥和动员了存量医师的专业价值,提高了医疗和体检筛查CTC细胞的准确度,减少了临床医学CTC细胞的遗漏和误判顾虑,联袂CT和B超建立了更精准的影声后细胞筛查体系,其高安全性可以进入保险行业的医疗产品,控制和减少了医疗风险,大大推进了中心专业管理下的基层单位的普及应用,降低国家早癌筛查大量的专业医师人力成本,推广普及后将大大增加早期肿瘤诊断率和临床治愈率,减少晚期肿瘤的诊疗率和死亡率。
下面对本发明提供的基于AI的CTC细胞和CTC样细胞的筛查装置进行描述,下文描述的基于AI的CTC细胞和CTC样细胞的筛查装置与上文描述的基于AI的CTC细胞和CTC样细胞的筛查方法可相互对应参照。图3是本发明提供的基于AI的CTC细胞和CTC样细胞的筛查装置的结构示意图,如图3所示,该CTC细胞和CTC样细胞的筛查装置300应用于CTC筛查设备,包括:第一获取模块301、输入模块302,其中:
第一获取模块301,用于从图像采集设备获取患者的待筛查体液细胞对应的初始图像信息;所述待筛查体液细胞是放置在滤膜载玻片上,经过苏木素伊红HE或亚甲蓝染色后得到的;所述初始图像信息中包括多个细胞图像;
输入模块302,用于将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括循环肿瘤细胞CTC图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设形态特征的目标细胞图像,所述预设形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
本发明提供的基于AI的CTC细胞和CTC样细胞的筛查装置,通过对放置在滤膜载玻片上的患者的待筛查体液进行HE染色,可以使CTC筛查设备对图像采集设备采集的初始图像信息进行初始筛查,从HE染色的待筛查体液中初步识别出CTC细胞图像、CTC样细胞图像和高度可疑的其他细胞图像;然后将初始图像信息输入第一模型组,利用细胞形态检测模型检测出初始图像信息中符合预设CTC细胞形态特征及预设CTC样细胞形态特征的目标细胞图像;由于CTC细胞筛查模型是基于目标CTC细胞样本集对初始CTC细胞筛查模型进行训练和验证得到的,目标CTC细胞样本集中包括符合预设CTC细胞形态特征和CTC样细胞形态特征的细胞样本,因此CTC细胞筛查模型充分学习了病理专业预设CTC细胞诊断形态特征,进而利用CTC细胞筛查机器学习模型进行无标注非监督验证,完成验证后可以从初始图像信息的各目标细胞中确定出包括CTC细胞及CTC样细胞的目标图像信息,通过细胞形态图文检测模型以及CTC细胞筛查机器学习模型相结合的方式进行CTC细胞智能筛查,减少了CTC细胞和CTC样细胞的遗漏和误判,提高了筛查CTC细胞和CTC样细胞的准确度。
可选地,所述滤膜载玻片上设置有多个直径相等的圆形滤孔,所述目标细胞包括符合所述预设CTC细胞形态特征的CTC类相似细胞、符合所述预设CTC样细胞形态特征的CTC样类相似细胞、恶性癌细胞及肉瘤细胞;所述预设细胞形态特征包括以下至少一项:
第一预设细胞形态特征,用于指示将所述初始图像信息中直径超过所述滤孔第一阈值的细胞作为所述CTC类相似细胞,将直径超过所述滤孔第二阈值的细胞作为所述CTC样类相似细胞,将直径超过所述滤孔第三阈值的细胞作为所述恶性癌细胞或所述肉瘤细胞;其中,所述第一阈值大于或等于所述第二阈值,所述第三阈值大于所述第一阈值;
第二预设细胞形态特征,用于指示将所述初始图像信息中直径超过滤膜孔缘间距第四阈值的细胞作为所述CTC类相似细胞,将所述初始图像信息中直径超过滤膜孔缘间距第五阈值的细胞作为所述CTC样类相似细胞;其中,所述第四阈值大于或等于所述第五阈值;
第三预设细胞形态特征,用于指示将所述初始图像信息中体积超过正常淋巴细胞体积第六阈值的细胞作为所述CTC类相似细胞,将体积超过正常淋巴细胞体积第七阈值的细胞作为所述CTC样类相似细胞;其中,所述第六阈值大于或等于所述第七阈值;
第四预设细胞形态特征,用于指示将所述初始图像信息中细胞核的像素值达到第八阈值的细胞作为所述CTC类相似细胞,将细胞核的像素值达到第九阈值的细胞作为所述CTC样类相似细胞;其中,所述第九阈值大于或等于所述第八阈值;
第五预设细胞形态特征,用于指示将所述初始图像信息中细胞核的核膜呈现凹凸不平,且核沟及核膜轮廓线刚性切入核内成生姜块状的细胞作为CTC类相似细胞;将细胞核轮廓呈现不规则类圆形,且核膜呈顺应性切入核内的轮廓线的细胞作为所述CTC样类相似细胞。
可选地,输入模块302,进一步用于:
将所述初始图像信息输入所述细胞形态检测模型,得到所述细胞形态检测模型输出的包括所述目标细胞的目标细胞图像信息;
将所述目标细胞图像信息输入所述CTC细胞筛查模型,得到所述CTC细胞筛查模型输出的所述目标图像信息。
可选地,所述CTC细胞筛查模型通过以下方式得到:
获取初始训练样本集;所述训练样本集包括多种细胞类型的细胞样本;
从所述图像采集设备获取符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本,并添加至所述初始训练样本集,生成所述目标细胞样本集;
利用所述目标细胞样本集对所述初始CTC细胞筛查模型进行训练,并利用验证集对所述初始CTC细胞筛查模型进行验证,直至所述初始CTC细胞筛查模型收敛,得到所述CTC细胞筛查模型。
可选地,所述装置还包括:
生成模块,用于基于所述患者的临床病史信息及所述目标图像信息,生成针对所述患者的CTC图像的多学科综合临床病理评估报告;所述CTC图像的多学科综合临床病理评估报告用于反映所述患者的实时健康或疾病状态。
图4是本发明提供的电子设备的结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(CommunicationsInterface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行基于AI的CTC细胞和CTC样细胞的筛查方法,该方法包括:从图像采集设备获取患者的待筛查体液对应的初始图像信息;所述待筛查体液是放置在滤膜载玻片上,经过苏木素伊红HE染色或亚甲蓝染色后得到的;所述初始图像信息中包括多个细胞图像;将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括CTC细胞图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设细胞形态特征的目标细胞图像,所述预设细胞形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或移动电子设备如手机图像存储、解读解压设备软件执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟、手机移动存储器或图像解读软件或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种基于AI的CTC细胞和CTC样细胞的筛查系统,所述系统包括:图像采集设备及CTC筛查设备;
所述图像采集设备,用于采集患者的待筛查体液对应的初始图像信息;所述待筛查体液是放置在滤膜载玻片上,经过苏木素伊红HE染色或亚甲蓝染色后得到的;所述初始图像信息中包括多个细胞图像;
所述CTC筛查设备,用于从图像采集设备获取患者的待筛查体液对应的初始图像信息;将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括循环肿瘤细胞CTC图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设形态特征的目标细胞图像,所述预设形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于AI的CTC细胞和CTC样细胞的筛查方法,该方法包括:从图像采集设备获取患者的待筛查体液对应的初始图像信息;所述待筛查体液是放置在滤膜载玻片上,经过苏木素伊红HE染色或亚甲蓝染色后得到的;所述初始图像信息中包括多个细胞图像;将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括CTC细胞图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设细胞形态特征的目标细胞图像,所述预设细胞形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于AI的CTC细胞和CTC样细胞的筛查方法,该方法包括:从图像采集设备获取患者的待筛查体液对应的初始图像信息;所述待筛查体液是放置在滤膜载玻片上,经过苏木素伊红HE染色或亚甲蓝染色后得到的;所述初始图像信息中包括多个细胞图像;将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括CTC细胞图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设细胞形态特征的目标细胞图像,所述预设细胞形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,一个部件计算机单元或手机移动单元和软件,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或手机移动电子单元执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于AI的CTC细胞和CTC样细胞的筛查方法,其特征在于,应用于CTC筛查设备,包括:
从图像采集设备获取患者的待筛查体液细胞对应的初始图像信息;所述待筛查体液细胞是放置在滤膜载玻片上,经过苏木素伊红HE染色或亚甲蓝染色后得到的;所述初始图像信息中包括多个细胞图像;
将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括CTC细胞图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设细胞形态特征的目标细胞图像,所述预设细胞形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
2.根据权利要求1所述的基于AI的CTC细胞和CTC样细胞的筛查方法,其特征在于,所述滤膜载玻片上设置有多个直径相等的圆形滤孔,所述目标细胞包括符合所述预设CTC细胞形态特征的CTC类相似细胞、符合所述预设CTC样细胞形态特征的CTC样类相似细胞、恶性癌细胞及肉瘤细胞;所述预设细胞形态特征包括以下至少一项:
第一预设细胞形态特征,用于指示将所述初始图像信息中直径超过所述滤孔第一阈值的细胞作为所述CTC类相似细胞,将直径超过所述滤孔第二阈值的细胞作为所述CTC样类相似细胞,将直径超过所述滤孔第三阈值的细胞作为所述恶性癌细胞或所述肉瘤细胞;其中,所述第一阈值大于或等于所述第二阈值,所述第三阈值大于所述第一阈值;
第二预设细胞形态特征,用于指示将所述初始图像信息中直径超过滤膜孔缘间距第四阈值的细胞作为所述CTC类相似细胞,将所述初始图像信息中直径超过滤膜孔缘间距第五阈值的细胞作为所述CTC样类相似细胞;其中,所述第四阈值大于或等于所述第五阈值;
第三预设细胞形态特征,用于指示将所述初始图像信息中体积超过正常淋巴细胞体积第六阈值的细胞作为所述CTC类相似细胞,将体积超过正常淋巴细胞体积第七阈值的细胞作为所述CTC样类相似细胞;其中,所述第六阈值大于或等于所述第七阈值;
第四预设细胞形态特征,用于指示将所述初始图像信息中细胞核的像素值达到第八阈值的细胞作为所述CTC类相似细胞,将细胞核的像素值达到第九阈值的细胞作为所述CTC样类相似细胞;其中,所述第九阈值大于或等于所述第八阈值;
第五预设细胞形态特征,用于指示将所述初始图像信息中细胞核的核膜呈现凹凸不平,且核沟及核膜轮廓线刚性切入核内成生姜块状的细胞作为CTC类相似细胞;将细胞核轮廓呈现不规则类圆形,且核膜呈顺应性切入核内的轮廓线的细胞作为所述CTC样类相似细胞。
3.根据权利要求1所述的基于AI的CTC细胞和CTC样细胞的筛查方法,其特征在于,将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息,包括:
将所述初始图像信息输入所述细胞形态检测模型,得到所述细胞形态检测模型输出的包括所述目标细胞的目标细胞图像信息;
将所述目标细胞图像信息输入所述CTC细胞筛查模型,得到所述CTC细胞筛查模型输出的所述目标图像信息。
4.根据权利要求1至3中任一项所述的基于AI的CTC细胞和CTC样细胞的筛查方法,其特征在于,所述CTC细胞筛查模型通过以下方式得到:
获取初始训练样本集;所述训练样本集包括多种细胞类型的细胞样本;
从所述图像采集设备获取符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本,并添加至所述初始训练样本集,生成所述目标细胞样本集;
利用所述目标细胞样本集对所述初始CTC细胞筛查模型进行训练,并利用验证集对所述初始CTC细胞筛查模型进行验证,直至所述初始CTC细胞筛查模型收敛,得到所述CTC细胞筛查模型。
5.根据权利要求1至3中任一项所述的基于AI的CTC细胞和CTC样细胞的筛查方法,其特征在于,在所述得到所述第一模型组输出的目标图像信息之后,所述方法还包括:
基于所述患者的临床病史信息及所述目标图像信息,生成针对所述患者的CTC图像的多学科综合临床病理评估报告;所述CTC图像的多学科综合临床病理评估报告用于反映所述患者的实时健康或疾病状态。
6.一种基于AI的CTC细胞和CTC样细胞的筛查装置,其特征在于,应用于CTC筛查设备,包括:
第一获取模块,用于从图像采集设备获取患者的待筛查体液细胞对应的初始图像信息;所述待筛查体液细胞是放置在滤膜载玻片上,经过苏木素伊红HE或亚甲蓝染色后得到的;所述初始图像信息中包括多个细胞图像;
输入模块,用于将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括循环肿瘤细胞CTC图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设形态特征的目标细胞图像,所述预设形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
7.一种基于AI的CTC细胞和CTC样细胞的筛查系统,其特征在于,所述系统包括:图像采集设备及CTC筛查设备,所述图像采集设备为包括有CCD相机的光学显微镜;
所述图像采集设备,用于采集患者的待筛查体液细胞对应的初始图像信息;所述待筛查体液细胞是放置在滤膜载玻片上,经过苏木素伊红HE染色或亚甲蓝染色后得到的;所述初始图像信息中包括多个细胞图像;
所述循环肿瘤细胞筛查设备,用于从图像采集设备获取患者的待筛查体液细胞对应的初始图像信息;将所述初始图像信息输入第一模型组,得到所述第一模型组输出的目标图像信息;所述目标图像信息中包括循环肿瘤细胞CTC图像和CTC样细胞图像;所述第一模型组包括细胞形态检测模型和CTC细胞筛查模型,所述细胞形态检测模型用于检测所述初始图像信息中符合预设形态特征的目标细胞图像,所述预设形态特征包括预设CTC细胞形态特征和预设CTC样细胞形态特征;所述CTC细胞筛查模型是基于目标细胞样本集对初始CTC细胞筛查模型进行训练和验证至收敛后得到的,所述目标细胞样本集中包括符合所述预设CTC细胞形态特征和所述预设CTC样细胞形态特征的细胞样本。
8.一种CTC筛查设备,包括移动电子设备及非移动电子设备,所述CTC筛查设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述基于AI的CTC细胞和CTC样细胞的筛查方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于AI的CTC细胞和CTC样细胞的筛查方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于AI的CTC细胞和CTC样细胞的筛查方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310508589.5A CN116757998A (zh) | 2023-05-06 | 2023-05-06 | 基于ai的ctc细胞和ctc样细胞的筛查方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310508589.5A CN116757998A (zh) | 2023-05-06 | 2023-05-06 | 基于ai的ctc细胞和ctc样细胞的筛查方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116757998A true CN116757998A (zh) | 2023-09-15 |
Family
ID=87957891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310508589.5A Pending CN116757998A (zh) | 2023-05-06 | 2023-05-06 | 基于ai的ctc细胞和ctc样细胞的筛查方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116757998A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117288659A (zh) * | 2023-11-24 | 2023-12-26 | 深圳市前海高新国际医疗管理有限公司 | 基于ai的肿瘤干细胞与正常细胞的形态学分析系统 |
-
2023
- 2023-05-06 CN CN202310508589.5A patent/CN116757998A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117288659A (zh) * | 2023-11-24 | 2023-12-26 | 深圳市前海高新国际医疗管理有限公司 | 基于ai的肿瘤干细胞与正常细胞的形态学分析系统 |
CN117288659B (zh) * | 2023-11-24 | 2024-02-13 | 深圳市前海高新国际医疗管理有限公司 | 基于ai的肿瘤干细胞与正常细胞的形态学分析系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3486836B1 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
US20230127698A1 (en) | Automated stereology for determining tissue characteristics | |
CN109903284B (zh) | 一种her2免疫组化图像自动判别方法及系统 | |
CN107748256B (zh) | 一种循环肿瘤细胞的液体活检检测方法 | |
EP3882851A1 (en) | Method for co-expression analysis | |
US20220351860A1 (en) | Federated learning system for training machine learning algorithms and maintaining patient privacy | |
JP7422235B2 (ja) | 腫瘍検出および分析を支援するための非腫瘍セグメンテーション | |
US20230186659A1 (en) | Machine learning models for cell localization and classification learned using repel coding | |
WO2012041333A1 (en) | Automated imaging, detection and grading of objects in cytological samples | |
CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
CN116757998A (zh) | 基于ai的ctc细胞和ctc样细胞的筛查方法及装置 | |
CN114782372B (zh) | Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统 | |
CN115439398A (zh) | 用于在图像数据中检测显微检查对象的方法和装置 | |
CN114387596A (zh) | 细胞病理涂片自动判读系统 | |
US20240079116A1 (en) | Automated segmentation of artifacts in histopathology images | |
CN113902669A (zh) | 一种尿脱落细胞液基涂片的阅片方法及系统 | |
TW201913565A (zh) | 胚胎影像評價方法及系統 | |
CN112819042A (zh) | 一种食管鳞状上皮异型增生图像的处理方法、系统及介质 | |
CN113344868B (zh) | 一种基于混合转移学习的无标记细胞分类筛查系统 | |
CN115861719B (zh) | 一种可迁移细胞识别工具 | |
Li et al. | A Deep Learning based Method for Microscopic Object Localization and Classification | |
US20230291992A1 (en) | Method and system for event-based imaging | |
Santamaria-Pang et al. | Automated phenotyping via cell auto training (CAT) on the Cell DIVE platform | |
CN117831634A (zh) | 一种组织培养分析方法、系统和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |