CN113935990A - 一种基于人工智能的胰腺占位eus-fna现场快速细胞病理学评估系统 - Google Patents
一种基于人工智能的胰腺占位eus-fna现场快速细胞病理学评估系统 Download PDFInfo
- Publication number
- CN113935990A CN113935990A CN202111426605.3A CN202111426605A CN113935990A CN 113935990 A CN113935990 A CN 113935990A CN 202111426605 A CN202111426605 A CN 202111426605A CN 113935990 A CN113935990 A CN 113935990A
- Authority
- CN
- China
- Prior art keywords
- eus
- fna
- cytopathology
- artificial intelligence
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 32
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 29
- 210000000496 pancreas Anatomy 0.000 title claims abstract description 8
- 230000007170 pathology Effects 0.000 title abstract description 13
- 238000003745 diagnosis Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000001680 brushing effect Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 9
- 210000004027 cell Anatomy 0.000 claims description 74
- 206010028980 Neoplasm Diseases 0.000 claims description 43
- 201000011510 cancer Diseases 0.000 claims description 39
- 238000005070 sampling Methods 0.000 claims description 22
- 238000012795 verification Methods 0.000 claims description 14
- 230000001575 pathological effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000013136 deep learning model Methods 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 210000004881 tumor cell Anatomy 0.000 claims description 5
- 238000011161 development Methods 0.000 claims description 4
- 230000018109 developmental process Effects 0.000 claims description 4
- 238000000844 transformation Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 2
- 238000011282 treatment Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000003759 clinical diagnosis Methods 0.000 abstract description 2
- 238000013210 evaluation model Methods 0.000 abstract description 2
- 201000008129 pancreatic ductal adenocarcinoma Diseases 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 241000220317 Rosa Species 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 208000016222 Pancreatic disease Diseases 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 206010008342 Cervix carcinoma Diseases 0.000 description 3
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 3
- 201000010881 cervical cancer Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000002380 cytological effect Effects 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 230000001079 digestive effect Effects 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010197 meta-analysis Methods 0.000 description 2
- 208000024691 pancreas disease Diseases 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 201000002528 pancreatic cancer Diseases 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000012335 pathological evaluation Methods 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于人工智能的胰腺占位EUS‑FNA现场快速细胞病理学评估系统，利用人工智能对大量由细胞病理医师标注的细胞病理图片进行深度学习，经过学习的计算机人工智能模型可以瞬间完成EUS‑FNA细胞刷片的快速病理评估。本发明开发了胰腺细胞病理学评估模型，用于胰腺占位EUS‑FNA操作过程，辅助内镜医生对EUS‑FNA细胞刷片进行现场快速病理评估，提高EUS‑FNA的样本满意程度和诊断效能，减少穿刺次数及并发症的发生率，优化临床诊疗流程。
Description
技术领域
本发明涉及病理学辅助系统领域，具体涉及一种基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统。
背景技术
胰腺疾病的发病率有逐渐上升的趋势，已成为全国范围内严重危害人民身体健康和生命的主要病种之一，是当今国内外研究的难点与热点。其中胰腺导管腺癌(pancreaticductal adenocarcinoma，PDAC)是一种临床表现隐匿、发展迅速、预后极差的消化系统恶性肿瘤。2015年数据显示，我国PDAC发病率已上升至第6位，死亡率上升至第9位，美国研究数据表明，2030年PDAC将成为死亡率第二的肿瘤。大多数患者就诊时已失去手术机会，5年总生存率仅为7％-8％，需要放化疗等辅助治疗手段改善患者症状和延长患者生存期，而早期局限性PDAC 5年生存率可提高至37.4％。不论是PDAC的早期诊断，还是晚期PDAC治疗策略的制定，PDAC的病理学诊断都贯穿其中，发挥着至关重要的作用。超声内镜引导下细针穿刺抽吸术(Endoscopic ultrasound guided fine-needle aspiration,EUS-FNA)是在内镜超声引导下对病灶进行细针穿刺，并获得细胞和组织标本的活检方法，有着近距离穿刺及高分辨率的优势，相比其它影像学方法(例如CT或B超)引导的细针穿刺术，有着穿刺路径更短、穿刺更加安全、对周围组织损伤小及成功率高等特点。自1992年Vilmann等首次报道以来，EUS-FNA已被广泛应用于胰腺病变的病理获取，因其较高的敏感度(78％-95％)、特异度(75％-100％)、阳性预测值(98％-100％)、阴性预测值(46％-80％)、诊断准确率(78％-95％)和较低的并发症风险(0-2％)而被认为胰腺疾病“近乎完美的诊断方法”。《2019年美国国立综合癌症网络胰腺癌临床实践指南》指出，EUS-FNA已取代经皮穿刺活检成为胰腺病变主要的病理获取方式。
虽然EUS-FNA被认为胰腺疾病“近乎完美的诊断方法”，EUS-FNA的诊断效能受多种因素的影响：①穿刺病变：如病变的位置、大小以及性质；②穿刺设备：如穿刺针的类型、穿刺针的型号；③穿刺方法：如有冰锥快速提插法、扇面穿刺法以及湿吸法；④穿刺次数；⑤穿刺医生的操作水平及经验；⑥穿刺标本的处理以及是否开展现场细胞病理评估。因此，既往文献报道显示，EUS-FNA的假阴性率可达20％-40％，如何提高EUS-FNA的诊断效能目前已成为国内外研究的热点。细胞病理医师实施现场细胞病理学评估(ROSE，Rapid On-SiteEvaluation)可实时评估样本质量、优化取样方案并做出倾向诊断，被认为是提高EUS-FNA诊断效能的有效措施，对临床决策具有积极影响。既往研究证实，细胞病理医师实施的ROSE可减少10-18％的不满意样本，并将EUS-FNA的诊断率提升7％-40％。Julio等一项研究共纳入182例接受EUS-FNA的胰腺实性占位患者，其中95例(52.2％)患者的操作过程由病理医师进行现场评估，结果显示，ROSE可显著减少穿刺次数和不满意样本数量，并且提高EUS-FNA诊断恶性肿瘤的敏感性和总体准确率。Klapman等报道的同一个超声内镜医师在不同中心实施EUS-FNA的数据同样引人注意，病理医师在场的中心样本满意率和诊断准确率更高，而且穿刺次数更少。另外，一项纳入70项研究的系统回顾和荟萃分析显示，ROSE将胰腺实性占位EUS-FNA的样本满意率提升了3.5％，并且可以平衡穿刺次数和样本满意率之间的关系。Schmidt等进行的风险-效益分析同样显示，ROSE可在保证穿刺样本量的同时，减少EUS-FNA的穿刺次数。Hebert-Magee等纳入34项研究(3644例患者)的荟萃分析证实，ROSE是影响EUS-FNA诊断准确率的关键因素。由于细胞病理医师的短缺及人力成本考量，国内外目前仅有极少数单位有条件常规开展，因此，提高内镜医师的现场细胞病理评估能力具有重要价值。本项目拟建立基于人工智能技术对胰腺EUS-FNA现场快速细胞病理评估系统，辅助内镜医师实施现场快速细胞病理评估，对于摆脱这一困境具有深远的意义，且在全国范围内具有广泛的推广价值。
近年来，以深度神经网络为核心的人工智能技术(Artificial Intelligence,AI)在多个应用领域成绩斐然。近期一些研究成果表明，计算机通过深度神经网络算法，基于大规模数据集训练的人工智能模型可以在许多应用中取得接近甚至超过人类的表现，特别是在计算机视觉和图像处理方面，基于深度卷积神经网络算法建立的深度神经网络模型获得了前所未有的成功。通过在临床专家标注的大规模的医学影像数据集进行训练，深度卷积神经网络能够拟合人类最优秀专家的诊断经验，从而取得了接近甚至超越人类专家的表现。在乳腺癌X射线诊断和肺小结节CT诊断方面，人工智能技术都取得了可媲美人类专家的诊断准确率。在宫颈癌、乳腺癌、结肠癌及胃癌等肿瘤的诊断、分级以及预后等方面，人工智能病理技术同样取得了显著成果。近年来，人工智能在细胞病理诊断中的应用逐渐增多，包括宫颈癌细胞学筛查和乳腺穿刺细胞学等方面，Song等提出了基于超像素和CNN的分割方法用于宫颈癌的细胞学筛查，结果显示检测其精度达94.5％。作为细胞病理图像的重要组成部分，EUS-FNA细胞病理图片的智能化将有助于摆脱我国细胞病理人才严重不足的困境，辅助内镜医师提高EUS-FNA的诊断准确率，使得广大患者受益，并且这一系统开发具有临床推广的潜能。
目前人工智能在消化内镜领域的研究主要集中在消化内镜质量控制和早期肿瘤诊断方面，而在EUS-FNA操作现场辅助快速细胞病理评估的研究尚无专利。在EUS-FNA操作过程中，首先使用彩色多普勒功能显示血管声像图，避开穿刺部位的血管，选择最佳穿刺路径，经内镜活检孔道插入穿刺针，将穿刺针刺入病灶内，负压状态下在病灶内提插数次后退出穿刺针，插入针芯，推出组织，再以空气清理针道。将穿刺得到的标本进行处理后送检病理科。临床工作中，内镜医师需要根据自身经验判断何时中止操作，由于常规无法得到现场病理的实时反馈，可能在没有获得满意样本的情况下结束操作或在获得满意样本的情况下继续穿刺，从而增加穿刺结果的假阴性率或手术并发症的发生率。而这恰恰是当前的EUS-FNA操作者特别是经验相对欠缺的或者基层的EUS-FNA操作者面临的困境。
发明内容
本发明要解决的技术问题是针对上述问题，提出一种基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统。本发明使用深度学习图像处理技术，建立软件平台对EUS-FNA获得的标本图像进行快速诊断，并及时反馈至病理医生。
为解决上述技术问题/为实现上述目的，本发明提供的技术方案是：
一种基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统，包括以下内容：
1)建立EUS-FNA细胞病理图片标准数据集：
1.1)建立数据集；
1.2)图像标注；
2)建立用于细胞病理学评估的深度学习模型：
2.1)数据准备；
2.2)图像预处理和数据增强；
2.3)深度学习模型搭建和训练；
2.4)模型验证；
3)细胞病理学评估系统的开发。
步骤1.1)中，采集因胰腺占位接受EUS-FNA患者的细胞刷片资料，由细胞病理医师根据细胞刷片质量进行筛选，使用Olympus BX43显微镜对细胞刷片进行全面阅片，并使用Olympus SC180及配套软件拍摄400倍率典型细胞病理图片，建立数据集。
步骤1.2)中，使用软件对病理图片中的细胞/细胞团进行范围的圈定和类型的标注，按照胰腺细胞病理学分类标准，将细胞病理类型分为癌细胞、可疑癌细胞、轻度异型细胞、其它肿瘤细胞和正常细胞五类。
步骤2.2)中，输入模型前，将图像统一为1024*1024大小，并进行标准化处理；为扩增训练数据集规模，对训练时输入的图像色相进行50％范围内的随机变换，并对图像进行随机水平和垂直的方向变换。
步骤2.3)中，使用U型网络结构进行建模，分为下采样和上采样两部分，输入图像首先经下采样路径逐步提取底层结构特征至高层语义特征，再经上采样路径还原至原始大小，获得对各像素的分类结果，使用跳跃连接将底层特征和高层特征进行融合，提高图像分割的精确度，并提升对细节、边界的识别能力。
进一步的，基于预训练的ResNet101设计下采样路径，以实现较好的特征提取效果；上采样路径分为4个模块，各模块融合对应下采样模块的特征，并使用双线性插值法逐步对融合后的特征进行扩增至原图像大小，最后使用一个1*1卷积层将特征图降为3通道，以实现对每个像素进行癌细胞、非癌细胞和未染色背景细胞的三分类，即完成对一张标本图像的分割。
步骤2.4)中，以像素、图像和患者为单位对模型表现进行评估，并设计人机对照实验，以对比模型与初级病理医生的诊断结果。
进一步的，将癌细胞区域像素视为正类、其他像素视为负类；标本图像中，若癌细胞区域大于染色细胞区域的10％，则判定该图像有癌，据此对验证数据集中的标本图像进行类别标注：有癌和无癌，并根据模型的像素级别预测结果对标本图像进行分类，以“有癌”作为正类。
步骤3)中，开发基于Qt的辅助诊断系统，自动读取病理医生使用Olympus SC180及配套软件保存的图像，并展示图像分割结果和对于单张图像的分类结果，为病理医生的诊断过程提供参考。
与现有技术相比，本发明的有益效果是：
本发明利用人工智能对大量由细胞病理医师标注的细胞病理图片进行深度学习，经过学习的计算机人工智能模型可以瞬间完成EUS-FNA细胞刷片的快速病理评估，为摆脱这个困境提供了一个新的思路：(1)内镜医师对EUS-FNA穿刺刷片进行快速染色，并置于显微镜下观察，采集细胞病理学图片；(2)人工智能模型对内镜医师采集的每个视野的细胞病理图片进行快速评估；(3)人工智能模型的病理反馈指导内镜医师EUS-FNA操作，优化诊断流程和策略。
本发明开发了一个胰腺细胞病理学评估模型，用于胰腺占位EUS-FNA操作过程，辅助内镜医生对EUS-FNA细胞刷片进行现场快速病理评估，提高EUS-FNA的样本满意程度和诊断效能，减少穿刺次数及并发症的发生率，优化临床诊疗流程。和人类医生相比，以深度神经网络为核心的人工智能技术在处理病理图像时的优势主要体现在以下几个方面：(1)对海量临床病例的记忆优势；(2)像素级的阅片精度和客观的图像处理能力；(3)稳定客观的诊断准确率输出；(4)高效率的处理能力。人工智能模型在EUS-FNA细胞病理类型的诊断方面，表现出了足够的潜力。
附图说明
图1：细胞病理医师进行细胞标注图，标注内容包括勾勒出细胞/细胞团边界和判断细胞/细胞团病理类型：A癌细胞；B可疑癌细胞；C正常细胞；D其它肿瘤细胞；E：轻度异型细胞。
图2：细胞病理学评估深度学习模型结构示意图。
图3：图像分类ROC曲线图，左：内部验证集，右：外部验证集。
具体实施方式
以下通过实施例的形式对本发明的上述内容再作进一步的详细说明，但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明上述内容所实现的技术均属于本发明的范围。
下述实施例中所使用的实验方法，如无特殊说明均为常规方法，所用的试剂、方法和设备，如无特殊说明均为本技术领域常规试剂、方法和设备。
1、建立EUS-FNA细胞病理图片标准数据集
1)建立数据集：采集因胰腺占位接受EUS-FNA患者的细胞刷片资料，由细胞病理医师根据细胞刷片质量进行筛选。使用Olympus BX43显微镜对细胞刷片进行全面阅片，并使用Olympus SC180及配套软件拍摄400倍率典型细胞病理图片，建立数据集；共采集来自南京鼓楼医院308位患者的4454张标本图像，来自无锡人民医院、无锡第二人民医院和苏州第二人民医院90位患者的1387张图像；
2)图像标注：由高年资细胞病理医师使用软件对病理图片中的细胞/细胞团进行范围的圈定和类型的标注。按照胰腺细胞病理学分类标准，将细胞病理类型分为癌细胞、可疑癌细胞、轻度异型细胞、其它肿瘤细胞和正常细胞五类(如图1所示)，标注为癌的区域共3318个，标注为可疑癌的区域共532个，标注为轻度异型的区域共2102个，标注为其它肿瘤的区域共1340个，标注为正常的区域共4443个；将癌细胞和可疑癌细胞归为癌这一大类，将轻度异型细胞、其它肿瘤细胞和正常细胞归为非癌这一大类；
2、建立用于细胞病理学评估的深度学习模型
1)数据集分配：使用来自南京鼓楼医院的标本图像作为模型搭建和内部验证数据，其中3259张图像用于模型搭建，582张图像用于内部验证，613张图像用于人机对照实验；使用来自无锡人民医院、无锡第二人民医院和苏州第二人民医院的1387张标本图像作为外部验证数据。
2)图像预处理和数据增强：输入模型前，将图像统一为1024*1024大小，并进行标准化处理；为进一步扩增训练数据集规模，对训练时输入的图像色相进行50％范围内的随机变换，并对图像进行随机水平和垂直的方向变换。
3)深度学习模型建立：本项目使用U型网络结构进行建模，U型网络结构是一种非常适用于医疗数据的图像分割网络，代表工作为UNet。U型网络分为下采样和上采样两部分，输入图像首先经下采样路径逐步提取底层结构特征至高层语义特征，再经上采样路径还原至原始大小，获得对各像素的分类结果，使用跳跃连接将底层特征和高层特征进行融合，提高图像分割的精确度，并提升对细节、边界的识别能力。本项目的使用的网络结构和分割效果如图2所示，模型对于输入标本图像，进行癌细胞、非癌细胞和未染色背景细胞的三类分割，使用预训练的ResNet101作为下采样路径的基网络，以实现较好的特征提取效果；上采样路径分为4个模块，各模块融合对应下采样模块的特征，并使用双线性插值法对融合后的特征进行扩增。
4)模型验证：为了验证模型的预测精确度和在实际场景中的应用能力，本项目分别以像素、图像和患者为单位对模型表现进行评估，并设计了人机对照实验对比模型与初级病理医生的诊断结果。
像素为单位的指标能精确展示模型的预测效果，由于本工作的核心是对于癌细胞区域进行判断，因此统计了将癌细胞区域像素视为正类、其他像素视为负类的预测结果，如表1所示；此外，对于染色细胞区域进行准确判断也具有较大的应用价值，因此统计了将染色细胞区域像素视为正类、背景像素视为负类的预测结果，如表2所示。可见，模型在像素层面具有较高的预测准确率，对于染色细胞区域预测效果良好，对于癌细胞区域像素则具有较高的查准率；模型对于内部验证集和外部验证集的表现无明显差异，说明模型具备实际应用的潜力。
表1 癌细胞区域预测结果：以像素为单位.NJDTH南京鼓楼医院，WXPH无锡人民医院，WXSPH无锡第二人民医院，SAHSC苏州第二人民医院
表2 染色细胞区域预测结果：以像素为单位.NJDTH南京鼓楼医院，WXPH无锡人民医院，WXSPH无锡第二人民医院，SAHSC苏州第二人民医院
以图像为单位的预测与像素相比更加直观和贴近实际应用场景，本项目根据临床经验，规定一张标本图像中，若癌细胞区域大于染色细胞区域的10％，则判定该图像有癌，据此对验证数据集中的标本图像进行类别标注：有癌和无癌。并根据模型的像素级别预测结果对标本图像进行分类，以“有癌”作为正类，分类结果的各项指标统计如表3所示，ROC(受试者工作特征曲线)如图3所示。可见对于图像级别的预测，模型可以获得较高的敏感性和特异性，说明了将该模型应用于实际场景进行辅助诊断的可行性。
表3 图像分类结果：NJDTH南京鼓楼医院，WXPH无锡人民医院，WXSPH无锡第二人民医院，SAHSC苏州第二人民医院
本项目进行的人机对照实验也采取了以图像为单位的方式进行评估，三名具有两年经验的病理医生参与了实验，模型和病理医生在人机对照实验数据集上的预测结果如表4所示，可见本模型能够达到和病理医生相似的预测精度，其中在敏感性上超过了病理医生，具有指出病理医生遗漏癌细胞区域的潜力。
表4 人机对照结果
以患者为单位的预测能够测试模型在实际场景中的独立诊断能力，根据临床经验，本项目规定对于同一病人发现3张以上含癌图像，则判定该病人有癌，据此对内部验证集和外部验证集的患者进行了类别标注，并对模型的预测结果进行评估，结果如表5所示。可见在多数情况下，本模型能够对数据集中的患者作出正确的预测，且具有较高的敏感性。
表5 患者分类结果：NJDTH南京鼓楼医院，WXPH无锡人民医院，WXSPH无锡第二人民医院，SAHSC苏州第二人民医院
3、细胞病理学评估系统的开发
基于本项目所构建的细胞病理学评估深度学习模型，开发了基于Qt的辅助诊断系统，该系统能够自动读取病理医生使用Olympus SC180及配套软件保存的图像，并展示图像分割结果和对于单张图像的分类结果，用以为病理医生的诊断过程提供参考。后续将以此系统为基础，进一步研究辅助诊断系统在临床应用上的有效性。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，依据本发明的技术实质，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。
Claims (9)
1.一种基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统，其特征在于，包括以下内容：
1)建立EUS-FNA细胞病理图片标准数据集：
1.1)建立数据集；
1.2)图像标注；
2)建立用于细胞病理学评估的深度学习模型：
2.1)数据准备；
2.2)图像预处理和数据增强；
2.3)深度学习模型搭建和训练；
2.4)模型验证；
3)细胞病理学评估系统的开发。
2.根据权利要求1所述的基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统，其特征在于：步骤1.1)中，采集因胰腺占位接受EUS-FNA患者的细胞刷片资料，由细胞病理医师根据细胞刷片质量进行筛选。
3.根据权利要求1所述的基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统，其特征在于：步骤1.2)中，对病理图片中的细胞/细胞团进行范围的圈定和类型的标注，按照胰腺细胞病理学分类标准，将细胞病理类型分为癌细胞、可疑癌细胞、轻度异型细胞、其它肿瘤细胞和正常细胞五类。
4.根据权利要求1所述的基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统，其特征在于：步骤2.2)中，输入模型前，将图像统一大小，并进行标准化处理；为扩增训练数据集规模，对训练时输入的图像色相进行50％范围内的随机变换，并对图像进行随机水平和垂直的方向变换。
5.根据权利要求1所述的基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统，其特征在于：步骤2.3)中，使用U型网络结构进行建模，分为下采样和上采样两部分，输入图像首先经下采样路径逐步提取底层结构特征至高层语义特征，再经上采样路径还原至原始大小，获得对各像素的分类结果，使用跳跃连接将底层特征和高层特征进行融合。
6.根据权利要求5所述的基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统，其特征在于：基于预训练的ResNet101设计下采样路径，上采样路径分为4个模块，各模块融合对应下采样模块的特征，并使用双线性插值法逐步对融合后的特征进行扩增至原图像大小，最后使用一个1*1卷积层将特征图降为3通道，以实现对每个像素进行癌细胞、非癌细胞和未染色背景细胞的三分类，即完成对一张标本图像的分割。
7.根据权利要求1所述的基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统，其特征在于：步骤2.4)中，以像素、图像和患者为单位对模型表现进行评估，并设计人机对照实验，以对比模型与初级病理医生的诊断结果。
8.根据权利要求7所述的基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统，其特征在于：将癌细胞区域像素视为正类、其他像素视为负类；标本图像中，若癌细胞区域大于染色细胞区域的10％，则判定该图像有癌，据此对验证数据集中的标本图像进行类别标注：有癌和无癌，并根据模型的像素级别预测结果对标本图像进行分类，以“有癌”作为正类。
9.根据权利要求1所述的基于人工智能的胰腺占位EUS-FNA现场快速细胞病理学评估系统，其特征在于：步骤3)中，开发基于Qt的辅助诊断系统，读取病理医生保存的图像，并展示图像分割结果和对于单张图像的分类结果，为病理医生的诊断过程提供参考。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111426605.3A CN113935990A (zh) | 2021-11-26 | 2021-11-26 | 一种基于人工智能的胰腺占位eus-fna现场快速细胞病理学评估系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111426605.3A CN113935990A (zh) | 2021-11-26 | 2021-11-26 | 一种基于人工智能的胰腺占位eus-fna现场快速细胞病理学评估系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113935990A true CN113935990A (zh) | 2022-01-14 |
Family
ID=79288446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111426605.3A Pending CN113935990A (zh) | 2021-11-26 | 2021-11-26 | 一种基于人工智能的胰腺占位eus-fna现场快速细胞病理学评估系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113935990A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097550A (zh) * | 2019-05-05 | 2019-08-06 | 电子科技大学 | 一种基于深度学习的医学图像分割方法及系统 |
| US20200000362A1 (en) * | 2018-06-29 | 2020-01-02 | Mayo Foundation For Medical Education And Research | Systems, methods, and media for automatically diagnosing intraductal papillary mucinous neosplasms using multi-modal magnetic resonance imaging data |
| CN111748629A (zh) * | 2020-07-23 | 2020-10-09 | 上海思路迪医学检验所有限公司 | 一种用于胰腺癌早期诊断的生物标志物的检测试剂 |
| CN113538435A (zh) * | 2021-09-17 | 2021-10-22 | 北京航空航天大学 | 一种基于深度学习的胰腺癌病理图像分类方法及系统 |
-
2021
- 2021-11-26 CN CN202111426605.3A patent/CN113935990A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200000362A1 (en) * | 2018-06-29 | 2020-01-02 | Mayo Foundation For Medical Education And Research | Systems, methods, and media for automatically diagnosing intraductal papillary mucinous neosplasms using multi-modal magnetic resonance imaging data |
| CN110097550A (zh) * | 2019-05-05 | 2019-08-06 | 电子科技大学 | 一种基于深度学习的医学图像分割方法及系统 |
| CN111748629A (zh) * | 2020-07-23 | 2020-10-09 | 上海思路迪医学检验所有限公司 | 一种用于胰腺癌早期诊断的生物标志物的检测试剂 |
| CN113538435A (zh) * | 2021-09-17 | 2021-10-22 | 北京航空航天大学 | 一种基于深度学习的胰腺癌病理图像分类方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| NEIL B.MARYA 等: "Application of Artificial intelligence using a novel EUS-based Convolutional Neural Network model to identify and distinguish benign and malignant hepatic masses" * |
| YOSHIKI NAITO 等: "A deep learning model to detect pancreatic ductal adenocarcinoma on endoscopic ultrasound‑guided fine‑needle biopsy" * |
| 宋涛;陆建平;张倩雯;: "人工智能医学影像技术在胰腺神经内分泌肿瘤分级中的应用" * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537773B (zh) | 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法 | |
| CN109920518B (zh) | 医学影像分析方法、装置、计算机设备和存储介质 | |
| US20210219944A1 (en) | Systems and Media for Automatically Diagnosing Thyroid Nodules | |
| CN110264461B (zh) | 基于超声乳腺肿瘤图像的微小钙化点自动检测方法 | |
| CN107330263A (zh) | 一种计算机辅助乳腺浸润性导管癌组织学分级的方法 | |
| CN109523535A (zh) | 一种病变图像的预处理方法 | |
| Wang et al. | Study on automatic detection and classification of breast nodule using deep convolutional neural network system | |
| CN110838114B (zh) | 肺结节检测方法、装置及计算机存储介质 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| CN112435743A (zh) | 一种基于机器学习的膀胱癌病理组学智能诊断方法及其预后模型 | |
| CN110838110A (zh) | 一种基于超声成像的良恶性肿块的识别系统 | |
| CN111539918B (zh) | 基于深度学习的磨玻璃肺结节风险分层预测系统 | |
| CN114360718B (zh) | 一种基于特征拟合的pet/ct自动肺癌诊断分类系统及构建方法 | |
| CN113345576A (zh) | 一种基于深度学习多模态ct的直肠癌淋巴结转移诊断方法 | |
| Zhang et al. | Predicting breast cancer types on and beyond molecular level in a multi-modal fashion | |
| Alrafiah | Application and performance of artificial intelligence technology in cytopathology | |
| Ham et al. | Improvement of gastroscopy classification performance through image augmentation using a gradient-weighted class activation map | |
| CN113889261A (zh) | 基于病理特征辅助的pet/ct自动肺癌诊断分类模型训练方法 | |
| CN111528918B (zh) | 消融术后肿瘤体积变化趋势图生成装置、设备及存储介质 | |
| CN116630680B (zh) | 一种x线摄影联合超声的双模态影像分类方法及系统 | |
| CN112767374A (zh) | 基于mri的阿尔茨海默症病灶区域语义分割算法 | |
| CN115132275B (zh) | 基于端到端三维卷积神经网络预测egfr基因突变状态方法 | |
| Krishna et al. | An interpretable decision-support model for breast cancer diagnosis using histopathology images | |
| CN113935990A (zh) | 一种基于人工智能的胰腺占位eus-fna现场快速细胞病理学评估系统 | |
| Cao et al. | Deep learning based lesion detection for mammograms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220114 |
|
| RJ01 | Rejection of invention patent application after publication |