CN113723441B - 一种唇腺病理智能分析系统及方法 - Google Patents
一种唇腺病理智能分析系统及方法 Download PDFInfo
- Publication number
- CN113723441B CN113723441B CN202110732290.9A CN202110732290A CN113723441B CN 113723441 B CN113723441 B CN 113723441B CN 202110732290 A CN202110732290 A CN 202110732290A CN 113723441 B CN113723441 B CN 113723441B
- Authority
- CN
- China
- Prior art keywords
- gland
- neural network
- lymphocyte
- cell nucleus
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004907 gland Anatomy 0.000 title claims abstract description 193
- 230000007170 pathology Effects 0.000 title claims abstract description 64
- 238000004458 analytical method Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 45
- 210000004698 lymphocyte Anatomy 0.000 claims abstract description 146
- 238000013528 artificial neural network Methods 0.000 claims abstract description 93
- 230000001575 pathological effect Effects 0.000 claims abstract description 77
- 208000021386 Sjogren Syndrome Diseases 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 9
- 210000003855 cell nucleus Anatomy 0.000 claims description 91
- 210000001519 tissue Anatomy 0.000 claims description 90
- 238000012549 training Methods 0.000 claims description 70
- 241001313288 Labia Species 0.000 claims description 63
- 230000011218 segmentation Effects 0.000 claims description 39
- 238000012795 verification Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 14
- 230000001926 lymphatic effect Effects 0.000 claims description 11
- 238000013145 classification model Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 8
- 230000017074 necrotic cell death Effects 0.000 claims description 7
- 210000003699 striated muscle Anatomy 0.000 claims description 7
- 206010040628 Sialoadenitis Diseases 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 6
- 210000003079 salivary gland Anatomy 0.000 claims description 6
- 208000001050 sialadenitis Diseases 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000000527 lymphocytic effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 12
- 238000011156 evaluation Methods 0.000 abstract description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 abstract description 2
- 208000011580 syndromic disease Diseases 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 22
- 210000004940 nucleus Anatomy 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 6
- 230000007547 defect Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000000762 glandular Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 210000002751 lymph Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 208000023275 Autoimmune disease Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 208000025747 Rheumatic disease Diseases 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 206010013781 dry mouth Diseases 0.000 description 2
- 210000002919 epithelial cell Anatomy 0.000 description 2
- 238000002546 full scan Methods 0.000 description 2
- 230000008595 infiltration Effects 0.000 description 2
- 238000001764 infiltration Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000000552 rheumatic effect Effects 0.000 description 2
- 210000004881 tumor cell Anatomy 0.000 description 2
- 208000010444 Acidosis Diseases 0.000 description 1
- 208000003950 B-cell lymphoma Diseases 0.000 description 1
- 206010008418 Cheilosis Diseases 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 102000004127 Cytokines Human genes 0.000 description 1
- 108090000695 Cytokines Proteins 0.000 description 1
- 208000003556 Dry Eye Syndromes Diseases 0.000 description 1
- 206010013774 Dry eye Diseases 0.000 description 1
- 208000008899 Habitual abortion Diseases 0.000 description 1
- 208000019025 Hypokalemia Diseases 0.000 description 1
- 208000029523 Interstitial Lung disease Diseases 0.000 description 1
- 208000009319 Keratoconjunctivitis Sicca Diseases 0.000 description 1
- 206010025323 Lymphomas Diseases 0.000 description 1
- GXCLVBGFBYZDAG-UHFFFAOYSA-N N-[2-(1H-indol-3-yl)ethyl]-N-methylprop-2-en-1-amine Chemical compound CN(CCC1=CNC2=C1C=CC=C2)CC=C GXCLVBGFBYZDAG-UHFFFAOYSA-N 0.000 description 1
- 238000010220 Pearson correlation analysis Methods 0.000 description 1
- 208000034943 Primary Sjögren syndrome Diseases 0.000 description 1
- 206010047115 Vasculitis Diseases 0.000 description 1
- 230000007950 acidosis Effects 0.000 description 1
- 208000026545 acidosis disease Diseases 0.000 description 1
- 230000001363 autoimmune Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 208000037976 chronic inflammation Diseases 0.000 description 1
- 230000006020 chronic inflammation Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 208000018631 connective tissue disease Diseases 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 208000002925 dental caries Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 210000003499 exocrine gland Anatomy 0.000 description 1
- 208000006750 hematuria Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000002364 leukopenia Diseases 0.000 description 1
- 231100001022 leukopenia Toxicity 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 208000008795 neuromyelitis optica Diseases 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000004789 organ system Anatomy 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 208000033808 peripheral neuropathy Diseases 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 208000024896 potassium deficiency disease Diseases 0.000 description 1
- 230000000770 proinflammatory effect Effects 0.000 description 1
- 201000001474 proteinuria Diseases 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 206010039073 rheumatoid arthritis Diseases 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 201000000596 systemic lupus erythematosus Diseases 0.000 description 1
- 206010043554 thrombocytopenia Diseases 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种唇腺病理智能分析系统及方法。所述系统包括唇腺组织面积测定模块、淋巴细胞灶测定模块、分析处理模块、结果显示模块。该系统通过构建第一深度神经网络,逐一测量唇腺数字病理切片中各唇腺组织面积(mm2),并将各唇腺组织面积相加,得唇腺组织总面积;同时构建第二深度神经网络和第三深度神经网络,用于识别统计超过50个淋巴细胞聚集的淋巴细胞灶数量,得淋巴细胞灶数量;进而计算出评估患者是否符合诊断干燥综合征的“金标准”,即灶性指数≥1,为临床医生提供诊断建议。该系统实现了唇腺病理智能分析评估,可直接输出判断结果,简单准确,不但解决了人工唇腺病理报告不规范的临床问题,而且可促进我国干燥综合征规范化诊断的进程。
Description
技术领域
本发明属于医疗技术领域。更具体地,涉及一种评估唇腺病理智能分析系统及方法。
背景技术
干燥综合征是一种常见的自身免疫性结缔组织病,属慢性病,好发于中年及围绝经期女性,特征为外分泌腺分泌功能低下,伴大量淋巴细胞浸润、促炎细胞因子和循环自身抗体水平升高,以及基于血管炎的腺体外多器官系统受累,病情较重者可累及肾、肝、肺等重要脏器,甚至可导致患者死亡。干燥综合征属全球性疾病,每10万人的年发病率在亚洲高达6.0~11.8,其次在欧洲(3.9~5.3)和北美(3.9)。我国人群患病率为0.33%~0.77%,推算患病人数不低于400万。由于干燥综合征有其独特的疾病受累特征及预后不良因素,且合并恶性淋巴瘤(尤其是黏膜相关边缘带B细胞淋巴瘤MALT)的发生率高。因此,干燥综合征规范化诊断有助于临床医生对疑似患者进行精准分类及管理,避免临床误诊、漏诊。对于预防严重并发症,提高患者的生活质量及降低疾病相关的总死亡率至关重要。干燥综合征规范化诊断还关系到我国自主开展的干燥综合征多中心临床研究及药物临床试验结果能否被国际同行认可。
尽管干燥综合征与类风湿关节炎、系统性红斑狼疮同属常见的风湿免疫病,但目前干燥综合征规范化诊断远落后于后两者。干燥综合征各分类标准有统一的唇腺病理“金标准”,即唇腺病理灶性指数≥1(每4mm2唇腺组织内超过50个淋巴细胞聚集的浸润灶数量)。虽然这个唇腺病理“金标准”定义清晰明确,然而实际临床操作却极。首先,干燥综合征的临床表现变化多样,往往患者就诊于临床多个科室;除了风湿免疫科以外,患者可因口干或猖獗性龋齿而首诊于口腔科,因干燥性角结膜炎而首诊于眼科,因口干或反复低钾血症而首诊于内分泌科,因远端肾小管酸中毒所致病理性骨折而首诊于骨科,因反复血小板减少或白细胞减少而首诊于血液科,因间质性肺炎而首诊于呼吸科,因周围神经病变或视神经脊髓炎而首诊于神经科,因血尿或蛋白尿而首诊于肾内科,因复发性流产而首诊于妇产科。不同于欧美发达国家,中国在内的发展中国家病理科医生日常人手不足、工作负荷大,导致多数病理科没有专门研究自身免疫病病理的医生。人工病理报告往往更多地关注是否肿瘤或是否有特殊病理改变,而对于非肿瘤的淋巴细胞浸润病变,大多数仅简单描述为“慢性炎症”。病理科医生既不用显微镜标尺估算唇腺组织总面积,又不关注淋巴细胞聚集灶的数量或是否超过50个淋巴细胞。其次,根据2020年中国《原发性干燥综合征诊疗规范》,国内建议用有标尺的显微镜来计算唇腺灶性指数。然而,由于唇腺组织形状可呈圆形、椭圆形或类似扇形,且常有多个小块组织,用显微镜标尺估算唇腺组织总面积存在较大的测量误差,且同一测量者不同时点及不同测量者间的一致性低。
因此,干燥综合征唇腺病理诊断不规范直接导致了疑诊患者即使经历了有创且痛苦的唇腺活检,也无法帮助风湿免疫科医生准确做出临床判断。疑似干燥综合征患者未能被精准分类诊断,既不利于预防严重并发症,也不利于提高生活质量及降低疾病相关的总死亡率。此外,唇腺灶性指数诊断水平不均衡,将导致各地区间无法实现干燥综合征的同质化诊断,加剧了落后地区的临床误诊、漏诊问题。若我国无法突破唇腺灶性指数测量的瓶颈,将极大限制了我国自主开展干燥综合征多中心的临床研究,且研究结果不易被国际同行认可、引用。
本申请人团队前期也研发了一种国内领先的唇腺病理人工分析法,应用ScanScope CS2(Aperio CS2,Leica,German)扫描唇腺数字病理切片,AperioImageScope[v12.3.2.8013]及QuPath(0.1.2)软件测量唇腺组织总面积及淋巴细胞灶数量,准确计算出唇腺病理灶性指数。虽然医生通过一定培训后可进行人工分析唇腺数字病理图像,但是仍难避免测量误差大的不足,而且还需专门的软件、具备识别淋巴细胞的病理知识等,对于医生相关技能要求较高,因此,该唇腺病理人工分析法在临床上仍有推广应用难度。
发明内容
本发明要解决的技术问题是克服上述现有技术中干燥综合征唇腺病理诊断技术存在的不规范、不准确及临床操作困难等问题,提供一种评估唇腺病理智能分析系统及方法,旨在让病理科医生、风湿免疫科医生甚至患者本人,将已染色的唇腺组织HE片扫描成数字病理图像,通过上传到这个智能分析方法和系统,即可获悉精确的唇腺灶性指数及对比判断是否符合干燥综合征唇腺病理“金标准”,即唇腺灶性指数≥1。现有的技术至今并未公开一种可以定量评估和评判是否符合干燥综合征唇腺病理“金标准”的智能分析系统及方法。
本发明的目的是提供一种唇腺病理智能分析方法。
本发明的另一目的是提供一种唇腺病理智能分析系统。
本发明上述目的通过以下技术方案实现:
一种唇腺病理智能分析方法,包括如下步骤:
S1.构建第一深度神经网络,用于逐一测量唇腺数字病理切片中各唇腺组织面积(mm2),并将各唇腺组织面积相加,得唇腺组织总面积;
S2.构建第二深度神经网络和第三深度神经网络,用于识别淋巴细胞密集区域,并统计测量唇腺组织中淋巴细胞灶数量,得淋巴细胞灶数量;
所述淋巴细胞灶的定义为:超过50个淋巴细胞的聚集定义为淋巴细胞灶;
S3.利用唇腺组织总面积和淋巴细胞灶数量的数据,计算出灶性指数;
灶性指数计算公式为:
灶性指数=淋巴细胞灶数量÷唇腺组织总面积(mm2)×4;
S4.根据灶性指数判断唇腺数字病理切片是否为干燥综合征灶性淋巴细胞性唾液腺炎;判断标准为:
灶性指数≥1为符合干燥综合征灶性淋巴细胞性唾液腺炎,灶性指数<1则不符合干燥综合征灶性淋巴细胞性唾液腺炎。
其中,步骤S1中构建第一深度神经网络用于分割唇腺组织,排除坏死、脂肪、横纹肌、皮肤取材不佳的区域,测量得到唇腺组织总面积;具体包括:
构建第一深度神经网络并进行训练;
将待测定的唇腺数字病理切片对应的唇腺数字病理图像并分割为n×n像素的小块;
将小块逐个输入训练完成的第一深度神经网络中,得到对应分割后的结果,输出对应小块的像素概率图;
将小块的像素概率图按照相同的排列方式进行拼接,获取唇腺数字病理图像中所有腺体区域,得到唇腺组织总面积;
其中,n为小于或等于1024的正整数。
作为一种可选择的实施方案,所述第一深度神经网络的训练过程为:
根据唇腺数字病理切片获取唇腺数字病理图像,并对唇腺数字病理图像中腺体区域进行轮廓勾画,将图像中的像素点分为背景像素点及腺体区域像素点;
对唇腺数字病理图像分割成n×n像素的小块,并为每一个小块生成分割标签的二值图;
将二值图划分为训练集和验证集,对第一深度神经网络进行迭代训练和验证,直至第一深度神经网络符合验证条件。
步骤S2中建立第二深度神经网络,用于识别淋巴细胞密集区域,同时建立第三深度神经网络,用于鉴定密集区域中淋巴细胞的数量,通过细胞核检测和分类对候选淋巴细胞密集区域内的淋巴细胞进行识别及计数;确定超过50个淋巴细胞的真阳性区域,并进行计数得到淋巴细胞灶数量。
作为一种可选择的实施方案,所述第二深度神经网络识别淋巴细胞密集区域的过程具体为:
构建第二深度神经网络并进行训练;
将待测定的唇腺数字病理切片对应的唇腺数字病理图像并分割为m×m像素的小块;
将小块逐个输入训练完成的第一深度神经网络中,得到对应分割后的结果,输出对应小块的像素概率图;
将小块的像素概率图按照相同的排列方式进行拼接,获取唇腺数字病理图像中所有淋巴灶区域,得到淋巴细胞密集区域;
其中,m为小于或等于1024的正整数。
作为一种可选择的实施方案,所述第三深度神经网络包括细胞核分割模型和细胞核分类模型;其中:
在细胞核分割模型中,基于唇腺数字病理图像中细胞核的轮廓勾画,将图像中的像素点分为背景点、细胞核边缘点及细胞核内部点;其中,只取其中的细胞核内部像素点,即得到每一个细胞核的位置;
在所述细胞核分类模型中,对于每一个细胞核,以其中心进行k×k像素大小的图块切割并计算每个细胞核属于淋巴细胞的概率;根据计算结果对细胞核进行分类并输出,获取每一个淋巴细胞的位置。
基于上述方法,开发了一种唇腺病理智能分析系统,包括唇腺组织面积测定模块(1)、淋巴细胞灶测定模块(3)、分析处理模块(6)、结果显示模块(7);
其中,所述唇腺组织面积测定模块(1)包括逐一测量唇腺数字病理切片中各唇腺组织面积(mm2)的模块,以及唇腺组织面积汇总模块,唇腺组织面积汇总模块将测得的各唇腺组织面积相加即得唇腺组织总面积;
所述淋巴细胞灶测定模块(3)包括淋巴细胞灶识别模块和淋巴细胞灶数量汇总模块,识别并测量唇腺组织中淋巴细胞灶数量,并将结果传输给淋巴细胞灶数量汇总模块,得淋巴细胞灶数量;
所述分析处理模块(6)包括灶性指数计算模块和对比判断模块;上述唇腺组织面积测定模块(1)和淋巴细胞灶测定模块(3)将结果分别传输给灶性指数计算模块,计算出灶性指数;灶性指数计算模块将灶性指数的结果传输给对比判断模块,判断唇腺数字病理切片是否为干燥综合征灶性淋巴细胞性唾液腺炎;判断结果传输给所述结果显示模块(7)进行显示。
作为可选择的具体实施方案,上述3个深度神经网络的构建训练途径如下:
所述第一深度神经网络的分割模型采用HookNet网络结构以更有效地利用多尺度特征,HookNet结构的关键在于对于同一位置组织区域以两个不同的分辨率进行采样,并在两个Unet结构分支分辨率相同处进行特征图的叠加;损失函数为BCE+Dice Loss。
所述第二深度神经网络的数字病理图像以最大分辨率下采样4倍后以256*256大小像素图块随机采样后进行训练;分割模型采用U2-Net网络结构以更有效地利用多尺度特征;训练分为两阶段:第一阶段训练使用BCE为损失函数,第二阶段使用BCE+Lovasz loss进一步对模型进行微调。
所述第三深度神经网络应用公开的PanNuke数据集包含了来自于19种不同组织的20多万个标注后的细胞核,每个细胞核提供了轮廓以及5个临床上重要的类别(肿瘤细胞、间质细胞、淋巴细胞、良性上皮细胞及其他细胞);将原始图片以64*64大小像素图块裁切后,使用SFCN-OPI网络结构进行训练,该模型实现了细胞核的检测和分类,只需要细胞核中心点位置的标注(无需细胞核轮廓)及类别即可进行训练;三种测试集中最佳概率图阈值下的所有细胞检测的F1为0.843-0.851,淋巴细胞分类F1为0.651-0.667,优于基线方法的结果;我们将其中fold2的模型(淋巴检测F1最佳)用于唇腺病理图像中的淋巴细胞检测。
本发明具有以下有益效果:
本发明提供了一种评估唇腺病理智能分析系统,基于深度神经网络的图像分割算法、目标检测算法,依据唇腺病理人工分析法设计出唇腺数字病理图像智能分析系统,可准确测量并且计算唇腺病理灶性指数,弥补人工分析法测量误差大的不足,且易于临床推广应用。具体优势包括:
(1)可弥补临床缺乏专门研究自身免疫病的病理医生的临床不足。各临床专科医生、病理科医生、甚至患者本人,将已染色的唇腺组织H&E片扫描成数字病理图像,再上传到该智能分析系统,即可获悉精确的唇腺病理灶性指数及对比判断是否符合干燥综合征唇腺病理“金标准”(唇腺病理灶性指数≥1)。
(2)与显微镜标尺估算法相比,可有效提高判读的同质性及准确性,缩短结果判读时间。由于唇腺组织形状可呈圆形、椭圆形或类似扇形,且常有多个小块组织,用显微镜标尺估算唇腺组织总面积存在较大的测量误差,且同一测量者不同时点及不同测量者间的一致性低。唇腺病理智能分析系统应用深度神经网络分割唇腺组织,可准确测量唇腺组织总面积。
(3)与唇腺病理人工分析法相比,可提高评估同质性及降低推广难度。虽然医生通过一定培训后可进行人工分析唇腺数字病理图像,但是仍难避免测量误差大的不足,而且还需专门的软件、具备识别淋巴细胞的病理知识等,对于医生相关技能要求较高。唇腺病理智能分析系统可克服人工分析法的不足。
最终,实现干燥综合征临床诊断的规范化及同质化,减少临床漏诊、误诊。
附图说明
图1为本申请评估唇腺病理智能分析系统的结构示意图。
图2为第一深度神经网络分割唇腺组织;黄色轮廓区域勾画出唇腺组织,排除坏死、脂肪、横纹肌、皮肤等取材不佳的区域。
图3为第二深度神经网络识别淋巴细胞密集区域及第三深度神经网络鉴定密集区域中淋巴细胞的数量;黑色轮廓区域表示淋巴细胞密集区域,热图颜色代表淋巴细胞密度,轮廓边数字代表区域内淋巴细胞数目。
图4为应用唇腺病理智能分析系统对129张唇腺数字病理图像进行分析,并与唇腺病理人工分析法进行对比。A:唇腺组织总面积;B:超过50个淋巴细胞的聚集灶数量;C:唇腺病理智能分析系统与唇腺病理人工分析法结果的ICC及kappa系数。D:唇腺病理智能分析系统的准确性及AUC。
具体实施方式
以下结合说明书附图和具体实施例来进一步说明本发明,但实施例并不对本发明做任何形式的限定。除非特别说明,本发明采用的试剂、方法和设备为本技术领域常规试剂、方法和设备。
除非特别说明,以下实施例所用试剂和材料均为市购。
实施例1:唇腺病理智能分析方法
一种唇腺病理智能分析方法,包括如下步骤:
S1.构建第一深度神经网络,用于逐一测量唇腺数字病理切片中各唇腺组织面积(mm2),并将各唇腺组织面积相加,得唇腺组织总面积;
S2.构建第二深度神经网络和第三深度神经网络,用于识别淋巴细胞密集区域,并统计测量唇腺组织中淋巴细胞灶数量,得淋巴细胞灶数量;
所述淋巴细胞灶的定义为:超过50个淋巴细胞的聚集定义为淋巴细胞灶;
S3.利用唇腺组织总面积和淋巴细胞灶数量的数据,计算出灶性指数;
灶性指数计算公式为:
灶性指数=淋巴细胞灶数量÷唇腺组织总面积(mm2)×4;
S4.根据灶性指数判断唇腺数字病理切片是否为干燥综合征灶性淋巴细胞性唾液腺炎;判断标准为:
灶性指数≥1为符合干燥综合征灶性淋巴细胞性唾液腺炎,灶性指数<1则不符合干燥综合征灶性淋巴细胞性唾液腺炎。
其中,步骤S1中构建第一深度神经网络用于分割唇腺组织,排除坏死、脂肪、横纹肌、皮肤取材不佳的区域,测量得到唇腺组织总面积;具体包括:
构建第一深度神经网络并进行训练;
将待测定的唇腺数字病理切片对应的唇腺数字病理图像并分割为n×n像素的小块;
将小块逐个输入训练完成的第一深度神经网络中,得到对应分割后的结果,输出对应小块的像素概率图;
将小块的像素概率图按照相同的排列方式进行拼接,获取唇腺数字病理图像中所有腺体区域,得到唇腺组织总面积;
其中,n为小于或等于1024的正整数。
所述第一深度神经网络的训练过程为:
根据唇腺数字病理切片获取唇腺数字病理图像,并对唇腺数字病理图像中腺体区域进行轮廓勾画,将图像中的像素点分为背景像素点及腺体区域像素点;
对唇腺数字病理图像分割成n×n像素的小块,并为每一个小块生成分割标签的二值图;
将二值图划分为训练集和验证集,对第一深度神经网络进行迭代训练和验证,直至第一深度神经网络符合验证条件。
步骤S2中建立第二深度神经网络,用于识别淋巴细胞密集区域,同时建立第三深度神经网络,用于鉴定密集区域中淋巴细胞的数量,通过细胞核检测和分类对候选淋巴细胞密集区域内的淋巴细胞进行识别及计数;确定超过50个淋巴细胞的真阳性区域,并进行计数得到淋巴细胞灶数量。
所述第二深度神经网络识别淋巴细胞密集区域的过程具体为:
构建第二深度神经网络并进行训练;
将待测定的唇腺数字病理切片对应的唇腺数字病理图像并分割为m×m像素的小块;
将小块逐个输入训练完成的第一深度神经网络中,得到对应分割后的结果,输出对应小块的像素概率图;
将小块的像素概率图按照相同的排列方式进行拼接,获取唇腺数字病理图像中所有淋巴灶区域,得到淋巴细胞密集区域;
其中,m为小于或等于1024的正整数。
所述第三深度神经网络包括细胞核分割模型和细胞核分类模型;其中:
在细胞核分割模型中,基于唇腺数字病理图像中细胞核的轮廓勾画,将图像中的像素点分为背景点、细胞核边缘点及细胞核内部点;其中,只取其中的细胞核内部像素点,即得到每一个细胞核的位置;
在所述细胞核分类模型中,对于每一个细胞核,以其中心进行k×k像素大小的图块切割并计算每个细胞核属于淋巴细胞的概率;根据计算结果对细胞核进行分类并输出,获取每一个淋巴细胞的位置。
实施例2:唇腺病理智能分析系统
基于实施例1的方法,一种唇腺病理智能分析系统,包括唇腺组织面积测定模块(1)、淋巴细胞灶测定模块(3)、分析处理模块(6)、结果显示模块(7);
系统运行和每个模块的作用如下:
所述唇腺组织面积测定模块(1)包括逐一测量唇腺数字病理切片中各唇腺组织面积(mm2)的模块,以及唇腺组织面积汇总模块,唇腺组织面积汇总模块将测得的各唇腺组织面积相加即得唇腺组织总面积;
所述淋巴细胞灶测定模块(3)包括淋巴细胞灶识别模块和淋巴细胞灶数量汇总模块,识别并测量唇腺组织中淋巴细胞灶数量,并将结果传输给淋巴细胞灶数量汇总模块,得淋巴细胞灶数量;
所述分析处理模块(6)包括灶性指数计算模块和对比判断模块;上述唇腺组织面积测定模块(1)和淋巴细胞灶测定模块(3)将结果分别传输给灶性指数计算模块,计算出灶性指数;灶性指数计算模块将灶性指数的结果传输给对比判断模块,判断唇腺数字病理切片是否为干燥综合征灶性淋巴细胞性唾液腺炎;判断结果传输给所述结果显示模块(7)进行显示。
具体地,上述系统中:
1、所述唇腺组织面积测定模块(1)逐一测量唇腺数字病理切片中各唇腺组织面积的实现方案:建立第一深度神经网络,分割唇腺组织,排除坏死、脂肪、横纹肌、皮肤等取材不佳的区域(图2),测量唇腺组织总面积。
所述第一深度神经网络(用于唇腺组织分割)的分割模型采用HookNet网络结构以更有效地利用多尺度特征,HookNet结构的关键在于对于同一位置组织区域以两个不同的分辨率进行采样,并在两个Unet结构分支分辨率相同处进行特征图的叠加。损失函数为BCE+Dice Loss。
更具体地,上述深度神经网络的构建训练方法如下:
第一深度神经网络:腺体分割模型建立
基于病理医生对唇腺数字病理图像中腺体区域的轮廓勾画,将图像中的像素点分为背景像素点(非腺体区域)及腺体区域像素点。将全片扫描的数字病理图像切成512*512像素的小块(也可以是其他任意大小的正方形图块,但是一般不大于1024*1024像素),并为每一个小块生成分割标签的二值图,该二值图中属于腺体区域像素的点设为1,背景像素点设为0。将切好的小图块及对应的分割标签划分为训练集和验证集,训练图像分割深度神经网络。可以使用的常见的图像语义分割神经网络结构包括Unet及其一系列的变形结构(Res-Unet,Dense-Unet,R2U-Unet,Unet+,Unet++等),DeepLab及其一系列的变性结构(DeepLab V1,DeepLab V2,DeepLab V3,DeepLab V3+)等。选择其中任一网络结构,选择合适的训练参数,包括但不限于学习率、训练批次大小、模型初始权重方法(是随机初始化还是使用预训练好的权重)、样本增强方式(在训练中随机对图块进行旋转、翻转、颜色变换等操作)、优化器(SGD,Adam,RMSprop等)以及损失函数(交叉熵函数、Dice系数损失函数、Focal损失函数等)。在我们的应用中,使用Unet结构,学习率设为10-3,训练批次大小12,模型初始权重使用He初始化,样本增强采用了随机的90度和180度旋转、左右翻转、上下翻转、以及将RGB图像转化为HSV通道图像后对图像的H通道进行扰动后再转换回RGB图像、优化器使用SGD优化器、损失函数使用像素交叉熵。整个训练设定为50轮,每一轮指所有的训练集图像分批次被送入网络处理过一次并更新模型的权重,每一轮训练后依照当前最新权重对验证集的图像进行预测,并计算验证集中总体像素交叉熵。50轮训练完后,选择验证集像素交叉熵损失函数值最低的轮次对应的权重做为模型最后的权重。输入一张小图,模型最终的输出是一张相同大小的像素概率图,每一个像素的值代表该像素属于腺体区域的概率(0-1之间)。我们使用0.5做为阈值,即一个像素预测的概率大于等于0.5,则该像素被设定为腺体区域像素,反之则被设为背景像素。将一张数字病理图像的所有切割后小图输入模型,得到对应的分割结果后,再将小图按照相同的排列方式拼接回大图,即可得到大图中的所有腺体区域。
本申请测试了[6,24],[8,24],[12,24]三组下采样倍率下的分割结果(eg.[6,24]指HookNet的输入为数字病理图片最高分辨率下采样6倍和24倍后采样得到的切图)。综合推理速度(下采样倍率越高,分析全图速度越快)以及分割准确率(Dice值),选择[8,24]分辨率组合训练的HookNet模型做为腺体分割模型。
分辨率组合 | 平均Dice值 |
[6,24] | 0.9447 |
[8,24] | 0.9458 |
[12,24] | 0.9428 |
2、所述淋巴细胞灶测定模块(3)识别并测量唇腺组织中淋巴细胞灶数量(淋巴细胞灶的定义为:超过50个淋巴细胞的聚集定义为淋巴细胞灶),并将结果汇总,得淋巴细胞灶数量;
具体地,所述淋巴细胞灶识别模块识别并测量唇腺组织中淋巴细胞灶数量的实现方案:建立第二深度神经网络识别淋巴细胞密集区域(图3)。同时建立第三深度神经网络,鉴定密集区域中淋巴细胞的数量,通过细胞核检测和分类对候选淋巴细胞密集区域内的淋巴细胞进行识别及计数。最终,确定超过50个淋巴细胞的真阳性区域,并进行计数得到淋巴细胞灶数量。
所述第二深度神经网络(用于淋巴细胞密集区域分割),数字病理图像以最大分辨率下采样4倍后以256*256大小像素图块随机采样后进行训练。分割模型采用U2-Net网络结构以更有效地利用多尺度特征。训练分为两阶段:第一阶段训练使用BCE为损失函数,第二阶段使用BCE+Lovasz loss进一步对模型进行微调。
所述第三深度神经网络(用于鉴定淋巴细胞、确定超过50个淋巴细胞的真阳性区域),应用公开的PanNuke数据集包含了来自于19种不同组织的20多万个标注后的细胞核,每个细胞核提供了轮廓以及5个临床上重要的类别(肿瘤细胞、间质细胞、淋巴细胞、良性上皮细胞及其他细胞)。将原始图片以64*64大小像素图块裁切后,使用SFCN-OPI网络结构进行训练,该模型实现了细胞核的检测和分类,只需要细胞核中心点位置的标注(无需细胞核轮廓)及类别即可进行训练。三种测试集中最佳概率图阈值下的所有细胞检测的F1为0.843-0.851,淋巴细胞分类F1为0.651-0.667,优于基线方法的结果。我们将其中fold2的模型(淋巴检测F1最佳)用于唇腺病理图像中的淋巴细胞检测。
更具体地,上述深度神经网络的构建训练方法如下:
第二深度神经网络:淋巴灶区域分割模型建立(训练方法同神经网络1)
基于病理医生对唇腺数字病理图像中淋巴灶区域的轮廓勾画,将图像中的像素点分为背景像素点(非淋巴灶区域)及淋巴灶区域像素点。将全片扫描的数字病理图像切成256*256像素的小块(也可以是其他任意大小的正方形图块,但是一般不大于1024*1024像素),并为每一个小块生成分割标签的二值图,该二值图中属于淋巴灶区域像素的点设为1,背景像素点设为0。将切好的小图块及对应的分割标签划分为训练集和验证集,训练图像分割深度神经网络。可以使用的常见的图像语义分割神经网络结构包括Unet及其一系列的变形结构(Res-Unet,Dense-Unet,R2U-Unet,Unet+,Unet++等),DeepLab及其一系列的变性结构(DeepLab V1,DeepLab V2,DeepLab V3,DeepLab V3+)等。选择其中任一网络结构,选择合适的训练参数,包括但不限于学习率、训练批次大小、模型初始权重方法(是随机初始化还是使用预训练好的权重)、样本增强方式(在训练中随机对图块进行旋转、翻转、颜色变换等操作)、优化器(SGD,Adam,RMSprop等)以及损失函数(交叉熵函数、Dice系数损失函数、Focal损失函数等)。在我们的应用中,使用Unet++结构,学习率设为10-3,训练批次大小24,模型初始权重使用He初始化,样本增强采用了随机的90度和180度旋转、左右翻转、上下翻转、以及将RGB图像转化为HSV通道图像后对图像的H通道进行扰动后再转换回RGB图像、优化器使用SGD优化器、损失函数使用像素交叉熵。整个训练设定为50轮,每一轮指所有的训练集图像分批次被送入网络处理过一次并更新模型的权重,每一轮训练后依照当前最新权重对验证集的图像进行预测,并计算验证集中总体像素交叉熵。50轮训练完后,选择验证集像素交叉熵损失函数值最低的轮次对应的权重做为模型最后的权重。输入一张小图,模型最终的输出是一张相同大小的像素概率图,每一个像素的值代表该像素属于淋巴灶区域的概率(0-1之间)。我们使用0.5做为阈值,即一个像素预测的概率大于等于0.5,则该像素被设定为淋巴灶区域像素,反之则被设为背景像素。将一张数字病理图像的所有切割后小图输入模型,得到对应的分割结果后,再将小图按照相同的排列方式拼接回大图,即可得到大图中的所有淋巴灶区域。
第三深度神经网络:淋巴细胞识别模型建立
淋巴细胞识别模型包括了细胞核分割及细胞核分类两个模型。首先,细胞核分割模型的训练类似于神经网络1和神经网络2,差别是基于病理医生对唇腺数字病理图像中细胞核的轮廓勾画,将图像中的像素点分为背景点(非细胞核)、细胞核边缘点及细胞核内部点,即最后的模型输出将图像中的像素分为上述三类。我们只取其中的细胞核内部像素点,即可得到每一个细胞核的位置。
之后对于每一个细胞核,以其中心进行64*64像素大小的图块切割(也可以是32*32,48*48等正方形,一般不超过96*96),基于病理医生对该细胞核分类的标注结果(是淋巴细胞或者不是淋巴细胞)设定每一个图块(一个图块代表一个细胞核)的标签(1为淋巴细胞,0为非淋巴细胞)。将切好的小图块及对应的分类标签划分为训练集和验证集,训练图像分类深度神经网络。可以使用的常见的图像分类神经网络结构,例如Resnet,Densenet,EfficientNet等。选择其中任一网络结构,选择合适的训练参数,包括但不限于学习率、训练批次大小、模型初始权重方法(是随机初始化还是使用预训练好的权重)、样本增强方式(在训练中随机对图块进行旋转、翻转、颜色变换等操作)、优化器(SGD,Adam,RMSprop等)以及损失函数(分类交叉熵函数、Focal损失函数等)。在我们的应用中,使用Resnet50结构,学习率设为10-3,训练批次大小24,采用迁移学习的方式引入从ImageNet等数据集上训练好的分类模型权重做为训练初始权重,样本增强采用了随机的90度和180度旋转、左右翻转、上下翻转、以及将RGB图像转化为HSV通道图像后对图像的H通道进行扰动后再转换回RGB图像、优化器使用SGD优化器、损失函数使用分类交叉熵。整个训练设定为50轮,每一轮指所有的训练集图像分批次被送入网络处理过一次并更新模型的权重,每一轮训练后依照当前最新权重对验证集的图像进行分类预测,并计算验证集中图像分类的准确率。50轮训练完后,选择验证集图像分类准确率最高的轮次对应的权重做为模型最后的权重。输入一张细胞核小图,模型最终的输出是一个概率值,代表该图块所代表的细胞核属于淋巴细胞的概率(0-1之间)。我们使用0.5做为阈值,即一个图块预测的概率大于等于0.5,则该图块所代表的细胞核被设定为淋巴细胞,反之则被设为非淋巴细胞。将一张数字病理图像中分割得到的细胞核对应的所有切割后小图输入模型,得到对应的分类结果后,即可获取到每一个淋巴细胞的位置。
应用例唇腺病理智能分析方法与系统的验证
应用实施例1和2的唇腺病理智能分析方法和系统对129张唇腺数字病理图像(样本由中山大学孙逸仙纪念医院提供)进行分析。同时利用唇腺病理人工分析法进行对比分析。
结果显示:
(1)所得唇腺组织总面积(mm2)与唇腺病理人工分析法结果的一致性很高(图4A,Pearson相关分析,r=0.9406,p<0.0001)。
(2)所得超过50个淋巴细胞的聚集灶数量与唇腺病理人工分析法结果的一致性高(图4B,Pearson相关分析,r=0.7772,p<0.0001)。
(3)唇腺病理智能分析系统与唇腺病理人工分析法结果的ICC为0.77,kappa系数为0.54(图4C)。
(4)以人工灶性指数(FS)评分≥1为阈值,唇腺病理智能分析系统的准确性为77.5%,AUC为0.81(图4D)。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (7)
1.一种唇腺病理智能分析方法,其特征在于,包括如下步骤:
S1. 构建第一深度神经网络,用于逐一测量唇腺数字病理切片中各唇腺组织面积(mm2),并将各唇腺组织面积相加,得唇腺组织总面积;
S2. 建立第二深度神经网络,用于识别淋巴细胞密集区域,同时建立第三深度神经网络,用于鉴定密集区域中淋巴细胞的数量,通过细胞核检测和分类对候选淋巴细胞密集区域内的淋巴细胞进行识别及计数;确定超过50个淋巴细胞的真阳性区域,并进行计数得到淋巴细胞灶数量;
S3. 利用唇腺组织总面积和淋巴细胞灶数量的数据,计算出灶性指数;
灶性指数计算公式为:
灶性指数=淋巴细胞灶数量÷唇腺组织总面积(mm²)×4;
S4. 根据灶性指数判断唇腺数字病理切片是否为干燥综合征灶性淋巴细胞性唾液腺炎;判断标准为:
灶性指数≥1为符合干燥综合征灶性淋巴细胞性唾液腺炎,灶性指数<1则不符合干燥综合征灶性淋巴细胞性唾液腺炎;
所述第一深度神经网络的分割模型采用HookNet网络结构以更有效地利用多尺度特征,HookNet结构的关键在于对于同一位置组织区域以两个不同的分辨率进行采样,并在两个Unet结构分支分辨率相同处进行特征图的叠加;损失函数为BCE+Dice Loss;
所述第二深度神经网络识别淋巴细胞密集区域的过程具体为:
构建第二深度神经网络并进行训练;
将待测定的唇腺数字病理切片对应的唇腺数字病理图像并分割为像素的小块;
将小块逐个输入训练完成的第二深度神经网络中,得到对应分割后的结果,输出对应小块的像素概率图;
将小块的像素概率图按照相同的排列方式进行拼接,获取唇腺数字病理图像中所有淋巴灶区域,得到淋巴细胞密集区域;
其中,为小于或等于1024的正整数;
所述第三深度神经网络包括细胞核分割模型和细胞核分类模型;其中:
在细胞核分割模型中,基于唇腺数字病理图像中细胞核的轮廓勾画,将图像中的像素点分为背景点、细胞核边缘点及细胞核内部点;其中,只取其中的细胞核内部像素点,即得到每一个细胞核的位置;
在所述细胞核分类模型中,对于每一个细胞核,以其中心进行 像素大小的图块切割并计算每个细胞核属于淋巴细胞的概率;根据计算结果对细胞核进行分类并输出,获取每一个淋巴细胞的位置;
所述第三深度神经网络实现了细胞核的检测和分类,只需要细胞核中心点位置的标注及类别即可进行训练。
2.根据权利要求1所述的方法,其特征在于,步骤S1中构建第一深度神经网络用于分割唇腺组织,排除坏死、脂肪、横纹肌、皮肤取材不佳的区域,测量得到唇腺组织总面积;具体包括:
构建第一深度神经网络并进行训练;
将待测定的唇腺数字病理切片对应的唇腺数字病理图像并分割为像素的小块;
将小块逐个输入训练完成的第一深度神经网络中,得到对应分割后的结果,输出对应小块的像素概率图;
将小块的像素概率图按照相同的排列方式进行拼接,获取唇腺数字病理图像中所有腺体区域,得到唇腺组织总面积;
其中,为小于或等于1024的正整数。
3.根据权利要求2所述的方法,其特征在于,所述第一深度神经网络的训练过程为:
根据唇腺数字病理切片获取唇腺数字病理图像,并对唇腺数字病理图像中腺体区域进行轮廓勾画,将图像中的像素点分为背景像素点及腺体区域像素点;
对唇腺数字病理图像分割成像素的小块,并为每一个小块生成分割标签的二值图;
将二值图划分为训练集和验证集,对第一深度神经网络进行迭代训练和验证,直至第一深度神经网络符合验证条件。
4.根据权利要求3所述的方法,其特征在于,所述第三深度神经网络包括细胞核分割模型和细胞核分类模型;其中:
在细胞核分割模型中,基于唇腺数字病理图像中细胞核的轮廓勾画,将图像中的像素点分为背景点、细胞核边缘点及细胞核内部点;其中,只取其中的细胞核内部像素点,即得到每一个细胞核的位置;
在所述细胞核分类模型中,对于每一个细胞核,以其中心进行像素大小的图块切割并计算每个细胞核属于淋巴细胞的概率;根据计算结果对细胞核进行分类并输出,获取每一个淋巴细胞的位置。
5.一种唇腺病理智能分析系统,其特征在于,包括唇腺组织面积测定模块(1)、淋巴细胞灶测定模块(3)、分析处理模块(6)、结果显示模块(7);
其中,所述唇腺组织面积测定模块(1)包括逐一测量唇腺数字病理切片中各唇腺组织面积(mm2)的模块,以及唇腺组织面积汇总模块,唇腺组织面积汇总模块将测得的各唇腺组织面积相加即得唇腺组织总面积;
所述淋巴细胞灶测定模块(3)包括淋巴细胞灶识别模块和淋巴细胞灶数量汇总模块,识别并测量唇腺组织中淋巴细胞灶数量,并将结果传输给淋巴细胞灶数量汇总模块,得淋巴细胞灶数量;
所述分析处理模块(6)包括灶性指数计算模块和对比判断模块;上述唇腺组织面积测定模块(1)和淋巴细胞灶测定模块(3)将结果分别传输给灶性指数计算模块,计算出灶性指数;灶性指数计算模块将灶性指数的结果传输给对比判断模块,判断唇腺数字病理切片是否为干燥综合征灶性淋巴细胞性唾液腺炎;判断结果传输给所述结果显示模块(7)进行显示;
所述唇腺组织面积测定模块(1)逐一测量唇腺数字病理切片中各唇腺组织面积的实现方案:构建第一深度神经网络,用于分割唇腺组织,排除坏死、脂肪、横纹肌、皮肤取材不佳的区域,测量得到唇腺组织总面积,所述第一深度神经网络的分割模型采用HookNet网络结构以更有效地利用多尺度特征,HookNet结构的关键在于对于同一位置组织区域以两个不同的分辨率进行采样,并在两个Unet结构分支分辨率相同处进行特征图的叠加;损失函数为BCE+Dice Loss;
所述淋巴细胞灶测定模块(3)识别并测量唇腺组织中淋巴细胞灶数量的实现方案:建立第二深度神经网络,用于识别淋巴细胞密集区域;同时建立第三深度神经网络,用于鉴定密集区域中淋巴细胞的数量,通过细胞核检测和分类对候选淋巴细胞密集区域内的淋巴细胞进行识别及计数;确定超过50个淋巴细胞的真阳性区域,并进行计数得到淋巴细胞灶数量;
所述第二深度神经网络识别淋巴细胞密集区域的过程具体为:
构建第二深度神经网络并进行训练;
将待测定的唇腺数字病理切片对应的唇腺数字病理图像并分割为像素的小块;
将小块逐个输入训练完成的第一深度神经网络中,得到对应分割后的结果,输出对应小块的像素概率图;
将小块的像素概率图按照相同的排列方式进行拼接,获取唇腺数字病理图像中所有淋巴灶区域,得到淋巴细胞密集区域;
其中,为小于或等于1024的正整数;
所述第三深度神经网络包括细胞核分割模型和细胞核分类模型;其中:
在细胞核分割模型中,基于唇腺数字病理图像中细胞核的轮廓勾画,将图像中的像素点分为背景点、细胞核边缘点及细胞核内部点;其中,只取其中的细胞核内部像素点,即得到每一个细胞核的位置;
在所述细胞核分类模型中,对于每一个细胞核,以其中心进行像素大小的图块切割并计算每个细胞核属于淋巴细胞的概率;根据计算结果对细胞核进行分类并输出,获取每一个淋巴细胞的位置;
所述第三深度神经网络实现了细胞核的检测和分类,只需要细胞核中心点位置的标注及类别即可进行训练。
6.根据权利要求5所述的唇腺病理智能分析系统,其特征在于,所述唇腺组织面积测定模块(1)逐一测量唇腺数字病理切片中各唇腺组织面积的实现方案:构建第一深度神经网络,用于分割唇腺组织,排除坏死、脂肪、横纹肌、皮肤取材不佳的区域,测量得到唇腺组织总面积;具体包括:
构建第一深度神经网络并进行训练;
将待测定的唇腺数字病理切片对应的唇腺数字病理图像并分割为像素的小块;
将小块逐个输入训练完成的第一深度神经网络中,得到对应分割后的结果,输出对应小块的像素概率图;
将小块的像素概率图按照相同的排列方式进行拼接,获取唇腺数字病理图像中所有腺体区域,得到唇腺组织总面积;
其中,为小于或等于1024的正整数;
更具体地,所述第一深度神经网络的训练过程为:
根据唇腺数字病理切片获取唇腺数字病理图像,并对唇腺数字病理图像中腺体区域进行轮廓勾画,将图像中的像素点分为背景像素点及腺体区域像素点;
对唇腺数字病理图像分割成像素的小块,并为每一个小块生成分割标签的二值图;
将二值图划分为训练集和验证集,对第一深度神经网络进行迭代训练和验证,直至第一深度神经网络符合验证条件。
7.一种根据权利要求5或6所述的唇腺病理智能分析系统,其特征在于,应用于制备评估唇腺病理智能分析产品。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110732290.9A CN113723441B (zh) | 2021-06-29 | 2021-06-29 | 一种唇腺病理智能分析系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110732290.9A CN113723441B (zh) | 2021-06-29 | 2021-06-29 | 一种唇腺病理智能分析系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113723441A CN113723441A (zh) | 2021-11-30 |
CN113723441B true CN113723441B (zh) | 2024-04-19 |
Family
ID=78673014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110732290.9A Active CN113723441B (zh) | 2021-06-29 | 2021-06-29 | 一种唇腺病理智能分析系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113723441B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271969A (zh) * | 2018-10-29 | 2019-01-25 | 北京青燕祥云科技有限公司 | 一种脑胶质瘤分级评价方法及其装置 |
CN111340128A (zh) * | 2020-03-05 | 2020-06-26 | 上海市肺科医院(上海市职业病防治院) | 一种肺癌转移性淋巴结病理图像识别系统及方法 |
CN112215801A (zh) * | 2020-09-14 | 2021-01-12 | 北京航空航天大学 | 一种基于深度学习和机器学习的病理图像分类方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10956795B2 (en) * | 2017-09-15 | 2021-03-23 | Case Western Reserve University | Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei |
US11461891B2 (en) * | 2018-03-06 | 2022-10-04 | Case Western Reserve University | Phenotyping tumor infiltrating lymphocytes on hematoxylin and eosin (HandE) stained tissue images to predict recurrence in lung cancer |
-
2021
- 2021-06-29 CN CN202110732290.9A patent/CN113723441B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271969A (zh) * | 2018-10-29 | 2019-01-25 | 北京青燕祥云科技有限公司 | 一种脑胶质瘤分级评价方法及其装置 |
CN111340128A (zh) * | 2020-03-05 | 2020-06-26 | 上海市肺科医院(上海市职业病防治院) | 一种肺癌转移性淋巴结病理图像识别系统及方法 |
CN112215801A (zh) * | 2020-09-14 | 2021-01-12 | 北京航空航天大学 | 一种基于深度学习和机器学习的病理图像分类方法及系统 |
Non-Patent Citations (2)
Title |
---|
Molecular Evidence for Precursors of Sjögren’s Foci in Histologically Normal Lacrimal Glands;Austin K. Mircheff, et al.;《International Journal of Molecular Sciences》;20190108;第1-20页 * |
唇腺灶性指数与免疫组化在原发性SS病理诊断中的应用价值初探;邓志勇 等;《贵阳中医学院学报》;第39卷(第3期);第8-12页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113723441A (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
CN111985536B (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
Guo et al. | Radiomics analysis on ultrasound for prediction of biologic behavior in breast invasive ductal carcinoma | |
EP2745111B1 (en) | System and method for the detection of precancer or cancer cells in a biological sample | |
CN109829882B (zh) | 一种糖尿病视网膜病变分期预测方法 | |
CN109785310B (zh) | 一种基于乳腺淋巴结全景图像计算的自动分期系统 | |
Bai et al. | Automatic segmentation of cervical region in colposcopic images using K-means | |
WO2022012459A1 (zh) | 基于人工智能的寄生虫检测方法、系统及终端设备 | |
CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
CN112508884B (zh) | 一种癌变区域综合检测装置及方法 | |
CN112132166A (zh) | 一种数字细胞病理图像智能分析方法、系统及装置 | |
US20230066976A1 (en) | Systematic characterization of objects in a biological sample | |
WO2022247573A1 (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
WO2021102844A1 (zh) | 处理图像的方法、装置及系统 | |
CN115760858B (zh) | 基于深度学习的肾脏病理切片细胞识别方法及系统 | |
CN114580558A (zh) | 一种子宫内膜癌细胞检测方法、系统、设备及存储介质 | |
CN113657449A (zh) | 一种含噪标注数据的中医舌象腐腻分类方法 | |
Adorno III et al. | Advancing eosinophilic esophagitis diagnosis and phenotype assessment with deep learning computer vision | |
CN117689985A (zh) | 基于系综投票机制的子宫平滑肌肿瘤识别系统及方法 | |
CN112200815B (zh) | 基于语义分割网络PSPNet的甲状腺结节超声图像的分割方法 | |
Taher et al. | Identification of lung cancer based on shape and color | |
CN113723441B (zh) | 一种唇腺病理智能分析系统及方法 | |
CN113936005A (zh) | 一种dna指数计算方法、装置、计算机设备及存储介质 | |
Sobrevilla et al. | Fuzzy-based analysis of microscopic color cervical pap smear images: nuclei detection | |
CN117011593A (zh) | 一种基于深度学习的尿蛋白自动识别和分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |