CN116503321A - 病理指标确定方法、装置、设备及介质 - Google Patents
病理指标确定方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116503321A CN116503321A CN202310228711.3A CN202310228711A CN116503321A CN 116503321 A CN116503321 A CN 116503321A CN 202310228711 A CN202310228711 A CN 202310228711A CN 116503321 A CN116503321 A CN 116503321A
- Authority
- CN
- China
- Prior art keywords
- image
- bone marrow
- area
- tissue area
- tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 75
- 210000001185 bone marrow Anatomy 0.000 claims abstract description 645
- 210000001519 tissue Anatomy 0.000 claims abstract description 396
- 238000012545 processing Methods 0.000 claims abstract description 110
- 239000000835 fiber Substances 0.000 claims abstract description 99
- 206010016654 Fibrosis Diseases 0.000 claims abstract description 88
- 230000004761 fibrosis Effects 0.000 claims abstract description 88
- 238000003709 image segmentation Methods 0.000 claims abstract description 77
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 67
- 210000000577 adipose tissue Anatomy 0.000 claims abstract description 39
- 230000007170 pathology Effects 0.000 claims abstract description 39
- 238000003860 storage Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 18
- 230000002776 aggregation Effects 0.000 claims description 14
- 238000004220 aggregation Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 239000012634 fragment Substances 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000007619 statistical method Methods 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 6
- 235000013861 fat-free Nutrition 0.000 claims description 4
- 206010028537 myelofibrosis Diseases 0.000 description 33
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 18
- 208000003476 primary myelofibrosis Diseases 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000007797 corrosion Effects 0.000 description 10
- 238000005260 corrosion Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000002360 preparation method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000004043 dyeing Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000003628 erosive effect Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000010339 dilation Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 208000024891 symptom Diseases 0.000 description 4
- 208000007502 anemia Diseases 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003743 erythrocyte Anatomy 0.000 description 3
- 230000003394 haemopoietic effect Effects 0.000 description 3
- 206010019847 hepatosplenomegaly Diseases 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010562 histological examination Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 201000002364 leukopenia Diseases 0.000 description 2
- 231100001022 leukopenia Toxicity 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000035755 proliferation Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010043554 thrombocytopenia Diseases 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 206010000060 Abdominal distension Diseases 0.000 description 1
- 206010003694 Atrophy Diseases 0.000 description 1
- 206010006895 Cachexia Diseases 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 206010061298 Mucosal haemorrhage Diseases 0.000 description 1
- 208000014767 Myeloproliferative disease Diseases 0.000 description 1
- 206010033661 Pancytopenia Diseases 0.000 description 1
- 238000012331 Postoperative analysis Methods 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 208000035415 Reinfection Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010170 biological method Methods 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 208000024389 cytopenia Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000003255 drug test Methods 0.000 description 1
- 208000026500 emaciation Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000011132 hemopoiesis Effects 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000366 juvenile effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000002062 proliferating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种病理指标确定方法、装置、设备及存储介质,该方法包括:获取待处理骨髓病理图像;对待处理骨髓病理图像进行预处理,得到骨髓样本图像集合;将骨髓样本图像集合进行图像处理,得到骨髓组织区域图像;对骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,去除骨髓脂肪组织区域和骨小梁组织区域,得到处理后的骨髓组织图像;将处理后的骨髓组织图像输入训练好的图像分割模型中,得到骨髓纤维区域;根据骨髓组织区域图像和骨髓纤维区域,统计分析纤维化程度,确定病理指标。该方案能够提取到病理图像的布局细节,从而更全面且细粒度地统计分析纤维化程度,提高了病理指标确定的准确度。
Description
技术领域
本发明一般涉及医疗技术领域,具体涉及一种病理指标确定方法、装置、设备及介质。
背景技术
随着医疗技术的不断发展,基于病理图像进行分析和筛查是现代医学中进行疾病诊疗的重要手段,诸如对骨髓切片图像进行分析,一般针对骨髓组织切片图像的分布/形态方面进行特定分析,其通过对病变组织进行观察,以确定骨髓纤维化病理指标,从而为药物试验、术后分析、制定医疗计划、评估治疗效果等等阶段提供了辅助手段。
目前,相关技术中是采用人工基于骨髓病理图像进行观察,从而确定骨髓纤维化病理指标,但是该方式仅仅依靠人工的知识储备和阅片经验,缺乏客观性,导致确定骨髓纤维化病理指标的准确度较低。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种病理指标确定方法、装置、设备及介质。
第一方面,本发明提供了一种病理指标确定方法,该方法包括:
获取待处理骨髓病理图像;
对所述待处理骨髓病理图像进行预处理,得到骨髓样本图像集合;
将所述骨髓样本图像集合进行图像处理,得到骨髓组织区域图像;
对所述骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,去除所述骨髓脂肪组织区域和所述骨小梁组织区域,得到处理后的骨髓组织图像;
将所述处理后的骨髓组织图像输入训练好的图像分割模型中,得到二值图像,计算所述二值图像的轮廓,得到骨髓纤维区域;
根据所述骨髓组织区域图像和所述骨髓纤维区域,统计分析纤维化程度,确定病理指标。
第二方面,本申请实施例提供了病理指标确定装置,该装置包括:
获取模块,用于获取待处理骨髓病理图像;
预处理模块,用于对所述待处理骨髓病理图像进行预处理,得到骨髓样本图像集合;
第一处理模块,用于将所述骨髓样本图像集合进行图像处理,得到骨髓组织区域图像;
第二处理模块,用于对所述骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,去除所述骨髓脂肪组织区域和所述骨小梁组织区域,得到处理后的骨髓组织图像;
纤维区域确定模块,用于将所述处理后的骨髓组织图像输入训练好的图像分割模型中,得到二值图像,计算所述二值图像的轮廓,得到骨髓纤维区域;
统计分析模块,用于根据所述骨髓组织区域图像和所述骨髓纤维区域,统计分析纤维化程度,确定病理指标。
第三方面,本申请实施例提供一种设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行该程序时实现如上述第一方面的病理指标确定方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序用于实现如上第一方面的病理指标确定方法。
本申请实施例提供的病理指标确定方法、装置、设备及介质,通过获取待处理骨髓病理图像,并对待处理骨髓病理图像进行预处理,得到骨髓样本图像集合,然后对骨髓样本图像集合进行图像处理,得到骨髓组织区域图像,对骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,去除骨髓脂肪组织区域和骨小梁组织区域,得到处理后的骨髓组织图像,以及,将处理后的骨髓组织图像输入训练好的图像分割模型中,得到二值图像,计算二值图像的轮廓,得到骨髓纤维区域,最后,根据骨髓组织区域图像和骨髓纤维区域,统计分析纤维化程度,确定病理指标。该技术方案一方面通过对待处理骨髓病理图像进行预处理,能够精准地确定出骨髓样本图像集合和骨髓组织区域图像,为后续确定骨髓脂肪组织区域和骨小梁组织区域提供了数据指导信息。另一方面,将处理后的骨髓组织图像通过训练好的图像分割模型进行图像处理,能够提取到病理图像的布局细节,从而准确且快速地得到二值图像,进而精准地确定出骨髓纤维区域,能够基于骨髓组织区域图像和骨髓纤维区域更全面且细粒度地统计分析纤维化程度,为医生提供了准确的量化数值结果,减少了由于人工主观因素导致的病理指标不稳定的情况发生,辅助医生进行高效准确的判断,提高了病理指标确定的准确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本申请实施例提供的病理指标确定方法的实施环境的结构示意图;
图2为本申请实施例提供的病理指标确定方法的流程示意图;
图3为本申请实施例提供的确定骨髓样本嗜银切片的结构示意图;
图4为本申请实施例提供的对待处理骨髓病理图像进行预处理的结构示意图;
图5为本申请实施例提供的确定骨髓组织嗜银切片方法的流程示意图;
图6为本申请实施例提供的骨髓组织区域的结构示意图;
图7为本申请实施例提供的骨髓脂肪组织区域和骨髓骨小梁组织区域的结构示意图;
图8为本申请实施例提供的单脂肪滴区域和脂肪聚集区域的结构示意图;
图9为本申请实施例提供的获取无脂肪组织嗜银切片的示意图;
图10为本申请实施例提供的获取无骨小梁组织嗜银切片的示意图;
图11为本申请实施例提供的图像分割模型的结构示意图;
图12为本申请实施例提供的骨髓纤维区域的结构示意图;
图13为本申请实施例提供的构建图像分割模型方法的流程示意图;
图14为本申请实施例提供的确定骨髓纤维化确定结果的示意图;
图15为本申请实施例提供的计算骨髓组织分块纤维化程度参数方法的流程示意图;
图16为本申请实施例提供的计算骨髓组织分块纤维化程度参数的示意图;
图17为本申请实施例提供的分块骨髓组织区域图像的结构示意图
图18为本申请实施例提供的确定病理指标方法的结构示意图;
图19为本申请实施例提供的病理指标确定装置的结构示意图;
图20为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
可以理解,随着人工智能技术的快速发展,人工智能技术与医疗的结合已经应用于多个医疗领域中,其中主要包括如医疗影像、辅助诊断、药物研发、健康管理、疾病预测、医院管理、虚拟助理、医疗机器人和医学研究等应用场景。其中,在临床上可以通过对病理图像的分布形态进行分析,对疾病的诊断具有重要的价值。例如,在对骨髓纤维化检查的过程中,可以对骨髓病理图像的分布和形态进行分析,从而确定病理指标。
需要说明的是,骨髓纤维化,简称髓纤,是一种由于骨髓造血组织中胶原增生,其纤维组织严重地影响造血功能所引起的一种骨髓增生性疾病,因已知或未知原因导致增生纤维组织取代了正常的造血组织,引起骨髓造血功能异常,从而产生一系列的临床症状。该病主要表现为不同程度的血细胞减少或增多,外周血中可见幼红细胞及幼粒细胞,并有较多的泪滴状红细胞,出现髓外造血及骨髓干抽现象,常伴有不同程度的肝脾肿大。骨髓切片组织学检查属于一种有创的诊断措施,在进行这项检查的过程中,需要在骨髓局部进行穿刺,然后提取组织进行涂片检测。骨髓切片组织学检查对骨髓纤维化的诊断具有重要价值,若患者存在骨髓纤维化病变,那么就能够在骨髓切片可视化后,快速发现问题,并且还可以明确局部纤维组织是否存在增生或萎缩的问题。
目前,相关技术中一种方式是可以通过人工通过肉眼对骨髓病理图像进行观察,检查其骨髓纤维化的分布或形态等,以确定病理指标,该方式仅仅依靠人工的知识储备和阅片经验,不仅易受医生经验主观性的限制,而且随着临床样本量的增加,常规的人工看片已经不能满足医院病理科临床的需要,导致确定骨髓纤维化病理指标的准确度较低。
基于上述缺陷,本申请提供了一种病理指标确定方法、装置、设备及介质,与现有技术相比,该技术方案一方面通过对待处理骨髓病理图像进行预处理,能够精准地确定出骨髓样本图像集合和骨髓组织区域图像,为后续确定骨髓脂肪组织区域和骨小梁组织区域提供了数据指导信息。另一方面,将处理后的骨髓组织图像通过训练好的图像分割模型进行图像处理,能够提取到病理图像的布局细节,从而准确且快速地得到二值图像,进而精准地确定出骨髓纤维区域,能够基于骨髓组织区域图像和骨髓纤维区域更全面且细粒度地统计分析纤维化程度,为医生提供了准确的量化数值结果,减少了由于人工主观因素导致的病理指标不稳定的情况发生,辅助医生进行高效准确的判断,提高了病理指标确定的准确度。
图1是本申请实施例提供的一种病理指标确定方法的实施环境架构图。如图1所示,该实施环境架构包括:终端100和服务器200。
其中,在图像处理领域,对待处理骨髓病理图像进行图像处理的过程可以在终端100执行,也可以在服务器200执行。例如,通过终端100采集待处理骨髓病理图像,可以在终端100本地进行图像处理,得到待处理骨髓病理图像的病理指标;也可以将待处理骨髓病理图像发送至服务器200,使得服务器200获取待处理骨髓病理图像,根据待处理骨髓病理图像进行图像处理,得到待处理骨髓病理图像的病理指标,然后将待处理骨髓病理图像的病理指标发送至终端100,以实现对待处理骨髓病理图像的病理指标的确定过程。
另外,终端100上可以运行有操作系统,该操作系统可以包括但不限于安卓系统、IOS系统、Linux系统、Unix、Windows系统等,还可以包括用户界面(User Interface,UI)层,可以通过UI层对外提供待处理骨髓病理图像的显示以及待处理骨髓病理图像的病理指标的显示,另外,可以基于应用程序接口(Application Programming Interface,API)将图像处理所需的待处理骨髓病理图像发送至服务器200。
可选的,终端100可以是各类AI应用场景中的终端设备。例如,终端100可以是笔记本电脑、平板电脑、台式计算机、车载终端、智能语音交互设备、智能家电、移动设备、飞行器等,移动设备例如可以是智能手机、便携式音乐播放器、个人数字助理、专用消息设备、便携式游戏设备等各种类型的终端,本申请实施例对此不进行具体限定。
服务器200可以是一台服务器,也可以是由若干台服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端100与服务器200之间通过有线或无线网络建立通信连接。可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan AreaNetwork,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。
上述基于深度学习的AI应用系统在提供AI应用服务的过程中,可以通过图像分割模型对待处理骨髓病理图像进行特征提取和图像分割,得到骨髓纤维区域,并根据骨髓纤维区域的纤维化程度确定病理指标,以提供AI应用服务。其中,上述图像分割模型可以设置在服务器200中,由服务器训练以及应用;或者,上述图像分割模型也可以设置在终端100中,并由服务器200训练及更新。
为了便于理解和说明,下面通过图2至图20详细阐述本申请实施例提供的病理指标确定方法、装置、设备及存储介质。
图2所示为本申请实施例的病理指标确定方法的流程示意图,该方法可以由病理指标确定装置执行。如图2所示,该方法包括:
S101、获取待处理骨髓病理图像。
上述待处理骨髓病理图像是指需要进行病理指标确定的骨髓病理图像,该待处理骨髓病理图像可以是原始骨髓切片图像,该原始骨髓切片图像可以是使用扫描仪对嗜银染色的临床活检骨髓样本进行扫描处理得到的。上述待处理骨髓病理图像的数量可以是一个,也可以是多个。
其中,对于临床活检骨髓样本可以是符合骨髓样本制片要求的,一般要求长度为1.5-2.5cm,小于1.5cm的标本视为不合格。活检标本越长,观察范围越大,越有代表性,病理指标确定的可靠性越高。待处理骨髓病理图像有对应的层级,一般来说,层级越高,尺寸越大;层级越低,尺寸越小。
该待处理骨髓病理图像可以是包括脂肪组织区域,还可以包括骨小梁组织区域,也可以包括纤维组织区域。
在一种可能的实现方式中,上述待处理骨髓病理图像的获取方式可以包括:通过图像扫描仪、数字照相机等得到镜下图像,然后将镜下图像转换成电信号并加以数字化来完成。实际上,在图像获取之前还包括显微样本(涂片、切片)的制备等生物学方法。另一种可能的实现方式中,还可以通过外部设备直接导入获取得到,或者从预设的数据库中或区块链上获取得到。
S102、对待处理骨髓病理图像进行预处理,得到骨髓样本图像集合。
由于待处理骨髓病理图像的复杂性,以及采样过程中存在的外界干扰,都会影响骨髓病理图像的准确分割,因此,在分割前需要对其进行必要的预处理,以平滑并消除噪声,增强目标与背景的区别,消除由于光源不均匀引起的照度场变化等。
上述骨髓样本图像集合是指符合标准骨髓样本切片要求的骨髓样本图像。在获取到待处理骨髓病理图像后,该待处理骨髓病理图像例如可以是MRXS格式的图像,然后可以对待处理骨髓病理图像进行预处理,去除骨髓样本无关区域,得到符合骨髓制片标准的骨髓样本图像集合。
请参见图3所示,以待处理骨髓病理图像为原始骨髓嗜银切片,骨髓样本图像集合为骨髓样本嗜银切片为例,在对原始骨髓嗜银切片进行预处理过程中,可以先进行骨髓组织无关区域过滤处理,得到过滤后的骨髓切片图像,并判断过滤后的骨髓切片图像是否符合骨髓制片标准,当符合骨髓制片标准时,将符合骨髓制片标准的轮廓坐标映射至原始骨髓嗜银切片对应层级,从而得到骨髓样本嗜银切片;当不符合骨髓制片标准时,根据不符合骨髓制片标准的骨髓嗜银切片生成骨髓制片请求并发送至客户端,得到符合骨髓制片标准的骨髓样本嗜银切片集合,可以参见图4所示,其中,图4左侧所示图像为原始骨髓嗜银切片,右侧所示图像为预处理后得到的符合骨髓制片标准的骨髓样本嗜银切片集合。
本申请实施例中,在对待处理骨髓病理图像进行预处理的过程中,可以先将MRXS格式的待处理骨髓病理图像进行格式转换处理,得到RGBA格式的骨髓图像,然后获取RGBA格式的骨髓图像中A通道的像素值,根据A通道的像素值和预设A通道阈值对待处理骨髓病理图像进行分割处理,得到多个骨髓样本,并判断多个骨髓样本中的每个骨髓样本是否符合骨髓制片标准,可以按照预设尺寸像素阈值对多个骨髓样本中的每个骨髓样本进行过滤处理,得到骨髓样本图像集合。其中,上述预设A通道阈值是根据实际需求自定义设置的切片透明度阈值,上述尺寸像素阈值是根据实际需求设置的符合骨髓制片标准的尺寸对应的像素值。
在根据A通道的像素值和预设A通道阈值对待处理骨髓病理图像进行分割处理的过程中,可以将A通道的像素值与预设A通道阈值进行比较,将RGBA格式的骨髓图像中A通道的像素值大于预设A通道阈值的区域作为多个骨髓样本。然后对于多个骨髓样本中的每个骨髓样本,获取每个骨髓样本的像素值,将像素值与尺寸像素阈值进行比较,当像素值大于尺寸像素阈值时,将大于尺寸像素阈值的骨髓样本进行保留,可以确定为该骨髓样本符合骨髓制片标准,并将该符合骨髓制片标准的骨髓样本的轮廓坐标映射至原始骨髓嗜银切片对应层级,从而得到骨髓样本图像集合;当像素值不大于尺寸像素阈值时,可以确定为该骨髓样本不符合骨髓制片标准,可以根据像素值不大于尺寸像素阈值的骨髓样本生成骨髓制片请求,重新发送骨髓制片请求至客户端,从而使得客户端响应于骨髓制片请求,将像素值不大于尺寸像素阈值的骨髓样本进行校正处理,从而得到符合制片标准的骨髓样本。
需要说明的是,RGBA格式是代表Red(红色)Green(绿色)Blue(蓝色)和Alpha的色彩空间。虽然它有的时候被描述为一个颜色空间,但是它其实仅仅是RGB模型的附加了额外的信息。可以属于任何一种RGB颜色空间。Alpha通道(A通道)一般用作不透明度参数。如果一个像素的Alpha通道数值为0%,那它就是完全透明的(也就是看不见的),而数值为100%则意味着一个完全不透明的像素(传统的数字图像)。在0%和100%之间的值则使得像素可以透过背景显示出来。因此,本实施例中可以通过预设A通道阈值与A通道的像素值进行比对,从而对待处理骨髓病理图像进行分割处理,以精准地得到多个骨髓样本。
本实施例中通过判断待处理骨髓病理图像是否符合骨髓制片标准,能够精准地得到符合骨髓制片标准的骨髓样本图像集合,从而有针对性进行后续图像处理,为后续图像处理提供了数据指导信息。
S103、将骨髓样本图像集合进行图像处理,得到骨髓组织区域图像。
上述骨髓组织区域图像是指包括骨髓组织区域的样本图像。在得到骨髓样本图像集合后,可以对骨髓样本图像集合中的每个骨髓样本图像进行图像处理,得到骨髓组织区域图像。具体地,对于骨髓样本图像集合中的每个骨髓样本图像,先将骨髓样本图像转化处理为BGR格式的骨髓组织图像,然后对骨髓组织图像进行通道分离处理,得到B通道图像、R通道图像和G通道图像,并基于B通道图像、R通道图像和G通道图像转换处理为二值化图像,然后基于B通道图像、R通道图像和二值化图像,对骨髓组织图像进行边缘优化和轮廓提取处理,得到骨髓组织区域图像。
具体地,上述骨髓样本图像的格式是RGBA格式,可以对该RGBA格式的骨髓样本图像进行格式转换处理,得到BGR格式的骨髓组织图像,然后将BGR格式的骨髓组织图像进行通道分离处理,例如可以调用opencv中的split函数进行通道分离,得到B通道图像、R通道图像和G通道图像,然后可以获取B通道图像、R通道图像和G通道图像的像素值,然后根据B通道图像、R通道图像和G通道图像的像素值与预设像素阈值进行二值化处理,从而得到二值化图像。
需要说明的是,二值化图像是指图像上的每一个像素只有两种可能的取值或灰度等级状态。也就是说,图像中的任何像素点的灰度值均为0或者255,分别代表黑色和白色。
可以理解的是,由于获取的骨髓样本图像可能由于光源不均匀引起的照度场变化存在锯齿状等噪声影响,因此,在得到B通道图像、R通道图像、G通道图像和二值化图像后,可以采用像素级别操作对骨髓组织图像进行边缘优化,以降低骨髓组织图像的锯齿状,从而实现对图像进行平滑处理。
可选的,在对骨髓组织图像进行边缘优化的过程中,可以采用拉普拉斯算子分别对B通道图像、R通道图像和G通道图像进行分别增强来处理,通过对二值化图像进行多次像素级别的膨胀和腐蚀交叉操作的方式实现,其中,例如可以是三次像素级别的膨胀和腐蚀交叉操作。
在对骨髓组织图像进行边缘优化处理后,然后计算获取骨髓组织区域图像的轮廓信息,可以通过B通道图像、R通道图像和二值化图像进行叠加阈值过滤分析,从而得到骨髓处理图像,最后将骨髓处理图像的轮廓坐标映射到骨髓样本嗜银切片对应层级,从而得到骨髓组织区域图像。
其中,上述通过B通道图像、R通道图像和二值化图像进行叠加阈值过滤分析,从而得到骨髓处理图像,可以是将B通道图像的像素值与第一阈值进行比较,R通道图像的像素值与第二阈值进行比较,二值图像的像素值与第三阈值进行比较,当满足B通道图像的像素值大于第一阈值,R通道图像的像素值大于第二阈值且二值化图像的像素值大于第三阈值的区域置为1,即确定为骨髓处理图像,否则置为0。其可以通过如下公式表示:
其中,R为R通道图像的像素值,B为B通道图像的像素值,imgbin为二值化图像的像素值,Maskcapillary_tuft为骨髓处理图像。
骨髓处理图像的轮廓坐标映射方法是指将骨髓处理图像轮廓由低层级圆滑过渡到高层级,防止出现锯齿状边缘现象。一般可以采用线性插值算法进行轮廓坐标映射处理,该线性插值算法例如可以是单线性插值算法和双线性插值算法,单线性插值可以通过如下公式表示:
其中,(x0,y0)和(x1,y1)分别为骨髓处理图像上的轮廓的数据点坐标,(x,y)为骨髓组织区域图像上轮廓的数据点坐标。
双线性插值可以通过如下公式表示:
其中,(x,y)为骨髓组织区域图像上轮廓的数据点坐标。
请参见图5所示,当骨髓样本图像集合为骨髓样本嗜银切片集合,骨髓组织区域图像为骨髓组织嗜银切片时,对于骨髓样本嗜银切片集合中的骨髓样本嗜银切片,先读取骨髓样本嗜银切片指定层级,并将骨髓样本嗜银切片转换为BGR格式的骨髓组织图像,其次将骨髓组织图像进行通道分离处理,得到B通道图像、R通道图像和G通道图像,同时根据B通道图像、R通道图像和G通道图像转换处理为二值化图像,然后采用像素级别操作对骨髓组织图像进行边缘计算处理或不同层级的骨髓组织轮廓优化处理,最后计算优化后的骨髓组织图像的轮廓信息,该骨髓组织图像的轮廓信息可以参见图6所示,然后从轮廓信息中获取骨髓组织图像的轮廓坐标,并将轮廓坐标映射至骨髓嗜银切片对应层级,从而得到骨髓组织嗜银切片。
需要说明的是,在进行多次像素级别的膨胀和腐蚀交叉操作的过程中,膨胀可以理解为处理图像缺陷问题,腐蚀可以理解为处理图像毛刺问题。膨胀或者腐蚀操作是将图像(或图像的一部分区域)与结构元素(卷积核)进行卷积,从而计算卷积核覆盖的区域的像素点的最大值,并把这个最大值赋值给参考点指定的像素。
膨胀和腐蚀操作的核心内容是结构元素,一般来说结构元素是由元素为1或者0的矩阵组成,结构元素为1的区域定义了图像的领域,领域内的像素在进行膨胀和腐蚀等形态学操作时要进行考虑。
腐蚀是指清楚图像的一些毛刺和细节,腐蚀一般可以用来消除噪点,分割出独立的图像元素等,其本质上也是一种空间滤波,设定一个掩膜,掩膜中心逐次划过每一个像素点,当前像素点(即掩膜中心所对应的位置)的值设为掩膜覆盖区域中像素的最小值。
其中,腐蚀操作是将图像(或图像的一部分区域)与结构元素(卷积核)进行卷积。核可以是任何的形状和大小,拥有一个单独定义出来的参考点,多数情况下,核是一个小的中间带有参考点和实心正方形或者圆盘,可以把核视为模板或者掩膜。掩膜中心位置的像素点是否与周围领域的像素点颜色一样(即是否是白色点,即像素值是否为255),若一致,则保留,若不一致,在将该点置为黑色(即像素值置为0)。
作为一种可选的实现方式,在对二值图像进行三次膨胀和腐蚀交叉操作的过程中,可以先第一次进行膨胀操作再进行腐蚀操作,然后第二次进行膨胀操作再进行腐蚀操作,最后第三次进行膨胀操作再进行腐蚀操作。其中,膨胀的具体操作过程是用一个结构元素(一般是3×3的大小)扫描图像中的每一个像素,用结构元素中的每一个像素与其覆盖的像素做“与”操作,如果值都为0,则该像素值置为0,否则置为1。腐蚀的具体操作过程是用一个结构元素(一般是3×3的大小)扫描图像中的每一个像素,用结构元素中的每一个像素与其覆盖的像素做“与”操作,如果值都为1,则该像素值置为1,否则置为0。
本实施例中通过进行骨髓组织边缘计算和轮廓优化处理,能够抑制图像噪声的影响,使得确定出的骨髓组织区域图像更平滑顺畅,便于更精准地确定骨髓脂肪组织区域和骨小梁组织区域。
S104、对骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,去除骨髓脂肪组织区域和所述骨小梁组织区域,得到处理后的骨髓组织图像。
上述骨髓脂肪组织区域是指骨髓组织区域图像中包括脂肪组织的区域。上述骨小梁组织区域是指骨髓组织区域图像中包括骨小梁组织的区域。上述处理后的骨髓组织图像是指骨髓组织区域图像中去除骨髓脂肪组织区域和骨小梁组织区域的图像。
一种可能的实现方式中,可以是先采用图像处理算法对骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,然后去除骨髓组织区域图像中的骨髓脂肪组织区域和骨小梁组织区域,得到处理后的骨髓组织区域图像。可以参见图7所示,图7中颜色深色区域为骨髓组织区域图像中定位到的骨髓脂肪组织区域和骨小梁组织区域。
另一种可能的实现方式中,可以是先对骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域,然后去除骨髓脂肪组织区域,得到去除骨髓脂肪组织区域的骨髓组织区域图像,并进一步对其进行图像处理,确定骨小梁组织区域,去除骨小梁组织区域,从而得到处理后的骨髓组织区域图像。
具体地,在确定出骨髓组织区域图像后,将骨髓组织区域图像进行格式转换、分块处理和图像分割处理,从而精准定位骨髓组织区域图像中的单脂肪滴和多脂肪聚集区域,得到骨髓脂肪组织区域。该骨髓组织区域图像的格式可以是BGR格式。
作为一种可选的实现方式,可以先将骨髓组织区域图像转化处理为LAB格式的骨髓组织区域图像,并对LAB格式骨髓组织区域图像按照固定尺寸进行分块处理,得到多个分块图像,然后对于多个分块图像中的每个分块图像,确定每个分块图像在L颜色通道的像素值,根据L颜色通道的像素值与预设像素阈值,确定类脂肪区域,基于类脂肪区域的形态学特征确定单脂肪滴区域和多脂肪聚集区域,最后根据单脂肪滴区域和多脂肪聚集区域,确定骨髓脂肪组织区域。上述类脂肪区域包括单脂肪滴区域、多脂肪聚集区域和其他区域。
可选的,在进行脂肪区域筛选,从骨髓组织区域图像中确定类脂肪区域的过程中,可以通过如下公式表示:
其中,L为L颜色通道的像素值,Maskfat为类脂肪区域。
需要说明的是,上述LAB是一种不常用的色彩空间,是一种基于生理特征的颜色系统,LAB颜色空间中的L分量用于表示像素的亮度,取值范围是[0,100],表示从纯黑到纯白;A表示从红色到绿色的范围,取值范围是[127,-128];B表示从黄色到蓝色的范围,取值范围是[127,-128]。上述BGR通道是指由红色通道(R)、绿色通道(G)、蓝色通道(B)组成的。
其中,可以先将BGR格式的骨髓组织区域图像转化处理为XYZ格式的骨髓组织区域图像,然后再将XYZ格式的骨髓组织区域图像转换处理为LAB格式骨髓组织区域图像。BGR格式的数值范围都是0~255,将BGR格式转换为XYZ格式是指将0~255归一化为0~1。然后将LAB格式骨髓组织区域图像按照固定尺寸进行错位分块处理,得到多个分块图像,然后对于多个分块图像中的每个分块图像,确定每个分块图像在L颜色通道的像素值,将L颜色通道的像素值与预设像素阈值区间进行对比,将分块图像中L颜色通道的像素值处于预设像素阈值区间的区域确定为类脂肪区域,然后获取类脂肪区域的形态学特征,该形态学特征可以是外接圆内面积占比。其中,在确定出类脂肪区域后,基于类脂肪区域的形态学特征确定单脂肪滴区域和多脂肪聚集区域,是为了避免脂肪周围纤维误筛选,可以通过类脂肪区域的外接圆内面积占比Ratiobone进行阈值过滤得到单脂肪滴区域和多脂肪聚集区域,并根据单脂肪滴区域和多脂肪聚集区域,确定为骨髓脂肪组织区域。单脂肪滴区域和多脂肪聚集区域可以通过如下公式表示:
请参见图8所示,图8为脂肪形态的结构示意图,图8中左侧示出的是单脂肪滴区域的结构示意图,右侧示出的是多脂肪聚集区域的结构示意图。
请参见图9所示,以骨髓组织区域图像为骨髓组织嗜银切片为例,在得到骨髓组织嗜银切片后,可以先对骨髓组织嗜银切片按固定尺寸错位分块处理,得到多个分块图像,然后进行骨髓脂肪组织计算确定出骨髓脂肪组织区域,并去除骨髓脂肪组织区域,从而得到无脂肪组织骨髓切片。进一步地,在确定出骨髓脂肪组织区域后,可以将骨髓脂肪组织区域的轮廓坐标映射为对应层级,即可得到对应的骨髓脂肪组织区域图像。
作为另一种可实现方式,可以对骨髓组织区域图像进行图像处理,确定骨小梁组织区域。可以通过对骨髓组织区域图像进行图像增强处理,得到增强图像,并将增强图像转换处理为骨髓掩膜二值图像,然后计算骨髓掩膜二值图像的所有轮廓的像素值,根据第一尺寸阈值、第二尺寸阈值和像素值对骨髓掩膜二值图像进行过滤处理,得到完整骨小梁区域和骨小梁碎片区域,其中,第一尺寸阈值大于所述第二尺寸阈值,最后基于完整骨小梁区域和骨小梁碎片区域,确定骨小梁组织区域。
请参见图10所示,以骨髓组织区域图像为骨髓组织嗜银切片为例,在得到骨髓组织嗜银切片后,可以先对骨髓组织嗜银切片进行染色增强处理,以强化切片染色,例如是将骨髓组织嗜银切片中主成分色紫色和青色进行加强,以完成骨髓组织嗜银切片内各个成分的显著特性,从而得到增强图像,然后进行骨髓骨小梁组织定位,从而确定出骨髓骨小梁组织区域,并去除骨髓骨小梁组织区域,从而得到无骨小梁组织骨髓切片。
需要说明的是,由于骨小梁区域的成分较为单一,因此在标准条件下染色较为稳定,可以根据预设基准色彩对骨髓组织区域图像的色彩进行调节,使骨小梁区域的色彩与预设基准色彩相对应,以得到调节后的增强图像。对骨髓组织区域图像进行染色增强处理的目的是实现骨髓纤维和骨小梁对应颜色的两级分化。在根据骨髓组织区域图像确定骨小梁组织区域轮廓的过程中,主要是根据骨髓大小对骨髓组织中的成块结构进行筛选,以得到符合标准的骨小梁区域,可以通过如下公式表示:
其中,Ratiobone是骨小梁在整个骨髓组织区域图像中的占比。
具体地,在得到骨髓组织区域图像之后,可以先对骨髓组织区域图像进行染色增强处理,强化切片染色,其次将骨髓组织区域图像从BGR格式转换为骨髓掩膜二值图像,然后计算骨髓掩膜二值图像的所有轮廓的像素值,并遍历所有轮廓的像素值,将第一尺寸阈值和像素值进行比对,将骨髓掩膜二值图像中像素值大于第一尺寸阈值的区域作为完整骨小梁区域,以及将第二尺寸阈值和像素值进行比对,将骨髓掩膜二值图像中像素值小于第二尺寸阈值的区域作为骨小梁碎片区域,将完整骨小梁区域和骨小梁碎片区域确定为骨小梁组织区域,并将骨小梁组织的轮廓坐标映射到对应层级,去除骨小梁组织区域,然后得到去除骨小梁组织的骨髓嗜银切片。
可选的,在根据第一尺寸阈值、第二尺寸阈值和像素值对骨髓掩膜二值图像进行过滤处理的过程中,可以进行多次尺寸过滤确定完整骨小梁区域和骨小梁碎片区域,其中,例如可以是三次尺寸过滤处理。通过多次进行尺寸过滤处理,能够提高完整骨小梁区域和骨小梁碎片区域确定的准确度。
S105、将处理后的骨髓组织图像输入训练好的图像分割模型中,得到二值图像,计算二值图像的轮廓,得到骨髓纤维区域。
需要说明的是,上述图像分割模型是指通过对样本数据进行训练,从而学习到具备二值图像确定能力的网络结构模型。图像分割模型的输入为处理后的骨髓组织图像,输出为对应的二值图像,且具有对处理后的骨髓组织图像进行图像转换的能力,是能够确定二值图像的神经网络模型。图像分割模型可以包括多层网络结构,不同层的网络结构对输入其的数据进行不同的处理,并将其输出结果传输至下一网络层,直至通过最后一个网络层进行处理,得到二值图像。该图像分割模型用于负责建立处理后的骨髓组织图像与二值图像之间的关系,其模型参数已处于最优的状态。
该图像分割模型可以包括但不限于卷积层、归一化层和激活函数,卷积层、归一化层和激活函数可以包括一层,或者也可以包括多层。卷积层用于对处理后的骨髓组织图像中边缘和纹理特征进行特征提取;归一化层用于对卷积层得到的图像特征进行归一化处理,例如可以将图像特征减去均值除以方差,得到均值为零,方差为一的正态分布,可以防止梯度爆炸和梯度消失;其中,上述激活函数可以是Sigmoid函数,也可以是Tanh函数,还可以是ReLU函数,通过将归一化处理的特征图经过激活函数处理,能够将其结果映射到0~1之间。
由于处理后的骨髓组织图像的尺寸较大,无法满足图像分割模型的输入要求,因此需要对处理后的骨髓组织图像进行分块处理,可以通过遍历整个处理后的骨髓组织图像,然后按照固定尺寸对处理后的骨髓组织图像进行分块处理,得到多个分块骨髓组织图像。
可选的,上述图像分割模型可以是在人工智能医疗领域效果比较好的UNet系列模型,比如:UNet,UNet++,TransUNet,U2Net,UNeXt等网络层数比较深的模型。其中轻量级医学图像分割网络UNeXt中采用了卷积多层感知器和空间注意力机制,利用标记化的多层感知器模块优化特征提取,使得模型能更好的关注骨髓纤维区域的宏观和微观信息,提高目标检测的准确性。
可以理解的是,以UNeXt为例,UNeXt是一个编码器-解码器结构,包括卷积阶段和tokenized MLP阶段。在得到多个分块骨髓组织图像之后,将每个分块骨髓组织图像输入图像分割模型的编码器中,得到特征图,并将特征图通过图像分割模型的解码器中,得到分块二值图,最后将多个分块二值图进行拼接处理,得到二值图像。
具体地,请参见图11所示,在将每个分块骨髓组织图像(Input Image)输入图像分割模型的过程中,可以先将每个分块骨髓组织图像通过编码器,该编码器的结构包括五个模块,前三个模块是卷积模块,后两个模块是tokenized MLP模块。解码器的结构也包括五个模块,前两个模块是tokenized MLP模块,后三个模块是卷积模块。每个编码器中的模块减小特征分辨率二倍,每个解码器中的模块增加分辨率2,跳跃连接也被应用在了编码器和解码器之间。
其中,在编码器的卷积模块有三个模块,每个模块包括一个卷积层、归一化层、池化层和ReLU激活层。即第一个卷积模块(Convolutional)包括Conv+BatchNorm+Pooling+ReLU层,输入的该分块骨髓组织图像的大小变化为第二个卷积模块(Convolutional)包括Conv+BatchNorm+Pooling+ReLU层,其特征图的大小变化为第三个卷积模块(Convolutional)包括Conv+BatchNorm+Pooling+ReLU层,其特征图的大小变化为/>编码器的第一个tokenized MLP模块包括PatchEmbed+ShiftedBlock+LayerNorm层,其特征图的大小变化为/>第二个tokenized MLP模块包括PatchEmbed+ShiftedBlock+LayerNorm层,其特征图的大小变化为/>
在通过编码器得到特征图后,可以将特征图继续通过图像分割模型的解码器中,得到每个分块骨髓组织图像对应的分块二值图,然后根据每个分块二值图的坐标,对多个分块二值图进行拼接处理,得到二值图像(Prediction),然后计算二值图像的轮廓信息,得到骨髓纤维区域,骨髓纤维区域可以参见图12所示。
在本申请的另一实施例中,在对处理后的骨髓组织图像进行分块处理,得到多个分块骨髓组织图像之后,需要对图像分割模型进行训练完成,还提供了图像分割模型的训练过程流程示意图。请参见图13所示,该方法包括:
S201、对获取的样本病理图像进行预处理,得到样本骨髓组织区域图像。
S202、对样本骨髓组织区域图像进行分块处理,得到多个样本分块骨髓组织图像;每个样本分块骨髓组织图像包含标注的骨髓纤维区域。
具体地,可以先获取样本病理图像,上述该样本病理图像可以是多个,也可以是一个,其中,每个样本病理图像可以包括至少一个骨髓纤维区域、骨髓脂肪区域、骨髓骨小梁区域。该样本病理图像例如可以是样本骨髓嗜银切片。
在获取到样本病理图像之后,可以对样本病理图像进行图像处理,通过先进行格式转换为BGR格式的样本骨髓组织图像,并对样本骨髓组织图像进行通道分离,得到对应的B通道图像、R通道图像和G通道图像,并基于通道图像、R通道图像和G通道图像转换处理得到样本二值图像,然后根据B通道图像、R通道图像和样本二值图像,对样本骨髓组织图像进行边缘优化和轮廓提取处理,得到样本骨髓组织区域图像。
在获取到样本骨髓组织区域图像(样本骨髓组织嗜银切片)之后,由于一张样本骨髓组织嗜银切片的尺寸是非常大的,分辨率可能是在100000×200000,该样本骨髓组织区域图像的大小,不满足训练图像分割模型时的输入要求,无法直接送入到模型中进行训练,因此需要对其进行处理,可以将一张样本骨髓组织区域图像(样本骨髓组织嗜银切片)按照固定尺寸切割成多张某个确定尺寸的多个样本分块骨髓组织图像(样本分块骨髓组织嗜银切片)。其中,可以保留每个样本分块骨髓组织图像的坐标位置,便于后续模型预测之后得到样本二值图进行拼接。
其中,每个样本分块骨髓组织图像包含标注的骨髓纤维区域可以是由人工(病理专家)进行标注得到的,在训练阶段将大尺寸的样本骨髓组织区域图像切割成一定尺寸的分块骨髓纤维区域图像,由于纤维区域的干扰项较多,因此需要增加足够多的负样本,为了了让模型得到充分的训练,在切割图的过程中保证每张分块骨髓纤维区域图像上都带有骨髓纤维区域。
S203、将每个样本分块骨髓组织图像输入待构建的图像分割模型进行处理,得到所述每个样本分块骨髓组织图像对应的样本分块二值图。
S204、将多个样本分块二值图进行拼接处理,得到样本二值图。
S205、计算样本二值图的轮廓,得到预测骨髓纤维区域。
S206、基于预测骨髓纤维区域和标注的骨髓纤维区域之间的损失函数,按照损失函数最小化,采用迭代算法对待构建的图像分割模型进行迭代训练,得到图像分割模型。
上述待构建的图像分割模型是输入为样本分块骨髓组织图像,输出为样本分块二值图,且具有对样本分块骨髓组织图像进行二值化转化的能力,能够预测样本二值图的神经网络模型。该待构建的图像分割模型可以是进行迭代训练时的初始模型,即待构建的图像分割模型的模型参数处于初始的状态,也可以是上一轮迭代训练中调整后的模型,即待构建的图像分割模型的模型参数处于中间的状态。可以将样本分块骨髓组织图像输入待构建的图像分割模型,得到输出结果,该输出结果可以包括样本分块骨髓组织图像的类别结果。其中,类别结果用于表征样本分块骨髓组织图像的像素值为0和255的概率,且概率值分布在0~1之间,利用阈值过滤可以将样本分块骨髓组织图像转化为分块二值图。其中,样本分块二值图的结果图像尺寸与样本分块骨髓组织图像的尺寸相同。
在得到多个样本分块二值图后,可以获取每个样本分块二值图对应的样本分块骨髓组织图像的坐标,对多个样本分块二值图进行拼接处理,得到样本二值图,该样本二值图与样本骨髓组织区域图像的大小尺寸一致。然后计算样本二值图的轮廓,得到预测骨髓纤维区域,然后根据预测骨髓纤维区域和标注的骨髓纤维区域构建损失函数,并按照损失函数最小化,采用迭代算法对待构建的图像分割模型进行迭代训练,得到图像分割模型。
其中,在得到预测骨髓纤维区域的输出结果后,可以基于输出结果和标注的骨髓纤维区域,构建损失函数,按照损失函数最小化对待构建的图像分割模型进行优化处理,得到图像分割模型,根据输出结果和标注结果之间的差异,对待构建的图像分割模型中的参数进行更新,以实现对图像分割模型进行训练的目的,其中,上述标注结果可以是人工对样本分块骨髓组织图像进行标注得到的骨髓纤维区域的识别结果。
可选的,上述对待构建的图像分割模型中的参数进行更新,可以是对待构建的图像分割模型中的权重矩阵以及偏置矩阵等矩阵参数进行更新。其中,上述权重矩阵、偏置矩阵包括但不限于是待构建的图像分割模型中的卷积层、前馈网络层、全连接层中的矩阵参数。
其中,通过损失函数对待构建的图像分割模型的参数进行更新时,可以是根据损失函数确定待构建的图像分割模型未收敛时,通过调整模型中的参数,以使得待构建的图像分割模型收敛,从而得到图像分割模型。待构建的图像分割模型收敛,可以是指待构建的图像分割模型对输出结果与标注结果之间的差值小于预设阈值,或者,输出结果与标注结果之间的差值的变化率趋近于某一个较低值。当计算的损失函数较小,或者,与上一轮迭代输出的损失函数之间的差值趋近于0,则认为待构建的图像分割模型收敛,即可得到图像分割模型。
S106、根据骨髓组织区域图像和骨髓纤维区域,统计分析纤维化程度,确定病理指标。
请参见图14所示,在确定出骨髓组织区域图像(骨髓组织嗜银切片)和骨髓纤维区域后,该骨髓组织区域图像为BGR格式,然后按照固定尺寸对骨髓组织区域图像进行分块处理,得到多个分块骨髓组织区域图像,并将每个分块骨髓组织区域图像和骨髓纤维区域通过纤维化程度确定模型进行处理,确定每个分块骨髓组织区域图像的纤维化程度,最后统计分析所有分块骨髓组织区域图像的纤维化程度,输出本骨髓组织区域图像的骨髓纤维化确定结果,该骨髓纤维化确定结果包括纤维化程度分布和纤维化病理指标。
可选的,作为本申请的一种可实现方式,请参见图15所示,图15为本申请实施例提供的确定每个分块骨髓纤维区域图像的纤维化程度方法的流程示意图,该方法包括:
S301、获取已知初始纤维化层级的骨髓组织区域图像。
S302、基于骨髓纤维区域计算骨髓组织区域图像的骨髓纤维指标信息,根据骨髓纤维指标信息对初始纤维化层级进行校正,得到中间纤维化层级;骨髓纤维指标信息包括骨髓组织面积、骨髓纤维区域面积和骨髓纤维区域占比。
S303、遍历骨髓组织区域图像,对骨髓组织区域图像进行分块处理,得到多个分块骨髓组织区域图像。
S304、计算每个分块骨髓组织区域图像的纤维密度信息。
S305、基于纤维密度信息,构建中间纤维化层级与纤维密度关系。
S306、根据中间纤维化层级与纤维密度关系,得到每个纤维化层级的分块骨髓组织区域图像的目标纤维化层级。
需要说明的是,上述已知初始纤维化层级的骨髓组织区域图像可以是人工根据阅片经验对其进行进行分级得到的。该初始纤维化层级可以包括四级,分别为骨髓纤维化零级、骨髓纤维化一级、骨髓纤维化二级和骨髓纤维化三级。骨髓纤维化零级相当于正常人骨髓象改变。骨髓纤维化一级的表现为出现白细胞增高、脾脏轻度增大,一般没有贫血和血小板减少,可以没有全身症状,临床上称为早期或前期原发性骨髓纤维化。骨髓纤维化二级的表现为显微镜下可见广泛纤维组织增生,部分交织成网状,此期临床症状明显,有贫血、血小板减少、白细胞增高、肝脾肿大。骨髓纤维化三级的表现为临床症状加重,严重贫血,常常需要输血治疗,白细胞减少、反复感染、肝脾严重肿大,病人明显腹胀、消瘦、皮肤、黏膜出血、不规则发热等。
请参见图16所示,在获取到已知初始纤维化层级的骨髓组织区域图像(骨髓组织切片数据集合)后,可以根据骨髓纤维区域计算骨髓组织区域图像的骨髓纤维指标信息,然后遍历骨髓组织区域图像,对骨髓组织区域图像进行分块处理,得到多个分块骨髓组织区域图像,然后请参见图17所示,图17所示中每个小方格为一个分块骨髓组织区域图像。
上述骨髓纤维指标信息包括骨髓组织面积、骨髓纤维区域面积和骨髓纤维区域占比,其中,对于每个分块骨髓组织区域图像,可以基于分块骨髓组织区域图像计算骨髓组织面积Areabone,根据分块骨髓纤维区域计算骨髓纤维数量Numfiber和骨髓纤维区域面积Areafiber,并基于骨髓纤维区域面积和骨髓组织面积,得到骨髓纤维区域占比,可以通过如下公式表示:
其中,由于人工确定出的骨髓组织区域图像的初始纤维化层级可能由于只关注到图像局部,导致与实际的目标纤维化等级存在偏差,因此,在确定出骨髓纤维化指标信息后,需要根据骨髓纤维化指标信息对初始纤维化层级进行初级校正,得到中间纤维化等级。在校正的过程中,根据根据骨髓纤维化等级条件进行校正,例如初始纤维化层级为骨髓纤维化零级,当骨髓纤维化指标信息符合骨髓纤维化一级条件时,则确定对应的中间纤维化等级为骨髓纤维化一级。
在确定出每个分块骨髓组织区域图像的中间纤维化层级后,可以对于每个分块骨髓组织区域图像,可以计算每个分块骨髓组织区域图像的纤维密度信息,获取当前分块骨髓组织区域图像的分块骨髓纤维区域面积和整个分块骨髓组织区域图像面积,然后将分块骨髓纤维区域面积和整个分块骨髓组织区域图像面积进行作商处理,得到每个分块骨髓组织区域图像的纤维密度信息,可以通过如下公式表示:
其中,Areafiber_in_patch是分块骨髓纤维面积,Areapatch是分块骨髓组织区域图像面积。以尺寸为512的分块为例,分块骨髓组织区域图像面积为512*512=262144。
然后根据纤维密度信息对所有分块骨髓组织区域图像进行排序,取纤维密度信息较大的若干个分块骨髓组织区域图像作为该骨髓组织区域图像的表达单位,构建中间纤维化层级与纤维密度关系,其中,每个分块骨髓组织区域图像的中间纤维化层级和纤维化密度均已知。然后根据中间纤维化层级与纤维密度关系,每个纤维化层级均有100倍数的表达单位,每个纤维密度存在对应的预设区间范围,统筹所有数据,计算高斯分布的期望和方差,最终得到每个纤维化层级对应的分块骨髓组织区域图像纤维密度的期望区间参数,即可确定每个分块骨髓组织区域图像的纤维化程度,该纤维化程度即目标纤维化层级。
在确定出每个分块骨髓组织区域图像的纤维化程度(纤维化层级)之后,统计分析所有分块骨髓组织区域图像的纤维化程度(纤维化层级),即在骨髓纤维化病症诊断过程中,获取每个分块骨髓组织区域图像的纤维化程度(纤维化层级),将骨髓组织区域图像(切片)的纤维化程度(纤维化层级)是按照“30%高分级优先”原则完成最终确定骨髓纤维化程度,即:如果纤维化程度高的分块图片数量占总分块数的30%以上,即判定该骨髓组织为高纤维化程度。
示例性地,可以获取100个已知纤维化程度是分块骨髓组织区域图像,查看每个分块的纤维化层级,例如有30%的分块骨髓组织区域图像为骨髓纤维化二级,有70%的分块骨髓组织区域图像为骨髓纤维化一级,有10%的分块骨髓组织区域图像为骨髓纤维化零级,则确定该整个骨髓组织区域图像的纤维化程度(纤维化层级)为一级。
示例性地,请参见图18所示,以待处理骨髓病理图像为原始骨髓嗜银切片,在获取到骨髓嗜银切片后,可以先进行骨髓组织无关区域过滤处理,得到过滤后的骨髓切片图像,并判断过滤后的骨髓切片图像是否符合骨髓制片标准,将符合骨髓制片标准的轮廓坐标映射至原始骨髓嗜银切片对应层级,从而得到骨髓样本嗜银切片,然后对骨髓样本嗜银切片进行预处理并获取骨髓组织轮廓信息,得到骨髓组织区域图像。采用图像处理算法进行骨髓骨小梁组织定位、骨髓脂肪组织定位和骨髓纤维区域定位,从而根据骨髓组织区域图像和骨髓纤维区域,统计分析纤维化程度,确定病理指标。
本申请实施例提供的病理指标确定方法,通过获取待处理骨髓病理图像,并对待处理骨髓病理图像进行预处理,得到骨髓样本图像集合,然后对骨髓样本图像集合进行图像处理,得到骨髓组织区域图像,对骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,去除骨髓脂肪组织区域和骨小梁组织区域,得到处理后的骨髓组织图像,以及,将处理后的骨髓组织图像输入训练好的图像分割模型中,得到二值图像,计算二值图像的轮廓,得到骨髓纤维区域,最后,根据骨髓组织区域图像和骨髓纤维区域,统计分析纤维化程度,确定病理指标。该技术方案一方面通过对待处理骨髓病理图像进行预处理,能够精准地确定出骨髓样本图像集合和骨髓组织区域图像,为后续确定骨髓脂肪组织区域和骨小梁组织区域提供了数据指导信息。另一方面,将处理后的骨髓组织图像通过训练好的图像分割模型进行图像处理,能够提取到病理图像的布局细节,从而准确且快速地得到二值图像,进而精准地确定出骨髓纤维区域,能够基于骨髓组织区域图像和骨髓纤维区域更全面且细粒度地统计分析纤维化程度,为医生提供了准确的量化数值结果,减少了由于人工主观因素导致的病理指标不稳定的情况发生,辅助医生进行高效准确的判断,提高了病理指标确定的准确度。
应当注意,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
另一方面,图19为本申请实施例提供的一种病理指标确定装置的结构示意图。该装置可以为终端设备内的装置,如图19所示,该装置400包括:
获取模块410,用于获取待处理骨髓病理图像;
预处理模块420,用于对待处理骨髓病理图像进行预处理,得到骨髓样本图像集合;
第一处理模块430,用于将骨髓样本图像集合进行图像处理,得到骨髓组织区域图像;
第二处理模块440,用于对骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,去除骨髓脂肪组织区域和骨小梁组织区域,得到处理后的骨髓组织图像;
纤维区域确定模块450,用于将处理后的骨髓组织图像输入训练好的图像分割模型中,得到二值图像,计算二值图像的轮廓,得到骨髓纤维区域;
统计分析模块460,用于根据骨髓组织区域图像和骨髓纤维区域,统计分析纤维化程度,确定病理指标。
可选的,上述预处理模块420,包括:
转化单元421,用于将待处理骨髓病理图像转化处理为RGBA格式的骨髓图像;
分割处理单元422,用于获取RGBA格式的骨髓图像中A通道的像素值,根据A通道的像素值和预设A通道阈值对待处理骨髓病理图像进行分割处理,得到多个骨髓样本;
过滤处理单元423,用于按照预设尺寸像素阈值对多个骨髓样本中的每个骨髓样本进行过滤处理,得到骨髓样本图像集合。
可选的,第一处理模块430,包括:
转化处理单元431,用于对于骨髓样本图像集合中的每个骨髓样本图像,将骨髓样本图像转化处理为BGR格式的骨髓组织图像;
分离处理单元432,用于对骨髓组织图像进行通道分离处理,得到B通道图像、R通道图像和G通道图像,并基于B通道图像、R通道图像和G通道图像转换处理得到二值化图像;
轮廓提取单元433,用于基于B通道图像、R通道图像和二值化图像,对骨髓组织图像进行边缘优化和轮廓提取处理,得到骨髓组织区域图像。
可选的,第二处理模块440,包括:
格式转换单元441,用于将骨髓组织区域图像转化处理为LAB格式的骨髓组织区域图像;
分块单元442,用于对LAB格式骨髓组织区域图像按照固定尺寸进行分块处理,得到多个分块图像;
第一确定单元443,用于对于多个分块图像中的每个分块图像,确定每个分块图像在L颜色通道的像素值,根据L颜色通道的像素值与预设像素阈值区间,确定类脂肪区域;
第二确定单元444,用于基于类脂肪区域的形态学特征确定单脂肪滴区域和多脂肪聚集区域;
第三确定单元445,用于根据单脂肪滴区域和多脂肪聚集区域,确定骨髓脂肪组织区域。
可选的,上述纤维区域确定模块450,具体用于:
对骨髓组织区域图像进行图像增强处理,得到增强图像;
将增强图像转换处理为骨髓掩膜二值图像;
计算骨髓掩膜二值图像的所有轮廓的像素值;
根据第一尺寸阈值、第二尺寸阈值和像素值对骨髓掩膜二值图像进行过滤处理,得到完整骨小梁区域和骨小梁碎片区域;第一尺寸阈值大于第二尺寸阈值;
基于完整骨小梁区域和骨小梁碎片区域,确定骨小梁组织区域。
可选的,上述纤维区域确定模块450,还用于:
将处理后的骨髓组织图像进行分块处理,得到多个分块骨髓组织图像;
将每个分块骨髓组织图像输入图像分割模型的编码器中,得到特征图;
将特征图通过图像分割模型的解码器中,得到分块二值图;
将多个分块二值图进行拼接处理,得到二值图像。
可选的,上述统计分析模块460,具体用于:
基于BGR格式的骨髓组织区域图像和骨髓纤维区域通过纤维化程度确定模型进行处理,确定骨髓组织区域图像中每个分块骨髓组织区域图像的纤维化程度;
统计分析所有分块骨髓组织区域图像的纤维化程度,确定病理指标。
可选的,上述统计分析模块460,还用于:
获取已知初始纤维化层级的骨髓组织区域图像;
基于骨髓纤维区域计算骨髓组织区域图像的骨髓纤维指标信息,根据骨髓纤维指标信息对初始纤维化层级进行校正,得到中间纤维化层级;骨髓纤维指标信息包括骨髓组织面积、骨髓纤维区域面积和骨髓纤维区域占比;
遍历骨髓组织区域图像,对骨髓组织区域图像进行分块处理,得到多个分块骨髓组织区域图像;
计算每个分块骨髓组织区域图像的纤维密度信息;
基于纤维密度信息,构建中间纤维化层级与纤维密度关系;
根据中间纤维化层级与纤维密度关系,得到每个纤维化层级的分块骨髓组织区域图像的目标纤维化层级。
可选的,上述统计分析模块460,还用于:
基于分块骨髓组织区域图像计算骨髓组织面积;
根据骨髓纤维区域计算骨髓纤维数量和骨髓纤维区域面积;
基于骨髓纤维区域面积和骨髓组织面积,得到骨髓纤维区域占比。
可选的,图像分割模型通过如下步骤构建:
对获取的样本病理图像进行预处理,得到样本骨髓组织区域图像;
对样本骨髓组织区域图像进行分块处理,得到多个样本分块骨髓组织图像;每个样本分块骨髓组织图像包含标注的骨髓纤维区域;
将每个样本分块骨髓组织图像输入待构建的图像分割模型进行处理,得到多个样本分块二值图;
将多个样本分块二值图进行拼接处理,得到样本二值图;
计算样本二值图的轮廓,得到预测骨髓纤维区域;
基于预测骨髓纤维区域和标注的骨髓纤维区域之间的损失函数,按照损失函数最小化,采用迭代算法对待构建的图像分割模型进行迭代训练,得到图像分割模型。
本申请实施例提供的病理指标确定装置,一方面通过对待处理骨髓病理图像进行预处理,能够精准地确定出骨髓样本图像集合和骨髓组织区域图像,为后续确定骨髓脂肪组织区域和骨小梁组织区域提供了数据指导信息。另一方面,将处理后的骨髓组织图像通过训练好的图像分割模型进行图像处理,能够提取到病理图像的布局细节,从而准确且快速地得到二值图像,进而精准地确定出骨髓纤维区域,能够基于骨髓组织区域图像和骨髓纤维区域更全面且细粒度地统计分析纤维化程度,为医生提供了准确的量化数值结果,减少了由于人工主观因素导致的病理指标不稳定的情况发生,辅助医生进行高效准确的判断,提高了病理指标确定的准确度。
另一方面,本申请实施例提供的终端设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行该程序时实现如上述的病理指标确定方法。
下面参考图20,图20为本申请实施例的终端设备的计算机系统的结构示意图。
如图20所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分603加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在机器可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分603从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器,包括:获取模块、预处理模块、第一处理模块、第二处理模块、纤维区域确定模块及统计分析模块。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定,例如,获取模块还可以被描述为“用于获取待处理骨髓病理图像”。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序,当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的病理指标确定方法:
获取待处理骨髓病理图像;
对所述待处理骨髓病理图像进行预处理,得到骨髓样本图像集合;
将所述骨髓样本图像集合进行图像处理,得到骨髓组织区域图像;
对所述骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,去除所述骨髓脂肪组织区域和所述骨小梁组织区域,得到处理后的骨髓组织图像;
将所述处理后的骨髓组织图像输入训练好的图像分割模型中,得到二值图像,计算所述二值图像的轮廓,得到骨髓纤维区域;
根据所述骨髓组织区域图像和所述骨髓纤维区域,统计分析纤维化程度,确定病理指标。
综上所述,本申请实施例提供的病理指标确定方法、装置、设备及介质,通过获取待处理骨髓病理图像,并对待处理骨髓病理图像进行预处理,得到骨髓样本图像集合,然后对骨髓样本图像集合进行图像处理,得到骨髓组织区域图像,对骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,去除骨髓脂肪组织区域和骨小梁组织区域,得到处理后的骨髓组织图像,以及,将处理后的骨髓组织图像输入训练好的图像分割模型中,得到二值图像,计算二值图像的轮廓,得到骨髓纤维区域,最后,根据骨髓组织区域图像和骨髓纤维区域,统计分析纤维化程度,确定病理指标。该技术方案一方面通过对待处理骨髓病理图像进行预处理,能够精准地确定出骨髓样本图像集合和骨髓组织区域图像,为后续确定骨髓脂肪组织区域和骨小梁组织区域提供了数据指导信息。另一方面,将处理后的骨髓组织图像通过训练好的图像分割模型进行图像处理,能够提取到病理图像的布局细节,从而准确且快速地得到二值图像,进而精准地确定出骨髓纤维区域,能够基于骨髓组织区域图像和骨髓纤维区域更全面且细粒度地统计分析纤维化程度,为医生提供了准确的量化数值结果,减少了由于人工主观因素导致的病理指标不稳定的情况发生,辅助医生进行高效准确的判断,提高了病理指标确定的准确度。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (13)
1.一种病理指标确定方法,其特征在于,该方法包括:
获取待处理骨髓病理图像;
对所述待处理骨髓病理图像进行预处理,得到骨髓样本图像集合;
将所述骨髓样本图像集合进行图像处理,得到骨髓组织区域图像;
对所述骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,去除所述骨髓脂肪组织区域和所述骨小梁组织区域,得到处理后的骨髓组织图像;
将所述处理后的骨髓组织图像输入训练好的图像分割模型中,得到二值图像,计算所述二值图像的轮廓,得到骨髓纤维区域;
根据所述骨髓组织区域图像和所述骨髓纤维区域,统计分析纤维化程度,确定病理指标。
2.根据权利要求1所述的方法,其特征在于,对所述待处理骨髓病理图像进行预处理,得到骨髓样本图像集合,包括:
将所述待处理骨髓病理图像转化处理为RGBA格式的骨髓图像;
获取所述RGBA格式的骨髓图像中A通道的像素值,根据所述A通道的像素值和预设A通道阈值对所述待处理骨髓病理图像进行分割处理,得到多个骨髓样本;
按照预设尺寸像素阈值对多个骨髓样本中的每个骨髓样本进行过滤处理,得到骨髓样本图像集合。
3.根据权利要求1或2所述的方法,其特征在于,将所述骨髓样本图像集合进行图像处理,得到骨髓组织区域图像,包括:
对于所述骨髓样本图像集合中的每个骨髓样本图像,将所述骨髓样本图像转化处理为BGR格式的骨髓组织图像;
对所述骨髓组织图像进行通道分离处理,得到B通道图像、R通道图像和G通道图像,并基于所述B通道图像、R通道图像和G通道图像转换处理得到二值化图像;
基于所述B通道图像、所述R通道图像和所述二值化图像,对所述骨髓组织图像进行边缘优化和轮廓提取处理,得到骨髓组织区域图像。
4.根据权利要求1所述的方法,其特征在于,对所述骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域,包括:
将所述骨髓组织区域图像转化处理为LAB格式的骨髓组织区域图像;
对所述LAB格式骨髓组织区域图像按照固定尺寸进行分块处理,得到多个分块图像;
对于所述多个分块图像中的每个分块图像,确定每个所述分块图像在L颜色通道的像素值,根据所述L颜色通道的像素值与预设像素阈值区间,确定类脂肪区域;
基于所述类脂肪区域的形态学特征确定单脂肪滴区域和多脂肪聚集区域;
根据所述单脂肪滴区域和多脂肪聚集区域,确定骨髓脂肪组织区域。
5.根据权利要求1所述的方法,其特征在于,对所述骨髓组织区域图像进行图像处理,确定骨小梁组织区域,包括:
对所述骨髓组织区域图像进行图像增强处理,得到增强图像;
将所述增强图像转换处理为骨髓掩膜二值图像;
计算所述骨髓掩膜二值图像的所有轮廓的像素值;
根据第一尺寸阈值、第二尺寸阈值和所述像素值对所述骨髓掩膜二值图像进行过滤处理,得到完整骨小梁区域和骨小梁碎片区域;所述第一尺寸阈值大于所述第二尺寸阈值;
基于所述完整骨小梁区域和所述骨小梁碎片区域,确定骨小梁组织区域。
6.根据权利要求1所述的方法,其特征在于,将所述处理后的骨髓组织图像输入训练好的图像分割模型中,得到二值图像,包括:
将所述处理后的骨髓组织图像进行分块处理,得到多个分块骨髓组织图像;
将每个所述分块骨髓组织图像输入所述图像分割模型的编码器中,得到特征图;
将所述特征图通过所述图像分割模型的解码器中,得到分块二值图;
将所述多个分块二值图进行拼接处理,得到二值图像。
7.根据权利要求3所述的方法,其特征在于,根据所述骨髓组织区域图像和所述骨髓纤维区域,统计分析纤维化程度,确定病理指标,包括:
基于所述BGR格式的骨髓组织区域图像和所述骨髓纤维区域通过纤维化程度确定模型进行处理,确定所述骨髓组织区域图像中每个分块骨髓组织区域图像的纤维化程度;
统计分析所有分块骨髓组织区域图像的纤维化程度,确定病理指标。
8.根据权利要求7所述的方法,其特征在于,基于所述BGR格式的骨髓组织区域图像和所述骨髓纤维区域通过纤维化程度确定模型进行处理,确定所述骨髓组织区域图像中每个分块骨髓纤维区域图像的纤维化程度,包括:
获取已知初始纤维化层级的骨髓组织区域图像;
基于所述骨髓纤维区域计算所述骨髓组织区域图像的骨髓纤维指标信息,根据所述骨髓纤维指标信息对所述初始纤维化层级进行校正,得到中间纤维化层级;所述骨髓纤维指标信息包括骨髓组织面积、骨髓纤维区域面积和骨髓纤维区域占比;
遍历所述骨髓组织区域图像,对所述骨髓组织区域图像进行分块处理,得到多个分块骨髓组织区域图像;
计算每个所述分块骨髓组织区域图像的纤维密度信息;
基于所述纤维密度信息,构建所述中间纤维化层级与纤维密度关系;
根据所述中间纤维化层级与纤维密度关系,得到每个纤维化层级的分块骨髓组织区域图像的目标纤维化层级。
9.根据权利要求8所述的方法,其特征在于,基于所述骨髓纤维区域计算所述骨髓组织区域图像的骨髓纤维指标信息,包括:
基于所述分块骨髓组织区域图像计算骨髓组织面积;
根据所述骨髓纤维区域计算骨髓纤维数量和骨髓纤维区域面积;
基于所述骨髓纤维区域面积和所述骨髓组织面积,得到骨髓纤维区域占比。
10.根据权利要求6所述的方法,其特征在于,所述图像分割模型通过如下步骤构建:
对获取的样本病理图像进行预处理,得到样本骨髓组织区域图像;
对所述样本骨髓组织区域图像进行分块处理,得到多个样本分块骨髓组织图像;每个所述样本分块骨髓组织图像包含标注的骨髓纤维区域;
将每个所述样本分块骨髓组织图像输入待构建的图像分割模型进行处理,得到多个样本分块二值图;
将所述多个样本分块二值图进行拼接处理,得到样本二值图;
计算所述样本二值图的轮廓,得到预测骨髓纤维区域;
基于所述预测骨髓纤维区域和所述标注的骨髓纤维区域之间的损失函数,按照损失函数最小化,采用迭代算法对所述待构建的图像分割模型进行迭代训练,得到图像分割模型。
11.一种病理指标确定装置,其特征在于,所述装置包括:
获取模块,用于获取待处理骨髓病理图像;
预处理模块,用于对所述待处理骨髓病理图像进行预处理,得到骨髓样本图像集合;
第一处理模块,用于将所述骨髓样本图像集合进行图像处理,得到骨髓组织区域图像;
第二处理模块,用于对所述骨髓组织区域图像进行图像处理,确定骨髓脂肪组织区域和骨小梁组织区域,去除所述骨髓脂肪组织区域和所述骨小梁组织区域,得到处理后的骨髓组织图像;
纤维区域确定模块,用于将所述处理后的骨髓组织图像输入训练好的图像分割模型中,得到二值图像,计算所述二值图像的轮廓,得到骨髓纤维区域;
统计分析模块,用于根据所述骨髓组织区域图像和所述骨髓纤维区域,统计分析纤维化程度,确定病理指标。
12.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-10任一项所述的病理指标确定方法。
13.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序用于实现如权利要求1-10任一项所述的病理指标确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310228711.3A CN116503321A (zh) | 2023-03-10 | 2023-03-10 | 病理指标确定方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310228711.3A CN116503321A (zh) | 2023-03-10 | 2023-03-10 | 病理指标确定方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116503321A true CN116503321A (zh) | 2023-07-28 |
Family
ID=87325603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310228711.3A Pending CN116503321A (zh) | 2023-03-10 | 2023-03-10 | 病理指标确定方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116503321A (zh) |
-
2023
- 2023-03-10 CN CN202310228711.3A patent/CN116503321A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
US11276000B2 (en) | Image analysis method, image analysis apparatus and learned deep layer learning algorithm manufacturing method | |
CN112088394A (zh) | 生物组织的计算机分类 | |
CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
Goceri et al. | Quantitative validation of anti‐PTBP1 antibody for diagnostic neuropathology use: Image analysis approach | |
CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
CN113724228A (zh) | 舌色苔色识别方法、装置、计算机设备及存储介质 | |
CN112215807A (zh) | 基于深度学习的细胞图像自动分类方法及系统 | |
CN113205490A (zh) | 基于Mask R-CNN网络的辅助诊断系统和辅助诊断信息生成方法 | |
CN111899244A (zh) | 图像分割、网络模型的训练方法及装置,及电子设备 | |
Joseph et al. | Quantitative and qualitative evaluation of deep learning automatic segmentations of corneal endothelial cell images of reduced image quality obtained following cornea transplant | |
US11830622B2 (en) | Processing multimodal images of tissue for medical evaluation | |
Di Leo et al. | An improved procedure for the automatic detection of dermoscopic structures in digital ELM images of skin lesions | |
Dong et al. | Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network | |
CN116682109B (zh) | 一种病理显微图像的分析方法、装置、设备及存储介质 | |
CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
Liu et al. | Bone image segmentation | |
CN117522892A (zh) | 基于空间通道注意力增强的肺腺癌ct影像病灶分割方法 | |
CN104766068A (zh) | 一种多规则融合的随机游走舌像提取方法 | |
CN116664592A (zh) | 基于图像的动静脉血管分离方法、装置、电子设备及介质 | |
CN116503321A (zh) | 病理指标确定方法、装置、设备及介质 | |
CN114612669B (zh) | 一种医学图像炎症坏死占比的计算方法及装置 | |
CN114693628A (zh) | 病理指标确定方法、装置、设备及存储介质 | |
Nikitaev et al. | Algorithm for the Analysis of Pigment Network Characteristics in Diagnosing Melanoma | |
Kumar et al. | Automated detection of microfilariae parasite in blood smear using OCR-NURBS image segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |