CN116682109A - 一种病理显微图像的分析方法、装置、设备及存储介质 - Google Patents
一种病理显微图像的分析方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116682109A CN116682109A CN202310963853.4A CN202310963853A CN116682109A CN 116682109 A CN116682109 A CN 116682109A CN 202310963853 A CN202310963853 A CN 202310963853A CN 116682109 A CN116682109 A CN 116682109A
- Authority
- CN
- China
- Prior art keywords
- target
- liver tissue
- pathology
- microscopic image
- inflammatory cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 137
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000003703 image analysis method Methods 0.000 title description 2
- 230000007170 pathology Effects 0.000 claims abstract description 208
- 238000004458 analytical method Methods 0.000 claims abstract description 196
- 210000005228 liver tissue Anatomy 0.000 claims abstract description 193
- 230000011218 segmentation Effects 0.000 claims abstract description 174
- 210000003934 vacuole Anatomy 0.000 claims abstract description 174
- 210000004969 inflammatory cell Anatomy 0.000 claims abstract description 162
- 206010016654 Fibrosis Diseases 0.000 claims abstract description 128
- 230000004761 fibrosis Effects 0.000 claims abstract description 127
- 230000003176 fibrotic effect Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 38
- 210000004185 liver Anatomy 0.000 claims abstract description 24
- 239000006185 dispersion Substances 0.000 claims description 50
- 230000002757 inflammatory effect Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 33
- 238000001514 detection method Methods 0.000 description 27
- 238000001000 micrograph Methods 0.000 description 18
- 238000009826 distribution Methods 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 208000008338 non-alcoholic fatty liver disease Diseases 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 208000010706 fatty liver disease Diseases 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 208000019423 liver disease Diseases 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 208000026594 alcoholic fatty liver disease Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 208000019425 cirrhosis of liver Diseases 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 210000005229 liver cell Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000007848 Alcoholism Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 208000004930 Fatty Liver Diseases 0.000 description 1
- 208000034826 Genetic Predisposition to Disease Diseases 0.000 description 1
- 206010019708 Hepatic steatosis Diseases 0.000 description 1
- 206010019837 Hepatocellular injury Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010022489 Insulin Resistance Diseases 0.000 description 1
- 206010067125 Liver injury Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 201000007930 alcohol dependence Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000037976 chronic inflammation Diseases 0.000 description 1
- 230000006020 chronic inflammation Effects 0.000 description 1
- 230000007882 cirrhosis Effects 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000009266 disease activity Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- OOYIOIOOWUGAHD-UHFFFAOYSA-L disodium;2',4',5',7'-tetrabromo-4,5,6,7-tetrachloro-3-oxospiro[2-benzofuran-1,9'-xanthene]-3',6'-diolate Chemical compound [Na+].[Na+].O1C(=O)C(C(=C(Cl)C(Cl)=C2Cl)Cl)=C2C21C1=CC(Br)=C([O-])C(Br)=C1OC1=C(Br)C([O-])=C(Br)C=C21 OOYIOIOOWUGAHD-UHFFFAOYSA-L 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000000893 fibroproliferative effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 150000003278 haem Chemical class 0.000 description 1
- 231100000753 hepatic injury Toxicity 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000006609 metabolic stress Effects 0.000 description 1
- 206010053219 non-alcoholic steatohepatitis Diseases 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 231100000240 steatosis hepatitis Toxicity 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 208000001072 type 2 diabetes mellitus Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本申请提供了一种肝脏的病理显微图像的分析方法、装置、设备及存储介质;分析方法包括:获取目标肝脏组织的目标病理显微图像和针对目标肝脏组织的分析指令;当分析指令包括综合分析指令时,通过训练完成的实例分割模型对目标病理显微图像进行处理,得到与目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;依据目标病理显微图像和目标分割信息,确定目标肝脏组织的目标病理特征;依据目标病理特征,确定目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。本申请可以实现对目标肝脏组织的智能化分析,有效减轻了操作人员的劳动量,提高了分析效率和准确率,确保了分析结果一致性。
Description
技术领域
本申请涉及医学图像处理技术领域,特别是一种肝脏的病理显微图像的分析方法、装置、设备及存储介质。
背景技术
脂肪性肝病是一种常见的肝脏疾病,包括酒精性脂肪性肝病和非酒精性脂肪性肝病(Non-alcoholic fatty liver disease,NAFLD)。酒精性脂肪性肝病是由于长期酗酒或饮酒过量导致的肝脏脂肪积累的疾病;非酒精性脂肪性肝病是指除外酒精和其他明确的损肝因素所致的肝细胞内脂肪过度沉积为主要特征的临床病理综合征,与胰岛素抵抗和遗传易感性密切相关的获得性代谢应激性肝损伤。
肝脏组织切片的病理学特征包括脂肪空泡、炎细胞灶和纤维化区域等,这些特征对于评估肝脏疾病的类型和程度,以及制定相应的治疗策略非常关键。其中,脂肪空泡是指在肝细胞内积聚过多脂肪所形成的小囊泡,它是脂肪性肝病的主要病理特征之一,通过识别和评估脂肪空泡在肝脏组织中的分布和数量,可以确定脂肪肝的存在以及其严重程度;炎细胞灶是指在肝脏组织中可见的炎症反应聚集区,它是非酒精性脂肪性肝炎的一个主要特征,通过评估炎细胞灶的分布和严重程度,可以判断疾病的活动性和进展情况;纤维化区域是指在肝脏组织中形成的纤维组织增生带,在非酒精性脂肪性肝病的发展过程中,慢性炎症和肝细胞损害可能导致肝脏纤维化,纤维化程度的评估对于评估疾病的进展和预后非常重要,较重的纤维化可能表示疾病已经进展到了纤维化或肝硬化阶段。
目前对肝脏组织切片的病理学分析基本依赖于人工操作,将制备好的切片放置在显微镜下,通过专业人员对病理显微图像中的脂肪空泡、炎细胞灶和纤维化区域等病理学特征进行观察和分析。但是,现有的人工分析方法普遍存在劳动量较大、视力损伤较大、分析效率较低和结果一致性较差的问题。
发明内容
鉴于上述提到的问题,提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种肝脏的病理显微图像的分析方法、装置、设备及存储介质,包括:
一种肝脏的病理显微图像的分析方法,包括:
获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令;其中,所述分析指令包括对所述目标肝脏组织中脂肪空泡进行识别的第一分析指令、对所述目标肝脏组织中炎细胞灶进行识别的第二分析指令、对所述目标肝脏组织中纤维化区域进行识别的第三分析指令和对所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域进行评分的综合分析指令中的至少一种;
当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征;其中,所述目标病理特征包括所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;
依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。
优选的,还包括:
获取样本肝脏组织的样本病理显微图像和与所述样本病理显微图像中脂肪空泡、炎细胞灶和纤维化区域的类别、位置和轮廓对应的样本分割信息;
依据所述样本病理显微图像和所述样本分割信息对初始实例分割模型进行训练,得到训练完成的实例分割模型。
优选的,所述依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分的步骤,包括:
通过训练完成的病理评分模型对所述目标病理特征进行处理,得到所述目标肝脏组织的所述目标病理评分。
优选的,还包括:
获取样本肝脏组织的样本病理特征和所述样本肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的样本病理评分;其中,所述样本病理特征包括所述样本肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;
依据所述样本病理特征和所述样本病理评分对初始病理评分模型进行训练,得到训练完成的病理评分模型。
优选的,还包括:
当所述分析指令包括所述第一分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中脂肪空泡轮廓的第一识别图像。
优选的,还包括:
当所述分析指令包括所述第二分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中炎细胞灶轮廓的第二识别图像。
优选的,还包括:
当所述分析指令包括所述第三分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中纤维化区域轮廓的第三识别图像。
一种肝脏的病理显微图像的分析装置,包括:
目标获取模块,用于获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令;其中,所述分析指令包括对所述目标肝脏组织中脂肪空泡进行识别的第一分析指令、对所述目标肝脏组织中炎细胞灶进行识别的第二分析指令、对所述目标肝脏组织中纤维化区域进行识别的第三分析指令和对所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域进行评分的综合分析指令中的至少一种;
目标分割模块,用于当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
特征确定模块,用于依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征;其中,所述目标病理特征包括所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;
评分确定模块,用于依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。
一种计算机设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述任一项所述的分析方法。
一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的分析方法。
本申请具有以下优点:
在本申请的实施例中,相对于现有分析方法劳动量较大、视力损伤较大、分析效率较低和结果一致性较差的问题,本申请提供了通过人工智能的图像处理方法自动对目标进行分析的解决方案,通过获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令,当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息,依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征,并依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分,可以实现对所述目标肝脏组织的智能化分析,有效减轻了操作人员的劳动量,大幅减少了操作人员在显微镜下的工作时间,减轻了操作人员的肌肉劳损和视力损伤,并且,提高了分析效率和准确率,避免了人为因素(如疲劳、情绪、认知偏差等)导致的分析误差,确保了分析结果一致性。
附图说明
为了更清楚地说明本申请的技术方案,下面将对本申请的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种肝脏的病理显微图像的分析方法的步骤流程图;
图2是本申请一实施例提供的一种肝脏的病理显微图像的分析方法的步骤流程图;
图3是本申请一实施例提供的一种肝脏的病理显微图像的分析方法的步骤流程图;
图4是本申请一实施例提供的一种肝脏的病理显微图像的分析方法的步骤流程图;
图5是本申请一实施例提供的一种肝脏的病理显微图像的分析方法的步骤流程图;
图6是本申请一实施例提供的一种肝脏的病理显微图像的分析装置的结构示意图;
图7是本申请一实施例提供的一种肝脏的病理显微图像的分析装置的结构示意图;
图8是本申请一实施例提供的一种肝脏的病理显微图像的分析装置的结构示意图;
图9是本申请一实施例提供的一种肝脏的病理显微图像的分析装置的结构示意图;
图10是本申请一实施例提供的一种肝脏的病理显微图像的分析装置的结构示意图;
图11是本申请一实施例提供的一种计算机设备的结构示意图。
说明书附图中的附图标记如下:
12、计算机设备;14、外部设备;16、处理单元;18、总线;20、网络适配器;22、I/O接口;24、显示器;28、内存;30、随机存取存储器;32、高速缓存存储器;34、存储系统;40、程序/实用工具;42、程序模块。
具体实施方式
为使本申请的所述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请做进一步详细的说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
发明人通过分析现有技术发现,通过人工对肝脏的组织切片进行分析,由于组织切片的数量较多且组织切片中病理特征的分布具有随机性,需要专业人员仔细观察和辨识,导致人工操作的劳动量较大且分析效率较低;并且,人工分析结果受到主观判断的影响,不同的专业人员可能对相同的组织切片给出不同的分析结果,这会导致分析结果的不一致性,此外,人工分析过程中也容易受到人员疲劳、注意力不集中等因素的影响,进一步降低了分析结果的一致性。
参照图1,示出了本申请一实施例提供的一种肝脏的病理显微图像的分析方法,包括:
S110、获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令;其中,所述分析指令包括对所述目标肝脏组织中脂肪空泡进行识别的第一分析指令、对所述目标肝脏组织中炎细胞灶进行识别的第二分析指令、对所述目标肝脏组织中纤维化区域进行识别的第三分析指令和对所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域进行评分的综合分析指令中的至少一种;
S120、当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
S130、依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征;其中,所述目标病理特征包括所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;
S140、依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。
在本申请的实施例中,相对于现有分析方法劳动量较大、视力损伤较大、分析效率较低和结果一致性较差的问题,本申请提供了通过人工智能的图像处理方法自动对目标进行分析的解决方案,通过获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令,当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息,依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征,并依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分,可以实现对所述目标肝脏组织的智能化分析,有效减轻了操作人员的劳动量,大幅减少了操作人员在显微镜下的工作时间,减轻了操作人员的肌肉劳损和视力损伤,并且,提高了分析效率和准确率,避免了人为因素(如疲劳、情绪、认知偏差等)导致的分析误差,确保了分析结果一致性。
下面,将对本示例性实施例中一种肝脏的病理显微图像的分析方法做进一步地说明。
如所述步骤S110所述,获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令;其中,所述分析指令包括对所述目标肝脏组织中脂肪空泡进行识别的第一分析指令、对所述目标肝脏组织中炎细胞灶进行识别的第二分析指令、对所述目标肝脏组织中纤维化区域进行识别的第三分析指令和对所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域进行评分的综合分析指令中的至少一种。
获取目标肝脏组织的目标病理显微图像。所述目标病理显微图像是通过图像采集设备(例如加载有摄像头或数字成像系统的光学显微镜、数字显微镜、扫描电子显微镜等)拍摄得到的所述目标肝脏组织切片的图像,需要满足放大倍数、色彩和分辨率等要求。
具体的,放大倍数即显微图像中结构与实际样本中结构的尺寸比例,常规情况下,肝脏组织切片图像的放大倍数为40-400倍,优选为200倍,采用适当的放大倍数有助于对切片中的组织结构(如脂肪空泡、炎细胞灶和纤维化区域)进行识别和分析;
色彩特征可以呈现组织中不同染色剂(包括血液染色剂如血红素和伊红染色、核染色剂如伊红-伊红-蓝染色和胶原纤维染色剂如伊红-茜素染色)的染色效果,有助于区分不同的组织结构,作为一种示例,所述目标病理显微图像为RGB彩色图像,其中每个像素由红、绿和蓝三个通道的数值表示,每个通道的数值范围为0-255;
分辨率决定了图像中细节的清晰度,较高的分辨率可以提供更多细节信息,有助于准确识别和分析组织结构,作为一种示例,所述目标病理显微图像的分辨率为100到400PPI(或3.9到15.7 PPMM)。
获取针对所述目标肝脏组织的分析指令,所述分析指令包括对所述目标肝脏组织中脂肪空泡进行识别的第一分析指令、对所述目标肝脏组织中炎细胞灶进行识别的第二分析指令、对所述目标肝脏组织中纤维化区域进行识别的第三分析指令和对所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域进行评分的综合分析指令中的至少一种。所述分析指令是操作者通过人机交互方式输入的指令,所述人机交互方式包括手动输入、语音输入、手势识别和头部追踪中的至少一种。
具体的,手动输入即通过键盘、鼠标和触摸屏等手动输入设备提供指令,作为一种示例,获取操作者通过键盘输入的文字信号,或通过鼠标点击图形界面上的按钮或菜单输入的点击信号,并将所述文字信号或所述点击信号转换为所述分析指令;
语音输入即通过麦克风、拾音器等语音交互设备提供指令,作为一种示例,获取操作者通过麦克风输入的语音信号,使用语音识别技术从所述语音信号中提取出语音指令,并将所述语音指令转换为所述分析指令,一条所述分析指令可以对应一条或多条所述语音指令,例如,内容为“标记(脂肪)空泡”、“突出(脂肪)空泡”和“识别(脂肪)空泡”的所述语音指令均可以转换为所述第一分析指令,内容为“标记炎细胞(灶)”、“突出炎细胞(灶)”和“识别炎细胞(灶)”的所述语音指令均可以转换为所述第二分析指令,内容为“标记纤维化(区域)”、“突出纤维化(区域)”和“识别纤维化(区域)”的所述语音指令均可以转换为所述第三分析指令,内容为“评分”、“打分”和“评价”的所述语音指令均可以转换为所述综合分析指令;
手势识别即通过数码相机、摄像机和扫描仪等视觉采集设备提供指令,作为一种示例,获取操作者通过数码相机输入的视频信号,使用手势识别技术从所述视频信号中提取出手势指令,并将所述手势指令转换为所述分析指令,一条所述分析指令可以对应一条或多条所述手势指令,例如,内容为左手食指画圈和右手食指画圈的所述手势指令均可以转换为所述第一分析指令,内容为左手食指敲击和右手食指敲击的所述手势指令均可以转换为所述第二分析指令,内容为左手食指纵向划动和右手食指纵向划动的所述手势指令均可以转换为所述第三分析指令,内容为左手整体横向划动和右手整体横向划动的所述手势指令均可以转换为所述综合分析指令;
头部追踪即通过眼动仪和头戴式设备等头部追踪设备提供指令,作为一种示例,获取操作者通过眼动仪输入的反射信号,使用瞳孔中心凝视技术从所述反射信号中提取出瞳孔中心的凝视位置,依据所述凝视位置从所述目标病理显微图像中提取出目标子图像,例如以所述凝视位置为圆心,所述目标病理显微图像长度的1/n(8≤n≤15)为半径从所述目标病理显微图像中截取得到所述目标子图像,通过训练完成的目标检测模型对所述目标子图像进行处理,得到与所述目标子图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别和位置对应的目标检测信息,并依据所述目标检测信息确定所述分析指令,例如,当所述目标检测信息中提示的目标物类别包括脂肪空泡时,所述分析指令包括所述第一分析指令,当所述目标检测信息中提示的目标物类别包括炎细胞灶时,所述分析指令包括所述第二分析指令,当所述目标检测信息中提示的目标物类别包括纤维化区域时,所述分析指令包括所述第三分析指令,当所述目标检测信息中提示的目标物类别包括脂肪空泡、炎细胞灶和纤维化区域中的至少两种时,所述分析指令包括所述综合分析指令。需要说明的是,所述训练完成的目标检测模型是采用样本数据(包括肝脏组织的样本病理显微图像和与所述样本病理显微图像中脂肪空泡、炎细胞灶和纤维化区域的类别和位置对应的样本识别信息)对初始目标检测模型训练获得的,所述初始目标检测模型可以是R-CNN系列模型、YOLO系列模型、SSD和RetinaNet中的至少一种,也可以是其他具有实例区分和目标定位功能的目标检测模型。
通过结合语音输入、手势识别和头部追踪的方式获取所述分析指令,可以使操作者以更轻松的方式与计算机设备进行交互,同时提升操作者的动作自由度,便于在同时进行其他任务时输入指令,充分拓展了本申请的应用场景。
如所述步骤S120所述,当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息。
需要说明的是,所述训练完成的实例分割模型是采用样本数据(包括样本肝脏组织的样本病理显微图像和与所述样本病理显微图像中脂肪空泡、炎细胞灶和纤维化区域的类别、位置和轮廓对应的样本分割信息)对初始实例分割模型训练获得的,所述初始实例分割模型可以是Mask R-CNN、U-Net、DeepLab、FCN和PSPNet中的至少一种,也可以是其他具有实例区分和轮廓标记功能的实例分割模型。
所述目标分割信息包括对目标物(即所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域)识别得到的类别标签(class_label)、边框(bbox)和掩码(mask),其中,所述类别标签与所述目标物的类别相对应,所述边框与所述目标物的位置相对应,所述掩码与所述目标物的轮廓相对应。
作为一种示例,所述目标分割信息包括:
目标物1:类别标签为“脂肪空泡”,边框坐标为 (x1, y1, x2, y2),掩码为一个二进制图像,表示目标物1的轮廓;
目标物2:类别标签为“脂肪空泡”,边框坐标为 (x3, y3, x4, y4),掩码为一个二进制图像,表示目标物2的轮廓;
目标物3:类别标签为“炎细胞灶”,边框坐标为 (x5, y5, x6, y6),掩码为一个二进制图像,表示目标物3的轮廓。
如所述步骤S130所述,依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征;其中,所述目标病理特征包括所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度。
依据所述目标分割信息,确定所述目标肝脏组织的脂肪空泡数量、炎细胞灶数量和纤维化区域数量。具体的,依据所述目标分割信息中目标物的类别标签,确定所述目标肝脏组织的脂肪空泡数量、炎细胞灶数量和纤维化区域数量,更具体的,将所述目标分割信息中类别标签为“脂肪空泡”的目标物数量作为所述目标肝脏组织的脂肪空泡数量,将所述目标分割信息中类别标签为“炎细胞灶”的目标物数量作为所述目标肝脏组织的炎细胞灶数量,将所述目标分割信息中类别标签为“纤维化区域”的目标物数量作为所述目标肝脏组织的纤维化区域数量。作为一种示例,所述目标分割信息中类别标签为“脂肪空泡”的目标物数量为N1,类别标签为“炎细胞灶”的目标物数量为N2,类别标签为“纤维化区域”的目标物数量为N3,则所述目标肝脏组织的脂肪空泡数量为N1,炎细胞灶数量为N2,纤维化区域数量为N3。
依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的脂肪空泡面积占比、炎细胞灶面积占比和纤维化区域面积占比。具体的,依据所述目标病理显微图像和所述目标分割信息中目标物的类别标签和掩码,确定所述目标肝脏组织的脂肪空泡面积占比、炎细胞灶面积占比和纤维化区域面积占比,更具体的,将所述目标分割信息中类别标签为“脂肪空泡”的全部目标物的掩码面积之和与所述目标病理显微图像的面积之商作为所述目标肝脏组织的脂肪空泡面积占比,将所述目标分割信息中类别标签为“炎细胞灶”的全部目标物的掩码面积之和与所述目标病理显微图像的面积之商作为所述目标肝脏组织的炎细胞灶面积占比,将所述目标分割信息中类别标签为“纤维化区域”的全部目标物的掩码面积之和与所述目标病理显微图像的面积之商作为所述目标肝脏组织的纤维化区域面积占比,特别地,当所述目标病理显微图像中存在无效区域(例如空白背景)时,在计算所述目标病理显微图像面积之前去除所述无效区域面积。作为一种示例,所述目标病理显微图像的面积为S,所述目标分割信息中类别标签为“脂肪空泡”的目标物数量为3,掩码面积分别为S1、S2和S3,类别标签为“炎细胞灶”的目标物数量为1,掩码面积为S4,类别标签为“纤维化区域”的目标物数量为0,则所述目标肝脏组织的脂肪空泡面积占比为(S1+S2+S3)/S,炎细胞灶面积占比为S4/S,纤维化区域面积占比为0。
依据所述目标分割信息,确定所述目标肝脏组织的脂肪空泡分散度、炎细胞灶分散度和纤维化区域分散度。具体的,依据所述目标分割信息中目标物的类别标签和边框,确定所述目标肝脏组织的脂肪空泡分散度、炎细胞灶分散度和纤维化区域分散度,更具体的,计算所述目标分割信息中类别标签为“脂肪空泡”的各个目标物的边框中心(即边框的中心点坐标),并依据对应的所述边框中心计算所述目标肝脏组织的脂肪空泡分散度,计算所述目标分割信息中类别标签为“炎细胞灶”的各个目标物的边框中心,并依据对应的所述边框中心计算所述目标肝脏组织的炎细胞灶分散度,计算所述目标分割信息中类别标签为“纤维化区域”的各个目标物的边框中心,并依据对应的所述边框中心计算所述目标肝脏组织的纤维化区域分散度。分散度可以采用方差或标准差的计算方式,对于给定的点集,计算所有点的坐标的平均值,得到平均点,对于每个点,计算其与平均点之间的距离并取平方或绝对值,将距离的平方或绝对值的总和除以点的数量,得到方差或标准差。作为一种示例,所述目标分割信息中类别标签为“脂肪空泡”的目标物数量为3,边框中心分别为(x1, y1)、(x2,y2)和(x3,y3),类别标签为“炎细胞灶”的目标物数量为1,边框中心为(x4,y4),类别标签为“纤维化区域”的目标物数量为0,则所述目标肝脏组织的脂肪空泡分散度为((x1-μx)^2+(x2-μx)^2+(x3-μx)^2+(y1-μy)^2+(y2-μy)^2+(y3-μy)^2)/6,其中,μx=(x1+x2+x3)/3,μy=(y1+y2+y3)/3,炎细胞灶分散度为0,纤维化区域分散度为0。
如所述步骤S140所述,依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。
所述目标病理评分包括所述目标肝脏组织中脂肪空泡的第一目标病理评分、所述目标肝脏组织中炎细胞灶的第二目标病理评分和所述目标肝脏组织中纤维化区域的第三目标病理评分。具体的,依据所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比和脂肪空泡分散度,确定所述目标肝脏组织中脂肪空泡的第一目标病理评分;依据所述目标肝脏组织的炎细胞灶数量、炎细胞灶面积占比和炎细胞灶分散度,确定所述目标肝脏组织中炎细胞灶的第二目标病理评分;依据所述目标肝脏组织中纤维化区域数量、纤维化区域面积占比和纤维化区域分散度,确定所述目标肝脏组织中纤维化区域的第三目标病理评分。
作为一种示例,所述目标病理评分采用数值形式;采用预设的权重系数对所述目标病理特征进行加权求和,得到所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。具体的,采用第一权重系数对所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比和脂肪空泡分散度进行加权求和,得到所述目标肝脏组织中脂肪空泡的第一病理评分;采用第二权重系数对所述目标肝脏组织的炎细胞灶数量、炎细胞灶面积占比和炎细胞灶分散度进行加权求和,得到所述目标肝脏组织中炎细胞灶的第二病理评分;采用第三权重系数对所述目标肝脏组织中纤维化区域数量、纤维化区域面积占比和纤维化区域分散度进行加权求和,得到所述目标肝脏组织中纤维化区域的第三病理评分。权重系数的具体数值可以通过专家预设得到,也通过样本学习的方法确定。
作为另一种示例,所述目标病理评分采用等级形式(例如分为“轻度”、“中度”和“重度”三个等级,或分为“(空)”、“+”、“++”、“+++”和“++++”五个等级);通过训练完成的病理评分模型对所述目标病理特征进行处理,得到所述目标肝脏组织的所述目标病理评分。具体的,通过训练完成的第一病理评分模型对所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比和脂肪空泡分散度进行处理,得到所述目标肝脏组织中脂肪空泡的第一病理评分;通过训练完成的第二病理评分模型对所述目标肝脏组织的炎细胞灶数量、炎细胞灶面积占比和炎细胞灶分散度进行处理,得到所述目标肝脏组织中炎细胞灶的第二病理评分;通过训练完成的第三病理评分模型对所述目标肝脏组织中纤维化区域数量、纤维化区域面积占比和纤维化区域分散度进行处理,得到所述目标肝脏组织中纤维化区域的第三病理评分。
需要说明的是,所述训练完成的病理评分模型是采用样本数据(包括样本肝脏组织的样本病理特征和所述样本肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的样本病理评分)对初始病理评分模型训练获得的,所述初始病理评分模型可以是随机森林模型、逻辑回归模型、梯度提升树模型和支持向量机模型中的至少一种,也可以是其他具有分类功能的评分模型。
参照图2,在本申请一实施例中,所述“获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令”的步骤之前,还包括:
S010、获取样本肝脏组织的样本病理显微图像和与所述样本病理显微图像中脂肪空泡、炎细胞灶和纤维化区域的类别、位置和轮廓对应的样本分割信息;
S020、依据所述样本病理显微图像和所述样本分割信息对初始实例分割模型进行训练,得到训练完成的实例分割模型。
如所述步骤S010所述,获取样本肝脏组织的样本病理显微图像和与所述样本病理显微图像中脂肪空泡、炎细胞灶和纤维化区域的类别、位置和轮廓对应的样本分割信息。
获取样本肝脏组织的样本病理显微图像。所述样本病理显微图像是通过显微镜拍摄得到的所述样本肝脏组织切片的图像,需要满足放大倍数、色彩和分辨率等要求,具体可以参照上述对目标病理显微图像的描述,此处不做赘述。
获取与所述样本病理显微图像中脂肪空泡、炎细胞灶和纤维化区域的类别、位置和轮廓对应的样本分割信息。所述样本分割信息包括对目标物(即所述样本病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域)人工标注得到的类别标签、边框和掩码。
如所述步骤S020所述,依据所述样本病理显微图像和所述样本分割信息对初始实例分割模型进行训练,得到训练完成的实例分割模型;其中,所述初始实例分割模型可以是Mask R-CNN、U-Net、DeepLab、FCN和PSPNet中的至少一种,也可以是其他具有实例区分和轮廓标记功能的实例分割模型。
将所述样本病理显微图像输入初始实例分割模型,得到初始分割信息,采用预设的损失函数计算所述初始分割信息与所述样本分割信息的损失值,并不断优化模型的学习参数直至所述损失值小于预设值,得到所述训练完成的实例分割模型。
具体的,所述初始实例分割模型为Mask R-CNN,由区域建议网络和检测及分割网络组成,区域建议网络是一个用于生成候选目标框的子网络,它在输入图像上滑动一个小的滑动窗口,并为每个窗口位置生成多个候选目标框,这些候选框称为锚框,区域建议网络通过对每个锚框进行二分类(前景或背景)和回归(调整锚框位置)来筛选出最有可能包含目标的候选框;检测及分割网络结合了目标检测和实例分割的任务,它接收区域建议网络生成的候选框作为输入,并对每个候选框进行目标分类、边界框回归和实例分割。
作为一种示例,所述初始实例分割模型包括依次连接的输入层、特征提取层、区域建议网络、候选框分类层、候选框边界框回归层、RoI池化层、分类层、边界框回归层、掩码分割层和输出层,所述输入层用于接收输入图像;所述特征提取层包括特征提取器(如ResNet、VGG等),用于提取图像特征;所述区域建议网络包括一系列卷积层和全连接层,用于生成候选目标框,输出包括候选框的坐标和对应的置信度得分;所述候选框分类层包括若干全连接层和softmax层,用于对所述候选框进行目标分类,输出每个候选框的类别概率分布;所述候选框边界框回归层包括若干全连接层,用于调整候选框的位置,输出每个候选框的边界框坐标调整量;所述RoI池化层用于将每个候选框内的特征图区域池化成固定大小的特征图,这样可以保持不同大小的候选框对应的特征图大小一致,方便后续处理;所述分类层包括若干全连接层和softmax层,用于对池化后的候选框特征进行目标分类,输出每个候选框的类别概率分布;所述边界框回归层包括若干全连接层,用于对池化后的候选框特征进行边界框位置调整,输出每个候选框的边界框坐标调整量;所述掩码分割层包括若干卷积层和上采样操作,用于对每个候选框生成像素级的分割掩码,输出每个候选框的分割掩码;所述输出层用于输出最终的目标检测结果,即目标类别、边框和掩码。
所述初始实例分割模型采用的损失函数包括目标分类损失函数、边界框回归损失函数和掩码分割损失函数,目标分类损失函数用于判断每个候选框中是否包含目标以及目标的类别,例如交叉熵损失函数,用于比较模型预测的类别概率分布与真实标签的差异;边界框回归损失用于调整候选框的位置,使其更准确地框住目标,例如平滑 L1 损失函数,用于比较模型预测的边界框坐标与真实边界框坐标的差异;掩码分割损失用于生成每个目标的像素级分割掩码,例如二进制交叉熵损失函数,用于比较模型生成的掩码与真实掩码的差异。总的损失函数是这些损失函数的加权和,通过反向传播和优化算法(如梯度下降)来更新模型的权重,以最小化总损失函数,从而实现模型的训练和优化。
在本申请一实施例中,所述“获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令”的步骤之前,还包括:
获取样本肝脏组织的样本病理显微图像和与所述样本病理显微图像中脂肪空泡、炎细胞灶和纤维化区域的类别和位置对应的样本识别信息。所述样本病理显微图像是通过显微镜拍摄得到的所述样本肝脏组织切片的图像,需要满足放大倍数、色彩和分辨率等要求,具体可以参照上述对目标病理显微图像的描述,此处不做赘述;所述样本识别信息包括对目标物(即所述样本病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域)人工标注得到的类别标签和边框。
依据所述样本病理显微图像和所述样本识别信息对初始目标检测模型进行训练,得到训练完成的目标检测模型;其中,所述初始目标检测模型可以是R-CNN系列模型、YOLO系列模型、SSD和RetinaNet中的至少一种,也可以是其他具有实例区分和目标定位功能的目标检测模型。将所述样本病理显微图像输入初始目标检测模型,得到初始识别信息,采用预设的损失函数计算所述初始识别信息与所述样本识别信息的损失值,并不断优化模型的学习参数直至所述损失值小于预设值,得到所述训练完成的目标检测模型。
具体的,所述初始目标检测模型为Faster R-CNN,由区域建议网络和检测网络组成,区域建议网络是一个用于生成候选目标框的子网络,它在输入图像上滑动一个小的滑动窗口,并为每个窗口位置生成多个候选目标框,这些候选框称为锚框,区域建议网络通过对每个锚框进行二分类(前景或背景)和回归(调整锚框位置)来筛选出最有可能包含目标的候选框;检测网络可以实现目标检测任务,它接收区域建议网络生成的候选框作为输入,并对每个候选框进行目标分类和边界框回归。
作为一种示例,所述初始目标检测模型包括依次连接的输入层、特征提取层、区域建议网络、候选框分类层、候选框边界框回归层、RoI池化层、分类层、边界框回归层、掩码分割层和输出层,所述输入层用于接收输入图像;所述特征提取层包括特征提取器(如ResNet、VGG等),用于提取图像特征;所述特征提取层包括特征提取器(如ResNet、VGG等),用于提取图像特征;所述区域建议网络包括一系列卷积层和全连接层,用于生成候选目标框,输出包括候选框的坐标和对应的置信度得分;所述候选框分类层包括若干全连接层和softmax层,用于对所述候选框进行目标分类,输出每个候选框的类别概率分布;所述候选框边界框回归层包括若干全连接层,用于调整候选框的位置,输出每个候选框的边界框坐标调整量;所述RoI池化层用于将每个候选框内的特征图区域池化成固定大小的特征图,这样可以保持不同大小的候选框对应的特征图大小一致,方便后续处理;所述分类层包括若干全连接层和softmax层,用于对池化后的候选框特征进行目标分类,输出每个候选框的类别概率分布;所述边界框回归层包括若干全连接层,用于对池化后的候选框特征进行边界框位置调整,输出每个候选框的边界框坐标调整量;所述输出层用于输出最终的目标检测结果,即目标类别和边框。
所述初始实例分割模型采用的损失函数包括目标分类损失函数和边界框回归损失函数,目标分类损失函数用于判断每个候选框中是否包含目标以及目标的类别,例如交叉熵损失函数,用于比较模型预测的类别概率分布与真实标签的差异;边界框回归损失用于调整候选框的位置,使其更准确地框住目标,例如平滑 L1 损失函数,用于比较模型预测的边界框坐标与真实边界框坐标的差异。总的损失函数是上述损失函数的加权和,通过反向传播和优化算法(如梯度下降)来更新模型的权重,以最小化总损失函数,从而实现模型的训练和优化。
在本申请一实施例中,所述“获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令”的步骤之前,还包括:
获取样本肝脏组织的样本病理特征和所述样本肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的样本病理评分;其中,所述样本病理特征包括所述样本肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;
依据所述样本病理特征和所述样本病理评分对初始病理评分模型进行训练,得到训练完成的病理评分模型;其中,所述初始病理评分模型可以是随机森林模型、逻辑回归模型、梯度提升树模型和支持向量机模型中的至少一种,也可以是其他具有分类功能的评分模型。将所述样本病理特征输入初始病理评分模型,得到初始病理评分,采用预设的损失函数计算所述初始病理评分与所述样本病理评分的损失值,并不断优化模型的学习参数直至所述损失值小于预设值,得到所述训练完成的病理评分模型。
具体的,所述初始病理评分模型为随机森林模型,由多个决策树组成,每个决策树都是独立训练的,然后通过投票或平均等方式进行集成,以提高整体模型的性能。
参照图3,在本申请一实施例中,所述分析方法还包括:
S150、当所述分析指令包括所述第一分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
S160、依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中脂肪空泡轮廓的第一识别图像。
如所述步骤S150所述,当所述分析指令包括所述第一分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息。
所述目标分割信息具体可以参照上述描述,此处不做赘述。
如所述步骤S160所述,依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中脂肪空泡轮廓的第一识别图像。
依据所述目标病理显微图像和所述目标分割信息中类别标签为“脂肪空泡”的各个目标物的掩码,生成标记有所述目标病理显微图像中脂肪空泡轮廓的第一识别图像。具体的,依据所述目标分割信息中类别标签为“脂肪空泡”的各个目标物的掩码边缘(即掩码的边缘坐标集合),生成半透明或不透明的第一轮廓曲线(线条宽度可以采用固定值,例如0.5-3像素,也可以依据所述目标病理显微图像的尺寸确定),并将所述第一轮廓曲线与所述目标病理显微图像融合,得到所述第一识别图像。
参照图4,在本申请一实施例中,所述分析方法还包括:
S170、当所述分析指令包括所述第二分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
S180、依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中炎细胞灶轮廓的第二识别图像。
如所述步骤S170所述,当所述分析指令包括所述第二分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息。
所述目标分割信息具体可以参照上述描述,此处不做赘述。
如所述步骤S180所述,依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中炎细胞灶轮廓的第二识别图像。
依据所述目标病理显微图像和所述目标分割信息中类别标签为“炎细胞灶”的各个目标物的掩码,生成标记有所述目标病理显微图像中炎细胞灶轮廓的第二识别图像。具体的,依据所述目标分割信息中类别标签为“炎细胞灶”的各个目标物的掩码边缘(即掩码的边缘坐标集合),生成半透明或不透明的第二轮廓曲线(线条宽度可以采用固定值,例如0.5-3像素,也可以依据所述目标病理显微图像的尺寸确定),并将所述第二轮廓曲线与所述目标病理显微图像融合,得到所述第二识别图像。
参照图5,在本申请一实施例中,所述分析方法还包括:
S190、当所述分析指令包括所述第三分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
S200、依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中纤维化区域轮廓的第三识别图像。
如所述步骤S190所述,当所述分析指令包括所述第三分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息。
所述目标分割信息具体可以参照上述描述,此处不做赘述。
如所述步骤S200所述,依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中纤维化区域轮廓的第三识别图像。
依据所述目标病理显微图像和所述目标分割信息中类别标签为“纤维化区域”的各个目标物的掩码,生成标记有所述目标病理显微图像中纤维化区域轮廓的第三识别图像。具体的,依据所述目标分割信息中类别标签为“纤维化区域”的各个目标物的掩码边缘(即掩码的边缘坐标集合),生成半透明或不透明的第三轮廓曲线(线条宽度可以采用固定值,例如0.5-3像素,也可以依据所述目标病理显微图像的尺寸确定),并将所述第三轮廓曲线与所述目标病理显微图像融合,得到所述第三识别图像。
在本申请一实施例中,所述分析方法还包括:
获取针对目标识别图像(包括所述第一识别图像、所述第一识别图像和所述第三识别图像)的编辑指令;其中,所述编辑指令包括去除所述目标识别图像中轮廓曲线(包括所述第一轮廓曲线、所述第一轮廓曲线和所述第三轮廓曲线)外部内容的第一编辑指令、去除所述目标识别图像中轮廓曲线内部内容的第二编辑指令和去除所述目标识别图像中指定轮廓曲线的第三编辑指令中的至少一种;
依据所述编辑指令对所述目标识别图像进行编辑,得到目标编辑图像。具体的,当所述编辑指令包括所述第一编辑指令时,采用纯色填充所述目标识别图像中轮廓曲线外部的区域,得到第一编辑图像;当所述编辑指令包括所述第二编辑指令时,采用纯色填充所述目标识别图像中轮廓曲线内部的区域,得到第二编辑图像;当所述编辑指令包括所述第三编辑指令时,生成与所述目标识别图像中每一轮廓曲线对应的曲线编号,将所述曲线编号添加至对应的轮廓曲线的边缘位置,获取期望去除的目标曲线编号,并将与所述目标曲线编号对应的轮廓曲线从所述目标识别图像中去除,得到第三编辑图像。
在本申请一具体实现中,所述分析方法包括:
S110、获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令;其中,所述分析指令包括对所述目标肝脏组织中脂肪空泡进行识别的第一分析指令、对所述目标肝脏组织中炎细胞灶进行识别的第二分析指令、对所述目标肝脏组织中纤维化区域进行识别的第三分析指令和对所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域进行评分的综合分析指令中的至少一种;
S150、当所述分析指令包括所述第一分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
S160、依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中脂肪空泡轮廓的第一识别图像;
S170、当所述分析指令包括所述第二分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
S180、依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中炎细胞灶轮廓的第二识别图像;
S190、当所述分析指令包括所述第三分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
S200、依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中纤维化区域轮廓的第三识别图像;
S120、当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
S130、依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征;其中,所述目标病理特征包括所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;
S140、依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
参照图6,示出了本申请一实施例提供的一种肝脏的病理显微图像的分析装置,包括:
目标获取模块410,用于获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令;其中,所述分析指令包括对所述目标肝脏组织中脂肪空泡进行识别的第一分析指令、对所述目标肝脏组织中炎细胞灶进行识别的第二分析指令、对所述目标肝脏组织中纤维化区域进行识别的第三分析指令和对所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域进行评分的综合分析指令中的至少一种;
目标分割模块420,用于当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
特征确定模块430,用于依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征;其中,所述目标病理特征包括所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;
评分确定模块440,用于依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。
参照图7,在本申请一实施例中,所述分析装置还包括:
分割样本获取模块310,用于获取样本肝脏组织的样本病理显微图像和与所述样本病理显微图像中脂肪空泡、炎细胞灶和纤维化区域的类别、位置和轮廓对应的样本分割信息;
分割模型训练模块320,用于依据所述样本病理显微图像和所述样本分割信息对初始实例分割模型进行训练,得到训练完成的实例分割模型;其中,所述初始实例分割模型可以是Mask R-CNN、U-Net、DeepLab、FCN和PSPNet中的至少一种,也可以是其他具有实例区分和轮廓标记功能的实例分割模型。
在本申请一实施例中,所述评分确定模块340包括:
评分确定子模块,用于通过训练完成的病理评分模型对所述目标病理特征进行处理,得到所述目标肝脏组织的所述目标病理评分。
在本申请一实施例中,所述分析装置还包括:
评分样本获取模块,用于获取样本肝脏组织的样本病理特征和所述样本肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的样本病理评分;其中,所述样本病理特征包括所述样本肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;
评分模型训练模块,用于依据所述样本病理特征和所述样本病理评分对初始病理评分模型进行训练,得到训练完成的病理评分模型;其中,所述初始病理评分模型可以是随机森林模型、逻辑回归模型、梯度提升树模型和支持向量机模型中的至少一种,也可以是其他具有分类和预测功能的评分模型。
参照图8,在本申请一实施例中,所述分析装置还包括:
第一目标分割模块450,用于当所述分析指令包括所述第一分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
第一图像生成模块460,用于依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中脂肪空泡轮廓的第一识别图像。
参照图9,在本申请一实施例中,所述分析装置还包括:
第二目标分割模块470,用于当所述分析指令包括所述第二分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
第二图像生成模块480,用于依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中炎细胞灶轮廓的第二识别图像。
参照图10,在本申请一实施例中,所述分析装置还包括:
第二目标分割模块490,用于当所述分析指令包括所述第三分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
第二图像生成模块500,用于依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中纤维化区域轮廓的第三识别图像。
参照图11,示出了本申请的一种计算机设备,所述计算机设备12以通用计算设备的形式表现;所述计算机设备12包括:一个或者多个处理器或者处理单元16、内存28和连接不同系统组件(包括内存28和处理单元16)的总线18。
总线18可以是几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、音视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
内存28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图11中未示出,可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块42,这些程序模块42被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器中,这样的程序模块42包括操作系统、一个或者多个应用程序、其他程序模块42以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信,还可与一个或者多个使得操作人员能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过I/O接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)),广域网(WAN)和/或公共网络(例如因特网)通信。如图11所示,网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白,尽管图11中未示出,可以结合计算机设备12使用其他硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在内存28中的程序,从而执行各种功能应用以及数据处理,例如实现本申请任一实施例所述的肝脏的病理显微图像的分析方法。
也即,上述处理单元16执行上述程序时可以实现:获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令;其中,所述分析指令包括对所述目标肝脏组织中脂肪空泡进行识别的第一分析指令、对所述目标肝脏组织中炎细胞灶进行识别的第二分析指令、对所述目标肝脏组织中纤维化区域进行识别的第三分析指令和对所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域进行评分的综合分析指令中的至少一种;当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征;其中,所述目标病理特征包括所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。
在本申请一实施例中,还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请任一实施例所述的肝脏的病理显微图像的分析方法。
也即,该程序被处理器执行时可以实现:获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令;其中,所述分析指令包括对所述目标肝脏组织中脂肪空泡进行识别的第一分析指令、对所述目标肝脏组织中炎细胞灶进行识别的第二分析指令、对所述目标肝脏组织中纤维化区域进行识别的第三分析指令和对所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域进行评分的综合分析指令中的至少一种;当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征;其中,所述目标病理特征包括所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质可以是电、磁、光、电磁、红外线或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言,例如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,例如“C”语言或类似的程序设计语言。程序代码可以完全地在操作人员计算机上执行、部分地在操作人员计算机上执行、作为一个独立的软件包执行、部分在操作人员计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到操作人员计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种肝脏的病理显微图像的分析方法、装置、设备及存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种肝脏的病理显微图像的分析方法,其特征在于,包括:
获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令;其中,所述分析指令包括对所述目标肝脏组织中脂肪空泡进行识别的第一分析指令、对所述目标肝脏组织中炎细胞灶进行识别的第二分析指令、对所述目标肝脏组织中纤维化区域进行识别的第三分析指令和对所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域进行评分的综合分析指令中的至少一种;
当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征;其中,所述目标病理特征包括所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;
依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。
2.根据权利要求1所述的分析方法,其特征在于,还包括:
获取样本肝脏组织的样本病理显微图像和与所述样本病理显微图像中脂肪空泡、炎细胞灶和纤维化区域的类别、位置和轮廓对应的样本分割信息;
依据所述样本病理显微图像和所述样本分割信息对初始实例分割模型进行训练,得到训练完成的实例分割模型。
3.根据权利要求1所述的分析方法,其特征在于,所述依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分的步骤,包括:
通过训练完成的病理评分模型对所述目标病理特征进行处理,得到所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的所述目标病理评分。
4.根据权利要求3所述的分析方法,其特征在于,还包括:
获取样本肝脏组织的样本病理特征和所述样本肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的样本病理评分;其中,所述样本病理特征包括所述样本肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;
依据所述样本病理特征和所述样本病理评分对初始病理评分模型进行训练,得到训练完成的病理评分模型。
5.根据权利要求1所述的分析方法,其特征在于,还包括:
当所述分析指令包括所述第一分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中脂肪空泡轮廓的第一识别图像。
6.根据权利要求1所述的分析方法,其特征在于,还包括:
当所述分析指令包括所述第二分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中炎细胞灶轮廓的第二识别图像。
7.根据权利要求1所述的分析方法,其特征在于,还包括:
当所述分析指令包括所述第三分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
依据所述目标病理显微图像和所述目标分割信息,生成标记有所述目标病理显微图像中纤维化区域轮廓的第三识别图像。
8.一种肝脏的病理显微图像的分析装置,其特征在于,包括:
目标获取模块,用于获取目标肝脏组织的目标病理显微图像和针对所述目标肝脏组织的分析指令;其中,所述分析指令包括对所述目标肝脏组织中脂肪空泡进行识别的第一分析指令、对所述目标肝脏组织中炎细胞灶进行识别的第二分析指令、对所述目标肝脏组织中纤维化区域进行识别的第三分析指令和对所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域进行评分的综合分析指令中的至少一种;
目标分割模块,用于当所述分析指令包括所述综合分析指令时,通过训练完成的实例分割模型对所述目标病理显微图像进行处理,得到与所述目标病理显微图像中脂肪空泡、炎细胞灶轮廓和纤维化区域的类别、位置和轮廓对应的目标分割信息;
特征确定模块,用于依据所述目标病理显微图像和所述目标分割信息,确定所述目标肝脏组织的目标病理特征;其中,所述目标病理特征包括所述目标肝脏组织的脂肪空泡数量、脂肪空泡面积占比、脂肪空泡分散度、炎细胞灶数量、炎细胞灶面积占比、炎细胞灶分散度、纤维化区域数量、纤维化区域面积占比和纤维化区域分散度;
评分确定模块,用于依据所述目标病理特征,确定所述目标肝脏组织中脂肪空泡、炎细胞灶和纤维化区域的目标病理评分。
9.一种计算机设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-7任一项所述的分析方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310963853.4A CN116682109B (zh) | 2023-08-02 | 2023-08-02 | 一种病理显微图像的分析方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310963853.4A CN116682109B (zh) | 2023-08-02 | 2023-08-02 | 一种病理显微图像的分析方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116682109A true CN116682109A (zh) | 2023-09-01 |
CN116682109B CN116682109B (zh) | 2023-11-17 |
Family
ID=87787669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310963853.4A Active CN116682109B (zh) | 2023-08-02 | 2023-08-02 | 一种病理显微图像的分析方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116682109B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118098609A (zh) * | 2024-04-23 | 2024-05-28 | 安领生物医药(苏州)有限公司 | 一种人工智能评估非酒精性脂肪肝动物模型的系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100098306A1 (en) * | 2006-08-01 | 2010-04-22 | Anant Madabhushi | Malignancy diagnosis using content - based image retreival of tissue histopathology |
US20210192722A1 (en) * | 2017-10-20 | 2021-06-24 | Genfit | Automated pattern recognition and scoring method of histological images |
CN113298752A (zh) * | 2020-02-06 | 2021-08-24 | 西门子医疗有限公司 | 用于自动表征患者的肝脏组织的方法、系统、程序和介质 |
CN113393454A (zh) * | 2021-07-02 | 2021-09-14 | 北京邮电大学 | 活检组织中病理目标实例分割方法和装置 |
WO2022191781A1 (en) * | 2021-03-12 | 2022-09-15 | Histoindex Pte Ltd | Method and system for assessing nonalcoholic steatohepatitis |
US20230117179A1 (en) * | 2020-03-24 | 2023-04-20 | Biocellvia | System and method for generating an indicator from an image of a histological section |
-
2023
- 2023-08-02 CN CN202310963853.4A patent/CN116682109B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100098306A1 (en) * | 2006-08-01 | 2010-04-22 | Anant Madabhushi | Malignancy diagnosis using content - based image retreival of tissue histopathology |
US20210192722A1 (en) * | 2017-10-20 | 2021-06-24 | Genfit | Automated pattern recognition and scoring method of histological images |
CN113298752A (zh) * | 2020-02-06 | 2021-08-24 | 西门子医疗有限公司 | 用于自动表征患者的肝脏组织的方法、系统、程序和介质 |
US20230117179A1 (en) * | 2020-03-24 | 2023-04-20 | Biocellvia | System and method for generating an indicator from an image of a histological section |
WO2022191781A1 (en) * | 2021-03-12 | 2022-09-15 | Histoindex Pte Ltd | Method and system for assessing nonalcoholic steatohepatitis |
CN113393454A (zh) * | 2021-07-02 | 2021-09-14 | 北京邮电大学 | 活检组织中病理目标实例分割方法和装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118098609A (zh) * | 2024-04-23 | 2024-05-28 | 安领生物医药(苏州)有限公司 | 一种人工智能评估非酒精性脂肪肝动物模型的系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116682109B (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109791693B (zh) | 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程 | |
CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
CN110428432B (zh) | 结肠腺体图像自动分割的深度神经网络算法 | |
CN111325739B (zh) | 肺部病灶检测的方法及装置,和图像检测模型的训练方法 | |
WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN112380900A (zh) | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 | |
CN111814741A (zh) | 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法 | |
CN112819821B (zh) | 一种细胞核图像检测方法 | |
CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
CN112215807A (zh) | 基于深度学习的细胞图像自动分类方法及系统 | |
CN116682109B (zh) | 一种病理显微图像的分析方法、装置、设备及存储介质 | |
CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
CN113393454A (zh) | 活检组织中病理目标实例分割方法和装置 | |
CN112703531A (zh) | 生成组织图像的注释数据 | |
CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
CN117095180B (zh) | 基于分期识别的胚胎发育阶段预测与质量评估方法 | |
CN111583385A (zh) | 一种可变形数字人解剖学模型的个性化变形方法及系统 | |
CN111916206A (zh) | 一种基于级联的ct影像辅助诊断系统 | |
CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
CN110472673B (zh) | 参数调整方法、眼底图像处理方法、装置、介质及设备 | |
CN118334336A (zh) | 阴道镜图像分割模型构建方法、图像分类方法和装置 | |
CN113724267B (zh) | 一种乳腺超声图像肿瘤分割方法及装置 | |
CN118115783B (zh) | 基于深度学习的角膜染色分析方法及相关训练方法和系统 | |
CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |