CN117315649A - 病理图片的解读方法及装置、设备及存储介质 - Google Patents
病理图片的解读方法及装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117315649A CN117315649A CN202210702205.9A CN202210702205A CN117315649A CN 117315649 A CN117315649 A CN 117315649A CN 202210702205 A CN202210702205 A CN 202210702205A CN 117315649 A CN117315649 A CN 117315649A
- Authority
- CN
- China
- Prior art keywords
- image block
- pathological
- positive
- target
- analyzed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000002159 abnormal effect Effects 0.000 claims abstract description 117
- 238000013136 deep learning model Methods 0.000 claims abstract description 99
- 238000003745 diagnosis Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000003709 image segmentation Methods 0.000 claims abstract description 30
- 238000002372 labelling Methods 0.000 claims description 54
- 230000007170 pathology Effects 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 28
- 206010048612 Hydrothorax Diseases 0.000 claims description 24
- 201000010099 disease Diseases 0.000 claims description 13
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012552 review Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 206010006187 Breast cancer Diseases 0.000 claims description 5
- 208000026310 Breast neoplasm Diseases 0.000 claims description 5
- 206010058467 Lung neoplasm malignant Diseases 0.000 claims description 4
- 201000005202 lung cancer Diseases 0.000 claims description 4
- 208000020816 lung neoplasm Diseases 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 4
- 206010009944 Colon cancer Diseases 0.000 claims description 3
- 208000001333 Colorectal Neoplasms Diseases 0.000 claims description 3
- 206010025323 Lymphomas Diseases 0.000 claims description 3
- 208000005718 Stomach Neoplasms Diseases 0.000 claims description 3
- 208000009956 adenocarcinoma Diseases 0.000 claims description 3
- 206010017758 gastric cancer Diseases 0.000 claims description 3
- 206010041823 squamous cell carcinoma Diseases 0.000 claims description 3
- 201000011549 stomach cancer Diseases 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 description 120
- 238000010586 diagram Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 210000004881 tumor cell Anatomy 0.000 description 11
- 206010063045 Effusion Diseases 0.000 description 9
- 241000282326 Felis catus Species 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 241000282472 Canis lupus familiaris Species 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 6
- 210000001124 body fluid Anatomy 0.000 description 6
- 239000010839 body fluid Substances 0.000 description 6
- 208000002151 Pleural effusion Diseases 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 206010003445 Ascites Diseases 0.000 description 4
- 206010027476 Metastases Diseases 0.000 description 4
- 210000003567 ascitic fluid Anatomy 0.000 description 4
- 230000009401 metastasis Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 241001494479 Pecora Species 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 2
- 230000003583 cytomorphological effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 210000005033 mesothelial cell Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000004908 prostatic fluid Anatomy 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 210000000582 semen Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000010507 Adenocarcinoma of Lung Diseases 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 101710114425 Homeobox protein Nkx-2.1 Proteins 0.000 description 1
- 102100027893 Homeobox protein Nkx-2.1 Human genes 0.000 description 1
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 1
- 101100013967 Mus musculus Gata3 gene Proteins 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 101710088547 Thyroid transcription factor 1 Proteins 0.000 description 1
- 101710159262 Transcription termination factor 1 Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000005859 cell recognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000120 cytopathologic effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000003701 histiocyte Anatomy 0.000 description 1
- 238000013115 immunohistochemical detection Methods 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 201000005249 lung adenocarcinoma Diseases 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052750 molybdenum Inorganic materials 0.000 description 1
- 239000011733 molybdenum Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000440 neutrophil Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 210000004180 plasmocyte Anatomy 0.000 description 1
- 210000003281 pleural cavity Anatomy 0.000 description 1
- 210000000414 pleural mesothelial cell Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种病理图片的解读方法及装置、设备及存储介质，方法包括：获取待分析对象的包括待分析对象的病理图片的病理图片数据；以预设的像素比例对病理图片进行图像分割处理，得到分割后的N个图像块；将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的异常或正常的第一分类结果与概率的对应关系；根据第一分类结果、概率以及多任务深度学习模型，确定异常图像块用于反映待分析对象的病理图片的病理信息的目标解读结果。通过上述方式得到病理图片的病理信息，实现了对述病理图片的客观解读，为医生提供了客观的辅助信息，有利于减少不同层次医生之间的诊断差异性，提高诊断正确率与效率。
Description
技术领域
本发明涉及病理图片技术领域，尤其涉及一种病理图片的解读方法及装置、设备及存储介质。
背景技术
体液细胞学是临床上常用于检查疾病的重要细胞形态学病理学技术。常见的体液包括：尿液、脑脊液、胸腔积液、腹腔积液、盆腔积液、前列腺液、精液等。每一种来源不同的体液，分别反应不同器官相对于的疾病。其中，浆膜腔积液包括胸腔积液、腹腔积液、盆腔积液。正常人群中，人体存在的液体量非常少。但在患者体内，可明显增多，几百毫升-数十升不等。浆膜腔积液通过细针穿刺，一方面引流可以达到治疗及缓解症状的作用；另一方面，获取的浆膜腔积液可作为诊断及指导治疗的重要临床证据。但目前对于患者的浆膜腔积液的细胞形态学病理诊断，严重依赖于细胞制片技术操作、检验和诊断人员的经验与水平。极易发生诊断不足、漏诊的情况发生，而对于少数病例在基层医院因缺乏相关的诊断经验，存在被误诊的潜在风险。因此，如何减少不同医生之间的诊断的差距、提高体液细胞学的诊断正确率、诊断效率及报告质量都是有待改善和解决的问题。
发明内容
本发明的主要目的在于提供一种病理图片的解读方法及装置、设备及存储介质，可以解决现有技术中的诊断正确率与诊断效率不高的问题。
为实现上述目的，本发明第一方面提供一种病理图片的解读方法，所述方法包括：
获取待分析对象的病理图片数据，所述病理图片数据至少包括待分析对象的病理图片；
以预设的像素比例对所述病理图片进行图像分割处理，得到分割后的N个图像块；
将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，所述第一分类结果包括异常或正常；
根据所述第一分类结果、概率以及多任务深度学习模型，确定第一分类结果为异常的异常图像块的目标解读结果，所述目标解读结果用于反映所述待分析对象的病理图片的病理信息。
在一种可行实现方式中，所述病理图片数据还包括病理图片对应的切片来源信息，则所述根据所述第一分类结果、概率以及多任务深度学习模型，确定异常图像块的目标解读结果，包括：
利用所述概率以及所述第一分类结果，确定目标异常图像块；
将所述目标异常图像块以及所述目标异常图像块对应的切片来源信息输入所述多任务深度学习模型进行多分类任务处理，得到每个目标异常图像块对应的细胞种类；
根据所述细胞种类、所述目标异常图像块的切片来源信息以及所述多任务深度学习模型，得到所述待分析对象的诊疗建议，其中，所述目标解读结果包括所述异常图像块的细胞种类以及待分析对象的诊疗建议。
在一种可行实现方式中，所述利用所述概率以及所述第一分类结果，确定目标异常图像块，包括：
按照所述概率由高到低的顺序对所有第一分类结果为异常的异常图像块进行排序，得到异常图像序列；
将所述异常图像序列的前X个异常图像块，确定为目标异常图像块，X为正整数。
在一种可行实现方式中，所述获取待分析对象的病理图片数据之前，所述方法还包括：
获取若干第一阳性样本数据集，所述第一阳性样本数据集包括第一阳性病理图片；
以预设的像素比例对所述第一阳性病理图片进行图像分割处理，得到分割后的M个候选阳性图像块；
将所述候选阳性图像块输入至第一深度学习模型，得到所述候选阳性图像块的阴性概率，所述第一深度学习模型基于阴性样本数据集训练得到，所述阴性样本数据集包括阴性样本图像与标注信息的对应关系；
利用所述候选阳性图像块、阴性概率以及预设的阴性概率阈值，确定第一目标阳性样本数据集，所述第一目标阳性样本数据集用于对所述多任务深度学习模型进行训练。
在一种可行实现方式中，所述利用所述候选阳性图像块、阴性概率以及预设的阴性概率阈值，确定目标阳性样本数据集，包括：
当所述候选阳性图像块的阴性概率大于等于所述阴性概率阈值时，确定所述候选阳性图像块为阴性图像块；
当所述候选阳性图像块的阴性概率小于所述阴性概率阈值时，确定所述候选阳性图像块为阳性图像块；
将所述阳性图像块输出至预设终端，以进行人工标注，得到所述阳性图像块的人工标注信息；
利用所述阳性图像块以及所述人工标注信息得到第一目标阳性样本数据集。
在一种可行实现方式中，所述获取待分析对象的病理图片数据之前，所述方法还包括：
获取若干第二阳性样本数据集，所述第二阳性样本数据集包括第二阳性病理图片；
以预设的像素比例对所述第二阳性病理图片进行图像分割处理，得到分割后的Z个待选阳性图像块；
利用第二深度学习模型对所述待选阳性图像块进行细胞形态识别，确定所述待选阳性图像块中的细胞形态数据；
将所述待选阳性图像块以及所述细胞形态数据输出至预设终端，以进行人工复核，得到复核后的真阳性图像块，以及所述真阳性图像块的人工标注信息；
利用所述真阳性图像块，以及所述真阳性图像块的人工标注信息得到第二目标阳性样本数据集，所述第二目标阳性样本数据集用于对所述多任务深度学习模型进行训练。
在一种可行实现方式中，所述病理图片数据还包括待分析对象的病史信息，则所述根据所述细胞种类、所述目标异常图像块的切片来源信息以及所述多任务深度学习模型，得到所述待分析对象的诊疗建议，包括：
对所述细胞种类进行统计分析，确定各种细胞种类的比例数据；
将所述比例数据、细胞种类、目标异常图像块的切片来源信息以及病史信息输入多任务深度学习模型，得到所述待分析对象的初步的诊疗建议；
将所述初步的诊疗建议、比例数据、细胞种类、目标异常图像块、目标异常图像块的切片来源信息以及病史信息均输出至预设终端，以进行人工复核，确定复核后的最终诊疗建议。
在一种可行方式中，所述病理图片数据包括胸水病理图片数据，则所述方法包括：
获取待分析对象的胸水病理图片数据，所述病理图片数据至少包括待分析对象的胸水病理图片；
以预设的像素比例对所述胸水病理图片进行图像分割处理，得到分割后的N 个图像块；
将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，所述第一分类结果包括异常或正常；
利用所述概率以及所述第一分类结果，确定目标异常图像块；
将所述目标异常图像块以及所述目标异常图像块对应的切片来源信息输入所述多任务深度学习模型进行多分类任务处理，得到每个目标异常图像块对应的细胞种类，所述细胞种类至少包括腺癌、鳞癌或淋巴瘤中的一种或几种；
根据所述细胞种类、所述目标异常图像块的切片来源信息以及所述多任务深度学习模型，得到所述待分析对象的诊疗建议，其中，所述目标解读结果包括所述异常图像块的细胞种类以及待分析对象的诊疗建议，所述诊疗建议包括疾病类型与建议检查方向，所述疾病类型至少包括胃癌、乳腺癌、肺癌以及结直肠癌中的一种或几种，所述建议检查方向至少包括影像学检测或IHC检测中的一种或几种。
为实现上述目的，本发明第二方面提供一种病理图片的解读装置，所述装置包括：
数据获取模块：用于获取待分析对象的病理图片数据，所述病理图片数据至少包括待分析对象的病理图片；
图像分割模块：用于以预设的像素比例对所述病理图片进行图像分割处理，得到分割后的N个图像块；
第一识别模块：用于将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，所述第一分类结果包括异常或正常；
第二识别模块：用于根据所述第一分类结果、概率以及多任务深度学习模型，确定第一分类结果为异常的异常图像块的目标解读结果，所述目标解读结果用于反映所述待分析对象的病理图片的病理信息。
为实现上述目的，本发明第三方面提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如第一方面及任一可行实现方式所示步骤。
为实现上述目的，本发明第四方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面及任一可行实现方式所示步骤。
采用本发明实施例，具有如下有益效果：
本发明提供一种病理图片的解读方法，方法包括：获取待分析对象的病理图片数据，病理图片数据至少包括待分析对象的病理图片；以预设的像素比例对病理图片进行图像分割处理，得到分割后的N个图像块；将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，第一分类结果包括异常或正常；根据第一分类结果、概率以及多任务深度学习模型，确定第一分类结果为异常的异常图像块的目标解读结果，目标解读结果用于反映待分析对象的病理图片的病理信息。通过上述方式得到病理图片的病理信息，实现了对病理图片的客观解读，为医生提供了客观的辅助信息，有利于减少不同层次医生之间的诊断差异性，提高诊断正确率与效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本发明实施例中一种病理图片的解读方法的流程图；
图2为本发明实施例中一种病理图片分割后的N个图像块的示意图；
图3为本发明实施例中一种病理图片的解读方法的另一流程图；
图4为本发明实施例中一种多任务深度学习模型的阳性样本数据集的确定方法的流程图；
图5为本发明实施例中一种阳性样本数据集的标注示意图；
图6为本发明实施例中一种多任务深度学习模型的阳性样本数据集的确定方法的另一流程图；
图7为本发明实施例中一种阳性样本数据集的另一标注示意图；
图8为本发明实施例中多任务深度学习模型的每层功能的简略示意图；
图9为本发明实施例中一种病理图片的解读装置的结构框图；
图10为本发明实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例中一种病理图片的解读方法的流程图，如图1所示方法可以应用于终端，也可以应用于服务器，本实施例以应用于服务器进行举例说明，进一步的，如图1所示方法包括如下步骤：
101、获取待分析对象的病理图片数据，所述病理图片数据至少包括待分析对象的病理图片；
可以理解的是，进行病理图片的解读，首先需要得到待分析对象的病理图片，该待分析对象为需要进行病理图片分析解读的对象，比如患者。其中，病理图片为基于待分析对象的体液进行制片后的载玻片得到的，体液包括但不限于尿液、脑脊液、胸腔积液(胸水)、腹腔积液、盆腔积液、前列腺液、精液等，胸腔积液、腹腔积液及盆腔积液等还属于浆膜腔积液。在本实施例中通过对病理图片进行一系列分析得到最终的解读结果，故需要将制片后的后的载玻片转换数字病理图片，以得到待分析对象的病理图片数据。示例性的，将染色制作好的细胞病理片，通过数字病理扫描仪进行扫描，生成数字病理图像，存储于预设终端，该终端可以为计算机等电子设备，服务器可以与该终端网络连接建立通讯，进而获得获取待分析对象的病理图片数据，其中，病理图片数据至少包括待分析对象的病理图片、病理图片对应的切片来源信息、待分析对象的病史信息，该切片来源信息包括但不限于切片的体液类型及待分析对象的基本信息等等，待分析对象的病史信息也即待分析对象的既往存在的疾病信息。示例性的，基本信息包括但不限于性别及年龄等等影响诊断结果的用户信息，病史信息包括但不限于旧疾数据、影像学数据以及其他医学信息。
102、以预设的像素比例对所述病理图片进行图像分割处理，得到分割后的 N个图像块；
其中，可以对上述病理图片进行图像分割，通过设置图像分割的像素比例，通过预设的像素比例对所述病理图片进行图像分割处理，得到分割后的N个图像块，其中，分割方式可以为以像素比例进行均匀分割，N为正整数，图像块为该病理图片的子图像，在本实施例中像素比例可以为256*256，进而将病理图片分割为若干256*256的图像块。以进行后续病理图片的分析。示例性的，请参阅图 2，图2为本发明实施例中一种病理图片分割后的N个图像块的示意图，图2中病理图片201以像素比例分割后得到分割后的病理图片202，分割后的病理图片 202中包括N个像素块203。
103、将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，所述第一分类结果包括异常或正常；
需要说明的是，本实施例预先训练了一种多任务深度学习模型，该多任务深度学习模型可以实现多种识别分析任务，该多任务深度学习模型为多层结构，每一层对应至少一种图像处理任务，在本实施例中，得到上述N个图像块之后，便可以基于N个图像块对待分析对象的病理图片进行分析，进一步的，将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系。其中，第一分类结果用于反映每个图像块中是否存在阳性的细胞，故第一识别结果包括正常或异常，以及该第一识别结果的概率，其中，正常表示该图像块中存在阳性细胞的可能性低，二分类结果为正常的概率高于异常的概率，因此，二分类输出该图像块为正常以及对应的概率。异常表示该图像块中存在阳性细胞的可能性高，二分类结果为正常的概率低于异常的概率，因此，二分类输出该图像块为异常以及对应的概率。
可以理解的是，完整的病理图片中可能既包含正常细胞(病理结果呈现阴性的细胞)又包含异常细胞(病理结果呈现阳性的细胞)，通过将完整的病理图片分割为多个图像块，与一整张图像的识别相比，识别子图像可以减少每一张图像的细胞识别压力，并且可以识别子图像中的噪声较小，可以提高识别准确性，更有利于分析出得到每张图像的正常或异常。
104、根据所述第一分类结果、概率以及多任务深度学习模型，确定第一分类结果为异常的异常图像块的目标解读结果，所述目标解读结果用于反映所述待分析对象的病理图片的病理信息。
其中，得到第一分类结果与概率之后，继续对图像块进行分析，该多任务深度学习模型除了可以分析图像的正常或异常的第一分类结果，还可以对图像块进行解读，进一步的，根据第一分类结果、概率以及多任务深度学习模型，确定第一分类结果为异常的异常图像块的目标解读结果，其中，目标解读结果用于反映所述待分析对象的病理图片的病理信息，需要说明的是，通过第一分类结果可以确定图像块是否异常，进一步的通过对图像块进行解读之后，便可以得到第一分类结果为异常的异常图像块的目标解读结果，目标解读结果用于反映待分析对象的病理图片的病理信息，该目标解读结果可以对医生的诊断进行辅助，病理信息包括但不限于每个图像块的细胞种类、易感疾病、诊疗建议及细胞分布情况等等。
本发明提供一种病理图片的解读方法，方法包括：获取待分析对象的病理图片数据，病理图片数据至少包括待分析对象的病理图片；以预设的像素比例对病理图片进行图像分割处理，得到分割后的N个图像块；将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，第一分类结果包括异常或正常；根据第一分类结果、概率以及多任务深度学习模型，确定第一分类结果为异常的异常图像块的目标解读结果，目标解读结果用于反映待分析对象的病理图片的病理信息。通过上述方式得到病理图片的病理信息，实现了对病理图片的客观解读，为医生提供了客观的辅助信息，有利于减少不同层次医生之间的诊断差异性，提高诊断正确率与效率。
请参阅图3，图3为本发明实施例中一种病理图片的解读方法的另一流程图，如图3所示方法包括以下步骤：
301、获取待分析对象的病理图片数据，所述病理图片数据至少包括待分析对象的病理图片；
302、以预设的像素比例对所述病理图片进行图像分割处理，得到分割后的 N个图像块；
303、将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，所述第一分类结果包括异常或正常；
需要说明的是，步骤301、302以及303所示内容与图1所示步骤101、102 以及103内容相似，为避免重复此处不做赘述，具体可参考前述图1所示步骤101 内容。
其中，在本实施例中需要预先训练多任务深度学习模型，也即所述获取待分析对象的病理图片数据之前，需要进行模型训练。其中多任务深度学习模型可以在百度BML、华为ModelArts、阿里PAI、腾讯TAI、亚马逊SageMaker等开源平台上进行开发，或者建立CNN卷积神经网络的输入层、卷积层、池化层、全连接层、softmax层等层级结构得到，多任务深度学习模的训练可以在通过阴性样本数据集以及阳性样本数据集进行输入构建的初步模型训练得到。其中，考虑训练样本数据集的数据标注能力的高质量性和效率等问题。为了提高数据标注时标注能力的一致性、高质量性和效率等等，提高多任务深度学习模型识别的准确度，本实施例采用图4或图5所示方法进行样本数据的数据标注，具体参考下述内容。
请参阅图4，图4为本发明实施例中一种多任务深度学习模型的阳性样本数据集的确定方法的流程图，图4所示方法包括步骤401-404：
401、获取若干第一阳性样本数据集，所述第一阳性样本数据集包括第一阳性病理图片；
在多任务深度学习模型训练过程中，第一步就是对训练样本的收集，通过获取若干第一阳性样本数据集，所述第一阳性样本数据集包括第一阳性病理图片，其中，第一阳性病理图片为病理检验呈现阳性的病例切片的图像。
402、以预设的像素比例对所述第一阳性病理图片进行图像分割处理，得到分割后的M个候选阳性图像块；
进一步的，将第一阳性病理图片分割为多个候选阳性图像块，需要说明的是，第一阳性病理图片中包括的细胞由正常细胞也有异常细胞，因此，可以通过分割切片得到M个图像块，作为阳性样本的候选，以得到阳性样本数据集。这一步，可以实现将单一图像转为多个图像，可将小样本转为大样本，并且还可以减少图像的细胞个数，有利于后续标注，M为正整数。
403、将所述候选阳性图像块输入至第一深度学习模型，得到所述候选阳性图像块的阴性概率，所述第一深度学习模型基于阴性样本数据集训练得到，所述阴性样本数据集包括阴性样本图像与标注信息的对应关系；
需要说明的是，得到候选阳性图像块之后，可以利用第一深度学习模型对候选阳性图像块进行概率预测，具体的，第一深度学习模型基于阴性样本数据集训练得到，故第一深度学习模型用于识别输入数据的阴性概率，其中阴性概率即为输入数据与阴性样本的相似度。通过将候选阳性图像块输入至第一深度学习模型，得到候选阳性图像块的阴性概率。
404、利用所述候选阳性图像块、阴性概率以及预设的阴性概率阈值，确定第一目标阳性样本数据集，所述第一目标阳性样本数据集用于对所述多任务深度学习模型进行训练。
通过第一深度学习模型可得到候选阳性图像块的阴性概率，进而可以凭借阴性概率对候选阳性图像块进行筛选，将候选阳性图像块中的阴性样本筛选出来，得到真实的阳性样本，类似对候选阳性图像块进行提纯，最终便可以确定第一目标阳性样本数据集，进而利用第一目标阳性样本数据集以及阴性样本数据集对多任务深度学习模型进行训练。其中，阴性概率阈值为与阴性样本的相似度，故阴性概率阈值越高说明与阴性样本越相似，通过阴性概率以及预设的阴性概率阈值便可以对候选阳性图像块进行筛选。
在一种可行实现方式中，步骤404包括如下步骤D1-D4：
D1、当所述候选阳性图像块的阴性概率大于等于所述阴性概率阈值时，确定所述候选阳性图像块为阴性图像块；
D2、当所述候选阳性图像块的阴性概率小于所述阴性概率阈值时，确定所述候选阳性图像块为阳性图像块；
进一步的，由于阴性概率阈值越高说明与阴性样本越相似，故当候选阳性图像块的阴性概率大于等于阴性概率阈值时，则可以确定该候选阳性图像块与阴性样本越相似，因此，候选阳性图像块为阴性图像块。反之，当候选阳性图像块的阴性概率小于阴性概率阈值时，则可以确定该候选阳性图像块与阴性样本越不相似，因此，候选阳性图像块为阳性图像块。
示例性的，由于阴性概率阈值可以表示为Xa，Xa是与原阴性数据元的相似度，其中，第一深度学习模型先学习了大量阴性(猫)的数据；然后在未知的图像中找出与猫相似的图像块，得出相似度的概率值为X。假设Xa为0.9。未知的图像中X＝0.92＞Xa，归类为阴性数据。图像中的X为0.67＜Xa，归类为阳性数据(狗或非猫类型)，图像中X结果为0.12＜Xa，归类为阴性数据(其他，例如水杯)。阈值Xa的结果根据不同的具体数据集是可变的。例如，现有1000张猫狗图像数据集。Xa值设在0.9时，200张图像被认为非常有可能性是猫。Xa值设在0.5时，500张图像被认为非常有可能性是猫。Xa值设在0.95时，50张图像被认为非常有可能性是猫。阈值Xa越大，真阴性的结果就越可靠。但是怀疑为阳性(狗)的数据量就越多，给后续标注带来的工作量也随着加大。对于具体的每个猫狗图像数据集，选择恰当的阈值Xa，可以保证数据质量的同时，降低人工标注的工作量。
D3、将所述阳性图像块输出至预设终端，以进行人工标注，得到所述阳性图像块的人工标注信息；
D4、利用所述阳性图像块以及所述人工标注信息得到第一目标阳性样本数据集。
进一步的，可以将上述阳性样本交由医生进行人工标注，其中，人工标注信息包括但不限于阳性图像块的各个细胞的细胞形态，以及每个细胞的大小、一致性、染色颜色、程度及排列结构等等细胞之间的区别性信息，标注方式包括但不限于全框标注法等等，在此不做限定。示例性的，图5为本发明实施例中一种阳性样本数据集的标注示意图，图5包括全框标注阳性图像块501，进而通过阳性图像块以及所述人工标注信息得到第一目标阳性样本数据集，上述方式不仅可以减少人工标注压力，还可以提高阳性样本数据收集的信息的准确性及一致性，提高最终模型的识别精度。
示例性的，步骤401-404可以参考下述示例：选择一定数量A个阴性细胞样本病例，每一个病例再被随机或规律性的切割成M个矩形图像块。得到A×M 个矩形图像块，集合成一个阴性负样本训练数据集。病理医生仅需对每一个病例进行阴性质控即可。选择一定数量B个阳性细胞样本病例。多种方式进行人工数据标记。(1)每个阳性细胞样本病例被切割成M个矩形图像块，先利用阴性数据集进行比对(也即输入第一深度学习模型)，判定一定的阈值Xa。与阴性细胞相似度越高，相似度X1越接近于1。反之，相似度越低，X1越接近于0。举例：阈值Xa为0.9，X1>Xa时，可直接将X1的矩形图形块归类于阴性样本集。而X1＜Xa时，将X1的矩形图形块归类于待人工复核判读的数据(阳性数据)。将对应的图像块输出至终端经过2名以上高年资的细胞病理医生进行复核及分类，最终挑取的阳性细胞块数据作为阳性正样本训练数据集。形态标注算法可以采用的 TensorFlow2、CNN、RF、HMM、SOM等等，其中，TensorFlow是谷歌开源的一款深度学习框架，CNN为卷积神经网络，RF是基于python的自动化测试框架， HMM为隐马尔科夫模型，SOM为“无监督学习”模型。标注逻辑如下：阴性数据：细胞病理切片整片由2名高年资细胞病理医生在显微镜端确定为阴性，进行数字扫描。生成后的数字病理图片，切割成256×256像素的图像块，归于阴性训练数据库。阳性数据标注方法一：首先将阳性病例在显微镜端由病理医生筛出来。数字扫描生成数字病理图片，并切割成256×256像素的图像块。先在阴性训练数据库的初步训练模型下(第一深度学习模型)，图像匹配，找出最不相似的图像块(阳性)，呈现在显示屏端。由高年资细胞病理医生，在计算机内进行分类、判断。判读为阳性细胞，归类为阳性训练数据库。判读为阴性细胞，归类为阴性数据库。(类似于先草原图像切割成等边距的矩形框，初步模型先筛掉绿色草地、蓝色天空等区域，将含有白色区域的图像块，让人判读是否为目标物绵羊或非目标物汽车、狗、马等)。
请参阅图6，图6为本发明实施例中一种多任务深度学习模型的阳性样本数据集的确定方法的另一流程图，如图6所述方法包括如下步骤601-605：
601、获取若干第二阳性样本数据集，所述第二阳性样本数据集包括第二阳性病理图片；
在多任务深度学习模型训练过程中，第一步就是对训练样本的收集，通过获取若干第二阳性样本数据集，所述第二阳性样本数据集包括第二阳性病理图片，其中，第二阳性病理图片为病理检验呈现阳性的病例切片的图像。
602、以预设的像素比例对所述第二阳性病理图片进行图像分割处理，得到分割后的Z个待选阳性图像块；
其中，步骤601与602的内容与图4的步骤401及402内容相似，为避免重复不做赘述，具体可参考前述图4的步骤401及402内容。需要说明的是，第一第二用于区分，如无特别说明则不对技术特征造成具体限定。Z为正整数。
603、利用第二深度学习模型对所述待选阳性图像块进行细胞形态识别，确定所述待选阳性图像块中的细胞形态数据；
其中，步骤603中的第二深度学习模型为细胞形态识别模型，可以对图像块中的细胞进行初步标注，进而利用第二深度学习模型对待选阳性图像块进行细胞形态识别，确定所述待选阳性图像块中的细胞形态数据，该细胞形态数据用于反映细胞块的细胞的形状特性。其中，该细胞形态数据可以包括标注框、细胞大小尺寸、形状等等。标注方式包括但不限于细胞形态分割标注法，请参阅图7，图 7为本发明实施例中一种阳性样本数据集的另一标注示意图，图7中示出了细胞形态分割标注框701，其围合的区域便是呈阳性的细胞。
604、将所述待选阳性图像块以及所述细胞形态数据输出至预设终端，以进行人工复核，得到复核后的真阳性图像块，以及所述真阳性图像块的人工标注信息；
605、利用所述真阳性图像块，以及所述真阳性图像块的人工标注信息得到第二目标阳性样本数据集，所述第二目标阳性样本数据集用于对所述多任务深度学习模型进行训练。
通过第二深度学习模型确定所述待选阳性图像块中的细胞形态数据之后，可以将该细胞形态数据以及待选阳性图像块输出至预设终端，进行人工复核，确定复核的结果，得到复核后的真阳性图像块以及真阳性图像块的人工标注信息。得到第二目标阳性样本数据集。
示例性的，在阳性细胞样本病例中，计算机模型(第二深度学习模型)已完成细胞轮廓的分割任务，并可以将细胞按照大小初步分类输出到终端，进一步便于细胞病理医生进行标注，实现批量标注同一病例中的细胞类。具体的，阳性数据标注方法二可以为：扫描后生成的数字病理图像，先在第二深度学习模型中进行区域边界分割。在无监督自学习的模型下，分类为A1、A2、A3……An类。高年资细胞病理医生确定A1和(或)A3为阳性细胞(绵羊)。A2及其他为非目标物(汽车、狗、马等)。将本张图像中的A1和(或)A3，归类为阳性训练数据库。
在一种可行实现方式中，还可以直接进行人工标注，具体的在阳性细胞样本病例中还可以由细胞病理医生进行全片级别的小矩形框标注，也即目标区域标注，要求标注框内仅包含阳性细胞，存在混杂阴性细胞的比例<5％；否则，暂时弃用。全片内尽量将满足条件的阳性细胞全部标注出来。示例性该阳性数据标注方法二(目标区域标注)：先将筛选的阳性病例，进行数字扫描，生成数字病理图像，呈现在终端的显示屏。由高年资细胞病理医生直接在数字病理图像上进行不同大小的目标区域(阳性细胞)进行标注法。(类似于直接在草原照片上用矩形框标注绵羊等等非背景目标)。
可以理解的是，上述全框标注方式、目标区域标注方式及细胞分割标注方式可以根据不同细胞特点灵活使用，而且，可以通过其中任意一种进行标注或任意两种及两种以上进行标注，在此举例不做限定。
304、利用所述概率以及所述第一分类结果，确定目标异常图像块；
在一种可行实现方式中，步骤304可以包括：按照所述概率由高到低的顺序对所有第一分类结果为异常的异常图像块进行排序，得到异常图像序列；将所述异常图像序列的前X个异常图像块，确定为目标异常图像块，X为正整数。也即从分割后的多个图像块中选出X张阳性细胞可能性概率最高的矩形图像块，确定目标异常图像块。示例性的，X可以为50，X的取值可以根据实际分割出的数量或者识别需求动态调整，在此仅作举例不做具体限定。
305、将所述目标异常图像块以及所述目标异常图像块对应的切片来源信息输入所述多任务深度学习模型进行多分类任务处理，得到每个目标异常图像块对应的细胞种类；
可以理解的是，病理图片数据包括切片来源信息，进而可以得到目标异常图像块的切片来源信息，其中，多任务深度学习模型还可以进行细胞种类的多分类任务，因此，将目标异常图像块以及对应的切片来源信息输入所述多任务深度学习模型进行多分类任务处理，便可以得到每个目标异常图像块对应的细胞种类。其中，不同的细胞来源可能得到不同的细胞种类得识别结果。
以体液细胞为胸腔积液(pleural effusion，胸水)为例。是以胸膜腔内病理性液体积聚为特征的一种常见临床症候。胸水中主要的有形成分包括：淋巴细胞、红细胞、浆细胞、中性粒细胞、组织细胞、间皮细胞、肿瘤细胞等。从细胞大小来分，可分为第一类(A类)：细胞直径较小的细胞，主要为来自血液内的细胞成分；第二类(B类)：细胞直径较大的细胞，主要胸腔被覆间皮细胞脱落所致，多数以散在分布为主，少部分可以成片脱落；第三类(C类)：细胞直径较小- 最大的细胞，这一类包含成簇的肿瘤细胞、散在的肿瘤细胞或其他可疑肿瘤细胞或未知分类的细胞。
306、根据所述细胞种类、所述目标异常图像块的切片来源信息以及所述多任务深度学习模型，得到所述待分析对象的诊疗建议，其中，所述目标解读结果包括所述异常图像块的细胞种类以及待分析对象的诊疗建议，所述目标解读结果用于反映所述待分析对象的病理图片的病理信息。
进一步的，多任务深度学习模型还可以输出待分析对象的诊疗建议，因此，得到细胞种类之后，便可以得到该切片来源下的细胞种类，进而分析出可能的异常原因等等，例如根据所述细胞种类、所述目标异常图像块的切片来源信息以及所述多任务深度学习模型，得到所述待分析对象的诊疗建议。
在一种可行实现方式中，病理图片数据还包括待分析对象的病史信息，则步骤306可包括下述步骤G1-G3：
G1、对所述细胞种类进行统计分析，确定各种细胞种类的比例数据；
G2、将所述比例数据、细胞种类、目标异常图像块的切片来源信息以及病史信息输入多任务深度学习模型，得到所述待分析对象的初步的诊疗建议；
G3、将所述初步的诊疗建议、比例数据、细胞种类、目标异常图像块、目标异常图像块的切片来源信息以及病史信息均输出至预设终端，以进行人工复核，确定复核后的最终诊疗建议。
得到细胞种类之后，可以对细胞种类进行统计分析，得到细胞种类的比例数据，得到每一种细胞的占比。通过比例数据、细胞种类、目标异常图像块的切片来源信息以及病史信息输入多任务深度学习模型，得到所述待分析对象的初步的诊疗建议，该初步诊疗建议包括但不限于模型预测可能的异常现象后，建议的检查项目以及多任务识别模型每个任务的识别结果。其中，检查项目的建议可以明确检查方向，提高用户体验的同时，节约医疗资源。而每个任务的识别结果有助于医生对结果复核，最后可以基于复核确定的最终诊疗建议。
示例性的，本案对于多任务深度学习模型进行了不同层次的分解。第一层，仅需经过大量的阴性数据和少量阳性数据训练后就可以生成判读接近异常的细胞病理图像，并按照概率值的高低进行排序。一旦概率值最高的细胞病理，可以判读为真正的阳性细胞，最终由病理医生确诊。选择排名前50的高概率细胞病理图像，数量基本上满足了阳性细胞筛查的检出率。并且第二层，由于数据标注阶段，根据算法模型的优化，已经精细多分类数据的标注，最后进行图像内多分类多目标的检查分析任务，在进行高概率筛查之外。同样，也可以对整体上的阴性细胞和阳性细胞进行分类。最后一层，涉及了疾病的最终诊断及建议。可以结合临床病史+影像学检查等数据后判断，再结合算法模型及提供的数字病理图像。最终整体上提高细胞病理的诊断率，以及相关检测及治疗建议。例如，病史提供：病例一，女性，45岁，乳腺钼靶提示肿物。结合胸水细胞病理所示为高概率的异常细胞，提示癌的可能性。最终综合提示为该患者乳腺癌伴有胸水转移的可能性大。病例二，男性，57岁，咳嗽咳痰3个月。结合胸水细胞病理所示为高概率的异常细胞，提示癌的可能性。最终综合提示为该患者肺癌伴有胸水转移的可能性大。
进一步的，可以参照图8，图8为本发明实施例中多任务深度学习模型的每层功能的简略示意图，计算机深度学习的算法模型，根据不同阶段的需求，任务分解为三层。(1)第一层，二分类：适用于胸水标本中异常肿瘤细胞的检测。分类为两类结果：无异常细胞，有可以明确或可疑的异常细胞。由于临床中每一例细胞病理中的细胞数量从几十至数万个细胞，在工作强度大及诊断经验不足时，极易发生漏诊的现象。而通过第一层任务的完成，可以优选出异常概率最高的50个矩形图像块。这样一方面提高细胞病理诊断正确率及诊断效率。另一方面也降低了漏诊率的发生。(2)第二层，N分类：这是经过更多标注数据的积累，以及算法模型不断的迭代。最终可以把各类细胞进行精准的分类。最终由细胞病理医生确诊，并可以对各类细胞的比例进行精准计算。(3)第三层，预测分类：因为胸水中所见各类异常的肿瘤细胞，多数来源于其他器官的转移，少数可为胸腔间皮细胞的原发。综合前期分析，建议加做IHC或影像学检测最终判断胸水中肿瘤细胞的来源。例如：女，45岁，肺CT未见肺部明显病变，仅见大量胸水。再经过深度学习模型筛选出的肿瘤细胞图像，最终建议ER、PR、GATA3 的免疫组化检测。最有可能性的诊断为乳腺癌转移至胸水中。例如：男，65岁，肺CT见局部斑片状阴影，可见大量胸水。再经过深度学习模型筛选出的肿瘤细胞图像，最终建议TTF-1、CK7、NapsinA的免疫组化。最有可能性的诊断为肺腺癌转移至胸水中。图像分析数据，可以结合包含临床信息的知识图谱分析的综合性判读，确定最终诊疗建议。
进一步的，待分析细胞病理图像被提取出每张切片50个最有可能的矩形图像块，在云端进行存储。有三种分析模式。(1)本地化处理：由当地医院上传数字病理图像进入云端服务器(下称云端)，在云端的多任务深度学习模型切割成小图片块后，优选出概率最大的50张矩形图像块，反馈回当地医院的计算机端。由本地的分散式医生进行诊断处理。(2)远程化处理：由当地医院上传数字病理图像进入云端，在云端的多任务深度学习模型切割成小图片块后，优选出概率最大的50张矩形图像块，反馈给集约化的第三方实验室和区域医疗中心，由远程的集中式医生进行诊断处理。这样可以减少部分地区医生资源不足的劣势。(3)系统化处理：前处理同上述2种。计算机收到的反馈信息，包含了筛选出的50张最有可能的矩形图像块，并附带有经过不断迭代结果稳定的多任务深度学习模型分析得出的AI结果。最后仅由本地化或远程化的细胞病理医生进行确诊即可。
综上，以病理图片数据包括胸水病理图片数据为例，则具体实现流程包括：
1).获取待分析对象的胸水病理图片数据，病理图片数据至少包括待分析对象的胸水病理图片。
2).以预设的像素比例对胸水病理图片进行图像分割处理，得到分割后的N 个图像块；将一整张图片分成多张，减低处理难度，提高处理准确性。
3).将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，第一分类结果包括异常或正常；初步将图像块分类。
4).利用概率以及第一分类结果，确定目标异常图像块；提取异常图形快分析进一步减少处理压力，提高处理准确性。
5).将目标异常图像块以及目标异常图像块对应的切片来源信息输入多任务深度学习模型进行多分类任务处理，得到每个目标异常图像块对应的细胞种类，细胞种类至少包括腺癌、鳞癌或淋巴瘤中的一种或几种；
6).根据细胞种类、目标异常图像块的切片来源信息以及多任务深度学习模型，得到待分析对象的诊疗建议，其中，目标解读结果包括异常图像块的细胞种类以及待分析对象的诊疗建议，诊疗建议包括疾病类型与建议检查方向，疾病类型至少包括胃癌、乳腺癌、肺癌以及结直肠癌中的一种或几种，建议检查方向至少包括影像学检测或IHC检测中的一种或几种。
采用上述方法，具有如下有益之处：1)可提供整体诊断的准确率和效率，降低因制片不佳或诊断医师经验不足导致的漏诊和误诊。2)将原本严重依赖于诊断医师水平和经验的方法，进行了客观性的辅助分析方法，提升了诊断医师的诊断水平，也可以数字化分享促进不断学习进步。3)杜绝了部分细胞样本量，无法得到及时反馈，对标本质量的管控不严现象。4)可以将细胞病理诊断医生分布不均，诊断质量参差不齐的社会现实问题得以改善。5)降低因建立深度学习模型训练集过程中，细胞病理医生工作量大，标注质量和标注效率不高的问题。 6)将不典型、少见、典型的病例存储于计算机，可以用于细胞病理医生的培训、教学、考核的重要数据资料。
请参阅图9，图9为本发明实施例中一种病理图片的解读装置的结构框图，如图9所示装置包括：
数据获取模块1001：用于获取待分析对象的病理图片数据，所述病理图片数据至少包括待分析对象的病理图片；
图像分割模块1002：用于以预设的像素比例对所述病理图片进行图像分割处理，得到分割后的N个图像块；
第一识别模块1003：用于将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，所述第一分类结果包括异常或正常；
第二识别模块1004：用于根据所述第一分类结果、概率以及多任务深度学习模型，确定第一分类结果为异常的异常图像块的目标解读结果，所述目标解读结果用于反映所述待分析对象的病理图片的病理信息。
需要说明的是，如图所示装置中各个模块的作用，与图1所示各个步骤的内容相似，为避免重复，此处不做赘述，具体可参考前述图1所示各个步骤的内容。
本发明提供一种病理图片的解读装置，装置包括：数据获取模块：用于获取待分析对象的病理图片数据，病理图片数据至少包括待分析对象的病理图片；图像分割模块：用于以预设的像素比例对病理图片进行图像分割处理，得到分割后的N个图像块；第一识别模块：用于将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，第一分类结果包括异常或正常；第二识别模块：用于根据第一分类结果、概率以及多任务深度学习模型，确定第一分类结果为异常的异常图像块的目标解读结果，目标解读结果用于反映待分析对象的病理图片的病理信息。通过上述方式得到病理图片的病理信息，实现了对病理图片的客观解读，为医生提供了客观的辅助信息，有利于减少不同层次医生之间的诊断差异性，提高诊断正确率与效率。
图10示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图10所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现年龄识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行年龄识别方法。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如图1或图3所述方法的步骤。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如图1或图3所述方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态 RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率 SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种病理图片的解读方法，其特征在于，所述方法包括：
获取待分析对象的病理图片数据，所述病理图片数据至少包括待分析对象的病理图片；
以预设的像素比例对所述病理图片进行图像分割处理，得到分割后的N个图像块；
将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，所述第一分类结果包括异常或正常；
根据所述第一分类结果、概率以及多任务深度学习模型，确定第一分类结果为异常的异常图像块的目标解读结果，所述目标解读结果用于反映所述待分析对象的病理图片的病理信息。
2.根据权利要求1所述方法，其特征在于，所述病理图片数据还包括病理图片对应的切片来源信息，则所述根据所述第一分类结果、概率以及多任务深度学习模型，确定异常图像块的目标解读结果，包括：
利用所述概率以及所述第一分类结果，确定目标异常图像块；
将所述目标异常图像块以及所述目标异常图像块对应的切片来源信息输入所述多任务深度学习模型进行多分类任务处理，得到每个目标异常图像块对应的细胞种类；
根据所述细胞种类、所述目标异常图像块的切片来源信息以及所述多任务深度学习模型，得到所述待分析对象的诊疗建议，其中，所述目标解读结果包括所述异常图像块的细胞种类以及待分析对象的诊疗建议。
3.根据权利要求2所述方法，其特征在于，所述利用所述概率以及所述第一分类结果，确定目标异常图像块，包括：
按照所述概率由高到低的顺序对所有第一分类结果为异常的异常图像块进行排序，得到异常图像序列；
将所述异常图像序列的前X个异常图像块，确定为目标异常图像块，X为正整数。
4.根据权利要求1所述方法，其特征在于，所述获取待分析对象的病理图片数据之前，所述方法还包括：
获取若干第一阳性样本数据集，所述第一阳性样本数据集包括第一阳性病理图片；
以预设的像素比例对所述第一阳性病理图片进行图像分割处理，得到分割后的M个候选阳性图像块；
将所述候选阳性图像块输入至第一深度学习模型，得到所述候选阳性图像块的阴性概率，所述第一深度学习模型基于阴性样本数据集训练得到，所述阴性样本数据集包括阴性样本图像与标注信息的对应关系；
利用所述候选阳性图像块、阴性概率以及预设的阴性概率阈值，确定第一目标阳性样本数据集，所述第一目标阳性样本数据集用于对所述多任务深度学习模型进行训练。
5.根据权利要求4所述方法，其特征在于，所述利用所述候选阳性图像块、阴性概率以及预设的阴性概率阈值，确定目标阳性样本数据集，包括：
当所述候选阳性图像块的阴性概率大于等于所述阴性概率阈值时，确定所述候选阳性图像块为阴性图像块；
当所述候选阳性图像块的阴性概率小于所述阴性概率阈值时，确定所述候选阳性图像块为阳性图像块；
将所述阳性图像块输出至预设终端，以进行人工标注，得到所述阳性图像块的人工标注信息；
利用所述阳性图像块以及所述人工标注信息得到第一目标阳性样本数据集。
6.根据权利要求1所述方法，其特征在于，所述获取待分析对象的病理图片数据之前，所述方法还包括：
获取若干第二阳性样本数据集，所述第二阳性样本数据集包括第二阳性病理图片；
以预设的像素比例对所述第二阳性病理图片进行图像分割处理，得到分割后的Z个待选阳性图像块；
利用第二深度学习模型对所述待选阳性图像块进行细胞形态识别，确定所述待选阳性图像块中的细胞形态数据；
将所述待选阳性图像块以及所述细胞形态数据输出至预设终端，以进行人工复核，得到复核后的真阳性图像块，以及所述真阳性图像块的人工标注信息；
利用所述真阳性图像块，以及所述真阳性图像块的人工标注信息得到第二目标阳性样本数据集，所述第二目标阳性样本数据集用于对所述多任务深度学习模型进行训练。
7.根据权利要求2所述方法，其特征在于，所述病理图片数据还包括待分析对象的病史信息，则所述根据所述细胞种类、所述目标异常图像块的切片来源信息以及所述多任务深度学习模型，得到所述待分析对象的诊疗建议，包括：
对所述细胞种类进行统计分析，确定各种细胞种类的比例数据；
将所述比例数据、细胞种类、目标异常图像块的切片来源信息以及病史信息输入多任务深度学习模型，得到所述待分析对象的初步的诊疗建议；
将所述初步的诊疗建议、比例数据、细胞种类、目标异常图像块、目标异常图像块的切片来源信息以及病史信息均输出至预设终端，以进行人工复核，确定复核后的最终诊疗建议。
8.根据权利要求7所述方法，其特征在于，所述病理图片数据包括胸水病理图片数据，则所述方法包括：
获取待分析对象的胸水病理图片数据，所述病理图片数据至少包括待分析对象的胸水病理图片；
以预设的像素比例对所述胸水病理图片进行图像分割处理，得到分割后的N个图像块；
将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，所述第一分类结果包括异常或正常；
利用所述概率以及所述第一分类结果，确定目标异常图像块；
将所述目标异常图像块以及所述目标异常图像块对应的切片来源信息输入所述多任务深度学习模型进行多分类任务处理，得到每个目标异常图像块对应的细胞种类，所述细胞种类至少包括腺癌、鳞癌或淋巴瘤中的一种或几种；
根据所述细胞种类、所述目标异常图像块的切片来源信息以及所述多任务深度学习模型，得到所述待分析对象的诊疗建议，其中，所述目标解读结果包括所述异常图像块的细胞种类以及待分析对象的诊疗建议，所述诊疗建议包括疾病类型与建议检查方向，所述疾病类型至少包括胃癌、乳腺癌、肺癌以及结直肠癌中的一种或几种，所述建议检查方向至少包括影像学检测或IHC检测中的一种或几种。
9.一种病理图片的解读装置，其特征在于，所述装置包括：
数据获取模块：用于获取待分析对象的病理图片数据，所述病理图片数据至少包括待分析对象的病理图片；
图像分割模块：用于以预设的像素比例对所述病理图片进行图像分割处理，得到分割后的N个图像块；
第一识别模块：用于将N个图像块输入多任务深度学习模型进行二分类任务处理，得到每个图像块的第一分类结果与概率的对应关系，所述第一分类结果包括异常或正常；
第二识别模块：用于根据所述第一分类结果、概率以及多任务深度学习模型，确定第一分类结果为异常的异常图像块的目标解读结果，所述目标解读结果用于反映所述待分析对象的病理图片的病理信息。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
11.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210702205.9A CN117315649A (zh) | 2022-06-20 | 2022-06-20 | 病理图片的解读方法及装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210702205.9A CN117315649A (zh) | 2022-06-20 | 2022-06-20 | 病理图片的解读方法及装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117315649A true CN117315649A (zh) | 2023-12-29 |
Family
ID=89287157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210702205.9A Pending CN117315649A (zh) | 2022-06-20 | 2022-06-20 | 病理图片的解读方法及装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117315649A (zh) |
-
2022
- 2022-06-20 CN CN202210702205.9A patent/CN117315649A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rawat et al. | Deep learned tissue “fingerprints” classify breast cancers by ER/PR/Her2 status from H&E images | |
| Kothari et al. | Pathology imaging informatics for quantitative analysis of whole-slide images | |
| US11995903B2 (en) | Systems and methods for processing electronic images for computational detection methods | |
| CN114072879B (zh) | 用于处理图像以对经处理的用于数字病理的图像进行分类的系统和方法 | |
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| Yoshida et al. | Automated histological classification of whole slide images of colorectal biopsy specimens | |
| CN114207675A (zh) | 用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法 | |
| US11861881B2 (en) | Critical component detection using deep learning and attention | |
| CN114616590A (zh) | 用于为数字病理学处理载玻片图像的系统和方法 | |
| CN111401214B (zh) | 一种基于深度学习的多分辨率集成her2判读方法 | |
| WO2022066725A1 (en) | Training end-to-end weakly supervised networks in a multi-task fashion at the specimen (supra-image) level | |
| CN115210817A (zh) | 用于分析电子图像以进行质量控制的系统和方法 | |
| US20040014165A1 (en) | System and automated and remote histological analysis and new drug assessment | |
| Narayanan et al. | DeepSDCS: Dissecting cancer proliferation heterogeneity in Ki67 digital whole slide images | |
| US20230360208A1 (en) | Training end-to-end weakly supervised networks at the specimen (supra-image) level | |
| CN116978543A (zh) | 人工智能辅助骨髓肿瘤病理诊断装置 | |
| Albuquerque et al. | Quality control in digital pathology: automatic fragment detection and counting | |
| CN117315649A (zh) | 病理图片的解读方法及装置、设备及存储介质 | |
| Grzeszczyk et al. | Segmentation of the veterinary cytological images for fast neoplastic tumors diagnosis | |
| Ben Taieb | Analyzing cancers in digitized histopathology images | |
| CN114170415A (zh) | 基于组织病理图像深度域适应的tmb分类方法及系统 | |
| STRZODA et al. | TUMOR DETECTION ON HE-STAINED HISTOPATHOLOGICAL IMAGES USING DEEP LEARNING METHODS: CHALLENGES AND SOLUTIONS | |
| Rehman et al. | Weakly Supervised Deep Learning-Based Approach in Cancer Region Assessment from Her2-Sish Breast Histopathology Whole Slide Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |