CN116978543A - 人工智能辅助骨髓肿瘤病理诊断装置 - Google Patents
人工智能辅助骨髓肿瘤病理诊断装置 Download PDFInfo
- Publication number
- CN116978543A CN116978543A CN202310760268.4A CN202310760268A CN116978543A CN 116978543 A CN116978543 A CN 116978543A CN 202310760268 A CN202310760268 A CN 202310760268A CN 116978543 A CN116978543 A CN 116978543A
- Authority
- CN
- China
- Prior art keywords
- cell
- bone marrow
- labeling
- tumor
- pathological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 79
- 238000010827 pathological analysis Methods 0.000 title claims abstract description 17
- 230000001575 pathological effect Effects 0.000 claims abstract description 92
- 238000002372 labelling Methods 0.000 claims abstract description 75
- 208000008720 Bone Marrow Neoplasms Diseases 0.000 claims abstract description 56
- 201000006491 bone marrow cancer Diseases 0.000 claims abstract description 56
- 238000003745 diagnosis Methods 0.000 claims abstract description 33
- 230000007170 pathology Effects 0.000 claims abstract description 21
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 19
- 238000004393 prognosis Methods 0.000 claims abstract description 16
- 210000001185 bone marrow Anatomy 0.000 claims abstract description 13
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000001574 biopsy Methods 0.000 claims abstract description 7
- 210000004027 cell Anatomy 0.000 claims description 107
- 230000011218 segmentation Effects 0.000 claims description 69
- 238000012549 training Methods 0.000 claims description 34
- 210000003855 cell nucleus Anatomy 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 22
- 238000012795 verification Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 210000004940 nucleus Anatomy 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 10
- 239000011800 void material Substances 0.000 description 4
- 206010025323 Lymphomas Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 201000003793 Myelodysplastic syndrome Diseases 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 206010000830 Acute leukaemia Diseases 0.000 description 1
- 208000024893 Acute lymphoblastic leukemia Diseases 0.000 description 1
- 208000014697 Acute lymphocytic leukaemia Diseases 0.000 description 1
- 208000031261 Acute myeloid leukaemia Diseases 0.000 description 1
- 208000032467 Aplastic anaemia Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 206010064571 Gene mutation Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 208000033776 Myeloid Acute Leukemia Diseases 0.000 description 1
- 201000007224 Myeloproliferative neoplasm Diseases 0.000 description 1
- 208000021161 Plasma cell disease Diseases 0.000 description 1
- 208000006664 Precursor Cell Lymphoblastic Leukemia-Lymphoma Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000002798 bone marrow cell Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002559 cytogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 208000024200 hematopoietic and lymphoid system neoplasm Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011206 morphological examination Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 208000010626 plasma cell neoplasm Diseases 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了人工智能辅助骨髓肿瘤病理诊断装置，包括：数据筛选模块：对患者进行骨髓活检，收集患者的细胞切片并进行第一次标注，将第一次标注后的细胞切片进行质量筛选；病理分类模块：建立关键预后影响因素标准对细胞切片进行第二次标注，用于辅助完成对细胞切片的骨髓肿瘤亚型进行识别；亚型诊断模块：获取细胞切片的病理图像，通过基于深度特征学习的以图搜图技术，实现对骨髓肿瘤的亚型判断。通过骨髓肿瘤病理诊断装置，提高了骨髓肿瘤诊断的精确度，有利于临床工作的效率。
Description
技术领域
本发明涉及人工智能诊断技术，具体涉及一种人工智能辅助骨髓肿瘤病理诊断装置。
背景技术
目前，国际统一通用的血液肿瘤诊断的模式，包括形态学、免疫学、细胞遗传学和分子遗传学。其中，骨髓细胞图片和骨髓活检是形态学诊断中的重要组成部分，其再诊断血液系统病、动态观察疾病进展变化以及判断预后等方面具有其他实验室检查不可取代的价值，骨髓活检可用于全血细胞减少为临床表现的疾病、转移瘤、骨髓增生异常综合征和急性白血病、浆细胞疾病、淋巴瘤侵犯骨髓、再生障碍性贫血和肿瘤疾病疗效判定及雨后中，尤其在没有确诊的淋巴瘤病例仅依靠骨髓活检首诊时对病理医师极具挑战性。
人工镜检是骨髓形态学检查和骨髓活检的主要方法，检验过程耗时耗力，效率低下，人工判断不同检验者之间可能存在一定的主观误差。近年来，人工智能技术在医学领域迅速发展，将人工智能技术与骨髓形态学诊断相结合，有望在血液系统疾病骨髓形态学AI辅助诊断系统的开发方面取得有益的效果，提高诊断效率与工作效率，减轻临床检验工作压力，更客观描述病变特征。
发明内容
本发明提供人工智能辅助骨髓病例诊断装置，以解决现有技术中存在的上述问题。
人工智能辅助骨髓肿瘤病理诊断装置，包括：
数据筛选模块：对患者进行骨髓活检，收集患者的细胞切片并进行第一次标注，将第一次标注后的细胞切片进行质量筛选；
病理分类模块：建立关键预后影响因素标准对细胞切片进行第二次标注，用于辅助完成对细胞切片的骨髓肿瘤亚型进行识别；
亚型诊断模块：获取细胞切片的病理图像，通过基于深度特征学习的以图搜图技术，实现对骨髓肿瘤的亚型判断。
优选的，所述数据筛选模块，包括：
数据识别单元：构建细胞切片数据库，将临床病理外检工作中已分类完成的肿瘤亚型病理切片进行扫描并放入细胞切片数据库中作为验证集，同时收集患者的细胞切片进行数字化扫描作为训练集；对验证集以及训练集分别进行不同的颜色标注；
特征提取单元：建立肿瘤类型识别模型，根据颜色标注区分验证集以及训练集并输入到肿瘤类型识别模型中，对训练集中的细胞切片进行特征提取，用于将训练集与验证集进行对比辅助得到骨髓肿瘤的亚型。
优选的，所述病理分类模块，包括：
标准设定单元：制定肿瘤类型识别模型对关键预后影响因素进行标注的标注标准，将标注标准输入至肿瘤类型识别模型中，使用人工培训的方式学习标注标准；
参数迭代单元：对肿瘤类型识别模型中的细胞切片进行标注以及特征提取，通过将肿瘤类型识别模型中的参数进行多次迭代，最终确定带有细胞切片标注的肿瘤类型识别模型；
样本测试单元：使用若干样本细胞切片对肿瘤类型识别模型进行批量测试，将符合预设测试精确度范围的肿瘤类型识别模型应用到临床工作中。
优选的，所述参数迭代单元，包括：
标签设定子单元：设定骨髓肿瘤亚型的标注标签，用于肿瘤类型识别模型中对标注标准的限定，标注标签中包括对细胞切片进行判断即是否为骨髓肿瘤，以及对骨髓肿瘤亚型的区分。
特征提取子单元：构建不良预后因素识别模型，用于对患者病情的不良因素进行分析；获取细胞切片的病理图像，提取病理图像中的特征信息，用于分析预后不良组织学特征。
优选的，所述病理分类模块，还包括：
图像提取单元：获取病理图像，构建像素级识别模型，用于通过像素级识别模型中的特征提取器辅助提取病理图像中的特征信息；
数据增强单元：对病理图像进行训练，通过数据增强技术，对像素级识别模型进行泛化，数据增强技术包括翻转、旋转、高斯模糊和颜色扰动的操作；
图像分类单元：获取经过第二次标注的细胞切片，将细胞切片的病理图像中标注内容进行高亮显示作为标注区域，将病理图像中的特征信息作为预测区域，通过计算标注区域和预测区域的交集与并集的比值，判断肿瘤亚型识别的准确率。
优选的，所述图像分类单元，包括：
语义分割子单元：用于获取病理图像并进行语义分割，采用自监督语义分割算法对输入到像素级识别模型中的病理图像进行预分类作为第一次分类；在第一次分类中，由于特征信息种类的不同，将每一种特征信息中相邻的像素分配为与当前特征信息相同的语义标签；
深度学习子单元：利用深度学习的方式对病理图像进行第二次分类，通过重复训练第二次分类的结果，使得语义分割的结果与第一次分类的结果相似度在预设的第一阈值范围内；获取病理图像的第二次分类结果，将语义分割结果中具有相同语义信息的分割图像块进行合并，得到最终的分类结果。
优选的，所述图像分类单元，还包括：
图像标定子单元：对作为样本的病理图像进行人工诊断标定的语义分割，获取人工诊断标定后描述特征信息的像素点集合作为第一像素点集合，同时获取经过像素级识别模型中自监督语义分割算法进行分割后，描述特征信息的像素点集合作为第二像素点集合；
相似度计算子单元：用于对病理图像的语义分割进行评价，获取病理图像中任意两种具有相似性的特征信息，通过计算第一集合像素点与第二集合像素点的豪氏距离；豪氏距离用于评价两个像素点集合之间最不匹配的程度，若语义分割的结果与人工诊断标定一致，则两者豪氏距离小于1。
优选的，所述病理分类模块，还包括：
细胞核分割单元：用于将传输到肿瘤类型识别模型的细胞切片中获取细胞核的掩膜信息；
尺度监督单元：获取掩膜信息，通过将细胞核进行放大处理结合掩膜信息对细胞切片进行骨髓肿瘤亚型预测，将预测结果与经过人工观察得到的已知信息进行对比，并计算损失函数，通过不断训练损失函数中的参数对肿瘤类型识别模型预测过程进行优化；
分割处理单元：构建细胞核的分割网络，在预测过程优化的结果中，当分割网络中的预测参数达到肿瘤类型识别模型预设的第二阈值要求后，将细胞核的分割网络单独运用于肿瘤类型识别模型中进行细胞核分割。
优选的，所述数据识别单元，包括：
数据存储子单元：根据标注标签对所有骨髓肿瘤亚型识别完成的细胞切片进行重命名，每一个细胞切片带有一个唯一编码，将重命名的数据切片存储到细胞切片数据库中，通过查询编码搜索细胞切片数据库中各种骨髓肿瘤亚型的细胞切片的数据信息；
数据更新子单元：用于对细胞切片数据库进行更新，设定细胞切片数据库的更新阈值，细胞切片数据库根据标注标签的不同将不同亚型的骨髓肿瘤归类到不同的子库中，通过检测子库的细胞切片数量是否达到细胞切片数据库预设的第三阈值，判断细胞切片数据库是否需要更新。
优选的，所述亚型诊断模块，包括：
图像匹配单元：构建图像匹配模型，用于将没有确定骨髓肿瘤亚型的病理图像进行图像匹配；图像匹配模型中包含有已分类的各种骨髓肿瘤亚型的预设病理图像，输入待分类的病理图像，通过深度学习的方式将待分类的病理图像与预设病理图像进行以图搜图形式的匹配；
匹配打分单元：获取待分类病理图像与预设病理图像的匹配结果，计算匹配相似度，设置匹配相似度打分阈值，获取匹配结果在相似度打分阈值范围内的预设病理图像；查询细胞切片数据库中的标注标签，根据预设病理图像查询与标注标签对应的骨髓肿瘤亚型，确定待分类病理图像的骨髓肿瘤亚型。
与现有技术相比，本发明具有以下优点：
本发明提供人工智能辅助骨髓肿瘤病理诊断装置，提高了骨髓肿瘤诊断的精确度，有利于临床工作的效率，通过减轻临床检验工作压力，更客观描述病变特征。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中人工智能辅助骨髓肿瘤病理诊断装置的结构模块图；
图2为本发明实施例中人工智能辅助骨髓肿瘤病理诊断装置中对细胞切片中的数据标注与肿瘤类型识别模型的识别过程示意图；
图3为本发明实施例中人工智能辅助骨髓肿瘤病理诊断装置中构建的卷积神经网络结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
参照图1，本发明实施例提供了人工智能辅助骨髓肿瘤病理诊断装置：
数据筛选模块：对患者进行骨髓活检，收集患者的细胞切片并进行第一次标注，将第一次标注后的细胞切片进行质量筛选；
病理分类模块：建立关键预后影响因素标准对细胞切片进行第二次标注，用于辅助完成对细胞切片的骨髓肿瘤亚型进行识别；
亚型诊断模块：获取细胞切片的病理图像，通过基于深度特征学习的以图搜图技术，实现对骨髓肿瘤的亚型判断。
在另一实施例中，所述数据筛选模块，包括：
数据识别单元：构建细胞切片数据库，将临床病理外检工作中已分类完成的细胞切片进行扫描并放入细胞切片数据库中作为验证集，同时收集患者的细胞切片进行数字化扫描作为训练集；对验证集以及训练集分别进行不同的颜色标注；
特征提取单元：建立肿瘤类型识别模型，根据颜色标注区分验证集以及训练集并输入到肿瘤类型识别模型中，对训练集中的细胞切片进行特征提取，用于将训练集与验证集进行对比辅助得到骨髓肿瘤的亚型。
参照图2，在另一实施例中，所述病理分类模块，包括：
标准设定单元：制定肿瘤类型识别模型对关键预后影响因素进行标注的标注标准，将标注标准输入至肿瘤类型识别模型中，使用人工培训的方式学习标注标准；
参数迭代单元：对肿瘤类型识别模型中的细胞切片进行标注以及特征提取，通过将肿瘤类型识别模型中的参数进行多次迭代，最终确定带有细胞切片标注的肿瘤类型识别模型；
样本测试单元：使用若干样本细胞切片对肿瘤类型识别模型进行批量测试，将符合预设测试精确度范围的肿瘤类型识别模型应用到临床工作中。
上述技术方案的工作原理为：本实施例采用的方案是，将对细胞切片中的数据标注与肿瘤类型识别模型的识别过程打造成为一个闭环，建立关键预后影响因素的标注标准后，通过数据标注与肿瘤类型识别模型的训练中进行不断迭代，不断提高肿瘤类型识别模型的准确性。首先对操作骨髓肿瘤病理诊断装置的人员进行线上培训，完成对肿瘤类型识别模型中的数据标注，对肿瘤类型识别模型进行多次迭代，最总确认肿瘤类型识别模型的最终结果，使用若干样本细胞切片对肿瘤类型识别模型进行批量测试以及多中心测试，所得到的测试准确结果在预设的范围内，则最终确定肿瘤类型识别模型进行上线。
上述技术方案的有益效果为：采用本实施例提供的方案，提高肿瘤类型识别模型的识别精度，并且能够有助于智能的完成肿瘤亚型的分类。
在另一实施例中，所述参数迭代单元，包括：
标签设定子单元：设定骨髓肿瘤亚型的标注标签，用于肿瘤类型识别模型中对标注标准的限定，标注标签中包括对细胞切片进行判断即是否为骨髓肿瘤，以及对骨髓肿瘤亚型的区分。
特征提取子单元：构建不良预后因素识别模型，用于对患者病情的不良因素进行分析；获取细胞切片的病理图像，提取病理图像中的特征信息，用于分析预后不良组织学特征。
上述技术方案的工作原理为：本实施例采用的方案是，在标注过程中，采用Ipad与Apple Pencil的标注系统，标注标签包括“骨髓增生异常综合征”、“急性髓系白血病”、“急性淋巴癌细胞白血病”、“骨髓增值性肿瘤”、“浆细胞肿瘤”、“淋巴瘤侵犯骨髓”、“骨髓转移瘤”、“肺肿瘤”、“质量差”和“忽略”。在肿瘤类型识别模型中，将观察过程中的细胞切片带有标注标签的肿瘤类型作为标注标准。建立不良预后因素的识别模型，获取细胞切片的病理图像，使用卷积神经网络挖掘病理图像带有标注的特征信息，通过特征提取获取与标注标签中最符合的一项特征，从而自动完成基因突变或融合的相关图像特征以及设置的预后不良组织学特征。
上述技术方案的有益效果为：采用本实施例提供的方案，通过特征提取使骨髓肿瘤的病理诊断更加进精准。
参照图3，在另一实施例中，所述病理分类模块，还包括：
图像提取单元：获取病理图像，构建像素级识别模型，用于通过像素级识别模型中的特征提取器辅助提取病理图像中的特征信息；
数据增强单元：对病理图像进行训练，通过数据增强技术，对像素级识别模型进行泛化，数据增强技术包括翻转、旋转、高斯模糊和颜色扰动的操作；
图像分类单元：获取经过第二次标注的细胞切片，将细胞切片的病理图像中标注内容进行高亮显示作为标注区域，将病理图像中的特征信息作为预测区域，通过计算标注区域和预测区域的交集与并集的比值，判断肿瘤亚型识别的准确率。
上述技术方案的工作原理为：本实施例采用的方案是，使用ResNet-50作为特征提取来进行像素级识别模型的建立，以DeepLab v3为例，构建卷积神经网络，提取四个不同大小的卷积核，空洞率为2，在池化层进行图像级池化后，分别为得到1×1卷积，3×3卷积(空洞率为6)，3×3卷积(空洞率为12)，3×3卷积(空洞率为18)，最终进行拼接得到1×1以及进行16倍上采样。通过TensorFlow完成像素级识别模型的建立与测试工作，硬件环境搭配为8块NVIDIA GeForce RTX3090的GPU，显存为24GB的服务器，GPU为英特尔至强E5 2620V3，内存为256GB。在训练的过程中，施加数据增强技术手段，包括翻转、旋转、高斯模糊、颜色扰动等，对像素级识别模型进行泛化处理。获取细胞切片中进行标注的地方，在病理图像中进行高亮显示作为标注区域，将病理图像中的特征信息作为预测区域，通过计算标注区域和预测区域的交集与并集的比值，判断肿瘤亚型识别的准确率。
上述技术方案的有益效果为：采用本实施例提供的方案，通过构建卷积层网络，提高病理图像的识别准确率。
在另一实施例中，所述图像分类单元，包括：
语义分割子单元：用于获取病理图像并进行语义分割，采用自监督语义分割算法对输入到像素级识别模型中的病理图像进行预分类作为第一次分类；在第一次分类中，由于特征信息种类的不同，将每一种特征信息中相邻的像素分配为与当前特征信息相同的语义标签；
深度学习子单元：利用深度学习的方式对病理图像进行第二次分类，通过重复训练第二次分类的结果，使得语义分割的结果与第一次分类的结果相似度在预设的第一阈值范围内；获取病理图像的第二次分类结果，将语义分割结果中具有相同语义信息的分割图像块进行合并，得到最终的分类结果。
上述技术方案的工作原理为：本实施例采用的方案是，对病理图像进行语义分割，首先采用无监督语义分割算法对像素级识别模型中输入的病理图像进行预先的第一次分类，在分类中，并根据不同的特征信息，将每一种特征信息中相邻的像素分配与特征信息相同的语义标签；利用深度学习的方式对病理图像进行二次分类，训练第二次分类的结果，使得语义分割的结果无限接近第一次分类的结果。获取病理图像的分类结果，将语义分割结果中具有相同语义信息的分割图像块进行合并，得到最终的分割结果。
上述技术方案的有益效果为：采用本实施例提供的方案，通过自监督的对病理图像的分割算法，有利于对肿瘤类型的区分。
在另一实施例中，所述图像分类单元，还包括：
图像标定子单元：对作为样本的病理图像进行人工诊断标定的语义分割，获取人工诊断标定后描述特征信息的像素点集合作为第一像素点集合，同时获取经过像素级识别模型中自监督语义分割算法进行分割后，描述特征信息的像素点集合作为第二像素点集合；
相似度计算子单元：用于对病理图像的语义分割进行评价，获取病理图像中任意两种具有相似性的特征信息，通过计算第一集合像素点与第二集合像素点的豪氏距离；豪氏距离用于评价两个像素点集合之间最不匹配的程度，若语义分割的结果与人工诊断标定一致，则两者豪氏距离小于1。
上述技术方案的工作原理为：本实施例采用的方案是，对病理图像中任意两种具有相似性的特征信息进行相似性特征评价，在病理图像中，包含有由人工诊断标定的像素点集合以及经过语义分割的像素点集合。
通过豪氏距离的计算对人工诊断标定的像素点集合与像素级识别模型的像素点集合进行比较，对语义分割的标准进行评价。其中，豪氏距离用于评价两个像素点集合之间最不匹配的程度，若使用像素级识别模型进行语义分割的结果与人工诊断标定是完全一致的，则两者豪氏距离小于1，公式如下：
其中，在病理图像的特征信息像素点描绘中，ng表示由人工诊断标定的像素点个数，ns表示由自监督语义分割算法标注的像素点个数，Gi表示人工诊断标定中第i个像素点，Pj表示自监督语义分割算法标注的第j个像素点，P(Gi)表示人工诊断标定语义信息的分割图像块，G(Pj)表示由像素级识别模型标定的语义信息的分割图像块，H表示语义分割的结果，H(Gi,P(Gi))表示由人工诊断标定计算的语义分割结果，H(G(Pj),Pj)表示由像素级识别模型计算的语义分割结果，L则为计算得到的豪氏距离。
上述技术方案的有益效果为：采用本实施例提供的方案，通过计算豪氏距离的方式，使语义分割的结果更加准确。
在另一实施例中，所述病理分类模块，还包括：
细胞核分割单元：用于将传输到肿瘤类型识别模型的细胞切片中获取细胞核的掩膜信息；
尺度监督单元：获取掩膜信息，通过将细胞核进行放大处理结合掩膜信息对细胞切片进行骨髓肿瘤亚型预测，将预测结果与经过人工观察得到的已知信息进行对比，并计算损失函数，通过不断训练损失函数中的参数对肿瘤类型识别模型预测过程进行优化；
分割处理单元：构建细胞核的分割网络，在预测过程优化的结果中，当分割网络中的预测参数达到肿瘤类型识别模型预设的第二阈值要求后，将细胞核的分割网络单独运用于肿瘤类型识别模型中进行细胞核分割。
上述技术方案的工作原理为：本实施例采用的方案是，对细胞切片中的细胞核进行精确定位，通过设计一个基于空洞卷积全卷积的细胞核的分割网络来对细胞切片中的细胞核分割掩膜进行预测。随着空洞卷积层层数的增加，扩张卷积的膨胀系数逐次增加，计算公式如下：
其中，使用稀疏正则化的想法使细胞核的分割网络将更多的注意力放到细胞核上，定义一个百分数n，根据百分数n计算在对细胞核进行批处理过程中最满足分割要求的像素点B表示所有细胞切片的个数，b表示细胞切片的序号，/>表示所有细胞切片中满足要求的像素点的平均数阈值，r表示细胞核的分割网络压缩率，exp为指数函数，x为空洞卷积层数的变量值，w(x)为最终计算得到细胞核的分割网络的激活函数。
上述技术方案的有益效果为：采用本实施例提供的方案，通过设置细胞核的分割网络，使细胞核的分类更加准确。
在另一实施例中，所述数据识别单元，包括：
数据存储子单元：根据标注标签对所有骨髓肿瘤亚型识别完成的细胞切片进行重命名，每一个细胞切片带有一个唯一编码，将重命名的数据切片存储到细胞切片数据库中，通过查询编码搜索细胞切片数据库中各种骨髓肿瘤亚型的细胞切片的数据信息；
数据更新子单元：用于对细胞切片数据库进行更新，设定细胞切片数据库的更新阈值，细胞切片数据库根据标注标签的不同将不同亚型的骨髓肿瘤归类到不同的子库中，通过检测子库的细胞切片数量是否达到细胞切片数据库预设的第三阈值，判断细胞切片数据库是否需要更新。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对细胞切片数据库的存储以及更新，使细胞切片更容易被区分。
在另一实施例中，所述亚型诊断模块，包括：
图像匹配单元：构建图像匹配模型，用于将没有确定骨髓肿瘤亚型的病理图像进行图像匹配；图像匹配模型中包含有已分类的各种骨髓肿瘤亚型的预设病理图像，输入待分类的病理图像，通过深度学习的方式将待分类的病理图像与预设病理图像进行以图搜图形式的匹配；
匹配打分单元：获取待分类病理图像与预设病理图像的匹配结果，计算匹配相似度，设置匹配相似度打分阈值，获取匹配结果在相似度打分阈值范围内的预设病理图像；查询细胞切片数据库中的标注标签，根据预设病理图像查询与标注标签对应的骨髓肿瘤亚型，确定待分类病理图像的骨髓肿瘤亚型。
上述技术方案的有益效果为：采用本实施例提供的方案，通过以图搜图的匹配方式，并将匹配结果进行打分，完成骨髓肿瘤亚型的智能匹配，使得肿瘤的分类方式更加精准。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.人工智能辅助骨髓肿瘤病理诊断装置，其特征在于，包括：
数据筛选模块：对患者进行骨髓活检，收集患者的细胞切片并进行第一次标注，将第一次标注后的细胞切片进行质量筛选；
病理分类模块：建立关键预后影响因素标准对细胞切片进行第二次标注，用于辅助完成对细胞切片的骨髓肿瘤亚型进行识别；
亚型诊断模块：获取细胞切片的病理图像，通过基于深度特征学习的以图搜图技术，实现对骨髓肿瘤的亚型判断。
2.根据权利要求1所述的人工智能辅助骨髓肿瘤病理诊断装置，其特征在于，所述数据筛选模块，包括：
数据识别单元：构建细胞切片数据库，将临床病理外检工作中已分类完成的细胞切片进行扫描并放入细胞切片数据库中作为验证集，同时收集患者的细胞切片进行数字化扫描作为训练集；对验证集以及训练集分别进行不同的颜色标注；
特征提取单元：建立肿瘤类型识别模型，根据颜色标注区分验证集以及训练集并输入到肿瘤类型识别模型中，对训练集中的细胞切片进行特征提取，用于将训练集与验证集进行对比辅助得到骨髓肿瘤的亚型。
3.根据权利要求1所述的人工智能辅助骨髓肿瘤病理诊断装置，其特征在于，所述病理分类模块，包括：
标准设定单元：制定肿瘤类型识别模型对关键预后影响因素进行标注的标注标准，将标注标准输入至肿瘤类型识别模型中，使用人工培训的方式学习标注标准；
参数迭代单元：对肿瘤类型识别模型中的细胞切片进行标注以及特征提取，通过将肿瘤类型识别模型中的参数进行多次迭代，最终确定带有细胞切片标注的肿瘤类型识别模型；
样本测试单元：使用若干样本细胞切片对肿瘤类型识别模型进行批量测试，将符合预设测试精确度范围的肿瘤类型识别模型应用到临床工作中。
4.根据权利要求3所述的人工智能辅助骨髓肿瘤病理诊断装置，其特征在于，所述参数迭代单元，包括：
标签设定子单元：设定骨髓肿瘤亚型的标注标签，用于肿瘤类型识别模型中对标注标准的限定，标注标签中包括对细胞切片进行判断即是否为骨髓肿瘤，以及对骨髓肿瘤亚型的区分；
特征提取子单元：构建不良预后因素识别模型，用于对患者病情的不良因素进行分析；获取细胞切片的病理图像，提取病理图像中的特征信息，用于分析预后不良组织学特征。
5.根据权利要求1所述的人工智能辅助骨髓肿瘤病理诊断装置，其特征在于，所述病理分类模块，还包括：
图像提取单元：获取病理图像，构建像素级识别模型，用于通过像素级识别模型中的特征提取器辅助提取病理图像中的特征信息；
数据增强单元：对病理图像进行训练，通过数据增强技术，对像素级识别模型进行泛化，数据增强技术包括翻转、旋转、高斯模糊和颜色扰动的操作；
图像分类单元：获取经过第二次标注的细胞切片，将细胞切片的病理图像中标注内容进行高亮显示作为标注区域，将病理图像中的特征信息作为预测区域，通过计算标注区域和预测区域的交集与并集的比值，判断肿瘤亚型识别的准确率。
6.根据权利要求5所述的人工智能辅助骨髓肿瘤病理诊断装置，其特征在于，所述图像分类单元，包括：
语义分割子单元：用于获取病理图像并进行语义分割，采用自监督语义分割算法对输入到像素级识别模型中的病理图像进行预分类作为第一次分类；在第一次分类中，由于特征信息种类的不同，将每一种特征信息中相邻的像素分配为与当前特征信息相同的语义标签；
深度学习子单元：利用深度学习的方式对病理图像进行第二次分类，通过重复训练第二次分类的结果，使得语义分割的结果与第一次分类的结果相似度在预设的第一阈值范围内；获取病理图像的第二次分类结果，将语义分割结果中具有相同语义信息的分割图像块进行合并，得到最终的分类结果。
7.根据权利要求5所述的人工智能辅助骨髓肿瘤病理诊断装置，其特征在于，所述图像分类单元，还包括：
图像标定子单元：对作为样本的病理图像进行人工诊断标定的语义分割，获取人工诊断标定后描述特征信息的像素点集合作为第一像素点集合，同时获取经过像素级识别模型中自监督语义分割算法进行分割后，描述特征信息的像素点集合作为第二像素点集合；
相似度计算子单元：用于对病理图像的语义分割进行评价，获取病理图像中任意两种具有相似性的特征信息，通过计算第一集合像素点与第二集合像素点的豪氏距离；豪氏距离用于评价两个像素点集合之间最不匹配的程度，若语义分割的结果与人工诊断标定一致，则两者豪氏距离小于1。
8.根据权利要求1所述的人工智能辅助骨髓肿瘤病理诊断装置，其特征在于，所述病理分类模块，还包括：
细胞核分割单元：用于将传输到肿瘤类型识别模型的细胞切片中获取细胞核的掩膜信息；
尺度监督单元：获取掩膜信息，通过将细胞核进行放大处理结合掩膜信息对细胞切片进行骨髓肿瘤亚型预测，将预测结果与经过人工观察得到的已知信息进行对比，并计算损失函数，通过不断训练损失函数中的参数对肿瘤类型识别模型预测过程进行优化；
分割处理单元：构建细胞核的分割网络，在预测过程优化的结果中，当分割网络中的预测参数达到肿瘤类型识别模型预设的第二阈值要求后，将细胞核的分割网络单独运用于肿瘤类型识别模型中进行细胞核分割。
9.根据权利要求2所述的人工智能辅助骨髓肿瘤病理诊断装置，其特征在于，所述数据识别单元，包括：
数据存储子单元：根据标注标签对所有骨髓肿瘤亚型识别完成的细胞切片进行重命名，每一个细胞切片带有一个唯一编码，将重命名的数据切片存储到细胞切片数据库中，通过查询编码搜索细胞切片数据库中各种骨髓肿瘤亚型的细胞切片的数据信息；
数据更新子单元：用于对细胞切片数据库进行更新，设定细胞切片数据库的更新阈值，细胞切片数据库根据标注标签的不同将不同亚型的骨髓肿瘤归类到不同的子库中，通过检测子库的细胞切片数量是否达到细胞切片数据库预设的第三阈值，判断细胞切片数据库是否需要更新。
10.根据权利要求1所述的人工智能辅助骨髓肿瘤病理诊断装置，其特征在于，所述亚型诊断模块，包括：
图像匹配单元：构建图像匹配模型，用于将没有确定骨髓肿瘤亚型的病理图像进行图像匹配；图像匹配模型中包含有已分类的各种骨髓肿瘤亚型的预设病理图像，输入待分类的病理图像，通过深度学习的方式将待分类的病理图像与预设病理图像进行以图搜图形式的匹配；
匹配打分单元：获取待分类病理图像与预设病理图像的匹配结果，计算匹配相似度，设置匹配相似度打分阈值，获取匹配结果在相似度打分阈值范围内的预设病理图像；查询细胞切片数据库中的标注标签，根据预设病理图像查询与标注标签对应的骨髓肿瘤亚型，确定待分类病理图像的骨髓肿瘤亚型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310760268.4A CN116978543A (zh) | 2023-06-26 | 2023-06-26 | 人工智能辅助骨髓肿瘤病理诊断装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310760268.4A CN116978543A (zh) | 2023-06-26 | 2023-06-26 | 人工智能辅助骨髓肿瘤病理诊断装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116978543A true CN116978543A (zh) | 2023-10-31 |
Family
ID=88480642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310760268.4A Pending CN116978543A (zh) | 2023-06-26 | 2023-06-26 | 人工智能辅助骨髓肿瘤病理诊断装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116978543A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635951A (zh) * | 2024-01-24 | 2024-03-01 | 苏州大学附属第二医院 | 基于x线图像自动识别髋部骨质疏松的判定方法及系统 |
| CN117894482A (zh) * | 2024-03-14 | 2024-04-16 | 北方健康医疗大数据科技有限公司 | 一种医学肿瘤的编码方法、系统、电子设备及存储介质 |
-
2023
- 2023-06-26 CN CN202310760268.4A patent/CN116978543A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635951A (zh) * | 2024-01-24 | 2024-03-01 | 苏州大学附属第二医院 | 基于x线图像自动识别髋部骨质疏松的判定方法及系统 |
| CN117635951B (zh) * | 2024-01-24 | 2024-05-03 | 苏州大学附属第二医院 | 基于x线图像自动识别髋部骨质疏松的判定方法及系统 |
| CN117894482A (zh) * | 2024-03-14 | 2024-04-16 | 北方健康医疗大数据科技有限公司 | 一种医学肿瘤的编码方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Silva-Rodríguez et al. | Going deeper through the Gleason scoring scale: An automatic end-to-end system for histology prostate grading and cribriform pattern detection | |
| Das et al. | Computer-aided histopathological image analysis techniques for automated nuclear atypia scoring of breast cancer: a review | |
| CN105550651B (zh) | 一种数字病理切片全景图像自动分析方法及系统 | |
| CN110866893B (zh) | 基于病理图像的tmb分类方法、系统及tmb分析装置 | |
| CN111488921B (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| Tosun et al. | Object-oriented texture analysis for the unsupervised segmentation of biopsy images for cancer detection | |
| Wan et al. | Robust nuclei segmentation in histopathology using ASPPU-Net and boundary refinement | |
| CN110021425B (zh) | 一种比较检测器及其构建方法与宫颈癌细胞检测方法 | |
| CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
| CN112257704A (zh) | 基于深度学习检测模型子宫颈液基细胞数字图像分类方法 | |
| CN116978543A (zh) | 人工智能辅助骨髓肿瘤病理诊断装置 | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| CN111402267B (zh) | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 | |
| Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
| Jia et al. | Multi-layer segmentation framework for cell nuclei using improved GVF Snake model, Watershed, and ellipse fitting | |
| He et al. | Local and global Gaussian mixture models for hematoxylin and eosin stained histology image segmentation | |
| Cao et al. | An automatic breast cancer grading method in histopathological images based on pixel-, object-, and semantic-level features | |
| Salvi et al. | Automatic discrimination of neoplastic epithelium and stromal response in breast carcinoma | |
| US20040014165A1 (en) | System and automated and remote histological analysis and new drug assessment | |
| Al-Thelaya et al. | Applications of discriminative and deep learning feature extraction methods for whole slide image analysis: A survey | |
| CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
| CN116664932A (zh) | 一种基于主动学习的结直肠癌病理组织图像分类方法 | |
| Kim et al. | Nucleus segmentation and recognition of uterine cervical pap-smears | |
| CN113870194B (zh) | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 | |
| Abrol et al. | An automated segmentation of leukocytes using modified watershed algorithm on peripheral blood smear images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |