CN113241154B - 一种人工智能血液涂片细胞标注系统及方法 - Google Patents
一种人工智能血液涂片细胞标注系统及方法 Download PDFInfo
- Publication number
- CN113241154B CN113241154B CN202011610484.3A CN202011610484A CN113241154B CN 113241154 B CN113241154 B CN 113241154B CN 202011610484 A CN202011610484 A CN 202011610484A CN 113241154 B CN113241154 B CN 113241154B
- Authority
- CN
- China
- Prior art keywords
- cell
- module
- image
- labeling
- statistics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 106
- 210000004369 blood Anatomy 0.000 title claims abstract description 37
- 239000008280 blood Substances 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000013473 artificial intelligence Methods 0.000 title claims description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 230000007170 pathology Effects 0.000 claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 201000010099 disease Diseases 0.000 claims abstract description 15
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 210000004027 cell Anatomy 0.000 claims description 159
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 210000000601 blood cell Anatomy 0.000 claims description 6
- 210000002798 bone marrow cell Anatomy 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 210000001616 monocyte Anatomy 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000010186 staining Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 description 14
- 230000001575 pathological effect Effects 0.000 description 9
- 238000002546 full scan Methods 0.000 description 7
- 230000003321 amplification Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明涉及医疗辅助诊断技术领域，公开了一种人工智能血液涂片细胞标注系统及方法，包括观测单元、标注单元、分析分类单元和中央控制单元；观测单元包括显微镜、CCD相机、显微控制模块；标注单元包括显示模块和标注操作模块，标注操作模块包括标注线增加模块和标准线删除模块；分析分类单元包括细胞分布统计模板、细胞数量统计模块、紫色细胞统计模块、橙色细胞统计模块、巨大细胞统计模块、细胞团分析模块、良性细胞统计模块和异常细胞统计模块。本发明能够自动的对显微镜的倍数进行调节，并在设定的倍数周边找到同一视野图像中最清晰的一张，并对图像中的细胞进行标注，良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统。
Description
技术领域
本发明涉及医疗辅助诊断技术领域，尤其涉及一种人工智能血液涂片细胞标注系统及方法。
背景技术
近年来，人工智能技术与医疗健康领域的融合不断加深，随着人工智能领域的语音交互、计算机视觉和认知计算等技术的逐渐成熟，人工智能的应用场景越发丰富，人工智能技术也逐渐成为影响医疗行业发展，提升医疗服务水平的重要因素。其应用技术主要包括：语音录入病历、医疗影像辅助诊断、药物研发、医疗机器人、个人健康大数据的智能分析等。
目前，虽然人工智能技术在医疗图像处理的应用取得一定的成效，但是其远远未达到应用成熟的阶段。相比于X光技术和CT技术等医疗成像技术，人工智能技术在病理图像中进行辅助诊断面临着更大的挑战。目前，人工智能技术用于医疗图像进行人工智能诊断主要包括应用于普通医疗图像或者病理图像的人工智能辅助诊断；其中，应用于普通医疗图像的人工智能辅助诊断主要是针对CT图像、磁共振图像或者超声波图像等这类尺寸较小的图像，通过人工智能技术能够在单机上一次性完成对全图的分析，并识别出图像中存在的可能病变区域，以辅助医生做出进一步的诊断，但是这种方式只能应用于普通医疗图像，其对应的分析模型无法迁移应用到病理图像的诊断；而应用于病理图像的人工智能辅助诊断通常是配合数字病理扫描仪等专门的病理诊断分析设备，其将病理图像进行数字化处理后上传至病理诊断分析设备中，再在本地完成对病理图像的分析，以辅助医生做出进一步的诊断，但是这种方式只适用于普通分辨率的病理图像，其无法处理具有超高分辨率的病理全扫描图像。
为此，申请号为CN201910081438.X的专利公开了一种人工智能病理标注系统，该人工智能病理标注系统虽然能够同时解决多层级、大尺寸和超高分辨率的全扫描病理图像的读取问题和标注问题，其能够实现对全扫描病理图像的快速存储和读取操作，使得对全扫描病理图像的读取速度并不再局限于系统的硬件设备条件，并且该系统还采用较为人性化和便捷的图像标注工具，其能够辅助医生在全扫描病理图像上方便快速地进行疑似病变区域的标注，同时还能对经过标注修改的全扫描病理图像进行实时存储，从而改善人工智能图像分析技术辅助医生做出诊断结果的效率和准确性；但是该方案还存在以下问题：该系统只是基于全扫描病理图像的病理标注，并不能对血液涂片进行不同倍数下的观测和标注，不能自动的对显微镜的倍数进行调节，并在设定的倍数周边找到同一视野图像中最清晰的一张，并对图像中的细胞进行标注，也不能自动的将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统。
发明内容
有鉴于此，本发明的目的是提供一种人工智能血液涂片细胞标注系统及方法，能够自动的对显微镜的倍数进行调节，并在设定的倍数周边找到同一视野图像中最清晰的一张，并对图像中的细胞进行标注，良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统。
本发明通过以下技术手段解决上述技术问题：
一种人工智能血液涂片细胞标注系统，包括用于对血液涂片进行观测的观测单元、用于对细胞进行标注的标注单元、用于对细胞进行分析分类的分析分类单元和用于控制细胞标注系统自动运行的中央控制单元，所述中央控制单元与观测单元、标注单元和分析分类单元通讯连接；
所述观测单元包括显微镜、CCD相机、用于控制显微镜实现自动对焦的显微控制模块，所述显微控制模块与显微镜和CCD相机通讯连接；
所述标注单元包括显示模块和用于在显示模块上实施标注的标注操作模块，所述标注操作模块包括标注线增加模块和标准线删除模块；
所述分析分类单元包括细胞分布统计模板、细胞数量统计模块、紫色细胞统计模块、橙色细胞统计模块、巨大细胞统计模块、细胞团分析模块、良性细胞统计模块和异常细胞统计模块。
进一步，所述显微控制模块包括对显微镜需要观测倍数进行观测前进行设置的倍数设置模块、对显微镜倍数根据倍数设置模块设置的倍数进行自动调节的倍数自动调节模块、对当前倍数下的图像清晰度进行评价并找出最清晰图像的图像清晰度评价模块和将最清晰图像提取出来的图像提取模块。在进行显微观测时，一般会观测不同放大倍数状态下的细胞情况，此时需要对显微镜的放大倍数进行调节，而自动调节模块可根据操作者事先在倍数设置模块上设置的放大倍数，对显微镜的放大倍数进行自动调节，当显微控制模块的图像清晰度评价模块经分析找到在设置倍数下的最清晰图像时，图像提取模块对图像进行提取，供操作者下一步的标注操作。
进一步，所述标注单元还包括进行标注后图进行储存的存储模块，在实施标注操作后，存储模块对观测单元多倍数下的图像每次进行相应的标注线增加或者删除处理后的标注线进行实时存储。储存模块可以对实施标注操作后的图像进行储存，方便以后随时对已标注的图像进行调取。
进一步，所述标注单元还包括模拟训练模块，所述模拟训练模块包括标准标注模块和人工辅助修正模块；在实施所述标注操作时还基于弱监督模型和分割模型来对标注的数据进行模型训练；所述模型训练具体包括对每一所述图像进行标注处理后，再对所述标准标注处理得到的标注数据进行人工辅助修正标注处理，随后将所述人工辅助修正标注处理得到的修正标注数据添加至原有的训练集中，以此对模型进行优化训练以得到一新的模型，随后对所述新的模型依次进行关于上述机器标注处理、人工辅助修正标注处理和修正标注数据添加的重复迭代操作，从而实现所述模型的参数最优化。标注单元实施的标注操作实际上为属于人工智能的辅助标注，经过该人工智能的辅助标注能够不断地训练数据集合进行更新，从而使该模型能够获得最新训练数据的训练以实现性能的最优化，此外，该模型的训练采用迭代训练优化的方式，这样能够在训练模型的过程中及时发现模型存在问题，并且是训练数据集合的更新积累更加具有针对性。
进一步，还包括登录验证单元，所述登录验证单元与中央控制系统通讯连接，所述登录验证单元用于对需要登录进入所述系统的用户进行身份验证操作。登录验证单元可以对登录者的身份进行验证，只有系统认证用户才能进行操作。
一种人工智能血液涂片细胞标注系统的标注方法，其特征在于：包括以下步骤，
A1、对血液进行瑞姬染色后制成血液涂片，置于显微镜下；
A2、在显微镜9倍下，显微镜对焦，选择细胞数量最多的若干张图像，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色细胞统计和橙色细胞统计，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统；
A3、在显微镜10-39倍下，显微镜对焦，选择细胞数量最多的若干张图像，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色细胞统计、橙色细胞统计、巨大细胞统计和细胞团分析，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统；
A4、在显微镜40-99倍下，显微镜对焦，选择细胞数量最多的若干张图像，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色单核细胞统计、紫色多核细胞统计、巨大细胞统计和细胞团分析，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统；
A5、在显微镜100倍下，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色单核细胞统计、紫色多核细胞统计、巨大细胞统计和细胞团分析，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统。
进一步，所述选择细胞数量最多的若干张图像中计算图像中骨髓细胞总数的方法为，获取图像，进行预处理、双边滤波和边缘检测；双边滤波后的灰度图和边缘检测后的边缘图分割为若干个灰度小图和边缘小图；对每个小图进行扫描，根据边缘点位置的最大灰度值和最小灰度值计算出每张小图的阈值，根据阈值对每张小图进行扫描，高于阈值的区域为血液细胞图像区域，将高于阀值的像素点置为255，其他置为0，输出边缘图，检测边缘图中的连续区域，根据血液细胞大小的均值在当前规格图片上的像素大小剔除过大或过小连续区域，统计剩下的连续区域数量，即为图像中骨髓细胞总数。通过在倍数区间，识别出细胞数量最多的图像，然后再识别图像最清晰的图像，这样可以使得每次每标注的细胞的数量是最多，可以避免某些细胞因为在倍数较小时无法标注，在倍数较大时，无法显示的问题。
进一步，所述图像清晰度评价模块的图像清晰度评价方法包括以下步骤：
B1、求取图像的梯度，在梯度图像中选取大小为1×5的窗口,分别在0°，45°，90°，135°的四个方向上滑动,求得窗口内5个梯度值总和,并计算每个像素点在0°，45°，90°，135°的4个方向上的值，然后取最大值；
B2、在具有最大梯度的位置沿边缘法向取 7个点 ,记其灰度值为fi,i= 0,1，2,3,4,5,6,并求得最大灰度与最小灰度的差值Fmax；
B3、在步骤B2中取的7个点间取6个梯度di,i=0,1,2,3,4,5,设F为某一固定阈值，若Fmax≥F ,则存在边缘,否则不存在边缘；
B4、当有边缘存在时,取6个梯度中位于中间的4个di,i=1,2,3，4 ,找到最大值dmax=max(d1,d2,d3,d4)；
B5、取连续3个梯度和的最大值d3max=max[(d1+d2+d3),(d2+d3+d4)],并令 m1=dmax/2Fmax，m3=d3max/2Fmax；
B6、图像的清晰度与m1，m3成正比，当m1,m3分别大于各自固定阈值，则图像较清晰；
B7、比较m1值 ,找到m1值最大和次大的两张图像 ,再比较这两张图像对应的m3值大小,m3值大的图像最清晰。
进一步，所述步骤A1中，求取图像的梯度公示为：
d(x，y)={[f(x,y)-f(x+2,y)]2+[f(x,y)-f(x,y+2)]2}½
式中:d (x,y)表示图像在点(x,y)处的梯度；f(x,y)表示图像在点(x,y)处的灰度值。
进一步，所述步骤A1中计算每个像素点在0°，45°，90°，135°的4 个方向上的值的公式为：
S0°=d(x-2,y)+d(x-1,y)+d(x,y)+d(x+1,y)+d(x+2,y),
S45°=d(x-2,y+2)+d(x-1,y+1)+d(x,y)+d(x+1,y-1)+d(x+2,y-2),
S90°=d(x,y-2)+d(x,y-1)+d(x,y)+d(x,y+1)+d(x,y+2),
S135°=d(x-2,y-2)+d(x-1,y-1)+d(x,y+2)+d(x+1,y+1)+d(x+2,y+2)。
本发明的有益效果：
1、本发明的人工智能血液涂片细胞标注系统可对血液涂片进行观测、标注和分析分类，在对血液涂片进行显微观测时，显微控制模块可以先通过自动调节模块根据操作者事先在倍数设置模块上设置的放大倍数，对显微镜的放大倍数进行自动调节，然后显微控制模块的图像清晰度评价模块经分析找到在设置倍数下的最清晰图像时，图像提取模块对图像进行提取，供操作者下一步的标注操作。
2、本发明在进行图像标注时，标注单元实施的标注操作实际上为属于人工智能的辅助标注，经过该人工智能的辅助标注能够不断地训练数据集合进行更新，从而使该模型能够获得最新训练数据的训练以实现性能的最优化，此外，该模型的训练采用迭代训练优化的方式，这样能够在训练模型的过程中及时发现模型存在问题，并且是训练数据集合的更新积累更加具有针对性。
附图说明
图1是本发明一种人工智能血液涂片细胞标注系统的示意图；
图2是本发明中图像清晰度评价模块的图像清晰度评价方法的流程图。
具体实施方式
以下将结合附图对本发明进行详细说明：
如图1-2所示：
一种人工智能血液涂片细胞标注系统，图图1所示，包括用于对血液涂片进行观测的观测单元、用于对细胞进行标注的标注单元、用于对细胞进行分析分类的分析分类单元、登录验证单元，登录验证单元用于对需要登录进入系统的用户进行身份验证操作、用于控制细胞标注系统自动运行的中央控制单元，中央控制单元与观测单元、标注单元、登录单元和分析分类单元通讯连接。
观测单元包括显微镜、CCD相机、用于控制显微镜实现自动对焦的显微控制模块，显微控制模块与显微镜和CCD相机通讯连接；显微控制模块包括对显微镜需要观测倍数进行观测前进行设置的倍数设置模块、对显微镜倍数根据倍数设置模块设置的倍数进行自动调节的倍数自动调节模块、对当前倍数下的图像清晰度进行评价并找出最清晰图像的图像清晰度评价模块和将最清晰图像提取出来的图像提取模块。在进行显微观测时，一般会观测不同放大倍数状态下的细胞情况，此时需要对显微镜的放大倍数进行调节，而自动调节模块可根据操作者事先在倍数设置模块上设置的放大倍数，对显微镜的放大倍数进行自动调节，当显微控制模块的图像清晰度评价模块经分析找到在设置倍数下的最清晰图像时，图像提取模块对图像进行提取，供操作者下一步的标注操作。
标注单元包括显示模块和用于在显示模块上实施标注的标注操作模块，标注操作模块包括标注线增加模块和标准线删除模块；标注单元还包括进行标注后图进行储存的存储模块，在实施标注操作后，存储模块对观测单元多倍数下的图像每次进行相应的标注线增加或者删除处理后的标注线进行实时存储。储存模块可以对实施标注操作后的图像进行储存，方便以后随时对已标注的图像进行调取。标注单元还包括模拟训练模块，模拟训练模块包括标准标注模块和人工辅助修正模块；在实施标注操作时还基于弱监督模型和分割模型来对标注的数据进行模型训练；模型训练具体包括对每一图像进行标注处理后，再对标准标注处理得到的标注数据进行人工辅助修正标注处理，随后将人工辅助修正标注处理得到的修正标注数据添加至原有的训练集中，以此对模型进行优化训练以得到一新的模型，随后对新的模型依次进行关于上述机器标注处理、人工辅助修正标注处理和修正标注数据添加的重复迭代操作，从而实现模型的参数最优化。标注单元实施的标注操作实际上为属于人工智能的辅助标注，经过该人工智能的辅助标注能够不断地训练数据集合进行更新，从而使该模型能够获得最新训练数据的训练以实现性能的最优化，此外，该模型的训练采用迭代训练优化的方式，这样能够在训练模型的过程中及时发现模型存在问题，并且是训练数据集合的更新积累更加具有针对性。
分析分类单元包括细胞分布统计模板、细胞数量统计模块、紫色细胞统计模块、橙色细胞统计模块、巨大细胞统计模块、细胞团分析模块、良性细胞统计模块和异常细胞统计模块。
一种人工智能血液涂片细胞标注系统的标注方法，如图2所示，包括以下步骤，
A1、对血液进行瑞姬染色后制成血液涂片，置于显微镜下；
A2、在显微镜9倍下，显微镜对焦，选择细胞数量最多的若干张图像，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色细胞统计和橙色细胞统计，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统；
A3、在显微镜10-39倍下，显微镜对焦，选择细胞数量最多的若干张图像，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色细胞统计、橙色细胞统计、巨大细胞统计和细胞团分析，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统；
A4、在显微镜40-99倍下，显微镜对焦，选择细胞数量最多的若干张图像，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色单核细胞统计、紫色多核细胞统计、巨大细胞统计和细胞团分析，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统；
A5、在显微镜100倍下，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色单核细胞统计、紫色多核细胞统计、巨大细胞统计和细胞团分析，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统。
其中A1-A4中选择细胞数量最多的若干张图像中计算图像中骨髓细胞总数的方法为，获取图像，进行预处理、双边滤波和边缘检测；双边滤波后的灰度图和边缘检测后的边缘图分割为若干个灰度小图和边缘小图；对每个小图进行扫描，根据边缘点位置的最大灰度值和最小灰度值计算出每张小图的阈值，根据阈值对每张小图进行扫描，高于阈值的区域为血液细胞图像区域，将高于阀值的像素点置为255，其他置为0，输出边缘图，检测边缘图中的连续区域，根据血液细胞大小的均值在当前规格图片上的像素大小剔除过大或过小连续区域，统计剩下的连续区域数量，即为图像中骨髓细胞总数。
所述图像清晰度评价模块的图像清晰度评价方法包括以下步骤：
B1、求取图像的梯度，在梯度图像中选取大小为1×5的窗口,分别在0°，45°，90°，135°的四个方向上滑动,求得窗口内5个梯度值总和,并计算每个像素点在0°，45°，90°，135°的4个方向上的值，然后取最大值；
B2、在具有最大梯度的位置沿边缘法向取 7个点 ,记其灰度值为fi,i= 0,1，2,3,4,5,6,并求得最大灰度与最小灰度的差值Fmax；
B3、在步骤B2中取的7个点间取6个梯度di,i=0,1,2,3,4,5,设F为某一固定阈值，若Fmax≥F ,则存在边缘,否则不存在边缘；
B4、当有边缘存在时,取6个梯度中位于中间的4个di,i=1,2,3，4 ,找到最大值dmax=max(d1,d2,d3,d4)；
B5、取连续3个梯度和的最大值d3max=max[(d1+d2+d3),(d2+d3+d4)],并令 m1=dmax/2Fmax，m3=d3max/2Fmax；
B6、图像的清晰度与m1，m3成正比，当m1,m3分别大于各自固定阈值，则图像较清晰；
B7、比较m1值 ,找到m1值最大和次大的两张图像 ,再比较这两张图像对应的m3值大小,m3值大的图像最清晰。
所述步骤A1中，求取图像的梯度公示为：
d(x，y)={[f(x,y)-f(x+2,y)]2+[f(x,y)-f(x,y+2)]2}½
式中:d (x,y)表示图像在点(x,y)处的梯度；f(x,y)表示图像在点(x,y)处的灰度值。
所述步骤A1中计算每个像素点在0°，45°，90°，135°的4 个方向上的值的公式为：
S0°=d(x-2,y)+d(x-1,y)+d(x,y)+d(x+1,y)+d(x+2,y),
S45°=d(x-2,y+2)+d(x-1,y+1)+d(x,y)+d(x+1,y-1)+d(x+2,y-2),
S90°=d(x,y-2)+d(x,y-1)+d(x,y)+d(x,y+1)+d(x,y+2),
S135°=d(x-2,y-2)+d(x-1,y-1)+d(x,y+2)+d(x+1,y+1)+d(x+2,y+2)。
本发明的使用过程如下：
在对血液涂片进行显微观测时，显微控制模块可以先通过自动调节模块根据操作者事先在倍数设置模块上设置的放大倍数，对显微镜的放大倍数进行自动调节，然后显微控制模块的图像清晰度评价模块经分析找到在设置倍数下的最清晰图像时，图像提取模块对图像进行提取，供操作者下一步的标注操作。
在进行图像标注时，标注单元实施的标注操作实际上为属于人工智能的辅助标注，经过该人工智能的辅助标注能够不断地训练数据集合进行更新，从而使该模型能够获得最新训练数据的训练以实现性能的最优化，此外，该模型的训练采用迭代训练优化的方式，这样能够在训练模型的过程中及时发现模型存在问题，并且是训练数据集合的更新积累更加具有针对性。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。
Claims (9)
1.一种人工智能血液涂片细胞标注系统，其特征在于：包括用于对血液涂片进行观测的观测单元、用于对细胞进行标注的标注单元、用于对细胞进行分析分类的分析分类单元和用于控制细胞标注系统自动运行的中央控制单元，所述中央控制单元与观测单元、标注单元和分析分类单元通讯连接；
所述观测单元包括显微镜、CCD相机、用于控制显微镜实现自动对焦的显微控制模块，所述显微控制模块与显微镜和CCD相机通讯连接；
所述标注单元包括显示模块和用于在显示模块上实施标注的标注操作模块，所述标注操作模块包括标注线增加模块和标准线删除模块；
所述分析分类单元包括细胞分布统计模板、细胞数量统计模块、紫色细胞统计模块、橙色细胞统计模块、巨大细胞统计模块、细胞团分析模块、良性细胞统计模块和异常细胞统计模块；所述显微控制模块包括对显微镜预设倍数进行设置的倍数设置模块、实现预设倍数的倍数自动调节模块、以及预设倍数下图像清晰度的评价模块、图像提取模块；所述倍数设置模块的倍数包括9倍、10-39倍、40-99倍和100倍。
2.根据权利要求1所述的一种人工智能血液涂片细胞标注系统，其特征在于：所述标注单元还包括用于图像标注处理后的存储模块，在实施标注操作后，存储模块对观测单元多倍数下的图像每次进行相应的标注线增加或者删除处理后的标注线进行实时存储。
3.根据权利要求2所述的一种人工智能血液涂片细胞标注系统，其特征在于：所述标注单元还包括模拟训练模块，所述模拟训练模块包括标准标注模块和人工辅助修正模块；在实施所述标注操作时还基于弱监督模型和分割模型来对标注的数据进行模型训练；所述模型训练具体包括对每一所述图像进行标注处理后，再对所述标准标注处理得到的标注数据进行人工辅助修正标注处理，随后将所述人工辅助修正标注处理得到的修正标注数据添加至原有的训练集中，以此对模型进行优化训练以得到一新的模型，随后对所述新的模型依次进行关于上述机器标注处理、人工辅助修正标注处理和修正标注数据添加的重复迭代操作，从而实现所述模型的参数最优化。
4.根据权利要求3所述的一种人工智能血液涂片细胞标注系统，其特征在于：还包括登录验证单元，所述登录验证单元与中央控制系统通讯连接，所述登录验证单元用于用户身份验证识别。
5.根据权利要求4所述的一种人工智能血液涂片细胞标注系统的方法，其特征在于：包括以下步骤，
A1、对血液进行瑞姬染色后制成血液涂片，置于显微镜下；
A2、在显微镜9倍下，显微镜对焦，选择细胞数量最多的若干张图像，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色细胞统计和橙色细胞统计，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统；
A3、在显微镜10-39倍下，显微镜对焦，选择细胞数量最多的若干张图像，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色细胞统计、橙色细胞统计、巨大细胞统计和细胞团分析，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统；
A4、在显微镜40-99倍下，显微镜对焦，选择细胞数量最多的若干张图像，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色单核细胞统计、紫色多核细胞统计、巨大细胞统计和细胞团分析，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统；
A5、在显微镜100倍下，图像清晰度评价模块寻找视野图像中最清晰的一张，进行细胞的分布统计、数量统计、紫色单核细胞统计、紫色多核细胞统计、巨大细胞统计和细胞团分析，并利用标注单元进行细胞标注，将良性细胞进入良性疾病分类系统，异常细胞进入病理分类系统。
6.根据权利要求5所述的一种人工智能血液涂片细胞标注系统的方法，其特征在于：所述选择细胞数量最多的若干张图像中计算图像中骨髓细胞总数的方法为，获取图像，进行预处理、双边滤波和边缘检测；双边滤波后的灰度图和边缘检测后的边缘图分割为若干个灰度小图和边缘小图；对每个小图进行扫描，根据边缘点位置的最大灰度值和最小灰度值计算出每张小图的阈值，根据阈值对每张小图进行扫描，高于阈值的区域为血液细胞图像区域，将高于阀值的像素点置为255，其他置为0，输出边缘图，检测边缘图中的连续区域，根据血液细胞大小的均值在当前规格图片上的像素大小剔除过大或过小连续区域，统计剩下的连续区域数量，即为图像中骨髓细胞总数。
7.根据权利要求6所述的一种人工智能血液涂片细胞标注系统的方法，其特征在于：所述图像清晰度评价包括以下步骤：
B1、求取图像的梯度，在梯度图像中选取大小为1×5的窗口,分别在0°，45°，90°，135°的四个方向上滑动,求得窗口内5个梯度值总和,并计算每个像素点在0°，45°，90°，135°的4个方向上的值，然后取最大值；
B2、在具有最大梯度的位置沿边缘法向取 7个点 ,记其灰度值为fi,i= 0,1，2,3,4,5,6,并求得最大灰度与最小灰度的差值Fmax；
B3、在步骤B2中取的7个点间取6个梯度di,i=0,1,2,3,4,5,设F为某一固定阈值，若Fmax≥F ,则存在边缘,否则不存在边缘；
B4、当有边缘存在时,取6个梯度中位于中间的4个di,i=1,2,3，4 ,找到最大值dmax=max(d1,d2,d3,d4)；
B5、取连续3个梯度和的最大值d3max=max[(d1+d2+d3),(d2+d3+d4)],并令 m1=dmax/2Fmax，m3=d3max/2Fmax；
B6、图像的清晰度与m1，m3成正比，当m1,m3分别大于各自固定阈值，则图像较清晰；
B7、比较m1值 ,找到m1值最大和次大的两张图像 ,再比较这两张图像对应的m3值大小,m3值大的图像最清晰。
8.根据权利要求7所述的一种人工智能血液涂片细胞标注系统的方法，其特征在于：所述步骤A1中，求取图像的梯度公示为：
d(x，y)={[f(x,y)-f(x+2,y)]2+[f(x,y)-f(x,y+2)]2}½
式中:d (x,y)表示图像在点(x,y)处的梯度；f(x,y)表示图像在点(x,y)处的灰度值。
9.根据权利要求8所述的一种人工智能血液涂片细胞标注系统的方法，其特征在于：所述步骤A1中计算每个像素点在0°，45°，90°，135°的4 个方向上的值的公式为：
S0°=d(x-2,y)+d(x-1,y)+d(x,y)+d(x+1,y)+d(x+2,y),
S45°=d(x-2,y+2)+d(x-1,y+1)+d(x,y)+d(x+1,y-1)+d(x+2,y-2),
S90°=d(x,y-2)+d(x,y-1)+d(x,y)+d(x,y+1)+d(x,y+2),
S135°=d(x-2,y-2)+d(x-1,y-1)+d(x,y+2)+d(x+1,y+1)+d(x+2,y+2)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011610484.3A CN113241154B (zh) | 2020-12-28 | 2020-12-28 | 一种人工智能血液涂片细胞标注系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011610484.3A CN113241154B (zh) | 2020-12-28 | 2020-12-28 | 一种人工智能血液涂片细胞标注系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113241154A CN113241154A (zh) | 2021-08-10 |
| CN113241154B true CN113241154B (zh) | 2024-05-24 |
Family
ID=77129985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011610484.3A Active CN113241154B (zh) | 2020-12-28 | 2020-12-28 | 一种人工智能血液涂片细胞标注系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113241154B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793336B (zh) * | 2021-11-17 | 2022-03-11 | 成都西交智汇大数据科技有限公司 | 一种检测血细胞的方法、装置、设备及可读存储介质 |
| CN116630294B (zh) * | 2023-06-08 | 2023-12-05 | 南方医科大学南方医院 | 一种基于深度学习的全血样本检测方法、装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4998284A (en) * | 1987-11-17 | 1991-03-05 | Cell Analysis Systems, Inc. | Dual color camera microscope and methodology for cell staining and analysis |
| US5134662A (en) * | 1985-11-04 | 1992-07-28 | Cell Analysis Systems, Inc. | Dual color camera microscope and methodology for cell staining and analysis |
| US6143512A (en) * | 1998-08-17 | 2000-11-07 | Markovic; Nenad | Cap-pap test |
| JP2001211896A (ja) * | 1999-11-26 | 2001-08-07 | Olympus Optical Co Ltd | 画像解析方法、装置、及び記録媒体 |
| JP2015141853A (ja) * | 2014-01-30 | 2015-08-03 | 株式会社日立ハイテクノロジーズ | 画質評価方法、及び画質評価装置 |
| CN110647874A (zh) * | 2019-11-28 | 2020-01-03 | 北京小蝇科技有限责任公司 | 一种端到端的血细胞识别模型构造方法及应用 |
| CN110765855A (zh) * | 2019-09-12 | 2020-02-07 | 杭州迪英加科技有限公司 | 一种病理图像处理方法及系统 |
| CN111724381A (zh) * | 2020-06-24 | 2020-09-29 | 武汉互创联合科技有限公司 | 基于多视图交叉验证的显微图像细胞计数与姿态识别方法 |
| CN112070059A (zh) * | 2020-09-18 | 2020-12-11 | 厦门汉舒捷医疗科技有限公司 | 一种血液细胞及骨髓细胞图像人工智能分类识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102297873A (zh) * | 2011-05-03 | 2011-12-28 | 杭州一二八医院 | 利用软x射线显微成像进行癌细胞图形识别的方法 |
-
2020
- 2020-12-28 CN CN202011610484.3A patent/CN113241154B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5134662A (en) * | 1985-11-04 | 1992-07-28 | Cell Analysis Systems, Inc. | Dual color camera microscope and methodology for cell staining and analysis |
| US4998284A (en) * | 1987-11-17 | 1991-03-05 | Cell Analysis Systems, Inc. | Dual color camera microscope and methodology for cell staining and analysis |
| US6143512A (en) * | 1998-08-17 | 2000-11-07 | Markovic; Nenad | Cap-pap test |
| JP2001211896A (ja) * | 1999-11-26 | 2001-08-07 | Olympus Optical Co Ltd | 画像解析方法、装置、及び記録媒体 |
| JP2015141853A (ja) * | 2014-01-30 | 2015-08-03 | 株式会社日立ハイテクノロジーズ | 画質評価方法、及び画質評価装置 |
| CN110765855A (zh) * | 2019-09-12 | 2020-02-07 | 杭州迪英加科技有限公司 | 一种病理图像处理方法及系统 |
| CN110647874A (zh) * | 2019-11-28 | 2020-01-03 | 北京小蝇科技有限责任公司 | 一种端到端的血细胞识别模型构造方法及应用 |
| CN111724381A (zh) * | 2020-06-24 | 2020-09-29 | 武汉互创联合科技有限公司 | 基于多视图交叉验证的显微图像细胞计数与姿态识别方法 |
| CN112070059A (zh) * | 2020-09-18 | 2020-12-11 | 厦门汉舒捷医疗科技有限公司 | 一种血液细胞及骨髓细胞图像人工智能分类识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Cell Type Classification and Unsupervised Morphological Phenotyping From Low-Resolution Images Using Deep Learning;Yao et al;《Scientific Reports》;20190917(第9期);第1-13页 * |
| 医学期刊中组织病理图片放大倍数的标注方式;王世贤;石朝云;常秀青;齐文安;游苏宁;;编辑学报;20110425(02);第126-127页 * |
| 基于细胞显微图像的数量统计应用;朱会平;陈志远;;实验室科学;20111028(05);第73-75页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113241154A (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| US8600143B1 (en) | Method and system for hierarchical tissue analysis and classification | |
| CN111986150B (zh) | 一种数字病理图像的交互式标注精细化方法 | |
| JP2021524630A (ja) | マルチ分解能登録を介したマルチサンプル全体スライド画像処理 | |
| CN110647875B (zh) | 一种血细胞分割、识别模型构造的方法及血细胞识别方法 | |
| WO2022001571A1 (zh) | 一种基于超像素图像相似度的计算方法 | |
| US10991098B1 (en) | Methods for automated chromosome analysis | |
| CN113241154B (zh) | 一种人工智能血液涂片细胞标注系统及方法 | |
| US20240119747A1 (en) | Deep neural network-based method for detecting living cell morphology, and related product | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| CN111488921A (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| CN111931751B (zh) | 深度学习训练方法、目标物识别方法、系统和存储介质 | |
| JP2016517515A (ja) | 細胞診標本を観察および解析するためのシステムおよび方法 | |
| CN110736748A (zh) | 免疫组化核浆染色切片诊断方法及系统 | |
| CN111476794B (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| CN109948429A (zh) | 图像分析方法、装置、电子设备及计算机可读介质 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| CN110796661A (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| CN111222393A (zh) | 一种基于自学习神经网络的病理切片中印戒细胞检测方法 | |
| CN115909006A (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
| CN113393454A (zh) | 活检组织中病理目标实例分割方法和装置 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| CN111353987A (zh) | 一种细胞核分割方法及装置 | |
| CN113470041B (zh) | 免疫组化细胞图像细胞核分割与计数方法和系统 | |
| CN113538422A (zh) | 一种基于染色强度矩阵的病理图像自动分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |