CN113409923A

CN113409923A - 骨髓图像个体细胞自动标记中的纠错方法及系统

Info

Publication number: CN113409923A
Application number: CN202110572633.XA
Authority: CN
Inventors: 苏洁; 韩金隽
Original assignee: University of Jinan
Current assignee: University of Jinan
Priority date: 2021-05-25
Filing date: 2021-05-25
Publication date: 2021-09-17
Anticipated expiration: 2041-05-25
Also published as: CN113409923B

Abstract

本发明提供了骨髓图像个体细胞自动标记中的纠错方法及系统。其中该方法包括利用细胞标记模型标记骨髓病理图像，得到初始标记结果；利用类别纠错器对初始标记结果进行二次确认，得到细胞的分类得分及纠错后的细胞类型，对分类错误的标记进行修正，得到第一次纠错后的标记结果；利用定位纠错器比较第一次纠正后的标记结果中的每个细胞标记框与相应细胞尺寸的约束关系，对定位错误的标记进行修正，得到第二次纠错后的标记结果；利用模糊确认器分别计算第二次纠错后的标记结果中任意两个细胞的标记框面积的交叠率，根据交叠率与重叠阈值的比值及标记框所属类别来判断是否存在模糊标记问题，对模糊标记问题进行修正，得到最终纠错后的标记结果。

Description

骨髓图像个体细胞自动标记中的纠错方法及系统

技术领域

本发明属于医学图像处理领域，尤其涉及一种骨髓图像个体细胞自动标记中的纠错方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

对骨髓病理图像中各类细胞形态分析与分类统计，有助于辅助病理医师确诊急性白血病(ALL或AML)、骨髓增生异常综合征(MDS)和多发性骨髓瘤等血液系统疾病。通过建立基于深度学习的骨髓细胞自动标记模型，能够实现骨髓细胞的初步标记，但是误差仍然比较大。研究骨髓细胞自动标记中的纠错方法，对优化病理数据集、建立精准的骨髓细胞检测模型，进而实现辅助病理分析系统，具有重要的意义。

现有的骨髓细胞公开数据集质量不高。例如ALL-IDB1数据库，由109张2592*1944以及260张257*257的骨髓病理图像组成，但只能用于识别骨髓细胞中的原始细胞，无法直接应用于骨髓细胞的分类计数、量化百分比；美国血液学学会的image bank在线网站提供的骨髓病理图像数据集，仅能用于识别正常和异常的病理图像。发明人发现，造成这一现象的原因，主要是骨髓细胞数据集的搭建高度依赖于病理医师的人工标记，且耗费医师大量的时间与精力，其标注质量也容易受医师的主观影响。在此情况下，骨髓细胞自动标记模型的准确率难以提高。

发明内容

为了解决上述背景技术中存在的骨髓细胞自动标记模型误差大的技术问题，本发明提供一种骨髓图像个体细胞自动标记中的纠错方法及系统，其能够提高骨髓病理数据集的质量与自动标注系统的准确率，进而替代人工标注、实现规范化管理。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种骨髓图像个体细胞自动标记中的纠错方法。

一种骨髓图像个体细胞自动标记中的纠错方法，其包括：

利用细胞标记模型标记骨髓病理图像，得到初始标记结果；所述初始标记结果包括初始细胞类型及初始标记框位置信息；

利用类别纠错器对初始标记结果进行二次确认，得到细胞的分类得分及纠错后的细胞类型，并对分类错误的标记进行修正，得到第一次纠错后的标记结果；

利用定位纠错器比较第一次纠正后的标记结果中的每个细胞标记框与相应细胞尺寸的约束关系，判断是否存在定位错误，并对定位错误的标记进行修正，得到第二次纠错后的标记结果；

利用模糊确认器分别计算第二次纠错后的标记结果中任意两个细胞的标记框面积的交叠率，根据交叠率与重叠阈值的比值及标记框所属类别来判断是否存在模糊标记问题，并对模糊标记问题进行修正，得到最终纠错后的标记结果。

本发明的第二个方面提供一种骨髓图像个体细胞自动标记中的纠错系统。

一种骨髓图像个体细胞自动标记中的纠错系统，其包括：

图像自动标记模块，其用于利用细胞标记模型标记骨髓病理图像，得到初始标记结果；所述初始标记结果包括初始细胞类型及初始标记框位置信息；

分类纠错确认模块，其用于利用类别纠错器对初始标记结果进行二次确认，得到细胞的分类得分及纠错后的细胞类型，并对分类错误的标记进行修正，得到第一次纠错后的标记结果；

定位纠错确认模块，其用于利用定位纠错器比较第一次纠正后的标记结果中的每个细胞标记框与相应细胞尺寸的约束关系，判断是否存在定位错误，并对定位错误的标记进行修正，得到第二次纠错后的标记结果；

模糊纠错确认模块，其用于利用模糊确认器分别计算第二次纠错后的标记结果中任意两个细胞的标记框面积的交叠率，根据交叠率与重叠阈值的比值及标记框所属类别来判断是否存在模糊标记问题，并对模糊标记问题进行修正，得到最终纠错后的标记结果。

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的骨髓图像个体细胞自动标记中的纠错方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的骨髓图像个体细胞自动标记中的纠错方法中的步骤。

与现有技术相比，本发明的有益效果是：

本发明提供了一种骨髓图像个体细胞自动标记中的纠错方法及系统，其解决了初步标记中可能存在类别错误、定位错误、模糊标记的问题，采用了分类纠错确认、定位纠错确认和模糊纠错确认，依次修正分类错误、定位错误和模糊标记问题，在自动标记的基础上自动纠错得到了更加精准的结果，使骨髓细胞标记过程更加自动化及精准化，极大地提高了骨髓细胞标记效率及自动标记模型的准确率。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例的骨髓病理图像个体细胞自动标记中的纠错方法的流程图。

图2为本发明的骨髓病理图像个体细胞自动标记中的纠错应用实例示意图。

图3为本发明实施例的分类纠错确认流程示意图。

图4为本发明实施例的定位纠错确认流程示意图。

图5为本发明实施例的模糊纠错确认流程示意图。

图6为本发明实施例的骨髓病理图像个体细胞自动标记中的纠错系统结构示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明通过建立小型人工骨髓细胞标记数据集、训练以骨髓细胞为对象的检测模型，实现基于检测结果的自动化初步标记，初步标记中可能存在类别错误、定位错误、模糊标记的问题，而提出了一种骨髓图像个体细胞自动标记中的纠错方法及系统。本发明的具体技术方案，采用如下实施例来详细说明：

实施例一

如图1所示，本实施例提供了一种骨髓图像个体细胞自动标记中的纠错方法，其具体包括如下步骤：

步骤S101：利用细胞标记模型标记骨髓病理图像，得到初始标记结果；所述初始标记结果包括初始细胞类型及初始标记框位置信息。

在本实施例中，初始标记结果是利用训练好的细胞标记模型标记骨髓病理图像得到的。

可以理解的是，细胞标记模型为现有的网络模型，其可根据实际情况来具体选择其结构，通过人为标记框位置，以及框所属类型，也就是细胞类型进行自动标记训练，即可得到细胞标记模型的参数。

初始标记的过程，可参考图2中的步骤1和步骤2：

在步骤1中导入骨髓病理图像。骨髓病理图像格式包括但不限于PNG格式、JPEG格式、TIFF格式等。本领域技术人员可以根据自己需求导入单张或多张图片且不限制图像大小。

在步骤2中利用训练好的细胞标记模型标记骨髓病理图像，记录细胞类别、位置信息，以此为初始标记结果。

步骤S102：利用类别纠错器对初始标记结果进行二次确认，得到细胞的分类得分及纠错后的细胞类型，并对分类错误的标记进行修正，得到第一次纠错后的标记结果，如图3所示。

本实施例的该步骤对应图2中的步骤3，自动对步骤S2所得结果纠错。对S2的标记信息，包括细胞类型、细胞标记框坐标进行二次确认，自动判断是否存在分类错误。利用训练好的VGGnet、Inception_v3、Overfeat、Alexnet等类别纠错器做为裁判，根据各类别纠错器打分情况统计出分类结果。

当统计的分类结果与初始标记所得检测结果不同时，则表示存在分类错误，修改原标记。该步骤所涉及评判统计方法如下所示：

其中，N表示类别纠错器个数，M表示类别个数，

表示第i个类别纠错器第j个类别的权重系数，

表示第i个类别纠错器第j个类别的得分，N^j表示第j类别打分非零的纠错器个数，Score表示最终类别得分。

步骤S103：利用定位纠错器比较第一次纠正后的标记结果中的每个细胞标记框与相应细胞尺寸的约束关系，判断是否存在定位错误，并对定位错误的标记进行修正，得到第二次纠错后的标记结果，如图4所示。

本实施例的该步骤对应图2中的步骤4。具体地，通过聚类个体骨髓细胞数据，得到各类细胞尺寸的约束。例如：利用K-means对个体骨髓细胞聚类分析，获取各类骨髓细胞尺寸约束。

其中，所述细胞尺寸的约束包括所属类别的宽高比约束及面积约束。

若第一次纠正后的标记结果中的每个细胞标记框不满足相应细胞尺寸的约束关系，则将该标记框从检测结果中删除。

具体地，获取第一次纠正后的标记结果中的每个细胞标记框信息，依次提取单个标记信息，计算该标记框是否满足所属类别的宽高比约束，若不满足约束则将该标记框从检测结果中删除；若满足约束则进一步判断标记框面积是否满足所属类别的面积约束，将不满足约束的标记框删除。该步骤所涉及公式如下所示：

其中，F_LH为细胞类内宽高约束，F_Off为细胞类内面积约束，N为标记框个数，M为类别个数，w_i,h_i分别表示第i个标记为j类细胞的框的宽高，

分别表示第j类细胞的最小最大标注框宽高比，μ表示宽高比阈值，(W^j×H^j)_Min、(W^j×H^j)_Max分别表示第j类细胞的最小最大标注框面积，η表示面积阈值，μ与η随着纠错过程动态调整，直至取得最佳阈值。当F_LH＝1时，表示该标记框宽高比符合所属类别，当F_LH＝0时，表示该标记框宽高比不符合所属类别。当F_Off＝1时，表示该标记框面积符合所属类别，当F_Off＝0时，表示该标记框面积不符合所属类别。

步骤S104：利用模糊确认器分别计算第二次纠错后的标记结果中任意两个细胞的标记框面积的交叠率，根据交叠率与重叠阈值的比值及标记框所属类别来判断是否存在模糊标记问题，并对模糊标记问题进行修正，得到最终纠错后的标记结果。

本实施例的该步骤对应图2中的步骤5。若交叠率大于重叠阈值，则进一步判断标记框类别是否相同，若相同，则直接删除两者中分类得分较低的标记框；若不同，则将两个标记框的类别与位置信息加入待确认细胞列表中，并删除得分较低的标记框。

如图5所示，依次提取单个标记框作为判别框，分别计算判别框与其它标记框面积的交叠率，判断其是否大于重叠阈值α。若与某标记框的交叠率大于重叠阈值α，则进一步判断标记框类别是否相同，若所属类别相同，则直接删除两者中分类得分较低框；若所属类别不同，则将两个标记框的类别与位置信息加入待确认细胞列表中，并删除得分较低框。该步骤所涉及公式如下所示：

其中，N为标记框个数，

分别为第i个标记框的左上角坐标位置以及右下角坐标位置，S_i∪S_j表示两个标记框的并集面积,S_i∩S_j表示两个标记框的交集面积，R_ij表示两个标记框的交叠率，c_ij＝0表示两个标记框类别不相同，ci_j≠0表示标记框类别相同。α表示重叠阈值，在纠错过程动态调整，直至取得最佳阈值。F_ij＝1为类别模糊判定依据，F_ij＝0为同类间定位模糊判定依据，F_ij＝-1为不属于模糊标记依据。

在实际纠错完毕后，将整张骨髓图片与纠错后标记结果存入数据库。例如：骨髓细胞图片储存格式为BLOB，标记结果与待确认细胞列表储存格式为TXT。

本实施例采用了分类纠错确认、定位纠错确认和模糊纠错确认，依次修正分类错误、定位错误和模糊标记问题，在标记的基础上自动纠错得到了更加精准的结果，使骨髓细胞标记过程更加自动化及精准化，极大地提高了骨髓细胞标记效率及自动标记模型的准确率。

实施例二

如图6所示，本实施例提供了一种骨髓图像个体细胞自动标记中的纠错系统，其具体包括如下模块：

图像自动标记模块11，其用于利用细胞标记模型标记骨髓病理图像，得到初始标记结果；所述初始标记结果包括初始细胞类型及初始标记框位置信息；

分类纠错确认模块12，其用于利用类别纠错器对初始标记结果进行二次确认，得到细胞的分类得分及纠错后的细胞类型，并对分类错误的标记进行修正，得到第一次纠错后的标记结果；

定位纠错确认模块13，其用于利用定位纠错器比较第一次纠正后的标记结果中的每个细胞标记框与相应细胞尺寸的约束关系，判断是否存在定位错误，并对定位错误的标记进行修正，得到第二次纠错后的标记结果；

模糊纠错确认模块14，其用于利用模糊确认器分别计算第二次纠错后的标记结果中任意两个细胞的标记框面积的交叠率，根据交叠率与重叠阈值的比值及标记框所属类别来判断是否存在模糊标记问题，并对模糊标记问题进行修正，得到最终纠错后的标记结果。

此处需要说明的是，本实施例的骨髓图像个体细胞自动标记中的纠错系统中各个模块，与实施例一中骨髓图像个体细胞自动标记中的纠错方法中的各个步骤一一对应，其具体实施过程相同，此处不再累述。

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的骨髓图像个体细胞自动标记中的纠错方法中的步骤。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的骨髓图像个体细胞自动标记中的纠错方法中的步骤。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种骨髓图像个体细胞自动标记中的纠错方法，其特征在于，包括：

2.如权利要求1所述的骨髓图像个体细胞自动标记中的纠错方法，其特征在于，初始标记结果是利用训练好的细胞标记模型标记骨髓病理图像得到的。

3.如权利要求1所述的骨髓图像个体细胞自动标记中的纠错方法，其特征在于，通过聚类个体骨髓细胞数据，得到各类细胞尺寸的约束。

4.如权利要求2所述的骨髓图像个体细胞自动标记中的纠错方法，其特征在于，所述细胞尺寸的约束包括所属类别的宽高比约束及面积约束。

5.如权利要求1所述的骨髓图像个体细胞自动标记中的纠错方法，其特征在于，若修正细胞类型的标记框不满足相应细胞尺寸的约束关系，则将该标记框从检测结果中删除。

6.如权利要求1所述的骨髓图像个体细胞自动标记中的纠错方法，其特征在于，若交叠率大于重叠阈值，则进一步判断标记框类别是否相同，若相同，则直接删除两者中分类得分较低的标记框；若不同，则将两个标记框的类别与位置信息加入待确认细胞列表中，并删除得分较低的标记框。

7.如权利要求1所述的骨髓图像个体细胞自动标记中的纠错方法，其特征在于，所述重叠阈值在纠错过程动态调整，直至取得最佳阈值。

8.一种骨髓图像个体细胞自动标记中的纠错系统，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的骨髓图像个体细胞自动标记中的纠错方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的骨髓图像个体细胞自动标记中的纠错方法中的步骤。