CN111105416A - 一种骨髓细胞增生程度自动分级方法及系统 - Google Patents

Abstract

本发明公开了一种骨髓细胞增生程度自动分级方法及系统，属于计算显微成像领域的技术领域该方法包括以下步骤：将骨髓涂片经过图像采集以得到强度图和相位图；将强度图和相位图输入至卷积神经网络模型中，并通过卷积神经网络模型对骨髓涂片中的有核细胞与无核细胞分别进行计数；根据计数的结果计算有核细胞与无核细胞的比例，并获取骨髓细胞增生程度的等级，以达到克服了人工计数中的复杂问题，为骨髓细胞增生程度分级提供准确细胞计数的目的。

Description

一种骨髓细胞增生程度自动分级方法及系统

技术领域

本发明属于计算显微成像领域的技术领域，具体而言，涉及一种骨髓细胞增生程度自动分级方法及系统。

背景技术

傅里叶叠层显微成像技术是近年来发展出的一种大视场、高分辨率、定量相位计算的显微成像技术，该方法整合了相位恢复和合成孔径的概念。与其他相位恢复的方法相似，傅里叶叠层显微成像技术的处理过程也是根据在空域中记录的光强信息，以及在频域中某种固定的映射关系来进行交替迭代的，从而得到样品的相位信息。在传统的傅里叶叠层显微成像系统中，样品被不同角度的平面波照明并通过一个低数值孔径的物镜进行成像，二维的薄物体由来自不同角度的平面波照明，在物镜后焦面上物体的频谱被平移到对应的不同位置上。因此，一些本来超出物镜数值孔径的频率成分被平移到物镜数值孔径以内，从而能够传递到成像面进行成像。反过来看，不同角度的入射光可等效为在频谱上不同位置的交叠的光瞳函数(子孔径)过不同位置子孔径的频谱在频域上形成叠层，之后再利用相机拍摄到的一系列低分辨率图像在频域里迭代，依次更新对应的子孔径里的频谱信息，子孔径与子孔径交叠着扩展了频域带宽并恢复出超过物镜空间分辨率限制的高频信息(合成孔径)，最终同时重构出物体的大视场、高分辨率的光强和相位图像。

传统的图像处理方法在处理医学显微图像时准确率以及效率都有明显的不足，这是因为医学图像数据量大，而且医学图像中的细胞形态比较多样，显然传统的图像处理不能很好地用于医学显微图像。

近年来，通过计算机的辅助，利用卷积神经网络模型处理医学图像数据是研究的热点，其关键是以自动化的方式实现医学图像的处理分析，得到准确可靠的结果，解决人工筛选中遇到的各种复杂问题，使医学显微图像更加的科学化、自动化、准确化，这也将成为医学图像处理发展的主要趋势。

骨髓检验为常用的医学检验，通过骨髓细胞学检查可以了解骨髓中的细胞数量、形态。在骨髓检查中，通过对骨髓涂片中有核细胞和无核细胞计数可以得到其比值，进而判断骨髓增生程度的等级，可通常分为五级：增生极度活跃、增生明显活跃、增生活跃、增生降低、增生极度降低，而在分级过程中对有核细胞和无核细胞计数显得尤为重要。

对于细胞计数而言，由于细胞易重叠，传统的方法在准确度和时间上均有很大的不足，因此，为满足细胞计数更加准确可靠，亟待对细胞计数提出更为先进的系统。

发明内容

鉴于此，为了解决现有技术存在的上述问题，本发明的目的在于提供一种骨髓细胞增生程度自动分级方法及系统以达到克服了人工计数中的复杂问题，为骨髓细胞增生程度分级提供准确细胞计数的目的。

本发明所采用的技术方案为：一种骨髓细胞增生程度自动分级方法，该方法包括以下步骤：

步骤A：将骨髓涂片经过图像采集以得到强度图和相位图；

步骤B：将强度图和相位图输入至卷积神经网络模型中，并通过卷积神经网络模型对骨髓涂片中的有核细胞与无核细胞分别进行计数；

步骤C：根据计数的结果计算有核细胞与无核细胞的比例，并获取骨髓细胞增生程度的等级。

进一步地，所述骨髓涂片经过傅里叶叠层显微镜采集得到强度图和相位图，利用傅里叶叠层显微镜可以得到高分辨率强度图和相位图特性。

进一步地，所述强度图中包含有核细胞和无核细胞的信息，相位图中包含有核细胞的信息，利用该特性，在对有核细胞计数时，将相位图与强度图结合，从而提高有核细胞计数的准确率。

进一步地，在步骤B中对有核细胞计数采用如下方法：

将相位图和强度图形成双通道图像；

将双通道图像输入至卷积神经网络模型中进行有核细胞计数，以此对有核细胞进行准确计数。

进一步地，在步骤B中对有核细胞计数采用如下方法：

将相位图和强度图分别输入至第一卷积神经网络和第二卷积神经网络中；

第一卷积神经网络和第二卷积神经网络分别进行特征提取；

对提取的特征进行特征融合以得到融合特征图，通过融合特征图进行有核细胞计数，以此对有核细胞进行准确计数。

在本发明中还公开了一种骨髓细胞增生程度自动分级系统，该系统包括图像采集单元、图像处理单元以及自动分级单元，所述图像采集单元用于对骨髓涂片进行图像采集以获取该骨髓涂片的强度图和相位图；

所述图像处理单元用于将强度图和相位图输入至卷积神经网络模型中，并通过卷积神经网络模型对骨髓涂片中的有核细胞与无核细胞分别进行计数；

所述自动分级单元用于根据计数的结果计算有核细胞与无核细胞的比例，并对骨髓细胞增生程度的等级自动分级。

进一步地，所述图像采集单元设为傅里叶叠层显微镜，骨髓涂片经过骨髓涂片获取强度图和相位图，利用傅里叶叠层显微镜可以得到高分辨率强度图和相位图特性。

进一步地，所述傅里叶叠层显微镜包括由下至上依次设定的LED阵列光源、聚光镜、载玻片、物镜、成像透镜、照相机以及与该照相机通信连接的图像采集卡，以获得大视场和高分辨率的成像结果。

进一步地，所述强度图输入至卷积神经网络模型中以进行无核细胞计数；所述强度图和相位图均输入到卷积神经网络模型中以进行有核细胞计数，进而对有核细胞进行准确计数。

本发明的有益效果为：

1.本发明所提供的骨髓细胞增生程度自动分级方法及系统，其通过对骨髓涂片进行图形采集成像，以得到强度图和相位图，并将其输入到卷积神经网络进行有核细胞和无核细胞计数，根据有核细胞与无核细胞的比例进而判断骨髓增生程度等级；在本方案中，利用卷积神经网络的优势，克服了人工计数中的复杂问题，能够通过强度图和相位图对有核细胞进行准确计数，进而对骨髓细胞增生程度进行自动、准确的分级。

附图说明

图1是本发明所提供的骨髓细胞增生程度自动分级系统的整体架构示意图；

图2是本发明所提供的骨髓细胞增生程度自动分级系统中傅里叶叠层显微镜的结构原理图；

图3是本发明所提供的骨髓细胞增生程度自动分级方法中基于卷积神经网络对有核细胞计数的第一种结构示意图；

图4是本发明所提供的骨髓细胞增生程度自动分级方法中基于卷积神经网络对有核细胞计数的第二种结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

实施例1

如图1所示，在本实施例中具体公开了一种骨髓细胞增生程度自动分级方法，该方法包括以下步骤：

步骤A：将骨髓涂片经过傅里叶叠层显微镜进行图像采集以得到强度图和相位图，利用傅里叶叠层显微镜可以得到高分辨率强度图和相位图特性。其中，强度图中包含有核细胞和无核细胞的信息，而相位图只包含有核细胞的信息，利用该特性，后期在对有核细胞计数时，将相位图与强度图结合，从而提高有核细胞计数的准确率。

步骤B：将强度图和相位图输入至卷积神经网络模型中，并通过卷积神经网络的特性对骨髓涂片中的有核细胞与无核细胞分别进行计数。在该步骤中，对于无核细胞的计数，将强度图输入卷积神经网络中，与一般的用卷积神经网络计数原理类似，这里不予赘述。

而有核细胞计数与无核细胞计数方法不同，需要利用相位图和强度图，此处通过以下具体的实施例来说明其原理：

如图3所示，把经过傅里叶叠层显微镜成像得到的相位图和强度图形成双通道图像，整体输入到卷积神经网络中，利用卷积神经网络的特性，前面卷积层提取有核细胞的特征，最后一层用1*1卷积得到细胞密度图，然后对密度图求和，从而实现有核细胞计数。

如图4所示，将相位图和强度图分别经过第一卷积神经网络和第二卷积神经网络进行特征提取，并对提取的特征进行特征融合以得到融合特征图，通过融合特征图进行有核细胞计数。具体的，在得到融合特征图之后，再经过反卷积层将融合特征图分辨率还原，此时得到训练中预测的细胞密度图，对细胞密度图进行积分得到预测的细胞数量，即进行有核细胞计数。

步骤C：根据计数的结果计算有核细胞与无核细胞的比例，并获取骨髓细胞增生程度的等级，可通常分为五级：增生极度活跃、增生明显活跃、增生活跃、增生降低、增生极度降低，以不同的等级来判断骨髓细胞增生程度。

实施例2

在本实施例中还公开了一种骨髓细胞增生程度自动分级系统，该系统包括图像采集单元、图像处理单元以及自动分级单元，所述图像采集单元用于对骨髓涂片进行图像采集以获取该骨髓涂片的强度图和相位图，其中，强度图中包含有核细胞和无核细胞的信息，而相位图只包含有核细胞的信息，利用该特性，后期在对有核细胞计数时，将相位图与强度图结合，从而提高有核细胞计数的准确率。

将强度图和相位图传输至图像处理单元中，该图像处理单元用于将强度图和相位图输入至卷积神经网络模型中，并通过卷积神经网络模型对骨髓涂片中的有核细胞与无核细胞分别进行计数；在计数过程中，将强度图输入至卷积神经网络模型中以进行无核细胞计数；而将强度图和相位图均输入到卷积神经网络模型中以进行有核细胞计数。

在对有核细胞计数时，可采用以下两种方式：

(1)如图3所示，先将相位图和强度图形成双通道图像，再输入到卷积神经网络中进行有核细胞计数；

(2)如图4所示，将相位图和强度图分别经过第一卷积神经网络和第二卷积神经网络进行特征提取，并对提取的特征进行特征融合以得到融合特征图，通过融合特征图进行有核细胞计数。具体的，在得到融合特征图之后，再经过反卷积层将融合特征图分辨率还原，此时得到训练中预测的细胞密度图，对细胞密度图进行积分得到预测的细胞数量，即进行细胞计数。

所述自动分级单元用于根据计数的结果计算有核细胞与无核细胞的比例，并对骨髓细胞增生程度的等级自动分级，可通常分为五级：增生极度活跃、增生明显活跃、增生活跃、增生降低、增生极度降低，以不同的等级来判断骨髓细胞增生程度。其中，在自动分级单元中预设有多个阈值范围，将计算所获取的有核细胞与无核细胞的比例进行比对，进而获取该骨髓涂片中骨髓细胞增生程度的等级。

为能够获取大视场和高分辨率的成像结果，如图2所示，将图像采集单元设为傅里叶叠层显微镜，骨髓涂片经过骨髓涂片获取强度图和相位图。所述傅里叶叠层显微镜包括由下至上依次设定的LED阵列光源、聚光镜、载玻片、物镜、成像透镜、照相机以及与该该照相机通信连接的图像采集卡，其工作原理如下：

通过编程控制LED阵列光源，使其每个LED灯依次点亮，发出的光首先要经过聚光镜汇聚到载玻片的骨髓涂片样品上，带有样品信息的光经过低倍率的物镜及成像透镜后被照相机接收，照相机对样品的远场衍射图案进行采样，得到样品的数字照片，经图像采集卡传到计算机中进行后续的重建处理，得到骨髓涂片的强度图和相位图。在此过程中，由于样品被来自不同入射角发出的平面波照明，在物镜后焦面上物体的频谱被平移到对应的不同位置上，一些本来超出物镜数值孔径的频率成分被平移到物镜数值孔径以内，从而能够传递到成像面进行成像，这样就可以获得大视场和高分辨率的成像结果。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种骨髓细胞增生程度自动分级方法，其特征在于，该方法包括以下步骤：

步骤A：将骨髓涂片经过图像采集以得到强度图和相位图；

步骤B：将强度图和相位图输入至卷积神经网络模型中，并通过卷积神经网络模型对骨髓涂片中的有核细胞与无核细胞分别进行计数；

步骤C：根据计数的结果计算有核细胞与无核细胞的比例，并获取骨髓细胞增生程度的等级。

2.根据权利要求1所述的骨髓细胞增生程度自动分级方法，其特征在于，所述骨髓涂片经过傅里叶叠层显微镜采集得到强度图和相位图。

3.根据权利要求1或2所述的骨髓细胞增生程度自动分级方法，其特征在于，所述强度图中包含有核细胞和无核细胞的信息，相位图中包含有核细胞的信息。

4.根据权利要求1所述的骨髓细胞增生程度自动分级方法，其特征在于，在步骤B中对有核细胞计数采用如下方法：

将相位图和强度图形成双通道图像；

将双通道图像输入至卷积神经网络模型中进行有核细胞计数。

5.根据权利要求1所述的骨髓细胞增生程度自动分级方法，其特征在于，在步骤B中对有核细胞计数采用如下方法：

将相位图和强度图分别输入至第一卷积神经网络和第二卷积神经网络中；

第一卷积神经网络和第二卷积神经网络分别进行特征提取；

对提取的特征进行特征融合以得到融合特征图，通过融合特征图进行有核细胞计数。

6.一种骨髓细胞增生程度自动分级系统，其特征在于，该系统包括图像采集单元、图像处理单元以及自动分级单元，所述图像采集单元用于对骨髓涂片进行图像采集以获取该骨髓涂片的强度图和相位图；

所述图像处理单元用于将强度图和相位图输入至卷积神经网络模型中，并通过卷积神经网络模型对骨髓涂片中的有核细胞与无核细胞分别进行计数；

所述自动分级单元用于根据计数的结果计算有核细胞与无核细胞的比例，并对骨髓细胞增生程度的等级自动分级。

7.根据权利要求6所述的骨髓细胞增生程度自动分级系统，其特征在于，所述图像采集单元设为傅里叶叠层显微镜，骨髓涂片经过骨髓涂片获取强度图和相位图。

8.根据权利要求7所述的骨髓细胞增生程度自动分级系统，其特征在于，所述傅里叶叠层显微镜包括由下至上依次设定的LED阵列光源、聚光镜、载玻片、物镜、成像透镜、照相机以及与该照相机通信连接的图像采集卡。

9.根据权利要求6所述的骨髓细胞增生程度自动分级系统，其特征在于，所述强度图输入至卷积神经网络模型中以进行无核细胞计数；所述强度图和相位图均输入到卷积神经网络模型中以进行有核细胞计数。

Images