CN107492084A - 基于随机性的典型成团细胞核图像合成方法 - Google Patents

Abstract

基于随机性的成团细胞核图像合成方法，本发明涉及DNA倍体分析技术中，由于成团细胞核图像稀少导致细胞分类正确率急剧下降的问题。细胞DNA倍体分析技术是一种自动化的病理诊断技术，准确识别各类细胞图像是这一技术的关键。然而，重叠细胞核的训练样本稀少（训练集失衡）导致重叠细胞核图片的识别率较低。为解决这一问题，本发明提出了一种合成重叠细胞图像的方法。该方法采用样本选择使合成的样本更具有代表性；引入随机性控制合成源图像的随机旋转角度和随机重叠程度；根据朗伯比尔定律重构重叠部分的像素，使合成的样本更接近真实样本；最后将合成的样本用于模型训练。本发明应用于解决重叠细胞核的训练样本稀少（训练集失衡）问题。

Description

基于随机性的典型成团细胞核图像合成方法

技术领域

本发明设计基于随机性的典型成团细胞核图像合成方法。

背景技术

近年来全球范围内宫颈癌的发病率呈逐年上升趋势，已经成为威胁妇女生命的社会问题。然而大多数宫颈病变可以在早期发现，因此早诊断早治疗是应对宫颈癌的有效途径。细胞涂片检查是目前宫颈癌筛查的主流方法。一方面需要耗费大量的人力物力；另一方面医生镜下观察具有主观性，容易因为视觉疲劳产生人为误差。因此自动化的阅片技术变得越来越重要。

DNA倍体分析技术是近年来迅速发展起来的自动阅片技术。有效的将病理学专家的诊断经验与计算机的精确计算和快速处理能力结合起来，实现对宫颈细胞图像的识别和诊断。该技术只对细胞核染色，在软件的控制下自动聚焦扫描，拍摄镜下图片，并在识别的基础上准确测量细胞核内DNA的相对含量。最后将异常的细胞罗列出来，辅助医生诊断。然而细胞核重叠的情况无法避免，且其中出现异常细胞可能性较大。因此，对重叠细胞核（成团细胞核）的分析就显得非常必要。准确识别重叠细胞是进一步做图像分割和测量的前提。样本缺乏会严重影响倍体分析系统的识别性能。

由于标本中重叠细胞核种类繁多（细胞个数和重叠方式），收集大量重叠细胞核费时费力，难以获得足够的训练样本。这使得成团细胞核的训练图片数量远远少于其他类别的图片数量，在细胞分类方面面临着训练数据类别不平衡问题。现有的大多数学习算法和评价准测偏重于大类样本，忽略了小样本，这使分类器的性能降低。现有的大多数学习算法和评价准测偏重于大类样本，忽略了小样本，这使分类器的在失衡数据集上的性能降低。在不增加新样本的前提下，解决这一问题有两种策略。第一种立足于用现有的样本产生新的样本，增加训练数据不足类别的样本数量，代表性的方法有样本重采样和特征选择。第二种改进模型训练算法，提升少样本类别的重要性，典型的有代价敏感学习方法和单类学习方法。因此，本文采用过采样（over-sampling）技术合成大量训练样本，使不平衡的训练样本变得相对平衡。

目前很多增加小类样本的过采样方法主要有合成少数类过采样技术(SMOTE)，Borderlin-SMOTE算法，MSYN算法，基于k-means算法和遗传算法的过采样技术，基于进化聚类的过采样集成方法等等。目前的方法主要立足于在特征域学习小样本类别的概率分布，以此作为先验来产生新的样本特征值，并将这些数据用于模型训练。由于重叠细胞是由单细胞重叠而成，我们又拥有大量的单细胞图像。如果能在图像数据域真实地模拟重叠过程，则可以产生足够且真实的重叠细胞图像用于特征提取和模型训练。因此，本发明提出利用单细胞图片合成成团细胞图像的方法，利用形成重叠细胞核图像的先验知识，模拟重叠细胞形成的真实过程。为了使合成的细胞尽可能地接近真实，我们考虑了三个方面的问题。为了确保合成的细胞具有代表性，我们对单细胞进行筛选，获得典型的单细胞图像用于合成。为了避免合成的数据偏向固定的分布，在细胞的旋转角度和重叠程度两个方面引入和随机性。为使重叠部分真实，根据朗伯比尔定律重构重叠部分的像素。实验表明，向小类样本加入合成数据后，在人工神经网络（mlp）、支持向量机（svm）、混合高斯模型（gmm）三种分类器上都取得了识别率的提升。

发明内容

本发明的目的是为了解决重叠细胞核图片稀少导致模型训练不充分，DNA倍体系统对细胞识别率不高的问题，而提出的一种基于随机性的典型成团细胞核图像合成方法，

本发明主要技术方案如下：

步骤一、对选择合成的源图像进行选择并筛选:

利用样本在特征空间的欧式距离筛选用来合成的样本，欧式距离公式如下：

其中，n为细胞图像的特征维数，d为样本a_i和a_j的欧式距离，（x₁₁,x₁₂,...,x_1n）(x₂₁,x₂₂,...,x_2n)分别为两张细胞图片的特征向量；

步骤二、对细胞核图片进行随机角度旋转:

对两张源图像分别旋转随机角度，目的就是引入随机性，让两个细胞团重叠的区域随机生成，产生的图片更具多样性；

步骤三、对细胞核图像进行分割并提取细胞轮廓:

首先，采用灰度单阀值分割出细胞图像，根据比较结果进行分割如公式（2）：

其中，T是分割阀值，f(x,y)是原图像中像素的灰度值，F(x,y)是分割后图像中像素的灰度值；

步骤四、消除两张细胞核图片的背景：

首先将步骤三方法提取的主细胞区域的轮廓保存下来构成轮廓的点序列，然后多种形式的图片组合操作去除背景区域，得到背景为白色的细胞图像；

步骤五、将背景为白色的两张细胞核图片进行合成：

提取轮廓后可以分别得到两张图片的细胞轮廓的中心点，第一张图的ROI沿着两个中心点的连线向右靠近第二张图的ROI，当第一个图的细胞核最右边的边缘点在第二个ROI左侧边界的右边时，两个ROI的细胞核区域开始重叠；

步骤六、确定细胞核重叠区域：

重构像素需要找到细胞核重叠区域，具体步骤为：（1）分别得到两个轮廓的最小外外包矩形，并找到两个矩形的相交部分，如附图中图6中的,点为两个矩形的相交点；（2）以,点分别向外扩2个像素点的距离为宽，最大外包矩形的高为长，构造一个搜索区域；（3）在非白色部分得搜索区域遍历每一个像素点，若这个点在第一个轮廓内并且在第二个轮廓内，或者在第一个轮廓上或在第二个轮廓上，判断此点属于重叠区域；（4）搜索出所有属于重叠区域的点构成重叠区域；

步骤七、重叠部分像素重构：

找到重叠部分根据朗伯比尔定律推断出重叠部分像素点的值，转换过程如式(3)-(4):

其中，I₀为背景的灰度值，I₁，I₂分别为重叠部分一个位置对应点分别在两个源图的灰度值，A₁，A₂分别为这个位置对应的光密度值;

那么重叠部分的像素点的新的灰度值推断公式如(5)：

其中，A为重叠部分一个位置对应的点的新的光密度值，I_s则为这个点重构后的新的灰度值。I_s的值转换为灰度值的计算如(6):

根据坐标转换将重叠部分的像素值全部按照公式（6）计算赋值，最后得到处理后的细胞核图像；

步骤八、还原背景:给合成的成团细胞核图片的白色背景换成细胞背景图。

发明效果

本发明提供了一种基于随机性的典型成团细胞核图像合成方法。实际中的多重叠细胞团情况多样，为了让合成的数据更接近现实情况，在整个合成过程中引入了随机性。在三个方面引用了随机性：一是选择源图片进行合成时，是随机选择的。二是细胞旋转随机性，合成之前，源细胞旋转多个角度，这些角度都随机生成。三是细胞交叠的随机性，两个细胞团在合成时，交叠的长度随机生成。该方法的第一步是要对细胞源图像筛选，以获得高质量的源数据。然后随机选择两张筛选后的源图像，分别旋转随机角度。实际中的多重叠细胞团情况多样，为了让合成的数据更接近现实情况，在整个合成过程中引入了随机性。旋转的角度随机，那么新成团细胞的重叠区域就是随机的。再通过分割提取轮廓等操作得到两张只有细胞区域，背景区域为白色的细胞图像。提取轮廓后可以分别得到两张图片的细胞轮廓的中心点，第一张图的ROI沿着两个中心点的连线向右靠近第二张图的ROI，当第一个图的细胞核最右边的边缘点在第二个ROI左侧边界的右边时，两个ROI的细胞核区域开始重叠。最后将两个细胞区域按中心靠近的方式合成一个重叠细胞团，并对重叠部分用朗波尔定律重构像素，得到新的多重叠细胞团图像。实验数据采用人工神经网络（MLP）、支持向量机（SVM）、混合高斯模型（GMM）三种分类器进行对比。实验过程中对各种情况的数据进行了训练并计算了识别率，为了让训练样本与测试样本满足独立分布，实验中的训练数据与测试数据是按一定比例抽取的不同的数据。没有加入合成样本的数据，此时的正确识别率用三种分类器训练得到的识别率都是最低的，然后向各类小样本（即第3、4、5、6、8类）加入每类对应的合成的细胞团图片，不平衡比依次降低，正确识别率依次升高。当不平衡比为1时，即各类样本达到数据平衡状态，正确识别率较高，最高达到83.87%。由此可见，向小类样本添加合成细胞团数据对提高分类器的识别率有较大提升。

附图说明

图1是各类细胞分类图，总共分为8类，分别是分别是：单个典型上皮细胞，单个非典型上皮细胞，两个上皮细胞，3个上皮细胞，4个及以上上皮细胞，淋巴细胞和固缩核，单个中心粒细胞，两个及以上中心粒细胞;

图2是重叠细胞核图片合成过程。两张细胞核图片演示合成细胞团图片的过程;

图3是消除细胞背景过程图,提取主细胞区域的轮廓并保存下来构成轮廓的点序列，然后多种形式的图片组合操作去除背景区域;

图4是细胞区域靠近过程图,让第一张图靠近第二张图的ROI区域，设定随机的重叠距离，将两个细胞核区域合成;

图5是细胞核重叠部分说明图,要找到细胞核重叠区域的所有点，根据朗伯比尔定律来推断出重叠部分像素点的值;

图6是坐标转换示意图,将两张图片重新放在一张背景图上操作的，所以在点背景图上的位置与点在源图的位置需要一个坐标转换;

图7是细胞核重叠部分处理前后对比图,可以看到重叠部分处理后比处理前效果更好;

图8是恢复细胞背景过程图,将白色背景置为源图像的背景;

图9是数据不平衡到平衡识别率变化折线图;

图10是类别3（2个上皮细胞）召回率变化折线图;

图11是类别4（3个上皮细胞）召回率变化折线图;

图12是类别5（4个及以上的上皮细胞）召回率变化折线图;

图13是类别8（两个及以上中心粒细胞）召回率变化折线图;

图14是平衡前后各类召回率对比柱状图;

图15是本发明流程图。

具体方法

具体方法：结合图15说明本实施方式，本实施方式是基于随机性的典型成团细胞核图像合成方法，具体是按照以下步骤完成的：

步骤一、对细胞源图像筛选，以获得高质量的源数据：

为了使合成样本更具有代表性，需要对源细胞图像进行样本选择；步骤如下：

1）假设原始样本集合为P={a1,a2,...an},设定一个空集合为Q,从P集合中随机选取一个样本ak，加入到Q集合；

2）在集合P中选择一个样本am，利用欧式距离分别计算样本am与Q中每个样本在特征空间的距离，最小距离为dmin，若dmin的值小于设定的阀值D，从集合P中删除样本am，否则，将am加入到集合Q中，并在集合P中删除am，欧式距离公式如下：

其中，n为细胞图像的特征维数，d为样本a_i和a_j的欧式距离，（x₁₁,x₁₂,...,x_1n）(x₂₁,x₂₂,...,x_2n)分别为两张细胞图片的特征向量；

3）继续在集合P中选择一个样本，循环步骤2），直到样本选择结束；

步骤二、对随机选择的两张源图像进行旋转:

图像旋转的实质目的就是引入随机性，让两个细胞团重叠的区域随机生成，产生的图片更具多样性;旋转后细胞图像的大小、形状、光密度、颜色等特征都不会改变，只是在某种程度上增加了成团细胞的种类;旋转的角度随机，那么新成团细胞的重叠区域就是随机的。

步骤三、对两张细胞核图片分别分割并提取轮廓：

在分割细胞与背景时，小于阀值的灰度点构成细胞核区域，而大于阀值的灰度点构成细胞背景区域;将图像中的每个像素的灰度值都与阀值比较，根据比较结果进行分割：

其中，T是分割阀值，f(x,y)是原图像中像素的灰度值，F(x,y)是分割后图像中像素的灰度值;取直方图的谷点作为初始阀值；

步骤四、多种形式的图片组合操作去除背景区域:

具体的方法是（附图中图3）：

1）创建一张细胞轮廓区域为白色，背景为黑色的图a；

2）创建一张细胞轮廓区域为白色，背景为黑色的图b；

3）将黑色背景白色轮廓的图a与源细胞图c相与操作，得到图d；

4）将黑色轮廓白色背景图与图d相加操作，得到图e，即所需的白色背景细胞图。

步骤五、细胞核的合成过程:

提取轮廓后可以分别得到两张图片的细胞轮廓的中心点，第一张图的ROI沿着两个中心点的连线向右靠近第二张图的ROI，当第一个图的细胞核最右边的边缘点在第二个ROI左侧边界的右边时，两个ROI的细胞核区域开始重叠;

判断边缘点是否在第二个ROI区域左侧线段右边，用公式(9)判断：

其中，p₁、p₂分别为第二个ROI区域左侧线段的两个端点，p₃为第一个图细胞核最右边的一个边缘点，(x₁,y₁)（x₂,y₂）（x₃,y₃）分别为p₁、p₂、p₃的坐标，f(p1,p2,p3)≤0时，p₃位于线段线段p₁、p₂的右侧或之上。

步骤六、确定细胞核重叠区域:

首先要找到细胞核重叠区域的所有点;具体步骤为：

1）分别得到两个轮廓的最小外外包矩形，并找到两个矩形的相交部分，如图6中的a,b点为两个矩形的相交点;

2）以a,b点分别向外扩2个像素点的距离为宽，最大外包矩形的高为长，构造一个搜索区域;

3）在非白色部分得搜索区域遍历每一个像素点，若这个点在第一个轮廓内并且在第二个轮廓内，或者在第一个轮廓上或在第二个轮廓上，判断此点属于重叠区域；

4）搜索出所有属于重叠区域的点构成重叠区域。

步骤七、重叠部分区域像素重构:

a.由于是将两张图片重新放在一张背景图上操作的，所以在点背景图上的位置与点在源图的位置需要一个坐标转换，如图6，假设大背景图为矩形B，源图为矩形A，点P大背景图B上的位置为(X,Y)，A在B上的左上角坐标为(a,b),那么点P在源图A上地位置(x,y)计算如公式(10)：

由上式可以得到重叠区域的点位置在源图的坐标，然后可以得到每个重叠区域位置的点分别在源图的位置对应的像素值，最终可以换算出新的像素值；

b.根据朗伯比尔定律来推断出重叠部分像素点的值，首先将某一点的灰度值转为光密度值，用光密度进行累加，最后将光密度又转换为灰度值。转换过程如式(11)-(12)：

其中，I₀为背景的灰度值，I₁，I₂分别为重叠部分一个位置对应点分别在两个源图的灰度值，A₁，A₂分别为这个位置对应的光密度值;

那么重叠部分的像素点的新的灰度值推断公式如(13)：

其中，为重叠部分一个位置对应的点的新的光密度值，Is则为这个点重构后的新的灰度值，Is的值转换为灰度值的计算如(14):

步骤八、还原背景:

为了让合成后的图像与现有的细胞团图像更为接近，需要将白色背景置为源图像的背景,与消除背景方法类似;首先创建一张背景为源细胞背景，轮廓区域为白色的图,然后将此图与合成后的图像相与，即可得到带有背景的细胞团图像；

整个过程如图15所示：

本发明还可有其它多种图像合成方法，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.基于随机性的典型成团细胞核图像合成方法，此方法首先筛选源细胞图，然后经过旋转，分割后等处理，用两张图片图合成新的成团细胞核图片；为了使合成的细胞接近真实数据，我们在细胞旋转和重叠长度等方面引入随机性，可生成N重叠细胞，并根据朗伯比尔定律定律重构细胞核重叠部分的灰度值。

2.基于随机性的典型成团细胞核图像合成方法主要是按照以下步骤进行的：

步骤一、对细胞源图像筛选：

为了使合成样本更具有代表性，需要对源细胞图像进行样本选择；步骤如下：

1）假设原始样本集合为P={a₁,a₂,...a_n},设定一个空集合为Q,从P集合中随机选取一个样本a_k，加入到Q集合；

2）在集合P中选择一个样本a_m，利用欧式距离分别计算样本a_m与Q中每个样本在特征空间的距离，最小距离为d_min，若d_min的值小于设定的阀值D，从集合P中删除样本a_m，否则，将a_m加入到集合Q中，并在集合P中删除a_m，欧式距离公式如下：

其中，n为细胞图像的特征维数，d为样本a_i和a_j的欧式距离，（x₁₁,x₁₂,...,x_1n）(x₂₁,x₂₂,...,x_2n)分别为两张细胞图片的特征向量；

3）继续在集合P中选择一个样本，循环步骤2），直到样本选择结束；

步骤二、对随机选择的两张源图像进行旋转：

对两张源图像分别旋转随机角度，目的就是引入随机性，让两个细胞团重叠的区域随机生成，产生的图片更具多样性；旋转后细胞图像的大小、形状、光密度、颜色等特征都不会改变，只是在某种程度上增加了成团细胞的种类，旋转的角度随机，那么新成团细胞的重叠区域就是随机的。

3.步骤三、对两张细胞核图片分别分割并提取轮廓:

a.将图像中的每个像素的灰度值都与阀值比较，根据比较结果进行分割：

(2)

其中，T是分割阀值，f(x,y)是原图像中像素的灰度值，F(x,y)是分割后图像中像素的灰度值；

b.根据直方图确定分割阀值,取直方图的谷点作为初始阀值；

c.然后用掏空内部点的方法进行轮廓提取；

步骤四、多种形式的图片组合操作去除图片背景：

具体的方法是（见附图中图3）：

创建一张细胞轮廓区域为白色，背景为黑色的图a；

创建一张细胞轮廓区域为白色，背景为黑色的图b；

将黑色背景白色轮廓的图a与源细胞图c相与操作，得到图d，公式如（3）：

(3)

d.将黑色轮廓白色背景图与图d相加操作，得到图e，即所需的白色背景细胞图，公式如（4）：

(4)

在公式（3）和（4）中，p₁(x,y)、p₂(x,y)分别表示两张输入图像在(x,y)位置处的像素值，p(x,y)表示输出图像在(x,y)位置处的像素值。

4.步骤五、细胞合成过程：

提取轮廓后可以分别得到两张图片的细胞轮廓的中心点，第一张图的ROI沿着两个中心点的连线向右靠近第二张图的ROI，当第一个图的细胞核最右边的边缘点在第二个ROI左侧边界的右边时，两个ROI的细胞核区域开始重叠；

判断边缘点是否在第二个ROI区域左侧线段右边，用公式(5)判断：

(5)

其中，p₁、p₂分别为第二个ROI区域左侧线段的两个端点，p₃为第一个图细胞核最右边的一个边缘点，(x₁,y₁)（x₂,y₂）（x₃,y₃）分别为p₁、p₂、p₃的坐标，f(p1,p2,p3)≤0时，p₃位于线段线段p₁、p₂的右侧或之上。

5.步骤六、确定细胞核重叠区域：

重构像素需要找到细胞核重叠区域，具体步骤为：（1）分别得到两个轮廓的最小外外包矩形，并找到两个矩形的相交部分，如图5中的a,b点为两个矩形的相交点；（2）以a,b点分别向外扩2个像素点的距离为宽，最大外包矩形的高为长，构造一个搜索区域；（3）在非白色部分得搜索区域遍历每一个像素点，若这个点在第一个轮廓内并且在第二个轮廓内，或者在第一个轮廓上或在第二个轮廓上，判断此点属于重叠区域；（4）搜索出所有属于重叠区域的点构成重叠区域。

6.步骤七、重叠部分区域像素重构：

a.由于是将两张图片重新放在一张背景图上操作的，所以在点背景图上的位置与点在源图的位置需要一个坐标转换，如图6，假设大背景图为矩形，源图为矩形，点P大背景图B上的位置为(X,Y)，在上的左上角坐标为(a,b),那么点在源图上地位置(x,y)计算如公式(6)：

(6)

由上式可以得到重叠区域的点位置在源图的坐标，然后可以得到每个重叠区域位置的点分别在源图的位置对应的像素值，最终可以换算出新的像素值；

b.根据朗伯比尔定律来推断出重叠部分像素点的值，首先将某一点的灰度值转为光密度值，用光密度进行累加，最后将光密度又转换为灰度值，转换过程如式(7)-(8)：

(7)

(8)

其中，I₀为背景的灰度值，I₁，I₂分别为重叠部分一个位置对应点分别在两个源图的灰度值，A₁，A₂分别为这个位置对应的光密度值;

那么重叠部分的像素点的新的灰度值推断公式如(9)：

(9)

其中，为重叠部分一个位置对应的点的新的光密度值，I_s则为这个点重构后的新的灰度值,I_s的值转换为灰度值的计算如(10)：

(10)

根据坐标转换将重叠部分的像素值全部按照公式（10）计算赋值，最后得到处理后的细胞核图像。

7.步骤八、还原背景：

为了让合成后的图像与现有的细胞团图像更为接近，需要将白色背景置为源图像的背景，过程如附图中图8，与消除背景方法类似，首先创建一张背景为源细胞背景，轮廓区域为白色的图，然后将此图与合成后的图像相与，即可得到带有背景的细胞团图像；

至此，重叠细胞核图片合成完毕。