CN110533583A - 一种基于宫颈液基细胞的自适应图像增广系统 - Google Patents

Abstract

本发明公开了一种基于宫颈液基细胞的自适应图像增广系统，具体涉及医疗技术领域，包括有目标图像集的创建模块、目标图像与源图像的自动匹配模块和图像转化模块；所述目标图像的创建模块将用于收集各种不可控因素影响的切片图像作为目标图像，进而模拟这些不可控因素造成的颜色影响；所述目标图像与源图像的自动匹配模块用于找到源图像所对应的目标图像。本发明通过用目标图像与源图像染色密度图进行建模，在保存生物结构信息的基础上，对切片图像进行颜色迁移，即目标图像的颜色特征迁移到源图像上，可以模拟上述不可控因素对图像颜色的影响，从而提高AI辅助系统的泛化能力。

Description

一种基于宫颈液基细胞的自适应图像增广系统

技术领域

本发明涉及医疗技术领域，更具体地说，本发明涉及一种基于宫颈液基细胞的自适应图像增广系统。

背景技术

先进的高通量扫描技术使人工智能分析病理成为可能。在大数据时代的背景下，大部分基于这些病理图像的算法都采用了机器学习或者深度学习等方法。这都依赖于通过大量的训练数据集捕捉各种各样的变化来区分类内差异和类间差异从而识别各类癌变细胞。但标注大规模数据集，尤其是难获取的医学图像数据，不仅需要专业人士的参与而且十分耗时。因此获取足够数量且具有广泛代表性的训练样本是医学辅助诊断甚至所有AI领域研发的关键环节。无论是公知领域还是专业领域，都进行了样本增广。值得注意的是，不同领域甚至是同一领域的不同研究方向，其获取样本的增广方法均不相同。此外，样本增广并不是普通的增加样本数量，而是尽可能再现小样本量无法完全覆盖的真实样本存在，从而提高样本多样性，提高算法乃至是AI系统的表现力和性能。目前，数据增广最基本、最普遍的方法有：

1.对颜色的增强：调整图像亮度、饱和度、对比度、颜色通道；

2.采用简单的仿射变换：对图像进行水平、垂直翻转或者平移变换；

3.大小的调整：采用随机插值方式，对图像进行裁剪、缩放、扭曲；

4.增加噪音、抖动：对图像引入高斯模糊或者对图像进行模糊处理，对于超声图像，还可以增加椒盐噪声；

5.随机遮挡或擦除：以随机像素擦除随机选择的矩形区域，产生不同遮挡的程度的图像，该方法与随机裁剪、旋转具有一定的互补性即综合应用这些方法模型可以获得更好的表现。

随着AI在医疗领域的发展日益显著，以计算机图像作为载体的影像、病理已然成为AI医疗领域落地的主要突破口。鉴于医疗图像种类的多样性和复杂性，收集相关数据是一个耗时耗力且耗费大量资金的过程，而且需要研究人员与专业医生合作完成。在AI辅助医疗中，样本获取有诸多的限制：1)医疗数据合法使用的法规政策不明确。现有的医疗数据安全规定过于笼统；2)医院和医生提供医疗数据的动力不足。一些医院对于提供需要大量提供标注信息的数据，执行力不强；3)现有的医疗数据标准化没有形成，质量参差不齐。

综上所述，数据过于单一将会造成最终的算法无法很好地适应大多数医院，算法不稳定将直接导致漏诊，错诊的情况，此外，在短时间内收集到的数据中有大部分是来自医院很早之前保留的切片，这些切片由于保存时间长，大多比较陈旧，在图像上表现出不同程度上的暗沉、对比度不高、甚至出现褪色或者模糊的情况。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种基于宫颈液基细胞的自适应图像增广系统，通过用目标图像与源图像染色密度图进行建模，在保存生物结构信息的基础上，对切片图像进行颜色迁移，即目标图像的颜色特征迁移到源图像上，可以模拟上述不可控因素对图像颜色的影响，从而提高AI辅助系统的泛化能力，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于宫颈液基细胞的自适应图像增广系统，包括有目标图像集的创建模块、目标图像与源图像的自动匹配模块和图像转化模块；

所述目标图像的创建模块将用于收集各种不可控因素影响的切片图像作为目标图像，进而模拟这些不可控因素造成的颜色影响；

所述目标图像与源图像的自动匹配模块用于找到源图像所对应的目标图像；

所述图像转化模块主要负责将源图像转化成与目标图像颜色相似的图像，从而达到数据扩增的目的。

在一个优选地实施方式中，所述目标图像的创建模块中挑选目标图像需要用到以下原则：尽可能的收集用新鲜切片扫描的图像、尽可能的收集不同扫描仪扫描的图像、对于同一切片的图像，尽可能的收集有不同颜色分布的图像、尽可能收集具有代表性的不同地区医院的切片图像、尽可能的收集有不同类型阳细胞的图像、尽可能的收集不同制片方式的切片图像和尽可能选择质量好的图像。

在一个优选地实施方式中，所述目标图像的创建模块中所挑选的目标图像可根据不同模型的输出要求设置，且每一张大的切片图像都应选择若干同样大小的patch作为target，而目标图像集的数量≥200张。

在一个优选地实施方式中，所述目标图像与源图像的自动匹配模块中图像匹配准则为颜色相似度和纹理相似度。

在一个优选地实施方式中，所述目标图像与源图像的自动匹配模块中颜色相似度和纹理相似度的图像匹配准则满足如下算法：

其中，在(1)中为两张图像颜色的相似度，512为三通道的彩色图像共有512个组合，即图像的颜色特征向量有512维，v_s为源图像的特征向量，v_t为目标图像集的特征向量，上标i代表目标图像集的第i张图像；在(2)中，为纹理信息的相似度，表示源图像所对应的灰度图在q位置下的灰度值，表示目标图像所对应的灰度图在q位置下的灰度值，w和h分别为图像的长和宽；在(3)中，实际项目中的a一般取0.35，b取0.65。

在一个优选地实施方式中，所述图像转化模块包括有增值偏移聚类算法、染色分离算法和颜色重组算法。

在一个优选地实施方式中，所述增值偏移聚类算法满足如下公式：

其中，m*m为划分后的图像块大小，r，g，b分别表示三个颜色通道图像块的灰度均值，表示图像块红色通道上位置(i,j)上的灰度值。

在一个优选地实施方式中，所述染色分离算法满足如下公式：

I＝I₀exp(-WH)

其中，I₀表示光强度，I表示rgb图像矩阵，W表示颜色外观矩阵，H为染色密度图。

在一个优选地实施方式中，所述颜色重组算法满足如下公式：

本发明的技术效果和优点：

1、本发明通过利用两个“自适应”的过程，其一为自动匹配目标图像，在数据扩增的过程中，不需要人为的干预；其二为在自动匹配的基础上，计算图像染色分离的个数，以适应各种复杂的宫颈液基细胞切片图像的转化，使得本专利所提及的数据增广方法并不是普通的仿射变换，而是针对的特殊数据：宫颈液基细胞切片图像，从各个方面考虑了影响细胞切片图像颜色的因素，并能够模拟出这些不同因素造成的颜色表现，同时，本专利的应用范围不局限于宫颈液基细胞，其他细胞病理学的图像仍然可以适用，该方法扩展性强，不仅可以在保证细胞结构的前提下改变图像的整体颜色，也可以针对背景色进行修改；

2、本发明可根据图像转化的算法原理，在自动匹配模块中设计了匹配准则，结合了图像的纹理和颜色特征，这样选出来的目标图像与源图像的整体差距适中，不会造成如果颜色差距很大的图像不能被选中；

3、本发明中所提及的基于染色分离的颜色重组在病理学中的应用大部分是基于组织病理学的，因为图像的颜色主要只有两种，而本专利涉及的基于多染色分离的颜色重组方法成功的应用到了病理细胞学，并且丰富了数据，提高了算法的泛化能力。

附图说明

图1为本发明的系统结构示意图。

图2为本发明的目标图像与源图像的自动匹配模块中的算法流程图。

图3为本发明的图像转化模块的整个转化过程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如说明书附图1-3所示，本发明提供了一种基于宫颈液基细胞的自适应图像增广系统，包括有目标图像集的创建模块、目标图像与源图像的自动匹配模块和图像转化模块；

所述目标图像的创建模块将用于收集各种不可控因素影响的切片图像作为目标图像，进而模拟这些不可控因素造成的颜色影响；

所述目标图像与源图像的自动匹配模块用于找到源图像所对应的目标图像；

所述图像转化模块主要负责将源图像转化成与目标图像颜色相似的图像，从而达到数据扩增的目的。

上述技术方案的具体应用场景为：

(一)目标图像集的创建模块

为了更好地适应自动匹配模块的算法以及最大程度上模拟这些不可控因素，挑选目标图像集需要用到以下原则：

1.尽可能的收集用新鲜切片扫描的图像。

2.尽可能的收集不同扫描仪扫描的图像。

3.对于同一切片的图像，尽可能的收集有不同颜色分布的图像。

4.尽可能收集具有代表性的不同地区医院的切片图像。

5.尽可能的收集有不同类型阳细胞的图像。

6.尽可能的收集不同制片方式的切片图像

7.尽可能选择质量好的图像

其他说明：以上所说的图像，其大小根据不同模型的输出要求设置，每一张大的切片图像都应选择若干(约5张)同样大小的patch作为target。目标图像集的数量至少在200张以上。

根据这些原则选择出来的目标图像集就具有不同特性(膜式、沉降式、各种颜色等属性的组合)。这将决定数据增广后的图像的多样性(二)目标图像与原图像的自动匹配模块

对于给定的源图像，我们将其颜色密度图与其所对应的目标图像的颜色基础相结合，从而在保留图像描述内容的同时只改变其颜色特征。

该模块的图像匹配准则有两个，1)颜色相似度；2)纹理相似度，其中

A、颜色相似度

根据图像的颜色分布计算颜色特征向量，其中颜色区间分为8个，三通道的彩色图像共有512个组合，即图像的颜色特征向量有512维，分别计算源图像的特征向量v_s，目标图像集的特征向量v_t，其中上标i代表目标图像集的第i张图像，则两张图像颜色的相似度定义如下：

图像颜色直方图越接近则越小；

B、纹理相似度

根据图像的纹理信息计算纹理相似度，由于图像只需要纹理信息，所以需要将彩色图像转化为灰度图像，相似度定义如下：

其中，表示源图像所对应的灰度图在q位置下的灰度值，表示目标图像所对应的灰度图在q位置下的灰度值，w和h分别为图像的长和宽，图像纹理信息越接近则越小；

C、相似度加权

该匹配模块最终的匹配规则结合了纹理相似度和颜色相似度两个属性。对这两个属性进行线性加权，公式如下：

在实际的项目中，a一般取0.35，b取0.65。

最后计算目标数据集中所有图像与源图像的相似度并按照升序排列，显然，与源图像相似的图像排序是靠前的，为了避免将一些重要结构(如病变细胞)转化为现实中不应该有的颜色，产生不必要的颜色变形，故在匹配源图像对应的目标图像时，应该尽量选择排序靠前所对应的目标图像，一张源图像可以有多个目标图像，即可以将一张源图像转化为多个不同版本的图像。(三)图像转化模块

在转化的过程中，修改源图像的颜色并保持细胞核、细胞质等细胞结构不变，不同于组织病理学，其主要的染色方案是是苏木精和曙红的组合，苏木精是一种蓝紫色的嗜碱性染料，与细胞核强烈结合，而曙红是一种红粉色染色，主要与细胞质和基质中的嗜酸蛋白结合，因此组织学的病理切片图像主要呈现两种颜色：紫色和红粉红色，而宫颈液基细胞属于细胞学，常用巴士染色，而巴士染色可以有很多种颜色表现，由于该模块的算法是一种基于染色分离的方法，因此要解决的首要问题是源图像由几种主要的颜色组成，为了解决上述问题我们选择了像素级的无监督聚类算法——均值漂移聚类法，在此基础上进行染色分离、根据染色分离的密度图对源图像进行颜色重组。

综上所述，该模块共涉及三个算法：1)均值漂移聚类；2)染色分离；3)颜色重组，其中，

A.均值漂移聚类

为了得到源图像(或目标图像)由几种主要颜色组成，项目采用了像素级的无监督聚类方法，其具体做法如下：

将图像分为m*m大小的图像块，并分别计算三个颜色通道的在该图像块中的平均灰度值：

特征向量为：[r,g,b]，则特征向量集为所有图像块的特征向量[R,G,B]其中，r，g，b分别表示三个颜色通道图像块的灰度均值，表示图像块红色通道上位置(i,j)上的灰度值，这些特征向量组成样本点，最后使用均值漂移聚类算法得到簇的个数即为图像的主要组成颜色数n；

B、染色分离

通过上述方法得到的颜色数n即为我们需要染色分离的数目。通过以下属性对染色密度图建模来保存生物结构信息：

1.非负性；

2.每个像素结构允许被建模为有效的稀疏混合矩阵。

根据朗伯比尔定律可知：被测组分对紫外先光或可见光具有吸收作用，且吸收强度与组分浓度成正比，因此

I＝I₀exp(-WH)

令：

则：V＝WH

其中I₀表示光强度，I表示rgb图像矩阵，W表示颜色外观矩阵，H为染色密度图，

则建模后的优化问题为给定图像V，求W和H，其数学表达式如下：

由上述公式可知，该问题可转化为非负矩阵分解，我们在该基础上加入了稀疏正则化，使其变为了联合的非凸优化问题，为了估计出W和H，我们将采用稀疏编码求H，字典学习求W，并且循环交替进行这两步操作，直至达到迭代步数，其中由A步骤求出的n决定了需要求多少组W和H，如n＝3，则源图像的染色分离结果为，目标图像的染色分离结果为

C、颜色重组

颜色重组指的是将源图像的颜色基础替换为目标图像的颜色基础，同时保持结构不变性，其主要做法是将源图像的密度图(H_S)与目标图像的(W_T)相结合而不是W_S，这样既可以通过染色密度图保持结构，也能够改变颜色外观，最后根据朗伯比尔定律逆推公式，得到转化后的图像，其描述的公式如下：

综上所述：通过上述方法进行数据增广，可以使基于该数据，嵌入AI辅助医疗产品中的算法在各大医院具有一定的稳定性，比如(准确率、假阳率、识别的癌细胞个数、假阴率等)这将大大提高大图诊断的可信度，增加临床实验的可靠性，但当基于该数据集的算法在产品中部署好之后，仍然可能出现一些数据是之前没有收集到的，为了高效快速的使模型具有一定的适应能力，我们可以收集一部分该医院的数据作为目标数据集，通过上述增强方法扩增具有该医院颜色特征的图像，在原来权重的基础上，结合迁移学习微调模型。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：包括有目标图像集的创建模块、目标图像与源图像的自动匹配模块和图像转化模块；

所述目标图像的创建模块将用于收集各种不可控因素影响的切片图像作为目标图像，进而模拟这些不可控因素造成的颜色影响；

所述目标图像与源图像的自动匹配模块用于找到源图像所对应的目标图像；

所述图像转化模块主要负责将源图像转化成与目标图像颜色相似的图像，从而达到数据扩增的目的。

2.根据权利要求1所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述目标图像的创建模块中挑选目标图像需要用到以下原则：尽可能的收集用新鲜切片扫描的图像、尽可能的收集不同扫描仪扫描的图像、对于同一切片的图像，尽可能的收集有不同颜色分布的图像、尽可能收集具有代表性的不同地区医院的切片图像、尽可能的收集有不同类型阳细胞的图像、尽可能的收集不同制片方式的切片图像和尽可能选择质量好的图像。

3.根据权利要求1所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述目标图像的创建模块中所挑选的目标图像可根据不同模型的输出要求设置，且每一张大的切片图像都应选择若干同样大小的patch作为target，而目标图像集的数量≥200张。

4.根据权利要求1所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述目标图像与源图像的自动匹配模块中图像匹配准则为颜色相似度和纹理相似度。

5.根据权利要求4所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述目标图像与源图像的自动匹配模块中颜色相似度和纹理相似度的图像匹配准则满足如下算法：

其中，在(1)中为两张图像颜色的相似度，512为三通道的彩色图像共有512个组合，即图像的颜色特征向量有512维，v_s为源图像的特征向量，v_t为目标图像集的特征向量，上标i代表目标图像集的第i张图像；在(2)中，为纹理信息的相似度，表示源图像所对应的灰度图在q位置下的灰度值，表示目标图像所对应的灰度图在q位置下的灰度值，w和h分别为图像的长和宽；在(3)中，实际项目中的a一般取0.35，b取0.65。

6.根据权利要求1所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述图像转化模块包括有增值偏移聚类算法、染色分离算法和颜色重组算法。

7.根据权利要求6所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述增值偏移聚类算法满足如下公式：

其中，m*m为划分后的图像块大小，r，g，b分别表示三个颜色通道图像块的灰度均值，表示图像块红色通道上位置(i,j)上的灰度值。

8.根据权利要求6所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述染色分离算法满足如下公式：

I＝I₀exp(-WH)

其中，I₀表示光强度，I表示rgb图像矩阵，W表示颜色外观矩阵，H为染色密度图。

9.根据权利要求6所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述颜色重组算法满足如下公式：