CN110705632A - 一种抗核抗体荧光核型自动标注方法 - Google Patents

Abstract

一种抗核抗体荧光核型自动标注方法属于医疗大数据处理的研究领域。由于已标注的抗核抗体荧光核型图片收集困难，利用少量样本从头学习一个全新的Faster‑RCNN网络结构难以实现。本发明方法的第一步就是针对要识别图片特点，选用一个常见的预训练模型作为初始网络。第二步，比较预训练模型对输入图片的要求与收集到的训练样本实例，进行图片预处理工作，具体包括切割、标注及命名等工作。第三步就是通过上一步获取到的训练样本对带初始化网络的Faster‑RCNN进行训练，并通过迭代优化确定实时参数。获取到合适的Faster‑RCNN模型后，方法的第四步就可以进行新增图片识别与标注工作，当然新增图片同样需要进行必要的预处理，比如切割。

Description

一种抗核抗体荧光核型自动标注方法

技术领域

一种适合大规模医疗图片的自动检测及标注方法，属于医疗大数据研究领域。具体涉及一种抗核抗体荧光核型自动标注方法。

背景技术

抗核抗体(anti-nuclear antibody，ANA)是泛指一类具有抗各种细胞成分的自身抗体。抗核抗体检测在自身免疫性疾病的临床诊断、鉴别诊断、评价疗效和预后估计中有较大作用，常将抗核抗体的检测作为自身免疫病的重要初筛试验。目前临床上有多种检测ANA的方法，其中间接免疫荧光(IIF)法是ANA检测的推荐方法。尽管全自动间接免疫荧光法分析仪(HELIOS)可以帮助医生对荧光载片进行判读，但是HELIOS只能判定滴度，不能判定荧光核型。目前对抗核抗体荧光核型图片中的细胞所属类型识别基本是通过人工来进行的，标准化和自动化程度相对比较低。而且由于细胞类型多、识别难度大，在标本量大的情况下，人工核型识别的准确性也较低。因此抗核抗体荧光核型图片识别与标注存在极大的改进空间。特别是使用现有人工智能方法进行自动识别及标注是一个极具前景的研究方向。

深度学习算法是目前人工智能领域中处理图像识别任务的主流算法，其中,卷积神经网络系列算法因其检测速度快，精确度高等特点更是成为常用的图像目标检测方法。Faster-RCNN是继RCNN，fast RCNN之后，这一团队在2015年提出的最新算法。Faster RCNN使用了一个区域生成网络将目标检测的四个基本步骤：候选区域生成，特征提取，分类以及位置精修统一到了一个深度网络框架之内。使得最终的计算没有重复，可以完全在GPU中完成，大大提高了运行速度。这一技术现已被应用于各种目标检测任务，常见的有智能交通中的车辆目标检测，智能农业中的害虫检测，智能工业中的电路检测等任务。

发明内容

本发明尝试使用Faster-RCNN算法来自动完成抗核抗体荧光核型图片识别与标注任务，提出了基于Faster-RCNN的抗核抗体荧光核型图片识别与标注方法(a detectionand tagging method of ANA fluorescence karyotype based on Faster-RCNN，DTMANAFK-faster-RCNN)，如图1所示。由于已标注的抗核抗体荧光核型图片收集困难，利用少量样本从头学习一个全新的Faster-RCNN网络结构难以实现。本发明方法的第一步就是针对要识别图片特点，选用一个常见的预训练模型作为初始网络。第二步，比较预训练模型对输入图片的要求与收集到的训练样本实例，进行图片预处理工作，具体包括切割、标注及命名等工作。第三步就是通过上一步获取到的训练样本对带初始化网络的Faster-RCNN进行训练，并通过迭代优化确定实时参数。获取到合适的Faster-RCNN模型后，方法的第四步就可以进行新增图片识别与标注工作，当然新增图片同样需要进行必要的预处理，比如切割。为了简化，本方法目前只能识别与标注细胞核均质类型一(标nh1)及细胞核均质类型二(标nh2)两种核型。

本发明提供的基于Faster-RCNN的抗核抗体荧光核型图片识别与标注方法DTMANAFK-faster-RCNN，具体步骤如下：

步骤1：收集已标注(细胞核均质类型一及细胞核均质类型二)的抗核抗体荧光核型图片集合D1及D2及对应XML格式说明数据E1及E2，其中图片大小：m*n像素，标注目标长度范围a～b像素，宽度范围c～d像素，目标相对于图片的最小占比p(x)＝(a*c)/(m*n)。

步骤2：下载并安装Tensorflow框架中提供的Faster-RCNN模型到Linux服务器。

步骤3：下载并安装预训练模型VGG16到Faster-RCNN模型指定目录。考虑到抗核抗体荧光图片背景单纯，已标注数据集相对较小，本发明选择了ImageNet分类中预训练模型相对简单且常用的VGG16模型用于初始化网络。

步骤4：Faster-RCNN模型对于采集的原始图像没有要求，但是作为输入放入网络训练的话就必须限制图片的大小。一般Faster-RCNN对于输入图像的大小限制规则是：短边的最大值为600，长边的最大值为1000，对于输入图像优先考虑长边的限制。预训练模型VGG16也有最优建议输入224*224的要求，但是如果识别目标精细度要求高，实际输入需要的像素通常要高于这个要求。

医学图片样本的精度一般都大于模型的规定，而且本发明针对的识别目标在原始图片中的占比相对较小，数量级是0.0x％，直接使用这种占比的原始图片无法工作，在折中考虑了原始图片大小、算法精度和时间效率等影响因素后，通过反复的迭代实验，本发明确定了一个适用于本方法的占比最小阈值K1＝0.8％。

当Max(m,n)>1000，Min(m,n)>600，或p(x)<0.8％时，转移到步骤5使用回退像素方法对图片集合D1及D2进行切割，获取到切割后的图片集合D11及D22。否则，直接重命名图片集合D1及D2成为D111及D222对应说明数据E1及E2成为E11及E22，跳转到步骤7。

步骤5：每个目标的最大长度为b像素，最大宽度为d像素，为了保证切割时不破坏标注样本，长、宽方向的回退像素距离x1,y1，必须满足x1>b,y1>d。为了预留误差，本发明分别设定x1＝1.5*b，y1＝1.5*d。

假设长、宽的回退次数分别是x2、y2，则最终一张图片会被分割成z张图片，分割后每张图片的像素尺寸为X*Y，面积为Q，为满足步骤4中所述的长宽及占比约束，下边公式成立。

(a*c)/Q>＝K1 (1)

224<Max{X,Y}<1000 (2)

224<Min{X,Y}<600 (3)

其中z＝(x2+1)*(y2+1)，Q＝X*Y，X＝((m+x1*x2)/(x2+1))，Y＝((n+y1*y2)/(y2+1))。

其中公式(2)和(3)是对图片长宽的约束条件，我们要解决的是分割次数，如果忽略回退距离x1,y1就能得到近似等式：X＝m/(x2+1)，Y＝n/(y2+1)，将这个等式带入公式(2)和(3)，就得到了分割次数的近似约束条件，如公式(4)和(5)所示。

Max{m,n}/1000<Max{x2+1,y2+1}<Max{m,n}/224 (4)

Min{m,n}/600<Max{x2+1,y2+1}<Min{m,n}/224 (5)

通过(4)和(5)可以计算出x2,y2的大致范围，因为分割次数必须是整数且消耗时间应该尽可能少，所以从满足范围的最小整数开始递归枚举分割次数，每次递增的量是1。直到该分割情况下的占比约束满足公式(1)，则停止枚举。此时x2,y2的取值就是我们需要的分割次数。对图片集合D1及D2进行对应的回退像素分割，获取到D11及D22。

如果是未标注图片则跳转到步骤9，否则继续。

步骤6：切割后需要生成新图片集合的XML格式说明数据，本发明采用了LabelImg图像标注工具对切割后的图片集合D11及D22分别进行了两种目标样本的手动标注，形成了最终的样本图片集D111、D222及对应说明数据集E11及E22。

步骤7：配置样本图片集D111、D222及对应说明数据E11及E22到指定目录，开始Faster-RCNN模型训练的过程。预训练模型VGG16的选择相当于选定了一组网络结构以及初始参数，接下来通过多次调整学习率(Learning Rate，lr)及迭代次数(Training Epochs，te)这两个训练过程中的核心参数，找到满足精度的一组参考值，获取到一个性能满足条件的可用模型。

具体为：精度性能设定大于80％，通过多次训练，初步得出了核心参数学习率lr与迭代次数te的取值范围。且在样本量少于10⁴情况下，核心参数的取值最好满足lr<＝0.001,te>＝4000。

考虑到训练的时间效率，通常选取边界值训练参考模型M。

步骤8：收集需要标注图片dx，其中图片大小：m_x*n_x像素，标注目标长度范围a_x～b_x像素，宽度范围c_x～d_x像素，目标相对于图片的最小占比p(dx)＝(a_x*c_x)/(m_x*n_x)。

如果Max{m_x,n_x}>1000，Min{m_x,n_x}>600，或p(dx)<0.8％时，则跳转到步骤5进行分割，否则跳转到步骤9进行新图片标注。

步骤9：按M模型要求配置样本图片集D11、D22到指定目录，运行M进行图片标注。

附图说明

图1基于Faster-RCNN的抗核抗体荧光核型图片识别与标注方法；

图2回退像素图片切割；

图3-a细胞核均质类型一(标nh1)；

图3-b细胞核均质类型二(标nh2)；

具体实施方式

下面将结合附图和具体实施例对本发明进行详细说明。

步骤1：从医疗机构收集到已标注图片200张，其中每张图片大小：2333*1777像素，标注目标长度范围50～135像素，宽度范围50～100像素，目标相对于图片的最小占比p(x)＝0.06％。200张图片中包含细胞核均质类型一，如图3-a，的数量为1197个，包含细胞核均质类型二，如图3-(b)，的数量为904个。

步骤2：下载并安装Tensorflow框架中提供的Faster-RCNN模型到Linux服务器，具体环境Ubuntu 18.04.2服务器，内存为125G，GPU版本号410.79，CUDA驱动版本为10.0。

步骤3：下载并安装预训练模型VGG16到Faster-RCNN模型指定目录。

步骤4：因为2333>1000，1777>600，或0.06％<0.8％，所以跳转到步骤5。

步骤5：根据已知条件得到：x1＝1.5*135＝202，y1＝1.5*100＝150。

为了满足分割次数的约束条件，也即步骤4中的公式(4)和(5)，将2333*1777带入上述公式，得到了分割次数x2,y2的大致范围如下：

2.3<Max{x2+1,y2+1}<10.4

3<Min{x2+1,y2+1}<7.9

从满足范围的最小整数开始枚举，获取到第一组整数值(3,4)，说明每张图片需要横向切割三次，纵向切割四次，则X*Y近似735*480.占比P(x)＝0.71％，不满足公式(1)，则继续枚举，获取到第二组值(4,4)。说明每张图片需要横向切割四次，纵向切割四次，则X*Y近似640*480，占比P(x)＝0.81％，满足公式(1)，停止枚举。分割次数(4,4)就是最终取值，并照此切割D1及D2。具体切割如图2所示。

步骤6：采用了LabelImg图像标注工具对切割后的图片集合D11及D22分别进行了两种目标样本的手动标注，形成最终的训练样本图片集D111及D222及对应样本说明数据集E11及E22。

步骤7：配置样本图片集D111、D222及对应说明数据E11及E22到指定目录，继续训练基于VGG16的Faster-RCNN模型，考虑到核心参数的取值范围及时间效率，选取了学习率为0.001，迭代次数为4000次的最终模型作为最后的自动标注模型M。

步骤8：收集同样参数的需要标注的图片50张形成测试集合Dx，跳转到步骤5进行分割。

步骤9：按M模型要求配置样本图片集D11、D22到指定目录，运行M进行图片标注。

为了验证本框架有效性，本发明进行了实际数据的测试。

实验数据：所用的荧光图片数据来自北京协和医院临床搜集。通过筛选后获取到250张包含nh1和nh2目标的图片，其中200张用于模型训练，50张用于最终的测试。最终的测试图片通过回退分割获取到1250张640*480像素的标注图片。其中包括405个nh1，268个nh2。

实验条件：本文实验环境是Linux Ubuntu 18.04.2服务器，内存为125G，GPU版本号410.79，CUDA驱动版本为10.0。算法使用了Tensorflow框架中提供的Faster-RCNN模型，并选用了预训练模型VGG16进行了网络初始化。

实验结果：表1列出了最终的测试实验结果。其中的概率阈值是0.8，也即当目标定位概率大于等于0.8时就认为是目标。从表中可以看出，整体的学习效果都不错，特别是nh1，精度已经达到96.1％。在查全率大致相同的情况下，nh1的精度明显好于nh2。最可能的原因就是nh1的学习样本数量比nh2多。

表1测试统计(其中概率阈值是0.8)

最后应说明的是：以上示例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的示例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种抗核抗体荧光核型自动标注方法，其特征在于步骤如下：

步骤1：收集已标注细胞核均质类型一及细胞核均质类型二的抗核抗体荧光核型图片集合D1及D2及对应XML格式说明数据E1及E2，其中图片大小：m*n像素，标注目标长度范围a～b像素，宽度范围c～d像素，目标相对于图片的最小占比p(x)＝(a*c)/(m*n)；

步骤2：下载并安装Tensorflow框架中提供的Faster-RCNN模型到Linux服务器；

步骤3：下载并安装预训练模型VGG16到Faster-RCNN模型指定目录；

步骤4：当Max{m,n}>1000，Min{m,n}>600，或p(x)<K1时，K1＝0.8％；转移到步骤5使用回退像素方法对图片集合D1及D2进行切割，获取到切割后的图片集合D11及D22；否则，直接重命名图片集合D1及D2成为D111及D222对应说明数据E1及E2成为E11及E22，跳转到步骤7；

步骤5：每个目标的最大长度为b像素，最大宽度为d像素，为了保证切割时不破坏标注样本，长、宽方向的回退像素距离x1,y1，必须满足x1>b,y1>d；为了预留误差，本发明分别设定x1＝1.5*b，y1＝1.5*d；

假设长、宽的回退次数分别是x2、y2，则最终一张图片会被分割成(x2+1)*(y2+1)张图片，分割后每张图片的像素尺寸为X*Y，面积为Q，为满足步骤4中所述的长宽及占比约束，下边公式成立；

(a*c)/Q>＝K1 (1)

224<Max{X,Y}<1000 (2)

224<Min{X,Y}<600 (3)

其中Q＝X*Y，X＝((m+x1*x2)/(x2+1))，Y＝((n+y1*y2)/(y2+1))；

其中公式(2)和(3)是对图片长宽的约束条件，我们要解决的是分割次数，如果忽略回退距离x1,y1就能得到近似等式：X＝m/(x2+1)，Y＝n/(y2+1)，将这个等式带入公式(2)和(3)，就得到了分割次数的近似约束条件，如公式(4)和(5)所示；

Max{m,n}/1000<Max{x2+1,y2+1}<Max{m,n}/224 (4)

Min{m,n}/600<Max{x2+1,y2+1}<Min{m,n}/224 (5)

通过(4)和(5)可以计算出x2,y2的大致范围，因为分割次数必须是整数且消耗时间应该尽可能少，所以从满足范围的最小整数开始递归枚举分割次数，分割次数每次递增的量是1；直到该分割情况下的占比满足公式(1)，则停止枚举；此时x2,y2的取值就是需要的分割次数；对图片集合D1及D2进行对应的回退像素分割，获取到D11及D22；

如果是未标注图片则跳转到步骤9，否则继续；

步骤6：采用LabelImg图像标注工具对切割后的图片集合D11及D22分别进行了两种目标样本的手动标注，形成了最终的样本图片集D111、D222及对应说明数据集E11及E22；

步骤7：配置样本图片集D111、D222及对应说明数据E11及E22到指定目录，开始Faster-RCNN模型训练的过程；预训练模型VGG16的选择相当于选定了一组网络结构以及初始参数，接下来通过多次调整学习率lr及迭代次数te这两个训练过程中的核心参数，找到满足精度性能大于80％的一组参考，获取到一个性能满足条件的可用模型M；

步骤8：收集需要标注图片集Dx，其中任意图片dx大小：m_x*n_x像素，标注目标长度范围a_x～b_x像素，宽度范围c_x～d_x像素，目标相对于图片的最小占比p(dx)＝(a_x*c_x)/(m_x*n_x)；

如果Max{m_x,n_x}>1000，Min{m_x,n_x}>600，或p(dx)<0.8％时，则跳转到步骤5进行分割，否则跳转到步骤9进行新图片标注；

步骤9：按M模型要求配置样本图片集D11、D22到指定目录，运行M进行图片标注。

2.根据权利要求1所述的方法，其特征在于：在样本量少于10⁴情况下，取值满足lr<＝0.001,te>＝4000。

Images