CN109858498A - 一种用于核型白内障图像的特征提取方法 - Google Patents

Abstract

本发明公开了一种用于核型白内障图像的特征提取方法：步骤1、对清晰核型白内障图像进行模糊处理得到对应的清晰‑模糊图像对数据集，用清晰‑模糊图像对数据集训练DeblurGAN模型，并用该模型去除实际采集图像的模糊，得到去模糊后的实际采集核型白内障图像数据集；步骤2、根据去模糊后的实际采集核型白内障图像数据集训练CNN模型，根据训练好的CNN模型得到相应的图像特征提取器；步骤3、将待提取特征的核型白内障图像利用训练好的DeblurGAN模型产生清晰的图像，再将得到的清晰图像利用图像特征提取器计算得到图像的特征。本发明能够缓解医学领域核型白内障模糊弱样本对特征提取造成干扰的问题，不需要人为采集大量清晰样本来支持模型的学习，鲁棒性更好。

Description

一种用于核型白内障图像的特征提取方法

技术领域

本发明属于计算机视觉处理技术领域，具体涉及一种用于核型白内障图像的特征提取方法。

背景技术

计算机视觉技术已经广泛应用于医学、工业、农业、交通和日常生活等领域，其可以较好地胜任图像特征识别提取和后续处理工作，为各种信息的智能化快捷处理提供了极大的帮助。

其中在图像特征提取中，采集图像时，由于多种复杂环境的影响，部分图像在黑暗环境中拍摄，部分图像在明亮环境中拍摄。不同光线和拍摄情境下来源的图像在特征的具体表现上有差异，并且存在不同的干扰因素。其中的异质问题包括拍摄黑暗环境存在漏光，导致图像有明显的反光问题；拍摄器材对焦不准，导致图像整体不清晰，难以分辨待识别区域等。以上多源异质干扰是在实际应用采集图像进行分析数据时必须考虑的问题，会对后续的计算机图像特征识别方法产生严重的干扰。例如在医学领域中，采集到的临床核型白内障数据就具有上述问题，导致图像整体不清晰，难以进行下一步病情分析。

由于医学领域的特殊性，存在难以获得大量的临床数据的小样本问题，加上上文的多源异质问题，共同组成了医学影像计算机辅助处理领域的弱样本问题。对此，科研人员不可能放弃有干扰的数据，而只是用清晰标准的数据。因此，需要一种临床核型白内障的图像预处理工作，来协调不同来源的数据，并且尽量去除掉大量干扰信息，让现有未标准化数据更加符合标准。那么在此基础上使用的图像特征算法可以拥有更强鲁棒性的方法，在弱样本的情况下，能更准确地提取出临床核型白内障数据的图像特征。

目前，针对于实际应用中的医学领域的计算机图像特征识别，以临床核型白内障图像数据为例，其特征提取的方法主要包括以下几类：

1、科研人员根据临床核型白内障图像，直观地观察该类图像可能具有的灰度、纹理、能量、稠密、边缘、空间特征等图像特征信息。根据观察结果，在传统图像处理的基础上，人为地设计相应特征的提取方法。该方法的优点是特征维度低，处理速度快。但该方法的缺点更明显，这些特征的选取取决于人员的主观经验，可能出现特征不完善，冗余甚至毫无关系的情况。

2、通过核型白内障图像属性，结合专业知识，从源头总结出目标图像应该表现出的颜色、形状、尺度等信息，然后设计针对相应信息的特征滤波器。该方法的优点是权威可靠，可以保证总结的特征可以反映出目标图像的真实属性。但该方法的缺点在于，理论上准确的特征，在经过实际图像采集的干扰之后，并以图像形式展现的情况下，可能反而失去了有效性。

3、利用采集的样本图片和对应的标签，训练一个基于卷积神经网络等结构的深度学习网络模型。利用深度学习来完成目标图像特征的自动学习和自动提取。广泛的实验证明了这种自动提取特征的方法在处理图像上的效果优于人工定义特征的方法。但是缺点也较为明显，模型训练会消耗大量的计算资源，并且需要大量清晰样本来支持模型的学习，所以难以适用于模糊弱样本的情况。

发明内容

本发明的目的在于：目前计算机图像特征提取应用中，医学等领域采集图像时的多源异质干扰和样本数据的小样本造成了模糊弱样本的问题，对图像的特征识别方法产生严重干扰，且现有的图像特征提取方法需要大量清晰样本来支持模型的学习，难以适用于模糊弱样本的情况，为了解决上述问题，提出了一种用于核型白内障图像的特征提取方法。

本发明采用的技术方案如下：

一种用于核型白内障图像的特征提取方法，方法步骤如下：

步骤1、对已有的清晰核型白内障图像样本进行模糊处理，得到对应的清晰-模糊图像对，用清晰-模糊图像对数据集来训练DeblurGAN模型，然后用该模型去除实际采集核型白内障图像的模糊，得到去模糊后的实际采集核型白内障图像数据集；

步骤2、根据步骤1中得到的去模糊后的实际采集核型白内障图像数据集来训练CNN模型，并根据训练好的CNN模型得到相应的图像特征提取器；

步骤3、读取待提取特征的核型白内障图像，首先将该图像利用步骤1中训练好的DeblurGAN模型产生清晰的图像，再将得到的清晰的图像利用步骤2中得到的图像特征提取器计算得到图像的特征。

进一步，所述步骤1中训练DeblurGAN模型的具体步骤如下：

步骤1.1、读取清晰的核型白内障图像，利用图像处理技术进行模糊处理，产生对应的清晰-模糊图像对，得到清晰-模糊图像对数据集；

步骤1.2、加载自然图像预训练的DeblurGAN模型，采用步骤1.1的清晰-模糊图像对数据集对来训练DeblurGAN模型，训练的方式是利用带有学习率衰减的RMSProp优化器，使用梯度下降法来降低损失函数，得到最后训练好的DeblurGAN模型。

进一步，所述步骤1.2中采用的损失函数如下：

L＝L_GAN+λ·L_x

其中：L由对抗损失L_GAN和内容损失L_x两部分构成；λ表示两种损失的权重；

对抗损失L_GAN采用WGAN-GP形式，其计算公式为：

其中：I^B表示模糊的图像；表示DeblurGAN中生成模型产生的去模糊后的图像；表示DeblurGAN中判别模型是否正确判断出待测图像是真实的清晰图像还是生成的去模糊后的图像；N表示清晰-模糊图像对总数；n表示当前清晰-模糊图像对的序号；

内容损失L_x由去模糊结果与清晰图像的特征图之间平方损失构成，其计算公式为：

其中：φ_i，j表示网络在第j个卷积层之后，第i个池化层之前得到输入图像的特征图；W_i，j和H_i，j分别表示了特征图在水平和竖直方向上的维度；I^S表示清晰的图像；(·)_x，y表示特征图中坐标x，y处的数值。

进一步，所述步骤2的具体步骤如下：

步骤2.1、对实际采集核型白内障图像进行级别鉴定并对其进行分类标签编码；

步骤2.2、加载自然图像预训练的CNN模型，去除原始CNN模型的网络结构中用于分类图像的顶层，并在去除的顶层原有位置加入一个随机初始化的全连接层作为最后的分级层，并用softmax作为激活函数；

步骤2.3、采用步骤1中去模糊后的实际采集核型白内障图像和实际采集核型白内障图像对应的分类标签编码为训练样本集，训练步骤2.2处理后的CNN模型，训练的方式是利用带有学习率衰减的Adam优化器，使用梯度下降法来降低损失函数，得到最后训练好的CNN模型。

步骤2.4、对于步骤2.3处理后的CNN模型，去掉步骤2.2中加入的全连接层，得到相应的图像特征提取器。

进一步，所述步骤2.3中损失函数采用分类交叉熵为损失函数，计算公式如下：

其中，M表示图像类别总数，c表示图像的类别，y_(o，c)表示图像o是否归为类别c，p_(o，c)表示图像o归为类别c的预测概率。

进一步，步骤3的具体步骤如下：

步骤3.1、读取模糊的待提取特征的临床核型白内障图像。

步骤3.2、利用步骤1中训练好的DeblurGAN模型去除待提取特征的临床核型白内障图像的模糊。

步骤3.3、利用步骤2中得到的图像特征提取器来提取临床核型白内障图像的图像特征。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明中，首先采用对清晰样本图像进行模糊处理，制造样本图像的清晰-模糊图像对数据集，训练出一个可以进行去模糊的DeblurGAN模型，利用该模型使所有模糊的实际采集图像更加清晰，再用得到的去模糊的实际采集图像数据集训练CNN模型，得到该种样本图像相应的图像特征提取器，待提取特征的模糊图像可以先通过DeblurGAN模型产生清晰的图像，再将得到的清晰的图像利用训练好的CNN模型计算得到图像的特征。该方法可以有效地缓解因为实际采集图像时不规范的拍摄方法的多源异质干扰和样本数据的小样本造成了模糊弱样本对特征提取造成干扰的问题，不需要人为采集大量清晰样本来支持模型的学习，鲁棒性更好。也帮助各个图像特征提取应用领域获得更高质量的图像样本，为后续的计算机辅助处理图像工作提供了更规范的数据源。

2、本发明中，通过去模糊后的临床核型白内障数据，结合专家对图像给出的级别鉴定，训练出一个可以自动学习对应级别图像特征的CNN模型，然后利用该模型来自动地提取临床核型白内障数据地图像特征。该方法可以通过自动学习反映临床核型白内障数据的各类病理信息的图像特征，来缓解人为选取图像特征的不完善、冗余甚至毫无关系的问题，从而获得更加准确高效的图像特征。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的流程示意图；

图2为本发明的实施例一采用的临床核型白内障图像；

图3为本发明的实施例一的临床核型白内障图像在去模糊后的结果；

图4为本发明的实施例一的ResNet50模型提取的特征的可视化结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。将本发明方法用于模糊核型白内障图像的特征提取，针对眼球图像的提取，由于拍摄眼球图像时比较困难的，人眼会处于运动状态，且环境光线的影响较大，且某一类眼球图像是比较难采集到大量清晰样本来支持深度学习网络学习训练的。

实施例一

一种用于核型白内障图像的特征提取方法，方法步骤如下：

步骤1、对已有的清晰核型白内障图像样本进行模糊处理，得到对应的清晰-模糊图像对，用清晰-模糊图像对数据集来训练DeblurGAN模型，然后用该模型去除实际采集核型白内障图像的模糊，得到去模糊后的实际采集核型白内障图像数据集。

所述模糊处理包括一般图像处理中常用高斯模糊、均值模糊、中值模糊等方法，也包括其他基于运动模糊核的卷积运算的运动模糊方法。

进一步，所述步骤1的具体步骤如下：

步骤1.1、读取已有的清晰核型白内障图像样本，利用图像处理技术进行模糊处理，产生对应的清晰-模糊图像对。为了得到逼近真实的运动模糊图像，首先利用马尔可夫过程随机产生图像的运动轨迹，然后通过亚像素插值法得到模糊核，最后将模糊核与原图进行卷积操作。将操作前后的图像组成清晰-模糊图像对，用于DeblurGAN模型的训练。

步骤1.2、加载经过自然图像(MS COCO数据集)预训练的DeblurGAN模型，采用步骤1.1得到的清晰-模糊图像对数据集来训练DeblurGAN模型，训练的方式是利用带有学习率衰减的RMSProp优化器，使用梯度下降法来降低损失函数，得到最后训练好的DeblurGAN模型。具体地，参数优化中，设置模型的初始学习率为10^-4，并且在开始的150轮训练中保持不变，在随后的150轮训练中，设置学习率线性衰减到0。RMSProp的优化目标是降低如下损失函数：

L＝L_GAN+λ·L_x

其中：L由对抗损失L_GAN和内容损失L_x两部分构成；λ表示两种损失的权重；在本实施例中，λ为100。

对抗损失L_GAN采用WGAN-GP形式，其计算公式为：

其中：IB表示模糊的图像；表示DeblurGAN中生成模型产生的去模糊后的图像；表示DeblurGAN中判别模型是否正确判断出待测图像是真实的清晰图像还是生成的去模糊后的图像N表示；N表示清晰-模糊图像对总数；n表示当前清晰-模糊图像对的序号。

内容损失L_x由去模糊结果与清晰图像的特征图之间平方损失(L2损失)构成，其计算公式为：

其中：φ_i，j表示网络在第j个卷积层之后，第i个池化层之前得到输入图像的特征图；W_i，j和H_i，j分别表示了特征图在水平和竖直方向上的维度；I^S表示清晰的图像；(·)_x，y表示特征图中坐标x，y处的数值。

步骤1.3、用步骤1.2最后训练好的DeblurGAN模型去除实际临床采集核型白内障图像的模糊。实际采集核型白内障图像去模糊前如图2所示，去模糊后如图3所示。

步骤2、根据步骤1中得到的去模糊后的实际采集核型白内障图像数据集来训练CNN模型，并根据训练好的CNN模型得到相应的图像特征提取器。这里CNN模型采用ResNet50模型。

进一步，所述步骤2的具体步骤如下：

步骤2.1、对实际采集核型白内障图像进行级别鉴定(例如专业的医生或其它人士根据白内障图像的病症级别将图像级别分为N1到N6)，并对其进行分类标签编码；

步骤2.2、加载经过自然图像(ImageNet数据集)预训练的ResNet50模型，去除原始ResNet50模型的网络结构中用于分类ImageNet中数据的顶层，并在去除的顶层原有位置加入一个随机初始化的全连接层作为最后的分级层，并用softmax作为激活函数；

步骤2.3、以步骤1中去模糊后的实际采集核型白内障图像和实际采集核型白内障图像对应的分类标签编码为ResNet50模型的训练样本集，训练步骤2.2处理后的ResNet50模型，训练的方式是利用带有学习率衰减的Adam优化器，使用梯度下降法来降低损失函数，得到最后训练好的ResNet50模型。具体地，设置模型的初始学习率为10^-4，衰减系数为10^-5，采用分类交叉熵为损失函数，分类交叉熵的计算公式如下：

其中，M表示图像类别总数，c表示图像的类别，y_(o，c)表示图像o是否归为类别c，P_(o，c)表示图像o归为类别c的预测概率。这里的类别即为上述步骤2.1中级别鉴定后得到的分类的类别。

步骤2.4、对于步骤2.3处理后的ResNet50模型，去掉步骤2.2中加入的全连接层，剩下的部分就为得到的用于该类眼球图像的图像特征提取器。

通过去模糊后的临床核型白内障数据，结合专家对图像给出的级别鉴定，训练出一个可以自动学习对应级别图像特征的CNN模型，然后利用该模型来自动地提取临床核型白内障数据地图像特征。该方法可以通过自动学习反映临床核型白内障数据的各类病理信息的图像特征，来缓解人为选取图像特征的不完善、冗余甚至毫无关系的问题，从而获得更加准确高效的图像特征。

步骤3、读取待提取特征的核型白内障图像，首先将该图像利用步骤1中训练好的DeblurGAN模型产生清晰的图像，再将得到的清晰的图像利用步骤2中得到的图像特征提取器计算得到图像的特征。具体步骤如下：

步骤3.1、读取模糊的待提取特征的核型白内障图像。

步骤3.2、利用步骤1.2中得到的训练好的DeblurGAN模型去除该待提取特征的眼球图像的模糊。

步骤3.3、利用步骤2.4中得到的训练好的ResNet50模型即图像特征提取器，来提取该图像的图像特征。

通过图2，3中一张临床核型白内障图像在去模糊前后的细节对比。可以发现图3中经过去模糊之后具有以下优点：眼球异常区域的轮廓更加清晰，医生可以更加准确地对眼球图像进行分析工作；眼皮与瞳孔之间的区分更加明显，可以更容易的定位瞳孔的位置；高光中心与周围的光晕出现了明显的边缘，后续可以使用简单的算法剔除高光的干扰。通过图4中的本发明通过最大化激活函数的方法将ResNet50模型提取的特征可视化显示，可以发现这些特征通过颜色、纹理、能量、形状等方式反映眼球图像的信息。其中Filter136、221表现出了和眼睛形状相似的结构。通过该方法可以很好地对临床小样本的模糊核型白内障图像进行眼球图像特征提取，能够得到准确的图像特征分析结果。

本发明的特征提取方法除了应用在上述核型白内障图像的特征提取上，还可以应用在其它领域模糊弱样本图像的特征提取上。本发明中，首先采用对清晰样本图像进行模糊处理，制造样本图像的清晰-模糊图像对，训练出一个可以进行去模糊的DeblurGAN模型，利用该模型使所有模糊的实际采集图像更加清晰，再用得到的数量足够的去模糊的实际采集图像训练CNN模型，得到该种样本图像相应的图像特征提取器，待提取特征的模糊图像可以先通过DeblurGAN模型产生清晰的图像，再将得到的清晰的图像利用训练好的CNN模型计算得到图像的特征。该方法可以有效地缓解因为实际采集图像时不规范的拍摄方法而导致的多源异质干扰和样本数据的小样本造成了模糊弱样本对特征提取造成干扰的问题，不需要人为采集大量清晰样本来支持模型的学习，鲁棒性更好。也帮助各个图像特征提取应用领域获得更高质量的图像样本，为后续的计算机辅助处理图像工作提供了更规范的数据源。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于核型白内障图像的特征提取方法，其特征在于：方法步骤如下：

步骤1、对已有的清晰核型白内障图像样本进行模糊处理，得到对应的清晰-模糊图像对，用清晰-模糊图像对数据集来训练DeblurGAN模型，然后用该模型去除实际采集核型白内障图像的模糊，得到去模糊后的实际采集核型白内障图像数据集；

步骤2、根据步骤1中得到的去模糊后的实际采集核型白内障图像数据集来训练CNN模型，并根据训练好的CNN模型得到相应的图像特征提取器；

步骤3、读取待提取特征的核型白内障图像，首先将该图像利用步骤1中训练好的DeblurGAN模型产生清晰的图像，再将得到的清晰的图像利用步骤2中得到的图像特征提取器计算得到图像的特征。

2.根据权利要求1所述的一种用于核型白内障图像的特征提取方法，其特征在于：所述步骤1中训练DeblurGAN模型的具体步骤如下：

步骤1.1、读取清晰的核型白内障图像，利用图像处理技术进行模糊处理，产生对应的清晰-模糊图像对，得到清晰-模糊图像对数据集；

步骤1.2、加载自然图像预训练的DeblurGAN模型，采用步骤1.1的清晰-模糊图像对数据集对来训练DeblurGAN模型，训练的方式是利用带有学习率衰减的RMSProp优化器，使用梯度下降法来降低损失函数，得到最后训练好的DeblurGAN模型。

3.根据权利要求2所述的一种用于核型白内障图像的特征提取方法，其特征在于：所述步骤1.2中采用的损失函数如下：

L＝L_GAN+λ·L_x

其中：L由对抗损失L_GAN和内容损失L_x两部分构成；λ表示两种损失的权重；

对抗损失L_GAN采用WGAN-GP形式，其计算公式为：

其中：I^B表示模糊的图像；表示DeblurGAN中生成模型产生的去模糊后的图像；表示DeblurGAN中判别模型是否正确判断出待测图像是真实的清晰图像还是生成的去模糊后的图像；N表示清晰-模糊图像对总数；n表示当前清晰-模糊图像对的序号；

内容损失L_x由去模糊结果与清晰图像的特征图之间平方损失构成，其计算公式为：

其中：φ_i，j表示网络在第j个卷积层之后，第i个池化层之前得到输入图像的特征图；W_i，j和H_i，j分别表示了特征图在水平和竖直方向上的维度；I^S表示清晰的图像；(·)_x，y表示特征图中坐标x，y处的数值。

4.根据权利要求1所述的一种用于核型白内障图像的特征提取方法，其特征在于：所述步骤2的具体步骤如下：

步骤2.1、对实际采集核型白内障图像进行级别鉴定并对其进行分类标签编码；

步骤2.2、加载自然图像预训练的CNN模型，去除原始CNN模型的网络结构中用于分类图像的顶层，并在去除的顶层原有位置加入一个随机初始化的全连接层作为最后的分级层，并用softmax作为激活函数；

步骤2.3、采用步骤1中去模糊后的实际采集核型白内障图像和实际采集核型白内障图像对应的分类标签编码为训练样本集，训练步骤2.2处理后的CNN模型，训练的方式是利用带有学习率衰减的Adam优化器，使用梯度下降法来降低损失函数，得到最后训练好的CNN模型。

步骤2.4、对于步骤2.3处理后的CNN模型，去掉步骤2.2中加入的全连接层，得到相应的图像特征提取器。

5.根据权利要求4所述的一种用于核型白内障图像的特征提取方法，其特征在于：所述步骤2.3中损失函数采用分类交叉熵为损失函数，计算公式如下：

其中，M表示图像类别总数，c表示图像的类别，y_(o，c)表示图像o是否归为类别c，p_(o，c)表示图像o归为类别c的预测概率。

6.根据权利要求1所述的一种用于核型白内障图像的特征提取方法，其特征在于：所述步骤3的具体步骤如下：

步骤3.1、读取模糊的待提取特征的临床核型白内障图像。

步骤3.2、利用步骤1中训练好的DeblurGAN模型去除待提取特征的临床核型白内障图像的模糊。

步骤3.3、利用步骤2中得到的图像特征提取器来提取临床核型白内障图像的图像特征。