CN109949277A - 一种基于排序学习和简化残差网络的oct图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于排序学习和简化残差网络的OCT图像质量评价方法包括：通过高通滤波、伽马校正、图像缩放等操作对原始OCT图像进行预处理；通过结对训练的方式训练深度卷积网络，并使用它提取预处理过后的OCT图像的等级敏感的特征；利用所提取预处理后的OCT图像的等级敏感的特征对OCT图像进行质量评价。本发明采用成对样本训练的方式，建立了一种新的OCT图像的主观感知质量的客观预测模型，针对现有的OCT质量评价算法忽略了OCT图像间的质量等级关系这一问题，提出了一种新的训练框架，训练后的网络提取的特征更加符合视觉感知，提升了方法的效果。

Description

一种基于排序学习和简化残差网络的OCT图像质量评价方法

技术领域

本发明涉及图像处理及神经网络技术领域，具体涉及一种基于排序学习和简化残差网络的OCT图像质量评价方法，主要用于对医学OCT图像进行精确的质量等级区分。

背景技术

眼底，是眼球最内部的组织，而眼底病指的是眼底部位发生的病变。对于眼底疾病，如果不及时治疗，长时间的拖延将使视觉各功能下降，待眼球各组织受到不可逆转的伤害时就有可能造成失明。光学相干断层扫描(Optical Coherence tomography,OCT)技术作为一种眼科成像手段，其具有的非接触性、高分辨率、快速成像等特点决定了该技术在眼科领域的重要地位。但是在实际操作过程中由于各方面的原因所得到的眼底OCT图像质量参差不齐。

眼底OCT图像质量参差不齐对后续图像处理与临床诊断会带来很大的困难。因此，如何准确地对眼底OCT图像进行评价并且结合评价结果做进一步的处理，具有重要的实用价值。实验证明，眼底OCT图像质量与病症判断的准确率成正比，因此在进行临床诊断前，利用眼底OCT图像质量评估自动筛选有效的医用图像，智能化显示评估结果，对于后期的辅助医生诊断能够提供有价值的参考依据，并且对OCT图像的分析与处理有着重要的意义。

随着对自然图像质量评价研究的不断深入，越来越多的无参考图像质量评价(NR-IQA)指标被提出和被完善，但是由于OCT图像的特殊性，一方面OCT的图像统计特性与自然图像的统计特性存在着较大的区别，另一方面由于相干光源的因素OCT中存在着大量的散斑噪声，而这种噪声一般很少出现在自然图像当中，因此无法将用于自然图像的方法直接的应用到对OCT图像的评价上来，同时由于研究人员在眼部OCT图像的质量评价方面所做的工作有限，所以导致这方面的成果比较少。早期研究人员采用从OCT采集设备中导出的信噪比(Singal-Noise Ratio，SNR)、信号强度(Signal Strength，SS)以及信号方差(SignalDeviation)等参数来对眼部OCT图像的质量进行评价，

近年来随着研究人员的不断研究，有一些用于OCT图像的NR-IQA的方法被提出：

2014年，在《一种基于逐层分级的OCT图像质量快速评价方法》中陆晓娟等人提出了一种基于逐层分级的OCT图像质量快速评价方法。

2015年Steiner Patrick等人提出了一种基于统计信息的自动估计FD-OCT图像中噪声参数的方法，对OCT图像信号的噪声参数进行评价。

2016年Swamidoss Issac Niwas等人提出了一种基于LBP特征的AS-OCT图像质量评价方法，实现了一种对AS-OCT图像主观感知质量的客观评级方法。

以上的方法通过传统机器学习的方式对眼部OCT图像进行质量评价，虽然在一定程度上解决了需要OCT先验知识的问题。但还是在选取图像特征时，如何提取图像特征来有效的表示图像的主观感知质量从而进行质量评价仍然是一个难以解决的问题。

随着深度学习的发展，卷积神经网络在计算机视觉领域中的目标检测、图像分割等各个任务中均有较为出色的表现，这为NR-IQA提供了另一种可能的途径：

2014年Kang Le等人设计了一个简单卷积神经网络，对自然图像的主观感知质量进行评价，取得了不错的效果。

2016年S Bosse等人将VGGnet的前14层网络用来提取输入图像的特征，并使用全连接层来对提取的特征进行回归，对自然图像的主观感知质量进行评价。

综上所述，在现有的OCT图像质量评价方法中，大多数方法都只考虑到单个OCT图像的质量评价而忽略了图像间的质量关系，以这样的方法来进行质量评价虽然可以有一个与医生主观感知相近的评价结果。但是无法区分质量相近的OCT图像之间的好坏关系，所以精度不够。另一方面，大多数的OCT图像质量评价方法都是以客观方法得到的质量分数和主观分数之间的误差来作为方法中模型优化的目标函数，但是在衡量方法的效果时却采用的是秩相关系数。这种优化目标与视觉感知下的质量差异不一致，在训练时无法保证模型总是向着与主观感知更加相关的方向优化，所以导致最终的效果不理想。

发明内容

针对现有技术中存在的不足，本发明的目的在于，提供一种基于排序学习和简化残差网络的OCT图像质量评价方法，解决现有技术无法对OCT图像进行精确的质量等级区分的问题，针对现有深度学习框架中的优化目标函数不符合人眼主观视觉感知评价准则提出一种有效的质量评价模型训练方式。

为了解决上述技术问题，本发明采用以下技术方案：

一种基于排序学习和简化残差网络的OCT图像质量评价方法，包括以下步骤：

步骤1，建立用于OCT图像质量评价的评价模型

所述的评价模型包括用于对OCT图像进行预处理的预处理部分、通过构建深层次卷积网络以提取OCT图像等级敏感特征向量进行提取的特征提取部分，以及用于对OCT图像进行质量评价的质量评价部分；

步骤2，通过构建OCT图像样本对，来训练评价模型中的特征提取部分；利用训练后的特征提取部分提取OCT图像的质量等级差异敏感的特征向量；

步骤3，通过步骤2中得到的OCT图像的特征向量训练评价模型中的质量评价部分，然后利用训练后的质量评价部分对OCT图像进行质量评价。

进一步地，所述的预处理部分的建立过程包括：

步骤1.1，对原始OCT图像采用伽玛校正，得到得到校正后的OCT图像；

步骤1.2，对校正后的OCT图像进行高通滤波，提取出OCT图像的高频区域；

步骤1.3，对提取出的OCT图像高频区域的大小进行调整。

进一步地，所述的特征提取部分的建立过程包括：

步骤1.4，构建用于提取OCT图像等级敏感特征向量的深层次卷积网络，该网络结构共包括11层，其中第1层为输入层，该网络的输入为步骤1.3中调整后的OCT图像高频区域；第2层是卷积层，卷积核大小为3x3，卷积核个数为32；第3层为批量归一化层，第4层为Relu激活函数层，第5、6、7层均为残差块，第8层为平均池化层，池化核的大小为7x7；第9层为全连接层，神经元个数为200；第10层为Relu激活函数层，第11层为全连接层，神经元个数为1。

进一步地，所述的残差块的结构为：

残差块的第1层为卷积层，卷积核大小为3x3，卷积核个数为32；第2层为批量归一化层，第3层为Relu激活函数层，第4层为卷积层，卷积核大小为3x3，卷积核个数为32，第5层为批量归一化层。

进一步地，所述的质量评价部分的建立过程包括：

步骤1.5，采用SVR回归模型对OCT图像进行质量评价，该模型的输入为深层次卷积网络提取到的OCT图像的特征向量，输出为OCT图像的质量分数。

进一步地，步骤2所述的通过构建OCT图像样本对，来训练评价模型中的特征提取部分；利用训练后的特征提取部分提取OCT图像的质量等级差异敏感的特征向量，包括：

步骤2.1，将经过评价模型预处理部分处理后的OCT图像两两组对，以构建OCT图像样本对；

步骤2.2，通过OCT图像样本对，以及样本对中两幅OCT图像的质量分数差异来训练特征提取部分的深层次卷积网络ROFE；

步骤2.3，通过步骤2.2中训练后的ROFE网络提取预处理后OCT图像的特征向量。

进一步地，步骤2.3所述的训练特征提取部分的深层次卷积网络ROFE，具体过程包括：

将深层次卷积网络ROFE的第1层改为双输入，从而使的ROFE网络可以接受两个输入，则该ROFE网络的第11层会得到与两个输入对应的两个客观质量分数；

ROFE网络在训练时的损失函数为两个输入OCT图像样本对之间的实际质量分数差与ROFE输出的客观质量分数差之间的绝对值误差，并通过随机梯度下降的方法对ROFE网络中的可调整参数进行优化；在训练完成后，保存ROFE网络的参数。

进一步地，步骤2.3所述的提取预处理后OCT图像的特征向量，包括：

将训练好的ROFE网络第2-10层的参数保持不变，然后将第1层的输入改为单输入，此时网络第9层的输出即为该输入的OCT图像对应的特征向量。

进一步地，步骤3所述的通过步骤2中得到的OCT图像的特征向量训练评价模型中的质量评价部分，然后利用训练后的质量评价部分对OCT图像进行质量评价，包括：

步骤3.1，使用步骤2.3中得到的OCT图像特征向量训练步骤1.5建立的SVR回归模型，得到训练后的SVR回归模型；

步骤3.2，采用训练后的SVR回归模型对OCT图像进行质量评价，得到OCT图像的质量分数。

本发明与现有技术相比具有以下技术特点：

1.本发明在采用Resnet网络结构的同时，削减了网络的层数，使得针对OCT图像质量评价的这一问题，可以使用较小的计算代价来达到相同的评价效果。初始的Resnet-50网络可训练的参数共有23534467个，而本方法中的可训练参数只有6610641个；

2.本发明针对现有的OCT质量评价算法忽略了OCT图像间的质量等级关系这一问题，提出了一种新的训练框架，即：通过构建OCT图像对的方式训练特征提取网络，使得网络可以提取出对OCT图像质量等级差异敏感的特征向量。这种训练方式实际上利用了视觉对信号差异具有很强的敏感性这一特点，训练后的网络提取的特征更加符合视觉感知，所以可以提升方法的效果。

附图说明

图1为本方法整体结构图；

图2为本方法中特征提取部分结构图；

图3为本方法中训练特征特区部分的网络模型图；

图4为本方法中网络模型中的残差块结构图；

图5为本方法中训练特征特区部分的结构图。

具体实施方式

以下给出本发明的具体实施例，需要说明的是：1.本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。2.实施例中采用的数据集共包含608幅SD-OCT图像，其中80％作为训练集，20％作为测试集，采用五折交叉验证对SVR模型进行训练。

本实施例提供了一种基于等级学习和深层卷积网络的OCT图像质量评价方法，包括以下步骤：

步骤1，建立用于OCT图像质量评价的评价模型

所述的评价模型包括三个部分，分别是：预处理部分、特征提取部分、质量评价部分，具体的模型框架图如图1所示。

其中，所述的预处理部分的建立过程包括：

步骤1.1，对原始OCT图像采用伽玛校正，得到得到校正后的OCT图像。在本实施例中，伽马校正的系数为0.3。

步骤1.2，对校正后的OCT图像进行高通滤波(High-pass Filter，HF)，提取出OCT图像的高频区域；具体地，在本方法中，首先使用高斯滤波来获得校正后OCT图像的低频区域，然后通过原始OCT图像减去低频区域来得到OCT图像的高频区域；

步骤1.3，对提取出的OCT图像高频区域的大小进行调整，以方便后续训练过程的进行；为了与特征提取网络的输入保持一致，所以本实施例中将大小调整为224*224的大小；如果特征提取网络的输入发生改变，这里的大小需要进行相应的改变。

考虑到本方法解决的是眼部OCT图像质量评价的问题，OCT图像的图像内容相较于自然图像而言比较单一。所以在本方法中，我们对Resnet-50网络模型的网络结构进行的简化，将网络的层数减少并且将残差块的结构也进行了化简，以适应眼部OCT图像质量评价任务。

所述的特征提取部分的建立过程包括：

步骤1.4，构建用于提取OCT图像等级敏感特征向量的深层次卷积网络(Ranking-based OCT image features extraction network，ROFE)。该网络结构共包括11层，如表1所示：其中第1层为输入层，该网络的输入为步骤1.3中调整后得到的大小为224*224的OCT图像高频区域；第2层是卷积层，卷积核大小为3x3，卷积核个数为32；第3层为批量归一化层，第4层为Relu激活函数层，第5、6、7层均为残差块，每个残差块的结构如表2所示。第8层为平均池化层，池化核的大小为7x7；第9层为全连接层，神经元个数为200；第10层为Relu激活函数层，第11层为全连接层，神经元个数为1。

表1ROFE网络的结构组成

层数	参数
		第1层	输入层，大小为224x224
第2层	Conv，3x3，32
		第3层	Batch Normalization
第4层	Relu
		第5层	残差块
第6层	残差块
		第7层	残差块
第8层	AveragePooling，7x7
		第9层	FC layer 200
第10层	Relu
		第11层	FC layer 1

其中，ROFE网络的第2至第10层的作用是对输入的OCT图像高频区域进行深层次抽象特征向量的提取，第11层的作用是进行回归，最后输出该网络预测的客观质量分数。网络中第5、6、7层的残差块结构来自于Resnet网络，我们对其属性进行了修改：残差块的第1层为卷积层，卷积核大小为3x3，卷积核个数为32；第2层为批量归一化层，第3层为Relu激活函数层，第4层为卷积层，卷积核大小为3x3，卷积核个数为32，第5层为批量归一化层，如表2所示。

表2残差块的网络结构组成

层数	参数
		第1层	Conv，3x3，32
第2层	Batch Normalization
		第3层	Relu
第4层	Conv，3x3，32
		第5层	Batch Normalization

所述的质量评价部分的建立过程包括：

步骤1.5，采用SVR回归模型对OCT图像进行质量评价，该模型的输入为步骤1.4的深层次卷积网络提取到的OCT图像的特征向量，输出为OCT图像的质量分数。

具体的OCT图像质量的评价模型的结构图如图1所示。

步骤2，通过构建OCT图像样本对，来训练评价模型中的特征提取部分；利用训练后的特征提取部分提取OCT图像的质量等级差异敏感的特征向量；

步骤2.1，将经过评价模型预处理部分处理后的OCT图像两两组对，以构建OCT图像样本对；

步骤2.2，通过OCT图像样本对，以及样本对中两幅OCT图像的质量分数差异来训练特征提取部分的深层次卷积网络ROFE，具体训练过程如下：

因为要使用OCT图像对训练网络，所以需要在本步骤对ROFE网络模型的结构做一些辅助性的调整，包括：

将深层次卷积网络ROFE的第1层改为双输入，从而使的ROFE网络可以接受两个输入；由于调整后的ROFE网络可以同时接受两个输入，因此该ROFE网络的第11层会得到与两个输入对应的两个客观质量分数。

该ROFE网络在训练时的损失函数为两个输入OCT图像样本对之间的实际质量分数差与ROFE输出的客观质量分数差之间的绝对值误差，并通过随机梯度下降的方法对ROFE网络中的可调整参数进行优化。具体的调整后模型如图3所示，在训练完成后，只需要保存ROFE网络的参数就可以利用该网络提取OCT图像的特征。

步骤2.3，通过步骤2.2中训练后的ROFE网络提取预处理后OCT图像的特征向量，具体的特征提取过程如下：

将训练好的ROFE网络第2-10层的参数保持不变，然后将第1层的输入改为单输入，此时网络第9层的输出即为该输入的OCT图像对应的特征向量。由此，将预处理过后的OCT图像送入ROFE网络中，提取到了其质量等级差异敏感的特征向量。

步骤3，通过步骤2中得到的OCT图像的特征向量训练评价模型中的质量评价部分，然后利用训练后的质量评价部分对OCT图像进行质量评价。

步骤3.1，使用步骤2.3中得到的OCT图像特征向量训练步骤1.5建立的SVR回归模型，得到训练后的SVR回归模型；

步骤3.2，采用训练后的SVR回归模型对OCT图像进行质量评价，得到OCT图像的质量分数。

对于一张待评价的OCT图像，首先通过评价模型的预处理部分进行预处理，然后利用训练后的特征提取部分进行特征提取，最后用训练后的SVR回归模型输出质量分数。

本实施例通过实验对比了六种不同的方法之间的效果，具体方法如下：

Resnet-50：直接采用端到端的方式训练Resnet-50模型，对于待评价的OCT图像，使用训练好的Resnet-50网络模型对其质量进行客观评价。

ROFE：直接采用端到端的方式训练本申请中提出的简化后的Resnet网络—ROFE网络模型。对于待评价的OCT图像，使用训练好的ROFE网络模型对其质量进行客观评价。

HF+ROFE：首先对OCT图像进行高通滤波，然后使用滤波后的OCT图像通过端到端的方式对ROFE网络模型进行训练。对于待评价的OCT图像，首先对其进行高通滤波，然后使用训练好的ROFE网络模型对其质量进行客观评价。

Rank-ROFE：首先通过本申请提出的构建OCT样本对的训练框架对ROFE网络模型进行训练。对于待评价的OCT图像，通过训练好的ROFE网络模型对其质量进行客观评价。

HF+Rank-ROFE：首先对OCT图像进行高通滤波，然后使用滤波后的OCT图像构建OCT样本对并使用本申请中提出的训练框架对ROFE网络模型进行训练。对于待评价的OCT图像，首先对其进行高通滤波，然后使用训练好的ROFE网络模型对其质量进行客观评价。

HF+Rank-ROFE+SVR：首先对OCT图像进行高通滤波，然后使用滤波后的OCT图像构建OCT样本对并使用本申请中提出的训练框架对ROFE网络模型进行训练。最后使用训练好的ROFE网络模型提取OCT图像的深层次图像特征，并使用该特征训练SVR回归模型。对于待评价的OCT图像，首先对其进行高通滤波，然后使用训练好的ROFE网络模型提取其深层次图像特征，最后再通过训练好的SVR回归模型依据深层次图像特征进行质量评价。

本实施例的实验结果如下表所示，其中斯皮尔曼秩相关系数(Spearmanrankorder correlation coefficient,SROCC)与皮尔森线性相关系数(Pearsonlinearcorrelation coefficient，PLCC)为实验结果的评价指标，评价指标的取值范围为[0,1]，取值越高，代表方法越符合人的主观实际感受。

表3不同方法之间的效果对比

Methods	SROCC	PLCC
			ResNet-50	0.806	0.823
ROFE	0.937	0.94
			HF+ROFE	0.950	0.956
Rank-ROFE	0.945	0.953
			HF+Rank-ROFE	0.952	0.958
HF+Rank-ROFE+SVR	0.978	0.985

由表3可知，本发明中的各个部分均可以对最终的结果产生有利的影响，并最终得到一个较优的结果。

上述对实施例的描述是为便于该技术领域的普通技术人员能理解和使用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (9)

1.一种基于排序学习和简化残差网络的OCT图像质量评价方法，其特征在于，包括以下步骤：

步骤1，建立用于OCT图像质量评价的评价模型

所述的评价模型包括用于对OCT图像进行预处理的预处理部分、通过构建深层次卷积网络以提取OCT图像等级敏感特征向量进行提取的特征提取部分，以及用于对OCT图像进行质量评价的质量评价部分；

步骤2，通过构建OCT图像样本对，来训练评价模型中的特征提取部分；利用训练后的特征提取部分提取OCT图像的质量等级差异敏感的特征向量；

步骤3，通过步骤2中得到的OCT图像的特征向量训练评价模型中的质量评价部分，然后利用训练后的质量评价部分对OCT图像进行质量评价。

2.如权利要求1所述的基于排序学习和简化残差网络的OCT图像质量评价方法，其特征在于，所述的预处理部分的建立过程包括：

步骤1.1，对原始OCT图像采用伽玛校正，得到得到校正后的OCT图像；

步骤1.2，对校正后的OCT图像进行高通滤波，提取出OCT图像的高频区域；

步骤1.3，对提取出的OCT图像高频区域的大小进行调整。

3.如权利要求1所述的基于排序学习和简化残差网络的OCT图像质量评价方法，其特征在于，所述的特征提取部分的建立过程包括：

步骤1.4，构建用于提取OCT图像等级敏感特征向量的深层次卷积网络，该网络结构共包括11层，其中第1层为输入层，该网络的输入为步骤1.3中调整后的OCT图像高频区域；第2层是卷积层，卷积核大小为3x3，卷积核个数为32；第3层为批量归一化层，第4层为Relu激活函数层，第5、6、7层均为残差块，第8层为平均池化层，池化核的大小为7x7；第9层为全连接层，神经元个数为200；第10层为Relu激活函数层，第11层为全连接层，神经元个数为1。

4.如权利要求1所述的基于排序学习和简化残差网络的OCT图像质量评价方法，其特征在于，所述的残差块的结构为：

残差块的第1层为卷积层，卷积核大小为3x3，卷积核个数为32；第2层为批量归一化层，第3层为Relu激活函数层，第4层为卷积层，卷积核大小为3x3，卷积核个数为32，第5层为批量归一化层。

5.如权利要求1所述的基于排序学习和简化残差网络的OCT图像质量评价方法，其特征在于，所述的质量评价部分的建立过程包括：

步骤1.5，采用SVR回归模型对OCT图像进行质量评价，该模型的输入为深层次卷积网络提取到的OCT图像的特征向量，输出为OCT图像的质量分数。

6.如权利要求1所述的基于排序学习和简化残差网络的OCT图像质量评价方法，其特征在于，步骤2所述的通过构建OCT图像样本对，来训练评价模型中的特征提取部分；利用训练后的特征提取部分提取OCT图像的质量等级差异敏感的特征向量，包括：

步骤2.1，将经过评价模型预处理部分处理后的OCT图像两两组对，以构建OCT图像样本对；

步骤2.2，通过OCT图像样本对，以及样本对中两幅OCT图像的质量分数差异来训练特征提取部分的深层次卷积网络ROFE；

步骤2.3，通过步骤2.2中训练后的ROFE网络提取预处理后OCT图像的特征向量。

7.如权利要求1所述的基于排序学习和简化残差网络的OCT图像质量评价方法，其特征在于，步骤2.3所述的训练特征提取部分的深层次卷积网络ROFE，具体过程包括：

将深层次卷积网络ROFE的第1层改为双输入，从而使的ROFE网络可以接受两个输入，则该ROFE网络的第11层会得到与两个输入对应的两个客观质量分数；

ROFE网络在训练时的损失函数为两个输入OCT图像样本对之间的实际质量分数差与ROFE输出的客观质量分数差之间的绝对值误差，并通过随机梯度下降的方法对ROFE网络中的可调整参数进行优化；在训练完成后，保存ROFE网络的参数。

8.如权利要求1所述的基于排序学习和简化残差网络的OCT图像质量评价方法，其特征在于，步骤2.3所述的提取预处理后OCT图像的特征向量，包括：

将训练好的ROFE网络第2-10层的参数保持不变，然后将第1层的输入改为单输入，此时网络第9层的输出即为该输入的OCT图像对应的特征向量。

9.如权利要求1所述的基于排序学习和简化残差网络的OCT图像质量评价方法，其特征在于，步骤3所述的通过步骤2中得到的OCT图像的特征向量训练评价模型中的质量评价部分，然后利用训练后的质量评价部分对OCT图像进行质量评价，包括：

步骤3.1，使用步骤2.3中得到的OCT图像特征向量训练步骤1.5建立的SVR回归模型，得到训练后的SVR回归模型；

步骤3.2，采用训练后的SVR回归模型对OCT图像进行质量评价，得到OCT图像的质量分数。