CN109308692A - 基于改进Resnet与SVR混合模型的OCT图像质量评价方法 - Google Patents

基于改进Resnet与SVR混合模型的OCT图像质量评价方法 Download PDF

Info

Publication number
CN109308692A
CN109308692A CN201810852367.4A CN201810852367A CN109308692A CN 109308692 A CN109308692 A CN 109308692A CN 201810852367 A CN201810852367 A CN 201810852367A CN 109308692 A CN109308692 A CN 109308692A
Authority
CN
China
Prior art keywords
oct image
quality
network
local
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810852367.4A
Other languages
English (en)
Other versions
CN109308692B (zh
Inventor
张敏
王佳阳
张蕾
冯筠
吕毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Xian Jiaotong University
Original Assignee
Northwest University
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University, Xian Jiaotong University filed Critical Northwest University
Priority to CN201810852367.4A priority Critical patent/CN109308692B/zh
Publication of CN109308692A publication Critical patent/CN109308692A/zh
Application granted granted Critical
Publication of CN109308692B publication Critical patent/CN109308692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于改进Resnet与SVR混合模型的OCT图像质量评价方法,包括以下步骤:步骤1,对原始OCT图像进行预处理,得到预处理后的OCT图像;步骤2,构建并训练深度残差网络,采用训练后的深度残差网络提取预处理后的OCT图像的深层次特征;步骤3,利用所提取预处理后的OCT图像的深层次特征训练OCT图像质量评价模型;给定一幅待评价的OCT图像,利用OCT图像质量评价模型得到待评价的OCT图像的质量分数。本发明将深度残差网络与OCT图像的质量评价任务相结合,建立了一种新的OCT图像的主观感知质量的客观预测模型。

Description

基于改进Resnet与SVR混合模型的OCT图像质量评价方法
技术领域
本发明属于医学图像处理领域,涉及一种眼底OCT图像的质量评价方法,具体涉及一种基于改进Resnet与SVR混合模型的OCT图像质量评价方法。
背景技术
眼底,是眼球最内部的组织,而眼底病指的是眼底部位发生的病变。对于眼底疾病,如果不及时治疗,长时间的拖延将使视觉各功能下降,待眼球各组织受到不可逆转的伤害时就有可能造成失明。影像采集是眼科,尤其是眼底病临床工作的基础。光学相干断层扫描(Optical Coherence tomography,OCT)技术作为一种眼科成像手段,其具有的非接触性、高分辨率、快速成像等特点决定了该技术在眼科领域的重要地位。一方面OCT设备在会在成像过程中由低相干光的互干涉产生散斑噪声并且电路元件在工作状态下会有电子噪声和热噪声,另一方面随着OCT成像设备的长时间使用,设备会出现老化的状况,因此在实际操作过程中所得到的眼底OCT图像质量参差不齐。
眼底OCT图像质量参差不齐对后续图像处理与临床诊断会带来很大的困难。因此,如何准确地对眼底OCT图像进行评价并且结合评价结果做进一步的处理,具有重要的实用价值。实验证明,眼底OCT图像质量与病症判断的准确率成正比,因此在进行临床诊断前,利用眼底OCT图像质量评估自动筛选有效的医用图像,智能化显示评估结果,对于后期的辅助医生诊断能够提供有价值的参考依据,并且对OCT图像的分析与处理有着重要的意义。
随着对自然图像质量评价研究的不断深入,越来越多的无参考图像质量评价(NR-IQA)指标被提出和被完善,但是由于OCT图像的特殊性,一方面OCT的图像统计特性与自然图像的统计特性存在着较大的区别,另一方面由于相干光源的因素OCT中存在着大量的散斑噪声,而这种噪声一般很少出现在自然图像当中,因此无法将用于自然图像的方法直接的应用到对OCT图像的评价上来,同时由于研究人员在眼部OCT图像的质量评价方面所做的工作有限,所以导致这方面的成果比较少。早期研究人员采用从OCT采集设备中导出的信噪比(Singal-Noise Ratio,SNR)、信号强度(Signal Strength,SS)以及信号方差(SignalDeviation)等参数来对眼部OCT图像的质量进行评价,例如:
2006年D M Stein等人提出一个新的参数,即质量参数(Quality Index,QI),对TD-OCT图像进行质量评价,并且与信噪比(SIGNAL-NOISE RATIO,SNR)和TD-OCT设备中的信号强度(Signal Strength,SS)两个参数的评价结果进行比较,实验证明QI相比于SNR和SS,与主观评价更为一致。
2008年Peter Barnum等人提出一种基于直方图矩阵提取OCT图像特征,并利用支持向量机对提取样本特征进行训练的方法,对OCT图像进行局部质量评价,该方法在确定TD-OCT图像质量好坏的同时还能够确定该OCT图像是否会影响医生的诊断,因此大大提高了疾病的诊断效率。
2009年Shuang Liu等人提出了信号方差(Signal Deviation,SD)对FD-OCT图像进行质量评价,其对于质量极好和极差的分类效果比SNR和SS好。
2012年Yijun Huang等人提出最大组织对比度指数(Maximum Tissue ContrastIndex,mTCL),建立一个能够将SD-OCT图像中前景和背景分离出来的强度直方图分解模型,对视网膜OCT图像信号作质量评价。
以上的方法在一定程度上它们属于半参考的质量评价方法,也就是说它们在一定程度上都需要一些先验的关于眼底OCT图像的属性,例如:SNR、SS、SD等。
近年来随着研究人员的不断研究,有一些NR-IQA的方法被提出:
2014年,在《一种基于逐层分级的OCT图像质量快速评价方法》中陆晓娟等人提出了一种基于逐层分级的OCT图像质量快速评价方法,该方法从高层分解开始,逐层对OCT图像进行高斯金字塔分解,获得不同分辨率的分解子图像。较低质量的OCT图像在低分辨率下即可完成评价,而较高质量的OCT图像可逐层进入高分辨率进行评价,从而实现了在不同分辨率尺度下对OCT图像进行快速评价。
2015年Steiner Patrick等人提出了一种基于统计信息的自动估计FD-OCT图像中噪声参数的方法,对OCT图像信号的噪声参数进行评价。
2016年Swamidoss Issac Niwas等人提出了一种基于LBP特征的AS-OCT图像质量评价方法,他们将图像的质量分为优、中、差三级,并使用朴素贝叶斯分类器对提取出的LBP特征进行分类,实现了一种对AS-OCT图像主观感知质量的客观评级方法。
以上的方法虽然可以对眼部OCT图像评价,但是显然它们要求对OCT图像的成像方式以及一些计算机视觉中常见的可以代表图像信息的特征需要有比较深刻的认识,这些方法并不是直接从OCT图像本身来对图像进行评价的,而是通过先验知识提取图像的某些特征,间接的对OCT图像质量进行评价。
另一方面,随着深度学习的发展,卷积神经网络在计算机视觉领域中的目标检测、图像分割等各个任务中均有较为出色的表现,这也为NR-IQA提供了另一种可能的途径:
2014年Kang Le等人设计了一个简单卷积神经网络,对自然图像的主观感知质量进行评价,取得了不错的效果。
2016年S Bosse等人将VGGnet的前14层网络用来提取输入图像的特征,并使用全连接层来对提取的特征进行回归,对自然图像的主观感知质量进行评价。
综上所述,在OCT图像质量评价中,大多数传统方法均是基于噪声的统计特性和像素灰度的,忽略了人的主观视觉感受以及医学临床应用,眼科OCT图像质量评价作为眼底OCT图像后期处理和分析中最为基础的一个环节,要结合实际,符合医生诊断时对OCT图像质量的主观感受,并且大多数现有的OCT图像质量评价方法都只能将图像质量进行评级,所获得的预测结果精度有限。
发明内容
针对现有技术中存在的不足,本发明的目的在于,提供一种基于改进Resnet与SVR混合模型的OCT图像质量评价方法,解决现有技术对OCT图像进行评价时存在的精度不够的技术问题。
为了解决上述技术问题,本申请采用如下技术方案予以实现:
一种基于改进Resnet与SVR混合模型的OCT图像质量评价方法,包括以下步骤:
步骤1,对原始OCT图像进行预处理,得到预处理后的OCT图像;
步骤2,构建并训练深度残差网络,采用训练后的深度残差网络提取预处理后的OCT图像的深层次特征;
步骤3,利用所提取预处理后的OCT图像的深层次特征训练OCT图像质量评价模型;
给定一幅待评价的OCT图像,利用OCT图像质量评价模型得到待评价的OCT图像的质量分数。
进一步地,所述步骤1中对OCT图像进行预处理包括:
步骤1.1,对原始OCT图像采用伽马校正,得到校正后的OCT图像;
步骤1.2,将校正后的OCT图像划分为多个不重叠的局部OCT图像块,其中每个局部OCT图像块的尺寸为M*M。
进一步地,所述步骤2中构建并训练深度残差网络,采用训练后的深度残差网络提取预处理后的OCT图像的深层次特征,包括:
步骤2.1,建立用于特征提取的深度残差网络,并根据每个局部OCT图像块的主观感知质量对所有局部OCT图像块进行质量分级;
步骤2.2,将深度残差网络最后一层神经元节点的数量设置为所有局部OCT图像块质量分级后的等级数量;
步骤2.3,将深度残差网络中损失函数设置为局部OCT图像块的预测质量等级和实际质量等级的交叉熵,并通过优化使局部OCT图像块的预测质量等级和实际质量等级的交叉熵最低;
步骤2.4,将深度残差网络中的Softmax层移除,剩余的深度残差网络即为特征提取网络,该特征提取网络的输出即为预处理后的OCT图像对应的深层次特征。
进一步地,步骤3中利用所提取预处理后的OCT图像的深层次特征训练OCT图像质量评价模型;
给定一幅待评价的OCT图像,利用OCT图像质量评价模型得到待评价的OCT图像的质量分数;
包括:
步骤3.1,在特征提取网络之后加入神经元个数为1的全链接层;
步骤3.2,固定特征提取网络的权重,调整特征提取网络后的全链接层的权重,得到OCT图像质量评价网络;
所述调整特征提取网络后的全链接层的权重,包括:
步骤3.2.1,预设一初始权重作为特征提取网络后的全链接层的当前权重,根据该全链接层当前权重下得到当前OCT图像质量评价网络,将每个局部OCT图像块输入当前OCT图像质量评价网络,得到每个局部OCT图像块的当前质量分数,通过对所有局部OCT图像块的当前质量分数进行加权平均,得到OCT图像的当前质量分数;
步骤3.2.2,将全连接层的损失函数设置为OCT图像的当前质量分数和实际质量分数的均方误差,通过最小化均方误差来调整全连接层的权重,得到最终的OCT图像质量评价网络;
步骤3.3,给定一幅待评价的OCT图像,通过步骤3.2中的OCT图像质量评价网络,首先对待评价的OCT图像中的每个局部OCT图像块进行质量评价,得到每个局部OCT图像块的最终质量分数,然后通过对所有局部OCT图像块的最终质量分数进行加权平均,得到OCT图像的最终质量分数。
进一步地,通过式(1)得到OCT图像的质量分数:
其中Q(I)代表OCT图像的质量分数,n为局部OCT图像块的个数,ωk为第k个局部OCT图像块的权重,qk为第k个局部OCT图像块的质量分数。
进一步地,步骤3中利用所提取预处理后的OCT图像的深层次特征训练OCT图像质量评价模型;
给定一幅待评价的OCT图像,利用OCT图像质量评价模型得到待评价的OCT图像的质量分数;
还可以为:
步骤3.1,使用特征提取网络提取每个局部OCT图像块的深层次图像特征,并通过特征融合得到整个OCT图像的深层次特征;
步骤3.2,将OCT图像的深层次特征使用主成分分析方法进行特征降维;
步骤3.3,使用训练样本的图像特征向量训练SVR回归模型,得到训练后的SVR模型;
步骤3.4,采用训练后的SVR模型对OCT图像进行质量评价,得到OCT图像的质量分数。
进一步地,所述步骤3.2中将OCT图像的深层次特征使用主成分分析方法进行特征降维,包括:
步骤3.2.1,提取每个局部OCT图像块的特征向量;
步骤3.2.2,计算所提取的所有局部OCT图像块的特征向量对应位置元素的均值,即得到OCT图像的特征向量;
步骤3.2.3,使用主成分分析方法对OCT图像的特征向量进行降维。
本发明与现有技术相比,有益的技术效果是:
(1)本发明将深度残差网络与OCT图像的质量评价任务相结合,对OCT图像的主观感知质量提出了一种客观评价方法;
(2)本发明针对眼部OCT数据,数据量小,并且图像只有灰度一个通道,所含图像信息少的这些特点,不采用VGG等在自然图像中表现良好的网络结构,而是将具有残差结构的深度残差网络进行修改,应用于OCT图像的质量评价中,一方面可以提取OCT图像中更深层次的图像信息,另一方面可以避免随着网络深度的增加而出现的信息丢失的情况;
(3)本发明可以给出精确的OCT图像质量分数,同时也可以对图像局部的图像块进行质量评价,这对于之后的图像分割等相关的OCT图像分析与处理具有重要的参考价值。
附图说明
图1为传统OCT图像质量评价方法的流程图;
图2为实施例1的方法流程图;
图3为实施例2的方法流程图;
图4为实施例1的整体网络结构示意图;
图5为实施例2的整体网络结构示意图;
图6为本发明中网络所用到的卷积块结构示意图;
图7为本发明中网络所用到的ID块结构示意图;
图8为本发明实施例2中图像特征经过PCA降维之后的特征维数与质量预测结果的秩相关系数之间的关系曲线图;
以下结合附图和实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
以下给出本发明的具体实施例,需要说明的是:1.本发明并不局限于以下具体实施例,凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。2.实施例中采用的数据集共包含608幅SD-OCT图像,其中80%作为训练集,20%作为测试集,采用五折交叉验证对SVR模型进行训练。
实施例1:
本实施例提供了一种基于改进Resnet与SVR混合模型的OCT图像质量评价方法,包括以下步骤:
步骤1,对原始OCT图像进行预处理,得到预处理后的OCT图像;
由于原始OCT图像与最终显示在屏幕上给医生查看的图像不同,需要经过伽马校正的处理,并且本实施例是对OCT图像的主观感知质量进行评价,所以需要对原始OCT图像进行伽马校正;另一方面由于医学影像的特殊性,所以用于训练的数据集较小,可能会导致网络出现过拟合的情况,首先需要对校正后的OCT图像进行分块,使原本的一幅OCT图像变为了n幅OCT图像,n为分块后局部OCT图像块的个数,这样可以使得网络训练的效果更好。因此本发明的预处理阶段具体包括伽马校正、图像分块两个方面;
步骤1中对OCT图像进行预处理包括:
步骤1.1,对原始OCT图像采用伽马校正,得到校正后的OCT图像;
步骤1.2,将校正后的OCT图像划分为多个不重叠的局部OCT图像块,其中每个局部OCT图像块的尺寸为M*M,且每个局部OCT图像块的主观质量分数与整个OCT图像的质量分数相同。
步骤2,构建并训练深度残差网络,采用训练后的深度残差网络提取预处理后的OCT图像的深层次特征;
包括:
步骤2.1,建立用于特征提取的Resnet网络,并根据每个局部OCT图像块的主观感知质量对所有局部OCT图像块进行质量分级;
步骤2.2,将Resnet网络最后一层神经元节点的数量设置为所有局部OCT图像块质量分级后的等级数量;
步骤2.3,将Resnet网络中损失函数设置为局部OCT图像块的预测质量等级和实际质量等级的交叉熵,并通过优化使局部OCT图像块的预测质量等级和实际质量等级的交叉熵最低,以达到调整网络权重参数的目的;
本实施例提供了具体的调整网络权重参数的方案:使用在Imagenet数据集上预训练的网络权重进行二次训练,微调网络权重,具体步骤如下:
步骤2.3.1,初始化网络权重;
步骤2.3.2,根据主观感知质量分数,将训练集中的OCT图像分为优、中、差三个等级,并且使用one-hot编码的方法对三个等级编码,以方便计算机识别,具体编码形式如下:
优1 0 0 中0 1 0 差0 0 1
步骤2.3.3,使用每次训练的预测结果和实际结果的交叉熵作为损失函数,采用批梯度下降的方式对网络权重进行微调,网络最后一层权重是从随机取值开始训练的,其余层权重是在预训练的基础上进行微调,使网络预测的结果收敛并达到较好的效果。
步骤2.4,将Resnet网络中的Softmax层移除,剩余的Resnet网络即为特征提取网络,该特征提取网络的输出即为预处理后的OCT图像对应的深层次特征。
本实施例采用python语言加Keras深度学习框架实现深度残差网络模型的建立,其中每个网络模块均为调用对应函数获得,考虑到随着卷积神经网络的加深,可能会造成OCT图像信息丢失的情况,本实施例在网络的结构中加入了残差的思想,通过引入残差块可以避免信息丢失这种情况。本实施例所建立具体的网络模型如下:
步骤3,利用所提取预处理后的OCT图像的深层次特征训练OCT图像质量评价模型;
给定一幅待评价的OCT图像,利用OCT图像质量评价模型得到待评价的OCT图像的质量分数。
包括:
步骤3.1,在特征提取网络之后加入神经元个数为1的全链接层;
步骤3.2,固定特征提取网络的权重,调整特征提取网络后的全链接层的权重,得到OCT图像质量评价网络;
所述调整特征提取网络后的全链接层的权重,包括:
步骤3.2.1,预设一初始权重作为特征提取网络后的全链接层的当前权重,根据该全链接层当前权重下得到当前OCT图像质量评价网络,将每个局部OCT图像块输入当前OCT图像质量评价网络,得到每个局部OCT图像块的当前质量分数,通过对所有局部OCT图像块的当前质量分数进行加权平均,得到OCT图像的当前质量分数;
步骤3.2.2,将全连接层的损失函数设置为OCT图像的当前质量分数和实际质量分数的均方误差,通过最小化均方误差来调整全连接层的权重,得到最终的OCT图像质量评价网络;该OCT图像质量评价网络即为OCT图像质量评价模型。
将全连接层的损失函数设置为预处理后的OCT图像的预测质量和实际质量的均方误差,通过最小化均方误差来调整回归层的权重;
本实施例采用预处理过后的训练样本训练深度残差网络,由于网络需要训练的参数较多,而受到机器物理内存的限制,不能直接将整个训练样本集输入到网络中进行训练,所以本实施例采用随机批梯度下降的方法对网络的参数进行寻优,需要优化的目标函数在步骤2.5中有具体描述,均方误差E的公式如下:
其中,n为每批训练样本集中样本总个数,qk表示第K个样本的实际质量分数,pk表示第K个样本通过深度残差网络预测的质量分数。
步骤3.3,给定一幅待评价的OCT图像,通过步骤3.2中的OCT图像质量评价网络,首先对待评价的OCT图像中的每个局部OCT图像块进行质量评价,得到每个局部OCT图像块的最终质量分数,然后通过对所有局部OCT图像块的最终质量分数进行加权平均,得到OCT图像的最终质量分数。
通过式(1)得到整体OCT图像的客观预测质量分数:
其中Q(I)代表OCT图像的质量分数,n为局部OCT图像块的个数,ωk为第k个局部OCT图像块的权重,qk为第k个局部OCT图像块的质量分数。
本实施例中即认为每一个局部OCT图像块对整体主观感知质量的影响权重相同,其中表1为本实施例参数的选取,SROCC指数为评价质量和主观感知质量的相似度系数,该值越接近1说明相似度越高:
表1
校正指数γ 局部块大小 SROCC
0.3 32*32 0.94
实施例2:
本实施例与实施例1的区别在于,步骤3中利用所提取预处理后的OCT图像的深层次特征训练OCT图像质量评价模型;
给定一幅待评价的OCT图像,利用OCT图像质量评价模型得到待评价的OCT图像的质量分数;
还可以为:
步骤3.1,使用特征提取网络提取每个局部OCT图像块的深层次图像特征,并通过特征融合得到OCT图像的深层次特征;
本实施例将训练好的深度残差网络最后一层全连接层去除,剩余结构用来提取输入OCT图像的深层次图像特征,具体步骤如下:
步骤3.1.1,将深度残差网络的最后一层全连接层去除,此时网络输入为m*m的局部OCT图像块,输出为网络提取出的特征向量;
步骤3.1.2,逐个提取OCT图像局部OCT图像块的特征向量;
步骤3.1.3,将所有局部OCT图像块的特征向量对应位置元素求平均值,得到整体OCT图像的特征向量;
步骤3.1.4,重复步骤3.1.2-3.1.3提取训练数据集中每个OCT图像的特征向量
步骤3.2,将提取出的OCT图像特征使用PCA方法进行特征降维;
包括:
步骤3.2.1,提取每个局部OCT图像块的特征向量;
步骤3.2.2,计算所提取的所有局部OCT图像块的特征向量对应位置元素的均值,即得到OCT图像的特征向量;
步骤3.2.3,使用PCA对OCT图像的特征向量进行降维,为了达到最好的效果,降维最终保留的特征维数选取1-100维中效果最好的。
步骤3.3,使用训练样本训练SVR回归模型,得到训练后的SVR模型;
具体步骤如下:
(1)使用PCA方法,将特征向量降维至n维,n=1…100;
(2)计算降维至n维后,使用该特征向量在训练集上训练SVR回归模型;
(3)在测试集上计算降维至n维后,SVR回归模型预测的均方误差和Spearman秩相关系数(SROCC);
(4)选取SROCC系数最高并且均方误差较低的维度n以及其对应的SVR模型作为最终的结果。
(5)采用训练后的SVR模型对待评价OCT图像进行质量评价。
使用训练过后的SVR模型对待评价OCT图像进行质量评价,具体步骤如下:
步骤3.4.1,将待评价OCT图像分为不重叠的m*m大小的局部OCT图像块;
步骤3.4.2,使用步骤3.1的方法提取待评价OCT图像的特征向量;
步骤3.4.3,使用步骤3.2中的方法对特征向量进行降维处理;
步骤3.4.4,使用步骤3.3中训练好的SVR模型对降维后的特征向量进行质量预测,完成对待评价OCT图像的质量评价。
本实施例中具体的参数改动和实验结果如下,SROCC为实验结果的评价指标,SROCC指标的取值范围为[0,1],取值越高,代表方法越符合人的主观实际。其中,表2为校正指数与SROCC指标关系表,其中局部块大小为224*224、n=10。
表2
由表2可知,随着校正指数的更改,方法的效果比较稳定,因此可以根据实际的需要,灵活的调整校正指数的取值。
表3为局部OCT图像块大小与SROCC指标关系表,其中γ=0.4、n=10;
表3
局部块大小 32*32 64*64 128*128 224*224
SROCC 0.93 0.95 0.95 0.93
由表3可知,局部块大小的选择并不会对方法的效果产生太大的影响,所以如果为了加快方法的效率,并在拥有较好的设备的前提下,可以增大局部块的大小。
表4为降维维数与SROCC指标关系表,其中γ=0.4、局部块大小为32*32;
表4
由表4可知,当降维的维数n较低时,方法的效果并不好,但是随着n的升高,方法的效果也跟着升高,直到保持最优不再变化,当n的取值范围为1-100时,方法的效果如图8所示。
由表2、表3和表4可知,本发明的参数可以随着设备的好坏或实际情况进行相应的调整,并最终都能获得一个有效的结果。随着局部OCT图像块大小的变大,最终由卷积神经网络提取出的深层次图像特征的维度也会跟着变多,因此降维的维数也需要动态的进行调整以得到最优的效果,本发明中最优的一组参数为:校正指数:0.3;局部块大小:32*32;降维维数:17,最终的SROCC指数为0.96。

Claims (7)

1.一种基于改进Resnet与SVR混合模型的OCT图像质量评价方法,其特征在于,包括以下步骤:
步骤1,对原始OCT图像进行预处理,得到预处理后的OCT图像;
步骤2,构建并训练深度残差网络,采用训练后的深度残差网络提取预处理后的OCT图像的深层次特征;
步骤3,利用所提取预处理后的OCT图像的深层次特征训练OCT图像质量评价模型;
给定一幅待评价的OCT图像,利用OCT图像质量评价模型得到待评价的OCT图像的质量分数。
2.根据权利要求1所述的基于改进Resnet与SVR混合模型的OCT图像质量评价方法,其特征在于,所述步骤1中对OCT图像进行预处理包括:
步骤1.1,对原始OCT图像采用伽马校正,得到校正后的OCT图像;
步骤1.2,将校正后的OCT图像划分为多个不重叠的局部OCT图像块,其中每个局部OCT图像块的尺寸为M*M。
3.根据权利要求2所述的基于改进Resnet与SVR混合模型的OCT图像质量评价方法,其特征在于,所述步骤2中构建并训练深度残差网络,采用训练后的深度残差网络提取预处理后的OCT图像的深层次特征,包括:
步骤2.1,建立用于特征提取的深度残差网络,并根据每个局部OCT图像块的主观感知质量对所有局部OCT图像块进行质量分级;
步骤2.2,将深度残差网络最后一层神经元节点的数量设置为所有局部OCT图像块质量分级后的等级数量;
步骤2.3,将深度残差网络中损失函数设置为局部OCT图像块的预测质量等级和实际质量等级的交叉熵,并通过优化使局部OCT图像块的预测质量等级和实际质量等级的交叉熵最低;
步骤2.4,将深度残差网络中的Softmax层移除,剩余的深度残差网络即为特征提取网络,该特征提取网络的输出即为预处理后的OCT图像对应的深层次特征。
4.根据权利要求3所述的基于改进Resnet与SVR混合模型的OCT图像质量评价方法,其特征在于,步骤3中利用所提取预处理后的OCT图像的深层次特征训练OCT图像质量评价模型;
给定一幅待评价的OCT图像,利用OCT图像质量评价模型得到待评价的OCT图像的质量分数;
包括:
步骤3.1,在特征提取网络之后加入神经元个数为1的全链接层;
步骤3.2,固定特征提取网络的权重,调整特征提取网络后的全链接层的权重,得到OCT图像质量评价网络;
所述调整特征提取网络后的全链接层的权重,包括:
步骤3.2.1,预设一初始权重作为特征提取网络后的全链接层的当前权重,根据该全链接层当前权重下得到当前OCT图像质量评价网络,将每个局部OCT图像块输入当前OCT图像质量评价网络,得到每个局部OCT图像块的当前质量分数,通过对所有局部OCT图像块的当前质量分数进行加权平均,得到OCT图像的当前质量分数;
步骤3.2.2,将全连接层的损失函数设置为OCT图像的当前质量分数和实际质量分数的均方误差,通过最小化均方误差来调整全连接层的权重,得到最终的OCT图像质量评价网络;
步骤3.3,给定一幅待评价的OCT图像,通过步骤3.2中的OCT图像质量评价网络,首先对待评价的OCT图像中的每个局部OCT图像块进行质量评价,得到每个局部OCT图像块的最终质量分数,然后通过对所有局部OCT图像块的最终质量分数进行加权平均,得到OCT图像的最终质量分数。
5.根据权利要求4所述的基于改进Resnet与SVR混合模型的OCT图像质量评价方法,其特征在于,通过式(1)得到OCT图像的质量分数:
其中Q(I)代表OCT图像的质量分数,n为局部OCT图像块的个数,ωk为第k个局部OCT图像块的权重,qk为第k个局部OCT图像块的质量分数。
6.根据权利要求3所述的基于改进Resnet与SVR混合模型的OCT图像质量评价方法,其特征在于,步骤3中利用所提取预处理后的OCT图像的深层次特征训练OCT图像质量评价模型;
给定一幅待评价的OCT图像,利用OCT图像质量评价模型得到待评价的OCT图像的质量分数;
还可以为:
步骤3.1,使用特征提取网络提取每个局部OCT图像块的深层次图像特征,并通过特征融合得到整个OCT图像的深层次特征;
步骤3.2,将OCT图像的深层次特征使用主成分分析方法进行特征降维;
步骤3.3,使用训练样本的图像特征向量训练SVR回归模型,得到训练后的SVR模型;
步骤3.4,采用训练后的SVR模型对OCT图像进行质量评价,得到OCT图像的质量分数。
7.根据权利要求6所述的基于改进Resnet与SVR混合模型的OCT图像质量评价方法,其特征在于,所述步骤3.2中将OCT图像的深层次特征使用主成分分析方法进行特征降维,包括:
步骤3.2.1,提取每个局部OCT图像块的特征向量;
步骤3.2.2,计算所提取的所有局部OCT图像块的特征向量对应位置元素的均值,即得到OCT图像的特征向量;
步骤3.2.3,使用主成分分析方法对OCT图像的特征向量进行降维。
CN201810852367.4A 2018-07-30 2018-07-30 基于改进Resnet与SVR混合模型的OCT图像质量评价方法 Active CN109308692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810852367.4A CN109308692B (zh) 2018-07-30 2018-07-30 基于改进Resnet与SVR混合模型的OCT图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810852367.4A CN109308692B (zh) 2018-07-30 2018-07-30 基于改进Resnet与SVR混合模型的OCT图像质量评价方法

Publications (2)

Publication Number Publication Date
CN109308692A true CN109308692A (zh) 2019-02-05
CN109308692B CN109308692B (zh) 2022-05-17

Family

ID=65225999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810852367.4A Active CN109308692B (zh) 2018-07-30 2018-07-30 基于改进Resnet与SVR混合模型的OCT图像质量评价方法

Country Status (1)

Country Link
CN (1) CN109308692B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949277A (zh) * 2019-03-04 2019-06-28 西北大学 一种基于排序学习和简化残差网络的oct图像质量评价方法
CN110111311A (zh) * 2019-04-18 2019-08-09 北京奇艺世纪科技有限公司 一种图像质量评价方法和装置
CN110188820A (zh) * 2019-05-30 2019-08-30 中山大学 基于深度学习子网络特征提取的视网膜oct图像分类方法
CN110378438A (zh) * 2019-08-07 2019-10-25 清华大学 标签容错下的图像分割模型的训练方法、装置及相关设备
CN110516687A (zh) * 2019-08-07 2019-11-29 北京工业大学 一种基于图像融合和改进ResNet的图像识别方法
CN111368849A (zh) * 2020-05-28 2020-07-03 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质
CN111696090A (zh) * 2020-06-08 2020-09-22 电子科技大学 一种无约束环境下人脸图像质量评估方法
CN111784665A (zh) * 2020-06-30 2020-10-16 平安科技(深圳)有限公司 基于傅里叶变换的oct图像质量评估方法、系统及装置
CN112329498A (zh) * 2019-08-05 2021-02-05 四川大学 一种基于机器学习的街道空间品质量化方法
CN113496485A (zh) * 2021-06-24 2021-10-12 北京市遥感信息研究所 卫星遥感图像质量评价方法及装置
CN114882014A (zh) * 2022-06-16 2022-08-09 深圳大学 基于双模型的眼底图像质量评价方法、装置及相关介质
JP2023501230A (ja) * 2019-11-01 2023-01-18 清華大学 メモリスタに基づくニューラルネットワークのトレーニング方法及びそのトレーニング装置
WO2023036899A1 (en) * 2021-09-09 2023-03-16 Nocturne Gmbh Method and system for retinal tomography image quality control

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103269439A (zh) * 2013-05-21 2013-08-28 杭州电子科技大学 一种oct影像质量客观无参考型评价方法
CN104036498A (zh) * 2014-05-28 2014-09-10 杭州电子科技大学 一种基于逐层分级的oct图像质量快速评价方法
CN106023267A (zh) * 2016-05-23 2016-10-12 郑州轻工业学院 稀疏性相关度图像质量评价方法
CN106780434A (zh) * 2016-11-15 2017-05-31 天津大学 水下图像视觉质量评价方法
CN107172418A (zh) * 2017-06-08 2017-09-15 宁波大学 一种基于曝光情况分析的色阶映射图像质量评价方法
US20170270653A1 (en) * 2016-03-15 2017-09-21 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN108289221A (zh) * 2018-01-17 2018-07-17 华中科技大学 异常值检测的无参考图像质量评价模型及构建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103269439A (zh) * 2013-05-21 2013-08-28 杭州电子科技大学 一种oct影像质量客观无参考型评价方法
CN104036498A (zh) * 2014-05-28 2014-09-10 杭州电子科技大学 一种基于逐层分级的oct图像质量快速评价方法
US20170270653A1 (en) * 2016-03-15 2017-09-21 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
CN106023267A (zh) * 2016-05-23 2016-10-12 郑州轻工业学院 稀疏性相关度图像质量评价方法
CN106780434A (zh) * 2016-11-15 2017-05-31 天津大学 水下图像视觉质量评价方法
CN107172418A (zh) * 2017-06-08 2017-09-15 宁波大学 一种基于曝光情况分析的色阶映射图像质量评价方法
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN108289221A (zh) * 2018-01-17 2018-07-17 华中科技大学 异常值检测的无参考图像质量评价模型及构建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
IQA-JIEBIN: "近期deep learning做图像质量评价(image quality assessment)的论文3", 《HTTPS://BLOG.CSDN.NET/YJBKAOYAN/ARTICLE/DETAILS/78550339》 *
JONGYOO KIM等: "Deep Convolutional Neural Models for Picture-Quality Prediction:Challenges and Solutions to Data-Driven Image Quality Assessment", 《IEEE SIGNAL PROCESSING MAGAZINE》 *
LE KANG等: "Convolutional Neural Networks for No-Reference Image Quality", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YEZHOU LI等: "Image quality assessment using deep convolutional networks", 《AIP ADVANCES》 *
王志明: "无参考图像质量评价综述", 《自动化学报》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949277B (zh) * 2019-03-04 2022-12-06 西北大学 一种基于排序学习和简化残差网络的oct图像质量评价方法
CN109949277A (zh) * 2019-03-04 2019-06-28 西北大学 一种基于排序学习和简化残差网络的oct图像质量评价方法
CN110111311A (zh) * 2019-04-18 2019-08-09 北京奇艺世纪科技有限公司 一种图像质量评价方法和装置
CN110111311B (zh) * 2019-04-18 2021-07-09 北京奇艺世纪科技有限公司 一种图像质量评价方法和装置
CN110188820A (zh) * 2019-05-30 2019-08-30 中山大学 基于深度学习子网络特征提取的视网膜oct图像分类方法
CN110188820B (zh) * 2019-05-30 2023-04-18 中山大学 基于深度学习子网络特征提取的视网膜oct图像分类方法
CN112329498A (zh) * 2019-08-05 2021-02-05 四川大学 一种基于机器学习的街道空间品质量化方法
CN112329498B (zh) * 2019-08-05 2022-06-07 四川大学 一种基于机器学习的街道空间品质量化方法
CN110378438A (zh) * 2019-08-07 2019-10-25 清华大学 标签容错下的图像分割模型的训练方法、装置及相关设备
CN110516687A (zh) * 2019-08-07 2019-11-29 北京工业大学 一种基于图像融合和改进ResNet的图像识别方法
JP7548598B2 (ja) 2019-11-01 2024-09-10 清華大学 メモリスタに基づくニューラルネットワークのトレーニング方法及びそのトレーニング装置
JP2023501230A (ja) * 2019-11-01 2023-01-18 清華大学 メモリスタに基づくニューラルネットワークのトレーニング方法及びそのトレーニング装置
CN111368849B (zh) * 2020-05-28 2020-08-28 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质
CN111368849A (zh) * 2020-05-28 2020-07-03 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质
CN111696090A (zh) * 2020-06-08 2020-09-22 电子科技大学 一种无约束环境下人脸图像质量评估方法
WO2021114818A1 (zh) * 2020-06-30 2021-06-17 平安科技(深圳)有限公司 基于傅里叶变换的oct图像质量评估方法、系统及装置
CN111784665B (zh) * 2020-06-30 2024-05-07 平安科技(深圳)有限公司 基于傅里叶变换的oct图像质量评估方法、系统及装置
CN111784665A (zh) * 2020-06-30 2020-10-16 平安科技(深圳)有限公司 基于傅里叶变换的oct图像质量评估方法、系统及装置
CN113496485B (zh) * 2021-06-24 2022-12-02 北京市遥感信息研究所 卫星遥感图像质量评价方法及装置
CN113496485A (zh) * 2021-06-24 2021-10-12 北京市遥感信息研究所 卫星遥感图像质量评价方法及装置
WO2023036899A1 (en) * 2021-09-09 2023-03-16 Nocturne Gmbh Method and system for retinal tomography image quality control
CN114882014A (zh) * 2022-06-16 2022-08-09 深圳大学 基于双模型的眼底图像质量评价方法、装置及相关介质
CN114882014B (zh) * 2022-06-16 2023-02-03 深圳大学 基于双模型的眼底图像质量评价方法、装置及相关介质

Also Published As

Publication number Publication date
CN109308692B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN109308692A (zh) 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN110443798B (zh) 一种基于磁共振图像的自闭症检测方法、装置及系统
CN107437092A (zh) 基于三维卷积神经网络的视网膜oct图像的分类算法
CN109949277A (zh) 一种基于排序学习和简化残差网络的oct图像质量评价方法
CN107209933A (zh) 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统
CN108537282A (zh) 一种使用超轻量级SqueezeNet网络的糖尿病视网膜病变分级方法
CN110084803A (zh) 基于人类视觉系统的眼底图像质量评估方法
CN113298780B (zh) 一种基于深度学习的儿童骨龄评估方法及系统
CN108305241B (zh) 基于深度投票模型的sd-oct图像ga病变分割方法
CN109447962A (zh) 一种基于卷积神经网络的眼底图像硬性渗出物病变检测方法
CN111461218B (zh) 糖网病眼底图像的样本数据标注系统
KR102537470B1 (ko) 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(ct)을 이용한 갑상선안병증(go) 진단 방법
CN107743225A (zh) 一种利用多层深度表征进行无参考图像质量预测的方法
Bataineh et al. Enhancement method for color retinal fundus images based on structural details and illumination improvements
CN114998651A (zh) 基于迁移学习的皮肤病变图像分类识别方法、系统及介质
Li et al. Vessel recognition of retinal fundus images based on fully convolutional network
CN116664462B (zh) 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法
CN113343755A (zh) 红细胞图像中的红细胞分类系统及方法
CN109754390A (zh) 一种基于混合视觉特征的无参考图像质量评价方法
CN114372985A (zh) 适应多中心图像的糖尿病视网膜病变病灶分割方法及系统
CN108108715A (zh) 基于生物启发和深度属性学习相结合的人脸美感预测方法
Kumari et al. Automated process for retinal image segmentation and classification via deep learning based cnn model
Ghosh et al. Classification of diabetic retinopathy using few-shot transfer learning from imbalanced data
Chowdhury et al. Transfer learning approach for diabetic retinopathy detection using efficient network with 2 phase training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant