CN106384364A - 一种基于lpp‑elm的立体图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于LPP‑ELM的立体图像质量客观评价方法，步骤(1)、选取训练样本和测试样本；步骤(2)、利用LPP算法对于训练样本和测试样本进行特征提取和降维；步骤(3)、采用极端学习机ELM对训练样本进行分类处理。与现有技术相比，本发明采用的LPP‑ELM算法提高了识别系统的准确性，人工参与少、为立体图像质量客观评价的实时环境及系统的推广提供了有效途径；与PCA‑ELM、PCA‑SVM相比较，LPP‑ELM在立体图像质量客观评价方面整体性能更加优良，具有实际可行性。

Description

一种基于LPP-ELM的立体图像质量客观评价方法

技术领域

本发明涉及图像质量评价技术领域，尤其是涉及一种应用LPP和ELM的体图像质量客观评价方法的改进优化。

背景技术

随着计算机科学技术的发展，3D成像技术正在逐步成为新一代信息技术发展的方向，立体图像技术广泛应用于人们的生活中。立体图像为人们带来了更加生动形象的感受，但在其获取、处理、传输等过程中，不可避免地会引入一些失真。因此，如何有效地评价立体图像的质量已成为立体图像技术的关键问题之一。立体图像质量评价方法分为主观评价和客观评价两种。前者依据主观感受给出图像质量得分，能较为真实得反映立体图像质量，但费时费力，实际应用性较差；相对而言，后者可操作性强，更适合工程应用。因此，建立一套与人眼主观感受相符的立体图像质量客观评价机制具有重要意义。

现阶段，国内外学者已对立体图像质量客观评价算法进行了广泛的研究。最初的立体图像质量评价是基于平面质量评价算法的，将峰值信噪比(Peak Signal NoiseRatio，PSNR)、结构相似度(Structural Similarity，SSIM)^[1]等平面图像质量评价算法直接应用于立体图像的左右视图中，加权得到客观评价分数^[2]。文献^[3-4]考虑了深度感知对立体图像质量评价的影响，将平面图像质量评价方法与立体图像的绝对差值信息或深度信息结合进行质量评价。文献^[5]通过模拟人眼视觉系统中初级视皮层的简单和复杂细胞行为，构造了一个信号处理模型对立体图像质量进行客观评价。文献^[6]提出了一种基于感知重要性的评价方法，将立体图像分为显著失真、非显著失真、显著非失真及非显著非失真四个区域。以上具有代表性的文献均是基于人眼视觉特性建立的立体图像质量评价模型。然而，由于人类对人类视觉系统的认知水平还有限，现有的人类视觉特性未必能全面反映人的视觉感受，因此一些文献提出采用神经网络的方法建立立体图像质量评价模型。文献^[7]提出了一种采用独立成分分析法(Independent Component Analysis，ICA)和基于二叉树的支持向量机的立体图像质量评价模型。文献^[8]使用主成分分析(Principal ComponentAnalysis，PCA)和极端学习机(Extreme Learning Machine，ELM)对立体图像质量进行客观评价。基于神经网络的评价方法人工参与较少，且评价结果不易受到图像类型及降质类型的影响，具有重要意义。

参考文献：

[1]Z.Wang,A.C.Bovik A,H.R.Sheikh,et al.Image Quality Assessment:FromError Visibility to Structural Similarity[J].IEEE Transactions on ImageProcessing,13(4),April 2004.

[2]Patrizio Campisi,Patrick Le Callet,Enrico Marini.STEREOSCOPICIMAGES QUALITY ASSESSMENT[C].15th European Signal Processing Conference(EUSIPCO 2007),Poznan,Poland,September 3-7,2007.

[3]de Miranda Cardoso,J.V.,Danilo Miranda Regis,C.,Sampaio deAlencar,M.On the preference of disparity-based weighting technique applied to3D image quality assessment[C].Broadband Multimedia Systems and Broadcasting(BMSB),2014IEEE international Symposium on,Beijing,25-27June 2014.

[4]Shanshan Wang,Feng Shao,Fucui Li,et al.A Simple Quality AssessmentIndex for Stereoscopic Images Based on 3D Gradient Magnitude[J].TheScientific World Journal,Volume 2014,Article ID 890562,11pages.

[5]Perera G C V,De Silva V,Kondoz A M,et al.An improved model ofbinocular energy calculation for full-reference stereoscopic image qualityassessment[A].Acoustics,Speech and Signal Processing(ICASSP)[C].2014IEEEInternational Conference on.IEEE,2014:594-598.

[6]段芬芳、邵枫、蒋刚毅等；基于感知重要性的立体图像质量评价方法[J]，光电工程，2013，40(10):70-76.

[7]Cheng J and Li S.Objective quality assessment of stereo imagesbased on ICA and BT-SVM[A].Computer Science&Education(ICCSE),20127thInternational Conference on.IEEE[C].2012,154-159.

[8]王光华、李素梅、朱丹，极端学习机在立体图像质量客观评价中的应用[J]，光电子，激光，2014，25(9):1837-1842.

[9]X.He,P.Niyogi,Locality Preserving Projections,in:Proceedings ofthe Conference on Advances inNeural InformationProcessing Systems,2003.

[10]Huang G B,Zhu Q Y,and Siew C K.Extreme learning machine:a newlearning scheme of feedforward neural networks[A].Neural Networks,2004.Proceedings.2004IEEE International Joint Conference on.IEEE[C].2004,985-990.

发明内容

为了克服上述现有技术存在的问题，本发明提出了一种基于LPP-ELM的立体图像质量客观评价方法，考虑到特征提取方法对立体图像质量评价的影响，提出了基于局部保留投影和极端学习机的立体图像质量客观评价算法(简称LPP-ELM)。

本发明提出了一种基于LPP-ELM的立体图像质量客观评价方法，该方法包括以下步骤：

步骤1、选取训练样本和测试样本；

步骤2、利用LPP算法对于训练样本和测试样本进行特征提取和降维，即在LPP算法中，给定高维特征空间中的样本集X＝[x₁,x₂,…,x_n]，x_n代表样本集中的各立体图像，n代表高维训练样本个数；找到一个投影矩阵A，投影矩阵A＝[a₁,a₂,…,a_d]由矩阵(XDX^T)^-1XLX^T的前d个最小特征值对应的特征向量构成，其中D为对角矩阵，L＝D-S为拉普拉斯矩阵；将样本集X空间依据投影矩阵A投影到一个低维特征空间的样本集Y＝[y₁,y₂,…,y_n]，Y＝A^TX，将训练样本和测试样本投影到LPP子空间中；

步骤3、采用极端学习机ELM进行分类处理，即：

读入训练样本，并将样本随机分成训练集和测试集两部分；

进行种群初始化，设置种群个体数为N，种群中的个体包含了ELM网络结构的所有权重与阈值；

随机设置输入隐藏层权值α_i以及阈值b_i，i＝1,…,M；其中，M为隐藏层节点个数，α_i,b_i∈[-1,1]；

选择一个无限可微的函数作为隐藏层神经元的激励函数g(x)，计算隐藏层输出矩阵H；

通过最小二乘法计算输出层权值矩阵β，完成模型建立；

β＝H^TT

其中，

$\mathrm{\β}=\left[\begin{array}{c}{\mathrm{\β}}_1^T\\ M\\ {\mathrm{\β}}_M^T\end{array}\right],T=\left[\begin{array}{c}{t}_1^T\\ M\\ t_N^T\end{array}\right].$

与现有技术相比，本发明采用的LPP-ELM算法通过局部保留投影法对样本进行特征提取，降低图像维数的同时保持样本类间的结构不变，使得ELM分类器的输入样本具有更有效的特征，提高了识别系统的准确性；同时，LPP-ELM算法的人工参与少，为立体图像质量客观评价的实时环境及系统的推广提供了有效途径；

与PCA-ELM、PCA-SVM相比较，LPP-ELM在立体图像质量客观评价方面整体性能更加优良，具有实际可行性。

附图说明

图1为立体图像质量客观评价框图。

具体实施方式

下面将结合附图对本发明具体实施方式作进一步地详细描述。

具体步骤如下：

步骤1、选取训练样本和测试样本

根据ITU-RBT.500和ITU-RBT.1438标准通过主观测试实验获取评价数据样本，经过反复试验选取训练样本和测试样本。其中主观测试实验所选取的立体图像均来自宽带无线通信与立体成像研究所图像数据库，共选取406幅立体图像样本，每一样本图像分辨率为2560×1024，其中4幅为源立体图像，406幅立体图像样本中选取150幅图像作为训练样本，256幅图像作为测试样本。

步骤2、利用LPP算法对于训练样本和测试样本进行特征提取和降维

在LPP算法中，给定高维特征空间中的样本集X＝[x₁,x₂,…,x_n]，每个x_n代表一幅立体图像，n代表高维训练样本个数，(1～n中包括表示为i,j任意个数)，通过构造拉普拉斯特征映射的线性近似，找到一个投影矩阵A＝[a₁,a₂,…,a_d]，a是A中的一个维度，将样本集X空间投影到一个低维特征空间Y＝[y₁,y₂,…,y_n]，且Y＝A^TX。投影矩阵A可以通过最小化的目标函数得到，如式(1)所示：

$A=\underset{i,j}{\Σ}{(y_i-y_j)}^2{S}_{ij}---\left(1\right)$

其中，y_i＝A^Tx_i，i,j表示为1～n训练样本个数中的任意两个样本编号，S为相似矩阵，根据K近邻法定义如下：

经简单代数计算，可将目标函数转换为：

$\frac{1}{2}\underset{i,j}{\Σ}{(y_i-y_j)}^2{S}_{ij}=\frac{1}{2}\underset{i,j}{\Σ}{(a^T{x}_i-a^T{x}_j)}^2{S}_{ij}=\frac{1}{2}{a}^T{\mathrm{XDX}}^{T}a---\left(3\right)$

其中，D为对角矩阵，其对角元素L＝D-S是拉普拉斯矩阵。D_ii反映了样本点y_i的重要性，即D_ii越大，y_i包含的图像特征越多。为避免出现a＝0的解，引入约束条件：

$y^{T}Dy=1\⇒a^T{\mathrm{XDX}}^{T}a=1---\left(4\right)$

上述约束问题很容易转换为一个特征值求解问题，即LPP算法的投影矩阵A＝[a₁,a₂,…,a_d]由矩阵(XDX^T)^-1XLX^T的前d个最小特征值对应的特征向量构成。

得到投影矩阵后，将训练样本和测试样本投影到LPP子空间中。

步骤3、采用极端学习机ELM进行分类，并比较不同算法在立体图像客观评价中的性能。

对于N个任意的不同样本(x_i,t_i)，其中x_i＝[x_i1,x_i2,…,x_in]^T为输入样本，t_i＝[t_i1,t_i2,…,t_im]^T为期望输出值，可将含有M个隐藏层节点和激励函数为g(x)的单隐层前馈神经网络的输出表示为：

$\underset{i=1}{\overset{L}{\Σ}}{\mathrm{\β}}_{i}g\left(x_j\right)=\underset{i=1}{\overset{L}{\Σ}}{\mathrm{\β}}_{i}g(a_i\·x_j+b_j)=t_j,j=1,2,...,N---\left(5\right)$

其中，α_i＝[α_i1,α_i2,…,α_in]^T为第i个隐藏层神经元和输入神经元之间的权值向量，β_i＝[β_i1,β_i2,…,β_im]^T为第i个隐藏层神经元和输出神经元之间的权值向量，b_i是第i个隐藏层神经元的阈值，α_i·x_j表示α_i和x_j的内积。

公式(5)表示成矩阵形式为：

Hβ＝T (6)

其中，

$H={\left[\begin{array}{ccc}g(a_1\·X_1+b_1)& L& g(a_L\·X_1+b_M)\\ M& L& M\\ g(a_1\·X_N+b_1)& L& g(a_L\·X_N+b_M)\end{array}\right]}_{N\×M}---\left(7\right)$

$\mathrm{\β}={\left[\begin{array}{c}{\mathrm{\β}}_1^T\\ M\\ {\mathrm{\β}}_M^T\end{array}\right]}_{M\×m}andT={\left[\begin{array}{c}{t}_1^T\\ M\\ t_N^T\end{array}\right]}_{N\×m}---\left(8\right)$

请帮忙补充

ELM的步骤如下：

读入训练样本，并将样本随机分成训练集和测试集两部分。

种群初始化。种群个体数N，一般设置为30～50个，种群中的个体包含了ELM网络结构的所有权重与阈值。其编码方法主要有二进制法、实数法等，本发明采用实数编码，将一个实数序列作为每个个体的取值。

随机设置输入隐藏层权值α_i以及阈值b_i，i＝1,…,M；其中，M为隐藏层节点个数，α_i,b_i∈[-1,1]；

选择一个无限可微的函数作为隐藏层神经元的激活函数，计算隐藏层输出矩阵H；

通过最小二乘法计算输出层权值矩阵β，完成模型建立。

β＝H^TT (9)

其中，T＝[t₁,t₂,…,t_N]^T。

具体实施方式举例说明如下：

本发明所用立体图像取自天津大学宽带无线通信与立体成像研究所立体图像数据库。数据库里的立体图像均按照国际电信联盟(ITU)对立体图像质量的主观评价建议的两个标准：BT-500和BT.1438-2000，将所有的立体图像质量分为5个等级：极好、好、一般、差、非常差。

本发明共选取406幅立体图像样本，每一样本图像分辨率为2560×1024。其中未压缩、未加噪的原始图像共4幅，分别为标准立体素材。对所有失真图像做主观评价，记录平均意见值(Mean Opinion Score，MOS)。在406幅立体图像样本中，选取150幅图像作为训练样本，256幅图像作为测试样本。

下面结合技术方案详细说明本方法：

一、通过主观测试获取评价数据样本，选取训练样本和测试样本。

被试包括专业被试与非专业被试，均具有正常的视差立体感，共20名被试，分别为在校研究生与本科生，男性11名，女性9名，从事立体信息处理研究的被试共16人，从事其他方向研究的被试共4人。为了便于直观理解本设计，提供了立体图像质量客观评价。

二、对于选取好的训练样本和测试样本进行特征提取和降维。

在训练样本中选取50幅具有代表性的图像作为训练子集，对训练集图像数据采用PCA主成分分析法算法降维后，利用LPP算法对其进行降维，得到投影矩阵。将训练样本和测试样本通过投影矩阵投影到LPP子空间中，提取立体图像的有效信息，减少计算量对实验的影响。

三、确定网络参数，对测试样本进行质量评价，并比较不同算法在立体图像客观评价中的性能。

将训练样本的投影系数及标签输入到ELM、SVM网络中，确定网络参数。

ELM网络的参数确定过程比较简单，只需确定激励函数与隐藏层节点个数。本方法选取不同的激励函数，包括sigmoid函数、sine函数、hardlim函数、三角基(tribas)函数与径向基(radbas)函数。同时，将每个激励函数的隐藏层节点数初始化为10，并以10为周期增加隐层节点数，每种组合进行50次随机试验，统计所获得的平均识别率，分析在不同激励函数和隐层节点个数组合下，ELM对立体图像质量客观评价精度的影响。

对于SVM，核函数选择径向基(radbas)函数，其中惩罚参数C和核参数γ通过5-折交叉验证的方法选取最优的训练参数，本文选取C＝120，γ＝0.20。

ELM、SVM作为系统的分类器，其分类能力将直接影响系统的性能，因此对ELM、SVM网络的训练是实验中的关键步骤。在实验过程中，所有实验数据的输入均归一化到[-1,1]范围内。

表1、不同激活函数下ELM对所有测试样本的识别率

激励函数	ELM算法识别率(％)	ELM隐藏层节点数
			sigmoid	92.55	230
sine	91.88	200
			hardlim	90.40	250
tribas	91.66	200
			radbas	91.86	250

表2、不同评价算法的性能指标

不同评价方法	LPP-ELM	PCA-ELM	PCA-SVM
				识别率	93.36	92.19	91.41
特征维数	18	16	16

表1给出了不同激活函数下ELM对所有测试样本的识别率。由表1可知，激励函数方面，除hardlim激励函数外，其他四种激励函数的算法识别率相近。其中，使用sigmoid函数作为激活函数时，ELM算法识别率最高。

表2列出了基于LPP-ELM(sigmoid)和SVM分类识别系统在所有测试样本上的识别率。从表2中可以看出，使用LPP-ELM对立体图像质量进行客观评价的结果，与立体图像实际主观评价分数基本相符。LPP-ELM方法的测试样本正确分类识别率达到93.36％。因此，LPP-ELM在立体图像质量客观评价方面的性能明显优于PCA-ELM和PCA-SVM。综上所述，本方法所提出的基于LPP-ELM算法模型在立体图像质量评价方面有着很大的实际可行性。

实验结果表明，LPP-ELM算法进行立体图像质量评价的正确等级分类率可以达到93.36％，能准确有效反映图像的主观评价结果。

Claims (1)

1.一种基于LPP-ELM的立体图像质量客观评价方法，其特征在于，该方法包括以下步骤：

步骤(1)、选取训练样本和测试样本；

步骤(2)、利用LPP算法对于训练样本和测试样本进行特征提取和降维，即在LPP算法中，给定高维特征空间中的样本集X＝[x₁,x₂,…,x_n]，x_n代表样本集中的各立体图像，n代表高维训练样本个数；找到一个投影矩阵A，投影矩阵A＝[a₁,a₂,…,a_d]由矩阵(XDX^T)^-1XLX^T的前d个最小特征值对应的特征向量构成，其中D为对角矩阵，L＝D-S为拉普拉斯矩阵；将样本集X空间依据投影矩阵A投影到一个低维特征空间的样本集Y＝[y₁,y₂,…,y_n]，Y＝A^TX，将训练样本和测试样本投影到LPP子空间中；

步骤(3)、采用极端学习机ELM对训练样本进行分类处理，即：

读入训练样本，并将样本随机分成训练集和测试集两部分；

进行种群初始化，设置种群个体数为N，种群中的个体包含了ELM网络结构的所有权重与阈值；

随机设置输入隐藏层权值α_i以及阈值b_i，i＝1,…,M；其中，M为隐藏层节点个数，α_i,b_i∈[-1,1]；

选择一个无限可微的函数作为隐藏层神经元的激励函数g(x)，计算隐藏层输出矩阵H；通过最小二乘法计算输出层权值矩阵β，输入样本的期望输出值矩阵T，完成模型建立；

β＝H^TT

其中，

$\mathrm{\β}=\left[\begin{array}{c}{\mathrm{\β}}_1^T\\ M\\ {\mathrm{\β}}_M^T\end{array}\right],T=\left[\begin{array}{c}{t}_1^T\\ M\\ t_N^T\end{array}\right].$