CN107103592B - 一种基于双核范数正则的多姿态人脸图像质量增强方法 - Google Patents
一种基于双核范数正则的多姿态人脸图像质量增强方法 Download PDFInfo
- Publication number
- CN107103592B CN107103592B CN201710223815.XA CN201710223815A CN107103592B CN 107103592 B CN107103592 B CN 107103592B CN 201710223815 A CN201710223815 A CN 201710223815A CN 107103592 B CN107103592 B CN 107103592B
- Authority
- CN
- China
- Prior art keywords
- value
- updating
- image
- quality
- specifically
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 58
- 235000009508 confectionery Nutrition 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 9
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
Abstract
本发明公开了一种基于双核范数正则的多姿态人脸图像质量增强方法,属于图像处理领域。本方法首先以图像中每个像素位置为中心,获取低质量测试样本和高低分辨率训练样本图像各个像素位置的图像块;其次,对低质量测试图像中的每个图像块,运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示;再次,在保持表示系数不变的情况下,用高质量训练样本图像块替换低质量训练样本图像块,从而获得低质量测试图像块对应的高质量测试图像块;最后,对步骤3中的高质量测试图像块进行串联和整合,从而获得高质量的测试图像。
Description
技术领域
本发明涉及一种人脸图像质量增强方法,特别涉及一种基于局部约束双核范数正则的多姿态人脸图像质量增强方法,属于图像处理技术领域。
背景技术
随着信息技术的进步与发展,人们对视觉信息的处理要求越来越高,尤其人脸图像。它广泛应用于各个领域,如:人脸识别、人脸视频图像传输、遥感图像、放大数码相机的人脸照片、军事等。但在其应用过程中,大部分人脸图像质量较差,因此相关学者提出人脸图像超质量增强方法。人脸图像质量增强主要是对那些模糊、有噪、频谱混叠的低分辨率人脸图像进行信号处理,进而得到清晰的高分辨率人脸图像。其中图像的质量主要取决于在单位面积像素的数目,即图像的分辨率,因此通过这个方法,我们可以合成在图像退化过程中丢失的高频人脸特征细节,从而提高图像的质量。基于样本学习的人脸图像质量增强算法是利用训练样本学习重构权重系数,从而得到图像的先验信息,进一步合成超分辨图像。
目前基于样本学习的人脸图像质量增强方法可以分为两类:基于全局的方法和基于局部的方法。
基于全局的方法可以保留整个人脸图像的结构,但是忽视了除主成份以外的人脸特征细节。因此,研究者提出了基于局部的方法。基于局部图像块的人脸图像质量增强算法是将整个人脸进行分块,以人脸的局部特征为输入进行合成,这样有利于合成更多的高频特征细节信息,从而提高整个人脸图像分辨率。依据重构误差分布描述的模型的不同,基于局部的图像超分辨率方法可分为:l2范数、l1或l0范数、核范数。
之前的这些误差模型是在理想的假设环境下进行的,因此取得了比较满意的实验结果。但在实际应用中,我们可能得到的低分辨率图像是多姿态的。这时在合成高分辨率人脸图像的过程中,输入人脸图像矩阵与利用训练样本合成的人脸图像矩阵并不对应,从而导致重构误差增大。
发明内容
本发明所要解决的技术问题是提供一种基于局部约束双核范数正则的多姿态人脸图像质量增强方法,针对现有的人脸图像合成算法的不足,解决了之前方法所忽视的多姿态问题,满足实际应用对人脸图像合成的要求。
本发明为解决上述技术问题采用以下技术方案:
本发明提供一种基于局部约束双核范数正则的多姿态人脸图像质量增强方法,包括以下具体步骤:
步骤1,以图像中每个像素位置为中心,获取低质量测试图像和低质量训练样本图像各个像素位置的图像块;
步骤2,对低质量测试图像中的每个图像块,运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示;
步骤3,在保持表示系数不变的情况下,用高质量训练样本图像块替换低质量训练样本图像块,从而获得低质量测试图像块对应的高质量测试图像块;
步骤4,对步骤3中高质量测试图像块进行串联和整合,从而获得高质量的测试图像。
作为本发明的进一步优化方案,步骤2中对低质量测试图像中的每个图像块,运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示,具体为:
y=x1A1+x2A2+…+xNAN+E
其中,y是低质量测试图像块;Ai是第i个低质量像素训练样本图像中对应位置的图像块,i={1,2,…,N},N是训练样本图像个数;xi是表示系数向量x中的第i个元素值;E是表示残差项;
表示系数向量x根据以下模型求解得到:
其中,||·||*表示矩阵的核范数,即矩阵的所有奇异值的和;M表示行矫正矩阵;y表示低质量测试图像块矩阵;A(x)=x1A1+x2A2+…+xNAN表示从空间到的一个线性映射;α表示第一正则化参数;H=[Vec(A1),...,Vec(AN)],Vec(·)表示矩阵的向量化操作;β表示第二正则化参数,D=(D1,D2,…,DN)表示低质量测试图像块与低质量训练样本图像块之间的欧几里德距离矩阵。
其拉格朗日函数表示为:
其中,Y1、Y2均为拉格朗日乘子,μ为第三正则化参数;
2.2)采用交替方向乘子法ADMM对步骤2.1)中的模型进行求解,得到表示系数向量x。
作为本发明的进一步优化方案,采用交替方向乘子法ADMM对上述步骤2.1)中的模型进行求解,具体为:
<a>固定x、E、S,更新M,具体为:
其中,Mk+1为第k+1步更新后M的值,Ek、xk、Y1 k别为第k步更新后E、x、Y1的值;
Mk+1=VUT;
<b>固定M、E、S,更新x,具体为:
其中,xk+1为第k+1步更新后x的值,Sk、Y2 k分别为第k步更新后S、Y2的值;
xk+1的最优解为:
xk+1=(g+diag(g1))\g2
<c>固定x、M、E,更新S,具体为:
通过奇异值阈值化求解最优的Sk+1:
其中,Sk+1为第k+1步更新后S的值;
<d>固定x、M、S,更新E,具体为:
通过奇异值阈值化求解最优的Ek+1,:
其中,Ek+1为第k+1步更新后E的值;
<e>更新拉格朗日乘子:
Y1 k+1=Y1 k+μ(Mk+1y-A(xk+1)-Ek+1)
其中,Y1 k+1、Y2 k+1分别为第k+1步更新后的Y1、Y2的值;
<f>若达到最大迭代次数或以下终止条件,则输出xk+1作为x;否则,返回到步骤<a>:
||Hdiag(x)-S||∞≤εand||My-A(x)-E||∞≤ε。
其中,||·||∞为矩阵的∞范数,ε为预设的容错值。
作为本发明的进一步优化方案,步骤2中对低质量测试图像中的每个图像块,运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示,具体为:
y=x1A1+x2A2+…+xNAN+E
其中,y是低质量测试图像块;Ai是第i个低质量像素训练样本图像中对应位置的图像块,i={1,2,…,N},N是训练样本图像个数;xi是表示系数向量x中的第i个元素值;E是表示残差项;
表示系数向量x根据以下模型求解得到:
其中,||·||*表示矩阵的核范数,即矩阵的所有奇异值的和;R表示列旋转矩阵;y表示低质量测试图像块矩阵;A(x)=x1A1+x2A2+…+xNAN表示从空间到的一个线性映射;α表示第一正则化参数;H=[Vec(A1),…,Vec(AN)],Vec(·)表示矩阵的向量化操作;β表示第二正则化参数,D=(D1,D2,...,DN)表示低质量测试图像块与低质量训练样本图像块之间的欧几里德距离矩阵。
其拉格朗日函数:
其中,Y1、Y2均为拉格朗日乘子,μ为第三正则化参数;
2.2)采用交替方向乘子法ADMM对步骤2.1)中的模型进行求解,得到表示系数向量x。
作为本发明的进一步优化方案,采用交替方向乘子法ADMM对上述步骤2.1)中的模型进行求解,具体为:
<a>固定x、E、S,更新R,具体为:
其中,Rk+1为第k+1步更新后R的值,Ek、xk、Y1 k分别为第k步更新后E、x、Y1的值;
Rk+1=VUT
<b>固定R、E、S,更新x,具体为:
其中,xk+1为第k+1步更新后x的值,Sk、Y2 k分别为第k步更新后S、Y2的值;
xk+1的最优解为:
xk+1=(g+diag(g1))\g2
<c>固定x、M、E,更新S,具体为:
通过奇异值阈值化求解最优的Sk+1:
其中,Sk+1为第k+1步更新后S的值;;
<d>固定x、R、S,更新E,具体为:
通过奇异值阈值化求解最优Ek+1的:
其中,Ek+1为第k+1步更新后E的值;
<e>更新拉格朗日乘子,具体为:
Y1 k+1=Y1 k+μ(yRk+1-A(xk+1)-Ek+1)
其中,Y1 k+1、Y2 k+1分别为第k+1步更新后的Y1、Y2的值;
<f>若达到最大迭代次数或以下终止条件,则输出xk+1作为x;否则,返回到步骤<a>:
||Hdiag(x)-S||∞≤εand||yR-A(x)-E||∞≤ε
其中,||·||∞为矩阵的∞范数,ε为预设的容错值。
作为本发明的进一步优化方案,步骤2中对低质量测试图像中的每个图像块,运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示,具体为:
y=x1A1+x2A2+…+xNAN+E
其中,y是低质量测试图像块;Ai是第i个低质量像素训练样本图像中对应位置的图像块,i={1,2,…,N},N是训练样本图像个数;xi是表示系数向量x中的第i个元素值;E是表示残差项;
表示系数向量x根据以下模型求解得到:
其中,||·||*表示矩阵的核范数,即矩阵的所有奇异值的和;M表示行矫正矩阵;y表示低质量测试图像块矩阵;R表示列旋转矩阵;A(x)=x1A1+x2A2+…+xNAN表示从空间到的一个线性映射;α表示第一正则化参数;H=[Vec(A1),...,Vec(AN)],Vec(·)表示矩阵的向量化操作;β表示第二正则化参数,D=(D1,D2,...,DN)表示低质量测试图像块与低质量训练样本图像块之间的欧几里德距离矩阵。
s.t.E=MyR-A(x),S=Hdiag(x),MTM=I,RTR=I
其拉格朗日函数表示为:
其中,Y1、Y2均为拉格朗日乘子,μ为第三正则化参数;
2.2)采用交替方向乘子法ADMM对2.1)中的模型进行求解,得到表示系数向量x。
作为本发明的进一步优化方案,采用交替方向乘子法ADMM对上述步骤2.1)中的模型进行求解,具体为:
<a>固定x、E、S、R,更新M,具体为:
其中,Mk+1为第k+1步更新后M的值,Rk、Ek、xk、Y1 k分别为第k步更新后R、E、x、Y1的值;
Mk+1=V1U1 T;
<b>固定x、E、S、M,更新R,具体为:
其中,Rk+1为R第k+1步更新后的值;
Rk+1=V2U2 T;
<c>固定M、R、E、S,更新x,具体为:
其中,xk+1为第k+1步更新后x的值,Y2 k为第k步更新后Y2的值;
xk+1的最优解为:
xk+1=(g+diag(g1))\g2
<d>固定x、M、R、E,更新S,具体为:
通过奇异值阈值化求解最优的Sk+1:
其中,Sk+1为第k+1步更新后S的值;;
<e>固定x、M、R、S,更新E,具体为:
通过奇异值阈值化求解最优解Ek+1:
其中,Ek+1为第k+1步更新后E的值;
<f>更新拉格朗日乘子,具体为:
Yk+1=Yk+μ(Mk+1yRk+1-A(xk+1)-Ek+1)
其中,Y1 k+1、Y2 k+1分别为第k+1步更新后的Y1、Y2的值;
<g>若达到最大迭代次数或以下终止条件,输出xk+1作为x;否则,返回到步骤<a>:
||Hdiag(x)-S||∞≤εand||MyR-A(x)-E||∞≤ε
其中,||·||∞为矩阵的∞范数,ε为预设的容错值。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:本发明提出的方法更能适应实际环境中的人脸图像合成,这是因为现有的方法的提出都是基于理想的假设条件下的。但在实际环境中,如监控视频获得人脸图像往往是多姿态的,如果按照之前的方法实验结果可能较差,而我们所提出地方法相对能够合成更多细节的高分辨率人脸图像。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案做进一步的详细说明:
本发明提供一种基于局部约束双核范数正则的多姿态人脸图像质量增强方法,具体流程如图1所示。
(一)以图像中每个像素位置为中心,获取低质量测试图像和低质量训练样本图像各个像素位置的图像块。
(二)对低质量测试图像中的每个图像块,运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示。
对于待合成的低质量测试图像块y,首先进行模为1的归一化操作,然后用低质量训练样本图像中对应位置上的图像块对其进行线性表示:
y=x1A1+x2A2+…+xNAN+E
其中,Ai是第i个低质量像素训练样本图像中对应位置的图像块,i={1,2,…,N},N是训练样本图像个数;xi是表示系数向量x中的第i个元素值;E是表示残差项。
其中,表示系数向量x的求解方法有以下三种:
(1)基于行矫正的核范数正则化稀疏编码的多姿态人脸图像超分辨率算法,对低质量输入人脸图像块(即低质量测试图像块)按行重新排序的核范数正则化系数译码函数:
其中,||·||*表示矩阵的核范数(即矩阵的所有奇异值的和);M为行矫正矩阵;y表示低质量测试图像块矩阵,α为第一正则化参数,H=[Vec(A1),...,Vec(AN)],Vec(·)表示矩阵的向量化操作,β为第二正则化参数,D=(D1,D2,…,DN)表示低质量测试图像块与低质量训练样本图像块之间的欧几里德距离矩阵。
以上模型可以进一步表示为:
其拉格朗日函数表示为:
其中,Y1、Y2均为拉格朗日乘子,μ为第三正则化参数。
采用交替方向乘子法ADMM对该模型进行求解,具体过程如下:
<a>固定x、E、S,更新M:
其中,Ek、xk、Y1 k别为第k步更新后E、x、Y1的值,Mk+1为第k+1步更新后M的值。
Mk+1=VUT;
<b>固定M、E、S的值,更新x:
其中,xk+1为第k+1步更新后x的值,Mk+1为第k+1步更新后M的值,Ek、Sk、Y1 k、Y2 k分别为第k步更新后E、S、Y1、Y2的值;
xk+1的最优解为:
xk+1=(g+diag(g1))\g2
<c>固定x、M、E,更新S:
可以通过奇异值阈值化求解最优的Sk+1,其中,Sk+1为第k+1步更新后S的值,xk+1为第k+1步更新后x的值,Y2 k为第k步更新后Y2的值;
<d>固定x、M、S,更新E:
可以通过奇异值阈值化求解最优解Ek+1,其中,Ek+1为第k+1步更新后E的值,Mk+1、xk +1分别为第k+1步更新后M、x的值,Y1 k为第k步更新后Y1的值;
<e>更新拉格朗日乘子:
Y1 k+1=Y1 k+μ(Mk+1y-A(xk+1)-Ek+1)
其中,Y1 k+1、Y2 k+1分别为第k+1步更新后的Y1、Y2的值;
<f>若达到最大迭代次数或以下终止条件,输出xk+1作为x;否则,返回到步骤<a>:
||Hdiag(x)-S||∞≤εand||My-A(x)-E||∞≤ε
其中,||·||∞为矩阵的∞范数,ε为预设的容错值。
(2)、基于列矫正的核范数正则化稀疏编码的多姿态人脸图像超分辨率算法,对低质量输入人脸图像块(即低质量测试图像块)按列重新排序的核范数正则化系数译码函数:
其中,R为一个列旋转矩阵,它主要是对低质量输入图像块按列进行重新排序。
以上模型可以进一步表示为:
其拉格朗日函数:
其中,Y1、Y2均为拉格朗日乘子,μ为第三正则化参数。
采用交替方向乘子法ADMM对该模型进行求解,具体过程如下:
<a>固定x、E、S,更新R:
其中,Ek、xk、Y1 k分别为第k步更新后E、x、Y1的值,Rk+1为第k+1步更新后R的值;
Rk+1=VUT;
<b>固定R、E、S,更新x:
其中,xk+1为第k+1步更新后x的值,Rk+1为第k+1步更新后R的值,Ek、Sk、Y1 k、Y2 k分别为第k步更新后E、S、Y1、Y2的值;
x的最优解为:
xk+1=(g+diag(g1))\g2
<c>固定x、M、E,更新S:
可以通过奇异值阈值化求解最优的Sk+1,其中,Sk+1为第k+1步更新后S的值,xk+1为第k+1步更新后x的值,Y2 k为第k步更新后Y2的值;
<d>固定x、R、S,更新E:
可以通过奇异值阈值化求解最优解Ek+1,其中,Ek+1为第k+1步更新后E的值,Rk+1、xk +1分别为第k+1步更新后R、x的值,Y1 k为第k步更新后Y1的值;
<e>更新拉格朗日乘子:
Y1 k+1=Y1 k+μ(yRk+1-A(xk+1)-Ek+1)
其中,Y1 k+1、Y2 k+1分别为第k+1步更新后的Y1、Y2的值;
<f>若达到最大迭代次数或以下终止条件,输出xk+1作为x;否则,返回到步骤<a>:
||Hdiag(x)-S||∞≤εand||yR-A(x)-E||∞≤ε
其中,||·||∞为矩阵的∞范数,ε为预设的容错值。
(3)、基于行和列同时矫正的核范数正则化稀疏译码的多姿态人脸图像超分辨率算法,对低质量测试图像块按行和列同时进行重新排序的核范数正则化稀疏译码函数为:
其中,M、R均为旋转矩阵,M表示行矫正矩阵,R表示列旋转矩阵,它们主要是对低质量输入图像块先按行进行重新排序,再按列进行重新排序。
以上模型可以进一步表示为
s.t.E=MyR-A(x),S=Hdiag(x),MTM=I,RTR=I
其拉格朗日函数:
其中,Y1、Y2均为拉格朗日乘子,μ为第三正则化参数。
采用交替方向乘子法ADMM对该模型进行求解,具体过程如下:
<a>固定x、E、S、R,更新M:
其中,Rk、Ek、xk、Y1 k分别为第k步更新后R、E、x、Y1的值,Mk+1为第k+1步更新后M的值;
Mk+1=V1U1 T
<b>固定x、E、S、M,更新R:
其中,Ek、xk、Y1 k分别为第k步更新后E、x、Y1的值,Mk+1、Rk+1分别为M、R第k+1步更新后的值。
Rk+1=V2U2 T
<c>固定M、R、E、S,更新x:
x的最优解为:
xk+1=(g+diag(g1))\g2
<d>固定x、M、R、E,更新S:
可以通过奇异值阈值化求解最优的Sk+1,其中,Sk+1为第k+1步更新后S的值,xk+1为第k+1步更新后x的值,Y2 k为第k步更新后Y2的值;
<e>固定x、M、R、S,更新E:
可以通过奇异值阈值化求解最优解Ek+1,其中,Ek+1为第k+1步更新后E的值,Mk+1、Rk +1、xk+1分别为第k+1步更新后M、R、x的值,Y1 k为第k步更新后Y1的值;
<f>更新拉格朗日乘子:
Yk+1=Yk+μ(Mk+1yRk+1-A(xk+1)-Ek+1)
其中,Y1 k+1、Y2 k+1分别为第k+1步更新后的Y1、Y2的值;
<g>若达到最大迭代次数或以下终止条件,输出xk+1作为x;否则,返回到步骤<a>:
||Hdiag(x)-S||∞≤εand||MyR-A(x)-E||∞≤ε
其中,||·||∞为矩阵的∞范数,ε为预设的容错值。
(三)、利用求得的最优表示系数向量x和相应的高质量训练样本合成高质量人脸图像块Y,Y=AH(x)=x1A1H+x2A2H+…+xNANH,A1H,A2H,…,ANH为高质量训练样本图像块。
(四)、按位置集中所合成的高质量人脸图像块,对于重合部分取平均值,得到最终合成的高质量人脸图像。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (1)
1.一种基于双核范数正则的多姿态人脸图像质量增强方法,其特征在于,包括以下具体步骤:
步骤1,以图像中每个像素位置为中心,获取低质量测试图像和低质量训练样本图像各个像素位置的图像块;
步骤2,对低质量测试图像中的每个图像块,运用局部约束双核范数正则回归方法获得其在低质量训练样本图像中对应位置上的图像块集合的线性表示,具体为:
y=x1A1+x2A2+…+xNAN+E
其中,y是低质量测试图像块;Ai是第i个低质量像素训练样本图像中对应位置的图像块,i={1,2,…,N},N是训练样本图像个数;xi是表示系数向量x中的第i个元素值;E是表示残差项;
表示系数向量x的求解方法有以下三种:
1)根据模型求解表示系数向量x的方法,其中,||·||*表示矩阵的核范数,即矩阵的所有奇异值的和;M表示行矫正矩阵;y表示低质量测试图像块矩阵;A(x)=x1A1+x2A2+…+xNAN表示从空间到的一个线性映射;α表示第一正则化参数;H=[Vec(A1),...,Vec(AN)],Vec(·)表示矩阵的向量化操作;β表示第二正则化参数,D=(D1,D2,...,DN)表示低质量测试图像块与低质量训练样本图像块之间的欧几里德距离矩阵;具体的方法如下:
其拉格朗日函数表示为:
其中,Y1、Y2均为拉格朗日乘子,μ为第三正则化参数;
1.2)采用交替方向乘子法ADMM对步骤1.1)中的模型进行求解,得到表示系数向量x,具体为:
<a>固定x、E、S,更新M,具体为:
其中,Mk+1为第k+1步更新后M的值,Ek、xk、Y1 k别为第k步更新后E、x、Y1的值;
Mk+1=VUT;
<b>固定M、E、S,更新x,具体为:
其中,xk+1为第k+1步更新后x的值,Sk、Y2 k分别为第k步更新后S、Y2的值;
xk+1的最优解为:
xk+1=(g+diag(g1))\g2
<c>固定x、M、E,更新S,具体为:
通过奇异值阈值化求解最优的Sk+1:
其中,Sk+1为第k+1步更新后S的值;
<d>固定x、M、S,更新E,具体为:
通过奇异值阈值化求解最优的Ek+1,:
其中,Ek+1为第k+1步更新后E的值;
<e>更新拉格朗日乘子:
Y1 k+1=Y1 k+μ(Mk+1y-A(xk+1)-Ek+1)
其中,Y1 k+1、Y2 k+1分别为第k+1步更新后的Y1、Y2的值;
<f>若达到最大迭代次数或以下终止条件,则输出xk+1作为x;否则,返回到步骤<a>:
||Hdiag(x)-S||∞≤εand||My-A(x)-E||∞≤ε
其中,||·||∞为矩阵的∞范数,ε为预设的容错值;
其拉格朗日函数:
其中,Y1、Y2均为拉格朗日乘子,μ为第三正则化参数;
2.2)采用交替方向乘子法ADMM对步骤2.1)中的模型进行求解,得到表示系数向量x,具体为:
<a>固定x、E、S,更新R,具体为:
其中,Rk+1为第k+1步更新后R的值,Ek、xk、Y1 k分别为第k步更新后E、x、Y1的值;
Rk+1=VUT
<b>固定R、E、S,更新x,具体为:
其中,xk+1为第k+1步更新后x的值,Sk、Y2 k分别为第k步更新后S、Y2的值;
xk+1的最优解为:
xk+1=(g+diag(g1))\g2
<c>固定x、M、E,更新S,具体为:
通过奇异值阈值化求解最优的Sk+1:
其中,Sk+1为第k+1步更新后S的值;
<d>固定x、R、S,更新E,具体为:
通过奇异值阈值化求解最优Ek+1的:
其中,Ek+1为第k+1步更新后E的值;
<e>更新拉格朗日乘子,具体为:
Y1 k+1=Y1 k+μ(yRk+1-A(xk+1)-Ek+1)
其中,Y1 k+1、Y2 k+1分别为第k+1步更新后的Y1、Y2的值;
<f>若达到最大迭代次数或以下终止条件,则输出xk+1作为x;否则,返回到步骤<a>:
||Hdiag(x)-S||∞≤εand||yR-A(x)-E||∞≤ε
其中,||·||∞为矩阵的∞范数,ε为预设的容错值;
s.t.E=MyR-A(x),S=Hdiag(x),MTM=I,RTR=I
其拉格朗日函数表示为:
其中,Y1、Y2均为拉格朗日乘子,μ为第三正则化参数;
3.2)采用交替方向乘子法ADMM对3.1)中的模型进行求解,得到表示系数向量x,具体为:
<a>固定x、E、S、R,更新M,具体为:
其中,Mk+1为第k+1步更新后M的值,Rk、Ek、xk、Y1 k分别为第k步更新后R、E、x、Y1的值;
Mk+1=V1U1 T;
<b>固定x、E、S、M,更新R,具体为:
其中,Rk+1为R第k+1步更新后的值;
Rk+1=V2U2 T;
<c>固定M、R、E、S,更新x,具体为:
其中,xk+1为第k+1步更新后x的值,Y2 k为第k步更新后Y2的值;
xk+1的最优解为:
xk+1=(g+diag(g1))\g2
<d>固定x、M、R、E,更新S,具体为:
通过奇异值阈值化求解最优的Sk+1:
其中,Sk+1为第k+1步更新后S的值;
<e>固定x、M、R、S,更新E,具体为:
通过奇异值阈值化求解最优解Ek+1:
其中,Ek+1为第k+1步更新后E的值;
<f>更新拉格朗日乘子,具体为:
Yk+1=Yk+μ(Mk+1yRk+1-A(xk+1)-Ek+1)
其中,Y1 k+1、Y2 k+1分别为第k+1步更新后的Y1、Y2的值;
<g>若达到最大迭代次数或以下终止条件,输出xk+1作为x;否则,返回到步骤<a>:
||Hdiag(x)-S||∞≤εand||MyR-A(x)-E||∞≤ε
其中,||·||∞为矩阵的∞范数,ε为预设的容错值;
步骤3,在保持表示系数不变的情况下,用高质量训练样本图像块替换低质量训练样本图像块,从而获得低质量测试图像块对应的高质量测试图像块;
步骤4,对步骤3中高质量测试图像块进行串联和整合,从而获得高质量的测试图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710223815.XA CN107103592B (zh) | 2017-04-07 | 2017-04-07 | 一种基于双核范数正则的多姿态人脸图像质量增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710223815.XA CN107103592B (zh) | 2017-04-07 | 2017-04-07 | 一种基于双核范数正则的多姿态人脸图像质量增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107103592A CN107103592A (zh) | 2017-08-29 |
CN107103592B true CN107103592B (zh) | 2020-04-28 |
Family
ID=59676221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710223815.XA Active CN107103592B (zh) | 2017-04-07 | 2017-04-07 | 一种基于双核范数正则的多姿态人脸图像质量增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107103592B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112889061A (zh) * | 2018-12-07 | 2021-06-01 | 北京比特大陆科技有限公司 | 人脸图像质量评估方法、装置、设备及存储介质 |
CN109697691B (zh) * | 2018-12-27 | 2022-11-25 | 重庆大学 | 一种基于l0范数和奇异值阈值分解的双正则项优化的有限角投影重建方法 |
CN111104868B (zh) * | 2019-11-25 | 2022-08-23 | 南京邮电大学 | 一种基于卷积神经网络特征的跨质量人脸识别方法 |
CN111260577B (zh) * | 2020-01-15 | 2023-04-18 | 哈尔滨工业大学 | 基于多引导图和自适应特征融合的人脸图像复原系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102637294A (zh) * | 2012-03-03 | 2012-08-15 | 西北工业大学 | 基于非下采样Contourlet变换和改进的总变分的图像增强方法 |
CN105427249A (zh) * | 2015-10-30 | 2016-03-23 | 南京邮电大学 | 一种基于鲁棒核范数正则回归的风电图像质量增强方法 |
-
2017
- 2017-04-07 CN CN201710223815.XA patent/CN107103592B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102637294A (zh) * | 2012-03-03 | 2012-08-15 | 西北工业大学 | 基于非下采样Contourlet变换和改进的总变分的图像增强方法 |
CN105427249A (zh) * | 2015-10-30 | 2016-03-23 | 南京邮电大学 | 一种基于鲁棒核范数正则回归的风电图像质量增强方法 |
Non-Patent Citations (2)
Title |
---|
Face Recognition With Pose Variations and Misalignment via Orthogonal Procrustes Regression;Ying Tai et al.;《IEEE Transactions on Image Processing 》;20160406;第25卷(第6期);全文 * |
人脸图像特征提取和分类的若干方法研究;钱建军;《中国博士学位论文全文数据库 信息科技辑》;20150615;第2015年卷(第06期);第I138-29页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107103592A (zh) | 2017-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107103592B (zh) | 一种基于双核范数正则的多姿态人脸图像质量增强方法 | |
CN108734659B (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
CN109389552B (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
CN105046672B (zh) | 一种图像超分辨率重建方法 | |
CN110501072B (zh) | 一种基于张量低秩约束的快照式光谱成像系统的重构方法 | |
CN109636769A (zh) | 基于双路密集残差网络的高光谱和多光谱图像融合方法 | |
CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
CN111861884B (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
CN107194873B (zh) | 基于耦合字典学习的低秩核范数正则人脸图像超分辨方法 | |
CN113379661B (zh) | 红外与可见光图像融合的双分支卷积神经网络装置 | |
CN105631807A (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
CN110415198B (zh) | 一种基于拉普拉斯金字塔与参数自适应脉冲耦合神经网络的医学图像融合方法 | |
CN107301630B (zh) | 一种基于排序结构组非凸约束的cs-mri图像重构方法 | |
CN105761251A (zh) | 一种基于低秩和结构稀疏的视频前景背景分离方法 | |
CN108765280A (zh) | 一种高光谱图像空间分辨率增强方法 | |
CN113177882A (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
CN110060225B (zh) | 一种基于快速有限剪切波变换与稀疏表示的医学图像融合法 | |
CN109886898B (zh) | 基于优化启发的神经网络的光谱成像系统的成像方法 | |
CN113112592A (zh) | 一种可驱动的隐式三维人体表示方法 | |
CN109785279B (zh) | 一种基于深度学习的图像融合重建方法 | |
CN111145102A (zh) | 一种基于卷积神经网络的合成孔径雷达图像去噪方法 | |
CN114299185A (zh) | 磁共振图像生成方法、装置、计算机设备和存储介质 | |
CN110458759A (zh) | 一种基于edsr单图超分辨率重建方法 | |
CN108898568A (zh) | 图像合成方法与装置 | |
CN114565539B (zh) | 一种基于线上知识蒸馏的图像去雾方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |