CN104933692B - 一种人脸超分辨率的重建方法及装置 - Google Patents
一种人脸超分辨率的重建方法及装置 Download PDFInfo
- Publication number
- CN104933692B CN104933692B CN201510381611.XA CN201510381611A CN104933692B CN 104933692 B CN104933692 B CN 104933692B CN 201510381611 A CN201510381611 A CN 201510381611A CN 104933692 B CN104933692 B CN 104933692B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- face
- image block
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种人脸超分辨率的重建方法及装置，所述方法包括：接收低分辨率人脸图像XL，将XL、预设的第一人脸样本图像及第二人脸样本图像划分为相互重叠的图像块；计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵查找与XL(i,j)距离最近的第一图像块根据第一图像块对应的最优映射矩阵合成各个位置的高分辨率人脸图像块XH(i,j)；根据XH(i,j)在人脸对应的位置进行融合，获取高分辨率人脸图像；如此，根据训练集中的任何一幅低分辨率图像到高分辨率图像的最优映射矩阵，利用该图像所训练出来的最优映射矩阵来恢复到高分辨率的图片，既提高了重建效率，达到了实时性的要求，又提高了高分辨率图片的质量。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种人脸超分辨率的重建方法及装置。
背景技术
在监控系统中，摄像头的应用已非常广泛，但在大多数情况下，拍摄的环境非常糟糕，无论是由于自然光线变化还是复杂的背景交错，导致获取的人脸照片质量差，分辨率很低。在遭遇突发状况时就会为后续的调查带来困难，并且在复原的时间和空间消耗上也比较大。
现有技术中，一般通过基于学习的人脸超分辨率方法来获取高分辨率人脸图像。这类方法根据高低分辨率图像对所构成的训练集这一先验信息，输入一张低分辨率的人脸图像，就可以超分辨率重建出一张高分辨率的人脸图像，但由于该方法所选择的近邻图像块数是固定的，在对输入图像块进行表示时，会出现过拟合或拟合不当的问题，且复原效果差；并且，需要找出图像块局部约束部分和重建约束部分各自对应的最小二乘解，算法复杂度较高，耗时较长。
基于此，如何以较快的速度提高低分辨率人脸图像的质量，有效增强监控录像中低质量人脸图像的分辨率，为人脸辨别提供足够的特征细节信息成为目前亟待解决的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供了一种人脸超分辨率的重建方法及装置，用于解决现有技术中对低分辨率人脸图像进行重建时，合成速度及效率低且人脸图像质量差的技术问题。
本发明提供一种人脸超分辨率的重建方法，所述方法包括：
接收低分辨率人脸图像XL，将所述低分辨率人脸图像XL、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像划分为相互重叠的图像块；
计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵
在所述低分辨率训练集中查找与所述低分辨率人脸图像中各个位置(i,j)的图像块XL(i,j)距离最近的第一图像块在所述映射矩阵中查找所述第一图像块对应的最优映射矩阵根据所述最优映射矩阵合成各个位置的高分辨率人脸图像块XH(i,j)；
根据所述各个位置(i,j)的高分辨率人脸图像块XH(i,j)在人脸对应的位置进行融合，获取高分辨率人脸图像并输出；其中，所述M为第一人脸样本图像及所述第二人脸样本图像的个数，所述i为所述图像块的行号，所述j为所述图像块的列号，所述mBest为所述第一图像块在所述低分辨率训练集中的序号，所述m为样本图像的序号，所述m取值为[1，M]。
上述方案中，对所述低分辨率人脸图像、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像进行划分包括：
按照从左到右、从上到下进行划分；
当划分图像块至图像边缘，且所述图像剩余尺寸不大于预设的图像块的尺寸时，以所述图像的边缘为基准进行回退划分。
上述方案中，所述计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵包括：
根据公式计算所述第
一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵其中，
所述为所述低分辨率训练集所有第i行j列的图像块中离所述第一人脸样本图像最近的K幅图像拼接而成的K近邻第一矩阵；所述为所述高分辨率训练集所有图像中与所述K近邻第一矩阵对应的第i行j列的图像块拼接而成的K近邻第二矩阵；所述Am(i,j)为从所述K近邻第一矩阵到所述K近邻第二矩阵的映射矩阵；所述λ为正则化参数；所述表示欧氏平方距离；所述为所述映射矩阵Am(i,j)的范数。
上述方案中，根据所述最优映射矩阵合成各个位置的高分辨率人脸图像块XH(i,j)包括：
利用公式计算所述各个位置的高分辨率人脸图像块XH(i,j)。
上述方案中，所述mBest的值利用公式计算得出；其中，
所述为所述低辨率训练集中的第m幅低分辨率人脸样本图像中第i行第j列的图像块。
本发明还提供一种人脸超分辨率的重建装置，所述装置包括：
划分模块，所述划分模块用于接收低分辨率人脸图像XL，将所述低分辨率人脸图像XL、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像划分为相互重叠的图像块；
计算模块，所述计算模块用于计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵
合成模块，所述合成模块用于在所述低分辨率训练集中查找与所述低分辨率人脸图像中各个位置(i,j)的图像块XL(i,j)距离最近的第一图像块在所述映射矩阵中查找所述第一图像块对应的最优映射矩阵根据所述最优映射矩阵合成各个位置的高分辨率人脸图像块XH(i,j)；
融合模块，所述融合模块用于根据所述各个位置的高分辨率人脸图像模块XH(i,j)在人脸对应的位置进行融合，获取高分辨率人脸图像并输出；其中，所述M为第一人脸样本图像及所述第二人脸样本图像的个数，所述i为所述图像块的行号，所述j为所述图像块的列号，所述mBest为所述第一图像块在所述低分辨率训练集中的序号，所述m为样本图像的序号，所述m取值为[1，M]。
上述方案中，所述划分模块将所述低分辨率人脸图像XL、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像划分为相互重叠的图像块具体包括：
所述划分模块按照从左到右、从上到下进行划分；
当划分图像块至图像边缘，且所述图像剩余尺寸不大于预设的图像块的尺寸时，以所述图像的边缘为基准进行回退划分。
上述方案中，所述计算模块具体用于：
根据公式计算所述第
一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵其中，
所述为所述低分辨率训练集所有第i行j列的图像块中离所述第一人脸样本图像最近的K幅图像拼接而成的K近邻第一矩阵；所述为所述高分辨率训练集所有图像中与所述K近邻第一矩阵对应的第i行j列的图像块拼接而成的K近邻第二矩阵；所述Am(i,j)为从所述K近邻第一矩阵到所述K近邻第二矩阵的映射矩阵；所述λ为正则化参数；所述表示欧氏平方距离；所述为所述映射矩阵Am(i,j)的范数。
上述方案中，所述合成模块具体用于：
利用公式计算所述各个位置的高分辨率人脸图像块XH(i,j)。
上述方案中，所述合成模块利用公式计算得出所述mBest的值；其中，
所述为所述低辨率训练集中的第m幅低分辨率人脸样本图像中第i行第j列的图像块。
本发明提供了一种人脸超分辨率的重建方法及装置，所述方法包括：接收低分辨率人脸图像XL，将所述低分辨率人脸图像XL、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像划分为相互重叠的图像块；计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵在所述低分辨率训练集中查找与所述低分辨率人脸图像中各个位置(i,j)的图像块XL(i,j)距离最近的第一图像块在所述映射矩阵中查找所述第一图像块对应的最优映射矩阵根据所述最优映射矩阵合成各个位置的高分辨率人脸图像块XH(i,j)；根据所述各个位置的高分辨率人脸图像模块XH(i,j)在人脸对应的位置进行融合，获取高分辨率人脸图像并输出；其中，所述M为第一人脸样本图像及所述第二人脸样本图像的个数，所述i为所述图像块的行号，所述j为所述图像块的列号，所述mBest为所述第一图像块在所述低分辨率训练集中的序号，所述m为样本图像的序号，所述m取值为[1，M]；如此，根据训练集中的任何一幅低分辨率图像到高分辨率图像的最优映射矩阵，再在训练集查找每一幅输入的低分辨率图像中与其最相似的低分辨率图片，利用该图像所训练出来的最优映射矩阵来恢复到高分辨率的图片，既提高了重建效率，达到了实时性的要求，又提高了高分辨率图片的质量。
附图说明
图1为本发明实施例一提供的一种人脸超分辨率的重建方法流程示意图；
图2为本发明实施例一提供的图像块(i,j)在坐标系o-uv下的位置信息示意图；
图3为本发明实施例一提供的横向划分超出图像右边边缘处时的分块示意图；
图4为本发明实施例一提供的纵向划分超出图像底边边缘处时的分块示意图；
图5为本发明实施例二提供的一种人脸超分辨率的重建装置结构示意图。
具体实施方式
为了对低分辨率人脸图像进行重建时，提高合成速度和图像质量，本发明提供了一种人脸超分辨率的重建方法及装置，所述方法包括：接收低分辨率人脸图像XL，将所述低分辨率人脸图像XL、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像划分为相互重叠的图像块；计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵在所述低分辨率训练集中查找与所述低分辨率人脸图像中各个位置(i,j)的图像块XL(i,j)距离最近的第一图像块在所述映射矩阵中查找所述第一图像块对应的最优映射矩阵根据所述最优映射矩阵合成各个位置的高分辨率人脸图像块XH(i,j)；根据所述各个位置的高分辨率人脸图像模块XH(i,j)在人脸对应的位置进行融合，获取高分辨率人脸图像并输出；其中，所述M为第一人脸样本图像及所述第二人脸样本图像的个数，所述i为所述图像块的行号，所述j为所述图像块的列号，所述mBest为所述第一图像块在所述低分辨率训练集中的序号，所述m为样本图像的序号，所述m取值为[1，M]。
下面通过附图及具体实施例对本发明的技术方案做进一步的详细说明。
实施例一
本实施例提供一种人脸超分辨率的重建方法，如图1所示，所述方法包括以下步骤：
步骤110，将低分辨率人脸图像XL、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像划分为相互重叠的图像块。
本步骤中，首先接收低分辨率人脸图像XL，将低分辨率人脸图像XL、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像划分为相互重叠的图像块。
具体地，所述第一人脸样本图像和第二人脸样本图像为预先设定的训练样本对。低分辨率训练集中每个第一人脸样本图像是由高分辨率训练集中对应的第二率人脸样本图像提取，所述第一人脸样本图像为低分辨率人脸样本图像，所述第二人脸样本图像为高分辨率人脸样本图像。这里，第一人脸样本图像像素大小为30×25，第二人脸样本图像像素大小为120×100。第一人脸样本图像是第二人脸样本图像通过双三次插值Bicubic下采样四倍的结果。其中，第一人脸样本图像与第二人脸样本图像的个数相同。所述M为第一人脸样本图像及所述第二人脸样本图像的个数，所述m为样本图像的序号。
具体地，将所述低分辨率人脸图像XL划分图像块所得的集合为{XL(i,j)|1≤i≤U,1≤j≤V}，将低分辨率训练集划分为图像块所得的集合为将高分辨率训练集划分为图像块所得集合为如图2所示，所述(i,j)表示所划分的图像块在图像块坐标系o-uv下的位置信息，即所述i为所述图像块的行号，所述j为所述图像块的列号。划分得到的图像块位置信息为(1,1)、(1,2)…(i,j-1)、(U,V-1)、(U,V)。位置(i,j)处的图像块上下左右邻接的图像块在坐标系o-uv下的坐标分别为(i-1,j)、(i+1,j)、(i,j-1)和(i,j+1)。
这里，所述U为每一行划分出的图像块个数，所述V为每一列划分出的图像块个数。本实施例中对所述低分辨率人脸图像XL、第一人脸样本图像及第二人脸样本图像的划分方法完全一样，即最后划分的结果是三种图像中每一行划分出的图像块个数分别相同，每一列划分出的图像块个数的分别相同。
比如，以待划分的图像左上方为起点，每次选取一个大小为patch_size×patch_size的图像块，使图像块的上方和左方与已划分部分有overlap个像素交叠，其中，图像块位于人脸图像的上边边缘或者左边边缘时除外。
具体地，所述U可由公式(1)得出，所述V可由公式(2)得出。
其中，所述imrow为图像块的行数，所述imcol为图像块的列数，单位均为像素；所述overlap为相邻图像块之间交叠的像素个数，ceil(x)表示返回大于或者等于x的最小整数。即位置(i,j)处的图像块与上下左右邻接的图像块分别重叠一个patch_size×overlap的矩形区域，但图像块位于图像边缘时除外。
进一步地，在对于图像进行划分时，为了避免由于裁剪或填补导致的图像尺寸变化，本实施例采用按照从左到右、从上到下进行划分；当划分图像块至图像边缘，且所述图像剩余尺寸不大于预设的图像块的尺寸时，以所述图像的边缘为基准进行回退划分。
具体地，当划分的图像块超出图像边缘(右边或底边)时，则以原图像的边缘为基准进行回退划分，如图3所示，当横向划分超出图像右边边缘处时，采取向左“回退”并以右边边缘为基准的策略进行分块；如图4所示，当纵向划分超出图像底边边缘处时，采取向上“回退”并以底边边缘为基准的策略进行分块。
步骤111，计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵
本步骤中，对所述低分辨率人脸图像中XL每个位置的图像块XL(i,j)来说，计算由低分辨率训练集中第一人脸样本图像在相应位置上的图像块高分辨率训练集中第二人脸样本图像相应位置的图像块进行线性重建时，都会存在一个映射矩阵。
具体地，根据公式(3)计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵
其中，所述为所述低分辨率训练集中所有第i行j列的图像块离所述第一人脸样本图像最近的K幅图像拼接而成的K近邻第一矩阵；所述为所述高分辨率训练集所有图像中与所述K近邻第一矩阵对应的第i行第j列的图像块拼接而成的K近邻第二矩阵；所述Am(i,j)为从所述K近邻第一矩阵到所述K近邻第二矩阵的映射矩阵；所述λ为正则化参数；所述表示欧氏平方距离；所述为所述映射矩阵A(i,j)的范数。其中，所述λ的取值直接影响图像的重建效果，本实施例的λ取值在10-6到0.1之间。所述对应的即代表高分辨率训练集与所述低分辨率训练集中的样本图像的序号m相同。
具体实施时，所述公式(3)的解可由公式(4)计算得出。
其中，在公式(4)中，所述I为单位矩阵，λI为正则化项，在此I可设为单位方阵，以此来确保项可逆。
至此，已经获取了每幅图像样本上每个位置所对应的总共U*V*M个最优映射矩阵。
步骤112，在所述低分辨率训练集中查找与所述低分辨率人脸图像中各个位置(i,j)的图像块XL(i,j)距离最近的第一图像块根据所述第一图像块对应的最优映射矩阵合成各个位置的高分辨率人脸图像块XH(i,j)。
本步骤中，对于各个位置(i,j)的图像块XL(i,j)来说，在低分辨率训练集都存在一个与之相距最近的第一图像块所述第一图像块包括多个。本实施例可以通过公式(5)确定第一图像块在所述低分辨率训练集中的序号mBest。
其中，所述为低辨率训练集中的第m幅低分辨率人脸样本图像中第i行第j列的图像块。
当确定出第一图像块后，在所述映射矩阵中查找所述第一图像块对应的最优映射矩阵根据各个位置(i,j)的图像块XL(i,j)与所述第一图像块对应的最优映射矩阵相乘合成得到各个位置(i,j)的高分辨率人脸图像块XH(i,j)，各个位置(i,j)的高分辨率人脸图像块XH(i,j)合成可由公式(6)实现。即把低分辨率人脸图像的每个图像块乘以对应的最优映射矩阵后的结果，直接得到该位置的高分辨率图像块。
其中，所述为所述最优映射矩阵在下标m＝mBest时的取值，所述mBest为所述第一图像块在所述低分辨率训练集中的序号。其中，所述m的值也可利用公式(5)实现。
步骤113，根据所述各个位置(i,j)的高分辨率人脸图像块XH(i,j)在人脸对应的位置进行融合，获取高分辨率人脸图像并输出。
本步骤中，将步骤112中获取的各个位置(i,j)的高分辨率图像块XH(i,j)按照人脸的对应位置进行拼接融合，获取高分辨率人脸图像并输出。
其中，在拼接融合时，相邻图像块之间重叠部分的像素值，可以采取均值的方法获取。
具体地，可按照以下步骤进行获取：
步骤a，初始化一个与高分辨率图像大小一样的图像矩阵D和交叠次数矩阵F；所述矩阵D和矩阵F中的所有元素值均为0；
步骤b，将各个位置的高分辨率图像块按位置叠加到所述图像矩阵D中；
步骤c，交叠次数矩阵F对应位置的所有元素值均加1，表示该像素点所在位置被交叠了一次；
步骤d，重复步骤b和c，直到各个位置的高分辨率图像块合成完毕；
步骤e，将图像矩阵D点除交叠次数矩阵F以获取相邻图像块之间重叠部分的像素值的平均值。本步骤中，所述点除就是指两个矩阵中相应位置的元素进行相除。
本实施例提供的人脸超分辨率的重建方法，通过加入正则化项，解决了人脸样本图像过多时最小二乘接不唯一的问题，并且根据训练集中的任何一幅低分辨率图片到高分辨率图片的最优映射矩阵，再在训练集查找每一幅输入的低分辨率图像中与其最相似的低分辨率图像，利用该图像所训练出来的最优映射矩阵来恢复到高分辨率的图片，既提高了重建效率，达到了实时性的要求，又提高了高分辨率图片的质量。
实施例二
相应于实施例一，本实施例还提供了一种人脸超分辨率的重建装置，如图5所示，所述装置包括：划分模块51、计算模块52、合成模块53及融合模块54；其中，
所述划分模块51用于接收低分辨率人脸图像XL，将所述低分辨率人脸图像XL、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像划分为相互重叠的图像块。其中，所述第一人脸样本图像和第二人脸样本图像为预先设定的训练样本对。低分辨率训练集中每个第一人脸样本图像是由高分辨率训练集中对应的第二率人脸样本图像提取，所述第一人脸样本图像为低分辨率人脸样本图像，所述第二人脸样本图像为高分辨率人脸样本图像。这里，第一人脸样本图像像素大小为30×25，第二人脸样本图像像素大小为120×100。第一人脸样本图像是第二人脸样本图像通过双三次插值Bicubic下采样四倍的结果。其中，第一人脸样本图像与第二人脸样本图像的个数相同。所述M为第一人脸样本图像及所述第二人脸样本图像的个数，所述m为样本图像的序号。
具体地，所述划分模块51将所述低分辨率人脸图像XL划分图像块所得的集合为{XL(i,j)|1≤i≤U,1≤j≤V}，将低分辨率训练集划分为图像块所得的集合为将高分辨率训练集划分为图像块所得集合为如图2所示，所述(i,j)表示所划分的图像块在图像块坐标系o-uv下的位置信息，即所述i为所述图像块的行号，所述j为所述图像块的列号。划分得到的图像块位置信息为(1,1)、(1,2)…(i,j-1)、(U,V-1)、(U,V)。位置(i,j)处的图像块上下左右邻接的图像块在坐标系o-uv下的坐标分别为(i-1,j)、(i+1,j)、(i,j-1)和(i,j+1)。
这里，所述U为每一行划分出的图像块个数，所述V为每一列划分出的图像块个数。本实施例中所述划分模块51对所述低分辨率人脸图像XL、第一人脸样本图像及第二人脸样本图像的划分方法完全一样，即最后划分的结果是三种图像中每一行划分出的图像块个数分别相同，每一列划分出的图像块个数的分别相同。
比如，所述划分模块51以待划分的图像左上方为起点，每次选取一个大小为patch_size×patch_size的图像块，使图像块的上方和左方与已划分部分有overlap个像素交叠，其中，图像块位于人脸图像的上边边缘或者左边边缘时除外。
具体地，所述U可由公式(1)得出，所述V可由公式(2)得出。
其中，所述imrow为图像块的行数，所述imcol为图像块的列数，单位均为像素；所述overlap为相邻图像块之间交叠的像素个数，ceil(x)表示返回大于或者等于x的最小整数。即位置(i,j)处的图像块与上下左右邻接的图像块分别重叠一个patch_size×overlap的矩形区域，但图像块位于图像边缘时除外。
进一步地，所述划分模块51在对于图像进行划分时，为了避免由于裁剪或填补导致的图像尺寸变化，本实施例采用按照从左到右、从上到下进行划分；当划分图像块至图像边缘，且所述图像剩余尺寸不大于预设的图像块的尺寸时，以所述图像的边缘为基准进行回退划分。
具体地，当所述划分模块51划分的图像块超出图像边缘(右边或底边)时，则以原图像的边缘为基准进行回退划分，如图3所示，当横向划分超出图像右边边缘处时，采取向左“回退”并以右边边缘为基准的策略进行分块；如图4所示，当纵向划分超出图像底边边缘处时，采取向上“回退”并以底边边缘为基准的策略进行分块。
当所述划分模块51划分完毕之后，获取到各个图像块之后，所述计算模块52用于计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵
具体地，对所述低分辨率人脸图像中XL每个位置的图像块XL(i,j)来说，计算由低分辨率训练集中第一人脸样本图像在相应位置上的图像块高分辨率训练集中第二人脸样本图像相应位置的图像块进行线性重建时，都会存在一个映射矩阵。
所述计算模块52根据公式(3)计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵
其中，所述为所述低分辨率训练集中所有位置第i行第j列的图像块中离所述第一人脸样本图像最近的K幅图像中拼接而成的K近邻第一矩阵；所述为所述高分辨率训练集所有图像中与所述K近邻第一矩阵对应的第i行第j列的图像块拼接而成的K近邻第二矩阵；所述Am(i,j)为从所述K近邻第一矩阵到所述K近邻第二矩阵的映射矩阵；所述λ为正则化参数；所述表示欧氏平方距离；所述为所述映射矩阵A(i,j)的范数。所述对应的即代表高分辨率训练集与所述低分辨率训练集中的样本图像的序号m相同。其中，所述λ的取值直接影响图像的重建效果，本实施例的λ取值在10-6到0.1之间。
具体实施时，所述公式(3)的解可由公式(4)计算得出。
其中，在公式(4)中，所述I为单位矩阵，λI为正则化项，在此I可设为单位方阵，以此来确保项可逆。
至此，所述计算模块52已经获取了每幅图像样本上每个位置所对应的总共U*V*M个最优映射矩阵。
当所述计算模块52计算出第一人脸样本图像中各个位置(i,j)各个位置图像块对应的映射矩阵时，所述合成模块53用于在所述低分辨率训练集中查找与所述低分辨率人脸图像中各个位置(i,j)的图像块XL(i,j)距离最近的第一图像块在所述映射矩阵中查找所述第一图像块对应的最优映射矩阵根据所述最优映射矩阵合成各个位置(i,j)的高分辨率人脸图像块XH(i,j)。
具体地，对于各个位置(i,j)的图像块XL(i,j)来说，在低分辨率训练集都存在一个与之相距最近的第一图像块所述第一图像块包括多个。所述合成模块53可以通过公式(5)确定第一图像块的序号mBest。
其中，所述为低辨率训练集中的第m幅低分辨率人脸样本图像中第i行第j列的图像块。
当所述合成模块53将第一图像块确定出之后，还用于：
根据各个位置(i,j)的图像块XL(i,j)与所述第一图像块对应的所述最优映射矩阵相乘合成得到各个位置(i,j)的高分辨率人脸图像块XH(i,j)，各个位置(i,j)的高分辨率人脸图像块XH(i,j)合成可由公式(6)实现。即把低分辨率人脸图像的每个图像块乘以对应的最优映射矩阵后的结果，直接得到该位置的高分辨率图像块。
其中，所述为所述最优映射矩阵在下标m＝mBest时的取值，所述mBest为所述低分辨率人脸图像中各个位置的图像块XL(i,j)与所述第一人脸样本图像中各个位置(i,j)的图像块的距离最近时对应的下标。其中，所述m的值可利用公式(5)实现。
当各个位置的高分辨率人脸图像块XH(i,j)确定以后，所述融合模块54用于根据所述各个位置(i,j)的高分辨率人脸图像模块XH(i,j)在人脸对应的位置进行融合，获取高分辨率人脸图像并输出。
其中，所述融合模块54在拼接融合时，相邻图像块之间重叠部分的像素值，可以采取均值的方法获取。
具体地，所述融合模块54可以按照以下步骤获取：
步骤a，初始化一个与高分辨率图像大小一样的图像矩阵D和交叠次数矩阵F；所述矩阵D和矩阵F中的所有元素值均为0；
步骤b，将各个位置的高分辨率图像块按位置叠加到所述图像矩阵D中；
步骤c，交叠次数矩阵F对应位置的所有元素值均加1，表示该像素点所在位置被交叠了一次；
步骤d，重复步骤b和c，直到各个位置的高分辨率图像块合成完毕；
步骤e，将图像矩阵D点除交叠次数矩阵F以获取相邻图像块之间重叠部分的像素值的平均值。本步骤中，所述点除就是指两个矩阵中相应位置的元素进行相除。
实际应用时，所述划分模块51、所述计算模块52、所述合成模块53及所述融合模块54可由该装置中的中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digtal Signal Processor)、可编程逻辑阵列(FPGA，Field Programmable Gate Array)、微控制单元(MCU，Micro Controller Unit)实现。
实施例三
实际应用中，按照实施例一提供的方法进行实验。实验流程如下：
首先选取200个不同个体，包括：100个男性和100个女性；每人正面无表情人脸图像和正面微笑表情人脸图像各一张，所有图像大小统一为120×100，从中选取360张图像进行训练，剩余40张为待测试的图像。每张训练采用用4×4的平均滤波器对高分辨率的图像进行平滑，并在4倍下采样得到30×25的低分辨率的图像。
其次，本实施例中划分人脸图像块的尺寸分别为：高分辨率人脸样本图像被划分为12×12的图像块，交叠为4个像素；低分辨率人脸样本图像被划分为3×3的图像块，交叠为1个像素。即对于高分辨率人脸样本图像，imrow＝120,imcol＝100，patch_size＝12，overlap＝4；对于低分辨率的图像，imrow＝30，imcol＝25，patch_size＝3，overlap＝1。其中正则化参数为10-6。
最后进入测试阶段，本实施例中的实验环境为windows732bit操作系统，处理器i3M370，主频2.4GHz，安装内存4GB。
本实施例中的峰值信噪比(PSNR，Peak Signal to Noise Ratio)为32.56，衡量两幅图像相似度指标(SSIM，structural similarity index measurement)为0.911；重建一张图片的时间为0.8475s。
其中，所述SSIM值越接近于1，说明图像的重建效果越好。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种人脸超分辨率的重建方法，其特征在于，所述方法包括：
接收低分辨率人脸图像XL，将所述低分辨率人脸图像XL、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像划分为相互重叠的图像块，所述第一人脸样本图像是第二人脸样本图像通过双三次插值Bicubic下采样四倍的结果，其中，第一人脸样本图像与第二人脸样本图像的个数相同；
计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵所述计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵包括：根据公式计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵其中，所述为所述低分辨率训练集所有第i行j列的图像块中离所述第一人脸样本图像最近的K幅图像拼接而成的K近邻第一矩阵；所述为所述高分辨率训练集所有图像中与所述K近邻第一矩阵对应的第i行j列的图像块拼接而成的K近邻第二矩阵；所述Am(i,j)为从所述K近邻第一矩阵到所述K近邻第二矩阵的映射矩阵；所述λ为正则化参数；所述表示欧氏平方距离；所述为所述映射矩阵Am(i,j)的范数；
在所述低分辨率训练集中查找与所述低分辨率人脸图像中各个位置(i,j)的图像块XL(i,j)距离最近的第一图像块在所述映射矩阵中查找所述第一图像块对应的最优映射矩阵根据所述最优映射矩阵合成各个位置的高分辨率人脸图像块XH(i,j)，所述mBest的值利用公式计算得出；其中，所述为所述低分辨率训练集中的第m幅低分辨率人脸样本图像中第i行第j列的图像块；
根据所述各个位置(i,j)的高分辨率人脸图像块XH(i,j)在人脸对应的位置进行拼接融合，获取高分辨率人脸图像并输出；
在拼接融合时，相邻图像块之间重叠部分的像素值，按照以下步骤进行获取：
步骤a，初始化一个与高分辨率图像大小一样的图像矩阵D和交叠次数矩阵F；所述矩阵D和矩阵F中的所有元素值均为0；
步骤b，将各个位置的高分辨率图像块按位置叠加到所述图像矩阵D中；
步骤c，交叠次数矩阵F对应位置的所有元素值均加1，表示图像矩阵D对应的像素点所在位置被交叠了一次；
步骤d，重复步骤b和c，直到各个位置的高分辨率图像块合成完毕；
步骤e，将图像矩阵D点除交叠次数矩阵F以获取相邻图像块之间重叠部分的像素值的平均值；
其中，所述M为第一人脸样本图像及所述第二人脸样本图像的个数，所述i为所述图像块的行号，所述j为所述图像块的列号，所述mBest为所述第一图像块在所述低分辨率训练集中的序号，所述m为样本图像的序号，所述m取值为[1，M]。
2.如权利要求1所述的方法，其特征在于，对所述低分辨率人脸图像、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像进行划分包括：
按照从左到右、从上到下进行划分；
当划分图像块至图像边缘，且所述图像剩余尺寸不大于预设的图像块的尺寸时，以所述图像的边缘为基准进行回退划分。
3.如权利要求1所述的方法，其特征在于，根据所述最优映射矩阵合成各个位置的高分辨率人脸图像块XH(i,j)包括：
利用公式计算所述各个位置的高分辨率人脸图像块XH(i,j)。
4.一种人脸超分辨率的重建装置，其特征在于，所述装置包括：
划分模块，所述划分模块用于接收低分辨率人脸图像XL，将所述低分辨率人脸图像XL、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像划分为相互重叠的图像块，所述第一人脸样本图像是第二人脸样本图像通过双三次插值Bicubic下采样四倍的结果，其中，第一人脸样本图像与第二人脸样本图像的个数相同；
计算模块，所述计算模块用于计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵所述计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵包括：根据公式计算所述第一人脸样本图像中各个位置(i,j)的图像块对应的映射矩阵其中，所述为所述低分辨率训练集所有第i行j列的图像块中离所述第一人脸样本图像最近的K幅图像拼接而成的K近邻第一矩阵；所述为所述高分辨率训练集所有图像中与所述K近邻第一矩阵对应的第i行j列的图像块拼接而成的K近邻第二矩阵；所述Am(i,j)为从所述K近邻第一矩阵到所述K近邻第二矩阵的映射矩阵；所述λ为正则化参数；所述表示欧氏平方距离；所述为所述映射矩阵Am(i,j)的范数；
合成模块，所述合成模块用于在所述低分辨率训练集中查找与所述低分辨率人脸图像中各个位置(i,j)的图像块XL(i,j)距离最近的第一图像块在所述映射矩阵中查找所述第一图像块对应的最优映射矩阵根据所述最优映射矩阵合成各个位置的高分辨率人脸图像块XH(i,j)，所述mBest的值利用公式计算得出；其中，所述为所述低分辨率训练集中的第m幅低分辨率人脸样本图像中第i行第j列的图像块；
融合模块，所述融合模块用于根据所述各个位置的高分辨率人脸图像模块XH(i,j)在人脸对应的位置进行拼接融合，获取高分辨率人脸图像并输出；在拼接融合时，相邻图像块之间重叠部分的像素值，按照以下步骤进行获取：
步骤a，初始化一个与高分辨率图像大小一样的图像矩阵D和交叠次数矩阵F；所述矩阵D和矩阵F中的所有元素值均为0；
步骤b，将各个位置的高分辨率图像块按位置叠加到所述图像矩阵D中；
步骤c，交叠次数矩阵F对应位置的所有元素值均加1，表示该像素点所在位置被交叠了一次；
步骤d，重复步骤b和c，直到各个位置的高分辨率图像块合成完毕；
步骤e，将图像矩阵D点除交叠次数矩阵F以获取相邻图像块之间重叠部分的像素值的平均值；
其中，所述M为第一人脸样本图像及所述第二人脸样本图像的个数，所述i为所述图像块的行号，所述j为所述图像块的列号，所述mBest为所述第一图像块在所述低分辨率训练集中的序号，所述m为样本图像的序号，所述m取值为[1，M]。
5.如权利要求4所述的装置，其特征在于，所述划分模块将所述低分辨率人脸图像XL、预设的低分辨率训练集中的第一人脸样本图像及高分辨率训练集中的第二人脸样本图像划分为相互重叠的图像块具体包括：
所述划分模块按照从左到右、从上到下进行划分；
当划分图像块至图像边缘，且所述图像剩余尺寸不大于预设的图像块的尺寸时，以所述图像的边缘为基准进行回退划分。
6.如权利要求4所述的装置，其特征在于，所述合成模块具体用于：
利用公式计算所述各个位置的高分辨率人脸图像块XH(i,j)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510381611.XA CN104933692B (zh) | 2015-07-02 | 2015-07-02 | 一种人脸超分辨率的重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510381611.XA CN104933692B (zh) | 2015-07-02 | 2015-07-02 | 一种人脸超分辨率的重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104933692A CN104933692A (zh) | 2015-09-23 |
| CN104933692B true CN104933692B (zh) | 2019-03-08 |
Family
ID=54120847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510381611.XA Active CN104933692B (zh) | 2015-07-02 | 2015-07-02 | 一种人脸超分辨率的重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104933692B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469399B (zh) * | 2015-11-20 | 2019-08-20 | 中国地质大学（武汉） | 一种面向混合噪声的人脸超分辨率的重建方法及装置 |
| CN107680037B (zh) * | 2017-09-12 | 2020-09-29 | 河南大学 | 改进的基于最近特征线流形学习的人脸超分辨率重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719266A (zh) * | 2009-12-25 | 2010-06-02 | 西安交通大学 | 一种基于仿射变换的正面人脸图像超分辨率重建方法 |
| CN102693419A (zh) * | 2012-05-24 | 2012-09-26 | 武汉大学 | 基于多流形判别分析超分辨率的人脸识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI419059B (zh) * | 2010-06-14 | 2013-12-11 | Ind Tech Res Inst | 以樣本為基礎之人臉超解析度方法與系統 |
-
2015
- 2015-07-02 CN CN201510381611.XA patent/CN104933692B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719266A (zh) * | 2009-12-25 | 2010-06-02 | 西安交通大学 | 一种基于仿射变换的正面人脸图像超分辨率重建方法 |
| CN102693419A (zh) * | 2012-05-24 | 2012-09-26 | 武汉大学 | 基于多流形判别分析超分辨率的人脸识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| Face Image Superresolution via Locality Preserving Projection and Sparse Coding;Kebin Huang.et al.;《JOURNAL OF SOFTWARE》;20130830;第8卷(第8期);2039-2046 |
| From Local Pixel Structure to Global Image Super-Resolution: A New Face Hallucination Framework;Yu Hu, Kin-Man Lam, Guoping Qiu, and Tingzhi Shen;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20100228;第20卷(第2期);433-445 |
| 基于一致流形学习的人脸超分辨率算法研究;江俊君;《中国博士学位论文全文数据库》;20150415;第2.4.4节及第4.2节 |
| 字典学习模型、算法及其应用研究进展;练秋生，石保顺，陈书贞;《自动化学报》;20150228;第41卷(第2期);240-260 |
| 超分辨率图像重建方法综述;苏衡，周杰，张志浩;《自动化学报》;20130815;第39卷(第8期);1202-1213 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104933692A (zh) | 2015-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Han et al. | SSF-CNN: Spatial and spectral fusion with CNN for hyperspectral image super-resolution | |
| CN105957007B (zh) | 基于特征点平面相似度的图像拼接方法 | |
| CN110660023B (zh) | 一种基于图像语义分割的视频拼接方法 | |
| CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
| Lee et al. | Semantic line detection and its applications | |
| CN101751659B (zh) | 大容量快速图像拼接方法 | |
| CN103824272B (zh) | 基于k近邻重识别的人脸超分辨率重建方法 | |
| JP4754364B2 (ja) | 画像重ね合わせ装置 | |
| CN111667030B (zh) | 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质 | |
| CN101216889A (zh) | 一种融合全局特征与局部细节信息的人脸图像超分辨率方法 | |
| TW201215125A (en) | Visualizing video within existing still images | |
| US8213741B2 (en) | Method to generate thumbnails for digital images | |
| CN109493278A (zh) | 一种基于sift特征的大场景图像拼接系统 | |
| CN109087245A (zh) | 基于相邻关系模型的无人机遥感图像拼接系统 | |
| CN103501415A (zh) | 一种基于重叠部分结构变形的视频实时拼接方法 | |
| CN102982520B (zh) | 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法 | |
| CN103679672B (zh) | 基于边缘垂直距离匹配的全景图像拼接方法 | |
| CN105046701B (zh) | 一种基于构图线的多尺度显著目标检测方法 | |
| CN107680140A (zh) | 一种基于Kinect相机的深度图像高分辨率重构方法 | |
| CN107895349A (zh) | 一种基于合成的内窥镜视频去模糊方法 | |
| CN103413339B (zh) | 十亿像素高动态范围图像重建与显示的方法 | |
| CN108460795A (zh) | 倒金字塔式双目立体匹配方法及系统 | |
| TW200828184A (en) | Method and system for image editing | |
| CN102393953B (zh) | 图像帧拼接方法和装置 | |
| CN104933692B (zh) | 一种人脸超分辨率的重建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |