CN110738601A - 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法，涉及图像、视频处理技术领域。包括以下步骤：定位低分辨率人脸图像的特征点；摆正低分辨率人脸图像：勾选摆正的低分辨率人脸图像的重建区域；超分辨率重建。其中超分辨率重建又包括：对重建区域进行分块；对数据库中的高分辨率人脸图像模糊处理，得到模糊人脸图像；对高分辨率人脸图像和模糊人脸图像进行相同的分块操作；求解针对同一位置的各模糊人脸图像分块的权重；根据所述权重和对应的高分辨率人脸图像分块进行加权求和得到重建分块；将重建分块按照位置关系进行拼合。本发明克服了正常监控视频中人脸角度倾斜的问题。

Description

一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法

技术领域

本发明涉及图像、视频处理技术领域，尤其涉及一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法。

背景技术

视频监控系统发展了短短二十几年时间，从模拟监控到火热数字监控再到方兴未艾的网络视频监控，发生了翻天覆地变化。视频监控在日常工作生活中的作用越来越大，特别在公共安全系统、刑侦领域。通过监控系统，在控制中心可以实时看到现场的状态，特别是监控视频中的人、车辆的行为；但是受成像设备、拍摄距离、环境干扰等诸多因素的影响，对应的视频监控中的人，因为摄像头本身的质量问题或者环境干扰，人脸图像分辨率都较低，以至于给刑侦，公共安全系统中各种实际应用带来了很大困难。目前很多人脸超分辨率重建技术都是基于正脸、或者简单的摆正处理后的图像进行重建，但是视频监控中的人脸图像都是被动、非配合的方式取得，对应的人脸存在倾斜(Roll)、俯仰(Pitch)、旋转(Yaw)三个维度的角度变化，传统的基于正脸的、姿态比较固定的人脸超分辨率重建(SuperResolution)方法显然是不够的。

发明内容

本发明的目的在于提供一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法，克服了正常监控视频中人脸角度倾斜的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法，其特征在于，包括以下步骤：

S1，定位低分辨率人脸图像的特征点；

S2，摆正低分辨率人脸图像，包括：

S21，将低分辨率人脸图像与标准三维人脸模型进行特征点的位置配对与纹理渲染，得到人脸三维模型；

S22，根据特征点的位置配对信息计算旋转矩阵；

S23，根据所述旋转矩阵对人脸三维模型进行旋转；

S24，将旋转后的人脸三维模型降维，得到摆正的低分辨率人脸图像；

S3，勾选摆正的低分辨率人脸图像的重建区域；

S4，超分辨率重建，包括：

S41，对所述重建区域进行分块；

S42，对数据库中的高分辨率人脸图像模糊处理，得到模糊人脸图像；

S43，对高分辨率人脸图像和模糊人脸图像进行如S41的分块操作；

S44，求解针对同一位置的各模糊人脸图像分块的权重；

S45，根据所述权重和对应的高分辨率人脸图像分块进行加权求和得到重建分块；

S46，将重建分块按照位置关系进行拼合。

进一步的，所述S1中特征点的定位采用STASM算法。

进一步的，所述旋转矩阵包括倾斜、俯仰、旋转三个维度的角度变化量。

进一步的，所述重建区域为特征点的外接矩形区域以给定比例扩大而成。

进一步的，所述S42中还包括尺寸归一化，将高分辨率人脸图像和模糊人脸图像进行降采样，使高分辨率人脸图像、模糊人脸图像的尺寸与重建区域的尺寸相同。

进一步的，所述S44前还包括样本筛选操作；

计算同一位置的重建区域分块和各模糊人脸图像的分块的相似度，取相似度最高的前K个模糊人脸图像分块作为S44中求解权重的样本。

进一步的，所述K＝200。

进一步的，所述S44中，权重的计算方法如下：

S441，将重建区域的分块按列降维成一维矩阵LR_face(i,j)′；

S442，将模糊人脸图像分块按列降维成一维矩阵，再将各模糊人脸图像分块按列拼接成集合矩阵{DB_LR(i,j)}；

S443，权重计算：

S＝LR_face(i,j)′*O^T-{DB_LR(i,j)}

Z＝S^T*S

w＝(Z^-1*O)/(O^T*Z^-1*O)

其中，O为C*1的全1矩阵；w为1*C的向量，w＝{w_c}，w_c表示数据库中对应该位置的第c个模糊人脸图像分块对应的权重。

进一步的，所述S45中加权求和方法如下：

其中，HRResult(i,j)为该位置的重建分块，DB_HR(i,j)_c为数据库中对应该位置的第c个高分辨率人脸图像分块。

与现有技术相比，本发明的有益效果是：本发明采用了姿态估计和三维人脸模型渲染，来完成对倾斜人脸的摆正处理，从而克服了正常监控视频中人脸角度问题。本发明分析矫正后的低分辨率人脸的局部特征与数据库中高分辨率图像降采样后的人脸局部人脸特征的相似性，从已有的高分辨率图像数据库中，匹配出对应相似的人脸局部区域，减少了运算量；然后通过相似度来计算最终对应的高分辨率局部区域的权重；通过对高分辨率的人脸局部区域进行加权求和，构建出最终的超分辨人脸图像。本发明减少了运算量的同时，保证处理得到更接近实际的效果；最后完成了人脸超分辨率重建，有效的解决了低分辨率视频中人脸倾斜等问题导致的重建人脸模型不理想的问题。

附图说明

图1为本发明的整体流程图。

图2为本发明的特征点检测示意图。

图3为本发明一实施例摆正后的人脸示意图。

图4为本发明一实施例的重建区域勾选示意图。

图5为本发明一实施例的超分辨率重建结果示意图。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法，其特征在于，包括以下步骤：

S1，定位低分辨率人脸图像的特征点；

采用人脸特征点定位方法，对视频中截取的或者普通图像中低分辨率人脸图像LRFace，定位人脸上的关键部位，眉毛到下巴，左右脸颊之间的矩形区域，优选的，方法采用基于STASM的68个特征点(landmark)检测定位方法；如图2所示，对人脸检测到68个特征点。

在定位出人脸特征点后，在低分辨率图像质量比较差的情况下，存在特征点定位误差，为了保证精确的超分辨率重建效果，按照固定的人脸特征点索引顺序，对特征点进行位置的调整；调整完成后，算法自动分析最终的特征点的位置信息，进行后续逻辑分析计算；在如图2所示的模糊人脸进行特征点调整的效果图上，鼠标选定特征点通过拖动的方式进行位置调整获得精确的特征点。

S2，摆正低分辨率人脸图像，包括：

S21，首先，通过步骤S1得到的低分辨率图像中精确的人脸特征点信息，按照特征点索引顺序，进行一一对应的关联，与标准三维人脸模型进行特征点的位置配对，并进行三维模型纹理渲染，得到人脸三维模型LR_3D；

S22，其次，根据特征点的位置配对信息计算旋转矩阵；

具体的，计算人脸三维模型LR_3D和给定的2D人脸图像对应的姿势差别，得到对应低分辨率人脸图像的倾斜(Roll)、俯仰(Pitch)、旋转(Yaw)三个维度的角度变化量；优选的采用POSIT算法，POSIT算法能根据2D人脸图像中的特征点位置，计算出在人脸三维模型LR_3D上的角度，从而得到对应的包含三个角度的旋转矩阵M；

S23，根据所述旋转矩阵M对渲染后的人脸三维模型LR_3D进行模型旋转，并进行插值处理，保证旋转后三维图像的效果；

AdjLR_face3D＝LR_3D*M

其中，AdjLR_face3D为旋转后的人脸三维模型。

S24，将旋转后的人脸三维模型AdjLR_face3D降维，由三维模型降到二维图像，得到如图3所示的摆正的低分辨率人脸图像AdjustedFace；

S3，勾选摆正的低分辨率人脸图像的重建区域；

在步骤S24得到的摆正的低分辨率人脸图像基础上，进行人脸超分辨率重建区域勾选，得到最终的人脸超分辨率重建区域FaceROI。优选的，计算特征点组成的外接矩形区域，然后按照比例(如1.1-1.2倍)外扩一定范围，得到如图3所示对应的超分辨率重建区域FaceROI。

S4，超分辨率重建，包括：

S41，首先，对所述重建区域FaceROI进行分块；优选的，采用对图像进行行和列的5*5＝25块的等分操作，其中等分的图像块中，第i行，第j列的图像分块记为LR_face(i,j)；

S42，其次，进行尺寸归一化和模糊处理。将数据库中的高分辨率人脸图像进行降采样，使高分辨率人脸图像的尺寸与重建区域的尺寸相同得到高分辨率人脸图像样本集DB_HR。然后对数据库中的高分辨率人脸图像模糊处理，优选高斯模糊，得到模糊人脸图像样本集DB_LR；所述高分辨率人脸图像样本集DB_HR和模糊人脸图像样本集DB_LR中的样本一一对应。即在数据库中，第i个高分辨率人脸图像模糊处理后得到对应的第i个模糊人脸图像。

S43，对高分辨率人脸图像和模糊人脸图像进行如S41的分块操作；相应得到DB_HR(i,j)_c和DB_LR(i,j)_c；其中，DB_HR(i,j)_c表示数据库中第c个高分辨率人脸图像分块后第第i行，第j列的图像分块；同理，DB_LR(i,j)_c表示数据库中第c个模糊人脸图像分块后第第i行，第j列的图像分块。

S44，求解针对同一位置(i,j)的各模糊人脸图像分块的权重。

具体的，权重的计算方法如下：

S441，将重建区域的分块按列降维成一维矩阵LR_face(i,j)′；以2*3的矩阵为例，自左往右逐列数据拼接得到6*1的矩阵，对应的转换方式如下：

S442，将模糊人脸图像分块如上所述，按列降维成一维矩阵，再将数据库中处于同一位置(i,j)的各模糊人脸图像分块按列拼接成集合矩阵{DB_LR(i,j)}；拼接方式如下：

S443，权重计算：

S＝LR_face(i,j)′*O^T-{DB_LR(i,j)}

Z＝S^T*S

w＝(Z^-1*O)/(O^T*Z^-1*O)

其中，O为C*1的全1矩阵；w为1*C的向量，w＝{w_c}，w_c表示数据库中对应该位置(i,j)的第c个模糊人脸图像分块对应的权重；值得一提的是，w中w_c的排列顺序与S442中各模糊人脸图像分块按列拼接的顺序相对应。

优选的，当数据库中的样本数过大时，为了减少运算量，在所述S44前还包括样本筛选操作；

具体的，计算同一位置(i,j)的重建区域分块LR_face(i,j)和各模糊人脸图像的分块DB_LR(i,j)_c的相似度；相似度计算公式如下：

其中，LR_face(i,j)(m,n)表示重建区域分块LR_face(i,j)第m行，第n列的像素值；DB_LR(i,j)(m,n)表示模糊人脸图像的分块DB_LR(i,j)_c第m行，第n列的像素值；重建区域分块LR_face(i,j)和模糊人脸图像的分块DB_LR(i,j)_c皆为M*N的矩阵。

取相似度最高的前K个模糊人脸图像分块作为S44中求解权重的样本，K优选为200。

S45，根据所述权重和对应的高分辨率人脸图像分块进行加权求和得到重建分块；加权求和方法具体如下：

其中，HRResult(i,j)为该位置(i,j)的重建分块，DB_HR(i,j)_c为数据库中对应该位置(i,j)的第c个高分辨率人脸图像分块。

S46，将重建分块按照位置(i,j)进行拼合，得到如图5所示的超分辨率重建结果。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (9)

1.一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法，其特征在于，包括以下步骤：

S1，定位低分辨率人脸图像的特征点；

S2，摆正低分辨率人脸图像，包括：

S21，将低分辨率人脸图像与标准三维人脸模型进行特征点的位置配对与纹理渲染，得到人脸三维模型；

S22，根据特征点的位置配对信息计算旋转矩阵；

S23，根据所述旋转矩阵对人脸三维模型进行旋转；

S24，将旋转后的人脸三维模型降维，得到摆正的低分辨率人脸图像；

S3，勾选摆正的低分辨率人脸图像的重建区域；

S4，超分辨率重建，包括：

S41，对所述重建区域进行分块；

S42，对数据库中的高分辨率人脸图像模糊处理，得到模糊人脸图像；

S43，对高分辨率人脸图像和模糊人脸图像进行如S41的分块操作；

S44，求解针对同一位置的各模糊人脸图像分块的权重；

S45，根据所述权重和对应的高分辨率人脸图像分块进行加权求和得到重建分块；

S46，将重建分块按照位置关系进行拼合。

2.根据权利要求1所述的基于三维人脸模型低分辨率人脸图像超分辨率重建方法，其特征在于，所述S1中特征点的定位采用STASM算法。

3.根据权利要求1所述的基于三维人脸模型低分辨率人脸图像超分辨率重建方法，其特征在于，所述旋转矩阵包括倾斜、俯仰、旋转三个维度的角度变化量。

4.根据权利要求1所述的基于三维人脸模型低分辨率人脸图像超分辨率重建方法，其特征在于，所述重建区域为特征点的外接矩形区域以给定比例扩大而成。

5.根据权利要求1所述的基于三维人脸模型低分辨率人脸图像超分辨率重建方法，其特征在于，所述S42中还包括尺寸归一化，将高分辨率人脸图像和模糊人脸图像进行降采样，使高分辨率人脸图像、模糊人脸图像的尺寸与重建区域的尺寸相同。

6.根据权利要求1所述的基于三维人脸模型低分辨率人脸图像超分辨率重建方法，其特征在于，所述S44前还包括样本筛选操作；

计算同一位置的重建区域分块和各模糊人脸图像的分块的相似度，取相似度最高的前K个模糊人脸图像分块作为S44中求解权重的样本。

7.根据权利要求6所述的基于三维人脸模型低分辨率人脸图像超分辨率重建方法，其特征在于，所述K＝200。

8.根据权利要求1所述的基于三维人脸模型低分辨率人脸图像超分辨率重建方法，其特征在于，所述S44中，权重的计算方法如下：

S441，将重建区域的分块按列降维成一维矩阵LR_face(i,j)′；

S442，将模糊人脸图像分块按列降维成一维矩阵，再将各模糊人脸图像分块按列拼接成集合矩阵{DB_LR(i,j)}；

S443，权重计算：

S＝LR_face(i,j)′*O^T-{DB_LR(i,j)}

Z＝S^T*S

w＝(Z^-1*O)/(O^T*Z^-1*O)

其中，O为C*1的全1矩阵；w为1*C的向量，w＝{w_c}，w_c表示数据库中对应该位置的第c个模糊人脸图像分块对应的权重。

9.根据权利要求8所述的基于三维人脸模型低分辨率人脸图像超分辨率重建方法，其特征在于，所述S45中加权求和方法如下：

其中，HRResult(i,j)为该位置的重建分块，DB_HR(i,j)_c为数据库中对应该位置的第c个高分辨率人脸图像分块。

Images