CN106558018B

CN106558018B - 基于构件分解的视频人脸幻构方法及装置

Info

Publication number: CN106558018B
Application number: CN201510621555.2A
Authority: CN
Inventors: 厉扬豪; 刘家瑛; 杨文瀚; 郭宗明
Original assignee: Peking University; Peking University Founder Group Co Ltd; Beijing Founder Electronics Co Ltd
Current assignee: Peking University
Priority date: 2015-09-25
Filing date: 2015-09-25
Publication date: 2019-08-06
Anticipated expiration: 2035-09-25
Also published as: CN106558018A

Abstract

本发明公开一种基于构件分解的视频人脸幻构方法及装置，能够提高低分辨率人脸视频的人脸幻构的性能。所述方法包括：对于待进行人脸幻构的低分辨率人脸视频的每一帧图像，将该帧图像中的人脸部分按照人脸结构进行分解，并将分解得到的各个人脸部分分割成图像块；对于分割得到的每一个图像块，从预设的图像块库中获取该图像块的预设数量个最近邻图像块；对于所述低分辨率人脸视频的每一帧图像，利用所述最近邻图像块，采用基于局部约束的邻域嵌入的方法重建该帧图像分割得到的所述图像块，得到高分辨率图像块，通过将所述高分辨率图像块合并得到目标高分辨率图像；将各个目标高分辨率图像进行合并，得到目标高分辨率人脸视频。

Description

基于构件分解的视频人脸幻构方法及装置

技术领域

本发明涉及图像合成重建技术领域，具体涉及一种基于构件分解的视频人脸幻构方法及装置。

背景技术

人脸幻构是指对于输入的单帧低分辨率人脸图像或者多帧低分辨率人脸图像序列重建得到其对应的高分辨率人脸图像。由于人脸图片具有特定的结构特征，一些人脸幻构的方法通过对人脸结构进行建模，从而进行人脸超分辨率重建。

Wang和Tang提出了一种基于主成分分析的全局人脸幻构算法。首先用主成分分析将低分辨率图像库投影到低分辨率特征空间，然后求出低分辨率图像在低分辨率特征空间的投影系数，并假设高分辨率的投影系数与低分辨率一致，从而利用高分辨率图像库进行重建。Liu等人对上述方法进一步优化，假定高分辨率人脸图像可以被分解为低频的全局人脸图像和高频的局部人脸图像，然后使用主成分分析对全局人脸图像进行建模，重建出全局的高分辨率人脸图像。对于局部人脸图像，使用基于图像块的非参数的马尔科夫网络对高低分辨率图像块之间进行建模重建。由于这两种方法中全局子空间表示的局限性以及人脸的复杂性的原因，高分辨率的投影系数与低分辨率一致的假设实际中很难成立，使得该方法的实际恢复的效果难以令人满意。

针对之前全局人脸恢复中存在的问题，Ma等人提出了一种利用位置先验的基于图像块的人脸幻构方法。该方法首先将所有的训练集人脸图片和测试集图片对齐，然后在重建某一位置的图像块时，直接通过线性组合训练集中相同位置的图像块来获得估计高分辨率图像块。基于的假设就是一张图片的图像块可以用训练集中相同位置的图像块线性组合得到。基于这项工作，一些基于位置先验的方法被提出，在利用相同位置的训练集图像块进行最小二乘估计时，加入不同的约束项，来获得更优的权重，从而更好地重建高分辨率人脸图片。由于这类方法含有将人脸图片对齐的步骤，当对齐不充分或者输入不同角度和姿态的人脸时，该类方法难以达到理想的效果。

因为目前大部分人脸幻构的方法要求人脸图片高度对齐或者比较相似，因此当测试图片和训练图片有较大差异的时候，算法的性能会显著下降，而且目前的算法也难以应用到人脸姿态有变化的视频当中。

发明内容

有鉴于此，本发明实施例提供一种基于构件分解的视频人脸幻构方法及装置，能够提高低分辨率人脸视频的人脸幻构的性能。

为此目的，本发明提出一种基于构件分解的视频人脸幻构方法，包括：

对于待进行人脸幻构的低分辨率人脸视频的每一帧图像，将该帧图像中的人脸部分按照人脸结构进行分解，并将分解得到的各个人脸部分分割成图像块；

对于分割得到的每一个图像块，从预设的图像块库中获取该图像块的预设数量个最近邻图像块，其中，所述图像块库中包括组成高低分辨率人脸图像对中人脸部分各个人脸结构的图像块，组成同一人脸结构的图像块的大小相同，且与所述人脸部分中该人脸结构分割得到的图像块的大小相同，所述最近邻图像块为所述图像块库中的低分辨率图像块；

对于所述低分辨率人脸视频的每一帧图像，利用所述最近邻图像块，采用基于局部约束的邻域嵌入的方法重建该帧图像分割得到的所述图像块，得到高分辨率图像块，通过将所述高分辨率图像块合并得到目标高分辨率图像；

将各个目标高分辨率图像进行合并，得到目标高分辨率人脸视频。

另一方面，本发明提出一种基于构件分解的视频人脸幻构装置，包括：

分割单元，用于对于待进行人脸幻构的低分辨率人脸视频的每一帧图像，将该帧图像中的人脸部分按照人脸结构进行分解，并将分解得到的各个人脸部分分割成图像块；

获取单元，用于对于分割得到的每一个图像块，从预设的图像块库中获取该图像块的预设数量个最近邻图像块，其中，所述图像块库中包括组成高低分辨率人脸图像对中人脸部分各个人脸结构的图像块，组成同一人脸结构的图像块的大小相同，且与所述人脸部分中该人脸结构分割得到的图像块的大小相同，所述最近邻图像块为所述图像块库中的低分辨率图像块；

重建单元，用于对于所述低分辨率人脸视频的每一帧图像，利用所述最近邻图像块，采用基于局部约束的邻域嵌入的方法重建该帧图像分割得到的所述图像块，得到高分辨率图像块，通过将所述高分辨率图像块合并得到目标高分辨率图像；

合并单元，用于将各个目标高分辨率图像进行合并，得到目标高分辨率人脸视频。

本发明实施例所述的基于构件分解的视频人脸幻构方法及装置，对于输入的低分辨率人脸视频的每一帧图像，先将人脸分割成组成不同人脸构件的图像块；对于每一帧图像分割得到的每一个图像块，从预设的图像块库中查找相应的预设数量个最近邻图像块，然后采用基于邻域嵌入的方法进行重建，将重建后的各个图像块合并成高分辨率图像；最后将所有重建后的高分辨率图像合并为输出视频，相较于要求人脸图片高度对齐或者比较相似的现有技术，本发明不对人脸图片的对齐度或者相似性进行要求，并适用于人脸姿态有变化的视频的人脸幻构，因而能够提高低分辨率人脸视频的人脸幻构的性能。

附图说明

图1为本发明基于构件分解的视频人脸幻构方法一实施例的流程示意图；

图2为本发明基于构件分解的视频人脸幻构装置一实施例的方框结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例公开一种基于构件分解的视频人脸幻构方法，包括：

S1、对于待进行人脸幻构的低分辨率人脸视频的每一帧图像，将该帧图像中的人脸部分按照人脸结构进行分解，并将分解得到的各个人脸部分分割成图像块；

S2、对于分割得到的每一个图像块，从预设的图像块库中获取该图像块的预设数量个最近邻图像块，其中，所述图像块库中包括组成高低分辨率人脸图像对中人脸部分各个人脸结构的图像块，组成同一人脸结构的图像块的大小相同，且与所述人脸部分中该人脸结构分割得到的图像块的大小相同，所述最近邻图像块为所述图像块库中的低分辨率图像块；

S3、对于所述低分辨率人脸视频的每一帧图像，利用所述最近邻图像块，采用基于局部约束的邻域嵌入的方法重建该帧图像分割得到的所述图像块，得到高分辨率图像块，通过将所述高分辨率图像块合并得到目标高分辨率图像；

S4、将各个目标高分辨率图像进行合并，得到目标高分辨率人脸视频。

本发明实施例所述的基于构件分解的视频人脸幻构方法，对于输入的低分辨率人脸视频的每一帧图像，先将人脸分割成组成不同人脸构件的图像块；对于每一帧图像分割得到的每一个图像块，从预设的图像块库中查找相应的预设数量个最近邻图像块，然后采用基于邻域嵌入的方法进行重建，将重建后的各个图像块合并成高分辨率图像；最后将所有重建后的高分辨率图像合并为输出视频，相较于要求人脸图片高度对齐或者比较相似的现有技术，本发明不对人脸图片的对齐度或者相似性进行要求，并适用于人脸姿态有变化的视频的人脸幻构，因而能够提高低分辨率人脸视频的人脸幻构的性能。

可选地，在本发明基于构件分解的视频人脸幻构方法的另一实施例中，进行图像块分割的图像为所述低分辨率人脸视频中的低分辨率图像。

本发明实施例中，提出了一个全新的基于构件分解的人脸幻构方法，对于输入的低分辨率人脸视频，可以分别用不同的方法对其低频部分和高频部分进行重建，最后将两部分的重建结果进行合并得到最后的结果。

可选地，在本发明基于构件分解的视频人脸幻构方法的另一实施例中，所述将该帧图像中的人脸部分按照人脸结构进行分解，包括：

对该帧图像进行人脸检测，并将检测得到的人脸部分进行关键点标注，根据标注的关键点对该帧图像进行分解。

本发明实施例中，对于所述低分辨率人脸视频的各帧图像进行图像块分割的过程为：对各帧图像进行人脸检测和关键点标注，然后将其分解成眉毛、眼睛、鼻子、嘴巴和其余部分共5个部分，最后将各个部分，重复地分割为固定大小的图像块。

可选地，在本发明基于构件分解的视频人脸幻构方法的另一实施例中，所述从预设的图像块库中获取该图像块的预设数量个最近邻图像块，包括：

对于该图像块采用光流的方法从所述低分辨率人脸视频的两帧图像分割得到的图像块中获取对应位置的图像块和其中，所述图像块所属的图像为该图像块所属的图像X_t的前一帧图像，所述图像块所属的图像为该图像块所属的图像X_t的后一帧图像；

根据距离公式，计算该图像块在所述图像块库中的K个最近邻图像块所述距离公式为其中，为图像块和图像块x^c之间的欧几里得距离，η为常数，为所述图像块库中的图像块。

本发明实施例中，预设的图像块库可以对训练集进行处理得到，具体过程大致与前述实施例中分割图像得到图像块的过程相同，包括：将训练集中的高低分辨率人脸图像对进行人脸检测和关键点标注，然后将其分解成5个部分，用c∈{1,2,…,5}分别表示不同的人脸部分，包括眉毛、眼睛、鼻子、嘴巴和其余部分，最后将高低分辨率图像的各个部分重复地分割为固定大小的图像块(此图像块的大小可以与前述实施例中分割图像得到的图像块的大小相同)。为了更直观地进行描述，将第c个部分的低分辨率与高分辨率的图像块集合记为T^c＝{p^c,q^c}，其中和分别为低分辨率和高分辨率图像块，N为整数。

可选地，在本发明基于构件分解的视频人脸幻构方法的另一实施例中，所述利用所述最近邻图像块，采用基于局部约束的邻域嵌入的方法重建该帧图像分割得到的所述图像块，包括：

对于该帧图像X_t分割得到的每一个图像块计算该图像块的重建系数计算公式为其中，1^Tα＝1，为该图像块的特征值，λ为常数，d＝{d₁,d₂...,d_K}，σ为常数，⊙表示点乘；

计算该图像块重建后得到的图像块的像素值计算公式为其中，为图像块的像素值组成的矩阵，为图像块在所述图像块库中所对应的高分辨率图像块，j∈(1,2,…,K)。

本发明实施例中，在查找到最近邻图像块之后，采用基于局部约束的邻域嵌入的方法进行图像块重建，通过多次试验证明，能够得到较为理想的高分辨率图像。

可选地，在本发明基于构件分解的视频人脸幻构方法的另一实施例中，所述人脸结构包括眉毛、眼睛、鼻子、嘴巴和其余部分，对所述低分辨率人脸视频的每一帧图像分割得到的图像块的大小与所述图像块库中图像块的大小相同。

本发明实施例中，作为进行图像分割的基础的人脸结构，可以具体包括眉毛、眼睛、鼻子、嘴巴和其余部分，也可以在此基础上进行细化，本发明对此不作限定。

如图2所示，本实施例公开一种基于构件分解的视频人脸幻构装置，包括：

分割单元1，用于对于待进行人脸幻构的低分辨率人脸视频的每一帧图像，将该帧图像中的人脸部分按照人脸结构进行分解，并将分解得到的各个人脸部分分割成图像块；

获取单元2，用于对于分割得到的每一个图像块，从预设的图像块库中获取该图像块的预设数量个最近邻图像块，其中，所述图像块库中包括组成高低分辨率人脸图像对中人脸部分各个人脸结构的图像块，组成同一人脸结构的图像块的大小相同，且与所述人脸部分中该人脸结构分割得到的图像块的大小相同，所述最近邻图像块为所述图像块库中的低分辨率图像块；

重建单元3，用于对于所述低分辨率人脸视频的每一帧图像，利用所述最近邻图像块，采用基于局部约束的邻域嵌入的方法重建该帧图像分割得到的所述图像块，得到高分辨率图像块，通过将所述高分辨率图像块合并得到目标高分辨率图像；

合并单元4，用于将各个目标高分辨率图像进行合并，得到目标高分辨率人脸视频。

本发明实施例所述的基于构件分解的视频人脸幻构装置，对于输入的低分辨率人脸视频的每一帧图像，先将人脸分割成组成不同人脸构件的图像块；对于每一帧图像分割得到的每一个图像块，从预设的图像块库中查找相应的预设数量个最近邻图像块，然后采用基于邻域嵌入的方法进行重建，将重建后的各个图像块合并成高分辨率图像；最后将所有重建后的高分辨率图像合并为输出视频，相较于要求人脸图片高度对齐或者比较相似的现有技术，本发明不对人脸图片的对齐度或者相似性进行要求，并适用于人脸姿态有变化的视频的人脸幻构，因而能够提高低分辨率人脸视频的人脸幻构的性能。

可选地，在本发明基于构件分解的视频人脸幻构装置的另一实施例中，所述分割单元，用于对该帧图像进行人脸检测，并将检测得到的人脸部分进行关键点标注，根据标注的关键点对该帧图像进行分解。

可选地，在本发明基于构件分解的视频人脸幻构装置的另一实施例中，所述获取单元，包括：

获取子单元，用于对于该图像块采用光流的方法从所述低分辨率人脸视频的两帧图像分割得到的图像块中获取对应位置的图像块和其中，所述图像块所属的图像为该图像块所属的图像X_t的前一帧图像，所述图像块所属的图像为该图像块所属的图像X_t的后一帧图像；

计算子单元，用于根据距离公式，计算该图像块在所述图像块库中的K个最近邻图像块所述距离公式为其中，为图像块和图像块x^c之间的欧几里得距离，η为常数，为所述图像块库中的图像块。

可选地，在本发明基于构件分解的视频人脸幻构装置的另一实施例中，所述重建单元，包括：

重建系数计算子单元，用于对于该帧图像X_t分割得到的每一个图像块计算该图像块的重建系数计算公式为其中，1^Tα ＝1，为该图像块的特征值，λ为常数，d＝{d₁, d₂...,d_K}，σ为常数，⊙表示点乘；

像素值计算子单元，用于计算该图像块重建后得到的图像块的像素值计算公式为其中，为图像块的像素值组成的矩阵，为图像块在所述图像块库中所对应的高分辨率图像块，j∈(1,2,…,K)。

可选地，在本发明基于构件分解的视频人脸幻构装置的另一实施例中，所述人脸结构包括眉毛、眼睛、鼻子、嘴巴和其余部分，对所述低分辨率人脸视频的每一帧图像分割得到的图像块的大小与所述图像块库中图像块的大小相同。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims

1.一种基于构件分解的视频人脸幻构方法，其特征在于，包括：

将各个目标高分辨率图像进行合并，得到目标高分辨率人脸视频；

其中，所述从预设的图像块库中获取该图像块的预设数量个最近邻图像块，包括：

根据距离公式，计算该图像块在所述图像块库中的K个最近邻图像块所述距离公式为其中，为图像块和图像块x^c之间的欧几里得距离，η为常数，为所述图像块库中的图像块，j∈{1,2,…,K}。

2.根据权利要求1所述的基于构件分解的视频人脸幻构方法，其特征在于，所述将该帧图像中的人脸部分按照人脸结构进行分解，包括：

3.根据权利要求1所述的基于构件分解的视频人脸幻构方法，其特征在于，所述利用所述最近邻图像块，采用基于局部约束的邻域嵌入的方法重建该帧图像分割得到的所述图像块，包括：

计算该图像块重建后得到的图像块的像素值计算公式为其中，为图像块的像素值组成的矩阵，为图像块在所述图像块库中所对应的高分辨率图像块，j∈{1,2,…,K}。

4.根据权利要求1所述的基于构件分解的视频人脸幻构方法，其特征在于，所述人脸结构包括眉毛、眼睛、鼻子、嘴巴和其余部分，对所述低分辨率人脸视频的每一帧图像分割得到的图像块的大小与所述图像块库中图像块的大小相同。

5.一种基于构件分解的视频人脸幻构装置，其特征在于，包括：

合并单元，用于将各个目标高分辨率图像进行合并，得到目标高分辨率人脸视频；

其中，获取单元包括：

计算子单元，用于根据距离公式，计算该图像块在所述图像块库中的K个最近邻图像块所述距离公式为其中，为图像块和图像块x^c之间的欧几里得距离，η为常数，为所述图像块库中的图像块，j∈{1,2,…,K}。

6.根据权利要求5所述的基于构件分解的视频人脸幻构装置，其特征在于，所述分割单元，用于对该帧图像进行人脸检测，并将检测得到的人脸部分进行关键点标注，根据标注的关键点对该帧图像进行分解。

7.根据权利要求5所述的基于构件分解的视频人脸幻构装置，其特征在于，所述重建单元，包括：

重建系数计算子单元，用于对于该帧图像X_t分割得到的每一个图像块计算该图像块的重建系数计算公式为其中，1^Tα＝1，为该图像块的特征值，λ为常数，d＝{d₁,d₂...,d_K}，σ为常数，⊙表示点乘；

像素值计算子单元，用于计算该图像块重建后得到的图像块的像素值计算公式为其中，为图像块的像素值组成的矩阵，为图像块在所述图像块库中所对应的高分辨率图像块，j∈{1,2,…,K}。

8.根据权利要求5所述的基于构件分解的视频人脸幻构装置，其特征在于，所述人脸结构包括眉毛、眼睛、鼻子、嘴巴和其余部分，对所述低分辨率人脸视频的每一帧图像分割得到的图像块的大小与所述图像块库中图像块的大小相同。