CN103646237A - 低分辨率面部视频的处理方法 - Google Patents

Abstract

本发明提出一种低分辨率面部视频的处理方法，包括以下步骤：获取目标人物的中性脸的高分辨率图像Dn；采集目标人物的低分辨率视频帧序列L；对高分辨率图像Dn和低分辨率视频帧序列L中包含的中性脸图像的中性脸帧Ln进行特征点解析，根据所获得的多个特征点得到低分辨率视频帧序列L的中性脸帧Ln和高分辨率图像Dn的对齐函数；通过对齐函数将低分辨率视频帧序列的面部变化映射到高分辨率脸部图像中，以得到高分辨率的映射视频帧序列M。根据本发明实施例的方法，通过获得低分辨率视频帧序列和高分辨率图像Dn的对齐函数，以根据该对齐函数得到高分辨率的映射视频帧序列，提高了视频的清晰度丰富了细节，同时在额外增加传输带宽。

Description

低分辨率面部视频的处理方法

技术领域

本发明涉及计算机技术领域，特别涉及一种低分辨率面部视频的处理方法。

背景技术

由于视频会议受到采集设备和网络带宽的限制，使得待传输的面部视频质量较低，无法清晰地呈现人物表情的细节。进而会降低参会者对视频本身的注意力。

视频增强主要是对视频进行去噪、去除雾、增加分辨率、视频稳定等方面。现有技术中视频增强的方法主要是对采集视频进行有线性变换、非线性变换和图像锐化等处理。但是现有的方法处理效果差，且处理后的细节不够清晰无法满足用户的需求。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为此，本发明提供一种低分辨率面部视频的处理方法，该处理方法可以解决视频会议中视频质量差且细节不够丰富的问题。

有鉴于此，本发明的实施例提出一种低分辨率面部视频的处理方法，包括以下步骤：获取步骤，获取目标人物的中性脸的高分辨率图像Dn；采集步骤，采集所述目标人物的低分辨率视频帧序列L；对齐步骤，对所述高分辨率图像Dn和所述低分辨率视频帧序列L中包含的中性脸图像的中性脸帧Ln进行特征点解析，根据所获得的多个特征点得到所述低分辨率视频帧序列L的中性脸帧Ln和所述高分辨率图像Dn的对齐函数；以及映射步骤，通过所述对齐函数将低分辨率视频帧序列的面部变化映射到所述高分辨率脸部图像中，以得到高分辨率的映射视频帧序列M。

根据本发明实施例的方法，通过获得低分辨率视频帧序列和高分辨率图像Dn的对齐函数，以根据该对齐函数得到高分辨率的映射视频帧序列，提高了视频的清晰度丰富了细节，同时在额外增加传输带宽。

在本发明的一个实施例中，还包括：数据库获取步骤，获取所述目标人物的高分辨率脸部图像数据库D，所述数据库D中包含有所述中性脸的高分辨率图像Dn；匹配视频帧序列获取步骤，从所述数据库D中搜索与所述低分辨率视频帧序列L的每一帧相对应的图像，构建匹配视频帧序列R；以及修正步骤，根据所述匹配视频帧序列R修正所述映射视频帧序列M。

在本发明的一个实施例中，所述对齐步骤具体为：根据所获得的多个特征点对所述高分辨率图像Dn进行三角剖分，并根据该剖分的结果对所述低分辨率视频帧序列L中包含的中性脸帧Ln进行三角剖分，建立所述低分辨率视频帧序列L的中性脸帧Ln和所述高分辨率图像Dn的对齐函数。

在本发明的一个实施例中，所述映射步骤具体包括：计算所述低分辨率视频帧序列L的各个帧到所述中性脸帧Ln的光流变化；根据所计算出的光流变化，计算所述低分辨率视频帧序列L各个帧的像素颜色变化；以及根据所述对齐函数获得所述低分辨率视频帧序列L的各个帧与所述高分辨率图像Dn的像素对应关系，根据该对应关系将所求出的像素颜色变化映射到所述高分辨率图像Dn中，以得到高分辨率的映射视频帧序列M。

在本发明的一个实施例中，所述映射步骤中，对所计算出的颜色变化进行时域和空域的平滑化处理后用于映射。

在本发明的一个实施例中，所述修正步骤具体包括：计算所述映射视频帧序列M的各个帧到所述匹配视频帧序列R的各个帧的光流变化；将所述匹配视频帧序列R的各个帧逆着所计算出的光流变化进行变形，将所得到的变形后图像作为修正结果。

在本发明的一个实施例中，所述匹配视频帧序列获取步骤中，根据局部二值模式和光流特征从所述数据库D中搜索与所述低分辨率视频帧序列L的每一帧相对应的图像，构建匹配视频帧序列R。

在本发明的一个实施例中，所述多个特征点包括：面部语义特征点和面部轮廓特征点。

在本发明的一个实施例中，所述低分辨率视频帧序列L各个帧的像素颜色变化通过如下公式计算，所述公式为，

$\underset{Q_i}{\min }.\mathrm{\Φ}\left(\right||Q_i-Q_{i0}|{|}^2)+\mathrm{\λ\Φ}\left(\right|\frac{\∂Q_i}{\∂x}{|}^2+|\frac{\∂Q_i}{\∂y}{|}^2+|Q_i-Q_{i-1}{|}^2)$

其中，Q_i为i时刻的颜色变化，Q_i0为整幅图像的颜色变化，Φ(||Q_i-Q_i0||)²和分别表示鲁棒函数，x为横坐标维度，y为纵坐标维度，t为时间维度，λ为平滑的权重参数。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的低分辨率面部视频的处理方法的流程图；

图2为根据本发明一个实施例的对高分辨率图像的多个特征点进行标记的结果；

图3为根据本发明实施例的对高分辨率图像进行三角化的示意图；以及

图4为根据本发明另一个实施例的低分辨率面部视频的处理方法的流程图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1为根据本发明一个实施例的低分辨率面部视频的处理方法的流程图。如图1所示，根据本发明实施例的低分辨率面部视频的处理方法包括以下步骤：获取目标人物的中性脸的高分辨率图像Dn（步骤101）。采集目标人物的低分辨率视频帧序列L（步骤103）。对高分辨率图像Dn和低分辨率视频帧序列L中包含的中性脸图像的中性脸帧Ln进行特征点解析，根据所获得的多个特征点得到低分辨率视频帧序列L的中性脸帧Ln和高分辨率图像Dn的对齐函数（步骤105）。通过对齐函数将低分辨率视频帧序列的面部变化映射到高分辨率脸部图像中，以得到高分辨率的映射视频帧序列M（步骤107）。

根据本发明实施例的方法，通过获得低分辨率视频帧序列和高分辨率图像Dn的对齐函数，以根据该对齐函数得到高分辨率的映射视频帧序列，提高了视频的清晰度丰富了细节，同时在额外增加传输带宽。

下面将结合图2-4对本发明进行详细说明。

在步骤101和步骤103中，事先获取目标人物的中性脸的稿分辨率图像Dn，该中性脸为目标人物没有特殊表情时的人脸，即没有表情时的脸。目标人物的低分辨率视频帧序列L可通过各种采集设备进行采集。

在步骤105中，根据所获得的多个特征点对高分辨率图像Dn进行三角剖分，并根据该剖分的结果对低分辨率视频帧序列L中包含的中性脸帧Ln进行三角剖分，建立低分辨率视频帧序列L的中性脸帧Ln和高分辨率图像Dn的对齐函数，其中多个特征点包括：面部语义特征点和面部轮廓特征点。

具体地，标记出低分辨率序列中的中性脸图像Ln，L_n∈L。同时标记出目标人物的中性脸的高分辨率图像Dn，D_n∈D。然后通过人工标记或标记软件等方式记出低分辨率视频帧序列L的中性脸L_n与高分辨率图像D_n的多个特征点，其中高分辨率图像的标记结果如图2所示。该特征点不仅仅包括面部语义特征点还包括轮廓点。之后用Delauney三角剖分等方式将高分辨率图像D_n进行三角化，其结果如图3所示。将低分辨率序列中的中性脸图像L_n按照高分辨率图像D_n三角化的结果进行三角化。中性脸图像L_n中的某个三角形内区域对应高分辨率图像D_n中相应三角形的像素，从而得到低分辨率视频帧序列L的中性脸帧L_n到高分辨率图像D_n的对齐函数，该对齐函数可表示为g:L_n→D_n。高分辨率图像D_n到低分辨率视频帧序列L的中性脸帧L_n的对齐函数可表示为g^-1:D_n→L_n。

在步骤107中，计算低分辨率视频帧序列L的各个帧到中性脸帧Ln的光流变化。根据所计算出的光流变化，计算低分辨率视频帧序列L各个帧的像素颜色变化，并对像素颜色变化进行时域和空域的平滑化处理。根据对齐函数获得低分辨率视频帧序列L的各个帧与高分辨率图像Dn的像素对应关系，根据该对应关系将所处理后的像素颜色变化映射到高分辨率图像Dn中，以得到高分辨率的映射视频帧序列M。

具体而言，每个低分辨率视频帧L_i到中性脸帧L_n的光流变化可表示为

。由于人脸表情变化时脸部特征点也随着变化，且所要生成的高分辨率的映射视频帧序列的每一个视频帧M_i到每个低分辨率视频帧L_i之间的对齐函数h:L_i→D_i近似等于g:L_n→D_n。因此对于每一个高分辨率的映射视频帧M_i中的每个像素b′，可以根据对齐函数g^-1得到L_i中对应的点a′=g^-1(b′)。根据每个低分辨率视频帧L_i到中性脸帧L_n的光流变化

可以通过双线性插值得到点a′的光流偏移Δa′，根据光流偏移Δa′可以得到中性脸帧L_n中的对应点a=a′+Δa′。L_n中的点a可以根据对齐函数g得到D_n中的对应点b=g(a)。

点a′、a、b的颜色值c_a′、c_a、c_b分别可以通过每个低分辨率视频帧L_i、中性脸帧L_n和高分辨率图像D_n的双线性插值得到，其中颜色值是在YCrCb颜色空间下的颜色值。由于目标人物在低分辨率的视频中，像素点的光照随着面部运动的变化而变化，从而可以将光照的变化保留到高分辨率的映射视频帧序列中。因此，像素点b′对应的颜色变化q_b′0为：

其中，c_a′为点a′的颜色值，c_a为点a的颜色值。

通过从像素b′对应的颜色变化可以直接计算出像素b′的颜色值

其中，c_b为点b的颜色值，c_a为点a的颜色值，c_a′为点a′的颜色值。

在本发明的一个实施例中，根据每个像素点b′的颜色变化q_b′0可以得到整幅图像的颜色变化Q_i0。因为Q_i是逐个像素点求解得到的，因此需要进行时空域的处理，可以通过求解下面的无约束优化问题得到新的颜色变化其中，λ为平滑的权重参数其取值一般小于1，Φ(||Q_i-Q_i0||²)和

分别表示鲁棒函数，

是变量三个维度的偏导运算其中x为横坐标维度，y为纵坐标维度，t为时间维度。在上述公式中目标函数的Φ(||Q_i-Q_i0||²)为数据项，即使得新求解的Q_i在数值上应该尽量靠近Q_i0，

是时空域的联合平滑项。鲁棒函数

其中ε表示偏离量，一般取为0.001，鲁棒函数Φ将目标函数由L2范数变为近似L1范数，从而对偏离平均较大的异常值不敏感。因此上述无约束优化问题可变换为， $\underset{Q_i}{\min }.\mathrm{\Φ}\left(\right||Q_i-Q_{i0}|{|}^2)+\mathrm{\λ\Φ}\left(\right|\frac{\∂Q_i}{\∂x}{|}^2+|\frac{\∂Q_i}{\∂y}{|}^2+|Q_i-Q_{i-1}{|}^2),$ 其中，Q_i为i时刻的颜色变化，Q_i0为整幅图像的颜色变化，Φ(||Q_i-Q_i0||²)

和分别表示鲁棒函数，x为横坐标维度，y为纵坐标维度，t为时间维度，λ为平滑的权重参数。

为了求解i时刻的颜色变化Q_i需要知道前一时刻的颜色变化Q_i-1，因此对于求解初始时刻的Q₁时Q₀=1，即在0时刻的表情图片为中性表情。得到i时刻的颜色变化Q_i后，对颜色变化Q_i中的每个像素乘以高分辨率图像D_n的每个像素的值，c_b′=c_bq_b′,q_b′∈Q_i，其中c_b′是M_i中像素b′的颜色值。由此可得到高分辨率的映射视频帧序列M_i。

根据本发明实施例的方法，通过获得低分辨率视频帧序列和高分辨率图像Dn的对齐函数，以根据该对齐函数得到高分辨率的映射视频帧序列，提高了视频的清晰度丰富了细节，同时在额外增加传输带宽。

图4为根据本发明另一个实施例的低分辨率面部视频的处理方法的流程图。如图4所示，根据本发明实施例的低分辨率面部视频的处理方法包括以下步骤：

步骤201，获取目标人物的中性脸的高分辨率图像Dn。

步骤203，采集目标人物的低分辨率视频帧序列L。

步骤205，对高分辨率图像Dn和低分辨率视频帧序列L中包含的中性脸图像的中性脸帧Ln进行特征点解析，根据所获得的多个特征点得到低分辨率视频帧序列L的中性脸帧Ln和高分辨率图像Dn的对齐函数。

步骤207，通过对齐函数将低分辨率视频帧序列的面部变化映射到高分辨率脸部图像中，以得到高分辨率的映射视频帧序列M。

步骤209，获取目标人物的高分辨率脸部图像数据库D，数据库D中包含有中性脸的高分辨率图像Dn。

具体地，目标人物T的高分辨率脸部图像数据库主要由目标人物的基本表情与基本发音嘴等形构成，基本表情主要包括中性、高兴、悲伤、惊讶、害怕、厌恶、生气等表情，基本发音嘴形主要包括英文字母A、O、E、R、T、L、U、B、V等发音嘴形。采集到的数据库记为D={D₁,D₂,...,D_s}，其中D_i,i∈{1,2,...,s}是采集的每一帧图像。

步骤211，从数据库D中搜索与低分辨率视频帧序列L的每一帧相对应的图像，构建匹配视频帧序列R。

具体地，根据局部二值模式和光流特征从数据库D中搜索与低分辨率视频帧序列L的每一帧相对应的图像，构建匹配视频帧序列R，R={R₁,R₂,...,R_τ}，R_i∈D。

步骤213，根据匹配视频帧序列R修正映射视频帧序列M。

具体地，计算映射视频帧序列M的各个帧到匹配视频帧序列R的各个帧的光流变化。然后将匹配视频帧序列R的各个帧逆着所计算出的光流变化进行变形，将所得到的变形后图像作为修正结果。

在本发明的一个实施例中，得到的映射视频帧序列M_i是低分辨率视频帧L_i的精确复制。由于映射视频帧序列M_i不具有真实纹理，因此通过匹配视频帧序列R对映射视频帧序列M_i进行修正以得到具有真实纹理的视频图像。具体而言，计算在i时刻，计算映射视频帧序列M_i到匹配视频帧序列R_i的光流变化

然后将匹配视频帧序列R_i逆着光流变化

的方向进行变形以得到修正图像H_i。

根据本发明实施例的方法，通过对高分辨率脸部图像数据库对映射视频帧序列进行修正进一步丰富了视频图像的细节，提高了视频图像的清晰度。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种低分辨率面部视频的处理方法，其特征在于，包括以下步骤：

获取步骤，获取目标人物的中性脸的高分辨率图像Dn；

采集步骤，采集所述目标人物的低分辨率视频帧序列L；

对齐步骤，对所述高分辨率图像Dn和所述低分辨率视频帧序列L中包含的中性脸图像的中性脸帧Ln进行特征点解析，根据所获得的多个特征点得到所述低分辨率视频帧序列L的中性脸帧Ln和所述高分辨率图像Dn的对齐函数；以及

映射步骤，通过所述对齐函数将低分辨率视频帧序列的面部变化映射到所述高分辨率脸部图像中，以得到高分辨率的映射视频帧序列M。

2.如权利要求1所述的处理方法，其特征在于，还包括：

数据库获取步骤，获取所述目标人物的高分辨率脸部图像数据库D，所述数据库D中包含有所述中性脸的高分辨率图像Dn；

匹配视频帧序列获取步骤，从所述数据库D中搜索与所述低分辨率视频帧序列L的每一帧相对应的图像，构建匹配视频帧序列R；以及

修正步骤，根据所述匹配视频帧序列R修正所述映射视频帧序列M。

3.如权利要求1所述的处理方法，其特征在于，所述对齐步骤具体为：

根据所获得的多个特征点对所述高分辨率图像Dn进行三角剖分，并根据该剖分的结果对所述低分辨率视频帧序列L中包含的中性脸帧Ln进行三角剖分，建立所述低分辨率视频帧序列L的中性脸帧Ln和所述高分辨率图像Dn的对齐函数。

4.如权利要求1所述的处理方法，其特征在于，所述映射步骤具体包括：

计算所述低分辨率视频帧序列L的各个帧到所述中性脸帧Ln的光流变化；

根据所计算出的光流变化，计算所述低分辨率视频帧序列L各个帧的像素颜色变化；以及

根据所述对齐函数获得所述低分辨率视频帧序列L的各个帧与所述高分辨率图像Dn的像素对应关系，根据该对应关系将所求出的像素颜色变化映射到所述高分辨率图像Dn中，以得到高分辨率的映射视频帧序列M。

5.如权利要求4所述的处理方法，其特征在于，

所述映射步骤中，对所计算出的颜色变化进行时域和空域的平滑化处理后用于映射。

6.如权利要求2所述的处理方法，其特征在于，所述修正步骤具体包括：

计算所述映射视频帧序列M的各个帧到所述匹配视频帧序列R的各个帧的光流变化；

将所述匹配视频帧序列R的各个帧逆着所计算出的光流变化进行变形，将所得到的变形后图像作为修正结果。

7.如权利要求2所述的处理方法，其特征在于，

所述匹配视频帧序列获取步骤中，根据局部二值模式和光流特征从所述数据库D中搜索与所述低分辨率视频帧序列L的每一帧相对应的图像，构建匹配视频帧序列R。

8.如权利要求1所述的处理方法，其特征在于，所述多个特征点包括：面部语义特征点和面部轮廓特征点。

9.如权利要求4所述的处理方法，其特征在于，所述低分辨率视频帧序列L各个帧的像素颜色变化通过如下公式计算，所述公式为，

$\underset{Q_i}{\min }.\mathrm{\Φ}\left(\right||Q_i-Q_{i0}|{|}^2)+\mathrm{\λ\Φ}\left(\right|\frac{\∂Q_i}{\∂x}{|}^2+|\frac{\∂Q_i}{\∂y}{|}^2+|Q_i-Q_{i-1}{|}^2)$

其中，Q_i为i时刻的颜色变化，Q_i0为整幅图像的颜色变化，Φ(||Q_i-Q_i0||²)和

分别表示鲁棒函数，x为横坐标维度，y为纵坐标维度，t为时间维度，λ为平滑的权重参数。

Images