CN106682613A - 一种基于人脸显著性的图像压缩方法 - Google Patents

Abstract

本发明公开了一种基于学习混合高斯模型和不同人脸大小的权重的显著性检测方法，包括步骤一、建立数据库。步骤二、根据所建立的数据库以及对数据的分析，建立并训练显著度检测模型。步骤三、基于本发明提出的显著性检测方法设计一种图像压缩方法。本发明建立了一个庞大的视觉显著性数据库，为后续研究提供帮助。本发明可以根据显著性改变比特率，有效地减小压缩图像的比特率，同时提高压缩图像的质量。

Description

一种基于人脸显著性的图像压缩方法

技术领域

本发明属于数字图像处理领域，具体设计一种通过学习来预测人脸图像显著性的方法，并基于检测到的人脸显著性，提出了一种图像压缩方法。

背景技术

基于对人类视觉系统的研究，人们发现当人看一个场景时，关注点往往会集中于一小块区域，我们称之为ROI(感兴趣区域)，而更少的关注于其他的区域，我们称之为边缘区域，正因如此研究视觉显著性可以帮助理解人是如何感知这个世界的。显著性的检测是一种通过计算图像和视频的特征，有效预测人类视觉会被不同场景中的那些区域所吸引的方法。同时，显著性检测的结果也可以运用到物体检测、模式识别、图像质量评估、图像的压缩技术等多个领域。

现有的显著性检测方法可以大致分为两类：bottom-up(自底向上)和top-down(自顶向下)。一种典型的bottom-up的方法是来自Itti的模型，他包含了颜色、对比度、方向等多个核心特征。事实上，top-down的视觉特征在决定一个场景的显著度上扮演着更主要的角色，而且对于这种方法的研究显示脸部是吸引注意力的重要特征。基于这个发现，又有很多种显著性检测方法在近几年被提出。最近，一种对有多个人脸场景的显著性检测的方法被提出，多核学习应用于这种方法，它有助于学习多脸场景中显著区域与非显著区域的不同。尽管现有的方法已经在显著性检测中，考虑到了多脸，也取得一定的成功，但关注点在人脸上是如何的分布，人们并不十分清楚，目前已有的研究假设的简单同向高斯模型对于显著性的预测有着一定的局限。对于一些人脸较小的图片，非同向的高斯模型往往更加准确。然而，对于人脸较大的图，单一的高斯模型又并不是很有效。因此，对于显著性分布来说，一个从关注点分布所学习得到的一个混合高斯模型就更为必要。具体来说，一个非同向高斯分布应该应用于小脸图像中，而多个非同向高斯分布的组合可以用于大脸图像中。

发明内容

本发明针对目前并不完善的显著性检测方法以及显著性分布不准确的问题，提出了一种基于学习混合高斯模型和不同人脸大小的权重的显著性检测方法，提出了一个显著性检测的图像压缩方法。

具体步骤如下：

步骤一、建立数据库。

步骤101、通过眼球追踪实验，记录观测者在自由观看模式下对人脸图片的关注点，建立对人脸图像的视觉关注点分布的数据库。

步骤102、通过分析在人脸以及脸部特征的视觉关注度，建立关注度与人脸、脸部特征之间的关系；

步骤(1)、运用已有算法自动检测我们数据库中人脸图像的人脸及脸部特征(五官)。

步骤(2)、通过分析若干张图片，建立关注度与人脸之间的关系。

步骤(3)、通过分析若干张图片，建立关注度与脸部特征之间的关系。

步骤二、根据所建立的数据库以及对数据的分析，建立并训练显著度检测模型。

步骤201、通过对人脸区域关注点的预处理，为下面对混合高斯模型的学习做准备

步骤(1)、为解决每张图片中人脸位置的不同所带来的差异，建立以人脸右脸第一个特征点为原点的固定的坐标系，通过坐标变换，对每张图像中的关注点进行校正。

步骤(2)、为了解决人脸大小不同的问题，基于人脸的宽度来对关注点进行归一化。通过校正和归一化，就可以将所有图像的关注点的位置集中在同一个坐标系中。

步骤202、用预处理后的关注点数据，基于训练图片，训练并学习混合高斯模型。

步骤(1)、定义混合高斯模型，即多个高斯分量的混合叠加

步骤(2)、通过最大期望算法，学习得到脸部特征通道关注点与人脸通道(两个top-down通道)的混合高斯模型显著性分布。

步骤203、利用得到的混合高斯模型，对图像的各个特征通道的显著性进行预测

步骤(1)、通过混合高斯模型，利用训练图片学习得到的高斯参数，生成两个top-down显著图，人脸和脸部特征。

步骤(2)、通过Itti的模型，得到颜色、对比度、方向三个bottom-up通道的显著性图谱

步骤(3)、定义五通道的显著性预测模型，即人脸、脸部特征、颜色、对比度、方向。

步骤204、通过得到的五个显著性图谱，并学习训练图片的关注点数据，得到每个通道的显著图选择最佳权重，以取得最佳的结果。

步骤(1)、通过求解方程argmin_w||V_w-m_h||₂，学习得到每个通道的权重系数，方程中V是一个矩阵，这个矩阵的每一列是一个通道的显著图，m_h为向量化的每幅图像的关注点图。

步骤(2)、利用学习得到的最佳权重ω_C,ω_I,ω_O,ω_F,ω_G，采用多项式拟合方法，建立人脸尺度大小(即人脸占整张图片的像素比例)和最佳权重的关系。

步骤205、利用之前得到的五个通道的显著性图谱以及关于最佳权重函数，计算得到最终的显著性图谱。

步骤三、基于本发明提出的显著性检测方法设计一种图像压缩方法。

步骤301、利用本发明所得到的图片显著性对JPGE图像压缩方法进行改进。

步骤302、对本发明所提出的图片压缩方法的结果进行检验与评估。

本发明的优点在于：

(1)一种基于人脸显著性的图片压缩方法，建立了一个庞大的视觉显著性数据库，为后续研究提供帮助。

(2)一种基于人脸显著性的图片压缩方法，提出了一种检测人脸图像显著性的模型。

(3)一种基于人脸显著性的图片压缩方法，可以根据显著性改变比特率，有效地减小压缩图像的比特率，同时提高压缩图像的质量。

附图说明

图1为基于显著性的图片压缩的方法流程图；

图2为本发明建立数据库的方法流程图；

图3为本发明提出的人脸图像显著性检测的方法流程图；

图4为关注点坐标的校正与归一化示意图；

图5为不同分量个数学习得到的GMM分布；

图6为本发明显著性检测方法模型；

图7为由实验结果绘制出的ROC曲线；

图8为由本发明提出的显著性检测方法所得的显著性图谱；

图9为本发明的基于显著性的图像压缩的方法流程图；

图10为本发明的图像压缩方法的结果图示。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

一种基于人脸显著性的图片压缩方法，包括视觉显著性数据库的建立与分析、建立显著性检测模型、通过实验对本发明的有效性进行检验、基于所检测到的人脸显著性，建立本发明的图片压缩方法。

首先，通过眼球追踪实验，建立一个对人脸图像的视觉关注点分布的数据库，并自动检测图像中的人脸以及脸部特征。然后，由实验所得到的关注点的数据，通过对这些数据的分析得到人脸与关注点分布的关系，以及脸部特这与关注点分布的关系。

接着，根据对数据的分析，建立显著性检测模型，由5个通道构成：人脸、脸部特征、颜色、对比度、方向。其中人脸与脸部特征，通过最大期望算法学习混合高斯分布得到，而其余三个由Itti的模型得到。每个通达的权重，则通过训练数据库中的关注点分布得到。同时，用本发明建立的数据库和其它公开数据库，对显著性检测的结果进行评估与分析。

最后，利用得到的图像显著性，对传统的JPGE编码之前加入预处理步骤，使得不同显著性区域有不同的比特率，达到保持图像质量不下降的同时减小比特率。

具体步骤如下，如图1所示：

步骤一、建立本发明所要用的数据库，并对数据进行必要的分析

具体步骤如下，如图2所示：

步骤101、通过眼球追踪实验，记录观测者在自由观看模式下对人脸图片的关注点，建立对人脸图像的视觉关注点分布的数据库。

数据库中的510张图片按以下原则随机挑选出来：(1)每张图片的大小为1920×1080(2)所有图片只包含一个人的正脸(3)510张图片中的人脸尺度(人脸区域所占像素占图片总像素的比例)大小变化区间为0.0016～0.3018。共有24人参与到眼球跟踪实验中，其中2位实验者有相关背景知识，每张图片大致可以得到300个关注点。利用pointdistribution model(PDM，点分布模型)得到66个特征点，来提取每张图片中的人脸及脸部特征。

步骤102、通过分析在人脸以及脸部特征的视觉关注度，建立关注度与人脸、脸部特征之间的关系，本发明可以采用以下方法但不限于以下方法。

通过每张图像的关注点分布计算并绘制了图片中人脸和背景部分的关注点分布图，得到结论—人脸相比背景更够吸引人的关注。接着，绘制人脸大小与关注点分布的散点图并拟合曲线，得到结论—人脸越大越能吸引人的关注。其次，按照相似的方法，拟合人脸大小与右眼中分布点、左眼中分布点、鼻子中分布点和嘴巴分布点的关系曲线，得到结论—随着人脸增大，人脸特征中的眼睛和嘴巴更能吸引人的关注。

步骤二、根据所建立的数据库以及对数据的分析，建立并训练此发明所提出的显著度检测模型。

具体步骤如下，如图3所示。

步骤201、通过对人脸区域关注点的预处理，为下面对混合高斯模型的学习做准备

步骤(1)、为解决人脸尺寸的不同带来的差异，建立固定的坐标系，通过坐标变换，对每张图像中的关注点进行校正。

由于每张图片中人脸的位置不一样，为了能够将所有图片人脸区域关注点等同考虑，规定PDM图中的右脸的第一个特征点记做坐标原点，将每个关注点的(x,y)，按式(1)进行坐标变换，实现对关注点的校正.

其中：(x_A，y_A)是图4中A点的坐标，(x*，y*)是校正后的坐标。

步骤(2)、为了解决人脸大小不同的问题，基于人脸的宽度来对关注点进行归一化。

为了解决人脸大小不同所带来的差异，利用式(2)，对关注点进行归一化处理。

其中：l为两点之间的欧式距离，即两点之间的横向距离，(x’，y’)是归一化处理后的坐标。

通过校正和归一化，就可以将所有图像的关注点的位置集中在同一个坐标系中，如图4所示。

步骤202、用预处理后的关注点数据，基于训练图片，训练并学习混合高斯模型，本发明可以采用以下方法但不限于以下方法。

步骤(1)、定义混合高斯模型，即多个高斯分量的混合叠加

通过之前的分析，人脸与脸部特征和显著性有很大关系，因此用GMM来建立这两个通道的模型。

假设经过校正和归一化的关注点的坐标为x＝(x′,y′)，建立如下GMM模型：

其中：π_k,μ_k,∑_k分别为第k个高斯分量的混合比例、均值以及方差，K为混合高斯模型中分量的个数。

步骤(2)、通过最大期望算法，学习得到脸部特征通道关注点与人脸通道(两个top-down通道)的混合高斯模型分布。

对于脸部特征通道来说，首先需要确定GMM分量的个数，可以绘制不同分量个数的GMM分布，如图5所示。从图中可以发现，分量个数大于3时的轮廓都比较相似，因此选定4个GMM分量，分别对应左眼、右眼、鼻子、嘴巴四个脸部特征。此时假设均值为脸部特征的中心点。经过学习得到的各项参数数值，如下表1所示。

表1 GMM各项参数数值

步骤203、利用得到的混合高斯模型，基于测试图片，分别预测图像的各个特征通道的显著性，本发明可以采用以下方法但不限于以下方法。

步骤(1)、通过混合高斯模型，利用训练图片学习高斯分布的参数，得到两个top-down显著图，人脸和脸部特征。

通过步骤202，得到测试图像的人脸及脸部特征两个通道的显著性图谱，记做如图5所示

步骤(2)、通过Itti的模型，得到颜色、对比度、方向三个bottom-up的显著性图谱。

利用Itts的模型，构造颜色(C)，对比度(I)，方向性(O)三个显著性图谱，分别记为同时构造最终显著性图谱的模型，如图6所示，即

步骤204、得到五个通道不同的显著性图谱后，通过学习关注点数据，得到每个通道的显著性的最佳权重ω_C,ω_I,ω_O,ω_F,ω_G，以取得最佳结果。

步骤(1)、通过求解方程(6)学习得到每个通道的权重系数，

方程中V是一个矩阵，这个矩阵的每一列是一个通道的显著图，w＝(ω_c，ω_I，ω_O，ω_F，ω_G)，m_h为向量化的每幅图像的关注点图。使用凸线性回归来求解方程，这样就得到每张图片的最佳权重。

步骤(2)再得到每个通道最佳权重ω_C,ω_I,ω_O,ω_F,ω_G后，采用高阶多项式拟合方法建立人脸尺寸大小和最佳权重系数的函数关系。

通过之前对数据的分析，已经发现人脸与脸部特征都与人脸的大小有关，因此十分有必要找到ω_F,ω_G与人脸大小的关系。采用多项式拟合得到这个关系：

其中s为人脸大小尺度，即人脸区域像素占图片总像素的比例，为拟合ω_F,ω_G的多项式的系数。Pearson’s correlation coefficient(PCC)用来评估拟合效果，如图7所示。可以发现在3次拟合之后，PCC系数基本收敛，因此采用4次多项式进行拟合。多项式系数如下表2所示

表2 多项式系数a，b数值

在得到ω_F,ω_G之后，将权重ω_C,ω_I,ω_O在所有图像中做平均，得到它们之间的比例关系ω_C∶ω_I:ω_O＝8∶3∶30，再由||ω||_I＝1，求解得到ω_C,ω_I,ω_O。

步骤205、利用202—204步骤得到的每个通道的显著性图谱以及关于最佳权重系数的函数，计算得到最终的显著性图谱。

首先，利用202、203步骤得到图像的五个通道的显著性图谱，接着利用204步骤求得的最佳权重系数的函数关系，最后通过(5)式的模型，得到最终的显著性图谱。绘制ROC曲线如图7所示，本发明提出的显著性检测方法的结果与已有的几种方法对比效果如图8所示。

步骤三、基于本发明提出的显著性检测方法设计一种图像压缩方法，方法框架如图9所示。

具体方法如下，如图10所示。

步骤301、利用本发明所得到的图片显著性对JPGE图像压缩方法进行改进。

在传统的图像压缩方法的基础上，在编码之前加入一步—预处理。在预处理中，先本发明提出的显著性检测方法得到输入图像的显著性图谱。然后输入图像通过一个截止频率由显著性图谱决定的低通滤波器，以去除非显著区域的部分。此低通滤波器(LPF)可表示为类似于传统JPEG压缩方法，输入图片先分割成8×8像素的相互不重合的块，即每个小图块的预处理可表示为最后将低通滤波器处理后的图片，经过JPEG(国际图像压缩标准)编码，后续步骤与传统JPEG压缩方法相同。

这样非显著性区域的一些细节就会被滤除，但由于这些区域并不会吸引人们的注意，所以并不会影响图片压缩后的质量，同时在滤除这些细节的同时可以减少编码后的比特率。

步骤302、对本发明所提出的图片压缩方法的结果进行检验与评估。

在相同比特率的情况下，比较本发明的图片压缩方法与传统JPEG方法的DMOS之前差异。DMOS越小说明压缩图像的质量越高。通过比较可以发现，在相同低比特率的条件下，本发明的压缩方法可以得到更好的DMOS。同样的，通过比较相同DMOS下，两种压缩方法所用的比特率可以发现，本发明的方法可以节约大约19％的比特率。由本发明的方法得到的压缩图像与传统JPEG压缩方法后的图片结果如图10所示。

一种基于人脸显著性的图片压缩方法，特点在于具有基于人脸显著性的压缩编码控制机制，能够按照区域的视觉显著性来判断是否进行编码，在一定程度上减小了对非显著信息压缩所带来的冗余。这是通过建立一种全新的显著性检测模型实现的。本发明中，通过对显著性的检测，可以准确地得到图片的显著性图谱，并且通过保证关键区域的图片质量，降低非显著性区域的质量，来保证图片整体的感知质量不变的情况下，尽量减少压缩后的比特率，即在将压缩图片的比特率降低到一定水平的前提下，最大程度地保证视频感知质量。

本发明通过对图片显著性的检测，对图片的压缩过程进行控制，适用于对图片质量有要求但设备无法传输或存储较大比特率图像的情况下。尽管本发明已参照具体实施方式进行描述和举例说明，但是并不意味着本发明限于这些描述的实施方式。

Claims (5)

1.一种基于人脸显著性的图像压缩方法，包括以下几个步骤：

步骤一、建立数据库，具体步骤如下：

步骤101、通过眼球追踪实验，记录观测者在自由观看模式下对人脸图片的关注点，建立对人脸图像的视觉关注点分布的数据库；

步骤102、通过分析在人脸以及脸部特征的视觉关注度，建立关注度与人脸、脸部特征之间的关系；

步骤二、建立并训练显著度检测模型，具体步骤如下：

步骤201、对人脸区域关注点进行预处理；

步骤202、用预处理后的关注点数据，基于训练图片，训练并学习混合高斯模型；

步骤203、利用得到的混合高斯模型，基于测试图片，分别预测图像的各个特征通道的显著性；

步骤204、得到五个通道不同的显著性图谱后，通过学习关注点数据，得到每个通道的显著性的最佳权重ω_C,ω_I,ω_O,ω_F,ω_G；

步骤205、利用步骤202至步骤204得到的每个通道的显著性图谱以及关于最佳权重系数的函数，计算得到最终的显著性图谱；

步骤三、进行图像压缩；

在编码之前，采用步骤一、步骤二对输入图像进行预处理，得到输入图像的显著性图谱，然后输入图像通过低通滤波器，低通滤波器的截止频率通过显著性图谱决定，低通滤波器为：

$d_n^{*}(i,j)=\left\{\begin{array}{cc}{d}_n& i+j\≤T_n\\ 0& i+j>T_n\end{array}\right.---\left(9\right)$

其中，(i,j)为输入图片进行离散余弦变换后对应的坐标，T_n是设置的截止频率，d_n是该坐标原来的频率；

输入图片分割成8×8像素的相互不重合的块，即每个小图块的预处理表示为：

最后将低通滤波器处理后的图片，经过国际图像压缩标准编码，进行JPEG压缩。

2.根据权利要求1所述的一种基于人脸显著性的图像压缩方法，所述的步骤二中201具体包括以下步骤：

步骤(1)、建立固定坐标系，通过坐标变换，对每张图像中的关注点进行校正；

设右脸的第一个特征点为坐标原点，将每个关注点的(x,y)，按式(1)进行坐标变换，实现对关注点的校正；

$\left\{\begin{array}{c}{x}^{*}=x-x\\ y^{*}=y-y\end{array}\right.---\left(1\right)$

其中：(x，y)是关注点的坐标，(x*，y*)是校正后的坐标；

步骤(2)、利用式(2)，对关注点进行归一化处理；

$\left\{\begin{array}{c}{x}^{\′}=\frac{x^{*}}{l}\\ y^{\′}=\frac{y^{*}}{l}\end{array}\right.---\left(2\right)$

其中：l为两点之间的欧式距离，即两点之间的横向距离，(x′，y′)是归一化处理后的坐标。

3.根据权利要求1所述的一种基于人脸显著性的图像压缩方法，所述的步骤二中202具体包括以下步骤：

步骤(1)、建立GMM模型；

假设经过校正和归一化的关注点的坐标为x＝(x′,y′)，建立GMM模型：

$\left\{\begin{array}{cc}\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\π}}_k{N}_k({\mathrm{\μ}}_k,{\Σ}_k)& \left(3\right)\\ N_k\left(x\right)=\exp \left\{-\frac{1}{2}{(x^{\′}-{\mathrm{\μ}}_k)}^T{\Σ}_k^{-1}\left(x^{\′}-{\mathrm{\μ}}_k\right)\right\}& \left(4\right)\end{array}\right.$

其中：π_k,μ_k,∑_k分别为第k个高斯分量的混合比例、均值以及方差，K为混合高斯模型中分量的个数；

步骤(2)、通过最大期望算法，学习得到脸部特征通道关注点与人脸通道的混合高斯模型分布；

设k＝4，4个GMM分量分别对应左眼、右眼、鼻子、嘴巴四个脸部特征，假设均值为脸部特征的中心点，经过学习得到的各项参数数值，如下表1所示；

表1 GMM各项参数数值，其中K的不同取值对应不同的五官区域

4.根据权利要求1所述的一种基于人脸显著性的图像压缩方法，所述的步骤二中的203具体包括：

步骤(1)、通过混合高斯模型，利用训练图片学习高斯分布的参数，得到两个top-down显著图，人脸和脸部特征；其中，通过步骤202，得到测试图像的人脸及脸部特征两个通道的显著性图谱，记做

步骤(2)、通过Itti的模型，得到颜色、对比度、方向三个bottom-up的显著性图谱；

利用Itts的模型，构造颜色(C)，对比度(I)，方向性(O)三个显著性图谱，分别记为同时构造最终显著性图谱的模型：

5.根据权利要求1所述的一种基于人脸显著性的图像压缩方法，所述的步骤二中204具体包括以下步骤：

步骤(1)、通过求解方程(6)学习得到每个通道的权重系数：

$\underset{w}{\mathrm{argmin}}\left|\right|Vw-m_h|{|}_2---\left(6\right)$

其中，V为矩阵，矩阵的列是通道的显著图，w＝(ω_c，ω_I，ω_O，ω_F，ω_G)，m_h为向量化的每幅图像的关注点图，使用凸线性回归求解方程，得到每张图片的最佳权重；

步骤(2)得到每个通道最佳权重ω_C,ω_I,ω_O,ω_F,ω_G后，采用高阶多项式拟合方法建立人脸尺寸大小和最佳权重系数的函数关系；

采用多项式拟合得到ω_F,ω_G与人脸大小的关系：

$\left\{\begin{array}{cc}{\mathrm{\ω}}_F\left(s\right)=\underset{i=0}{\overset{I}{\Σ}}{a}_i{s}^i& \left(7\right)\\ {\mathrm{\ω}}_G\left(s\right)=\underset{i=0}{\overset{I}{\Σ}}{b}_i{s}^i& \left(8\right)\end{array}\right.$

其中：s为人脸大小尺度，即人脸区域像素占图片总像素的比例，为拟合ω_F,ω_G的多项式的系数；

采用4次多项式进行拟合，多项式系数如下表2所示

表2多项式系数a，b数值

i＝4 i＝3 i＝2 i＝1 i＝0 a_i 6345.8 -2931.2 491.0 -36.4 1.1 b_i -6474.3 3146.4 -545.1 38.6 -0.1.

在得到ω_F,ω_G之后，将权重ω_C,ω_I,ω_O在所有图像中做平均，得到它们之间的比例关系ω_C∶ω_I∶ω_O＝8∶3∶30，再由||ω||_I＝1，求解得到ω_C,ω_I,ω_O。