CN102509284B - 一种肖像光照艺术性的自动评测方法 - Google Patents

Abstract

本发明提出了一种肖像光照艺术性的自动评测方法，该方法从一个艺术与生活肖像照片数据集中提取艺术肖像光照模板，利用改模板实现肖像光照艺术性的定性评测与定量评测。首先提取初始局部光照对比特征集合，然后利用逐步特征选择算法选取区分度较大的特征组成艺术肖像光照模板，最后利用该模板，通过概率比检验，实现艺术与生活肖像的分类；通过回归用户对部分肖像照片的光照艺术性打分，实现肖像光照艺术性的评测。构建的艺术肖像光照模板符合专业艺术摄影中的艺术光照样式，艺术与生活肖像的分类准确率高，肖像光照艺术性评测能够得到合理的数值得分。本发明可广泛应用推广到交互式数字娱乐、影视节目制作等领域。

Description

一种肖像光照艺术性的自动评测方法

技术领域

本发明属于计算机视觉领域，特别是图像理解的方法，具体地说是肖像光照艺术性的自动评测方法。

背景技术

计算机视觉就是用各种成像系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力。

本发明的目的是利用计算机视觉技术使得计算机能够像人类艺术家一样认知艺术作品的用光，以肖像用光为例，利用计算机构建肖像艺术光影模版，实现肖像光照艺术性的定性评测(艺术与生活肖像的分类)以及肖像光照艺术性的计算机定量评测。

目前关于照片与绘画的视觉美感计算机评测方面的工作，主要分为以下三个步骤：1)根据评测目标收集图像数据集，然后根据专家知识和经验将数据集分为“好”和“差”两类；2)设计各种视觉特征，并且从数据集中提取设计的特征；3)训练计算机分类器以实现对两类图像的计算机分类，或者建立数学模型拟合人类美学评分，以实现对图像美感的计算机定量评测。早期的工作中，研究人员仅仅利用全局视觉特征，然后美国宾夕法尼亚州立大学的Datta等人开始考虑图像区域内的局部特征，近期，图像区域之间的局部特征对比也逐渐受到重视，但是目前缺乏针对特定图像主题内容(例如肖像，风景等)的视觉特征设计，由于视觉特征在不同主题作品之间变化很大，这在很大程度上限制了计算机美学评测的性能。

发明内容

为了克服现有技术的不足，本发明提出了肖像光照艺术性的自动评测方法，利用从艺术与生活肖像数据集中提取的艺术肖像光照模板实现肖像光照艺术性定性与定量评测。

为完成发明目的，本发明提出一种肖像光照艺术性的自动评测方法，其特征在于以下步骤：

(1)提取输入肖像的初始局部光照对比特征集合；

(2)依据贝叶斯信息准则，选取区分度较大的特征组成艺术肖像光照模板；

(3)艺术与生活肖像的分类；

(4)计算肖像光照艺术性得分。

进一步的，步骤(1)所述的提取初始局部光照对比特征集合采取以下步骤：

(1.1)利用人脸特征点定位方法，在人脸图像上定位90个特征点，包括脸部、眉毛、眼睛、鼻子和嘴唇的外轮廓；

(1.2)利用90个人脸特征点，定义16个矩形区域，覆盖了人脸的重点区域，包括额头、眉毛、眼睛、脸颊、鼻子、嘴唇、下巴；

(1.3)定义局部光影对比特征，每一个特征F包含了四个部分：对比类型、对比区域、对比通道、对比统计量；

(1.4)利用离散Jensen-Shannon距离计算两个子区域的对应统计量的差异。

进一步的，步骤(1.3)所述的定义局部光影对比特征采取以下方法：

(1.3.1)对比类型，包含“左-右”、“上-下”、“里-外”；

(1.3.2)对比区域，根据对比类型，对比区域被等分成两个面积相等的子区域；

(1.3.3)对比通道，包含灰度通道及其梯度，CIE1976(L^*，a^*，b^*)颜色空间的三个通道，HSV颜色空间的三个通道，和边界通道；所述边界通道为Canny边检测算法检测出来的边像素密度，所述边像素密度是检测出的子区域中边所占的像素数量与子区域总像素量的比值；

(1.3.4)对比统计量，包括平均值、直方图、密度。

进一步的，步骤(2)所述的依据贝叶斯信息准则，选取区分度较大的特征组成艺术肖像光照模板采取以下步骤：

(2.1)根据专家知识构建两个数据集：艺术肖像数据集和生活肖像数据集；

(2.2)采用Log线性模型定义艺术肖像数据集中图像的概率模型；

(2.3)依据贝叶斯信息准则，采用逐步特征选择算法选取区分度较大的特征，组成肖像艺术光影模板。

进一步的，步骤(2.3)所述的依据贝叶斯信息准则，采用逐步特征选择算法选取区分度较大的特征的步骤为：利用提取的初始局部光照对比特征集合，一个空模板开始，在每一步逐步选取具有最大增益的特征，当符合贝叶斯信息准则时，特征选取过程结束。

进一步的，步骤(3)所述的艺术与生活肖像的分类采取以下步骤：利用提取的肖像艺术光影模板，计算测试图像与肖像艺术光影模板的匹配得分，如果匹配得分大于平均误差率阈值，测试图像的类别将为“艺术肖像”，否则为“生活肖像”。

进一步的，步骤(4)所述的计算肖像光照艺术性得分采用以下步骤：

(4.1)从艺术肖像数据集和生活肖像数据集随机选取若干幅肖像图像，通过几名艺术家完成随机对比实验，获取训练集肖像图像光照艺术性得分；

(4.2)利用提取的肖像艺术光影模板，通过回归用户对部分肖像照片的光照艺术性打分，计算逻辑斯特回归参数；

(4.3)利用肖像艺术光影模板与逻辑斯特回归参数，定量计算肖像图像的光照艺术性。

本发明与现有的技术相比，其有益的特点是：1、能够利用肖像图像数据集和为肖像照片专门设计的视觉特征，构建艺术肖像光照模板，并且符合专业艺术摄影中的艺术光照样式，2、能够利用构建的肖像艺术光影模板实现肖像光照艺术性的定性评测(艺术与生活肖像的分类)以及肖像光照艺术性的定量评测。

附图说明：

图1是本发明人脸特征点定位示意图；

图2是本发明人脸16个矩形区域定位示意图；

图3是本发明局部光影对比特征示意图；

图4是本发明候选特征集合示意图；

图5是本发明肖像艺术光影模版提取过程示意图；

图6是本发明肖像艺术光影模版提取过程流程图；

图7是本发明肖像艺术光影模版示意图；

图8是本发明艺术生活肖像分类的接受者操作特性曲线图；

图9是本发明计算机评分与专家评分对比示意图。

具体实施方式：

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参阅图1，本发明首先利用人脸特征点定位方法(ASM：Active Shape Model)，在人脸上定位90个特征点，包括脸部、眉毛、眼睛、鼻子和嘴唇的外轮廓，参阅图2根据识别出的90个特征点，定义16个矩形区域，覆盖了人脸的重点区域，例如额头、眉毛、眼睛、脸颊、鼻子、嘴唇、下巴等。

参阅图3，本发明以肖像脸部为例设计光影特征，采用了局部光影对比特征，每一个特征F包含了四个部分：

1)对比类型T，包含“左-右”、“上-下”、“里-外”；

2)对比区域R，根据对比类型T，对比区域R被等分成两个面积相等的子区域R₀和R₁；

3)对比通道C，包含灰度通道及其梯度，CIE1976(L^*，a^*，b^*)颜色空间的L、a、b通道，HSV颜色空间的H、S、V，和边界通道edge(所述边界通道edge是边密度，即检测出的子区域中边所占的像素数量与子区域总像素量的比值)；

4)对比统计量S，包含平均值μ、直方图h、密度ρ。

本发明定义三种对比统计量在两个子区域R₀和R₁上的局部光影对比特征r为：

r_μ＝|μ₁-μ₀|，r_h＝JS(h₁||h₀)，r_ρ＝|ρ₁-ρ₀|

其中，JS(·||·)为离散Jensen-Shannon距离。

参阅图5，本发明的肖像光影模板提取方法为：首先根据专家知识构建两个数据集：艺术肖像数据集Ω_A和生活肖像数据集Ω_B，肖像光影模板由K个局部光影对比特征{F₁，…，F_K}组成，能够反映艺术肖像光照的局部光影对比特点。本发明采用Log线性模型定义艺术肖像数据集中图像I的概率模型：

$p\left(I\right)=q\left(I\right)\underset{k=1}{\overset{K}{\mathrm{\Π}}}\frac{1}{z_k}\exp \left\{{\mathrm{\λ}}_k{r}_k\left(I\right)\right\}$

其中q(I)为图像I的分布，λ_k为特征响应r_k的权值，z_k为特征响应r_k的归一化常数。

为了在候选特征集合(参阅图4)中选取最有信息量的子集组成肖像艺术光影模板，本发明采用逐步特征选择算法选取区分度较大的特征。给定一个候选特征集合，本发明从一个空模板p₀＝q(I)开始，在每一步t逐步选取具有最大增益的特征：

$F_{\left(t\right)}=\arg \underset{F_k}{\max }\mathrm{KL}\left(p_t\left(r_k\left(I\right)\right)\right|\left|p_{t-1}\left(r_k\left(I\right)\right)\right)$

$\≈\arg \underset{F_k}{\max }\mathrm{KL}\left(p_t\left(r_k\left(I\right)\right)\right|\left|q\left(r_k\left(I\right)\right)\right)$

$\≈\arg \underset{F_k}{\max }\mathrm{KL}\left(h_A\left(r_k\left(I\right)\right)\right|\left|h_D\left(r_k\left(I\right)\right)\right)$

其中KL(·||·)为Kullback-Leibler距离，h_A(·)和h_D(·)分别为在艺术肖像数据集Ω_A和生活肖像数据集Ω_B计算的统计直方图。对于每一步t，参数λ_(t)和z_(t)都可以通过求解

$E_q\left[\frac{1}{z_{\left(t\right)}}\exp \right\{{\mathrm{\λ}}_{\left(t\right)}{r}_{\left(t\right)}\left(I\right)\left\}{r}_{\left(t\right)}\left(I\right)\right]=E_{p_t}\left[r_{\left(t\right)}\left(I\right)\right]=E_f\left[r_{\left(t\right)}\left(I\right)\right]$

E_q[exp{λ_(t)r_(t)(I)}]=z_(t)

其中

当整个模型符合贝叶斯信息准则(BIC：Bayesian Information Criterion)时，特征选取过程结束，如图6所示。提取的肖像艺术光影模板由所选取的最有信息量的特征子集组成，如图7所示。

在肖像光照艺术性的定性评测(艺术与生活肖像的分类)方面，对于一幅测试肖像图像，本发明利用提取的肖像艺术光影模板，计算测试图像与肖像艺术光影模板的匹配得分：

$\mathrm{MatchingScore\; p}\left(I\right)=\log \frac{p\left(I\right)}{q\left(i\right)}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}({\mathrm{\λ}}_k{r}_k\left(I\right)-\log z_k)$

如果匹配得分大于EER(Equal Error Rate)阈值，测试图像的类别将为“艺术肖像”，否则为“生活肖像”。艺术生活肖像分类的接受者操作特性(ROC：Receiver OperatingCharacteristic)曲线如图8所示。

在肖像光照艺术性的计算机定量评测方面，本发明利用提取的肖像艺术光影模板，通过回归用户对部分肖像照片的光照艺术性打分，实现肖像光照艺术性的评测。本发明定义一幅肖像图像I的光照艺术性QualityScore(I)为其比另一幅随机选取的肖像图像J光照艺术性更强的概率p：

QualityScore(I)＝p＝E_f(J)[1(I wins against J in quality)]

其中f为所有肖像图像的概率分布，1(·)为指标函数，评判两幅图像的光照艺术性由几名专家完成，本发明从艺术肖像数据集Ω_A和生活肖像数据集Ω_B随机选取n幅肖像图像，通过几名艺术家完成随机对比实验，肖像图像I win的概率符合二项分布binom(n，p)。然后利用逻辑斯特回归定量计算肖像图像的光照艺术性：

$\log \frac{p}{1-p}=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}({\mathrm{\λ}}_k{r}_k\left(I\right)-\log z_k)={\mathrm{\λ}}_0+\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\λ}}_k{r}_k\left(I\right),$ ${\mathrm{\λ}}_0=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}-\log z_k$

该模型可以给出一幅测试肖像图像的光照艺术性p∈(0，1)，计算机评分与专家评分的对比如图9所示。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (3)

1.一种肖像光照艺术性的自动评测方法，其特征在于以下步骤：

（1）提取输入肖像的初始局部光照对比特征集合；

（2）依据贝叶斯信息准则，选取区分度较大的特征组成艺术肖像光照模板；

（3）艺术与生活肖像的分类；

（4）计算肖像光照艺术性得分；

所述步骤（1）所述的提取初始局部光照对比特征集合采取以下步骤：

（1.1）利用人脸特征点定位方法，在人脸图像上定位90个特征点，包括脸部、眉毛、眼睛、鼻子和嘴唇的外轮廓；

（1.2）利用90个人脸特征点，定义16个矩形区域，覆盖了人脸的重点区域，包括额头、眉毛、眼睛、脸颊、鼻子、嘴唇、下巴；

（1.3）定义局部光影对比特征，每一个特征F包含了四个部分：对比类型、对比区域、对比通道、对比统计量；

（1.4）利用离散Jensen-Shannon距离计算两个子区域的对应统计量的差异；

步骤（2）所述的依据贝叶斯信息准则，选取区分度较大的特征组成艺术肖像光照模板采取以下步骤：

（2.1）根据专家知识构建两个数据集：艺术肖像数据集和生活肖像数据集；

（2.2）采用Log线性模型定义艺术肖像数据集中图像的概率模型；

（2.3）依据贝叶斯信息准则，采用逐步特征选择算法选取区分度较大的特征，组成肖像艺术光影模板；

步骤（3）所述的艺术与生活肖像的分类采取以下步骤：利用提取的肖像艺术光影模板，计算测试图像与肖像艺术光影模板的匹配得分，如果匹配得分大于平均误差率阈值，测试图像的类别将为“艺术肖像”，否则为“生活肖像”；

步骤（4）所述的计算肖像光照艺术性得分采用以下步骤：

（4.1）从艺术肖像数据集和生活肖像数据集随机选取若干幅肖像图像，通过几名艺术家完成随机对比实验，获取训练集肖像图像光照艺术性得分；

（4.2）利用提取的肖像艺术光影模板，通过回归用户对部分肖像照片的光照艺术性打分，计算逻辑斯特回归参数；

（4.3）利用肖像艺术光影模板与逻辑斯特回归参数，定量计算肖像图像的光照艺术性。

2.如权利要求1所述的肖像光照艺术性的自动评测方法，其特征在于：步骤（1.3）所述的定义局部光影对比特征采取以下方法：

（1.3.1）对比类型，包含“左-右”、“上-下”、“里-外”；

（1.3.2）对比区域，根据对比类型，对比区域被等分成两个面积相等的子区域；

（1.3.3）对比通道，包含灰度通道及其梯度，CIE1976(L^*,a^*,b^*)颜色空间的三个通道，HSV颜色空间的三个通道，和边界通道；所述边界通道为Canny边检测算法检测出来的边像素密度，所述边像素密度是检测出的子区域中边所占的像素数量与子区域总像素量的比值；

（1.3.4）对比统计量，包括平均值、直方图、密度。

3.如权利要求1所述的肖像光照艺术性的自动评测方法，其特征在于：步骤（2.3）所述的依据贝叶斯信息准则，采用逐步特征选择算法选取区分度较大的特征的步骤为：利用提取的初始局部光照对比特征集合，一个空模板开始，在每一步逐步选取具有最大增益的特征，当符合贝叶斯信息准则时，特征选取过程结束。

Images