CN111614897B - 一种基于用户偏好多维度驱动的智能拍照方法 - Google Patents

Abstract

本发明提出了一种基于用户偏好多维度驱动的智能拍照方法，该方法首先获取相机的预览图像，分析预览图像的所属场景。若场景数据库中有该场景，则继续查询该场景类别下的专业人像风景照数据集；然后根据图片场景相似度进行匹配，以找到背景相似度最高的一组图片。最后通过用户偏好学习模型计算出用户最有可能喜欢的一张照片，将其作为最终拍摄参考图片以指导被拍摄者摆姿势，从而提升普通人的拍照体验。

Description

一种基于用户偏好多维度驱动的智能拍照方法

技术领域

本发明属于计算机摄影学及图像处理领域，涉及一种基于用户偏好多维度驱动的智能拍照方法。

背景技术

随着各种移动智能设备的高速发展，移动设备(平板电脑和智能手机)已经成为我们日常生活中不可或缺的工具。此外，移动端的摄像头像素越来越高，数码相机相对笨重且价格高昂，所以大多数用户更愿意使用手机拍照，而不是数码相机。

但拍摄高质量的照片，还需要用户自身具备一定的摄影构图技巧。显然，大多数用户并不具备构图技巧。虽然已经有人提出人像拍摄构图方法，但大多数是简单分析人体在图像中的位置，并用三分法等构图法则指导用户站位。虽然可以大致确定用户拍摄位置，但没有考虑人与场景的关系，以及相同场景类别内的差异性。因此用户不知道在某一类场景中如何摆出好看的姿势才能使拍摄效果更佳。

此外，除了考虑寻找相似场景的图片，还需要考虑用户的审美偏好。因为不同用户对同一图像有不同的美感感受，而同一用户在多张推荐的拍摄图像选择中，往往带有自己稳定的美学偏好。所以在推荐用户拍照构图时，需要单独考虑每一个用户的审美偏好。而移动端的拍照场景下，对指导拍照系统的模型准确性和实际可行性都要有很高的要求。考虑到模型的准确度和复杂度，还需要快速地对每个用户建立个人偏好学习模型。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于用户偏好多维度驱动的智能拍照方法，能实现终端与摄影者的智能交互，帮助普通摄影爱好者提升摄影的质量，且能极大降低后期处理图片的复杂度。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于用户偏好多维度驱动的智能拍照方法，包括以下具体步骤：

步骤1，拍照场景初定位，利用预训练的卷积神经网络识别拍照场景类别，所述步骤1包括如下具体步骤：

S101，缓存相机中的预览图像并记作I_q，使用训练好的卷积神经网络进行室外场景识别，拍摄场景分为K类；

S102，场景类别与预训练网络中存在的场景类别进行匹配，若预览图像在第k类场景中即I_q∈k(k＝1,2,...K)，则进入步骤2；否则直接进行拍摄，不执行后续步骤；

步骤2，提取待拍摄场景与该场景下的专业人像照片的特征向量，并根据相似度进行匹配，选出最相似的若干张图片，所述步骤2包括如下具体步骤：

S201，定义专业人像风景照数据集为E＝{I¹,I²,...I^K}，其中第k类场景下的专业人像风景照子数据集记作

N表示第k类场景下的专业人像风景照子数据集共有N张图片；

S202，根据摄影的注意力构图规则，利用显著性检测算法得到预览图像I_q的初始显著图记作S_q，以去除场景中的干扰因素；

第k类场景下的专业人像风景照子数据集I^k在显著性检测后，得到初始显著图集合

需要运用公式对初始显著图进行改进，记作

以减小人体对构图的影响，其中

表示显著图的平均值：

其中，λ表示显著性调节参量；

S203，对预览图像的显著图提取特征向量并对其归一化，记作V_q；

S204，计算预览图像归一化后的特征向量V_q与该场景下的专业人像风景照数据子集的每张图片的特征向量

的距离，其中与第n张图片的距离记作

将该场景下的每张专业人像风景照排序，返回该场景下与预览图像I_q相似度最大的前M张图片，即集合

步骤3，基准模型初始化，对该智能拍照方法已有用户选择的图像及评分作为输入的训练样本构建基准模型，以产生用户通用评分等级标准，所述步骤3包括如下具体步骤：

S301，初始化时，收集系统中所有用户选择的图像及评分，作为基准模型的训练样本，接着提取训练样本特征，该特征是通过图像归一化后提取的如色彩均衡、景深、三分法等美学特征；

S302，将图像美学特征和评分视为自变量与因变量的关系，输入美学特征采用支持向量机回归方法来预测评分；

步骤4，建立基于支持向量机回归方法的用户偏好学习模型，对用户偏好的图像进行细筛选，所述步骤4包括如下具体步骤：

S401，利用已有的基准模型做迁移学习以构建用户偏好学习模型，该模型的输入是步骤2中在此场景下推荐的前M张图片，输出是该智能拍照方法对这M张图片评分的预测值；

S402，模型训练时，需要目标用户对推荐的M张照片进行评分，并直接选择一张作为最终拍照参考图片；

S403，计算目标用户当前评分与智能拍照方法的评分差异，并记录用户上一次评分中的支持向量和训练样本总个数，带入到下面的目标函数中，使用网格搜索算法对支持向量机回归方法进行参数寻优，具体公式如下：

为了区分用户本次和上一次的评分样本，设两个集合A^k和B^k，其中A^k表示用户本次评分的样本集合，B^k表示用户上一次评分的样本集合；

表示用户对A^k集合中第i张图片的评分，

表示用户对B^k集合中第j张图片的评分；

表示集合A^k中第i张图片输入的美学特征向量，

表示集合B^k中第j张图片输入的美学特征向量；ε是支持向量机回归方法假设能容忍的预测值和真实值之间的偏差，C是惩罚因子；间隔带两侧允许松弛程度不同加上样本被分成两个集合，引入四个不同的松弛变量，其中ξ_i和

表示集合A^k中的松弛变量，ξ_j和

表示集合B^k中的松弛变量，ω表示支持向量机回归方法超平面的法向量，b表示支持向量机回归方法超平面的截距；总的自适应调整系数分成两个部分，其中γ_i表示集合A^k中第i个样本的惩罚因子调整子系数中的权重，η表示集合B^k中第j个样本的惩罚因子调整子系数中的权重；

S404，重复步骤S402～S403，经过多次评分，直到目标用户与智能拍照方法评分一致度达到预设条件，记录此时的惩罚系数和核函数参数，才算建立好该用户的偏好学习模型；之后不需要用户参与评分，只需要由智能拍照方法给出用户最想要的那一类的参考拍摄照片；

步骤5，结束推荐过程，用户选择其中一张照片以指导其拍照。

作为本发明的进一步优化方案，步骤1中的场景识别的卷积神经网络选择便于移植到移动端的高效率模型；场景类型可以包括但不限于山、海滩、树林、建筑或街道；

作为本发明的进一步优化方案，步骤2中的专业人像风景照数据集是根据不同场景分为不同数据子集，拍照姿势包括站、蹲、坐或躺等多种姿势；

作为本发明的进一步优化方案，步骤3中用户的基准模型指的是初始化时，智能拍照方法收集所有用户的评分过的样本并将其转换成美学变量，输入到模型中通过用户的评分训练得到系统的评分预测值；

作为本发明的进一步优化方案，步骤4中基于支持向量机回归方法的用户偏好学习模型是对标准支持向量机回归方法进行改进，然后通过对每个用户多次的评分做训练，得到每个用户的偏好模型，以对根据场景相似性选取的一组图片进行细筛选，找到用户最喜欢的一张或几张图片；

作为本发明的进一步优化方案，步骤5中指导信息可以包括拍摄主体位置调整、相机拍摄角度调整以及两者同时调整。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明采用专业人像风景照，并根据不同场景为用户匹配拍照姿势丰富多样的参考图片，这极大提高了用户拍照的兴趣及满意度。

(2)将用户偏好引入拍照中，且采用基于支持向量机回归方法的评分方法来量化用户偏好，而支持向量机回归方法适合小样本学习且泛化能力强，使得预测用户对图像的评分更为有效。

附图说明

图1为本发明提供的一种基于用户偏好多维度驱动的智能拍照方法流程图。

具体实施方式

如图1所示，一种基于用户偏好多维度驱动的智能拍照方法，包括以下具体步骤：

步骤1，拍照场景初定位，利用预训练的轻量级网络识别拍照场景类别，具体为：

S101，缓存相机中的预览图像并记作I_q，使用训练好的卷积神经网络进行室外场景识别，拍摄场景分为K类；

S102，场景类别与预训练网络中存在的场景类别进行匹配，若预览图像在第k类场景中即I_q∈k(k＝1,2,...K)，则进入步骤2；否则直接进行拍摄，不执行后续步骤。

步骤2，提取预览图像与该场景下的专业人像照片的特征向量，并根据相似度进行匹配，选出最相似的若干张图片，具体为：

S201，定义专业人像风景照数据集为E＝{I¹,I²,...I^K}，其中第k类场景下的专业人像风景照子数据集记作

N表示第k类场景下的专业人像风景照子数据集共有N张图片；

S202，根据摄影的注意力构图规则，利用显著性检测算法得到预览图像I_q的初始显著图记作S_q，以去除场景中的干扰因素；

需要注意的是由于专业人像风景照中包含人体，第k类场景下的专业人像风景照子集I^k在显著性检测后，得到初始显著图集合

需要运用以下公式对初始显著图进行改进，记作

以减小人体对构图的影响，其中

表示显著图的平均值；

其中，λ表示显著性调节参量；

S203，对预览图像的显著图提取特征向量并对其归一化，记作V_q；

S204，计算预览图像归一化后的特征向量V_q与该场景下的专业人像风景照数据子集的每张图片的特征向量

的距离，其中与第n张图片的距离记作

将该场景下的每张专业人像风景照排序，返回该场景下与预览图像I_q相似度最大的前M张图片，即集合

步骤3，基准模型初始化，对该智能拍照方法已有用户选择的图像及评分作为训练样本构建基准模型，以产生通用评分标准，具体为：

S301，初始化时，收集智能拍照方法中所有用户选择的图像及评分，作为基准模型的训练样本；接着，提取训练样本特征，该特征是通过图像归一化后提取的如色彩均衡、景深、三分法等美学特征；

S302，将图像美学特征和评分视为自变量与因变量的关系，输入美学特征采用支持向量机回归方法来预测评分。

步骤4，建立基于支持向量机回归方法的用户偏好学习模型，对用户偏好的图像进行细筛选。具体为：

S401，利用已有的基准模型做“迁移学习”构建用户偏好学习模型，该模型的输入是步骤2中在此场景下推荐的前M张图片，输出是智能拍照方法对这M张图片评分的预测值；

S402，算法训练时，需要目标用户对推荐的M张照片进行评分，并直接选择一张作为最终拍照参考图片；

S403，计算目标用户当前评分与智能拍照方法的评分差异，并记录用户上一次评分中的支持向量和训练样本总个数，带入到下面的目标函数中，使用网格搜索算法对支持向量机回归方法进行参数寻优；具体公式如下：

为了区分用户本次和上一次的评分样本，设两个集合A^k和B^k，其中A^k表示用户本次评分的样本集合，B^k表示用户上一次评分的样本集合；

表示用户对A^k集合中第i张图片的评分，

表示用户对B^k集合中第j张图片的评分；

表示集合A^k中第i张图片输入的美学特征向量，

表示集合B^k中第j张图片输入的美学特征向量；ε是支持支持向量机回归方法假设能容忍的预测值和真实值之间的偏差，C是惩罚因子；间隔带两侧允许松弛程度不同加上样本被分成两个集合，引入四个不同的松弛变量，其中ξ_i和

表示集合A^k中的松弛变量，ξ_j和

表示集合B^k中的松弛变量，ω表示支持向量机回归方法超平面的法向量，b表示支持向量机回归方法超平面的截距；总的自适应调整系数分成两个部分，其中γ_i表示集合A^k中第i个样本的惩罚因子调整子系数中的权重，η表示集合B^k中第j个样本的惩罚因子调整子系数中的权重；γ_i和η的计算公式分别为：

其中，

表示集合A^k中用户与系统评分的绝对差，N_example表示集合B^k中的样本总和，N_SV表示集合B^k中所有用作支持向量的样本和；

S404，重复步骤S402～S403，经过多次评分，直到目标用户与智能拍照方法评分一致度达到预设条件，记录此时的惩罚系数和核函数参数，才算建立好该用户的偏好学习模型；之后不需要用户参与评分，只需要由智能拍照方法给出用户最想要的那一类的参考拍摄照片。

步骤5，结束推荐过程，用户选择其中一张照片以指导其拍照。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (6)

1.一种基于用户偏好多维度驱动的智能拍照方法，其特征在于，包括以下步骤:

步骤1，拍照场景初定位，利用预训练的卷积神经网络识别拍照场景类别，所述步骤1包括如下具体步骤：

S101，缓存相机中的预览图像并记作I_q，使用训练好的卷积神经网络进行室外场景识别，拍摄场景分为K类；

S102，场景类别与预训练网络中存在的场景类别进行匹配，若预览图像在第k类场景中即I_q∈k(k＝1,2,...K)，则进入步骤2；否则直接进行拍摄，不执行后续步骤；

步骤2，提取待拍摄场景与该场景下的专业人像照片的特征向量，并根据相似度进行匹配，选出最相似的若干张图片，所述步骤2包括如下具体步骤：

S201，定义专业人像风景照数据集为E＝{I¹,I²,...I^K}，其中第k类场景下的专业人像风景照子数据集记作

N表示第k类场景下的专业人像风景照子数据集共有N张图片；

S202，根据摄影的注意力构图规则，利用显著性检测算法得到预览图像I_q的初始显著图记作S_q，以去除场景中的干扰因素；

第k类场景下的专业人像风景照子数据集I^k在显著性检测后，得到初始显著图集合

需要运用公式对初始显著图进行改进，记作

以减小人体对构图的影响，其中

表示显著图的平均值：

其中，λ表示显著性调节参量；

S203，对预览图像的显著图提取特征向量并对其归一化，记作V_q；

S204，计算预览图像归一化后的特征向量V_q与该场景下的专业人像风景照数据子集的每张图片的特征向量

的距离，其中与第n张图片的距离记作

将该场景下的每张专业人像风景照排序，返回该场景下与预览图像I_q相似度最大的前M张图片，即集合

步骤3，基准模型初始化，对该智能拍照方法已有用户选择的图像及评分作为输入的训练样本构建基准模型，以产生用户通用评分等级标准，所述步骤3包括如下具体步骤：

S301，初始化时，收集智能拍照方法中所有用户选择的图像及评分，作为基准模型的训练样本，接着提取训练样本特征，该特征是通过图像归一化后提取的如色彩均衡、景深、三分法等美学特征；

S302，将图像美学特征和评分视为自变量与因变量的关系，输入美学特征采用支持向量机回归方法来预测评分；

步骤4，建立基于支持向量机回归方法的用户偏好学习模型，对用户偏好的图像进行细筛选，所述步骤4包括如下具体步骤：

S401，利用已有的基准模型做迁移学习以构建用户偏好学习模型，该模型的输入是步骤2中在此场景下推荐的前M张图片，输出是该智能拍照方法对这M张图片评分的预测值；

S402，模型训练时，需要目标用户对推荐的M张照片进行评分，并直接选择一张作为最终拍照参考图片；

S403，计算目标用户当前评分与智能拍照方法的评分差异，并记录用户上一次评分中的支持向量和训练样本总个数，带入到下面的目标函数中，使用网格搜索算法对支持向量机回归方法进行参数寻优，具体公式如下：

为了区分用户本次和上一次的评分样本，设两个集合A^k和B^k，其中A^k表示用户本次评分的样本集合，B^k表示用户上一次评分的样本集合；

表示用户对A^k集合中第i张图片的评分，

表示用户对B^k集合中第j张图片的评分；

表示集合A^k中第i张图片输入的美学特征向量，

表示集合B^k中第j张图片输入的美学特征向量；ε是支持向量机回归方法假设能容忍的预测值和真实值之间的偏差，C是惩罚因子；间隔带两侧允许松弛程度不同加上样本被分成两个集合，引入四个不同的松弛变量，其中ξ_i和

表示集合A^k中的松弛变量，ξ_j和

表示集合B^k中的松弛变量，ω表示支持向量机回归方法超平面的法向量，b表示支持向量机回归方法超平面的截距；总的自适应调整系数分成两个部分，其中γ_i表示集合A^k中第i个样本的惩罚因子调整子系数中的权重，η表示集合B^k中第j个样本的惩罚因子调整子系数中的权重；

S404，重复步骤S402～S403，经过多次评分，直到目标用户与智能拍照方法评分一致度达到预设条件，记录此时的惩罚系数和核函数参数，才算建立好该用户的偏好学习模型；之后不需要用户参与评分，只需要由智能拍照方法给出用户最想要的那一类的参考拍摄照片；

步骤5，结束推荐过程，用户选择其中一张照片以指导其拍照。

2.根据权利要求1中所述的一种基于用户偏好多维度驱动的智能拍照方法，其特征在于，在步骤2之前需要预先对专业人像风景照数据集运用显著性检测提取特征向量并对其进行归一化。

3.根据权利要求1中所述的一种基于用户偏好多维度驱动的智能拍照方法，其特征在于，在步骤2中相似度比较采用欧式距离，

越小表示两幅图像的相似度越大。

4.根据权利要求1中所述的一种基于用户偏好多维度驱动的智能拍照方法，其特征在于，在步骤3中智能拍照方法对图片评分需要每个用户先参与评分，在智能拍照方法训练好用户个人偏好模型后，用户不需要再参与评分。

5.根据权利要求1中所述的一种基于用户偏好多维度驱动的智能拍照方法，其特征在于，所述步骤4中支持向量机回归方法是对当前包含不同误差的样本的惩罚因子赋予不同的权重γ_i，以减少标准支持向量机回归方法中对所有样本都赋予相同的惩罚因子而带来的误差，误差的衡量标准是采用的本次评分中用户与智能拍照方法评分的绝对差

并将其归一化到[0,1]内，带入权重的计算公式中：

6.根据权利要求1中所述的一种基于用户偏好多维度驱动的智能拍照方法，其特征在于，所述步骤4中支持向量机回归方法体现了用户上一次评分训练样本在本次训练过程中的作用，以使模型更快地收敛，公式如下所示：

其中N_example表示集合B^k中的样本总和，N_SV表示集合B^k中所有用作支持向量的样本总和。

Images