CN113781408A - 一种图像拍摄智能指导系统及方法 - Google Patents

Abstract

本发明涉及一种图像拍摄智能指导系统及方法，其系统包括：通用拍照模块：用于对原始图像的通用属性进行评分、对色彩和谐性进行检测、对光照方向进行分析以及构图模板进行指导；人像拍照模块：用于对人像属性进行评分、对人脸及头部角度进行检测、人脸表情进行识别以及人体姿势进行指导。本发明提供的图像拍摄智能指导系统，能够以快速的刷新速度显示对图像的光照评分、色彩评分、构图评分、外观评分、综合评分，还可对人脸表情进行识别，并实时显示头部姿态、人体姿态估计以及人像属性评分，能够在一定程度上指导用户根据显示改变被拍照者状态和选择环境状态以拍摄出更加具有美学价值的照片。

Description

一种图像拍摄智能指导系统及方法

技术领域

本发明涉及机器视觉领域，具体涉及一种图像拍摄智能指导系统及方法。

背景技术

随着通讯科技和社交媒体的不断发展，智能手机已经成为人们生活中不可或缺的一部分。对于智能手机，拍照是最常用的功能之一。人们使用智能手机每天都会拍摄数万亿张照片，用于分享和记录美好生活。然而大多数用户没有接受过摄影培训，他们不知道如何通过选择合适的构图、光线或色彩搭配来拍摄一张好照片。为此，学术界和工业界提出几种基于手机拍照的移动摄影辅助系统来帮助普通用户在日常生活中拍出更好的照片。

目前，现有的移动摄影辅助系统大多只考虑简单的构图引导，但是在用光情况、色彩搭配，以及如何定量对不同类型照片拍摄的好坏进行比较等方面，并没有办法提出和实现一种在更多审美属性上能够直观显示照片摄影评价和指导无摄影知识技能用户的移动摄影辅助系统。

发明内容

为了解决上述技术问题，本发明提供一种图像拍摄智能指导系统及方法。

本发明技术解决方案为：一种图像拍摄智能指导系统，包括：

通用拍照模块：用于对原始图像的通用属性进行评分、对色彩和谐性进行检测、对光照方向进行分析以及构图模板进行指导；

人像拍照模块：用于对人像属性进行评分、对人脸及头部角度进行检测、人脸表情进行识别以及人体姿势进行指导。

本发明与现有技术相比，具有以下优点：

本发明提供的图像拍摄智能指导系统，能够以0.5s一次的刷新速度显示对图像的光照评分、色彩评分、构图评分、外观评分、综合评分，还可对人脸表情进行识别，并实时显示头部姿态、人体姿态估计以及人像属性评分，能够在一定程度上指导用户根据显示改变被拍照者状态和选择环境状态以拍摄出更加具有美学价值的照片。

附图说明

图1为本发明实施例中一种图像拍摄智能指导系统的结构框图；

图2为本发明实施例中一种图像拍摄智能指导方法的流程图；

图3为本发明实施例中采用通用拍照模式的示意图；

图4为本发明实施例中采用人像拍照模式的示意图。

具体实施方式

本发明提供了一种图像拍摄智能指导系统，能够在一定程度上指导用户根据显示改变被拍照者状态和选择环境状态以拍摄出更加具有美学价值的照片。

为了更好地理解本发明，对于下述实施例所用的术语进行解释说明：

AADB、PCCD、EVA数据集：均为公开的美学数据集，标签中包括图像总分、光照分、构图分、色彩分。

PADB数据集：自建的美学数据集，标签中包括图像总分、光照分、构图分、色彩分。

SCUT-FBP5500数据集：公开的美学数据集，内容是不同人的证件照，标签仅包括总体评分。

Fer2013：表情识别公开数据集。包括：生气、厌恶、恐惧、开心、伤心、惊讶、中性。

为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。

实施例一

如图1所示，本发明实施例提供的一种图像拍摄智能指导系统，包括下述模块：

通用拍照模块1：用于对原始图像的通用属性进行评分、对色彩和谐性进行检测、对光照方向进行分析以及构图模板进行指导；

人像拍照模块2：用于对人像属性进行评分、对人脸及头部角度进行检测、人脸表情进行识别以及人体姿势进行指导。

在一个实施例中，上述通用拍照模块1包括下述模块：

通用属性评分模块11：通过Efficient-Net网络从原始图像中提取7维色彩特征、4维光照特征和10维构图特征，并输入回归网络进行训练，输出通用属性评分；

在本模块中，通用属性评分包括：色彩属性评分、光照属性评分以及构图属性评分。评分范围为0-10分。首先将AADB、PCCD、EVA、PADB(自建)属性数据集进行混合筛选，根据综合评分标签平均划分为十个分数段。

7维色彩特征包括颜色通道特征，RGB色彩空间主导颜色数量特征，RGB主导颜色主导程度特征，HSV色彩空间主导颜色数量特征，HSV主导颜色主导程度特征，主色调数量特征和主色调对比度特征。

4维光照特征包括图像平均亮度特征，亮度标准差特征，平均明度特征和明度标准差特征。

10维构图特征包括黄金分割分布特征，中心分布特征，三分法特征，对称线特征，对角线特征，斜线特征，引导线特征，三角特征，框架式特征和圆形特征。

上述各属性由一个Efficient-Net网络提取和共享深度学习特征，构建回归网络进行属性评分回归，回归网络主要由全连接层构成。将深度学习的属性特征经过平均池化层，并在模型的最后一层添加10个节点的全连接层用于十分类训练。然后将Efficient-Net网络部分的参数固定，在模型末尾添加10个节点的全连接层，分别拼接色彩的7维特征、光照的4维特征和构图的10维特征，构建回归网络并对色彩、光照和构图进行回归训练，得到光照属性评分、色彩属性评分和构图属性评分。

通用综合评分模块12：通过Efficient-Net网络从原始图像提取深度学习特征，构建教师-学生网络，其中，将十分类网络作为教师网络，将综合评分回归网络作为学生网路，并构建损失值函数，损失函数分别来自综合评分回归网络的MSE损失，以及教师-学生网络的交叉熵损失，最终训练得到通用综合评分；

在本模块中，使用Efficient-Net网络提取深度学习特征，构建教师-学生网络，其中将十分类网络作为教师网络，将综合评分回归网络作为学生网路。首先在Efficient-Net深度学习特征网络后面添加2层10个节点的全连接层。然后把7维色彩维特征、4维光照特征和10维构图特征拼接至第一个全连接层。深度学习网络经过平均池化层后依次连接第一个全连接层和第二个全连接层。确定十分类网络的参数，并将十分类网络最后得到10维全连接节点作为第二层回归网络节点的软标签计算交叉熵。损失值函数中一部分来自综合评分回归网络的MSE损失，一部分来自教师-学生网络的交叉熵损失，最终训练得到通用综合评分。

色彩和谐性检测模块13：将原始图像输入色彩和谐性模型，输出色调和谐模板的拟合度；

光照方向分析模块14：将原始图像输入太阳-天空模型，输出球形光照分布概率，得到用光方向和概率；

构图模板指导模块15：根据原始图像的区域中心位置和构图突出线条距离，根据预设的构图模板计算拟合概率，推荐合适的构图模板。

在一个实施例中，上述色彩和谐性检测模块13：将原始图像输入色彩和谐性模型，输出色调和谐模板的拟合度，具体包括：

统计原始图像在HSV色彩空间上色调的分布，将其画在圆形色环图上；

使用Color Harmonization定义8种色调和谐模板，色调和谐模板的阴影部分即为和谐色调分布区域；

其中，8种色调和谐的分布类型分别为i，V，L，I，T，Y，X和N共8种色调和谐模板。

根据原始图像的色调与每个色调和谐模板扇形区域的边界的最小距离，以及每个像素的饱和度，来匹配一种色彩和谐性模板，通过计算色调和谐模板范围内平均色调值和最高色调值的对数商，得到色调和谐模板的拟合度。

色调和谐模板的阴影部分即为和谐色调分布区域，该区域夹角固定，可围绕色环圆心任意旋转。依次选择上述8种色调和谐模板，在360°范围内每次以1°调整模型位置，根据图像的色调值与每个模板扇形区域的边界的最小距离以及每个像素的饱和度，来匹配显示一种最合适的色彩和谐性模板。通过计算模板阴影范围内平均色调值和最高色调值对数的商来，定量显示当前模板的拟合概率。

在一个实施例中，上述光照方向分析模块14：将原始图像输入太阳-天空模型，输出球形光照分布概率，得到用光方向和概率，具体包括：

将原始图像输入DOIE项目太阳-天空模型，得到太阳位置和天空信息；

根据光源仰角和方位角绘制出光源球体概率分布图，根据概率分布图不同方位区域计算光照概率，可以得到原始图像的用光方向和概率。

通过光源仰角和方位角绘制出光源球体概率分布图，其中仰角分为8个区域，方位角分为32个区域，每个区域得到一个光源概率。将光源方位角在镜头位置45°范围内定义顺光，在镜头正对方向45°范围内定义为逆光，根据视觉水平线划分剩余部分靠近镜头为侧光，靠近镜头正对方向为侧逆光，计算不同方位区域计算光照概率，可以得到当前图像用光方向概率，将不同区域光源概率画成球形概率图，并显示概率最大的一种用光方向。

在一个实施例中，上述构图模板指导模块15：根据原始图像的区域中心位置和构图突出线条距离，根据预设的构图模板计算拟合概率，推荐合适的构图模板，具体包括：

使用DFI项目从原始图像中提取显著性区域特征图像，根据显著性区域特征图像计算显著性区域中心点与2种预设的显著性区域构图模板的距离差值，得到显著性区域构图模板拟合概率；

使用DFI项目从原始图像中提取边缘检测特征图像，根据边缘检测特征图像，使用DHT项目利用深度霍夫变换模型提取图像语义线条；计算语义线条与构图模板中突出线条的距离差值，得到突出线条拟合概率；

比较显著性区域构图模板拟合概率和突出线条拟合概率，选取概率较大的模板作为构图模板。

如图3所示，展示了为本发明实施例中采用通用拍照模式的示意图。

本发明实施例除了对于通用拍照模式进行智能指导，还提供对于人像拍照指导功能。

首先，打开拍照指导系统，系统调用摄像头获取的原始图像作为人体检测模型Efficient-Net的输入，输出人体检测框；同时将原始图像作为人脸检测库dlib的输入，输出人脸检测框。根据人体检测框对人体特征进行提取，以及根据人脸检测框对人脸特征进行提取。

在一个实施例中，上述人像拍照模块2包括下述模块：

人像属性评分模块21：用于将原始图像进行人脸识别，并对人像属性进行评分，包括：光照属性评分、色彩属性评分、构图属性评分、人像外观属性评分以及人像属性综合评分，评分范围为0-10分；

在本模块中，光照属性由将原始图片均分成8*8部分提取亮度均值及方差特征，并且利用人体检测框剪切出人像图分成2*4块提取亮度均值及方差特征，将提取的特征输入LSTM进行训练得到光照属性评分；

色彩属性特征则是将图像转换成HSV，统计8*8块的图像亮度均值与方差作为色彩特征，将提取的特征输入LSTM进行训练得到色彩属性评分；

构图属性特征是将人体检测框的中心点与构图模板上构图点的相对距离作为特征，构图模板分为三分构图、三角构图、中心构图、对称构图、黄金分割构图、L型构图、对角线构图，将构图特征输入LSTM进行训练得到构图属性评分；

将人脸检测框截取人脸输入卷积神经网络模型，在SCUT-FBP5500数据集上进行训练，得到人像外观属性特征；

将上述提取得到的特征作为属性模型的输入，获得预测输出，属性模型在AADB、PCCD、EVA、PADB属性数据集上进行训练。最终由光照属性评分、色彩属性评分、构图属性评分、人像外观属性评分进行综合评分，得到人像属性综合评分。

人脸检测及头部角度检测模块22：用于实时显示当前人像人脸缩略图以及三维头部角度；

本模块中，人脸利用dlib库进行检测，头部角度则利用deep-head-pose开源项目对截取的人脸进行检测，获取人脸缩略图以及三维头部角度。

表情识别模块23：将人脸检测框输入神经网络模型进行训练，进行表情识别；

将人脸检测框截取人脸输入神经网络模型，在Fer2013数据集上进行训练，进行人脸的表情识别。

人体姿势指导模块24：提供人体姿势模板，并在屏幕中显示当前人像的姿势骨架，当人体姿势与模板姿势相同时进行拍照；

在本模块中，使用Detectron2开源项目对人体进行姿态估计，并收集专业模特摆拍姿势作为姿势模板，当用户选择姿势指导时，在屏幕上显示选择的指导姿势，用户根据指导姿势指导被拍者。

如图4所示，展示了为本发明实施例中采用人像拍照模式的示意图。

本发明提供的图像拍摄智能指导系统，能够以0.5s一次的刷新速度显示对图像的光照评分、色彩评分、构图评分、外观评分、综合评分，还可对人脸表情进行识别，并实时显示头部姿态、人体姿态估计以及人像属性评分，能够在一定程度上指导用户根据显示改变被拍照者状态和选择环境状态以拍摄出更加具有美学价值的照片。

实施例二

如图2所示，本发明实施例提供了一种图像拍摄智能指导方法，包括下述步骤：

步骤S1：对原始图像的通用属性进行评分、对色彩和谐性进行检测、对光照方向进行分析以及构图模板进行指导；

步骤S2：对人像属性进行评分、对人脸及头部角度进行检测、人脸表情进行识别以及人体姿势进行指导。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (7)

1.一种图像拍摄智能指导系统，其特征在于，包括下述模块：

通用拍照模块：用于对原始图像的通用属性进行评分、对色彩和谐性进行检测、对光照方向进行分析以及构图模板进行指导；

人像拍照模块：用于对人像属性进行评分、对人脸及头部角度进行检测、人脸表情进行识别以及人体姿势进行指导。

2.根据权利要求1所述的图像拍摄智能指导系统，其特征在于，所述通用拍照模块包括下述模块：

通用属性评分模块：通过Efficient-Net网络从原始图像中提取7维色彩特征、4维光照特征和10维构图特征，并输入回归网络进行训练，输出通用属性评分；

通用综合评分模块：通过Efficient-Net网络从所述原始图像提取深度学习特征，构建教师-学生网络，其中，将十分类网络作为教师网络，将综合评分回归网络作为学生网路，并构建损失值函数，所述损失函数分别来自所述综合评分回归网络的MSE损失，以及所述教师-学生网络的交叉熵损失，最终训练得到综合评分；

色彩和谐性检测模块：将所述原始图像输入色彩和谐性模型，输出色调和谐模板的拟合度；

光照方向分析模块：将所述原始图像输入太阳-天空模型，输出球形光照分布概率，得到用光方向和概率；

构图模板指导模块：根据所述原始图像的区域中心位置和构图突出线条距离，根据预设的构图模板计算拟合概率，推荐合适的构图模板。

3.根据权利要求2所述的图像拍摄智能指导系统，其特征在于，所述色彩和谐性检测模块：将所述原始图像输入色彩和谐性模型，输出色调和谐模板的拟合度，具体包括：

统计所述原始图像在HSV色彩空间上色调的分布，将其画在圆形色环图上；

使用Color Harmonization定义8种色调和谐模板，所述色调和谐模板的阴影部分即为和谐色调分布区域；

根据所述原始图像的色调与每个所述色调和谐模板扇形区域的边界的最小距离，以及每个像素的饱和度，来匹配一种色彩和谐性模板，通过计算所述色调和谐模板范围内平均色调值和最高色调值的对数商，得到所述色调和谐模板的拟合度。

4.根据权利要求2所述的图像拍摄智能指导系统，其特征在于，所述光照方向分析模块：将所述原始图像输入太阳-天空模型，输出球形光照分布概率，得到用光方向和概率，具体包括：

将所述原始图像输入太阳-天空模型，得到太阳位置和天空信息；

根据光源仰角和方位角绘制出光源球体概率分布图，根据概率分布图不同方位区域计算光照概率，可以得到所述原始图像的用光方向和概率。

5.根据权利要求2所述的图像拍摄智能指导系统，其特征在于，所述构图模板指导模块：根据所述原始图像的区域中心位置和构图突出线条距离，根据预设的构图模板计算拟合概率，推荐合适的构图模板，具体包括：

从所述原始图像中提取显著性区域特征图像，计算显著性区域中心点与2种预设的显著性区域构图模板的距离差值，得到显著性区域构图模板拟合概率；

从所述原始图像中提取边缘检测特征图像，根据深度霍夫变换模型提取语义线条；计算所述语义线条与构图模板中突出线条的距离差值，得到突出线条拟合概率；

比较所述显著性区域构图模板拟合概率和所述突出线条拟合概率，选取概率较大模板的作为构图模板。

6.根据权利要求1所述的图像拍摄智能指导系统，其特征在于，所述人像拍照模块包括下述模块：

人像属性评分模块：用于将所述原始图像进行人脸识别，并对人像属性进行评分，包括：光照属性评分、色彩属性评分、构图属性评分、人像外观属性评分以及人像属性综合评分；

人脸检测及头部角度检测模块：用于实时显示当前人像人脸缩略图以及三维头部角度；

人脸光照模块：用于实时显示人脸光照球，并根据光照模板显示当前接近的光照；

色彩和谐性检测模块：将所述原始图像输入色彩和谐性模型，输出色调和谐模板的拟合度；

人体姿势指导模块：提供人体姿势模板，并在屏幕中显示当前人像的姿势骨架，当人体姿势与模板姿势相同时进行拍照。

7.一种图像拍摄智能指导方法，其特征在于，包括下述步骤：

步骤S1：对原始图像的通用属性进行评分、对色彩和谐性进行检测、对光照方向进行分析以及构图模板进行指导；

步骤S2：对人像属性进行评分、对人脸及头部角度进行检测、人脸表情进行识别以及人体姿势进行指导。

Images