CN106846399B - 一种获取图像的视觉重心的方法及装置 - Google Patents

Abstract

本发明涉及一种获取图像的视觉重心的方法及装置，属于图像处理技术领域。本发明获取图像的视觉重心的方法包括：识别出图像中包含人像的元素，获取包含人像的元素中的人脸区域与视线，及计算已对人脸区域赋予大于1的第一权重扩大因子及对与视线有交点的元素赋予大于1的第二权重扩大因子后图像的整体视觉重心。由于该方法考虑了不同元素对图像视觉重心确定影响的差异中比较重要的元素，即人脸区域及与视线有交点的元素，可有效地提高获取图像视觉重心的准确性，其可广泛应用于广告制作等。

Description

一种获取图像的视觉重心的方法及装置

技术领域

本发明涉及计算机图形处理技术领域，具体地说，涉及一种获取图像的视觉重心的方法及装置。

背景技术

在图像中，尤其是在图文混排的图像中，人的视觉安定与图像的视觉重心有紧密的关系，当人的视线接触画面时，视线常常迅速地由左上角到左下角，再通过中心部分至右上角及右下角，再回至画面最吸引视线的中心视圈停留下来，这个中心点就是视觉的重心。而画面轮廓的变化、图形的聚散、色彩明暗的分布、是否有人像及人像的肢体动作、视觉朝向都会对图像视觉重心位置产生影响。在图像处理中，尤其是广告制作，其所要表达的主题或重要信息往往不能偏离视觉重心太远，对于设计师与读者来说，能准确地获取图像的视觉重心是非常重要的。

公开号为CN103246636A的专利文献中公开了一种汉字字形视觉重心的确定方法，该方法通过确定汉字图像的笔画连通区域，并对笔画连通区域的质心进行计算，再通过笔画连通区域质心和整体汉字视觉重心之间的关系模型计算出汉字字形的视觉重心。

公开号为CN104700416A的专利文献中公开了一种基于视觉理解的图像分割阈值确定方法，其包括以下步骤：将彩色图像变换为灰度图像；对灰度图像进行数字滤波；计算直方图；计算直方图的视觉重心，作为图像分割的第一个分割阈值T_L；将高于第一个分割阈值T_L的直方图区域分成两部分，根据视觉平衡原则，利用搜索算法寻找两部分的视觉重心，作为图像分割的第二个分割阈值T_H。

在上述两篇专利文献中，前者是通过确定汉字字形的视觉重心来提升汉字的阅读体验，而后者利用视觉重心来对图像进行分割，从而以极小的图像像素，最大限度地将图像特征保留下来，并且符合人们的认知期望。但是，二者在计算视觉重心时，都是简单地将图像转换为灰度图，即在获取图像的视觉重心时，只考虑图像中元素的灰度值，并未考虑不同元素对视觉重心影响存在的差异性的问题，导致其难以准确地获取图像的视觉重心。

发明内容

本发明的目的是提供了一种能更准确地获取图片视觉重心的方法；另一目的是提供了一种能更准确地获取图片视觉重心的装置。

为了实现上述目的，本发明提供的获取图像视觉重心的方法包括识别步骤、获取步骤及计算步骤。其中，识别步骤包括识别出图像中包含人像的元素；获取步骤包括获取包含人像的元素中的人脸区域与视线；计算步骤包括计算已对人脸区域赋予大于1的第一权重扩大因子及对与视线有交点的元素赋予大于1的第二权重扩大因子的图像的整体视觉重心。

由以上方案可见，与现有技术中直接将图像处理成灰度图后再计算其视觉重心的方法相比，该方案考虑了图像元素中对视觉重心影响比较大的人脸区域及与视线有交点的元素，即在考虑不同元素对视觉重心位置的影响差异性时，主要是考虑其中的重要影响因素，在有效提高获取图像视觉重心准确性的同时，能有效地控制所增加的工作量。

优选的方案为计算步骤包括第一计算步骤、第二计算步骤与第三计算步骤。其中，第一计算步骤包括对人脸区域赋予第一权重扩大因子，并计算包含人像的元素的视觉重心坐标与视觉重量；第二计算步骤包括计算不包含人像的元素的视觉重心坐标与视觉重量；第三计算步骤包括对与视线有交点的元素赋予第二权重扩大因子，并依据第一计算步骤与第二计算步骤的计算结果，计算图像的整体视觉重心。

一个更优选的方案为识别出图像中包含人像的元素的步骤包括逐一检测从图像中获取的元素是否包含人像；若检测到该元素包含人像，则对该元素执行获取步骤与第一计算步骤；若检测到元素不包含人像，则对该元素执行第二计算步骤；在完成对图像中的所有元素的检测后，执行第三计算步骤。

另一个更有选的方案为将元素的矩形边框所围的区域划分成小矩形区域，以小矩形区域的中心坐标为其视觉重心坐标计算该元素的视觉重心坐标。充分利用有限元的思想获取元素的视觉重心。

优选的方案为获取步骤包括利用经训练后的神经网络获取包含人像的元素的视线。有效地提高对人像视线获取的准确性与快捷性。

更优选的方案为上述神经网络经请求步骤、接收步骤及训练步骤获取。其中，请求步骤包括向众包平台服务器发送众包请求及上传包含人像的图片；接收步骤包括接收众包平台服务器获取的针对上述图片标注的视线；训练步骤包括以标注有视线的图片对神经网络进行视线标注训练。

优选的方案为获取包含人像的元素中视线的步骤为获取包含人像的元素的视线朝向；与视线有交点的元素为位于该视线朝向上的元素。

更有选的方案为以包含人像的元素的矩形边框的边界线为界线；位于矩形边框的左边界线与右边界线之间且位于上边界线之上的元素为位于朝上视线朝向上的元素；位于左边界线与右边界线之间且位于下边界线之下的元素为位于朝下视线朝向上的元素；位于上边界线与下边界线之间且位于左边界线之左的元素为位于朝左视线朝向上的元素；位于上边界线与下边界线之间且位于右边界线之右的元素为位于朝右视线朝向上的元素；部分位于左边界线之左且位于上边界线之上的元素为位于朝左上视线朝向上的元素；部分位于左边界线之左且位于下边界线之下的元素为位于朝左下视线朝向上的元素；部分位于右边界线之右且位于上边界线之上的元素为位于朝右上视线朝向上的元素；部分位于右边界线之右且位于下边界线之下的元素为位于朝右下视线朝向上的元素。

为了实现上述另一目的，本发明提供获取图像的视觉重心的装置包括识别单元、获取单元及计算单元。其中识别单元用于从图像中识别出包含人像的元素；获取单元用于获取包含人像的元素中的人脸区域与视线；计算单元用于计算已对人脸区域赋予大于1的第一权重扩大因子及对与视线有交点的元素赋予大于1的第二权重扩大因子后的图像的整体视觉重心。

由以上方案可见，该装置在获取图像的视觉重心时，能对视觉重心位置变化产生重要影响的人脸区域及与视线有交点的元素进行差异性考虑，与现有技术相比，在有效地提高获取图像视觉重心准确性的同时，能有效地控制所增加的工作量。

优选的方案为识别单元包括检测模块，计算单元包括第一计算模块、第二计算模块及第三计算模块。检测模块用于逐一检测从图像中所获取的元素是否包含人像；第一计算模块用于在检测模块检测到元素包含人像时，对获取单元从该元素中获取的人脸区域赋予第一权重扩大因子，并计算该元素的视觉重心坐标及其视觉重量；第二计算模块用于在检测模块检测到元素不包含人像时，计算该元素的视觉重心坐标及其视觉重量；第三计算模块用于在检测模块完成对图像中的所有元素的检测后，对与获取单元所获取的视线有交点的元素赋予第二权重扩大因子，并依据第一计算模块与第二计算模块的计算结果，计算图像的整体视觉重心。

附图说明

图1是本发明实施例1中获取图像的视觉重心的方法的工作流程图；

图2是本发明实施例1中的视线朝向的示意图；

图3是本发明实施例1中位于朝右视线朝向上的元素的示意图；

图4时本发明实施例1中位于朝右上视线朝向上的元素的示意图；

图5是本发明实施例2中获取图像的视觉重心的装置的结构框图。

具体实施方式

以下结合实施例及其附图对本发明作进一步说明。

实施例1

本实施例是对获取图像的视觉重心的方法进行说明，该方法由识别步骤S1、获取步骤S2及计算步骤S3构成。

识别步骤S1，识别出图像中包含人像的元素，由如图1所示的步骤S101与步骤S102构成。

步骤S101，提取图像中的所有元素。

图像中的元素是指图像中的所有素材图片、背景图片以及各种文字。

在本实施例中，以广告的PSD文件为例进行说明，元素包括广告文案中图像、文字等，当然，为了便于提取图像中的所有元素，可要求PSD文件中的每个图层仅包含一个元素；对于包含两个以上元素的图层，需先将该图层中的元素提取成单个元素，再进行处理。

步骤S102，逐一检测所提取的元素是否包含人像。

利用常用的人脸检测算法对每个元素进行检测，若检测到人脸，则该元素包含人像，并进入步骤S103；若该元素不包含人像，则跳至步骤S108。

常用的人脸检测算法可参考但不局限于文献《基于AdaBoost和Kalman算法的人眼检测与跟踪》，严超，王元庆，张兆扬，南京大学学报:自然科学版，2010，46(6):681-687。在该文献中，其在检测出人脸区域后，再对人眼区域进行检测。

获取步骤S2，获取包含人像的元素中的人脸区域与视线，由如图1所示的步骤S103、步骤S104、步骤S105及步骤S106构成。

步骤S103，标注检测出的人脸区域，并加入集合F中。

对步骤S102所检测出包含人像的元素，利用人脸检测算法定位到人像的人脸区域，对该人脸区域进行标注，并加入集合F，为后续在计算人像视觉重心做准备。

步骤S104，通过众包平台获取标注有视线朝向的人脸数据，对神经网络进行训练。包括发送步骤，接收步骤及训练步骤。

发送步骤，向众包平台服务器发送众包请求及上传包含人像的图片。

在该步骤中，本实施例使用但不限于亚马逊土耳其机器人平台发送众包请求，以发布众包任务。

该众包任务具体为：通过给定众包参与者大量的人脸图片，然后让其标注该图片中人脸的眼睛视线朝向，在本实施例中将视线朝向规定为上、下、左、右、左上、左下、右上及右下，并根据参与者完成的工作量给其相应的报酬。

如图2所示，以包含人像的元素10的矩形框以的下边界线11、上边界线12、右边界线13及左边界线14为界线，将矩形框的周围区域划分为标号为21-28的八个区域。对位于该矩形框以外元素的视线朝向在本实施例中规定为，位于左边界线14与右边界线13之间且位于上边界线12之上的元素为位于朝上视线朝向上的元素，即完全位于区域21内的元素；位于左边界线14与右边界线13之间且位于下边界线11之下的元素为位于朝下视线朝向上的元素，即完全位于区域22内的元素；位于上边界线12与下边界线11之间且位于左边界线14之左的元素为位于朝左视线朝向上的元素，即完全位于区域23内的元素；位于上边界线12与所述下边界线11之间且位于右边界线13之右的元素为位于朝右视线朝向上的元素，即如图3所示的完全位于区域24内的元素20；部分位于左边界线14之左且位于上边界线12之上的元素为位于朝左上视线朝向上的元素，即只需部分位于区域25内的元素；部分位于左边界线14之左且位于下边界线11之下的元素为位于朝左下视线朝向上的元素，即只需部分位于区域26内的元素；部分位于右边界线13之右且位于上边界线12之上的元素为位于朝右上视线朝向上的元素，即如图4所示的部分位于区域27内的元素20；部分位于右边界线13之右且位于下边界线11之下的元素为位于朝右下视线朝向上的元素，即只需部分位于区域28内的元素。

接收步骤，接收众包平台服务器所获取针对图片标注的视线。

训练步骤，以标注有视线的图片对神经网络进行视线标注训练。

在本实施例中，神经网络指卷积神经网络，可以是经典的卷积神经网络模型，如VGG网络、微软的残差网络、googlenet等。但本发明中的神经网络并不局限于卷积神经网络，还可以是机器学习中的分类算法。

步骤S105，利用经训练后的神经网络获取包含人像的元素的视线朝向。

利用经步骤S104训练后的神经网络对当前包含人像的元素的视线朝向进行预测。

步骤S106，找出所有与视线有交点的元素，进行标注，并加入集合I中。

根据步骤S105中所得到的视线朝向，将位于该视线朝向上的元素标记为与视线有交点的元素，并将标记的元素加入集合I中，为后续计算视觉重心做准备。

计算步骤，计算已对人脸区域赋予大于1的第一权重扩大因子及对与视线有交点的元素赋予大于1的第二权重扩大因子后的图像的整体视觉重心，由步骤S107、步骤S108、步骤S109及步骤S110构成。

步骤S107，通过强化人脸区域来计算包含人像元素的视觉重心。

先将元素转化为灰度图，利用有限元原理，将元素所在的矩形框内的区域划分为A*B个小网格，由于每个小网格相对于整个矩形足够小，用小网格的中心坐标作为其视觉重心坐标，并依据以下公式求出该元素的视觉重心：

在上述公式中，w_i为第i个小网格的视觉重量，(x_i,y_i)为第i个小网格的中心坐标，

即为该元素的视觉重心坐标，α为第一权重扩大因子，其范围为α＞1，其具体取值可以根据多次设计调整之后所获得的最佳值。

步骤S108，计算不包含人像的元素的视觉重心。

与步骤S107中相似，先对该元素的矩形框内区域进行网格划分，并依据以下公式进行计算：

上述公式中，为第i个小网格的视觉重量，(x_i,y_i)为第i个小网格的中心坐标，

为该元素的重心坐标。

步骤S109，是否对所有元素的完成检测，若完成检测，则进入步骤S110，若未完成检测，则跳回至步骤102。

步骤S110，结合是否与视线有交点来计算图像的整体视觉重心。

综合考虑视线的影响因素计算图像的整体视觉重心，该整体视觉重心，用于表示该布局中视觉重量的整体分布，其具体计算公式如下：

其中，w_i为第i个元素的视觉重量，(centroidX_i,centroidY_i)为第i个元素的重心坐标，

即为整体视觉重心坐标，β是第二权重扩大因子，其值范围为β>1，其具体取值可以根据多次设计调整之后所获得的最佳值。

在上述各步骤中，步骤S107构成本实施例的第一计算步骤，步骤S108构成本实施例的第二计算步骤，步骤S109与步骤S110构成本实施例的第三计算步骤。

实施例2

本实施例是对获取图像的视觉重心的装置进行说明。

参见图5，获取图像的视觉重心的装置100由识别单元1、获取单元2及计算单元3构成。

识别单元1用于从图像中识别出包含人像的元素，由提取模块11与检测模块12构成。

提取模块11用于从图像中提取所有的元素，检测模块12用于逐一检测从图像中所获取的元素是否包含人像。

获取单元2用于获取包含人像的元素中的人脸区域与视线。

计算单元3用于计算已对人脸区域赋予大于1的第一权重扩大因子及对与视线有交点的元素赋予大于1的第二权重扩大因子后的图像的整体视觉重心，由第一计算模块31、第二计算模块32及第三计算模块33构成。

第一计算模块31用于在检测模块12检测到元素包含人像时，对获取单元2从该元素中获取的人脸区域赋予第一权重扩大因子，并计算该元素的视觉重心坐标及其视觉重量。

第二计算模块32用于在检测模块12检测到元素不包含人像时，计算该元素的视觉重心坐标及其视觉重量。

第三计算模块33用于在检测模块12完成对图像中的元素的检测后，对与获取单元所获取的视线有交点的元素赋予所述第二权重扩大因子，并依据第一计算模块31与所述第二计算模块32的计算结果，计算图像的整体视觉重心。

上述各单元及模块的具体功能在上方法实施例中的对应步骤中已做详细描述，在此不再赘述。

在本发明中，对于图像整体视觉重心的计算过程，并不局限于上述各实施例中的先计算各个元素的视觉重心坐标与视觉重量，还可以是整体式的计算，例如，先对所有检测的人脸区域赋予第一权重扩大因子及对所有与视线有交点的元素的赋予第二权重扩大因子后，再一起计算整体视觉重心。

此外，在本发明中，所描述“对人脸区域赋予第一权重扩大因子”，为将权重扩大因子赋予每个小矩形区域的视觉重量、视觉坐标或二者的乘积，或者赋予整个人脸区域中视觉重量与视觉坐标乘积的总和；对于“对与视线有交点的元素赋予第二权重扩大因子”，为将权重扩大因子赋予每个小矩形区域的视觉重量、视觉坐标或二者的乘积，或者赋予整个元素中视觉重量与视觉坐标乘积的总和。此外，对于第一权重扩大因子与第二权重扩大因子并不局限于上述实施例中的为一个常数值；其还可以为多个常数值构成的集合，比如可以对人脸区域中的眼睛区域、嘴唇区域、鼻子区域赋予不同大小的第一权重扩大因子；还可以为一个函数，该函数在人脸区域的不同位置取不同值，即为人脸区域各小矩形区域的中心坐标的函数。

Claims (7)

1.一种获取图像的视觉重心的方法，其特征在于，包括以下步骤：

识别步骤，识别出所述图像中包含人像的元素，包含人像的元素为包含人脸的元素；所述元素为图像中的所有素材图片、背景图片以及各种文字；

获取步骤，获取所述包含人像的元素中的人脸区域与视线，并标注检测出的人脸区域，为后续再计算视觉重心做准备；

计算步骤，计算已对所述人脸区域赋予大于1的第一权重扩大因子及对与所述视线有交点的所有元素赋予大于1的第二权重扩大因子的所述图像的整体视觉重心；

其中，所述计算步骤包括:

第一计算步骤，对所述人脸区域赋予所述第一权重扩大因子，并计算包含人像的元素的视觉重心坐标与视觉重量；

第二计算步骤，计算不包含人像的元素的视觉重心坐标与视觉重量；

第三计算步骤，对与所述视线有交点的元素赋予所述第二权重扩大因子，并依据所述第一计算步骤与所述第二计算步骤的计算结果，计算所述整体视觉重心；

所述识别出所述图像中包含人像的元素的步骤包括逐一检测从所述图像中获取的元素是否包含人像；

若检测到元素包含人像，则对该元素执行所示获取步骤与所述第一计算步骤；

若检测到元素不包含人像，则对该元素执行所述第二计算步骤；

在完成对所述图像中的所有元素的检测后，执行所述第三计算步骤。

2.根据权利要求1所述的方法，其特征在于：

将元素的矩形边框所围的区域划分成小矩形区域，以所述小矩形区域的中心坐标为其视觉重心坐标计算该元素的视觉重心坐标。

3.根据权利要求1所述的方法，其特征在于所述获取步骤包括：

利用经训练后的神经网络获取所述包含人像的元素的视线。

4.根据权利要求3所述的方法，其特征在于所述神经网络经以下步骤获取：

请求步骤，向众包平台服务器发送众包请求及上传包含人像的图片；

接收步骤，接收所述众包平台服务器获取的针对所述图片标注的视线；

训练步骤，以标注有视线的图片对神经网络进行视线标注训练。

5.根据权利要求1至4任一项权利要求所述的方法，其特征在于：

所述获取所述包含人像的元素中视线的步骤为获取所述包含人像的元素的视线朝向；

所述与所述视线有交点的元素为位于所述视线朝向上的元素。

6.根据权利要求5所述的方法，其特征在于：

以所述包含人像的元素的矩形边框的边界线为界线；

位于所述矩形边框的左边界线与右边界线之间且位于上边界线之上的元素为位于朝上视线朝向上的元素；

位于所述左边界线与所述右边界线之间且位于所述矩形边框的下边界线之下的元素为位于朝下视线朝向上的元素；

位于所述上边界线与所述下边界线之间且位于所述左边界线之左的元素为位于朝左视线朝向上的元素；

位于所述上边界线与所述下边界线之间且位于所述右边界线之右的元素为位于朝右视线朝向上的元素；

部分位于所述左边界线之左且位于所述上边界线之上的元素为位于朝左上视线朝向上的元素；

部分位于所述左边界线之左且位于所述下边界线之下的元素为位于朝左下视线朝向上的元素；

部分位于所述右边界线之右且位于所述上边界线之上的元素为位于朝右上视线朝向上的元素；

部分位于所述右边界线之右且位于所述下边界线之下的元素为位于朝右下视线朝向上的元素。

7.一种获取图像的视觉重心的装置，其特征在于，包括：

识别单元，用于从所述图像中识别出包含人像的元素，包含人像的元素为包含人脸的元素；所述元素为图像中的所有素材图片、背景图片以及各种文字；

获取单元，用于获取所述包含人像的元素中的人脸区域与视线，并标注检测出的人脸区域，为后续再计算视觉重心做准备；

计算单元，用于计算已对所述人脸区域赋予大于1的第一权重扩大因子及对与所述视线有交点的所有元素赋予大于1的第二权重扩大因子的所述图像的整体视觉重心；

所述识别单元包括检测模块，所述计算单元包括第一计算模块、第二计算模块及第三计算模块；

所述检测模块用于逐一检测从所述图像中所获取的元素是否包含人像；

所述第一计算模块用于在所述检测模块检测到元素包含人像时，对所述获取单元从该元素中获取的人脸区域赋予所述第一权重扩大因子，并计算该元素的视觉重心坐标及其视觉重量；

所述第二计算模块用于在所述检测模块检测到元素不包含人像时，计算该元素的视觉重心坐标及其视觉重量；

所述第三计算模块用于在所述检测模块完成对所述图像中的所有元素的检测后，对与所述获取单元所获取的视线有交点的元素赋予所述第二权重扩大因子，并依据所述第一计算模块与所述第二计算模块的计算结果，计算所述整体视觉重心。

Images