CN108009998A - 一种人物图像的构图裁剪方法、装置、设备及存储介质 - Google Patents

Abstract

本发明适用图像处理技术领域，提供了一种人物图像的构图裁剪方法、装置、设备及存储介质，该方法包括：根据接收到的人物图像构图裁剪请求，获取人物图像中人物的人体姿势，人体姿势包括身体姿势和脸部倾斜方向，根据人体姿势和人物在人物图像中的位置构建人物的身体部位节点之间以及身体部位节点与人物图像边界节点之间的人体模型，将预先构建的图像数据库中的参考图像与构建的人体模型进行匹配，根据预设的空间裁剪算法和匹配到的参考图像，对人物图像进行空间裁剪，从而提高了人物图像的构图效果，进而增强了裁剪后人物图像画面的表现力。

Description

一种人物图像的构图裁剪方法、装置、设备及存储介质

技术领域

本发明属于图像处理技术领域，尤其涉及一种人物图像的构图裁剪方法、装置、设备及存储介质。

背景技术

科技的进步、智能终端的发展不断地改变人们的生活习惯，例如以往只有在特殊场合才有的拍照行为已经成为人们日常的一个小动作，人们热衷于随手拍摄并记录下生活中的精彩瞬间，并分享至社交网络中，但是要拍出一张高水平的图像却不是人人都可以做到的，普通人拍摄的图像跟专业摄影师的作品比相去甚远，同一场景下不同人拍摄的图像也不尽相同，美观程度差异很大。

因此，为了美化图像，改进图像的构图是目前一个热门的课题，然而，关于人物图像的构图改进却很少被讨论到。现在的方法一般是基于预先定义规则进行构图改进，有研究人员基于脸的位置、感兴趣区域的中心(ROI)以及面部和ROI面积的约束提出了一种自动照片裁剪的算法，也有研究人员使用三分法、利用对角线优势、视觉平衡和显著区域大小的规则来制定构图改进的优化函数，以此来增强图片的美观性。可以看出，现有人物图像的构图改进仅仅是基于以上规则进行，而不会考虑到图像中人体的姿势，从而导致人物图像的画面表现力不强。

发明内容

本发明的目的在于提供一种人物图像的构图裁剪方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的人物图像的构图裁剪方法，导致人物图像的画面表现力不强的问题。

一方面，本发明提供了一种人物图像的构图裁剪方法，所述方法包括下述步骤：

根据接收到的人物图像构图裁剪请求，获取所述人物图像中人物的人体姿势，所述人体姿势包括身体姿势和脸部倾斜方向；

根据所述人体姿势和所述人物在所述人物图像中的位置构建所述人物的身体部位节点之间以及所述身体部位节点与所述人物图像边界节点之间的人体模型；

将预先构建的图像数据库中的参考图像与所述构建的人体模型进行匹配；

根据预设的空间裁剪算法和所述匹配到的参考图像，对所述人物图像进行空间裁剪。

另一方面，本发明提供了一种人物图像的构图裁剪装置，所述装置包括：

人体姿势获取单元，用于根据接收到的人物图像构图裁剪请求，获取所述人物图像中人物的人体姿势，所述人体姿势包括身体姿势和脸部倾斜方向；

人体模型构建单元，用于根据所述人体姿势和所述人物在所述人物图像中的位置构建所述人物的身体部位节点之间以及所述身体部位节点与所述人物图像边界节点之间的人体模型；

参考图像匹配单元，用于将预先构建的图像数据库中的参考图像与所述构建的人体模型进行匹配；以及

空间裁剪单元，用于根据预设的空间裁剪算法和所述匹配到的参考图像，对所述人物图像进行空间裁剪。

另一方面，本发明还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述方法的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述方法的步骤。

本发明根据接收到的人物图像构图裁剪请求，获取人物图像中人物的人体姿势，人体姿势包括身体姿势和脸部倾斜方向，根据人体姿势和人物在人物图像中的位置构建人物的身体部位节点之间以及身体部位节点与人物图像边界节点之间的人体模型，将预先构建的图像数据库中的参考图像与构建的人体模型进行匹配，根据预设的空间裁剪算法和匹配到的参考图像，对人物图像进行空间裁剪，从而提高了人物图像的构图效果，进而增强了裁剪后人物图像的表现力。

附图说明

图1是本发明实施例一提供的人物图像的构图裁剪方法的实现流程图；

图2是本发明实施例二提供的人物图像的构图裁剪装置的结构示意图；

图3是本发明实施例二提供的人物图像的构图裁剪装置的优选结构示意图；以及

图4是本发明实施例三提供的计算设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的人物图像的构图裁剪方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，根据接收到的人物图像构图裁剪请求，获取人物图像中人物的人体姿势，人体姿势包括身体姿势和脸部倾斜方向。

本发明实施例适用于计算设备，例如，个人计算机、智能手机、平板等。当输入人物图像时，触发对人物图像构图裁剪请求。人物图像中人物的人体姿势是由人体的各个部位的姿势组成，包含全身身体姿势和半身身体姿势，其中，全身身体姿势包含头、躯干、左上臂、右上臂、左下臂、右下臂、左大腿、右大腿、左小腿、右小腿10个人体部位的姿势，半身身体姿势包含头、躯干、左上臂、右上臂、左下臂、右下臂6个人体部位的姿势。脸部是头部的一个重要特征，脸部的倾斜方向为脸的旋转方向，旋转方向可划分为90°到-90°之间等分的13个区间。

在步骤S102中，根据人体姿势和人物在人物图像中的位置构建人物的身体部位节点之间以及身体部位节点与人物图像边界节点之间的人体模型。

在本发明实施例中，人体姿势和人物在图像中的位置可以描述成人体部位之间以及与图像边界之间的相对关系，通过这种相对关系构建人物的身体部位节点之间以及身体部位节点与人物图像边界节点之间的人体模型，该人体模型包括全身人体模型和半身人体模型。优选地，人体模型通过无向图G＝(V，E)来描述，从而简化对构建的人体模型中节点和连接节点的边之间关系的描述，其中，V表示身体部位节点和图像边界节点的集合，当该构建的人体模型为全身人体模型时，该人体模型包含人体的10个身体部位，每个部位作为一个节点，即有10个身体部位节点，当该构建的人体模型为半身人体模型时，该人体模型包含人体的6个身体部位，每个部位作为一个节点，即有6个身体部位节点，图像边界节点为图像4条边界的中心点；E表示连接图像中的节点的边的集合。

在步骤S103中，将预先构建的图像数据库中的参考图像与构建的人体模型进行匹配。

在本发明实施例中，通过计算预先构建的图像数据库中的参考图像与构建的人体模型的边和节点的相似度，来对参考图像与构建的人体模型进行匹配，优选地，通过公式计算人物图像与预先构建的图像数据库中参考图像的节点和边的相似度，其中，G_I为人物图像，G_k为图像数据库中的参考图像，i＝{1，2，3，……，N}，N是图像中的节点的数量，j＝{1，2，3，……，M}，M是连接图像中的节点的边的数量，S^v是节点的相似度，S^e是边的相似度，从而通过计算边和节点的相似度来提高匹配的精确度。

由于边和节点相似度是基于边和节点描述符的相似度，身体部位节点的描述符是相应身体部位的位置和方位，连接身体部位节点的边的描述符是两个对应的身体部位的相对位置和方向，因此，优选地，通过公式计算节点和边的描述符的相似度，其中，为身体部位节点的描述符相似度，S_F为脸部方向的相似度，为连接身体部位节点的边的描述符相似度，为连接身体部位节点与图像边界节点的边的描述符相似度，n＝{1，2，…，N^b}，N^b是身体部位节点的数量，p＝{1，2，…，M^b}，M^b是连接身体部位节点的边的数量，q＝{1，2，…，M^d}，M^d是连接身体部位节点与图像边界节点的边的数量，从而通过计算边和节点的描述符的相似度来提高边和节点的相似度的精确度，进而提高匹配的精确度。

身体部位节点与图像边界节点之间的距离的约束是确保照片中是否有足够的空间进行裁剪，当身体部位节点与图像边界节点之间的距离大于对应的参考图中的距离时，距离相似度应为最大值，否则相似度随其差异的增加而成正比，因此，进一步优选地，通过公式计算人物图像边e^d的描述符d_I(边的长度，即两端节点的距离)和对应的参考图像的边e^d描述符d_k的相似度，σ_d为预设的标准方差，从而进一步提高匹配的精确度。

在步骤S104中，根据预设的空间裁剪算法和匹配到的参考图像，对人物图像进行空间裁剪。

在本发明实施例中，空间裁剪是一个根据裁剪窗口的窗口信息对人物图像不断裁剪不断优化的过程，裁剪窗口的窗口信息根据预设的窗口采样数据库不断更新，裁剪窗口的窗口信息由坐标(l，t)、宽(w)和高(h)表示，其中，高度可以计算为h＝a×w，a为预设的长宽比，t为预设的固定步长的坐标。

因此，优选地，在根据预设的空间裁剪算法和匹配到的参考图像对人物图像进行空间裁剪时，首先，通过预设的粒子群(PSO)算法根据预设的窗口采样数据库的窗口信息，对人物图像进行空间裁剪，之后，通过公式计算裁剪后人物图像的身体部位和面部的位置相对于参考图像的身体部位和面部的位置的偏移，其中，V_i是人物图像的身体部位节点i的目标位置，是参考图像的身体部位节点i的参考位置，i＝{1，2，…，N^b}，N^b是身体部位节点的数量，V_face是人物图像的面部的目标位置，而是参考图像的面部参考位置，α为预设的位置约束常数，之后，再判断计算得到的偏移是否满足预设的裁剪停止条件，当计算得到的偏移满足预设的裁剪停止条件时，停止对人物图像的空间裁剪，当计算得到的偏移不满足预设的裁剪停止条件时，更新裁剪窗口的窗口信息，再通过预设的粒子群(PSO)算法对裁剪后的人物图像进行空间裁剪，如此循环，直至计算得到的偏移满足预设的裁剪停止条件，从而保证空间裁剪窗口是最优的，使得裁剪后的人物图像与参考图像构图最接近。

本发明根据接收到的人物图像构图裁剪请求，获取人物图像中人物的人体姿势，根据人体姿势和人物在人物图像中的位置构建人体模型，通过计算预先构建的图像数据库中的参考图像与构建的人体模型的边和节点的相似度，来对参考图像与构建的人体模型进行匹配，从而提高匹配的精确度，进一步地通过计算边和节点描述符的相似度来提高边和节点的相似度的精确度，进而提高匹配的精确度，根据预设的空间裁剪算法和匹配到的参考图像对人物图像进行空间裁剪，空间裁剪是一个根据裁剪窗口的窗口信息，对人物图像不断裁剪不断优化的过程，以达到裁剪后的人物图像与参考图像构图最接近的效果，从而提高了人物图像的构图效果，进而增强了裁剪后人物图像的表现力。

实施例二：

图2示出了本发明实施例二提供的人物图像的构图裁剪装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

人体姿势获取单元21，用于根据接收到的人物图像构图裁剪请求，获取人物图像中的人物的人体姿势，人体姿势包括身体姿势和脸部倾斜方向；

人体模型构建单元22，用于根据人体姿势和人物在人物图像中的位置构建人物的身体部位节点之间以及身体部位节点与人物图像边界节点之间的人体模型；

参考图像匹配单元23，用于将预先构建的图像数据库中的参考图像与构建的人体模型进行匹配；以及

空间裁剪单元24，用于根据预设的空间裁剪算法和匹配到的参考图像，对人物图像进行空间裁剪。

如图3所示，优选地，参考图像匹配单元23包括：

相似度计算单元231，用于通过公式计算人物图像与图像数据库中参考图像的节点和边的相似度，其中，G_I为人物图像，G_k为图像数据库中的参考图像，i＝{1，2，3，……，N}，N是图像中的节点的数量，j＝{1，2，3，……，M}，M是连接图像中节点的边的数量，S^v是节点的相似度，S^e是边的相似度。

空间裁剪单元24包括：

空间裁剪子单元241，用于通过预设的粒子群算法根据预设的窗口采样数据库中的窗口信息，对人物图像进行空间裁剪；

位置偏移计算单元242，用于通过公式计算裁剪后人物图像的身体部位和面部的位置与参考图像的身体部位和面部的位置的偏移，其中，V_i是人物图像的身体部位节点i的目标位置，是参考图像的身体部位节点i的参考位置，i＝{1，2，…，N^b}，N^b是身体部位节点的数量，V_face是人物图像的面部的目标位置，而是参考图像的面部参考位置，α为预设的位置约束常数；以及

空间裁剪停止单元243，用于当计算得到的偏移满足预设的裁剪停止条件时，停止对人物图像的所述空间裁剪。

在本发明实施例中，人物图像的构图裁剪装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元的具体实施方式可参考实施例一的描述，在此不再赘述。

实施例三：

图4示出了本发明实施例三提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的计算设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述人物图像的构图裁剪方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器40执行计算机程序42时实现上述各装置实施例中各单元的功能，例如图2所示单元21至24的功能。

在本发明实施例中，根据接收到的人物图像构图裁剪请求，获取人物图像中人物的人体姿势，人体姿势包括身体姿势和脸部倾斜方向，根据人体姿势和人物在人物图像中的位置构建人物的身体部位节点之间以及身体部位节点与人物图像边界节点之间的人体模型，将预先构建的图像数据库中的参考图像与构建的人体模型进行匹配，根据预设的空间裁剪算法和匹配到的参考图像，对人物图像进行空间裁剪，从而提高了人物图像的构图效果，进而增强了裁剪后人物图像画面的表现力。

本发明实施例的计算设备可以为个人计算机、智能手机、平板。该计算设备4中处理器40执行计算机程序42时实现人物图像的构图裁剪方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。

实施例四：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述人物图像的构图裁剪方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图2所示单元21至24的功能。

在本发明实施例中，根据接收到的人物图像构图裁剪请求，获取人物图像中人物的人体姿势，人体姿势包括身体姿势和脸部倾斜方向，根据人体姿势和人物在人物图像中的位置构建人物的身体部位节点之间以及身体部位节点与人物图像边界节点之间的人体模型，将预先构建的图像数据库中的参考图像与构建的人体模型进行匹配，根据预设的空间裁剪算法和匹配到的参考图像，对人物图像进行空间裁剪，从而提高了人物图像的构图效果，进而增强了裁剪后人物图像画面的表现力。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人物图像的构图裁剪方法，其特征在于，所述方法包括下述步骤：

根据接收到的人物图像构图裁剪请求，获取所述人物图像中人物的人体姿势，所述人体姿势包括身体姿势和脸部倾斜方向；

根据所述人体姿势和所述人物在所述人物图像中的位置构建所述人物的身体部位节点之间以及所述身体部位节点与所述人物图像边界节点之间的人体模型；

将预先构建的图像数据库中的参考图像与所述构建的人体模型进行匹配；

根据预设的空间裁剪算法和所述匹配到的参考图像，对所述人物图像进行空间裁剪。

2.如权利要求1所述的方法，其特征在于，根据所述人体姿势和所述人物在所述人物图像中的位置构建所述人物的身体部位节点之间以及所述身体部位节点与所述人物图像边界节点之间的人体模型的步骤，包括：

所述人体模型通过无向图G＝(V，E)来描述，其中，V表示身体部位节点和图像边界节点的集合，E表示连接所述图像中节点的边的集合。

3.如权利要求1所述的方法，其特征在于，将预先构建的图像数据库中的参考图像与所述构建的人体模型进行匹配的步骤，包括：

通过公式计算所述人物图像与所述图像数据库中参考图像的节点和边的相似度，其中，G_I为所述人物图像，G_k为所述图像数据库中的所述参考图像，i＝{1，2，3，……，N}，N是图像中的节点的数量，j＝{1，2，3，……，M}，M是连接所述图像中节点的边的数量，S^v是节点的相似度，S^e是边的相似度。

4.如权利要求2所述的方法，其特征在于，通过公式计算所述人物图像与所述图像数据库中参考图像的节点和边的相似度的步骤，包括：

通过公式计算所述节点和所述边的描述符的相似度，其中，为身体部位节点的描述符相似度，S_F为脸部方向的相似度，为连接身体部位节点的边的描述符相似度，为连接身体部位节点与图像边界节点的边的描述符相似度，n＝{1，2，…，N^b}，N^b是身体部位节点的数量，p＝{1，2，…，M^b}，M^b是连接身体部位节点的边的数量，q＝{1，2，…，M^d}，M^d是连接身体部位节点与图像边界节点的边的数量。

5.如权利要求1所述的方法，其特征在于，对所述人物图像进行空间裁剪的步骤，包括：

通过预设的粒子群算法根据预设的窗口采样数据库中的窗口信息，对所述人物图像进行空间裁剪；

通过公式计算裁剪后所述人物图像的身体部位和面部的位置相对于所述参考图像的身体部位和面部的位置的偏移，其中，V_i是所述人物图像的身体部位节点i的目标位置，是所述参考图像的身体部位节点i的参考位置，i＝{1，2，…，N^b}，N^b是身体部位节点的数量，V_face是所述人物图像的面部的目标位置，而是所述参考图像的面部参考位置，α为预设的位置约束常数；

当所述计算得到的偏移满足预设的裁剪停止条件时，停止对所述人物图像的所述空间裁剪。

6.一种人物图像的构图裁剪装置，其特征在于，所述装置包括：

人体姿势获取单元，用于根据接收到的人物图像构图裁剪请求，获取所述人物图像中人物的人体姿势，所述人体姿势包括身体姿势和脸部倾斜方向；

人体模型构建单元，用于根据所述人体姿势和所述人物在所述人物图像中的位置构建所述人物的身体部位节点之间以及所述身体部位节点与所述人物图像边界节点之间的人体模型；

参考图像匹配单元，用于将预先构建的图像数据库中的参考图像与所述构建的人体模型进行匹配；以及

空间裁剪单元，用于根据预设的空间裁剪算法和所述匹配到的参考图像，对所述人物图像进行空间裁剪。

7.如权利要求6所述的装置，其特征在于，所述参考图像匹配单元包括：

相似度计算单元，用于通过公式计算所述人物图像与所述图像数据库中参考图像的节点和边的相似度，其中，G_I为所述人物图像，G_k为所述图像数据库中的所述参考图像，i＝{1，2，3，……，N}，N是图像中的节点的数量，j＝{1，2，3，……，M}，M是连接所述图像中节点的边的数量，S^v是节点的相似度，S^e是边的相似度。

8.如权利要求6所述的装置，其特征在于，所述空间裁剪单元包括：

空间裁剪子单元，用于通过预设的粒子群算法根据预设的窗口采样数据库中的窗口信息，对所述人物图像进行空间裁剪；

位置偏移计算单元，用于通过公式计算裁剪后所述人物图像的身体部位和面部的位置相对于所述参考图像的身体部位和面部的位置的偏移，其中，V_i是所述人物图像的身体部位节点i的目标位置，Vi^r是所述参考图像的身体部位节点i的参考位置，i＝{1，2，…，N^b}，N^b是身体部位节点的数量，V_face是所述人物图像的面部的目标位置，而是所述参考图像的面部参考位置，α为预设的位置约束常数；以及

空间裁剪停止单元，用于当所述计算得到的偏移满足预设的裁剪停止条件时，停止对所述人物图像的所述空间裁剪。

9.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。