CN113744365B - 基于显著性感知的文案智能布局方法、系统、储存介质 - Google Patents

Abstract

本发明涉及基于显著性感知的文案智能布局方法、系统、储存介质，方法包含以下步骤：获取步骤：获取原始图片文件和/或原始文字信息；显著性检测步骤：对所述原始图片文件进行显著性检测，识别所述原始图片文件中的关键元素，得到关键元素区域；纹理复杂度计算步骤：计算所述原始图片文件的纹理复杂度，所述原始图片文件中纹理复杂度大于预设纹理复杂度阈值的区域定义为复杂区域；合并步骤：合并所述关键元素区域和所述复杂区域，得到不可填充区域，其余区域定义为文本填充区域；矩形计算步骤：根据所述文本填充区域计算得到矩形区域；文字填充步骤：在所述矩形区域内填充所述原始文字信息。

Description

基于显著性感知的文案智能布局方法、系统、储存介质

技术领域

本发明涉及文案布局领域，具体指有基于显著性感知的文案智能布局方法、系统、储存介质。

背景技术

海报通常是利用图片、文字、色彩、空间等要素进行完整的结合，告知其他人活动的性质、主办单位、时间、地点等，常用于活动宣传。为了快速地生成海报，现有技术可以将用户设置的文字、图案等元素自动添加到图片中，生成海报。

然而，为了保持整体海报的丰富性，用户上传的图片一般带有许多复杂元素，例如人物、建筑、树木等等。现有技术在文案填充过程难以在图片中找到大小合适的区域，同时没有避开图片那些复杂纹理区域，使得自动生成的海报文字不清晰、布局不合理，观看者无法第一时间获取到所需的信息。

针对上述的现有技术存在的问题设计基于显著性感知的文案智能布局方法系统、储存介质是本发明研究的目的。

发明内容

针对上述现有技术存在的问题，本发明在于提供基于显著性感知的文案智能布局方法及其系统，能够有效解决上述现有技术存在的问题。

本发明的技术方案是：

基于显著性感知的文案智能布局方法，包含以下步骤：

获取步骤：获取原始图片文件和/或原始文字信息；

显著性检测步骤：对所述原始图片文件进行显著性检测，识别所述原始图片文件中的关键元素，得到关键元素区域；

纹理复杂度计算步骤：计算所述原始图片文件的纹理复杂度，所述原始图片文件中纹理复杂度大于预设纹理复杂度阈值的区域定义为复杂区域；

合并步骤：合并所述关键元素区域和所述复杂区域，得到不可填充区域，其余区域定义为文本填充区域；

矩形计算步骤：根据所述文本填充区域计算得到矩形区域；

文字填充步骤：在所述矩形区域内填充所述原始文字信息。

进一步地，进行所述显著性检测步骤之前，还包括：

获取互联网公开图片数据建立场景图片库，标注场景图片中用户的感兴趣区域，形成已标注场景图片库；

在所述已标注场景图片库中收集并识别所述感兴趣区域及其显著性特征，计算生成显著性检测模型。

进一步地，所述场景图片库为自然场景图片库，所述显著性检测模型用于检测关键元素，所述关键元素包含人物、物品、建筑、动植物其中的一种或多种。

进一步地，所述纹理复杂度计算步骤中，计算所述原始图片文件的纹理复杂度具体为：

分别以所述原始图片文件中的每个像素为中心，取得预设尺寸图像块；

计算每个所述图像块的梯度加权和得到纹理复杂度。

进一步地，所述计算每个所述图像块的梯度加权和具体为：

通过Sobel算子计算每个所述图像块内每个像素的梯度，计算所述梯度的加权和，得到纹理复杂度。

进一步地，所述矩形计算步骤具体为：

根据所述文本填充区域计算多个可填充的矩形区域；

计算多个所述矩形区域的长宽比，所述矩形区域中小于设定长宽比阈值的区域定义为候选矩形区域；

根据所述候选矩形区域的长宽获取所述候选矩形区域面积，定义所述候选矩形面积最大的所述候选矩形区域为文本填充区域。

进一步地，所述原始文字信息填充步骤具体为：

计算所述矩形区域的颜色平均值；

以所述颜色平均值的对比色作为所述原始文字信息的颜色；

在所述矩形区域内填充所述原始文字信息。

进一步提供一种基于显著性感知的文案智能布局系统，用于实现上述所述的方法，包含：

获取模块：用于获取原始图片文件和/或原始文字信息；

显著性检测模块：用于对所述原始图片文件进行显著性检测，识别所述原始图片文件中的关键元素，得到关键元素区域；

纹理复杂度计算模块：用于计算所述原始图片文件的纹理复杂度，所述原始图片文件中纹理复杂度大于预设纹理复杂度阈值的区域定义为复杂区域；

合并模块：用于合并所述关键元素区域和所述复杂区域，得到不可填充区域，其余区域定义为文本填充区域；

矩形计算模块：用于根据所述文本填充区域计算得到矩形区域；

文字填充模块：用于在所述矩形区域内填充所述原始文字信息。

进一步提供一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述所述的方法

因此，本发明提供以下的效果和/或优点：

本发明通过获取步骤、显著性检测步骤、纹理复杂度计算步骤、合并步骤、矩形计算步骤、文字填充步骤，能够在图片中寻找可填充文字的区域，并计算最佳的填充区域，填入字体制作成海报。实现了快速、智能的制作海报的方法。能够智能感知用户的图片内容，自动避开用户显著性关注的区域和图片中纹理复杂的部分，在合适的矩形框内自动填充文案。

本发明显著性检测步骤和纹理复杂度计算步骤，解决了复杂背景图文案填充过程中，填充文字和背景图片内容互相干扰的问题。能够自动识别用户感兴趣的区域以及纹理复杂的区域，将这两个区域定义为不可填充区域，防止文字和图片内容互相干扰，影响海报的效果。

本发明通过矩形计算步骤，能够计算并得到多个矩形，再通过合理的长宽比限制筛选适合文字填充的矩形，最后取面积最大的矩形作为文本填充区域，保证文案、图片主体内容布局紧凑，不会造成过大留白的情况。

本发明综合考虑显著性检测结果、纹理分析结果，使得不仅能够识别图片主体语义元素，也能够识别局部显著像素，对于各个场景文案智能填充效果更加稳定。

应当明白，本发明的上文的概述和下面的详细说明是示例性和解释性的，并且意在提供对如要求保护的本发明的进一步的解释。

附图说明

图1为实施例一的方法步骤的流程示意图。

图2为实施例一获取步骤的流程示意图。

图3为实施例一中待制作海报的图片。

图4为实施例一中，待制作海报的图片经过显著性检测步骤得到的第一中间图片。

图5为实施例一中，待制作海报的图片经过纹理复杂度计算步骤得到的第二中间图片。

图6为实施例一中，合并步骤得到的第三中间图片。

图7为实施例一的文本填充区域的示意图。

图8为实施例一的文本填充区域根据矩形计算步骤得到的若干矩形示意图。

图9为实施例一方法得到的海报示意图。

具体实施方式

为了便于本领域技术人员理解，现将实施例结合附图对本发明的结构作进一步详细描述：

参考图1，基于显著性感知的文案智能布局方法，包含以下步骤：

S1，获取步骤：获取原始图片文件和/或原始文字信息；原始图片文件可以是自然场景的图片，例如山水图片，也可以是包含动植物、人物、物品等的图片；所述原始文字信息的内容一般是包含海报所要宣传的内容，例如某某打折活动、某某唱歌比赛等，在此不做限定。本实施例中，原始图片文件如图3所示，是一张包含煎蛋的图片，该图片的煎蛋布局于图片的左上角区域，其余区域为纯色填充的区域。

S2，显著性检测步骤：对所述原始图片文件进行显著性检测，识别所述原始图片文件中的关键元素，得到关键元素区域；显著性检测步骤用于对所述原始图片文件进行显著性检测，标注原始图片文件中用户感兴趣的重点区域，例如原始图片文件中的车辆、动植物、自然风景等区域，通过显著性检测步骤可以将其标注为用户感兴趣的区域，此区域一般为不可填充文字的区域。本实施例中，图3根据显著性检测步骤后，得到如图4所示的第一中间图片，该图片中白色部分表示图3中的关键元素，黑色部分表示图3中的不关键元素。

S3，纹理复杂度计算步骤：计算所述原始图片文件的纹理复杂度，所述原始图片文件中纹理复杂度大于预设纹理复杂度阈值的区域定义为复杂区域；接下来，对原始图片文件的纹理复杂度进行计算，筛选大于预设纹理复杂度阈值的区域为复杂区域，得到如图4所示的第二中间图片，该图片中白色部分表示图3中的复杂元素，黑色部分表示图3中的不复杂元素。

S4，合并步骤：合并所述关键元素区域和所述复杂区域，得到不可填充区域，其余区域定义为文本填充区域；本步骤中，将第一中间图片和第二中间图片叠加白色的部分，得到如图6所示的第三中间图片，该图片中白色部分表示图3中的不可填充区域，黑色部分表示图3中的文本填充区域，从而为后续的步骤提供可以填充的区域，避开图片这种含有关键元素(蛋黄)和复杂纹理(蛋白)，防止文字遮挡到这些区域，从而避免文字填充后海报不美观等问题。

S5，矩形计算步骤：根据所述文本填充区域计算得到矩形区域；本实施例中，在图6的黑色部分计算可以填充的区域，该区域一般为矩形，如图7所示，从而在该矩形区域中便于填充入文字。

S6，文字填充步骤：在所述矩形区域内填充所述原始文字信息。

进一步地，所述进行所述显著性检测步骤之前，还包括：参考图2，

S0.1，获取互联网公开图片数据建立场景图片库，标注场景图片中用户的感兴趣区域，形成已标注场景图片库；

S0.2，在所述已标注场景图片库中收集并识别所述感兴趣区域及其显著性特征，计算生成显著性检测模型。

所述场景图片库为自然场景图片库，所述显著性检测模型用于检测关键元素，所述关键元素包含人物、物品、建筑、动植物其中的一种或多种。

本实施例中，所述场景图片库为自然场景图片库，是因为自然场景更符合制作海报所需的图片，自然场景中一般包含了关键元素和非关键元素，例如天空等，其占用的空间较大，可以方便地在该空间较大的区域内找到合适的填充区域，避免字体过于小等情况。

进一步地，所述纹理复杂度计算步骤中，计算所述原始图片文件的纹理复杂度具体为：

分别以所述原始图片文件中的每个像素为中心，取得预设尺寸图像块；本实施例中，采用的是分别以每个像素为中心的64*64图像块，得到多个图像块，在此不限定以中心周围的多少大小取图像块，根据原始图片文件的大小可以设置不同的大小，以兼顾计算效率以及计算效果。

通过Sobel算子计算每个所述图像块内每个像素的梯度，计算所述梯度的加权和，得到纹理复杂度。Sobel算子(Sobeloperator)主要用作边缘检测，在技术上，它是一离散性差分算子，用来运算图像亮度函数的灰度之近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量。Sobel算子根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘。通过Sobel算子计算每个所述图像块内每个像素的梯度，可以在图像中得到各个元素的边缘。其中，Sobel算子算法为现有技术，在此不具体展开描述。

进一步地，所述矩形计算步骤具体为：

根据所述文本填充区域计算多个可填充的矩形区域；参考图8，在文本填充区域绘制矩形，可以得到如图所示的矩形A1-A5，矩形的大小、形状不一。同时，为了兼顾效率，本步骤中限定了绘制矩形的数量，依照文本填充区域的形状，例如边缘的倾斜度等，限定每次绘制矩形的变化量，从而控制矩形的数量。本实施例中得到5个矩形。

计算多个所述矩形区域的长宽比，所述矩形区域中小于设定长宽比阈值的区域定义为候选矩形区域；本实施例中，长宽比阈值可以设定为2-5其中的任意数值。这是由于，矩形的长宽比大于2-5其中的任意数值，矩形的形状过于细长，在内填充文字的话，文字的大小将受到限制，需要降低文字的大小以满足该形状，文字太小则不适用于海报，无法让阅读者直观地获取信息。本实施例中，A1-A5的长宽比分别为：4.8、3.1、2.0、1.26、3.5。本实施例中长宽比阈值具体设置为3，因此该步骤中，剔除A1、A2、A5三个矩形，只保留A3、A4进入下一步骤。

根据所述候选矩形区域的长宽获取所述候选矩形区域面积，定义所述候选矩形面积最大的所述候选矩形区域为文本填充区域。本实施例中，矩形A3的面积为1300，A4的面积为1286，面积最大的为A3，因此，通过此步骤确定A3为文本填充区域。

进一步地，所述原始文字信息填充步骤具体为：

计算所述矩形区域的颜色平均值；本实施例中，A3矩形的颜色为淡蓝色，颜色平均值为237。

以所述颜色平均值的对比色作为所述原始文字信息的颜色；本实施例中，根据A3矩形的颜色所取得的对比色为卡其色(6e3f16)。

在所述矩形区域内填充所述原始文字信息。最终得到如图9所示的海报。

实施例二

一种基于显著性感知的文案智能布局系统，用于实现实施例一所述的方法，包含：

获取模块：用于获取原始图片文件和/或原始文字信息；

显著性检测模块：用于对所述原始图片文件进行显著性检测，识别所述原始图片文件中的关键元素，得到关键元素区域；

纹理复杂度计算模块：用于计算所述原始图片文件的纹理复杂度，所述原始图片文件中纹理复杂度大于预设纹理复杂度阈值的区域定义为复杂区域；

合并模块：用于合并所述关键元素区域和所述复杂区域，得到不可填充区域，其余区域定义为文本填充区域；

矩形计算模块：用于根据所述文本填充区域计算得到矩形区域；

文字填充模块：用于在所述矩形区域内填充所述原始文字信息。

实施例三

一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现实施例一中所述的方法

在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属于本发明的涵盖范围。

Claims (7)

1.基于显著性感知的文案智能布局方法，其特征在于：包含以下步骤：

获取步骤：获取原始图片文件和原始文字信息；

显著性检测步骤：对所述原始图片文件进行显著性检测，识别所述原始图片文件中的关键元素，得到关键元素区域；

纹理复杂度计算步骤：计算所述原始图片文件的纹理复杂度，所述原始图片文件中纹理复杂度大于预设纹理复杂度阈值的区域定义为复杂区域；

所述纹理复杂度计算步骤中，计算所述原始图片文件的纹理复杂度具体为：

分别以所述原始图片文件中的每个像素为中心，取得预设尺寸图像块；

计算每个所述图像块的梯度加权和得到纹理复杂度；

合并步骤：合并所述关键元素区域和所述复杂区域，得到不可填充区域，其余区域定义为文本填充区域；

矩形计算步骤：根据所述文本填充区域计算得到矩形区域；

所述矩形计算步骤具体为：

根据所述文本填充区域计算多个可填充的矩形区域；

计算多个所述矩形区域的长宽比，所述矩形区域中小于设定长宽比阈值的区域定义为候选矩形区域；

根据所述候选矩形区域的长宽获取所述候选矩形区域面积，定义所述候选矩形面积最大的所述候选矩形区域为文本填充区域；

文字填充步骤：在所述矩形区域内填充所述原始文字信息。

2.根据权利要求1所述的基于显著性感知的文案智能布局方法，其特征在于：进行所述显著性检测步骤之前，还包括：

获取互联网公开图片数据建立场景图片库，标注场景图片中用户的感兴趣区域，形成已标注场景图片库；

在所述已标注场景图片库中收集并识别所述感兴趣区域及其显著性特征，计算生成显著性检测模型。

3.根据权利要求2所述的基于显著性感知的文案智能布局方法，其特征在于：所述场景图片库为自然场景图片库，所述显著性检测模型用于检测关键元素，所述关键元素包含人物、物品、建筑、动植物其中的一种或多种。

4.根据权利要求1所述的基于显著性感知的文案智能布局方法，其特征在于：所述计算每个所述图像块的梯度加权和具体为：

通过Sobel算子计算每个所述图像块内每个像素的梯度，计算所述梯度的加权和，得到纹理复杂度。

5.根据权利要求1所述的基于显著性感知的文案智能布局方法，其特征在于：所述原始文字信息填充步骤具体为：

计算所述矩形区域的颜色平均值；

以所述颜色平均值的对比色作为所述原始文字信息的颜色；

在所述矩形区域内填充所述原始文字信息。

6.一种基于显著性感知的文案智能布局系统，用于实现如权利要求1所述的方法，其特征在于：包含：

获取模块：用于获取原始图片文件和原始文字信息；

显著性检测模块：用于对所述原始图片文件进行显著性检测，识别所述原始图片文件中的关键元素，得到关键元素区域；

纹理复杂度计算模块：用于计算所述原始图片文件的纹理复杂度，所述原始图片文件中纹理复杂度大于预设纹理复杂度阈值的区域定义为复杂区域；

合并模块：用于合并所述关键元素区域和所述复杂区域，得到不可填充区域，其余区域定义为文本填充区域；

矩形计算模块：用于根据所述文本填充区域计算得到矩形区域；

文字填充模块：用于在所述矩形区域内填充所述原始文字信息。

7.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1中所述的方法。