CN109493399B - 一种图文结合的海报生成方法和系统 - Google Patents

Abstract

本发明公开一种图文结合的海报生成方法和系统。该方法的步骤包括：给定一张目标文字，一张风格图片和一张背景图片，首先自动确定目标文字放置在背景图片的位置；然后对风格图片进行前背景分割；接着根据风格图片的前景的轮廓调整目标文字的轮廓；最后在调整后的目标文字的结构引导下和背景图片的像素约束下，将风格图片中的图像块填入目标文字在背景图片的放置区域内部，从而将带有风格图片的风格的文字即艺术字，嵌入到背景图片中，进行图片和文字的结合，全自动地生成一张艺术性的海报。本发明通过考虑多种因素自动确定文字在背景图片的最佳位置；同时考虑轮廓调整和文字的结构与背景图片的像素约束，使得生成的海报具有更好的主观视觉质量。

Description

一种图文结合的海报生成方法和系统

技术领域

本发明属于图像纹理合成技术领域，具体涉及一种图文结合的海报生成方法和系统。

背景技术

平面设计在日常生活中广泛使用，海报、杂志封面、平面广告设计等这类图片与文字互相结合的媒介，能更好地传达信息，然而图文结合的人工制作过程繁琐，需要一定的技术。全自动海报生成方法具有巨大的商用价值。

海报生成的关键技术为纹理合成，将代表风格的纹理信息添加到目标文字上。尽管纹理合成被广泛使用，但是使用纹理合成进行艺术字生成的方法较少。一种艺术字生成的方法是基于多通道的艺术字生成方法。该方法通过采用偏移通道来对纹理围绕文字的空间位置分布进行约束，但是这需要风格图片为艺术字图片并且需要对应的原始文字图片作为引导。对输入的严格限制了该方法的应用场景。同时，这类方法只针对艺术字本身，没有考虑文字与背景图片的结合问题，无法用来自动生成海报。

发明内容

针对上述问题，本发明提出一种图文结合的海报生成方法和系统。本发明通过考虑多种因素自动确定文字在背景图片的最佳位置；同时考虑轮廓调整，从而增加艺术字的表现力；在图文结合时，同时考虑文字的结构与背景图片的像素约束，使得生成的海报具有更好的主观视觉质量。

本发明采用的技术方案如下：

一种图文结合的海报生成方法，包括以下步骤：

1)计算或指定目标文字在背景图片中的放置位置，得到文字放置区域；

2)对风格图片进行前背景分割；

3)根据风格图片分割得到的前景轮廓的形状，调整目标文字的轮廓；

4)在背景图片的文字放置区域，根据文字的结构，利用风格图片的纹理进行纹理合成，生成艺术字；

5)使用背景图片的原始像素值替换文字放置区域边缘的像素值；

6)重复步骤4)到步骤5)，直到收敛，得到图文结合的海报。

进一步地，步骤1)是可选的，可以由用户指定放置位置，也可以采用本发明提供的智能的位置推荐方法，该方法包括以下步骤：

1.1)对于输入的背景图片I，风格图片S和目标文字图T，计算背景图像I中每个像素x邻域内的像素值的方差，作为方差惩罚；

1.2)使用显著度检测方法计算背景图片I中每个像素x处的显著度，作为显著度惩罚；

1.3)计算背景图片I中每个图像块与其在风格图片S中最相似的图像块的差异的平方和，作为相关度惩罚；

1.4)计算背景图片I中每个像素x距离I的中心点的距离，然后计算偏离中心点的惩罚，作为偏移惩罚；

1.5)利用步骤1.1)～1.4)得到的惩罚项中的任意一种或多种，计算背景图片I中每个像素x放置文字的总惩罚；

1.6)将总惩罚最小的区域作为目标文字在背景图像的最佳位置。

进一步地，步骤2)使用聚类方法对风格图片进行前背景分割，得到两个区域，其中显著度均值较大的区域设置为前景，显著度均值较小的区域为设置背景。

进一步地，步骤3)所述调整目标文字的轮廓的方法是：

3.1)检测风格图片分割得到的前景的边缘上的像素点，以其为中心的图像块的集合记为G_Ψ；

3.2)检测目标文字图中文字边缘上的像素点，以其为中心的图像块的集合记为T_Ψ；

3.3)对每一个图像块Ψ∈T_Ψ，在G_Ψ中寻找最相似的块Ψ’，用Ψ’的像素值代替Ψ，得到轮廓调整后的文字图。

步骤4)基于相似块进行纹理合成，包括：

4.1)对背景图片I的文字放置区域

的每一个块Ψ_I(x)，在风格图片S中寻找最相似的块Ψ_S(y)，其中x和y是图像块的中心像素；

4.2)使用Ψ_S(y)的像素值替换Ψ_I(x)中对应的像素，以更新I；对于被多个图像块包含的像素，通过将每个相似块提供的像素值取均值进行替换。

进一步地，步骤6)中，重复步骤4)和步骤5)直到收敛或者背景图片的更新程度小于设定的阈值，得到自动生成的图文结合的海报。

一种图文结合的海报生成系统，其包括：

文字放置区域计算模块，用于计算目标文字在背景图片中的放置位置，得到文字放置区域；

前背景分割模块，用于对风格图片进行前背景分割；

轮廓调整模块，用于根据风格图片分割得到的前景轮廓的形状，调整目标文字的轮廓；

纹理合成模块，用于在背景图片的文字放置区域，根据文字的结构，利用风格图片的纹理进行纹理合成，生成艺术字；

像素值替换模块，用于使用背景图片的原始像素值替换文字放置区域边缘的像素值；

迭代模块，用于使纹理合成模块和像素值替换模块进行重复操作，直到收敛，得到图文结合的海报。

本发明提出了完整的自动生成海报方法，解决了文字在背景图片中布局的确定问题；同时对风格图片没有特殊要求，具有更广泛的应用场景。为了处理形态各异的风格，提出对文字轮廓进行有针对性的调整，从而增加艺术字的表现力，使得生成的海报具有更好的主观视觉质量。

附图说明

图1为本发明的图文结合的海报生成方法的演示图。

图2为本发明的图文结合的海报生成方法的流程图。

图3A至图3C为通过本发明方法生成的海报效果对比图。

具体实施方式

下面对本发明的详细方法流程作进一步地描述:

图1为本发明的图文结合的海报生成方法的演示图，图2为该方法的流程图。如该两图所示，本发明方法包括以下步骤：

步骤1：计算目标文字在背景图片中的放置位置，得到文字放置区域，具体包括：

a)对于输入的背景图片I，风格图片S和目标文字图T，计算背景图像I中每个像素x邻域内的像素值的方差，作为方差惩罚：

U_v(x)＝var(Ψ(x))                      (1)

其中Ψ(x)是以x为中心的图像块，var(·)为求方差操作。

b)使用显著度检测方法计算背景图片I中每个像素x处的显著度，作为显著度惩罚：

U_s(x)＝sal(x)                        (2)

其中sal(·)为求显著度操作。

c)计算背景图片I中每个图像块Ψ(x)与其在风格图片S中最相似的图像块的差异的平方和，作为相关度惩罚：

其中，q表示风格图片S中的一个像素，Ψ(q)表示风格图片S中以像素q为中心点的图像块，

表示两个图像块像素值差的平方和。

d)计算背景图片I中每个像素x距离I的中心点的距离dist(x)，然后计算下面的偏离中心点的惩罚，作为偏移惩罚：

U_a(x)＝1-exp(-dist²(x)/2σ²)                  (4)

其中σ设置为背景图片I的长和宽的较小值。

e)计算背景图片I中每个像素x放置文字的总惩罚U(x)：

U(x)＝U_v(x)+λ₁U_s(x)+λ₂U_c(x)+λ₃U_a(x)              (5)

其中λ₁，λ₂和λ₃是加权的系数；U_v是方差惩罚，在纹理丰富的区域具有较高的值，防止将文字放置到纹理丰富的区域；U_s是显著度惩罚，在具有重要物体的区域具有较高的值，防止将文字放置到具有重要物体的区域；U_c是相关度惩罚，在与风格S差异较大的区域具有较高的值，防止将文字放置到与风格S差异较大的区域；U_a是偏移惩罚，在不居中的位置具有较高的值，防止将文字放置到不居中的位置。其中，λ₁，λ₂和λ₃可以通过实验来确定，本实施例中，λ₁＝1，λ₂＝1，λ₃＝0.5。

本发明所述“惩罚”是指将文字放置到指定位置的代价，代价越小，越适合将文字放置到该位置。

f)若目标文字图T是一个形状为R的形状(比如矩形等)，则计算目标文字在背景图像的最佳位置为总惩罚最小的一个区域

步骤2：使用聚类方法，例如图割方法、K-means方法等对风格图S进行前背景分割，分割得到2个区域，计算每个区域中所有像素显著度的均值。比较2个均值的大小，显著度均值较大的区域设置为前景，显著度均值较小的区域为设置背景，分割结果记为G。

步骤3：检测G中前景的边缘上的像素点，以它们为中心的图像块的集合记为G_Ψ。检测T中文字边缘上的像素点，以它们为中心的图像块的集合记为T_Ψ。对每一个图像块Ψ∈T_Ψ，在G_Ψ中寻找最相似的块Ψ’，块相似的度量准则如式(7)所示，其中d表示块的差异度，差异度越小则越相似：

用Ψ’的像素值代替Ψ，得到轮廓调整后的文字图T’。

步骤4：使用纹理迁移方法将S的纹理合成到背景图像I中的文字T’之上，其中文字T’位于矩形区域

例如如下的基于相似块的纹理合成方法：

步骤4.1：对I的

区域的每一个块Ψ_I(x)，在风格图S中寻找最相似的块Ψ_S(y)，其中x和y是图像块的中心像素，块相似的度量准则如式(8)所示：

其中，Ψ_T’(x)是Ψ_I(x)在文字图T’中对应位置的图像块，Ψ_G(y)是Ψ_S(y)在分割图G中对应位置的图像块，sal(y)是S中像素y处的显著度，T’(x)是T’中像素x的值，在文字内部(T’(x)＝1)寻找显著度高的图像块，在文字外部寻找显著度低的图像块(T’(x)＝0)，从而使艺术字从背景中凸显出来，增加艺术字的可识别性，λ₄和λ₅是加权的系数。公式(8)也可以用其他相似度衡量准则代替。其中，λ₄和λ₅可以通过实验来确定，本实施例中，λ₄＝10，λ₅＝0.05。

步骤4.2：在步骤4.1中，为Ψ_I(x)找到了相似块Ψ_S(y)，使用Ψ_S(y)的像素值替换Ψ_I(x)中对应的像素，以更新I。对于被多个图像块包含的像素，通过将每个相似块提供的像素值取均值进行替换。

步骤5：取矩形区域

边缘宽度为W的‘囗’字形区域，使用原始的背景图像I在该区域的像素值覆盖当前更新后的I在该区域的像素值。

步骤6：重复步骤4和步骤5，直到收敛或者I的更新程度小于一定阈值。最终的I就是自动生成的图文结合的海报。

根据以上方法，步骤4对目标文字进行纹理风格化，而步骤5将文字区域边缘处的像素值替换为原始背景图片的值，就可以在迭代更新中引导纹理风格化的过程使得文字无痕地嵌入到背景图像中。图3A至图3C为通过本发明方法生成的海报效果对比图。

上述实施例中步骤1建立了四项惩罚项，并利用四项惩罚项计算总惩罚项。在其它实施例中，也可以选择四项惩罚项任意一项或多项来计算总惩罚(选择一项时，将该项直接作为总惩罚)，还可以采用类似的思路添加其他的惩罚项。

本发明中的步骤1是可选的，上述实施例提供了一个智能的位置推荐方法，其它实施例中也可以由用户指定放置位置。本发明中的聚类方法和显著度计算方法可以采用任意现有的方法；步骤3可以采用任意现有的结构迁移方法来调整目标文字的轮廓；步骤4可以采用任意现有的纹理迁移方法进行纹理合成。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种图文结合的海报生成方法，其特征在于，包括以下步骤：

1)计算或指定目标文字在背景图片中的放置位置，得到文字放置区域；

2)对风格图片进行前背景分割；

3)根据风格图片分割得到的前景轮廓的形状，调整目标文字的轮廓；

4)在背景图片的文字放置区域，根据文字的结构，利用风格图片的纹理进行纹理合成，生成艺术字；

5)使用背景图片的原始像素值替换文字放置区域边缘的像素值；

6)重复步骤4)到步骤5)，直到收敛，得到图文结合的海报；

其中，步骤3)所述调整目标文字的轮廓的方法是：

3.1)检测风格图片分割得到的前景的边缘上的像素点，以其为中心的图像块的集合记为G_Ψ；

3.2)检测目标文字图中文字边缘上的像素点，以其为中心的图像块的集合记为T_Ψ；

3.3)对每一个图像块Ψ∈T_Ψ，在G_Ψ中寻找最相似的块Ψ’，用Ψ’的像素值代替Ψ，得到轮廓调整后的文字图；

其中，步骤4)进行纹理合成，包括：

4.1)对背景图片I的文字放置区域

的每一个块Ψ_I(x)，在风格图片S中寻找最相似的块Ψ_S(y)，其中x和y是图像块的中心像素；

4.2)使用Ψ_S(y)的像素值替换Ψ_I(x)中对应的像素，以更新I；对于被多个图像块包含的像素，通过将每个相似块提供的像素值取均值进行替换。

2.根据权利要求1所述的方法，其特征在于，步骤1)包括：

1.1)对于输入的背景图片I，风格图片S和目标文字图T，计算背景图像I中每个像素x邻域内的像素值的方差，作为方差惩罚；

1.2)使用显著度检测方法计算背景图片I中每个像素x处的显著度，作为显著度惩罚；

1.3)计算背景图片I中每个图像块与其在风格图片S中最相似的图像块的差异的平方和，作为相关度惩罚；

1.4)计算背景图片I中每个像素x距离I的中心点的距离，然后计算偏离中心点的惩罚，作为偏移惩罚；

1.5)利用步骤1.1)～1.4)得到的惩罚项中的任意一种或多种，计算背景图片I中每个像素x放置文字的总惩罚；

1.6)将总惩罚最小的区域作为目标文字在背景图像的最佳位置。

3.根据权利要求2所述的方法，其特征在于，步骤1.4)采用下式计算所述偏离中心点的惩罚：

U_a(x)＝1-exp(-dist²(x)/2σ²)，

其中σ设置为背景图片I的长和宽的较小值，dist(x)为像素x距离I的中心点的距离。

4.根据权利要求1所述的方法，其特征在于，步骤2)使用聚类方法对风格图片进行前背景分割，得到两个区域，其中显著度均值较大的区域设置为前景，显著度均值较小的区域为设置背景。

5.根据权利要求1所述的方法，其特征在于，所述在G_Ψ中寻找最相似的块Ψ’，采用的块相似的度量准则为：

6.根据权利要求1所述的方法，其特征在于，步骤4.1)采用的块相似的度量准则为：

其中，Ψ_T’(x)是Ψ_I(x)在轮廓调整后的文字图T’中对应位置的图像块，Ψ_G(y)是Ψ_S(y)在分割图G中对应位置的图像块，sal(y)是S中像素y处的显著度，T’(x)是T’中像素x的值，在文字内部寻找显著度高的图像块，在文字外部寻找显著度低的图像块，从而使艺术字从背景中凸显出来，增加艺术字的可识别性，λ₄和λ₅是加权的系数。

7.根据权利要求1所述的方法，其特征在于，步骤6)中，重复步骤4)和步骤5)直到收敛或者背景图片的更新程度小于设定的阈值，得到自动生成的图文结合的海报。

8.一种图文结合的海报生成系统，其特征在于，包括：

文字放置区域计算模块，用于计算或指定目标文字在背景图片中的放置位置，得到文字放置区域；

前背景分割模块，用于对风格图片进行前背景分割；

轮廓调整模块，用于根据风格图片分割得到的前景轮廓的形状，调整目标文字的轮廓；

纹理合成模块，用于在背景图片的文字放置区域，根据文字的结构，利用风格图片的纹理进行纹理合成，生成艺术字；

像素值替换模块，用于使用背景图片的原始像素值替换文字放置区域边缘的像素值；

迭代模块，用于使纹理合成模块和像素值替换模块进行重复操作，直到收敛，得到图文结合的海报；

所述轮廓调整模块采用以下步骤调整目标文字的轮廓：

3.1)检测风格图片分割得到的前景的边缘上的像素点，以其为中心的图像块的集合记为G_Ψ；

3.2)检测目标文字图中文字边缘上的像素点，以其为中心的图像块的集合记为T_Ψ；

3.3)对每一个图像块Ψ∈T_Ψ，在G_Ψ中寻找最相似的块Ψ’，用Ψ’的像素值代替Ψ，得到轮廓调整后的文字图；

所述纹理合成模块采用以下步骤进行纹理合成：

4.1)对背景图片I的文字放置区域

的每一个块Ψ_I(x)，在风格图片S中寻找最相似的块Ψ_S(y)，其中x和y是图像块的中心像素；

4.2)使用Ψ_S(y)的像素值替换Ψ_I(x)中对应的像素，以更新I；对于被多个图像块包含的像素，通过将每个相似块提供的像素值取均值进行替换。

Images