CN105468574B - 装饰字体的合成方法 - Google Patents

Abstract

装饰字体的合成方法，涉及字体合成方法。1)用户通过数位板交互，输入文字分割意图；2)对标记信息进行分析处理，得到相应的笔画集合B；3)从网络获取图片以及它的伴随文本；4)将收集的图片作为图片库D^I；5)抽取图片的伴随文本和用户输入的文字作为语料库D^T；6)手动筛选丢弃一些不合适的前景图，整合得到最终的图片库D；7)采用语义相似性度量算法筛选合适的图片，将筛选出的图片与笔画进行形状匹配，生成初始的装饰字体；8)对初始的装饰字体进行结构优化，得到优化后的装饰字体。可生成漂亮的、可读的装饰字体。

Description

装饰字体的合成方法

技术领域

本发明涉及字体合成方法，尤其是涉及一种装饰字体的合成方法。

背景技术

装饰字体和艺术图案是把人们想要表达的语句，或者是书上的诗文，或者是喜爱的图案这些传统的元素，通过特殊的装饰艺术风格化处理，以一定的艺术形式呈现出来。这些具有特定艺术风格的合成字体和图案不仅给予读者丰富的视觉体验，而且也会让读者留下深刻的印象。所以装饰字体和艺术图案常广泛被应用于广告海报、网站LOGO、服装图案和装饰壁纸等领域。传统的装饰字体和艺术图案制作通常都是由经验丰富的艺术家或设计师手工设计完成，其过程耗时且枯燥。

因此如何设计一些简单高效的计算机算法模拟人类艺术家的设计和创作活动，利用计算机技术来辅助装饰字体和艺术图案的创作过程，则是现有技术中有待解决的问题。本发明是第一个尝试用自动的方法来生成装饰字体。

近几年，图像合成领域有部分研究工作尝试结合了图片文本信息来进行照片的合成工作。其中，Diakopoulos等人(Diakopoulos Nicholas,Essa Irfan,Jain Ramesh:Content based image synthesis,Image and Video Retrieval:Springer,2004:299-307.)提出了一个基于内容的图像合成方法。该方法允许用户对一张目标图片用文本标签对图像区域进行标注。然后系统自动依据区域大小和文本标签寻找合适的图像。最后，依据寻找到的图像对目标图像中指定区域进行无缝的合成。Johnson等人(Johnson Matthew,Brostow Gabriel J,Shotton Jamie,Arandjelovic Ognjen,Kwatra Vivek,CipollaRoberto.Semantic photo synthesis[C]//Computer Graphics Forum,2006:407-413.)提出了一个语义的照片合成方法。该方法先是要去用户在一张空白画布上输入一些关键词，然后根据给定的图片库检索合适的图片，最后应用了图割优化算法进行照片合成的工作。Chen等人(Chen Tao,Cheng Ming-Ming,Tan Ping,Shamir Ariel,Hu Shi-Min.Sketch2Photo:internet image montage[C]//ACM Transactions on Graphics(TOG),2009:124.)提出了一个合成真实感照片的方法，通过结合简单素描轮廓和文本标签寻找图片库中合适的图片，然后对寻找到的图片进行无缝的拼接和融合。

上述的这些工作使用文本标签作为图片内容之外的一个信息源来进行合适的图片的检索。然而，若想要得到正确的结果，就要求图片库标注的文本信息必须完整且正确，而这手工操作工作量是巨大的。因此，在本发明中，考虑到图片库中语义标签信息存在一定的噪声情况下，引入了一个语义计算模型度量了文本和图片标签之间潜在的主题关系。通过这种潜在的主题关系，找到一组与输入文字语义相似的图片来合成漂亮可读的装饰字体。

发明内容

本发明的目的是针对上述现有技术所存在的问题，提供可实现在计算机上交互地创作装饰字体，用户最终可得到漂亮刻度的艺术装饰字体的一种装饰字体的合成方法。

本发明包括以下步骤：

1)用户通过数位板交互，输入文字分割意图；

2)对标记信息进行分析处理，得到相应的笔画集合B；

3)从网络获取图片以及它的伴随文本；

4)将收集的图片作为图片库D^I；

5)抽取图片的伴随文本和用户输入的文字作为语料库D^T；

6)手动筛选丢弃一些不合适的前景图，整合得到最终的图片库D；

7)采用语义相似性度量算法筛选合适的图片，将筛选出的图片与笔画进行形状匹配，生成初始的装饰字体；

8)对初始的装饰字体进行结构优化，得到优化后的装饰字体。

在步骤1)中，所述用户通过数位板交互，输入文字分割意图的具体方法可为：

用户输入的是字形轮廓点P和多组带有分割信息(颜色标签)L的草图线的采样点l∈L。表示带有分割信息l的第i个采样点；对目标文字的轮廓边缘进行均匀采样，得到一组采样点P,P＝{P_i}。

在步骤2)中，所述对标记信息进行分析处理，得到相应的笔画集合B的具体方法可为：

获得一组合适的笔画B，即最小化下述能量方程(1.1)：

其中，P_i表示P的第i点，P_j表示P的第j点，表示标记信息为l的草图线的第k个采样点，w_i,j表示为一个平滑因子，它度量了文字轮廓点P_i和P_j(i≠j)之间的相似度。点P_i和P_j在几何上越相似，则P_i和P_j属于同一个笔画标签的可能性越高；w_i,k表示为一个引力因子，它计算了标记l的草图线点和字形轮廓点P_i之间的相似度；点P_i和在几何上越相似，则P_i属于笔画标签l的可能性越高。系数μ控制平滑因子和引力因子之间的平衡，默认下μ＝4；下面的公式(1.2)和公式(1.3)分别定义了平滑因子和引力因子。

其中，T是一个评价点与点之间相似度的函数集合，包含有t(P_i,P_j)＝{a_ij,d_ij},t∈T，t为属于T的一个函数，p_k表示P的第k点，σ_t为高斯函数中的尺度参数，本方法将它的范围设定为[0.1,1]，其中， 表示第i点的法向量，表示第j点的法向量；d_ij＝max{d_ij-d_max,0}，d_ij表示点P_i和点P_j之间的距离，为了使两个字形轮廓点之间的关联性随着它们之间的距离增大而变小，定义一个最大可接受距离d_max＝0.9，高斯函数F定义如下：

在步骤7)中，所述采用语义相似性度量算法筛选合适的图片，将筛选出的图片与笔画进行形状匹配，生成初始的装饰字体的具体方法可为：

通过度量图片伴随文本D^T和输入文字W之间的语义相似性，以及图片D和笔画B之间的形状相似性，即可以为每个笔画匹配到一张合适的图片；匹配的能量方程定义如下：

E_match(W,D^T；D,B)＝E_semantic(W,D^T)+λE_shape(D,B) (1.5)

其中，第一个因子E_semantic度量了图片和输入文字之间的语义相似性；第二个因子E_shape计算了图片和分割后笔画之间的形状相似性，系数λ控制语义因子和形状因子之间的平衡，默认下λ＝3。

首先，对于语义相似性度量，使用LDA模型对图片语义文本和目标文字进行分析，挖掘文本文字上的隐含主题的概率分布，然后通过计算它们之间概率分布的差异性来度量语义相似性。

所述LDA模型是一种文档主题的生成模型，包含单词、主题和文档三层结构。给定一个文档集合，LDA模型认为每个文档都是由多个隐含主题Z的混合生成。假设语料库中有M篇文档，每个文档中有N_d个单词，d＝[1,M]。根据贝叶斯定理，潜在主题z＝j分布在文档d上的概率p(z＝j|d)可计算如下：

其中，j为某一个主题，w_i为第i个单词，p(z＝j)为主题为j的概率，p(w_i)为出现单词w_i的概率。应用LDA模型基于吉布斯采样方法将语料库中的每个文档映射为不同的潜在主题概率分布p(z＝j|d)，然后使用Jensen-Shannon距离度量方法计算不同潜在主题概率分布之间的差异性D_js。语义度量因子定义如下：

其中，D_KL是Kullback-Leibler距离计算方法，p是图片语义文本潜在主题概率分布；q是目标文字的隐含主题概率分布，d_i是第i篇文档，d_j是第j篇文档。本方法采用了Saenko等人的方法来关于求解LDA模型。

其次，对于图片与笔画的形状匹配。本方法使用一组对数极坐标直方图作为形状描述特征快速高效的寻找合适形状的图片。对数极坐标直方图在局部区域上覆盖一个对数极坐标窗口处理了形状特征。在对数极坐标空间上，它的每个小区间(bins)均匀分割了所覆盖区域。针对每个bins，形状的灰度值被累加，然后被用作为直方图中的一个组件。在像素的累计过程中，黑色像素作为1而白色像素作为0。h(k)表示第k个bins的灰度累加值，定义为其中q是当前像素的位置。(q-p)表示当前像素对于对数极坐标窗口的中心p的相对位置。I(q)计算了位置q上的灰度值。

具体的形状匹配过程如下：

(1)针对每个图片和笔画形状，计算较大数目m(m＝100)个对数极坐标直方图；

(2)在匹配的过程中，针对每个笔画，随机选取其中t(t＝5)个对数极坐标直方图作为参考；

(3)根据这t个点的索引得到对应图片中的t个的数极坐标直方图；

(4)在每个迭代匹配的过程中，图片都会以一定的角度θ进行旋转，通过计算这t对对应的直方图的特征向量的相似性，即得到两个形状的相似性E_shape，定义形状匹配公式如下：

其中，SC是形状H的对数极坐标直方图；SC^j是形状H的对应采样点j的对数极坐标直方图，H′是H旋转θ角后的形状，SC′^j是形状H′的对应采样点j的对数极坐标直方图，p_i，q_j为两个不同的点，h_i(k)表示i点的第k个bins的灰度累加值，h_j(k)表示j点的第k个bins的灰度累加值；

依据语义-形状相似性度量算法为每个笔画筛选得到了合适的图片，及其最佳旋转角度θ。然后，使用仿射配准方法来对图片进行一定的变形。最后，组合这些变形后的图片生成初始的装饰字体。

在步骤8)中，所述对初始的装饰字体进行结构优化，得到优化后的装饰字体的具体方法可为：

最小化如下能量方程，

其中，M＝100，δ(SC^j,SC'^j)在公式(1.10)中定义。本方法使用梯度下降法解决该优化问题，使用梯度下降法的装饰字体结构优化步骤如下：

计算待美化的装饰字符结构和原字符结构E_shape；

以初始步长_τ分别向x,y轴方向移动装饰字符结构；

重新计算形状匹配误差Ex_shape和Ey_shape；

循环

计算负梯度S＝-▽J(E_shape,Ex_shape,Ey_shape)；

如果单位向量||s′||≤ε；

跳出循环；

计算最佳步长_τ；

以步长_τ重新移动装饰字符结构；

重新计算匹配误差Ex_shape和Ey_shape；

结束。

符号说明：

“∈”是数学中的一种符号。若a∈A，则a属于集合A，a是集合A中的元素。

“∏”是数学中的连乘符号。

“∑”是数学中的求和符号。

“exp”是高等数学里以自然常数e为底的指数函数。

“max{a,b}”表示a，b中较大的数。

“I，j，k”若无特别说明，表示为第1,2,3，。。。n中任意一个自然数。

“a＝[b,c]”表示为a在区间b到c中的任意一个自然数。

“ε”为数学中参数的命名，一般表示为一个极小值。

“||s||”为求向量s的模。

本发明首先，通过数位板让用户输入带有颜色标记信息的草图，这些草图表示了用户对文字的分割意图。通过分治法及将N-标签问题分解为2-标签子问题对文字分割生成对应笔画集合。其次，使用相似性度量算法－语义－形状相似性度量，通过结合两个不同层次的特征来为每个笔画选择最合适的图片。将合适的图片进行形状匹配。最后，使用梯度下降法来进行结构优化。最终能生成漂亮的、可读的装饰字体。

附图说明

图1为装饰字体合成的流程图。

图2为笔画分割。

图3为语义相似性计算流程。

图4为形状描述符-对数极坐标直方图的可视化。

图5为采样点的对数极坐标直方图。

图6为旋转后形状的匹配结果。

图7为结构优化方法的流程。

图8为能量方程(1.5)中系数λ的影响。

图9为更多艺术装饰字体的结果图。

图10为中文文字的艺术装饰字体效果图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明中的方法是在Windows8系统下使用Visual Studio编程环境实现的，同时有DirectX和OpenCV库。硬件环境为Petium4CPU 3.10GHz，4GB内存。其中，用户引导文字分割方法的输入采用的是Wacom数位板。生成装饰字体的时间复杂度依赖于库中图片的总数量，分割的笔画数量以及用户的交互时间。如果忽略用户交互的时间，生成一个装饰字体大概要4～6min。

在预处理阶段，本发明自动从网络抽取大概有30000图片以及它的伴随文本。然后，1)将收集的图片作为图片库；2)图片的伴随文本和用户输入的文字作为语料库。同时，应用显著性检测算法来选择合适的图片和Grab-Cut分割算法获取图片的前景的剪贴图库。为了提高后续步骤的匹配准确率，手动筛选丢弃一些不合适的剪贴图，整合得到最终的图片库。针对图片库和语料库，本发明通过度量了图片的高层语义特征和底层形状为输入文字的笔画找到合适的图片。

本发明的整体流程图如图1所示，第一步如图1(a)，是一个用户引导的文字分割方法。输入是用户通过数位板交互输入带有颜色标记信息的草图，这些带有标记信息的草图表示了用户对文字的分割意图。该方法通过对这些标记信息进行分析处理，实时得给出相应的笔画集合B。第二步如图1(b)，在得到分割的笔画集合后，采用一个语义-形状相似性度量算法结合两个不同层次的特征来筛选合适的图片合成漂亮的装饰字体。通过度量图片伴随文本D^T和输入文字W之间的语义相似性，以及图片D和笔画B之间的形状相似性，即可以为每个笔画匹配到一张合适的图片。第三步如图1(c)，使用梯度下降法模拟人工手工微调过程，得到更优化的装饰字体结构。

用户对文字进行笔画分割如图2所示，其中图2(a)为给定目标文字，OCR中的方法生成的对应笔画集合。图2(b)为用户输入一个带有颜色标记的scribbles，系统实时地给出对应满足用户分割意图的笔画集合。输入的scribbles并不需要非常的精确。系统通过求解多标签的图割问题，根据用户的输入得到笔画集合。

通过LDA的图片-主题的概率模型来对语义相似性进行计算，如图3所示，其中图3(a)显示了网络图片和其伴随文本。图3(b)基于LDA的图片-主题的概率模型。其中，虚线表示语义主题相似性比较高的两个词。图3(c)语义相似性计算的结果。

为了给每个笔画寻找尽可能的相似图片形状，使用一组对数极坐标直方图作为形状描述特征快速高效的寻找合适形状的图片。如图4所示，对数极坐标直方图在局部区域上覆盖一个对数极坐标窗口处理形状特征。在对数极坐标空间上，它的每个小区间(bins)均匀分割了所覆盖区域。针对每个bins，形状的灰度值被累加，然后被用作为直方图中的一个组件。其中图4显示了关于字符“f”的其中一个采样点的对数极坐标窗口。图5对应于图4中采样点的对数极坐标直方图。

选中图形后，需要对图形位置进行旋转来匹配所需整体结构。如图6所示，图6(a)给定一个笔画形状。图6(b)是对应图片抽取的形状轮廓。图6(c)显示了旋转后的图片形状“黄瓜”比形状“骨头”有更好的匹配效果。

最后还需将生成的装饰图案的结构做进一步的优化，如图7所示，图7(a)为调整结构前状态，在对最小化能量方程中Eshape的值进行修改后，得到图7(c)所示优化结果。

在语义-形状相似性度量算法中，用户可以调整公式(1.5)中的系数λ来权衡语义特征和形状特征的重要性。当λ相对大一些的时候，生成的装饰字体就会偏向于形状而不是语义，如图8(b)所示。而当λ调小的时候，生成的结果就会偏向于选择与输入文字语义相似性高的图片，如图8(c)所示。

图9显示了更多生成的装饰字体结果，同时也显示了本发明的灵活性和扩展性。在图9中，用户可以在系统提供的交互界面上设计任意想要装饰字体。比如装饰字体“car”中，字符“c”用户就输入三种不同的分割方式；在装饰字体“wood”中，字符“d”用户输入两种不同的分割方式。这些不同的分割都得到对应漂亮的可读的装饰字体。

同时，本发明也没有强制限制只使用英文单词，扩展了更为复杂的输入－中文文字。中文文字的装饰字体合成有两个不同于英文问题。一是系统在计算语义时，对应的要添加中文分词功能；中文字比英文字的字结构更复杂，所以会导致用户更多交互。图10显示了中文字“木”，“车”和词“春节”的装饰字体。这些结果都验证了本发明的灵活性、兼容性和可扩展性。

本发明是通过用户输入带有颜色标记信息的草图，得到相应的笔画集合。采用语义-形状相似性度量算法，筛选合适的图片进行形状匹配得到一张合适的图片，最后进行结构优化合成漂亮的装饰字体。用户只需通过对装饰字体笔画进行分割，即可得到与该字体相应的，由其字体意思表达的图片所组成的装饰字体图案。用户引导的文字笔画分割是用户通过数位板上来进行设计的。语义-形状相似性度量算法中的语义是由图片的伴随文本及图片的语义标签而得到的。进行筛选的图片是在预处理时产生的图片库中选择得出的。

Claims (4)

1.装饰字体的合成方法，其特征在于包括以下步骤：

1)用户通过数位板交互，输入文字分割意图；

2)对标记信息进行分析处理，得到相应的笔画集合B；

3)从网络获取图片以及它的伴随文本；

4)将收集的图片作为图片库D^I；

5)抽取图片的伴随文本和用户输入的文字作为语料库D^T；

6)手动筛选丢弃一些不合适的前景图，整合得到最终的图片库D；

7)通过度量图片伴随文本D^T和输入文字W之间的语义相似性，以及图片D和笔画B之间的形状相似性，即可以为每个笔画匹配到一张合适的图片；匹配的能量方程定义如下：

E_match(W,D^T；D,B)＝E_semantic(W,D^T)+λE_shape(D,B) (1.5)

其中，第一个因子E_semantic度量了图片和输入文字之间的语义相似性；第二个因子E_shape计算了图片和分割后笔画之间的形状相似性，系数λ控制语义因子和形状因子之间的平衡，λ＝3；

首先，对于语义相似性度量，使用LDA模型对图片语义文本和目标文字进行分析，挖掘文本文字上的隐含主题的概率分布，然后通过计算它们之间概率分布的差异性来度量语义相似性；

所述LDA模型是一种文档主题的生成模型，包含单词、主题和文档三层结构；给定一个文档集合，LDA模型认为每个文档都是由多个隐含主题Z的混合生成；假设语料库中有M篇文档，每个文档中有N_d个单词，d＝[1,M]；根据贝叶斯定理，潜在主题z＝j分布在文档d上的概率p(z＝j|d)可计算如下：

其中，j为某一个主题，w_i为第i个单词，p(z＝j)为主题为j的概率，p(w_i)为出现单词w_i的概率；应用LDA模型基于吉布斯采样方法将语料库中的每个文档映射为不同的潜在主题概率分布p(z＝j|d)，然后使用Jensen-Shannon距离度量方法计算不同潜在主题概率分布之间的差异性D_js；语义度量因子定义如下：

d_i是第i篇文档，d_j是第j篇文档；

其次，对于图片与笔画的形状匹配；本方法使用一组对数极坐标直方图作为形状描述特征快速高效的寻找合适形状的图片；对数极坐标直方图在局部区域上覆盖一个对数极坐标窗口处理了形状特征；在对数极坐标空间上，它的每个小区间bins均匀分割了所覆盖区域；针对每个bins，形状的灰度值被累加，然后被用作为直方图中的一个组件；在像素的累计过程中，黑色像素作为1而白色像素作为0；h(k)表示第k个bins的灰度累加值，定义为其中q是当前像素的位置；(q-p)表示当前像素对于对数极坐标窗口的中心p的相对位置；I(q)计算了位置q上的灰度值；

具体的形状匹配过程如下：

(1)针对每个图片和笔画形状，计算较大数目m(m＝100)个对数极坐标直方图；

(2)在匹配的过程中，针对每个笔画，随机选取其中t(t＝5)个对数极坐标直方图作为参考；

(3)根据这t个点的索引得到对应图片中的t个的数极坐标直方图；

(4)在每个迭代匹配的过程中，图片都会以一定的角度θ进行旋转，通过计算这t对对应的直方图的特征向量的相似性，即得到两个形状的相似性E_shape，定义形状匹配公式如下：

其中，SC是形状H的对数极坐标直方图；SC^j是形状H的对应采样点j的对数极坐标直方图，H′是H旋转θ角后的形状，SC′^j是形状H′的对应采样点j的对数极坐标直方图，p_i，q_j为两个不同的点，h_i(k)表示i点的第k个bins的灰度累加值，h_j(k)表示j点的第k个bins的灰度累加值；

依据语义-形状相似性度量算法为每个笔画筛选得到了合适的图片，及其最佳旋转角度θ；然后，使用仿射配准方法来对图片进行一定的变形；最后，组合这些变形后的图片生成初始的装饰字体；

8)对初始的装饰字体进行结构优化，得到优化后的装饰字体。

2.如权利要求1所述装饰字体的合成方法，其特征在于在步骤1)中，所述用户通过数位板交互，输入文字分割意图的具体方法为：

用户输入的是字形轮廓点P和多组带有分割信息L的草图线的采样点l∈L；表示带有分割信息l的第i个采样点；对目标文字的轮廓边缘进行均匀采样，得到一组采样点P,P＝{P_i}。

3.如权利要求1所述装饰字体的合成方法，其特征在于在步骤2)中，所述对标记信息进行分析处理，得到相应的笔画集合B的具体方法为：

获得一组合适的笔画B，即最小化下述能量方程(1.1)：

其中，P_i表示P的第i点，P_j表示P的第j点，表示标记信息为l的草图线的第k个采样点，w_i,j表示为一个平滑因子，它度量了文字轮廓点P_i和P_j(i≠j)之间的相似度；点P_i和P_j在几何上越相似，则P_i和P_j属于同一个笔画标签的可能性越高；w_i,k表示为一个引力因子，它计算了标记l的草图线点和字形轮廓点P_i之间的相似度；点P_i和在几何上越相似，则P_i属于笔画标签l的可能性越高；系数μ控制平滑因子和引力因子之间的平衡，μ＝4；下面的公式(1.2)和公式(1.3)分别定义了平滑因子和引力因子；

其中，T是一个评价点与点之间相似度的函数集合，包含有t(P_i,P_j)＝{a_ij,d_ij},t∈T，t为属于T的一个函数，p_k表示P的第k点，σ_t为高斯函数中的尺度参数，本方法将它的范围设定为[0.1,1]，其中， 表示第i点的法向量，表示第j点的法向量；d_ij＝max{d_ij-d_max,0}，d_ij表示点P_i和点P_j之间的距离，为了使两个字形轮廓点之间的关联性随着它们之间的距离增大而变小，定义一个最大可接受距离d_max＝0.9，高斯函数F定义如下：

4.如权利要求1所述装饰字体的合成方法，其特征在于在步骤8)中，所述对初始的装饰字体进行结构优化，得到优化后的装饰字体的具体方法为：

最小化如下能量方程，

其中，M＝100，δ(SC^j,SC'^j)在公式(1.10)中定义；本方法使用梯度下降法解决该优化问题，使用梯度下降法的装饰字体结构优化步骤如下：

计算待美化的装饰字符结构和原字符结构E_shape；

以初始步长_τ分别向x,y轴方向移动装饰字符结构；

重新计算形状匹配误差Ex_shape和Ey_shape；

循环

计算负梯度

如果单位向量||s′||≤ε；

跳出循环；

计算最佳步长_τ；

以步长_τ重新移动装饰字符结构；

重新计算匹配误差Ex_shape和Ey_shape；

结束。