CN114998482A - 文字艺术图案智能生成方法 - Google Patents

文字艺术图案智能生成方法 Download PDF

Info

Publication number
CN114998482A
CN114998482A CN202210661212.9A CN202210661212A CN114998482A CN 114998482 A CN114998482 A CN 114998482A CN 202210661212 A CN202210661212 A CN 202210661212A CN 114998482 A CN114998482 A CN 114998482A
Authority
CN
China
Prior art keywords
text
keywords
artistic
visual attention
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210661212.9A
Other languages
English (en)
Inventor
张俊松
杨祖义
金林成宇
卢志棠
许渠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202210661212.9A priority Critical patent/CN114998482A/zh
Publication of CN114998482A publication Critical patent/CN114998482A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

文字艺术图案智能生成方法,涉及计算机图形学和艺术人文领域。包括以下步骤:1)任意给定一幅图像及与内容相关的文本;2)根据边缘检测算法检测边缘,将输入图像分解为几个区域,并用平滑的向量场对每个区域进行近似;3)通过对输入文本的分析,提取一些加权关键词作为图形元素,并训练一个视觉注意力模型;4)基于能量的优化框架提取关键词,结合视觉注意原则和美学规则将提取的关键词排列到图像分解的几个区域中,合成文字艺术图案;5)使用启发式方法对文本布局进一步优化。简化传统方法,生成的文字艺术图案具有更加丰富的内涵。可应用于广告、平面设计等专业领域,辅助设计师创作,也可运用于日常生活中,作为贺卡、明信片等。

Description

文字艺术图案智能生成方法
技术领域
本发明涉及计算机图形学和艺术人文领域,尤其是涉及一种文字艺术图案智能生成方法。
背景技术
文字艺术图案类似于文字画,是由单词组合而成的复合艺术品,它直观地表达单词或短语的意思。文字艺术图案可以很好地保存给定图像的视觉特征和内容,如颜色、纹理和语义。在给定图像的主题的情况下,它能够吸引人们的注意力,传达更丰富的信息。因此,文字艺术图案被广泛应用于广告、平面设计等领域。
传统的文字艺术图案通常是由专业艺术家以技术精度手工设计的,通常包括以下步骤:(1)分析给定图像的内容、结构和特征;(2)确定指定词的位置和内容;(3)优化布局,创造具有视觉吸引力的文字艺术图案。但传统的创作流程较为繁琐,且需要相关的专业知识,普通人无法掌握相关的专业知识。因此,有必要提出一种方法来自动模拟这些步骤。通过这种方法,用户可以轻松地创作出具有吸引力的文字艺术图案。
同时,如何进一步考虑高层次因素、视觉显著性和语义相关性,生成文字艺术图案,将语义相关度较高的关键词安排在更引人注意的位置,使浏览者一眼就能捕捉到文字艺术图案的主题,并且简化创作的流程,是一个值得深入的问题。
发明内容
本发明的目的在于针对现有技术创作流程繁琐,效率低下,需要专业知识等问题提供一种简单实现在给定文本与图像的情况下,提取具有与给定源图像相似语义和视觉特征的单词组合而成的文字艺术图案智能生成方法。
本发明包括以下步骤:
1)任意给定一幅图像及与内容相关的文本;
2)根据边缘检测算法检测边缘,将输入图像分解为几个区域,并用平滑的向量场对每个区域进行近似;
3)通过对输入文本的分析,提取一些加权关键词作为图形元素,并训练一个视觉注意力模型;
4)基于能量的优化框架提取关键词,结合视觉注意原则和美学规则将提取的关键词排列到图像分解的几个区域中,初步合成文字艺术图案;
5)使用启发式方法对文本布局进一步优化,得到最终生成的文字艺术图案。
在步骤2)中,所述根据边缘检测算法检测边缘是选取一个静态矢量场生成模块,提供一个允许用户控制绘图面板,根据边缘检测算法检测用户的输入边缘;所述输入图像分解为几个区域,该区域即为文字填充区域。
在步骤3)中,所述通过对输入文本的分析,提取一些加权关键词作为图形元素,并训练一个视觉注意力模型,具体步骤可为:将文本特征提取功能进行整合,实现从输入文本中提取关键字,并为每个关键字分配一个权重,衡量其与输入图像的语义关联性,将语义相关性和提前收集的高级面部特征进行结合,训练一个视觉注意力模型;所述视觉注意力模型用于测量输入图像中吸引观察者注意的位置的可能性;
所述训练一个视觉注意力模型的具体步骤可为:(1)对眼动数据进行高斯滤波平滑处理,得到连续的显著性图;(2)提取每幅图像的颜色、边缘、强度、人脸等特征映射;(3)在每次采样迭代中,从显著区域中随机选择一个坐标,然后从每个特征图中获取同一坐标上的所有灰度像素值,构成样本的分类特征向量;(4)训练线性支持向量机作为视觉注意模型。
在步骤4)中,所述基于能量的优化框架来提取关键词;如下式所示:
Figure BDA0003690488730000021
Ek(x)∈{Eva(x),Eb(x),En(x),Ec(x),Ef(x),Evf(x)}
s.t.x∈X
式中,αk代表每个能量项的权重,Eva(x)表示关键词根据语义权重放置在特定位置,Eb(x),En(x),Ec(x)分别代表视觉平衡效果、文字不重叠和紧凑性,Ef(x)表示文字大小,Evf(x)表示在向量场中的单词排列,将提取的关键词排列到分解的区域中;
所述视觉注意原则包括:主题相关度越大的关键词以更大的字体排列在更引人注意的位置等;所述美学规则包括:视觉平衡效果、文字不重叠和紧凑性等。
所述合成文字艺术图案,先由步骤3)训练的视觉注意模型获得一个显著性图,结合视觉注意原则和美学规则,在图像分解的每个区域运用流线式排列提取的关键词,用显著性图进一步调整关键词的位置,确保更重要或信息更丰富的词被安排在更有吸引力的位置,形成一幅视觉上有感染力、主题鲜明的文字艺术图案。
在步骤5)中,所述使用启发式方法对文本布局进一步优化的具体步骤可为:通过对一组种子点进行采样,并沿着向量场搜索,然后将关键字根据语义权重映射到指定区域,通过调整种子点的初始位置和采样间隔得到一系列不同的文本布局,并选择能量值最小的那一个作为文字绘制。
本发明首先由边缘检测算法检测图像的边缘,其次根据边缘对输入图像进行区域划分,划分的区域即为文字填充区域。然后根据视觉注意原则对图像区域填充文字,根据视觉注意原则,与主题相关度越大的关键词以更大的字体排列在更引人注意的位置,文字填充的样式:主要以美学规则作为考虑点,即,视觉平衡效果、文字不重叠和紧凑性。
与现有技术相比,本发明具有以下突出的技术效果:
本发明能为艺术家和非专业人士生成文字艺术图案。在给定任意图像和内容相关的文本作为输入的情况下,本发明综合考虑视觉特征、文本语义信息和视觉注意机制之间的相关性。在保持输入图像的视觉特征,与关键词与输入图像之间的语义关系的基础上,生成一幅具有丰富语义信息、主题鲜明的文字艺术图案。本发明能很好的简化传统文字艺术图案的生成方法,并充分考虑到视觉特征和文本语义等信息,使得生成的文字艺术图案具有更加丰富的内涵。本发明可以应用于广告、平面设计等专业领域,辅助设计师进行创作,也可以运用于日常生活中,作为贺卡、明信片等。
附图说明
图1为本发明实施例的流程示意图。
图2为本发明实施例的效果参考图。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
本发明实施例包括以下步骤:
1)任意给定一幅图像及与内容相关的文本。
2)根据边缘检测算法检测边缘,将输入图像分解为几个区域,并用平滑的向量场对每个区域进行近似;所述根据边缘检测算法检测边缘是选取一个静态矢量场生成模块,提供一个允许用户控制绘图面板,根据边缘检测算法检测用户的输入边缘;所述输入图像分解为几个区域,该区域即为文字填充区域。
3)将文本特征提取功能进行整合,实现从输入文本中提取关键字,并为每个关键字分配一个权重,衡量其与输入图像的语义关联性,将语义相关性和提前收集的高级面部特征进行结合,训练一个视觉注意力模型;所述视觉注意力模型用于测量输入图像中吸引观察者注意的位置的可能性;所述训练一个视觉注意力模型的具体步骤可为:(1)对眼动数据进行高斯滤波平滑处理,得到连续的显著性图;(2)提取每幅图像的颜色、边缘、强度、人脸等特征映射;(3)在每次采样迭代中,从显著区域中随机选择一个坐标,然后从每个特征图中获取同一坐标上的所有灰度像素值,构成样本的分类特征向量;(4)训练线性支持向量机作为视觉注意模型。
4)基于能量的优化框架提取关键词,结合视觉注意原则和美学规则将提取的关键词排列到图像分解的几个区域中,合成文字艺术图案;
所述基于能量的优化框架来提取关键词,如下式所示:
Figure BDA0003690488730000041
Ek(x)∈{Eva(x),Eb(x),En(x),Ec(x),Ef(x),Evf(x)}
s.t.x∈X
式中,αk代表每个能量项的权重,Eva(x)表示关键词根据语义权重放置在特定位置,Eb(x),En(x),Ec(x)分别代表视觉平衡效果、文字不重叠和紧凑性,Ef(x)表示文字大小,Evf(x)表示在向量场中的单词排列,将提取的关键词排列到分解的区域中;
所述视觉注意原则包括:主题相关度越大的关键词以更大的字体排列在更引人注意的位置等;所述美学规则包括:视觉平衡效果、文字不重叠和紧凑性等。
所述合成文字艺术图案,先由步骤3)训练的视觉注意模型获得一个显著性图,结合视觉注意原则和美学规则,在图像分解的每个区域运用流线式排列提取的关键词,用显著性图进一步调整关键词的位置,确保更重要或信息更丰富的词被安排在更有吸引力的位置,形成一幅视觉上有感染力、主题鲜明的文字艺术图案。
5)使用启发式方法文本布局进行优化:通过对一组种子点进行采样,并沿着向量场搜索,然后将关键字根据语义权重映射到指定区域,通过调整种子点的初始位置和采样间隔得到一系列不同的文本布局,并选择能量值最小的那一个作为文字绘制。
图1给出一个英文文字艺术图案实施例流程图,具体包括以下步骤:
(1)给定一幅图像和部分文字作为输入,如功夫熊猫图像和“Article of Kung FuPanda”等文本;
(2)根据边缘检测算法对输入的图像根据边缘进行划分,使用平滑向量场近似每个区域,并从文本中提取加权关键词作为图形元素,赋予权重,如给“Kung Fu Panda”赋予0.970559的权重;
(3)根据视觉注意原则和美学规则,将给定的文本分配到不同的区域中,对文本进行映射;
(4)获得最终生成的文字艺术图案,即由给定的“Article of Kung Fu Panda”文本所组成的功夫熊猫形象。
图2给出采用本发明方法生成的中文艺术图案效果参考图。
本发明在给定图像和文字的情况下,能生成一组包含给定文字的艺术图案。本发明制定一个基于能量的优化框架,融合文本语义信息、视觉注意原则和美学规则用于指导文本布局生成。边缘检测算法能根据变化对图像进行区域划分,平滑向量场近似区域主要是指用数学方式对各区域进行表示;文本映射主要是基于本发明所提出的基于能量的优化框架,该框架能充分考虑文本语义信息、视觉注意原则、美学规则之间的关系,并实现文本的映射。

Claims (8)

1.文字艺术图案智能生成方法,其特征在于包括以下步骤:
1)任意给定一幅图像及与内容相关的文本;
2)根据边缘检测算法检测边缘,将输入图像分解为几个区域,并用平滑的向量场对每个区域进行近似;
3)通过对输入文本的分析,提取一些加权关键词作为图形元素,并训练一个视觉注意力模型;
4)基于能量的优化框架提取关键词,结合视觉注意原则和美学规则将提取的关键词排列到图像分解的几个区域中,初步合成文字艺术图案;
5)使用启发式方法对文本布局进一步优化,得到最终生成的文字艺术图案。
2.如权利要求1所述文字艺术图案智能生成方法,其特征在于在步骤2)中,所述根据边缘检测算法检测边缘是选取一个静态矢量场生成模块,提供一个允许用户控制绘图面板,根据边缘检测算法检测用户的输入边缘;所述输入图像分解为几个区域,该区域即为文字填充区域。
3.如权利要求1所述文字艺术图案智能生成方法,其特征在于在步骤3)中,所述通过对输入文本的分析,提取一些加权关键词作为图形元素,并训练一个视觉注意力模型,具体步骤为:将文本特征提取功能进行整合,实现从输入文本中提取关键字,并为每个关键字分配一个权重,衡量其与输入图像的语义关联性,将语义相关性和提前收集的高级面部特征进行结合,训练一个视觉注意力模型;该视觉注意力模型用于测量输入图像中吸引观察者注意的位置的可能性。
4.如权利要求1所述文字艺术图案智能生成方法,其特征在于在步骤3)中,所述训练一个视觉注意力模型的具体步骤为:(1)对眼动数据进行高斯滤波平滑处理,得到连续的显著性图;(2)提取每幅图像的颜色、边缘、强度、人脸等特征映射;(3)在每次采样迭代中,从显著区域中随机选择一个坐标,然后从每个特征图中获取同一坐标上的所有灰度像素值,构成样本的分类特征向量;(4)训练线性支持向量机作为视觉注意模型。
5.如权利要求1所述文字艺术图案智能生成方法,其特征在于在步骤4)中,所述基于能量的优化框架提取关键词,如下式:
Figure FDA0003690488720000011
Ek(x)∈{Eva(x),Eb(x),En(x),Ec(x),Ef(x),Evf(x)}
s.t.x∈X
式中,αk代表每个能量项的权重,Eva(x)表示关键词根据语义权重放置在特定位置,Eb(x),En(x),Ec(x)分别代表视觉平衡效果、文字不重叠和紧凑性,Ef(x)表示文字大小,Evf(x)表示在向量场中的单词排列,将提取的关键词排列到分解的区域中。
6.如权利要求1所述文字艺术图案智能生成方法,其特征在于在步骤4)中,所述视觉注意原则包括:主题相关度越大的关键词以更大的字体排列在更引人注意的位置;所述美学规则包括:视觉平衡效果、文字不重叠和紧凑性。
7.如权利要求1所述文字艺术图案智能生成方法,其特征在于在步骤4)中,所述合成文字艺术图案,先由步骤3)训练的视觉注意模型获得一个显著性图,结合视觉注意原则和美学规则,在图像分解的每个区域运用流线式排列提取的关键词,用显著性图进一步调整关键词的位置,确保更重要或信息更丰富的词被安排在更有吸引力的位置,形成一幅视觉上有感染力、主题鲜明的文字艺术图案。
8.如权利要求1所述文字艺术图案智能生成方法,其特征在于在步骤5)中,所述使用启发式方法对文本布局进一步优化的具体步骤为:通过对一组种子点进行采样,并沿着向量场搜索,然后将关键字根据语义权重映射到指定区域,通过调整种子点的初始位置和采样间隔得到一系列不同的文本布局,并选择能量值最小的那一个作为文字绘制。
CN202210661212.9A 2022-06-13 2022-06-13 文字艺术图案智能生成方法 Pending CN114998482A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210661212.9A CN114998482A (zh) 2022-06-13 2022-06-13 文字艺术图案智能生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210661212.9A CN114998482A (zh) 2022-06-13 2022-06-13 文字艺术图案智能生成方法

Publications (1)

Publication Number Publication Date
CN114998482A true CN114998482A (zh) 2022-09-02

Family

ID=83032530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210661212.9A Pending CN114998482A (zh) 2022-06-13 2022-06-13 文字艺术图案智能生成方法

Country Status (1)

Country Link
CN (1) CN114998482A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652225A (zh) * 2020-04-29 2020-09-11 浙江省北大信息技术高等研究院 基于深度学习的非侵入式摄像读取方法及系统
US20210065569A1 (en) * 2014-08-28 2021-03-04 Ideaphora India Private Limited System and method for providing an interactive visual learning environment for creation, presentation, sharing, organizing and analysis of knowledge on subject matter
WO2021051516A1 (zh) * 2019-09-18 2021-03-25 平安科技(深圳)有限公司 基于人工智能的古诗词生成方法、装置、设备及存储介质
WO2021115159A1 (zh) * 2019-12-09 2021-06-17 中兴通讯股份有限公司 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质
CN113035311A (zh) * 2021-03-30 2021-06-25 广东工业大学 一种基于多模态注意力机制的医学图像报告自动生成方法
CN113705673A (zh) * 2021-08-27 2021-11-26 四川医枢科技有限责任公司 一种文字检测方法、装置、设备及存储介质
CN114564768A (zh) * 2022-03-03 2022-05-31 上海大学 一种基于深度学习的端到端智能平面设计方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210065569A1 (en) * 2014-08-28 2021-03-04 Ideaphora India Private Limited System and method for providing an interactive visual learning environment for creation, presentation, sharing, organizing and analysis of knowledge on subject matter
WO2021051516A1 (zh) * 2019-09-18 2021-03-25 平安科技(深圳)有限公司 基于人工智能的古诗词生成方法、装置、设备及存储介质
WO2021115159A1 (zh) * 2019-12-09 2021-06-17 中兴通讯股份有限公司 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质
CN111652225A (zh) * 2020-04-29 2020-09-11 浙江省北大信息技术高等研究院 基于深度学习的非侵入式摄像读取方法及系统
CN113035311A (zh) * 2021-03-30 2021-06-25 广东工业大学 一种基于多模态注意力机制的医学图像报告自动生成方法
CN113705673A (zh) * 2021-08-27 2021-11-26 四川医枢科技有限责任公司 一种文字检测方法、装置、设备及存储介质
CN114564768A (zh) * 2022-03-03 2022-05-31 上海大学 一种基于深度学习的端到端智能平面设计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘东威;张俊松;周昌乐;: "考虑局部和整体特征的手绘图案合成", 计算机辅助设计与图形学学报, no. 01, 15 January 2011 (2011-01-15) *
王大千;崔荣一;金璟璇;: "基于视觉关注模型与多尺度MSER的自然场景文本检测", 应用科学学报, no. 03, 30 May 2020 (2020-05-30) *
邓晓健;李彬;张俊松;: "基于统计的汉字字形视觉重心计算", 中文信息学报, no. 04, 15 July 2015 (2015-07-15) *

Similar Documents

Publication Publication Date Title
CN110889883B (zh) 一种自适应的智能横幅广告图片生成方法及系统
Bateman Multimodality and genre: A foundation for the systematic analysis of multimodal documents
Malamed Visual design solutions: Principles and creative inspiration for learning professionals
US20130222396A1 (en) System and method for creating and displaying an animated flow of text and other media from an input of conventional text
US20130036113A1 (en) System and Method for Automatically Providing a Graphical Layout Based on an Example Graphic Layout
CN103186511A (zh) 汉字造字方法和设备、构造字体库的方法
CN109426658A (zh) 使用基于文本分析的智能特征建议进行文档美化
Kostelnick A systematic approach to visual language in business communication
CN107203569A (zh) 一种面向沉浸式阅读的阅读主题智能设置方法和装置
Sun Design and Construction of University Book Layout Based on Text Image Preprocessing Algorithm in Education Metaverse Environment
KR20130058943A (ko) 사용자 고유의 필적 생성 시스템 및 그 방법
CN105468574A (zh) 装饰字体的合成方法
You et al. Automatic synthesis of advertising images according to a specified style
CN114998482A (zh) 文字艺术图案智能生成方法
CN116912366A (zh) 一种基于ai的平面设计生成方法及系统
Hu et al. PicWords: Render a picture by packing keywords
CN106547891A (zh) 针对掌上显示设备的图片化文本信息的快速可视化方法
Cheng et al. Poster graphic design with your eyes: An approach to automatic textual layout design based on visual perception
CN112434568A (zh) 一种画作识别方法、装置、存储介质及计算设备
Zhang et al. Creating Word Paintings Jointly Considering Semantics, Attention, and Aesthetics
JP4739006B2 (ja) 画像出力装置、画像出力方法、および画像出力プログラム
Wang et al. Artistic Text Style Transfer: An overview of state-of-the-art methods and datasets [SP Forum]
Fouladi et al. Toward automatic development of handwritten personal Farsi/Arabic OpenType® fonts
US20240086452A1 (en) Tracking concepts within content in content management systems and adaptive learning systems
JP5737805B2 (ja) デザイン生成装置及びデザイン生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination