CN108510569A - 一种基于多通道的艺术字生成方法及系统 - Google Patents
一种基于多通道的艺术字生成方法及系统 Download PDFInfo
- Publication number
- CN108510569A CN108510569A CN201810078035.5A CN201810078035A CN108510569A CN 108510569 A CN108510569 A CN 108510569A CN 201810078035 A CN201810078035 A CN 201810078035A CN 108510569 A CN108510569 A CN 108510569A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- characters
- channel
- fancy style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/109—Font handling; Temporal or kinetic typography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种基于多通道的艺术字生成方法及系统,该方法步骤包括:提取源文字图像和目标文字图像的偏移图像;将源文字图像、源文字图像的偏移图像和源艺术字图像按通道合并为多通道源图像立方;初始化目标艺术字图像,将该初始化的目标艺术字图像、目标文字图像、目标文字图像的偏移图像按通道合并为多通道目标图像立方;迭代查找目标图像立方中每个图像块在源图像立方中的相似图像块,并使用相似图像块的艺术字图像通道更新目标图像立方对应的通道,直到收敛或者目标图像立方的更新程度小于一设定阈值;提取目标图像立方的艺术字图像通道,生成目标艺术字图像。
Description
技术领域
本发明涉及图像纹理合成技术领域,具体涉及一种基于多通道的艺术字生成方法及系统。
背景技术
随着多媒体技术的发展和人们审美情趣的提升,越来越多的人开始关注视觉信息的美观程度。其中,文字作为日常生活中最重要的部分之一,对其进行美化,生成艺术字,提升其主观视觉质量成为了一个重要的研究热点。
艺术字生成的关键在于对文字进行纹理合成,将色彩丰富的纹理信息添加到目标文字上。一种用于纹理合成的方法是基于样本的纹理复制技术。这类技术使用从源纹理图中复制纹理像素或者纹理块的方式在目标图像中合成新的纹理。但是这些方法忽略了艺术字中纹理的多样性和复杂性,因此其合成结果与源艺术字可能相差较大,变得呆板而单一。另一种用于纹理合成的方法是基于统计的纹理合成技术。这类技术对源纹理图中的纹理进行统计上的建模,将纹理描述为统计数字,然后调整目标纹理图使之具有相同的统计数字。这类技术因为建模的准确性问题,难以精确模仿源纹理的视觉特征,合成结果杂乱并且具有很多瑕疵。
因此本发明在进行纹理合成之前采用了偏移通道的提取,采用偏移通道来对纹理围绕文字的空间位置分布进行描述,通过保证偏移通道的一致性,达到艺术字中纹理在空间分布上的一致性,有效减少了复制纹理块时的歧义性问题,防止不同纹理间的混杂,从而提升了生成的艺术字的视觉质量。
发明内容
针对上述问题,本发明的目的是提出一种基于多通道的艺术字生成方法及系统,使用偏移通道来引导纹理合成工作,使生成的艺术字在局部纹理特征和全局纹理分布上与源艺术字更加一致,具有更准确的结构和细节,生成的艺术字更加自然美观。
为实现上述目的,本发明采用的技术方案如下:
一种基于多通道的艺术字生成方法,步骤包括:
提取源文字图像和目标文字图像的偏移图像;
将源文字图像、源文字图像的偏移图像和源艺术字图像按通道合并为多通道源图像立方;
初始化目标艺术字图像,将该初始化的目标艺术字图像、目标文字图像、目标文字图像的偏移图像按通道合并为多通道目标图像立方;
迭代查找目标图像立方中每个图像块在源图像立方中的相似图像块,并使用相似图像块的艺术字图像通道更新目标图像立方对应的通道,直到收敛或者目标图像立方的更新程度小于一设定阈值5.0,该更新程度是指目标图像立方上一次迭代结果与这一次迭代结果所有像素值之间的均方误差;
提取目标图像立方的艺术字图像通道,生成目标艺术字图像。
上述方法中,先提取源文字图像和目标文字图像的文字骨架,再计算源文字图像和目标文字图像中每个像素到文字骨架的欧式距离,根据和得到源文字图像和目标文字图像的偏移图像,其中OS和OT分别表示源文字图像和目标文字图像的偏移图像,SS和ST分别表示源文字图像和目标文字图像的文字骨架,像素p位于偏移图像上,像素q表示位于文字骨架上,dist(p,q)表示像素p和像素q的欧式距离。
上述方法中,所述源文字图像、目标文字图像、源艺术字图像、目标艺术字图像为单通道或多通道。
上述方法中,初始化目标艺术字图像是指对目标艺术字图像的各通道的值进行初始化,包括初始化为随机数,全部初始化为0,或者等值初始化为目标文字图像的灰度值。
上述方法中,图像块相似的度量准则如下式:
其中,ΨiT表示目标图像立方的图像块ΨT的第i个通道;ΨiS表示源图像立方的图像块ΨS的第i个通道;每个通道是一个m*m(长为m宽为m)的矩阵;λi是用来平衡不同通道的权重,根据实际生成的艺术字效果来取值;表示矩阵的Frobenius范数,也可以用其他矩阵相似度如L1范数、L2范数等衡量准则代替。
上述方法中,所述使用相似图像块的艺术字图像通道更新目标图像立方对应的通道,是指使用源图像立方的图像块的艺术字图像通道ΨjS的像素值替换目标图像立方的图像块的艺术字图像通道ΨjT中对应的像素值,其中j为对应艺术字图像通道的下标索引;对于被多个图像块包含的像素,通过将每个相似的图像块提供的像素值取均值进行替换。
一种基于多通道的艺术字生成系统,包括存储器和处理器,所述存储器存储计算机程序,所述程序被配置为由所述处理器执行,所述程序包括用于执行上述方法中各步骤的指令。
本发明方法在给定一张源文字图像和一张对应的源艺术字图像的样例后,首先提取源文字图像和目标文字图像的文字骨架。然后计算源文字图像和目标文字图像中每个像素点到文字骨架的偏移量,获得偏移图像。将源文字图像、源文字图像的偏移图像和源艺术字图像按通道合并为多通道源图像立方,将目标文字图像、目标文字图像的偏移图像和随机初始化的目标艺术字图像按通道合并为多通道目标图像立方。对目标图像立方中每一个图像块在源图像立方中寻找相似图像块,并用相似图像块更新目标图像立方中目标艺术字图像通道部分的像素。迭代相似图像块寻找和像素更新这两个过程,直到收敛或者目标图像立方的更新程度小于一设定阈值。最终从目标图像立方中提取得到目标文字对应的艺术字图像。
本发明方法可以在纹理合成的过程中,充分利用纹理相对于文字骨架的位置信息,通过综合考虑纹理在偏移通道、文字结构通道和艺术字纹理通道的相似性,使生成的艺术字在局部纹理特征和全局纹理分布上与源艺术字更加一致,具有更准确的结构和细节,既能有效描述纹理在艺术字中的空间分布,又能保持纹理的局部外观,使生成的艺术字更加自然美观,有效提升了目标文字的艺术价值。
附图说明
图1为本实施例的一种基于多通道的艺术字生成方法流程图。
图2为本实施例的一种基于多通道的艺术字生成方法演示图。
图3A至图3C为通过本发明方法生成的艺术字效果对比图。
具体实施方式
为使本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图作详细说明如下。
本实施例提供一种基于多通道的艺术字生成方法,以源文字图像、目标文字图像为单通道,源艺术字图像、目标艺术字图像为R、G、B三通道为例,图1为其流程图,以图2为例,演示利用本方法基于源文字及其艺术字“火”,由目标文字“术”生成目标艺术字“术”的过程,具体步骤如下:
步骤1:对输入的源文字图像TS,使用形态学骨架提取操作提取其文字骨架SS,计算Ts中每一个像素到骨架SS的距离,从而得到源文字图像的偏移图像OS。具体而言,OS中像素p处的值的定义为其中像素q位于文字骨架上,dist(p,q)表示像素p和像素q的欧式距离。使用相同的方法,可以得到目标文字图像TT的偏移图像OT。
步骤2:将源艺术字图像AS的三个通道{RS,GS,BS},单通道的源文字图像TS,以及单通道的偏移图像OS,组合成五通道的源图像立方IS,即IS=cat(RS,GS,BS,TS,OS),其中,cat(·,·)表示联合多个通道操作,例如一张长宽分别为H和W的三通道彩色源艺术字图像AS可以表示为其长宽分别为H和W的R、G、B三通道的联合:AS=cat(RS,GS,BS),是一个长为H,宽为W,通道数为3(简记为H*W*3)的三维矩阵。
步骤3:对目标艺术字图像AT的三个通道{RT,GT,BT}进行初始化,例如初始化为随机数,或者全部初始化为0,或者使用目标文字图像TT初始化AT:RT=GT=BT=TT等等。使用步骤2的方法,将AT、TT、OT组合成五通道的目标图像立方IT,即IT=cat(RT,GT,BT,TT,OT)。
步骤4:对IT中的每一个图像块ΨT,在IS中找到与之最相似的块ΨS。其中图像块ΨT表示在IT中大小为m*m*5的图像块,其中m表示长和宽,5表示通道数。相似图像块ΨS的定义类似。块相似的度量准则如式(1)所示:
其中,ΨRT、ΨGT、ΨBT、ΨTT、ΨOT表示ΨT的5个通道,每个通道是一个m*m的矩阵。ΨRS、ΨGS、ΨBS、ΨTS、ΨOS表示ΨS的5个通道,每个通道是一个m*m的矩阵。λ1、λ2、λ3是用来平衡不同通道的权重,通常为λ1=1、λ2=10、λ3=0.01;表示矩阵的Frobenius范数,也可以用其他矩阵相似度例如L1范数,L2范数等衡量准则代替。
步骤5:在步骤4中,为ΨT找到了相似图像块ΨS,使用ΨRS、ΨGS、ΨBS的像素值替换ΨRT、ΨGT、ΨBT中对应的像素,以更新IT。对于被多个图像块包含的像素,通过将每个相似图像块提供的像素值取均值进行替换。
步骤6:重复步骤4和步骤5,直到收敛或者IT的更新程度小于一设定阈值5.0。
步骤7:提取IT的前三个通道RT、GT、BT,组成目标艺术字图像AT=cat(RT,GT,BT)。
根据以上方法可以在纹理合成的过程中,充分利用纹理相对于文字骨架的位置信息,通过综合考虑纹理在偏移通道、文字结构通道和艺术字纹理通道的相似性,使生成的艺术字在局部纹理特征和全局纹理分布上与源艺术字更加一致,具有更准确的结构和细节,有效提升了目标文字的艺术价值。
图3A至图3C为通过本方法生成的目标艺术字,由图可知生成的艺术字效果很理想。
本发明使用的多通道方法,不限制通道个数,不限制艺术字图像为三通道彩色图像,不限制文字图像为单通道灰色图像,依据艺术字图像和文字图像具体的图像格式,可构建包含任意通道个数的图像立方,并提取对应通道个数的图像块。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内,本发明的保护范围应以权利要求书所述为准。
Claims (10)
1.一种基于多通道的艺术字生成方法,步骤包括:
提取源文字图像和目标文字图像的偏移图像;
将源文字图像、源文字图像的偏移图像和源艺术字图像按通道合并为多通道源图像立方;
初始化目标艺术字图像,将该初始化的目标艺术字图像、目标文字图像、目标文字图像的偏移图像按通道合并为多通道目标图像立方;
迭代查找目标图像立方中每个图像块在源图像立方中的相似图像块,并使用相似图像块的艺术字图像通道更新目标图像立方对应的通道,直到收敛或者目标图像立方的更新程度小于一设定阈值;
提取目标图像立方的艺术字图像通道,生成目标艺术字图像。
2.根据权利要求1所述的方法,其特征在于,先提取源文字图像和目标文字图像的文字骨架,再计算源文字图像和目标文字图像中每个像素到文字骨架的欧式距离,根据和得到源文字图像和目标文字图像的偏移图像,其中OS和OT分别为源文字图像和目标文字图像的偏移图像,SS和ST分别为源文字图像和目标文字图像的文字骨架,像素p位于偏移图像上,像素q位于文字骨架上,dist(p,q)为像素p和像素q的欧式距离。
3.根据权利要求1所述的方法,其特征在于,所述源文字图像、目标文字图像、源艺术字图像、目标艺术字图像为单通道或多通道。
4.根据权利要求1所述的方法,其特征在于,所述初始化目标艺术字图像是指对目标艺术字图像的各通道的值进行初始化,包括初始化为随机数,全部初始化为0,或者等值初始化为目标文字图像的灰度值。
5.根据权利要求1所述的方法,其特征在于,图像块相似程度依据的公式为:
其中,ΨiT为目标图像立方的图像块ΨT的第i个通道;ΨiS为源图像立方的图像块ΨS的第i个通道;每个通道为一个长×宽为m*m的矩阵;λi为平衡不同通道的权重;为矩阵的Frobenius范数。
6.根据权利要求5所述的方法,其特征在于,还可为矩阵相似度L1范数或L2范数。
7.根据权利要求1所述的方法,其特征在于,所述使用相似图像块的艺术字图像通道更新目标图像立方对应的通道,是指使用源图像立方的图像块的艺术字图像通道ΨjS的像素值替换目标图像立方的图像块的艺术字图像通道ΨjT中对应的像素值,其中,j为对应艺术字图像通道的下标索引。
8.根据权利要求7所述的方法,其特征在于,对于被多个图像块包含的像素,通过将每个相似的图像块提供的像素值取均值进行替换。
9.根据权利要求1所述的方法,其特征在于,所述阈值取5.0。
10.一种基于多通道的艺术字生成系统,包括存储器和处理器,所述存储器存储计算机程序,所述程序被配置为由所述处理器执行,所述程序包括用于执行上述权利要求1-9任一所述方法中各步骤的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810078035.5A CN108510569B (zh) | 2018-01-26 | 2018-01-26 | 一种基于多通道的艺术字生成方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810078035.5A CN108510569B (zh) | 2018-01-26 | 2018-01-26 | 一种基于多通道的艺术字生成方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108510569A true CN108510569A (zh) | 2018-09-07 |
CN108510569B CN108510569B (zh) | 2020-11-03 |
Family
ID=63374904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810078035.5A Active CN108510569B (zh) | 2018-01-26 | 2018-01-26 | 一种基于多通道的艺术字生成方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108510569B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110097615A (zh) * | 2018-12-06 | 2019-08-06 | 北京大学 | 一种联合风格化和去风格化的艺术字编辑方法和系统 |
CN110443864A (zh) * | 2019-07-24 | 2019-11-12 | 北京大学 | 一种基于单阶段少量样本学习的艺术字体自动生成方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100077307A (ko) * | 2008-12-29 | 2010-07-08 | 포항공과대학교 산학협력단 | 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 |
CN105574903A (zh) * | 2015-12-11 | 2016-05-11 | 长沙理工大学 | 一种基于gpu加速的几何纹理合成方法及系统 |
CN106327432A (zh) * | 2015-06-18 | 2017-01-11 | 北京大学 | 基于偏移量的图像修复方法及装置 |
CN106709872A (zh) * | 2016-12-08 | 2017-05-24 | 中国人民解放军国防科学技术大学 | 一种快速图像超分辨率重构方法 |
-
2018
- 2018-01-26 CN CN201810078035.5A patent/CN108510569B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100077307A (ko) * | 2008-12-29 | 2010-07-08 | 포항공과대학교 산학협력단 | 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 |
CN106327432A (zh) * | 2015-06-18 | 2017-01-11 | 北京大学 | 基于偏移量的图像修复方法及装置 |
CN105574903A (zh) * | 2015-12-11 | 2016-05-11 | 长沙理工大学 | 一种基于gpu加速的几何纹理合成方法及系统 |
CN106709872A (zh) * | 2016-12-08 | 2017-05-24 | 中国人民解放军国防科学技术大学 | 一种快速图像超分辨率重构方法 |
Non-Patent Citations (1)
Title |
---|
SHUAI YANG等: "Awesome Typography: Statistics-Based Text Effects Transfer", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110097615A (zh) * | 2018-12-06 | 2019-08-06 | 北京大学 | 一种联合风格化和去风格化的艺术字编辑方法和系统 |
CN110443864A (zh) * | 2019-07-24 | 2019-11-12 | 北京大学 | 一种基于单阶段少量样本学习的艺术字体自动生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108510569B (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kolkin et al. | Style transfer by relaxed optimal transport and self-similarity | |
US11380050B2 (en) | Face image generation method and apparatus, device, and storage medium | |
US10867416B2 (en) | Harmonizing composite images using deep learning | |
CN111632374B (zh) | 游戏中虚拟角色的脸部处理方法、装置及可读存储介质 | |
CN106204698A (zh) | 为自由组合创作的虚拟形象生成及使用表情的方法和系统 | |
US11288499B2 (en) | Interactive method for generating strokes with Chinese ink painting style and device thereof | |
CN107423689B (zh) | 智能交互式人脸关键点标注方法 | |
US20220253202A1 (en) | Automatic generation of stylized icons | |
CN110060286A (zh) | 一种单目深度估计方法 | |
CN108510569A (zh) | 一种基于多通道的艺术字生成方法及系统 | |
CN111950430A (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
CN108171650B (zh) | 一种具有笔画优化功能中国花卉水墨画风格笔画生成方法 | |
CN113052783A (zh) | 一种基于人脸关键点的人脸图像融合方法 | |
CN106210710A (zh) | 一种基于多尺度字典的立体图像视觉舒适度评价方法 | |
CN107590858A (zh) | 基于ar技术的医学样品展示方法和计算机设备、存储介质 | |
CN110097615B (zh) | 一种联合风格化和去风格化的艺术字编辑方法和系统 | |
Sparavigna | Facial transformations of ancient portraits: the face of Caesar | |
CN108171766B (zh) | 一种具有笔画轮廓纠正功能的图像生成方法 | |
Lu et al. | A novel exemplar-based image completion scheme with adaptive TV-constraint | |
CN105551073B (zh) | 一种三维人体模型的骨骼绑定方法 | |
CN112991152A (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
CN110097644A (zh) | 一种基于混合现实的表情迁移方法、装置、系统和处理器 | |
Davis | Scale and pictoriality in ancient Egyptian painting and sculpture | |
Cappellini | Electronic Imaging & the Visual Arts. EVA 2013 Florence | |
Zhang et al. | CASEformer—A Transformer-Based Projection Photometric Compensation Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180907 Assignee: BEIJING FOUNDER ELECTRONICS Co.,Ltd. Assignor: Peking University Contract record no.: X2023980033308 Denomination of invention: A method and system for generating artistic characters based on multi-channel Granted publication date: 20201103 License type: Common License Record date: 20230307 |