CN110660019A - 一种基于bpl的小数据集简笔画生成方法 - Google Patents

一种基于bpl的小数据集简笔画生成方法 Download PDF

Info

Publication number
CN110660019A
CN110660019A CN201910930272.4A CN201910930272A CN110660019A CN 110660019 A CN110660019 A CN 110660019A CN 201910930272 A CN201910930272 A CN 201910930272A CN 110660019 A CN110660019 A CN 110660019A
Authority
CN
China
Prior art keywords
stroke
strokes
image
bpl
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910930272.4A
Other languages
English (en)
Inventor
王竹晓
陈观澜
唐志国
李为
关志涛
张莹
贾静平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN201910930272.4A priority Critical patent/CN110660019A/zh
Publication of CN110660019A publication Critical patent/CN110660019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard

Abstract

本发明公开了一种基于BPL的小数据集简笔画生成方法，学习笔划、笔划位置及笔划的位置关联后，生成各种类别的概率模型，再根据不同的概率模型进行简笔画的实现；对类别T的概率模型满足：
Figure DDA0002220039170000011
其中，e为类别T的一个示例，I是示例e的具体图像，M为类别T对应的示例数量，P为概率，m为循环数。本发明基于BPL的小数据集简笔画生成方法，基于小数据集即可生成较好效果的图像，改变了需要大量原始数据才能进行AI绘画的现状，提高了效率，降低了成本；在实现了对原有画作风格模仿的基础上，还可根据原有的画作风格进行模板的再创造。

Description

一种基于BPL的小数据集简笔画生成方法
技术领域
本发明涉及一种基于BPL的小数据集简笔画生成方法，属于简笔画生成领域。
背景技术
AI绘画作为计算机视觉的一个研究热点，随着相关工作的不断进展，AI绘画实现了飞速的生长，成为大家关注的热点话题，从简笔画到绘画，再到真实图片的生成，甚至人类都难以分辨。AI绘画，是指基于机器学习模型进行自动数字绘图的计算机程序，虽然AI绘画的发展迅速，但是AI绘画还存在着许多严峻的挑战。
对于机器学习模型而言，让AI学会绘画的过程就是一个模型的构建以及相关参数的训练调整，在模型训练中，每一幅的图画其实质是m*n的像素点矩阵；对于彩色图像来说，每一个像素点都是由RGB三个颜色通道组成。虽然AI绘画的模型训练的原理很简单，但实现起来却并不容易。2012年，吴恩达和JeffDean使用GoogleBrain的上万个CPU进行了神经网络的训练，用于生成猫脸图片，在训练过程中，两位学者共使用了1000万个的猫脸图片，模型训练使用了三天，是一个比较漫长的时间，然而最终的效果也并不令人满意。模型需要训练的训练集是一个包含许多参数的集合，范围很广泛，包括位置、形状、颜色以及大小等，加大了模型训练的难度；线条之间的联系与组合，同样会加大计算的难度。现有的AI绘画存在训练集庞大、效率低、成本高的问题。
如果希望AI可以在达到模仿已有的画作风格的基础上，还能够根据原作风格创造模板，模型训练的难度更是上升了一个层次。一个原因在于，“创造”是一个相对抽象的概念，对模型来说，使用模型来表达抽象的“风格”是比较困难的。
发明内容
本发明提供一种基于BPL的小数据集简笔画的生成算法，目的是解决在AI绘画模型训练时需要庞大的数据集的问题，本发明只需要相对较小的数据集就可以完成较好的训练结果，并且在实现了对原有画作风格模仿的基础上，还可根据原有的画作风格进行模板的再创造。
为解决上述技术问题，本发明所采用的技术方案如下：
一种基于BPL的小数据集简笔画生成方法，学习笔划、笔划位置及笔划的位置关联后，生成各种类别的概率模型，再根据不同的概率模型进行简笔画的实现；对类别T的概率模型满足：
Figure BDA0002220039150000021
其中，e为类别T的一个示例，I是示例e的具体图像，M为类别T对应的示例数量，P为概率m是循环数。
本申请中，P均为概率。
上述BPL定义了一种生成模型，它可以通过对笔划进行新的组合，从而对新类别的概念进行学习。每种新类别即为一种生成模型，可以根据这个类别的生成模型产生新的示例。也即BPL可以创造地生成模型，最后，会以原始数据的格式生成示例。
利用BPL生成简笔画的过程也是从图画骨架生成和图画细节实现两方面来进行的。接下来介绍基于BPL实现简笔画生成的具体过程。
上述小数据集简笔画生成方法，包括如下步骤：
S1：学习基本笔划和笔划的起始位置；
S2：学习笔划的位置关联；
S3：生成简笔画类别；
S4：在类别中加入仿射变化以及轨迹噪声，形成概率模型；
S5：生成简笔画示例及简笔画示例的对应图像。
利用基于BPL的小数据集简笔画生成算法时，所使用的数据集需要包括背景图像以及笔划的运动数据，用于学习训练BPL超参数。
上述S1中，学习基本笔划有多种作用：首先，可以在数据集中发现共同的基本笔划，有利于之后的简笔画生成；其次，还可以在数据集中寻找到基本笔划的定向轨迹，不同的基本笔划是具有不同的方向偏好的，比如从上到下、从左至右的方向偏好；这样学习到的基本笔划及其方向偏好是与位置无关的；并且可以在一定的范围内对基本笔划的比例进行改变。在基本笔划的选择中，每种基本笔划都倾向于较简单、较小，而不是更大更复杂的笔划。这对之后示例的生成是必要的。
在简笔画的生成中，笔划被定义为一个连续的线条。笔划可以分解为子笔划，通过笔的笔刷来分离笔划，并且许多笔划倾向于具有更简单，更平滑。
上述S1中，学习笔划的起始位置为：根据原始数据集，分别对图像的各个笔划进行分析，并为简笔画的各笔划设置单独的多项网格模型来估计笔划开始位置Li。所有的笔划起始位置共享一个经验频率模型。每一个笔划的概率是由经验频率估计出来的，并且复杂粒度、平滑性等一些参数需要通过交叉验证来保证正确。一般来说，左部、上部以及左上方是比较常见的起始位置。
上述S2中，学习笔划的位置关联为：将S1步骤学习到的基本笔划和笔划的起始位置作为输入，学习笔划的位置关联；笔划的位置关联Ri特征显示了笔划Si的开始与先前的笔划{S1，...，Si-1}的关系，笔划的位置关联Ri有四种类型，Ri∈{Independent，Start，End，Along}，其中，Independent为独立关系，笔划i的位置不依赖于先前的笔划；Start为起始关系，笔划i在前一笔划ui的开始处开始，从ui∈{1，...，i-1}随机均匀地采样；End为结束关系，笔划i在前一个笔划ui的末尾开始，从ui∈{1，...，i-1}随机均匀地采样；Along为中段关系，笔划i在前笔划中段开始，从ui∈{1，...，i-1}随机均匀地采样。
上述S3中，生成简笔画类别为：将S1步骤中学习到的基本笔划和笔划的起始位置，以及S2步骤中学习到的笔划的位置关联作为输入，通过BPL算法，生成简笔画的类别，简笔画的类别T＝{n,S,R}是由简笔画的笔划以及笔划之间的位置关联所定义的，满足公式：
Figure BDA0002220039150000031
其中，S是笔划，R是笔划之间的位置关联，n是笔划的数量，P(n)是在所有采集样本的笔划经验频率估计。
上述S3中，生成简笔画类别的算法为：
a、采集需要学习的类别数量，κ←P(κ)；
b、遍历类别数量fori＝1…κ；
c、采集子笔划的数量，ni←P(ni|κ)；
d、遍历子笔划，for j＝1…ni；
e、采集子笔划的顺序，sij←P(sij|si(j-1))，ij表示第i个笔划的，第j个子笔划；
f、End for；
g、采集笔划间的位置关联，Ri←P(Ri|Si,…,Si-1)；
h、End for；
i、生成类别完成。
上述S4包括：S41、在S3中生成的简笔画类别中加入仿射变换，对于每个图像，计算着墨中心和范围；S42、为每个图像计算比例或翻转，以使着墨中心和范围与组平均值匹配；S43、为生成的简笔画类别中加入轨迹方差，改变原有的轨迹。着墨中心和范围的计算采用现有方法即可，给示例加入仿射变换后，一般将画布中心作为图画中心。组平均值为原始图像着墨中心和范围的平均值。
上述S5中生成的简笔画示例e(m)＝(L(m),x(m),y(m),R(m),A(m),δb (m),ε(m)),满足联合分布：
P(e(m)|T)＝P(L(m)|e(m),T)∏iP(Ri (m)|Ri)P(yi (m)|yi)P(xi (m)|xi)P(A(m),δb (m),ε(m))，
其中，e(m)为示例，L(m)是笔划的起始位置，x(m)为笔划控制量，y(m)为笔划规格，R(m)为笔划间的位置关联，A(m)是仿射变换，δb (m)图像的模糊量，ε(m)是像素噪声。
S5中图像的每条笔划轨迹满足：
Figure BDA0002220039150000041
Figure BDA0002220039150000042
为笔划开始位置，x(m)为笔划控制量，y(m)为笔划规格。笔划控制量和笔划规格是示例生成必不可少的方面，保证了同一个类别可以产生许多不同版本的示例。为了构造轨迹，由定义的
Figure BDA0002220039150000043
和
Figure BDA0002220039150000044
形成轨迹1，第二个
Figure BDA0002220039150000045
和
Figure BDA0002220039150000046
形成轨迹2，并将其放置在前一个子笔划轨迹的末尾，依此类推，直到所有子笔划都放置到位。
笔划轨迹是图像平面中表示笔的路径的点序列。
上述S5中生成图像为：仿射变换A(m)∈R4从P(A(m))＝N([1,1,0,0],∑A)中采样，其中，前两个元素控制全局缩放，后两个元素控制质心的全局平移；在应用A(m)之后，灰度曲线与轨迹相对应，轨迹T(m)上的每个点对四个最接近像素放置两个单位的墨水，然后，再将该图像加入噪声，完成图像生成工作：
P(I(m)|e(m))＝P(I(m)|t(m),R(m),A(m),δb (m),ε(m))，其中，I(m)为图像，e(m)为示例，t(m)为笔划轨迹，R(m)为笔划间的位置关联，A(m)是仿射变换，δb (m)图像的模糊量，ε(m)是像素噪声。
上述S5中，生成图像的算法为：
a、遍历类别数量，fori＝1…κ；
b、采集示例笔划，
Figure BDA0002220039150000047
c、采集笔划的起始位置，
Figure BDA0002220039150000048
d、构建当前笔划的轨迹，其中
Figure BDA0002220039150000052
函数将子笔划序列和起始位置转化成笔划的轨迹；
e、End for；
f、采集仿射变换，A(m)←P(A(m))；
g、采集图像，I(m)←P(I(m)|T(m)，A(m))；
h、生成图像完成。
本发明所涉及的BPL算法，与一般的神经网络算法不同，本发明只需要较小的数据集就能达到较好的效果，能够从一个单一的例子中学习大量的视觉概念，被表示为概率模型，表示为抽象描述语言中的结构化程序。如图2所示，BPL(bayesian program learnig)由三部分组成分别是“组合性(compositionality)”、“因果性(causality)”以及“元学习(learning to learn)”。这三个因素共有三个关键思想，第一，丰富的概念可以从简单的原语“组合”构建；第二，创造中需要加入噪声并支持创造性概括，以及抽象现实世界过程的“因果”结构；最后，学习过程能够通过一个既定标准进行解释和评判，即能够最好地解释贝叶斯标准下的观察结果的程序，并且可以通过开发层级先验来进行“元学习”，这些先验允许先前的相关概念经验以便于学习新概念。简而言之，BPL可以通过重用现有的程序来构建新的程序，捕获因果关系和组成在多个尺度上运作的生成过程的联系。
本发明未提及的技术均参照现有技术。
本发明基于BPL的小数据集简笔画生成方法，基于小数据集即可生成较好效果的图像，改变了需要大量原始数据才能进行AI绘画的现状，提高了效率，降低了成本；在实现了对原有画作风格模仿的基础上，还可根据原有的画作风格进行模板的再创造。
附图说明
图1为简笔画的生成过程图；
图2为BPL算法组成；
图3为基于BPL的小数据集简笔画生成方法的流程图；
图4为具体实施方式中的样例一(第一幅图为原始图像，后三幅为生成图像)；
图5为具体实施方式中的样例二(第一幅图为原始图像，后三幅为生成图像)；
具体实施方式
为了更好地理解本发明，下面结合实施例进一步阐明本发明的内容，但本发明的内容不仅仅局限于下面的实施例。
简笔画的生成过程如图1所示：简笔画的生成主要包括以下两个方面：简笔画的图画骨架生成以及简笔画的细节实现。图画骨架的生成需要两个步骤：确定简笔画的使用到的笔划，并且笔划并不是随意出现的，笔划之间的位置关系也是需要考虑的。图画细节实现包括三个步骤：首先，确定笔划的方向，笔划的方向对AI绘画来说也是必须考虑的，这对理解笔划的组合以及因果关系是很有必要的；其次，使用灰度图像实现笔划的生成；最后，还需要加入轨迹方差，否则，生成的同类笔划都是相同的，这显然不符合常识。
基于BPL的小数据集简笔画生成方法为：学习笔划、笔划位置及笔划的位置关联后，生成各种类型的概率模型，再根据不同的概率模型进行简笔画的实现；对类型T的概率模型满足：
Figure BDA0002220039150000061
其中，e为类型T的一个示例，I是示例e的具体图像，M为类型T对应的示例数量，P为概率，m为循环数。
基于BPL的小数据集简笔画生成方法，包括如下步骤：
S1：学习基本笔划和笔划的起始位置；
S2：学习笔划的位置关联；
S3：生成简笔画类别；
S4：在类别中加入仿射变化以及轨迹噪声，形成概率模型；
S5：生成简笔画示例及简笔画示例的对应图像。
上述S1中，在起始位置方面，鼓励在背景集中找到共同的形状，在样例一中，起始位置是由整体的左边开始，在样例二中，起始位置是由整体的左上方开始；在基本笔划方面，为了达到数据标准化的目的，通过线性插值的方法，每过50毫秒采集数据。
学习笔划的起始位置为：根据原始图像，分别对图像的各个笔划进行分析，并为简笔画的各笔划设置单独的多项网格模型来估计笔划开始位置Li。所有的笔划起始位置共享一个经验频率模型。每一个笔划的概率是由经验频率估计出来的，并且复杂粒度、平滑性等一些参数需要通过交叉验证来保证正确。一般来说，左部、上部以及左上方是比较常见的起始位置。
上述S2中，学习笔划的位置关联为：将S1步骤学习到的基本笔划和笔划的起始位置作为输入，学习笔划的位置关联；笔划的位置关联Ri特征显示了笔划Si的开始与先前的笔划{S1，...，Si-1}的关系，笔划的位置关联Ri有四种类型，Ri∈{Independent，Start，End，Along}，其中，Independent为独立关系，笔划i的位置不依赖于先前的笔划；Start为起始关系，笔划i在前一笔划ui的开始处开始，从ui∈{1，...，i-1}随机均匀地采样；End为结束关系，笔划i在前一个笔划ui的末尾开始，从ui∈{1，...，i-1}随机均匀地采样；Along为中段关系，笔划i在前笔划中段开始，从ui∈{1，...，i-1}随机均匀地采样。
上述S3中，生成简笔画类别为：将S1步骤中学习到的基本笔划和笔划的起始位置，以及S2步骤中学习到的笔划的位置关联作为输入，通过BPL算法，生成简笔画的类别，简笔画的类别T＝{n,S,R}是由简笔画的笔划以及笔划之间的位置关联所定义的，满足公式：
Figure BDA0002220039150000071
其中，S是笔划，R是笔划之间的位置关联，n是笔划的数量，P(n)是在所有采集样本的笔划经验频率估计。在样例一和样例二中，使用到的基本笔划包括“横”、“竖”、“横折”；起始位置是“左”；位置关系是“在中段连接”居多；
生成简笔画类别的算法为：
a、采集需要学习的类别数量，κ←P(κ)；
b、遍历类别数量fori＝1…κ；
c、采集子笔划的数量，ni←P(ni|κ)；
d、遍历子笔划，for j＝1…ni；
e、采集子笔划的顺序，sij←P(Sij|Si(j-1))；
f、End for；
g、采集笔划间的位置关联，Ri←P(Ri|Si,…,Si-1)；
h、End for；
i、生成类别完成。
上述S4包括：S41、在S3中生成的简笔画类别中加入仿射变换，对于每个图像，计算着墨中心和范围；S42、为每个图像计算比例或翻转，以使着墨中心和范围与组平均值匹配；样例二中，超参数a＝0.5和b＝6具有最大似然；S43、为生成的简笔画类别中加入轨迹方差，改变原有的轨迹，在样例二中，轨迹由原来的平直，变为上倾或下倾。
上述S5中，将S4步骤中生成的字符作为输入，为具体的生成的字符生成图像，灰度曲线使用与生成对应的字符相似的轨迹，轨迹上的每个点对四个最接近的像素使用双线性插值贡献两个单位的墨水，然后这个灰度图像被扰动，通过两个噪声过程，使梯度在优化过程中更加鲁棒，并在分类过程中鼓励局部解。第一个噪声过程模糊了模型对字符的渲染，通过带有标准偏差σ的高斯滤波器的卷积来完成，噪声量σ本身是随机可变的，采样的均匀分布在指定的范围内，允许变形适应性。第二个噪声过程随机地以概率(m)翻转像素，使得上墨二进制像素的是伯努利概率，然后，灰度像素参数化105x105个独立的伯努利分布，完成二进制图像的完整模型。
生成的简笔画示例e(m)＝(L(m),x(m),y(m),R(m),A(m),δb (m),ε(m)),满足联合分布：
P(e(m)|T)＝P(L(m)|e(m),T)∏iP(Ri (m)|Ri)P(yi (m)|yi)P(xi (m)|xi)P(A(m),δb (m),ε(m))，
其中，e(m)为示例，L(m)是笔划的起始位置，x(m)为笔划控制量，y(m)为笔划规格，R(m)为笔划间的位置关联，A(m)是仿射变换，δb (m)图像的模糊量，ε(m)是像素噪声。
S5中图像的每条笔划轨迹满足：
Figure BDA0002220039150000082
为笔划开始位置，x(m)为笔划控制量，y(m)为笔划规格。笔划控制量和笔划规格是示例生成必不可少的方面，保证了同一个类型可以产生许多不同版本的示例。为了构造轨迹，由定义的和
Figure BDA0002220039150000084
形成轨迹1，第二个
Figure BDA0002220039150000085
和
Figure BDA0002220039150000086
形成轨迹2，并将其放置在前一个子笔划轨迹的末尾，依此类推，直到所有子笔划都放置到位。
S5中生成图像为：仿射变换A(m)∈R4从P(A(m))＝N([1,1,0,0],∑A)中采样，其中，前两个元素控制全局缩放，后两个元素控制质心的全局平移；在应用A(m)之后，灰度曲线与轨迹相对应，轨迹T(m)上的每个点对四个最接近像素放置两个单位的墨水，然后，再将该图像加入噪声，完成图像生成工作：
P(I(m)|e(m))＝P(I(m)|t(m),R(m),A(m),δb (m),ε(m))，其中，I(m)为图像，e(m)为示例，t(m)为笔划轨迹，R(m)为笔划间的位置关联，A(m)是仿射变换，δb (m)图像的模糊量，ε(m)是像素噪声。
S5中，生成图像的算法为：
a、遍历类别数量，fori＝1…κ；
b、采集示例笔划，
Figure BDA0002220039150000087
c、采集笔划的起始位置，
Figure BDA0002220039150000091
d、构建当前笔划的轨迹，
Figure BDA0002220039150000092
其中函数将子笔划序列和起始位置转化成笔划的轨迹；
e、End for；
f、采集仿射变换，A(m)←P(A(m))；
g、采集图像，I(m)←P(I(m)|T(m)，A(m))；
h、生成图像完成。
由图4-5可看出，通过一个原始图像，即可生成多幅不同风格的图像，也即，基于小数据集即可生成较好效果的图像，改变了需要大量原始数据才能进行AI绘画的现状，提高了效率，降低了成本；在实现了对原有画作风格模仿的基础上，还可根据原有的画作风格进行模板的再创造。

Claims (10)

1.一种基于BPL的小数据集简笔画生成方法，其特征在于：学习笔划、笔划位置及笔划的位置关联后，生成各种类别的概率模型，再根据不同的概率模型进行简笔画的实现；对类别T的概率模型满足：
其中，e为类别T的一个示例，I是示例e的具体图像，M为类别T对应的示例数量，P为概率，m是循环数。
2.如权利要求1所述的基于BPL的小数据集简笔画生成方法，其特征在于：包括如下步骤：
S1：学习基本笔划和笔划的起始位置；
S2：学习笔划的位置关联；
S3：生成简笔画类别；
S4：在类别中加入仿射变化以及轨迹噪声，形成概率模型；
S5：生成简笔画示例及简笔画示例的对应图像。
3.如权利要求2所述的基于BPL的小数据集简笔画生成方法，其特征在于：S1中，学习笔划的起始位置为：根据原始数据集，分别对图像的各个笔划进行分析，并为简笔画的各笔划设置单独的多项网格模型来估计笔划开始位置Li。
4.如权利要求2或3所述的基于BPL的小数据集简笔画生成方法，其特征在于：S2中，学习笔划的位置关联为：将S1步骤学习到的基本笔划和笔划的起始位置作为输入，学习笔划的位置关联；笔划的位置关联Ri特征显示了笔划Si的开始与先前的笔划{S1，...，Si-1}的关系，笔划的位置关联Ri有四种类型，Ri∈{Independent，Start，End，Along}，其中，Independent为独立关系，笔划i的位置不依赖于先前的笔划；Start为起始关系，笔划i在前一笔划ui的开始处开始，从ui∈{1，...，i-1}随机均匀地采样；End为结束关系，笔划i在前一个笔划ui的末尾开始，从ui∈{1，...，i-1}随机均匀地采样；Along为中段关系，笔划i在前笔划中段开始，从ui∈{1，...，i-1}随机均匀地采样。
5.如权利要求2或3所述的基于BPL的小数据集简笔画生成方法，其特征在于：S3中，生成简笔画类别为：将S1步骤中学习到的基本笔划和笔划的起始位置，以及S2步骤中学习到的笔划的位置关联作为输入，通过BPL算法，生成简笔画的类别，简笔画的类别T＝{n，S，R}是由简笔画的笔划以及笔划之间的位置关联所定义的，满足公式：
Figure FDA0002220039140000021
其中，S是笔划，R是笔划之间的位置关联，n是笔划的数量，P(n)是所有采集样本的笔划经验频率估计。
6.如权利要求5所述的基于BPL的小数据集简笔画生成方法，其特征在于：S3中，生成简笔画类别的算法为：
a、采集需要学习的类别数量，κ←P(κ)；
b、遍历类别数量fori＝1...κ；
c、采集子笔划的数量，ni←P(ni|κ)；
d、遍历子笔划，for j＝1...ni；
e、采集子笔划的顺序，sij←P(sij|Si(j-1))；
f、End for；
g、采集笔划间的位置关联，Ri←P(Ri|Si，...，Si-1)；
h、End for；
i、生成类别完成。
7.如权利要求2或3所述的基于BPL的小数据集简笔画生成方法，其特征在于：S4包括：S41、在S3中生成的简笔画类别中加入仿射变换，对于每个图像，计算着墨中心和范围；S42、为每个图像计算比例或翻转，以使着墨中心和范围与组平均值匹配；S43、为生成的简笔画类别中加入轨迹方差，改变原有的轨迹。
8.如权利要求2或3所述的基于BPL的小数据集简笔画生成方法，其特征在于：S5中生成的简笔画示例e(m)＝(L(m)，x(m)，y(m)，R(m)，A(m)，δb (m)，ε(m))，满足联合分布：
P(e(m)|T)＝P(L(m)|e(m)，T)ΠiP(Ri (m)|Ri)P(yi (m)|yi)P(xi (m)|xi)P(A(m)，δb (m)，ε(m))，
其中，e(m)为示例，L(m)是笔划的起始位置，x(m)为笔划控制量，y(m)为笔划规格，R(m)为笔划间的位置关联，A(m)是仿射变换，δb (m)图像的模糊量，ε(m)是像素噪声。
9.如权利要求2或3所述的基于BPL的小数据集简笔画生成方法，其特征在于：S5中图像的每条笔划轨迹满足：
Figure FDA0002220039140000022
Figure FDA0002220039140000023
为笔划开始位置，x(m)为笔划控制量，y(m)为笔划规格；
S5中生成图像为：仿射变换A(m)∈R4从P(A(m))＝N([1，1，0，0]，∑A)中采样，其中，前两个元素控制全局缩放，后两个元素控制质心的全局平移；在应用A(m)之后，灰度曲线与轨迹相对应，轨迹T(m)上的每个点对四个最接近像素放置两个单位的墨水，然后，再将该图像加入噪声，完成图像生成工作：
P(I(m)|e(m))＝P(I(m)|t(m)，R(m)，A(m)，δb (m)，ε(m))，其中，I(m)为图像，e(m)为示例，t(m)为笔划轨迹，R(m)为笔划间的位置关联，A(m)是仿射变换，δb (m)图像的模糊量，ε(m)是像素噪声。
10.如权利要求2或3所述的基于BPL的小数据集简笔画生成方法，其特征在于：S5中，生成图像的算法为：
a、遍历类别数量，fori＝1...κ；
b、采集示例笔划，
Figure FDA0002220039140000031
c、采集笔划的起始位置，
Figure FDA0002220039140000032
d、构建当前笔划的轨迹，
Figure FDA0002220039140000033
其中
Figure FDA0002220039140000034
函数将笔划序列和起始位置转化成笔划的轨迹；
e、End for；
f、采集仿射变换，A(m)←P(A(m))；
g、采集图像，I(m)←P(I(m)|T(m)，A(m))；
h、生成图像完成。
CN201910930272.4A 2019-09-29 2019-09-29 一种基于bpl的小数据集简笔画生成方法 Pending CN110660019A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910930272.4A CN110660019A (zh) 2019-09-29 2019-09-29 一种基于bpl的小数据集简笔画生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910930272.4A CN110660019A (zh) 2019-09-29 2019-09-29 一种基于bpl的小数据集简笔画生成方法

Publications (1)

Publication Number Publication Date
CN110660019A true CN110660019A (zh) 2020-01-07

Family

ID=69039706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910930272.4A Pending CN110660019A (zh) 2019-09-29 2019-09-29 一种基于bpl的小数据集简笔画生成方法

Country Status (1)

Country Link
CN (1) CN110660019A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090254572A1 (en) * 2007-01-05 2009-10-08 Redlich Ron M Digital information infrastructure and method
CN103793930A (zh) * 2014-01-27 2014-05-14 汉王科技股份有限公司 铅笔画图像生成方法及装置
CN105469053A (zh) * 2015-11-25 2016-04-06 成都数联铭品科技有限公司 一种基于贝叶斯优化的图像表格文字切分方法
CN105512692A (zh) * 2015-11-30 2016-04-20 华南理工大学 基于blstm的联机手写数学公式符号识别方法
CN108090489A (zh) * 2018-01-15 2018-05-29 兰州理工大学 基于计算机的依据字素分割的脱机手写维文单词识别方法
CN110189167A (zh) * 2019-05-20 2019-08-30 华南理工大学 一种基于异构图嵌入的移动广告欺诈检测方法
CN110232337A (zh) * 2019-05-29 2019-09-13 中国科学院自动化研究所 基于全卷积神经网络的中文字符图像笔划提取方法、系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090254572A1 (en) * 2007-01-05 2009-10-08 Redlich Ron M Digital information infrastructure and method
CN103793930A (zh) * 2014-01-27 2014-05-14 汉王科技股份有限公司 铅笔画图像生成方法及装置
CN105469053A (zh) * 2015-11-25 2016-04-06 成都数联铭品科技有限公司 一种基于贝叶斯优化的图像表格文字切分方法
CN105512692A (zh) * 2015-11-30 2016-04-20 华南理工大学 基于blstm的联机手写数学公式符号识别方法
CN108090489A (zh) * 2018-01-15 2018-05-29 兰州理工大学 基于计算机的依据字素分割的脱机手写维文单词识别方法
CN110189167A (zh) * 2019-05-20 2019-08-30 华南理工大学 一种基于异构图嵌入的移动广告欺诈检测方法
CN110232337A (zh) * 2019-05-29 2019-09-13 中国科学院自动化研究所 基于全卷积神经网络的中文字符图像笔划提取方法、系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LAKE B M 等: "Human-Level Concept Learning through Probabilistic Program Induction", 《SCIENCE》 *

Similar Documents

Publication Publication Date Title
CN107833183B (zh) 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法
Kobler et al. Variational networks: connecting variational methods and deep learning
Simo-Serra et al. Mastering sketching: adversarial augmentation for structured prediction
Zhang et al. Age progression/regression by conditional adversarial autoencoder
CN109635883B (zh) 基于深度堆叠网络的结构信息指导的中文字库生成方法
CN109636905A (zh) 基于深度卷积神经网络的环境语义建图方法
US9449253B2 (en) Learning painting styles for painterly rendering
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN106384094A (zh) 一种基于书写风格建模的中文字库自动生成方法
CN102509333B (zh) 基于动作捕获数据驱动的二维卡通表情动画制作方法
CN104463209A (zh) 一种基于bp神经网络的pcb板上数字代码识别方法
CN103473801A (zh) 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法
CN109064522A (zh) 基于条件生成对抗网络的汉字字体生成方法
CN113807265B (zh) 一种多样化的人脸图像合成方法及系统
Ren et al. Two-stage sketch colorization with color parsing
CN111062290B (zh) 基于生成对抗网络中国书法风格转换模型构建方法及装置
CN111125403B (zh) 一种基于人工智能的辅助设计绘图方法及系统
CN102637078A (zh) 一种结构优化的汉字字形生成方法
CN113779289A (zh) 基于人工智能的绘画步骤还原系统
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
Xie et al. Stroke-based stylization learning and rendering with inverse reinforcement learning
CN110232337B (zh) 基于全卷积神经网络的中文字符图像笔划提取方法、系统
CN110660019A (zh) 一种基于bpl的小数据集简笔画生成方法
Xie et al. Stroke-based stylization by learning sequential drawing examples
CN115018729A (zh) 一种面向内容的白盒图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination