CN113706646A - 用于生成山水画的数据处理方法 - Google Patents

用于生成山水画的数据处理方法 Download PDF

Info

Publication number
CN113706646A
CN113706646A CN202110739037.6A CN202110739037A CN113706646A CN 113706646 A CN113706646 A CN 113706646A CN 202110739037 A CN202110739037 A CN 202110739037A CN 113706646 A CN113706646 A CN 113706646A
Authority
CN
China
Prior art keywords
landscape painting
generating
image
landscape
image segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110739037.6A
Other languages
English (en)
Inventor
周乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kuzhan Ningbo Creative Technology Co ltd
Original Assignee
Kuzhan Ningbo Creative Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kuzhan Ningbo Creative Technology Co ltd filed Critical Kuzhan Ningbo Creative Technology Co ltd
Priority to CN202110739037.6A priority Critical patent/CN113706646A/zh
Publication of CN113706646A publication Critical patent/CN113706646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开用于生成山水画的数据处理方法，包括首先用户端检测界面的目标区域是否被触发草图的输入操作，如果被触发输入操作，持续接收输入的草图线条信息；而后在检测到界面被触发山水画生成请求后，将输入完成的草图线条信息发送至服务端，以使服务端利用预训练的循环生成对抗网络中的生成器，根据草图线条信息随机生成任一类型的山水画文档数据；最后接收服务端发送的所述山水画的文档数据，并基于所述文档数据将所述山水画在所述目标区域显示。通过用户端与服务端的交互，实现了山水画绘制过程中的实时交互；通过本申请的循环生成对抗网络的生成器使从草图域到绘画域的映射更加灵活和多样。

Description

用于生成山水画的数据处理方法
技术领域
本公开涉及数据处理技术领域，具体涉及到一种用于生成山水画的数据处理方法。
背景技术
相关技术中，将自然图像翻译成艺术风格，作为一般图像到图像翻译任务的特定应用。一方面，这些作品大多是在现有的图像上操作，无法进行实时交互；另一方面，采用的一些网络模型实现图像到图像翻译任务，灵活性非常差；再一方面，相关技术中无法实现山水画的智能化绘制。
发明内容
本公开的主要目的在于提供一种用于生成山水画的数据处理方法。
为了实现上述目的，根据本公开的第一方面，提供了一种用于生成山水画的数据处理方法，包括：用户端检测界面的目标区域是否被触发草图的输入操作，如果被触发所述输入操作，持续接收所述输入的草图线条信息；在检测到所述界面被触发山水画生成请求后，将输入完成的草图线条信息发送至服务端，以使所述服务端利用预训练的循环生成对抗网络中的生成器，根据所述草图线条信息随机生成任一类型的山水画文档数据；接收所述服务端发送的所述山水画的文档数据，并基于所述文档数据将所述山水画在所述目标区域显示。
可选地，方法还包括：用户端检测界面的目标输入区域是否被触发文本输入操作；如果被触发，将所述文本信息发送至所述服务端，以使所述服务端基于输入的所述文本生成反馈信息。
可选地，方法还包括存储输入完成的草图线条信、生成的所述山水画文档数据，并将其作为训练循环生成对抗网络的样本集。
可选地，循环生成对抗网络的训练过程包括：在获取到山水画样本集后，对每个山水画样本图像进行分割，得到多个图像分割单元；对所述每一个图像分割单元中的山水画进行线条提取，得到每个图像分割单元对应的用于表示山水画肌理的线条集合；建立循环生成对抗网络模型；对所述网络模型进行迭代训练，且在每次训练过程中，随机确定一张图像分割单元对应的线条集合、并随机确定一个图像分割单元作为训练样本。
可选地，建立循环生成对抗网络模型包括：建立两个生成器G和F，其中，两个生成器的结构相同，所述生成器G用于生成与所述图像分割单元中山水画相似的图像G(x)；所述生成器F用于生成所述图像分割单元对应的相似线条集合；建立两个判别器DX和DY，其中，判别器DY用于区分生成的相似图像G(x)和图像分割单元对应的线条集合；判别器DX用于区分生成的相似线条集合与图像分割单元中的山水画；建立损失函数，L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)；其中，LGAN(G，DY，X，Y)、LGAN(F，DX，Y，X)为对抗损失；Lcyc(G,F)为循环一致性损失，λ用于平衡正则项；建立所述网络模型的训练目标：
G*，F*＝arg min max L(G，F，DX，DY)
G,F DX，DY
可选地，对每一个图像分割单元中的山水画进行线条提取包括：对边缘检测器进行配置；利用所述边缘检测器对所述图像分割单元进行线条提取。
可选地，在对每个山水画样本图像进行分割之前，所述方法还包括：获取包含多个类型的原始山水画扫描图像；和/或，对所述原始山水画扫描图像进行二值化处理，以确定所述所述扫描图像对应的边界；自适应计算每个二值化处理后图像的阈值；对二值化处理后的图像进行降噪处理；删除所述边界以外的框架，得到包含多个类型的山水画样本集。
根据本公开的第二方面，提供了一种用于生成山水画的数据处理方法，包括：响应于接收到所述用户端发送的山水画生成请求，从所述用户端获取草图线条信息；基于预训练的循环生成对抗网络中的生成器G，随机生成所述草图线条信息对应的任一类型的山水画文档；将所述文档发送至所述用户端。
可选地，循环生成对抗网络的训练过程包括：在获取到山水画样本集后，对每个山水画样本图像进行分割，得到多个图像分割单元；对所述每一个图像分割单元中的山水画进行线条提取，得到每个图像分割单元对应的用于表示山水画肌理的线条集合；建立循环生成对抗网络模型；对所述网络模型进行迭代训练，且在每次训练过程中，随机确定一张图像分割单元对应的线条集合、并随机确定一个图像分割单元作为训练样本。
可选地，建立循环生成对抗网络模型包括：建立两个生成器G和F，其中，两个生成器的结构相同，所述生成器G用于生成与所述图像分割单元中山水画相似的图像G(x)；所述生成器F用于生成所述图像分割单元对应的相似线条集合；建立两个判别器DX和DY，其中，判别器DY用于区分生成的相似图像G(x)和图像分割单元对应的线条集合；判别器DX用于区分生成的相似线条集合与图像分割单元中的山水画；建立损失函数，L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)；其中，LGAN(G，DY，X，Y)、LGAN(F，DX，Y，X)为对抗损失；Lcyc(G,F)为循环一致性损失，λ用于平衡正则项；建立所述网络模型的训练目标：
G*，F*＝arg min max L(G，F，DX，DY)
G,F DX，DY。
本公开实施例用于生成山水画的数据处理方法，包括首先用户端检测界面的目标区域是否被触发草图的输入操作，如果被触发输入操作，持续接收输入的草图线条信息；而后在检测到界面被触发山水画生成请求后，将输入完成的草图线条信息发送至服务端，以使服务端利用预训练的循环生成对抗网络中的生成器，根据草图线条信息随机生成任一类型的山水画文档数据；最后接收服务端发送的所述山水画的文档数据，并基于所述文档数据将所述山水画在所述目标区域显示。通过用户端与服务端的交互，实现了山水画绘制过程中的实时交互；通过本申请的循环生成对抗网络的生成器使从草图域到绘画域的映射更加灵活和多样。克服了现有技术存在的无法实时交互、无法智能化绘制山水画、以及图像到图像的翻译灵活性差的缺陷。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开一个实施例的用于生成山水画的数据处理方法的流程图；
图2是根据本公开实施例的用于生成山水画的数据处理方法的一个应用场景图；
图3是根据本公开实施例的用于生成山水画的数据处理方法的另一个应用场景图；
图4是根据本公开实施例的用于生成山水画的数据处理方法的又一个应用场景图。
图5是根据本公开另一实施例的用于生成山水画的数据处理方法的流程图
图6是根据本公开实施例的电子设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
“山水”的字面意思是“山与水”，又称文人画，它是一种东亚风格的中国画，它使用墨水，涉及自然景观。作为中国人所说的文人艺术一或学者业余艺术的一个关键要素，“山水”过去一直伴随着他们的教育，中国学者都接受了这种形式的美术培训。这种艺术形式，在很长的历史中，是中国古代知识分子整个群体精神生活中必不可少的一部分。
根据本公开实施例，提供了一种用于生成山水画的数据处理方法，如图1所示，该方法包括如下的步骤101至步骤104：
步骤101：用户端检测界面的目标区域是否被触发草图的输入操作，如果被触发所述输入操作，持续接收所述输入的草图线条信息。
在本实施例中，用户端的界面可以包括两种模式，可以包括绘图模式、和服务端返回的山水画文档数据显示模式，两个模式可以设置在一个界面中同一区域。在打开界面后，默认为绘图模式，用户端开始检测目标区域是否被触发输入草图的操作，如果检测到有草图线条输入，则持续接收输入的草图线条，该草图线条可以是任意涂画的线条，而不限于“类似”山水画轮廓的线条，也就是说，任何形式(直线、曲线)的线条组成的任意线条集合均可以作为草图线条。
步骤102：在检测到所述界面被触发山水画生成请求后，将输入完成的草图线条信息发送至服务端，以使所述服务端利用预训练的循环生成对抗网络中的生成器G，根据所述草图线条信息随机生成任一类型的山水画文档数据。
图像处理领域中，艺术风格化已经成熟且应用范围广泛。然而目前大多数的作品是为了模拟油画和水彩画的效果。艺术渲染侧重于将风格转移应用于2D图像，并生成艺术风格话的渲染。例如基于画笔渲染的(SBR)和基于区域的渲染(RBR)。SBR在基于源照片的基础上，将合成笔划逐步添加到画布中来模拟特定的风格样式，在区域分割的部分使用RBR调整笔划的位置，通过精细细节增强艺术风格产生的效果。但笔刷的样式具有一定的局限性，尽在特定的样式上实现很好的迭代叠加，缺乏灵活性。
因此，有人提出了以实例为基础的渲染来生成各种艺术风格。赫兹曼等人开发了一个从源凸显那个到带有特定风格化的目标图像的映射功能模块，称为图像类比。经过综合训练的学习，它能生成各种各样的艺术风格。然而。它局限于将风格与内容联系起来，缺乏了高级图像的特征。一般来说，艺术风格化的算法在生成特定的风格方面表现良好，但对于多样性和灵活性的实现扔存在很大的局限。
在本实施例中，可以在界面设置有触发控件，当该控件被触发后便默认草图线条输入完毕，请求生成相应的山水画，并将输入的草图线条发送至服务端，服务端在接收到草图线条的数据后，利用预训练的循环生成对抗网络中的生成器，生成任意类型的山水画文档数据。
具体地，山水画类型可以包括“蓝绿山水”样式，例如，图2(a)(这种类型的山水有大量的黄金和绿色的绘画，并受到欢迎以前中文唐王朝)。但除此之外，其他子样式(如图2(b)-(f)))很难被标记为任何现有类型。例如，图2(c)中所示的绘画会逐渐改变灰色，而白色则代表明显的流水。这是一个新的山水的类型代表了一种强烈的水墨画风格。
参考图3，在本实施例中，基于训练完成的循环生成对抗网络的生成器，可以实现通过任意勾画(第1、3列)，而无需精细勾画，便可生成任意对应的山水画(第2、4列)，而不是生成对应的特定风格的图像，生成的山水画包括黑白色、还可以包括具有颜色(例如，黄绿色、茶黄色的背景，由于说明书附图的规定，无法显示绘制出的背景颜色、或者局部颜色。)因此基于本实施例网络模型可以使山水画的生成更加灵活，而对绘画者的绘画要求更低(只需信笔涂鸦即可)。也就是说，该草图线条可以是任意涂画的线条，而不限于“类似”山水画轮廓的线条，也就是说，任何形式(直线、曲线)的线条组成的任意线条集合均可以作为草图线条，并且利用训练完成的循环生成对抗网络的生成器，基于该任意的线条集合，均可以生成相应的山水画。
作为本实施一种可选的实现方式，循环生成对抗网络的训练过程包括：在获取到山水画样本集后，对每个山水画样本图像进行分割，得到多个图像分割单元；对所述每一个图像分割单元中的山水画进行线条提取，得到每个图像分割单元对应的用于表示山水画肌理的线条集合；建立循环生成对抗网络模型；对所述网络模型进行迭代训练，且在每次训练过程中，随机确定一张图像分割单元对应的线条集合、并随机确定一个图像分割单元作为训练样本。
在本可选的实现方式中，参考图4，可以从故宫博物院开放数据平台上收集了中国山水绘画文件，例如获取了108幅绘画文件，或者网上购物平台购买中国山水画。在获取到原始山水画后，可以先移除框架，得到山水画样本集。由于中国山水绘画文献的尺寸大小和长宽比差异很大。因此可以首先将每幅山水画(H*W)分成两半(H*W/2，假设W沿长边H)，如图4(c)所示，然后将每个部分均匀地划分为一些正方形单元(W/2W/2)5如图4(d)所示。
具体地，由山水绘画文献是由专业画家创作的，没有任何草图，因此虽然可以扫描现有的中国山水绘画文献(绘画域)，但很难得到素描数据(素描域)。因此，本实施例确定素描域的样本的方式可以包括：基于canny从每个图像分割单元中提取边缘线，得到每个单元对应的线条集合，例如图4(e)所示。而后将山水画、山水画的线条集合作为训练数据集合。
作为本实施例一种可选的实现方式，建立循环生成对抗网络模型包括：建立两个生成器G和F，其中，两个生成器的结构相同，所述生成器G用于生成与所述图像分割单元中山水画相似的图像G(x)；所述生成器F用于生成所述图像分割单元对应的相似线条集合；建立两个判别器DX和DY，其中，判别器DY用于区分生成的相似图像G(x)和图像分割单元对应的线条集合；判别器DX用于区分生成的相似线条集合与图像分割单元中的山水画；建立损失函数，L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)；其中，LGAN(G，DY，X，Y)、LGAN(F，DX，Y，X)为对抗损失函数；Lcyc(G,F)为循环一致性损失函数，λ用于平衡正则项；建立所述网络模型的训练目标：
G*，F*＝arg min max L(G，F，DX，DY)
G，F DX，DY。
在本实施例中，建立循环生成对抗网络模型时，可以建立两个生成器，两个生成器(G和F)和两个判别器(DX和DY)。生成器G尝试生成与来自山水画域Y的图像相似的图像G(x)，而判别器DY区分生成的山水绘画G(x)和真实山水画y。将这种对抗性损失表示为LGAN(G，DY，X，Y)。同样，另一个对抗损失LGAN(F，DX，Y，X)用于映射函数F：Y→X及其鉴别符DX。此外，添加循环一致性损失Lcyc(G，F)作为正则化项，用于防止学习的映射G和F相互矛盾，即x→G(x)→F(G(x))≈x和y→F(y)→G(F(y))≈y，L1范数用于评估一致性，即可以基于F(G(x))-x的结果作为两者一致性的衡量。
因此，周期GAN模型的全损失函数为L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)；
最终目标是解决以下任务：
G*，F*＝arg min max L(G，F，DX，DY)
G，F DX，DY
即在训练过程中，G和F的损失最小，DX，DY的损失最大，实现对抗训练，在训练过程中G和F的生成的相似图像越来越相似，判别器的判别越来越强。
具体地，每个生成器可以顺次包含3个卷积层、9个残差块、及3个卷积层；每个判别器使用包含卷积层的70*70色块GAN，其对图像中的每个70*70色块进行真伪分类，并将所有结果取平均值后输出。
具体地，由于现有技术中，从草图域到绘画域的映射，非常不具有灵活性，体现在对草图的素描笔画要求非常高，即需要精确的素描图，才可以映射到绘画域；另一方面，具有局限性，体现在将具体的内容以特定的风格进行映射(例如，填色、填风格)。
为了解决上述问题，本实施例基于循环生成对抗网络，在每次训练过程中，均需要来自草图域(X)和绘画域(Y)的样本，对于每一个草图样本(线条集合)，从绘画域样本集中随机选择一个山水画(图像分割单元)作为绘画样本，而不采用配对的样本对模型训练，采用该方式，从学习到的草图到山水的映射代表了域Y中的一般山水样式，而不是转移所选单幅画的样式。因此克服了相关技术中的灵活性差、具备局限性的缺陷。
作为本实施例一种可选的实现方式，对所述网络模型进行迭代训练过程中，将学习率设置为0.0002，批次大小为1。
在本可选的实现方式中，可以设置λ＝10，整个网络采用循环生成对抗网络模型的PyTorch代码实现从零开始训练(即不经过任何迁移学习，从最初始状态(或从头)开始训练)，学习率为0.0002，批次大小为1。该系统可以在Linux服务器上运行，有6台GTX1080Ti和Ubuntu64位操作系统，训练过程大约需要30小时。
相较于其他模型，例如其他带输入条件的生成对抗网络(conditional GAN)，如pix2pix，bicycleGAN等图像到图像的映射(image to image translation、相较于VAE变分自编码器(variational auto encoder)、或者风格迁移(style transfer)模型等，本实施例的模型在训练过程中，数据样本无需一一对应匹配，最终训练完成生成器可灵活生成多种风格。
具体地，相较于pix2pix等图像到图像翻译的网络，最大的优点是训练过程中，草图和山水画不一一对应，进而模型能泛化和同时学习多种风格；同时多种风格能并存于数据集中并被视作一个整体，并作为一种更加通用和概括性的风格。
相较于VAE，最大特征在我们选择的方法关于不同风格生成不需要具体限定对应生成条件，即不需要用一个个参数去具体控制和触发对应的风格生成，而是可以随机自由生成不同风格。
相较于风格迁移的固定单个风格的学习，本实施例的模型在训练中将灵活自由地学习并生成多个风格。
作为本实施例一种可选的实现方式，对所述每一个图像分割单元中的山水画进行线条提取包括：对边缘检测器进行配置；利用边缘检测器对所述图像分割单元进行线条提取。
在本实施例中，为了使提取到的山水画线条集合组成的素描图与山水画更匹配，可以提取山水画中较为密集的线条，采用的方式可以是首先对边缘检测器的参数进行配置(可以包括对canny_thresh1、canny_thresh2的值进行配置，以及对其他参数进行配置)，而后将裁切后的正方形图片作为输入，可以使用openCV的canny edge边缘检测算法，基于canny_thresh1、canny_thresh2的阈值，得到边缘图像，从而实现了利用边缘检测器对每个单元样本进行线条提取。
作为本实施例一种可选的实现方式，在对每个山水画样本图像进行分割之前，所述方法还包括：获取包含多个类型的原始山水画扫描图像；和/或，对所述原始山水画扫描图像进行二值化处理，以确定所述所述扫描图像对应的边界；自适应计算每个二值化处理后图像的阈值；对二值化处理后的图像进行降噪处理；删除所述边界以外的框架，得到包含多个类型的山水画样本集。
在本可选的实现方式中，实现了移除山水画的框架的移除。因为山水画作为艺术品，原始的山水绘画文件被框架在织物上，以及一些注释，如图4(a)所示。中国山水绘画文献大多以其悠久的历史而具有暗色，而织物的框架通常是新的具有明亮的光泽。因此可以对每个原始山水画扫描图像进行二值化，得到山水画的边界，并在每个图像上自适应地计算阈值。可以采用形态学操作侵蚀和膨胀，消除二值化后的一些噪声。最后，删除山水画边界外的框架，如图4(b)所示。
步骤103：接收所述服务端发送的所述山水画的文档数据，并基于所述文档数据将所述山水画在所述目标区域显示。
在本实施例中，服务端在生成山水画文档数据后，将山水画文档数据发送至用户端，用户端在显示区域显示相应的山水画。
作为本实施例一种可选的实现方式，方法还包括：用户端检测界面的目标输入区域是否被触发文本输入操作；如果被触发，将所述文本信息发送至所述服务端，以使所述服务端基于输入的所述文本生成反馈信息。
在本可选的实现方式中，用户可以在目标输入区域输入邮箱地址，用户端检测到该邮箱地址后，将地址信息发送至服务端，服务端在接收到该邮箱地址后，将生成的山水画发送至该地址处。
作为本实施例一种可选的实现方式，方法还包括存储输入完成的草图线条信、生成的所述山水画文档数据，并将其作为训练循环生成对抗网络的样本集。
在本可选的实现方式中，在服务器端，基于node.js的服务器不断运行以侦听客户端的数据流量，调用循环生成对抗网络模型，并与客户端交互数据。当用户同意使用其输入草图时，输入草图和生成的山水文档都存储在服务器上，山水画文档的数据集将被放大，从而可以不断的对网络模型进行更优训练。
上述实施例基于循环生成对抗网络的交互式生成系统，实现了实时交互，利用用户输入的简单、任意草图可以生成中国山水画文档。用户可以在客户端中绘制草图，并将所绘制的草图提交到服务器，服务器生成相应的绘画文档，实时返回到客户端。基于预训练的网络模型，实现了在任意勾画线条，便可随机生成至少一种类型的山水画，相较于相关技术中特定风格化的技术，本模型实现了多样性和灵活性。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本公开实施例，还提供了另一种用于生成山水画的数据处理方法，如图5所示，该方法包括：
步骤501：响应于接收到所述用户端发送的山水画生成请求，从所述用户端获取草图线条信息；
步骤502:基于预训练的循环生成对抗网络中的生成器G，随机生成所述草图线条信息对应的任一类型的山水画文档；
步骤503：将所述文档发送至所述用户端。
作为本实施例一种可选的实现方式，所述循环生成对抗网络的训练过程包括：在获取到山水画样本集后，对每个山水画样本图像进行分割，得到多个图像分割单元；对所述每一个图像分割单元中的山水画进行线条提取，得到每个图像分割单元对应的用于表示山水画肌理的线条集合；建立循环生成对抗网络模型；对所述网络模型进行迭代训练，且在每次训练过程中，随机确定一张图像分割单元对应的线条集合、并随机确定一个图像分割单元作为训练样本。
作为本实施例一种可选的实现方式，所述建立循环生成对抗网络模型包括：建立两个生成器G和F，其中，两个生成器的结构相同，所述生成器G用于生成与所述图像分割单元中山水画相似的图像G(x)；所述生成器F用于生成所述图像分割单元对应的相似线条集合；建立两个判别器DX和DY，其中，判别器DY用于区分生成的相似图像G(x)和图像分割单元对应的线条集合；判别器DX用于区分生成的相似线条集合与图像分割单元中的山水画；建立损失函数，L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)；其中，LGAN(G，DY，X，Y)、LGAN(F，DX，Y，X)为对抗损失；Lcyc(G,F)为循环一致性损失，λ用于平衡正则项；建立所述网络模型的训练目标：
G*，F*＝arg min max L(G，F，DX，DY)
G,F DX，DY
本方法实施例的执行主体可以是服务器，基于node.js的服务器不断运行以侦听客户端的数据流量，调用草图到山水画翻译模型并与客户端交换文件。输入草图和生成的山水文档都存储在服务器上，因此当用户同意我们使用其输入草图时，中国山水画文档的数据集将被放大。
本实施例中的网络模型与第一实施例的相同，在本方法中仅将生成器G用作草图到山水的翻译。在此不再赘述。
本公开实施例提供了一种电子设备，如图6所示，该电子设备包括一个或多个处理器61以及存储器62，图6中以一个处理器61为例。
该控制器还可以包括：输入装置63和输出装置64。
处理器61、存储器62、输入装置63和输出装置64可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器61可以为中央处理器(CentralProcessingUnit，CPU)。处理器61还可以为其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器62作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本公开实施例中的控制方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的用于生成山水画的数据处理方法。
存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置63可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置64可包括显示屏等显示设备。
一个或者多个模块存储在存储器62中，当被一个或者多个处理器61执行时，执行如图1所示的方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各电机控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种用于生成山水画的数据处理方法，其特征在于，包括：
用户端检测界面的目标区域是否被触发草图的输入操作，如果被触发所述输入操作，持续接收所述输入的草图线条信息；
在检测到所述界面被触发山水画生成请求后，将输入完成的草图线条信息发送至服务端，以使所述服务端利用预训练的循环生成对抗网络中的生成器，根据所述草图线条信息随机生成任一类型的山水画文档数据；
接收所述服务端发送的所述山水画的文档数据，并基于所述文档数据将所述山水画在所述目标区域显示。
2.根据权利要求1所述的用于生成山水画的数据处理方法，其特征在于，所述方法还包括：
用户端检测界面的目标输入区域是否被触发文本输入操作；
如果被触发，将所述文本信息发送至所述服务端，以使所述服务端基于输入的所述文本生成反馈信息。
3.根据权利要求1所述的用于生成山水画的数据处理方法，其特征在于，所述方法还包括存储输入完成的草图线条信、生成的所述山水画文档数据，并将其作为训练循环生成对抗网络的样本集。
4.根据权利要求2所述的用于生成山水画的数据处理方法，其特征在于，所述循环生成对抗网络的训练过程包括：
在获取到山水画样本集后，对每个山水画样本图像进行分割，得到多个图像分割单元；
对所述每一个图像分割单元中的山水画进行线条提取，得到每个图像分割单元对应的用于表示山水画肌理的线条集合；
建立循环生成对抗网络模型；
对所述网络模型进行迭代训练，且在每次训练过程中，随机确定一张图像分割单元对应的线条集合、并随机确定一个图像分割单元作为训练样本。
5.根据权利要求4所述的用于生成山水画的数据处理方法，其特征在于，所述建立循环生成对抗网络模型包括：
建立两个生成器G和F，其中，两个生成器的结构相同，所述生成器G用于生成与所述图像分割单元中山水画相似的图像G(x)；所述生成器F用于生成所述图像分割单元对应的相似线条集合；
建立两个判别器DX和DY，其中，判别器DY用于区分生成的相似图像G(x)和图像分割单元对应的线条集合；判别器DX用于区分生成的相似线条集合与图像分割单元中的山水画；
建立损失函数，L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)；其中，LGAN(G，DY，X，Y)、LGAN(F，DX，Y，X)为对抗损失；Lcyc(G,F)为循环一致性损失，λ用于平衡正则项；
建立所述网络模型的训练目标：
G*，F*＝arg min max L(G，F，DX，DY)
G,F DX，DY。
6.根据权利要求4所述的用于生成山水画的数据处理方法，其特征在于，所述对每一个图像分割单元中的山水画进行线条提取包括：
对边缘检测器进行配置；
利用所述边缘检测器对所述图像分割单元进行线条提取。
7.根据权利要求4所述的用于生成山水画的数据处理方法，其特征在于，在对每个山水画样本图像进行分割之前，所述方法还包括：
获取包含多个类型的原始山水画扫描图像；
和/或，对所述原始山水画扫描图像进行二值化处理，以确定所述所述扫描图像对应的边界；
自适应计算每个二值化处理后图像的阈值；
对二值化处理后的图像进行降噪处理；
删除所述边界以外的框架，得到包含多个类型的山水画样本集。
8.一种用于生成山水画的数据处理方法，其特征在于，包括：
响应于接收到所述用户端发送的山水画生成请求，从所述用户端获取草图线条信息；
基于预训练的循环生成对抗网络中的生成器G，随机生成所述草图线条信息对应的任一类型的山水画文档；
将所述文档发送至所述用户端。
9.根据权利要求8所述的用于生成山水画的数据处理方法，其特征在于，所述循环生成对抗网络的训练过程包括：
在获取到山水画样本集后，对每个山水画样本图像进行分割，得到多个图像分割单元；
对所述每一个图像分割单元中的山水画进行线条提取，得到每个图像分割单元对应的用于表示山水画肌理的线条集合；
建立循环生成对抗网络模型；
对所述网络模型进行迭代训练，且在每次训练过程中，随机确定一张图像分割单元对应的线条集合、并随机确定一个图像分割单元作为训练样本。
10.根据权利要求8所述的用于生成山水画的数据处理方法，其特征在于，所述建立循环生成对抗网络模型包括：
建立两个生成器G和F，其中，两个生成器的结构相同，所述生成器G用于生成与所述图像分割单元中山水画相似的图像G(x)；所述生成器F用于生成所述图像分割单元对应的相似线条集合；
建立两个判别器DX和DY，其中，判别器DY用于区分生成的相似图像G(x)和图像分割单元对应的线条集合；判别器DX用于区分生成的相似线条集合与图像分割单元中的山水画；
建立损失函数，L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)；其中，LGAN(G，DY，X，Y)、LGAN(F，DX，Y，X)为对抗损失；Lcyc(G,F)为循环一致性损失，λ用于平衡正则项；
建立所述网络模型的训练目标：
G*，F*＝arg min max L(G，F，DX，DY)
G,F DX，DY。
CN202110739037.6A 2021-06-30 2021-06-30 用于生成山水画的数据处理方法 Pending CN113706646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110739037.6A CN113706646A (zh) 2021-06-30 2021-06-30 用于生成山水画的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110739037.6A CN113706646A (zh) 2021-06-30 2021-06-30 用于生成山水画的数据处理方法

Publications (1)

Publication Number Publication Date
CN113706646A true CN113706646A (zh) 2021-11-26

Family

ID=78648222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110739037.6A Pending CN113706646A (zh) 2021-06-30 2021-06-30 用于生成山水画的数据处理方法

Country Status (1)

Country Link
CN (1) CN113706646A (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577985A (zh) * 2017-07-18 2018-01-12 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
CN108615073A (zh) * 2018-04-28 2018-10-02 北京京东金融科技控股有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
CN109299342A (zh) * 2018-11-30 2019-02-01 武汉大学 一种基于循环生成式对抗网络的跨模态检索方法
CN110147797A (zh) * 2019-04-12 2019-08-20 中国科学院软件研究所 一种基于生成式对抗网络的草图补全与识别方法和装置
CN110211203A (zh) * 2019-06-10 2019-09-06 大连民族大学 基于条件生成对抗网络的汉字字体的方法
CN110516577A (zh) * 2019-08-20 2019-11-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110968725A (zh) * 2019-12-03 2020-04-07 咪咕动漫有限公司 图像内容描述信息生成方法、电子设备及存储介质
CN111724299A (zh) * 2020-05-21 2020-09-29 同济大学 一种基于深度学习的超现实主义绘画图像风格迁移方法
WO2020199926A1 (zh) * 2019-04-02 2020-10-08 腾讯科技（深圳）有限公司 一种图像识别网络模型训练方法、图像识别方法及装置
CN111860555A (zh) * 2019-04-30 2020-10-30 北京京东尚科信息技术有限公司 图像处理方法、装置以及存储介质
CN111932645A (zh) * 2020-06-12 2020-11-13 重庆大学 基于生成对抗网络gan自动生成水墨画的方法
US20200364477A1 (en) * 2019-05-16 2020-11-19 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for discriminating and generating translated images
EP3742346A2 (en) * 2019-05-23 2020-11-25 HTC Corporation Method for training generative adversarial network (gan), method for generating images by using gan, and computer readable storage medium
CN112036137A (zh) * 2020-08-27 2020-12-04 哈尔滨工业大学（深圳） 一种基于深度学习的多风格书法数字墨水仿真方法和系统
US20210012486A1 (en) * 2019-07-09 2021-01-14 Shenzhen Malong Technologies Co., Ltd. Image synthesis with generative adversarial network
US20210064858A1 (en) * 2019-08-26 2021-03-04 Adobe Inc. Transformation of hand-drawn sketches to digital images
US20210089903A1 (en) * 2019-09-24 2021-03-25 Naver Corporation Neural network for generating images trained with a generative adversarial network
WO2021052103A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 图像生成的方法、装置以及计算机
WO2021063476A1 (en) * 2019-09-30 2021-04-08 Toyota Motor Europe Method for training a generative adversarial network, modified image generation module and system for detecting features in an image
CN112950661A (zh) * 2021-03-23 2021-06-11 大连民族大学 一种基于注意力生成对抗网络人脸卡通画生成方法
CN113034523A (zh) * 2021-04-23 2021-06-25 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及计算机设备

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577985A (zh) * 2017-07-18 2018-01-12 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
CN108615073A (zh) * 2018-04-28 2018-10-02 北京京东金融科技控股有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
CN109299342A (zh) * 2018-11-30 2019-02-01 武汉大学 一种基于循环生成式对抗网络的跨模态检索方法
WO2020199926A1 (zh) * 2019-04-02 2020-10-08 腾讯科技（深圳）有限公司 一种图像识别网络模型训练方法、图像识别方法及装置
CN110147797A (zh) * 2019-04-12 2019-08-20 中国科学院软件研究所 一种基于生成式对抗网络的草图补全与识别方法和装置
CN111860555A (zh) * 2019-04-30 2020-10-30 北京京东尚科信息技术有限公司 图像处理方法、装置以及存储介质
US20200364477A1 (en) * 2019-05-16 2020-11-19 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for discriminating and generating translated images
EP3742346A2 (en) * 2019-05-23 2020-11-25 HTC Corporation Method for training generative adversarial network (gan), method for generating images by using gan, and computer readable storage medium
CN110211203A (zh) * 2019-06-10 2019-09-06 大连民族大学 基于条件生成对抗网络的汉字字体的方法
US20210012486A1 (en) * 2019-07-09 2021-01-14 Shenzhen Malong Technologies Co., Ltd. Image synthesis with generative adversarial network
CN110516577A (zh) * 2019-08-20 2019-11-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
US20210064858A1 (en) * 2019-08-26 2021-03-04 Adobe Inc. Transformation of hand-drawn sketches to digital images
WO2021052103A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 图像生成的方法、装置以及计算机
US20210089903A1 (en) * 2019-09-24 2021-03-25 Naver Corporation Neural network for generating images trained with a generative adversarial network
WO2021063476A1 (en) * 2019-09-30 2021-04-08 Toyota Motor Europe Method for training a generative adversarial network, modified image generation module and system for detecting features in an image
CN110968725A (zh) * 2019-12-03 2020-04-07 咪咕动漫有限公司 图像内容描述信息生成方法、电子设备及存储介质
CN111724299A (zh) * 2020-05-21 2020-09-29 同济大学 一种基于深度学习的超现实主义绘画图像风格迁移方法
CN111932645A (zh) * 2020-06-12 2020-11-13 重庆大学 基于生成对抗网络gan自动生成水墨画的方法
CN112036137A (zh) * 2020-08-27 2020-12-04 哈尔滨工业大学（深圳） 一种基于深度学习的多风格书法数字墨水仿真方法和系统
CN112950661A (zh) * 2021-03-23 2021-06-11 大连民族大学 一种基于注意力生成对抗网络人脸卡通画生成方法
CN113034523A (zh) * 2021-04-23 2021-06-25 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DUC MINH VO ET.AL: "\"Paired-D GAN for Semantic Image Synthesis\"", 《ASIAN CONFERENCE ON CUMPUTER VISION》, pages 468 *
WENXIAO WANG ET.AL: ""Uncouple Generative Adversarial Networks for Transferring Stylized Portraits to Realistic Faces"", 《IEEE ACCESS》, pages 213825 - 213839 *
顾杨等: ""基于CGAN 的 中国山水画布局可调的仿真生成方法"", 《模式识别与人工智能》, vol. 32, no. 9, pages 844 - 854 *

Similar Documents

Publication Publication Date Title
US10748324B2 (en) Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
Jackson et al. Large pose 3D face reconstruction from a single image via direct volumetric CNN regression
CN109670558B (zh) 使用深度学习的数字图像完成
CN108961303A (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN109191414A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111199531A (zh) 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN111243050B (zh) 肖像简笔画生成方法、系统及绘画机器人
CN109919209B (zh) 一种领域自适应深度学习方法及可读存储介质
CN110610509B (zh) 可指定类别的优化抠图方法及系统
CN109472249A (zh) 一种确定书写体优劣等级的方法及装置
GB2559446A (en) Generating a three-dimensional model from a scanned object
CN106846390B (zh) 一种图像处理的方法及装置
CN112634282B (zh) 图像处理方法、装置以及电子设备
CN109034012A (zh) 基于动态图像和视频子序列的第一人称视角手势识别方法
Radhakrishnan et al. Creative intelligence–automating car design studio with generative adversarial networks (GAN)
US11157765B2 (en) Method and system for determining physical characteristics of objects
CN109685829A (zh) 基于图像的视线追踪方法、装置和电子设备
Uchida et al. Stylized line-drawing of 3D models using CNN with line property encoding
Pesavento et al. Super-resolution 3D human shape from a single low-resolution image
KR102430743B1 (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
CN117253110A (zh) 一种基于扩散模型的目标检测模型泛化能力提升方法
CN112801911A (zh) 一种去除自然图像中文字类噪声的方法及装置、存储介质
CN113706646A (zh) 用于生成山水画的数据处理方法
CN112529978B (zh) 一种人机交互式抽象画生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination