CN109064389A - 一种手绘线条画生成现实感图像的深度学习方法 - Google Patents

一种手绘线条画生成现实感图像的深度学习方法 Download PDF

Info

Publication number
CN109064389A
CN109064389A CN201810859788.XA CN201810859788A CN109064389A CN 109064389 A CN109064389 A CN 109064389A CN 201810859788 A CN201810859788 A CN 201810859788A CN 109064389 A CN109064389 A CN 109064389A
Authority
CN
China
Prior art keywords
image
data
indicate
input
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810859788.XA
Other languages
English (en)
Other versions
CN109064389B (zh
Inventor
陈昭炯
蔡雨婷
叶东毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810859788.XA priority Critical patent/CN109064389B/zh
Publication of CN109064389A publication Critical patent/CN109064389A/zh
Application granted granted Critical
Publication of CN109064389B publication Critical patent/CN109064389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种手绘线条画生成现实感图像的深度学习方法，S1:建立双层GAN结构，包括第一层GAN结构和第二层GAN结构；S2:收集并生成用于训练网络的“真实图像‑模拟线条画”数据集；S3:根据“真实图像‑模拟线条画”数据集，训练第一层GAN结构，得到训练后的第一层GAN结构；S4:将待处理的手绘线条画输入训练后的第一层GAN结构，得到粗粒度现实感图像；S5:根据“真实图像‑粗粒度现实感图像”数据集，训练第二层GAN结构，得到训练后的第二层GAN结构；S6:将粗粒度现实感图像输入训练后的第二层GAN结构，得到高分辨现实感图像。本发明采用级联两层GAN网络结构，逐步纠偏、丰富图像细节，生成具有现实感的高分辨图像；便捷实用，有利于人机交互，生成图效果具真实感。

Description

一种手绘线条画生成现实感图像的深度学习方法
技术领域
本发明涉及图形图像的现实感生成领域，具体涉及一种手绘线条画生成现实感图像的深度学习方法。
背景技术
随着智能手机等触屏设备和人机交互技术的快速发展与普及，手绘线条画成为一种运用广泛的人机交互载体；同时，手绘线条画也是人类对事物的抽象化、概括化的认知体现，对手绘线条画的研究有助于了解人的认知规律，是人工智能领域中很有活力的研究方向。目前已有针对手绘线条画识别、基于手绘线条画的图像检索等问题的研究工作，而本发明提出了一类新的应用，即用户输入手绘线条画，本方法可生成对应的现实感图像。具体而言，就是用户输入手绘线条画，本发明可生成出内容一致、形状相似的现实感图像。本方法将传统手绘艺术和智能技术相结合，在视觉编辑、幼儿教育、商业推广、人机交互等方面可产生更有创造性、趣味性和实用性的应用效果。
发明内容
有鉴于此，本发明的目的在于提供一种手绘线条画生成现实感图像的深度学习方法，用于实现手绘线条画生成现实感图像。
为实现上述目的，本发明采用如下技术方案：
一种手绘线条画生成现实感图像的深度学习方法，包括以下步骤：
步骤S1:建立双层GAN结构，包括第一层GAN结构和第二层GAN结构；
步骤S2:收集并生成用于训练网络的“真实图像-模拟线条画”数据集；
步骤S3:根据“真实图像-模拟线条画”数据集，训练第一层GAN结构，得到训练后的第一层GAN结构；
步骤S4:将待处理的手绘线条画输入训练后的第一层GAN结构，得到粗粒度现实感图像；
步骤S5:根据“真实图像-粗粒度现实感图像”数据集，训练第二层GAN结构，得到训练后的第二层GAN结构；
步骤S6:将粗粒度现实感图像输入训练后的第二层GAN结构，得到高分辨现实感图像。
进一步的，步骤S1具体为:
步骤S11:基于GAN框架，建立双层GAN结构；GAN框架是由两个模型构成，分别称为生成模型和判别模型。生成模型的任务是学习真实图像的特征分布从而产生一张同分布的模拟图片，判别模型用于判断一张给定的图片是来自数据集里的真实图片还是生成器生成的同分布模拟图片。两个模型联合进行对抗训练，生成模型产生一张图片期望欺骗判别模型，而判别模型要判断这张图片的真伪，随着训练的过程的迭代进行，两个模型最终达到稳态，此时生成模型就学习到了训练数据的分布从而可用于模拟产生与数据分布相似的图像。本方法中，生成模型采用“U-net”结构形式；两层GAN的结构是相同的；
步骤S12设定GAN的目标函数描述为：生成器G用于将输入图像z∈Zinput转换为图像G(z)，同时z有一一对应的目标图x∈Xgrouud-truth，生成器的目标是使“输入图像-生成图像”的数据概率分布趋近于“输入图像-真实图像”的概率分布，即PG(z)-z～Px-z；鉴别器D用于区分生成的样本G(z)与输入的样本z是否是真实的一对；此外，除了保证“输入图像-生成图像”数据分布的真实性，还要保证生成图像本身的真实性，故加入约束生成图像与真实图像相似度的损失项。
步骤13:根据GAN的目标函数描述，为保证生成图像本身的真实性，加入约束生成图像与真实图像相似度的损失项；得到网络的损失函数为：
其中，E·表示数学期望，P·表示概率分布，D(z，x)表示鉴别器输出的z与x相似度的概率值，G(z)表示生成器根据样本z而生成的图像的特征量，λ表示权重系数，||·||1表示L1范数，即向量中各个元素绝对值之和，z∈Zinput表示输入图像，x∈Xground-truth表示输入图像对应的目标图。
进一步的，所述步骤S2具体为：
步骤S21:收集某一类别足量的真实图像；
步骤S22:将图像的尺寸调整为正方形；一般可取为256×256；
步骤S23:去除图像的复杂背景，留下主体对象，处理后图像记为B；
步骤S24:使用加权最小二乘滤波器对B进行锐化处理，锐化后的图像记为B’；
步骤S25:采用HED边缘检测网络分别对B和B’进行边缘提取，得到的边缘图记为BE和B′E；
步骤S26:合并BE和B′E的像素点并过滤阴影部分得到图像B的线条画轮廓，记为BC；其过程如下：遍历BE和B′E所有像素点，比较对应像素值(BE)ij、(B'E)ij(i表示第i行，j表示第j列)。若(BE)ij<(B'E)ij，则反之，则同时对阴影部分进行过滤：若(BC)ij大于某一阈值(一般取160～200)，则
步骤S27:采用移动最小二乘法对得到的线条画轮廓BC进行变形；其过程如下：在BC上随机产生五个源点，记为Oi(i＝1,2,3,4,5),设定阈值ran(通常10～20个像素点)，对Oi的横坐标和纵坐标±ran的范围内随机取目标点Ti(i＝1,2,3,4,5)，得到5个源点及对应的5个目标点，采用移动最小二乘变形法根据源点与目标点对BC变形，变形后的图像轮廓记为BS，用于模拟图像B的线条画形态。
进一步的，所述步骤S3具体为：
步骤S31：将图像B与根据其生成的模拟线条画BS组合成对，作为第一层GAN的训练样本对；
步骤S32:GAN优化的目标是一个极小极大博弈问题，即最大化D的区分度，最小化G(BS)和真实数据集的数据分布,优化问题描述为：
其中，E·表示数学期望，P·表示概率分布，D(z，x)表示鉴别器输出的z与x相似度的概率值，G(z)表示生成器根据样本z而生成的图像的特征量，λ表示权重系数，||·||1表示L1范数，即向量中各个元素绝对值之和，表示输入的模拟线条画，B∈Bground-truth表示模拟线条画对应的真实图。
生成器G需要生成符合图像B分布的数据以欺骗鉴别器，鉴别器D根据真实数据B与生成数据G(BS)的输入来分别输出一个概率值或者说一个标量值，表示D对于输入是真实数据还是生成数据的置信度，以此判断G的产生数据的性能好坏；当最终D不能区分真实数据B和生成数据G(BS)时，就认为生成器G达到了最优；
步骤S33:将不断地接近PB作为收敛的判断标准，保证两者学习速率基本一致，达到最大迭代次数完成训练。需要保证两者学习速率基本一致，也就是先训练一次G，再训练一次D，保证训练的稳定。设置最大迭代次数(约为200)进行训练。
进一步的，所述步骤S4具体为
步骤S41:将模拟线条画BS输入到已训练好的第一层模型中，输出粗粒度现实感图像，记为T1。
进一步的，所述步骤S5具体为
步骤S51:将图像B与粗粒度现实感图像T1组合成对，作为第二层GAN的训练样本对；
步骤S52:第二层GAN优化的目标是一个极小极大博弈问题，即最大化D的区分度，最小化G(T1)和真实数据集的数据分布，描述如下：
其中，E·表示数学期望，P·表示概率分布，D(z，x)表示鉴别器输出的z与x相似度的概率值，G(z)表示生成器根据样本z而生成的图像的特征量，λ表示权重系数，||·||1表示L1范数，即向量中各个元素绝对值之和，T1∈T1input表示输入的粗粒度现实感图像，B∈Bground-truth表示粗粒度现实感图像对应的真实图。
生成器G需要生成符合真实图像B分布的数据欺骗鉴别器，鉴别器D根据真实数据B与生成数据G(T1)的输入来分别输出一个概率值或者说一个标量值，表示D对于输入是真实数据还是生成数据的置信度，以此判断G的产生数据的性能好坏；当最终D不能区分真实数据B和生成数据G(T1)时，就认为生成器G达到了最优；
步骤S53：在训练过程中，不断地接近PB是收敛的判断标准；保证两者学习速率一致，达到最大迭代次数完成训练。需要保证两者学习速率基本一致，也就是先训练一次G，再训练一次D，保证训练的稳定。设置最大迭代次数(约为200)进行训练。
本发明与现有技术相比具有以下有益效果：
本发明的有益效果是给出了一种手绘线条画的到现实感图像的转换方法，利用该方法可以将任意手绘线条画转换为其对应类别的真实图像，使用方便简洁，效果良好，具有很强的实用性和广阔的应用前景。
附图说明
图1是本发明方法流程图；
图2是本发明一实施例中双层GAN结构；
图3是本发明一实施例中分步处理图；
图4是本发明一实施例中处理效果图；
图5是本发明一实施例中GAN网络生成器结构细节；
图6是本发明一实施例中GAN网络鉴别器结构细节。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种手绘线条画生成现实感图像的深度学习方法，用户首先输入一幅手绘线条画，本发明首先使用第一层生成对抗网络(GAN)根据手绘线条画的结构布局、语义关系等简单信息生成粗粒度现实感图像；再使用第二层GAN将前一层GAN的转换结果作为输入，生成更生动形象的高分辨率图像。具体包括以下步骤：
步骤S1:建立双层GAN结构，包括第一层GAN结构和第二层GAN结构；
步骤S2:收集并生成用于训练网络的“真实图像-模拟线条画”数据集；
步骤S3:根据“真实图像-模拟线条画”数据集，训练第一层GAN结构，得到训练后的第一层GAN结构；
步骤S4:将待处理的手绘线条画输入训练后的第一层GAN结构，得到粗粒度现实感图像；
步骤S5:根据“真实图像-粗粒度现实感图像”数据集，训练第二层GAN结构，得到训练后的第二层GAN结构；
步骤S6:将粗粒度现实感图像输入训练后的第二层GAN结构，得到高分辨现实感图像。
在本发明一实施例中，步骤S1具体为:
步骤S11:基于GAN框架，建立双层GAN结构；GAN框架是由两个模型构成，分别称为生成模型和判别模型。生成模型的任务是学习真实图像的特征分布从而产生一张同分布的模拟图片，判别模型用于判断一张给定的图片是来自数据集里的真实图片还是生成器生成的同分布模拟图片。两个模型联合进行对抗训练，生成模型产生一张图片期望欺骗判别模型，而判别模型要判断这张图片的真伪，随着训练的过程的迭代进行，两个模型最终达到稳态，此时生成模型就学习到了训练数据的分布从而可用于模拟产生与数据分布相似的图像。本方法中，生成模型采用“U-net”结构形式；两层GAN的结构是同样的；
在本发明一实施例中，步骤S12设定GAN的目标函数描述为：生成器G用于将输入图像z∈Zinput转换为图像G(z)，同时z有一一对应的目标图x∈Xground-truth，生成器的目标是使“输入图像-生成图像”的数据概率分布趋近于“输入图像-真实图像”的概率分布，即PG(z)-z～Px-z；鉴别器D用于区分生成的样本G(z)与输入的样本z是否是真实的一对；此外，除了保证“输入图像-生成图像”数据分布的真实性，还要保证生成图像本身的真实性，故加入约束生成图像与真实图像相似度的损失项。
步骤13:根据GAN的目标函数描述，为保证生成图像本身的真实性，加入约束生成图像与真实图像相似度的损失项；得到网络的损失函数为：
其中，E·表示数学期望，P·表示概率分布，D(z，x)表示鉴别器输出的z与x相似度的概率值，G(z)表示生成器根据样本z而生成的图像的特征量，λ表示权重系数，||·||1表示L1范数，即向量中各个元素绝对值之和，z∈Zinput表示输入图像，x∈Xground-truth表示输入图像对应的目标图。
在本发明一实施例中，进一步的，所述步骤S2具体为：
步骤S21:收集某一类别足量的真实图像；
步骤S22:将图像的尺寸调整为正方形；一般可取为256×256；
步骤S23:去除图像的复杂背景，留下主体对象，处理后图像记为B；
步骤S24:使用加权最小二乘滤波器对B进行锐化处理，锐化后的图像记为B’；
步骤S25:采用HED边缘检测网络分别对B和B’进行边缘提取，得到的边缘图记为BE和B′E；
步骤S26:合并BE和B′E的像素点并过滤阴影部分得到图像B的线条画轮廓，记为BC；其过程如下：遍历BE和B′E所有像素点，比较对应像素值(BE)ij、(B'E)ij(i表示第i行，j表示第j列)。若(BE)ij<(B'E)ij，则反之，则同时对阴影部分进行过滤：若(BC)ij大于某一阈值(一般取160～200)，则
步骤S27:采用移动最小二乘法对得到的线条画轮廓BC进行变形；其过程如下：在BC上随机产生五个源点，记为Oi(i＝1,2,3,4,5),设定阈值ran(通常10～20个像素点)，对Oi的横坐标和纵坐标±ran的范围内随机取目标点Ti(i＝1,2,3,4,5)，得到5个源点及对应的5个目标点，采用移动最小二乘变形法根据源点与目标点对BC变形，变形后的图像轮廓记为BS，用于模拟图像B的线条画形态。
在本发明一实施例中，进一步的，所述步骤S3具体为：
步骤S31：将图像B与根据其生成的模拟线条画BS组合成对，作为第一层GAN的训练样本对；
步骤S32:GAN优化的目标是一个极小极大博弈问题，即最大化D的区分度，最小化G(BS)和真实数据集的数据分布,优化问题描述为：
其中，E·表示数学期望，P·表示概率分布，D(z，x)表示鉴别器输出的z与x相似度的概率值，G(z)表示生成器根据样本z而生成的图像的特征量，λ表示权重系数，||·||1表示L1范数，即向量中各个元素绝对值之和，表示输入的模拟线条画，B∈Bground-truth表示模拟线条画对应的真实图。
生成器G需要生成符合图像B分布的数据以欺骗鉴别器，鉴别器D根据真实数据B与生成数据G(BS)的输入来分别输出一个概率值或者说一个标量值，表示D对于输入是真实数据还是生成数据的置信度，以此判断G的产生数据的性能好坏；当最终D不能区分真实数据B和生成数据G(BS)时，就认为生成器G达到了最优；
步骤S33:将不断地接近PB作为收敛的判断标准，保证两者学习速率基本一致，达到最大迭代次数完成训练。需要保证两者学习速率基本一致，也就是先训练一次G，再训练一次D，保证训练的稳定。设置最大迭代次数(约为200)进行训练。
在本发明一实施例中，所述步骤S4具体为
步骤S41:将模拟线条画BS输入到已训练好的第一层模型中，输出粗粒度现实感图像，记为T1。
在本发明一实施例中，进一步的，所述步骤S5具体为：
步骤S51:将图像B与粗粒度现实感图像T1组合成对，作为第二层GAN的训练样本对；
步骤S52:第二层GAN优化的目标是一个极小极大博弈问题，即最大化D的区分度，最小化G(T1)和真实数据集的数据分布，描述如下：
其中，E·表示数学期望，P·表示概率分布，D(z，x)表示鉴别器输出的z与x相似度的概率值，G(z)表示生成器根据样本z而生成的图像的特征量，λ表示权重系数，||·||1表示L1范数，即向量中各个元素绝对值之和，T1∈T1input表示输入的粗粒度现实感图像，B∈Bground-truth表示粗粒度现实感图像对应的真实图。
生成器G需要生成符合真实图像B分布的数据欺骗鉴别器，鉴别器D根据真实数据B与生成数据G(T1)的输入来分别输出一个概率值或者说一个标量值，表示D对于输入是真实数据还是生成数据的置信度，以此判断G的产生数据的性能好坏；当最终D不能区分真实数据B和生成数据G(T1)时，就认为生成器G达到了最优；
步骤S53：在训练过程中，不断地接近PB是收敛的判断标准；保证两者学习速率一致，达到最大迭代次数完成训练。需要保证两者学习速率基本一致，也就是先训练一次G，再训练一次D，保证训练的稳定。设置最大迭代次数(约为200)进行训练。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种手绘线条画生成现实感图像的深度学习方法，其特征在于：包括以下步骤：
步骤S1：建立双层GAN结构，包括第一层GAN结构和第二层GAN结构；
步骤S2：收集并生成用于训练网络的“真实图像-模拟线条画”数据集；
步骤S3：根据“真实图像-模拟线条画”数据集，训练第一层GAN结构，得到训练后的第一层GAN结构；
步骤S4：将待处理的手绘线条画输入训练后的第一层GAN结构，得到粗粒度现实感图像；
步骤S5：根据“真实图像-粗粒度现实感图像”数据集，训练第二层GAN结构，得到训练后的第二层GAN结构；
步骤S6：将粗粒度现实感图像输入训练后的第二层GAN结构，得到高分辨现实感图像。
2.根据权利要求1所述的一种手绘线条画生成现实感图像的深度学习方法，其特征在于：所述步骤S1具体为：
步骤S11：基于GAN框架，建立双层GAN结构；
步骤S12设定GAN的目标函数描述为：生成器G用于将输入图像z∈Zinput转换为图像G(z)，同时z有一一对应的目标图x∈Xground-truth，生成器的目标是使“输入图像-生成图像”的数据概率分布趋近于“输入图像-真实图像”的概率分布，即PG(z)-z～Px-z；鉴别器D用于区分生成的样本G(z)与输入的样本z是否是真实的一对；
步骤13：根据GAN的目标函数描述，为保证生成图像本身的真实性，加入约束生成图像与真实图像相似度的损失项；得到网络的损失函数为：
其中，E·表示数学期望，P·表示概率分布，D(z，x)表示鉴别器输出的z与x相似度的概率值，G(z)表示生成器根据样本z而生成的图像的特征量，λ表示权重系数，||·||1表示L1范数，即向量中各个元素绝对值之和，z∈Zinput表示输入图像，x∈Xground-truth表示输入图像对应的目标图。
3.根据权利要求1所述的一种手绘线条画生成现实感图像的深度学习方法，其特征在于：所述步骤S2具体为：
步骤S21：收集某一类别足量的真实图像；
步骤S22：将图像的尺寸调整为正方形；
步骤S23：去除图像的复杂背景，留下主体对象，处理后图像记为B；
步骤S24：使用加权最小二乘滤波器对B进行锐化处理，锐化后的图像记为B’；
步骤S25：采用HED边缘检测网络分别对B和B’进行边缘提取，得到的边缘图记为BE和B′E；
步骤S26：合并BE和B′E的像素点并过滤阴影部分得到图像B的线条画轮廓，记为BC；
步骤S27：采用移动最小二乘法对得到的线条画轮廓BC进行变形，记为BS。
4.根据权利要求1所述的一种手绘线条画生成现实感图像的深度学习方法，其特征在于：所述步骤S3具体为：
步骤S31：将图像B与根据其生成的模拟线条画BS组合成对，作为第一层GAN的训练样本对；
步骤S32：GAN优化的目标是一个极小极大博弈问题，即最大化D的区分度，最小化G(BS)和真实数据集的数据分布，优化问题描述为：
其中，E·表示数学期望，P·表示概率分布，D(z，x)表示鉴别器输出的z与x相似度的概率值，G(z)表示生成器根据样本z而生成的图像的特征量，λ表示权重系数，||·||1表示L1范数，即向量中各个元素绝对值之和，表示输入的模拟线条画，B∈Bground-truth表示模拟线条画对应的真实图。
生成器G需要生成符合图像B分布的数据以欺骗鉴别器，鉴别器D根据真实数据B与生成数据G(BS)的输入来分别输出一个概率值或者说一个标量值，表示D对于输入是真实数据还是生成数据的置信度，以此判断G的产生数据的性能好坏；当最终D 不能区分真实数据B和生成数据G(BS)时，就认为生成器G达到了最优；
步骤S33：将不断地接近PB作为收敛的判断标准，保证两者学习速率基本一致，达到最大迭代次数完成训练。
5.根据权利要求1所述的一种手绘线条画生成现实感图像的深度学习方法，其特征在于：所述步骤S4具体为：
步骤S41：将模拟线条画BS输入到已训练好的第一层模型中，输出粗粒度现实感图像，记为T1。
6.根据权利要求1所述的一种手绘线条画生成现实感图像的深度学习方法，其特征在于：所述步骤S5具体为
步骤S51：将图像B与粗粒度现实感图像T1组合成对，作为第二层GAN的训练样本对；
步骤S52：第二层GAN优化的目标是一个极小极大博弈问题，即最大化D的区分度，最小化G(T1)和真实数据集的数据分布，描述如下：
其中，E·表示数学期望，P·表示概率分布，D(z，x)表示鉴别器输出的z与x相似度的概率值，G(z)表示生成器根据样本z而生成的图像的特征量，λ表示权重系数，||·||1表示L1范数，即向量中各个元素绝对值之和，T1∈T1input表示输入的粗粒度现实感图像，B∈Bground-truth表示粗粒度现实感图像对应的真实图。
生成器G需要生成符合真实图像B分布的数据欺骗鉴别器，鉴别器D根据真实数据B与生成数据G(T1)的输入来分别输出一个概率值或者说一个标量值，表示D对于输入是真实数据还是生成数据的置信度，以此判断G的产生数据的性能好坏；当最终D不能区分真实数据B和生成数据G(T1)时，就认为生成器G达到了最优；
步骤S53：在训练过程中，不断地接近PB是收敛的判断标准；保证两者学习速率一致，达到最大迭代次数完成训练。
CN201810859788.XA 2018-08-01 2018-08-01 一种手绘线条画生成现实感图像的深度学习方法 Active CN109064389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810859788.XA CN109064389B (zh) 2018-08-01 2018-08-01 一种手绘线条画生成现实感图像的深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810859788.XA CN109064389B (zh) 2018-08-01 2018-08-01 一种手绘线条画生成现实感图像的深度学习方法

Publications (2)

Publication Number Publication Date
CN109064389A true CN109064389A (zh) 2018-12-21
CN109064389B CN109064389B (zh) 2023-04-18

Family

ID=64832341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810859788.XA Active CN109064389B (zh) 2018-08-01 2018-08-01 一种手绘线条画生成现实感图像的深度学习方法

Country Status (1)

Country Link
CN (1) CN109064389B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175567A (zh) * 2019-05-28 2019-08-27 吉林大学 基于wgan-gp和u-net的素描—照片转化方法
CN111260620A (zh) * 2020-01-14 2020-06-09 三峡大学 图像异常检测方法、装置和电子设备
CN112529978A (zh) * 2020-12-07 2021-03-19 四川大学 一种人机交互式抽象画生成方法
CN113204829A (zh) * 2021-06-07 2021-08-03 东易日盛家居装饰集团股份有限公司 一种基于神经网络的家装场景设计方法及系统
CN114758035A (zh) * 2022-06-13 2022-07-15 之江实验室 一种针对未配对数据集的图像生成方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295199A (zh) * 2016-08-15 2017-01-04 中国地质大学（武汉） 基于自动编码器和多目标优化的自动历史拟合方法及系统
CN107748798A (zh) * 2017-11-07 2018-03-02 中国石油大学(华东) 一种基于多层视觉表达和深度网络的手绘图像检索方法
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法
CN108256567A (zh) * 2018-01-12 2018-07-06 环球大数据科技有限公司 一种基于深度学习的目标识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295199A (zh) * 2016-08-15 2017-01-04 中国地质大学（武汉） 基于自动编码器和多目标优化的自动历史拟合方法及系统
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN107748798A (zh) * 2017-11-07 2018-03-02 中国石油大学(华东) 一种基于多层视觉表达和深度网络的手绘图像检索方法
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN108256567A (zh) * 2018-01-12 2018-07-06 环球大数据科技有限公司 一种基于深度学习的目标识别方法及系统
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王斐: "卷积神经网络在手绘草图识别中的应用研究", 《万方数据学位论文库》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175567A (zh) * 2019-05-28 2019-08-27 吉林大学 基于wgan-gp和u-net的素描—照片转化方法
CN111260620A (zh) * 2020-01-14 2020-06-09 三峡大学 图像异常检测方法、装置和电子设备
CN111260620B (zh) * 2020-01-14 2023-08-18 三峡大学 图像异常检测方法、装置和电子设备
CN112529978A (zh) * 2020-12-07 2021-03-19 四川大学 一种人机交互式抽象画生成方法
CN113204829A (zh) * 2021-06-07 2021-08-03 东易日盛家居装饰集团股份有限公司 一种基于神经网络的家装场景设计方法及系统
CN114758035A (zh) * 2022-06-13 2022-07-15 之江实验室 一种针对未配对数据集的图像生成方法及装置

Also Published As

Publication number Publication date
CN109064389B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
Bheda et al. Using deep convolutional networks for gesture recognition in american sign language
CN109064389A (zh) 一种手绘线条画生成现实感图像的深度学习方法
CN104463101B (zh) 用于文字性试题的答案识别方法及系统
CN103035135B (zh) 基于增强现实技术的儿童认知系统及认知方法
CN108629338B (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN107766842B (zh) 一种手势识别方法及其应用
CN108984530A (zh) 一种网络敏感内容的检测方法及检测系统
CN110532912B (zh) 一种手语翻译实现方法及装置
CN107330444A (zh) 一种基于生成对抗网络的图像自动文本标注方法
CN108460399A (zh) 一种儿童积木搭建辅助方法及系统
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
Balasuriya et al. Learning platform for visually impaired children through artificial intelligence and computer vision
CN107463954A (zh) 一种模糊异谱图像的模板匹配识别方法
Geng et al. Learning deep spatiotemporal feature for engagement recognition of online courses
Shen et al. The influence of artificial intelligence on art design in the digital age
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
CN109086664A (zh) 一种动静态融合的多态手势识别方法
CN107316059A (zh) 学习者姿态识别方法
CN107066979A (zh) 一种基于深度信息和多维度卷积神经网络的人体动作识别方法
Chen et al. An experimental comparison between NMF and LDA for active cross-situational object-word learning
CN106203448A (zh) 一种基于非线性尺度空间的场景分类方法
Sun et al. The exploration of facial expression recognition in distance education learning system
Agrawal et al. A Tutor for the hearing impaired (developed using Automatic Gesture Recognition)
Chen et al. Cross-situational noun and adjective learning in an interactive scenario
CN107301425A (zh) 一种基于深度学习的儿童涂鸦评分方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant