CN116309032A - 一种图片处理方法、系统及计算机 - Google Patents

一种图片处理方法、系统及计算机 Download PDF

Info

Publication number
CN116309032A
CN116309032A CN202310587379.XA CN202310587379A CN116309032A CN 116309032 A CN116309032 A CN 116309032A CN 202310587379 A CN202310587379 A CN 202310587379A CN 116309032 A CN116309032 A CN 116309032A
Authority
CN
China
Prior art keywords
picture
style
loss
acquiring
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310587379.XA
Other languages
English (en)
Other versions
CN116309032B (zh
Inventor
李波
何志芬
刘文辉
刘彬
高沧海
赵旭
熊小环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Ruichuang Technology Co ltd
Nanchang Hangkong University
Lenovo New Vision Nanchang Artificial Intelligence Industrial Research Institute Co Ltd
Original Assignee
Jiangxi Ruichuang Technology Co ltd
Nanchang Hangkong University
Lenovo New Vision Nanchang Artificial Intelligence Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Ruichuang Technology Co ltd, Nanchang Hangkong University, Lenovo New Vision Nanchang Artificial Intelligence Industrial Research Institute Co Ltd filed Critical Jiangxi Ruichuang Technology Co ltd
Priority to CN202310587379.XA priority Critical patent/CN116309032B/zh
Publication of CN116309032A publication Critical patent/CN116309032A/zh
Application granted granted Critical
Publication of CN116309032B publication Critical patent/CN116309032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明提供一种图片处理方法、系统及计算机，方法包括：生成内容数据集及风格数据集；选取待测图片，获取其待测风格编码，基于待测风格编码获取有监督对比学习损失；选取待迁图片，将待迁图片转化为待定图片，根据待定图片获取内容损失及风格损失；结合有监督对比学习损失、内容损失及风格损失进行训练，获取最终编码器及最终解码器；获取全部的画作图片的风格编码，将风格编码映射为噪声；根据风格编码及噪声获取分布损失，获取最终条件可逆网络ccnf；以画作图片或画家名字为迁移条件，将基础图片转换为结果图片。通过上述步骤，实现多种迁移选择，画家风格迁移可分辨作画时差别，获取多样化的结果图片，解决多阈及多样化问题。

Description

一种图片处理方法、系统及计算机
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图片处理方法、系统及计算机。
背景技术
风格迁移是一种流行的图片处理的方法，它可以将一个画作或者画家的风格迁移到给定的内容图片之上，使得生成的图片在保留内容图片结构的同时，还具有给定画作或者画家的风格。
现有的风格迁移主要分两类，第一类是基于画作的风格迁移，以AdaIN方法为例，它的核心观点是通过一个自适应实例正则化层来调整内容图片的均值和方差，使其均值和方差与给定的画作一致，以此实现将画作的风格迁移到内容图片之上。但由于一张画作并不能准确的反映出画家的风格，其基于给定的画作仅能生成单一的结果。为考虑画家风格细微变化的影响，第二类则基于画家的风格迁移，不同于基于画作的风格迁移，基于画家的风格迁移通过研究属于此画家的所有画作，使用神经网络提取出属于此画家的独特风格，在风格提取完成之后，可以输入该画家名字来将其多样化风格迁移到内容图片之中。
但现有的基于画家的风格迁移方法，其并不能同时解决多阈及多样性的问题，即现有的基于画家的风格迁移方法仅能实现一个画家的不同作品的风格迁移，不能实现基于多个画家的多样化风格迁移。
发明内容
本申请实施例提供了一种图片处理方法、系统及计算机，以解决现有技术中基于画家的风格迁移的图片处理方式，其不能同时解决多阈及多样性的技术问题。
第一方面，本申请实施例提供了一种图片处理方法，包括以下步骤：
生成内容数据集及风格数据集，所述内容数据集包括若干个内容图片，所述风格数据集包括若干个画家名字，每个所述画家名字均对应有若干个画作图片；
选取某一所述画作图片为待测图片，通过待测风格编码器获取所述待测图片的待测风格编码，并基于所述待测风格编码获取有监督对比学习损失；
选取某一所述内容图片为待迁图片，通过待测解码器将所述待迁图片转化为待定图片，并根据所述待定图片获取内容损失及风格损失；
结合所述有监督对比学习损失、所述内容损失及所述风格损失，通过反向算法训练所述待测风格编码器及所述待测解码器，以获取最终编码器及最终解码器，所述最终编码器关联所述画作图片；
获取全部的所述画作图片的风格编码，以所述画家名字为条件建立基础条件可逆网络ccnf，以将所述风格编码映射为噪声；
根据所述风格编码及所述噪声获取分布损失，结合所述分布损失通过反向算法训练所述基础条件可逆网络ccnf，以获取最终条件可逆网络ccnf，所述最终条件可逆网络ccnf关联所述画家名字；
以所述画作图片或所述画家名字为迁移条件，将基础图片转换为风格迁移后的结果图片。
进一步地，所述通过待测风格编码器获取所述待测图片的待测风格编码，并基于所述待测风格编码获取有监督对比学习损失的步骤包括：
获取所述待测图片的待测风格特征；
将所述待测风格特征输入待测风格编码器，以生成待测风格编码；
选择与所述待测图片对应的所述画家名字下的其他的所述画作图片为第一样本，获取所述第一样本的正样本编码；
选择其他的所述画家名字下的所述画作图片为第二样本，获取所述第二样本的负样本编码；
根据所述待测风格编码、所述正样本编码及所述负样本编码构建有监督对比学习损失。
进一步地，所述有监督对比学习损失的计算公式为：
Figure SMS_1
，
其中，
Figure SMS_2
表示有监督对比学习损失，/>
Figure SMS_3
表示待测风格编码，/>
Figure SMS_4
表示正样本编码，
Figure SMS_5
表示负样本编码，M表示正样本编码的个数，N表示负样本编码的个数，i表示正样本编码的编号，j表示负样本编码的编号，/>
Figure SMS_6
表示常数。
进一步地，所述通过待测解码器将所述待迁图片转化为待定图片，并根据所述待定图片获取内容损失及风格损失的步骤包括：
获取所述待迁图片的待迁内容特征；
将所述待迁内容特征及所述待测风格编码输入待测解码器，以生成待定图片；
提取所述待迁图片的第一特征，并提取所述待定图片的第二特征，根据所述第一特征及所述第二特征获取内容损失；
提取所述待测图片的第三特征，并提取所述待定图片的第四特征，根据所述第三特征及所述第四特征获取风格损失。
进一步地，所述内容损失的计算公式为：
Figure SMS_7
，
其中，
Figure SMS_8
表示内容损失，/>
Figure SMS_9
表示待定图片，/>
Figure SMS_10
表示待迁图片，/>
Figure SMS_11
表示第一特征及第二特征的提取模型；
所述风格损失的计算公式为：
Figure SMS_12
，
其中，
Figure SMS_13
表示风格损失，/>
Figure SMS_14
表示待测图片，/>
Figure SMS_15
表示第三特征及第四特征的提取模型，/>
Figure SMS_16
表示均值，/>
Figure SMS_17
表示方差，K、k均表示计算参数。
进一步地，所述获取全部的所述画作图片的风格编码的步骤包括：
提取全部的所述画作图片的风格特征；
将所述风格特征输入所述最终编码器，以获取风格编码。
进一步地，所述分布损失的计算公式为：
Figure SMS_18
，
其中，
Figure SMS_21
表示分布损失，/>
Figure SMS_24
表示时间变量，/>
Figure SMS_25
表示风格编码，/>
Figure SMS_20
及/>
Figure SMS_23
均表示噪声，/>
Figure SMS_26
表示求迹操作，/>
Figure SMS_27
表示概率密度函数，d表示画家名字，/>
Figure SMS_19
及/>
Figure SMS_22
均表示计算参数。
进一步地，所述以所述画作图片或所述画家名字为迁移条件，将基础图片转换为风格迁移后的结果图片的步骤包括：
若以所述画作图片为迁移条件，则提取所述基础图片的基础特征，通过所述最终编码器获取所述画作图片的风格编码，将所述基础特征及所述风格编码输入所述最终解码器，以获取风格迁移后的结果图片；
若以所述画家名字为迁移条件，则提取所述基础图片的基础特征，将所述画家名字输入所述最终条件可逆网络ccnf逆推与所述画家名字对应的风格编码，并将所述基础特征及所述风格编码输入所述最终解码器，以获取风格迁移后的所述结果图片。
第二方面，本申请实施例提供了一种图片处理系统，所述系统包括：
准备模块，用于生成内容数据集及风格数据集，所述内容数据集包括若干个内容图片，所述风格数据集包括若干个画家名字，每个所述画家名字均对应有若干个画作图片；
第一测试模块，用于选取某一所述画作图片为待测图片，通过待测风格编码器获取所述待测图片的待测风格编码，并基于所述待测风格编码获取有监督对比学习损失；
第二测试模块，用于选取某一所述内容图片为待迁图片，通过待测解码器将所述待迁图片转化为待定图片，并根据所述待定图片获取内容损失及风格损失；
第一训练模块，用于结合所述有监督对比学习损失、所述内容损失及所述风格损失，通过反向算法训练所述待测风格编码器及所述待测解码器，以获取最终编码器及最终解码器，所述最终编码器关联所述画作图片；
构建模块，用于获取全部的所述画作图片的风格编码，以所述画家名字为条件建立基础条件可逆网络ccnf，以将所述风格编码映射为噪声；
第二训练模块，用于根据所述风格编码及所述噪声获取分布损失，结合所述分布损失通过反向算法训练所述基础条件可逆网络ccnf，以获取最终条件可逆网络ccnf，所述最终条件可逆网络ccnf关联所述画家名字；
迁移模块，用于以所述画作图片或所述画家名字为迁移条件，将基础图片转换为风格迁移后的结果图片。
第三方面，本申请实施例提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的图片处理方法。
相较于现有技术，本发明的有益效果在于：通过所述有监督对比学习损失训练所述待测编码器，可将同一个画家的所述画作图片的风格编码之间的距离减小，将不同的画家的所述画作图片的风格编码之间的距离增大，以将同一画家的所述风格编码进行归类，方便后续提取时进行区分，通过所述内容损失及所述风格损失对所述待测编码器及所述待测解码器进行训练，可使所述结果图片与所述基础图片的内容一致，并与所述画作图片的风格一致，通过所述分布损失训练所述基础条件可逆网络ccnf，可最大化所述风格编码的存在概率，以确保在通过所述画家名字进行逆推时，可准确的获取所述风格编码，设置所述最终编码器、所述最终条件可逆网络ccnf及所述最终解码器，可根据需要进行画作风格的迁移或画家风格的迁移，并在进行画家风格迁移时，可分辨因画家作画时的细节差异所产生的微小差别，提取距离相近的所述风格编码，获取多样化的所述结果图片，解决了多阈及多样化问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
图1为本发明第一实施例中图片处理方法的流程图；
图2为本发明第二实施例中图片处理方法的流程图；
图3为本发明第二实施例中图片处理方法以画作图片为迁移条件的迁移结果与其他以画作风格为条件的图片处理方法的迁移结果的对比图；
图4为本发明第二实施例中图片处理方法以画家名字为迁移条件的迁移结果与其他以画家名字为条件的图片处理方法的迁移结果的对比图；
图5为本发明第三实施例中图片处理系统的结构框图；
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
请参阅图1，本发明第一实施例提供的图片处理方法，所述方法包括步骤S10至步骤S70：
步骤S10：生成内容数据集及风格数据集，所述内容数据集包括若干个内容图片，所述风格数据集包括若干个画家名字，每个所述画家名字均对应有若干个画作图片；
从MS-COCO数据集中选择图片作为所述内容图片，从WikiArt数据集中选择画作图片作为所述画作图片，且将与所述画作图片对应的画家名字进行汇总，可以理解地，每个所述画家名字均对应有若干个所述画作图片，在本申请中，所述画作图片及所述内容图片均需下采样至256X256分辨率，通过设置所述内容数据集及所述风格数据集，可更好的对所述内容图片及所述画作图片进行区分。
步骤S20：选取某一所述画作图片为待测图片，通过待测风格编码器获取所述待测图片的待测风格编码，并基于所述待测风格编码获取有监督对比学习损失；
通过所述有监督对比学习损失训练所述待测编码器，在经过其约束训练之后，属于同一个画家的风格编码会聚在一起形成一组，不同画家的风格编码分散在不同的组中，组内的所述风格编码的距离小于不同组之间的所述风格编码的距离。所述风格编码是一维向量，距离指代余弦相似度。即通过所述有监督对比学习损失的约束训练，可将同一个画家的所述画作图片的风格编码之间的距离减小，将不同的画家的所述画作图片的风格编码之间的距离增大，以根据画家的不同进行所述风格编码的区分归类，方便后续的迁移操作。
步骤S30：选取某一所述内容图片为待迁图片，通过待测解码器将所述待迁图片转化为待定图片，并根据所述待定图片获取内容损失及风格损失；
内容损失是指在风格迁移的过程中，所述内容图片的内容丢失度，风格损失是指在风格迁移的过程中，所述画作图片的内容丢失，即通过所述内容损失及所述风格损失对所述待测编码器及所述待测解码器进行训练，可使风格迁移后的图片与原图片的内容一致，并与选择的风格图片的风格一致。
步骤S40：结合所述有监督对比学习损失、所述内容损失及所述风格损失，通过反向算法训练所述待测风格编码器及所述待测解码器，以获取最终编码器及最终解码器，所述最终编码器关联所述画作图片；
将所述最终编码器管制所述画作图片，其目的是为后续选择不同的风格迁移方式打下基础，以实现智能化的迁移操作。
步骤S50：获取全部的所述画作图片的风格编码，以所述画家名字为条件建立基础条件可逆网络ccnf，以将所述风格编码映射为噪声。
步骤S60：根据所述风格编码及所述噪声获取分布损失，结合所述分布损失通过反向算法训练所述基础条件可逆网络ccnf，以获取最终条件可逆网络ccnf，所述最终条件可逆网络ccnf关联所述画家名字；
通过所述分布损失训练所述基础条件可逆网络ccnf，可最大化所述风格编码的存在概率，以确保在通过所述画家名字进行逆推时，可准确的获取所述风格编码。最大化所述风格编码的存在概率即代表最小化所述分布损失。
具体地，所述分布损失的计算公式为：
Figure SMS_28
，
其中，
Figure SMS_31
表示分布损失，/>
Figure SMS_33
表示时间变量，/>
Figure SMS_36
表示风格编码，/>
Figure SMS_30
及/>
Figure SMS_34
均表示噪声，/>
Figure SMS_35
表示求迹操作，/>
Figure SMS_37
表示概率密度函数，d表示画家名字，/>
Figure SMS_29
及/>
Figure SMS_32
均表示计算参数。
可以理解地，所述最终条件可逆网络ccnf关联所述画家名字，同样是为后续选择不同的风格迁移方式打下基础，以实现智能化的迁移操作。
步骤S70：以所述画作图片或所述画家名字为迁移条件，将基础图片转换为风格迁移后的结果图片。
设置所述最终编码器、所述最终条件可逆网络ccnf及所述最终解码器，可根据需要进行画作风格的迁移或画家风格的迁移，并在进行画家风格迁移时，分辨因画家作画时的细节差异所产生的微小差别，提取距离相近的所述风格编码，获取多样化的所述结果图片，解决了多阈及多样化问题。
请参阅图2，本发明第二实施例提供的图片处理方法，所述方法包括以下步骤：
步骤S100：生成内容数据集及风格数据集，所述内容数据集包括若干个内容图片，所述风格数据集包括若干个画家名字，每个所述画家名字均对应有若干个画作图片；
步骤S101：选取某一所述画作图片为待测图片，获取所述待测图片的待测风格特征；
将所述待测图片输入训练好的VGG编码器，以获取所述待测图片的待测风格特征。
步骤S102：将所述待测风格特征输入待测风格编码器，以生成待测风格编码；
通过所述待测风格编码器生成的所述待测风格编码，其本身不会进行距离调节，即相同的所述画家名字下的所述待测风格编码无法根据所述画家名字完成汇聚或远离。
步骤S103：选择与所述待测图片对应的所述画家名字下的其他的所述画作图片为第一样本，获取所述第一样本的正样本编码；
步骤S104：选择其他的所述画家名字下的所述画作图片为第二样本，获取所述第二样本的负样本编码；
通过获取若干个所述第一样本及若干个所述第二样本，以提升数据的准确性，具体地，画家A对应有第一画作、第二画作及第三画作，画家B对应有第四画作、第五画作及第六画作，在所述待测图片为第一画作时，所述第一样本为第二和/或第三画作，所述第二样本为第四画作、第五画作和/或第六画作。
步骤S105：根据所述待测风格编码、所述正样本编码及所述负样本编码构建有监督对比学习损失；
所述有监督对比学习损失的计算公式为：
Figure SMS_38
，
其中，
Figure SMS_39
表示有监督对比学习损失，/>
Figure SMS_40
表示待测风格编码，/>
Figure SMS_41
表示正样本编码，
Figure SMS_42
表示负样本编码，M表示正样本编码的个数，N表示负样本编码的个数，i表示正样本编码的编号，j表示负样本编码的编号，/>
Figure SMS_43
表示常数。
其中i=1，2，...，M；j=1，2，...，N。
步骤S106：选取某一所述内容图片为待迁图片，获取所述待迁图片的待迁内容特征；
同理，通过将所述待迁图片输入训练好的VGG编码器，获取所述待迁内容特征。
步骤S107：将所述待迁内容特征及所述待测风格编码输入待测解码器，以生成待定图片；
步骤S108：提取所述待迁图片的第一特征，并提取所述待定图片的第二特征，根据所述第一特征及所述第二特征获取内容损失；
所述第一特征及所述第二特征为同一概念特征，即通过同一提取模型可分别提取所述待迁图片的第一特征及所述待定图片的第二特征。所述内容损失即是所述第一特征与所述第二特征之间的L2距离。
所述内容损失的计算公式为：
Figure SMS_44
，
其中，
Figure SMS_45
表示内容损失，/>
Figure SMS_46
表示待定图片，/>
Figure SMS_47
表示待迁图片，/>
Figure SMS_48
表示第一特征及第二特征的提取模型。
步骤S109：提取所述待测图片的第三特征，并提取所述待定图片的第四特征，根据所述第三特征及所述第四特征获取风格损失；
所述第三特征及所述第四特征为同一概念特征，即通过同一提取模型可分别提取所述待测图片的第三特征及所述待定图片的第四特征。所述风格损失即是所述第三特征的均值与所述第四特征的均值之间的L2距离及所述第三特征的方差与所述第四特征的方差之间的L2距离。
所述风格损失的计算公式为：
Figure SMS_49
，
其中，
Figure SMS_50
表示风格损失，/>
Figure SMS_51
表示待测图片，/>
Figure SMS_52
表示第三特征及第四特征的提取模型，/>
Figure SMS_53
表示均值，/>
Figure SMS_54
表示方差，K、k均表示计算参数。
步骤S110：结合所述有监督对比学习损失、所述内容损失及所述风格损失，通过反向算法训练所述待测风格编码器及所述待测解码器，以获取最终编码器及最终解码器，所述最终编码器关联所述画作图片；
步骤S111：提取全部的所述画作图片的风格特征；
在本步骤中，通过所述VGG编码器获取全部的所述画作图片的风格特征。
步骤S112：将所述风格特征输入所述最终编码器，以获取风格编码，以所述画家名字为条件建立基础条件可逆网络ccnf，以将所述风格编码映射为噪声；
通过所述最终编码器获取所述风格编码，可在将所述风格编码映射为所述噪声时，更好的区分不同画家的所述风格编码的所处位置，在后续以所述画家名字为条件进行所述风格编码的获取时，可通过距离较近的所述噪声，逆向推导相似度较高的所述风格编码。
步骤S113：根据所述风格编码及所述噪声获取分布损失，结合所述分布损失通过反向算法训练所述基础条件可逆网络ccnf，以获取最终条件可逆网络ccnf，所述最终条件可逆网络ccnf关联所述画家名字；
步骤S114：若以所述画作图片为迁移条件，则提取所述基础图片的基础特征，通过所述最终编码器获取所述画作图片的风格编码，将所述基础特征及所述风格编码输入所述最终解码器，以获取风格迁移后的结果图片；
即在进行风格迁移时，若选择画作风格迁移，则将所述画作图片输入所述最终编码器，以获取风格编码，并通过所述风格编码改变所述基础图片，以获取所述结果图片。
请参阅图3，其中，第一列为所述画作图片，第二列为所述基础图片，第三列至第六列是其他基于画作的图片处理方法所获取的图片，最后一列是本实施例中风格迁移后的所述结果图片，从图中可以看出，本实施例中风格迁移后的所述结果图片更好的保留了所述基础图片的主体结构。
步骤S115：若以所述画家名字为迁移条件，则提取所述基础图片的基础特征，将所述画家名字输入所述最终条件可逆网络ccnf逆推与所述画家名字对应的风格编码，并将所述基础特征及所述风格编码输入所述最终解码器，以获取风格迁移后的所述结果图片。
即在进行风格迁移时，若选择画家风格迁移，则将所述画家名字输入所述最终条件可逆网络ccnf，以获取风格编码，并通过所述风格编码改变所述基础图片，以获取所述结果图片。
请参阅图4，其中，第一列为所述画家名字，第二列为所述基础图片，第三列及第四列是其他基于画家的图片处理方法所获取的图片，最后三列是本实施例中图片处理后的所述结果图片，从图中可以看出，本实施例的方法根据给定的所述基础图片和画家名字，可生成多样化的风格迁移结果。
所述内容图片、所述待迁图片及所述基础图片的概念相同，即作为需要更换风格的图片，因此，所述待迁内容特征及所述基础特征为同一含义的特征，所述画作图片、所述待测图片的概念相同，即所述待测风格编码、所述正样本编码、所述负样本编码及所述风格编码为同一含义的编码，所述待定图片及所述结果图片的概念相同。
请参阅图5，本发明第三实施例提供了一种图片处理系统，该系统应用于上述实施例中的图片处理方法，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
所述系统包括：
准备模块10，用于生成内容数据集及风格数据集，所述内容数据集包括若干个内容图片，所述风格数据集包括若干个画家名字，每个所述画家名字均对应有若干个画作图片；
第一测试模块20，用于选取某一所述画作图片为待测图片，通过待测风格编码器获取所述待测图片的待测风格编码，并基于所述待测风格编码获取有监督对比学习损失；
所述第一测试模块20包括：
第一单元，用于选取某一所述画作图片为待测图片，获取所述待测图片的待测风格特征；
第二单元，用于将所述待测风格特征输入待测风格编码器，以生成待测风格编码；
第三单元，用于选择与所述待测图片对应的所述画家名字下的其他的所述画作图片为第一样本，获取所述第一样本的正样本编码；
第四单元，用于选择其他的所述画家名字下的所述画作图片为第二样本，获取所述第二样本的负样本编码；
第五单元，用于根据所述待测风格编码、所述正样本编码及所述负样本编码构建有监督对比学习损失；
第二测试模块30，用于选取某一所述内容图片为待迁图片，通过待测解码器将所述待迁图片转化为待定图片，并根据所述待定图片获取内容损失及风格损失；
所述测试模块30包括：
第六单元，用于选取某一所述内容图片为待迁图片，获取所述待迁图片的待迁内容特征；
第七单元，用于将所述待迁内容特征及所述待测风格编码输入待测解码器，以生成待定图片；
第八单元，用于提取所述待迁图片的第一特征，并提取所述待定图片的第二特征，根据所述第一特征及所述第二特征获取内容损失；
第九单元，用于提取所述待测图片的第三特征，并提取所述待定图片的第四特征，根据所述第三特征及所述第四特征获取风格损失
第一训练模块40，用于结合所述有监督对比学习损失、所述内容损失及所述风格损失，通过反向算法训练所述待测风格编码器及所述待测解码器，以获取最终编码器及最终解码器，所述最终编码器关联所述画作图片；
构建模块50，用于获取全部的所述画作图片的风格编码，以所述画家名字为条件建立基础条件可逆网络ccnf，以将所述风格编码映射为噪声；
所述构建模块50包括：
第十单元，用于提取全部的所述画作图片的风格特征；
第十一单元，用于将所述风格特征输入所述最终编码器，以获取风格编码，以所述画家名字为条件建立基础条件可逆网络ccnf，以将所述风格编码映射为噪声；
第二训练模块60，用于根据所述风格编码及所述噪声获取分布损失，结合所述分布损失通过反向算法训练所述基础条件可逆网络ccnf，以获取最终条件可逆网络ccnf，所述最终条件可逆网络ccnf关联所述画家名字；
迁移模块70，用于以所述画作图片或所述画家名字为迁移条件，将基础图片转换为风格迁移后的结果图片。
所述迁移模块70包括：
第十三单元，用于若以所述画作图片为迁移条件，则提取所述基础图片的基础特征，通过所述最终编码器获取所述画作图片的风格编码，将所述基础特征及所述风格编码输入所述最终解码器，以获取风格迁移后的结果图片；
第十四单元，用于若以所述画家名字为迁移条件，则提取所述基础图片的基础特征，将所述画家名字输入所述最终条件可逆网络ccnf逆推与所述画家名字对应的风格编码，并将所述基础特征及所述风格编码输入所述最终解码器，以获取风格迁移后的所述结果图片。
本发明还提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述技术方案中所述的图片处理方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述技术方案中所述的图片处理方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图片处理方法，其特征在于，包括以下步骤：
生成内容数据集及风格数据集，所述内容数据集包括若干个内容图片，所述风格数据集包括若干个画家名字，每个所述画家名字均对应有若干个画作图片；
选取某一所述画作图片为待测图片，通过待测风格编码器获取所述待测图片的待测风格编码，并基于所述待测风格编码获取有监督对比学习损失；
选取某一所述内容图片为待迁图片，通过待测解码器将所述待迁图片转化为待定图片，并根据所述待定图片获取内容损失及风格损失；
结合所述有监督对比学习损失、所述内容损失及所述风格损失，通过反向算法训练所述待测风格编码器及所述待测解码器，以获取最终编码器及最终解码器，所述最终编码器关联所述画作图片；
获取全部的所述画作图片的风格编码，以所述画家名字为条件建立基础条件可逆网络ccnf，以将所述风格编码映射为噪声；
根据所述风格编码及所述噪声获取分布损失，结合所述分布损失通过反向算法训练所述基础条件可逆网络ccnf，以获取最终条件可逆网络ccnf，所述最终条件可逆网络ccnf关联所述画家名字；
以所述画作图片或所述画家名字为迁移条件，将基础图片转换为风格迁移后的结果图片。
2.根据权利要求1所述的图片处理方法，其特征在于，所述通过待测风格编码器获取所述待测图片的待测风格编码，并基于所述待测风格编码获取有监督对比学习损失的步骤包括：
获取所述待测图片的待测风格特征；
将所述待测风格特征输入待测风格编码器，以生成待测风格编码；
选择与所述待测图片对应的所述画家名字下的其他的所述画作图片为第一样本，获取所述第一样本的正样本编码；
选择其他的所述画家名字下的所述画作图片为第二样本，获取所述第二样本的负样本编码；
根据所述待测风格编码、所述正样本编码及所述负样本编码构建有监督对比学习损失。
3.根据权利要求2所述的图片处理方法，其特征在于，所述有监督对比学习损失的计算公式为：
Figure QLYQS_1
，
其中，
Figure QLYQS_2
表示有监督对比学习损失，/>
Figure QLYQS_3
表示待测风格编码，/>
Figure QLYQS_4
表示正样本编码，/>
Figure QLYQS_5
表示负样本编码，M表示正样本编码的个数，N表示负样本编码的个数，i表示正样本编码的编号，j表示负样本编码的编号，/>
Figure QLYQS_6
表示常数。
4.根据权利要求1所述的图片处理方法，其特征在于，所述通过待测解码器将所述待迁图片转化为待定图片，并根据所述待定图片获取内容损失及风格损失的步骤包括：
获取所述待迁图片的待迁内容特征；
将所述待迁内容特征及所述待测风格编码输入待测解码器，以生成待定图片；
提取所述待迁图片的第一特征，并提取所述待定图片的第二特征，根据所述第一特征及所述第二特征获取内容损失；
提取所述待测图片的第三特征，并提取所述待定图片的第四特征，根据所述第三特征及所述第四特征获取风格损失。
5.根据权利要求4所述的图片处理方法，其特征在于，所述内容损失的计算公式为：
Figure QLYQS_7
，
其中，
Figure QLYQS_8
表示内容损失，/>
Figure QLYQS_9
表示待定图片，/>
Figure QLYQS_10
表示待迁图片，/>
Figure QLYQS_11
表示第一特征及第二特征的提取模型；
所述风格损失的计算公式为：
Figure QLYQS_12
，
其中，
Figure QLYQS_13
表示风格损失，/>
Figure QLYQS_14
表示待测图片，/>
Figure QLYQS_15
表示第三特征及第四特征的提取模型，/>
Figure QLYQS_16
表示均值，/>
Figure QLYQS_17
表示方差，K、k均表示计算参数。
6.根据权利要求1所述的图片处理方法，其特征在于，所述获取全部的所述画作图片的风格编码的步骤包括：
提取全部的所述画作图片的风格特征；
将所述风格特征输入所述最终编码器，以获取风格编码。
7.根据权利要求1所述的图片处理方法，其特征在于，所述分布损失的计算公式为：
Figure QLYQS_18
，
其中，
Figure QLYQS_20
表示分布损失，/>
Figure QLYQS_22
表示时间变量，/>
Figure QLYQS_25
表示风格编码，/>
Figure QLYQS_21
及
Figure QLYQS_23
均表示噪声，/>
Figure QLYQS_26
表示求迹操作，/>
Figure QLYQS_27
表示概率密度函数，d表示画家名字，/>
Figure QLYQS_19
及
Figure QLYQS_24
均表示计算参数。
8.根据权利要求1所述的图片处理方法，其特征在于，所述以所述画作图片或所述画家名字为迁移条件，将基础图片转换为风格迁移后的结果图片的步骤包括：
若以所述画作图片为迁移条件，则提取所述基础图片的基础特征，通过所述最终编码器获取所述画作图片的风格编码，将所述基础特征及所述风格编码输入所述最终解码器，以获取风格迁移后的结果图片；
若以所述画家名字为迁移条件，则提取所述基础图片的基础特征，将所述画家名字输入所述最终条件可逆网络ccnf逆推与所述画家名字对应的风格编码，并将所述基础特征及所述风格编码输入所述最终解码器，以获取风格迁移后的所述结果图片。
9.一种图片处理系统，应用于权利要求1~8任一项所述的图片处理方法，其特征在于，所述系统包括：
准备模块，用于生成内容数据集及风格数据集，所述内容数据集包括若干个内容图片，所述风格数据集包括若干个画家名字，每个所述画家名字均对应有若干个画作图片；
第一测试模块，用于选取某一所述画作图片为待测图片，通过待测风格编码器获取所述待测图片的待测风格编码，并基于所述待测风格编码获取有监督对比学习损失；
第二测试模块，用于选取某一所述内容图片为待迁图片，通过待测解码器将所述待迁图片转化为待定图片，并根据所述待定图片获取内容损失及风格损失；
第一训练模块，用于结合所述有监督对比学习损失、所述内容损失及所述风格损失，通过反向算法训练所述待测风格编码器及所述待测解码器，以获取最终编码器及最终解码器，所述最终编码器关联所述画作图片；
构建模块，用于获取全部的所述画作图片的风格编码，以所述画家名字为条件建立基础条件可逆网络ccnf，以将所述风格编码映射为噪声；
第二训练模块，用于根据所述风格编码及所述噪声获取分布损失，结合所述分布损失通过反向算法训练所述基础条件可逆网络ccnf，以获取最终条件可逆网络ccnf，所述最终条件可逆网络ccnf关联所述画家名字；
迁移模块，用于以所述画作图片或所述画家名字为迁移条件，将基础图片转换为风格迁移后的结果图片。
10.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的图片处理方法。
CN202310587379.XA 2023-05-24 2023-05-24 一种图片处理方法、系统及计算机 Active CN116309032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310587379.XA CN116309032B (zh) 2023-05-24 2023-05-24 一种图片处理方法、系统及计算机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310587379.XA CN116309032B (zh) 2023-05-24 2023-05-24 一种图片处理方法、系统及计算机

Publications (2)

Publication Number Publication Date
CN116309032A true CN116309032A (zh) 2023-06-23
CN116309032B CN116309032B (zh) 2023-07-28

Family

ID=86820797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310587379.XA Active CN116309032B (zh) 2023-05-24 2023-05-24 一种图片处理方法、系统及计算机

Country Status (1)

Country Link
CN (1) CN116309032B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
WO2019113471A1 (en) * 2017-12-08 2019-06-13 Digimarc Corporation Artwork generated to convey digital messages, and methods/apparatuses for generating such artwork
CN109949214A (zh) * 2019-03-26 2019-06-28 湖北工业大学 一种图像风格迁移方法及系统
US20190244060A1 (en) * 2018-02-02 2019-08-08 Nvidia Corporation Domain Stylization Using a Neural Network Model
CN110458216A (zh) * 2019-07-31 2019-11-15 中山大学 基于条件生成对抗网络的图像风格迁移方法
CN110490791A (zh) * 2019-07-10 2019-11-22 西安理工大学 基于深度学习风格迁移的服饰图像艺术化生成方法
US20210233239A1 (en) * 2020-01-24 2021-07-29 GE Precision Healthcare LLC Systems and methods for medical image style transfer using deep neural networks
CN113570500A (zh) * 2021-08-04 2021-10-29 光华临港工程应用技术研发(上海)有限公司 一种基于全局信息引导网络实现真实图像风格迁移的方法
US20210383585A1 (en) * 2020-06-09 2021-12-09 Electronic Arts Inc. Systems and methods for supervised and unsupervised animation style transfer
CN113947525A (zh) * 2021-11-25 2022-01-18 中山大学 一种基于可逆流网络的无监督动作风格迁移方法
CN114494789A (zh) * 2022-04-02 2022-05-13 中国科学技术大学 图像风格迁移模型的训练方法、系统、设备及存储介质
CN114638743A (zh) * 2022-01-30 2022-06-17 中国科学院自动化研究所 图像艺术风格迁移方法、系统、电子设备、存储介质
CN115311130A (zh) * 2022-07-16 2022-11-08 西北大学 一种多风格中国书法文字图像风格迁移方法、系统及终端
WO2023061169A1 (zh) * 2021-10-11 2023-04-20 北京字节跳动网络技术有限公司 图像风格迁移和模型训练方法、装置、设备和介质
CN116128708A (zh) * 2022-09-21 2023-05-16 田英杰 一种写实绘画风格图像生成对抗网络

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
WO2019113471A1 (en) * 2017-12-08 2019-06-13 Digimarc Corporation Artwork generated to convey digital messages, and methods/apparatuses for generating such artwork
US20190244060A1 (en) * 2018-02-02 2019-08-08 Nvidia Corporation Domain Stylization Using a Neural Network Model
CN109949214A (zh) * 2019-03-26 2019-06-28 湖北工业大学 一种图像风格迁移方法及系统
CN110490791A (zh) * 2019-07-10 2019-11-22 西安理工大学 基于深度学习风格迁移的服饰图像艺术化生成方法
CN110458216A (zh) * 2019-07-31 2019-11-15 中山大学 基于条件生成对抗网络的图像风格迁移方法
US20210233239A1 (en) * 2020-01-24 2021-07-29 GE Precision Healthcare LLC Systems and methods for medical image style transfer using deep neural networks
US20210383585A1 (en) * 2020-06-09 2021-12-09 Electronic Arts Inc. Systems and methods for supervised and unsupervised animation style transfer
CN113570500A (zh) * 2021-08-04 2021-10-29 光华临港工程应用技术研发(上海)有限公司 一种基于全局信息引导网络实现真实图像风格迁移的方法
WO2023061169A1 (zh) * 2021-10-11 2023-04-20 北京字节跳动网络技术有限公司 图像风格迁移和模型训练方法、装置、设备和介质
CN113947525A (zh) * 2021-11-25 2022-01-18 中山大学 一种基于可逆流网络的无监督动作风格迁移方法
CN114638743A (zh) * 2022-01-30 2022-06-17 中国科学院自动化研究所 图像艺术风格迁移方法、系统、电子设备、存储介质
CN114494789A (zh) * 2022-04-02 2022-05-13 中国科学技术大学 图像风格迁移模型的训练方法、系统、设备及存储介质
CN115311130A (zh) * 2022-07-16 2022-11-08 西北大学 一种多风格中国书法文字图像风格迁移方法、系统及终端
CN116128708A (zh) * 2022-09-21 2023-05-16 田英杰 一种写实绘画风格图像生成对抗网络

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭晏飞;王恺欣;梅金业;桑雨;訾玲玲;: "基于循环生成对抗网络的图像风格迁移", 计算机工程与科学, no. 04 *
黄若孜;张谧;: "基于矩阵变换的文本风格迁移方法", 计算机系统应用, no. 09 *

Also Published As

Publication number Publication date
CN116309032B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN110287942B (zh) 年龄估计模型的训练方法、年龄估计方法以及对应的装置
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN115060494A (zh) 一种滚动轴承的故障诊断方法
CN111026938B (zh) 时空大数据整合分析方法、装置、设备及存储介质
CN116309032B (zh) 一种图片处理方法、系统及计算机
CN110852149A (zh) 基于分类和回归树算法的植被指数预测方法、系统及设备
CN116450532A (zh) 一种计算机软件性能多维测试方法
CN111950605A (zh) 表计识别模型的学习方法、装置、设备和表计识别方法
CN112949657B (zh) 一种基于遥感影像纹理特征的林地分布提取方法及装置
CN108416426B (zh) 数据处理方法、装置及计算机可读存储介质
CN116362782A (zh) 基于大数据分析的用户兴趣点识别方法及系统
CN109934903B (zh) 高光信息提取方法、系统、计算机设备及存储介质
CN116050253A (zh) 菜品风味智能识别方法、装置、设备及存储介质
CN113420680B (zh) 一种基于gru注意力的遥感影像区域关注与文本生成方法
CN114758123A (zh) 一种遥感影像目标样本增强方法
CN112949385B (zh) 一种基于光视觉的水面目标检测与识别方法
WO2019116497A1 (ja) 識別装置、識別方法、および記憶媒体
CN104616302A (zh) 一种目标实时识别方法
CN114743075A (zh) 点云模型的检测方法和装置、电子设备和可读存储介质
CN108765397A (zh) 一种基于降维和特征空间构造的木材图像识别方法及装置
CN114821192A (zh) 一种结合语义信息的遥感影像高程预测方法
CN113761262A (zh) 图像的检索类别确定方法、系统以及图像检索方法
CN113096746A (zh) 一种基于LightGBM的盐湖锂浓度反演方法及系统
CN104615988A (zh) 一种图像识别方法
CN115457540B (zh) 点云目标检测模型的构建方法、目标检测标注方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant