CN116310615A - 图像处理方法、装置、设备及介质 - Google Patents
图像处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116310615A CN116310615A CN202111574622.1A CN202111574622A CN116310615A CN 116310615 A CN116310615 A CN 116310615A CN 202111574622 A CN202111574622 A CN 202111574622A CN 116310615 A CN116310615 A CN 116310615A
- Authority
- CN
- China
- Prior art keywords
- style
- sample image
- image
- network
- generation network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims abstract description 97
- 238000012549 training Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000007499 fusion processing Methods 0.000 claims abstract description 25
- 239000000523 sample Substances 0.000 claims description 217
- 239000013074 reference sample Substances 0.000 claims description 69
- 230000006870 function Effects 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000010428 oil painting Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 7
- 230000003287 optical effect Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 4
- 238000010422 painting Methods 0.000 description 4
- 238000005728 strengthening Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例涉及一种图像处理方法、装置、设备及介质,其中该方法包括:获取第一风格样本图像的第一对象特征,根据第一对象特征和第一风格样本图像训练第一对抗生成网络;获取第二风格样本图像的第二对象特征,根据第二对象特征和第二风格样本图像训练第二对抗生成网络;对第一对抗生成网络和第二对抗生成网络进行融合处理,生成风格转换网络,以根据风格转换网络对第一风格和第二风格的图像进行图像风格转换处理。由此,降低了对图像风格转换时样本图像的处理算力要求,在保证风格转换效果的前提下,提升了风格转换网络的训练效率。
Description
技术领域
本公开涉及计算机视觉技术领域,尤其涉及一种图像处理方法、装置、设备及介质。
背景技术
随着计算机视觉技术的进步,对图像进行风格间的转换处理等技术,由于可以将图像进行不同风格的转换,从而,在拍照处理等应用中得到了广泛使用。
相关技术中,为了实现图像的风格转换,需要预先获取每个原始图像的不同风格的样本图像,基于不同风格的样本图像进行网络的训练,从而,基于训练后的网络对输入的图像进行风格转换处理。
然而,上述基于不同风格的样本图像进行网络训练时,显然需要预先针对大量的原始图像处理得到不同的风格的样本图像,对样本图像的提前获取对算力的消耗较大,网络训练的效率较低。
发明内容
为了解决上述技术问题,本公开提供了一种图像处理方法、装置、设备及介质,降低了对图像风格转换时样本图像的处理算力要求,在保证风格转换效果的前提下,提升了风格转换网络的训练效率。
本公开实施例提供了一种图像处理方法,所述方法包括:获取第一风格样本图像的第一对象特征,根据所述第一对象特征和所述第一风格样本图像训练第一对抗生成网络;获取第二风格样本图像的第二对象特征,根据所述第二对象特征和所述第二风格样本图像训练第二对抗生成网络;对所述第一对抗生成网络和所述第二对抗生成网络进行融合处理,生成风格转换网络,以根据所述风格转换网络对所述第一风格和所述第二风格的图像进行图像风格转换处理。
本公开实施例还提供了一种图像处理器,所述装置包括:第一训练模块,用于获取第一风格样本图像的第一对象特征,根据所述第一对象特征和所述第一风格样本图像训练第一对抗生成网络;第二训练模块,用于获取第二风格样本图像的第二对象特征,根据所述第二对象特征和所述第二风格样本图像训练第二对抗生成网络;融合模块,用于对所述第一对抗生成网络和所述第二对抗生成网络进行融合处理,生成风格转换网络,以根据所述风格转换网络对所述第一风格和所述第二风格的图像进行图像风格转换处理。
本公开实施例还提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现如本公开实施例提供的图像处理方法。
本公开实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行如本公开实施例提供的图像处理方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点:
本公开实施例提供的图像处理方案,获取第一风格样本图像的第一对象特征,根据第一对象特征和第一风格样本图像训练第一对抗生成网,进而,获取第二风格样本图像的第二对象特征,根据第二对象特征和第二风格样本图像训练第二对抗生成网络,对第一对抗生成网络和第二对抗生成网络进行融合处理,生成风格转换网络,以根据风格转换网络对第一风格和第二风格的图像进行图像风格转换处理。由此,降低了对图像风格转换时样本图像的处理算力要求,在保证风格转换效果的前提下,提升了风格转换网络的训练效率。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例提供的一种图像处理场景示意图;
图2为本公开实施例提供的一种图像处理方法的流程示意图;
图3为本公开实施例提供的另一种图像处理方法的流程示意图;
图4为本公开实施例提供的另一种图像处理场景示意图;
图5为本公开实施例提供的另一种图像处理场景示意图;
图6为本公开实施例提供的另一种图像处理方法的流程示意图;
图7为本公开实施例提供的另一种图像处理场景示意图;
图8为本公开实施例提供的另一种图像处理方法的流程示意图;
图9为本公开实施例提供的另一种图像处理场景示意图;
图10为本公开实施例提供的另一种图像处理场景示意图;
图11为本公开实施例提供的另一种图像处理方法的流程示意图;
图12为本公开实施例提供的另一种图像处理方法的流程示意图;
图13为本公开实施例提供的另一种图像处理场景示意图;
图14为本公开实施例提供的另一种图像处理场景示意图;
图15为本公开实施例提供的另一种图像处理场景示意图;
图16为本公开实施例提供的一种图像处理器的结构示意图;
图17为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
为了解决上述训练风格转换网络时,需要预先处理原始图像得到不同风格样本图像,比如,在训练素颜人脸到油画风格的风格转换网路时,需要获取素颜风格的人脸图像,进而,处理素颜人脸图像得到油画风格的人脸图像,这种处理不但难度较大,而且对算力的消耗较大,导致网络的训练效率较低。
为了解决上述技术问题,本公开提出了一种无需预先对原始图像进行风格转换处理以获取训练样本图像的网络训练方法,在该方法中,如图1所示,提供两个对抗生成网络A和B,其中,对抗生成网络A仅仅处理第一风格的样本图像使得A可以对输入的图像得到第一风格的图像,B仅仅处理第二风格的样本图像,使得B可以输出第二风格的样本图像,进而,基于A和B的融合即可得到风格转换网络。由此,无需预先对样本图像进行第一风格到第二风格的转换处理,基于原始的第一风格的样本图像,和第二风格的样本图像即可实现风格转换网络的训练。
下面结合具体的实施例对该图像处理方法进行介绍。
图2为本公开实施例提供的一种图像处理方法的流程示意图,该方法可以由图像处理器执行,其中该装置可以采用软件和/或硬件实现,一般可集成在电子设备中。如图2所示,该方法包括:
步骤201,获取第一风格样本图像的第一对象特征,根据第一对象特征和第一风格样本图像训练第一对抗生成网络。
其中,第一风格样本图像可以与后续实施例提到的第二风格样本对应,第一风格样本图像和第二风格样本图像可以为任意不同风格的样本图像,比如,第一风格样本图像为人脸图像,则第二风格样本图像可以为动物脸图像,比如,第一风格样本图像为素颜人脸图像,则第二风格样本图像为油画风格样本图像等。
在一些可能的实施例中,第一风格样本图像可以是在数据库中获取到的原始即具有第一风格的图像,也可以是对原始图像的第一分风格进一步强化处理后得到的第一风格样本图像,比如,当第一风格样本图像为素颜风格人脸图像,则可以直接在有关数据库中获取素颜人脸图像作为第一风格样本图像,也可以对获取的人脸图像进行妆容去除以获取第一风格样本图像。
在本实施例中,在获取到第一风格样本图像后,提取第一风格样本图像的第一对象特征,该第一对象特征为体现第一风格样本图的风格特征的任意特征,包括但不限于像素颜色特征、关键像素点位置特征等,关键点像素语义特征、区域轮廓特征等,进而,根据第一对象特征和第一风格样本图像训练第一对象生成网络,从而,使得训练得到的第一对抗生成网络可以对输入图像的第一对象特征的提取,得到具有第一风格的风格样本图像。
步骤202,获取第二风格样本图像的第二对象特征,根据第二对象特征和第二风格样本图像训练第二对抗生成网络。
在本实施例中,正如以上所描述的,第二风格样本图像和第一分风格样本图像对应,第二风格样本图像可以是在数据库中获取到的原始即具有第二风格的图像,也可以是对原始图像的第二风格进一步强化处理后得到的第二风格样本图像,比如,当第二风格样本图像为油画风格人脸图像,则可以直接在有关数据库中获取油画人脸图像作为第二风格样本图像,也可以对获取的名画人脸图像进行油画特征的强化处理以获取第二风格样本图像。
需要说明的是,训练阶段的第二风格样本图像和第一风格样本图像是单独获取的,第二风格样本图像不是由第一风格样本图像处理得到的,因此,对算力消耗较低,进一步有助于提升风格转换网络的训练效率。
在本实施例中,在获取到第二风格样本图像后,提取第二风格样本图像的第二对象特征,该第二对象特征为体现第二风格样本图的风格特征的任意特征,包括但不限于像素颜色特征、关键像素点位置特征等,关键点像素语义特征、区域轮廓特征等,进而,根据第二对象特征和第二风格样本图像训练第二对象生成网络,从而,使得训练得到的第二对抗生成网络可以对输入图像的第二对象特征的提取,得到具有第二风格的风格样本图像。
步骤203,对第一对抗生成网络和第二对抗生成网络进行融合处理,生成风格转换网络,以根据风格转换网络对第一风格和第二风格的图像进行图像风格转换处理。
在本实施例中,对第一对抗生成网络和第二对抗生成网络进行融合处理,生成风格转换网络,从而,风格转换网络不但可以实现输入图像到第一风格的转换,而且可以实现输入图像到第二风格的转换,实现了基于风格转换网络对第一风格和第二风格的图像进行图像风格转换处理。
需要说明的是,在不同的应用场景中,对第一对抗生成网络和第二对抗生成网络进行融合处理生成风格转换网络,的方式不同,示例说明如下:
在本公开的一个实施例中,如图3所示,对第一对抗生成网络和第二对抗生成网络进行融合处理,生成风格转换网络,包括:
步骤301,根据第一对象特征和第二对象特征的相似度,确定与第一对抗生成网络对应的第一权重,以及与第二对抗生成网络对应的第二权重。
在本实施例中,确定第一对象特征和第二对象特征的相似度,该相似度体现了第一对抗生成网络输出的图像和第二对抗网络生成图像之间在特征维度的相似度,若是相似度较低,则两个生成对抗网络在融合时的权重会影响最后生成的风格转换图像的效果,比如,若是相似度较低,第一对抗生成网络对应的第一权重,相对于第二对抗生成网络对应的第二权重较大,则输出的风格转换后的图像更加偏向第一风格,反之,若是似度较低,第一对抗生成网络对应的第一权重,相对于第二对抗生成网络对应的第二权重较小,则输出的风格转换后的图像更加偏向第二风格。
在本实施例中,可以将第一对象特征和第二对象特征输入预先训练的深度学习模型,以得到第一对象特征和第二对象特征的相似度。
在本公开的另一个实施例中,可以提取输入的第一风格图像的多个第一关键点,获取每个第一关键点的第一对象特征,提取输入的第二风格图像的多个第二关键点,获取每个第二关键点的第二对象特征,其中,第一关键点和第二关键点可以包括人脸的鼻子、眼角、嘴唇等于人脸五官轮廓关联的点等,进而,计算第一关键点和第二关键点中相同关键点的第一对象特征和第二对象特征的关键点相似度,根据所有关键点的关键点相似度的均值作为第一对象特征和第二对象特征的相似度。
进一步地,在一些可能的实施例中,可以根据场景需要预先构建第一权重和相似度的对应关系,基于该对象关系查询得到第一权重后,基于第一权重得到第二权重。
在另一些可能的实时中,可以计算相似度和预设标准相似度的差值,基于该差值查询预设的对象关系获取权重修正值,基于标准第一权重值和权重修正值之和得到第一权重,进而,基于第一权重得到第二权重。
步骤302,获取第一对抗生成网络的输出图像与第一权重的第一乘积结果,以及获取第二对抗生成网络的输出图像和第二权重的第二乘积结果,将第一乘积结果和第二乘积结果进行融合处理,生成风格转换网络。
在本实施例中,如图4所示,获取第一对抗生成网络的输出图像与第一权重的第一乘积结果,该第一乘积结果与第一风格对应,获取第二对抗生成网络的输出图像和第二权重的第二乘积结果,该第二乘积结果与第二风格对应,将第一乘积结果和第二乘积结果进行融合处理,得到了第一风格和第二风格融合处理结果,从而,生成风格转换网络,本实施例中的输出图像可以看作一个变量,风格转换网络为针对对应的变量的处理网络参数的组合。
在本公开的另一个实施例中,考虑到第一对抗生成网络可以将输入图像转换为第一风格的输出图像,第二对抗生成网络可以将输入图像转换为第二风格的输出图像,因此,如图5所示,可以将第一对抗网络和第二对抗网络的输出接入对齐网络,该对齐网络用于对第一对抗网络和第二对抗网络的输出对象进行对齐处理,该对齐处理包括姿态对齐、像素颜色对齐等中的一种或多种(对齐算法可以参照矩阵对齐、特征点对齐等方式,在此不再赘述),从而,在本实施例中,风格转换网络包括第一对抗生成网络、第二对抗生成网络和对应的对齐网络。
由此,本公开实施例的图像处理方法,在训练风格转换网络时,无需预先处理获取第一风格样本图像和与第一风格样本图像对应的第二风格样本图像,即无需消耗算力对图像由第一风格到第二风格的转换计算,基于第一对抗生成网络和第二对抗生成网络针对输入图像进行处理后,对第一风格的样本图像和第二风格的样本图像融合即可得到可以进行风格转换处理的风格转换网络,降低了风格网络的训练算力消耗。
综上,本公开实施例的图像处理方法,获取第一风格样本图像的第一对象特征,根据第一对象特征和第一风格样本图像训练第一对抗生成网,进而,获取第二风格样本图像的第二对象特征,根据第二对象特征和第二风格样本图像训练第二对抗生成网络,对第一对抗生成网络和第二对抗生成网络进行融合处理,生成风格转换网络,以根据风格转换网络对第一风格和第二风格的图像进行图像风格转换处理。由此,降低了对图像风格转换时样本图像的处理算力要求,在保证风格转换效果的前提下,提升了风格转换网络的训练效率。
需要说明的是,在不同的应用场景中,对第一对抗生成网络和第二对象生成网络的训练方式不同,下面示例说明:
在本公开的一个实施例中,如图6所示,取第一风格样本图像的第一对象特征,根据第一对象特征和第一风格样本图像训练第一对抗生成网络,包括:
步骤601,对第一风格样本图像中的第一对象进行关键点分割检测,提取第一对象的关键区域轮廓特征。
其中,第一对象为待风格转换的实体对象,包括但不限于人脸、服饰等。
在本实施例中,为了提升处理效率,对第一风格样本图像中的第一对象进行关键点分割检测,提取第一对象的关键区域轮廓特征,也即是说,基于关键点检测技术,识别第一对象的不同区域,进而,将第一对象分割为多个关键区域,以便于基于关键区域粒度进行后续图像处理。
其中,关键点分割检测时的关键点可以是预先定义的,也可以是根据实验数据学习得到的,以第一对象为人脸为例,如图7所示,对应的关键点可以为鼻子区域的关键点、左眼区域的关键点、右眼区域的关键点、嘴巴区域的关键点,其他脸部区域关键点等,进而,基于这些关键点提取关键区域轮廓特征,该轮廓特征包括但不限于关键区域轮廓对应的像素点位置以及像素点之间的位置关系等。
步骤602,通过待训练的第一对抗生成网络中的生成网络对第一对象的关键区域轮廓特征进行处理生成第一参考样本图像。
在本实施例中,通过待训练的第一对抗生成网络中的生成网络对第一对象的关键区域轮廓特征进行处理,生成第一参考样本图像,其中,第一参考样本图像为基于关键区域轮廓特征提取维度下的第一风格的图像。
步骤603,根据第一风格样本图像和第一参考样本图像确定第一损失函数。
容易理解的是,由于第一对抗生成网络应当输出第一风格的图像,因此,可以通过第一参考样本图像与第一风格样本图像之间的第一损失函数训练对应的第一对抗生成网络。
需要说明的是,在不同的应用场景下,第一损失函数的计算方式不同,示例如下:
在一些可能的实施例中,可以计算第一参考样本图像到第一风格样本图像的光流场,即计算第一参考样本图像到第一风格样本图像中,相同的关键点的运动光流场,基于运动光流场的确定第一损失函数,其中,运动光流场标识第一参考样本图像和第一风格样本图像之间的对齐误差,光流场越大,则表明第一参考样本图像和第一风格样本图像之间的误差越大。
在另一些可能的实施例中,为了提高第一损失函数的计算效率,将第一参考样本图像划分为多个网格块,并且根据同样的网格划分策略将第一风格样本图像也划分为多个网格块,计算每个网格块包含的所有像素点的像素均值,基于第一参考样本图像和第一风格样本图像之间对应位置网格块之间的像素均值之间的差值确定的第一损失函数。比如,将所有网格之间的像素均值的差值的均值作为第一损失函数。
步骤604,根据第一损失函数进行反向传播训练第一对抗生成网络。
在本实施例中,根据第一损失函数进行方向传播训练第一对抗生成网络,即调整待训练的第一对抗生成网络的网络参数,从而使得调整网络参数后的第一对抗生成网络可以输出与第一风格一致的相关图像。
为了实现对风格转换的平滑性,第二对抗生成网络的训练方式可以和第一对抗生成网络一致。
在本实施例中,如图8所示,获取第二风格样本图像的第二对象特征,根据第二对象特征和第二风格样本图像训练第二对抗生成网络,包括:
步骤801,对第二风格样本图像中的第二对象进行关键点分割检测,提取第二对象的关键区域轮廓特征。
其中,第二对象为待风格转换的实体对象,包括但不限于人脸、服饰等。第一对象可以和第二对象一致,比如,第一对象为人脸,则第二对象也为人脸,当然,第一对象和第二对象也可以不一致,比如,第一对象为人脸,则第二对象为猫脸等。
在本实施例中,为了提升处理效率,对第二风格样本图像中的第二对象进行关键点分割检测,提取第二对象的关键区域轮廓特征,也即是说,基于关键点检测技术,识别第二对象的不同区域,进而,将第二对象分割为多个关键区域,以便于基于关键区域粒度进行后续图像处理。
其中,关键点分割检测时的关键点可以是预先定义的,也可以是根据实验数据学习得到的,以第二对象为人脸为例,对应的关键点可以为鼻子区域的关键点、左眼区域的关键点、右眼区域的关键点、嘴巴区域的关键点,其他脸部区域关键点等,进而,基于这些关键点提取关键区域轮廓特征,该轮廓特征包括但不限于关键区域轮廓对应的像素点位置以及像素点之间的位置关系等。
步骤802,通过待训练的第二对抗生成网络中的生成网络对第二对象的关键区域轮廓特征进行处理生成第二参考样本图像。
在本实施例中,通过待训练的第二对抗生成网络中的生成网络对第二对象的关键区域轮廓特征进行处理,生成第二参考样本图像,其中,第二参考样本图像为基于关键区域轮廓特征提取维度下的第二风格的图像。
步骤803,根据第二风格样本图像和第二参考样本图像确定第二损失函数。
容易理解的是,由于第二对抗生成网络应当输出第二风格的图像,因此,可以通过第二参考样本图像与第二风格样本图像之间的第二损失函数训练对应的第二对抗生成网络。
需要说明的是,在不同的应用场景下,第二损失函数的计算方式不同,示例如下:
在一些可能的实施例中,可以计算第二参考样本图像到第二风格样本图像的光流场,即计算第二参考样本图像到第二风格样本图像中,相同的关键点的运动光流场,基于运动光流场的确定第二损失函数,其中,运动光流场标识第二参考样本图像和第二风格样本图像之间的对齐误差,光流场越大,则表明第二参考样本图像和第二风格样本图像之间的误差越大。
在另一些可能的实施例中,为了提高第二损失函数的计算效率,将第二参考样本图像换分为多个网格块,并且根据同样的网格划分策略将第一风格样本图像也划分为多个网格块,计算每个网格块包含的所有像素点的像素均值,基于第二参考样本图像和第二风格样本图像之间对应位置网格块之间的像素均值之间的差值确定的第二损失函数。比如,将所有网格之间的像素均值的差值的均值作为第二损失函数。
步骤804,根据第二损失函数进行反向传播训练第二对抗生成网络。
在本实施例中,根据第二损失函数进行方向传播训练第二对抗生成网络,即调整待训练的第二对抗生成网络的网络参数,从而使得调整网络参数后的第二对抗生成网络可以输出与第二风格一致的相关图像。
在本公开的另一个实施例中,参照图9,对第一风格样本图像进行第一对象关键点分割检测,比如,基于人脸解析技术进行人脸关键点分割检测等,进而得到第一对象的关键区域轮廓特征mask1,在得到mask1后,对mask1编码后得到第一编码结果,对第一风格样本图像进行编码后得到第二编码结果,基于第一编码结果和第二编码结果进行融合后得到第一特征图像,该第一特征图像一方面在关键区域轮廓上体现了第一对象的轮廓特征,另一方面,结合了原始的第一风格样本图像,保留了原始的第一风格的特征。
进而,基于第一特征图像和mask1融合后得到第二特征图,将第二特征图输入到第一对抗生成网络得到对应的第三参考样本图像,计算第三参考样本图像和第一风格样本图像之间的损失值,若是损失值大于预设阈值,则调整第一对抗生成网络的网络参数,直至上述损失值小于预设阈值,则完成对第一对抗生成网络的训练。
同样的,在本实施例中,参照图10,对第二风格样本图像进行第二对象关键点分割检测,比如,基于人脸解析技术进行人脸关键点分割检测等,进而得到第二对象的关键区域轮廓特征mask2,在得到mask2后,对mask2编码后得到第三编码结果,对第二风格样本图像进行编码后得到第四编码结果,基于第三编码结果和第四编码结果进行融合后得到第三特征图像,该第三特征图像一方面在关键区域轮廓上体现了第二对象的轮廓特征,另一方面,结合了原始的第二风格样本图像,保留了原始的第二风格的特征。
进而,基于第三特征图像和第三编码结果融合后得到第四特征图,将第四特征图输入到第二对抗生成网络得到对应的第四参考样本图像,计算第四参考样本图像和第二风格样本图像之间的损失值,若是损失值大于预设阈值,则调整第二对抗生成网络的网络参数,直至上述损失值小于预设阈值。
综上,本公开实施例的图像处理方法,可以根据场景的需要结合关键区域轮廓特进行有关对抗生成网络的训练,在保证对抗生成网络的训练精度的基础上,提升了对抗生成网络的训练效率。
基于上述实施例,均考虑了对抗生成网络和对应的正样本图像之间的距离来计算有关损失函数,这种计算方式可以导致输出的图像缺乏细节过于平滑。
因此,在本公开的一个实施例中,结合负样本图像对对抗生成网络进行训练,即在计算有关损失函数时,还可结合负样本图像,下面以第一风格为油画风格,第二风格为素颜风格为例进行对抗生成网络的训练过程的说明。
在本实施例中,如图11所示,根据第一风格样本图像和第一参考样本图像确定第一损失函数,包括:
步骤1101,对第一风格样本图像和第一参考样本图像进行融合加噪处理生成第一负样本图像。
在本实施例中,对第一风格样本图像和第一参考样本图像进行融合后,可以在融合后的图像中加入随机噪声得到第一负样本图像。该第一负样本图像相对于第一风格样本图像不但引入了第一参考样本图像的误差,还引入了噪音误差。
步骤1102,提取第一风格样本图像的第一高频信息,第一参考样本图像的第二高频信息,以及第一负样本图像的第三高频信息。
在本实施例中,提取第一风格样本图像的第一高频信息,第一参考样本图像的第二高频信息,以及第一负样本图像的第三高频信息,其中,图像的高频信息可以理解为亮度差较大的细节较为丰富的像素点的像素信息等。
步骤1103,通过第一对抗生成网络中的判别网络对第一高频信息、第二高频信息、以及第三高频信息进行判别处理生成对应的判别分数。
在本实施例中,通过第一对抗生成网络中的判别网络对第一高频信息、第二高频信息、以及第三高频信息进行判别处理生成对应的判别分数,该判别分数表示了判别器对第一高频信息、第二高频信息和第三高频信息属于第一风格的分数。
步骤1104,根据判别分数确定第一损失函数。
在本实施例中,根据判别分数确定第一损失函数,比如,直接计算第一高频信息和分别和第一参考样本图像的第二高频信息,以及所述第一负样本图像的第三高频信息的第一平方绝对误差值,以及第二平方绝对误差值,计算第一平方绝对误差值和第二平方绝对误差值的比值作为第一损失函数。
或者,直接计算第一高频信息和分别和第一参考样本图像的第二高频信息,以及所述第一负样本图像的第三高频信息的第一差值,以及第二差值,计算第一差值和第二差值的比值作为第一损失函数。
从而,在本实施例中,在保证训练第一对抗生成网络时,使训练后的第一对抗生成网络输出的图像不但和第一风格样本图像在特征层面上接近的同时与第一负样本图像远离,从而避免了一些伪像和噪声的引入,保证了第一对抗生成网络输出的图像是油画风格。
同样的,在本实施例中,如图12所示,根据第二风格样本图像和第二参考样本图像确定第二损失函数,包括:
步骤1201,对第二风格样本图像和第二参考样本图像进行融合加噪处理生成第二负样本图像。
在本实施例中,对第二风格样本图像和第二参考样本图像进行融合后,可以在融合后的图像中加入随机噪声得到第二负样本图像。该第二负样本图像相对于第二风格样本图像不但引入了第二参考样本图像的误差,还引入了噪音误差。
步骤1202,提取第二风格样本图像的第一纹理特征,第二参考样本图像的第二纹理特征,以及第二负样本图像的第三纹理特征。
在本实施例中,提取第二风格样本图像的第一纹理特征,第二参考样本图像的第二纹理特征,以及第二负样本图像的第三纹理特征,由其中,纹理特征反映了对应图像属于素颜风格的像素点的颜色、亮度等特征。
步骤1203,根据第一纹理特征、第二纹理特征,以及第三纹理特征确定第二损失函数。
在本实施例中,可以通过第二对抗生成网络中的判别网络对第一纹理特征、第二纹理特征、以及第三纹理特征进行判别处理生成对应的判别分数,该判别分数表示了判别器对第一纹理特征、第二纹理特征和第三纹理特征属于第二风格的分数。
进而,可根据判别分数确定第二损失函数,比如,直接计算第一纹理特征和分别和第二参考样本图像的第二纹理特征,以及第二负样本图像的第三纹理特征的第三平方绝对误差值,以及第四平方绝对误差值,计算第三平方绝对误差值和第四平方绝对误差值的比值作为第二损失函数。
或者,直接计算第一纹理特征和分别和第二纹理特征,以及第三纹理特征的第三差值,以及第四差值,计算第三差值和第四差值的比值作为第二损失函数。
从而,在本实施例中,在保证训练第二对抗生成网络时,使训练后的第二对抗生成网络输出的图像不但和第二风格样本图像在特征层面上接近的同时与第二负样本图像远离,从而避免了一些伪像和噪声的引入,保证了第二对抗生成网络输出的图像是素颜风格。
进一步地,在根据风格转换网络对第一风格和第二风格的图像进行图像风格转换处理时,如图13所示,可以首先提取具有素颜风格原始图像中目标对象的关键区域轮廓特征(图中以不同的灰度值标识不同的关键区域),其中,目标对象包括但不限于上述提到的人脸的各个部位等,进而,对素颜风格原始图像和目标对象的关键区域轮廓特征进行编码生成目标对象的特征数据。
进一步地,在得到目标对象的特征数据后,由于预先训练的风格转换网络包含了第二对抗网络的网络特性,因此,进一步可以通过风格转换网络对目标对象的特征数据和目标对象的关键区域轮廓特征进行图像融合处理,基于融合处理后的图像进行油画风格领域的转换,得到具有油画风格的目标图像。
也可以理解,预先训练好的第一对抗生成网络可以基于输入的素颜风格原始图像,提取对应的反映了素颜风格特点的目标对象(图中为人脸五官以及头发区域等)的关键轮廓特征,进而,对素颜风格原始图像和目标对象在素颜维度的关键区域轮廓特征进行编码生成目标对象的特征数据,对目标对象的特征数据和目标对象的关键区域轮廓特征进行图像融合处理得到了具有素颜风格的关键区域轮廓维度的新的原始图像。
基于该新的原始图像输入到预先训练好的第二对抗生成网络,如图14所示,第二对抗生成网络提取新的原始图像的目标对象(图中为人脸五官以及头发等)在油画风格维度的关键轮廓特征(图中以不同的灰度值标识不同的关键区域),进而,对新的风格原始图像和目标对象的油画风格维度的关键区域轮廓特征进行编码生成目标对象的新的特征数据,由于第二对抗生成网络可以基于输入的图像的特征输入得到第二风格的图像,因此,第二对抗生成网络基于新的特征数据得到油画风格的目标图像,其中,风格转换网络作用在第一对抗生成网络和第二对抗生成网络的权重,体现在对每个对抗生成网络输出结果的乘积上,具体可参照上述实施例,在此不再赘述。
从而,如图15所示,若是输入素颜图像,经过本实施例中的风格转换网络,可以结合对第一对抗生成网络和第二对抗生成网络的输出融合,得到对应的油画风格的图像,该油画风格的图像细节丰富真实感较强。
综上,本公开实施例的图像处理方法,结合输入的风格样本图像分别和正样本图像和负样本图像的距离,在特征层面的损失值训练得到对应的对抗生成网络,在保证对抗生成网络输出的有关图像的图像细节的丰富度的基础上,提升输出的图像的纯净度,使得融合后的目标图像的风格转换效果和第二风格一致。
为了实现上述实施例,本公开还提出了一种图像处理器。
图16为本公开实施例提供的一种图像处理器的结构示意图,该装置可由软件和/或硬件实现,一般可集成在电子设备中图像处理。如图16所示,该装置包括:
第一训练模块1610,用于获取第一风格样本图像的第一对象特征,根据第一对象特征和第一风格样本图像训练第一对抗生成网络;
第二训练模块1620,用于获取第二风格样本图像的第二对象特征,根据第二对象特征和第二风格样本图像训练第二对抗生成网络;
融合模块1630,用于对第一对抗生成网络和第二对抗生成网络进行融合处理,生成风格转换网络,以根据风格转换网络对第一风格和第二风格的图像进行图像风格转换处理。本公开实施例所提供的图像处理器可执行本公开任意实施例所提供的图像处理方法,具备执行方法相应的功能模块和有益效果。
为了实现上述实施例,本公开还提出一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述实施例中的图像处理方法
图17为本公开实施例提供的一种电子设备的结构示意图。
下面具体参考图17,其示出了适于用来实现本公开实施例中的电子设备1700的结构示意图。本公开实施例中的电子设备1700可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图17示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图17所示,电子设备1700可以包括处理器(例如中央处理器、图形处理器等)1701,其可以根据存储在只读存储器(ROM)1702中的程序或者从存储器1708加载到随机访问存储器(RAM)1703中的程序而执行各种适当的动作和处理。在RAM 1703中,还存储有电子设备1700操作所需的各种程序和数据。处理器1701、ROM 1702以及RAM 1703通过总线1704彼此相连。输入/输出(I/O)接口1705也连接至总线1704。
通常,以下装置可以连接至I/O接口1705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1706;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1707;包括例如磁带、硬盘等的存储器1708;以及通信装置1709。通信装置1709可以允许电子设备1700与其他设备进行无线或有线通信以交换数据。虽然图17示出了具有各种装置的电子设备1700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1709从网络上被下载和安装,或者从存储器1708被安装,或者从ROM 1702被安装。在该计算机程序被处理器1701执行时,执行本公开实施例的图像处理方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取第一风格样本图像的第一对象特征,根据第一对象特征和第一风格样本图像训练第一对抗生成网,进而,获取第二风格样本图像的第二对象特征,根据第二对象特征和第二风格样本图像训练第二对抗生成网络,对第一对抗生成网络和第二对抗生成网络进行融合处理,生成风格转换网络,以根据风格转换网络对第一风格和第二风格的图像进行图像风格转换处理。由此,降低了对图像风格转换时样本图像的处理算力要求,在保证风格转换效果的前提下,提升了风格转换网络的训练效率。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,本公开提供了一种图像处理方法,包括:获取第一风格样本图像的第一对象特征,根据所述第一对象特征和所述第一风格样本图像训练第一对抗生成网络;
获取第二风格样本图像的第二对象特征,根据所述第二对象特征和所述第二风格样本图像训练第二对抗生成网络;
对所述第一对抗生成网络和所述第二对抗生成网络进行融合处理,生成风格转换网络,以根据所述风格转换网络对所述第一风格和所述第二风格的图像进行图像风格转换处理。
根据本公开的一个或多个实施例,本公开提供的图像处理方法中,所述获取第一风格样本图像的第一对象特征,根据所述第一对象特征和所述第一风格样本图像训练第一对抗生成网络,包括:
对所述第一风格样本图像中的第一对象进行关键点分割检测,提取所述第一对象的关键区域轮廓特征;
通过待训练的第一对抗生成网络中的生成网络对所述第一对象的关键区域轮廓特征进行处理生成第一参考样本图像;
根据所述第一风格样本图像和所述第一参考样本图像确定第一损失函数;
根据所述第一损失函数进行反向传播训练所述第一对抗生成网络。
根据本公开的一个或多个实施例,本公开提供的图像处理方法中,
根据本公开的一个或多个实施例,本公开提供的图像处理方法中,所述获取第二风格样本图像的第二对象特征,根据所述第二对象特征和所述第二风格样本图像训练第二对抗生成网络,包括:
对所述第二风格样本图像中的第二对象进行关键点分割检测,提取所述第二对象的关键区域轮廓特征;
通过待训练的第二对抗生成网络中的生成网络对所述第二对象的关键区域轮廓特征进行处理生成第二参考样本图像;
根据所述第二风格样本图像和所述第二参考样本图像确定第二损失函数;
根据所述第二损失函数进行反向传播训练所述第二对抗生成网络。
根据本公开的一个或多个实施例,本公开提供的图像处理方法中,所述对所述第一对抗生成网络和所述第二对抗生成网络进行融合处理,生成风格转换网络,包括:
根据所述第一对象特征和所述第二对象特征的相似度,确定与所述第一对抗生成网络对应的第一权重,以及与所述第二对抗生成网络对应的第二权重;
获取所述第一对抗生成网络的输出图像与所述第一权重的第一乘积结果,以及获取所述第二对抗生成网络的输出图像和所述第二权重的第二乘积结果,将所述第一乘积结果和所述第二乘积结果进行融合处理,生成所述风格转换网络。
根据本公开的一个或多个实施例,本公开提供的图像处理方法中,所述第一风格为油画风格,所述第二风格为素颜风格;
所述根据所述第一风格样本图像和所述第一参考样本图像确定第一损失函数,包括:
对所述第一风格样本图像和所述第一参考样本图像进行融合加噪处理生成第一负样本图像;
提取所述第一风格样本图像的第一高频信息,所述第一参考样本图像的第二高频信息,以及所述第一负样本图像的第三高频信息;
通过所述第一对抗生成网络中的判别网络对所述第一高频信息、所述第二高频信息、以及所述第三高频信息进行判别处理生成对应的判别分数;
根据所述判别分数确定所述第一损失函数。
根据本公开的一个或多个实施例,本公开提供的图像处理方法中,所述根据所述第二风格样本图像和所述第二参考样本图像确定第二损失函数,包括:
对所述第二风格样本图像和所述第二参考样本图像进行融合加噪处理生成第二负样本图像;
提取所述第二风格样本图像的第一纹理特征,所述第二参考样本图像的第二纹理特征,以及所述第二负样本图像的第三纹理特征;
根据所述第一纹理特征、所述第二纹理特征,以及所述第三纹理特征确定所述第二损失函数。
根据本公开的一个或多个实施例,本公开提供的图像处理方法中,所述根据所述风格转换网络对所述第一风格和所述第二风格的图像进行图像风格转换处理,包括:
提取具有所述素颜风格原始图像中目标对象的关键区域轮廓特征;
对所述素颜风格原始图像和所述目标对象的关键区域轮廓特征进行编码生成所述目标对象的特征数据;
通过所述风格转换网络对所述目标对象的特征数据和所述目标对象的关键区域轮廓特征进行图像融合处理,生成具有所述油画风格的目标图像。
根据本公开的一个或多个实施例,本公开提供了一种图像处理器,包括:
第一训练模块,用于获取第一风格样本图像的第一对象特征,根据所述第一对象特征和所述第一风格样本图像训练第一对抗生成网络;
第二训练模块,用于获取第二风格样本图像的第二对象特征,根据所述第二对象特征和所述第二风格样本图像训练第二对抗生成网络;
融合模块,用于对所述第一对抗生成网络和所述第二对抗生成网络进行融合处理,生成风格转换网络,以根据所述风格转换网络对所述第一风格和所述第二风格的图像进行图像风格转换处理。
根据本公开的一个或多个实施例,本公开提供的图像处理器中,所述第一训练模块,具体用于:
对所述第一风格样本图像中的第一对象进行关键点分割检测,提取所述第一对象的关键区域轮廓特征;
通过待训练的第一对抗生成网络中的生成网络对所述第一对象的关键区域轮廓特征进行处理生成第一参考样本图像;
根据所述第一风格样本图像和所述第一参考样本图像确定第一损失函数;
根据所述第一损失函数进行反向传播训练所述第一对抗生成网络。
根据本公开的一个或多个实施例,本公开提供的图像处理器中,所述第二训练模块,具体用于:
对所述第二风格样本图像中的第二对象进行关键点分割检测,提取所述第二对象的关键区域轮廓特征;
通过待训练的第二对抗生成网络中的生成网络对所述第二对象的关键区域轮廓特征进行处理生成第二参考样本图像;
根据所述第二风格样本图像和所述第二参考样本图像确定第二损失函数;
根据所述第二损失函数进行反向传播训练所述第二对抗生成网络。
根据本公开的一个或多个实施例,本公开提供的图像处理器中,所述融合模块,具体用于:
根据所述第一对象特征和所述第二对象特征的相似度,确定与所述第一对抗生成网络对应的第一权重,以及与所述第二对抗生成网络对应的第二权重;
获取所述第一对抗生成网络的输出图像与所述第一权重的第一乘积结果,以及获取所述第二对抗生成网络的输出图像和所述第二权重的第二乘积结果,将所述第一乘积结果和所述第二乘积结果进行融合处理,生成所述风格转换网络。
根据本公开的一个或多个实施例,本公开提供的图像处理器中,所述第一风格为油画风格,所述第二风格为素颜风格;所述融合模块,具体用于:
对所述第一风格样本图像和所述第一参考样本图像进行融合加噪处理生成第一负样本图像;
提取所述第一风格样本图像的第一高频信息,所述第一参考样本图像的第二高频信息,以及所述第一负样本图像的第三高频信息;
通过所述第一对抗生成网络中的判别网络对所述第一高频信息、所述第二高频信息、以及所述第三高频信息进行判别处理生成对应的判别分数;
根据所述判别分数确定所述第一损失函数。
根据本公开的一个或多个实施例,本公开提供的图像处理器中,所述第二训练模块,具体用于:
对所述第二风格样本图像和所述第二参考样本图像进行融合加噪处理生成第二负样本图像;
提取所述第二风格样本图像的第一纹理特征,所述第二参考样本图像的第二纹理特征,以及所述第二负样本图像的第三纹理特征;
根据所述第一纹理特征、所述第二纹理特征,以及所述第三纹理特征确定所述第二损失函数。
根据本公开的一个或多个实施例,本公开提供的图像处理器中,所述第二训练模块,具体用于:
提取具有所述素颜风格原始图像中目标对象的关键区域轮廓特征;
对所述素颜风格原始图像和所述目标对象的关键区域轮廓特征进行编码生成所述目标对象的特征数据;
通过所述风格转换网络对所述目标对象的特征数据和所述目标对象的关键区域轮廓特征进行图像融合处理,生成具有所述油画风格的目标图像。
根据本公开的一个或多个实施例,本公开提供了一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现如本公开提供的任一所述的图像处理方法。
根据本公开的一个或多个实施例,本公开提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行如本公开提供的任一所述的图像处理方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取第一风格样本图像的第一对象特征,根据所述第一对象特征和所述第一风格样本图像训练第一对抗生成网络;
获取第二风格样本图像的第二对象特征,根据所述第二对象特征和所述第二风格样本图像训练第二对抗生成网络;
对所述第一对抗生成网络和所述第二对抗生成网络进行融合处理,生成风格转换网络,以根据所述风格转换网络对所述第一风格和所述第二风格的图像进行图像风格转换处理。
2.根据权利要求1所述的方法,其特征在于,所述获取第一风格样本图像的第一对象特征,根据所述第一对象特征和所述第一风格样本图像训练第一对抗生成网络,包括:
对所述第一风格样本图像中的第一对象进行关键点分割检测,提取所述第一对象的关键区域轮廓特征;
通过待训练的第一对抗生成网络中的生成网络对所述第一对象的关键区域轮廓特征进行处理生成第一参考样本图像;
根据所述第一风格样本图像和所述第一参考样本图像确定第一损失函数;
根据所述第一损失函数进行反向传播训练所述第一对抗生成网络。
3.根据权利要求2所述的方法,其特征在于,所述获取第二风格样本图像的第二对象特征,根据所述第二对象特征和所述第二风格样本图像训练第二对抗生成网络,包括:
对所述第二风格样本图像中的第二对象进行关键点分割检测,提取所述第二对象的关键区域轮廓特征;
通过待训练的第二对抗生成网络中的生成网络对所述第二对象的关键区域轮廓特征进行处理生成第二参考样本图像;
根据所述第二风格样本图像和所述第二参考样本图像确定第二损失函数;
根据所述第二损失函数进行反向传播训练所述第二对抗生成网络。
4.根据权利要求1所述的方法,其特征在于,所述对所述第一对抗生成网络和所述第二对抗生成网络进行融合处理,生成风格转换网络,包括:
根据所述第一对象特征和所述第二对象特征的相似度,确定与所述第一对抗生成网络对应的第一权重,以及与所述第二对抗生成网络对应的第二权重;
获取所述第一对抗生成网络的输出图像与所述第一权重的第一乘积结果,以及获取所述第二对抗生成网络的输出图像和所述第二权重的第二乘积结果,将所述第一乘积结果和所述第二乘积结果进行融合处理,生成所述风格转换网络。
5.根据权利要求3所述的方法,其特征在于,所述第一风格为油画风格,所述第二风格为素颜风格;
所述根据所述第一风格样本图像和所述第一参考样本图像确定第一损失函数,包括:
对所述第一风格样本图像和所述第一参考样本图像进行融合加噪处理生成第一负样本图像;
提取所述第一风格样本图像的第一高频信息,所述第一参考样本图像的第二高频信息,以及所述第一负样本图像的第三高频信息;
通过所述第一对抗生成网络中的判别网络对所述第一高频信息、所述第二高频信息、以及所述第三高频信息进行判别处理生成对应的判别分数;
根据所述判别分数确定所述第一损失函数。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第二风格样本图像和所述第二参考样本图像确定第二损失函数,包括:
对所述第二风格样本图像和所述第二参考样本图像进行融合加噪处理生成第二负样本图像;
提取所述第二风格样本图像的第一纹理特征,所述第二参考样本图像的第二纹理特征,以及所述第二负样本图像的第三纹理特征;
根据所述第一纹理特征、所述第二纹理特征,以及所述第三纹理特征确定所述第二损失函数。
7.根据权利要求6所述的方法,其特征在于,所述根据所述风格转换网络对所述第一风格和所述第二风格的图像进行图像风格转换处理,包括:
提取具有所述素颜风格原始图像中目标对象的关键区域轮廓特征;
对所述素颜风格原始图像和所述目标对象的关键区域轮廓特征进行编码生成所述目标对象的特征数据;
通过所述风格转换网络对所述目标对象的特征数据和所述目标对象的关键区域轮廓特征进行图像融合处理,生成具有所述油画风格的目标图像。
8.一种图像处理器,其特征在于,包括:
第一训练模块,用于获取第一风格样本图像的第一对象特征,根据所述第一对象特征和所述第一风格样本图像训练第一对抗生成网络;
第二训练模块,用于获取第二风格样本图像的第二对象特征,根据所述第二对象特征和所述第二风格样本图像训练第二对抗生成网络;
融合模块,用于对所述第一对抗生成网络和所述第二对抗生成网络进行融合处理,生成风格转换网络,以根据所述风格转换网络对所述第一风格和所述第二风格的图像进行图像风格转换处理。
9.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-7中任一所述的图像处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-7中任一所述的图像处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111574622.1A CN116310615A (zh) | 2021-12-21 | 2021-12-21 | 图像处理方法、装置、设备及介质 |
PCT/CN2022/140574 WO2023116744A1 (zh) | 2021-12-21 | 2022-12-21 | 图像处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111574622.1A CN116310615A (zh) | 2021-12-21 | 2021-12-21 | 图像处理方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116310615A true CN116310615A (zh) | 2023-06-23 |
Family
ID=86831024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111574622.1A Pending CN116310615A (zh) | 2021-12-21 | 2021-12-21 | 图像处理方法、装置、设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116310615A (zh) |
WO (1) | WO2023116744A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116758379B (zh) * | 2023-08-14 | 2024-05-28 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402151A (zh) * | 2020-03-09 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
CN111402112B (zh) * | 2020-03-09 | 2024-07-26 | 抖音视界有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
US11263487B2 (en) * | 2020-03-25 | 2022-03-01 | Microsoft Technology Licensing, Llc | Multi-task GAN, and image translator and image classifier trained thereby |
CN111783603A (zh) * | 2020-06-24 | 2020-10-16 | 有半岛(北京)信息科技有限公司 | 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 |
-
2021
- 2021-12-21 CN CN202111574622.1A patent/CN116310615A/zh active Pending
-
2022
- 2022-12-21 WO PCT/CN2022/140574 patent/WO2023116744A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023116744A1 (zh) | 2023-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111368685B (zh) | 关键点的识别方法、装置、可读介质和电子设备 | |
WO2021036059A1 (zh) | 图像转换模型训练方法、异质人脸识别方法、装置及设备 | |
CN113704531A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN109754464B (zh) | 用于生成信息的方法和装置 | |
CN111915480B (zh) | 生成特征提取网络的方法、装置、设备和计算机可读介质 | |
CN111369427A (zh) | 图像处理方法、装置、可读介质和电子设备 | |
CN112614110B (zh) | 评估图像质量的方法、装置及终端设备 | |
CN111950570B (zh) | 目标图像提取方法、神经网络训练方法及装置 | |
US20240221126A1 (en) | Image splicing method and apparatus, and device and medium | |
CN114049417B (zh) | 虚拟角色图像的生成方法、装置、可读介质及电子设备 | |
CN113920023B (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
CN116630514A (zh) | 图像处理方法、装置、计算机可读存储介质及电子设备 | |
CN113610034B (zh) | 识别视频中人物实体的方法、装置、存储介质及电子设备 | |
WO2024193438A1 (zh) | 一种表情驱动方法、装置、设备及介质 | |
CN113902636A (zh) | 图像去模糊方法及装置、计算机可读介质和电子设备 | |
CN116310615A (zh) | 图像处理方法、装置、设备及介质 | |
CN110619602B (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
CN114418835B (zh) | 图像处理方法、装置、设备及介质 | |
CN111814811A (zh) | 图像信息提取方法、训练方法及装置、介质和电子设备 | |
US20240290135A1 (en) | Method, electornic device, and storage medium for image processing | |
CN116188251A (zh) | 模型构建方法、虚拟形象生成方法、装置、设备、介质 | |
CN110264431A (zh) | 视频美化方法、装置及电子设备 | |
CN115795355A (zh) | 一种分类模型训练方法、装置及设备 | |
CN111291640B (zh) | 用于识别步态的方法和装置 | |
CN115147434A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |