CN111223039A - 图像风格转换方法、装置、电子设备及存储介质 - Google Patents
图像风格转换方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111223039A CN111223039A CN202010018860.3A CN202010018860A CN111223039A CN 111223039 A CN111223039 A CN 111223039A CN 202010018860 A CN202010018860 A CN 202010018860A CN 111223039 A CN111223039 A CN 111223039A
- Authority
- CN
- China
- Prior art keywords
- image
- style conversion
- feature
- network
- converted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims 2
- 239000002609 medium Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000006390 lc 2 Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像风格转换方法、装置、电子设备及存储介质，其中，方法包括：提取待转换图像的全局特征；根据全局特征得到待转换图像的背景特征和前景特征；根据背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，得到风格转换图像。由此，解决了未区分前景和背景，容易对图像中的内容造成过度的破坏，导致转换图像失去原有含义，风格转换的实用性较低、使用体验较低的问题。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像风格转换方法、装置、电子设备及存储介质。
背景技术
图像风格转换是指利用算法模型学习著名画作的风格，以把其应用到另外一幅图像上的技术，如将普通用户上传的图像自动变换为具有艺术家风格的图像。其中，风格转换使用卷积层的中间特征还原出对应的原始图像，并且利用内容损失还原图像内容和图像风格。
相关技术中，在风格转换过程中，不注重图像前景和背景的区分，而是直接将风格转换作用在整幅图像上，容易对原始图像中的内容造成过度的破坏，导致转换后图像失去原有含义，尤其是广告海报，一旦整体风格的过度转换，那么海报将失去使用价值。
发明内容
本发明提供一种图像风格转换方法、装置、电子设备及存储介质，以解决了未区分前景和背景，容易对图像中的内容造成过度的破坏，导致转换图像失去原有含义，风格转换的实用性较低、使用体验较低的问题。
本发明第一方面实施例提供一种图像风格转换方法，包括以下步骤：提取待转换图像的全局特征；根据所述全局特征得到所述待转换图像的背景特征和前景特征；根据所述背景特征、所述前景特征和目标风格转换图像对所述待转换图像进行风格转换，得到风格转换图像。
本发明第二方面实施例提供一种图像风格转换装置，包括：提取模块，用于提取待转换图像的全局特征；获取模块，用于根据所述全局特征得到所述待转换图像的背景特征和前景特征；转换模块，用于根据所述背景特征、所述前景特征和目标风格转换图像对所述待转换图像进行风格转换，得到风格转换图像。
本发明第三方面实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行如上述实施例所述的图像风格转换方法。
本发明第四方面实施例提供一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的图像风格转换方法。
由背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，获取风格转换图像，在前景信息不过度破坏的同时，注重背景的转换，有效保留待转换图像的原有含义，提高图像转换效果，并且提高风格转换的适用性，提升用户使用体验。由此，解决了未区分前景和背景，容易对图像中的内容造成过度的破坏，导致转换图像失去原有含义，风格转换的实用性较低、使用体验较低的问题。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的图像风格转换方法的流程图；
图2为根据本发明一个实施例的待转换图像的示意图；
图3为根据本发明一个实施例的风格转换图像的示意图；
图4为根据本发明另一个实施例的风格转换图像的示意图；
图5为根据本发明又一个实施例的风格转换图像的示意图；
图6为根据本发明一个具体实施例的图像风格转换方法的原理示意图；
图7为根据本发明实施例的图像风格转换装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图纸的图像风格转换方法、装置、电子设备及存储介质。针对上述背景技术中心提到的由于不注重图像前景和背景的区分，而是直接将风格转换作用在整幅图像上，容易对原始图像中的内容造成过度的破坏，导致转换后图像失去原有含义的问题，本发明提出了一种图像风格转换方法。在该方法中，由背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，获取风格转换图像，在前景信息不过度破坏的同时，注重背景的转换，有效保留待转换图像的原有含义，提高图像转换效果，并且提高风格转换的适用性，提升用户使用体验。由此，解决了未区分前景和背景，容易对图像中的内容造成过度的破坏，导致转换图像失去原有含义，风格转换的实用性较低、使用体验较低的问题。
具体而言，图1为本发明实施例所提供的一种图像风格转换方法的流程示意图。
如图1所示，该图像风格转换方法包括以下步骤：
在步骤S101中，提取待转换图像的全局特征。
其中，在本发明的一个实施例中，提取待转换图像的全局特征，包括：通过风格转换网络的编码网络提取待转换图像的全局特征。
可以理解的是，本发明实施例可以为全局特征融合网络，如图2所示，以海报为例，其用于海报背景风格转换的新型网络模型。具体地，将待转换图像如原始海报图像和目标风格图像输入到网络模型中，经过计算可以获得风格转换图像。由于在海报风格转换中需要更加注重背景的转换，同时保留原图像的含义，那么要求原图像中的前景信息不能被过度的破坏。因此，本发明实施例先提取待转换图像的全局特征，全局特征中包含有更多的图像背景信息，前景信息相对被弱化。例如，算法模型分为两个部分，第一部分为风格转换网络，以用于图像风格的转换。其中，本发明实施例可以使用编码网络提取图像中的全局特征。
需要说明的是，相比较于现有一些技术中背景区分是基于标签和颜色域的有监督的人为标定和区分方法，存在受标签类别制约而不能识别相应背景的问题，本发明实施例的背景是基于图像自身的全局特征，全局特征能够更好的表征整体图像的特点，从而可以包含更多背景信息，即本发明实施例的背景区别是无监督的，不存在因人为标定而造成的局限性，有效提升适用性的同时，保证转换效果。
在步骤S102中，根据全局特征得到待转换图像的背景特征和前景特征。
其中，在本发明的一个实施例中，根据全局特征得到待转换图像的背景特征和前景特征，包括：通过风格转换网络的解码网络对全局特征进行重构，生成用于风格转换特征；对全局特征进行特征调整，并与风格转换特征进行元素级求和，融合得到背景特征与前景特征。
可以理解的是，在使用编码网络提取图像中的全局特征后，解码网络对编码网络提取的特征进行重构，同时编码网络与解码网络通过跳变连接相连，重用中间层特征，并且通过全局特征融合，利用全局特征包含更多图像背景信息的优势来强化背景信息，同时弱化前景信息，以实现下述的海报背景风格的转换。
需要说明的是，相比较于现有技术中使用的是检测技术，区分背景的方式停留在图像层面，本发明实施例区分背景的方式为特征提取，使用特征可以更好地区分背景，而不是仅仅停留在图像的层面，因此在技术层面，完全是两种不同的技术，有效提升转换的可靠性和准确性。
在步骤S103中，根据背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，得到风格转换图像。
如图3、图4和图5所示，在将全局特征通过上采样以及特征融合(下面会进行详细描述)等技术应用到最终的风格转换过程中，从而着重对图像背景进行风格的转换，经过图中对应三种不同风格的转换后图像，可以得出风格转换后的三种图像前景未受到破坏，同时背景有明显的转换效果，有效满足用户的使用要求，提升使用体验。
需要说明的是，相比较于现有技术中对图像的两段式处理方式，即先进行检测计算，再进行图像风格处理，本发明实施例使用一段式端到端的处理方式，同时完成对前景的保护和对背景风格的转换，有效提升转换的准确性。保证转换效果。
另外，在本发明的一个实施例中，在通过风格转换网络的编码网络提取待转换图像的全局特征之前，还包括：根据风格转换图像、待转换图像与目标风格图像间的最大平均差异值训练风格转换网络。
具体地，由于现有技术中，图像风格转换使用损失函数
衡量
是否成功组合了
的内容和
的风格，并且以Ltotal为目标函数，用梯度下降法来逐步迭代优化，但是通过定义损失函数来度量风格转换的程度，在生成图像过程中需要逐步对
优化，所以速度很慢，难以满足实际的使用需求，降低使用体验。
因此，在本发明的实施例中，算法模型的第二部分为损失网络，用于计算风格转换图像、目标风格图像以及待转换图像之间的损失。具体地，损失网络可以为预训练网络，用于计算图像之间的损失，其中，风格转换图像由风格转换网络生成。损失函数为基于MMD(Maximum Mean Discrepancy，最大平均差异)的损失函数。可以理解的是，在损失网络中输入风格转换图像、待转换图像与目标风格图像，通过提取损失网络不同层的特征来计算相应的MMD距离，以此度量风格转换的好坏程度，用于反向传播更新风格转换网络的参数，有效提高转换效果，使得在前景信息不过度破坏的同时，注重背景的转换，有效保留待转换图像的原有含义，提高图像转换效果。
综上，本发明实施例基于全局特征融合网络可以区分图像的背景和前景，达到增强背景弱化前景的目的，而且基于最大平均差异的损失函数，可以控制风格转换的程度，确保前景信息不被过度破坏，提升使用体验。
可选地，在本发明的一个实施例中，解码网络通过跳变连接与编码网络相连，且风格转换网络中特征层之间使用残差连接，有效增强特征有效性。
可以理解的是，本发明实施例的网络模型中使用残差连接、跳变连接，转置卷积双线性插值等。下面以广告海报为例，对全局特征通过上采样以及特征融合等技术进行详细描述。
如图6所示，全局特征融合网络可以用于海报风格转换，其主要包含两部分：第一部分为风格转换网络；第二部分为损失网络。
首先使用风格转换网络提取广告海报的特征，风格转换网络为自编码网络，分为编码网络和解码网络两部分，编码网络通过步长为2的卷积进行降采样，提取图像的特征，网络中特征层之间使用残差连接，提高模型的表征性能；其次，解码网络使用转置卷积对特征图进行上采样，上采样的初始权重由双线性插值提供。编码网络和解码网络之间通过跳变连接相连，充分利用模型浅层特征中的细节空间信息，提升模型的性能。最后，将编码网络提取的全局特征融合到特征层中增强背景的风格转换效果，从而输出风格转换图像。其中，特征调整层可以由卷积层，转置卷积层组成，卷积层用于调整特征图的维度，转置卷积用于上采样特征图。经过特征调整操作后全局特征与解码网络输出特征具有相同的维度大小。调整后全局特征与解码网络输出的特征进行特征融合，从而输出风格转换后的图像。
其次使用损失网络，预训练的网络模型作为损失模型，预训练数据为ImageNet数据集。损失网络度量风格转换图像和输入图像以及风格转换图像和风格图像之间的MMD距离，通过最小化风格转换图像和原图像以及风格图像之间的距离，获得更好的图像转换效果。具体地，在通过损失网络来完成模型训练时，损失函数可以包含4部分，其中待转换图像和风格转换网络输出的风格转换图像计算损失通过损失网络来完成。损失函数包含4部分，其中原始输入图像和风格转换网络输出的风格转换图像计算损失lc 1和lc 2，其主要考虑待转换图像即广告海报的细节信息，使用损失网络的浅层网络特征，浅层特征包含有更多的细节信息，有利于对风格转换图像前景的保护。风格图像和风格转换图像用于计算ls 1和ls 2损失，该部分使用损失网络深层的特征，深层网络特征更加注重全局性，有利于风格转换图像背景的风格转换。4部分损失均通过MMD计算，MMD如式1所示，总损失为，
其中α，β，γ，η为损失加权参数，如式1为：
综上，本发明实施例可以不使用优化的方法来逐步迭代生成，而是使用一个神经网络直接生成。网络中涉及的残差连接、跳跃连接等技术，可以解决网络层数较深的情况下梯度消失的问题，同时有助于梯度的反向传播，加快训练过程。
例如，全局特征融合网络用于海报背景风格转换的训练过程如下：
步骤S1：广告海报输入到风格转换网络中，经风格转换网络的编码网络部分提取全局特征，其中编码网络使用残差连接，增强特征有效性。
步骤S2：解码网络通过跳变连接与编码网络相连，将所提取的全局特征进行重构，生成用于海报风格转换的特征。
步骤S3：全局特征融合，将编码网络提取的全局特征进行特征调整，调整后全局特征尺度与解码网络输出的特征尺度相同，且对两个特征图进行元素级求和，完成特征融合突出海报背景，输出海报的风格转换图像。
步骤S4：将风格转换网络输出的风格转换图像、广告海报图像和目标风格图像，输入到损失网络。损失网络为预训练网络，通过损失网络计算MMD求得总损失lt。
步骤S5：通过反向传播最小化计算的总损失lt，直到网络模型达到收敛。
虽然以广告海报为例，训练结束后训练好的风格转换网络可用于其他图像的背景风格转换，也可训练其他不同风格，在此不做具体限制。
相比较于停留在图像层面的技术，仅仅通过检测算法和人为标定的颜色标签对海报背景进行区分，使得在检测准确性和实用性等方面存在诸多制约，本发明实施例有效利用图像特征而不受类别标签的制约，同时该方法不只是停留在图像层面，尤其是为更好的保护海报的前景内容不被过度破坏，本发明实施例使用全局特征融合的方式着重突出对海报背景风格的转换，并且基于海报的自身内容信息，对海报的背景特征进行提取，通过不断的卷积计算，编码网络中更深的网络层拥有了更大的感受野，感受野尺度的增加能够有效提高网络所提取特征的全局性，从而确保风格转换过程中背景信息的重要性。
根据本发明实施例的图像风格转换方法，由背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，获取风格转换图像，在前景信息不过度破坏的同时，注重背景的转换，有效保留待转换图像的原有含义，提高图像转换效果，并且提高风格转换的适用性，提升用户使用体验。由此，解决了未区分前景和背景，容易对图像中的内容造成过度的破坏，导致转换图像失去原有含义，风格转换的实用性较低、使用体验较低的问题。
其次参照附图描述根据本发明实施例提出的图像风格转换装置。
图7是本发明实施例的图像风格转换装置的结构示意图。
如图7所示，该图像风格转换装置10包括：提取模块100、获取模块200和转换模块300。
其中，提取模块100用于提取待转换图像的全局特征。
获取模块200用于根据全局特征得到待转换图像的背景特征和前景特征。
转换模块300用于根据背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，得到风格转换图像。
进一步地，在本发明的一个实施例中，提取模块100包括：提取单元。其中，提取单元用于通过风格转换网络的编码网络提取待转换图像的全局特征。
进一步地，在本发明的一个实施例中，获取单元200包括：生成单元和融合单元。
其中，生成单元用于通过风格转换网络的解码网络对全局特征进行重构，生成用于风格转换特征。
融合单元用于对全局特征进行特征调整，并与风格转换特征进行元素级求和，融合得到背景特征与前景特征。
需要说明的是，前述对图像风格转换方法实施例的解释说明也适用于该实施例的图像风格转换装置，此处不再赘述。
根据本发明实施例的图像风格转换装置，由背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，获取风格转换图像，在前景信息不过度破坏的同时，注重背景的转换，有效保留待转换图像的原有含义，提高图像转换效果，并且提高风格转换的适用性，提升用户使用体验。由此，解决了未区分前景和背景，容易对图像中的内容造成过度的破坏，导致转换图像失去原有含义，风格转换的实用性较低、使用体验较低的问题。
为了实现上述实施例，本发明还提出了一种电子设备，包括：至少一个处理器和存储器。其中，存储器与至少一个处理器通信连接，其中，存储器存储有可被至少一个处理器执行的指令，指令被设置为用于执行上述实施例的图像风格转换方法，如以用于：
提取待转换图像的全局特征。
根据全局特征得到待转换图像的背景特征和前景特征。
根据背景特征、前景特征和目标风格转换图像对待转换图像进行风格转换，得到风格转换图像。
为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其存储计算机指令，计算机指令用于使计算机执行上述实施例的图像风格转换方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种图像风格转换方法，其特征在于，包括以下步骤：
提取待转换图像的全局特征；
根据所述全局特征得到所述待转换图像的背景特征和前景特征；以及
根据所述背景特征、所述前景特征和目标风格转换图像对所述待转换图像进行风格转换，得到风格转换图像。
2.根据权利要求1所述的方法，其特征在于，所述提取待转换图像的全局特征，包括：
通过风格转换网络的编码网络提取所述待转换图像的全局特征。
3.根据权利要求2所述的方法，其特征在于，所述根据所述全局特征得到所述待转换图像的背景特征和前景特征，包括：
通过所述风格转换网络的解码网络对所述全局特征进行重构，生成用于风格转换特征；
对所述全局特征进行特征调整，并与所述风格转换特征进行元素级求和，融合得到所述背景特征与所述前景特征。
4.根据权利要求4所述的方法，其特征在于，所述解码网络通过跳变连接与所述编码网络相连，且所述风格转换网络中特征层之间使用残差连接。
5.根据权利要求2所述的方法，其特征在于，在通过所述风格转换网络的编码网络所述提取所述待转换图像的全局特征之前，还包括：
根据所述风格转换图像、所述待转换图像与所述目标风格图像间的最大平均差异值训练所述风格转换网络。
6.一种图像风格转换装置，其特征在于，包括：
提取模块，用于提取待转换图像的全局特征；
获取模块，用于根据所述全局特征得到所述待转换图像的背景特征和前景特征；以及
转换模块，用于根据所述背景特征、所述前景特征和目标风格转换图像对所述待转换图像进行风格转换，得到风格转换图像。
7.根据权利要求6所述的装置，其特征在于，所述提取模块包括：提取单元，用于通过风格转换网络的编码网络提取所述待转换图像的全局特征。
8.根据权利要求7所述的装置，其特征在于，所述获取单元包括：
生成单元，用于通过所述风格转换网络的解码网络对所述全局特征进行重构，生成用于风格转换特征；
融合单元，用于对所述全局特征进行特征调整，并与所述风格转换特征进行元素级求和，融合得到所述背景特征与所述前景特征。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的图像风格转换方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的图像风格转换方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010018860.3A CN111223039A (zh) | 2020-01-08 | 2020-01-08 | 图像风格转换方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010018860.3A CN111223039A (zh) | 2020-01-08 | 2020-01-08 | 图像风格转换方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111223039A true CN111223039A (zh) | 2020-06-02 |
Family
ID=70826666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010018860.3A Pending CN111223039A (zh) | 2020-01-08 | 2020-01-08 | 图像风格转换方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111223039A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815508A (zh) * | 2020-07-23 | 2020-10-23 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、设备和计算机可读介质 |
| CN113837934A (zh) * | 2021-11-26 | 2021-12-24 | 北京市商汤科技开发有限公司 | 图像生成方法及装置、电子设备和存储介质 |
| WO2023000895A1 (zh) * | 2021-07-23 | 2023-01-26 | 腾讯科技（深圳）有限公司 | 图像风格转换方法、装置、电子设备和存储介质 |
| JP7512724B2 (ja) | 2020-07-09 | 2024-07-09 | コニカミノルタ株式会社 | 学習装置、推論装置、学習方法、推論方法、学習プログラム、推論プログラム |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
| CN108765278A (zh) * | 2018-06-05 | 2018-11-06 | Oppo广东移动通信有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
| CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
| US20180350030A1 (en) * | 2017-06-06 | 2018-12-06 | Adobe Systems Incorporated | Generating a stylized image or stylized animation by matching semantic features via an appearance guide, a segmentation guide, and a positional guide |
| CN108961279A (zh) * | 2018-06-28 | 2018-12-07 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置及移动终端 |
| US20180373999A1 (en) * | 2017-06-26 | 2018-12-27 | Konica Minolta Laboratory U.S.A., Inc. | Targeted data augmentation using neural style transfer |
| CN109447137A (zh) * | 2018-10-15 | 2019-03-08 | 聚时科技(上海)有限公司 | 一种基于分解因子的图像局部风格迁移方法 |
| CN109523460A (zh) * | 2018-10-29 | 2019-03-26 | 北京达佳互联信息技术有限公司 | 图像风格的迁移方法、迁移装置和计算机可读存储介质 |
| CN109636712A (zh) * | 2018-12-07 | 2019-04-16 | 北京达佳互联信息技术有限公司 | 图像风格迁移及数据存储方法、装置和电子设备 |
| CN109829353A (zh) * | 2018-11-21 | 2019-05-31 | 东南大学 | 一种基于空间约束的人脸图像风格化方法 |
| WO2019134504A1 (zh) * | 2018-01-05 | 2019-07-11 | Oppo广东移动通信有限公司 | 图像背景虚化方法、装置、存储介质及电子设备 |
| CN110111291A (zh) * | 2019-05-10 | 2019-08-09 | 衡阳师范学院 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
| CN110473141A (zh) * | 2019-08-02 | 2019-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110544217A (zh) * | 2019-08-30 | 2019-12-06 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
-
2020
- 2020-01-08 CN CN202010018860.3A patent/CN111223039A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
| US20180350030A1 (en) * | 2017-06-06 | 2018-12-06 | Adobe Systems Incorporated | Generating a stylized image or stylized animation by matching semantic features via an appearance guide, a segmentation guide, and a positional guide |
| US20180373999A1 (en) * | 2017-06-26 | 2018-12-27 | Konica Minolta Laboratory U.S.A., Inc. | Targeted data augmentation using neural style transfer |
| WO2019134504A1 (zh) * | 2018-01-05 | 2019-07-11 | Oppo广东移动通信有限公司 | 图像背景虚化方法、装置、存储介质及电子设备 |
| CN108765278A (zh) * | 2018-06-05 | 2018-11-06 | Oppo广东移动通信有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
| CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
| CN108961279A (zh) * | 2018-06-28 | 2018-12-07 | Oppo（重庆）智能科技有限公司 | 图像处理方法、装置及移动终端 |
| CN109447137A (zh) * | 2018-10-15 | 2019-03-08 | 聚时科技(上海)有限公司 | 一种基于分解因子的图像局部风格迁移方法 |
| CN109523460A (zh) * | 2018-10-29 | 2019-03-26 | 北京达佳互联信息技术有限公司 | 图像风格的迁移方法、迁移装置和计算机可读存储介质 |
| CN109829353A (zh) * | 2018-11-21 | 2019-05-31 | 东南大学 | 一种基于空间约束的人脸图像风格化方法 |
| CN109636712A (zh) * | 2018-12-07 | 2019-04-16 | 北京达佳互联信息技术有限公司 | 图像风格迁移及数据存储方法、装置和电子设备 |
| CN110111291A (zh) * | 2019-05-10 | 2019-08-09 | 衡阳师范学院 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
| CN110473141A (zh) * | 2019-08-02 | 2019-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110544217A (zh) * | 2019-08-30 | 2019-12-06 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| 张浩 等: "基于空洞卷积的快速背景自动更换", 《计算机应用》 * |
| 徐佳宇 等: "PNET:像素级台标识别网络", 《计算机辅助设计与图形学学报》 * |
| 李慧 等: "深度卷积神经网络下的图像风格迁移算法", 《计算机工程与应用》 * |
| 柳东静: "基于语义匹配与风格采样的图像风格迁移技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 黄鑫: "基于深度学习的实例感知型图像风格转换研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7512724B2 (ja) | 2020-07-09 | 2024-07-09 | コニカミノルタ株式会社 | 学習装置、推論装置、学習方法、推論方法、学習プログラム、推論プログラム |
| CN111815508A (zh) * | 2020-07-23 | 2020-10-23 | 北京字节跳动网络技术有限公司 | 图像生成方法、装置、设备和计算机可读介质 |
| WO2023000895A1 (zh) * | 2021-07-23 | 2023-01-26 | 腾讯科技（深圳）有限公司 | 图像风格转换方法、装置、电子设备和存储介质 |
| CN113837934A (zh) * | 2021-11-26 | 2021-12-24 | 北京市商汤科技开发有限公司 | 图像生成方法及装置、电子设备和存储介质 |
| CN113837934B (zh) * | 2021-11-26 | 2022-02-22 | 北京市商汤科技开发有限公司 | 图像生成方法及装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111223039A (zh) | 图像风格转换方法、装置、电子设备及存储介质 | |
| KR102169242B1 (ko) | 초해상도 영상 복원을 위한 기계 학습 방법 | |
| KR20200095335A (ko) | 고정밀도 이미지를 분석하는 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하기 위한 방법 및 이를 이용한 오토 라벨링 장치 | |
| CN111476719B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| JP2022501662A (ja) | 敵対的生成ネットワークのトレーニング方法、画像処理方法、デバイスおよび記憶媒体 | |
| CN111402257A (zh) | 一种基于多任务协同跨域迁移的医学图像自动分割方法 | |
| KR20220036200A (ko) | 차량의 속도 예측 장치 및 그 방법 | |
| CN114842026A (zh) | 实时的风机叶片图像分割方法及系统 | |
| CN113643311B (zh) | 一种对边界误差鲁棒的图像分割方法和装置 | |
| CN113822287A (zh) | 一种图像处理方法、系统、设备以及介质 | |
| CN112307850A (zh) | 神经网络训练方法、车道线检测方法、装置和电子设备 | |
| CN116993987A (zh) | 一种基于轻量级神经网络模型的图像语义分割方法及系统 | |
| CN111861931A (zh) | 模型训练、图像增强方法和装置、电子设备及存储介质 | |
| US20230073175A1 (en) | Method and system for processing image based on weighted multiple kernels | |
| CN110610184B (zh) | 图像的显著目标的检测方法、装置及设备 | |
| KR102105951B1 (ko) | 추론을 위한 제한된 볼츠만 머신 구축 방법 및 추론을 위한 제한된 볼츠만 머신을 탑재한 컴퓨터 장치 | |
| CN115311550B (zh) | 遥感影像语义变化检测方法、装置、电子设备及存储介质 | |
| CN116385369A (zh) | 深度图像质量评价方法、装置、电子设备及存储介质 | |
| CN113902617B (zh) | 基于参考图像的超分辨率方法、装置、设备及介质 | |
| CN116204786A (zh) | 生成指定故障趋势数据的方法和装置 | |
| CN113807354B (zh) | 图像语义分割方法、装置、设备和存储介质 | |
| CN114707518A (zh) | 面向语义片段的目标情感分析方法、装置、设备及介质 | |
| US20210406682A1 (en) | Quantization of neural network models using data augmentation | |
| CN113536971A (zh) | 一种基于增量学习的目标检测方法 | |
| CN110751135A (zh) | 图纸的校对方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |