CN110956654A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110956654A
CN110956654A CN201911212737.9A CN201911212737A CN110956654A CN 110956654 A CN110956654 A CN 110956654A CN 201911212737 A CN201911212737 A CN 201911212737A CN 110956654 A CN110956654 A CN 110956654A
Authority
CN
China
Prior art keywords
image
style
migration
migrated
selection information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911212737.9A
Other languages
English (en)
Other versions
CN110956654B (zh
Inventor
朱圣晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911212737.9A priority Critical patent/CN110956654B/zh
Publication of CN110956654A publication Critical patent/CN110956654A/zh
Priority to EP20896430.4A priority patent/EP4064189A1/en
Priority to PCT/CN2020/130090 priority patent/WO2021109876A1/zh
Priority to US17/824,043 priority patent/US20220284638A1/en
Application granted granted Critical
Publication of CN110956654B publication Critical patent/CN110956654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本申请实施例提供了一种图像处理方法、装置、设备及存储介质，涉及图像处理技术领域。所述方法包括：对原始图像进行分割处理，得到前景图像和背景图像；根据风格选择信息对待迁移图像进行风格迁移处理，得到迁移图像；其中，待迁移图像包括前景图像和/或背景图像，风格选择信息包括n种迁移风格，n为正整数；根据迁移图像，生成输出图像。本申请实施例提高了输出图像的效果多样性。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着技术的发展，用户可以对原始图像进行编辑处理，从而生成一个新的图像。
在相关技术中，用户可以对原始图像进行风格迁移处理，从而生成一个新的图像。风格迁移处理是指将原始图像作为内容图像，选择另一图像作为风格图像，利用风格迁移算法生成新的图像，该新的图像的内容与内容图像相似，风格与风格图像相似的处理。一般通过在原始图像的上层增加一层滤镜来对该原始图像进行风格迁移处理。
发明内容
本申请实施例提供一种图像处理方法、装置、设备及存储介质。所述技术方案如下：
一方面，本申请实施例提供一种图像处理方法，所述方法包括：
对原始图像进行分割处理，得到前景图像和背景图像；
根据风格选择信息对待迁移图像进行风格迁移处理，得到迁移图像；其中，所述待迁移图像包括所述前景图像和/或所述背景图像，所述风格选择信息包括n种迁移风格，所述n为正整数；
根据所述迁移图像，生成输出图像。
另一方面，本申请实施例提供一种图像处理装置，所述装置包括：
图像分割模块，用于对原始图像进行分割处理，得到前景图像和背景图像；
图像处理模块，用于根据风格选择信息对待迁移图像进行风格迁移处理，得到迁移图像；其中，所述待迁移图像包括所述前景图像和/或所述背景图像，所述风格选择信息包括n种迁移风格，所述n为正整数；
图像生成模块，用于根据所述迁移图像，生成输出图像。
另一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上述方面所述的图像处理方法。
又一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的图像处理方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过根据风格选择信息对前景图像和/或背景图像进行风格迁移处理，得到迁移图像，并根据该迁移图像生成输出图像，本申请实施例可以单独对前景图像或背景图像或前景图像和背景图像进行风格迁移处理，相较于相关技术中的在原始图像的上层叠加一层滤镜，提高了输出图像的效果多样性。
附图说明
图1是本申请一个实施例提供的图像处理方法的流程图；
图2是本申请一个实施例提供的风格迁移模型的结构示意图；
图3是本申请一个实施例提供的卷积层的结构示意图；
图4是本申请一个实施例提供的残差层的结构示意图；
图5是本申请一个实施例提供的图像分割方法的流程图；
图6是本申请一个实施例提供的图像处理方法的流程图；
图7是本申请一个实施例提供的图像处理装置的框图；
图8是本申请另一个实施例提供的图像处理装置的框图；
图9是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在本申请实施例中，各步骤的执行主体可以是计算机设备，计算机设备是指具备计算和处理能力的电子设备。计算机设备可以是终端，例如终端可以是手机、平板电脑、多媒体播放设备或其他便携式电子设备；计算机设备也可以是服务器，服务器可以是一台服务器或者是服务器集群。
下面，对本申请的实施例进行介绍说明。
请参考图1，其示出了本申请一个实施例提供的图像处理方法的流程图。该方法可以包括如下几个步骤。
步骤101，对原始图像进行分割处理，得到前景图像和背景图像。
原始图像可以是任意一个图像，前景图像是指原始图像中靠近前沿的人或物对应的图像，背景图像是指原始图像中衬托主体事物的景象对应的图像。
步骤102，根据风格选择信息对待迁移图像进行风格迁移处理，得到迁移图像。
在本申请实施例中，待迁移图像是指需要进行风格迁移处理的图像，待迁移图像包括前景图像和/或背景图像，也即，待迁移图像可以包括前景图像，或者，待迁移图像可以包括背景图像，或者，待迁移图像可以包括前景图像和背景图像。当待迁移图像包括前景图像时，计算机设备根据风格选择信息对前景图像进行风格迁移处理，得到前景风格迁移图像；当待迁移图像包括背景图像时，计算机设备根据风格选择信息对背景图像进行风格迁移处理，得到背景风格迁移图像；当待迁移图像包括前景图像和背景图像时，计算机设备对前景图像和背景图像进行风格迁移处理，得到前景风格迁移图像和背景风格迁移图像。
风格选择信息包括n种迁移风格，n为正整数。示例性地，风格选择信息可以是风格选择向量，风格选择向量可以表示成[0,0,1]，该[0,0,1]包括3种迁移风格：第一迁移风格、第二迁移风格和第三迁移风格，[0,0,1]表示用第三迁移风格对待迁移图像进行风格迁移处理。
步骤103，根据迁移图像，生成输出图像。
输出图像是指内容与原始图像相似，风格与迁移图像相似的图像。当待迁移图像包括前景图像时，计算机设备根据前景风格迁移图像和原始图像，生成输出图像；当待迁移图像包括背景图像时，计算机设备根据背景风格迁移图像和原始图像，生成输出图像；当待迁移图像包括前景图像和背景图像时，计算机设备根据前景风格迁移图像和背景风格迁移图像，生成输出图像。
综上所述，本申请实施例提供的技术方案中，通过根据风格选择信息对前景图像和/或背景图像进行风格迁移处理，得到迁移图像，并根据该迁移图像生成输出图像，本申请实施例可以单独对前景图像或背景图像或前景图像和背景图像进行风格迁移处理，相较于相关技术中的在原始图像的上层叠加一层滤镜，提高了输出图像的效果多样性。
在示意性实施例中，计算机设备通过风格迁移模型根据风格选择信息对待迁移图像进行风格迁移处理，得到迁移图像。
风格迁移模型是指对待迁移图像进行风格迁移处理的模型。示例性地，风格迁移模型通过深度学习的方式进行风格迁移处理。风格迁移模型可以实现单风格迁移处理，也可以实现多风格迁移处理。风格迁移模型可以在GPU(Graphics Processing Unit，图形处理器)上运行，在GPU上运行风格迁移模型可以提高风格迁移模型的运算速度。
可选地，上述步骤可以包括如下子步骤：
第一、从n种迁移风格中选取m种迁移风格，m为小于或等于n的正整数；
用户可以从n种迁移风格中选取m种迁移风格作为待迁移图像对应的待迁移风格。
第二、通过风格迁移模型根据m种迁移风格对待迁移图像进行风格迁移处理，得到迁移图像。
示例性地，迁移图像可以通过如下方式得到：
1、对于m种迁移风格中的第i种迁移风格，将第i种迁移风格的权重与第i种迁移风格的风格参数的乘积，确定为第i种迁移风格的目标风格参数，i为正整数；
第i种迁移风格的权重可以由用户自行设置，也可以由计算机设备预先设置好。迁移风格的风格参数是指表征迁移风格的参数，风格参数可以包括迁移风格的均值和迁移风格的标准差。假设风格选择信息为[0,0,1]，即存在3种迁移风格：第一迁移风格、第二迁移风格和第三迁移风格，第一迁移风格的权重为0，第二迁移风格的权重为0，第三迁移风格的权重为1，也即，用户选取第三迁移风格作为待迁移图像对应的待迁移风格。第三迁移风格的均值为0.5、标准差为0.7，第三迁移风格的目标均值为1*0.5＝0.5、目标标准差为1*0.7＝0.7。
假设风格选择信息为[0.5,0.5,0]，即第一迁移风格的权重为0.5，第二迁移风格的权重为0.5，第三迁移风格的权重为0，也即，用户选择第一迁移风格和第二迁移风格作为待迁移图像对应的待迁移风格。此时，第一迁移风格的目标均值为0.5*0.2＝0.1、目标标准差为0.5*0.4＝0.2，第二迁移风格的目标均值为0.5*0.3＝0.15、目标标准差为0.5*0.6＝0.3。
2、将m种迁移风格中的各种迁移风格的目标风格参数之和，确定为待迁移图像对应的迁移风格参数；
仍然以上述示例为例，当风格选择信息为[0,0,1]时，待迁移图像对应的迁移均值为0.5、迁移标准差为0.7。
当风格选择信息为[0.5,0.5,0]时，待迁移图像对应的迁移均值为0.1+0.15＝0.25、迁移标准差为0.2+0.3＝0.5。
当待迁移图像包括前景图像和背景图像时，前景图像对应有第一风格选择信息，背景图像对应有第二风格选择信息。此时，前景图像对应的迁移风格参数和背景图像对应的迁移风格参数的计算方式与上述计算方式类似，此处不再赘述。
3、通过风格迁移模型根据迁移风格参数对待迁移图像进行风格迁移处理，得到迁移图像。
综上所述，本申请实施例提供的技术方案中，通过风格迁移模型根据风格选择信息对待迁移图像进行风格迁移处理，风格迁移模型可以实现单风格迁移处理，也可以实现多风格迁移处理，提高了迁移图像的多样性。
将m种迁移风格中的各种迁移风格的目标风格参数之和，确定为待迁移图像对应的迁移风格参数，可以实现多风格迁移。通过风格迁移模型根据风格选择信息和待迁移图像即可生成迁移图像，操作简便。
可选地，待迁移图像包括前景图像和背景图像。在通过风格迁移模型对前景图像和背景图像进行风格迁移处理之前，需要先确定风格迁移模型，风格迁移模型可以通过如下方式确定：
在一个示例中，从风格迁移模型集合中选取支持第一风格选择信息和第二风格选择信息进行风格迁移处理的模型作为风格迁移模型。
在本申请实施例中，风格迁移模型集合中包括至少一个模型，第一风格选择信息表征前景图像对应的迁移风格，第二风格选择信息表征背景图像对应的迁移风格。第一风格选择信息和第二风格选择信息可以相同，也可以不同，即前景图像和背景图像对应的迁移风格可以相同，也可以不同。可选地，第一风格选择信息和第二风格选择信息包括的迁移风格的数目相同。
通过选取支持第一风格选择信息和第二风格选择信息的风格迁移模型对待迁移图像进行风格迁移处理，计算机设备只需要调用一个风格迁移模型即可实现对前景图像和背景图像的风格迁移处理，减轻了计算机设备的存储压力。
在另一个示例中，从风格迁移模型集合中选取支持采用第一风格选择信息进行风格迁移处理的模型作为第一风格迁移模型，从风格迁移模型集合中选取支持采用第二风格选择信息进行风格迁移处理的模型作为第二风格迁移模型。
在本申请实施例中，风格迁移模型集合中包括至少一个模型，第一风格选择信息表征前景图像对应的迁移风格，第一风格迁移模型用于对前景图像进行风格迁移处理。第二风格选择信息表征背景图像对应的迁移风格，第二风格迁移模型用于对背景图像进行风格迁移处理。可选地，第一风格迁移模型的运算时间在风格迁移模型集合中是最短的，或者，第一风格迁移模型的运算精度在风格迁移模型集合中是最高的。第二风格迁移模型的运算时间在风格迁移模型集合中是最短的，或者，第二风格迁移模型的运算精度在风格迁移模型集合中是最高的。
示例性地，运算时间表征了运算效率，选取运算时间最短的模型作为风格迁移模型，可以保证风格迁移模型的运算效率。示例性地，运算精度可以根据风格迁移模型输出的迁移图像与风格图像之间的风格匹配度确定，风格匹配度越高，表明运算精度越高；反之，风格匹配度越低，表明运算精度越低。选取运算精度最高的模型作为风格迁移模型，可以应用于对运算精度要求较高的业务场景中。第一风格迁移模型和第二风格迁移模型的选取可以根据前景图像和背景图像的不同需求确定。例如，前景图像对运算精度要求较高，则可以从风格迁移模型集合中选取支持第一风格信息，且运算精度最高的模型作为第一风格迁移模型；背景图像对运算时间要求较高，则可以从风格迁移模型集合中选取支持第二风格信息，且运算时间最短的模型作为第二风格迁移模型。
综上所述，本申请实施例提供的技术方案中，通过选取运算时间最短的模型作为风格迁移模型，保证了风格迁移模型的运算效率；通过选取运算精度最高的模型作为风格迁移模型，可以应用于对运算精度要求较高的业务场景中。通过上述两种不同依据确定风格迁移模型，风格迁移模型的选取更为灵活。
示例性地，在通过风格迁移模型对待迁移图像进行风格迁移处理之前，需要先对风格迁移模型进行训练，其训练过程如下：
第一、获取风格迁移模型的训练数据；
在本申请实施例中，训练数据包括至少一个训练样本，训练样本包括训练图像和风格图像，风格图像是指在进行风格迁移处理时作为参考风格的图像，训练图像可以是任意一张图像。
第二、通过风格迁移模型对训练图像进行风格迁移处理，得到训练迁移图像；
训练迁移图像是指对训练图像进行风格迁移处理后得到的图像。示例性地，在对风格迁移模型进行训练时，风格迁移模型是基于单风格对训练图像进行风格迁移处理的，即，风格选择信息为one-hot(独热)型，例如[0,0,1]。
第三、根据训练图像的内容特征、训练迁移图像的内容特征、训练迁移图像的风格特征、风格图像的风格特征，确定损失函数的值；
训练图像的内容特征用于表征训练图像包含的图像内容，训练迁移图像的内容特征用于表征训练迁移图像包含的图像内容，训练迁移图像的风格特征用于表征训练迁移图像的风格，风格图像的风格特征用于表征风格图像的风格。
可选地，计算机设备根据训练图像的内容特征和训练迁移图像的内容特征，确定内容损失函数的值；根据训练迁移图像的风格特征和风格图像的风格特征，确定风格损失函数的值；根据内容损失函数的值和风格损失函数的值，确定损失函数的值。
示例性地，计算机设备可以利用VGG(Visual Geometry Group，视觉几何组)-19提取训练图像和训练迁移图像的内容特征，例如，将VGG-19中的relu4_1(激励4_1)层的输出特征作为训练图像和训练迁移图像的内容特征。
内容损失函数
Figure BDA0002298577660000071
可以通过如下公式计算：
Figure BDA0002298577660000072
其中，
Figure BDA0002298577660000081
表示训练迁移图像的内容特征，
Figure BDA0002298577660000082
表示训练图像的内容特征，l表示层数，
Figure BDA0002298577660000083
表示训练图像中的第l层第i行第j列的特征值，
Figure BDA0002298577660000084
表示训练迁移图像中的第l层第i行第j列的特征值。
示例性地，计算机设备可以利用VGG-19提取训练迁移图像和风格图像的风格特征，例如，选取VGG-19中的relu1_1(激励1_1)层、relu2_1(激励2_1)层、relu3_1(激励3_1)层、relu4_1(激励4_1)层的输出特征作为训练迁移图像和风格图像的风格特征。
可选地，在计算风格损失函数之前，先计算特征感知矩阵，特征感知矩阵
Figure BDA0002298577660000085
的计算公式如下：
Figure BDA0002298577660000086
其中，Cj表示第j层的通道数，Hj表示第j层的长度，Wj表示第j层的宽度，φj(x)h，w，c表示VGG-19第j层的特征值，φj(x)h，w，c′表示φj(x)h，w，c的转置。
风格损失函数
Figure BDA0002298577660000087
根据上述特征感知矩阵计算如下：
Figure BDA0002298577660000088
其中，
Figure BDA0002298577660000089
表示训练迁移图像的特征感知矩阵，
Figure BDA00022985776600000810
表示风格图像的特征感知矩阵，F表示范数。
损失函数L(θ)的计算公式如下：
Figure BDA00022985776600000811
其中，α表示内容损失函数在损失函数中的权重，β表示风格损失函数在损失函数中的权重，
Figure BDA00022985776600000812
表示内容损失函数，
Figure BDA00022985776600000813
表示风格损失函数，当α越大时，训练迁移图像的内容特征越明显；当β越大时，训练迁移图像的风格特征越浓厚。
第四、根据损失函数的值对风格迁移模型进行训练，得到训练完成的风格迁移模型。
当损失函数的值小于预设阈值时，停止对风格迁移模型的训练，得到训练完成的风格迁移模型。当然，在其他可能的实现方式中，当训练次数达到预设次数时，停止对风格迁移模型的训练，得到训练完成的风格迁移模型。示例性地，计算机设备根据损失函数的值对风格迁移模型中包括的风格参数进行训练。
综上所述，本申请实施例提供的技术方案中，通过根据训练图像的内容特征、训练迁移图像的内容特征、训练迁移图像的风格特征和风格图像的风格特征，对风格迁移模型进行训练，使得最终训练得到的风格迁移模型的精度更高。
如图2所示，其示出了本申请一个实施例提供的风格迁移模型的架构示意图。训练图像会经过风格迁移模型中的第一卷积层21、第二卷积层22、第三卷积层23，然后经过第一残差层24、第二残差层25、第三残差层26，再然后经过第一上采样层27、第二上采样层28，最后经过输出层29。
示例性地，第一卷积层21、第二卷积层22、第三卷积层23的结构如图3所示，第一卷积层21、第二卷积层22和第三卷积层23包括镜像填充层31、深度卷积层32、逐点卷积层33、实例归一层34和非线性激活层35。
示例性地，第一卷积层21中的深度卷积的卷积核数量为32、卷积核大小为9x9、步长为1；第二卷积层22中的深度卷积的卷积核数量为64、卷积核大小为3x3、步长为2；第三卷积层23中的深度卷积的卷积核数量为128、卷积核大小为3x3、步长为2。
深度可分离卷积层，用于对训练图像进行深度卷积运算，得到第一输出特征；对第一输出特征进行逐点卷积运算，得到第二输出特征。可选地，深度可分离卷积层包括深度卷积层32和逐点卷积层33。深度可分离卷积是一种将标准卷积分解成深度卷积以及1个1x1的卷积即逐点卷积的运算方式，深度可分离卷积可以显著减少风格迁移模型的参数及运算量。上述对训练图像进行深度卷积运算，得到第一输出特征可以在深度卷积层32上运行，上述对第一输出特征进行逐点卷积运行，得到第二输出特征可以在逐点卷积层33上运行。在对训练图像进行深度卷积运算之前，可以先在镜像填充层31上对训练图像进行镜像填充(Reflect Padding)，填充为[[0,0]，[padding，padding]，[padding，padding]，[0,0]]，padding的大小为卷积核大小除以2取整，得到填充完毕的训练图像，然后再将上述填充完毕的训练图像输入深度卷积层32。
实例归一层34，用于根据迁移风格参数，对第二输出特征进行归一化，得到第三输出特征，迁移风格参数是指训练图像对应的迁移风格的参数。在实例归一层34上根据迁移风格参数，对第二输出特征进行归一化可以通过如下实例归一化(InstanceNormalization，IN)feature的公式实现：
Figure BDA0002298577660000101
其中，c表示训练图像卷积后得到的特征图，cmean表示c的均值，cstd表示c的标准差，vmean表示风格图像的特征图的均值，vstd表示风格图像的特征图的标准差。vmean、vstd、cmean、cstd的通道数一致，vmean初始化为全0向量，vstd初始化为全1向量。对风格迁移模型的训练即是对vmean和vstd的训练。
非线性激活层35，用于对第三输出特征进行非线性运算，得到第四输出特征。示例性地，可以通过非线性激活函数RELU进行非线性运算。
第一残差层24、第二残差层25和第三残差层26的结构示意图如图4所示，残差层包括两层卷积层41，输入经过两层卷积层41后的结果与输入相加，得到输出，该结构有利于风格迁移模型的稳定和收敛。第一残差层24、第二残差层25和第三残差层26包括的卷积层41中的深度卷积的卷积核数量均为128、卷积核大小均为3x3，、步长均为1。
第一上采样层27和第二上采样层28包括卷积层和最近邻上采样层。最近邻上采样层，用于对第四输出特征进行插值运算，得到分辨率大于第四输出特征的分辨率的第五输出特征。最近邻上采样层将第四输出特征的分辨率扩大2倍后，得到第五输出特征，相较于相关技术中的通过反卷积的方式进行上采样，本申请实施例通过最近邻上采样，可以有效避免棋盘格效应。第一上采样层27中的深度卷积的卷积核数量为64、卷积核大小为3x3、步长为2；第二上采样层28中的深度卷积的卷积核数量为32、卷积核大小为3x3、步长为2。
输出层29，用于对第五输出特征进行卷积运算后，输出训练迁移图像。输出层29包括的卷积层中的深度卷积的卷积核熟练为3、卷积核大小为9x9、步长为1、激活函数为tanh。
综上所述，本申请实施例提供的技术方案中，风格迁移模型采用深度可分离卷积，降低了风格迁移模型的运算时间；风格迁移模型采用最近邻上采样，有效避免了棋盘格效应。
可选地，待迁移图像包括前景图像和背景图像。此时，计算机设备可以将前景风格迁移图像和背景风格迁移图像在同一位置像素的像素值相加，生成输出图像。
在本申请实施例中，前景风格迁移图像是指对前景图像进行风格迁移处理后得到的图像，背景风格迁移图像是指对背景图像进行风格迁移处理后得到的图像。
示例性地，前景图像和背景图像可以通过如下方式获得：
通过图像分割模型对原始图像进行分割处理，得到前景灰度矩阵和背景灰度矩阵；将原始图像分别与前景灰度矩阵和背景灰度矩阵相乘，得到前景图像和背景图像。
可选地，计算机设备可以通过图像分割模型对原始图像进行分割处理，得到前景灰度矩阵，前景灰度矩阵里的元素1所在的区域表征前景图像；计算机设备将原始图像与前景灰度矩阵相乘，得到前景图像；然后计算机设备将前景灰度矩阵取反，得到背景灰度矩阵，背景灰度矩阵里的元素1所在的区域表征背景图像，计算机设备将原始图像与背景灰度矩阵相乘，得到背景图像。当然，在其他可能的实现方式中，计算机设备可以通过图像分割模型对原始图像进行分割处理，得到背景灰度矩阵，背景灰度矩阵里的元素1所在的区域表征背景图像，计算机设备将原始图像与背景灰度矩阵相乘，得到背景图像；然后计算机设备将背景灰度矩阵取反，得到前景灰度矩阵，前景灰度矩阵里的元素1所在的区域表征前景图像，计算机设备将原始图像与前景灰度矩阵相乘，得到前景图像。
示例性地，假设前景图像为人像，则如图5所示，计算机设备可以获取原始图像，以RGB的方式读入，得到图像矩阵Ih，w，c，h和w分别为原始图像的高度和宽度，c代表通道数，c为3，将原始图像表示为RGB三通道图像。将上述图像矩阵输入人像分割模型中，得到人像灰度矩阵Oh，w，h和w与上述原始图像的高度和宽度一致，Oh，w中的值包括0和1，1的位置为人像，人像Ph，w，c可以通过如下公式计算得到：
Figure BDA0002298577660000111
Figure BDA0002298577660000112
表示两个矩阵相对应的位置元素相乘。将人像灰度矩阵取反，即1的值变为0，0的值变为1，得到背景灰度矩阵O′h，w，背景图像Bh，w，c可以通过如下公式计算得到：
Figure BDA0002298577660000113
需要说明的是，本申请实施例仅以背景灰度矩阵或前景灰度矩阵中的元素1所在的区域表征背景图像或前景图像，在其他可能的实现方式中，可以以背景灰度矩阵或前景灰度矩阵中的元素0所在的区域表征背景图像或前景图像。本申请实施例对此不作限定。
示例性地，在根据风格选择信息对待迁移图像进行风格迁移处理，得到迁移图像之前，本申请实施例提供的图像处理方法还包括如下步骤：
获取图像确认指令；若图像确认指令指示待迁移图像包括前景图像，则获取第一风格选择信息；若图像确认指令指示待迁移图像包括背景图像，则获取第二风格选择信息；若图像确认指令指示待迁移图像包括前景图像和背景图像，则获取第一风格选择信息和第二风格选择信息；其中，第一风格选择信息用于对前景图像进行风格迁移处理，第二风格选择信息用于对背景图像进行风格迁移处理。
如图6所示，以前景图像为人像为例进行介绍说明本申请实施例提供的图像处理方法的实现流程。计算机设备获取原始图像；通过人像分割模型根据原始图像，得到人像和背景图像；判断人像是否进行风格迁移处理，若人像进行风格迁移处理，则获取第一风格选择信息，然后根据第一风格选择信息，得到人像风格迁移图像；若人像不进行风格迁移处理，则仍然是原人像；判断背景图像是否进行风格迁移处理，若背景图像进行风格迁移处理，则获取第二风格选择信息，然后根据第二风格选择信息，得到背景风格迁移图像；若背景图像不进行风格迁移处理，则仍然是原背景图像，最后基于上述人像风格迁移图像或原人像或背景风格迁移图像或原背景图像，得到输出图像。
在相关技术中，人像分割模型需要有较高的精度，分割的效果才会好，否则会造成人像边缘分割不清楚，本申请实施例提供的技术方案中，将人像分割与风格迁移结合，由于风格迁移具有强烈的风格特征，在一定程度上掩盖了人像轮廓边缘分割不清楚的问题，使得人像分割模型不需要很高的精度也可以正常使用，省去了人像分割模型的优化维护工作。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图7，其示出了本申请一个实施例提供的图像处理装置的框图，该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置700可以包括：图像分割模块710、图像处理模块720和图像生成模块730。
所述图像分割模块710，用于对原始图像进行分割处理，得到前景图像和背景图像；
所述图像处理模块720，用于根据风格选择信息对待迁移图像进行风格迁移处理，得到迁移图像；其中，所述待迁移图像包括所述前景图像和/或所述背景图像，所述风格选择信息包括n种迁移风格，所述n为正整数；
所述图像生成模块730，用于根据所述迁移图像，生成输出图像。
综上所述，本申请实施例提供的技术方案中，通过根据风格选择信息对前景图像和/或背景图像进行风格迁移处理，得到迁移图像，并根据该迁移图像生成输出图像，本申请实施例可以单独对前景图像或背景图像或前景图像和背景图像进行风格迁移处理，相较于相关技术中的在原始图像的上层叠加一层滤镜，提高了输出图像的效果多样性。
可选地，所述图像处理模块720，用于：
通过风格迁移模型根据所述风格选择信息对所述待迁移图像进行风格迁移处理，得到所述迁移图像。
可选地，如图8所示，所述图像处理模块720，包括：风格选择单元721和图像处理单元722。
风格选择单元721，用于从所述n种迁移风格中选取m种迁移风格，所述m为小于或等于所述n的正整数。
图像处理单元722，用于通过所述风格迁移模型根据所述m种迁移风格对所述待迁移图像进行风格迁移处理，得到所述迁移图像。
可选地，所述图像处理单元722，用于：
对于所述m种迁移风格中的第i种迁移风格，将所述第i种迁移风格的权重与所述第i种迁移风格的风格参数的乘积，确定为所述第i种迁移风格的目标风格参数，所述i为正整数；
将所述m种迁移风格中的各种迁移风格的目标风格参数之和，确定为所述待迁移图像对应的迁移风格参数；
通过所述风格迁移模型根据所述迁移风格参数对所述待迁移图像进行风格迁移处理，得到所述迁移图像。
可选地，所述待迁移图像包括所述前景图像和所述背景图像；
所述装置700，还包括：模型选择模块740。
所述模型选择模块740，用于从风格迁移模型集合中选取支持第一风格选择信息和第二风格选择信息进行风格迁移处理的模型作为所述风格迁移模型，所述风格迁移模型集合中包括至少一个模型，所述第一风格选择信息表征所述前景图像对应的迁移风格，所述第二风格选择信息表征所述背景图像对应的迁移风格。
所述模型选择模块740，还用于：
从风格迁移模型集合中选取支持采用第一风格选择信息进行风格迁移处理的模型作为第一风格迁移模型，所述风格迁移模型集合中包括至少一个模型，所述第一风格选择信息表征所述前景图像对应的迁移风格，所述第一风格迁移模型用于对所述前景图像进行风格迁移处理；
从所述风格迁移模型集合中选取支持采用第二风格选择信息进行风格迁移处理的模型作为第二风格迁移模型，所述第二风格选择信息表征所述背景图像对应的迁移风格，所述第二风格迁移模型用于对所述背景图像进行风格迁移处理。
所述装置700，还包括：数据获取模块750、函数确定模块760和模型训练模块770。
所述数据获取模块750，用于获取所述风格迁移模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括训练图像和风格图像，所述风格图像是指在进行风格迁移处理时作为参考风格的图像；
所述图像处理模块720，还用于通过所述风格迁移模型对所述训练图像进行风格迁移处理，得到训练迁移图像；
所述函数确定模块760，用于根据所述训练图像的内容特征、所述训练迁移图像的内容特征、所述训练迁移图像的风格特征、所述风格图像的风格特征，确定损失函数的值；
所述模型训练模块770，用于根据所述损失函数的值对所述风格迁移模型进行训练，得到训练完成的所述风格迁移模型。
可选地，所述函数确定模块760，用于：
根据所述训练图像的内容特征和所述训练迁移图像的内容特征，确定内容损失函数的值；
根据所述训练迁移图像的风格特征和所述风格图像的风格特征，确定风格损失函数的值；
根据所述内容损失函数的值和所述风格损失函数的值，确定所述损失函数的值。
可选地，所述风格迁移模型中包括深度可分离卷积层、实例归一层、非线性激活层、最近邻上采样层和输出层；
所述深度可分离卷积层，用于对所述训练图像进行深度卷积运算，得到第一输出特征；对所述第一输出特征进行逐点卷积运算，得到第二输出特征；
所述实例归一层，用于根据迁移风格参数，对所述第二输出特征进行归一化，得到第三输出特征，所述迁移风格参数是指所述训练图像对应的迁移风格的参数；
所述非线性激活层，用于对所述第三输出特征进行非线性运算，得到第四输出特征；
所述最近邻上采样层，用于对所述第四输出特征进行插值运算，得到分辨率大于所述第四输出特征的分辨率的第五输出特征；
所述输出层，用于对所述第五输出特征进行卷积运算后，输出所述训练迁移图像。
可选地，所述待迁移图像包括所述前景图像和所述背景图像；
所述图像生成模块730，用于：
将前景风格迁移图像和背景风格迁移图像在同一位置像素的像素值相加，生成所述输出图像；
其中，所述前景风格迁移图像是指对所述前景图像进行风格迁移处理后得到的图像，所述背景风格迁移图像是指对所述背景图像进行风格迁移处理后得到的图像。
可选地，所述图像分割模块710，用于：
通过图像分割模型对所述原始图像进行分割处理，得到前景灰度矩阵和背景灰度矩阵；
将所述原始图像分别与所述前景灰度矩阵和所述背景灰度矩阵相乘，得到所述前景图像和所述背景图像。
可选地，所述装置700，还包括：指令获取模块780和信息获取模块790。
所述指令获取模块780，用于获取图像确认指令；
所述信息获取模块790，用于若所述图像确认指令指示所述待迁移图像包括所述前景图像，则获取第一风格选择信息；
所述信息获取模块790，还用于若所述图像确认指令指示所述待迁移图像包括所述背景图像，则获取第二风格选择信息；
所述信息获取模块790，还用于若所述图像确认指令指示所述待迁移图像包括所述前景图像和所述背景图像，则获取第一风格选择信息和第二风格选择信息；
其中，所述第一风格选择信息用于对所述前景图像进行风格迁移处理，所述第二风格选择信息用于对所述背景图像进行风格迁移处理。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图9，其示出了本申请一个实施例提供的计算机设备的结构框图。
本申请实施例中的计算机设备可以包括一个或多个如下部件：处理器910和存储器920。
处理器910可以包括一个或者多个处理核心。处理器910利用各种接口和线路连接整个计算机设备内的各个部分，通过运行或执行存储在存储器920内的指令、程序、代码集或指令集，以及调用存储在存储器920内的数据，执行计算机设备的各种功能和处理数据。可选地，处理器910可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器910可集成中央处理器(CentralProcessing Unit，CPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统和应用程序等；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器910中，单独通过一块芯片进行实现。
可选地，处理器910执行存储器920中的程序指令时实现上述各个方法实施例提供的方法。
存储器920可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器920包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器920可用于存储指令、程序、代码、代码集或指令集。存储器920可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等；存储数据区可存储根据计算机设备的使用所创建的数据等。
上述计算机设备的结构仅是示意性的，在实际实现时，计算机设备可以包括更多或更少的组件，比如：显示屏等，本实施例对此不作限定。
本领域技术人员可以理解，图9中示出的结构并不构成对计算机设备900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由计算机设备的处理器加载并执行以实现上述方法实施例中的各个步骤。
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述方法。
应当理解的是，在本文中提及的“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：
对原始图像进行分割处理，得到前景图像和背景图像；
根据风格选择信息对待迁移图像进行风格迁移处理，得到迁移图像；其中，所述待迁移图像包括所述前景图像和/或所述背景图像，所述风格选择信息包括n种迁移风格，所述n为正整数；
根据所述迁移图像，生成输出图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述风格选择信息对待迁移图像进行风格迁移处理，得到迁移图像，包括：
通过风格迁移模型根据所述风格选择信息对所述待迁移图像进行风格迁移处理，得到所述迁移图像。
3.根据权利要求2所述的方法，其特征在于，所述通过风格迁移模型根据所述风格选择信息对所述待迁移图像进行风格迁移处理，得到所述迁移图像，包括：
从所述n种迁移风格中选取m种迁移风格，所述m为小于或等于所述n的正整数；
通过所述风格迁移模型根据所述m种迁移风格对所述待迁移图像进行风格迁移处理，得到所述迁移图像。
4.根据权利要求2所述的方法，其特征在于，所述通过所述风格迁移模型根据所述m种迁移风格对所述待迁移图像进行风格迁移处理，得到所述迁移图像，包括：
对于所述m种迁移风格中的第i种迁移风格，将所述第i种迁移风格的权重与所述第i种迁移风格的风格参数的乘积，确定为所述第i种迁移风格的目标风格参数，所述i为正整数；
将所述m种迁移风格中的各种迁移风格的目标风格参数之和，确定为所述待迁移图像对应的迁移风格参数；
通过所述风格迁移模型根据所述迁移风格参数对所述待迁移图像进行风格迁移处理，得到所述迁移图像。
5.根据权利要求2所述的方法，其特征在于，所述待迁移图像包括所述前景图像和所述背景图像；
所述通过风格迁移模型根据所述风格选择信息对所述待迁移图像进行风格迁移处理，得到所述迁移图像之前，还包括：
从风格迁移模型集合中选取支持第一风格选择信息和第二风格选择信息进行风格迁移处理的模型作为所述风格迁移模型，所述风格迁移模型集合中包括至少一个模型，所述第一风格选择信息表征所述前景图像对应的迁移风格，所述第二风格选择信息表征所述背景图像对应的迁移风格。
6.根据权利要求2所述的方法，其特征在于，所述通过风格迁移模型根据所述风格选择信息对所述待迁移图像进行风格迁移处理，得到所述迁移图像之前，还包括：
从风格迁移模型集合中选取支持采用第一风格选择信息进行风格迁移处理的模型作为第一风格迁移模型，所述风格迁移模型集合中包括至少一个模型，所述第一风格选择信息表征所述前景图像对应的迁移风格，所述第一风格迁移模型用于对所述前景图像进行风格迁移处理；
从所述风格迁移模型集合中选取支持采用第二风格选择信息进行风格迁移处理的模型作为第二风格迁移模型，所述第二风格选择信息表征所述背景图像对应的迁移风格，所述第二风格迁移模型用于对所述背景图像进行风格迁移处理。
7.根据权利要求2所述的方法，其特征在于，所述通过风格迁移模型根据所述风格选择信息对所述待迁移图像进行风格迁移处理，得到所述迁移图像之前，还包括：
获取所述风格迁移模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括训练图像和风格图像，所述风格图像是指在进行风格迁移处理时作为参考风格的图像；
通过所述风格迁移模型对所述训练图像进行风格迁移处理，得到训练迁移图像；
根据所述训练图像的内容特征、所述训练迁移图像的内容特征、所述训练迁移图像的风格特征、所述风格图像的风格特征，确定损失函数的值；
根据所述损失函数的值对所述风格迁移模型进行训练，得到训练完成的所述风格迁移模型。
8.根据权利要求7所述的方法，其特征在于，所述根据所述训练图像的内容特征、所述训练迁移图像的内容特征、所述训练迁移图像的风格特征、所述风格图像的风格特征，确定损失函数的值，包括：
根据所述训练图像的内容特征和所述训练迁移图像的内容特征，确定内容损失函数的值；
根据所述训练迁移图像的风格特征和所述风格图像的风格特征，确定风格损失函数的值；
根据所述内容损失函数的值和所述风格损失函数的值，确定所述损失函数的值。
9.根据权利要求2至8任一项所述的方法，其特征在于，所述风格迁移模型中包括深度可分离卷积层、实例归一层、非线性激活层、最近邻上采样层和输出层；
所述深度可分离卷积层，用于对所述训练图像进行深度卷积运算，得到第一输出特征；对所述第一输出特征进行逐点卷积运算，得到第二输出特征；
所述实例归一层，用于根据迁移风格参数，对所述第二输出特征进行归一化，得到第三输出特征，所述迁移风格参数是指所述训练图像对应的迁移风格的参数；
所述非线性激活层，用于对所述第三输出特征进行非线性运算，得到第四输出特征；
所述最近邻上采样层，用于对所述第四输出特征进行插值运算，得到分辨率大于所述第四输出特征的分辨率的第五输出特征；
所述输出层，用于对所述第五输出特征进行卷积运算后，输出所述训练迁移图像。
10.根据权利要求1所述的方法，其特征在于，所述待迁移图像包括所述前景图像和所述背景图像；
所述根据所述迁移图像，生成输出图像，包括：
将前景风格迁移图像和背景风格迁移图像在同一位置像素的像素值相加，生成所述输出图像；
其中，所述前景风格迁移图像是指对所述前景图像进行风格迁移处理后得到的图像，所述背景风格迁移图像是指对所述背景图像进行风格迁移处理后得到的图像。
11.根据权利要求1所述的方法，其特征在于，所述对原始图像进行分割处理，得到前景图像和背景图像，包括：
通过图像分割模型对所述原始图像进行分割处理，得到前景灰度矩阵和背景灰度矩阵；
将所述原始图像分别与所述前景灰度矩阵和所述背景灰度矩阵相乘，得到所述前景图像和所述背景图像。
12.根据权利要求1所述的方法，其特征在于，所述根据风格选择信息对待迁移图像进行风格迁移处理，得到迁移图像之前，还包括：
获取图像确认指令；
若所述图像确认指令指示所述待迁移图像包括所述前景图像，则获取第一风格选择信息；
若所述图像确认指令指示所述待迁移图像包括所述背景图像，则获取第二风格选择信息；
若所述图像确认指令指示所述待迁移图像包括所述前景图像和所述背景图像，则获取第一风格选择信息和第二风格选择信息；
其中，所述第一风格选择信息用于对所述前景图像进行风格迁移处理，所述第二风格选择信息用于对所述背景图像进行风格迁移处理。
13.一种图像处理装置，其特征在于，所述装置包括：
图像分割模块，用于对原始图像进行分割处理，得到前景图像和背景图像；
图像处理模块，用于根据风格选择信息对待迁移图像进行风格迁移处理，得到迁移图像；其中，所述待迁移图像包括所述前景图像和/或所述背景图像，所述风格选择信息包括n种迁移风格，所述n为正整数；
图像生成模块，用于根据所述迁移图像，生成输出图像。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至12任一项所述的图像处理方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至12任一项所述的图像处理方法。
CN201911212737.9A 2019-12-02 2019-12-02 图像处理方法、装置、设备及存储介质 Active CN110956654B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911212737.9A CN110956654B (zh) 2019-12-02 2019-12-02 图像处理方法、装置、设备及存储介质
EP20896430.4A EP4064189A1 (en) 2019-12-02 2020-11-19 Image processing method, apparatus and device, and storage medium
PCT/CN2020/130090 WO2021109876A1 (zh) 2019-12-02 2020-11-19 图像处理方法、装置、设备及存储介质
US17/824,043 US20220284638A1 (en) 2019-12-02 2022-05-25 Method for image processing, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911212737.9A CN110956654B (zh) 2019-12-02 2019-12-02 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110956654A true CN110956654A (zh) 2020-04-03
CN110956654B CN110956654B (zh) 2023-09-19

Family

ID=69979258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911212737.9A Active CN110956654B (zh) 2019-12-02 2019-12-02 图像处理方法、装置、设备及存储介质

Country Status (4)

Country Link
US (1) US20220284638A1 (zh)
EP (1) EP4064189A1 (zh)
CN (1) CN110956654B (zh)
WO (1) WO2021109876A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111494946A (zh) * 2020-04-23 2020-08-07 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111583168A (zh) * 2020-06-18 2020-08-25 上海眼控科技股份有限公司 图像合成方法、装置、计算机设备和存储介质
CN111652830A (zh) * 2020-06-28 2020-09-11 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质及终端设备
CN111951157A (zh) * 2020-09-02 2020-11-17 深圳传音控股股份有限公司 图像处理方法、设备及存储介质
CN112101546A (zh) * 2020-09-01 2020-12-18 浙江大学 生成多样化结果的风格迁移方法、装置、计算机设备和存储介质
WO2021109876A1 (zh) * 2019-12-02 2021-06-10 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN113052757A (zh) * 2021-03-08 2021-06-29 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
CN113160033A (zh) * 2020-12-28 2021-07-23 武汉纺织大学 服装风格迁移系统与方法
WO2022017163A1 (zh) * 2020-07-23 2022-01-27 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
WO2022095757A1 (zh) * 2020-11-09 2022-05-12 华为技术有限公司 图像渲染方法和装置
WO2022171024A1 (zh) * 2021-02-09 2022-08-18 北京字跳网络技术有限公司 图像显示方法、装置、设备及介质
WO2024066549A1 (zh) * 2022-09-29 2024-04-04 华为技术有限公司 一种数据处理方法及相关设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3702958B1 (en) * 2019-02-26 2023-04-05 Identy Inc. Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image
CN114842342B (zh) * 2022-05-16 2023-01-24 网思科技集团有限公司 一种基于人工智能的杂乱场景检测方法、装置及相关设备
CN116452414B (zh) * 2023-06-14 2023-09-08 齐鲁工业大学(山东省科学院) 一种基于背景风格迁移的图像和谐化方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537776A (zh) * 2018-03-12 2018-09-14 维沃移动通信有限公司 一种图像风格迁移模型生成方法及移动终端
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法
CN109863537A (zh) * 2016-10-21 2019-06-07 谷歌有限责任公司 风格化输入图像
CN110210347A (zh) * 2019-05-21 2019-09-06 赵森 一种基于深度学习的彩色套层剪纸智能设计方法
US20190279075A1 (en) * 2018-03-09 2019-09-12 Nvidia Corporation Multi-modal image translation using neural networks

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205813B (zh) * 2016-12-16 2022-06-03 微软技术许可有限责任公司 基于学习网络的图像风格化
US10699453B2 (en) * 2017-08-17 2020-06-30 Adobe Inc. Digital media environment for style-aware patching in a digital image
CN107613360A (zh) * 2017-09-20 2018-01-19 北京奇虎科技有限公司 视频数据实时处理方法及装置、计算设备
EP3827412A4 (en) * 2018-08-01 2021-08-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING DEVICE AND METHOD
CN110830706A (zh) * 2018-08-08 2020-02-21 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN109636712B (zh) * 2018-12-07 2022-03-01 北京达佳互联信息技术有限公司 图像风格迁移及数据存储方法、装置和电子设备
CN110222722A (zh) * 2019-05-14 2019-09-10 华南理工大学 交互式图像风格化处理方法、系统、计算设备及存储介质
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN110956654B (zh) * 2019-12-02 2023-09-19 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109863537A (zh) * 2016-10-21 2019-06-07 谷歌有限责任公司 风格化输入图像
US20190279075A1 (en) * 2018-03-09 2019-09-12 Nvidia Corporation Multi-modal image translation using neural networks
CN108537776A (zh) * 2018-03-12 2018-09-14 维沃移动通信有限公司 一种图像风格迁移模型生成方法及移动终端
CN108596830A (zh) * 2018-04-28 2018-09-28 国信优易数据有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法
CN110210347A (zh) * 2019-05-21 2019-09-06 赵森 一种基于深度学习的彩色套层剪纸智能设计方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109876A1 (zh) * 2019-12-02 2021-06-10 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN111494946B (zh) * 2020-04-23 2021-05-18 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111494946A (zh) * 2020-04-23 2020-08-07 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111583168A (zh) * 2020-06-18 2020-08-25 上海眼控科技股份有限公司 图像合成方法、装置、计算机设备和存储介质
CN111652830A (zh) * 2020-06-28 2020-09-11 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质及终端设备
WO2022017163A1 (zh) * 2020-07-23 2022-01-27 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112101546A (zh) * 2020-09-01 2020-12-18 浙江大学 生成多样化结果的风格迁移方法、装置、计算机设备和存储介质
CN112101546B (zh) * 2020-09-01 2024-01-05 浙江大学 生成多样化结果的风格迁移方法、装置、计算机设备和存储介质
CN111951157A (zh) * 2020-09-02 2020-11-17 深圳传音控股股份有限公司 图像处理方法、设备及存储介质
WO2022095757A1 (zh) * 2020-11-09 2022-05-12 华为技术有限公司 图像渲染方法和装置
CN113160033A (zh) * 2020-12-28 2021-07-23 武汉纺织大学 服装风格迁移系统与方法
WO2022171024A1 (zh) * 2021-02-09 2022-08-18 北京字跳网络技术有限公司 图像显示方法、装置、设备及介质
CN113052757A (zh) * 2021-03-08 2021-06-29 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
WO2024066549A1 (zh) * 2022-09-29 2024-04-04 华为技术有限公司 一种数据处理方法及相关设备

Also Published As

Publication number Publication date
WO2021109876A1 (zh) 2021-06-10
CN110956654B (zh) 2023-09-19
EP4064189A1 (en) 2022-09-28
US20220284638A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
CN110956654A (zh) 图像处理方法、装置、设备及存储介质
US11200638B2 (en) Image style transform methods and apparatuses, devices and storage media
US20210150678A1 (en) Very high-resolution image in-painting with neural networks
CN110909790A (zh) 图像的风格迁移方法、装置、终端及存储介质
KR100924689B1 (ko) 모바일 기기의 이미지 변환 장치 및 방법
CN110533594B (zh) 模型训练方法、图像重建方法、存储介质及相关设备
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
US11367163B2 (en) Enhanced image processing techniques for deep neural networks
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN109447897B (zh) 一种真实场景图像合成方法及系统
US20230153965A1 (en) Image processing method and related device
CN111127309A (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
US20240020810A1 (en) UNIVERSAL STYLE TRANSFER USING MULTl-SCALE FEATURE TRANSFORM AND USER CONTROLS
WO2020190624A1 (en) High resolution real-time artistic style transfer pipeline
CN114387289B (zh) 输配电架空线路三维点云语义分割方法和装置
Roy et al. Image inpainting using frequency-domain priors
CN110009644B (zh) 一种特征图行像素分段的方法和装置
CN111967478B (zh) 一种基于权重翻转的特征图重构方法、系统、存储介质及终端
US11461874B2 (en) Graphics processing using matrices of transformations
CN115713585B (zh) 纹理图像重建方法、装置、计算机设备和存储介质
Bricman et al. CocoNet: A deep neural network for mapping pixel coordinates to color values
CN113327226A (zh) 目标检测方法、装置、电子设备及存储介质
CN114004751A (zh) 一种图像处理方法及其相关设备
CN115526775B (zh) 图像数据处理方法及装置
US20240161355A1 (en) Generation of stylized drawing of three-dimensional shapes using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant