CN115700725A - 一种图像处理方法、装置、设备及存储介质 - Google Patents
一种图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115700725A CN115700725A CN202110831509.0A CN202110831509A CN115700725A CN 115700725 A CN115700725 A CN 115700725A CN 202110831509 A CN202110831509 A CN 202110831509A CN 115700725 A CN115700725 A CN 115700725A
- Authority
- CN
- China
- Prior art keywords
- region
- image
- area
- style
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法，所述方法包括：将内容图像划分为至少一个第一区域；根据至少一个第一区域，在风格图像上确定至少一个第二区域，其中，所述至少一个第二区域中每一所述第二区域存在对应的第一区域，所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件；确定所述至少一个第二区域中每一所述第二区域的图像内容的风格参数；对于每一所述第二区域，基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理。本申请还提供一种图像处理装置、设备及存储介质。本申请提供的图像处理方法，能够提高进行风格迁移后的图像的迁移效果。
Description
技术领域
本申请涉及图像处理领域，涉及但不限于一种图像处理方法、装置、设备及存储介质。
背景技术
相关技术中，在将图像A的风格迁移到图像B时，将图像A整体的风格迁移到图像B的整个图像上，存在图像B的空间结构发生巨大形变的问题。
发明内容
本申请实施例为解决相关技术中存在的至少一个问题而提供一种图像处理方法、装置、设备及存储介质，能够保证风格迁移后的图像的空间结构不受风格图像的空间结构的影响，提高进行风格迁移后的图像的迁移效果。
本申请的技术方案是这样实现的：
第一方面，本申请实施例提供一种图像处理方法，所述方法包括：
将内容图像划分为至少一个第一区域；
根据所述至少一个第一区域，在风格图像上确定至少一个第二区域，其中，所述至少一个第二区域中每一所述第二区域存在对应的第一区域，所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件；
确定所述至少一个第二区域中每一所述第二区域的图像内容的风格参数；
对于每一所述第二区域，基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理。
第二方面，本申请实施例提供一种图像处理装置，所述装置包括：
划分单元，用于将内容图像划分为至少一个第一区域；
第一确定单元，用于根据所述至少一个第一区域，在风格图像上确定至少一个第二区域，其中，所述至少一个第二区域中每一所述第二区域存在对应的第一区域，所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件；
第二确定单元，用于确定所述至少一个第二区域中每一所述第二区域的图像内容的风格参数；
处理单元，用于对于每一所述第二区域，基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理。
第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一项所述的图像处理方法。
第四方面，本申请实施例提供一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的图像处理方法。
本申请实施例提供了一种图像处理方法、装置、设备及存储介质，将内容图像划分为至少一个第一区域；根据所述至少一个第一区域，在风格图像上确定至少一个第二区域，其中，所述至少一个第二区域中每一所述第二区域存在对应的第一区域，所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件；确定所述至少一个第二区域中每一所述第二区域的图像内容的风格参数；对于每一所述第二区域，基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理。这样，在风格图像上确定至少一个第二区域的过程中，对于所述至少一个第二区域中每一所述第二区域而言，由于是基于所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件所确定的，因此，确定的第二区域的空间结构与第一区域的空间结构是相似的，并且由于第二区域的空间结构与第一区域的空间结构是相似的，因此，在基于第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理后，能够保证风格迁移后的图像的空间结构不受风格图像的空间结构的影响，可以提高迁移效果。
附图说明
图1为本申请实施例提供的一种图像处理系统的结构示意图；
图2为本申请实施例提供的一种图像处理方法的可选的流程示意图；
图3本申请实施例提供的一种图像处理方法的可选的流程示意图；
图4A为本申请实施例提供的一种对第二特征图进行卷积处理的可选的示意图；
图4B为本申请实施例提供的一种对第二特征图进行卷积处理的可选的示意图；
图5为本申请实施例提供的一种根据目标像素点确定第二区域的可选的示意图；
图6为本申请实施例提供的一种图像处理方法的可选的流程示意图；
图7为本申请实施例提供的一种图像处理装置的可选的结构示意图；
图8为本申请实施例提供的一种电子设备的可选的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请实施例，但不用来限制本申请实施例的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本文中在本申请实施例的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请实施例。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本申请实施例提供的图像处理方法可应用于图1所示的图像处理系统100，如图1所示，该图像处理系统100包括：服务器10和客户端20。其中，服务器10和客户端20之间通过网络30进行通信。
本申请实施例提供的图像处理方法应用于图像处理设备，该图像处理设备可以为服务器10，也可以为客户端20。
所述图像处理设备将内容图像划分为至少一个第一区域；根据所述至少一个第一区域，在风格图像上确定至少一个第二区域，其中，所述至少一个第二区域中每一所述第二区域存在对应的第一区域，所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件；确定所述至少一个第二区域中每一所述第二区域的图像内容的风格参数；对于每一所述第二区域，基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理。
在图像处理设备为服务器10的情况下，通过客户端20采集内容图像和风格图像，并将采集的内容图像和风格图像通过网络30发送至服务器10，服务器10基于风格图像的图像内容的风格参数，对所述内容图像进行处理，并将处理后的内容图像发送至客户端20，由客户端20向用户展示处理后的内容图像。
在图像处理设备为客户端20的情况下，通过客户端20采集内容图像和风格图像，在采集完成后，客户端20将直接基于风格图像的图像内容的风格参数，对内容图像进行处理，并在处理完成后直接向用户展示处理后的内容图像。
下面通过附图及具体实施例对本申请做进一步的详细说明。
图2为本申请实施例提供的一种图像处理方法的实现流程示意图，该方法应用与图像处理设备，如图2所示，该方法可以包括如下步骤：
S201、图像处理设备将内容图像划分为至少一个第一区域。
这里，内容图像为待进行风格迁移的图像，其中，内容图像中的内容可以包括：人物、自然景观和人文景观的内容，也可包括多种类型的内容。本申请实施例对内容图像的内容类型不进行任何限定。
本申请实施例中，可将内容图像根据图像内容、尺寸等作为划分依据进行划分。其中，划分的每一个区域成为第一区域。当基于尺寸进行划分时，可进行等比例划分，使得每个第一区域的大小相同，也可进行非等比例划分，使得划分的第一区域中存在大小不同的第一区域。
在一示例中，在对长为H，宽为W的内容图像进行划分后，得到的至少一个第一区域中，第i个第一区域的长为Hi，宽为Wi。
本申请实施例中，上述S201可包括：对内容图像进行特征提取，得到内容图像的特征图，并对特征图进行划分，得到至少一个第一区域。
这里，可将内容图像输入编码器，以通过编码器对内容图像进行特征提取，得到内容图像的特征图。
在一示例中，编码器可采用深度卷积神经网络。深度卷积神经网络可为预训练的视觉几何组(Visual Geometry Group，VGG)网络。其中，VGG网络可以包括：卷积(Conv)层、池化层和激活(ReLU)层。
在一示例中，编码器包括：13个卷积层、5个池化层和激活层。本申请实施例中，对编码器所包括的卷积层、池化层和激活层的数量和连接结构不进行任何限定。
本申请实施例中，编码器中可包括全连接层(Fully-Connected Layer，FC)，也可不包括全连接层。在编码器不包括全连接层的情况下，对输入至编码器的内容图像的尺寸不进行任何限定，内容图像可以是任意大小。
S202、图像处理设备根据所述至少一个第一区域，在风格图像上确定至少一个第二区域。
这里，所述至少一个第二区域中每一所述第二区域存在对应的第一区域，所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件。
图像处理设备对于每一个第一区域，在风格图像上确定空间结构与第一区域满足空间结构相似条件的第二区域。
在一示例中，内容图像划分为以下第一区域：第一区域A、第一区域B、第一区域C，则在风格图像中分别确定以下第二区域：第二区域A、第二区域B、第二区域C，其中，第一区域A与第二区域A的空间结构满足空间结构相似条件，第一区域B与第二区域B的空间结构满足空间结构相似条件，第一区域C与第二区域C的空间结构满足空间结构相似条件。
本申请实施例中，不同第一区域对应的第二区域可相同，也可不同。
空间结构相似条件可包括：第一区域与第二区域的空间结构相似度大于相似度阈值、第一区域与第二区域的空间结构相似度大于第一区域与风格图像中第二区域以外的其他区域的空间结构相似度。
在一示例中，以第一区域与第二区域的空间结构相似度大于第一区域与风格图像中第二区域以外的其他区域的空间结构相似度为例，第一区域包括：第一区域D，第一区域E和第一区域F，至少一个第二区域包括：第二区域D、第二区域E和第二区域F，其中，第一区域D与第二区域D的空间结构相似度大于第一区域D与第二区域E的空间结构相似度，并且大于第一区域D和第二区域F的空间结构相似度，第一区域E与第二区域E的空间结构相似度大于第一区域E与第二区域D的空间结构相似度，并且大于第一区域E和第二区域F的空间结构相似度，第一区域F与第二区域F的空间结构相似度大于第一区域F与第二区域D，并且大于第一区域F和第二区域E的空间结构相似度，则确定第二区域D与第一区域D满足空间结构相似条件，第二区域E与第一区域E满足空间结构相似条件，第二区域F与第一区域F满足空间结构相似条件。
S203、图像处理设备确定所述至少一个第二区域中每一所述第二区域的图像内容的风格参数。
这里，风格参数为体现图像内容风格的参数，其中，风格参数可以包括：第一均值和第一方差，可以根据不同的第一均值和不同的第一方差，体现图像内容的不同风格，本申请实施例对图像内容的风格不进行任何限定。
对于每一第二区域而言，图像处理设备确定第二区域的图像内容的第一均值可以包括：图像处理设备对第二区域的图像内容进行特征提取，得到第二区域的图像内容的特征图；所述第二区域的图像内容的特征图中包括至少一个参数；根据所述至少一个参数中每一所述参数，确定所述第二区域的图像内容的特征图的第一均值。
对于每一第二区域而言，图像处理设备确定第二区域的图像内容的第一方差可以包括：图像处理设备对第二区域的图像内容进行特征提取，得到第二区域的图像内容的特征图；所述第二区域的图像内容的特征图中包括至少一个参数；根据所述至少一个参数中每一所述参数和所述第一均值，确定所述第二区域的图像内容的特征图的第一方差。
这里，根据所述至少一个参数中每一所述参数和所述第一均值，确定所述第二区域的图像内容的特征图的第一方差，包括：确定所述至少一个参数中每一所述参数与所述第一均值的差，并计算每一所述参数与所述第一均值之差的平方的平均值。
对于至少一个第二区域中每一所述第二区域，每个第二区域与其他第二区域的风格可以相同，也可以不同，本申请实施例对此不进行任何限定。
S204、对于每一所述第二区域，图像处理设备基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理。
这里，对于至少一个第二区域而言，图像处理设备在确定与所述至少一个第二区域中每一第二区域对应的第一区域后，可以基于所述至少一个第二区域中每一第二区域的图像内容的风格参数，对与所述第二区域对应的第一区域进行处理，其中，在进行处理的过程中，图像处理设备可以将所述至少一个第二区域中每一第二区域的图像内容的风格，迁移到与所述第二区域对应的第一区域中。
对于一个第二区域而言，图像处理设备可以基于第二区域的图像内容的风格参数，对与所述第二区域对应的第一区域进行处理，其中，在进行处理的过程中，图像处理设备可以将所述第二区域的图像内容的风格，迁移到与所述第二区域对应的第一区域中。
本申请实施例提供一种图像处理方法，将内容图像划分为至少一个第一区域；根据所述至少一个第一区域，在风格图像上确定至少一个第二区域，其中，所述至少一个第二区域中每一所述第二区域存在对应的第一区域，所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件；确定所述至少一个第二区域中每一所述第二区域的图像内容的风格参数；对于每一所述第二区域，基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理。这样，在风格图像上确定至少一个第二区域的过程中，对于所述至少一个第二区域中每一所述第二区域而言，由于是基于所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件所确定的，因此，确定的第二区域的空间结构与第一区域的空间结构是相似的，并且由于第二区域的空间结构与第一区域的空间结构是相似的，因此，在基于第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理后，能够保证风格迁移后的图像的空间结构不受风格图像的空间结构的影响，可以提高迁移效果。
在一些实施例中，上述S202包括：图像处理设备针对所述至少一个第一区域中每一所述第一区域，将风格图像中至少一个参考区域中，确定空间结构相似度最大的参考区域为所述第二区域，所述空间结构相似度为所述第一区域与所述至少一个参考区域中各参考区域之间的。
这里，风格图像包括至少一个参考区域，其中，不同的参考区域之间可重叠，也可不重叠。
本申请实施例中，可基于尺寸、图像内容或滑窗的方式来确定风格图像中的参考区域。
图像处理设备分别确定至少一个参考区域中每一参考区域与第一区域之间的空间结构相似度，并将与第一区域的空间结构相似度最大的参考区域确定为第二区域。
这里，参考区域的大小可与第一区域的大小相同，也可不相同。
本申请实施例中，对于一第一区域，可将风格图像划分为多个参考区域，并计算第一区域与每一参考区域的内容的空间结构相似度，也可以第一区域为卷积核，对风格图像进行卷积，此时，卷积核所卷积过程中，每一次所相乘的区域为参考区域。
在一些实施例中，如图3所示，所述确定空间结构相似度最大的参考区域为所述第二区域，包括：
S301、图像处理设备根据所述第一区域，确定第一特征图。
本申请实施例中，将内容图像划分为至少一个第一区域后，根据所述至少一个第一区域中每一所述第一区域，确定第一特征图的方式，与将内容图像的特征图划分为至少一个第一区域后，根据所述至少一个第一区域中每一所述第一区域，确定第一特征图的方式不同。
在一示例中，在将内容图像划分为至少一个第一区域后，对于至少一个第一区域中每一第一区域而言，可以将所述第一区域输入至编码器，从而得到第一特征图。
在另一示例中，在将内容图像的特征图划分为至少一个第一区域后，对于至少一个第一区域中每一第一区域而言，由于是直接对内容图像的特征图进行划分，因此，可以直接根据划分后的第一区域，确定第一特征图。
S302、图像处理设备以所述第一特征图为卷积核，对所述风格图像的第二特征图进行卷积处理，得到第三特征图。
这里，所述参考区域为卷积过程中卷积核从所述第二特征图中所提取的滑窗区域，例如，图4A中的区域404为从第二特征图401中提取的一个滑窗区域。
确定风格图像的第二特征图可以包括：将风格图像输入至编码器，得到编码器输出的风格图像的特征图，即第二特征图。
本申请实施例中，在确定了风格图像的第二特征图后，可以以第一特征图或内容图像中第一区域的图像内容为卷积核，对所述风格图像的第二特征图进行卷积处理，得到第三特征图。
在一示例中，如图4A所示，风格图像的第二特征图401为f(y)，第i个第一特征图402为卷积核，以第一特征图402为卷积核，对风格图像的第二特征图401进行卷积处理，得到第三特征图403为g(f(xi)，f(y))。
S303、图像处理设备从所述第三特征图中的像素点中确定目标像素点。
这里，第三特征图中包括至少一个像素点，所述至少一个像素点中每一所述像素点对应一像素值。
在一示例中，如图4B所示，图像处理设备以第i个第一特征图402为卷积核，对风格图像的第二特征图401的参考区域401a进行卷积处理，确定的第三特征图403中的像素点为403b，对风格图像的第二特征图401的参考区域401c进行卷积处理，确定的第三特征图403中的像素点为403d，以此类推，以第一特征图402为卷积核，分别对第二特征图401的各参考区域进行卷积处理，在第三特征图403中确定与各参考区域所对应的像素点。
S304、图像处理设备根据所述目标像素点，在所述风格图像上确定所述第二区域。
这里，可以将得到的所述目标像素点的参考区域，确定为第二区域。
如图5所示，第三特征图403为g(f(xi)，f(y))，在第三特征图g(f(xi)，f(y))上的目标像素点为501，图像处理设备可以将该目标像素点501对应的风格图像503上的参考区域502，确定为第二区域。
在一些实施例中，上述S303包括：确定所述第三特征图中的至少一个像素点的像素值；从所述至少一个像素点的像素值中，将最大的像素值所对应的像素点确定为所述目标像素点。
这里，目标像素点为至少一个像素值中最大的像素值所对应的像素点。
在一些实施例中，所述基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理之前，所述方法还包括：确定所述第二区域对应的第一区域的第二均值和第二方差。
这里，可以通过适应局部标准化(Adaptive Local Normalization，ALN)层，按通道计算第一区域的第二均值μ(f(xi))和第二方差σ(f(xi))，其中，计算第二均值可以通过公式(1)计算，计算第二方差可以通过公式(2)计算：
其中，H为内容图像的长，W为内容图像的宽，c为通道数，h为第一区域的长，w为第一区域的宽。
所述基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理，包括：基于所述第一均值、所述第一方差、所述第二均值和所述第二方差，对所述第二区域对应的第一区域进行处理。
这里，基于所述第一均值、所述第一方差、所述第二均值和所述第二方差，对所述第二区域对应的第一区域进行处理，可以通过公式(3)实现：
其中，f(yi)为第i个第二区域的特征图，μ(f(yi))为f(yi)的第一均值，σ(f(yi))为f(yi)的第一方差，f(xi)为第i个第一区域的特征图，μ(f(xi))为f(xi)的第二均值，σ(f(xi))为f(xi)的第二方差。
在一些实施例中，在上述S204之后，所述方法还包括：对所述至少一个第一区域进行按位拼接，得到目标图像。
这里，可以根据至少一个第一区域在内容图像中的位置，对至少一个第一区域进行按位拼接，从而得到目标图像，即内容图像进行风格迁移后得到的图像。
在一示例中，将内容图像划分为4个第一区域，这4个第一区域包括：区域A、区域B、区域C和区域D，其中，每个第一区域对应一位置标识，标识1对应左上方的位置，标识2对应右上方的位置，标识3对应左下方的位置，标识4对应右下方的位置。这样，可以通过每个第一区域所对应的位置标识，对至少一个第一区域进行按位拼接，从而得到目标图像。
本申请实施例中，对所述第二区域对应的第一区域进行处理包括：对所述第二区域对应的第一区域的第一特征图进行处理。
对应的，对所述至少一个第一区域进行按位拼接，得到目标图像包括：对所述至少一个第一区域的第一特征图进行按位拼接，得到拼接后的特征图t，并将所述拼接后的特征图t进行处理，得到目标图像。
这里，可将拼接后的特征图t输入至解码器，以通过解码器对特征图t进行解码，得到目标图像。
在一示例中，解码器可以采用与编码器镜像的结构。例如，在编码器为VGG网络的情况下，解码器可以为将VGG网络中的卷积层替换成反卷积层，将VGG网络中的池化层替换成上采样层的网络结构。其中，解码器的网络结构中的参数可以通过随即初始化得到。
本申请实施例中，可以通过ALN层对所述至少一个第一区域的第一特征图进行按位拼接，得到拼接后的特征图t，并将所述拼接后的特征图t输入至解码器，得到目标图像z。
在一些实施例中，可以通过损失函数，对解码器的网络结构进行优化。其中，损失函数L包括内容损失LC和风格损失LS，λ为平衡内容损失和风格损失的超参数。损失函数可以通过公式(4)计算：
L＝Lc+λLs 公式(4)；
其中，内容损失LC为目标图像经过编码器所提取的特征f(z)与ALN层的输出的特征图t之间的欧氏距离损失，内容损失LC可以通过公式(5)计算：
Lc＝||f(z)-t|| 公式(5)；
风格损失LS可以通过公式(6)计算：
其中，f(zi)为f(z)上的第i个网格特征，μ(f(zi))为f(zi)的均值，σ(f(zi))为f(zi)的方差，f(yi)为第i个第二区域，μ(f(yi))为f(yi)的均值。
图像风格迁移是一种将图像转变成不同风格的图像处理方法，即根据给定的一张或多张风格图像，对内容图像进行风格转换生成迁移图像，迁移图像具有风格图像的风格，同时保留了内容图像的内容。
传统的图像风格迁移方法主要基于物理模型的绘制和纹理的合成。在处理颜色和纹理较复杂的图像时，合成图像的效果较为粗糙。深度卷积神经网络由于可以将图像的内容特征和风格特征分离，而被广泛应用于风格迁移领域。深度学习方法主要分为两种：第一种基于图像迭代的方法以随机噪声作为输入图像，通过最小化内容损失和风格损失函数对输入图像进行迭代优化，每一次风格转换都需要重新迭代，计算时间较长。另一种基于模型迭代的方法首先在针对特定风格的大型数据集上预训练一个生成网络模型，通过预训练的生成网络模型直接将内容图像转换成风格化图像，实现了快速风格迁移。
虽然随着深度学习的兴起，风格迁移生成图像的质量得到了提升，但基于图像迭代的方法对每一次风格转换都需要重新迭代，耗时较长。而基于模型优化的方法通过预训练生成网络模型，实现了针对特定风格的快速图像风格转换，缺点是生成网络模型训练需要准备大量数据集，而且对于新的风格需要花费大量时间重新训练生成网络模型。
针对传统的图像风格迁移方法所带来的问题，本申请提出了一种图像处理方法，能够解决生成的风格化图像空间结构容易发生巨大形变的问题，以及由内容图像和风格图像空间结构差异造成的网络难以收敛问题。
本申请提出了基于空间注意力机制的一系列风格迁移流程，基本框架采用解码器-编码器(Encoder-Decoder)结构，通过引入空间注意力机制对内容图像与风格图像进行网格化空间相似性匹配，减少内容图像与风格图像的空间特征差异，解决迁移图像容易发生空间形变以及网络难以收敛问题，同时通过自适应局部空间标准化层自适应的学习风格参数，实现任意风格快速迁移。
本申请实施例提供的图像处理方法包括如下步骤：
S601、图像处理设备通过编码器提取图像特征。
将任意内容图像x和风格图像y输入编码器网络提取特征，这里采用预训练的卷积神经网络VGG作为编码器。将VGG网络ReLU4_1层的输出特征图作为图像特征，内容图像和风格图像的特征分别设为f(x)和f(y)。因为特征提取网络没有使用全连接层，所以输入图像的尺寸可以是任意大小，设内容图像特征图的尺寸为H1*W1，风格图像特征图的尺寸为H2*W2。
S602、图像处理设备对内容图像的特征图f(x)进行网格化处理。
将内容图像的特征图划分成k个H*W的第一特征图，其中k＝(H1/H)*(W1/W)，第i个第一特征图记为f(xi)∈RC*H*W。C为特征图的通道数，特征图上的每一个网格都对应内容图像中的一块区域。
S603、图像处理设备在风格图像特征图上滑窗。
将内容图像特征图的每一个网格分别作为核函数，在风格图像特征图上进行滑窗卷积运算，可以理解为将风格图像特征图经过一个卷积层处理，卷积核即为内容图像特征图的网格。
通过在风格图像特征图上滑窗，可以得到第三特征图g(f(xi)，f(y))∈RH2*W2，其中i＝1，2，……，k。
S604、图像处理设备定位目标风格区域。
如图5所示，取g(f(xi)，f(y))上最大像素点对应的风格图像特征图上的区域作为目标风格区域，记为f(yi)，其中，目标风格区域即为上述实施例中所述的第二区域。研究表明，图像中某个区域通过卷积核的响应值越大，说明图像在这个区域的纹理，例如，空间结构，和卷积核所参数化的纹理，例如，空间结构，越相似。这一步可以理解为引入了空间注意力模块，在风格图像上定位与内容图像网格空间结构最相似的区域。
S605、图像处理设备将目标风格区域对齐内容图像特征。
在ALN层对内容图像的网格特征按通道进行归一化处理，并利用目标风格区域特征的均值和方差对内容图像网格特征归一化的结果进行平移和缩放，即将内容图像网格特征的均值和方差与目标风格区域特征的均值和方差对齐。
对齐后的网格特征按位拼接可还原整张特征图，记为t。研究表明图像特征的均值和方差可以代表图像的风格参数，因此这一步可以实现内容图像向风格图像在特征空间上的风格迁移。
S606、图像处理设备利用损失函数对网络进行优化。
如图6所示，通过编码器分别提取内容图像60和风格图像61的图像特征，得到内容图像的特征图62和风格图像的特征图63，对特征图62进行网格化处理，得到多个网格64，以各网格64为卷积核，分别对特征图63进行卷积处理，得到各网格对应的第三特征图65，对于每一第三特征图65，确定第三特征图65中像素值最大的目标像素点，且以特征图63中得到目标像素点的区域作为该得到该第三特征图65的网格对应的目标风格区域66即第二区域，通过各网格对应的第二区域对内容图像60中该网格对应的区域进行风格迁移，并将各网络对应的区域的风格迁移结果按位进行拼接，得到目标图像67。
本申请实施例提供的图像处理方法与相关技术相比，具有如下有益效果：
第一、内容图像特征的网格化处理：通过将内容图像的特征图划分为多个网格分别处理，能够增强对内容图像全局空间位置的约束。
第二、空间结构相似的目标风格区域定位：在风格图像特征图上进行滑窗卷积，定位出与内容图像网格空间结构最相似的目标风格区域，能够缩小内容图像与目标风格区域的空间结构差异，使解码器网络更容易收敛，防止生成的迁移图像发生空间形变。
图7为本申请实施例提供的一种图像处理装置，如图7所示，装置包括：
划分单元701，用于将内容图像划分为至少一个第一区域；
第一确定单元702，用于根据所述至少一个第一区域，在风格图像上确定至少一个第二区域，其中，所述至少一个第二区域中每一所述第二区域存在对应的第一区域，所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件；
第二确定单元703，用于确定所述至少一个第二区域中每一所述第二区域的图像内容的风格参数；
处理单元704，用于对于每一所述第二区域，基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理。
在一些实施例中，第一确定单元702，还用于：
针对所述至少一个第一区域中每一所述第一区域，将风格图像中至少一个参考区域中，确定空间结构相似度最大的参考区域为所述第二区域，所述空间结构相似度为所述第一区域与所述至少一个参考区域中各参考区域之间的。
在一些实施例中，第一确定单元702，还用于：
根据所述第一区域，确定第一特征图；
以所述第一特征图为卷积核，对所述风格图像的第二特征图进行卷积处理，得到第三特征图；其中，所述参考区域为卷积过程中卷积核从所述第二特征图中提取的滑窗区域；
从所述第三特征图的像素点中确定目标像素点；
根据所述目标像素点，在所述风格图像上确定所述第二区域。
在一些实施例中，第一确定单元702，还用于：
确定所述第三特征图中的至少一个像素点的像素值；
从所述至少一个像素点的像素值中，将最大的像素值所对应的像素点确定为所述目标像素点。
在一些实施例中，第一确定单元702，还用于：
将得到的所述目标像素点的参考区域，确定为所述第二区域。
在一些实施例中，第二确定单元703，还用于：
在基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理之前，确定所述第二区域对应的第一区域的第二均值和第二方差；
处理单元704，还用于：
基于所述第一均值、所述第一方差、所述第二均值和所述第二方差，对所述第二区域对应的第一区域进行处理；所述第一均值和所述第一方差为所述风格参数。
在一些实施例中，所述装置700还包括：
拼接模块，用于在对于每一所述第二区域，基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理后，对所述至少一个第一区域进行按位拼接，得到目标图像。
本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述的图像处理方法。
本申请实施例还提供了一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述任一实施例所述的图像处理方法。
需要说明的是，本申请实施例提供的信息处理装置所包括的各单元，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Micro ProcessorUnit)、数字信号处理器(DSP，Digital Signal Processor)或现场可编程门阵列(FPGA，Field-Programmable Gate Array)等。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请实施例装置实施例中未披露的技术细节，请参照本申请实施例方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的信息处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请实施例各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中提供的图像处理方法。其中，该电子设备可为客户器，也可为服务器。
对应地，本申请实施例提供一种存储介质，也就是计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的图像处理方法。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请实施例存储介质和设备实施例中未披露的技术细节，请参照本申请实施例方法实施例的描述而理解。
需要说明的是，图8为电子设备的一种硬件实体示意图，如图8所示，所述电子设备800包括：一个处理器801、至少一个通信总线802、至少一个外部通信接口804和存储器805。其中，通信总线802配置为实现这些组件之间的连接通信。在一示例中，电子设备800还包括：用户接口803、其中，用户接口803可以包括显示屏，外部通信接口804可以包括标准的有线接口和无线接口。
存储器805配置为存储由处理器801可执行的指令和应用，还可以缓存待处理器801以及电子设备中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请实施例的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请实施例各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请实施例上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请实施例各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请实施例的实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
将内容图像划分为至少一个第一区域；
根据所述至少一个第一区域，在风格图像上确定至少一个第二区域，其中，所述至少一个第二区域中每一所述第二区域存在对应的第一区域，所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件；
确定所述至少一个第二区域中每一所述第二区域的图像内容的风格参数；
对于每一所述第二区域，基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个第一区域，在风格图像上确定至少一个第二区域，包括：
针对所述至少一个第一区域中每一所述第一区域，将风格图像中至少一个参考区域中，确定空间结构相似度最大的参考区域为所述第二区域，所述空间结构相似度为所述第一区域与所述至少一个参考区域中各参考区域之间的。
3.根据权利要求2所述的方法，其特征在于，所述确定空间结构相似度最大的参考区域为所述第二区域，包括：
根据所述第一区域，确定第一特征图；
以所述第一特征图为卷积核，对所述风格图像的第二特征图进行卷积处理，得到第三特征图；其中，所述参考区域为卷积过程中卷积核从所述第二特征图中提取的滑窗区域；
从所述第三特征图的像素点中确定目标像素点；
根据所述目标像素点，在所述风格图像上确定所述第二区域。
4.根据权利要求3所述的方法，其特征在于，所述从所述第三特征图中的像素点中确定目标像素点，包括：
确定所述第三特征图中的至少一个像素点的像素值；
从所述至少一个像素点的像素值中，将最大的像素值所对应的像素点确定为所述目标像素点。
5.根据权利要求3所述的方法，其特征在于，所述根据所述目标像素点，在所述风格图像上确定所述第二区域，包括：
将得到的所述目标像素点的参考区域，确定为所述第二区域。
6.根据权利要求1所述的方法，其特征在于，所述风格参数包括：第一均值和第一方差；所述基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理之前，所述方法还包括：
确定所述第二区域对应的第一区域的第二均值和第二方差；
所述基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理，包括：
基于所述第一均值、所述第一方差、所述第二均值和所述第二方差，对所述第二区域对应的第一区域进行处理。
7.根据权利要求1所述的方法，其特征在于，所述对于每一所述第二区域，基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理后，所述方法还包括：
对所述至少一个第一区域进行按位拼接，得到目标图像。
8.一种图像处理装置，其特征在于，所述装置包括：
划分单元，用于将内容图像划分为至少一个第一区域；
第一确定单元，用于根据所述至少一个第一区域，在风格图像上确定至少一个第二区域，其中，所述至少一个第二区域中每一所述第二区域存在对应的第一区域，所述第二区域与所述第二区域对应的第一区域的空间结构满足空间结构相似条件；
第二确定单元，用于确定所述至少一个第二区域中每一所述第二区域的图像内容的风格参数；
处理单元，用于对于每一所述第二区域，基于所述第二区域的图像内容的风格参数，对所述第二区域对应的第一区域进行处理。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7任一项所述的图像处理方法。
10.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110831509.0A CN115700725A (zh) | 2021-07-22 | 2021-07-22 | 一种图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110831509.0A CN115700725A (zh) | 2021-07-22 | 2021-07-22 | 一种图像处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115700725A true CN115700725A (zh) | 2023-02-07 |
Family
ID=85120686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110831509.0A Pending CN115700725A (zh) | 2021-07-22 | 2021-07-22 | 一种图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115700725A (zh) |
-
2021
- 2021-07-22 CN CN202110831509.0A patent/CN115700725A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110473141B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US10896535B2 (en) | Real-time avatars using dynamic textures | |
| CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| US11593615B2 (en) | Image stylization based on learning network | |
| WO2022267641A1 (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| CN108022212B (zh) | 高分辨率图片生成方法、生成装置及存储介质 | |
| JP7373554B2 (ja) | クロスドメイン画像変換 | |
| CN110717851B (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| KR102612808B1 (ko) | 조명 추정 | |
| Panetta et al. | Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| US9569684B2 (en) | Image enhancement using self-examples and external examples | |
| US11367163B2 (en) | Enhanced image processing techniques for deep neural networks | |
| US20190295272A1 (en) | Synthesizing hair features in image content based on orientation data from user guidance | |
| CN112823379A (zh) | 用于训练机器学习模型的方法和装置、用于视频风格转移的装置 | |
| US20220156987A1 (en) | Adaptive convolutions in neural networks | |
| CN108124489B (zh) | 信息处理方法、装置、云处理设备以及计算机程序产品 | |
| CN111292334B (zh) | 一种全景图像分割方法、装置及电子设备 | |
| US20220292654A1 (en) | Generating deep harmonized digital images | |
| CN111127309A (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN110874575A (zh) | 一种脸部图像处理方法及相关设备 | |
| US20220292690A1 (en) | Data generation method, data generation apparatus, model generation method, model generation apparatus, and program | |
| CN115984949B (zh) | 一种带有注意力机制的低质量人脸图像识别方法及设备 | |
| CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 | |
| CN113554047A (zh) | 图像处理模型的训练方法、图像处理方法及对应的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |