CN111583100A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111583100A
CN111583100A CN202010398383.8A CN202010398383A CN111583100A CN 111583100 A CN111583100 A CN 111583100A CN 202010398383 A CN202010398383 A CN 202010398383A CN 111583100 A CN111583100 A CN 111583100A
Authority
CN
China
Prior art keywords
image
style
features
loss function
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010398383.8A
Other languages
English (en)
Other versions
CN111583100B (zh
Inventor
尚太章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010398383.8A priority Critical patent/CN111583100B/zh
Publication of CN111583100A publication Critical patent/CN111583100A/zh
Application granted granted Critical
Publication of CN111583100B publication Critical patent/CN111583100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、电子设备及存储介质，该图像处理方法包括：获取第一图像、第二图像以及初始图像；利用预先训练的至少一个特征提取模型，提取第一图像的内容特征、第二图像的风格特征、初始图像的内容特征以及初始图像的风格特征；根据初始图像的内容特征与第一图像的内容特征的差异，确定内容损失函数的值，以及根据初始图像的风格特征中不同特征之间的相似度，与第二图像的风格特征中对应的不同特征之间的相似度的差异，确定风格损失函数的值；根据内容损失函数的值和风格损失函数的值确定总损失函数的值；根据总损失函数的值调整初始图像，直至得到目标图像。本方法可以较好地实现图像风格的迁移。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及定位技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
图像风格迁移(Photorealistic Style Transfer，PST)指自然图像之间的风格转换，指定一幅输入图像作为基础图像，也被称为内容图像，同时指定一幅图像作为希望得到的风格图像，算法在保证内容图像的内容同时，将内容图像的风格进行转换，最终输出的合成图像呈现出内容图像和风格图像的完美结合。在图像风格迁移的技术中，如何实现精准有效的迁移图像风格是整个技术的关键。
发明内容
鉴于上述问题，本申请提出了一种图像处理方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取第一图像、第二图像以及初始图像；利用预先训练的至少一个特征提取模型，提取所述第一图像的内容特征、所述第二图像的风格特征、所述初始图像的内容特征以及所述初始图像的风格特征；根据所述初始图像的内容特征与所述第一图像的内容特征的差异，确定内容损失函数的值，以及根据所述初始图像的风格特征中不同特征之间的相似度，与所述第二图像的风格特征中对应的不同特征之间的相似度的差异，确定风格损失函数的值；根据所述内容损失函数的值和所述风格损失函数的值确定总损失函数的值；根据所述总损失函数的值调整所述初始图像，直至得到目标图像，所述目标图像的内容特征与所述第一图像的内容特征匹配，所述目标图像的风格特征与所述第二图像的风格特征匹配。
第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：图像获取模块、特征获取模块、第一损失获取模块、第二损失获取模块以及图像调整模块，其中，所述图像获取模块用于获取第一图像、第二图像以及初始图像；所述特征获取模块用于利用预先训练的至少一个特征提取模型，提取所述第一图像的内容特征、所述第二图像的风格特征、所述初始图像的内容特征以及所述初始图像的风格特征；所述第一损失获取模块用于根据所述初始图像的内容特征与所述第一图像的内容特征的差异，确定内容损失函数的值，以及根据所述初始图像的风格特征中不同特征之间的相似度，与所述第二图像的风格特征中对应的不同特征之间的相似度的差异，确定风格损失函数的值；所述第二损失获取模块用于根据所述内容损失函数的值和所述风格损失函数的值确定总损失函数的值；所述图像调整模块用于根据所述总损失函数的值调整所述初始图像，直至得到目标图像，所述目标图像的内容特征与所述第一图像的内容特征匹配，所述目标图像的风格特征与所述第二图像的风格特征匹配。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的图像处理方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的图像处理方法。
本申请提供的方案，通过获取第一图像、第二图像以及初始图像，利用预先训练的至少一个特征提取模型，提取第一图像的内容特征、第二图像的风格特征、初始图像的内容特征以及初始图像的风格特征，根据初始图像的内容特征与第一图像的内容特征的差异，确定内容损失函数的值，以及根据初始图像的风格特征中不同特征之间的相似度，与第二图像的风格特征中对应的不同特征之间的相似度的差异，确定风格损失函数的值，根据内容损失函数和风格损失函数确定总损失函数的值，根据总损失函数的值调整初始图像，直至得到目标图像，目标图像的内容特征与第一图像的内容特征匹配，目标图像的风格特征与第二图像的风格特征匹配，从而实现在进行图像风格迁移过程中，损失函数中风格损失函数的值由提取到初始图像中的风格特征之间相似度，与提取到第二图像中的风格特征之间相似度的差异决定，使得内容损失函数的可解释性较好，准确表示图像之间的风格损失，进而使得最终获得的目标图像的风格特征能更接近第二图像的风格特征，实现图像的风格特征的有效迁移。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施例的图像处理方法流程图。
图2示出了根据本申请另一个实施例的图像处理方法流程图。
图3示出了本申请另一个实施例提供的一种界面示意图。
图4示出了本申请另一个实施例提供的图像处理方法中步骤S240的流程图。
图5示出了本申请另一个实施例提供的一种显示效果图。
图6示出了本申请另一个实施例提供的另一种显示效果图。
图7示出了本申请另一个实施例提供的又一种显示效果图。
图8示出了本申请另一个实施例提供的再一种显示效果图。
图9示出了本申请另一个实施例提供的又另一种显示效果图。
图10示出了本申请另一个实施例提供的又再一种显示效果图。
图11示出了根据本申请一个实施例的图像处理装置的一种框图。
图12是本申请实施例的用于执行根据本申请实施例的图像处理方法的电子设备的框图。
图13是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
图像风格迁移可以实现将一张风格图像的图像风格迁移到另一张内容图像中，使得到的图像的内容与内容图像相似，得到的图像的风格与风格图像相似，例如，将一幅人像图片转换成具有油画风格的人像图片，使获得的人像图片具有油画风格，并且人像内容不会丢失。
传统的图像风格迁移的技术中，通常采用深度学习的方法进行图像风格迁移。基于深度学习的图像风格的迁移，通常采用预训练的分类模型(例如VGG16、VGG19等)进行图像的内容特征和风格特征进行提取，然后再利用卷积神经网络生成图像风格迁移后的图像，生成的图像的内容特征会与内容图像的内容特征接近，风格特征会与风格图像的风格接近。
发明人经过长期的研究发现，在图像风格迁移的算法中，不同的损失函数的设计可以得到不同的风格迁移结果。损失函数通常由内容损失函数以及风格损失函数构成，而风格损失函数是图像的风格能否准确有效的迁移至另一图像的关键。通常风格损失函数由图像的风格特征之间差异决定，例如均方差函数、感知函数等，但是由风格特征之间的差异确定的风格损失在准确性上会存在问题，进而导致图像的风格特征不能准确有效的迁移至另一图像。
针对上述问题，发明人提出了本申请实施例提供的图像处理方法、装置、电子设备以及存储介质，可以实现在进行图像风格迁移过程中，损失函数中风格损失函数的值由提取到初始图像中的风格特征之间相似度，与提取到第二图像中的风格特征之间相似度的差异决定，使得内容损失函数的可解释性较好，准确表示图像之间的风格损失，进而使得最终获得的目标图像的风格特征能更接近第二图像的风格特征，实现图像的风格特征的有效迁移。其中，具体的图像处理方法在后续的实施例中进行详细的说明。
请参阅图1，图1示出了本申请一个实施例提供的图像处理方法的流程示意图。在具体的实施例中，所述图像处理方法应用于如图11所示的图像处理装置400以及配置有所述图像处理装置400的电子设备100(图12)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S110：获取第一图像、第二图像以及初始图像。
在本申请实施例中，电子设备可以获取第一图像、第二图像以及初始图像。其中，第一图像作为内容图像，即图像的风格迁移中用于提供图像内容的图像；第二图像作为风格图像，即图像的风格迁移中用于提供图像风格的图像；初始图像为图像的风格迁移中用于不断调整像素值，而最终获取风格迁移后的结果的图像。
在一些实施方式中，第一图像可以为包含有相应的内容特征的图像，例如，第一图像可以包括人像、动物、建筑物等内容特征。电子设备可以通过摄像头对目标对象进行图像采集，从而获得第一图像。作为一种实施方式，电子设备可以通过前置摄像头或者后置摄像头进行图像采集，从而获得第一图像，例如，电子设备可以通过前置摄像头采集人脸图像，并将获得的人脸图像作为第一图像；作为又一种实施方式，电子设备可以从本地获取第一图像，也就是说，电子设备可以从本地存储的文件中获取第一图像。例如，电子设备可以从相册获取第一图像，即电子设备预先通过摄像头采集第一图像后存储在本地相册，或者预先从网络下载第一图像后存储在本地相册等，然后在需要对第一图像的图像风格进行变换时，从相册中读取第一图像；作为再一种方式，电子设备也可以从网络下载第一图像，例如，电子设备可以通过无线网络、数据网络等从相应的服务器下载需求的第一图像，以进行对第一图像进行图像风格的变换；作为还一种实施方式，电子设备也可以通过用户的输入操作，对输入的第一图像进行接收，从而获得第一图像，当然，电子设备具体获取第一图像的方式可以不作为限定。
在一些实施方式中，第二图像可以为包含有风格特征的图像，例如，第二图像可以包括油画风格的风格特征、水墨画风格的风格特征、高亮度风格的风格特征等。电子设备可以通过网络从其他设备(例如相应网站的服务器等)获取第二图像；第二图像也可以预先存储于本地，电子设备可以从本地读取第二图像，以用于图像风格迁移，当然，电子设备具体获取第二图像的方式可以不作为限定。
在一些实施方式中，初始图像可以为任意的图像，例如可以为像素值随机的噪声图像，也可以为空白图像，还可以为以上第一图像等，在此不做限定。作为一种实施方式，初始图像可以通过生成随机像素值的图像的方式获得，即电子设备生成随机像素值的图像，并将该随机相似度值的图像作为初始图像；作为另一种实施方式，电子设备可以从本地获取任一图像作为初始图像。当然，电子设备具体获取初始图像的方式可以不作为限定。
步骤S120：利用预先训练的至少一个特征提取模型，提取所述第一图像的内容特征、所述第二图像的风格特征、所述初始图像的内容特征以及所述初始图像的风格特征。
在本申请实施例中，电子设备可以利用预先训练的特征提取模型，提取第一图像以及初始图像的内容特征，并提取第二图像的风格特征以及初始图像的风格特征。其中，特征提取模型可以根据大量训练样本训练得到，特征提取模型的输入为图像，输出为内容特征，和/或，风格特征。特征提取模型可以为1个，也可以为多个，例如，特征提取模型包括用于提取内容特征的第一提取模型，以及用于提取风格特征的第二提取模型；又例如，特征提取模型为1个，该特征提取模型可以同时对输入的图像的内容特征和风格特征进行提取。
在一些实施方式中，特征提取模型可以为预先训练的卷积神经网络(CNN，Convolutional Neural Network)，卷积神经网络可以用于提取图像中的内容特征，和/或，风格特征。卷积神经网络中通常包括多个卷积层，可以将至少一个卷积层输出的矩阵，作为输入图像的内容特征，将其他卷积层中的至少一个卷积层输出的矩阵，作为输入图像的风格特征。卷积神经网络是一种前馈神经网络，其人工神经元可以响应一部分覆盖范围内的周围单元，对图像处理的效果较好，另外，卷积神经网络可以通过多层卷积提取物体的抽象特征完成图像识别等，因此可以通过卷积神经网络提取输入图像的内容特征；同时，经过多层卷积抽象之后的图像会丢弃像素级的特征，而保留了高级的绘画风格，即高层的输出相对于低底层的输出更加抽象，因此用其提取风格特征。
在一些实施方式中，以上卷积神经网络可以使用目视图像生成器(VGG，VisualGraphics Generator)模型，深度残差网络(ResNet，Deep Residual Network)模型等用于提取图像特征的模型。可选的，卷积神经网络可以imageNet中预训练的卷积神经网络(例如VGG19)，由于imageNet中预训练的卷积神经网络已经有很强的特征提取能力，因此不需要重新训练，基于imageNet中预训练的卷积神经网络即可对上述特征进行提取。
作为一种可选的方式，以上卷积神经网络可以VGG16，VGG16卷积神经网络中包括13个卷积层、3个连接层以及4个池化层。可选的，可以将卷积层Conv1_1、Conv2_1、Conv3_1、Conv4_1以及Conv5_1的输出作为输入图像的风格特征，可以将Conv4_2的输出作为输出图像的内容特征。另外，卷积神经网络中的每一卷积层包含多个参数，参数越多，对应的处理速度也越慢，所需的时间越久，因此，将模型中的每一层参数数量减半，在不影响卷积神经网络处理图像效率的同时，减少了需要的时间，使得卷积神经网络的运行效率最佳，在用于智能手机等便携式电子设备时，可以由较好地效果。
作为另一种可选的方式，以上卷积神经网络可以VGG19卷积神经网络。在该方式中，用于提取风格特征的卷积层可以为：rule1-1、relu2-1、relu3-1、relu4-1和relu5-1。用于提取内容特征的卷积层为relu2-2。其中，relu1-1是最低的特征层，relu5-1是最高的特征层，从relu1-1到relu5-1，提取的特征会越来越抽象。
在一些实施方式中，上述卷积神经网络的卷积层可以包括镜像填充层，从而可以更好的提取图像的内容特征或者风格特征。
步骤S130：根据所述初始图像的内容特征与所述第一图像的内容特征的差异，确定内容损失函数的值，以及根据所述初始图像的风格特征中不同特征之间的相似度，与所述第二图像的风格特征中对应的不同特征之间的相似度的差异，确定风格损失函数的值。
在本申请实施例中，电子设备在获得第一图像的内容特征，第二图像的风格特征，以及获取到初始图像的内容特征和风格特征之后，则可以根据第一图像的内容特征与初始图像的内容特征，确定内容损失函数的值，即内容损失值；还可以根据初始图像的风格特征与第二图像的风格特征，确定风格损失函数的值，即风格损失值。
在一些实施方式中，电子设备获取到的第一图像的内容特征以及初始图像的内容特征的形式相同，例如，可以同为像素值矩阵。电子设备通过计算内容特征对应的矩阵之间的均方差、欧式距离等，确定内容损失函数的值。
作为一种方式，由于在通常卷积神经网络中存在较多的卷积层，如果利用卷积神经网络中的多个卷积层的输出作为内容特征时，此时可以使用加权平均后的多个卷积层的输出矩阵作为内容特征，具体权重可根据需要设置。在对第一图像以及初始图像均进行如此处理之后，利用获得的加权平均后的多个卷积层的输出矩阵，即可计算第一图像的内容特征与初始图像的内容特征之间的差异，从而获得内容损失函数的值。
作为另一种方式，由于在通常卷积神经网络中存在较多的卷积层，如果利用卷积神经网络中的多个卷积层的输出作为内容特征时，此时针对第一图像和初始图像对应的内容特征中相同卷积层的输出进行。例如，可以计算第一图像和初始图像对应的内容特征中相同卷积层的输出矩阵的均方差，再综合各个卷积层对应的均方差作为内容损失函数的值，具体地，可以根据卷积层所对应的权重，对各个卷积层对应的均方差进行加权求和，从而获得内容损失函数的值。
在一些实施方式中，电子设备获取到的第二图像的风格特征以及初始图像的风格特征的形式相同，例如，也可以同为像素值矩阵。由于卷积神经网络中各个卷积层均有多个卷积核，卷积核可以对应输出不同通道的向量，作为该卷积层输出的风格特征中的多个特征，即每个通道的向量作为该卷积层输出的一个特征。因此，在计算风格损失函数的值时，电子设备可以分别针对卷积层中不同的通道，计算卷积层输出的风格特征中不同特征之间的相似度，即计算不同通道的向量之间的相似度。也就是说，电子设备针对第二图像，会计算卷积层输出的风格特征中不同特征之间的相似度，并且也会针对初始图像，计算卷积层输出的风格特征中不同特征之间的相似度。在计算到卷积层输出的风格特征中不同特征之间的相似度之后，再计算针对第二图像计算的多个相似度，与针对初始图像计算的多个相似度之间的差异，从而获得风格损失函数的值。
其中，在计算第二图像对应的多个相似度与初始图像对应的多个相似度之间的差异时，可以针对相同的两个通道的输出向量之间的相似度进行，例如，第二图像对应的多个相似度中包括：通道1的输出向量与通道2的输出向量之间的相似度1，以及通道1的输出向量与通道3的输出向量之间的相似度2，初始图像对应的多个相似度中也应该同样包括：通道1的输出向量与通道2的输出向量之间的相似度3，以及通道1的输出向量与通道3的输出向量之间的相似度4，在计算相似度之间的差异时，则针对通道1的输出向量与通道2的输出向量之间的相似度，计算相似度1与相似度3之间的差异，以及针对通道1的输出向量与通道3的输出向量之间的相似度，相似度2与相似度4之间的差异。
在该实施方式中，由于在通常卷积神经网络中存在较多的卷积层，如果利用卷积神经网络中的多个卷积层的输出作为风格特征时。因此，同计算内容损失函数的值相同的是，可以使用加权平均后的多个卷积层的输出矩阵作为风格特征，再利用以上方式计算风格损失函数的值；也可以针对第一图像和初始图像对应的风格特征中相同卷积层的输出，利用上述方式计算差异后，再根据卷积层所对应的权重，对各个卷积层所对应计算得到的差异进行加权求和，从而获得风格损失函数的值。
可以理解的，由于损失函数中风格损失函数的值由提取到初始图像中的风格特征中不同特征之间相似度，与提取到第二图像中的风格特征中不同特征之间相似度的差异决定，也就是说，在提取到两者的风格特征之后，再对每个图像的风格特征再进一步的提取特征(即不同特征之间的相似度)，从而使得内容损失函数的可解释性更好，能够准确表示图像之间的风格损失。
步骤S140：根据所述内容损失函数的值和所述风格损失函数的值确定总损失函数的值。
在本申请实施例中，电子设备在获取到内容损失函数的值，以及风格损失函数的值之后，则可以根据内容损失函数的值以及风格损失函数的值，计算总损失函数的值。
在一些实施方式中，电子设备可以根据内容损失函数的权重，以及风格损失函数的权重，对内容损失函数的值以及风格损失函数的值，计算总损失函数的值进行加权求和，从而获得总损失函数的值。其中，内容损失函数的权重以及风格损失函数的权重可以根据需求确定，通过设置不同的权重，可以决定最终获得的目标图像更注重风格能够准确迁移，或者更注重内容的保持。
在一些实施方式中，总损失函数中还可以包括正则化项，正则化项用来保证生成图像中像素的光滑连续性，且不会出现过大的突变元素。具体地，总损失函数的值可以根据以下公式计算：
Loss＝Lc+Ls+reg
其中，Lc为内容损失函数，Ls为风格损失函数，reg为正则化项。
步骤S150：根据所述总损失函数的值调整所述初始图像，直至得到目标图像，所述目标图像的内容特征与所述第一图像的内容特征匹配，所述目标图像的风格特征与所述第二图像的风格特征匹配。
在本申请实施例中，电子设备在获取到总损失函数的值之后，则可以根据总损失函数的值，调整初始图像的像素值，以获得目标图像。具体地，电子设备可以根据总损失函数的值和梯度下降法，不断的迭代更新初始图像，即不断的迭代更新初始图像中像素点的像素值，在最终满足预设的迭代终止条件时，将此时获得的图像作为目标图像，获得的目标图像中，由于总损失函数的值在迭代过程中不断变小，因此最终满足预设的迭代终止条件时获得的目标图像的内容特征与第一图像的内容特征匹配，且该目标图像的风格特征与第二图像的风格特征匹配。其中，梯度下降法(gradient descent)是一个最优化算法，通常也称为最速下降法，常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。其中，迭代终止条件可以包括：总损失函数的值最小、总损失函数的值小于预设值、或者迭代次数达到预设次数等。
在一些实施方式中，根据总损失函数的值和梯度下降法，不断的迭代更新初始图像，可以包括：通过梯度下降法对总损失函数中初始图像各个像素的值求导，然后根据求导结果，更新初始图像的像素值，使总损失函数的值不断变小，通过多次执行步骤S120至步骤S150的过程之后，则可以获得最终的目标图像。可以理解的，在调整初始图像的像素值直至获得目标图像的过程中，初始图像相当于总损失函数的一个自变量，调整的目的即通过迭代求得总损失函数较小时的目标图像，初始图像可能会影响迭代次数但对最终结果不会产生影响。
本申请实施例提供的图像处理方法，在进行图像风格迁移过程中，损失函数中风格损失函数的值由提取到初始图像中的风格特征之间相似度，与提取到第二图像中的风格特征之间相似度的差异决定，使得内容损失函数的可解释性较好，准确表示图像之间的风格损失，进而使得最终获得的目标图像的风格特征能更接近第二图像的风格特征，实现图像的风格特征的有效迁移。另外，由于根据第一图像以及第二图像来生成目标图像，因此用户可以根据需求的风格的不同，而选择不同的第二图像，因此通过本申请实施例提供的图像处理方法，还可以实现对任意图像风格的迁移。
请参阅图2，图2示出了本申请另一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备，下面将针对图2所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S210：获取第一图像、第二图像以及初始图像。
在本申请实施例中，电子设备对第一图像以及初始图像的获取方式可以参阅前述实施例的内容。
在一些实施方式中，电子设备在获取第二图像时，由于第二图像是用于提供最终生成的图像中的图像风格的图像，而图像风格通常是用户需求的风格，因此电子设备还可以提供用户选择图像风格。具体地，请参阅图3，电子设备100可以显示图像风格的风格选择界面A1，电子设备可以检测于风格选择界面A1中的风格选取操作，并根据该风格选取操作，选取于风格选择界面A1中选取的目标风格，然后再获取该目标风格对应的图像，作为第二图像。其中，电子设备可以从本地或者通过网络从其他设备获取该目标风格对应的图像，在此不做限定。从而可以实现用户在想要将第一图像的图像风格进行转换时，仅需要输入第一图像，并通过对目标风格进行选择，即可实现想要的图像风格迁移至第一图像中，满足不同用户的需求。
在该实施方式中，电子设备在展示风格选择界面A1时，电子设备在显示各个图像风格的选项时，还可以展示图像风格的示例(例如展示该图像风格的图像)，从而使用户可以直观地了解到各个不同的图像风格，更加地方便用户对图像风格的选取。
步骤S220：利用预先训练的至少一个特征提取模型，提取所述第一图像的内容特征、所述第二图像的风格特征、所述初始图像的内容特征以及所述初始图像的风格特征。
在本申请实施例中，步骤S220可以参阅前述实施例的内容，在此不再赘述。
步骤S230：根据所述初始图像的内容特征与所述第一图像的内容特征的差异，确定内容损失函数的值。
在本申请实施例中，内容损失函数的值可以通过以下公式计算：
Figure BDA0002488430620000131
其中wc为内容损失在损失函数中的权重，
Figure BDA0002488430620000132
为初始图像在卷积神经网络中l层的特征矩阵在i行j列位置的值。
Figure BDA0002488430620000133
为第一图像在卷积神经网络中l层的特征矩阵在i行j列位置的值。
步骤S240：获取所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度。
在本申请实施例中，电子设备确定风格损失函数的值时，可以由于卷积神经网络中各个卷积层均有多个卷积核，卷积核可以对应输出不同通道的向量，作为该卷积层输出的风格特征中的多个特征，即每个通道的向量作为该卷积层输出的一个特征。因此，在计算风格损失函数的值时，电子设备可以分别针对卷积层中不同的通道，计算卷积层输出的风格特征中不同特征之间的相似度，即计算不同通道的向量之间的相似度，从而获得多个第一相似度。
在一些实施方式中，请参阅图4，电子设备获取初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度，可以包括：
步骤S241：根据所述初始图像的风格特征，获取格拉姆矩阵。
在一些方式中，电子设备在获取初始图像的风格特征中不同特征之间的相似度时，可以获取初始图像的风格特征所对应的格拉姆矩阵。可以理解的，风格特征的格拉姆矩阵可以是同一卷积层输出的特征中不同通道的向量之间的内积，格拉姆矩阵可以较好地反映图像的风格特征。因此，基于格拉姆矩阵来计算不同特征之间的相似度，可以实现进一步对风格特征的挖掘，以使后续获取的风格损失能够更加准确。
在该方式中，格拉姆矩阵的获取方式如下：
假设l层的特征矩阵为Fl(1,h,w,c)，其中h为特征矩阵的高，w为特征矩阵的宽，c为特征矩阵的通道数。首先，可以将特征矩阵进行形状变换，获得Fl(h*w,c)；然后再计算格拉姆矩阵，格拉姆矩阵的计算公式为：
Figure BDA0002488430620000141
其中，K表示Fl第k列。
步骤S242：根据所述格拉姆矩阵，获取所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度。
在一些方式中，电子设备在获得到初始图像对应的风格特征对应的格拉姆矩阵之后，由于格拉姆矩阵中为同一卷积层中不同通道的向量之间的内积，因此格拉姆矩阵中除主对角线元素以外的其他位置的元素可以表示不同通道向量之间的关系，即不同特征之间的相关性；而格拉姆矩阵中主对角线元素为同一通道的向量的内积，因此表示了该通道的向量的长度的平方。因此，通过格拉姆矩阵，可以获取不同通道的向量之间的相似度。
作为一种实施方式，电子设备根据格拉姆矩阵，获取初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度，可以包括：
根据所述格拉姆矩阵，获取不同通道的向量之间的内积，以及每个通道的向量的长度；根据所述不同通道的向量之间的内积，以及每个通道的向量的长度，获取所述不同通道的向量之间的余弦相似度，得到多个余弦相似度。
其中，电子设备对格拉姆矩阵中主对角元素进行开方，即可获得各个通道的向量的长度，而其他位置的元素为不同通道的向量之间的内积。根据向量之间的余弦相似度的计算公式，即利用两个向量的内积与两个向量的向量长度的乘积相除，从而可以获得不同通道的向量之间的余弦相似度，得到多个余弦相似度。
作为另一种实施方式，电子设备根据格拉姆矩阵，获取初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度，可以包括：
根据所述初始图像的风格特征，获取格拉姆矩阵；获取所述格拉姆矩阵的对角线元素构成的列向量；根据列向量与所述列向量的转置的乘积，获得第一矩阵；将所述格拉姆矩阵与所述第一矩阵进行点除，获得第二矩阵；根据所述第二矩阵不同位置处的值，获得所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度。
其中，电子设备对格拉姆矩阵中主对角元素各个通道的向量的长度的平方，而其他位置的元素为不同通道的向量之间的内积。因此，电子设备可以提取格拉姆矩阵的主对角线元素diag，即多个通道的向量长度构成的列向量；然后获取该列向量的转置diagT，并计算列向量与所述列向量的转置的乘积，即计算diagT×diag，得到新的矩阵，作为第一矩阵，第一矩阵中除主对角线元素以外的其他元素表示不同通道的向量长度的平方积；最后将格拉姆矩阵与第一矩阵进行点除，获得第二矩阵，其中，格拉姆矩阵与第一矩阵的形状相同，即行数和列数相同，因此，格拉姆矩阵与第一矩阵之间的点除，即为格拉姆矩阵与第一矩阵中相同位置的元素进行相除，从而可以获得新的矩阵作为第二矩阵。该第二矩阵中除主角线元素以外的其他元素，为不同通道的向量之间的内积与两个向量的向量长度的平方的乘积相除，虽然与余弦相似度的计算不完全一致，即分母未对向量长度的平方进行开方后再求取乘积，但也可以表示向量之间的相似性，而且不对向量长度的平方进行开方，也减少了计算量，从而可以提升整个图像风格迁移过程的效率。
步骤S230：获取所述第二图像的风格特征中不同特征之间的相似度，得到多个第二相似度。
在本申请实施例中，电子设备获取第二图像的风格特征中不同特征之间的相似度的方式，可以参阅以上获取初始图像的风格特征中不同特征之间的相似度的方式，在此不再赘述。
步骤S240：根据每个所述第一相似度与其对应的所述第二相似度之间的差异，确定风格损失函数的值。
在本申请实施例中，电子设备在获取到多个第一相似度以及多个第二相似度之后，则可以根据每个第一相似度与其对应的第二相似度之间的差异，确定风格损失函数的值。其中，在计算每个第一相似度与其对应的第二相似度之间的差异时，可以针对相同的两个通道的输出向量之间的相似度进行，例如，第二图像对应的多个相似度中包括：通道1的输出向量与通道2的输出向量之间的相似度1，以及通道1的输出向量与通道3的输出向量之间的相似度2，初始图像对应的多个相似度中也应该同样包括：通道1的输出向量与通道2的输出向量之间的相似度3，以及通道1的输出向量与通道3的输出向量之间的相似度4，在计算相似度之间的差异时，则针对通道1的输出向量与通道2的输出向量之间的相似度，计算相似度1与相似度3之间的差异，以及针对通道1的输出向量与通道3的输出向量之间的相似度，相似度2与相似度4之间的差异。
在一些实施方式中，如果电子设备获取到的风格特征为对多个卷积层的输出矩阵进行加权平均后的矩阵，则电子设备仅需要根据该矩阵电子设备可以获取每个所述第一相似度与其对应的第二相似度的差值，得到多个差值；然后获取多个差值的平方和，得到风格损失函数的值。
在另一些实施方式中，由于特征提取模型包括多个特征提取层，即卷积神经网络通常包括多个卷积层，因此多个第一相似度以及多个第二相似度均包括每个特征提取层输出的多个特征中不同特征的相似度，即电子设备可以获取到多个卷积层所对应的多个相似度。电子设备可以针对不同的卷积层，计算第一相似度与第二相似度的差异，然后再根据卷积层所对应的权重，对各个卷积层所对应计算得到差异进行加权求和，从而获得风格损失函数的值。
在该实施方式中，电子设备根据每个第一相似度与其对应的第二相似度之间的差异，确定风格损失函数的值，可以包括：获取每个特征提取层对应的每个所述第一相似度与其对应的所述第二相似度的差值，得到每个特征提取层对应的多个差值；获取所述每个特征提取层对应的多个差值的平方和，得到多个平方和；根据每个特征提取层对应的权重，将所述多个平方和进行加权求和，获得风格损失函数的值。
具体地，如果通过根据上述的第二矩阵不同位置处的值，获得图像的风格特征中不同特征之间的相似度时，则风格损失函数的计算公式可以如下：
Figure BDA0002488430620000171
其中，wl为l层的风格损失占的权重，
Figure BDA0002488430620000181
为当前图片在第l层的第二矩阵在i行j列的值。
Figure BDA0002488430620000182
为原始风格图片在l层的第二矩阵在i行j列的值。
步骤S250：根据所述内容损失函数的值和所述风格损失函数的值确定总损失函数的值。
步骤S260：根据所述总损失函数的值调整所述初始图像，直至得到目标图像，所述目标图像的内容特征与所述第一图像的内容特征匹配，所述目标图像的风格特征与所述第二图像的风格特征匹配。
在本申请实施例中，步骤S250以及步骤S260可以参阅前述实施例的内容，在此不再赘述。
本申请实施例提供的图像处理方法，在进行图像风格迁移过程中，损失函数中风格损失函数的值由提取到初始图像中的风格特征之间的多个第一相似度，与提取到第二图像中的风格特征之间的多个第二相似度的差异决定，使得内容损失函数的可解释性较好，准确表示图像之间的风格损失，进而使得最终获得的目标图像的风格特征能更接近第二图像的风格特征，实现图像的风格特征的有效迁移。
请同时参阅图5、图6以及图7，图5示出了一种第二图像，图6示出了一种第一图像，通过本申请实施例提供的图像处理方法，对第一图像以及第二图像进行处理后，获得的目标图像如图7所示，获得的目标图像在风格上与图5所示的第二图像的风格相似，在内容上与图6所示的第一图像的风格相似。
另外，请同时参阅图8、图9以及图10，图8示出了一种第二图像，图9示出了一种第一图像，通过本申请实施例提供的图像处理方法，对第一图像以及第二图像进行处理后，获得的目标图像如图10所示，获得的目标图像在风格上与图8所示的第二图像的风格相似，在内容上与图9所示的第一图像的风格相似。
另外，由于根据第一图像以及第二图像来生成目标图像，因此用户可以根据需求的风格的不同，而选择不同的第二图像，因此通过本申请实施例提供的图像处理方法，还可以实现对任意图像风格的迁移。
请参阅图11，其示出了本申请实施例提供的一种图像处理装置400的结构框图。该图像处理装置400应用上述的电子设备，该图像处理装置400包括：图像获取模块410、特征获取模块420、第一损失获取模块430、第二损失获取模块440以及图像调整模块450。其中，所述图像获取模块410用于获取第一图像、第二图像以及初始图像；所述特征获取模块420用于利用预先训练的至少一个特征提取模型，提取所述第一图像的内容特征、所述第二图像的风格特征、所述初始图像的内容特征以及所述初始图像的风格特征；所述第一损失获取模块430用于根据所述初始图像的内容特征与所述第一图像的内容特征的差异，确定内容损失函数的值，以及根据所述初始图像的风格特征中不同特征之间的相似度，与所述第二图像的风格特征中对应的不同特征之间的相似度的差异，确定风格损失函数的值；所述第二损失获取模块440用于根据所述内容损失函数的值和所述风格损失函数的值确定总损失函数的值；所述图像调整模块450用于根据所述总损失函数的值调整所述初始图像，直至得到目标图像，所述目标图像的内容特征与所述第一图像的内容特征匹配，所述目标图像的风格特征与所述第二图像的风格特征匹配。
在一些实施方式中，第二损失获取模块440包括：第一相似度获取单元、第二相似度获取单元以及风格损失确定单元。其中，第一相似度获取单元用于获取所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度；第二相似度获取单元用于获取所述第二图像的风格特征中不同特征之间的相似度，得到多个第二相似度；风格损失确定单元用于根据每个所述第一相似度与其对应的所述第二相似度之间的差异，确定风格损失函数的值。
在一些方式中，第一相似度获取单元可以包括：第一获取子单元以及第二获取子单元。其中，第一获取子单元用于根据所述初始图像的风格特征，获取格拉姆矩阵；第二获取子单元用于根据所述格拉姆矩阵，获取所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度。
作为一种实施方式，所述特征提取模型包括多个通道，所述初始图像的内容特征中包括多个通道的向量。第二获取子单元可以具体用于：根据所述格拉姆矩阵，获取不同通道的向量之间的内积，以及每个通道的向量的长度；根据所述不同通道的向量之间的内积，以及每个通道的向量的长度，获取所述不同通道的向量之间的余弦相似度，得到多个余弦相似度。
作为另一种实施方式，第二获取子单元可以具体用于：根据所述初始图像的风格特征，获取格拉姆矩阵；获取所述格拉姆矩阵的对角线元素构成的列向量；根据列向量与所述列向量的转置的乘积，获得第一矩阵；将所述格拉姆矩阵与所述第一矩阵进行点除，获得第二矩阵；根据所述第二矩阵不同位置处的值，获得所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度。
在一些方式中，风格损失确定单元可以包括：第一差值获取子单元以及损失子计算单元。第一差值获取子单元用于获取每个所述第一相似度与其对应的所述第二相似度的差值，得到多个差值；损失计算子单元用于获取所述多个差值的平方和，得到风格损失函数的值。
在另一些方式中，所述初始图像的风格特征以及所述第二图像的风格特征均包括所述特征提取模型的多个特征提取层中每个特征提取层输出的多个特征，所述第一相似度以及所述第二相似度均包括每个特征提取层输出的多个特征中不同特征的相似度。风格损失确定单元也可以包括：第二差值获取单元、平方和计算子单元以及加权求和子单元。其中，第二差值获取单元用于获取每个特征提取层对应的每个所述第一相似度与其对应的所述第二相似度的差值，得到每个特征提取层对应的多个差值；平方和计算子单元用于获取所述每个特征提取层对应的多个差值的平方和，得到多个平方和；加权求和子单元用于根据每个特征提取层对应的权重，将所述多个平方和进行加权求和，获得风格损失函数的值。
在一些实施方式中，图像调整模块450可以具体用于：基于梯度下降法和所述总损失函数的值，迭代更新所述初始图像，直至满足预设的迭代终止条件；将满足预设的迭代终止条件时获得的图像作为目标图像。
在一些实施方式中，图像获取模块410可以具体用于：接收输入的第一图像；根据接收到的风格选取操作，选取目标风格；获取与所述目标风格对应的第二图像；生成随机像素值的图像作为初始图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请提供的方案，通过获取第一图像、第二图像以及初始图像，利用预先训练的至少一个特征提取模型，提取第一图像的内容特征、第二图像的风格特征、初始图像的内容特征以及初始图像的风格特征，根据初始图像的内容特征与第一图像的内容特征的差异，确定内容损失函数的值，以及根据初始图像的风格特征中不同特征之间的相似度，与第二图像的风格特征中对应的不同特征之间的相似度的差异，确定风格损失函数的值，根据内容损失函数和风格损失函数确定总损失函数的值，根据总损失函数的值调整初始图像，直至得到目标图像，目标图像的内容特征与第一图像的内容特征匹配，目标图像的风格特征与第二图像的风格特征匹配，从而实现在进行图像风格迁移过程中，损失函数中风格损失函数的值由提取到初始图像中的风格特征之间相似度，与提取到第二图像中的风格特征之间相似度的差异决定，使得内容损失函数的可解释性较好，准确表示图像之间的风格损失，进而使得最终获得的目标图像的风格特征能更接近第二图像的风格特征，实现图像的风格特征的有效迁移。
请参考图12，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
获取第一图像、第二图像以及初始图像；
利用预先训练的至少一个特征提取模型，提取所述第一图像的内容特征、所述第二图像的风格特征、所述初始图像的内容特征以及所述初始图像的风格特征；
根据所述初始图像的内容特征与所述第一图像的内容特征的差异，确定内容损失函数的值，以及根据所述初始图像的风格特征中不同特征之间的相似度，与所述第二图像的风格特征中对应的不同特征之间的相似度的差异，确定风格损失函数的值；
根据所述内容损失函数的值和所述风格损失函数的值确定总损失函数的值；
根据所述总损失函数的值调整所述初始图像，直至得到目标图像，所述目标图像的内容特征与所述第一图像的内容特征匹配，所述目标图像的风格特征与所述第二图像的风格特征匹配。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始图像的风格特征中不同特征之间的相似度，与所述第二图像的风格特征中对应的不同特征之间的相似度的差异，确定风格损失函数的值，包括：
获取所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度；
获取所述第二图像的风格特征中不同特征之间的相似度，得到多个第二相似度；
根据每个所述第一相似度与其对应的所述第二相似度之间的差异，确定风格损失函数的值。
3.根据权利要求2所述的方法，其特征在于，所述获取所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度，包括：
根据所述初始图像的风格特征，获取格拉姆矩阵；
根据所述格拉姆矩阵，获取所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度。
4.根据权利要求3所述的方法，其特征在于，所述特征提取模型包括多个通道，所述初始图像的内容特征中包括多个通道的向量，所述根据所述格拉姆矩阵，获取所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度，包括：
根据所述格拉姆矩阵，获取不同通道的向量之间的内积，以及每个通道的向量的长度；
根据所述不同通道的向量之间的内积，以及每个通道的向量的长度，获取所述不同通道的向量之间的余弦相似度，得到多个余弦相似度。
5.根据权利要求3所述的方法，其特征在于，所述根据所述格拉姆矩阵，获取所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度，包括：
根据所述初始图像的风格特征，获取格拉姆矩阵；
获取所述格拉姆矩阵的对角线元素构成的列向量；
根据列向量与所述列向量的转置的乘积，获得第一矩阵；
将所述格拉姆矩阵与所述第一矩阵进行点除，获得第二矩阵；
根据所述第二矩阵不同位置处的值，获得所述初始图像的风格特征中不同特征之间的相似度，得到多个第一相似度。
6.根据权利要求2所述的方法，其特征在于，所述根据每个所述第一相似度与其对应的所述第二相似度之间的差异，确定风格损失函数的值，包括：
获取每个所述第一相似度与其对应的所述第二相似度的差值，得到多个差值；
获取所述多个差值的平方和，得到风格损失函数的值。
7.根据权利要求2所述的方法，其特征在于，所述初始图像的风格特征以及所述第二图像的风格特征均包括所述特征提取模型的多个特征提取层中每个特征提取层输出的多个特征，所述第一相似度以及所述第二相似度均包括每个特征提取层输出的多个特征中不同特征之间的相似度；
所述根据每个所述第一相似度与其对应的所述第二相似度之间的差异，确定风格损失函数的值，包括：
获取每个特征提取层对应的每个所述第一相似度与其对应的所述第二相似度的差值，得到每个特征提取层对应的多个差值；
获取所述每个特征提取层对应的多个差值的平方和，得到多个平方和；
根据每个特征提取层对应的权重，将所述多个平方和进行加权求和，获得风格损失函数的值。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述总损失函数的值调整所述初始图像，直至得到目标图像，包括：
基于梯度下降法和所述总损失函数的值，迭代更新所述初始图像，直至满足预设的迭代终止条件；
将满足预设的迭代终止条件时获得的图像作为目标图像。
9.根据权利要求1-7任一项所述的方法，其特征在于，所述获取第一图像、第二图像以及初始图像，包括：
接收输入的第一图像；
根据接收到的风格选取操作，选取目标风格；
获取与所述目标风格对应的图像作为第二图像；
生成随机像素值的图像作为初始图像。
10.一种图像处理装置，其特征在于，所述装置包括：图像获取模块、特征获取模块、第一损失获取模块、第二损失获取模块以及图像调整模块，其中，
所述图像获取模块用于获取第一图像、第二图像以及初始图像；
所述特征获取模块用于利用预先训练的至少一个特征提取模型，提取所述第一图像的内容特征、所述第二图像的风格特征、所述初始图像的内容特征以及所述初始图像的风格特征；
所述第一损失获取模块用于根据所述初始图像的内容特征与所述第一图像的内容特征的差异，确定内容损失函数的值，以及根据所述初始图像的风格特征中不同特征之间的相似度，与所述第二图像的风格特征中对应的不同特征之间的相似度的差异，确定风格损失函数的值；
所述第二损失获取模块用于根据所述内容损失函数的值和所述风格损失函数的值确定总损失函数的值；
所述图像调整模块用于根据所述总损失函数的值调整所述初始图像，直至得到目标图像，所述目标图像的内容特征与所述第一图像的内容特征匹配，所述目标图像的风格特征与所述第二图像的风格特征匹配。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-9任一项所述的方法。
12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。
CN202010398383.8A 2020-05-12 2020-05-12 图像处理方法、装置、电子设备及存储介质 Active CN111583100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010398383.8A CN111583100B (zh) 2020-05-12 2020-05-12 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010398383.8A CN111583100B (zh) 2020-05-12 2020-05-12 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111583100A true CN111583100A (zh) 2020-08-25
CN111583100B CN111583100B (zh) 2023-05-23

Family

ID=72125060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010398383.8A Active CN111583100B (zh) 2020-05-12 2020-05-12 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111583100B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102269A (zh) * 2020-09-01 2020-12-18 浙江大学 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质
CN112241729A (zh) * 2020-11-04 2021-01-19 深兰科技（上海）有限公司 智能眼镜和基于智能眼镜的场景风格迁移方法
CN112381707A (zh) * 2020-11-02 2021-02-19 腾讯科技（深圳）有限公司 图像生成方法、装置、设备以及存储介质
CN112561785A (zh) * 2020-12-21 2021-03-26 东华大学 基于风格迁移的丝绸文物图像数据扩充方法
CN112633071A (zh) * 2020-11-30 2021-04-09 之江实验室 基于数据风格解耦内容迁移的行人重识别数据域适应方法
CN112884679A (zh) * 2021-03-26 2021-06-01 中国科学院微电子研究所 一种图像转换方法、装置、存储介质和电子设备
CN113095999A (zh) * 2021-03-29 2021-07-09 北京雷石天地电子技术有限公司 一种视频风格转置方法和系统
CN113763503A (zh) * 2021-01-29 2021-12-07 北京沃东天骏信息技术有限公司 图形生成方法、装置和计算机可读存储介质
CN114119351A (zh) * 2021-11-08 2022-03-01 清华大学 图像处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537720A (zh) * 2017-03-01 2018-09-14 杭州九言科技股份有限公司 一种图像处理方法和装置
CN109345446A (zh) * 2018-09-18 2019-02-15 西华大学 一种基于对偶学习的图像风格转移算法
WO2020015075A1 (zh) * 2018-07-18 2020-01-23 平安科技（深圳）有限公司 人脸图像比对方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537720A (zh) * 2017-03-01 2018-09-14 杭州九言科技股份有限公司 一种图像处理方法和装置
WO2020015075A1 (zh) * 2018-07-18 2020-01-23 平安科技（深圳）有限公司 人脸图像比对方法、装置、计算机设备及存储介质
CN109345446A (zh) * 2018-09-18 2019-02-15 西华大学 一种基于对偶学习的图像风格转移算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭美钦;江健民;: "人脸图像风格迁移的改进算法" *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102269A (zh) * 2020-09-01 2020-12-18 浙江大学 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质
CN112102269B (zh) * 2020-09-01 2024-01-05 浙江大学 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质
CN112381707B (zh) * 2020-11-02 2023-06-20 腾讯科技（深圳）有限公司 图像生成方法、装置、设备以及存储介质
CN112381707A (zh) * 2020-11-02 2021-02-19 腾讯科技（深圳）有限公司 图像生成方法、装置、设备以及存储介质
CN112241729A (zh) * 2020-11-04 2021-01-19 深兰科技（上海）有限公司 智能眼镜和基于智能眼镜的场景风格迁移方法
CN112633071A (zh) * 2020-11-30 2021-04-09 之江实验室 基于数据风格解耦内容迁移的行人重识别数据域适应方法
CN112561785A (zh) * 2020-12-21 2021-03-26 东华大学 基于风格迁移的丝绸文物图像数据扩充方法
CN112561785B (zh) * 2020-12-21 2021-11-16 东华大学 基于风格迁移的丝绸文物图像数据扩充方法
CN113763503A (zh) * 2021-01-29 2021-12-07 北京沃东天骏信息技术有限公司 图形生成方法、装置和计算机可读存储介质
CN112884679A (zh) * 2021-03-26 2021-06-01 中国科学院微电子研究所 一种图像转换方法、装置、存储介质和电子设备
CN113095999A (zh) * 2021-03-29 2021-07-09 北京雷石天地电子技术有限公司 一种视频风格转置方法和系统
CN113095999B (zh) * 2021-03-29 2023-08-25 北京雷石天地电子技术有限公司 一种视频风格转置方法和系统
CN114119351A (zh) * 2021-11-08 2022-03-01 清华大学 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111583100B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111583100B (zh) 图像处理方法、装置、电子设备及存储介质
WO2021169723A1 (zh) 图像识别方法、装置、电子设备及存储介质
US11501415B2 (en) Method and system for high-resolution image inpainting
CN110473141B (zh) 图像处理方法、装置、存储介质及电子设备
CN107767328B (zh) 基于少量样本生成的任意风格和内容的迁移方法和系统
CN108345890B (zh) 图像处理方法、装置和相关设备
CN110598781A (zh) 图像处理方法、装置、电子设备及存储介质
CN108010031B (zh) 一种人像分割方法及移动终端
CN108681743B (zh) 图像对象识别方法和装置、存储介质
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
CN111476708B (zh) 模型生成方法、模型获取方法、装置、设备及存储介质
CN109840531A (zh) 训练多标签分类模型的方法和装置
CN111415358A (zh) 图像分割方法、装置、电子设备及存储介质
CN110287775B (zh) 手掌图像裁剪方法、装置、计算机设备及存储介质
CN110796162A (zh) 图像识别、训练识别模型的方法、相关设备及存储介质
CN112613581A (zh) 一种图像识别方法、系统、计算机设备和存储介质
CN109902716B (zh) 一种对齐分类模型的训练方法和图像分类方法
CN112633482B (zh) 一种高效宽度图卷积神经网络模型系统及训练方法
WO2021068376A1 (zh) 应用于卷积神经网络的卷积处理方法、系统及相关组件
JP2022548341A (ja) 目標モデルの取得
CN110428422B (zh) 超像素采样网络
KR20200092450A (ko) 데이터 라벨링을 수행하기 위한 기법
CN117252791A (zh) 图像处理方法、装置、电子设备及存储介质
CN113989460A (zh) 用于增强现实场景的实时天空替换特效控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant