CN111242844A - 图像处理方法、装置、服务器和存储介质 - Google Patents

图像处理方法、装置、服务器和存储介质 Download PDF

Info

Publication number
CN111242844A
CN111242844A CN202010061014.XA CN202010061014A CN111242844A CN 111242844 A CN111242844 A CN 111242844A CN 202010061014 A CN202010061014 A CN 202010061014A CN 111242844 A CN111242844 A CN 111242844A
Authority
CN
China
Prior art keywords
image
style
local
reference image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010061014.XA
Other languages
English (en)
Other versions
CN111242844B (zh
Inventor
谢鑫鹏
陈嘉伟
李悦翔
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010061014.XA priority Critical patent/CN111242844B/zh
Publication of CN111242844A publication Critical patent/CN111242844A/zh
Priority to PCT/CN2020/123838 priority patent/WO2021143264A1/zh
Priority to JP2022523029A priority patent/JP7412847B2/ja
Priority to US17/706,823 priority patent/US12125170B2/en
Application granted granted Critical
Publication of CN111242844B publication Critical patent/CN111242844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法、装置、服务器和存储介质；本发明可获取样本图像以及生成网络；采用生成网络对样本图像进行风格转换处理，得到参照图像；对参照图像和样本图像进行图像内容识别，确定参照图像与样本图像之间的内容损失；对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失；基于内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练，得到训练后生成网络；当获取到待处理图像时，采用训练后生成网络对待处理图像进行风格转换处理，得到风格转换后图像。该风格转换后图像在风格和图像内容上具有优秀的表现，由此，本发明可提升风格转换后图像的质量。

Description

图像处理方法、装置、服务器和存储介质
技术领域
本发明涉及计算机领域，具体涉及一种图像处理方法、装置、服务器和存储介质。
背景技术
人工智能(Artificial Intelligence，AI)是一种利用数字计算机来模拟人类感知环境、获取知识并使用知识的技术，该技术可以使机器具有类似于人类的感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习、深度学习等几大方向。
其中，计算机视觉(Computer Vision，CV)是利用计算机代替人眼对目标图像进行识别、测量等操作并进一步进行处理的技术。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、虚拟现实、增强现实、同步定位与地图构建等技术，比如，图像着色、图像描边提取等图像处理技术。
目前，通过计算机视觉技术进行的图像风格类型转换方法所生成的图像往往会产生多种图像失真问题，比如，图像的局部形变、图像的颜色信息缺失、图像风格类型错误，等等。因此，目前的图像处理方法所生成图像的质量低下。
发明内容
本发明实施例提供一种图像处理方法、装置、服务器和存储介质，可以提升图像处理所生成图像的质量。
本发明实施例提供一种图像处理方法，包括：
获取样本图像以及生成对抗网络，所述生成对抗网络包括生成网络和对抗网络；
采用所述生成网络对所述样本图像进行风格转换处理，得到参照图像；
采用所述对抗网络对所述参照图像进行全局风格识别，确定所述参照图像与所述样本图像之间的全局风格损失；
对所述参照图像和所述样本图像进行图像内容识别，确定所述参照图像与所述样本图像之间的内容损失；
对所述参照图像、所述样本图像进行局部风格识别，确定所述参照图像的局部风格损失，以及所述样本图像的局部风格损失；
基于所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练，得到训练后生成网络；
当获取到待处理图像时，采用所述训练后生成网络对所述待处理图像进行风格转换处理，得到风格转换后图像。
本发明实施例还提供一种图像处理装置，包括：
获取单元，用于获取样本图像以及生成对抗网络，所述生成对抗网络包括生成网络和对抗网络；
初转换单元，用于采用所述生成网络对所述样本图像进行风格转换处理，得到参照图像；
识别单元，用于采用所述对抗网络对所述参照图像进行全局风格识别，确定所述参照图像与所述样本图像之间的全局风格损失；
内容单元，用于对所述参照图像和所述样本图像进行图像内容识别，确定所述参照图像与所述样本图像之间的内容损失；
风格单元，用于对所述参照图像、所述样本图像进行局部风格识别，确定所述参照图像的局部风格损失，以及所述样本图像的局部风格损失；
训练单元，用于基于所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练，得到训练后生成网络；
再转换单元，用于当获取到待处理图像时，采用所述训练后生成网络对所述待处理图像进行风格转换处理，得到风格转换后图像。
本发明实施例还提供一种服务器，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本发明实施例所提供的任一种图像处理方法中的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。
本发明实施例可以本发明公开了一种图像处理方法、装置、服务器和存储介质；本发明可获取样本图像以及生成对抗网络，生成对抗网络包括生成网络和对抗网络；采用生成网络对样本图像进行风格转换处理，得到参照图像；采用对抗网络对参照图像进行全局风格识别，确定参照图像与样本图像之间的全局风格损失；对参照图像和样本图像进行图像内容识别，确定参照图像与样本图像之间的内容损失；对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失；基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练，得到训练后生成网络；当获取到待处理图像时，采用训练后生成网络对待处理图像进行风格转换处理，得到风格转换后图像。
本发明实施例可以辨识出样本图像的全局风格从而计算出全局风格损失，并根据参照图像与样本图像之间的内容损失、参照图像的局部风格损失，以及样本图像的局部风格损失优化生成网络的网络参数，使得训练后生成网络生成的风格转换后图像在局部上风格一致，以及，保证了风格转换后图像在内容上没有缺漏、损坏，由此，本方案可以提升图像处理方法所生成的风格转换后图像的质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的图像处理方法的场景示意图；
图1b是本发明实施例提供的图像处理方法的第一种流程示意图；
图1c是本发明实施例提供的图像处理方法的网络结构示意图；
图1d是本发明实施例提供的图像处理方法的cycle-GAN示意图；
图1e是本发明实施例提供的图像处理方法的GAN示意图；
图1f是本发明实施例提供的图像处理方法的质量监控网络的结构示意图；
图2a是本发明实施例提供的图像处理方法的第二种流程示意图；
图2b是本发明实施例提供的图像处理方法的街景图片示意图；
图2c是本发明实施例提供的图像处理方法的正循环示意图；
图2d是本发明实施例提供的图像处理方法的逆循环示意图；
图2e是本发明实施例提供的图像处理方法的质量监控流程示意图；
图2f是本发明实施例提供的图像处理方法的转换流程示意图；
图3是本发明实施例提供的图像处理装置的第一种结构示意图；
图4是本发明实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像处理方法、装置、服务器和存储介质。
其中，该图像处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
在一些实施例中，该图像处理装置还可以集成在多个电子设备中，比如，图像处理装置可以集成在多个服务器中，由多个服务器来实现本发明的图像处理方法。
在一些实施例中，服务器也可以以终端的形式来实现。
例如，参照图1a，该服务器可以搭载图像处理设备，该服务器可以从数据库中获取样本图像以及生成对抗网络，生成对抗网络包括生成网络和对抗网络；采用生成网络对样本图像进行风格转换处理，得到参照图像；采用对抗网络对参照图像进行全局风格识别，确定参照图像与样本图像之间的全局风格损失；对参照图像和样本图像进行图像内容识别，确定参照图像与样本图像之间的内容损失；对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失；基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练，得到训练后生成网络；当获取到用户上传的待处理图像时，该服务器可以采用训练后生成网络对待处理图像进行风格转换处理，得到风格转换后图像，并将该风格转换后图像返回给用户。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
机器学习(Machine Learning，ML)是基于对数据的初步认识以及学习目的所进行的一系列分析，对数学模型中的参数进行训练，最后运用训练后的模型对数据进行分析预测的方法。机器学习的方法通常包括深度学习、决策树算法、贝叶斯算法、支持向量机算法、随机森林算法、人工神经网络算法、关联规则算法以及期望最大化算法，等等。
在本实施例中，提供了一种基于机器学习的图像处理方法，如图1b所示，该图像处理方法的具体流程可以如下：
101、获取样本图像以及生成对抗网络，生成对抗网络包括生成网络和对抗网络。
本方案实施例可以用于图像处理，标注了图像风格类型的图像数据可以作为样本图像，来训练生成对抗网络中的生成网络和对抗网络。
该生成网络可以用于转换图像的图像风格类型，其中，该图像风格类型可以是图像的艺术风格类型，比如，艺术流派风格类型、艺术时代风格类型、自定义风格类型，等等。例如，艺术流派风格类型可以包括印象派、抽象派、写实派，等等；艺术时代风格类型可以包括传统古典派、现代写实派，等等。
该生成式对抗网络可以为任一种类型的生成式对抗网络(GenerativeAdversarial Networks，GAN)，包括至少一个生成网络(Generative Model)和判别网络(Discriminative Model)，在训练过程中，生成网络和判别网络可以互相博弈学习，从而优化网络参数，使得网络输出表现良好。
比如，在一些实施例中，生成对抗网络可以是任一种生成式对抗网络(GenerativeAdversarial Networks，GAN)，例如，条件生成式对抗网络(Conditional GenerativeAdversarial Networks，CGAN)、深度条件生成式对抗网络(Deep ConvolutionalGenerative Adversarial Networks，DCGAN)、瓦瑟斯坦生成式对抗网络(WassersteinGenerative Adversarial Networks，WGAN)、循环生成式对抗网络(Cycle GenerativeAdversarial Networks，Cycle-GAN)，等等。
其中，该生成网络可以是一种用于图像风格类型转换的人工神经网络模型，质量监控网络可以是一种用于监测、控制生成对抗网络输入输出之间差异的人工神经网络模型。
在一些实施例中，生成对抗网络还可以是任一种VGG网络(Visual GeometryGroup Network)，比如VGG16、VGG19，等等。
具体获取样本图像以及生成对抗网络的方式具有多种，获取样本图像以及生成对抗网络的方式既可以相同也可以不同；具体的获取方法可以是可以通过网络从样本数据库中获取、在本地内存中读取、由本地技术人员输入获得，等等。
102、采用生成网络对样本图像进行风格转换处理，得到参照图像。
生成对抗网络可以对样本图像进行风格转换处理，其中，风格转换处理是指将图像局部或整体的风格类型转换为另一种风格类型，同时保证图像所表达内容的完整性。
比如，将某一风格类型的画作整体转换为现代风格类型、写实风格类型、传统风格类型；再比如，将某一风格类型的照片整体转换为晴天风格类型、阴雨风格类型、雾霭风格类型；再比如，将某一风格类型的照片局部转换为用户自定义风格类型，等等。
在一些实施例中，参照图1c，生成对抗网络可以包括生成网络和对抗网络，参照图像可以包括第一参照图像和第二参照图像，步骤102可以是采用生成网络对样本图像进行风格转换处理，得到第一参照图像，以及对第一参照图像进行风格转换处理，得到第二参照图像。
在一些实施例中，为了保证图像处理的效率，以及最终生成图像的质量，生成网络包括正向生成网络和逆向生成网络，样本图像包括正向样本图像，第一参照图像包括第一正向参照图像，第二参照图像包括第二正向参照图像，参照图1c，步骤“采用生成网络对样本图像进行风格转换处理，得到第一参照图像，以及对第一参照图像进行风格转换处理，得到第二参照图像”具体可以包括如下步骤：
采用正向生成网络对正向样本图像进行风格转换处理，得到第一正向参照图像；
采用逆向生成网络对第一正向参照图像进行风格转换处理，得到第二正向参照图像。
其中，正向生成网络和逆向生成网络的网络结构类似，在正向生成网络中，样本图像的图像风格类型可以被转换为另一种图像风格类型，而逆向生成网络可以将正向生成网络输出的风格转换后图像进行风格类型上的复原，使得风格转换后图像尽量接近样本图像最初的图像风格类型，即，正向生成网络的输入图像和逆向生成网络的输出图像相同或相似，正向生成网络的输出图像和逆向生成网络的输入图像相同或相似。
样本图像可以包括正向样本图像和逆向样本图像为图像风格类型不同但表现内容相似的一对图像，即，逆向样本图像是正向样本图像风格类型变换后的图像。
此时，在一些实施例中，在步骤103中，可以采用对抗网络，预测第一参照图像与样本图像之间的相似度，并根据第一参照图像与样本图像之间的相似度计算参照图像与样本图像之间的全局风格损失。
由此，对抗网络可以限定第一参照图像的在全局上的图像风格类型，从而提高图像风格类型变换的准确度。
在一些实施例中，第一参照图像可以包括第一正向参照图像，第二参照图像可以包括第二正向参照图像；其中，第一正向参照图像是指正向样本图像在正向生成网络中进行第一次图像风格类型转换后所产生的图像，第二正向参照图像是指第一正向参照图像在正向生成网络中进行第二次图像风格类型转换后所产生的图像。
故在一些实施例中，生成网络可以包括正向生成网络和逆向生成网络，样本图像可以包括逆向样本图像，第一参照图像可以包括第一逆向参照图像，第二参照图像可以包括第二逆向参照图像，参照图1d的正循环部分，步骤“采用生成网络对样本图像进行风格转换处理，得到第一参照图像，以及对第一参照图像进行风格转换处理，得到第二参照图像”，具体包括如下步骤：
采用正向生成网络对正向样本图像进行风格转换处理，得到第一正向参照图像；
采用逆向生成网络对第一正向参照图像进行风格转换处理，得到第二正向参照图像。
在一些实施例中，生成网络可以包括正向生成网络和逆向生成网络，样本图像包括逆向样本图像，第一参照图像包括第一逆向参照图像，第二参照图像包括第二逆向参照图像，步骤“采用生成网络对样本图像进行风格转换处理，得到第一参照图像，以及对第一参照图像进行风格转换处理，得到第二参照图像”，具体包括如下步骤：
采用逆向生成网络对逆向样本图像进行风格转换处理，得到第一逆向参照图像；
采用正向生成网络对第一逆向参照图像进行风格转换处理，得到第二逆向参照图像。
比如，参照图1c，图1c所示的是Cycle-GAN网络，其中，图1d的上图为Cycle-GAN网络的正循环结构，在正循环中，正向样本图像首先输入正向生成网络，生成第一正向参照图像，然后，第一正向参照图像再输入到逆向网络中，生成第二正向网络；图1d的下图为Cycle-GAN网络的逆循环结构，在逆循环中，逆向样本图像首先输入逆向生成网络，生成第一逆向参照图像，然后，第一逆向参照图像再输入到正向网络中，生成第二逆向网络。
在一些实施例中，为了进一步提高风格类型转换的质量和效率，参照图1c，在步骤“采用生成网络对样本图像进行风格转换处理，得到第一参照图像，以及对第一参照图像进行风格转换处理，得到第二参照图像之后”之后，还可以计算样本图像和第二参照图像之间的转换损失，此时，步骤106具体可以是基于转换损失、全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练，得到训练后生成网络。
其中，转换损失是指两幅图像之间在像素、颜色分布、图像内容等图像特征上的损失。
103、采用对抗网络对参照图像进行全局风格识别，确定参照图像与样本图像之间的全局风格损失。
全局风格类型是指参照图像在图像整体方面所表现的图像风格类型。
在一些实施例中，图像中可以表现出多种图像风格类型，该图像的全局风格类型可以综合这些图像风格类型，比如，在一幅画作中，该画作的左上角表现出现代艺术风格，该画作的右下角表现出传统艺术风格，该画作整体其余部分表现出写实艺术风格，该画作具体的全局风格类型为混合写实艺术风格。
具体地，在一些实施例中，步骤103具体包括以下步骤：
采用对抗网络，预测第一参照图像与样本图像之间的相似度；
根据第一参照图像与样本图像之间的相似度计算参照图像与样本图像之间的全局风格损失。
其中，对抗网络可以通过计算第一参照图像与样本图像之间的相似度所属的预设范围，来确定第一参照图像的图像风格类型。
在另一些实施例中，对抗网络可以分别计算第一参照图像与样本图像之间的相似度，以及第一参照图像与逆向样本图像之间的相似度，来根据这两个相似度的大小来确定第一参照图像的图像风格类型。
例如，在些实施例中，步骤(2)具体包括以下步骤：
采用对抗网络，预测第一参照图像与样本图像之间的相似度，以及，预测第一参照图像与第二参照图像之间的相似度；
当第一参照图像与样本图像之间的相似度高于第一参照图像与逆向样本图像之间的相似度时，确定第一参照图像的图像风格类型为正向样本图像；
当第一参照图像与样本图像之间的相似度低于第一参照图像与逆向样本图像之间的相似度时，确定第一参照图像的图像风格类型为逆向样本图像。
具体地，步骤“根据第一参照图像与样本图像之间的相似度计算参照图像与样本图像之间的全局风格损失”包括：
当第一参照图像与样本图像之间的相似度属于预设正向范围时，将第一参照图像的图像风格类型确定为第一参照图像的图像风格类型；
当第一参照图像与样本图像之间的相似度属于预设逆向范围时，将第一参照图像的图像风格类型确定为第二参照图像的图像风格类型；
统计第一参照图像的图像风格类型，得到统计结果；
根据统计结果计算第一参照图像与样本图像之间的全局风格损失。
104、对参照图像和样本图像进行图像内容识别，确定参照图像与样本图像之间的内容损失。
其中，可以采用质量监控网络对参照图像和样本图像进行图像内容识别，确定参照图像与样本图像之间的内容损失。
该质量监控网络可以是卷积网络模型(Convolutional Neural Networks，CNN)、全连接神经网络(Full Connected Network，FNN)、(Convolutional Neural Networks,CNN)、深度神经网络(Deep Neural Networks，DNN)，等等。
在一些实施例中，质量监控网络可以是任一种图像对比网络，比如，前馈神经网络(Back Propagation Neural Network，BPNN)、孪生网络(Siamese Network，SN)，等等。
具体地，在一些实施例中，该质量监控网络可以包括内容监控网络和风格监控网络；比如，该质量监控网络可以是孪生网络，该孪生网络包括内容监控网络和风格监控网络，该内容监控网络可以用于执行步骤104，该风格监控网络可以用于执行步骤105。
例如，参照图1e，内容监控网络可以对参照图像以及样本图像进行内容对比分析，得到参照图像和样本图像之间的内容损失；风格监控网络可以对参照图像进行风格类型识别，得到参照图像的局部风格损失。
参照图1c，质量监控网络可以监控参照图像与样本图像之间的质量损失，在一些实施例中，质量损失可以包括内容损失和局部风格损失，内容监控网络可以监控内容损失，风格监控网络可以监控局部风格损失。
具体地，在一些实施例中，为了保证参照图像在风格类型和内容的质量，使得参照图像不发生形变、其全局风格类型表现更加均衡、稳定，参照图1f，图1f所示的是质量监控网络的网络结构，其中，深色部分为风格监控网络，浅色部分为质量监控网络，参照图像可以包括多个局部参照图像，样本图像可以包括多个局部样本图像(在图1f中，参照图像可以包括14个局部参照图像，样本图像可以包括14个局部样本图像)，在参照图像的所有局部图像中确定局部参照图像，以及，在样本图像的所有局部图像中确定局部样本图像，局部参照图像在参照图像中所处的位置和局部样本图像在样本图像中所处的位置相同；
采用孪生网络的内容监控网络，提取局部参照图像对应的局部参照内容特征，以及提取局部样本图像对应的局部样本内容特征；
对比局部参照内容特征和局部样本内容特征，得到局部参照图像和局部样本图像之间的局部内容损失；
根据局部内容损失，确定参照图像与样本图像之间的内容损失。
其中，内容监控网络可以对处于相同位置的局部参照图像和局部样本图像进行内容特征提取，比如，参照图1f，可以对同样处于第一排第四列的局部参照图像和局部样本图像进行内容特征提取。
在一些实施例中，孪生网络中可以包括第一编码器和第二编码器，在孪生网络中，该第一编码器和第二编码器相互共享权重参数；
其中，在一些实施例中，步骤“采用孪生网络的内容监控网络，提取局部参照图像对应的局部参照内容特征，以及提取局部样本图像对应的局部样本内容特征”可以包括以下步骤：
采用第一编码器对局部样本图像进行内容特征提取，得到局部样本图像的局部样本内容特征；
采用第二编码器对局部参照图像进行内容特征提取，得到局部参照图像的局部参照内容特征。
例如，参照图1f，第一编码器可以对局部样本图像A进行内容特征提取，得到局部样本图像A的局部内容特征；第二编码器可以对局部参照图像B进行内容特征提取，得到局部参照图像B的局部内容特征。
105、对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失。
类似步骤104，在一些实施例中，步骤“105可以是采用孪生网络的风格监控网络，对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失。
具体地，步骤“采用孪生网络的风格监控网络，对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失”包括：
在参照图像的所有局部图像中确定第一局部参照图像和第二局部参照图像，以及，在样本图像的所有局部图像中确定第一局部样本图像和第二局部样本图像，其中，第一局部参照图像和第二局部参照图像在参照图像中处于不同位置，第一局部样本图像和第二局部样本图像在样本图像中处于不同位置；
采用孪生网络的风格监控网络，提取第一局部参照图像对应的第一局部参照风格特征，以及提取第二局部参照图像对应的第二局部参照风格特征，以及提取第一局部样本图像对应的第一局部样本风格特征，以及提取第二局部样本图像的风格特征对应的和第二局部样本风格特征；
对比第一局部参照风格特征和第二局部参照风格特征，得到第一局部参照图像和第二局部参照图像之间局部风格损失；
对比第一局部样本风格特征和第二局部样本风格特征，得到第一局部样本图像和第二局部样本图像之间局部风格损失；
根据第一局部参照图像和第二局部参照图像之间局部风格损失计算参照图像的局部风格损失，以及，根据第一局部样本图像和第二局部样本图像之间局部风格损失计算样本图像的局部风格损失。
其中，在一些实施例中，风格监控网络也可以包括第一编码器和第二编码器，第一编码器和第二编码器相互共享权重参数，步骤“采用待训练模型的风格监控网络，分别提取对第一局部参照图像、第二局部参照图像、第一局部样本图像和第二局部样本图像的风格特征，第一局部参照风格特征、第二局部参照风格特征、第一局部样本风格特征和第二局部样本风格特征”可以包括以下步骤：
采用第一编码器对第一局部参照图像、第一局部样本图像进行风格特征提取，得到第一局部参照图像对应的第一局部参照风格特征，以及第一局部样本图像对应的第一局部样本风格特征；
采用第二编码器对第二局部参照图像、第二局部样本图像进行风格特征提取，得到第二局部参照图像对应的第二局部参照风格特征，以及第二局部样本图像对应的第二局部样本风格特征。
例如，参照图1f，风格监控网络的第一编码器可以对局部样本图像A进行风格特征提取，得到局部样本图像A的风格类型内容特征；风格监控网络的第二编码器可以对局部参照图像B进行风格特征提取，得到局部参照图像B的风格类型内容特征；最后，基于局部参照图像A的风格类型内容特征和局部参照图像B的风格类型内容特征预测参照图像的局部风格损失。
106、基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练，得到训练后生成网络。
在一些实施例中，在步骤102可以辨别第一参照图像的图像风格类型，故步骤104具体可以是基于质量损失和图像风格类型调整的参数，直至收敛，得到训练后模型，训练后模型包括训练后生成对抗网络。
在一些实施例中，在步骤102可以确定第一参照图像和训练图像之间的转换损失，故步骤104具体可以是基于质量损失，以及第一参照图像和训练图像之间的转换损失调整的参数，直至收敛，得到训练后模型，训练后模型包括训练后生成对抗网络。
在一些实施例中，在步骤102可以辨别第一参照图像的图像风格类型，以及确定第一参照图像和训练图像之间的转换损失，故步骤104具体可以是基于质量损失、图像风格类型，以及第一参照图像和训练图像之间的转换损失调整的参数，直至收敛，得到训练后模型，训练后模型包括训练后生成对抗网络。
在一些实施例中，可以采用多种算法来调整的参数，比如，可以采用梯度下降法调整网络模型的权重参数，例如，可以采用批量梯度下降法(Batch Gradient Descent，BGD)、随机梯度下降法(Stochastic Gradient Descent，SGD)、Nesterov加速梯度法(NesterovAccelerated Gradient，NAG)、自适应矩估计法(Adaptive Moment Estimation，Adam)等算法调整网络模型的权重参数。
107、当获取到待处理图像时，采用训练后生成网络对待处理图像进行风格转换处理，得到风格转换后图像。
在上述步骤101～106已经完成了模型训练，在步骤107可以采用该训练后生成对抗网络对待处理图像进行风格转换处理，得到风格转换后图像。
具体地，为了减少计算量、优化图像处理效率，训练后生成对抗网络包括了训练后正向生成网络、训练后逆向网络，当获取到待处理图像时，具体可以执行以下步骤：
获取风格类型转换指令；
当风格类型转换指令为正向转换指令时，采用训练后正向生成网络对待处理图像进行正向转换处理，得到风格转换后图像；
当风格类型转换指令为逆向转换指令时，采用训练后逆向生成网络对待处理图像进行逆向转换处理，得到风格转换后图像。
其中，风格类型转换指令中可以包括风格类型信息，该风格类型信息可以指导待处理图像转换为特定的风格类型。
例如，参照表1，当风格类型信息为“阳光风格类型转为阴雨风格类型”，则可以将风格类型转换指令确定为逆向转换指令；当风格类型信息为“阴雨风格类型转为阳光风格类型”，则可以将风格类型转换指令确定为逆向转换指令。
风格类型信息 风格类型转换指令类型
阳光风格类型转为阴雨风格类型 正向转换指令
阴雨风格类型转为阳光风格类型 逆向转换指令
表1
本发明实施例提供的图像处理方案可以应用在各种图像处理场景中，比如，可以通过本方案来进行迁移学习和数据增强；再比如，本方案可以用于对街景照片进行白天/黑夜风格类型的切换，等等。
例如，针对待处理的白天街景图像，可以由技术人员收集同一街景的处于白天和黑夜的照片，根据这些照片进行模型训练，训练完成后，采用该训练后模型的训练后正向生成网络对该待处理的白天街景图像进行正向转换处理，得到转换后的黑夜街景图像。
由上可知，本发明实施例可以获取样本图像以及生成对抗网络，生成对抗网络包括生成网络和对抗网络；采用生成网络对样本图像进行风格转换处理，得到参照图像；采用对抗网络对参照图像进行全局风格识别，确定参照图像与样本图像之间的全局风格损失；对参照图像和样本图像进行图像内容识别，确定参照图像与样本图像之间的内容损失；对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失；基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练，得到训练后生成网络；当获取到待处理图像时，采用训练后生成网络对待处理图像进行风格转换处理，得到风格转换后图像。
在一些实施例中，可以在步骤103中辨识出样本图像的全局风格类型，并以该全局风格类型标注样本图像，再采用该标注后的样本图像训练生成网络，得到训练后生成网络，因此，本方案实施例所需的样本图像无需过多标注，就可以进行网络模型的训练，降低了搜集、整理模型训练样本所需的时间与人工成本，提高了图像处理方法的效率。
在本发明实施例中，可以根据参照图像与样本图像之间的内容损失、参照图像的局部风格损失，以及样本图像的局部风格损失优化训练后生成网络的网络参数，使得采用该训练后生成网络生成的风格转换后图像在局部上风格一致，以及，保证了风格转换后图像在内容上没有缺漏、损坏。
由此，本方案可以训练出优秀的生成网络，以及有效地优化该生成网络的网络质量，从而提高训练后的生成对抗网络所生成的风格转换后图像的图像质量，本方案可以提升图像处理方法所生成的风格转换后图像的质量。
本实施例根据上述实施例所描述的方法，以下将作进一步详细说明。
在本实施例可用于对自动驾驶的街景识别里的场景图像标准化，其中，用户的自动驾驶车辆可以采集不同时间段、不同场景(比如，白天、黄昏、黑夜、阴雨等)下的图像数据。本实施例可以将黑夜场景图像转换为白天场景图像，或者，将白天场景图像转换为黑夜场景图像
最后，可以利用标准化后的数据进行进一步的机器学习任务训练，例如行人车辆的识别、检测，等等。
以下将以晴天、阴天风格类型的街景图片相互转换情景为例，对本发明实施例的方法进行详细说明。
如图2a所示，一种图像处理方法具体流程如下：
201、获取样本图像、，该包括正向生成网络、逆向生成网络、正向对抗网络、逆向对抗网络、风格监控网络和内容监控网络，该样本图像包括晴天样本和阴天样本。
参照图2b，样本图像为标注了天气风格类型的街景图片。
当进行模型训练时，需获取相同街景但天气风格类型不同的一对街景图片。
例如，标注了晴天的晴天中的杂货店X的街景图片与标注了阴天的阴天中的杂货店X的街景图片为一对图片。
在本实施例中，包括cycle-GAN和孪生网络，其中，cycle-GAN包括正向生成网络、逆向生成网络、正向对抗网络、逆向对抗网络；孪生网络包括风格监控网络和内容监控网络，其中，风格监控网络和内容监控网络共享一对权重共享的编码器。
在本实施例中，可以由技术人员设定，以及，通过服务器获取样本图像。
在一些实施例中，还可以对样本图像进行一系列的预处理，比如，数据清洗、数据增广，等等，从而进一步提升所生成图片的质量。
202、采用正向生成网络，对晴天样本进行风格转换处理，得到第一正向参照图像，以及采用逆向生成网络对第一正向参照图像进行风格转换处理，得到第二正向参照图像，以完成正循环，以及，确定晴天样本和第二正向参照图像之间的正转换损失。
参照图2c，图2c所示的是一次正循环，其中，正向生成网络GAB可以对晴天样本进行风格转换处理，得到第一正向参照图像，以及采用逆向生成网络对第一正向参照图像进行风格转换处理，得到第二正向参照图像。
然后，可以确定晴天样本和第二正向参照图像之间的正转换损失。
其中，正转换损失约束了，使得晴天样本和由第一正向参照图像重建的第二正向参照图像相似。
203、采用逆向生成网络，对阴天样本进行风格转换处理，得到第一逆向参照图像，以及采用正向生成网络对第一逆向参照图像进行风格转换处理，得到第二逆向参照图像，以完成逆循环，以及，确定阴天样本和第二逆向参照图像之间的逆转换损失。
参照图2d，图2d所示的是一次逆循环，其中，逆向生成网络可以对阴天样本进行风格转换处理，得到第一逆向参照图像，以及采用正向生成网络对第一逆向参照图像进行风格转换处理，得到第二逆向参照图像。
其中，逆转换损失约束了，使得阴天样本和由第一逆向参照图像重建的第二逆向参照图像相似。
204、采用正向对抗网络辨别第一正向参照图像的正向图像风格类型，以及采用逆向对抗网络辨别第一逆向参照图像的逆向图像风格类型。
参照图2c，在一次正循环中，正向对抗网络DAB还可以辨别第一正向参照图像的正向图像风格类型
参照图2d，在一次逆循环中，逆向对抗网络DBA还可以辨别第一逆向参照图像的逆向图像风格类型。
205、采用风格监控网络分别监控第一正向参照图像与样本图像之间的正向局部风格损失，以及第一逆向参照图像与样本图像之间的逆向局部风格损失。
由于生成对抗网络生成的图像在风格类型上可能会发生形变，故在此可以采用风格监控网络严格约束生成对抗网络生成的图像整体的风格类型，使得图像全局风格类型一致。
参照图2e所示的质量监控过程，其中，风格监控网络可以分别监控第一正向参照图像与样本图像之间的正向局部风格损失，以及第一逆向参照图像与样本图像之间的逆向局部风格损失。
其中，风格监控网络中包括串联层(Concat)、卷积层(Conv)、全局平均池化层(GAP)。
206、采用内容监控网络分别监控第一正向参照图像与样本图像之间的正向内容损失，以及第一逆向参照图像与样本图像之间的逆向内容损失。
由于生成对抗网络生成的图像在内容上可能会发生形变，故在此可以采用内容监控网络严格约束生成对抗网络生成的图像整体的内容，使得待转换图像和转换后图像的内容一致。
参照图2e所示的质量监控过程，其中，内容监控网络可以分别监控第一正向参照图像与样本图像之间的正向内容损失，以及第一逆向参照图像与样本图像之间的逆向内容损失。
其中，内容监控网络中包括卷积层(Conv)、插值层(Interpolation)。
其中，cA是第一参照图像中局部图像的内容特征，dA是第一参照图像中局部图像的风格特征，dA是样本图像中局部图像的内容特征，cB是样本图像中局部图像的风格特征。
当cA和，cB经过1×1卷积层后，可以使用最近领插值的方法插值回原始输入补丁的大小以计算内容一致性损失。
其中，风格监控网络和内容监控网络分享两个共享权重的编码器，该编码器可以将二维图像编码到特征隐空间中，其结构如表2所示：
Layers Encoder Layer Info Output size
1 Conv,L-ReLU (63,3,1,2) 86x86
2 Conv,L-ReLU (128,3,1,2) 43x43
3 Conv,L-ReLU (256,3,1,2) 22x22
4 Conv,L-ReLU (512,3,1,2) 11x11
表2
其中，该编码器包含4层卷积层(Conv)和Leaky ReLU层(L-ReLU)；其中，每层卷积层的参数信息在表2的layer Info中列出，包括通道数，卷积核大小，填充大小和步长。
207、基于正转换损失、逆转换损失、正向图像风格类型、逆向图像风格类型、正向局部风格损失、逆向局部风格损失、正向内容损失和逆向内容损失调整的参数，直至收敛，得到训练后模型，训练后模型包括训练后正向生成网络和训练后逆向生成网络。
此步骤参照步骤104，在此不做赘述。
208、当获取到待处理的晴天图像时，采用训练后正向生成网络对待处理的晴天图像进行风格转换处理，得到风格类型转换后的阴天图像，以及，当获取到待处理的阴天图像时，采用训练后逆向生成网络对待处理的阴天图像进行风格转换处理，得到风格类型转换后的晴天图像。
经过步骤201～207，可以获得效果优秀的训练后正向生成网络GAB个训练后逆向生成网络GBA，根据GAB和GBA可以同时实现双向的图像风格类型变换。
参照图2f，本方案中，用户可以通过前端A将待处理图像传输到后端，在后端服务器中，本方案提供的图像处理方法可以对待处理图像进行风格类型转换，最后将处理好的图像传输到前端B。
由上可知，本发明实施例可以获取样本图像、，该包括正向生成网络、逆向生成网络、正向对抗网络、逆向对抗网络、风格监控网络和内容监控网络，该样本图像包括晴天样本和阴天样本；采用正向生成网络，对晴天样本进行风格转换处理，得到第一正向参照图像，以及采用逆向生成网络对第一正向参照图像进行风格转换处理，得到第二正向参照图像，以完成正循环，以及，确定晴天样本和第二正向参照图像之间的正转换损失；采用逆向生成网络，对阴天样本进行风格转换处理，得到第一逆向参照图像，以及采用正向生成网络对第一逆向参照图像进行风格转换处理，得到第二逆向参照图像，以完成逆循环，以及，确定阴天样本和第二逆向参照图像之间的逆转换损失；采用正向对抗网络辨别第一正向参照图像的正向图像风格类型，以及采用逆向对抗网络辨别第一逆向参照图像的逆向图像风格类型；采用风格监控网络分别监控第一正向参照图像与样本图像之间的正向局部风格损失，以及第一逆向参照图像与样本图像之间的逆向局部风格损失；采用内容监控网络分别监控第一正向参照图像与样本图像之间的正向内容损失，以及第一逆向参照图像与样本图像之间的逆向内容损失；基于正转换损失、逆转换损失、正向图像风格类型、逆向图像风格类型、正向局部风格损失、逆向局部风格损失、正向内容损失和逆向内容损失调整的参数，直至收敛，得到训练后模型，训练后模型包括训练后正向生成网络和训练后逆向生成网络；当获取到待处理的晴天图像时，采用训练后正向生成网络对待处理的晴天图像进行风格转换处理，得到风格类型转换后的阴天图像，以及，当获取到待处理的阴天图像时，采用训练后逆向生成网络对待处理的阴天图像进行风格转换处理，得到风格类型转换后的晴天图像。。
本方案生成的图片在内容上不会发生形变，两张图像之间的图像的内容严格一致，图像整体的风格类型也严格一致，故本方案生成的图像质量高，且本方案的训练图像不需要额外标注，就可以进行模型训练，减少了数据准备所需的时间，提高了图像处理的效率。由此，本方案可以提升图像处理方法所生成图像的质量。
为了更好地实施以上方法，本发明实施例还提供一种图像处理装置，该图像处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
比如，在本实施例中，将以图像处理装置具体集成在服务器中为例，对本发明实施例的方法进行详细说明。
例如，如图3所示，该图像处理装置可以包括获取单元301、初转换单元302、识别单元303、内容单元304、风格单元305、训练单元306以及再转换单元307，如下：
(一)获取单元301：
获取单元301可以用于获取样本图像以及生成对抗网络，生成对抗网络包括生成网络和对抗网络。
(二)初转换单元302：
初转换单元302可以用于采用生成网络对样本图像进行风格转换处理，得到参照图像。
在一些实施例中，参照图像可以包括第一参照图像和第二参照图像，初转换单元302可以用于：
采用生成网络对样本图像进行风格转换处理，得到第一参照图像，以及对第一参照图像进行风格转换处理，得到第二参照图像。
在一些实施例中，生成网络可以包括正向生成网络和逆向生成网络，样本图像可以包括正向样本图像，第一参照图像可以包括第一正向参照图像，第二参照图像可以包括第二正向参照图像，初转换单元302具体可以包括第一正向子单元和第二正向子单元，如下：
(1)第一正向子单元：
第一正向子单元用于采用正向生成网络对正向样本图像进行风格转换处理，得到第一正向参照图像。
(2)第二正向子单元：
第二正向子单元用于采用逆向生成网络对第一正向参照图像进行风格转换处理，得到第二正向参照图像。
在一些实施例中，生成网络可以包括正向生成网络和逆向生成网络，样本图像可以包括逆向样本图像，第一参照图像可以包括第一逆向参照图像，第二参照图像可以包括第二逆向参照图像，初转换单元302具体可以包括第一逆向子单元和第二逆向子单元，如下：
(3)第一逆向子单元：
第一逆向子单元用于采用逆向生成网络对逆向样本图像进行风格转换处理，得到第一逆向参照图像。
(4)第二逆向子单元：
第二逆向子单元用于采用正向生成网络对第一逆向参照图像进行风格转换处理，得到第二逆向参照图像。
在一些实施例中，初转换单元302在采用生成网络对样本图像进行风格转换处理，得到第一参照图像，以及对第一参照图像进行风格转换处理，得到第二参照图像之后，具体还可以用于：计算样本图像和第二参照图像之间的转换损失。
(三)识别单元303：
识别单元303，可以用于采用对抗网络，预测第一参照图像与样本图像之间的相似度，并根据第一参照图像与样本图像之间的相似度计算参照图像与样本图像之间的全局风格损失。
具体地，在一些实施例中，识别单元303可以用于：
当第一参照图像与样本图像之间的相似度属于预设正向范围时，将第一参照图像的图像风格类型确定为第一参照图像的图像风格类型；
当第一参照图像与样本图像之间的相似度属于预设逆向范围时，将第一参照图像的图像风格类型确定为第二参照图像的图像风格类型；
统计第一参照图像的图像风格类型，得到统计结果；
根据统计结果计算第一参照图像与样本图像之间的全局风格损失。
(四)内容单元304：
内容单元304可以对参照图像和样本图像进行图像内容识别，确定参照图像与样本图像之间的内容损失。
在一些实施例中，内容单元304可以是采用孪生网络的内容监控网络，对参照图像和样本图像进行图像内容识别，确定参照图像与样本图像之间的内容损失。
具体地，在一些实施例中，内容单元304具体可以包括内容局部子单元、内容特征子单元、局部内容损失子单元和内容损失子单元，如下：
(1)内容局部子单元：
内容局部子单元，用于在参照图像的所有局部图像中确定局部参照图像，以及，在样本图像的所有局部图像中确定局部样本图像，局部参照图像在参照图像中所处的位置和局部样本图像在样本图像中所处的位置相同；。
(2)内容特征子单元：
内容特征子单元，用于采用孪生网络的内容监控网络，提取局部参照图像对应的局部参照内容特征，以及提取局部样本图像对应的局部样本内容特征。
(3)局部内容损失子单元：
局部内容损失子单元，用于对比局部参照内容特征和局部样本内容特征，得到局部参照图像和局部样本图像之间的局部内容损失。
(4)内容损失子单元：
内容损失子单元，用于根据局部内容损失，确定参照图像与样本图像之间的内容损失。
在一些实施例中，内容监控网络可以包括第一编码器和第二编码器，第一编码器和第二编码器相互共享权重参数，内容特征子单元具体可以用于：
采用第二编码器对局部参照图像进行内容特征提取，得到局部参照图像的局部参照内容特征；
采用第一编码器对局部样本图像进行内容特征提取，得到局部样本图像的局部样本内容特征。
(五)风格单元305：
风格单元305可以用于对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失。
在一些实施例中，风格单元305具体可以用于采用孪生网络的风格监控网络，对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失。
此时，在一些实施例中，风格单元305具体可以包括风格局部子单元、风格特征子单元、局部参照风格损失子单元、局部样本风格损失子单元和风格损失子单元，如下：
(1)风格局部子单元：
风格局部子单元，用于在参照图像的所有局部图像中确定第一局部参照图像和第二局部参照图像，以及，在样本图像的所有局部图像中确定第一局部样本图像和第二局部样本图像，其中，第一局部参照图像和第二局部参照图像在参照图像中处于不同位置，第一局部样本图像和第二局部样本图像在样本图像中处于不同位置。
(2)风格特征子单元：
风格特征子单元，用于采用孪生网络的风格监控网络，提取第一局部参照图像对应的第一局部参照风格特征，以及提取第二局部参照图像对应的第二局部参照风格特征，以及提取第一局部样本图像对应的第一局部样本风格特征，以及提取第二局部样本图像的风格特征对应的和第二局部样本风格特征。
(3)局部参照风格损失子单元：
局部参照风格损失子单元，用于对比第一局部参照风格特征和第二局部参照风格特征，得到第一局部参照图像和第二局部参照图像之间局部风格损失。
(4)局部样本风格损失子单元：
局部样本风格损失子单元，用于对比第一局部样本风格特征和第二局部样本风格特征，得到第一局部样本图像和第二局部样本图像之间局部风格损失。
(5)风格损失子单元：
风格损失子单元，用于根据第一局部参照图像和第二局部参照图像之间局部风格损失计算参照图像的局部风格损失，以及，根据第一局部样本图像和第二局部样本图像之间局部风格损失计算样本图像的局部风格损失。
此时，在一些实施例中，风格监控网络可以包括第一编码器和第二编码器，第一编码器和第二编码器可以相互共享权重参数，风格特征子单元具体可以用于：
采用第一编码器对第一局部参照图像、第一局部样本图像进行风格特征提取，得到第一局部参照图像对应的第一局部参照风格特征，以及第一局部样本图像对应的第一局部样本风格特征；
采用第二编码器对第二局部参照图像、第二局部样本图像进行风格特征提取，得到第二局部参照图像对应的第二局部参照风格特征，以及第二局部样本图像对应的第二局部样本风格特征。
(六)训练单元306：
训练单元306可以用于基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练，得到训练后生成网络。
在一些实施例中，初转换单元302可以用于计算样本图像和第二参照图像之间的转换损失，此时，训练单元306具体可以用于：
基于转换损失、全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练，得到训练后生成网络。
(七)再转换单元307：
再转换单元307可以用于当获取到待处理图像时，采用训练后生成网络对待处理图像进行风格转换处理，得到风格转换后图像。
在一些实施例中，训练后生成对抗网络可以包括训练后正向生成网络、训练后逆向网络，再转换单元307具体可以用于：
获取风格类型转换指令；
当风格类型转换指令为正向转换指令时，采用训练后正向生成网络对待处理图像进行正向转换处理，得到风格转换后图像；
当风格类型转换指令为逆向转换指令时，采用训练后逆向生成网络对待处理图像进行逆向转换处理，得到风格转换后图像。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的图像处理装置可以由获取单元获取样本图像以及生成对抗网络，生成对抗网络包括生成网络和对抗网络；由初转换单元采用生成网络对样本图像进行风格转换处理，得到参照图像；由识别单元采用对抗网络对参照图像进行全局风格识别，确定参照图像与样本图像之间的全局风格损失；由内容单元对参照图像和样本图像进行图像内容识别，确定参照图像与样本图像之间的内容损失；由风格单元对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失；由训练单元基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练，得到训练后生成网络；当获取到待处理图像时，由再转换单元采用训练后生成网络对待处理图像进行风格转换处理，得到风格转换后图像。由此，本方案可以提升图像处理方法所生成的风格转换后图像的质量。
本发明实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑，等等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。
在一些实施例中，该图像处理装置还可以集成在多个电子设备中，比如，图像处理装置可以集成在多个服务器中，由多个服务器来实现本发明的图像处理方法。在一些实施例中，图像处理装置也可以由一台服务器来实现。
在本实施例中，将以本实施例的电子设备是服务器为例进行详细描述，比如，如图4所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：
该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解，图4中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
服务器还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入模块404，该输入模块404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该服务器还可包括通信模块405，在一些实施例中通信模块405可以包括无线模块，服务器可以通过该通信模块405的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取样本图像以及生成对抗网络，生成对抗网络包括生成网络和对抗网络；
采用生成网络对样本图像进行风格转换处理，得到参照图像；
采用对抗网络对参照图像进行全局风格识别，确定参照图像与样本图像之间的全局风格损失；
对参照图像和样本图像进行图像内容识别，确定参照图像与样本图像之间的内容损失；
对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失；
基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练，得到训练后生成网络；
当获取到待处理图像时，采用训练后生成网络对待处理图像进行风格转换处理，得到风格转换后图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本方案可以提升图像处理方法所生成的风格转换后图像的质量。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：
获取样本图像以及生成对抗网络，生成对抗网络包括生成网络和对抗网络；
采用生成网络对样本图像进行风格转换处理，得到参照图像；
采用对抗网络对参照图像进行全局风格识别，确定参照图像与样本图像之间的全局风格损失；
对参照图像和样本图像进行图像内容识别，确定参照图像与样本图像之间的内容损失；
对参照图像、样本图像进行局部风格识别，确定参照图像的局部风格损失，以及样本图像的局部风格损失；
基于全局风格损失、内容损失、参照图像的局部风格损和样本图像的局部风格损失对生成网络进行训练，得到训练后生成网络；
当获取到待处理图像时，采用训练后生成网络对待处理图像进行风格转换处理，得到风格转换后图像。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像处理方法、装置、服务器和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取样本图像以及生成对抗网络，所述生成对抗网络包括生成网络和对抗网络；
采用所述生成网络对所述样本图像进行风格转换处理，得到参照图像；
采用所述对抗网络对所述参照图像进行全局风格识别，确定所述参照图像与所述样本图像之间的全局风格损失；
对所述参照图像和所述样本图像进行图像内容识别，确定所述参照图像与所述样本图像之间的内容损失；
对所述参照图像、所述样本图像进行局部风格识别，确定所述参照图像的局部风格损失，以及所述样本图像的局部风格损失；
基于所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练，得到训练后生成网络；
当获取到待处理图像时，采用所述训练后生成网络对所述待处理图像进行风格转换处理，得到风格转换后图像。
2.如权利要求1所述的图像处理方法，其特征在于，所述参照图像包括第一参照图像和第二参照图像，所述采用所述生成网络对所述样本图像进行风格转换处理，得到参照图像，包括：
采用所述生成网络对所述样本图像进行风格转换处理，得到第一参照图像，以及对所述第一参照图像进行风格转换处理，得到第二参照图像；
所述采用所述对抗网络对所述参照图像进行全局风格识别，确定所述参照图像与所述样本图像之间的全局风格损失，包括：
采用所述对抗网络，预测所述第一参照图像与所述样本图像之间的相似度；
根据所述第一参照图像与所述样本图像之间的相似度计算所述参照图像与所述样本图像之间的全局风格损失。
3.如权利要求2所述的图像处理方法，其特征在于，所述生成网络包括正向生成网络和逆向生成网络，所述样本图像包括正向样本图像，所述第一参照图像包括第一正向参照图像，所述第二参照图像包括第二正向参照图像；
所述采用所述生成网络对所述样本图像进行风格转换处理，得到第一参照图像，以及对所述第一参照图像进行风格转换处理，得到第二参照图像，包括：
采用所述正向生成网络对所述正向样本图像进行风格转换处理，得到第一正向参照图像；
采用所述逆向生成网络对所述第一正向参照图像进行风格转换处理，得到第二正向参照图像。
4.如权利要求2所述的图像处理方法，其特征在于，所述生成网络包括正向生成网络和逆向生成网络，所述样本图像包括逆向样本图像，所述第一参照图像包括第一逆向参照图像，所述第二参照图像包括第二逆向参照图像；
所述采用所述生成网络对所述样本图像进行风格转换处理，得到第一参照图像，以及对所述第一参照图像进行风格转换处理，得到第二参照图像，包括：
采用所述逆向生成网络对所述逆向样本图像进行风格转换处理，得到第一逆向参照图像；
采用所述正向生成网络对所述第一逆向参照图像进行风格转换处理，得到第二逆向参照图像。
5.如权利要求2所述的图像处理方法，其特征在于，所述采用所述生成网络对所述样本图像进行风格转换处理，得到第一参照图像，以及对所述第一参照图像进行风格转换处理，得到第二参照图像之后，还包括：
计算所述样本图像和第二参照图像之间的转换损失；
所述基于所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练，得到训练后生成网络，包括：
基于所述转换损失、所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练，得到训练后生成网络。
6.如权利要求2所述的图像处理方法，其特征在于，所述根据所述第一参照图像与所述样本图像之间的相似度计算所述参照图像与所述样本图像之间的全局风格损失，包括：
当所述第一参照图像与所述样本图像之间的相似度属于预设正向范围时，将所述第一参照图像的图像风格类型确定为第一参照图像的图像风格类型；
当所述第一参照图像与所述样本图像之间的相似度属于预设逆向范围时，将所述第一参照图像的图像风格类型确定为第二参照图像的图像风格类型；
统计所述第一参照图像的图像风格类型，得到统计结果；
根据所述统计结果计算所述第一参照图像与所述样本图像之间的全局风格损失。
7.如权利要求1所述的图像处理方法，其特征在于，所述对所述参照图像和所述样本图像进行图像内容识别，确定所述参照图像与所述样本图像之间的内容损失，包括：
采用孪生网络的内容监控网络，对所述参照图像和所述样本图像进行图像内容识别，确定所述参照图像与所述样本图像之间的内容损失；
所述对所述参照图像、所述样本图像进行局部风格识别，确定所述参照图像的局部风格损失，以及所述样本图像的局部风格损失，包括：
采用孪生网络的风格监控网络，对所述参照图像、所述样本图像进行局部风格识别，确定所述参照图像的局部风格损失，以及所述样本图像的局部风格损失。
8.如权利要求7所述的图像处理方法，其特征在于所述采用孪生网络的内容监控网络，所述对所述参照图像和所述样本图像进行图像内容识别，包括：
在所述参照图像的所有局部图像中确定局部参照图像，以及，在所述样本图像的所有局部图像中确定局部样本图像，所述局部参照图像在所述参照图像中所处的位置和所述局部样本图像在所述样本图像中所处的位置相同；
采用孪生网络的内容监控网络，提取所述局部参照图像对应的局部参照内容特征，以及提取所述局部样本图像对应的局部样本内容特征；
对比所述局部参照内容特征和所述局部样本内容特征，得到所述局部参照图像和局部样本图像之间的局部内容损失；
根据所述局部内容损失，确定所述参照图像与所述样本图像之间的内容损失。
9.如权利要求8所述的图像处理方法，其特征在于，所述孪生网络的内容监控网络包括第一编码器和第二编码器，所述第一编码器和第二编码器相互共享权重参数，所述采用孪生网络的内容监控网络，提取所述局部参照图像对应的局部参照内容特征，以及提取所述局部样本图像对应的局部样本内容特征，包括：
采用所述第一编码器对所述局部样本图像进行内容特征提取，得到所述局部样本图像的局部样本内容特征；
采用所述第二编码器对所述局部参照图像进行内容特征提取，得到所述局部参照图像的局部参照内容特征。
10.如权利要求7所述的图像处理方法，其特征在于，所述采用孪生网络的风格监控网络，对所述参照图像、所述样本图像进行局部风格识别，确定所述参照图像的局部风格损失，以及所述样本图像的局部风格损失，包括：
在所述参照图像的所有局部图像中确定第一局部参照图像和第二局部参照图像，以及，在所述样本图像的所有局部图像中确定第一局部样本图像和第二局部样本图像，其中，所述第一局部参照图像和第二局部参照图像在所述参照图像中处于不同位置，所述第一局部样本图像和第二局部样本图像在所述样本图像中处于不同位置；
采用孪生网络的风格监控网络，提取所述第一局部参照图像对应的第一局部参照风格特征，以及提取所述第二局部参照图像对应的第二局部参照风格特征，以及提取所述第一局部样本图像对应的第一局部样本风格特征，以及提取所述第二局部样本图像的风格特征对应的和第二局部样本风格特征；
对比所述第一局部参照风格特征和所述第二局部参照风格特征，得到所述第一局部参照图像和所述第二局部参照图像之间局部风格损失；
对比所述第一局部样本风格特征和所述第二局部样本风格特征，得到所述第一局部样本图像和所述第二局部样本图像之间局部风格损失；
根据所述第一局部参照图像和所述第二局部参照图像之间局部风格损失计算所述参照图像的局部风格损失，以及，根据所述第一局部样本图像和所述第二局部样本图像之间局部风格损失计算所述样本图像的局部风格损失。
11.如权利要求10所述的图像处理方法，其特征在于，所述孪生网络的风格监控网络包括第一编码器和第二编码器，所述第一编码器和第二编码器相互共享权重参数；
采用孪生网络的风格监控网络，提取所述第一局部参照图像对应的第一局部参照风格特征，以及提取所述第二局部参照图像对应的第二局部参照风格特征，以及提取所述第一局部样本图像对应的第一局部样本风格特征，以及提取所述第二局部样本图像的风格特征对应的和第二局部样本风格特征，包括：
采用所述第一编码器对所述第一局部参照图像、所述第一局部样本图像进行风格特征提取，得到所述第一局部参照图像对应的第一局部参照风格特征，以及所述第一局部样本图像对应的第一局部样本风格特征；
采用所述第二编码器对所述第二局部参照图像、所述第二局部样本图像进行风格特征提取，得到所述第二局部参照图像对应的第二局部参照风格特征，以及所述第二局部样本图像对应的第二局部样本风格特征。
12.如权利要求1所述的图像处理方法，其特征在于，所述训练后生成网络包括训练后正向生成网络、训练后逆向生成网络，所述当获取到待处理图像时，采用所述训练后生成网络对所述待处理图像进行风格转换处理，得到风格转换后图像，包括：
获取风格类型转换指令；
当所述风格类型转换指令为正向转换指令时，采用所述训练后正向生成网络对所述待处理图像进行正向转换处理，得到风格转换后图像；
当所述风格类型转换指令为逆向转换指令时，采用所述训练后逆向生成网络对所述待处理图像进行逆向转换处理，得到风格转换后图像。
13.一种图像处理装置，其特征在于，包括：
获取单元，用于获取样本图像以及生成对抗网络，所述生成对抗网络包括生成网络和对抗网络；
初转换单元，用于采用所述生成网络对所述样本图像进行风格转换处理，得到参照图像；
识别单元，用于采用所述对抗网络对所述参照图像进行全局风格识别，确定所述参照图像与所述样本图像之间的全局风格损失；
内容单元，用于对所述参照图像和所述样本图像进行图像内容识别，确定所述参照图像与所述样本图像之间的内容损失；
风格单元，用于对所述参照图像、所述样本图像进行局部风格识别，确定所述参照图像的局部风格损失，以及所述样本图像的局部风格损失；
训练单元，用于基于所述全局风格损失、所述内容损失、所述参照图像的局部风格损和所述样本图像的局部风格损失对所述生成网络进行训练，得到训练后生成网络；
再转换单元，用于当获取到待处理图像时，采用所述训练后生成网络对所述待处理图像进行风格转换处理，得到风格转换后图像。
14.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1～12任一项所述的图像处理方法中的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～12任一项所述的图像处理方法中的步骤。
CN202010061014.XA 2020-01-19 2020-01-19 图像处理方法、装置、服务器和存储介质 Active CN111242844B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010061014.XA CN111242844B (zh) 2020-01-19 2020-01-19 图像处理方法、装置、服务器和存储介质
PCT/CN2020/123838 WO2021143264A1 (zh) 2020-01-19 2020-10-27 图像处理方法、装置、服务器和存储介质
JP2022523029A JP7412847B2 (ja) 2020-01-19 2020-10-27 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム
US17/706,823 US12125170B2 (en) 2020-01-19 2022-03-29 Image processing method and apparatus, server, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010061014.XA CN111242844B (zh) 2020-01-19 2020-01-19 图像处理方法、装置、服务器和存储介质

Publications (2)

Publication Number Publication Date
CN111242844A true CN111242844A (zh) 2020-06-05
CN111242844B CN111242844B (zh) 2023-09-22

Family

ID=70866187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010061014.XA Active CN111242844B (zh) 2020-01-19 2020-01-19 图像处理方法、装置、服务器和存储介质

Country Status (3)

Country Link
JP (1) JP7412847B2 (zh)
CN (1) CN111242844B (zh)
WO (1) WO2021143264A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784567A (zh) * 2020-07-03 2020-10-16 北京字节跳动网络技术有限公司 用于转换图像的方法、装置、电子设备和计算机可读介质
CN112990378A (zh) * 2021-05-08 2021-06-18 腾讯科技（深圳）有限公司 基于人工智能的场景识别方法、装置及电子设备
WO2021143264A1 (zh) * 2020-01-19 2021-07-22 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器和存储介质
CN113469876A (zh) * 2021-07-28 2021-10-01 北京达佳互联信息技术有限公司 图像风格迁移模型训练方法、图像处理方法、装置及设备
CN114266937A (zh) * 2021-12-20 2022-04-01 北京百度网讯科技有限公司 模型训练、图像处理方法，装置，设备以及存储介质
CN117132949A (zh) * 2023-10-27 2023-11-28 长春理工大学 一种基于深度学习的全天候跌倒检测方法
US12125170B2 (en) 2020-01-19 2024-10-22 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, server, and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989115B (zh) * 2021-10-21 2024-04-02 河北师范大学 一种基于对比学习的全局马赛克去除方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240257A1 (en) * 2017-02-21 2018-08-23 Adobe Systems Incorporated Deep high-resolution style synthesis
CN109816589A (zh) * 2019-01-30 2019-05-28 北京字节跳动网络技术有限公司 用于生成漫画风格转换模型的方法和装置
CN110322002A (zh) * 2019-04-30 2019-10-11 深圳市商汤科技有限公司 图像生成网络的训练及图像处理方法和装置、电子设备
CN110427799A (zh) * 2019-06-12 2019-11-08 中国地质大学（武汉） 基于生成对抗网络的人手深度图像数据增强方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106847294B (zh) * 2017-01-17 2018-11-30 百度在线网络技术（北京）有限公司 基于人工智能的音频处理方法和装置
US10152768B2 (en) * 2017-04-14 2018-12-11 Facebook, Inc. Artifact reduction for image style transfer
CN111242844B (zh) * 2020-01-19 2023-09-22 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240257A1 (en) * 2017-02-21 2018-08-23 Adobe Systems Incorporated Deep high-resolution style synthesis
CN109816589A (zh) * 2019-01-30 2019-05-28 北京字节跳动网络技术有限公司 用于生成漫画风格转换模型的方法和装置
CN110322002A (zh) * 2019-04-30 2019-10-11 深圳市商汤科技有限公司 图像生成网络的训练及图像处理方法和装置、电子设备
CN110427799A (zh) * 2019-06-12 2019-11-08 中国地质大学（武汉） 基于生成对抗网络的人手深度图像数据增强方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021143264A1 (zh) * 2020-01-19 2021-07-22 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器和存储介质
US12125170B2 (en) 2020-01-19 2024-10-22 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, server, and storage medium
CN111784567A (zh) * 2020-07-03 2020-10-16 北京字节跳动网络技术有限公司 用于转换图像的方法、装置、电子设备和计算机可读介质
CN112990378A (zh) * 2021-05-08 2021-06-18 腾讯科技（深圳）有限公司 基于人工智能的场景识别方法、装置及电子设备
CN113469876A (zh) * 2021-07-28 2021-10-01 北京达佳互联信息技术有限公司 图像风格迁移模型训练方法、图像处理方法、装置及设备
CN113469876B (zh) * 2021-07-28 2024-01-09 北京达佳互联信息技术有限公司 图像风格迁移模型训练方法、图像处理方法、装置及设备
CN114266937A (zh) * 2021-12-20 2022-04-01 北京百度网讯科技有限公司 模型训练、图像处理方法，装置，设备以及存储介质
CN117132949A (zh) * 2023-10-27 2023-11-28 长春理工大学 一种基于深度学习的全天候跌倒检测方法
CN117132949B (zh) * 2023-10-27 2024-02-09 长春理工大学 一种基于深度学习的全天候跌倒检测方法

Also Published As

Publication number Publication date
WO2021143264A1 (zh) 2021-07-22
CN111242844B (zh) 2023-09-22
JP7412847B2 (ja) 2024-01-15
US20220222796A1 (en) 2022-07-14
JP2022553252A (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
CN111242844B (zh) 图像处理方法、装置、服务器和存储介质
CN107833183B (zh) 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN112132197B (zh) 模型训练、图像处理方法、装置、计算机设备和存储介质
CN110930342B (zh) 一种基于彩色图引导的深度图超分辨率重建网络构建方法
CN111709497B (zh) 一种信息处理方法、装置及计算机可读存储介质
KR20210074360A (ko) 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체
CN109086683A (zh) 一种基于点云语义增强的人手姿态回归方法和系统
CN111292262B (zh) 图像处理方法、装置、电子设备以及存储介质
WO2023151529A1 (zh) 人脸图像的处理方法及相关设备
CN114445633B (zh) 图像处理方法、装置和计算机可读存储介质
CN111126389A (zh) 文本检测方法、装置、电子设备以及存储介质
WO2023036157A1 (en) Self-supervised spatiotemporal representation learning by exploring video continuity
US20230143985A1 (en) Data feature extraction method and related apparatus
CN116519106B (zh) 一种用于测定生猪体重的方法、装置、存储介质和设备
CN114783022A (zh) 一种信息处理方法、装置、计算机设备及存储介质
CN114610677B (zh) 一种转换模型的确定方法和相关装置
CN110163049B (zh) 一种人脸属性预测方法、装置及存储介质
CN112991501B (zh) 一种数据处理方法、装置及计算机可读存储介质
CN111489361B (zh) 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法
CN110826726B (zh) 目标处理方法、目标处理装置、目标处理设备及介质
CN113298731A (zh) 图像色彩迁移方法及装置、计算机可读介质和电子设备
US12125170B2 (en) Image processing method and apparatus, server, and storage medium
CN113706650A (zh) 一种基于注意力机制和流模型的图像生成方法
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024361

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant