CN110866866B - 图像仿色处理方法、装置、电子设备及存储介质 - Google Patents

图像仿色处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110866866B
CN110866866B CN201911112838.9A CN201911112838A CN110866866B CN 110866866 B CN110866866 B CN 110866866B CN 201911112838 A CN201911112838 A CN 201911112838A CN 110866866 B CN110866866 B CN 110866866B
Authority
CN
China
Prior art keywords
image
loss
content
feature
tone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911112838.9A
Other languages
English (en)
Other versions
CN110866866A (zh
Inventor
余自强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911112838.9A priority Critical patent/CN110866866B/zh
Publication of CN110866866A publication Critical patent/CN110866866A/zh
Application granted granted Critical
Publication of CN110866866B publication Critical patent/CN110866866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像处理技术领域，公开了一种图像仿色处理方法、装置、电子设备及存储介质，涉及人工智能技术，利用人工智能中机器学习技术进行图像仿色处理，方法包括：将待处理图像和目标图像作为样本，多次更新图像生成网络的参数，直至通过图像生成网络对待处理图像进行转换后的输出图像和目标图像之间的损失图像损失信息满足结束条件；将图像损失信息满足结束条件时图像生成网络的输出图像，确定为模仿目标图像的色调的仿色图像。本申请实施例提供的图像仿色处理方法、装置、电子设备及存储介质，使得用户只需要输入待处理图像和目标图像，就可以自动对待处理图像进行处理，获得模仿目标图像色调的仿色图像，操作简单、处理效率高。

Description

图像仿色处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像仿色处理方法、装置、电子设备及存储介质。
背景技术
当下，人们热衷于对拍摄的图像进行处理后发送至社交网络，而在图像处理中，调色是一种最常见的图像处理操作，人们往往通过图像处理软件提供的各种滤镜获得满意的照片。实际应用中，很多时候用户只是想模仿一幅图像的色调，而滤镜的参数固定且数量有限，不一定能找到合适的滤镜。而通过Photoshop或Lightromm等图像处理软件进行调色，则需要不断地调整饱和度、曲线、亮度、对比度等参数，才可能最大程度接近目标图像的色调，这需要很强的专业知识，往往只有专业摄影师才可能模仿出目标图像的色调，对于普通用户来说操作复杂、处理难度极大。
发明内容
本申请实施例提供一种图像仿色处理方法、装置、电子设备及存储介质，使得用户只需要输入待处理图像和目标图像，就可以自动对待处理图像进行处理，获得模仿目标图像色调的仿色图像，操作简单、处理效率高。
一方面，本申请一实施例提供了一种图像仿色处理方法，包括：
获取待处理图像和目标图像；
将所述待处理图像和所述目标图像作为样本，多次更新图像生成网络的参数，直至通过所述图像生成网络对所述待处理图像进行转换后的输出图像和所述目标图像之间的损失图像损失信息满足结束条件，所述图像损失信息包括所述输出图像和所述目标图像之间的色调损失、以及所述输出图像和所述待处理图像之间的内容损失；
将图像损失信息满足结束条件时所述图像生成网络的输出图像，确定为模仿所述目标图像的色调的仿色图像。
一方面，本申请一实施例提供了一种图像仿色处理方法，包括：
响应在操作界面中输入的开始仿色指令，向后台服务器发送仿色处理请求，所述仿色处理请求包括用户选择的待处理图像和目标图像，以使所述后台服务器根据上述任一所述方法模仿所述目标图像的色调，得到所述待处理图像对应的仿色图像；
获取后台服务器返回的仿色图像。
一方面，本申请一实施例提供了一种图像仿色处理装置，包括：
获取模块，用于获取待处理图像和目标图像；
更新模块，用于将所述待处理图像和所述目标图像作为样本，多次更新图像生成网络的参数，直至通过所述图像生成网络对所述待处理图像进行转换后的输出图像和所述目标图像之间的损失图像损失信息满足结束条件，所述图像损失信息包括所述输出图像和所述目标图像之间的色调损失、以及所述输出图像和所述待处理图像之间的内容损失；
输出模块，用于将图像损失信息满足结束条件时所述图像生成网络的输出图像，确定为模仿所述目标图像的色调的仿色图像。
可选地，更新模块，还用于：
根据第一特征矩阵和第三特征矩阵，确定所述加权处理过程中所述色调损失对应的色调损失权重，所述第一特征矩阵为将所述待处理图像输入所述特征提取网络后色调权重提取层输出的特征矩阵，所述第三特征矩阵为将所述目标图像输入所述特征提取网络后色调权重提取层输出的特征矩阵；
根据第二特征矩阵和第四特征矩阵，确定所述加权处理过程中所述内容损失对应的内容损失权重，所述第二特征矩阵为将所述待处理图像输入所述特征提取网络后内容权重提取层输出的特征矩阵，所述第四特征矩阵为将所述目标图像输入所述特征提取网络后内容权重提取层输出的特征矩阵。
可选地，更新模块，具体用于：
通过如下公式确定所述图像损失信息：
loss＝Wclc+αWsls，
其中，ls为风格损失，lc为内容损失，Wc为内容损失权重和Ws为色调损失权重，α为权重调节因子。
可选地，所述权重调节因子α是根据如下公式确定的：
可选地，所述结束条件包括：更新次数达到目标次数、更新时长达到目标时长或图像损失信息小于目标损失。
可选地，所述图像生成网络为高分辨率神经网络，所述高分辨率神经网络包括多级多分辨率并行子网；
更新模块，具体用于通过如下方式获取输出图像：
各多分辨率并行子网分别从输入数据中提取多种分辨率下的特征图，融合多种分辨率下的特征图得到输出数据，并输入下一级多分辨率并行子网，其中第一级多分辨率并行子网的输入数据为所述待处理图像对应的数据，其他各级多分辨率并行子网的输入数据为位于其上一级的多分辨率并行子网的输出数据；
根据最后一级多分辨率并行子网输出的输出数据，得到输出图像。
一方面，本申请一实施例提供了一种图像仿色处理装置，包括：
发送模块，用于响应在操作界面中输入的开始仿色指令，向后台服务器发送仿色处理请求，所述仿色处理请求包括用户选择的待处理图像和目标图像，以使所述后台服务器根据上述任一方法模仿所述目标图像的色调，得到所述待处理图像对应的仿色图像；
接收模块，用于获取后台服务器返回的仿色图像。
一方面，本申请一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。
一方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
一方面，本申请一实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现上述任一种方法的步骤。
本申请实施例提供的图像仿色处理方法、装置、电子设备及存储介质，基于用户提供的待处理图像、目标图像和图像生成网络的输出图像，不断更新图像生成网络的参数，使得输出图像和目标图像之间的色调损失、以及输出图像和待处理图像之间的内容损失不断减小，最终使得图像生成网络能够输出只迁移目标图像的色调信息，而不改变待处理图像的结构的输出图像，这样，用户只需要提供待处理图像和目标图像，就可以自动获取到模仿目标图像色调的仿色图像，操作简单、处理效率高，且用户可获得模仿任意一副图像的色调的仿色图像。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像仿色处理方法的应用场景示意图；
图2为本申请一实施例提供的图像仿色处理方法的流程示意图；
图3为本申请一实施例提供的更新图像生成网络的参数的流程示意图；
图4为本申请一实施例提供的确定图像损失信息的流程示意图；
图5为高分辨率神经网络的一种可能的网络结构；
图6为VGG19的网络结构图。
图7A为内容相同但色调不同的两幅图像的对比图；
图7B为色调相同但内容不同的两幅图像的对比图；
图7C为色调和内容均不同的两幅图像的对比图；
图8为基于本申请提供的图像仿色处理方法的获得的仿色图像；
图9为本申请一实施例提供的图像仿色处理方法的流程示意图；
图10A为本申请一实施例提供的图像仿色功能对应的操作界面；
图10B为本申请一实施例提供的图像仿色功能对应的操作界面；
图11为本申请一实施例提供的图像仿色处理装置的结构示意图；
图12为本申请一实施例提供的图像仿色处理装置的结构示意图；
图13为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
为了方便理解，下面对本申请实施例中涉及的名词进行解释：
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
仿色：通过对图片色彩的分析，模仿其整体的风格色调，例如日系、复古等色调。
色调：主要表现在图像的颜色、亮度、对比度、饱和度相关的色彩信息。
VGG19：是一种极深的大规模图像识别卷积网络，前几层仅使用3×3卷积核来增加网络深度，通过max pooling(最大池化)依次减少每层的神经元数量，最后三层分别是2个有4096个神经元的全连接层和一个softmax层。VGG19共用19层，本文采用基于ImageNet(包含上千万张图片的数据集)训练好的VGG19预训练模型参数进行色调迁移。
高分辨神经网络：是一种在CVPR2019(IEEE国际计算机视觉与模式识别会议)提出的网络结构，通过对图片不同分辨率下的多尺度融合学习，可以学习到图片高分辨率下的信息。
Gram(格拉姆)矩阵：可以看做特征之间的偏心协方差矩阵(即没有减去均值的协方差矩阵)，在特征中，每个数字都来自于一个特定滤波器在特定位置的卷积，因此每个数字代表一个特征的强度，而Gram计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个是此消彼长的等等。Gram矩阵包含了图片的纹理信息以及颜色信息。
下采样：本申请中指为减小图像的分辨率。
上采样：本申请中指为增大图像的分辨率。
残差网络：残差网络是2015年提出的深度卷积网络，一经出世，便在ImageNet中斩获图像分类、检测、定位三项的冠军。残差网络容易优化，并且能够通过增加相当的深度来提高准确率。
终端设备：可以安装各类应用，并且能够将已安装的应用中提供的对象进行显示的设备，该电子设备可以是移动的，也可以是固定的。例如，手机、平板电脑、各类可穿戴设备、车载设备、个人数字助理(personal digital assistant，PDA)、销售终端(point ofsales，POS)或其它能够实现上述功能的电子设备等。
应用：即应用程序，可以完成某项或多项业务的计算机程序，一般具有可视的显示界面，能与用户进行交互，比如电子地图和微信等都可以称为应用。
其中，有些应用需要用户安装到所使用的终端设备上才可以使用，有些则并不需要进行应用安装，例如，微信中的各个小程序。小程序不需要下载安装即可使用，用户扫一扫或者搜一下即可打开应用。
附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
在具体实践过程中，用户常通过图像处理软件提供的各种滤镜调整图像的色调，从而获得满意的图像。但是，实际应用中，很多时候用户只是想模仿一幅图像的色调，而图像处理软件提供的滤镜的参数固定且数量有限，不一定能找到合适的滤镜使得处理后图像的色调与用户想模仿的图像的色调一致。当然，用户也可以通过专业的图像处理软件(如Photoshop、Lightromm等)对图像进行调色，但是，这需要用户分析需模仿的目标图像的直方图、色彩、亮度、对比度等信息，并结合自己的认识需要不断地调整饱和度、曲线、亮度、对比度等参数，才可能最大程度接近目标图像的色调，这需要很强的专业知识，往往只有专业摄影师才可能模仿出目标图像的色调，对于普通用户来说操作复杂、处理难度极大。
为此，本申请的发明人考虑到，获取用户提供的待处理图像和目标图像，将待处理图像和目标图像作为样本，多次更新图像生成网络的参数，直至通过图像生成网络对待处理图像进行转换后的输出图像和目标图像之间的损失图像损失信息满足结束条件，其中，图像损失信息包括输出图像和目标图像之间的色调损失、以及输出图像和待处理图像之间的内容损失，然后，将图像损失信息满足结束条件时图像生成网络的输出图像，确定为模仿目标图像的色调的仿色图像。基于用户提供的待处理图像、目标图像和图像生成网络的输出图像，不断更新图像生成网络的参数，使得输出图像和目标图像之间的色调损失、以及输出图像和待处理图像之间的内容损失不断减小，最终使得图像生成网络能够输出只迁移目标图像的色调信息，而不改变待处理图像的结构的输出图像，这样，用户只需要提供待处理图像和目标图像，就可以自动获取到模仿目标图像色调的仿色图像，操作简单、处理效率高，且用户可获得模仿任意一幅图像的色调的仿色图像。
在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
参考图1，其为本申请实施例提供的图像仿色处理方法的应用场景示意图。该应用场景包括终端设备101和后台服务器102。其中，终端设备101和后台服务器102之间通过无线或有线网络连接，后台服务器102可以是一台服务器、若干台服务器组成的服务器集群或云计算中心，终端设备101包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备、智能电视等电子设备，只要是支持查看图像、网络通信等功能的电子设备均可用作本申请中的终端设备101。进一步地，终端设备101还可以具备拍照功能，这样用户可通过终端设备101实时拍摄图像，并作为待处理图像发送给后台服务器102。
图1所示的终端设备101中安装有浏览器或图像处理应用，用户可通过浏览器或图像处理应用与后台服务器102交互。例如，用户可打开终端设备101上的图像处理应用，选择的待处理图像和目标图像，然后在操作界面中输入开始仿色指令，终端设备101在收到开始仿色指令后向后台服务器102发送仿色处理请求，该仿色处理请求包括用户选择的待处理图像和目标图像。后台服务器102将仿色请求中的待处理图像和目标图像作为样本，多次更新图像生成网络的参数，直至通过图像生成网络对待处理图像进行转换后的输出图像和目标图像之间的损失图像损失信息满足结束条件，然后，将图像损失信息满足结束条件时图像生成网络的输出图像，确定为模仿目标图像的色调的仿色图像，并返回给终端设备101。
当然，本申请实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其它可能的应用场景，本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。
为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的图像处理等技术。下面结合图1所示的应用场景，对本申请实施例提供的技术方案进行说明。
参考图2，本申请实施例提供一种图像仿色处理方法，包括以下步骤：
S201、获取待处理图像和目标图像。
具体实施时，用户可通过终端设备将其选择的待处理图像和目标图像发送给后台服务器，由后台服务器模仿目标图像的色调对待处理图像进行仿色处理。
S202、将待处理图像和目标图像作为样本，多次更新图像生成网络的参数，直至通过图像生成网络对待处理图像进行转换后的输出图像和目标图像之间的损失图像损失信息满足结束条件，图像损失信息包括输出图像和目标图像之间的色调损失、以及输出图像和待处理图像之间的内容损失。
其中，色调损失主要表现为图像颜色、亮度、对比度、饱和度等相关色彩信息的差异。内容损失主要表现为图像的结构、纹理、边缘等信息的差异，可通过计算不同图像相同位置像素点对应的数值差异，来计算两个图像之间的内容损失，一般可采用均方损失函数计算，均方损失函数为：S203、将图像损失信息满足结束条件时图像生成网络的输出图像，确定为模仿目标图像的色调的仿色图像。
本申请实施例中，图像生成网络的输入为待处理图像，输出为与待处理图像大小相同的输出图像，只是输出图像的色调、纹理、结构等图像参数相对待处理图像发生了变化，而图像生成网络的参数决定了输出图像与待处理图像之间的各项图像参数的差异度。
具体实施时，结束条件包括但不限于以下任意一种：更新次数达到目标次数、更新时长达到目标时长或图像损失信息小于目标损失。
本申请实施例中，目标次数、目标时长以及目标损失均可根据单次更新图像生成网络的参数所需时间、仿色处理总时长、对仿色图像与目标图像之间的色调差的精度要求、实际需求等因素并结合实际应用需求确定，本申请实施例不作限定。例如，如果对仿色处理总时长要求不高，但对处理精度要求较高，则目标次数可选择大一些的数值；如果需要较快地获得仿色处理图像，则目标次数可选择小一些的数值。例如，如果对处理精度要求较高，则目标时长可选择大一些的数值；如果需要较快的获得仿色处理图像，则目标时长可选择小一些的数值。例如，如果对处理精度要求较高，则目标损失可选择小一些的数值；如果需要较快的获得仿色处理图像，则目标损失可选择大一些的数值。
参考图3，步骤S202具体包括如下步骤：
S301、将待处理图像输入图像生成网络，得到输出图像。
S302、根据待处理图像、目标图像和步骤S301中的输出图像，确定图像损失信息，其中，图像损失信息包括输出图像和目标图像之间的色调损失，以及输出图像和待处理图像之间的内容损失。
S303、判断是否满足结束条件，若是，则执行步骤S305，若否，则执行步骤S304。
S304、根据图像损失信息，更新图像生成网络的参数，返回步骤S301。
S305、结束更新。
本申请实施例的图像仿色处理方法，正是将待处理图像和目标图像作为样本，通过对图像生成网络的参数进行多次更新，尽可能地降低输出图像和目标图像之间的色调损失、以及输出图像和待处理图像之间的内容损失，使得输出图像和目标图像的色调趋近一致，同时保证输出图像和待处理图像的内容差异度尽可能的小，最终使得图像生成网络能够输出只迁移目标图像的色调信息，而不改变待处理图像的结构的输出图像。为此，用户只需要提供待处理图像和目标图像，就可以自动获取到模仿目标图像色调的仿色图像，操作简单、处理效率高，且用户可获得模仿任意一幅图像的色调的仿色图像，使得不具专业摄影水平的普通用户也可模仿优秀摄影作品的色调。此外，图像生成网络的参数是在使用过程中基于待处理图像和目标图像实时更新的，图像生成网络的参数并不固定，为此本申请提供的方法能够模仿任意一幅目标图像的色调，获得对应的仿色图像。
具体实施时，参考图4，可通过如下方式确定图像损失信息：
S401、提取图像生成网络对待处理图像进行转换后的输出图像的第一色调特征和第一内容特征、目标图像的第二色调特征和待处理图像的第二内容特征。
本申请实施例中，色调特征包含图像的颜色、亮度、对比度、饱和度等相关的色彩信息，内容特征包含图像的结构、纹理、边缘等信息。
作为一种可能的实施方式，可通过现有的图像特征提取算法提取第一色调特征、第一内容特征、第二色调特征和第二内容特征。
作为另一种可能的实施方式，可通过已训练的特征提取网络，提取第一色调特征、第一内容特征、第二色调特征和第二内容特征。其中，特征提取网络包含至少一个色调特征提取层和至少一个内容特征提取层，色调特征提取层输出的特征矩阵为包含输入图像的内容信息最多的特征矩阵，内容特征提取层输出的特征矩阵为包含输入图像的色调信息最多的特征矩阵，色调特征提取层用于提取输入图像的色调特征，内容特征提取层用于提取输入图像的内容特征。
具体实施时，将通过图像生成网络对待处理图像进行转换后的输出图像输入上述特征提取网络，根据特征提取网络中色调特征提取层输出的特征矩阵，确定该输出图像的第一色调特征，并根据特征提取网络中内容特征提取层输出的特征矩阵，确定该输出图像的第一内容特征。然后，将目标图像输入特征提取网络，根据特征提取网络中色调特征提取层输出的特征矩阵，确定目标图像的第二色调特征。最后，将待处理图像输入特征提取网络，根据特征提取网络中内容特征提取层输出的特征矩阵，确定待处理图像的第二内容特征。
本申请施例中的特征提取网络可选用能够提取图像特征的神经网络，如VGG19、VGG16等，本申请实施例不作限定。
实际应用中，本领域技术人员可利用大量的测试图像对特征提取网络进行测试，通过分析特征提取网络各个卷积层输出的特征矩阵，确定各卷积层输出的特征矩阵中包含的色调信息和内容信息，基于分析结果从特征提取网络中选出至少一个卷积层作为色调特征提取层，并选出至少一个卷积层作为内容特征提取层。由于不同的神经网络的网络架构以及内部参数均不同，因此具体选择哪些卷积层作为色调特征提取层和内容特征提取层，需根据具体情况确定，本申请实施例不作限定。
通过已训练的特征提取网络提取第一色调特征、第一内容特征、第二色调特征和第二内容特征，可提高特征提取的准确度和处理效率。此外，特征提取网络是基于包含大量图片的数据集训练得到的，针对任意一张图像均能获得较好地处理效果。
S402、根据第一色调特征和第二色调特征确定色调损失。
具体实施时，可将特征提取网络中多个输出的特征矩阵包括色调信息最多的卷积层，作为色调特征提取层，从而基于多个色调特征提取层输出的特征矩阵确定色调损失，提高计算色调损失的准确度。例如，可通过如下公式计算色调损失ls：
其中，ys表示目标图像，y表示通过图像生成网络对待处理图像进行转换后的输出图像。φj(ys)表示将目标图像ys输入特征提取网络后特征提取网络的第j个色调特征提取层输出的特征矩阵，即提取的第j个第二色调特征，表示将第j个第二色调特征φj(ys)转换为Gram(格拉姆)矩阵。φj(y)表示将输出图像y输入特征提取网络后特征提取网络的第j个色调特征提取层输出的特征矩阵，即提取的第j个第一色调特征，表示将第j个第一色调特征φj(y)转换为Gram矩阵。n为特征提取网络中被作为色调特征提取层的数量。
S403、根据第一内容特征和第二内容特征确定内容损失。
具体实施时，可将特征提取网络中多个输出的特征矩阵包括内容信息最多的卷积层，作为内容特征提取层，从而基于多个内容特征提取层输出的特征矩阵确定内容损失，提高计算内容损失的准确度。例如，可通过如下公式计算内容损失lc：
其中，yc表示待处理图像，y表示通过图像生成网络对待处理图像进行转换后的输出图像，φj(y)表示将输出图像y输入特征提取网络后特征提取网络的第j个内容特征提取层输出的特征矩阵，φj(yc)表示将待处理图像yc输入特征提取网络后特征提取网络的第j个内容特征提取层输出的特征矩阵，Cj、Hj、Wj分别为第j个内容特征提取层输出的特征矩阵的维度、高度、宽度，m为特征提取网络中被作为内容特征提取层的数量。
需要说明的是，步骤S402和步骤S403之间不存在一定的先后关系，再执行完步骤S401之后，可以先执行步骤S402、后执行步骤S403，也可以先执行步骤S403、后执行步骤S402，还可以同时执行步骤S402和步骤S403。
S404、对色调损失和内容损失进行加权处理，得到图像损失信息。
具体实施时，可通过如下公式对色调损失和内容损失进行加权处理，以得到图像损失信息：
loss＝λclc+λsls，
其中，ls为风格损失，lc为内容损失，λc为内容损失权重，λs为色调损失权重。
具体实施时，可预先设定内容损失权重λc和色调损失权重λs。也可以根据待处理图像、目标图像和输出图像的特征，实时确定内容损失权重λc和色调损失权重λs，以实现根据不同的待处理图像、目标图像和输出图像，动态调整内容损失权重λc和色调损失权重λs，使得获得的图像损失信息更加准确，同时保证更新图像生成网络参数时，合理地减小风格损失和内容损失，使得最终得到的图像生成网络的风格损失和内容损失均较小。
具体地，可通过如下方式确定每一次计算图像损失信息时的色调损失权重λs：根据第一特征矩阵和第三特征矩阵，确定加权处理过程中色调损失对应的色调损失权重，第一特征矩阵为将待处理图像输入特征提取网络后色调权重提取层输出的特征矩阵，第三特征矩阵为将目标图像输入特征提取网络后色调权重提取层输出的特征矩阵。
具体地，可通过如下公式计算色调损失权重λs：
其中，yc表示待处理图像，ys表示目标图像，u表示特征提取网络中的色调权重提取层，Cu、Hu、Wu分别为色调权重提取层输出的特征矩阵的维度、高度、宽度。φu(yc)表示将待处理图像yc输入特征提取网络后特征提取网络的色调权重提取层输出的特征矩阵，即第一特征矩阵，表示将第一特征矩阵φu(yc)转换为Gram矩阵。φu(ys)表示将目标图像ys输入特征提取网络后特征提取网络的色调权重提取层输出的特征矩阵，即第三特征矩阵，/>表示将第三特征矩阵φu(ys)转换为Gram矩阵。
具体实施时，可以从特征提取网络中选出一个输出特征矩阵中包括色调信息较多的卷积层，作为色调权重提取层。
举例说明，特征提取网络中第一卷积层、第二卷积层、第三卷积层、第四卷积层输出的特征矩阵中包括色调信息较多，则可以从上述四个卷积层中任选一个卷积层作为色调权重提取层，其余的作为色调特征提取层，例如，可以选择第一卷积层作为色调权重提取层，选择第二卷积层、第三卷积层、第四卷积层作为色调特征提取层，当然也可以选择第二卷积层作为色调权重提取层，选择第一卷积层、第三卷积层、第四卷积层作为色调特征提取层。实际应用中，本领域技术人员可利用大量的测试图像对特征提取网络进行测试，通过分析特征提取网络各个卷积层输出的特征矩阵并结合经验确定选择色调权重提取层和色调特征提取层的策略。
具体地，可通过如下方式确定每一次计算图像损失信息时的内容损失权重λc：根据第二特征矩阵和第四特征矩阵，确定加权处理过程中内容损失对应的内容损失权重，第二特征矩阵为将待处理图像输入特征提取网络后内容权重提取层输出的特征矩阵，第四特征矩阵为将目标图像输入特征提取网络后内容权重提取层输出的特征矩阵。
具体地，可通过如下公式计算内容损失权重λc：
其中，yc表示待处理图像，ys表示目标图像，u表示特征提取网络中的内容权重提取层，Cv、Hv、Wv分别为内容权重提取层输出的特征矩阵的维度、高度、宽度。φv(yc)表示将待处理图像yc输入特征提取网络后特征提取网络的内容权重提取层输出的特征矩阵，即第二特征矩阵，表示将第二特征矩阵φv(yc)转换为Gram矩阵。φv(ys)表示将目标图像ys输入特征提取网络后特征提取网络的内容权重提取层输出的特征矩阵，即第四特征矩阵，/>表示将第四特征矩阵φv(ys)转换为Gram矩阵。
具体实施时，可以从特征提取网络中选出一个输出特征矩阵中包括内容信息较多的卷积层，作为内容权重提取层。
举例说明，特征提取网络中第一卷积层、第二卷积层、第三卷积层、第四卷积层输出的特征矩阵中包括内容信息较多，则可以从上述四个卷积层中任选一个卷积层作为内容权重提取层，其余的作为内容特征提取层，例如，可以选择第一卷积层作为内容权重提取层，选择第二卷积层、第三卷积层、第四卷积层作为内容特征提取层，当然也可以选择第二卷积层作为内容权重提取层，选择第一卷积层、第三卷积层、第四卷积层作为内容特征提取层。实际应用中，本领域技术人员可利用大量的测试图像对特征提取网络进行测试，通过分析特征提取网络各个卷积层输出的特征矩阵并结合经验确定选择内容权重提取层和内容特征提取层的策略。
本申请实施例的方法，可基于每一次更新参数后的图像生成网络输出的输出图像和待处理图像以及目标图像之间的特征差异，自适应性地调整风格权重和内容权重，以满足在不同待处理图像的高精度仿色需求，提高最终输出的仿色图像的质量，以使仿色图像的色调更加接近目标图像，同时保持仿色图像的结构与待处理图像的内容一致。
实际应用中，本申请发明人通过大量试验发现，内容损失与色调损失的比值的失调会影响参数更新的效果。例如，当目标图像与待处理图像的颜色、饱和度等参数差异较大时，会导致内容损失与色调损失的比值较小，接近1左右，且本申请发明人发现当内容损失与色调损失的比值接近1000时图像生成网络才能较好地学习到输出图像和待处理图像以及目标图像之间的损失差异。为此，可在计算图像损失信息时增加一个权重调节因子，根据权重调节因子，对色调损失和内容损失进行加权处理，得到图像损失信息，以避免内容损失与色调损失比例过小，导致无法通过梯度下降更新图像生成网络的参数。
具体地，可通过如下公式确定图像损失信息loss：
loss＝λclc+αλsls，
其中，ls为风格损失，lc为内容损失，λc为内容损失权重和λs为色调损失权重，α为权重调节因子。
具体实施时，在每一次更新图像生成网络的参数的过程中，可根据本次计算得到的内容损失权重和色调损失权重的比值，确定权重调节因子，这样可以将内容损失与色调损失调整到一个合适的比例，保证更新过程中可以学习到内容损失和色调损失，使得最终输出的仿色图像的色调更加接近目标图像，同时保持仿色图像的结构与待处理图像的内容一致。
作为一种可能的实施方式，权重调节因子α可根据如下公式确定：
其中，λc为内容损失权重和λs为色调损失权重，e为自然底数。当然，实际应用中，也可以选择其他公式来计算权重调节因子α，本申请实施例不作限定。
通过在计算图像损失信息时增加权重调节因子，可自动优化色调损失和内容损失之间的权重比例，针对各种不同的待处理图像和目标图像，均能获得较好的仿色效果，且无需用户手动调节，提高了用户可接纳度。
具体实施时，图像生成网络可选择现有的任意一种可处理图像的神经网络架构，本申请施例不作限定。例如，图像生成网络可选择高分辨率神经网络。
下面简单介绍一下高分辨率神经网络。高分辨率神经网络包括多级多分辨率并行子网，每一级多分辨率并行子网从上一级的输出数据中提取从高到低的多种分辨率下的特征图，并融合多种分辨率下的特征图得到输出数据，并输入下一级多分辨率并行子网。多分辨率并行子网之间可采用残差网络进行连接，以学到更深的网络信息。
具体地，各多分辨率并行子网分别从输入数据中提取多种分辨率下的特征图，融合多种分辨率下的特征图得到输出数据，并输入下一级多分辨率并行子网，其中第一级多分辨率并行子网的输入数据为待处理图像对应的数据，其他各级多分辨率并行子网的输入数据为位于其上一级的多分辨率并行子网的输出数据；根据最后一级多分辨率并行子网输出的输出数据，得到输出图像。
高分辨率神经网络在深度不断加深的同时，通过下采样使得特征图分辨率变小，相同深度的高分辨率和低分辨率特征图有一个融合的步骤，这样可保证每一级多分辨率并行子网中都包含高分辨的特征图，使高分辨率的特征图一直参与训练，并可多次重复融合多种分辨率下提取的特征图，使得提取的特征更加精准。
参考图5，给出了高分辨率神经网络的一种可能的网络结构。假设输入该高分辨率神经网络的待处理图像的分辨率为500×500，经第一个卷积层的卷积处理后，将得到的特征图1输入第一级多分辨率并行子网；第一级多分辨率并行子网对特征图1进行卷积处理得到分辨率为500×500的特征图2，同时，对特征图1进行下采样处理以及卷积处理，获得分辨率为250×250的特征图3，然后对特征图2和特征图3进行融合，将融合后的特征图输入第二级多分辨率并行子网；第二级多分辨率并行子网对第一级多分辨率并行子网输出的特征图进行卷积处理得到分辨率为500×500的特征图4，同时，对上一级输出的特征图下采样处理以及卷积处理，得到分辨率为250×250的特征图5和分辨率为125×125的特征图6，然后，对特征图4、特征图5和特征图6进行融合，将融合后的特征图输入第三级多分辨率并行子网；第三级多分辨率并行子网对第二级多分辨率并行子网输出的特征图进行卷积处理得到分辨率为500×500的特征图7，同时，对上一级输出的特征图下采样处理以及卷积处理，得到分辨率为250×250的特征图8和分辨率为125×125的特征图9，然后，对特征图7、特征图8和特征图9进行融合，将融合后的特征图输入下一个卷积层；对第三级多分辨率并行子网输出的特征图处理后，得到分辨率为500×500的输出图像。
图5所示的高分辨率神经网络仅为一种可能的网络架构，实际应用中，可根据应用需求，增加或减少多分辨率并行子网的级数，增加或减少每个多分辨率并行子网中的分辨率种类，本申请实施例不作限定。
本申请实施例的方法，采用高分辨率神经网络作为图像生成网络，使得输出图像保留了更多待处理图像的细节，确保最终能够生成与待处理图像内容一致的高分辨率图像。
下面以VGG19为特征提取网络进行详细说明。
图6为VGG19的网络结构图，VGG19包括conv1_1、conv1_2、conv2_1、……conv5_3，一共15个卷积层。通过在ImageNet上预训练好的VGG19，可很好地提取图像的色调、纹理、质地、边缘等特征。
将测试图像输入VGG19，获取VGG19中每个卷积层输出的特征矩阵，分析各个卷积层输出的特征矩阵中包含的色调信息和内容信息，然后基于分析结果，从VGG19中确定出哪些卷积层可以作为色调特征提取层，哪些卷积层可以作为内容特征提取层，哪些卷积层可以作为色调权重提取层，哪些卷积层可以作为内容权重提取层。其中，测试图像可以包括内容相同但色调不同的多幅图像，色调相同但内容不同的多幅图像等，具体地，可通过分析各图像的色调、内容与每个卷积层输出的特征矩阵之间的关系，确定色调特征提取层、内容特征提取层、色调权重提取层以及内容权重提取层。
参考图7A，展示了内容相同但色调不同的图像A1和图像A2，以及图像A1和图像A2之间的色调损失曲线图，图像A1和图像A2之间的内容损失曲线图。色调损失曲线图的横轴为VGG19中的每个卷积层，例如色调损失曲线图中的“1_1”代表conv1_1，“1_2”代表conv1_2，色调损失曲线图的纵轴为图像A1和图像A2之间的色调损失。内容损失曲线图的横轴为VGG19中的每个卷积层，例如色调损失曲线图中的“1_1”代表conv1_1，“1_2”代表conv1_2，色调损失曲线图的纵轴为图像A1和图像A2之间的内容损失。具体实施时，将图像A1输入VGG19，获取每个卷积层输出的特征矩阵，将图像A2输入VGG19，获取每个卷积层输出的特征矩阵，针对每个卷积层，根据图像A1对应的特征矩阵和图像2对应的特征矩阵,确定每个卷积层对应的色调损失，并绘制色调损失曲线图。采用同样的方法可得到内容损失曲线图。
参考图7B，展示了内容不同但色调相同的图像B1和图像B2，以及图像B1和图像B2之间的色调损失曲线图，图像B1和图像B2之间的内容损失曲线图。参考图7C，展示了内容和色调均不同的图像C1和图像C2，以及图像C1和图像C2之间的色调损失曲线图，图像C1和图像C2之间的内容损失曲线图。
通过比对图7A～7C中的色调损失曲线图和内容损失曲线图可以得出，在色调变换较大但内容一致时(参考图7A)，整体的风格损失较小，内容损失较大；而在色调变换较小但内容不一致时(参考图7B)，整体的风格损失较小，内容损失较大；在内容与色调都不一致时(参考图7C)，整体的风格损失与内容损失均较大。色调损失曲线图和内容损失曲线图揭示的规律与实际图像的特征保持一致。
比较图7A、7C中的色调损失曲线图可看出，当色调一致时，VGG19高层(例如conv1_2)对应的色调损失较大，而低层(例如：conv5_1)的色调损失较小。参考图7B中的色调损失曲线图可看出，当色调不一致时，VGG19高层和低层之间的色调损失的波动较小。因此，可以得出高层包含较多的色彩信息的结论。
比较图7A～7C中的内容损失曲线图可看出，当内容一致时，VGG19各层的内容趋于一致(参考图7A)，当内容不一致时，低层的内容损失较大，。因此，可以得出低层包含更多的图像结构信息的结论。
图7A～7C仅是给出了分析的一个示例。实际应用中，需结合大量测试图像对应的数据进行分析，根据最终的分析结果，可选择conv1_2、conv2_2、conv3_2作为色调特征提取层，将conv1_1为色调权重提取层，将conv5_1和conv4_2作为内容特征提取层，将conv5_3作为内容权重提取层。conv5_1和conv4_2可表现为不同颗粒度上的图像结构信息，将两层特征数值相加得到内容特征，可以包含更丰富的图像结构信息。
具体实施时，还可以根据对各个卷积层的分析结果，确定各个色调特征提取层对应的权重，防止某一卷积层代表的色调信息比重过大，例如，conv2_2的数值同其他色调特征提取层的数值相比较大，因此conv2_2的权重可设为0.5，而conv2_2和conv3_2的权重为1，防止conv2_2代表的色调信息比重过大。在计算色调特征时，基于各个色调特征提取层对应的权重，对各个色调特征提取层输出的特征矩阵对应的Gram矩阵进行加权处理，得到色调特征。同样，也可以确定各个内容特征提取层对应的权重，不再赘述。
采用其它网络作为特征提取网络的具体实施方式可参考VGG19，不再赘述。
以VGG19作为特征提取网络、高分辨率神经网络作为图像生成网络对图8中的每一组待处理图像和目标图像进行仿色处理，得到的仿色图像与对应的目标图像的色调基本一致，同时很好的保留对应的待处理图像中的内容。
参考图9，基于与上述图像仿色处理方法相同的发明构思，本申请实施例还提供了一种图像仿色处理方法，包括如下步骤：
S901、终端设备响应在操作界面中输入的开始仿色指令，向后台服务器发送仿色处理请求，该仿色处理请求包括用户选择的待处理图像和目标图像。
S902、后台服务器根据上述任一实施例中的图像仿色处理方法模仿目标图像的色调，得到待处理图像对应的仿色图像。
S903、后台服务器将仿色图像发送给终端设备。
S904、终端设备接收后台服务器返回的仿色图像。
具体实施时，可在终端设备中安装的图像处理应用内增加图像仿色功能。当用户需要模仿某一图像的色调时，可打开终端设备中的图像处理应用，点击图像仿色功能，终端设备显示如图10A所示的操作界面。用户点击操作界面100中待处理图像区域1001内的第一上传图像控件1002，操作界面中显示拍照控件1005和图像选择控件1006，用户可点击拍照控件1005临时拍摄一张照片作为待处理图像，或者图像选择控件1006从相册中选择一张图像作为待处理图像，用户选择的待处理图像展示在待处理图像区域1001内。然后，用户可通过点击目标图像区域1003内的第二上传图像控件1004从相册中选择一张图像作为目标图像，用户选择的目标图像展示在目标图像区域1001内。当用户选择好待处理图像和目标图像后，可点击操作界面上的开始仿色控件1007，终端设备响应开始仿色指令，向后台服务器发送仿色处理请求，该仿色处理请求包括用户通过操作界面选择的待处理图像和目标图像。后台服务器根据上述任一实施例中的图像仿色处理方法模仿目标图像的色调，将仿色图像发送给终端设备。终端设备获取到仿色图像后，可通过终端设备上的显示界面展示给用户。
参考图10B，具体实施时，还可以在浏览器或终端设备的应用中植入具有图像仿色功能的插件，在用户针对浏览器或应用中的图像执行选中操作(如双击图片、长按图片等)时，弹出操作选项栏1011，用户可通过点击操作选项栏1011中的拍摄同款控件1012调用终端设备的拍照功能，拍摄一张照片作为待处理图像，或者从相册中选择一张图像作为待处理图像，而选中操作针对的图像作为目标图像。当用户选好待处理图像后，可点击操作界面上会显示开始仿色控件，用户点击开始仿色控件后，终端设备响应开始仿色指令，向后台服务器发送仿色处理请求，该仿色处理请求包括用户通过操作界面选择的待处理图像和目标图像。后台服务器根据上述任一实施例中的图像仿色处理方法模仿目标图像的色调，将仿色图像发送给终端设备。终端设备获取到仿色图像后，可通过终端设备上的显示界面展示给用户。
如图11所示，基于与上述图像仿色处理方法相同的发明构思，本申请实施例还提供了一种图像仿色处理装置110，包括获取模块1101、更新模块1102和输出模块1103。
获取模块1101，用于获取待处理图像和目标图像。
更新模块1102，用于将待处理图像和目标图像作为样本，多次更新图像生成网络的参数，直至通过图像生成网络对待处理图像进行转换后的输出图像和目标图像之间的损失图像损失信息满足结束条件，图像损失信息包括输出图像和目标图像之间的色调损失、以及输出图像和待处理图像之间的内容损失。
输出模块1103，用于将图像损失信息满足结束条件时图像生成网络的输出图像，确定为模仿目标图像的色调的仿色图像。
可选地，更新模块1102，具体用于：提取图像生成网络对待处理图像进行转换后的输出图像的第一色调特征和第一内容特征、目标图像的第二色调特征和待处理图像的第二内容特征；根据第一色调特征和第二色调特征确定色调损失；根据第一内容特征和第二内容特征确定内容损失；对色调损失和内容损失进行加权处理，得到图像损失信息。
可选地，更新模块1102，具体用于通过已训练的特征提取网络，提取第一色调特征、第一内容特征、第二色调特征和第二内容特征；其中，特征提取网络包含至少一个色调特征提取层和至少一个内容特征提取层，色调特征提取层输出的特征矩阵为包含输入图像的内容信息最多的特征矩阵，内容特征提取层输出的特征矩阵为包含输入图像的色调信息最多的特征矩阵，色调特征提取层用于提取输入图像的色调特征，内容特征提取层用于提取输入图像的内容特征，输入图像包括输出图像、目标图像或待处理图像。
可选地，更新模块1102，还用于：根据第一特征矩阵和第三特征矩阵，确定加权处理过程中色调损失对应的色调损失权重，第一特征矩阵为将待处理图像输入特征提取网络后色调权重提取层输出的特征矩阵，第三特征矩阵为将目标图像输入特征提取网络后色调权重提取层输出的特征矩阵；根据第二特征矩阵和第四特征矩阵，确定加权处理过程中内容损失对应的内容损失权重，第二特征矩阵为将待处理图像输入特征提取网络后内容权重提取层输出的特征矩阵，第四特征矩阵为将目标图像输入特征提取网络后内容权重提取层输出的特征矩阵。
可选地，更新模块1102，具体用于通过如下公式确定图像损失信息：
loss＝Wclc+αWsls，
其中，ls为风格损失，lc为内容损失，Wc为内容损失权重和Ws为色调损失权重，α为权重调节因子。
可选地，权重调节因子α是根据如下公式确定的：
可选地，结束条件包括：更新次数达到目标次数、更新时长达到目标时长或图像损失信息小于目标损失。
可选地图像生成网络为高分辨率神经网络，高分辨率神经网络包括多级多分辨率并行子网；
更新模块1102，具体用于通过如下方式获取输出图像：各多分辨率并行子网分别从输入数据中提取多种分辨率下的特征图，融合多种分辨率下的特征图得到输出数据，并输入下一级多分辨率并行子网，其中第一级多分辨率并行子网的输入数据为待处理图像对应的数据，其他各级多分辨率并行子网的输入数据为位于其上一级的多分辨率并行子网的输出数据；根据最后一级多分辨率并行子网输出的输出数据，得到输出图像。
本申请实施例提的图像仿色处理装置与上述图像仿色处理方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
如图12所示，基于与上述图像仿色处理方法相同的发明构思，本申请实施例还提供了一种图像仿色处理装置120，包括发送模块1201和接收模块1202。
发送模块1201，用于响应在操作界面中输入的开始仿色指令，向后台服务器发送仿色处理请求，所述仿色处理请求包括用户选择的待处理图像和目标图像，以使所述后台服务器根据上述任一方法模仿所述目标图像的色调，得到所述待处理图像对应的仿色图像。
接收模块1202，用于获取后台服务器返回的仿色图像。
基于与上述图像仿色处理方法相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、服务器等。如图13所示，该电子设备130可以包括处理器1301和存储器1302。
处理器1301可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器1302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器1302还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
本申请实施例提供了一种计算机可读存储介质，用于储存为上述电子设备所用的计算机程序指令，其包含用于执行上述图像仿色处理方法的程序。
上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
以上，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本申请实施例的方法，不应理解为对本申请实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (14)

1.一种图像仿色处理方法，其特征在于，包括：
获取待处理图像和目标图像；
将所述待处理图像和所述目标图像作为样本，多次更新图像生成网络的参数，直至通过所述图像生成网络对所述待处理图像进行转换后的输出图像和所述目标图像之间的损失图像损失信息满足结束条件，所述图像损失信息包括所述输出图像和所述目标图像之间的色调损失、以及所述输出图像和所述待处理图像之间的内容损失；
将图像损失信息满足结束条件时所述图像生成网络的输出图像，确定为模仿所述目标图像的色调的仿色图像；
其中，所述图像损失信息是对所述色调损失和所述内容损失进行加权处理的得到的，在确定所述色调损失对应的色调损失权重，以及所述内容损失对应的内容损失权重时，根据第一特征矩阵和第三特征矩阵，确定所述加权处理过程中所述色调损失对应的色调损失权重，所述第一特征矩阵为将所述待处理图像输入已训练的特征提取网络后色调权重提取层输出的特征矩阵，所述第三特征矩阵为将所述目标图像输入所述特征提取网络后色调权重提取层输出的特征矩阵；根据第二特征矩阵和第四特征矩阵，确定所述加权处理过程中所述内容损失对应的内容损失权重，所述第二特征矩阵为将所述待处理图像输入所述特征提取网络后内容权重提取层输出的特征矩阵，所述第四特征矩阵为将所述目标图像输入所述特征提取网络后内容权重提取层输出的特征矩阵。
2.根据权利要求1所述的方法，其特征在于，通过如下方式确定所述图像损失信息，具体包括：
提取所述图像生成网络对所述待处理图像进行转换后的输出图像的第一色调特征和第一内容特征、所述目标图像的第二色调特征和所述待处理图像的第二内容特征；
根据所述第一色调特征和所述第二色调特征确定所述色调损失；
根据所述第一内容特征和所述第二内容特征确定所述内容损失；
对所述色调损失和所述内容损失进行加权处理，得到所述图像损失信息。
3.根据权利要求2所述的方法，其特征在于，所述提取所述图像生成网络对所述待处理图像进行转换后的输出图像的第一色调特征和第一内容特征、所述目标图像的第二色调特征和所述待处理图像的第二内容特征，具体包括：
通过已训练的特征提取网络，提取所述第一色调特征、所述第一内容特征、所述第二色调特征和所述第二内容特征；
其中，所述特征提取网络包含至少一个色调特征提取层和至少一个内容特征提取层，所述色调特征提取层输出的特征矩阵为包含输入图像的内容信息最多的特征矩阵，所述内容特征提取层输出的特征矩阵为包含输入图像的色调信息最多的特征矩阵，所述色调特征提取层用于提取输入图像的色调特征，所述内容特征提取层用于提取输入图像的内容特征，所述输入图像包括所述输出图像、所述目标图像或所述待处理图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述色调损失和所述内容损失进行加权处理，得到所述图像损失信息，具体包括：
通过如下公式确定所述图像损失信息：
loss＝Wclc+αWsls，
其中，ls为风格损失，lc为内容损失，Wc为内容损失权重和Ws为色调损失权重，α为权重调节因子。
5.根据权利要求4所述的方法，其特征在于，所述权重调节因子α是根据如下公式确定的：
6.根据权利要求1至5任一所述的方法，其特征在于，所述结束条件包括：更新次数达到目标次数、更新时长达到目标时长或图像损失信息小于目标损失。
7.根据权利要求1至5任一所述的方法，其特征在于，所述图像生成网络为高分辨率神经网络，所述高分辨率神经网络包括多级多分辨率并行子网；
通过如下方式获取输出图像：
各多分辨率并行子网分别从输入数据中提取多种分辨率下的特征图，融合多种分辨率下的特征图得到输出数据，并输入下一级多分辨率并行子网，其中第一级多分辨率并行子网的输入数据为所述待处理图像对应的数据，其他各级多分辨率并行子网的输入数据为位于其上一级的多分辨率并行子网的输出数据；
根据最后一级多分辨率并行子网输出的输出数据，得到输出图像。
8.一种图像仿色处理方法，其特征在于，包括：
响应在操作界面中输入的开始仿色指令，向后台服务器发送仿色处理请求，所述仿色处理请求包括用户选择的待处理图像和目标图像，以使所述后台服务器根据权利要求1至5中任一所述方法模仿所述目标图像的色调，得到所述待处理图像对应的仿色图像；
获取后台服务器返回的仿色图像。
9.一种图像仿色处理装置，其特征在于，包括：
获取模块，用于获取待处理图像和目标图像；
更新模块，用于将所述待处理图像和所述目标图像作为样本，多次更新图像生成网络的参数，直至通过所述图像生成网络对所述待处理图像进行转换后的输出图像和所述目标图像之间的损失图像损失信息满足结束条件，所述图像损失信息包括所述输出图像和所述目标图像之间的色调损失、以及所述输出图像和所述待处理图像之间的内容损失；
输出模块，用于将图像损失信息满足结束条件时所述图像生成网络的输出图像，确定为模仿所述目标图像的色调的仿色图像；
其中，所述图像损失信息是对所述色调损失和所述内容损失进行加权处理的得到的，在确定所述色调损失对应的色调损失权重，以及所述内容损失对应的内容损失权重时，所述更新模块还用于：根据第一特征矩阵和第三特征矩阵，确定所述加权处理过程中所述色调损失对应的色调损失权重，所述第一特征矩阵为将所述待处理图像输入已训练的特征提取网络后色调权重提取层输出的特征矩阵，所述第三特征矩阵为将所述目标图像输入所述特征提取网络后色调权重提取层输出的特征矩阵；根据第二特征矩阵和第四特征矩阵，确定所述加权处理过程中所述内容损失对应的内容损失权重，所述第二特征矩阵为将所述待处理图像输入所述特征提取网络后内容权重提取层输出的特征矩阵，所述第四特征矩阵为将所述目标图像输入所述特征提取网络后内容权重提取层输出的特征矩阵。
10.根据权利要求9所述的装置，其特征在于，所述更新模块，具体用于：
提取所述图像生成网络对所述待处理图像进行转换后的输出图像的第一色调特征和第一内容特征、所述目标图像的第二色调特征和所述待处理图像的第二内容特征；
根据所述第一色调特征和所述第二色调特征确定所述色调损失；
根据所述第一内容特征和所述第二内容特征确定所述内容损失；
对所述色调损失和所述内容损失进行加权处理，得到所述图像损失信息。
11.根据权利要求10所述的装置，其特征在于，所述更新模块，具体用于：
通过已训练的特征提取网络，提取所述第一色调特征、所述第一内容特征、所述第二色调特征和所述第二内容特征；
其中，所述特征提取网络包含至少一个色调特征提取层和至少一个内容特征提取层，所述色调特征提取层输出的特征矩阵为包含输入图像的内容信息最多的特征矩阵，所述内容特征提取层输出的特征矩阵为包含输入图像的色调信息最多的特征矩阵，所述色调特征提取层用于提取输入图像的色调特征，所述内容特征提取层用于提取输入图像的内容特征，所述输入图像包括所述输出图像、所述目标图像或所述待处理图像。
12.一种图像仿色处理装置，其特征在于，包括：
发送模块，用于响应在操作界面中输入的开始仿色指令，向后台服务器发送仿色处理请求，所述仿色处理请求包括用户选择的待处理图像和目标图像，以使所述后台服务器根据权利要求1至5中任一所述方法模仿所述目标图像的色调，得到所述待处理图像对应的仿色图像；
接收模块，用于获取后台服务器返回的仿色图像。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求1至8任一项所述方法的步骤。
CN201911112838.9A 2019-11-14 2019-11-14 图像仿色处理方法、装置、电子设备及存储介质 Active CN110866866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911112838.9A CN110866866B (zh) 2019-11-14 2019-11-14 图像仿色处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911112838.9A CN110866866B (zh) 2019-11-14 2019-11-14 图像仿色处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110866866A CN110866866A (zh) 2020-03-06
CN110866866B true CN110866866B (zh) 2023-10-17

Family

ID=69653968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911112838.9A Active CN110866866B (zh) 2019-11-14 2019-11-14 图像仿色处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110866866B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340745B (zh) * 2020-03-27 2021-01-05 成都安易迅科技有限公司 一种图像生成方法、装置、存储介质及电子设备
CN112967194B (zh) * 2021-03-04 2024-05-14 Oppo广东移动通信有限公司 目标图像生成方法及装置、计算机可读介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN109191382A (zh) * 2018-10-18 2019-01-11 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109426858A (zh) * 2017-08-29 2019-03-05 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
CN109919829A (zh) * 2019-01-17 2019-06-21 北京达佳互联信息技术有限公司 图像风格迁移方法、装置和计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268307A1 (en) * 2017-03-17 2018-09-20 Yahoo Japan Corporation Analysis device, analysis method, and computer readable storage medium
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN109426858A (zh) * 2017-08-29 2019-03-05 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
CN109191382A (zh) * 2018-10-18 2019-01-11 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109919829A (zh) * 2019-01-17 2019-06-21 北京达佳互联信息技术有限公司 图像风格迁移方法、装置和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Exploring the structure of a real-time, arbitrary neural artistic stylization network;GolNaz Ghiasi 等;arXiv;第1-27页 *
基于深度学习的漫画风格迁移方法;武筱琪;中国优秀硕士学位论文全文数据库 信息科技辑;第I138-716页 *

Also Published As

Publication number Publication date
CN110866866A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
US20210183022A1 (en) Image inpainting method and apparatus, computer device, and storage medium
CN109670558B (zh) 使用深度学习的数字图像完成
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
WO2021238366A1 (zh) 一种神经网络构建方法以及装置
EP4002161A1 (en) Image retrieval method and apparatus, storage medium, and device
CN110415184B (zh) 一种基于正交元空间的多模态图像增强方法
US20220237917A1 (en) Video comparison method and apparatus, computer device, and storage medium
CN110866866B (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN112561028A (zh) 训练神经网络模型的方法、数据处理的方法及装置
CN110765882A (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN112465709B (zh) 一种图像增强方法、装置、存储介质及设备
CN111222557A (zh) 图像分类方法、装置、存储介质及电子设备
CN110991621A (zh) 一种基于通道数搜索卷积神经网络的方法
CN112668608A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN106407932A (zh) 基于分数阶微积分与广义逆神经网络的手写数字识别方法
CN113554653A (zh) 基于互信息校准点云数据长尾分布的语义分割方法
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN111079900B (zh) 一种基于自适应连接神经网络的图像处理方法及装置
CN114792349B (zh) 基于半监督生成对抗网络的遥感影像转换地图迁移方法
CN110782408A (zh) 一种基于卷积神经网络的智能美型方法及系统
WO2022127603A1 (zh) 一种模型处理方法及相关装置
CN115438249A (zh) QoS预测模型构建方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021702

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant