CN106778928A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN106778928A
CN106778928A CN201611191904.2A CN201611191904A CN106778928A CN 106778928 A CN106778928 A CN 106778928A CN 201611191904 A CN201611191904 A CN 201611191904A CN 106778928 A CN106778928 A CN 106778928A
Authority
CN
China
Prior art keywords
image
mask
style
training
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611191904.2A
Other languages
English (en)
Other versions
CN106778928B (zh
Inventor
许�鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201611191904.2A priority Critical patent/CN106778928B/zh
Publication of CN106778928A publication Critical patent/CN106778928A/zh
Application granted granted Critical
Publication of CN106778928B publication Critical patent/CN106778928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法及装置，所述方法包括：获取需要转换风格的目标图像以及作为风格转换参照的参照图像；获取与所述目标图像对应的掩膜图像，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；获取与所述掩膜图像对应的风格转换网络，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像分，别与所述掩膜图像进行点乘处理所得；将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。实施本申请，能够对目标图像的目标区域和其他区域进行不同程度的风格转换，降低对部分区域的结构破坏程度，提高图像转换质量。

Description

图像处理方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及图像处理方法及装置。
背景技术
随着相机、手机等具备照相功能的设备增多，人们日常生活中拍摄照片也更加频繁和方便。同时，随着社交平台的发展，越来越多的人喜欢通过照片在社交平台展示他们的日常生活。而拍照的人们可能并非专业的摄影人员，缺乏专业摄影技能，拍出的照片会存在曝光不足、色彩饱和度低等缺陷。
对于人们日常生活中拍摄的照片，通过某些图像处理软件的风格转换处理功能，对同一照片进行整体统一的风格转换处理，可以克服照片本身存在的曝光不足、色彩饱和度低等缺陷，使得照片具有艺术照的效果。
发明内容
本申请提供图像处理方法及装置，能够对图像的不同区域进行不同程度的风格转换处理，降低对图像中部分区域的原有结构的破坏程度，提高图像处理质量。
根据本申请实施例的第一方面，提供一种图像处理方法，包括以下步骤：
获取需要转换风格的目标图像以及作为风格转换参照的参照图像；
获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；
获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；
将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。
在一个实施例中，所述获取与所述目标图像对应的掩膜图像，包括：
识别所述目标图像的目标区域；
通过掩膜生成所述目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1；
通过掩膜生成所述其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α；
对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。
在一个实施例中，所述对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像，包括：
对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成；
对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。
在一个实施例中，所述方法还包括所述训练后的风格转换模型的训练步骤：
从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像；
设置各组训练图像的训练次序，并选取出第一次序的一组训练图像；
对选取出的每组训练图像执行如下迭代过程：
将所述第一图像输入全卷积网络，获得所述第一图像的特征数据；
将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像；
将获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像；
基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数；
调整所述全卷积网络和所述卷积神经网络的网络参数；
根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程；
当次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。
在一个实施例中，所述获取与所述掩膜图像对应的风格转换网络，包括：
将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像；
基于优化后的特征图像，计算所述卷积神经网络的两个损失函数；
将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数；
将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。
在一个实施例中，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。
根据本申请实施例的第二方面，提供一种图像处理装置，包括：
输入图像获取模块，用于获取需要转换风格的目标图像以及作为风格转换参照的参照图像；
掩膜图像获取模块，用于获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；
转换网络获取模块，用于获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；
图像风格转换模块，用于将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。
在一个实施例中，所述掩膜图像获取模块包括：
目标区域识别模块，用于识别所述目标图像的目标区域；
第一掩膜模块，用于通过掩膜生成所述目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1；
第二掩膜模块，用于通过掩膜生成所述其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α；
掩膜图像生成模块，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。
在一个实施例中，所述掩膜图像生成模块包括：
图像合成模块，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成；
高斯模糊模块，用于对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。
在一个实施例中，所述装置还包括模型训练模块，所述模型训练模块包括：
训练样本选取模块，用于从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像；
训练次序设置模块，用于设置各组训练图像的训练次序，并选取出第一次序的一组训练图像；
迭代模块，用于对选取出的每组训练图像执行迭代过程；
所述迭代模块还包括：
特征数据获取模块，用于将所述第一图像输入全卷积网络，获得所述第一图像的特征数据；
特征图像获取模块，用于将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像；
点乘处理模块，用于获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像；
损失函数生成模块，用于基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数；
网络参数调整模块，用于调整所述全卷积网络和所述卷积神经网络的网络参数；
迭代返回模块，用于根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程；
风格转换模型确定模块，用于在次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。
在一个实施例中，所述转换网络获取模块包括：
优化特征生成模块，用于将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像；
损失函数计算模块，用于基于优化后的特征图像，计算所述卷积神经网络的两个损失函数；
损失函数更新模块，用于将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数；
转换网络确定模块，用于将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。
在一个实施例中，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。
应用本申请实施例，通过获取与所述目标图像对应的掩膜图像、以及与所述掩膜图像对应的风格转换网络，再将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。由于所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得，能够获得的风格转换后的图像，对应目标图像的目标区域和其他区域进行了不同程度的风格转换，可以降低对部分区域的结构破坏程度，从而提高图像转换质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例性实施例示出的两种风格转换处理后的输出图像的示意图；
图2a是本申请图像处理方法的一个实施例流程图；
图2b是本申请根据一示例性实施例示出的对目标图像进行掩膜的示意图；
图2c是本申请根据一示例性实施例示出的风格转换模型的示意图；
图2d是本申请根据一示例性实施例示出的对输入图像进行风格转换的示意图；
图3a是本申请图像处理方法的另一个实施例流程图；
图3b是本申请根据另一示例性实施例示出的对目标图像进行掩膜的示意图；
图3c是本申请根据另一示例性实施例示出的对掩膜图像进行高斯处理的示意图；
图4是本申请图像处理装置所在终端的一种硬件结构图；
图5是本申请图像处理装置的一个实施例框图；
图6是本申请图像处理装置的一个实施例框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请的图像处理方法涉及图像风格转换，而图像风格转换就是将一副图片(本申请的参照图像)的“风格”转移到另一副图片(本申请的目标图像)上去，而保持另一幅图片(目标图像)的内容不变。而从技术角度说，转移风格的实质是，使得从目标图像中抽取出来的风格表达要接近于从参照图像中抽取出来的风格表达，且在这个过程中还要尽量保持目标图像的内容不要有太大变化。
相关的图像风格转换处理，均是将参照图像的“风格”转移到目标图像的所有图像区域，对目标图像进行整体统一的风格转换处理，能最大程度的保持目标图像的内容不变。但是，对于目标图像中的部分区域进行风格转换后，会破坏该区域的原有图像特征，例如图像中某些对象的原有结构，进而影响风格转换后的目标图像的图像质量和用户观看体验。这里所说的目标图像中的部分区域，如：人物图像中的人脸区域，景物图像中的建筑、车辆区域等。
而本申请的图像处理方法相对于上述相关的图像风格转换处理，可以根据用户需求分别对目标图像的不同区域进行不同程度的风格转换，如图1所示，输出图像A为上述相关的图像风格转换处理对目标图像进行风格后的图像，其人脸区域进行风格转换后，具有了参照图像的风格(阴影)，破坏了原有的人脸结构。输出图像B为本申请的图像处理方法进行风格转换时，进行人脸区域的原有结构保护后输出的图像。
比较图1所示的两幅输出图像可知：本申请的图像处理方法，能够尽可能避免部分区域(如输出图像B中的人脸区域)的原有图像特征(如原有结构)被破坏，进而提高图像质量和用户观看体验。以下结合附图对本申请进行详细阐述。
参见图2a，图2a是本申请图像处理方法的一个实施例流程图，该实施例可以用于终端中，包括以下步骤201-204：
步骤201：获取需要转换风格的目标图像以及作为风格转换参照的参照图像。
本申请实施例涉及的终端可以是各种集成了图像处理功能的智能终端，例如，智能手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)等。终端用户可以通过智能终端直接拍摄图像，也可以接收其他终端发送的图像，在获得图像后存入图像库，以便进行图像处理时调用。
本申请实施例中，所述目标图像和所述参照图像可以由终端用户根据实际需要预先设定，所述目标图像可以包括终端用户日常生活中通过终端拍摄的图像、接收的其他终端所拍摄的图像、或者从网络上收集的图像等。
关于作为风格转换参照的参照图像，直观的看只要求其风格与所述目标图像的风格不同，可以是与所述目标图像的图像特征信息不同的图像，这里提到的图像特征信息如颜色信息、纹理信息等。在某些场景中参照图像可以是具有艺术风格的图像，例如：古典风格的图画、后现代风格的图画等。
在一个例子中，获取需要转换风格的目标图像以及作为风格转换参照的参照图像，可以直接从目标图像库和参照图像库调取，也可以实时拍摄或收集。
步骤202：获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同。
本申请实施例中，所述目标区域可以是预先选定的图像区域、或预设的图像内容所处的图像区域，所述目标区域为预先选定的图像区域、或者预设的图像对象在所述目标图像内所处的区域，所述其他区域为所述目标图像内除所述目标区域之外的区域。将所述目标图像区分为目标区域和其他区域这两个不同区域，原因在于需要对这两个区域进行不同程度的风格转换。
为了对所述目标图像的不同区域进行不同程度风格转换，需要通过所述目标图像的掩膜图像对进行风格转换的风格转换模型进行优化，而所述掩膜图像为分别对所述目标对象的两个不同区域，进行Mask处理(掩膜处理)后所得的图像。所述目标区域和所述其他区域在所述掩膜图像中分别对应不同的区域，所对应的两个区域的灰度参数不同，如果其中一个区域相较于另一个区域需要进行低程度的风格转换，则该需要进行低程度的风格转换的区域，在所述掩膜图像中对应的区域的灰度参数小于0.5。
在一个例子中，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。如果希望人脸区域尽量保持原有结构，则其在掩膜图像中对应的区域的灰度参数取值在0～0.5之间，如果希望人脸区域的风格转换更强烈，则其在掩膜图像中对应的区域的灰度参数取值在0.5～1之间。
参阅图2b，所述目标图像为左边方框内所示的人物图像，对所述目标图像进行掩膜处理后所得的掩膜图像如右边方框内所示的灰度图像。目标区域为目标图像中的黑框所框选的区域，所述其他区域为所述目标图像中黑框之外的区域。所述目标图像在所述掩膜图像的对应区域是灰度参数为α的区域，所述其他区域在所述掩膜图像中的对应区域是灰度参数为1-α的区域。
在其他例子中，所述目标区域可以包括至少两个不同区域，该至少两个不同区域可以为目标区域内需要进行不同程度风格转换的区域，各自在掩膜图像中对应的区域的灰度参数之和，等于所述目标区域在掩膜图像中对应的区域的灰度参数。
步骤203：获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得。
本申请实施例中，与所述掩膜图像对应的风格转换网络，是可以对所述目标图像的不同区域进行不同程度的风格转换的网络。该风格转换网络与所述训练后的风格转换模型的不同之处在于：所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得。这里提到的点乘处理可以是特征图像的矩阵与掩膜图像的矩阵之间的乘积。
对于所述训练后的风格转换模型，可以预先采集大量的需要转换风格的图像以及作为风格转换参照的图像，构成训练集，然后提前用训练集中的图像训练能对图像的不同区域进行不同程度的风格转换的风格转换模型。
在一个可选实现方式中，本申请实施例的图像处理方法可以预先通过以下操作生成所述训练后的风格转换模型：
从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像。
设置各组训练图像的训练次序，并选取出第一次序的一组训练图像。
对选取出的每组训练图像执行如下迭代过程：
将所述第一图像输入全卷积网络，获得所述第一图像的特征数据。
将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像。
将获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像。
基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数。
调整所述全卷积网络和所述卷积神经网络的网络参数。
根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程。
当次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。
其中，差值在预设的差值范围内，表示差值满足预设的损失条件。差值范围可根据实际需要设定，例如：差值小于在先的损失函数的3％。
参阅图2c，全卷积网络为图2c所示的标号为fw的网络，卷积神经网络为图2c所示的标号为的网络。在某些场景，所述卷积神经网络可以是16层的VGG网络。
在训练过程中，将第一图像作为x图2c中的输入全卷积网络，提取出特征输入卷积神经网络，第一图像作为yc和第二图像作为ys分别输入卷积神经网络，卷积神经网络各卷积层对应的损失函数为
如果不考虑对不同区域进行不同程度的风格转换，在训练时同时优化两个损失函数，两个损失函数分别为Style Reconstruction loss和Feature Reconstruction Loss。
而Style Reconstruction loss的意义是和第二图像通过卷积神经网络之后得到的feature map之间的二阶Frobenius范数：
其中，G表示原矩阵的Gram矩阵，这个值越小，得到的输出图像的风格转换越强烈，也越容易破坏原有图像特征。
而Feature Reconstruction Loss是和第二图像通过卷积神经网络之后得到的Feature Map的归一化欧氏距离：
其中，C，W，H分别是图像的通道数，宽度，高度。作为归一化因子，这里的作用是避免损失函数的数值被图像大小影响。这个值越低，越能够保持第一图像的图像特征，即风格转换不够强烈。
为了对不同区域进行不同程度的风格转换，在算范数之前，根据得到的掩膜第三图像，修改原来的两个Reconstruction Loss，即：将每个全神经网络的各特征图像(Feature Map)的矩阵都分别与第三图像的矩阵M进行点乘处理，得到新的特征图像，然后获得如下所示的两个损失函数：
其中，I为与掩膜图像对应的矩阵M相同大小的全1矩阵。如果M为全0矩阵，则与对第一图像的所有区域进行相同程度的风格转换相同，如果M在不同区域有所不同，则对第一图像的不同区域进行不同程度的风格转换。
综上可知，Gram矩阵差的二范数表征第一图像的风格损失，Feature Map的归一化欧氏距离表征第一图像的内容损失，全神经网络的每一层的特征计算得到的Gram matrix，又可以很好的捕捉图像的风格信息(笔触以及纹理等)。结合这两种信息定义损失函数，指导第一图像从某个起始点(第一图像本身)开始，不断迭代优化，逐渐转变为风格变换后的图像。
在生成所述训练后的风格转换模型后，在另一个可选实现方式中，可以通过以下操作获取与所述掩膜图像对应的风格转换网络：
将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像。
基于优化后的特征图像，计算所述卷积神经网络的两个损失函数。
将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数。
将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。
本可选实现方式，将所述训练后的风格转换模型应用到即将进行风格转换的目标图像上，生成能对目标图像的不同区域进行不同程度的风格转换的风格转换网络。
步骤204：将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。
本申请实施例中，实现图像风格转换，需要参照图2c，将目标图像作为x图2c中的输入所述风格转换网络的全卷积网络，提取出特征输入所述风格转换网络的卷积神经网络，目标图像作为yc和参照图像作为ys分别输入卷积神经网络，通过所述风格转换网络的作用，输出图像为风格转换后的目标图像。
在一个例子中，参阅图2d，目标图像为图中左侧方框内上层所示的人物图像、参照图像为左侧框内下层所示的图画，风格转换后的目标图像为右侧方框内所示的输出图像。
在某些情景，获取掩膜图像时，可以通过分别生成用于掩盖所述目标图像的所述目标区域和所述其他区域的灰度图像，构成所述目标图像的掩膜图像，实现过程可参见图3a，图3a是本申请图像处理方法的另一个实施例流程图，该实施例可以包括以下步骤301-307：
步骤301：获取需要转换风格的目标图像以及作为风格转换参照的参照图像。
步骤302：识别所述目标图像的目标区域。
本申请实施例中，可以基于用户的触发操作框选所述目标区域，也可以通过图像识别技术，识别含有目标对象的图像区域。例如：通过人脸识别技术识别人脸。
步骤303：通过掩膜生成所述目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1。
步骤304：通过掩膜生成其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α。
本申请实施例中，其他区域为目标图像中除目标区域外的区域，在通过掩膜生成第一掩膜和第二掩膜时，可以预设形状的灰度图像掩盖所述目标区域或所述其他区域，调整灰度图像的形状和尺寸，当调整后的灰度图像恰好与对应区域的至少部分边界重合时，确定该调整后的灰度图像为第一或第二掩膜。
如果希望目标区域尽量保持原有图像特征(结构)，则其在掩膜图像中对应的区域的灰度参数α取值在0～0.5之间，如果希望目标区域的风格转换更强烈，则其在掩膜图像中对应的区域的灰度参数α取值在0.5～1之间。
步骤305：对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。
本申请实施例中，可以根据所述目标区域和所述其他区域在所述目标图像内的位置坐标，将所述第一掩膜填充到所述第二掩膜的空白区域，构成所述掩膜图像。
参阅图3b，目标图像为图中左侧方框内所示的图像，对目标图像不同区域掩膜处理后，目标区域的掩膜如图内中间方框上层所示的第一掩膜，其他区域的掩膜如图内中间方框下层所示的第二掩膜，合成后的图像为图中右侧方框所示的掩膜图像A。
步骤306：获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得。
步骤307：将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。
为了使掩膜图像中不同区域之间的边缘过度更自然，在一个可选实现方式中，通过以下操作对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像，包括：
对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成。
对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。
参阅图3c，合成后的图像为图中左侧方框内所示的掩膜图像A，对掩膜图像A高斯模糊后生成右侧框内所示的掩膜图B，对比图3c中的掩膜图像A和掩膜图像B可知：高斯处理后，掩膜图像中不同区域之间的边缘过度更自然，可以使风格转换后的目标图像内不同区域之间更和谐，能有效提高图像质量和用户观看体验。
由上述实施例可知：通过获取与所述目标图像对应的掩膜图像、以及与所述掩膜图像对应的风格转换网络，再将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。由于所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘处理所得，能够获得的风格转换后的图像，对应目标图像的目标区域和其他区域进行了不同程度的风格转换，可以降低对部分区域的结构破坏程度，从而提高图像转换质量。
此外，获得风格转换后的目标图像后，可以将作为某些社交APP内的用户头像、或共享到社交平台。
与前述图像处理方法的实施例相对应，本申请还提供了图像处理装置的实施例。
本申请图像处理装置的实施例可以应用在终端上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在终端的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本申请图像处理装置所在终端的一种硬件结构图，除了图4所示的处理器410、网络接口420、内存430、以及非易失性存储器440之外，实施例中装置所在的终端通常根据该终端的实际功能，还可以包括其他硬件，对此不再赘述。
上述处理器可以被配置为：获取需要转换风格的目标图像以及作为风格转换参照的参照图像；获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。
参见图5，图5是本申请图像处理装置的一个实施例框图，该装置可包括：输入图像获取模块510、掩膜图像获取模块520、转换网络获取模块530和图像风格转换模块540。
其中，输入图像获取模块510，用于获取需要转换风格的目标图像以及作为风格转换参照的参照图像。
掩膜图像获取模块520，用于获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同。
转换网络获取模块530，用于获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得。
图像风格转换模块540，用于将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。
在一个可选的实现方式中，本申请实施例的图像处理装置还可以包括模型训练模块，所述模型训练模块包括(图5中未示出)：
训练样本选取模块，用于从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像。
训练次序设置模块，用于设置各组训练图像的训练次序，并选取出第一次序的一组训练图像。
迭代模块，用于对选取出的每组训练图像执行迭代过程；
所述迭代模块还包括：
特征数据获取模块，用于将所述第一图像输入全卷积网络，获得所述第一图像的特征数据。
特征图像获取模块，用于将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像。
点乘处理模块，用于获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像。
损失函数生成模块，用于基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数。
网络参数调整模块，用于调整所述全卷积网络和所述卷积神经网络的网络参数。
迭代返回模块，用于根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程。
风格转换模型确定模块，用于在次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。
在另一个可选的实现方式中，本申请实施例的转换网络获取模块530还可以包括(图5中未示出)：
优化特征生成模块，用于将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像。
损失函数计算模块，用于基于优化后的特征图像，计算所述卷积神经网络的两个损失函数。
损失函数更新模块，用于将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数。
转换网络确定模块，用于将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。
在另一个可选的实现方式中，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。
参见图6，图6是本申请图像处理装置的另一个实施例框图，该装置可包括：输入图像获取模块610、掩膜图像获取模块620、转换网络获取模块630和图像风格转换模块640，掩膜图像获取模块620可以包括目标区域识别模块621、第一掩膜模块622、第二掩膜模块623和掩膜图像生成模块624。
其中，输入图像获取模块610，用于获取需要转换风格的目标图像以及作为风格转换参照的参照图像。
目标区域识别模块621，用于识别所述目标图像的目标区域。
第一掩膜模块622，用于通过掩膜生成所述目标图像内的目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1。
第二掩膜模块623，用于通过掩膜生成所述目标图像内的其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α。
掩膜图像生成模块624，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。
转换网络获取模块630，用于获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得。
图像风格转换模块640，用于将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。
在一个可选的实现方式中，本申请实施例的掩膜图像生成模块624还可以包(图6中未示出)：
图像合成模块，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成。
高斯模糊模块，用于对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。
本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (12)

1.一种图像处理方法，其特征在于，包括以下步骤：
获取需要转换风格的目标图像以及作为风格转换参照的参照图像；
获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；
获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；
将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述获取与所述目标图像对应的掩膜图像，包括：
识别所述目标图像的目标区域；
通过掩膜生成所述目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1；
通过掩膜生成所述其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α；
对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。
3.根据权利要求2所述的方法，其特征在于，所述对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像，包括：
对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成；
对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括所述训练后的风格转换模型的训练步骤：
从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像；
设置各组训练图像的训练次序，并选取出第一次序的一组训练图像；
对选取出的每组训练图像执行如下迭代过程：
将所述第一图像输入全卷积网络，获得所述第一图像的特征数据；
将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像；
将获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像；
基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数；
调整所述全卷积网络和所述卷积神经网络的网络参数；
根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程；
当次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。
5.根据权利要求4所述的方法，其特征在于，所述获取与所述掩膜图像对应的风格转换网络，包括：
将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像；
基于优化后的特征图像，计算所述卷积神经网络的两个损失函数；
将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数；
将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。
7.一种图像处理装置，其特征在于，包括：
输入图像获取模块，用于获取需要转换风格的目标图像以及作为风格转换参照的参照图像；
掩膜图像获取模块，用于获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；
转换网络获取模块，用于获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；
图像风格转换模块，用于将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。
8.根据权利要求7所述的装置，其特征在于，所述掩膜图像获取模块包括：
目标区域识别模块，用于识别所述目标图像的目标区域；
第一掩膜模块，用于通过掩膜生成所述目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1；
第二掩膜模块，用于通过掩膜生成所述其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α；
掩膜图像生成模块，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。
9.根据权利要求8所述的装置，其特征在于，所述掩膜图像生成模块包括：
图像合成模块，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成；
高斯模糊模块，用于对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括模型训练模块，所述模型训练模块包括：
训练样本选取模块，用于从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像；
训练次序设置模块，用于设置各组训练图像的训练次序，并选取出第一次序的一组训练图像；
迭代模块，用于对选取出的每组训练图像执行迭代过程；
所述迭代模块还包括：
特征数据获取模块，用于将所述第一图像输入全卷积网络，获得所述第一图像的特征数据；
特征图像获取模块，用于将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像；
点乘处理模块，用于获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像；
损失函数生成模块，用于基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数；
网络参数调整模块，用于调整所述全卷积网络和所述卷积神经网络的网络参数；
迭代返回模块，用于根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程；
风格转换模型确定模块，用于在次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。
11.根据权利要求10所述的装置，其特征在于，所述转换网络获取模块包括：
优化特征生成模块，用于将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像；
损失函数计算模块，用于基于优化后的特征图像，计算所述卷积神经网络的两个损失函数；
损失函数更新模块，用于将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数；
转换网络确定模块，用于将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。
12.根据权利要求7至11中任一项所述的装置，其特征在于，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。
CN201611191904.2A 2016-12-21 2016-12-21 图像处理方法及装置 Active CN106778928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611191904.2A CN106778928B (zh) 2016-12-21 2016-12-21 图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611191904.2A CN106778928B (zh) 2016-12-21 2016-12-21 图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN106778928A true CN106778928A (zh) 2017-05-31
CN106778928B CN106778928B (zh) 2020-08-04

Family

ID=58893700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611191904.2A Active CN106778928B (zh) 2016-12-21 2016-12-21 图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN106778928B (zh)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107171932A (zh) * 2017-04-27 2017-09-15 腾讯科技（深圳）有限公司 一种图片风格转换方法、装置及系统
CN107516290A (zh) * 2017-07-14 2017-12-26 北京奇虎科技有限公司 图像转换网络获取方法、装置、计算设备及存储介质
CN107730474A (zh) * 2017-11-09 2018-02-23 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN107886491A (zh) * 2017-11-27 2018-04-06 深圳市唯特视科技有限公司 一种基于像素最近邻的图像合成方法
CN107948529A (zh) * 2017-12-28 2018-04-20 北京麒麟合盛网络技术有限公司 图像处理方法及装置
CN108171652A (zh) * 2017-12-28 2018-06-15 努比亚技术有限公司 一种改进图像风格效果的方法、移动终端及存储介质
CN108846793A (zh) * 2018-05-25 2018-11-20 深圳市商汤科技有限公司 基于图像风格转换模型的图像处理方法和终端设备
CN108875766A (zh) * 2017-11-29 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108876726A (zh) * 2017-12-12 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108961349A (zh) * 2018-06-29 2018-12-07 广东工业大学 一种风格化图像的生成方法、装置、设备及存储介质
CN109101806A (zh) * 2018-08-17 2018-12-28 浙江捷尚视觉科技股份有限公司 一种基于风格迁移的隐私人像数据标注方法
CN109117948A (zh) * 2017-10-30 2019-01-01 上海寒武纪信息科技有限公司 画风转换方法及相关产品
CN109146825A (zh) * 2018-10-12 2019-01-04 深圳美图创新科技有限公司 摄影风格转换方法、装置及可读存储介质
CN109523460A (zh) * 2018-10-29 2019-03-26 北京达佳互联信息技术有限公司 图像风格的迁移方法、迁移装置和计算机可读存储介质
CN109685749A (zh) * 2018-09-25 2019-04-26 平安科技（深圳）有限公司 图像风格转换方法、装置、设备和计算机存储介质
CN110135446A (zh) * 2018-02-09 2019-08-16 北京世纪好未来教育科技有限公司 文本检测方法及计算机存储介质
CN110399924A (zh) * 2019-07-26 2019-11-01 北京小米移动软件有限公司 一种图像处理方法、装置及介质
CN110580733A (zh) * 2018-06-08 2019-12-17 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN110580677A (zh) * 2018-06-08 2019-12-17 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN110914834A (zh) * 2017-08-01 2020-03-24 3M创新有限公司 用于图像变型和识别的神经风格迁移
CN110956679A (zh) * 2018-09-26 2020-04-03 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111028137A (zh) * 2018-10-10 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111080746A (zh) * 2019-12-10 2020-04-28 中国科学院计算技术研究所 图像处理方法、装置、电子设备和存储介质
WO2020107761A1 (zh) * 2018-11-28 2020-06-04 深圳前海微众银行股份有限公司 广告文案处理方法、装置、设备及计算机可读存储介质
CN111311480A (zh) * 2018-12-11 2020-06-19 北京京东尚科信息技术有限公司 图像融合方法和装置
CN111340745A (zh) * 2020-03-27 2020-06-26 成都安易迅科技有限公司 一种图像生成方法、装置、存储介质及电子设备
CN111583165A (zh) * 2019-02-19 2020-08-25 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
US10789769B2 (en) 2018-09-05 2020-09-29 Cyberlink Corp. Systems and methods for image style transfer utilizing image mask pre-processing
CN111881981A (zh) * 2020-07-29 2020-11-03 苏州科本信息技术有限公司 一种基于掩膜编码的单阶段实例分割方法
CN112419328A (zh) * 2019-08-22 2021-02-26 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110096960B (zh) * 2019-04-03 2021-06-08 罗克佳华科技集团股份有限公司 目标检测方法及装置
CN113298593A (zh) * 2020-07-16 2021-08-24 阿里巴巴集团控股有限公司 商品推荐及图像检测方法、装置、设备和存储介质
CN113393545A (zh) * 2020-11-05 2021-09-14 腾讯科技（深圳）有限公司 一种图像动漫化处理方法、装置、智能设备和存储介质
CN113411550A (zh) * 2020-10-29 2021-09-17 腾讯科技（深圳）有限公司 视频上色方法、装置、设备及存储介质
JP2021182210A (ja) * 2020-05-18 2021-11-25 国立大学法人山梨大学 画像生成方法、プログラム及び画像生成装置
CN113870371A (zh) * 2021-12-03 2021-12-31 浙江霖研精密科技有限公司 基于生成对抗网络的图片颜色变换装置、方法和存储介质
JP2022015587A (ja) * 2020-07-09 2022-01-21 コニカミノルタ株式会社 学習装置、推論装置、学習方法、推論方法、学習プログラム、推論プログラム
CN114387160A (zh) * 2022-03-23 2022-04-22 北京大甜绵白糖科技有限公司 训练方法、图像的处理方法、装置、电子设备及存储介质
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588438A (zh) * 2009-06-10 2009-11-25 拓维信息系统股份有限公司 由彩照转化为不同风格图片的手机动画创作方法
US20150036920A1 (en) * 2013-07-31 2015-02-05 Fujitsu Limited Convolutional-neural-network-based classifier and classifying method and training methods for the same
US20150170002A1 (en) * 2013-05-31 2015-06-18 Google Inc. Object detection using deep neural networks
CN104732506A (zh) * 2015-03-27 2015-06-24 浙江大学 一种基于人脸语义分析的人物照片颜色风格转换方法
CN105303185A (zh) * 2015-11-27 2016-02-03 中国科学院深圳先进技术研究院 虹膜定位方法及装置
CN105373779A (zh) * 2015-11-10 2016-03-02 北京汉王智通科技有限公司 一种车辆安全带智能检测方法及智能检测系统
CN105574513A (zh) * 2015-12-22 2016-05-11 北京旷视科技有限公司 文字检测方法和装置
CN105719327A (zh) * 2016-02-29 2016-06-29 北京中邮云天科技有限公司 一种艺术风格化图像处理方法
CN105809704A (zh) * 2016-03-30 2016-07-27 北京小米移动软件有限公司 识别图像清晰度的方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588438A (zh) * 2009-06-10 2009-11-25 拓维信息系统股份有限公司 由彩照转化为不同风格图片的手机动画创作方法
US20150170002A1 (en) * 2013-05-31 2015-06-18 Google Inc. Object detection using deep neural networks
US20150036920A1 (en) * 2013-07-31 2015-02-05 Fujitsu Limited Convolutional-neural-network-based classifier and classifying method and training methods for the same
CN104732506A (zh) * 2015-03-27 2015-06-24 浙江大学 一种基于人脸语义分析的人物照片颜色风格转换方法
CN105373779A (zh) * 2015-11-10 2016-03-02 北京汉王智通科技有限公司 一种车辆安全带智能检测方法及智能检测系统
CN105303185A (zh) * 2015-11-27 2016-02-03 中国科学院深圳先进技术研究院 虹膜定位方法及装置
CN105574513A (zh) * 2015-12-22 2016-05-11 北京旷视科技有限公司 文字检测方法和装置
CN105719327A (zh) * 2016-02-29 2016-06-29 北京中邮云天科技有限公司 一种艺术风格化图像处理方法
CN105809704A (zh) * 2016-03-30 2016-07-27 北京小米移动软件有限公司 识别图像清晰度的方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUSTIN JOHNSON 等: "Perceptual Losses for Real-Time Style Transfer and Super-Resolution", 《ARXIV:1603.08155V1》 *
LEON A. GATYS 等: "Image Style Transfer Using Convolutional Neural Networks", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
ROMAN NOVAK 等: "Improving the Neural Algorithm of Artistic Style", 《ARXIV:1605.04603V1》 *
任石 等: "艺术风格转换技术", 《信息技术与信息化》 *

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107171932A (zh) * 2017-04-27 2017-09-15 腾讯科技（深圳）有限公司 一种图片风格转换方法、装置及系统
CN107171932B (zh) * 2017-04-27 2021-06-08 腾讯科技（深圳）有限公司 一种图片风格转换方法、装置及系统
CN107516290A (zh) * 2017-07-14 2017-12-26 北京奇虎科技有限公司 图像转换网络获取方法、装置、计算设备及存储介质
CN107516290B (zh) * 2017-07-14 2021-03-19 北京奇虎科技有限公司 图像转换网络获取方法、装置、计算设备及存储介质
CN110914834A (zh) * 2017-08-01 2020-03-24 3M创新有限公司 用于图像变型和识别的神经风格迁移
CN110914834B (zh) * 2017-08-01 2024-04-16 3M创新有限公司 用于图像变型和识别的神经风格迁移
US11922132B2 (en) 2017-10-30 2024-03-05 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US12050887B2 (en) 2017-10-30 2024-07-30 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
CN109117948A (zh) * 2017-10-30 2019-01-01 上海寒武纪信息科技有限公司 画风转换方法及相关产品
US11762631B2 (en) 2017-10-30 2023-09-19 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US10706504B2 (en) 2017-11-09 2020-07-07 Boe Technology Group Co., Ltd. Image processing methods and image processing devices
CN107730474A (zh) * 2017-11-09 2018-02-23 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN107886491A (zh) * 2017-11-27 2018-04-06 深圳市唯特视科技有限公司 一种基于像素最近邻的图像合成方法
CN108875766A (zh) * 2017-11-29 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108875766B (zh) * 2017-11-29 2021-08-31 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108876726A (zh) * 2017-12-12 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108171652A (zh) * 2017-12-28 2018-06-15 努比亚技术有限公司 一种改进图像风格效果的方法、移动终端及存储介质
CN107948529A (zh) * 2017-12-28 2018-04-20 北京麒麟合盛网络技术有限公司 图像处理方法及装置
CN107948529B (zh) * 2017-12-28 2020-11-06 麒麟合盛网络技术股份有限公司 图像处理方法及装置
CN110135446A (zh) * 2018-02-09 2019-08-16 北京世纪好未来教育科技有限公司 文本检测方法及计算机存储介质
CN110135446B (zh) * 2018-02-09 2021-01-22 北京世纪好未来教育科技有限公司 文本检测方法及计算机存储介质
CN108846793B (zh) * 2018-05-25 2022-04-22 深圳市商汤科技有限公司 基于图像风格转换模型的图像处理方法和终端设备
CN108846793A (zh) * 2018-05-25 2018-11-20 深圳市商汤科技有限公司 基于图像风格转换模型的图像处理方法和终端设备
CN110580733A (zh) * 2018-06-08 2019-12-17 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN110580733B (zh) * 2018-06-08 2024-05-17 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN110580677A (zh) * 2018-06-08 2019-12-17 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN108961349A (zh) * 2018-06-29 2018-12-07 广东工业大学 一种风格化图像的生成方法、装置、设备及存储介质
CN109101806A (zh) * 2018-08-17 2018-12-28 浙江捷尚视觉科技股份有限公司 一种基于风格迁移的隐私人像数据标注方法
US10789769B2 (en) 2018-09-05 2020-09-29 Cyberlink Corp. Systems and methods for image style transfer utilizing image mask pre-processing
US12057109B2 (en) 2018-09-13 2024-08-06 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US11996105B2 (en) 2018-09-13 2024-05-28 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device
US12057110B2 (en) 2018-09-13 2024-08-06 Shanghai Cambricon Information Technology Co., Ltd. Voice recognition based on neural networks
US12094456B2 (en) 2018-09-13 2024-09-17 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and system
CN109685749B (zh) * 2018-09-25 2023-04-18 平安科技（深圳）有限公司 图像风格转换方法、装置、设备和计算机存储介质
CN109685749A (zh) * 2018-09-25 2019-04-26 平安科技（深圳）有限公司 图像风格转换方法、装置、设备和计算机存储介质
CN110956679B (zh) * 2018-09-26 2023-07-14 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110956679A (zh) * 2018-09-26 2020-04-03 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111028137A (zh) * 2018-10-10 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111028137B (zh) * 2018-10-10 2023-08-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN109146825A (zh) * 2018-10-12 2019-01-04 深圳美图创新科技有限公司 摄影风格转换方法、装置及可读存储介质
CN109523460A (zh) * 2018-10-29 2019-03-26 北京达佳互联信息技术有限公司 图像风格的迁移方法、迁移装置和计算机可读存储介质
WO2020107761A1 (zh) * 2018-11-28 2020-06-04 深圳前海微众银行股份有限公司 广告文案处理方法、装置、设备及计算机可读存储介质
CN111311480B (zh) * 2018-12-11 2024-02-09 北京京东尚科信息技术有限公司 图像融合方法和装置
CN111311480A (zh) * 2018-12-11 2020-06-19 北京京东尚科信息技术有限公司 图像融合方法和装置
CN111583165B (zh) * 2019-02-19 2023-08-08 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
CN111583165A (zh) * 2019-02-19 2020-08-25 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
WO2020168844A1 (en) * 2019-02-19 2020-08-27 Boe Technology Group Co., Ltd. Image processing method, apparatus, equipment, and storage medium
US11403838B2 (en) 2019-02-19 2022-08-02 Boe Technology Group Co., Ltd. Image processing method, apparatus, equipment, and storage medium to obtain target image features
CN110096960B (zh) * 2019-04-03 2021-06-08 罗克佳华科技集团股份有限公司 目标检测方法及装置
CN110399924B (zh) * 2019-07-26 2021-09-07 北京小米移动软件有限公司 一种图像处理方法、装置及介质
US11120604B2 (en) 2019-07-26 2021-09-14 Beijing Xiaomi Mobile Software Co., Ltd. Image processing method, apparatus, and storage medium
CN110399924A (zh) * 2019-07-26 2019-11-01 北京小米移动软件有限公司 一种图像处理方法、装置及介质
CN112419328A (zh) * 2019-08-22 2021-02-26 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111080746A (zh) * 2019-12-10 2020-04-28 中国科学院计算技术研究所 图像处理方法、装置、电子设备和存储介质
CN111080746B (zh) * 2019-12-10 2024-04-26 中国科学院计算技术研究所 图像处理方法、装置、电子设备和存储介质
CN111340745A (zh) * 2020-03-27 2020-06-26 成都安易迅科技有限公司 一种图像生成方法、装置、存储介质及电子设备
JP2021182210A (ja) * 2020-05-18 2021-11-25 国立大学法人山梨大学 画像生成方法、プログラム及び画像生成装置
JP7477864B2 (ja) 2020-05-18 2024-05-02 国立大学法人山梨大学 画像生成方法、プログラム及び画像生成装置
JP7512724B2 (ja) 2020-07-09 2024-07-09 コニカミノルタ株式会社 学習装置、推論装置、学習方法、推論方法、学習プログラム、推論プログラム
JP2022015587A (ja) * 2020-07-09 2022-01-21 コニカミノルタ株式会社 学習装置、推論装置、学習方法、推論方法、学習プログラム、推論プログラム
CN113298593A (zh) * 2020-07-16 2021-08-24 阿里巴巴集团控股有限公司 商品推荐及图像检测方法、装置、设备和存储介质
CN111881981A (zh) * 2020-07-29 2020-11-03 苏州科本信息技术有限公司 一种基于掩膜编码的单阶段实例分割方法
CN113411550A (zh) * 2020-10-29 2021-09-17 腾讯科技（深圳）有限公司 视频上色方法、装置、设备及存储介质
CN113393545A (zh) * 2020-11-05 2021-09-14 腾讯科技（深圳）有限公司 一种图像动漫化处理方法、装置、智能设备和存储介质
CN113870371A (zh) * 2021-12-03 2021-12-31 浙江霖研精密科技有限公司 基于生成对抗网络的图片颜色变换装置、方法和存储介质
CN114387160A (zh) * 2022-03-23 2022-04-22 北京大甜绵白糖科技有限公司 训练方法、图像的处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN106778928B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN106778928A (zh) 图像处理方法及装置
He et al. Conditional sequential modulation for efficient global image retouching
CN109255769A (zh) 图像增强网络的训练方法和训练模型、及图像增强方法
CN111798400A (zh) 基于生成对抗网络的无参考低光照图像增强方法及系统
CN105915909B (zh) 一种高动态范围图像分层压缩方法
CN108399373A (zh) 人脸关键点的模型训练及其检测方法和装置
CN110322416A (zh) 图像数据处理方法、装置以及计算机可读存储介质
CN110570377A (zh) 一种基于组归一化的快速图像风格迁移方法
CN108833784A (zh) 一种自适应构图方法、移动终端及计算机可读存储介质
CN107240085A (zh) 一种基于卷积神经网络模型的图像融合方法及系统
CN111127309A (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN110930341A (zh) 一种基于图像融合的低光照图像增强方法
CN107948733A (zh) 视频图像处理方法及装置、电子设备
Liu et al. Very lightweight photo retouching network with conditional sequential modulation
CN109345487B (zh) 一种图像增强方法及计算设备
Li et al. An adaptive enhancement method for low illumination color images
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
Li et al. Flexible piecewise curves estimation for photo enhancement
Liu et al. Progressive complex illumination image appearance transfer based on CNN
CN114463223A (zh) 一种图像增强的处理方法、装置、计算机设备及介质
CN110782408B (zh) 一种基于卷积神经网络的智能美型方法及系统
Song et al. Multi-scale joint network based on Retinex theory for low-light enhancement
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN114723610A (zh) 图像智能处理方法、装置、设备及存储介质
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210115

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Patentee after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 511442 24 floors, B-1 Building, Wanda Commercial Square North District, Wanbo Business District, 79 Wanbo Second Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170531

Assignee: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

Assignor: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2021440000053

Denomination of invention: Image processing method and device

Granted publication date: 20200804

License type: Common License

Record date: 20210208

EE01 Entry into force of recordation of patent licensing contract