CN113139917A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113139917A
CN113139917A CN202110442247.9A CN202110442247A CN113139917A CN 113139917 A CN113139917 A CN 113139917A CN 202110442247 A CN202110442247 A CN 202110442247A CN 113139917 A CN113139917 A CN 113139917A
Authority
CN
China
Prior art keywords
shadow
image
sample
network
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110442247.9A
Other languages
English (en)
Inventor
郑全龙
杨统
郭彦东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110442247.9A priority Critical patent/CN113139917A/zh
Publication of CN113139917A publication Critical patent/CN113139917A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、电子设备及存储介质，该图像处理方法包括：获取待处理图像，所述待处理图像包括阴影区域；将所述待处理图像输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图，所述阴影抠图用于为所述待处理图像对应的阴影比例因子所表示的图像，所述阴影抠图模型为基于阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到；将所述待处理图像与所述阴影抠图进行像素级相除，获得去阴影后的图像。本方法在实现对图像中的阴影进行去除时，可以达到较佳的阴影去除效果。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着科技水平和生活水平的快速进步，电子设备被人们广泛地使用。通常电子设备具有图像采集功能，可以方便人们采集日常生活和工作中所需的图像。然而在图像检测、物体识别、图像修复、分割抠图、文档矫正等领域进行图像采集时，由于自然光照和非自然光照的影响，会使得采集到的图像往往都会含有阴影，阴影会对后续的处理方法造成严重的影响。
发明内容
鉴于上述问题，本申请提出了一种图像处理方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种像处理方法，所述方法包括：获取待处理图像，所述待处理图像包括阴影区域；将所述待处理图像输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图，所述阴影抠图为所述待处理图像对应的阴影比例因子所表示的图像，所述阴影抠图模型为基于阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到；将所述待处理图像与所述阴影抠图进行像素级相除，获得去阴影后的图像。
第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：第一图像获取模块、第二图像获取模块以及第三图像获取模块，其中，所述第一图像获取模块用于获取待处理图像，所述待处理图像包括阴影区域；所述第二图像获取模块用于将所述待处理图像输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图，所述阴影抠图为所述待处理图像对应的阴影比例因子所表示的图像，所述阴影抠图模型为基于阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到；所述第三图像获取模块用于将所述待处理图像与所述阴影抠图进行像素级相除，获得去阴影后的图像。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的图像处理方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的图像处理方法。
本申请提供的方案，通过获取包括阴影区域的待处理图像，将待处理图像输入至预先训练的阴影抠图模型，获得阴影抠图模型输出的阴影抠图，该阴影抠图为待处理图像对应的阴影比例因子所表示的图像，并且该阴影抠图模型是基于阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到，再将待处理图像与阴影抠图进行像素级相除，获得去阴影后的图像，由于阴影抠图模型是对循环一致性生成网络训练得到，可以提升阴影抠图模型获取阴影抠图的准确性，进而在利用阴影抠图对待处理图像进行阴影去除时，能够提升阴影去除的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施例的图像处理方法流程图。
图2示出了本申请实施例提供的图像处理方法的原理示意图。
图3示出了根据本申请另一个实施例的图像处理方法流程图。
图4示出了本申请另一个实施例提供的图像处理方法中步骤S210的流程图。
图5示出了本申请另一个实施例提供的图像处理方法中步骤S230的流程图。
图6示出了本申请实施例提供的模型训练的原理示意图。
图7示出了根据本申请又一个实施例的图像处理方法流程图。
图8示出了本申请实施例提供的一种界面示意图。
图9示出了本申请实施例提供的另一种界面示意图。
图10示出了根据本申请一个实施例的图像处理装置的一种框图。
图11是本申请实施例的用于执行根据本申请实施例的图像处理方法的电子设备的框图。
图12是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在图像检测、物体识别、图像修复、分割抠图、文档矫正等领域进行图像采集时，由于自然光照和非自然光照的影响采集到的图像往往都会含有阴影，阴影会对后续的处理方法造成严重的影响，因此为了增加后续图像处理算法的性能，使图像看上去更加自然，去除图像中的阴影是一项非常有必要的工作。
在传统的阴影去除方案中，通常分为传统方法和基于深度学习的方法，传统方法首先基于亮度和颜色等检测出阴影，然后再基于像素块匹配和梯度域以及强度域等进行阴影移除，方法的适应性较差，易受光照等因素的影响，往往只能在特定条件下才能取得一定效果。基于深度学习的方法不断被应用到各个领域并取得不错效果，在阴影去除领域，利用生成对抗网络和卷积神经网络，可以自动地从图像中提取出高层次的特征信息，进一步再进行阴影检测和去除，能够应对更加复杂的使用场景，从而具有很好的鲁棒性和适应性。
相关技术中，基于深度学习的图像去阴影方法大致有两种方案。一种是用配对的阴影图像和无阴影图像有监督的训练一个去影网络。该方法通常需要先对采集到的无阴影图像做色彩调整来使其与阴影图像在非阴影区域亮度一致；做法是从对应的非阴影区域的影子图像和去影后图像去学习一个线性函数，然后用该函数去调整去影后图像，来实现减少数据色偏。然后用类Unet网络去做端到端训练；如果训练数据有阴影的掩码，通常会先用一个神经网络去学习阴影掩码，然后将学习到的掩码和原图像级联输入到另一个网络来做去影。该方法中，由于直接去预测去影图像，通常结果会产生模糊，影子边缘不自然等情况。
另一种思路，用一个不配对的阴影图像域和无阴影图像域无监督的训练一个图像-图像转换网络，该方法中，也是直接预测的去影图像和影子图像，因此去影效果也会存在效果不佳的问题。
针对上述问题，发明人提出了本申请实施例提供的图像处理方法、装置、电子设备以及存储介质，通过对循环一致性生成网络训练得到阴影抠图模型，基于该抠图模型获取待处理图像的阴影抠图，可以提升阴影抠图模型获取阴影抠图的准确性，进而在利用阴影抠图对待处理图像进行阴影去除时，能够提升阴影去除的效果。其中，具体的图像处理方法在后续的实施例中进行详细的说明。
请参阅图1，图1示出了本申请一个实施例提供的图像处理方法的流程示意图。在具体的实施例中，所述图像处理方法应用于如图10所示的图像处理装置400以及配置有所述图像处理装置400的电子设备100(图11)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S110：获取待处理图像，所述待处理图像包括阴影区域。
在本申请实施例中，电子设备可以获取需要对图像进行阴影去除的待处理图像。其中，待处理图像中可以包括阴影区域，即需要进行阴影去除的区域。可以理解地，人们在拍摄图像时，由于自然光照和非自然光照的影响采集到的图像往往都会含有阴影，而通常在图像检测、物体识别、图像修复、分割抠图、文档矫正等应用场景中需要对阴影进行去除，因此存在对图像进行阴影去除的需求。
作为一种实施方式，电子设备为智能手机、平板电脑、智能手表等设置有摄像头的移动终端时，可以通过前置摄像头或者后置摄像头进行图像采集，从而获得待处理图像，例如，电子设备可以通过后置摄像头采集图像，并将获得的图像作为待处理图像；作为另一种实施方式，电子设备可以从本地获取待处理图像，也就是说，电子设备可以从本地存储的文件中获取待处理图像，例如，电子设备为移动终端时，可以从相册获取待处理图像，即电子设备预先通过摄像头采集图像后存储在本地相册，或者预先从网络下载图像后存储在本地相册等，然后在需要对图像进行阴影图像时，从相册中读取待处理图像；作为又一种实施方式，电子设备为移动终端或者电脑时，也可以从网络下载待处理图像，例如，电子设备可以通过无线网络、数据网络等从相应的服务器下载需求的待处理图像；作为再一种实施方式，电子设备也可以通过用户在其他设备的输入操作，对输入的待处理图像进行接收，从而获得待处理图像。
当然，电子设备具体获取待处理图像的方式可以不作为限定。
步骤S120：将所述待处理图像输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图，所述阴影抠图为所述待处理图像对应的阴影比例因子所表示的图像，所述阴影抠图模型为基于阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到。
电子设备在获取到待处理图像后，可以将待处理图像输入至预先训练的阴影抠图模型，以获取待处理图像的阴影抠图。其中，阴影抠图为阴影遮罩(shadow matte)，此处得到的阴影抠图即为待处理对应的阴影遮罩，阴影遮罩可以表示由阴影引起的照明衰减效果，也可以表示阴影比例因子，因此阴影抠图即阴影图像对应的阴影比例因子所表示的图像，每个阴影图像都可以看做是无阴影图像与阴影抠图的像素级相乘。可以理解地，在数字图像处理中，成像传感器产生的阴影图像可以被认为是无阴影的图像与阴影函数的乘积来建模的图像，因此可以据此来进行阴影去除；在根据阴影图像可以被认为是无阴影的图像与阴影函数的乘积来建模的图像，进行阴影去除时，可以估计图像的阴影模式，也就是获取图像的阴影抠图，再利用阴影图像与阴影抠图进行像素级相除，即可实现阴影的去除。
在本申请实施例中，以上阴影抠图模型为根据阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到的。循环一致性生成对抗网络实质为两个镜像对称的生成对抗网络，生成对抗网络(Generative Adversarial Network，GAN)，GAN模型是一种深度学习模型，可应用于无监督图像转换(Unsupervised Image Translation，UIT)场景中，该模型通过框架中至少两个模型：生成模型(Generative Model)和判别模型(Discriminative Model)之间的互相博弈学习产生相当好的输出。在GAN的训练过程中，判别模型G的目标就是尽量生成真实的图片去欺骗判别模型D，而判别模型D的目标就是尽量把判别模型G生成的图片和真实的图片分别开来。如此，生成模型G和判别模型D之间就构成了一个动态的“博弈过程”。
其中，本申请实施例中的循环一致性生成网络包括的两个生成对抗网络中，其中一个生成对抗网络中的生成器用于根据阴影图像生成其对应的阴影抠图，生成的阴影抠图用于对阴影图像进行阴影去除，获得去阴影后的图像；另一个生成对抗网络中的生成器用于生成无阴影的图像的阴影抠图，生成的阴影抠图用于生成无阴影的图像对应的阴影图像。因此，阴影图像或者无阴影图像通过循环一致性生成对抗网络后，都可以根据最后得到的阴影抠图来生成与原图像相似的图像。
在进行模型训练时，可以基于阴影图像和无阴影图像，对循环一致性生成对抗网络进行训练，训练完成后，用于生成阴影图像的阴影抠图的生成器即为上述的阴影抠图模型。由于循环一致性生成对抗网络的特点，利用了阴影去除以及生成阴影的过程，对生成器生成的阴影抠图进行约束，因此可以实现无监督的学习，并且能够提升生成的阴影抠图的准确性，从而能够使得利用生成的阴影抠图对待处理图像进行阴影去除时，能够提升阴影去除的效果。
步骤S130：将所述待处理图像与所述阴影抠图进行像素级相除，获得去阴影后的图像。
在本申请实施例中，在获取到待处理图像对应的阴影抠图后，可以将待处理图像与得到的阴影抠图进行像素级相除，从而获得去阴影后的图像。其中，阴影抠图与待处理图像的尺寸相同。具体地，将待处理图像与阴影抠图进行像素级相除，是指将待处理图像中各个位置的像素点与阴影抠图中对应位置的像素点进行相除，从而得到各个位置处对应的新像素点，这些新像素点即构成最终的去阴影后的图像。
请参阅图2，本申请实施例提供的图像处理方法，通过将包含阴影区域的待处理图像输入至阴影抠图模型301，阴影抠图模型301用于生成待处理图像对应的阴影抠图，从而得到待处理图像对应的阴影抠图后，然后将待处理图像与阴影抠图进行像素级相除，从而获得去阴影后的图像。
相比于传统的基于深度学习的图像去阴影方法，本申请实施例提供的图像处理方法，通过获取待处理图像的阴影抠图来进行阴影去除，能够避免直接去预测去影图像所导致的阴影去除效果不佳的问题，也能够有效的减少模型学习的复杂性。另外，由于基于循环一致性生成对抗网络的特点，利用了阴影去除以及生成阴影的过程，对生成器生成的阴影抠图进行约束，可以实现无监督的学习，并且相比直接利用一个网络来训练阴影抠图模型，能够利用循环一致性生成对抗网络中两次获得的阴影抠图的一致性，提升生成的阴影抠图的准确性，从而能够使得利用生成的阴影抠图对待处理图像进行阴影去除时，能够提升阴影去除的效果。
请参阅图3，图3示出了本申请另一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备，下面将针对图3所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S210：获取训练样本集合，所述训练样本集合包括多张阴影样本图像以无阴影样本图像。
针对前述实施例中的阴影抠图模型，本申请实施例中还包括对该阴影抠图模型的训练方法，值得说明的是，对阴影抠图模型的训练可以是根据获取的训练数据集合预先进行的，后续在每次需要对待处理图像进行阴影去除的处理时，则可以利用训练得到的阴影抠图模型进行，而无需每次对待处理图像进行处理时对阴影抠图模型进行训练。
在本申请实施例中，训练样本集合可以包括多张阴影样本图像以及无阴影样本图像。阴影样本图像以及无阴影样本图像均用于对循环一致性生成对抗网络进行训练，以得到阴影抠图模型。阴影样本图像与无阴影样本图像可以为配对的图像，也可以为不配对的图像，其中，阴影样本图像与无阴影样本图像配对，可以指图像内容相同的图像，也就是说，配对的阴影样本图像与无阴影样本图像中，包含相同图像内容，但是阴影样本图像中包含阴影，而无阴影样本图像中不包含阴影。可以理解的，由于循环一致性生成对抗网络的特点，利用了阴影去除以及生成阴影的过程，对生成器生成的阴影抠图进行约束，可以实现无监督的学习，因此不配对的阴影样本图像与无阴影样本图像也可以实现对于循环一致性生成网络的训练。
在一些实施方式中，可以从开源的图像库中获取大量的阴影样本图像以及无阴影样本图像，从而构建出训练样本集合；当然，也可以通过摄像头采集大量的阴影样本图像以及无阴影样本图像，从而构建出训练样本集合。
可选的，为了减少采集阴影样本图像和无影子图像的时间损耗和解决两个图像域光源不匹配问题，可以从阴影图像上去生成多张阴影样本图像和无阴影样本图像。具体地，请参阅图4，获取训练样本集合，可以包括：
步骤S211：获取多张包含阴影区域的第一样本图像；
步骤S212：将预设尺寸的滑动框，按照预设步长于所述样本图像中进行多次滑动，获得每次滑动后所述滑动框所在的区域，作为第二样本图像；
步骤S213：从所述第二样本图像中获取包含阴影区域以及无阴影区域的图像，作为所述阴影样本图像；
步骤S214：从所述第二样本图像中获取不包含阴影区域的图像作为所述无阴影样本图像。
在该实施方式中，通过将预设尺寸的滑动框，按照预设步长于样本图像中进行多次滑动，可以从样本图像中提取大量的图像块，这些图像块经过筛选后，可以作为阴影样本图像以及无阴影样本图像。也就是说，通过滑动框可以获得一系列有重叠的图像块，然后根据对这些图像块进行阴影检测，可以筛选出同时包含阴影区域以及无阴影区域的图像块，作为阴影样本图像，并筛选出不包含阴影区域的图像块，作为无阴影样本图像。其中，预设尺寸以及预设步长的具体数值在本申请实施例中可以不做限定，可以根据循环一致性生成网络对图像尺寸的要求以及样本图像的具体尺寸进行设置。
可选的，样本图像还可以经过以下的数据增强方式进行增强：水平翻转，竖直翻转，随机剪裁成256x256大小。
步骤S220：获取循环一致性生成对抗网络，所述循环一致性生成对抗网络包括第一生成网络、第一判别器、第二生成网络以及第二判别器。
在本申请实施例中，在训练得到阴影抠图模型时，可以构建循环一致性生成对抗网络。该循环一致性生成对抗网络可以包括第一生成网络、第一判别器、第二生成网络以及第二判别器，其中，第一生成网络用于生成阴影图像对应的阴影抠图，第二生成网络用于生成无阴影图像对应的阴影抠图，第一判别器用于判别根据第一生成网络生成的阴影抠图所获得的无阴影伪图像是否为真实图像，第二判别器用于判别根据第二生成网络生成的阴影抠图所获得的阴影伪图像是否为真实图像。
在一些实施方式中，第一生成网络以及第二生成网络可以是机器学习模型，或者是深度学习模型，如编码器-解码器模型(encoder-decoder模型)、沙漏网络、自编码网络等；又例如，为方便阴影抠图模型部署于移动终端类的电子设备，初始的第一生成网络以及第二生成网络可以为Unet网络。第一判别器以及第二判别器也可以为机器学习模型，或者是深度学习模型，例如，可以为卷积神经网络。
可选的，第一生成网络以及第二生成网络均可以为卷积神经网络。示例性的，第一生成网络包括第一编码网络以及第一解码网络，输入第一编码网络的图像经过卷积、批归一化(BN)和激活函数(Relu)激活后，输出图像特征，第一解码网络对输入的图像特征，进行卷积、批归一化和Relu函数的激活，然后再通过多个残差块及卷积层后，输出阴影抠图；第二生成网络包括第二编码网络以及第二解码网络，输入第二编码网络的图像经过卷积、批归一化和激活函数激活后，输出图像特征，第二解码网络对输入的图像特征，进行卷积、批归一化和Relu函数的激活，然后再通过多个残差块及卷积层后，输出阴影抠图。
可选的，由于需要训练得到的阴影抠图模型的准确性较高，因此对阴影抠图模型中第一生成网络以及第二生成网络的特征表示能力要求比较高，从而可以使用较多层数的卷积神经网络。例如，第一生成网络以及第二生成网络为编码-解码模型时，第一生成网络以及第二生成网络中的编码网络以及解码网络可以采用20层全卷积神经网络，下采样使用步长为2的卷积(特征提取阶段)，上采样阶段使用转置卷积实现。进一步的，为保证卷积神经网络的网络深度的同时运算量不至于太大，还可以在第一生成网络以及第二生成网络的Encoder(解码模型)阶段的可以引入深度可分离卷积块以减少运算量，同时增加表征能力。
可选的，第一判别器以及第二判别器可以为卷积神经网络，第一判别器以及第二判别器根据解码器输入的图像，经过多次卷积、批归一化以及激活函数激活后，再经过激活函数处理后，输出图像是否为真实图像的结果。由于需要训练后的第一判别器以及第二判别器的准确性较高，因此对第一判别器以及第二判别器的特征表示能力要求比较高，从而可以使用较多层数的卷积神经网络，例如，第一判别器以及第二判别器可以使用一个10层深的卷积神经网络。同样的，为保证卷积神经网络的网络深度的同时运算量不至于太大，还可以在判别器中引入深度可分离卷积块以减少运算量，同时增加表征能力。
步骤S230：通过所述训练样本集合对所述循环一致性生成对抗网络进行训练，直至所述循环一致性生成对抗网络满足预设条件，得到训练后的第一生成网络作为所述阴影抠图模型。
在本申请实施例中，在构建完成循环一致性生成对抗网络，以及训练样本集合后，可以通过训练样本集合对循环一致性生成对抗网络进行训练，以在训练完成后，获得阴影抠图模型。其中，在循环一致性生成对抗网络训练完成后，用于生成阴影图像对应的阴影抠图的第一生成网络即可作为阴影抠图模型，以在应用过程中，对待处理图像生成其对应的阴影抠图，并利用阴影抠图对待处理图像进行阴影去除。
在一些实施方式中，请参阅图5，步骤S230可以包括：
步骤S231：将所述阴影样本图像输入所述第一生成网络，通过所述第一生成网络生成所述阴影样本图像对应的第一阴影抠图，并将所述阴影样本图像与所述第一阴影抠图进行像素级相除，获得第一无阴影伪图像。
步骤S232：将所述第一无阴影伪图像以及所述阴影样本图像对应的阴影掩膜图像输入至所述第二生成网络，通过所述第二生成网络生成所述第一无阴影伪图像对应的第二阴影抠图，并将所述第二阴影抠图与所述第一无阴影伪图像进行像素级相乘，获得第一阴影伪图像。
步骤S233：将所述无阴影样本图像以及任一阴影样本图像对应的阴影掩膜图像输入至所述第二生成网络，通过所述第二生成网络生成所述无阴影样本图像对应的第三阴影抠图，并将所述第三阴影抠图与所述无阴影样本图像进行像素级相乘，获得第二阴影伪图像。
步骤S234：将所述第二阴影伪图像输入至所述第一生成网络，通过所述第一生成网络生成所述第二阴影伪图像对应的第四阴影抠图，并将所述第二阴影伪图像与所述第四阴影抠图进行像素级相除，获得第二无阴影伪图像。
步骤S235：根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影抠图、所述第二阴影抠图、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的总损失值，并根据所述总损失值对所述循环一致性生成对抗网络进行迭代训练，直至所述循环一致性生成对抗网络满足预设条件。
在对循环一致性生成对抗网络进行训练时，由于循环一致性生成对抗网络的特点，因此训练的目标是阴影图像或者无阴影图像通过循环一致性生成对抗网络后，都可以根据最后得到的阴影抠图来生成与原图像相似的图像。另外，由于阴影图像以及无阴影图像所输入至的生成网络不同，因此，在利用阴影样本图像以及无阴影样本图像对循环一致性生成对抗网络进行训练时，样本图像经过的生成网络的先后顺序有所不同。具体地，请参阅图6，输入为阴影样本图像时，首先可以输入至第一生成网络；阴影样本图像与第一生成网络输出的第一阴影抠图进行像素级相除，得到第一无阴影伪图像；再将阴影样本图像对应的阴影掩膜图像与第一无阴影伪图像，输入至第二生成网络；然后将第一无阴影伪图像与第二生成网络输出的第二阴影抠图进行像素级相乘，得到第一阴影伪图像。输入为无阴影样本图像时，可以将无阴影样本图像以及任一阴影样本图像的阴影掩膜图像输入至第二生成网络；将无阴影样本图像与第二生成网络输出的第三阴影抠图进行像素级相乘，得到第二阴影伪图像；第二阴影伪图像输入至第一生成网络；再将第二阴影伪图像，与第一生成网络根据第二阴影伪图像所生成的第四阴影抠图进行像素级相除，得到第二阴影伪图像。
另外，无阴影样本图像以及生成的第一无阴影伪图像、第二无阴影伪图像可以输入至第一判别器，以对第一判别器进行训练；阴影样本图像以及生成的第一阴影伪图像、第二阴影伪图像可以输入至第二判别器，以对第二判别器进行训练。
其中，阴影掩膜图像为二值掩膜图像，二值掩膜图像是指根据图像的像素值，对阴影区域进行分割后获得的二值图像，在阴影掩膜图像中，阴影区域的像素值与其他区域的像素值不同，从而可以区分出阴影掩膜图像中的阴影区域。例如，阴影掩膜图像中，阴影区域对应的像素值可以为255(白色)，而其他区域的像素值可以为0(黑色)；又例如，阴影区域的像素值可以为0，而其他区域的像素值可以为255，在此不做限定。可以理解地，无阴影样本图像以及无阴影伪图像中被认为不包含阴影区域，因此在输入至第二生成网络，获取阴影抠图时，可以利用阴影掩膜图像一起输入至第二生成网络，以约束生成的阴影抠图。
可以理解地，训练过程中，第一生成网络的输入为阴影样本图像以及阴影伪图像；第二生成网络的输入为无阴影样本图像以及无阴影伪图像。无论针对阴影样本图像对循环一致性生成对抗网络进行训练，还是针对无阴影样本图像对循环一致性生成对抗网络进行训练，根据最终输出的阴影抠图所重新生成的图像应当与输入的样本图像相似，从而得到循环一致的目的。
在以上的训练过程中，循环一致性生成对抗网络的损失主要来源于：循环一致损失、对抗生成损失以及身份损失。其中，循环一致损失主要为阴影样本图像对应的循环一致损失、无阴影样本图像对应的循环一致损失以及阴影抠图的循环一致损失；对抗生成损失主要为判别器对应的损失值；单位损失主要为整个循环一致性生成对抗网络根据样本图像的输出结果，相对样本图像的损失。
在一些实施方式中，根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影抠图、所述第二阴影抠图、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的总损失值，包括：
根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影抠图、所述第二阴影抠图、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的循环一致损失的损失值作为第一损失值；根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的对抗生成损失的损失值作为第二损失值；根据所述阴影样本图像以及所述无阴影样本图像，获取所述循环一致性生成对抗网络的身份损失的损失值作为第三损失值；基于所述第一损失值、所述第二损失值以及所述第三损失值，确定所述循环一致性生成对抗网络的总损失值。
在一种可能的实施方式中，根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影抠图、所述第二阴影抠图、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的循环一致损失的损失值作为第一损失值，可以包括：
根据所述阴影样本图像与所述第一阴影伪图像的差异，所述无阴影样本图像与所述第二无阴影伪图像之间的差异，所述第一阴影抠图与所述第二阴影抠图之间的差异，所述第三阴影抠图与所述第四阴影抠图之间的差异，确定所述循环一致性生成对抗网络的对抗生成损失的损失值作为第二损失值。
可以理解地，对于阴影样本图像，由于需求阴影样本图像经过循环一致性生成对抗网络后，能够最终得到与阴影样本图像相同或相似的图像，那么第一阴影伪图像应当与阴影样本图像相同或相似，并且中间过程中获得的第一阴影抠图也应当与第二阴影抠图相同或相似。对于无阴影样本图像，由于需求无阴影样本图像经过循环一致性生成对抗网络后，能够最终得到与无阴影样本图像相同或相似的图像，那么第二无阴影伪图像应当与无阴影样本图像相同或相似，并且中间过程中获得的第三阴影抠图也应当与第四阴影抠图相同或相似。因此，可以获取阴影样本图像与第一阴影伪图像的差异、无阴影样本图像与第二无阴影伪图像之间的差异、第一阴影抠图与第二阴影抠图之间的差异、以及第三阴影抠图与第四阴影抠图之间的差异，从而得到循环一致性生成对抗网络的循环一致损失的损失值，作为第一损失值。
在本申请实施例中，将阴影样本图像作为Is，将无阴影样本图像作为If，第一无阴影伪图像作为If'，第一阴影伪图像作为Is'，第二阴影伪图像作为Is”，第二无阴影伪”
图像作为If，第一阴影抠图作为
Figure BDA0003035580500000101
第二阴影抠图作为
Figure BDA0003035580500000102
第三阴影抠图作为
Figure BDA0003035580500000103
第四阴影抠图作为
Figure BDA0003035580500000104
示例性地，循环一致损失的损失值可以根据以下公式获取：
Figure BDA0003035580500000111
其中，以||·||1表示损失函数，
Figure BDA0003035580500000118
表示数据I抽样于分布pdata(I)；Lcyc表示循环致性生成对抗网络的循环一致损失的损失值；
Figure BDA0003035580500000112
表示阴影样本图像经过循环一致性生成对抗网络后，阴影样本图像与第一阴影伪图像之间的差异；
Figure BDA0003035580500000113
表示无阴影样本图像经过循环一致性生成对抗网络后，无阴影样本图像与第二无阴影伪图像之间的差异；
Figure BDA0003035580500000114
表示阴影样本图像输入至循环一致性形成对抗网络后的中间过程中，获得的阴影抠图之间的差异；
Figure BDA0003035580500000115
表示无阴影样本图像输入至循环一致性形成对抗网络后的中间过程中，获得的阴影抠图之间的差异。
在一种可能的实施方式中，根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的对抗生成损失的损失值作为第二损失值，可以包括：
根据阴影样本图像、第一阴影伪图像以及第二阴影伪图像，获取第一判别器对应的损失值；根据无阴影样本图像、第一无阴影伪图像以及第二无阴影伪图像，获取第二判别器对应的损失值。
可以理解地，对于第一判别器以及第二判别器而言，生成的阴影伪图像和无阴影伪图像应当尽可能的迷惑分辨器，最终的目标是让第一判别器以及第二判别器无法分清生成的伪图像是生成的图像(即非真实图像)，还是真实图像。示例性地，循环一致性生成对抗网络的对抗生成损失的损失值可以通过如下公式计算得到：
Figure BDA0003035580500000116
其中，以||·||1表示损失函数，
Figure BDA0003035580500000117
表示数据I抽样于分布pdata(I)；Lgan表示环一致性生成对抗网络的对抗生成损失的损失值；DR表示第一生成器，DR(I)表示第一生成器根据图像I输出的概率；DS表示第二生成器，DS(I)表示第二生成器根据图像I输出的概率；
Figure BDA0003035580500000121
表示第一判别器对应的损失；
Figure BDA0003035580500000122
表示第二判别器对应的损失。
在一种可能的实施方式中，根据所述阴影样本图像以及所述无阴影样本图像，获取所述循环一致性生成对抗网络的身份损失的损失值作为第三损失值，包括：
将所述无阴影样本图像输入至所述第一生成网络，获得第五阴影抠图，并将所述无阴影样本图像与所述第五阴影抠图进行像素级相除，获得第一生成图像；将所述阴影样本图像及其对应的阴影掩码图像输入至所述第二生成网络，获得第六阴影抠图，并将所述阴影样本图像与所述第六阴影抠图进行像素级相乘，获得第二生成图像；根据所述第一生成图像与所述无阴影样本图像的差异，以及所述第二生成图像与所述阴影样本图像之间的差异，获取所述循环一致性生成对抗网络的身份损失的损失值作为第三损失值。
可以理解地，由于要保证循环一致性生成对抗网络中，第一生成网络为生成用于对阴影图像进行阴影去除的阴影抠图，第二生成网络为生成用于对无阴影图像进行阴影生成的阴影抠图。因此，还必须保证无阴影样本图像输入到第一生成网络后，无阴影样本图像与获得的阴影抠图进行像素级相除后，获得的图像依然是原来的无阴影样本图像；阴影样本图像与其对应的阴影掩膜图像输入到第二生成网络后，阴影样本图像与获得的阴影抠图进行像素级相乘后，获得的图像依然是原来的阴影样本图像。据此，可以构建出循环一致性生成对抗网络的身份损失的损失值。
以第一生成图像作为I”’f，第二生成图像作为Is”'，循环一致性生成对抗网络的身份损失的损失值可以根据以下公式计算得到：
Figure BDA0003035580500000123
其中，Lidentity表示单位损失，
Figure BDA0003035580500000124
表示第一生成图像与无阴影样本图像之间的差异，
Figure BDA0003035580500000125
表示第二生成图像与阴影样本图像之间的差异。
在一种可能的实施方式中，基于所述第一损失值、所述第二损失值以及所述第三损失值，确定所述循环一致性生成对抗网络的总损失值，可以包括：
根据循环一致损失对应的权重、对抗生成损失对应的权重以及身份损失对应的权重，对第一损失值、第二损失值以及第三损失值进行加权求和，获得循环一致性生成对抗网络的总损失值。
示例性地，循环一致性生成对抗网络的总损失值可以根据以下公式计算得到：
L＝αLcyc+βLgan+τLidentity
其中，L表示循环一致性生成对抗网络的总损失值，α为循环一致损失对应的权重，β为循环一致损失对应的权重，τ为循环一致损失对应的权重，Lcyc为第一损失值，Lgan为第二损失值，Lidentity为第三损失值。α、β以及τ的具体数值可以不做限定，例如，可以经验性的将其分别设置为1，1，1。
在一些实施方式中，可以按反向传播算法反传损失的梯度，更新循环一致性生成对抗网络中各个网络的参数，直至满足预设条件。预设条件可以为：总损失值小于预设值、总损失值不再变化、或者训练次数达到预设次数等。可以理解的，在根据训练样本集合对循环一致性生成对抗网络进行多个训练周期的迭代训练后，其中，每个训练周期包括多次的迭代训练，不断对循环一致性生成对抗网络的参数进行优化，则以上总损失值越来越小，最后变小为一个固定值，或者小于以上预设值，此时，则表示循环一致性生成对抗网络已收敛；当然也可以是在训练次数达到预设次数后，确定循环一致性生成对抗网络已经收敛。
可选的，可以采用优化器Adam去优化目标函数，学习率设置可以为1×10-4，训练时的batch size(批量大小)可以设置为1，训练的epoch(时期)可以为40个。其中，一个epoch指代所有的样本图像送入循环一致性生成对抗网络中完成一次前向计算及反向传播的过程；batch指每次送入循环一致性生成对抗网络中训练的一部分数据，而Batch Size就是每个batch中样本图像的数量。
在一些实施方式中，以上的训练方式为无监督的训练方法。当然，也可以替换为半监督的训练方法，具体地，如果存在成对的阴影样本图像和无阴影样本图像，可以利用阴影样本图像与无阴影样本图像进行像素级相除，获得真实的阴影抠图；在训练过程中，可以利用该真实的阴影抠图，对输出的阴影抠图加入监督。
步骤S240：获取待处理图像，所述待处理图像包括阴影区域。
在一些实施方式中，在将所述待处理图像输入至预先训练的阴影抠图模型之前，电子设备还可以对待处理图像进行预处理，以提高对待处理图像进行阴影去除的效率。电子设备可以通过以下至少一种方式对待处理图像进行预处理。
在一种可能的实施方式中，电子设备对待处理图像进行缩放处理，对缩放后的所述待处理图像的尺寸符合目标尺寸条件。
其中，目标尺寸条件与训练循环一致性生成对抗网络时所采用的样本图像的尺寸相关联，比如，训练循环一致性生成对抗网络时所采用的样本图像的尺寸为256×256，那么待处理图像符合目标尺寸条件也就是指待处理图像的尺寸为256×256，也就是说，电子设备向阴影抠图模型输入待处理图像之前，可以将待处理图像的尺寸调整为256×256。通过将待处理图像缩放为与样本图像相同，能够提高阴影抠图模型生成阴影抠图的效率，同时还能够避免待处理图像尺寸不一致导致的阴影抠图提取不准确。当然，在后续进行像素级相除，进行阴影去除时，也应当将缩放后的待处理图像与获得的阴影抠图进行像素级相除。
在一种可能的实施方式中，电子设备对所述待处理图像的像素值进行归一化处理，归一化处理后的所述待处理图像的像素值处于目标像素值区间。
其中，目标像素值区间的区间长度可以根据实际情况进行设置，本申请实施例对此不作限定。
以目标像素值区间为(-1，1)为例，电子设备对待处理图像的三个颜色通道(R、G和B)的颜色通道值进行归一化处理，将处于区间(0，255)上的颜色通道值归一化至目标像素值区间(-1，1)上。比如，区间(0，255)的颜色通道值为0和255，归一化至目标像素值区间(-1，1)后就变成了-1和1，区间(0，255)上的颜色通道之为100，归一化至目标像素值区间(-1，1)后就变成了-1+(100/255)*2＝-0.21。
步骤S250：将所述待处理图像输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图，所述阴影抠图为所述待处理图像对应的阴影比例因子所表示的图像，所述阴影抠图模型为基于阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到。
步骤S260：将所述待处理图像与所述阴影抠图进行像素级相除，获得去阴影后的图像。
本申请实施例提供的图像处理方法，提供了阴影抠图模型的训练过程，由于基于循环一致性生成对抗网络的特点，利用了阴影去除以及生成阴影的过程，对生成器生成的阴影抠图进行约束，可以实现无监督的学习，并且相比直接利用一个网络来训练阴影抠图模型，能够利用循环一致性生成对抗网络中两次获得的阴影抠图的一致性，提升生成的阴影抠图的准确性，从而能够使得利用生成的阴影抠图对待处理图像进行阴影去除时，能够提升阴影去除的效果。并且，通过获取待处理图像的阴影抠图来进行阴影去除，能够避免直接去预测去影图像所导致的阴影去除效果不佳的问题，也能够有效的减少模型学习的复杂性。
请参阅图7，图7示出了本申请又一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备，下面将针对图7所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S310：获取待处理图像，所述待处理图像包括阴影区域。
在本申请实施例中，步骤S310可以参阅其他实施例的内容，在此不再赘述。
步骤S320：若所述待处理图像的尺寸大于目标尺寸，基于所述待处理图像中的阴影区域，从所述待处理图像中裁剪出目标区域，其中，所述目标区域包含无阴影区域以及待处理图像的阴影区域，所述目标区域的尺寸与所述目标尺寸匹配。
在本申请实施例中，可能存在阴影抠图模型所要求的图像尺寸较小，而待处理图像的尺寸较大的情况。例如，通过前述实施例中对阴影图像，按照滑动窗口进行滑动，获得样本图像的方式，去获得样本图像构建训练样本集合，那么对循环一致性生成对抗网络进行训练时所使用的样本图像的尺寸可能较小。该情况下，在实际进行阴影去除的应用时，可以获取待处理图像的尺寸，并判断待处理图像的尺寸是否大于目标尺寸，其中，该目标尺寸可以大于阴影抠图模型所要求的图像尺寸；若待处理图像的尺寸大于目标尺寸，则表示待处理图像的图像尺寸比阴影抠图模型所要求的图像尺寸大很多，该情况下，若直接对其进行缩放后，通过阴影抠图模型获取阴影抠图后进行阴影去除，那么后续获得的图像的区域纹理和细节将会相比于原图都会差很多。因此，可以从待处理图像中裁剪出目标区域，该目标区域包含无阴影区域以及待处理图像中的全部阴影区域，并且目标区域的尺寸与目标尺寸匹配。目标区域的尺寸与目标尺寸匹配可以指，目标区域的尺寸与目标尺寸相等，或者目标区域的尺寸小于目标尺寸，从而可以使得用于输入至阴影抠图模型的图像的尺寸变小，在利用阴影抠图模型获取阴影抠图，进行阴影去除后，获得的图像不会损失过多的信息，而保证获得的图像的区域纹理和细节，进而保证图像质量。
在一种可能的实施方式中，电子设备可以识别阴影区域，并按照目标尺寸，对待处理图像进行裁剪，从而得到目标区域。
在一种可能的实施方式中，请同时参阅图8及图9，电子设备在确定出待处理图像的图像尺寸大于目标尺寸时，还可以在图像处理的界面A1中输出提示消息，以提示用户是否对待处理图像进行裁剪；在检测到用户的确认操作的情况下，可以在待处理图像中显示裁剪框A2，并提示用户框选出目标区域。
可选的，若待处理图像中阴影区域在待处理图像中所占的尺寸，小于阴影抠图模型所要求的图像尺寸时，也可以按照阴影抠图模型所要求的图像尺寸，从待处理图像中获取上述目标区域，获得的目标区域不仅包含待处理图像中的全部阴影区域，也包含至少部分的无阴影区域，从而在后续进行阴影去除时，无需再进行图像尺寸的缩放，可以进一步的保证获得的图像的区域纹理和细节。
步骤S330：将所述目标区域输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图，所述阴影抠图为所述待处理图像对应的阴影比例因子所表示的图像，所述阴影抠图模型为基于阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到。
步骤S340：将所述目标区域与所述阴影抠图进行像素级相除，获得去阴影后的图像。
在本申请实施例中，在获取到阴影抠图模型根据目标区域输出的阴影抠图后，则可以将目标区域与阴影抠图进行像素级相除，获得去阴影后的图像，由于目标区域在输入至阴影抠图模型时，不会进行缩放或者不会进行过大的缩放，因此可以获得的图像不会损失过多的信息，而保证了获得的图像的区域纹理和细节，进而保证了图像质量。
步骤S350：将所述去阴影后的图像对所述待处理图像中的所述目标区域进行替换，获得目标图像。
在本申请实施例中，在获取到以上对目标区域进行去阴影后的图像后，还可以将去阴影后的图像对待处理图像中的所述目标区域进行替换，获得目标图像，也就是获得了对整个待处理图像进行阴影去除后的图像，并且可以获取到质量较佳的图像。
本申请实施例提供的图像处理方法，通过获取待处理图像的阴影抠图来进行阴影去除，能够避免直接去预测去影图像所导致的阴影去除效果不佳的问题，也能够有效的减少模型学习的复杂性。由于基于循环一致性生成对抗网络的特点，利用了阴影去除以及生成阴影的过程，对生成器生成的阴影抠图进行约束，可以实现无监督的学习，并且相比直接利用一个网络来训练阴影抠图模型，能够利用循环一致性生成对抗网络中两次获得的阴影抠图的一致性，提升生成的阴影抠图的准确性，从而能够使得利用生成的阴影抠图对待处理图像进行阴影去除时，能够提升阴影去除的效果。另外，在对待处理图像进行阴影去除时，在待处理图像的图像尺寸大于目标尺寸的情况下，还从待处理图像中裁剪出目标区域进行阴影去除，避免直接对待处理图像进行缩放后进行阴影去除，而导致图像信息丢失，保证了获得的图像的区域纹理和细节，进而保证了图像质量。
请参阅图10，其示出了本申请实施例提供的一种图像处理装置400的结构框图。该图像处理装置400应用上述的电子设备，该图像处理装置400包括：第一图像获取模块410、第二图像获取模块420以及第三图像获取模块130。其中，所述第一图像获取模块410用于获取待处理图像，所述待处理图像包括阴影区域；所述第二图像获取模块420用于将所述待处理图像输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图，所述阴影抠图为所述待处理图像对应的阴影比例因子所表示的图像，所述阴影抠图模型为基于阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到；所述第三图像获取模块430用于将所述待处理图像与所述阴影抠图进行像素级相除，获得去阴影后的图像。
在一种可能的实施方式中，图像处理装置400还可以包括：样本获取模块、模型获取模块以及模型训练模块。样本获取模块用于获取训练样本集合，所述训练样本集合包括多张阴影样本图像以无阴影样本图像；模型获取模块用于获取循环一致性生成对抗网络，所述循环一致性生成对抗网络包括第一生成网络、第一判别器、第二生成网络以及第二判别器；模型训练模块用于通过所述训练样本集合对所述循环一致性生成对抗网络进行训练，直至所述循环一致性生成对抗网络满足预设条件，得到训练后的第一生成网络作为所述阴影抠图模型。其中，所述第一生成网络用于生成阴影图像对应的阴影抠图，所述第二生成网络用于生成无阴影图像对应的阴影抠图，所述第一判别器用于判别根据所述第一生成网络生成的阴影抠图所获得的无阴影伪图像是否为真实图像，所述第二判别器用于判别根据所述第二生成网络生成的阴影抠图所获得的阴影伪图像是否为真实图像。
在一种可能的实施方式中，模型训练模块可以用于：将所述阴影样本图像输入所述第一生成网络，通过所述第一生成网络生成所述阴影样本图像对应的第一阴影抠图，并将所述阴影样本图像与所述第一阴影抠图进行像素级相除，获得第一无阴影伪图像；将所述第一无阴影伪图像以及所述阴影样本图像对应的阴影掩膜图像输入至所述第二生成网络，通过所述第二生成网络生成所述第一无阴影伪图像对应的第二阴影抠图，并将所述第二阴影抠图与所述第一无阴影伪图像进行像素级相乘，获得第一阴影伪图像；将所述无阴影样本图像以及任一阴影样本图像对应的阴影掩膜图像输入至所述第二生成网络，通过所述第二生成网络生成所述无阴影样本图像对应的第三阴影抠图，并将所述第三阴影抠图与所述无阴影样本图像进行像素级相乘，获得第二阴影伪图像；将所述第二阴影伪图像输入至所述第一生成网络，通过所述第一生成网络生成所述第二阴影伪图像对应的第四阴影抠图，并将所述第二阴影伪图像与所述第四阴影抠图进行像素级相除，获得第二无阴影伪图像；根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影抠图、所述第二阴影抠图、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的总损失值，并根据所述总损失值对所述循环一致性生成对抗网络进行迭代训练，直至所述循环一致性生成对抗网络满足预设条件。
在一种可能的实施方式中，训练模块还用于：根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影抠图、所述第二阴影抠图、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的循环一致损失的损失值作为第一损失值；根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的对抗生成损失的损失值作为第二损失值；根据所述阴影样本图像以及所述无阴影样本图像，获取所述循环一致性生成对抗网络的身份损失的损失值作为第三损失值；基于所述第一损失值、所述第二损失值以及所述第三损失值，确定所述循环一致性生成对抗网络的总损失值。
在一种可能的实施方式中，训练模块还用于：根据所述阴影样本图像与所述第一阴影伪图像的差异，所述无阴影样本图像与所述第二无阴影伪图像之间的差异，所述第一阴影抠图与所述第二阴影抠图之间的差异，所述第三阴影抠图与所述第四阴影抠图之间的差异，确定所述循环一致性生成对抗网络的对抗生成损失的损失值作为第二损失值。
在一种可能的实施方式中，训练模块还用于：将所述无阴影样本图像输入至所述第一生成网络，获得第五阴影抠图，并将所述无阴影样本图像与所述第五阴影抠图进行像素级相除，获得第一生成图像；将所述阴影样本图像及其对应的阴影掩码图像输入至所述第二生成网络，获得第六阴影抠图，并将所述阴影样本图像与所述第六阴影抠图进行像素级相乘，获得第二生成图像；根据所述第一生成图像与所述无阴影样本图像的差异，以及所述第二生成图像与所述阴影样本图像之间的差异，获取所述循环一致性生成对抗网络的身份损失的损失值作为第三损失值。
在一种可能的实施方式中，样本获取模块用于：获取多张包含阴影区域的第一样本图像；将预设尺寸的滑动框，按照预设步长于所述样本图像中进行多次滑动，获得每次滑动后所述滑动框所在的区域，作为第二样本图像；从所述第二样本图像中获取包含阴影区域以及无阴影区域的图像，作为所述阴影样本图像；从所述第二样本图像中获取不包含阴影区域的图像作为所述无阴影样本图像。
在一种可能的实施方式中，图像处理装置400还可以包括下述至少一个模块：
缩放处理模块，用于对所述待处理图像进行缩放处理；
归一化处理模块，用于对所述待处理图像的像素值进行归一化处理；
其中，缩放后的所述待处理图像的尺寸符合目标尺寸条件，归一化处理后的所述待处理图像的像素值处于目标像素值区间。
在一种可能的实施方式中，图像处理装置400还可以包括：裁剪模块。裁剪模块用于若所述待处理图像的尺寸大于目标尺寸，基于所述待处理图像中的阴影区域，从所述待处理图像中裁剪出目标区域，其中，所述目标区域包含无阴影区域以及待处理图像的阴影区域，所述目标区域的尺寸与所述目标尺寸匹配。第二图像获取模块420可以用于：将所述目标区域输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图；第三图像获取模块430可以用于将所述目标区域与所述阴影抠图进行像素级相除，获得去阴影后的图像。
在一种可能的实施方式中，图像处理装置400还可以包括：区域替换模块。区域替换模块用于将所述去阴影后的图像对所述待处理图像中的所述目标区域进行替换，获得目标图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请提供的方案，通过获取包括阴影区域的待处理图像，将待处理图像输入至预先训练的阴影抠图模型，获得阴影抠图模型输出的阴影抠图，该阴影抠图为待处理图像对应的阴影比例因子所表示的图像，并且该阴影抠图模型是基于阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到，再将待处理图像与阴影抠图进行像素级相除，获得去阴影后的图像，由于阴影抠图模型是对循环一致性生成网络训练得到，可以提升阴影抠图模型获取阴影抠图的准确性，进而在利用阴影抠图对待处理图像进行阴影去除时，能够提升阴影去除的效果。
请参考图11，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像，所述待处理图像包括阴影区域；
将所述待处理图像输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图，所述阴影抠图为所述待处理图像对应的阴影比例因子所表示的图像，所述阴影抠图模型为基于阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到；
将所述待处理图像与所述阴影抠图进行像素级相除，获得去阴影后的图像。
2.根据权利要求1所述的方法，其特征在于，所述阴影抠图模型通过如下步骤训练得到：
获取训练样本集合，所述训练样本集合包括多张阴影样本图像以无阴影样本图像；
获取循环一致性生成对抗网络，所述循环一致性生成对抗网络包括第一生成网络、第一判别器、第二生成网络以及第二判别器；
通过所述训练样本集合对所述循环一致性生成对抗网络进行训练，直至所述循环一致性生成对抗网络满足预设条件，得到训练后的第一生成网络作为所述阴影抠图模型；
其中，所述第一生成网络用于生成阴影图像对应的阴影抠图，所述第二生成网络用于生成无阴影图像对应的阴影抠图，所述第一判别器用于判别根据所述第一生成网络生成的阴影抠图所获得的无阴影伪图像是否为真实图像，所述第二判别器用于判别根据所述第二生成网络生成的阴影抠图所获得的阴影伪图像是否为真实图像。
3.根据权利要求2所述的方法，其特征在于，所述通过所述训练样本集合对所述循环一致性生成对抗网络进行训练，直至所述循环一致性生成对抗网络满足预设条件，包括：
将所述阴影样本图像输入所述第一生成网络，通过所述第一生成网络生成所述阴影样本图像对应的第一阴影抠图，并将所述阴影样本图像与所述第一阴影抠图进行像素级相除，获得第一无阴影伪图像；
将所述第一无阴影伪图像以及所述阴影样本图像对应的阴影掩膜图像输入至所述第二生成网络，通过所述第二生成网络生成所述第一无阴影伪图像对应的第二阴影抠图，并将所述第二阴影抠图与所述第一无阴影伪图像进行像素级相乘，获得第一阴影伪图像；
将所述无阴影样本图像以及任一阴影样本图像对应的阴影掩膜图像输入至所述第二生成网络，通过所述第二生成网络生成所述无阴影样本图像对应的第三阴影抠图，并将所述第三阴影抠图与所述无阴影样本图像进行像素级相乘，获得第二阴影伪图像；
将所述第二阴影伪图像输入至所述第一生成网络，通过所述第一生成网络生成所述第二阴影伪图像对应的第四阴影抠图，并将所述第二阴影伪图像与所述第四阴影抠图进行像素级相除，获得第二无阴影伪图像；
根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影抠图、所述第二阴影抠图、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的总损失值，并根据所述总损失值对所述循环一致性生成对抗网络进行迭代训练，直至所述循环一致性生成对抗网络满足预设条件。
4.根据权利要求3所述的方法，其特征在于，所述根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影抠图、所述第二阴影抠图、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的总损失值，包括：
根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影抠图、所述第二阴影抠图、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的循环一致损失的损失值作为第一损失值；
根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的对抗生成损失的损失值作为第二损失值；
根据所述阴影样本图像以及所述无阴影样本图像，获取所述循环一致性生成对抗网络的身份损失的损失值作为第三损失值；
基于所述第一损失值、所述第二损失值以及所述第三损失值，确定所述循环一致性生成对抗网络的总损失值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述阴影样本图像、所述无阴影样本图像、所述第一阴影抠图、所述第二阴影抠图、所述第一阴影伪图像、所述第二阴影伪图像、所述第一无阴影伪图像以及所述第二无阴影伪图像，获取所述循环一致性生成对抗网络的循环一致损失的损失值作为第一损失值，包括：
根据所述阴影样本图像与所述第一阴影伪图像的差异，所述无阴影样本图像与所述第二无阴影伪图像之间的差异，所述第一阴影抠图与所述第二阴影抠图之间的差异，以及所述第三阴影抠图与所述第四阴影抠图之间的差异，确定所述循环一致性生成对抗网络的循环一致损失的损失值作为第一损失值。
6.根据权利要求4所述的方法，其特征在于，所述根据所述阴影样本图像以及所述无阴影样本图像，获取所述循环一致性生成对抗网络的身份损失的损失值作为第三损失值，包括：
将所述无阴影样本图像输入至所述第一生成网络，获得第五阴影抠图，并将所述无阴影样本图像与所述第五阴影抠图进行像素级相除，获得第一生成图像；
将所述阴影样本图像及其对应的阴影掩码图像输入至所述第二生成网络，获得第六阴影抠图，并将所述阴影样本图像与所述第六阴影抠图进行像素级相乘，获得第二生成图像；
根据所述第一生成图像与所述无阴影样本图像的差异，以及所述第二生成图像与所述阴影样本图像之间的差异，获取所述循环一致性生成对抗网络的身份损失的损失值作为第三损失值。
7.根据权利要求2-6任一项所述的方法，其特征在于，所述获取训练样本集合，所述训练样本集合包括多张阴影样本图像以无阴影样本图像，包括：
获取多张包含阴影区域的第一样本图像；
将预设尺寸的滑动框，按照预设步长于所述样本图像中进行多次滑动，获得每次滑动后所述滑动框所在的区域，作为第二样本图像；
从所述第二样本图像中获取包含阴影区域以及无阴影区域的图像，作为所述阴影样本图像；
从所述第二样本图像中获取不包含阴影区域的图像作为所述无阴影样本图像。
8.根据权利要求1所述的方法，其特征在于，在所述将所述待处理图像输入至预先训练的阴影抠图模型之前，所述方法还包括以下至少一项：
对所述待处理图像进行缩放处理；
对所述待处理图像的像素值进行归一化处理；
其中，缩放后的所述待处理图像的尺寸符合目标尺寸条件，归一化处理后的所述待处理图像的像素值处于目标像素值区间。
9.根据权利要求1所述的方法，其特征在于，在所述将所述待处理图像输入至预先训练的阴影抠图模型之前，所述方法还包括：
若所述待处理图像的尺寸大于目标尺寸，基于所述待处理图像中的阴影区域，从所述待处理图像中裁剪出目标区域，其中，所述目标区域包含无阴影区域以及待处理图像的阴影区域，所述目标区域的尺寸与所述目标尺寸匹配；
所述将所述待处理图像输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图，以及所述将所述待处理图像与所述阴影抠图进行像素级相除，获得去阴影后的图像，包括：
将所述目标区域输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图；
将所述目标区域与所述阴影抠图进行像素级相除，获得去阴影后的图像。
10.根据权利要求9所述的方法，其特征在于，在所述将所述目标区域与所述阴影抠图进行像素级相除，获得去阴影后的图像之后，所述方法还包括：
将所述去阴影后的图像对所述待处理图像中的所述目标区域进行替换，获得目标图像。
11.一种图像处理装置，其特征在于，所述装置包括：第一图像获取模块、第二图像获取模块以及第三图像获取模块，其中，
所述第一图像获取模块用于获取待处理图像，所述待处理图像包括阴影区域；
所述第二图像获取模块用于将所述待处理图像输入至预先训练的阴影抠图模型，获得所述阴影抠图模型输出的阴影抠图，所述阴影抠图为所述待处理图像对应的阴影比例因子所表示的图像，所述阴影抠图模型为基于阴影样本图像以及无阴影样本图像，对循环一致性生成对抗网络训练得到；
所述第三图像获取模块用于将所述待处理图像与所述阴影抠图进行像素级相除，获得去阴影后的图像。
12.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-10任一项所述的方法。
13.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-10任一项所述的方法。
CN202110442247.9A 2021-04-23 2021-04-23 图像处理方法、装置、电子设备及存储介质 Pending CN113139917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110442247.9A CN113139917A (zh) 2021-04-23 2021-04-23 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110442247.9A CN113139917A (zh) 2021-04-23 2021-04-23 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113139917A true CN113139917A (zh) 2021-07-20

Family

ID=76812151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110442247.9A Pending CN113139917A (zh) 2021-04-23 2021-04-23 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113139917A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538293A (zh) * 2021-08-20 2021-10-22 爱保科技有限公司 一种车损伤图像的增强方法和装置
CN113780298A (zh) * 2021-09-16 2021-12-10 国网上海市电力公司 电力实训场中人员图像检测中的阴影消除方法
CN114626468A (zh) * 2022-03-17 2022-06-14 小米汽车科技有限公司 在图像中生成阴影的方法、装置、电子设备及存储介质
CN114723841A (zh) * 2022-04-22 2022-07-08 广州柏视医疗科技有限公司 影像处理的方法、影像处理模型的训练方法及装置
US20230143816A1 (en) * 2021-11-10 2023-05-11 Ford Global Technologies, Llc Image relighting
US20230147607A1 (en) * 2021-11-10 2023-05-11 Ford Global Technologies, Llc Single-perspective image relighting

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808366A (zh) * 2017-10-21 2018-03-16 天津大学 一种基于块匹配的自适应光转移单幅阴影去除方法
CN110443763A (zh) * 2019-08-01 2019-11-12 山东工商学院 一种基于卷积神经网络的图像阴影去除方法
CN111667420A (zh) * 2020-05-21 2020-09-15 维沃移动通信有限公司 图像处理方法及装置
CN112102201A (zh) * 2020-09-24 2020-12-18 深圳市赛为智能股份有限公司 图像阴影反光消除方法、装置、计算机设备及存储介质
US20210065371A1 (en) * 2019-03-06 2021-03-04 Institute Of Automation, Chinese Academy Of Sciences Refined segmentation system, method and device of image shadow area
CN112446873A (zh) * 2020-12-11 2021-03-05 深圳高性能医疗器械国家研究院有限公司 一种图像伪影的去除方法
CN112529789A (zh) * 2020-11-13 2021-03-19 北京航空航天大学 一种城市可见光遥感图像阴影去除的弱监督方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808366A (zh) * 2017-10-21 2018-03-16 天津大学 一种基于块匹配的自适应光转移单幅阴影去除方法
US20210065371A1 (en) * 2019-03-06 2021-03-04 Institute Of Automation, Chinese Academy Of Sciences Refined segmentation system, method and device of image shadow area
CN110443763A (zh) * 2019-08-01 2019-11-12 山东工商学院 一种基于卷积神经网络的图像阴影去除方法
CN111667420A (zh) * 2020-05-21 2020-09-15 维沃移动通信有限公司 图像处理方法及装置
CN112102201A (zh) * 2020-09-24 2020-12-18 深圳市赛为智能股份有限公司 图像阴影反光消除方法、装置、计算机设备及存储介质
CN112529789A (zh) * 2020-11-13 2021-03-19 北京航空航天大学 一种城市可见光遥感图像阴影去除的弱监督方法
CN112446873A (zh) * 2020-12-11 2021-03-05 深圳高性能医疗器械国家研究院有限公司 一种图像伪影的去除方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538293A (zh) * 2021-08-20 2021-10-22 爱保科技有限公司 一种车损伤图像的增强方法和装置
CN113780298A (zh) * 2021-09-16 2021-12-10 国网上海市电力公司 电力实训场中人员图像检测中的阴影消除方法
US20230143816A1 (en) * 2021-11-10 2023-05-11 Ford Global Technologies, Llc Image relighting
US20230147607A1 (en) * 2021-11-10 2023-05-11 Ford Global Technologies, Llc Single-perspective image relighting
US11756261B2 (en) * 2021-11-10 2023-09-12 Ford Global Technologies, Llc Single-perspective image relighting
US11776200B2 (en) * 2021-11-10 2023-10-03 Ford Global Technologies, Llc Image relighting
CN114626468A (zh) * 2022-03-17 2022-06-14 小米汽车科技有限公司 在图像中生成阴影的方法、装置、电子设备及存储介质
CN114626468B (zh) * 2022-03-17 2024-02-09 小米汽车科技有限公司 在图像中生成阴影的方法、装置、电子设备及存储介质
CN114723841A (zh) * 2022-04-22 2022-07-08 广州柏视医疗科技有限公司 影像处理的方法、影像处理模型的训练方法及装置

Similar Documents

Publication Publication Date Title
CN113139917A (zh) 图像处理方法、装置、电子设备及存储介质
US20210232806A1 (en) Image processing method and device, processor, electronic equipment and storage medium
CN112419170B (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
Johnson et al. Sparse coding for alpha matting
CN113658051A (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN112418195B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN110009018B (zh) 一种图像生成方法、装置以及相关设备
CN111080654B (zh) 图像的病变区域分割方法、装置及服务器
CN110675339A (zh) 基于边缘修复和内容修复的图像修复方法及系统
CN112163120A (zh) 一种分类方法、终端及计算机存储介质
Zhang et al. Deep HDR estimation with generative detail reconstruction
Lin et al. A detail preserving neural network model for Monte Carlo denoising
CN110348425B (zh) 去底纹的方法、装置、设备及计算机可读存储介质
CN114742783A (zh) 基于神经网络模型的食品检测方法和装置
CN110533020B (zh) 一种文字信息的识别方法、装置及存储介质
CN111476741B (zh) 图像的去噪方法、装置、电子设备和计算机可读介质
CN111353577B (zh) 基于多任务的级联组合模型的优化方法、装置及终端设备
She et al. SAGAN: Deep semantic-aware generative adversarial network for unsupervised image enhancement
CN113613070B (zh) 一种人脸视频处理方法、装置、电子设备及存储介质
WO2022267327A1 (zh) 一种色斑预测方法、装置、设备及存储介质
CN115358952A (zh) 一种基于元学习的图像增强方法、系统、设备和存储介质
CN112487903B (zh) 基于对抗网络的步态数据生成方法及设备
CN112991212A (zh) 图像处理方法、装置、电子设备及存储介质
CN114529899A (zh) 用于训练卷积神经网络的方法和系统
CN112819016A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination