CN111667420A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN111667420A
CN111667420A CN202010435861.8A CN202010435861A CN111667420A CN 111667420 A CN111667420 A CN 111667420A CN 202010435861 A CN202010435861 A CN 202010435861A CN 111667420 A CN111667420 A CN 111667420A
Authority
CN
China
Prior art keywords
image
shadow
target
sample
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010435861.8A
Other languages
English (en)
Other versions
CN111667420B (zh
Inventor
黄振
李巧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202010435861.8A priority Critical patent/CN111667420B/zh
Publication of CN111667420A publication Critical patent/CN111667420A/zh
Priority to EP21808679.1A priority patent/EP4156081A4/en
Priority to PCT/CN2021/093754 priority patent/WO2021233215A1/zh
Priority to US17/987,987 priority patent/US20230076026A1/en
Application granted granted Critical
Publication of CN111667420B publication Critical patent/CN111667420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

本申请公开了一种图像处理方法及装置，属于通信技术领域。该方法包括：获取包括阴影的目标图像；基于目标模型去除目标图像中的阴影，得到去除阴影后的图像；其中，目标模型为基于包括阴影的目标图像样本和目标图像样本对应的阴影图像样本训练的模型；目标图像样本为基于拍摄的无阴影图像样本和预设的仿真成像条件生成的样本；阴影图像样本为基于目标图像样本和无阴影图像样本确定的样本。根据上述方法，可以去除图像中的阴影，使图像更为清晰。

Description

图像处理方法及装置
技术领域
本申请属于通信技术领域，具体涉及一种图像处理方法及装置。
背景技术
当用户在使用相机设备进行拍照时，常常因光照、拍照角度等因素的限制从而使得拍摄的图像中包含人物或者景物等遮挡物的阴影。例如，用户在拍摄文档时，常常会因为相机的遮挡而在最终拍摄的图像中存在遮挡物产生的阴影。
在实现本申请过程中，申请人发现相关技术中至少存在如下问题：若拍摄的图像中存在遮挡物产生的阴影，则会使得成像的效果不够清晰，影响用户的拍摄体验。因此，为了提高用户的拍摄体验，亟需一种图像处理方法，以去除图像中的阴影。
发明内容
本申请实施例的目的是提供一种图像处理方法及装置，能够去除图像中的阴影。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取包括阴影的目标图像；
基于目标模型去除目标图像中的阴影，得到去除阴影后的图像；
其中，目标模型为基于包括阴影的目标图像样本和目标图像样本对应的阴影图像样本训练的模型；
目标图像样本为基于拍摄的无阴影图像样本和预设的仿真成像条件生成的样本；阴影图像样本为基于目标图像样本和无阴影图像样本确定的样本。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：
目标图像获取模块，用于获取包括阴影的目标图像；
阴影去除模块，用于基于目标模型去除目标图像中的阴影，得到去除阴影后的图像；
其中，目标模型为基于包括阴影的目标图像样本和目标图像样本对应的阴影图像样本训练的模型；
目标图像样本为基于拍摄的无阴影图像样本和预设的仿真成像条件生成的样本；阴影图像样本为基于目标图像样本和无阴影图像样本确定的样本。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。
第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的方法。
在本申请实施例中，利用预设的仿真成像条件可以模拟现实中的各种各样的真实环境，而实际拍摄的无阴影图像样本是真实的图像数据，因此通过利用实际拍摄的无阴影图像样本和预设的仿真成像条件生成目标图像样本，可以将真实数据和仿真成像条件相结合，以快速得到用于训练去除图像阴影的目标模型的真实性较高的目标图像样本和目标图像样本对应的阴影图像样本，从而可以提高该目标模型的训练精度和速度。由于训练后的目标模型是基于包括阴影的目标图像样本和目标图像样本对应的阴影图像样本进行训练的，因此，通过利用训练后的目标模型可以实现对目标图像中的阴影的去除，而由于目标模型的训练速度和精度都得到了提高，因此可以实现对目标图像中的阴影进行快速和准确的去除。
附图说明
图1是本申请实施例提供的图像处理方法的流程示意图；
图2是本申请实施例提供的包括阴影的目标图像的示意图；
图3是本申请实施例提供的构建目标图像样本的流程示意图；
图4是本申请提供的三维渲染引擎中构建目标图像样本和阴影图像样本的示意图；
图5是本申请第一实施例提供的生成对抗网络的训练方法的流程示意图；
图6是本申请第二实施例提供的生成对抗网络的训练方法的流程示意图；
图7是本申请第三实施例提供的生成对抗网络的训练方法的示意图；
图8是本申请第四实施例提供的生成对抗网络的训练方法的流程示意图；
图9是本申请第五实施例提供的生成对抗网络的训练方法的示意图；
图10是本申请实施例提供的去除图2中的阴影之后的图像的示意图；
图11是本申请实施例提供的图像处理装置的结构示意图；
图12是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法及装置进行详细地说明。
在一些应用场景，用户在用电子设备的摄像组件拍文档的过程中，拍摄的文档图片经常会被电子设备等遮挡物挡住，从而在最后获得文档图像的时候，只有一部分是亮的，一部分是暗的，而这部分暗的是由于遮挡物遮挡了光照产生的阴影。但是在一些场景下，图像中的阴影会影响成像的效果。
基于此，本申请实施例提供一种图像处理方法及装置，能够实现去除图像中的阴影。下面结合具体的实施例和附图进行详细介绍。
图1是本申请实施例提供的图像处理方法的流程示意图。该图像处理方法的执行主体可以是图像处理装置。如图1所示，该图像处理方法包括步骤110和步骤120。
步骤110，获取包括阴影的目标图像。
步骤120，基于目标模型去除目标图像中的阴影，得到去除阴影后的图像。
其中，目标模型为基于包括阴影的目标图像样本和目标图像样本对应的阴影图像样本训练的模型。
目标图像样本为基于拍摄的无阴影图像样本和预设的仿真成像条件生成的样本；阴影图像样本为基于目标图像样本和无阴影图像样本确定的样本。
在本申请的实施例中，利用预设的仿真成像条件可以模拟现实中的各种各样的真实环境，而实际拍摄的无阴影图像样本是真实的图像数据，因此通过利用实际拍摄的无阴影图像样本和预设的仿真成像条件生成目标图像样本，可以将真实数据和仿真成像条件相结合，以快速得到用于训练去除图像阴影的目标模型的真实性较高的目标图像样本和目标图像样本对应的阴影图像样本，从而可以提高该目标模型的训练精度和速度。由于训练后的目标模型是基于包括阴影的目标图像样本和目标图像样本对应的阴影图像样本进行训练的，因此，通过利用训练后的目标模型可以实现对目标图像中的阴影的去除，而由于目标模型的训练速度和精度都得到了提高，因此可以实现对目标图像中的阴影进行快速和准确的去除。
在步骤110中，目标图像可以为用户真实拍摄的包括阴影的图像。图2是本申请实施例提供的包括阴影的目标图像的示意图。如图2所示，目标图像为包括阴影的文档的图像。
下面介绍步骤120的具体实现方式。
在本申请的实施例中，在训练生成目标模型时，需要大量的训练样本，训练样本包括含有阴影的图像、不包括阴影的图像以及只包括阴影的阴影图像等数据，而这些训练样本在实际生活中获取成本很高。
因此，为了降低训练样本的获取成本，以提高训练样本的获取效率，从而提高目标模型的训练效率，可以基于实际拍摄的无阴影图像样本和预设的仿真成像条件生成目标图像样本。
作为一个示例，可以利用三维渲染引擎搭建需要的仿真成像场景，即模拟实际的环境状态，再通过快照或截屏的方式，以获取大量的训练样本。
作为一个示例，三维渲染引擎可以为Maya建模软件，Maya建模软件是一个三维建模和动画软件。通过三维渲染引擎可以模拟真实的成像场景。图3是本申请实施例提供的构建目标图像样本的流程示意图。图4是本申请提供的三维渲染引擎中构建目标图像样本的示意图。参见图3，在三维渲染引擎中首先创建基础环境，然后在基础环境中添加相机/成像设备、预设遮挡物、光源和大气环境以及添加了成像平面等仿真成像条件。需要说明的是，不同的仿真成像条件的添加顺序不做限制，图3中仅是示例。图4中示出图3中添加的预设的仿真成像条件，包括：预设相机/成像设备、预设模拟光源、预设遮挡物、实际成像物体/成像平面和预设大气环境等条件。
接着，将每个预设仿真成像条件，按照实际需要的数据条件进行调整，并有规则排列。为了提高训练样本的真实性，参见图3，将实际拍摄的无阴影图像样本加入到图4中创建的仿真成像场景中。在实际成像物体/成像平面中加入实际拍摄的无阴影图像样本(记为Isource)，即用实际拍摄的无阴影图像样本填充实际成像平面。继续参见图3，再接着，在Maya建模软件中启动渲染器对中创建的仿真成像场景进行渲染，则会输出在实际拍摄的无阴影图像样本中叠加了阴影的目标图像样本(记为Ishadow)。然后，将目标图像样本减去实际拍摄的无阴影图像样本，则可以得到阴影图像样本(记为Imask)。
继续参见图3，为了生成大量有差异的训练样本数据，可以随机修改拍摄相机的影响因素、例如相机焦距、拍摄视野等参数，还可以随机改变遮挡物的成像程度，例如遮挡物大小、遮挡物的放置角度等参数，或者随机修改成像平面的影响因素，例如成像平面的角度或成像平面与光源、拍摄相机、遮挡物等不同物体之间的距离等参数。
通过调整仿真成像条件和/或更换实际拍摄的无阴影图像样本，可以得到不同的训练样本数据。可以调整的仿真成像条件还可以包括：光源的类型、光照强度、大气环境的参数等参数，在此不再一一列举。
在一些实施例中，目标模型可以为具有去除图像中阴影的卷积神经网络、循环神经网络模型等不同的模型。将目标图像输入目标模型，即可直接得到去除阴影后的图像。
在另一些实施例中，利用训练后的目标模型可以确定目标图像中的光照参数。然后利用该光照参数对目标图像进行处理，可以去除目标图像中的阴影。
在又一些实施例中，可以利用训练后的目标模型得到目标图像中的阴影图像，然后从目标图像中去除阴影图像，即可得到去除阴影后的图像。
在本申请一些实施例中，为了提高阴影的去除精度，训练后的目标模型可以为训练后的生成对抗网络。为了便于介绍利用训练后的生成对抗网络去除目标图像中的阴影的具体实现方式，因此下面先介绍生成对抗网络的训练方法的具体实现方式。
图5是本申请第一实施例提供的生成对抗网络的训练方法的流程示意图。如图5所示，该训练方法包括步骤210～步骤240。
步骤210，获取多个目标图像样本和每个目标图像样本对应的阴影图像样本。
步骤220，将每个目标图像样本输入到待训练生成对抗网络中的第一待训练生成器，得到目标图像样本对应的预测阴影图像。
步骤230，对于每个目标图像样本，基于目标图像样本对应的预测阴影图像以及待训练生成对抗网络中的第一待训练判别器，得到第一判别结果，并基于目标图像样本对应的阴影图像样本以及第一待训练判别器，得到第二判别结果。
步骤240，基于每个第一判别结果和每个第二判别结果，对第一待训练生成器和第一待训练判别器进行训练，得到训练后的生成对抗网络。
其中，目标图像样本为基于实际拍摄的无阴影图像样本和预设的仿真成像条件生成的样本。阴影图像样本为基于目标图像样本和无阴影图像样本确定的样本。
在本申请实施例中，利用预设的仿真成像条件可以模拟现实中的各种各样的真实环境，而实际拍摄的无阴影图像样本是真实的图像数据，因此通过利用实际拍摄的无阴影图像样本和预设的仿真成像条件生成目标图像样本，可以将真实数据和仿真成像条件相结合，以快速得到用于训练生成对抗网络的真实性较高的目标图像样本和目标图像样本对应的阴影图像样本，从而可以提高生成对抗网络的训练精度和速度。
下面分别对步骤210～步骤240中的每个步骤的具体实现方式进行详细介绍。
在本申请的实施例中，生成对抗网络主要包括两部分：生成器和判别器。生成器是指能够通过一定的输入由网络自主地输出指定需要的图像、文字或视频等数据，即用于生成数据。判别器用于对生成器生成的数据进行判别，判别生成器生成的数据是否接近于真实。
下面介绍步骤220的具体实现方式。
在对待训练生成对抗网络的一次训练的过程中，可以利用一批训练样本，该训练样本包括多个目标图像样本和每个目标图像样本对应的阴影图像样本。
作为一个示例，图6是本申请第二实施例提供的生成对抗网络的训练方法的流程示意图。对于每个目标图像样本，将该目标图像样本输入待训练生成对抗网络中的第一待训练生成器，得到目标图像样本对应的预测阴影图像。目标图像样本对应的预测阴影图像即是第一待训练生成器生成的图像。
下面介绍步骤230的具体实现方式。
在一些实施例中，为了提高训练速度，步骤230包括：对于每个目标图像样本，将目标图像样本对应的预测阴影图像输入待训练生成对抗网络中的第一待训练判别器，得到第一判别结果，并将该目标图像样本对应的阴影图像样本输入到第一待训练判别器，得到第二判别结果。
也就是说，第一待训练判别器直接对第一待训练生成器输出的图像进行判别。继续参见图6，将预测阴影图像输入待训练生成对抗网络中的第一待训练判别器，得到第一判别结果，将阴影图像样本输入待训练生成对抗网络中的第一待训练判别器，得到第二判别结果。
作为一个示例，第一判别结果包括预测阴影图像为真图的概率和预测阴影图像为假图的概率。第二判别结果包括阴影图像样本为真图的概率和阴影图像样本为假图的概率。
在另一些实施例中，为了增加第一待训练判别器判别的精度，则该判别器需要获取更多的特征信息，因此，步骤230可以包括：对于每个目标图像样本，将目标图像样本和目标图像样本对应的预测阴影图像进行通道融合得到第一融合图像，并将目标图像样本和目标图像样本对应的阴影图像样本进行通道融合得到第二融合图像；对于每个第一融合图像和每个第二融合图像，将第一融合图像和第二融合图像分别输入到第一待训练判别器，得到第一判别结果和第二判别结果。
其中，第一判别结果包括第一融合图像为真图的概率和第一融合图像为假图的概率。第二判别结果包括第二融合图像为真图的概率和第二融合图像为假图的概率。
图7是本申请第三实施例提供的生成对抗网络的训练方法的示意图。与图6中的训练方法的不同之处在于，在图7中，通过将目标图像样本和目标图像样本对应的预测阴影图像进行通道融合得到第一融合图像，然后将第一融合图像输入第一待训练判别器，得到第一判别结果。通过将目标图像样本和目标图像样本对应的阴影图像样本进行通道融合得到第二融合图像，然后将第二融合图像输入第一待训练判别器，得到第二判别结果。也就是说，第一待训练判别器的输入分别是第一融合图像和第二融合图像。
在本申请的实施例中，通过将目标图像样本和目标图像样本对应的预测阴影图像进行通道融合得到的第一融合图像输入第一待训练判别器，可以使第一待训练判别器获取更多的图像特征信息，以提高第一待训练判别器判别的准确度。类似地，通过将目标图像样本和目标图像样本对应的阴影图像样本进行通道融合得到的第二融合图像输入第一待训练判别器，可以使第一待训练判别器获取更多的图像特征信息，以提高第一待训练判别器判别的准确度。
作为一个示例，两个图像进行通道融合可以为将长宽相同的两个图像的各个通道依次拼接在一起，生成一个深度更大的图像。在另一个示例中，两个图像进行通道融合还可以包括将两个图像对应的通道分别进行相加或相减等处理。
下面介绍步骤240的具体实现方式。
在一些实施例中，第一待训练生成对抗网络包括第一待训练生成器和第一待训练判别器。参见图6和图7，可以基于每个第一判别结果和每个第二判别结果，对第一待训练生成器和第一待训练判别器进行训练，得到训练后的生成对抗网络。
需要说明的是，在一些实施例中，在对第一待训练生成器和第一待训练判别器进行训练的过程中，可以对第一待训练生成器和第一待训练判别器进行交替训练。也就是说，在训练第一待训练生成器时，可以保持第一待训练判别器的参数不变，调整第一待训练生成器的参数。在训练第一待训练判别器时，可以保持第一待训练生成器的参数不变，调整第一待训练判别器的参数。
下面首先对训练第一待训练判别器的具体实现方式进行介绍。
作为一个示例，将每个目标图像样本对应的预测阴影图像的标签设置为0，代表第一待训练判别器希望第一待训练生成器输出的图像均是假图。目标图像样本对应的阴影图像样本的标签设置为1。
基于每个预测阴影图像对应的第一判别结果和每个预测阴影图像的标签0，以及预设损失函数，可以计算损失函数值LOSS1。基于每个阴影图像样本对应的第二判别结果和阴影图像样本的标签1，以及预设的损失函数，可以计算损失函数值LOSS2。
然后，将损失函数值LOSS1和损失函数值LOSS2相加可以得到损失函数值LOSSD1。然后，基于损失函数值LOSSD1以及反向传播法，调整第一待训练判别器中每个参数。
需要说明的是，在调整第一待训练判别器的每个参数的过程中，第一待训练生成器的每个参数不发生变化。
下面接着对训练第一待训练生成器的具体实现方式进行介绍。
作为一个示例，将每个目标图像样本对应的预测阴影图像的标签均设置为1，代表第一待训练生成器希望自身输出的图像均是真图。
基于每个预测阴影图像对应的第一判别结果和每个预测阴影图像的标签1，以及预设损失函数，可以计算损失函数值LOSSG1。然后，基于损失函数值LOSSG1以及反向传播法，调整第一待训练生成器中每个参数。在训练第一待训练生成器时，可以保持第一待训练判别器的参数不变，调整第一待训练生成器的参数。
需要说明的是，在训练第一待训练生成器和第一待训练判别器的过程中，可以根据LOSSD1和LOSSG1之间的相对大小关系，来确定对更应该着重训练第一待训练生成器还是第一待训练判别器。作为一个示例，在训练初期，第一待训练生成器和第一待训练判别器交替一次进行训练，若在训练过程中发现LOSSD1较大，而LOSSG1较小，则代表第一待训练生成器的性能较好，可以训练10次第一待训练判别器，然后训练1次第一待训练生成器。
在另一些实施例中，也可以利用反向传播算法同时对第一待训练生成器和第一待训练判别器进行训练。对于待训练生成对抗网络的训练方法，在此不做限定。
在本申请的一些实施例中，可以根据第一预设训练停止条件，停止训练第一待训练判别生成器和第一待训练判别器。
作为一个示例，第一预设训练停止条件包括LOSSD1和LOSSG1均小于第一预设阈值。
作为另一个示例，第一预设训练停止条件包括第一待训练生成器和第一待训练判别器的总训练次数达到预设训练次数阈值。
需要说明的是，在对第一待训练生成器和第一待训练判别器训练时，每次训练过程中运用的都是不同批的训练样本。对于一批训练样本，可以根据每个第一判别结果和每个第二判别结果来统计第一待训练判别器的准确率。若训练次数为N次，则每次训练均对应一个第一待训练判别器的准确率。其中，预设训练停止条件还包括N个准确率的平均值大于预设准确率阈值。N为正整数。
在另一些实施例中，当第一判别器的输入为第一融合图像和第二融合图像时，则可以根据每个第一融合图像对应的标签、每个第一判别结果以及每个第二融合图像对应的标签和每个第二判别结果，计算LOSSD1和LOSSG1，以训练待训练生成对抗网络，具体训练方法与上述以预测阴影图像和阴影图像样本分别输入第一待训练判别器的场景下的训练方法相类似，在此不再赘述。
在本申请的一些实施例中，若预先训练的生成对抗网络只包括训练好的第一生成器和训练好的第一判别器，则利用生成对抗网络只可以得到阴影图像，为了对包含阴影的目标图像进行阴影的去除，可以将目标图像直接减去阴影图像，则可以得到去除阴影后的图像。
但是，在另一些实施例中，为了提高对目标图像中阴影去除的准确度，可以用深度学习的方法得到去除阴影后的图像，也就是说，预设训练的生成对抗网络还包括第二生成器和第二判别器，以利用第二生成器直接得到去除阴影后的图像。
若预先训练的生成对抗网络还包括第二生成器和第二判别器，则待训练生成对抗网络还包括第二待训练生成器和第二待训练判别器。在此场景下，步骤240包括步骤2401～步骤2403。步骤2401，对于每个第一融合图像，将第一融合图像输入到第二待训练生成器，得到预测无阴影图像。步骤2402，对于每个目标图像样本，基于目标图像样本对应的预测无阴影图像以及第二待训练判别器得到第三判别结果，并基于目标图像样本对应的无阴影图像样本以及第二待训练判别器，得到第四判别结果。步骤2403，基于每个第一判别结果和每个第二判别结果，对第一待训练生成器和第一待训练判别器进行训练，并基于每个第三判别结果和每个第四判别结果，对第二待训练生成器和第二待训练判别器进行训练，得到训练后的生成对抗网络。
图8是本申请第四实施例提供的生成对抗网络的训练方法的流程示意图。图8与图7的不同之处在于，在一些实施例中，对于每个第一融合图像，将该第一融合图像输入第二待训练生成器，得到预测无阴影图像。对于每个预测无阴影图像，将该预测无阴影图像输入第二待训练判别器中，可以得到第三判别结果。对于每个无阴影图像样本，将该无阴影图像样本输入到第二待训练判别器，可以得到第四判别结果。然后基于第三判别结果和第四判别结果可以训练第二待训练生成器和第二待训练判别器。
需要说明的是，在本申请的实施例中，第二待训练生成器和第二待训练判别器训练方法与上述第一待训练生成器和第一待训练判别器训练方法相类似。
在一些实施例中，第二待训练生成器和第二待训练判别器可以交替训练。下面首先对训练第二待训练判别器的具体实现方式进行介绍。
作为一个示例，将每个预测无阴影图像的标签均设置为0，代表第二待训练判别器希望第二待训练生成器输出的图像均是假图。
基于每个预测无阴影图像对应的第三判别结果和每个预测无阴影图像的标签0，以及预设损失函数，可以计算损失函数值LOSS3。基于每个无阴影图像样本对应的第四判别结果和无阴影图像样本的标签1，以及预设的损失函数，可以计算损失函数值LOSS4。
然后，将损失函数值LOSS3和损失函数值LOSS4相加可以得到损失函数值LOSSD2。然后，基于损失函数值LOSSD2以及反向传播法，调整第二待训练判别器中每个参数。
需要说明的是，在调整第二待训练判别器的每个参数的过程中，第二待训练生成器的每个参数不发生变化。
下面接着对训练第二待训练生成器的具体实现方式进行介绍。
作为一个示例，将每个预测无阴影图像的标签设置为1，代表第二待训练生成器希望自身输出的图像均是真图。基于每个预测无阴影图像对应的第三判别结果和每个预测无阴影图像的标签1，以及预设损失函数，可以计算损失函数值LOSSG2。然后，基于损失函数值LOSSG2以及反向传播法，调整第二待训练生成器中每个参数。需要说明的是，在调整第二待训练生成器的每个参数的过程中，第二待训练判别器的每个参数不发生变化。
需要说明的是，在训练第二待训练生成器和第二待训练判别器的过程中，可以根据LOSSD2和LOSSG2之间的相对大小关系，来确定对更应该着重训练第二待训练生成器还是第二待训练判别器。
在另一些实施例中，也可以利用反向传播算法同时对第二待训练生成器和第二待训练判别器进行训练。对于待训练生成对抗网络的训练方法，在此不做限定。
在本申请的一些实施例中，可以根据第二预设训练停止条件，停止训练第二待训练判别生成器和第二待训练判别器。
作为一个示例，第二预设训练停止条件包括LOSSD2和LOSSG2均小于第二预设阈值。
作为另一个示例，第二预设训练停止条件包括第二待训练判别生成器和第二待训练判别器的训练次数达到预设训练次数阈值。
需要说明的是，在对第二待训练判别生成器和第二待训练判别器训练时，每次训练过程中运用的都是不同批的训练样本。对于一批训练样本，可以根据每个第三判别结果和每个第四判别结果来统计第二待训练判别器的准确率。若训练次数为M次，则每次训练均对应一个第二待训练判别器的准确率。其中，第二预设训练停止条件还包括M个准确率的平均值大于预设准确率阈值。M为正整数。
在本申请的另一些实施例中，为了提高第二待训练判别器的判别准确度，步骤2403包括：对于每个目标图像样本，将目标图像样本对应的预测无阴影图像和目标图像样本对应的第一融合图像进行通道融合得到第三融合图像，并将目标图像样本对应的无阴影图像样本和目标图像样本对应的第二融合图像进行通道融合，得到第四融合图像；对于每个第三融合图像和每个第四融合图像，将第三融合图像和第四融合图像分别输入到第二待训练判别器，得到第三判别结果和第四判别结果。
图9是本申请第五实施例提供的生成对抗网络的训练方法的示意图。与图8中的训练方法的不同之处在于，在图9中，通过将第一融合图像和预测无阴影图像进行通道融合得到第三融合图像，然后将第三融合图像输入第二待训练判别器，得到第三判别结果。通过将第二融合图像和无阴影图像样本进行通道融合得到第四融合图像，然后将第四融合图像输入第二待训练判别器，得到第四判别结果。也就是说，第二待训练判别器的输入分别是第三融合图像和第四融合图像。最后，基于第三判别结果和第四判别结果对第二待训练判别生成器和第二待训练判别器进行训练。
在本申请的一些实施例中，当第二待训练判别器的输入为第三融合图像和第四融合图像时，则可以根据每个第三融合图像对应的标签、每个第三判别结果以及每个第四融合图像对应的标签和每个第四判别结果，计算LOSSD2和LOSSG2，以训练待训练生成对抗网络，具体训练方法与上述以预测无阴影图像和无阴影图像样本分别输入第二待训练判别器的场景下的训练方法相类似，在此不再赘述。
需要说明的是，在对生成对抗网络进行训练的过程中，需要对生成器和判别器均进行训练，但是在利用预先训练的生成对抗网络去除目标图像中的阴影的场景下，可以只运用预先训练的生成对抗网络中的生成器。
在一些实施例中，步骤120包括步骤1201和步骤1202。步骤1201，将目标图像输入生成对抗网络的第一生成器，得到目标图像对应的阴影图像；步骤1202，基于阴影图像和目标图像，得到去除阴影后的图像。
在本申请的实施例中，当第一待训练生成器训练完成之后，得到的即是第一生成器。当第一待训练判别器训练完成之后，得到的即是第一判别器。第一生成器的作用就是根据输入的包括阴影的目标图像生成对应的阴影图像。
在一些实施例中，为了提高去除阴影的效率，生成对抗网络中只包括第一生成器和第一判别器，则步骤1202包括从目标图像中去除阴影图像，得到去除阴影后的图像。
在本申请的实施例中，若生成对抗网络中只包括第一生成器和第一判别器，则可以节省训练生成对抗网络的时间，因此可以提高生成对抗网络的生成效率，因此可以提高去除目标图像中的阴影的效率。
在另一些实施例中，为了提高对图像中阴影去除的准确度，训练后的生成对抗网络还包括第二生成器和第二判别器。其中，在本申请的实施例中，当第二待训练生成器训练完成之后，得到的即是第二生成器。当第二待训练判别器训练完成之后，得到的即是第二判别器。第二生成器的作用就是根据输入的目标图像和阴影图像融合得到的目标融合图像，生成无阴影图像。
因此，步骤1202包括：将阴影图像和目标图像进行通道融合，得到目标融合图像；将目标融合图像输入到第二生成器，得到去除阴影后的图像。图10是本申请实施例提供的去除图2中的阴影之后的图像的示意图。图10示出了没有阴影的文档的图像。
在本申请的实施例中，通过将目标融合图像输入第二生成器，可以利用深度学习的方式获取无阴影图像，准确度更高。
在本申请的实施例中，通过利用三维渲染引擎获取训练样本，然后利用训练样本对生成对抗网络进行训练，以实现去除图像中阴影的目的，解决在拍摄某些图像时需要不断调整姿势的痛点。
在本申请的实施例中，结合三维渲染引擎能够模拟现实中的各种各样的真实环境，生成的数据具有广泛性；同时可以自由调节三维渲染引擎中的各项成像参数，即仿真成像条件，因此生成的训练样本数据具有多样性。并且，通过三维渲染引擎中加入真实拍摄的无阴影图像样本，可以提升生成的训练样本数据的真实性和可靠性，降低渲染时间和建模难度。再者，通过将三维渲染引擎和生成对抗网络训练进行结合能够提高该网络的训练效率，从而快速实现去除图像中阴影的目的，使图像整体更为清晰整洁。
需要说明的是，本申请实施例中以图像处理装置执行加载图像处理方法为例，说明本申请实施例提供的图像处理方法。本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行加载图像处理方法的控制模块。
图11是本申请实施例提供的图像处理装置的结构示意图。如图11所示，该图像处理装置300包括：
目标图像获取模块310，用于获取包括阴影的目标图像。
阴影去除模块320，用于基于目标模型去除所述目标图像中的阴影，得到去除阴影后的图像。
其中，目标模型为基于包括阴影的目标图像样本和目标图像样本对应的阴影图像样本训练的模型。
目标图像样本为基于拍摄的无阴影图像样本和预设的仿真成像条件生成的样本；阴影图像样本为基于目标图像样本和无阴影图像样本确定的样本。
在本申请实施例中，利用预设的仿真成像条件可以模拟现实中的各种各样的真实环境，而实际拍摄的无阴影图像样本是真实的图像数据，因此通过利用实际拍摄的无阴影图像样本和预设的仿真成像条件生成目标图像样本，可以将真实数据和仿真成像条件相结合，以快速得到用于训练去除图像阴影的目标模型的真实性较高的目标图像样本和目标图像样本对应的阴影图像样本，从而可以提高该目标模型的训练精度和速度。由于训练后的目标模型是基于包括阴影的目标图像样本和目标图像样本对应的阴影图像样本进行训练的，因此，通过利用训练后的目标模型可以实现对目标图像中的阴影的去除，而由于目标模型的训练速度和精度都得到了提高，因此可以实现对目标图像中的阴影进行快速和准确的去除。
在一些实施例中，目标模型包括生成对抗网络。
在一些实施例中，阴影去除模块320，包括：
阴影图像确定单元，用于将目标图像输入生成对抗网络的第一生成器，得到目标图像对应的阴影图像。
阴影去除单元，用于基于阴影图像和目标图像，得到去除阴影后的图像。
在一些实施例中，为了提高去除图像中阴影的精度，生成对抗网络还包括第二生成器；
阴影去除单元，用于：
将阴影图像和目标图像进行通道融合，得到目标融合图像；
将目标融合图像输入到第二生成器，得到去除阴影后的图像。
在一些实施例中，为了提高去除图像中阴影的效率，阴影去除单元，用于：
从目标图像中去除阴影图像，得到去除阴影后的图像。
本申请实施例中的图像处理装置可以是装置，也可以是装置中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1的方法实施例中的各个过程，为避免重复，这里不再赘述。
可选的，本申请实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在处理器上运行的程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图12为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。
本领域技术人员可以理解，电子设备400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图12中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
处理器410，用于获取包括阴影的目标图像；基于目标模型去除所述目标图像中的阴影，得到去除阴影后的图像；其中，目标模型为基于包括阴影的目标图像样本和目标图像样本对应的阴影图像样本训练的模型；目标图像样本为基于拍摄的无阴影图像样本和预设的仿真成像条件生成的样本；阴影图像样本为基于目标图像样本和无阴影图像样本确定的样本。
在本申请实施例中，利用预设的仿真成像条件可以模拟现实中的各种各样的真实环境，而实际拍摄的无阴影图像样本是真实的图像数据，因此通过利用实际拍摄的无阴影图像样本和预设的仿真成像条件生成目标图像样本，可以将真实数据和仿真成像条件相结合，以快速得到用于训练去除图像阴影的目标模型的真实性较高的目标图像样本和目标图像样本对应的阴影图像样本，从而可以提高该目标模型的训练精度和速度。由于训练后的目标模型是基于包括阴影的目标图像样本和目标图像样本对应的阴影图像样本进行训练的，因此，通过利用训练后的目标模型可以实现对目标图像中的阴影的去除，而由于目标模型的训练速度和精度都得到了提高，因此可以实现对目标图像中的阴影进行快速和准确的去除。
处理器410，还用于将目标图像输入生成对抗网络的第一生成器，得到目标图像对应的阴影图像；基于阴影图像和目标图像，得到去除阴影后的图像。
在本申请的实施例中，通过获取目标图像对应的阴影图像，可以实现对目标图像中的阴影进行去除。
可选地，生成对抗网络还包括第二生成器，处理器410，还用于将阴影图像和目标图像进行通道融合，得到目标融合图像；将目标融合图像输入到第二生成器，得到去除阴影后的图像。
在本申请的实施例中，若生成对抗网络中只包括第一生成器和第一判别器，则可以节省训练生成对抗网络的时间，因此可以提高生成对抗网络的生成效率，因此可以提高去除目标图像中的阴影的效率。
在本申请的实施例中，通过将目标融合图像输入第二生成器，可以利用深度学习的方式获取无阴影图像，准确度更高。
可选地，处理器410，还用于从目标图像中去除阴影图像，得到去除阴影后的图像。
在本申请的实施例中，若生成对抗网络中只包括第一生成器和第一判别器，则可以节省训练生成对抗网络的时间，因此可以提高生成对抗网络的生成效率，因此可以提高去除目标图像中的阴影的效率。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取包括阴影的目标图像；
基于目标模型去除所述目标图像中的阴影，得到去除阴影后的图像；
其中，所述目标模型为基于包括阴影的目标图像样本和所述目标图像样本对应的阴影图像样本训练的模型；
所述目标图像样本为基于拍摄的无阴影图像样本和预设的仿真成像条件生成的样本；所述阴影图像样本为基于所述目标图像样本和所述无阴影图像样本确定的样本。
2.根据权利要求1所述的方法，其特征在于，所述目标模型包括生成对抗网络。
3.根据权利要求2所述的方法，其特征在于，所述基于目标模型去除所述目标图像中的阴影，得到去除阴影后的图像，包括：
将所述目标图像输入所述生成对抗网络的第一生成器，得到所述目标图像对应的阴影图像；
基于所述阴影图像和所述目标图像，得到去除阴影后的图像。
4.根据权利要求3所述的方法，其特征在于，所述生成对抗网络还包括第二生成器；所述基于所述阴影图像和所述目标图像，得到去除阴影后的图像，包括：
将所述阴影图像和所述目标图像进行通道融合，得到目标融合图像；
将所述目标融合图像输入到所述第二生成器，得到去除阴影后的图像。
5.根据权利要求3所述的方法，其特征在于，所述基于所述阴影图像和所述目标图像，得到去除阴影后的图像，包括：
从所述目标图像中去除所述阴影图像，得到去除阴影后的图像。
6.一种图像处理装置，其特征在于，所述装置包括：
目标图像获取模块，用于获取包括阴影的目标图像；
阴影去除模块，用于基于目标模型去除所述目标图像中的阴影，得到去除阴影后的图像；
其中，所述目标模型为基于包括阴影的目标图像样本和所述目标图像样本对应的阴影图像样本训练的模型；
所述目标图像样本为基于拍摄的无阴影图像样本和预设的仿真成像条件生成的样本；所述阴影图像样本为基于所述目标图像样本和所述无阴影图像样本确定的样本。
7.根据权利要求6所述的装置，其特征在于，所述目标模型包括生成对抗网络。
8.根据权利要求7所述的装置，其特征在于，所述阴影去除模块，包括：
阴影图像确定单元，用于将所述目标图像输入所述生成对抗网络的第一生成器，得到所述目标图像对应的阴影图像；
阴影去除单元，用于基于所述阴影图像和所述目标图像，得到去除阴影后的图像。
9.根据权利要求8所述的装置，其特征在于，所述生成对抗网络还包括第二生成器；
所述阴影去除单元，用于：
将所述阴影图像和所述目标图像进行通道融合，得到目标融合图像；
将所述目标融合图像输入到所述第二生成器，得到去除阴影后的图像。
10.根据权利要求8所述的装置，其特征在于，所述阴影去除单元，用于：
从所述目标图像中去除所述阴影图像，得到去除阴影后的图像。
CN202010435861.8A 2020-05-21 2020-05-21 图像处理方法及装置 Active CN111667420B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010435861.8A CN111667420B (zh) 2020-05-21 2020-05-21 图像处理方法及装置
EP21808679.1A EP4156081A4 (en) 2020-05-21 2021-05-14 IMAGE PROCESSING METHOD AND DEVICE
PCT/CN2021/093754 WO2021233215A1 (zh) 2020-05-21 2021-05-14 图像处理方法及装置
US17/987,987 US20230076026A1 (en) 2020-05-21 2022-11-16 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010435861.8A CN111667420B (zh) 2020-05-21 2020-05-21 图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN111667420A true CN111667420A (zh) 2020-09-15
CN111667420B CN111667420B (zh) 2023-10-24

Family

ID=72384278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010435861.8A Active CN111667420B (zh) 2020-05-21 2020-05-21 图像处理方法及装置

Country Status (4)

Country Link
US (1) US20230076026A1 (zh)
EP (1) EP4156081A4 (zh)
CN (1) CN111667420B (zh)
WO (1) WO2021233215A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862714A (zh) * 2021-02-03 2021-05-28 维沃移动通信有限公司 图像处理方法及装置
CN113139917A (zh) * 2021-04-23 2021-07-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113205530A (zh) * 2021-04-25 2021-08-03 Oppo广东移动通信有限公司 阴影区域处理方法及装置、计算机可读介质和电子设备
WO2021233215A1 (zh) * 2020-05-21 2021-11-25 维沃移动通信有限公司 图像处理方法及装置
CN114445515A (zh) * 2022-02-14 2022-05-06 深圳市赛禾医疗技术有限公司 图像伪影去除方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354833A (zh) * 2015-10-12 2016-02-24 浙江宇视科技有限公司 一种阴影检测的方法和装置
CN109978807A (zh) * 2019-04-01 2019-07-05 西北工业大学 一种基于生成式对抗网络的阴影去除方法
CN110033423A (zh) * 2019-04-16 2019-07-19 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN110782409A (zh) * 2019-10-21 2020-02-11 太原理工大学 一种去除多运动物体阴影的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667420B (zh) * 2020-05-21 2023-10-24 维沃移动通信有限公司 图像处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354833A (zh) * 2015-10-12 2016-02-24 浙江宇视科技有限公司 一种阴影检测的方法和装置
CN109978807A (zh) * 2019-04-01 2019-07-05 西北工业大学 一种基于生成式对抗网络的阴影去除方法
CN110033423A (zh) * 2019-04-16 2019-07-19 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN110782409A (zh) * 2019-10-21 2020-02-11 太原理工大学 一种去除多运动物体阴影的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIFENG WANG等: "Stacked Conditional Generative Adversarial Networks for Jointly Learning Shadow Detection and Shadow Removal", 《ARXIV:1712.02478V1[CS:CV]》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021233215A1 (zh) * 2020-05-21 2021-11-25 维沃移动通信有限公司 图像处理方法及装置
CN112862714A (zh) * 2021-02-03 2021-05-28 维沃移动通信有限公司 图像处理方法及装置
CN113139917A (zh) * 2021-04-23 2021-07-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113205530A (zh) * 2021-04-25 2021-08-03 Oppo广东移动通信有限公司 阴影区域处理方法及装置、计算机可读介质和电子设备
CN114445515A (zh) * 2022-02-14 2022-05-06 深圳市赛禾医疗技术有限公司 图像伪影去除方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4156081A4 (en) 2023-12-06
CN111667420B (zh) 2023-10-24
EP4156081A1 (en) 2023-03-29
US20230076026A1 (en) 2023-03-09
WO2021233215A1 (zh) 2021-11-25

Similar Documents

Publication Publication Date Title
CN111667420B (zh) 图像处理方法及装置
CN112884881B (zh) 三维人脸模型重建方法、装置、电子设备及存储介质
CN109889724B (zh) 图像虚化方法、装置、电子设备及可读存储介质
CN105933589A (zh) 一种图像处理方法及终端
KR20140004592A (ko) 3d 깊이 정보를 기반으로 한 이미지 블러
CN112785507A (zh) 图像处理方法及装置、存储介质、终端
CN109840946B (zh) 虚拟对象显示方法及装置
CN107479712B (zh) 基于头戴式显示设备的信息处理方法及装置
CN104509092B (zh) 控制相机的方法及相关计算设备和计算机可读存储介质
CN112291473B (zh) 对焦方法、装置及电子设备
CN114445562A (zh) 三维重建方法及装置、电子设备和存储介质
CN111835982A (zh) 图像获取方法、图像获取装置、电子设备及存储介质
CN114390201A (zh) 对焦方法及其装置
CN111861956A (zh) 图片处理方法、装置、电子设备以及介质
CN105893578B (zh) 一种照片选择的方法及装置
WO2023001110A1 (zh) 神经网络训练方法、装置及电子设备
CN111866492A (zh) 基于头戴显示设备的图像处理方法、装置及设备
CN109842791B (zh) 一种图像处理方法及装置
CN111080546A (zh) 一种图片处理方法及装置
CN104092946B (zh) 图像采集方法及图像采集装置
CN114255177B (zh) 成像中的曝光控制方法、装置、设备及存储介质
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
US20230131418A1 (en) Two-dimensional (2d) feature database generation
CN111292234A (zh) 一种全景图像生成方法及装置
CN115134532A (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant