CN114387443A - 一种图像处理方法、存储介质及终端设备 - Google Patents

一种图像处理方法、存储介质及终端设备 Download PDF

Info

Publication number
CN114387443A
CN114387443A CN202011139911.4A CN202011139911A CN114387443A CN 114387443 A CN114387443 A CN 114387443A CN 202011139911 A CN202011139911 A CN 202011139911A CN 114387443 A CN114387443 A CN 114387443A
Authority
CN
China
Prior art keywords
image
training
target
area
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011139911.4A
Other languages
English (en)
Inventor
刘健威
邢连萍
李逸群
俞大海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN202011139911.4A priority Critical patent/CN114387443A/zh
Publication of CN114387443A publication Critical patent/CN114387443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、存储介质及终端设备，所述方法包括获取待处理的原始图像的携带光斑的目标图像区域，并基于所述目标图像区域生成掩膜图像；将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像。本申请通过将原始图像和掩膜图像作为生成模型的输入项，生成模型可以学习到目标区域的图像细节特征，进而可以提高生成模型生成的输出图像的图像质量。

Description

一种图像处理方法、存储介质及终端设备
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、存储介质及终端设备。
背景技术
全面屏作为现今手机发展的一个流行趋势，通过增大屏占比来提升用户体验，例如，在采用全面屏取代刘海屏时，可以避免手机使用时刘海遮挡部分功能或文字。然而，在实现全面屏时需要将摄像头隐藏于屏幕后方，屏幕上的线路遮挡以及LED屏基底材料会使得穿过屏幕的光线发生衍射，令不同波长的光线散射到图像传感器不同的位置，而影响图像质量。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种图像处理方法、存储介质及终端设备。
为了解决上述技术问题，本申请实施例第一方面提供了一种图像处理方法，其特征在于，所述方法包括：
获取待处理的原始图像的目标图像区域，并基于所述目标图像区域生成掩膜图像；
将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像。
所述图像处理方法，其中，所述原始图像为通过屏下成像系统拍摄得到的，所述目标图像区域携带光斑。
所述图像处理方法，其中，所述基于所述目标图像区域生成掩膜图像具体包括：
确定一个候选图像，其中，该候选图像的图像尺寸与所述原始图像的图像尺寸相同；
确定所述候选图像中的候选图像区域，其中，所述候选图像区域在所述候选图像中的位置信息与所述目标图像区域在原始图像中的位置信息相对应；
将候选图像区域中的各像素点的像素值设置为第一像素值，并将候选图像中候选图像区域以外的各像素点的像素值设置为第二像素值，以生成掩膜图像。
所述图像处理方法，其中，所述获取待处理的原始图像的目标图像区域具体包括：
将所述原始图像输入经过训练的图像识别模型，通过所述图像识别模型确定所述原始图像对应的目标图像区域。
所述图像处理方法，其中，所述生成模型包括编码器以及解码器，所述将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像具体包括：
将所述原始图像以及所述掩膜图像输入所述编码器，通过所述编码器确定所述原始图像的目标特征图像；
将所述目标特征图像输入所述解码器，通过所述解码器输出所述原始图像对应的输出图像，其中，所述输出图像中的参考图像区域为所述目标区域经过光斑去除处理得到的，所述参考图像区域在所述输出图像中的位置信息与所述目标图像在所述原始图像中的位置信息相对应。
所述图像处理方法，其中，所述编码器包括第一特提取模块和第二特征提取模块，所述第一特征提取模块包括若干级联的第一门控卷积单元，所述第二特征提取模块包括若干扩张门控卷积单元；所述目标特征图为若干目标特征图，所述将所述原始图像以及所述掩膜图像输入所述编码器，通过所述编码器确定所述原始图像的目标特征图像具体包括：
将所述原始图像以及所述掩膜图像输入第一特征提取模块，通过第一特征提取模块获取若干第一特征图，其中，若干第一特征图与若干第一门控卷积单元一一对应；
将若干第一特征图中的参考特征图输入第二特征提取模块，通过第二特征提取模块获取第二特征图，其中，所述参考特征图为按照级联顺序位于最后的门控卷积单元对应的第一特征图；
将获取到第二特征图以及若干第一特征图中除参考特征图外的所有第一特征图，作为所述原图像对应的若干目标特征图。
所述图像处理方法，其中，所述解码器包括若干级联的第二门控卷积单元，所述若干第二门控卷积单元与若干第一门控卷积单元一一对应；位于最前的第二门控卷积单元的输入项为第二特征图像以及其对应的第一门控卷积单元的输出项，相邻两个第二门控卷积单元中后一第二门控卷积单元的输入项为前一第二门控卷积单元的输出项和其对应的第一门控卷积单元的输出项，位于最后的第二门控卷积单元的输出项为输出图像。
所述图像处理方法，其中，所述生成模型的训练过程包括：
获取训练图像集，其中，所述训练图像集包括若干训练图像组，若干训练图像组中的每个训练图像组均包括目标图像、训练图像以及训练图像对应的训练掩膜图像，所述训练图像为基于目标图像生成的；
将所述训练图像集中的训练图像以及所述训练图像对应的训练掩膜图像输入预设的生成器，通过生成器确定所述训练图像对应的生成图像；
将所述生成图像以及所述目标图像输入预设的判别器，通过所述判别器输出预测概率；
基于所述预测概率、所述生成图像以及所述训练图像对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型。
所述图像处理方法，其中，所述获取训练图像集具体包括：
获取若干目标图像；
对于若干目标图像中的每个目标图像，选取该目标图像中的一对照图像区域，并将所述对照图像区域中的各像素点的像素值设置为第三像素值，以得到该目标图像对应的训练图像；
基于选取到的对照图像区域，确定所述训练图像对应的训练掩膜图像，其中，所述训练掩膜图像中的第一图像区域中的各像素点的像素值为第四像素值，除第一图像区域外的各像素点的像素值为第五像素值，所述第一图像区域在训练掩膜图像中的位置信息与对照图像区域在目标图像中的位置信息相同；
基于该目标图像、训练图像以及训练掩膜模型生成训练图像组，以得到训练图像集。
所述图像处理方法，其中，所述基于所述预测概率、所述生成图像以及所述训练图像对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型具体包括：
将所述生成图像和所述目标图像分别输入经过训练的图像分类模型，得到所述生成图像对应的第一特征图以及所述目标图像对应的第二特征图；
基于所述预测概率、所述生成图像、所述目标图像、所述第一特征图以及所述第二特征图对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型。
所述图像处理方法，其中，所述预设概率包括目标图像对应的第一预测概率以及所述生成图像对应的第二预测概率；所述基于所述预测概率、所述生成图像、所述目标图像、所述第一特征图以及所述第二特征图对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型具体包括：
基于所述第一预设概率和所述第二预设概率，确定第一损失值；
基于所述生成图像和所述目标图像，确定第二损失值；
基于所述第一特征图和所述第二特征图，确定第三损失值；
确定所述生成图像中各像素点对应的像素值构成的第一向量以及所述与所述目标图像中各像素点对应的像素值构成的第二向量，并基于所述第一向量和第二向量确定第四损失值；
基于所述第一损失值，所述第二损失值、所述第三损失值以及所述第四损失值对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型。
本申请实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像处理方法中的步骤。
本申请实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的图像处理方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种图像处理方法、存储介质及终端设备，所述方法包括获取待处理的原始图像的携带光斑的目标图像区域，并基于所述目标图像区域生成掩膜图像；将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像。本申请通过将原始图像和掩膜图像作为生成模型的输入项，生成模型可以学习到目标区域的图像细节特征，进而可以提高生成模型生成的输出图像的图像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的图像处理方法的流程图。
图2为本申请提供的图像处理方法的流程示例图。
图3为本申请提供的图像处理方法的中生成器的结构原理图。
图4为本申请提供的图像处理方法的中第一门控卷积单元的结构原理图。
图5为本申请提供的图像处理方法的中判别器的结构原理图。
图6为本申请提供的图像处理方法中3*3卷积核的示意图。
图7为本申请提供的图像处理方法中3*3卷积核对应的扩张等级为2的卷积核的示意图。
图8为本申请提供的图像处理方法中3*3卷积核对应的扩张等级为3的卷积核的示意图。
图9为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种图像处理方法、存储介质及终端设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现，为了实现终端设备的全面屏，需要将终端设备的前置摄像头安装在显示面板下方。而显示面板内配置有信号线路，以通过信号线路来控制显示面板的点亮。信号线路包括数据线和扫描线等能够遮挡光线的结构。那么，当光线通过显示面板时，显示面板内的信号线路以及显示面板的屏基底材料会使得穿过显示面板的光线发生衍射，令不同波长的光线散射到图像传感器不同的位置，使得图像中出现光斑，进而影响图像质量。
虽然在传统图像学中，可以通过点扩散(Point Spread Function)及反卷积恢复因衍射问题丢失的图像信息,但是，在估算PSF时，屏上线路、线路之间开孔距离、光线距离、屏与镜头距离以及透光率等不同因素都会影响估算值，而在实际应用上述参数都难以准确地估算，从而传统图像方法无法准确恢复丢失信息。基于深度神经网络的高速发展,现有图像恢复一般会使用此方法并配合大数据训练。
基于此，在本申请实施例中，在获取待处理的原始图像后，识别原始图像中携带光斑的目标图像区域，并基于所述目标图像区域生成掩膜图像；将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像。本申请通过将原始图像和掩膜图像作为生成模型的输入项，生成模型可以学习到目标区域的图像细节特征，进而可以提高生成模型生成的输出图像的图像质量。
举例说明，本申请实施例可以应用于终端设备的应用场景中。在该场景中，首先，终端设备获取待处理的原始图像，并识别原始图像中携带光斑的目标图像区域；在识别到目标图像区域后，基于所述目标图像区域生成掩膜图像；然后将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像。
可以理解的是，在上述应用场景中仅是本申请的一个示例说明，在实际应用中，本申请在执行主体方面不受限制，只要执行了本申请实施方式所公开的动作即可。
在一个具体应用场景中，可以将所述图像处理方法用于处理通过具有屏下成像系统(如，屏下摄像头)的终端设备拍摄的照片。例如，将通过具有屏下成像系统(如，屏下摄像头)的终端设备拍摄的照片作为原始图像，识别原始图像中携带光斑的目标图像区域，并基于所述目标图像区域生成掩膜图像；将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像，通过将原始图像和掩膜图像作为生成模型的输入项，生成模型可以学习到目标区域的图像细节特征，进而可以提高生成模型生成的输出图像的图像质量。当然，在实际应用中，所述图像处理方法可作为一个图像处理功能模块配置于具有屏下成像系统(如，屏下摄像头)的终端设备，当具有屏下成像系统(如，屏下摄像头)的终端设备拍摄到照片时，启动所述图像处理功能模块，通过所述图像处理功能模块对该照片进行去处理，使得去具有屏下成像系统(如，屏下摄像头)的终端设备输出去除光斑的照片，使得具有屏下成像系统(如，屏下摄像头)的终端设备可以直接输入去除光斑的照片。
需要注意的是，上述应用场景仅是为了便于理解本申请而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施提供了一种图像处理方法，如图1和图2所示，所述方法包括：
S10、获取待处理的原始图像的目标图像区域，并基于所述目标图像区域生成掩膜图像。
具体地，所述原始图像可以是通过成像系统(如，照相机、摄像机、屏下摄像头等)拍摄的得到，也可以是其他外部设备(例如，数码相机等)拍摄并存储于终端设备的图像，还可以是通过云端发送至终端设备的图像。在本实施例中，所述原始图像是通过成像系统(例如，屏下摄像头等)拍摄得到的图像，其中，所述成像系统可以为终端设备自身配置的，也可以为其他设备配置的。
所述目标图像区域为所述原始图像中的部分图像区域，并且所述目标图像区域携带有光斑。可以理解的是，所述目标图像区域为原始图像中携带有光斑的图像区域。其中，在一实施例中，所述光斑是由于进入成像系统的光线发送衍射，使得不同波长的光线散射到成像系统的图像传感器不同位置而形成的。所述光斑为图像色彩或者图像亮度异常区域，例如可以是围绕图像中的光源形成的图像色彩或者图像亮度异常区域，其中，所述图像色彩异常指的是异常区域中的图像色彩与异常区域外围的图像区域存在色彩差异，所述亮度异常区域指的是异常区域中的图像亮度高于异常区域外围的图像区域的图像亮度。在本实施例的一个具体实现方式中，所述光斑为彩虹斑，所述彩虹斑为由红绿篮组成的条状区域，所述条状区域中的绿色区域位于红色区域与蓝色区域之间，其中，所述绿色区域中的各像素点的色彩值为绿色对应的色彩值，红色区域终端各像素点的色彩值为红色对应的色彩值，蓝色区域中的各像素点的色彩值为蓝色对应的色彩值。
在本实施例的一个实现方式中，所述原始图像为通过屏下成像系统(例如，屏下摄像头等)拍摄得到的，在屏下成像系统拍摄原始图像时，进入成像系统的光线在通过位于成像系统上方的显示面板时，显示面板内的信号线路以及显示面板的屏基底材料等使得穿过显示面板的光线发生衍射，令不同波长的光线散射到图像传感器不同的位置，使得原始图像中存在携带有光斑的图像区域。例如，原始图像为通过具有屏下摄像头的终端设备拍摄的图像，在原始图像中存在有光斑，包含光斑的图像区域可以为所述原始图像中的目标图像区域。
在本实施例的一个实现方式中，所述获取待处理的原始图像的目标图像区域具体包括：
将所述原始图像输入经过训练的图像识别模型，通过所述图像识别模型确定所述原始图像对应的目标图像区域。
具体地，所述图像识别模型可以为预先训练的，用于识别输入图像中的目标图像区域。可以理解的是，所述图像识别模型的输入项为原始图像，输出项为原始图像对应的目标图像区域。这样在获取原始图像对应的目标图像区域时，可以直接将原始图像输入到图像识别模型内，通过所述图像识别模型可以快速确定该原始图像对应的目标图像区域。
所述目标图像区域的数量为1个，原始图像中的所有光斑区域均包含于该图像区域内，或者是，目标图像区域的数量为多个(其中，多个包括2个的情况)，每个目标图像区域包括原始图像中的至少一个光斑区域，每个目标图像区域中的任意两个光斑区域之间的距离满足预设条件，这样减少目标图像区域中除光斑区域外的其他图像区域，以便于生成模型可以更多的学习光斑区域的图像细节信息，以提高生成模型生成的输出图像的图像质量。此外，所述两个光斑区域之间的距离指的是两个光斑区域的边缘之间的最小距离，例如，两个光斑区域分别为第一光斑区域和第二光斑区域，第一光斑区域和第二光斑区域均为长方形区域，那么第一光斑区域的边缘为长方形区域的四边，第二光斑区域的边缘为长方形区域的四边，两个光斑区域之间的距离为第一光斑区域的第一边缘中的一个第一像素点与第二光斑区域的第二边缘中的第二像素点之间的目标距离，目标距离为第一边缘中任一像素点与第二边缘中任一像素点之间的距离中的最小距离。
在本实施例的一个实现方式中，所述基于所述目标图像区域生成掩膜图像具体包括：
A10、确定一个候选图像；
A20、确定所述候选图像中的候选图像区域，其中，所述候选图像区域在所述候选图像中的位置信息与所述目标图像区域在原始图像中的位置信息相对应；
A30、将候选图像区域中的各像素点的像素值设置为第一像素值，并将候选图像中候选图像区域以外的各像素点的像素值设置为第二像素值，以生成掩膜图像。
具体地，所述候选图像的图像尺寸与所述原始图像的图像尺寸相同，所述候选图像中的所有像素点的像素值均为相同值，例如，所有像素点的像素值均为0；或者是，均为1；或者是，均为255等。所述候选图像区域为候选图像的图像区域，并且所述候选图像区域在所述候选图像中的位置信息与所述目标图像区域在原始图像中的位置信息相对应。其中，所述候选图像区域的位置信息用于定位所述候选图像区域在候选图像中的位置，所述目标图像区域的位置信息用于定位目标图像区域在原始图像终端位置。所述位置信息可以包括区域尺寸以及区域定位点，所述区域尺寸用于反映区域大小，区域定位点用于定位区域位置。例如，所述目标图像区域与所述候选图像区域均为长方形区域，所述区域尺寸包括区域宽度和区域高度；所述区域定位点包括区域定位点的像素坐标，其中，所述区域定位点可以为区域中心点，区域左上角以及区域右上角等。
此外，所述候选图像区域在所述候选图像中的位置信息与所述目标图像区域在原始图像中的位置信息相对应指的候选图像区域的位置信息与目标图像区域的区域位置信息相同。例如，目标图像区域的位置信息为[a,b，(A,B)]，那么候选图像区域的位置信息也为[a,b，(A,B)]，其中，a为区域宽度，b为区域高度，(A,B)为区域定位点坐标。如，目标图像区域的位置信息为[50,60，(100,100)]，那么候选图像区域的位置信息也为[50,60，(100,100)]。
所述掩膜图像用于反映目标图像区域在原始图像中的位置信息，掩膜图像中与目标图像区域对应的候选图像区域中的像素点的像素值为第一预设像素值，除候选图像区域外的图像区域中的像素点的像素值为第二预设像素值。在本实施例的中，所述第一预设像素值可以为1，所述第二预设像素值可以为0等。由于所述掩膜图像为用于反映目标图像区域在原始图像中的位置信息的图像，这将候选图像区域和除候选图像区域外的图像区域采用不同的像素值，再将掩膜图像和原始图像输入生成模型时，掩膜图像可以引导生成模型学习原始图像中目标图像区域的图像特征，并使得生成模型可以确定需要重建的图像区域，从而可以不需要重建的图像区域不变，避免生成过程使得目标图像区域外的图像区域的影响(例如，目标图像区域外的图像区域中的部分像素点的像素值发生改变等)，进而可以提高生成模型生成的输出图的图像质量。
S20、将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像。
具体地，所述生成模型为经过训练的网络模型，所述生成模型的输入项为原始图像，所述生成模型的输出项为输出图像，其中，所述输出图像为原始图像经过光斑去除处理后的图像。可以理解的是，所述输出图像的图像尺寸与所述原始图像的图像尺寸一致，所述输出图像中与所述目标区域相对应的参考图像区域为目标区域经过光斑去除处理后所对应的图像区域。在本实施例的一个实现方式中，所述输出图像中的参考图像区域为基于目标图像区域生成，除参考图像区域外的图像区域为原始图像中除目标图像区域外的图像区域，其中，所述参考图像区域在输出图像中的位置信息与目标图像区域在原始图像中的位置信息相同。此外，在实际应用中，在将原始图像和掩膜图像输入生成模型之前，可以将所述原始图像和所述掩膜图像按通道拼接，并将拼接得到图像输入生成模型。
在本实施例的一个实现方式中，所述生成模型包括编码器以及解码器，所述将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像具体包括：
S21、将所述原始图像以及所述掩膜图像输入所述编码器，通过所述编码器确定所述原始图像的目标特征图像；
S22、将所述目标特征图像输入所述解码器，通过所述解码器输出所述原始图像对应的输出图像，其中，所述输出图像中的参考图像区域未携带光斑，所述参考图像区域在所述输出图像中的位置信息与所述目标图像在所述原始图像中的位置信息相对应。
具体地，在所述步骤S21中，所述编码器包括第一特提取模块和第二特征提取模块，所述第一特征提取模块包括若干级联的第一门控卷积单元，所述第二特征提取模块包括若干扩张门控卷积单元；所述第一特征提取模型与所述第二特征提取模型相连接，所述第一特征图提取模型中按照级联顺序位于最后的第一门控卷积单元的输出项为第二特征提取模块的输入项，这样在第一特征提取模块获取到第一特征图后，通过第二特征提取模块中的扩张门控卷积单元可以增加感受野，可以学习更大范围图像信息，使得编码器可以学习到未携带光斑区域的图像信息，并基于获取到图像信息确定光斑区域的背景信息，从而可以编码器可以更稳定的获取原始图像的背景信息及语义信息，这样在后续通过基于编码器获取到的特征图确定原始图像对应的输出图像时，可以基于学习到背景信息以及语义信息学习到目标区域包含的背景信息以及语义信息，从而可以根据学习到的目标区域包含的背景信息以及语义信息恢复光斑区域所遮挡的图像区域，从而可以使得输出图像中与该目标区域对应的参考图像区域不携带光斑。例如，原始图像中的目标区域中的光斑所遮挡的图像内容为小狗的左眼；通过所述编码器可以学习到原始图像的背景信息及语义信息后，后续基于该原始图像的背景信息及语义信息可以将光斑采用小狗的左眼替换，从而得到该目标区域对应的参考图像区域不携带光斑的输出图像。
在本实施例的一个实现方式中，所述目标特征图为若干目标特征图，所述将所述原始图像以及所述掩膜图像输入所述编码器，通过所述编码器确定所述原始图像的目标特征图像具体包括：
将所述原始图像以及所述掩膜图像输入第一特征提取模块，通过第一特征提取模块获取若干第一特征图；
将若干第一特征图中的参考特征图输入第二特征提取模块，通过第二特征提取模块获取第二特征图，其中，所述参考特征图为按照级联顺序位于最后的门控卷积单元对应的第一特征图；
将获取到第二特征图以及若干第一特征图中除参考特征图外的所有第一特征图，作为所述原图像对应的若干目标特征图。
具体地，所述若干第一特征图与若干第一门控卷积单元一一对应，并且各第一特征图为其对应的第一门控卷积单元的输出项，若干第一门控卷积单元中按照级联顺序位于最前的第一门控卷积单元的输入项为原始图像和掩膜图像，相邻两个第一门控卷积单元中前一第一门控卷积单元的输出项为后一第一门控卷积单元的输入项，最后一第一门控卷积单元的输出项为第二特征提取模块的输入项。所述第一门控卷积单元的输入项的图像尺寸与其自身的输出项的图像尺寸相同，例如，第一门控卷单元的输入项的图像尺寸为224*224，那么该第一门控卷积单元的输出项的图像尺寸为224*224。
在本实施例的一个实现方式中，所述编码器包括若干下采样单元，若干下采样单元的数量小于或者等于若干第一门控卷积单元的数量，并且若干下采样单元中每个下采样单元对应一个第一门控卷积单元，并且各下采样单元位于各自对应的第一门控卷积单元之前，对各自的输入项进行下采样，以使得下采样单元的输出项的图像尺寸小于下采样单元的输入项的图像尺寸。其中，各下采样单元的输入项为其对应的第一门控卷积单元的前一第一门控卷积单元的输出项。由此可知，若干第一特征图中至少存在两个第一特征图，分别记为第一特征图A和第一特征图B，第一特征图A的图像尺寸与第二特征图B的图像尺寸不相同。
举例说明，如图3所述，所述第一特征提取模块包括5个第一门控卷积单元和2个下采样单元，两个下采样单元分别记为第一下采样单元和第二下采样单元，第一下采样单元位于若干第一门控卷积单元中按照级联顺序位于第二的第一门控卷积单元之前，第二下采样单元位于若干第一门控卷积单元中按照级联顺序位于第四的第一门控卷积单元均包括下采样单元。其中，位于第二的第一门控卷积单元输出的第一特征图的图像尺寸小于位于第一的第一门控卷积单元输出的第一特征图的图像尺寸，位于第四的第一门控卷积单元输出的第一特征图的图像尺寸小于位于第三的第一门控卷积单元输出的第一特征图的图像尺寸。
在本实施例的一个实现方式中，如图4所示，所述第一门控卷积单元包括第一特征提取层、第一门控卷积层以及第一融合层，所述第一特征提取层的输入项和第一门控卷积层的输入项相同，所述第一融合层的输入项为下采样卷积层的输出项和第一门控卷积层的输出项。其中，所述第一特征提取层用于提取图像特征，第一门控卷积层用于控制第一特征提取层提取到图像特征，以确定第一特征提取层提取到图像特征中用于确定第一特征图的图像特征。在本实施例的一个具体实现方式中，第一门控卷积层连接有激活层，通过所述激活层将第一门控卷积层的输出项中的各像素点的像素值归一化至0-1之间，其中，0-1之间包括0和1。其中，所述激活层可以配置有Sigmoid激活等。
举例说明：如图3所述，所述第一特征提取模块包括5个第一门控卷积单元，5个第一门控卷积单元中每个第一门控卷积单元的模型结构均相同，其中，按照级联顺序位于第一的第一门控卷积单元中的第一特征提取层和第一门控卷积层的卷积参数均为卷积核为3x3，步长为1，输入通道数为64，输出通道数为64；位于第二的第一门控卷积单元和位于第三的第一门控卷积单元中的第一特征提取层和第一门控卷积层的卷积参数均为卷积核为3x3，步长为1，输入通道数为128，输出通道数为128；位于第四的第一门控卷积单元和位于第五的第一门控卷积单元中的第一特征提取层和第一门控卷积层的卷积参数均为卷积核为3x3，步长为1，输入通道数为256，输出通道数为256。
在本实施例的一个实现方式中，所述第二特征提取模块包括若干级联的扩张门控卷积单元，所述第二特征图为按照级联顺序位于最后的扩张门控卷积单元的输出项，所述若干目标特征图包括第二特征图，以及若干第一门控卷积单元中除最后一第一门控卷积单元的输出的第一特征图。所述若干扩张门控卷积单元的模型结构与第一门控卷积单元的模型结构相同，扩张门控卷积单元与第一门控卷积单元的不同之处在于，扩张门控卷积单元中的第一特征图提取层和第一门控卷积层进行卷积运算时，基于各自配置的卷积核大小以及各自配置的扩张等级来更新卷积核大小。例如，如图6所示卷积核大小为3x3的卷积运算，那么当扩张等级为2时，如图7所示，更新后的卷积核大小为5x5；当扩张等级为3时，如图8所示，更新后的卷积核大小为7x7。此外，在本实施例的一个具体实现方式中，如图2所示，所述第二特征提取模块包括3个扩张门控卷积单元，三个扩张门控卷积单元按照级联顺序各扩张门控卷积单元的扩张等级依次为2,4和8。
在本实施例的一个实现方式中，所述解码器包括若干级联的第二门控卷积单元，所述若干第二门控卷积单元与若干第一门控卷积单元一一对应；位于最前的第二门控卷积单元的输入项为第二特征图像以及其对应的第一门控卷积单元的输出项，相邻两个第二门控卷积单元中后一第二门控卷积单元的输入项为前一第二门控卷积单元的输出项和其对应的第一门控卷积单元的输出项，位于最后的第二门控卷积单元的输出项为输出图像。所述第二门控卷积单元的输入项的图像尺寸与其自身的输出项的图像尺寸相同，例如，第二门控卷积单元的输入项的图像尺寸为224*224，那么该第二门控卷积单元的输出项的图像尺寸为224*224。
在本实施例的一个实现方式中，所述解码器包括若干上采样单元，若干上采样单元的数量小于或者等于若干第二门控卷积单元的数量，并且若干上采样单元中每个上采样单元对应一个第二门控卷积单元，并且各上采样单元位于各自对应的第二门控卷积单元之前，对各自的输入项进行上采样，以使得上采样单元的输出项的图像尺寸大于上采样单元的输入项的图像尺寸。其中，各上采样单元的输入项为其对应的第二门控卷积单元的前一第二门控卷积单元的输出项。
举例说明，如图3所述，所述解码器包括5个第二门控卷积单元和2个上采样单元，两个上采样单元分别记为第一上采样单元和第二上采样单元，第一上采样单元位于若干第二门控卷积单元中按照级联顺序位于第三的第二门控卷积单元之前，第二上采样单元位于若干第二门控卷积单元中按照级联顺序位于第五的第二门控卷积单元均包括上采样单元。其中，位于第三的第二门控卷积单元输出的特征图的图像尺寸大于位于第一的第二门控卷积单元输出的特征图的图像尺寸，位于第五的第二门控卷积单元输出的特征图的图像尺寸大于位于第四的第二门控卷积单元输出的特征图的图像尺寸。
在本实施例的一个实现方式中，生成模型为深度学习网络，深度学习网络被广泛应用与图像恢复中，并且深度学习网络的恢复效果普遍受训练图像的数据量以及训练图像的真实性的影响。目前用于图像恢复的网络模型普遍使用模拟数据进行训练(例如：超分任务中会使用插值方法得到低分辨率度图片；去噪声任务中使用加性高斯白噪声得到低质量图像等)。但是，使用模拟数据训练出来的网络模型，对于图像质量低的图像，网络模型得到图像恢复结果差。由此，为了提高网络模型的恢复效果，在训练时需要采集大量真实数据，然而对于屏下成像系统拍摄的图像进行训练时，一般会使用屏下镜头设备来采集低质素有衍射问题图,同时使用传统镜头没有加屏的设备采集高质素图作为模型输出目标,而此采集方法会令训练数据有对齐，颜色偏差等问题，引致模型不只单一处理衍射产生彩虹斑等问题，从而影响模型的精度以及模型的训练速度。
基于此，在本实施例的一个实现方式中，本实施例提供的生成模型的训练过程具体可以包括：
N10、获取训练图像集；
N20、将所述训练图像集中的训练图像以及所述训练图像对应的训练掩膜图像输入预设的生成器，通过生成器确定所述训练图像对应的生成图像；
N30、将所述生成图像以及所述目标图像输入预设的判别器，通过所述判别器输出预测概率；
N40、基于所述预测概率、所述生成图像以及所述训练图像对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型。
具体地，在所述步骤N10中，所述训练图像集包括若干训练图像组，若干训练图像组中的每个训练图像组均包括目标图像、训练图像以及训练图像对应的训练掩膜图像。所述训练图像为基于目标图像生成，所述训练图像的图像尺寸与目标图像的图像尺寸相同，并且所述训练图像中存在第一图像区域，该部分图像区域得到图像内容与目标图像中对应的第二图像区域的图像内容不相同，训练图像中除第一图像区域外的第三图像区域与目标图像区域中除第二图像区域外的第四图像区域的图像内容的相似度满足预设条件。所述预设条件可以为第三图像区域与第四图像区域的相似度达到预设阈值，以使得当第三图像区域和第四图像区域重合时，第三图像区域携带的物体对第四图像区域中与其对应的物体的覆盖率达到预设要求。其中，所述预设阈值可以为99％，所述预设要求可以为99.5％等。
所述训练图像的图像尺寸与目标图像的图像尺寸相同，并且第一图像区域的区域尺寸与第二图像的尺寸相同，并且第一图像区域在训练图像中的位置信息与第二图像区域在目标图像中的位置信息相同。例如，目标图像的图像尺寸为224*224，那么训练图像为图像尺寸为224*224，第一图像区域为区域尺寸为100*100，那么第二图像区域的区域尺寸为100*100，第一图像区域的区域中心点的坐标为(100,100)，那么第二图像区域的区域中心点坐标为(100,100)。
在本实施例的一个实现方式中，所述获取训练图像集具体包括：
获取若干目标图像；
对于若干目标图像中的每个目标图像，选取该目标图像中的一对照图像区域，并将所述对照图像区域中的各像素点的像素值设置为第三像素值，以得到该目标图像对应的训练图像；
基于选取到的对照图像区域，确定所述训练图像对应的训练掩膜图像，其中，所述训练掩膜图像中的第一图像区域中的各像素点的像素值为第四像素值，除第一图像区域外的各像素点的像素值为第五像素值，所述第一图像区域在训练掩膜图像中的位置信息与对照图像区域在目标图像中的位置信息相同；
基于该目标图像、训练图像以及训练掩膜模型生成训练图像组，以得到训练图像集。
具体地，所述若干目标图像中的每个目标图像均可以是通过正常屏上成像系统(如，屏上摄像头)拍摄得到，也可以是通过网络(如，百度)获取到，还可以是通过其他外部设备(如，智能手机)发送的。在本实施例的一个可能实现方式中，每个目标图像均为通过屏上成像系统拍摄得到，并且若干目标图像可以对应若干拍摄场景，并且若干拍摄场景中任意两个拍摄场景不同，其中，所述若干拍摄场景可以包括室内场景、室外场景、明亮场景、暗光场景、逆光场景、顺光场景以及半阴影场景等等，这样可使得基于训练图像集训练得到生成模型可以使用不同的拍摄场景拍摄得到原始图像。例如，所述若干目标图像可以包括用于物件检测的COCO数据集，以及通过屏上成像系统拍照对若干拍摄场景进行拍摄得到的若干图像，其中，若干拍摄场景包括室内拍摄场景，墙壁拍摄场景，逆光拍摄场景以及顺光。
所述对照图像区域为目标图像区域中的任一图像区域，所述第三像素值可以为预先设置，用于更新对照图像区域中各像素点的像素值，可以理解的是，在获取到对照图像区域中，将对照图像区域中的每个像素点的像素值设置为第三像素值，以使得设置有的对照图像区域携带的图像内容与像素值为被更新时的对照图像区域携带图像内容不同。由此可知，在目标图像区域中选取对照图像区域时，选取到对照图像中存在若干对照像素点，各对照像素点的像素值不等于第三像素值。例如，假设第三像素值为127，目标图像中的一长方形图像区域，该长方形图像区域中存在部分像素点的像素值为56，部分像素点的像素值为80，部分像素点的像素值为55，该长方形图像区域可以作为对照图像区域，又如，目标图像中的一长方形图像区域，该长方形图像区域中所有像素点的像素值均为127，那么该长方形图像区域不可以作为对照图像区域。
在获取到对照图像区域后，基于所述对照图像区域以及目标图像确定所述对照图像对应的训练掩膜图像，其中，所述训练掩膜图像的生成过程与上述说明的掩膜图像的生成过程相同，这里就不在赘述，具体可以参照上述掩膜图像的生成过程的说明。此外，所述第四像素值可以等于上述掩膜生成过程中的第一像素值，所述第五像素值可以等于上述掩膜生成过程中的第二像素值，例如，第一像素值和第四像素值均为1，第二像素值和第五像素值均为0等。
在获取到训练图像和训练掩膜图像后，将训练图像、目标图像以及训练掩膜图像作为一组训练图像组，并将获取到所有训练图像组构成的集合作为训练图像集。当然，在实际应用中，对于一个目标图像，可以确定多个训练图像以及多个训练掩膜图像，多个训练图像和多个训练掩膜图像一一对应，并且每个训练图像、目标图像以及该训练图像对应的训练掩膜图像均可以构成一组训练图像组，其中，多个训练图像中的每个训练图像对应的对照图像区域在目标图像中的位置信息均不相同。
进一步，在所述步骤N20中，所述生成器用于根据训练图像以及训练掩膜图像生成转换训练图像对应的生成图像，所述生成器的模型结构与生成模型的模型结构相同，生成器与所述生成模型的不同在于，生成器配置的模型参数为初始模型，生成模型配置的模型参数为经过训练的模型参数。所述生成器的模型结构可以参考上述生成模型的模型结构的说明，这里就不再具体说明。
进一步，在所述步骤N30中，所述判别器用于生成图像与目标图像的真假，以确定生成图像为真实的目标图像，还是有生成器生成的生成图像。其中，所述判别器的输入项为生成图像和目标图像，所述判别器的输出项为生成图像对应的预测概率，以及目标图像对应的预测概率，其中，生成图像对应的预测概率用于反映判别器判定的生成图像为输入的目标图像的概率，目标图像对应的预测概率用于反映判别器判定的目标图像为输入的目标图像的概率。
在本实施例的一个实现方式中，所述判别器可以采用补丁判别器，如图5所示，所述补丁判别器包括六个级联的卷积单元，分别记为第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元、第五卷积单元以及第六卷积单元，其中，第一卷积单元的卷积核大小为7x7，通道大小为64，步长为1，第二卷积单元，第三卷积单元，第四卷积单元以及第五卷积单元的卷积核大小均为4x4，通道大小均为128，步长均为2，第六卷积单元的卷积核大小均为4x4，通道大小均为1，步长均为2。此外，所述判别器的输出项为8x8概率矩阵，概率矩阵中的每个概率对应判别器的输入项的一个图像块是真实图机率，其中，概率1表示输入项为真实图，概率0表示输入项为生成器生成的生成图像。
进一步，在所述步骤N40中，所述基于所述预测概率、所述生成图像以及所述训练图像对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型具体包括：
将所述生成图像和所述目标图像分别输入经过训练的图像分类模型，得到所述生成图像对应的第一特征图以及所述目标图像对应的第二特征图；
基于所述预测概率、所述生成图像、所述目标图像、所述第一特征图以及所述第二特征图对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型。
具体地，所述图像分类模型为经过训练的网络模型，所述图像分类模型用于识别输入项中携带的对象类别。所述图像分类模型包括特征提取模块以及分类模型，所述第一特征图和第二特征图均为所述特征提取模型的输出项。可以理解的是，所述第一特征图为将所述生成图像输入图像分类模型后，通过图像分类模型中的特征提取模型确定得到的特征图，第二特征图为将目标图像输入图像分类模型，通过图像分类模型中的特征提取模型确定的特征图。本实施例采用图像分类模型中的特征提取模型提取到的特征图对生成器和判别器进行训练，这样可以保留图像颜色信息及亮度信息，从而可以提高训练得到的生成模型的处理效果。
在本实施例的一个实现方式中，所述图像分类模型可以为VGG网络，所述特征提取模型的输出项可以为VGG19较中的relu2_2层的输出项，使得获取得到特征图中保留图像颜色信息及亮度信息，或者是，所述特征提取模型的输出项可以为VGG19中的relu5_3层的输出项，这样可以使得特征图中保留图像语义信息，使得生成器生成的生成图像中与对照图像区域对应的图像区域的语义信息，与对照图像区域的语音信息的相似度高。
在本实施例的一个实现方式中，所述预设概率包括目标图像对应的第一预测概率以及所述生成图像对应的第二预测概率；所述基于所述预测概率、所述生成图像、所述目标图像、所述第一特征图以及所述第二特征图对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型具体包括：
基于所述第一预设概率和所述第二预设概率，确定第一损失值以及第二损失值；
基于所述生成图像和所述目标图像，确定第三损失值；
基于所述第一特征图和所述第二特征图，确定第四损失值；
确定所述生成图像中各像素点对应的像素值构成的第一向量以及所述与所述目标图像中各像素点对应的像素值构成的第二向量，并基于所述第一向量和第二向量确定第五损失值；
基于所述第一损失值，所述第二损失值、所述第三损失值、所述第四损失值以及第五损失值对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型。
具体地，基于所述第一损失值，所述第二损失值、所述第三损失值以及所述第四损失值对所述生成器以及所述判别器进行训练指的是基于所述第二损失值、所述第三损失值、所述第四损失值以及第五损失值确定总损失值，再基于总损失值对生成器进行训练，并基于第一损失值对判别器进行训练，并将训练得到生成器作为生成模型。其中，所述生成器和判别器可以采用交替训练的方式，可以理解的是，在对生成器和判别器进行训练时，可以首先固定判别器的模型参数，对生成器的模型参数进行训练；然而在固定生成器的模型参数对判别器的模型参数进行训练。其中，生成器和判别器的交替训练可以在一次训练中完成，也可以在两次训练中完成。
在本实施例的一个实现方式中，所述生成器和判别器的交替训练可以在一次训练中完成，所述交替训练的过程可以为：首先，确定总损失值和第一损失值，其次，固定所述生成器，根据第一损失值对判别器进行训练，然后，固定所述判别器，根据总损失值对所述生成器进行训练，以实现对生成器与判别的交替训练。在本实施例的另一个实现方式中，所述生成器和判别器的交替训练可以在两次训练中完成，第一次训练的过程：基于第一组训练图像组确定第一损失值，固定所述生成器，根据第一损失值对判别器进行训练；第二训练的过程为：基于第二组训练图像组确定总损失值，其中，第一组训练图像组与第二训练图像组不相同；固定所述判别器，根据总损失值对所述生成器进行训练，以实现对生成器与判别的交替训练。
在本实施例的一个实现例中，所述第一损失值LDiscriminator～WGAN、第二损失值Lgenerator～WGAN、第三损失值Ll1、第四损失值LVGG以及第五损失值LCOLOR的计算公式分别为：
Figure BDA0002737951090000221
Figure BDA0002737951090000222
Figure BDA0002737951090000223
Figure BDA0002737951090000224
Figure BDA0002737951090000225
其中，X代表目标图像，
Figure BDA0002737951090000226
代表生成图像，D表示判别器,
Figure BDA0002737951090000227
表示判别器判别的目标图像对应的第一预测概率,
Figure BDA0002737951090000228
表示判别器判别的生成器图像对应的第二预测概率，θl(X)表示目标图像对应的第二特征图，
Figure BDA0002737951090000229
表示生成图像对应的第一特征图，‖.‖代表向量点积。
进一步，在获取到第二损失值、所述第三损失值、所述第四损失值以及第五损失值后，基于第二损失值、所述第三损失值、所述第四损失值以及第五损失值确定总损失值的计算公式可以为：
L＝α1Ll1+α2LVGG+α3LCOLOR+α4Lgenerator～WGAN
其中，α1，α2，α3，α4均为权重系数，例如，α1：α2：α3：α4可以为1:1:1:0.01，并且α1，α2，α3，α4的和等于1。
综上所述，本实施例提供了一种图像处理方法、存储介质及终端设备，所述方法包括获取待处理的原始图像的携带光斑的目标图像区域，并基于所述目标图像区域生成掩膜图像；将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像。本申请通过将原始图像和掩膜图像作为生成模型的输入项，生成模型可以学习到目标区域的图像细节特征，进而可以提高生成模型生成的输出图像的图像质量。
基于上述图像处理方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像处理方法中的步骤。
基于上述图像处理方法，本申请还提供了一种终端设备，如图9所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理的原始图像的目标图像区域，并基于所述目标图像区域生成掩膜图像；
将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像。
2.根据权利要求1所述图像处理方法，其特征在于，所述原始图像为通过屏下成像系统拍摄得到的，所述目标区域携带光斑。
3.根据权利要求1所述图像处理方法，其特征在于，所述基于所述目标图像区域生成掩膜图像具体包括：
确定一个候选图像，其中，该候选图像的图像尺寸与所述原始图像的图像尺寸相同；
确定所述候选图像中的候选图像区域，其中，所述候选图像区域在所述候选图像中的位置信息与所述目标图像区域在原始图像中的位置信息相对应；
将候选图像区域中的各像素点的像素值设置为第一像素值，并将候选图像中候选图像区域以外的各像素点的像素值设置为第二像素值，以生成掩膜图像。
4.根据权利要求1所述图像处理方法，其特征在于，所述获取待处理的原始图像的目标图像区域具体包括：
将所述原始图像输入经过训练的图像识别模型，通过所述图像识别模型确定所述原始图像对应的目标图像区域。
5.根据权利要求1所述图像处理方法，其特征在于，所述生成模型包括编码器以及解码器，所述将所述原始图像以及所述掩膜图像输入经过训练的生成模型，通过所述生成模型输出所述原始图像对应的输出图像具体包括：
将所述原始图像以及所述掩膜图像输入所述编码器，通过所述编码器确定所述原始图像的目标特征图像；
将所述目标特征图像输入所述解码器，通过所述解码器输出所述原始图像对应的输出图像，其中，所述输出图像中的参考图像区域为所述目标区域经过光斑去除处理得到的，所述参考图像区域在所述输出图像中的位置信息与所述目标图像在所述原始图像中的位置信息相对应。
6.根据权利要求5所述图像处理方法，其特征在于，所述编码器包括第一特提取模块和第二特征提取模块，所述第一特征提取模块包括若干级联的第一门控卷积单元，所述第二特征提取模块包括若干扩张门控卷积单元；所述目标特征图为若干目标特征图，所述将所述原始图像以及所述掩膜图像输入所述编码器，通过所述编码器确定所述原始图像的目标特征图像具体包括：
将所述原始图像以及所述掩膜图像输入第一特征提取模块，通过第一特征提取模块获取若干第一特征图，其中，若干第一特征图与若干第一门控卷积单元一一对应；
将若干第一特征图中的参考特征图输入第二特征提取模块，通过第二特征提取模块获取第二特征图，其中，所述参考特征图为按照级联顺序位于最后的门控卷积单元对应的第一特征图；
将获取到第二特征图以及若干第一特征图中除参考特征图外的所有第一特征图，作为所述原图像对应的若干目标特征图。
7.根据权利要求6所述图像处理方法，其特征在于，所述解码器包括若干级联的第二门控卷积单元，所述若干第二门控卷积单元与若干第一门控卷积单元一一对应；位于最前的第二门控卷积单元的输入项为第二特征图像以及其对应的第一门控卷积单元的输出项，相邻两个第二门控卷积单元中后一第二门控卷积单元的输入项为前一第二门控卷积单元的输出项和其对应的第一门控卷积单元的输出项，位于最后的第二门控卷积单元的输出项为输出图像。
8.根据权利要求1-7任一所述图像处理方法，其特征在于，所述生成模型的训练过程包括：
获取训练图像集，其中，所述训练图像集包括若干训练图像组，若干训练图像组中的每个训练图像组均包括目标图像、训练图像以及训练图像对应的训练掩膜图像，所述训练图像为基于目标图像生成的；
将所述训练图像集中的训练图像以及所述训练图像对应的训练掩膜图像输入预设的生成器，通过生成器确定所述训练图像对应的生成图像；
将所述生成图像以及所述目标图像输入预设的判别器，通过所述判别器输出预测概率；
基于所述预测概率、所述生成图像以及所述训练图像对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型。
9.根据权利要求8所述图像处理方法，其特征在于，所述获取训练图像集具体包括：
获取若干目标图像；
对于若干目标图像中的每个目标图像，选取该目标图像中的一对照图像区域，并将所述对照图像区域中的各像素点的像素值设置为第三像素值，以得到该目标图像对应的训练图像；
基于选取到的对照图像区域，确定所述训练图像对应的训练掩膜图像，其中，所述训练掩膜图像中的第一图像区域中的各像素点的像素值为第四像素值，除第一图像区域外的各像素点的像素值为第五像素值，所述第一图像区域在训练掩膜图像中的位置信息与对照图像区域在目标图像中的位置信息相同；
基于该目标图像、训练图像以及训练掩膜模型生成训练图像组，以得到训练图像集。
10.根据权利要求8所述图像处理方法，其特征在于，所述基于所述预测概率、所述生成图像以及所述训练图像对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型具体包括：
将所述生成图像和所述目标图像分别输入经过训练的图像分类模型，得到所述生成图像对应的第一特征图以及所述目标图像对应的第二特征图；
基于所述预测概率、所述生成图像、所述目标图像、所述第一特征图以及所述第二特征图对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型。
11.根据权利要求10所述图像处理方法，其特征在于，所述预设概率包括目标图像对应的第一预测概率以及所述生成图像对应的第二预测概率；所述基于所述预测概率、所述生成图像、所述目标图像、所述第一特征图以及所述第二特征图对应的目标图像对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型具体包括：
基于所述第一预设概率和所述第二预设概率，确定第一损失值；
基于所述生成图像和所述目标图像，确定第二损失值；
基于所述第一特征图和所述第二特征图，确定第三损失值；
确定所述生成图像中各像素点对应的像素值构成的第一向量以及所述与所述目标图像中各像素点对应的像素值构成的第二向量，并基于所述第一向量和第二向量确定第四损失值；
基于所述第一损失值，所述第二损失值、所述第三损失值以及所述第四损失值对所述生成器以及所述判别器进行训练，并将训练得到生成器作为生成模型。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-11任意一项所述的图像处理方法中的步骤。
13.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-11任意一项所述的图像处理方法中的步骤。
CN202011139911.4A 2020-10-22 2020-10-22 一种图像处理方法、存储介质及终端设备 Pending CN114387443A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011139911.4A CN114387443A (zh) 2020-10-22 2020-10-22 一种图像处理方法、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011139911.4A CN114387443A (zh) 2020-10-22 2020-10-22 一种图像处理方法、存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN114387443A true CN114387443A (zh) 2022-04-22

Family

ID=81194148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011139911.4A Pending CN114387443A (zh) 2020-10-22 2020-10-22 一种图像处理方法、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN114387443A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418897A (zh) * 2022-03-10 2022-04-29 深圳市一心视觉科技有限公司 眼部光斑图像的修复方法、装置、终端设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418897A (zh) * 2022-03-10 2022-04-29 深圳市一心视觉科技有限公司 眼部光斑图像的修复方法、装置、终端设备及存储介质

Similar Documents

Publication Publication Date Title
EP3757890A1 (en) Method and device for image processing, method and device for training object detection model
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
US11882357B2 (en) Image display method and device
CN110248096B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN111476737B (zh) 一种图像处理方法、智能设备及计算机可读存储介质
US10708525B2 (en) Systems and methods for processing low light images
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN108389224B (zh) 图像处理方法及装置、电子设备和存储介质
EP3798975B1 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
CN105427263A (zh) 一种实现图像配准的方法及终端
KR102311796B1 (ko) 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치
US11977319B2 (en) Saliency based capture or image processing
KR102628115B1 (ko) 영상 처리 방법, 장치, 기록 매체 및 전자 장치
CN112561777A (zh) 图像添加光斑的方法及装置
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
CN116051439A (zh) 一种利用红外图去除屏下rgb图像彩虹状眩光方法、设备及存储介质
CN117710868B (zh) 一种对实时视频目标的优化提取系统及方法
US11783454B2 (en) Saliency map generation method and image processing system using the same
CN114331927A (zh) 一种图像处理方法、存储介质及终端设备
CN114387443A (zh) 一种图像处理方法、存储介质及终端设备
CN116843561A (zh) 一种图像增强方法及设备
CN116363027A (zh) 一种利用红外图去除屏下rgb图像彩虹状眩光方法、设备及存储介质
KR102205591B1 (ko) 이미지 개선 장치 및 이미지 개선 방법
Liu et al. Focus Stacking with High Fidelity and Superior Visual Effects
CN116228565A (zh) 一种定向去除屏下rgb图像彩虹状眩光方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination