CN113379610B - 图像处理模型的训练方法、图像处理方法、介质及终端 - Google Patents

图像处理模型的训练方法、图像处理方法、介质及终端 Download PDF

Info

Publication number
CN113379610B
CN113379610B CN202010162709.7A CN202010162709A CN113379610B CN 113379610 B CN113379610 B CN 113379610B CN 202010162709 A CN202010162709 A CN 202010162709A CN 113379610 B CN113379610 B CN 113379610B
Authority
CN
China
Prior art keywords
image
training
pixel point
image processing
processing model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010162709.7A
Other languages
English (en)
Other versions
CN113379610A (zh
Inventor
张瑜
李松南
俞大海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN202010162709.7A priority Critical patent/CN113379610B/zh
Priority to PCT/CN2020/141932 priority patent/WO2021179764A1/zh
Publication of CN113379610A publication Critical patent/CN113379610A/zh
Priority to US17/865,340 priority patent/US20220398698A1/en
Application granted granted Critical
Publication of CN113379610B publication Critical patent/CN113379610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理模型的训练方法、图像处理方法、介质及终端，所述训练方法通过将训练图像集中第一图像输入预设网络模型，并根据第二图像和预设网络模型输出的生成图像对预设网络模型进行训练，以得到图像处理模型。训练图像集包括多组训练图像组，每组训练图像组包括第一图像和第二图像，第一图像为第二图像对应的具有重影的图像。由此可知，本发明通过采用第一图像和第一图像对应的第二图像对预设神经网络进行训练，可以得到用于去除图像中重影的图像处理模型，从而可以通过所述图像处理模型快速去除因光线衍射而造成的屏下成像系统拍摄的图像的重影，提高屏下成像系统拍摄图像的质量。

Description

图像处理模型的训练方法、图像处理方法、介质及终端
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像处理模型的训练方法、图像处理方法、介质及终端。
背景技术
现有的全面屏终端普遍包括显示面板区域以及摄像头区域，摄像头区域位于显示面板区域的顶部，这样虽然可以增大屏占比，但是摄像头区域还是会占用部分显示区域，无法真正实现全面屏。因而，为了实现全面屏终端需要在显示面板下安装摄像头，而显示面板内部需要布置数据线(Source-line、Data-line)和扫描线(Gate-line、Scan-line)等遮挡光线的信号线路，信号线路还会在显示面板上形成横纵交叉的网格，当位于显示面板下的摄像头进行拍摄时，信号线路在显示面板上形成的网格会引起光线的衍射，光线衍射会使得拍摄得到的图像产生重影，而影响终端拍摄图像的图像质量。
故此，亟需一种提高屏下成像系统拍摄图像质量的方法。
发明内容
针对现有技术的不足，本发明旨在提供图像处理模型的训练方法、图像处理方法、介质及终端。
本发明所采用的技术方案如下：
一种图像处理模型的训练方法，其包括：
预设网络模型根据训练图像集中的第一图像，生成所述第一图像对应的生成图像；其中，所述训练图像集包括多组训练图像组，每一组训练图像组包括第一图像和第二图像，第一图像为第二图像对应的具有重影的图像；
所述预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述预设网络模型的模型参数进行修正，并继续执行根据训练图像集中的下一训练图像组中的第一图像，生成所述第一图像对应的生成图像的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到已训练的图像处理模型。
一种图像处理方法，应用上任一所述的图像处理模型的训练方法训练得到的图像处理模型，所述图像处理方法包括：
获取待处理图像，并将所述待处理图像输入至所述图像处理模型；
通过所述图像处理模型对所述待处理图像进行去重影处理，以得到所述待处理图像对应的输出图像。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像处理模型的训练方法中的步骤，或者如上任一所述的图像处理方法中的步骤。
一种终端，其包括：处理器和存储器；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现如上任一所述的图像处理模型的训练方法中的步骤，或者如上任一所述的图像处理方法中的步骤。
有益效果：与现有技术相比，本发明提供了一种图像处理模型的训练方法、图像处理方法、介质及终端，所述训练方法通过将训练图像集中第一图像输入预设网络模型，并根据第二图像和预设网络模型输出的生成图像对预设网络模型进行训练，以得到图像处理模型。训练图像集包括多组训练图像组，每组训练图像组包括第一图像和第二图像，第一图像为第二图像对应的具有重影的图像。由此可知，本发明通过采用第一图像和第一图像对应的第二图像对预设神经网络进行训练，可以得到用于去除图像中重影的图像处理模型，从而可以通过所述图像处理模型快速去图像携带的重影，提高图像质量。
附图说明
图1为本实施例提供的一种图像处理模型的训练方法的应用场景示意图。
图2为本实施例提供的一种图像处理模型的训练方法的流程图。
图3为本实施例提供的一种图像处理模型的训练方法的流程示意图。
图4为本实施例提供的一种图像处理模型的训练方法的第一图像的一个示例图。
图5为本实施例提供的一种图像处理模型的训练方法的第二图像的一个示例图。
图6为本实施例提供的一种图像处理模型的训练方法的信号线路的一个示例图。
图7为本实施例提供的一种图像处理模型的训练方法的灰度图的一个示例图。
图8为本实施例提供的一种图像处理模型的训练方法的中确定对齐方式的过程的流程图。
图9为本实施例提供的一种图像处理模型的训练方法的中步骤S10的流程图。
图10为本实施例提供的一种图像处理模型的训练方法的中预设网络模型的结构示意图
图11为本实施例提供的一种图像处理模型的训练方法的中步骤S20的流程图。
图12为本实施例提供的一种图像处理方法的流程图。
图13为本实施例提供的一种图像处理方法中待处理图像的一个示例图。
图14为本实施例提供的一种图像处理方法中待处理图像对应的输出图像的一个示例图。
图15为本实施例提供的一种终端的结构原理图。
具体实施方式
本发明提供图像处理模型的训练方法、图像处理方法、介质及终端，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现，为了实现终端设备的全面屏，需要将终端设备的前置摄像头安装在显示面板下方。而显示面板内配置有信号线路，以通过信号线路来控制显示面板的点亮。信号线路包括数据线和扫描线等能够遮挡光线的结构，所述数据线和扫描线形成横纵交错的网格，当位于显示面板下的摄像头进行拍摄时，信号线路形成的网格还会引起光线的衍射，光线衍射会使得拍摄得到的图像产生重影，影响终端拍摄图像的图像质量。
为了解决上述问题，在本发明实施例中，采用第二图像作为目标图像，第二图像对应的具有重影的第一图像作为训练样本图像，将第一图像输入预设网络模型，通过所述预设网络模型输出第一图像对应的生成图像，再根据第一图像对应的第二图像和第一图像对应的生成图像对所述预设网络模型进行训练，以得到已训练的图像处理模型。可见，本发明实施例中，通过对预设网络模型进行深度学习来得到图像处理模型，使得训练得到的图像处理模型可以去除图像中重影，进而可以通过训练得到的图像处理模型对屏下摄像头拍摄得到的图像进行去重影处理，提高屏下摄像头拍摄图像的图像质量。
举例说明，本发明实施例可以应用到如图1所示的场景。在该场景中，首先，终端设备1可以采集训练图像集，并将所述训练图像集输入服务器2，以使得服务器2依据所述训练图像集对预设网络模型进行训练。服务器2可以预先存储有预设网络模型，并响应终端设备1的输入的训练图像集，将所述训练图像集中的第一图像作为输入项输入预设网络模型，然后，获取所述预设网络模型输出的生成图像，通过所述第一图像对应的第二图像以及第一图像对应的生成图像对所述预设网络模型进行修正，并继续执行将训练图像集中第一图像输入预设网络模型的操作，直至所述预设网络模型的训练情况满足预设条件，以得到已训练的图像处理模型。
可以理解的是，在上述应用场景中，虽然将本发明实施方式的动作描述为部分由终端设备2执行、部分由服务器1执行，但是这些动作也可以完全由服务器1执行，或者完全由终端设备2执行。本发明在执行主体方面不受限制，只要执行了本发明实施方式所公开的动作即可。
进一步，在获取到已训练的图像处理模型后，可以将所述已训练的图像处理模型用于处理通过具有屏下成像系统(如，屏下摄像头)的终端设备拍摄的照片。例如，将通过具有屏下成像系统(如，屏下摄像头)的终端设备拍摄的照片作为输入项输入所述已训练的图像处理模型，通过所述已训练的图像处理模型对该照片进行处理，以得到去除重影的照片，从而可以快速去除照片携带的重影，提高屏下摄像头拍摄的照片的图像质量。当然，在实际应用中，所述已训练的图像处理模型可作为一个去重影功能模块配置于具有屏下成像系统(如，屏下摄像头)的终端设备，当具有屏下成像系统(如，屏下摄像头)的终端设备拍摄到照片时，启动所述去重影功能模块，通过所述去重影功能模块对该照片进行去重影处理，使得去具有屏下成像系统(如，屏下摄像头)的终端设备输出去除重影的照片，使得具有屏下成像系统(如，屏下摄像头)的终端设备可以直接输入去除重影的照片。
需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
本实施例提供了一种图像处理模型的训练方法，如图2和3所示，所述方法包括：
S10、预设网络模型根据训练图像集中的第一图像，生成所述第一图像对应的生成图像。
具体地，所述预设网络模型为深度学习网络模型，所述训练图像集包括多组具有不同图像内容的训练图像组，每一组训练图像组均包括第一图像和第二图像，第一图像与第二图像相对应，它们呈现的是同一图像场景，第二图像为正常显示的图像(即原始图像)，第一图像的图像内容与第二图像对应但图像内容中的物体出现重影或者与重影类似的模糊效果。其中，所述重影指的是图像中的物体周围形成了虚像，例如，可以包括图像中物体的边缘出现一重或多重轮廓或虚像的情况，举例来说，当图像中的物体出现了双重影像(即出现物体边缘出现一重轮廓或虚像)时，其中，像素值较小的一列影像可以理解为物体的实像，像素值较大的另一列影像可以理解为物体的轮廓或虚像。
所述第一图像和第二图像对应相同的图像场景。所述第一图像和第二图像对应相同的图像场景指的是第一图像携带的图像内容与第二图像携带的图像内容的相似度达到预设阈值，所述第一图像的图像尺寸与第二图像的图像尺寸相同，以使得当第一图像和第二图像重合时，第一图像携带的物体对第二图像中与其对应的物体的覆盖率达到预设条件。其中，所述预设阈值可以为99％，所述预设条件可以为99.5％等。
此外，在本实施例的一个实现方式中，为了减少第一图像和第二图像的图像差异对预设网络模型训练的影响，所述第一图像的图像内容和第二图像的图像内容可以完全相同。例如，所述第一图像为图像尺寸为600*800的具有重影的图像，第一图像的图像内容为一个正方形，并且第一图像中正方形的四个顶点在第一图像中的位置分别为(200，300)、(200,400)，(300,400)以及(300,300)。那么，所述第二图像的图像尺寸为600*800的图像，第二图像的图像内容为一个正方形，第二图像中正方形的四个顶点在第二图像中的位置分别为(200，300)、(200,400)，(300,400)以及(300,300)，当第一图像放置于第二图像上并与第二图像重合时，所述第一图像覆盖所述第二图像，并且第一图像中的正方形与第二图像的正方形上下重叠。
进一步，所述第二图像可以是通过正常拍摄得到的图像，例如将屏下成像系统中的显示面板移除后由屏下摄像头拍摄的图像，或者通过制作不带数据线和扫描线等遮光结构的实验性质的显示面板替代实际的显示面板，然后利用其作为屏下成像系统的显示面板而由屏下摄像头拍摄的图像，也可以是通过网络(如，百度)获取的图像，还可以是通过其他外部设备(如，智能手机)发送的图像。所述第一图像可以为通过屏下成像系统(例如，屏下摄像头)拍摄得到，也可以是通过对第二图像进行处理得到。所述对第二图像进行处理指的是在第二图像上形成重影，在一种可能的实现方式中，在处理的过程中可以同时保持第二图像的图像尺寸以及图像内容不变。
在本实施例的一个实现方式中，所述第一图像为通过屏下成像系统拍摄得到，所述第一图像和第二图像的拍摄参数相同，并且所述第一图像对应的拍摄场景与第二图像的拍摄场景相同。例如，所述第一图像为如图4所示的图像，因显示面板内遮光结构的影响导致图像内容较为模糊，第二图像为如图5所示的正常显示的图像。同时在实施例的一个可能实现方式中，所述拍摄参数可以包括成像系统的曝光参数，其中，所述曝光参数可以包括光圈、开门速度、感光度、对焦以及白平衡等。当然，在实际应用中，所述拍摄参数还可以包括环境光、拍摄角度以及拍摄范围等。
进一步，当所述第一图像为通过屏下成像系统拍摄得到的图像时，由于第一图像和第二图像可以是通过两个不同的成像系统拍摄，而在更换成像系统时，可能会造成拍摄位置或拍摄角度的变化，使得所述第一图像和第二图像在空间上存在不对齐的问题。由此，在所述预设网络模型根据训练图像集中第一图像，生成所述第一图像对应的生成图像之前还包括：
M10、针对所述训练图像集中每组训练图像组，将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理，得到与所述第二图像对齐的对齐图像，并将所述对齐图像作为第一图像。
具体地，所述针对所述训练图像集中每组训练图像组指的是对训练图像集中每一组训练图像组均执行对齐处理，所述对齐处理可以是在获取到训练图像集之后，分别对每一组训练图像组进行对齐处理，以得到对齐后的训练图像组，并在所有组训练图像组对齐后执行将每一组训练图像组中的第一图像输入预设网络模型的步骤；当然也可以是在将每一组训练图像组中的第一图像输入预设网络模型之前，对该组训练图像组进行对齐处理，以得到该组训练图像对应的对齐后的训练图像组，之后将对齐后的训练图像组中的第一图像输入预设网络模型。在本实施例中，所述对齐处理是在获取到训练图像集后，分别对每一组训练图像组进行，并在所有训练图像组完成对齐处理后，在执行将训练图像集中第一图像输入预设网络模型的操作。
进一步，所述将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理指的是将以第二图像为基准，将第一图像中像素点与第二图像中与其对应的像素点对齐，以使得第一图像中像素点与第二图像中像素点的对齐率可以达到预设值，例如，99％等。其中，所述第一图像中像素点与第二图像中与其对应的像素点对齐指的是：对于第一图像中的第一像素点和第二图像中与第一像素点相对应的第二像素点，若第一像素点对应的像素坐标与第二像素点对应的像素坐标相同，那么第一像素点与第二像素点对齐；若第一像素点对应的像素坐标与第二像素点对应的像素坐标不相同那么第一像素点与第二像素点对齐。所述对齐图像指的通过对第一图像进行对齐处理得到图像，并且对齐图像中每个像素点与第二图像中其对应的像素点的像素坐标相同。此外，在得到对齐图像后，采用所述对齐图像替换其对应的第一图像以更新训练图像组，以使得更新后的训练图像组中的第一图像和第二图像在空间上对齐。
进一步，由于不同组训练图像组中的第一图像和第二图像的对齐程度不同，从而可以在实现对齐的基础上，针对不同对齐程度的第一图像和第二图像可以采用不同的对齐方式，以使得各组训练图像组均可以采用复杂度低的对齐方式进行对齐处理。由此，在本实施例的一个实现方式中，如图8所示，所述将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理具体包括：
M11、获取该组训练图像组中的第一图像与所述第一图像对应的第二图像之间的像素偏差量；
M12、根据所述像素偏差量确定所述第一图像对应的对齐方式，并采用所述对齐方式将所述第一图像与所述第二图像进行对齐处理。
具体地，所述像素偏差量指的是第一图像中第一像素点与第二图像中与该第一像素点对应的第二像素点不对齐的第一像素点的数量。所述像素偏差量可以通过获取第一图像中各第一像素点的第一坐标，以及第二图像中各第二像素点的第二坐标，然后将第一像素点的第一坐标与其对应的第二像素点的第二坐标进行比较，若第一坐标与第二坐标相同，则判定第一像素点与其对应的第二像素点对齐；若第一坐标与第二坐标不相同，则判定第一像素点与其对应的第二像素点不对齐，最后获取所有不对齐的第一像素点的数量，以得到所述像素偏差量。例如，当所述第一图像中的第一像素点的第一坐标为(100,100)，第二图像中与所述第一像素点对应的第二像素点的第二坐标为(101,100)时，所述第一像素点与第二像素点不对齐，不对齐第一像素点的数量加一；当所述第一图像中的第一像素点的第一坐标为(100,100)，第二图像中与所述第一像素点对应的第二像素点的第二坐标为(100,100)是，所述第一像素点与第二像素点对齐，不对齐第一像素点的不变。
进一步，为了确定像素偏差量与对齐方式的对应关系，可以需要设置偏差量阈值，在获取到第一图像的像素偏差量时，可以通过将获取到的像素偏差量与预设偏差量阈值进行比较，以确定像素偏差量对应的对齐方式。由此，在本实施例的一个实现方式中，所述根据所述像素偏差量确定所述述第一图像对应的对齐方式，并采用所述对齐方式将所述第一图像与所述第二图像进行对齐处理具体包括：
M121、当所述像素偏差量小于或等于预设偏差量阈值时，根据所述第一图像与所述第二图像的互信息，以所述第二图像为基准对所述第一图像进行对齐处理；
M122、当所述像素偏差量大于所述预设偏差量阈值时，提取所述第一图像的第一像素点集和所述第二图像的第二像素点集，所述第一像素点集包含所述第一图像中的若干第一像素点，所述第二像素点集包括所述第二图像中的若干第二像素点，所述第二像素点集中的第二像素点与所述第一像素点集中的第一像素点一一对应；针对所述第一像素点集中每个第一像素点，计算该第一像素点与其对应的第二像素点的坐标差值，并根据该第一像素点对应的坐标差值对该第一像素点进行位置调整，以将该第一像素点与该第一像素点对应的第二像素点对齐。
具体地，所述预设偏差量阈值为预先设置，例如，预设偏差量阈值为20。所述当所述像素偏差量小于或等于预设偏差量阈值时指的是当将所述像素偏差量与所述预设偏差量阈值时，所述像素偏差量小于等于预设偏差量阈值。而当所述像素偏差量小于等于预设偏差量阈值时，说明第一图像和第二图像在空间上的偏差较小，此时可以采用根据所述第一图像与所述第二图像的互信息对第一图像和第二图像进行对齐。在本实施例中，以所述第一图像和其对应的第二图像之间互信息对第一图像和第二图像进行对齐的过程可以采用图像配准方法，所述图像配准方法中以互信息作为度量准则，通过优化器对度量准则迭代进行优化以得到对齐参数，通过所述配准所述对齐参数的配准器将第一图像与第二图像进行对齐，这保证第一图像与第二图像的对齐效果的基础，降低了第一图像与第二图像对齐的复杂性，从而提高了对齐效率。在本实施例中，所述优化器主要采用平移和旋转变换，以通过所述平移和旋转变换来优化度量准则。
进一步，所述像素偏差量大于所述预设偏差量阈值，说明第一图像和第二图像在空间上不对齐程度较高，此时需要着重考虑对齐效果。从而此时可以采用通过选取第一图像中的第一像素点集和第二图像中第二像素点集的方式对第一图像和第二图像进行对齐。所述第一像素点集的第一像素点与第二像素点集中第二像素点一一对应，以使得对于第一像素点集中的任一第一像素点，在第二像素点集中均可以找到一个第二像素点，所述第二像素点在第二图像中的位置与第一像素点在第一图像中的位置相对应。此外，所述第一像素点集和第二像素点集可以是在获取到第一像素点集/第二像素点集后，根据第一像素点与第二像素点的对应关系确定第二像素点集/第一像素点集，例如，所述第一像素点集通过在第一图像中随机选取多个第一像素点的方式生成，第二像素点则是根据第一像素点集包含的各第一像素点确定的。
同时在本实施例中，所述第一像素点集和第二像素点集均是通过尺度不变特征变换(Scale-invariant feature transform，sift)的方式获取得到，即所述第一像素点集中第一像素点为第一图像中第一sift特征点，所述第二像素点集中第二像素点为第二图像的第二sift特征点。相应的，所述计算该第一像素点与其对应的第二像素点的坐标差值为将第一像素点中第一sift特征点与第二像素点集中第二sift特征点进行点对点匹配，以得到各第一sift特征点与其对应的各第二sift特征点的坐标差值，并根据该第一sift特征点对应的坐标差值对该第一sift特征点进行位置变换，以将该第一像素点与该第一sift特征点对应的第二sift特征点对齐，从而使得第一图像中第一sift特征点与第二图像中第二sift特征点位置相同，从而实现了第一图像与第二图像的对齐。
进一步，在本实施的一个实现方式中，所述第一图像为通过对第二图像进行预处理得到的具有重影的图像，并且第一图像和第二图像的图像尺寸和图像内容均相同，这样可以提高第一图像对应的场景和成像参数与第二图像对应的场景和成像参数的相似程度，而通过场景相似程度高的训练图像组对预设网络模型进行训练，可以提高预设网络模型的训练速度以及训练得到的图像处理模型的处理效果。
进一步，所述对所述第二图像进行预处理的具体过程可以为：首先根据遮光结构生成灰度图，其次根据所述灰度图生成点扩散函数，最后根据点扩散函数和第二图像生成第一图像。也就是说，所述第一图像为根据第二图像和点扩散函数生成的，所述点扩散函数为根据按照遮光结构生成的灰度图生成的。所述点扩散函数PSF(point spread function)用于描述成像系统对点光源或点对象的响应，所述点扩散函数为成像系统光传递函数的空间域形成的。
进一步，如图6所示，所述遮光结构可以包括终端设备的显示面板的信号线路、电容线以及电源线等。所述信号线路可以包括若干数据线(如，S1，S2，...，Sn，其中，n为正整数)和若干扫描线(如，G1，G2，...，Gm，其中，m为正整数)，所述若干数据线与若干扫描线横纵交错布置而形成多个网格。所述信号线路形成的多个网格与显示面板配置的多个像素点相对应，当光线通过显示面板时，光线可以透射每个像素点，而无法透射遮光结构，而使得照射在遮光结构上的光线产生衍射。那么当成像系统设置于显示面板下方时，位于成像系统上方的显示面板内的若干遮光结构及像素点会出现在拍摄区域内，而在成像系统拍摄时，位于成像系统上方的遮光结构会造成拍摄图像产生重影等模糊不清的问题。由此，在对第二图像进行处理时，根据遮光结构来生成的灰度图对应的点扩散函数对第二图像进行处理，来生成第二图像对应的具有重影的第一图像，这样可以保证第一图像对应的图像内容和成像参数与第二图像对应的图像内容和成像参数的相同，从而提高图像处理模型的训练速度以及训练得到的图像处理模型的处理效果。需要强调的是，第一图像和第二图像的图像尺寸也可以存在一定的误差范围，即第一图像和第二图像的图像尺寸也可以有所区别。其中，两张图像的图像内容相同可以理解为仅指两张图像中各自所包含的物体(比如图像中的人、物、背景)相同，但并不表示各个物体分别在这两张图像中的画质是相同的，即图像内容相同可以说明两张图像中各自所包含的物体(比如图像中的人、物、背景)相同，但不能说明各个物体分别在这两张图像中的画质是相同的。
例如，屏上成像系统为具有屏上摄像头的终端设备，所述终端设备的遮光结构(如，信号线路)如图6所示，假设屏下成像系统配置于所述遮光结构对应的显示面板下方，那么，可以根据所述遮光结构(例如包括所述信号线路)对应的灰度图，图7所述的灰度图可以为遮光结构对应的灰度图的局部区域，其中，第一黑线71可以对应信号线路中的数据线，第二黑线72可以对应信号线路中的扫描线。当然，在实际应用中，可以直接获取显示面板对应的全部遮光结构，也可以获取显示面板对应的遮光结构的部分区域，再通过所述部分区域模拟得到显示面板的全部遮光结构，只要可以获取到避光结构即可。
进一步，在所述第一图像为通过对第二图像进行预处理得到的图像时，所述训练图像组的获取过程可以为：首先获取终端显示面板的信号线路，并在所述信号线路中选取信号线路区域，其次确定所述信号线路区域对应的灰度图，根据所述灰度图以及夫琅禾费衍射公式生成点扩散函数；再通过所述屏上成像系统拍摄第二图像，并将第二图像与点扩散函数做卷积以得到第二图像对应的第一图像；最后将第二图像与根据第二图像生成的第一图像进行关联，得到训练图像组。当然，在实际应用中，在通过屏上成像系统拍摄第二图像时，可以获取多张第二图像，之后再将每张第二图像依次与点扩散函数做卷积，依次得到每张第二图像对应的第一图像，从而得到多组训练图像组，这样可以在拍摄得到所有训练图像组需要的第二图像后，再通过计算得到每张第二图像对应的第一图像，以提高训练图像组的获取速度。
此外，在本实施例的一个实现方式中，由于不同的显示面板对应的信号线路包含的网格尺寸可以不同，从而在生成灰度图时，可以获取多个显示面板的信号线路，并根据每个信号线路生成一张灰度图，对于获取第二图像可以在生成的多个灰度图中随机选取一张灰度图，并通过选取到的灰度图对应的点扩散函数对第二图像进行处理以得到该第二图像对应的第一图像，这样可以提高图像处理模型训练的去重影的效果。
进一步，在本实施例的一个实现方式中，如图9和10所示，所述预设网络模型包括编码器和解码器；所述预设网络模型根据训练图像集中第一图像，生成所述第一图像对应的生成图像具体包括：
S11、将所述训练图像集中第一图像输入所述编码器，通过所述编码器得到所述第一图像的特征图像，其中，所述特征图像的图像尺寸小于所述第一图像的图像尺寸；
S12、将所述特征图像输入所述解码器，通过所述解码器输出所述生成图像，其中，所述生成图像的图像尺寸等于第一图像的图像尺寸。
具体地，所述预设网络模型采用解码-编码结构，所述解码-编码结构为卷积神经网络CNN结构，其中，所述编码器100用于将输入图像转换为图像空间尺寸小于输入图像并且通道数多于输入图像的特征图像，所述解码器200用于将特征图像转换为与输入图像的图像尺寸相同的生成图像。在本实施例中，所述编码器包括依次布置的第一冗余学习层101以及下采样层102，训练图像组中第一图像输入至第一冗余学习层101，通过第一冗余学习层101输出与第一图像的图像尺寸相同的第一特征图；第一特征图像作为下采样层102的输入项输入下采样层102，通过下采样层102对第一特征图像进行下采样以输出所述第一图像对应的第二特征图像(第二特征图像为通过编码器生成的第一图像的特征图像)，其中，第二特征图像的图像尺寸小于第一图像的图像尺寸。所述解码器200包括依次布置的上采样层201和第二冗余学习层202，所述编码器100输出的特征图像输入至上采样层201，通过上采样层201进行上采样后输出第三特征图像，第三特征图像输入至第二冗余学习层202，经过第二冗余学习层202后输出生成图像，其中，所述生成图像的图像尺寸与第一图像的图像尺寸相同。本实施通过采用编码器-解码器的结构，可以对预设网络模型进行多尺度的训练，从而可以提高训练得到的图像处理模型的去重影效果。
进一步，如图10所示，所述第一冗余学习层101包括第一卷积层11以及以第一冗余学习模块12，所述下采样层102包括第一编码冗余学习模块110和第二编码冗余学习模块120，第一编码冗余学习模块110包括第一下采样卷积层13和第二冗余学习模块14，第二编码冗余学习模块120包括第二下采样卷积层15和第三冗余学习模块16。其中，所述第一卷积层11的输入项为第一图像，并对第一图像进行采样以得到第第一特征图像，并将所述第一特征图像输入至第一冗余学习模块12进行特征提取，经过第一冗余学习模块12的第一特征图像依次通过第一下采样卷积层、第二冗余学习模块14、第二下采样卷积层15和第三冗余学习模块16进行下采样，以得到第二特征图像。由此可知，所述第一卷积层11对第一图像进行采样，所述第一下采样卷积层13和第二下采样卷积层15均用于对输入其的特征图像进行下采样，所述第一冗余学习模块12、第二冗余学习模块14和第三冗余学习模块16用于提取图像特征。此外，在本实施例的一种可能的实现方式中，所述第一下采样卷积层13和第二下采样卷积层15可以均为采用步长为2的卷积层，所述第一冗余学习模块12、第二冗余学习模块14和第三冗余学习模块16均包括依次布置的三个冗余学习块，所述三个冗余学习块依次提取输入图像的图像特征。
举例说明：假设第一图像为256*256的图像，第一图像通过输入层输入第一冗余学习层101，经过第一冗余学习层101后输出256*256的第一特征图像；第一特征图像输入第一编码冗余学习模块110的第一下采样卷积层13，经过第一下采样卷积层13输出图像大小为128*128的第四特征图像，第四特征图像经过第一编码冗余学习模块110的第一冗余学习模块14进行特征提取；经过第一冗余学习模块110的第四特征图像输入第二编码冗余学习模块120的第二下采样卷积层15，经过第二下采样卷积层15输出图像大小为64*64的第二特征图像，第二特征图像经过第二编码冗余学习模块120的第二冗余学习模块16进行特征提取。
进一步，如图10所示，所述上采样层201包括第一解码冗余学习模块210和第二解码冗余学习模块220，第一解码冗余学习模块210包括第四冗余学习模块21和第一上采样卷积层22，第二解码冗余学习模块220包括第五冗余学习模块23和第二上采样卷积层24，所述第二冗余学习层202包括第六冗余学习模块25和第二卷积层26。其中，所述第一上采样卷积层22的输入项为第一特征图像，输入第一特征图像依次通过第四冗余学习模块21、第一上采样卷积层22、第五冗余学习模块23和第二上采样卷积层24进行上采样以得到第三特征图像，并将所述第三特征图像输入至第六冗余学习模块25，通过第六冗余学习模块25进行特征提取后的第三特征图像输入至第二卷积层26，通过第二卷积层26得到生成图像。由此可知，所述第一上采样卷积层22和第二上采样卷积层24用于对输入其的特征图像进行上采样，所述第四冗余学习模块21、第五冗余学习模块23以及第六冗余学习模块25均用于提取图像特征，所述第二卷积层26用于对输入其内的特征图像进行采样。在本实施例的一个可能的实现方式中，所述第一上采样卷积层22和第二上采样卷积层24均为步长为2的反卷积层，所述第四冗余学习模块21、第五冗余学习模块23以及第六冗余学习模块25均包括三个冗余学习块，所述三个冗余学习块依次提取输入图像的图像特征。此外，所述第一冗余学习层101中冗余学习模块的第三个冗余学习块与所述第二冗余学习层202中冗余学习模块的第一个冗余学习块跳跃连接，所述第一编码冗余学习模块110中冗余学习模块的第三个冗余学习块与所述第二解码冗余学习模块220中冗余学习模块的第一个冗余学习块跳跃连接。
举例说明：假设第一图像为256*256的图像经过上述编码器100得到64*64的第二特征图像，64*64的第二特征图像输入经过第一解码冗余学习模块210的第四冗余学习模块21进行特征提取，经过特征提取的64*64的第二特征图像输入第一解码冗余学习模块210的第一上采样层22，经过第一上采样层22输出的图像大小为128*128的第五特征图像，第五特征图像经过第二解码冗余学习模块220的第五冗余学习模块23进行特征提取；经过第五冗余学习模块23的第五特征图像输出第二解码冗余学习模块220的第二上采样卷积层24，经过第二上采样卷积层24输出图像大小为256*256的第三特征图像，第三特征图像输入第二冗余学习层202，经过第二冗余学习层202后输出256*256的生成图像。
进一步，所述编码器和解码器包括的第一卷积层、第二卷积层、第一上采样卷积层、第二上采样卷积层、第一下采用卷积层和第二下采用卷积层以及所有冗余学习模块中的卷积层均使用线性整流函数作为激活函数且卷积核均为5*5，这样可以提高各层的梯度传递效率，并且经过多次的反向传播，梯度幅度变化小，提高了训练的生成器的准确性，同时还可以增大网络的感受野。
S20、所述预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述预设网络模型的模型参数进行修正，并继续执行根据训练图像集中的下一训练图像组中的第一图像，生成所述第一图像对应的生成图像的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到已训练的图像处理模型。
具体地，所述对所述预设网络模型进行修正指的是对所述预设网络模型的模型参数进行修正，直至所述模型参数满足预设条件。所述预设条件包括损失函数值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据图像处理模型的精度来确定，这里不做详细说明，所述预设次数可以为预设网络模型的最大训练次数，例如，4000次等。由此，在预设网络模型输出生成图像，根据所述生成图像以及所述第二图像来计算预设网络模型的损失函数值，在计算得到损失函数值后，判断所述损失函数值是否满足预设要求；若损失函数值满足预设要求，则结束训练；若损失函数值不满足预设要求，则判断所述预设网络模型的训练次数是否达到预测次数，若未达到预设次数，则根据所述损失函数值对所述预设网络模型的网络参数进行修正；若达到预设次数，则结束训练。这样通过损失函数值和训练次数来判断预设网络模型训练是否结束，可以避免因损失函数值无法达到预设要求而造成预设网络模型的训练进入死循环。
进一步，由于对预设网络模型的网络参数进行修改是在预设网络模型的训练情况未满足预设条件(例如，损失函数值未满足预设要求并且训练次数未达到预设次数)，从而在根据损失函数值对所述预设网络模型的网络参数进行修正后，需要继续对网络模型进行训练，即继续执行将训练图像集中的第一图像输入预设网络模型的步骤。其中，继续执行将训练图像集中第一图像输入预设网络模型中的第一图像可以为未作为输入项输入过预设网络模型的第一图像。例如，训练图像集中所有第一图像具有唯一图像标识(例如，图像编号)，第一次训练输入预设网络模型的第一图像的图像标识与第二次训练输入预设网络模型的第一图像的图像标识不同，如，第一次训练输入预设网络模型的第一图像的图像编号为1，第二次训练输入预设网络模型的第一图像的图像编号为2，第N次训练输入预设网络模型的第一图像的图像编号为N。当然，在实际应用中，由于训练图像集中的第一图像的数量有限，为了提高图像处理模型的训练效果，可以依次将训练图像集中的第一图像输入至预设网络模型以对预设网络模型进行训练，当训练图像集中的所有第一图像均输入过预设网络模型后，可以继续执行依次将训练图像集中的第一图像输入至预设网络模型的操作，以使得训练图像集中的训练图像组按循环输入至预设网络模型。需要说明的是，在将第一图像输入预设网络模型训练的过程中，可以按照各个第一图像的图像编号顺序输入，也可以不按照各个第一图像的图像编号顺序输入，当然，可以重复使用同一张第一图像对预设网络模型进行训练，也可以不重复使用同一张第一图像对预设网络模型进行训练，在本实施例中，不对“继续执行将训练图像集中的第一图像输入预设网络模型的步骤”的具体实现方式进行限定。
进一步，在本实施例的一个实现方式中，所述损失函数值为结构相似性损失函数和内容双向损失函数计算得到的。相应的，如图11所示，所述预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述预设网络模型的模型参数进行修正，并继续执行根据训练图像集中的下一训练图像组中的第一图像，生成所述第一图像对应的生成图像的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到已训练的图像处理模型具体包括：
S21、根据所述第一图像对应的第二图像和所述第一图像对应的生成图像计算所述预设网络模型对应的结构相似性损失函数值和内容双向损失函数值；
S22、根据所述结构相似性损失函数值和所述内容双向损失函数值得到所述预设网络模型的总损失函数值；
S23、基于所述总损失函数值训练所述预设网络模型，并继续执行根据训练图像集中的下一训练图像组中的第一图像，生成所述第一图像对应的生成图像的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到已训练的图像处理模型。
具体地，所述预设网络模型采用结构相似性指数(Structural similarityindex，SSIM)损失函数和基于VGG(Visual Geometry Group Network，VGG网络)提取特征的内容双向(Contextual bilateral loss,CoBi)损失函数的结合作为损失函数。那么，在计算所述预设网络模型的损失函数值时，可以分别计算结构相似性损失函数值和内容双向损失函数值，再根据所述结构相似性损失函数值和内容双向损失函数值计算预设网络模型中损失函数值。在本实施例中，所述预设网络模型的总损失函数值＝a*结构相似性损失函数值+b*内容双向损失函数值，所述a和b为权重系数。例如，所述权重系数a和权重系数b均为1，那么所述预设网络模型的总损失函数值＝结构相似性损失函数值+内容双向损失函数值。此外，在本实施例中，在采用总损失函数值对预设网络模型进行训练时采用随机梯度下降法对预设网络模型进行训练，其中，训练的初始网络参数设为0.0001，并且网络参数在修正时采用指数衰减的方式进行修正。
进一步，所述结构相似性损失函数值用于衡量生成图像与第二图像之间结构的相似性，所述结构相似性损失函数值越大，生成图像与第二图像的相似性越高，反之，所述结构相似性损失函数值越小，生成图像与第二图像的相似性越低。因此，结构相似性损失函数值对局部结构变化较敏感，更接近于人眼的感知系统，从而可以提高预设网络模型的精确性。在本实施例中，所述结构相似性损失函数值对应的结构相似性损失函数的表达式可以为：
其中，μx为生成图像中所有像素点的像素值的平均值，μy为第二图像中所有像素点的像素值的平均值，σx为生成图像中所有像素点的像素值的方差，σy为第二图像中所有像素点的像素值的方差，σxy为生成图像与第二图像的协方差。
进一步，所述内容双向损失函数值为通过基于VGG特征的CoBi损失函数计算得到，所述基于VGG特征的CoBi损失函数通过分别提取生成图像与第二图像的若干组VGG特征，并且针对生成图像的每个第一VGG特征，在第二图像的第二VGG特征中搜索与该第一VGG特征接近的第二VGG特征匹配，最后计算每个第一VGG特征与其匹配的第二VGG特征的距离和，以得到内容双向损失函数值，这样通过内容双向损失函数对双边距离进行搜索，考虑了第一VGG特征与其匹配的第二VGG特征在空间上的损失，从而可以避免第一图像和第二图像未完全对齐产生的影响，提高了预设网络模型训练的速度以及准确性。此外，在搜索所述第一VGG特征匹配的第二VGG特征时，根据第一VGG特征和第二VGG特征的距离和位置关系两个方面确定内容双向损失函数值，提高了匹配的精确性，从而进一步降低第一图像和第二图像不对齐对预设网络模型训练的影响。在本实施例中，所述内容双向损失函数的表达式可以为：
其中,D为生成图像的VVG特征与第二图像的VVG特征之间的余弦距离，D′为生成图像的VVG特征与第二图像的VVG特征之间的空间位置距离，N为生成图像的VVG特征的特征数量，ωs为权重系数。
基于上述图像处理模型的训练方法，本发明还提供了一种图像处理方法，所述方法应用如上述实施例所述的图像处理模型的训练方法训练得到图像处理模型，如图12所示，所述图像处理方法包括：
A100、获取待处理图像，并将所述待处理图像输入至所述图像处理模型。
具体地，所述待处理图像可以为通过屏下成像系统拍摄得到的图像，也可以为预先设置的图像，还可以为根据接收到的选取操作而确定的图像。在本实施例中，所述待处理图像优选为通过屏下成像系统拍摄得到的图像，例如，所述待处理图像为通过配置有屏下成像系统的手机拍摄得到的人物图像。
A200、通过所述图像处理模型对所述待处理图像进行去重影处理，以得到所述待处理图像对应的输出图像。
具体地，所述通过所述图像处理模型对所述待处理图像进行去重影指的是将所述待处理图像作为所述图像处理模型的输入项输入至所述图像处理模型中，通过所述图像处理模型去除所述待处理图像的重影，以得到输出图像，其中，所述输出图像为所述待处理图像经过去重影处理所得到图像。可以理解的是，待处理图像为输出图像对应的具有重影的图像，即输出图像与待处理图像相对应，它们呈现的是同一图像场景，输出图像为正常显示的图像，待处理图像的图像内容与输出图像对应，但待处理图像内容中的物体出现重影或者与重影类似的模糊效果。例如，如图13所示的待处理图像通过所述去重影处理后得到如图14所示的输出图像。
进一步，由所述图像处理模型的训练过程可以知道，所述图像处理模型包括编码器和解码器，从而在通过图像处理模型对应待处理图像进行处理时，需要分别通过编码器和解码器进行处理。相应的，所述通过所述图像处理模型对所述待处理图像进行去重影，以得到所述待处理图像对应的输出图像具体包括：
A201、将所述待处理图像输入所述编码器，通过所述编码器得到所述待处理图像的特征图像，其中，所述特征图像的图像尺寸小于所述待处理图像的图像尺寸；
A202、将所述特征图像输入所述解码器，通过所述解码器输出所述待处理图像对应的输出图像，其中，所述输出图像的图像尺寸等于所述待处理图像的图像尺寸。
具体地，所述编码器将输入的待处理图像转换为图像空间尺寸小于输入图像并且通道数多于输入图像的特征图像，并将所述特征图像输入至解码器，所述解码器将输入的特征图像转换为与待处理图像的图像尺寸相同的生成图像。其中，所述编码器的结构与预设网络模型中的编码器的结构相同，具体可以参照预设网络模型中的编码器的结构的说明。所述图像处理模型的编码器的对待处理图像的处理与预设网络模型中的编码器对第一图像的处理过程相同，从而所述步骤A201的具体执行过程可以参照步骤S11。同样的，所述解码器的结构与预设网络模型中的解码器的结构相同，具体可以参照预设网络模型中的解码器的结构的说明。所述图像处理模型的解码器的对待处理图像对应的特征图像的处理与预设网络模型中的解码器对第一图像对应的特征图像的处理过程相同，从而所述步骤A202的具体执行过程可以参照步骤S12。
可以理解的是，图像处理模型在训练过程中对应的网络结构，与在应用过程(去除输出图像携带的重影)中所对应的网络结构相同。例如，在训练的过程中，图像处理模型包括编码器和编码器，那么相应地，在通过图像处理模型去除输出图像携带的重影时，图像处理模型也包括编码器和编码器。
进一步地，例如，在训练过程中，图像处理模型的编码器包括所述编码器包括第一冗余学习层和下采样层，解码器包括上采样层和第二冗余学习层；相应地，在通过图像处理模型去除输出图像携带的重影时，编码器也可以包括第一冗余学习层和下采样层，解码器包括上采样层和第二冗余学习层；并且在应用过程中，每一层的工作原理与在训练过程中每一层的工作原理相同，因此，图像处理模型应用过程中的每一层神经网络的输入输出情况可以参见图像处理模型的训练过程中的相关介绍，这里不再赘述。
进一步，为了进一步提高输出图像的图像质量，在获取到图像处理模型输出的输出图像后，还可以对所述输出图像进行后处理，其中，所述后处理可以包括锐化处理以及降噪处理等。相应的，所述通过所述图像处理模型对所述待处理图像进行去重影处理，以得到所待处理图像对应的输出图像之后还包括：
对所述输出图像进行锐化以及降噪处理，并将锐化以及降噪处理后的输出图像作为所述待处理图像对应的输出图像。
具体地，所述锐化处理指的是补偿输出图像的轮廓、增强输出图像的边缘及灰度跳变的部分，以提高输出图像的图像质量。其中，所述锐化处理可以采用现有的锐化处理方法，例如，高通滤波方法等。所述降噪处理指的是去除图像中的噪声，提高图像的信噪比。其中，所述降噪处理可以采用现有的降噪算法或已训练的降噪网络模型等，例如，所述降噪处理采用高斯低通滤波方法等。
基于上述图像处理模型的训练方法以及图像处理方法，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例所述的图像处理模型的训练方法中的步骤，或者图像处理方法中的步骤。
基于上述图像处理模型的训练方法以及图像处理方法，本发明还提供了一种终端，如图15所示，其包括至少一个处理器(processor)30；显示屏31；以及存储器(memory)32，还可以包括通信接口(Communications Interface)33和总线34。其中，处理器30、显示屏31、存储器32和通信接口33可以通过总线34完成相互间的通信。显示屏31设置为显示初始设置模式中预设的用户引导界面。通信接口33可以传输信息。处理器30可以调用存储器32中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器32中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器32作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器32中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器32可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种图像处理模型的训练方法，其特征在于，其包括：
预设网络模型根据训练图像集中的第一图像生成所述第一图像对应的生成图像；其中，所述训练图像集包括多组训练图像组，每一组训练图像组包括第一图像和第二图像，第一图像为第二图像对应的具有重影的图像；
所述预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述预设网络模型的模型参数进行修正，并继续执行根据训练图像集中的下一训练图像组中的第一图像，生成所述第一图像对应的生成图像的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到已训练的图像处理模型；
所述预设网络模型根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述预设网络模型的模型参数进行修正，并继续执行根据训练图像集中的下一训练图像组中的第一图像，生成所述第一图像对应的生成图像的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到已训练的图像处理模型具体包括：
根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，得到所述预设网络模型的总损失函数值；
基于所述总损失函数值训练所述预设网络模型，并继续执行根据训练图像集中的下一训练图像组中的第一图像，生成所述第一图像对应的生成图像的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到已训练的图像处理模型。
2.根据权利要求1所述的图像处理模型的训练方法，其特征在于，所述预设网络模型包括编码器和解码器；所述预设网络模型根据训练图像集中第一图像，生成所述第一图像对应的生成图像具体包括：
将所述训练图像集中第一图像输入所述编码器，通过所述编码器得到所述第一图像的特征图像，其中，所述特征图像的图像尺寸小于所述第一图像的图像尺寸；
将所述特征图像输入所述解码器，通过所述解码器输出所述生成图像，其中，所述生成图像的图像尺寸等于第一图像的图像尺寸。
3.根据权利要求1-2任一所述的图像处理模型的训练方法，其特征在于，所述第一图像为根据第二图像和点扩散函数生成的，其中，所述点扩散函数为根据屏下成像系统中的遮光结构生成的灰度图生成的。
4.根据权利要求1-2任一所述的图像处理模型的训练方法，其特征在于，所述第一图像为通过屏下成像系统拍摄得到的图像。
5.根据权利要求4所述的图像处理模型的训练方法，其特征在于，所述屏下成像系统为屏下摄像头。
6.根据权利要求4所述的图像处理模型的训练方法，其特征在于，所述预设网络模型根据训练图像集中第一图像，生成所述第一图像对应的生成图像之前还包括：
针对所述训练图像集中每组训练图像组，将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理，得到与所述第二图像对齐的对齐图像，并将所述对齐图像作为第一图像。
7.根据权利要求6所述的图像处理模型的训练方法，其特征在于，所述将该组训练图像组中的第一图像与所述第一图像对应的第二图像进行对齐处理具体包括：
获取该组训练图像组中的第一图像与所述第一图像对应的第二图像之间的像素偏差量；
根据所述像素偏差量确定所述第一图像对应的对齐方式，并采用所述对齐方式将所述第一图像与所述第二图像进行对齐处理。
8.根据权利要求7所述的图像处理模型的训练方法，其特征在于，所述根据所述像素偏差量确定所述述第一图像对应的对齐方式，并采用所述对齐方式将所述第一图像与所述第二图像进行对齐处理具体包括：
当所述像素偏差量小于或等于预设偏差量阈值时，根据所述第一图像与所述第二图像的互信息，以所述第二图像为基准对所述第一图像进行对齐处理；
当所述像素偏差量大于所述预设偏差量阈值时，提取所述第一图像的第一像素点集和所述第二图像的第二像素点集，所述第一像素点集包含所述第一图像中的若干第一像素点，所述第二像素点集包括所述第二图像中的若干第二像素点，所述第二像素点集中的第二像素点与所述第一像素点集中的第一像素点一一对应；针对所述第一像素点集中每个第一像素点，计算该第一像素点与其对应的第二像素点的坐标差值，并根据该第一像素点对应的坐标差值对该第一像素点进行位置调整，以将该第一像素点与该第一像素点对应的第二像素点对齐。
9.一种图像处理方法，其特征在于，应用如权利要求1-7任一所述的图像处理模型的训练方法训练得到的图像处理模型，所述图像处理方法包括：
获取待处理图像，并将所述待处理图像输入至所述图像处理模型；
通过所述图像处理模型对所述待处理图像进行去重影处理，以得到所述待处理图像对应的输出图像。
10.根据权利要求9所述的图像处理方法，其特征在于，所述图像处理模型包括编码器和解码器；所述通过所述图像处理模型对所述待处理图像进行去重影，以得到所述待处理图像对应的输出图像具体包括：
将所述待处理图像输入所述编码器，通过所述编码器得到所述待处理图像的特征图像，其中，所述特征图像的图像尺寸小于所述待处理图像的图像尺寸；
将所述特征图像输入所述解码器，通过所述解码器输出所述待处理图像对应的输出图像，其中，所述输出图像的图像尺寸等于所述待处理图像的图像尺寸。
11.根据权利要求9或10所述的图像处理方法，其特征在于，所述通过所述图像处理模型对所述待处理图像进行去重影处理，以得到所待处理图像对应的输出图像之后还包括：
对所述输出图像进行锐化以及降噪处理，并将锐化以及降噪处理后的输出图像作为所述待处理图像对应的输出图像。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～8任意一项所述的图像处理模型的训练方法中的步骤，或者如权利要求9～11任意一项所述的图像处理方法中的步骤。
13.一种终端，其特征在于，包括：处理器和存储器；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现如权利要求1～8任意一项所述的图像处理模型的训练方法中的步骤，或者如权利要求9～11任意一项所述的图像处理方法中的步骤。
CN202010162709.7A 2020-03-10 2020-03-10 图像处理模型的训练方法、图像处理方法、介质及终端 Active CN113379610B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010162709.7A CN113379610B (zh) 2020-03-10 2020-03-10 图像处理模型的训练方法、图像处理方法、介质及终端
PCT/CN2020/141932 WO2021179764A1 (zh) 2020-03-10 2020-12-31 图像处理模型生成方法、处理方法、存储介质及终端
US17/865,340 US20220398698A1 (en) 2020-03-10 2022-07-14 Image processing model generation method, processing method, storage medium, and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010162709.7A CN113379610B (zh) 2020-03-10 2020-03-10 图像处理模型的训练方法、图像处理方法、介质及终端

Publications (2)

Publication Number Publication Date
CN113379610A CN113379610A (zh) 2021-09-10
CN113379610B true CN113379610B (zh) 2024-03-15

Family

ID=77568821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010162709.7A Active CN113379610B (zh) 2020-03-10 2020-03-10 图像处理模型的训练方法、图像处理方法、介质及终端

Country Status (1)

Country Link
CN (1) CN113379610B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416656A (zh) * 2021-12-29 2023-07-11 荣耀终端有限公司 基于屏下图像的图像处理方法、装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965731A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 一种暗光图像处理方法及装置、终端、存储介质
CN109544482A (zh) * 2018-11-29 2019-03-29 厦门美图之家科技有限公司 一种卷积神经网络模型生成方法及图像增强方法
CN109584179A (zh) * 2018-11-29 2019-04-05 厦门美图之家科技有限公司 一种卷积神经网络模型生成方法及图像质量优化方法
CN109981991A (zh) * 2019-04-17 2019-07-05 北京旷视科技有限公司 模型训练方法、图像处理方法、装置、介质和电子设备
CN110097519A (zh) * 2019-04-28 2019-08-06 暨南大学 基于深度学习的双监督图像去雾方法、系统、介质和设备
CN110166684A (zh) * 2018-06-29 2019-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN110363171A (zh) * 2019-07-22 2019-10-22 北京百度网讯科技有限公司 天空区域预测模型的训练方法和识别天空区域的方法
CN110533752A (zh) * 2019-07-23 2019-12-03 深圳大学 一种人体动作编辑模型的生成方法、存储介质及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166684A (zh) * 2018-06-29 2019-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN108965731A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 一种暗光图像处理方法及装置、终端、存储介质
CN109544482A (zh) * 2018-11-29 2019-03-29 厦门美图之家科技有限公司 一种卷积神经网络模型生成方法及图像增强方法
CN109584179A (zh) * 2018-11-29 2019-04-05 厦门美图之家科技有限公司 一种卷积神经网络模型生成方法及图像质量优化方法
CN109981991A (zh) * 2019-04-17 2019-07-05 北京旷视科技有限公司 模型训练方法、图像处理方法、装置、介质和电子设备
CN110097519A (zh) * 2019-04-28 2019-08-06 暨南大学 基于深度学习的双监督图像去雾方法、系统、介质和设备
CN110363171A (zh) * 2019-07-22 2019-10-22 北京百度网讯科技有限公司 天空区域预测模型的训练方法和识别天空区域的方法
CN110533752A (zh) * 2019-07-23 2019-12-03 深圳大学 一种人体动作编辑模型的生成方法、存储介质及电子设备

Also Published As

Publication number Publication date
CN113379610A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
EP4105877A1 (en) Image enhancement method and image enhancement apparatus
JP2018084982A (ja) 画像処理装置、情報処理方法及びプログラム
US20220398698A1 (en) Image processing model generation method, processing method, storage medium, and terminal
US10942567B2 (en) Gaze point compensation method and apparatus in display device, and display device
CN113450290B (zh) 基于图像修补技术的低照度图像增强方法及系统
CN110705353A (zh) 基于注意力机制的遮挡人脸的识别方法和装置
CN110599455A (zh) 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质
CN114494347A (zh) 一种单摄像头多模式视线追踪方法和装置、电子设备
Zhu et al. Super-resolving commercial satellite imagery using realistic training data
CN113724379A (zh) 三维重建方法、装置、设备及存储介质
CN113379610B (zh) 图像处理模型的训练方法、图像处理方法、介质及终端
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN115631107A (zh) 边缘引导的单幅图像噪声去除
CN110503002B (zh) 一种人脸检测方法和存储介质
CN111861888A (zh) 图像处理方法、装置、电子设备及存储介质
CN115731597A (zh) 一种人脸口罩掩膜图像自动分割与修复管理平台及方法
CN113379609A (zh) 一种图像处理方法、存储介质及终端设备
CN113628148B (zh) 红外图像降噪方法和装置
CN112446835A (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN116029954A (zh) 一种图像融合方法及装置
CN113379753B (zh) 一种图像处理方法、存储介质及终端设备
CN115631108A (zh) 一种基于rgbd的图像去雾方法及相关设备
CN110766153A (zh) 神经网络模型训练方法、装置及终端设备
CN114331930A (zh) 全色多光谱影像融合方法和装置
CN113379611B (zh) 图像处理模型的生成方法、处理方法、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant