CN114897700A - 图像优化方法、校正模型的训练方法及装置 - Google Patents

图像优化方法、校正模型的训练方法及装置 Download PDF

Info

Publication number
CN114897700A
CN114897700A CN202210576940.XA CN202210576940A CN114897700A CN 114897700 A CN114897700 A CN 114897700A CN 202210576940 A CN202210576940 A CN 202210576940A CN 114897700 A CN114897700 A CN 114897700A
Authority
CN
China
Prior art keywords
image
face
model
processing
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210576940.XA
Other languages
English (en)
Inventor
陈圣
曾定衡
蒋宁
王洪斌
周迅溢
吴海英
李长林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Xiaofei Finance Co Ltd
Original Assignee
Mashang Xiaofei Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Xiaofei Finance Co Ltd filed Critical Mashang Xiaofei Finance Co Ltd
Priority to CN202210576940.XA priority Critical patent/CN114897700A/zh
Publication of CN114897700A publication Critical patent/CN114897700A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像优化方法、校正模型的训练方法及装置，其中图像优化方法包括：获取待优化的人脸图像；将人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；若第一超分辨率图像中的人脸符合预设校正条件，则将第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；将校正图像输入超分模型中进行优化处理，得到第二超分辨率的目标优化图像；其中，超分模型是对RDN模型进行优化所得，校正图像中的人脸在预设方向上处于正脸状态。通过本申请实施例，提升了图像优化效率以及图像质量。

Description

图像优化方法、校正模型的训练方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像优化方法、校正模型的训练方法及装置。
背景技术
随着电子信息技术的发展，人脸图像在视频监控、门禁认证、考勤打卡等场景中得以广泛应用。在实际应用中，因硬件设备、使用条件等因素的影响，人脸图像的图像质量可能不甚理想，甚至人脸图像中的人脸可能处于侧脸状态，而影响后续的相关处理。为了提升图像质量，当前普遍使用RDN(Residual Dense Network)网络(也可以称为RDN模型)对低分辨率(LR)的人脸图像进行优化处理生成高分辨率(HR)的人脸图像。然而，RDN网络具有推理耗时长，且无法改变人脸图像中的侧脸等问题。因此，如何高效的提升图像质量，得到含有正脸的人脸图像是亟待解决的技术问题。
发明内容
本申请提供了一种图像优化方法、校正模型的训练方法及装置，以提升图像的优化效率，解决人脸图像中的侧脸问题。
第一方面，本申请实施例提供了一种图像优化方法，包括：
获取待优化的人脸图像；
将所述人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；所述超分模型是对RDN模型进行优化所得；
若所述第一超分辨率图像中的人脸符合预设校正条件，则将所述第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；所述校正图像中的人脸在预设方向上处于正脸状态；
将所述校正图像输入所述超分模型中进行优化处理，得到第二超分辨率的目标优化图像。
可以看出，本申请实施例中，将待优化的人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像，并在第一超分辨率图像中的人脸符合预设校正条件时，将第一超分辨率图像输入校正模型中进行人脸校正处理，得到在预设方向上处于正脸状态的校正图像；以及将校正图像输入超分模型中再次进行优化处理，得到第二超分辨率的目标优化图像。由于该过程中所使用的超分模型是对现有的RDN模型进行优化所得，相较于现有的RDN模型而言，减少了卷积复杂的多维计算处理，因此提升了模型的推理速度，进而提升了图像的优化效率；同时，在符合预设校正条件时，利用校正模型进行人脸校正处理，使得目标优化图像中的人脸在预设方向上处于正脸状态，为后续基于目标优化图像的相关处理提供了保障和便利；再者，在得到校正图像后，利用超分模型再次进行优化处理，避免了人脸校正处理过程导致的纹理丢失等问题，进一步保障了图像质量。
第二方面，本申请实施例提供了一种校正模型的训练方法，包括：
获取多个训练样本图像；所述训练样本图像中的人脸在预设方向上处于侧脸状态；
将所述训练样本图像输入待训练模型中进行训练处理，得到校正模型；其中，所述校正模型用于对符合预设校正条件的待校正图像进行人脸校正处理，得到校正图像；所述校正图像中的人脸在所述预设方向上处于正脸状态。
可以看出，本申请实施例中，通过获取多个训练样本图像，且训练样本图像中的人脸在预设方向上处于侧脸状态，以及基于该训练样本图像进行训练处理得到校正模型，从而可利用该校正模型对符合预设校正条件的待校正图像进行人脸校正处理，得到校正图像，以使校正图像中的人脸在预设方向上处于正脸状态，不仅解决了图像中的侧脸问题，实现了图像的优化，而且为后续的相关处理提供了保障和便利。
第三方面，本申请实施例提供了一种图像优化装置，包括：
获取模块，用于获取待优化的人脸图像；
第一优化模块，用于将所述人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；所述超分模型是对RDN模型进行优化所得；
校正模块，用于若所述第一超分辨率图像中的人脸符合预设校正条件，则将所述第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；所述校正图像中的人脸在预设方向上处于正脸状态；
第二优化模块，用于将所述校正图像输入所述超分模型中进行优化处理，得到第二超分辨率的目标优化图像。
第四方面，本申请实施例提供了一种校正模型的训练装置，包括：
获取模块，用于获取多个训练样本图像；所述训练样本图像中的人脸在预设方向上处于侧脸状态；
训练模块，用于将所述训练样本图像输入待训练模型中进行训练处理，得到校正模型；其中，所述校正模型用于对符合预设校正条件的待校正图像进行人脸校正处理，输出校正图像；所述校正图像中的人脸在所述预设方向上处于正脸状态。
第五方面，本申请实施例提供了一种电子设备，包括：
处理器；以及，被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行上述第一方面提供的图像优化方法中的步骤，或者所述可执行指令包括用于执行上述第二方面提供的校正模型的训练方法中的步骤。
第六方面，本申请实施例提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行上述第一方面提供的图像优化方法中的步骤，或者所述可执行指令使得计算机执行上述第二方面提供的校正模型的训练方法中的步骤。
附图说明
为了更清楚地说明本申请一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的现有RDN模型的结构示意图；
图2为本申请实施例提供的RDB的结构示意图；
图3为本申请实施例提供的一种图像优化方法的应用场景示意图；
图4为本申请实施例提供的一种图像优化方法的流程示意图；
图5为本申请实施例提供的超分模型的结构示意图；
图6为本申请实施例提供的校正模型的结构示意图；
图7为本申请实施例提供的人脸校正处理的流程示意图；
图8为本申请实施例提供的一种校正模型的训练方法的流程示意图；
图9为本申请实施例提供的一种图像优化装置的模块组成示意图；
图10为本申请实施例提供的一种校正模型的训练装置的模块组成示意图；
图11为本申请一个或多个实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请一个或多个实施例中的技术方案，下面将结合本申请一个或多个实施例中的附图，对本申请一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
现有RDN模型的结构如图1所示，其主要包括SFENet(Shallow FeatureExtraction Net,浅层特征提取网络)、RDBs(Residual Dense Blocks,残差稠密块)、DFF(Dense Feature Fusion,稠密特征块)和Up-Sampling Net(上采样网络)四个部分。其中，RDB＝Residual block(残缺块)+Dense block(稠密块)，RDB的结构示意图如图2所示。考虑到现有的RDN模型虽然在一定程度上能够提升人脸图像的分辨率，但是其各部分所包括的3*3的卷积(即卷积核的尺寸为3*3)，由于需要进行复杂的多维计算，因此存在推理耗时的问题，并且RDN模型无法将人脸图像中处于侧脸状态的人脸转正。基于此，本申请实施例提供了一种图像优化方法、校正模型的训练方法及装置，通过对现有的RDN模型进行改进得到超分模型，并预先训练校正模型，从而在获取到待优化的人脸图像时，将该人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；并在第一超分辨率图像中的人脸符合预设校正条件时，将第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；该校正图像中的人脸在预设方向上处于正脸状态；以及将校正图像输入超分模型中再次进行优化处理，得到第二超分辨率的目标优化图像。由于所使用的超分模型是对现有的RDN模型进行优化所得，相较于现有的RDN模型而言，减少了卷积复杂的多维计算处理，因此提升了模型的推理速度，进而提升了图像的优化效率；同时，在符合预设校正条件时，利用校正模型进行人脸校正处理，使得目标优化图像中的人脸在预设方向上处于正脸状态，为后续基于目标优化图像的相关处理提供了保障和便利；再者，在得到校正图像后，利用超分模型再次进行优化处理，避免了人脸校正处理过程导致的纹理丢失等问题，进一步保障了图像质量。
图3为本申请实施例提供的一种图像优化方法的应用场景示意图，如图3所示，该场景可以包括：服务端和具有采集功能的终端设备，服务端与终端设备通过网络通讯连接。其中，终端设备可以是独立的摄像设备，例如摄像头设备等；终端设备还可以是安装有如摄像头等摄像模块的手机、平板电脑、台式计算机、便携笔记本式计算机等移动设备。服务端可以是独立的服务器，也可以是由多个服务器组成的服务器集群；服务端中部署有图像优化装置，该图像优化装置用于执行本申请提供的图像优化方法。
在一种实施方式中，服务端可以具有图像优化和身份识别等功能，例如在门禁认证、考勤打卡等场景中。相应的，终端设备可以是独立的摄像设备，该摄像设备可以录制目标用户的视频数据(该视频数据中包括目标用户的人脸)或者采集目标用户的人脸图像，并根据录制的视频数据或采集的人脸图像向服务端发送图像处理请求；服务端接收到图像处理请求后，基于自身部署的图像优化装置从图像处理请求中获取待优化的人脸图像，将人脸图像输入对RDN模型进行优化所得的超分模型中进行优化处理，得到第一超分辨率图像；若第一超分辨率图像中的人脸符合预设校正条件，则将第一超分辨率图像输入校正模型中进行人脸校正处理，得到在预设方向上处于正脸状态的校正图像；以及，将校正图像输入超分模型中再次进行优化处理，得到第二超分辨率的目标优化图像。服务端根据该目标优化图像对目标用户进行身份识别处理，将身份识别结果发送给门禁设备或考勤打卡设备，以使门禁设备执行门禁放行或者使考勤设备执行考勤打卡等相关处理。
在另一种实施方式中，服务端可以具有图像优化功能和业务处理功能等，例如在线上支付、线上开户等业务的办理场景中。相应的，终端设备可以是目标用户的移动设备。目标用户的移动设备可以基于目标用户的支付操作或业务办理操作等，录制目标用户的视频数据(该视频数据中包括目标用户的人脸)或者采集目标用户的人脸图像，并根据录制的视频数据或采集的人脸图像，以及确定的支付信息或业务办理信息等向服务端发送业务处理请求。服务端接收到业务处理请求后，基于自身部署的图像优化装置从业务处理请求中获取目标用户的人脸图像，将获取的人脸图像确定为待优化的人脸图像，并输入对RDN模型进行优化所得的超分模型中进行优化处理，得到第一超分辨率图像；若第一超分辨率图像中的人脸符合预设校正条件，则将第一超分辨率图像输入校正模型中进行人脸校正处理，得到在预设方向上处于正脸状态的校正图像；以及，将校正图像输入超分模型中再次进行优化处理，得到第二超分辨率的目标优化图像。服务端根据目标优化图像对目标用户进行身份识别，并在根据身份识别结果确定目标用户的身份有效时，根据业务处理请求中的支付信息进行支付处理，或者根据业务处理请求中的业务办理信息进行相应的业务处理，以及向目标用户的移动设备发送处理结果。
需要指出的是，本申请实施例提供的图像优化方法的应用场景不限为上述应用场景，其可以在实际应用中根据需要自行设定。例如，还可以将图像优化装置部署于终端设备中，终端设备在录制目标用户的视频数据(该视频数据中包括目标用户的人脸)或者采集目标用户的人脸图像之后，将人脸图像确定为待优化的人脸图像并输入对RDN模型进行优化所得的超分模型中进行优化处理，得到第一超分辨率图像；若第一超分辨率图像中的人脸符合预设校正条件，则将第一超分辨率图像输入校正模型中进行人脸校正处理，得到在预设方向上处于正脸状态的校正图像；将校正图像输入超分模型中再次进行优化处理，得到第二超分辨率的目标优化图像；以及基于目标图像对目标用户进行身份识别处理，根据身份识别结果进行相应操作，或者将身份识别结果发送给服务端，以使服务端进行后续处理等，或者将目标优化图像发送给服务端，以使服务端进行相关处理等。对于本申请实施例提供的图像优化方法的应用场景，这里不再一一列举。
基于上述应用场景架构，本申请实施例提供了一种图像优化方法。图4为本申请实施例提供的一种图像优化方法的流程示意图，图4中的方法能够由图像优化装置执行。如图4所示，该方法包括以下步骤：
步骤S102，获取待优化的人脸图像。
其中，待优化的人脸图像可以是任意场景中需要进行优化的人脸图像，例如门禁场景中待放行的用户的人脸图像、支付场景中请求进行支付的用户的人脸图像、购票场景中票务的购买用户的人脸图像、考勤打卡场景中待打卡的用户的人脸图像等。可以理解的是，本申请实施例提供的图像优化方法，可以应用于任意的需要进行图像优化的场景中，相应的，待优化的人脸图像的获取方式可以在不同的场景中可以根据需要自行设定，对此本申请中不做具体限定。
步骤S104，将人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；其中，超分模型是对RDN模型进行优化所得。
为了提升模型的推理效率，从而提升图像的优化效率，本申请实施例中，预先对现有的RDN模型进行改进，将现有RDN模型中的每个3*3的卷积替换为空洞转置卷积，并经过训练处理后，得到超分模型。其中，超分模型的结构如图5所示，超分模型用于对输入的图像进行优化处理并输出对应的超分辨率图像，其相较于现有的RDN模型而言，不仅能够提升图像优化效率，而且能够提升图像的分辨率，即提升图像质量。
步骤S106，若第一超分辨率图像中的人脸符合预设校正条件，则将第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；其中，校正图像中的人脸在预设方向上处于正脸状态。
其中，预设方向包括第一预设方向和/或第二预设方向。
具体的，确定第一超分辨率图像中的人脸是否满足符合预设校正条件，若确定结果为是，则将第一超分辨率图像输入校正模型中进行人脸校正处理，输出校正图像。其中，确定第一超分辨率图像中的人脸是否满足符合预设校正条件可以包括：确定第一超分率图像中的人脸在第一预设方向和第二预设方向上是否均处于正脸状态，若否，则确定第一超分辨率图像中的人脸符合预设校正条件；若是，则确定第一超分辨率图像中的人脸不符合预设校正条件。其中，第一预设方向可以为三维空间中的y轴方向，第二预设方向可以为三维空间中的z轴方向；也就是说，当第一超分辨率图像中的人脸的yaw角(也叫偏航角)不为零，和/或roll角(也叫翻滚角)不为零时，确定第一超分辨率图像中的人脸符合预设校正条件。可以理解的是，当第一超分辨率图像中的人脸的yaw角不为零时，表征第一超分辨率图像中的人脸在y轴方向上处于侧脸状态，当第一超分辨率图像中的人脸的roll角不为零时，表征第一超分辨率图像中的人脸在z轴方向上处于侧脸状态。相应的，校正图像中的人脸在第一预设方向和第二预设方向上均处于正脸状态。
步骤S108，将校正图像输入超分模型中进行优化处理，得到第二超分辨率的目标优化图像。
考虑到在通过校正模型对第一超分辨率图像进行人脸校正处理的过程中，可能会使图像的纹理丢失，为了保障图像质量，本申请实施例中，在得到校正图像后，还基于超分模型对校正图像进行优化处理，得到第二超分辨率的目标优化图像。
本申请实施例中，将待优化的人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像，并在第一超分辨率图像中的人脸符合预设校正条件时，将第一超分辨率图像输入校正模型中进行人脸校正处理，得到在预设方向上处于正脸状态的校正图像；以及将校正图像输入超分模型中再次进行优化处理，得到第二超分辨率的目标优化图像。由于该过程中所使用的超分模型是对现有的RDN模型进行优化所得，相较于现有的RDN模型而言，减少了卷积复杂的多维计算处理，因此提升了模型的推理速度，进而提升了图像的优化效率；同时，在符合预设校正条件时，利用校正模型进行人脸校正处理，使得目标优化图像中的人脸在预设方向上处于正脸状态，为后续基于目标优化图像的相关处理提供了保障和便利；再者，在得到校正图像后，利用超分模型再次进行优化处理，避免了人脸校正处理过程导致的纹理丢失等问题，进一步保障了图像质量。
为了能够获取到较清晰的人脸图像，从而为优化处理提供较好的基础，本申请一个或多个实施例中，可以录制目标用户的包括人脸的视频数据，并从该视频数据中获取目标用户的待优化的人脸图像。与之对应的，步骤S102可以包括以下步骤S102-2至步骤S102-6：
步骤S102-2，按照预设帧间隔，从目标用户的视频数据中抽取多帧原始图像。
其中，预设帧间隔以及视频数据的长度，均可以在实际应用中根据需要自行设定，例如预设帧间隔为3帧，即每隔3个视频帧抽取一帧并作为原始图像；视频数据的长度例如为2秒等。
步骤S102-4，根据预设模糊检测方式确定每帧原始图像的清晰度。
其中，预设模糊检测方式可以是基于拉普拉斯算子的检测方式、基于Brenner梯度函数的检测方式、基于Tenengrad梯度函数的检测方式等，其在实际应用中可以根据需要自行设定，对此本申请中不做具体限定。
步骤S102-6，基于确定的清晰度获取待优化的人脸图像，清晰度最高的原始图像包括待优化的人脸图像。
具体的，对清晰度进行排序处理，得到清晰度最高的原始图像；采用人脸检测模型对该清晰度最高的原始图像进行人脸检测处理，得到人脸坐标；基于人脸坐标从清晰度最高的原始图像中截取得到目标用户的待优化的人脸图像。更加具体的，按照从小到大的顺序对确定的各原始图像的清晰度进行排序处理，或者按照从大到小的顺序对确定的各原始图像的清晰度进行排序处理，得到清晰度最高的原始图像。将清晰度最高的原始图像输入预先训练的人脸检测模型中，以通过该人脸检测模型对清晰度最高的原始图像进行人脸检测处理，输出四边形的人脸框的四个顶点的坐标信息；将该坐标信息确定为人脸坐标，并根据该人脸坐标对应的人脸框，从清晰度最高的原始图像中截取得到待优化的人脸图像。
进一步的，从清晰度最高的原始图像中截取得到待优化的人脸图像可以包括：从清晰度最高的原始图像中截取人脸图像，确定截取的人脸图像在第三预设方向上是否处于正脸状态，若是，则将截取的人脸图像确定为待优化的人脸图像；若否，则在第三预设方向上对截取的人脸图像进行旋转，得到待优化的人脸图像，该待优化的人脸图像中的人脸在第三预设方向上处于正脸状态。其中，第三预设方向可以是三维坐标中的x轴方向。
在一种实施方式中，上述人脸检测模型可以是yolov5模型，为了能够检测到不同角度的人脸，本申请实施例中，在构建yolov5模型的训练集时，可以对获取到的多个待训练的人脸图像中的每张人脸图像均按照90度、180度和270度分别进行旋转，由此不仅扩展了训练样本的数量，而且使得训练所得的yolov5模型能够对不同角度的人脸进行检测。需要指出的是，yolov5模型的具体训练过程可参考现有的人脸检测模型的训练过程，对此本申请中不再赘述；另外，人脸检测模型也不限为上述yolov5模型，其可以在实际应用中根据需要自行设定。
由此，通过录制目标用户的视频数据，并在视频数据中抽取多张原始图像，以及从清晰度最高的原始图像中获取目标用户的待优化的人脸图像，提升了人脸图像的质量，为后续处理提供了有利基础。
需要指出的是，人脸图像的获取方式不限为上述方式。在实际应用中，对于不同的应用场景而言，人脸图像的获取方式可以根据需求自行设定。例如，在门禁认证、支付、考勤打卡等场景中，还可以仅拍摄一张目标用户的人脸图像并确定为待优化的人脸图像。又如，对于公共场所的安防监控场景而言，可以从录制的视频数据中获取人脸图像，此时视频数据的每一帧原始图像中可能包括多个人脸，当需要对到访过该公共场所的每个用户进行身份识别等处理时，可以提取视频数据的每一帧原始图像，采用人脸检测模型对提取的每一帧原始图像进行人脸检测处理，得到人脸坐标；判断该人脸坐标对应的用户的身份是否已识别，若否，则将该用户确定为目标用户，根据该人脸坐标从相应的原始图像中截取目标用户的待优化的人脸图像。或者，可以提取视频数据的每一帧原始图像，采用预先训练的人脸检测模型对提取的每一帧原始图像进行人脸检测处理，得到人脸坐标；根据人脸坐标从相应的原始图像中截取对应的人脸图像；根据预设方式确定各人脸图像之间的相似度，将大于相似度阈值的相似度所对应的各人脸图像确定为同一目标用户的人脸图像集；针对每个人脸图像集中的各人脸图像，根据预设的模糊检测方式确定每个人脸图像的清晰度，并对清晰度进行排序处理得到最高清晰度，将该最高清晰度对应的人脸图像确定为目标用户的待优化的人脸图像。当需对到访过该公共场所的某一个目标用户进行身份识别等处理时，可以根据预设的人脸追踪方式，基于录制的视频数据进行人脸追踪处理，得到该目标用户的至少一个人脸图像，并按照前述方式确定最高清晰度的人脸图像，将该最高清晰度的人脸图像确定为该目标用户的待优化的人脸图像。对于包括多用户的场景而言，以上仅仅是几种可行的实施方式，对于其他的可行的实施方式，本申请中不再一一列举，其可以在实际应用中根据需要自行设定。
如前所述，为了提升图像的优化效率，本申请实施例中，预先对现有的RDN模型进行改进，将现有RDN模型中的每个3*3的卷积替换为空洞转置卷积，并经过训练处理后，得到超分模型。相应的，在步骤S104和步骤S108中的优化处理中，空洞转置卷积用于对第一输入图像进行预设处理，得到处理结果；其中，第一输入图像包括人脸图像或校正图像或空洞装置卷积的前一层的输出图像。
其中，对第一输入图像进行预设处理，得到处理结果可以包括以下步骤A2至步骤A10：
步骤A2，利用预设滑窗矩阵，按照预设滑动步长对第一输入图像进行滑窗处理，得到多个激活区；
可以理解的是，对于不同的空洞转置卷积，其第一输入图像可以不同。具体而言，如图5所示的超分模型的结构可知，按照从左向右的顺序，在步骤S104中的优化处理中，第一个空洞转置卷积的第一输入图像为待优化的人脸图像，第二个空洞转置卷积的第一输入图像为第一个空洞转置卷积的输出图像；第三个空洞转置卷积的第一输入图像为1*1Covn的输出图像；第四个空洞转置卷积的第一输入图像为Upscale的输出图像。在步骤S108中的优化处理中，第一个空洞转置卷积的第一输入图像为校正图像，第二个空洞转置卷积的第一输入图像为第一个空洞转置卷积的输出图像；第三个空洞转置卷积的第一输入图像为1*1Covn的输出图像；第四个空洞转置卷积的第一输入图像为Upscale的输出图像。
步骤A4，对每个激活区进行第一转换处理，得到目标矩阵；
其中，第一转换处理可以是im2col转换。
步骤A6，对空洞转置卷积的卷积核进行第二转换处理，得到目标向量；
第二转换处理可以是顺序读取卷积核中每行的数据后进行重新排列(例如顺序拼接)。
步骤A8，根据目标矩阵和目标向量进行计算处理，得到计算结果；
具体的，将目标矩阵与目标向量进行相乘处理，得到计算结果。
步骤A10，对计算结果进行第三转换处理得到处理结果，输出处理结果。
其中，第三转换处理可以是col2im转换。
在一种实施方式中，预设滑窗矩阵可以为1*49的矩阵(即一个行向量)，预设滑动步长为1，空洞转置卷积的卷积核为7*7的矩阵。则首先利用1*49的预设滑窗矩阵，按照滑动步长1对第一输入图像进行滑窗处理，得到W个激活区；其中，W为正整数，W的取值与输入图像的大小相关。然后，对得到的W个激活区进行im2col处理，得到W*49的目标矩阵；之后，对7*7的卷积核进行第二转换处理，得到49*1的目标向量；最后，将W*49的目标矩阵与49*1的目标向量进行相乘计算，得到计算结果；以及，对计算结果进行col2im转换处理，得到第一输入图像的处理结果，并输出该处理结果。其中，im2col转换处理的过程以及col2im转换处理的过程，均可参考现有的转换方式，对此本申请中不再详述。可以理解的是，对于不同的空洞转置卷积，其处理结果可以不同。
由于对卷积核进行第三转换处理得到目标向量的过程，并不需要复杂的计算，只需要顺序读取数据后进行重新排列即可；并且目标矩阵与目标向量的相乘结果，与现有RDN模型的3*3的卷积的多维计算结果相同，但是目标矩阵与目标向量的相乘并不需其他复杂的多维计算参与，因此极大的降低了内存空间的推理时间，提升了计算效率。
进一步的，如图5所示，超分模型包括改进的SFENet、RDBs、改进的DFF和改进的Up-Sampling Net；其中，改进的SFENet用于对输入的图像进行浅层特征提取处理，得到第一特征图；RDBs用于基于第一特征图进行局部特征提取处理和局部残差学习处理，得到多个第二特征图；改进的DFF用于对多个第二特征图进行全局特征融合处理，得到第三特征图；改进的Up-Sampling Net用于对第三特征图进行上采样处理得到超分辨率图像。
更进一步的，如图5所示，改进的SFENet包括第一空洞转置卷积和第二空洞转置卷积。相应的，上述对输入的图像进行浅层特征提取处理，得到第一特征图，可以包括：通过第一空洞转置卷积对输入的图像(即第一输入图像)进行前述的预设处理(即步骤A2至步骤A10)，得到第一子特征图(即处理结果，为便于区分，还可以称为第一处理结果)；通过第二空洞转置卷积对第一子特征图(即第一输入图像)进行前述的预设处理，得到第一特征图(即处理结果，为便于区分，还可以称为第二处理结果)；
如图5所示，RDBs包括依次相连的D个RDB模块，其中D为大于1的整数。相应的，基于第一特征图进行局部特征提取处理和局部残差学习处理，得到多个第二特征图可以包括：通过每个RDB模块对第四输入图像进行局部特征提取处理和局部残差学习处理，得到D个第二特征图。其中，D个RDB模块对应D个排列序号，排列序号最小的RDB模块的第四输入图像为第一特征图，排列序号不是最小的RDB模块的第四输入图像为上一个RDB模块输出的第二特征图。各RDB模块的结构，以及其对第四输入图像进行局部特征提取处理和局部残差学习处理的过程，可参考现有的RDN模型中的RDB模块的结构及图像处理方式，对此本申请中不再赘述。
如图5所示，改进的DFF包括Concat层、1*1的Conv层和第三空洞转置卷积。相应的，上述对多个第二特征图进行全局特征融合处理，得到第三特征图，可以包括：通过Concat层对D个第二特征图进行特征融合处理，得到第二子特征图；通过1*1的Conv层对第二子特征图进行维度变换处理得到第三子特征图；通过第三空洞转置卷积对第三子特征图(即第一输入图像)进行前述的预设处理，得到第三特征图(即处理结果，为便于区分，还可以称为第三处理结果)。
如图5所示，改进的Up-Sampling Net包括Upscale层和第四空洞转置卷积。相应的，前述对第三特征图进行上采样处理得到超分辨率图像，可以包括：通过Upscale层对第三特征图进行上采样处理，得到第四子特征图；通过第四空洞转置卷积对第四子特征图(即第一输入图像)进行前述的预设处理，得到超分辨率图像(即处理结果，为便于区分，还可以称为第四处理结果)。
以步骤S104中的优化处理进行说明，可以包括：通过第一空洞转置卷积对输入的人脸图像(即第一输入图像)进行前述的预设处理，得到第一子特征图(即第一处理结果)；通过第二空洞转置卷积对第一子特征图(即第一输入图像)进行前述的预设处理，得到第一特征图(即第二处理结果)；通过D个RDB模块基于第一特征图进行局部特征提取处理和局部残差学习处理，得到D个第二特征图；通过Concat层对D个第二特征图进行特征融合处理，得到第二子特征图；通过1*1的Conv层对第二子特征图进行维度变换处理得到第三子特征图；通过第三空洞转置卷积对第三子特征图(即第一输入图像)进行前述的预设处理，得到第三特征图(即第三处理结果)；通过Upscale层对第三特征图进行上采样处理，得到第四子特征图；通过第四空洞转置卷积对第四子特征图(即第一输入图像)进行前述的预设处理，得到第一超分辨率图像(即第四处理结果)。
步骤S108中的优化处理与步骤S104中的优化处理过程相似，可参见上述描述。不同之处在于通过第一空洞转置卷积对输入的校正图像(即第一输入图像)进行前述的预设处理，得到第一子特征图；以及通过第四空洞转置卷积对第四子特征图(即第一输入图像)进行前述的预设处理，得到第二超分辨率的目标优化图像(即第四处理结果)。
考虑到在实际应用中，由于拍摄角度或人为扭转头部等因素，往往导致人脸图像中的人脸处于侧脸的状态，不利于后续的如身份识别处理、业务办理等相关处理。基于此，本申请实施例中，还预先训练校正模型，并将超分模型与校正模型结合使用，得到最终的优化后的目标图像。其中，校正模型的结构如图6所示，其包括：三维重建模块、第一生成模块和第二生成模块；
相应的，在步骤S106中的人脸校正处理中，三维重建模块，用于对第二输入图像进行三维人脸重建处理，得到第一三维正脸图像；第一生成模块，用于根据第一三维正脸图像生成二维侧脸图像；第二生成模块，用于根据第一三维正脸图像和二维侧脸图像生成输出图像；
其中，若第一超分率图像中的人脸在第一预设方向或第二预设方向上未处于正脸状态，则三维重建模块在进行三维人脸重建时所处理的第二输入图像包括第一超分辨图像，第二生成模块的输出图像包括校正图像；若第一超分率图像中的人脸在第一预设方向和第二预设方向上均未处于正脸状态，则三维重建模块在进行三维人脸重建时所处理的第二输入图像依次为第一超分辨图像和第一超分辨图像对应的中间图像，第二生成模块的输出图像依次为该中间图像和校正图像。也就是说，当第一超分率图像中的人脸在第一预设方向和第二预设方向的其中一个方向上未处于正脸状态时，通过校正模型对输入的第一超分辨率图像进行一次校正处理，即可输出对应的校正图像。当第一超分率图像中的人脸在第一预设方向和第二预设方向上均未处于正脸状态时，则需要通过校正模型进行两次校正处理，即首先对输入的第一超分辨率图像进行第一预设方向上的校正处理，得到中间图像；然后在对该中间图像进行第二预设方向上的校正处理，得到校正图像；或者，首先对输入的第一超分辨率图像进行第二预设方向上的校正处理，得到中间图像；然后在对该中间图像进行第一预设方向上的校正处理，得到校正图像。
进一步的，如图7所示的人脸校正处理的示意图，上述对第二输入图像进行三维人脸重建处理，得到第一三维正脸图像，可以包括以下步骤B2至步骤B8：
步骤B2，对第二输入图像进行纹理特征处理，得到第一纹理特征；
步骤B4，对第二输入图像进行三维人脸重建处理，得到第一三维侧脸模型；
步骤B6，将第一三维侧脸模型在目标方向上进行第一旋转，得到三维正脸模型；其中，目标方向包括第一预设方向或第二预设方向；
步骤B8，对第一纹理特征和三维正脸模型进行融合处理，得到第一三维正脸图像。
可选地，利用3DDFA_V2对第二输入图像进行三维人脸重建处理，得到三维侧脸模型。可以理解的是，当目标方向为第一预设方向，即三维空间中的y轴方向时，若第二输入图像中的人脸处于左侧脸状态，则第一旋转为沿着y轴向右旋转；若第二输入图像中的人脸处于右侧脸状态，则第一旋转为沿着y轴向左旋转。当目标方向为第二预设方向，即三维空间中的z轴方向时，若第二输入图像中的人脸处于左侧脸状态，则第一旋转为沿着z轴向右旋转；若第二输入图像中的人脸处于右侧脸状态，则第一旋转为沿着z轴向左旋转。
进一步的，如图7所示，上述根据第一三维正脸图像生成二维侧脸图像，可以包括以下步骤C2至步骤C6：
步骤C2，将第一三维正脸图像在目标方向上进行第二旋转，得到目标方向上的第一三维侧脸图像；
其中，第二旋转可以是向右旋转也可以是向右旋转。
步骤C4，对第一三维侧脸图像进行渲染处理，得到二维渲染图像；
步骤C6，对二维渲染图像进行平滑处理，得到二维侧脸图像。
进一步的，如图7所示，上述根据第一三维正脸图像和二维侧脸图像生成输出图像，可以包括以下步骤D2至步骤D10：
步骤D2，对二维侧脸图像进行纹理特征处理，得到第二纹理特征；
步骤D4，将第一三维正脸图像对应的三维正脸模型在目标方向上进行第二旋转，得到目标方向上的第二三维侧脸模型；
步骤D4中的第二旋转的旋转方式与前述步骤C2中的第二旋转的旋转方式相同；第二三维侧脸模型与前述第一三维侧脸模型可能相同也可能不同。
步骤D6，对第二纹理特征和第二三维侧脸模型进行融合处理，得到第二三维侧脸图像；
步骤D8，将第二三维侧脸图像在目标方向上进行第三旋转，得到第二三维正脸图像；
其中，第三旋转与第二旋转的旋转方向可以相同也可以相反，例如，第二旋转是沿着目标方向向右旋转90度，第三旋转可以是沿着目标方向向左旋转90度，也可以是沿着目标方向向右旋转270度。
步骤D10，对第二三维正脸图像进行渲染处理，得到输出图像。
在一个具体的实施例中，以第一超分辨率图像在第一预设方向和第二预设方向上均处于侧脸状态为例进行说明，则将第一超分辨率图像输入校正模型后，首先通过三维重建模块对第一超分辨率图像进行纹理特征处理，得到第一纹理特征；并对第一超分辨率图像进行三维人脸重建处理，得到第一三维侧脸模型；以及将第一三维侧脸模型在第一预设方向上进行第一旋转，得到三维正脸模型；对第一纹理特征和三维正脸模型进行融合处理，得到第一三维正脸图像。然后通过第一生成模块将第一三维正脸图像在第一预设方向上进行第二旋转，得到第一预设方向上的第一三维侧脸图像；对第一三维侧脸图像进行渲染处理，得到二维渲染图像；并对二维渲染图像进行平滑处理，得到二维侧脸图像。之后通过第二生成模块对二维侧脸图像进行纹理特征处理，得到第二纹理特征；将第一三维正脸图像对应的三维正脸模型在第一预设方向上进行第二旋转，得到第二预设方向上的第二三维侧脸模型；对第二纹理特征和第二三维侧脸模型进行融合处理，得到第二三维侧脸图像；以及将第二三维侧脸图像在第二预设方向上进行第三旋转，得到第二三维正脸图像；对第二三维正脸图像进行渲染处理，得到中间图像并输出该中间图像。至此，在第一预设方向上的人脸校正处理完成，然后在基于输出的中间图像，按照前述流程进行第二预设方向上的人脸校正处理，得到校正图像并输出该校正图像。
由此，通过校正模型对第一超分辨率图像进行人脸校正处理，得到校正图像，保障了校正图像中的人脸在预设方向上处于正脸状态，为后续的相关处理提供了保障。此外，在校正处理过程中，由于是基于三维图像生成二维图像，因此该过程中实现了高纬度上的图像精修。
考虑到在人脸校正处理过程中，图像纹理可能出现丢失，基于此，本申请一个或多个实施例中，步骤S106之后还可以包括：对校正图像进行后处理。具体的，将校正图像输入神经渲染模型中进行神经渲染处理，输出神经渲染图像；将神经渲染图像输入重建模型中进行重建处理，输出重建图像。其中，神经渲染模型可以是Unet模型，重建模型可以是Gan模型，对于神经渲染模型和重建模型的具体形式以及训练过程本申请中不做具体限定，可以在实际应用中根据需要自行设定。
与上述后处理对应的，步骤S108可以包括：将重建图像输入超分模型中进行优化处理，得到第二超分辨率的目标优化图像。
本申请一个或多个实施例中，在步骤S108中得到目标图像之后，方法还可以包括：根据目标优化图像对对应的目标用户进行身份识别处理；或者，根据目标优化图像更新指定的图像库等。
其中，根据目标优化图像对对应的目标用户进行身份识别处理可以包括：根据预设的人脸比对算法，对目标优化图像和指定人脸图像库中的各人脸图像进行比对处理；若比对成功，则根据比对成功的指定人脸图像库中的人脸图像获取目标用户的身份信息。其中，指定人脸图像库可以是权威的人脸图像库，其中包括多个用户的真实有效的人脸图像，且每个人脸图像关联相应用户的真实有效的身份信息；当目标优化图像与指定人脸图像库中的某个人脸图像比对成功时，即可根据该比对成功的人脸图像获取关联的身份信息，并将获取的该身份信息确定为目标用户的身份信息。其中，人脸比对算法可以是Arcface人脸比对算法，还可以是其他人脸比对算法，其根据需要自行设定，对此本申请中不做具体限定。
本申请实施例中，将待优化的人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像，并在第一超分辨率图像中的人脸符合预设校正条件时，将第一超分辨率图像输入校正模型中进行人脸校正处理，得到在预设方向上处于正脸状态的校正图像；以及将校正图像输入超分模型中再次进行优化处理，得到第二超分辨率的目标优化图像。由于该过程中所使用的超分模型是对现有的RDN模型进行优化所得，相较于现有的RDN模型而言，减少了卷积复杂的多维计算处理，因此提升了模型的推理速度，进而提升了图像的优化效率；同时，在符合预设校正条件时，利用校正模型进行人脸校正处理，使得目标优化图像中的人脸在预设方向上处于正脸状态，为后续基于目标优化图像的相关处理提供了保障和便利；再者，在得到校正图像后，利用超分模型再次进行优化处理，避免了人脸校正处理过程导致的纹理丢失等问题，进一步保障了图像质量。
对应上述描述的图像优化方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种校正模型的训练方法，图8为本申请一个或多个实施例提供的一种校正模型的训练方法的流程示意图，图8中的方法能够由校正模型的训练装置执行；该校正模型的训练装置可以设置于终端设备中，也可以设置于服务端中。其中，终端设备可以是手机、平板电脑、台式计算机、便携式笔记本等；服务端可以是独立的服务器，也可以是由多个服务器组成的服务器集群。如图8所示，该方法包括以下步骤：
步骤S202，获取多个训练样本图像；其中，训练样本图像中的人脸在预设方向上处于侧脸状态；
具体的，训练样本图像中的人脸在第一预设方向和/或第二预设方向上处于侧脸状态；训练样本图像的标签中可以包括表征人脸在第一预设方向和/或第二预设方向上处于侧脸状态的状态信息。
步骤S204，将训练样本图像输入待训练模型中进行训练处理，得到校正模型；其中，校正模型用于对符合预设校正条件的待校正图像进行人脸校正处理，得到校正图像；校正图像中的人脸在预设方向上处于正脸状态。
其中，待训练模型包括三维重建模块、第一生成模块和第二生成模块；在训练处理中，三维重建模块，用于对第三输入图像进行三维人脸重建处理，得到第一三维正脸图像；第一生成模块，用于根据第一三维正脸图像生成二维侧脸图像；第二生成模块，用于根据第一三维正脸图像和二维侧脸图像生成输出图像，并输出输出图像。
其中，若训练样本图像中的人脸在第一预设方向或第二预设方向上处于侧脸状态，则三维重建模块在进行三维人脸重建时所处理的第三输入图像包括训练样本图像，第二生成模块的输出图像包括校正图像；若训练样本图像中的人脸在第一预设方向和第二预设方向上均处于侧脸状态，则三维重建模块在进行三维人脸重建时所处理的第三输入图像依次为训练样本图像和训练样本图像对应的中间图像，第二生成模块的输出图像依次为中间图像和校正图像。可以理解的是，训练过程也是对训练样本图像的校正过程，也就是说，当训练样本图像中的人脸在第一预设方向和第二预设方向的其中一个方向上未处于正脸状态时，通过待训练模型对训练样本图像进行一次校正处理后，输出训练样本图像对应的校正图像。当训练样本图像中的人脸在第一预设方向和第二预设方向上均未处于正脸状态时，则通过待训练模型进行两次校正处理，即首先对输入的训练样本图像进行第一预设方向上的校正处理，得到中间图像；然后在对该中间图像进行第二预设方向上的校正处理，得到校正图像；或者，首先对输入的训练样本图像进行第二预设方向上的校正处理，得到中间图像；然后在对该中间图像进行第一预设方向上的校正处理，得到校正图像。
进一步的，上述三维人脸重建处理的过程、生成二维侧脸图像的过程以及生成输出图像的过程，均可参见前述相关描述，重复之处这里不再赘述。
需要指出的是，训练处理的过程可参考现有训练过程，对此本申请中不做具体限定。训练的停止条件可以是训练次数到达预设次数，也可以是基于损失函数计算的损失值收敛。当训练停止条件是基于损失函数计算的损失值收敛时，可以在每轮训练结束后，将待训练模型输出的校正图像输入神经渲染模型中进行神经渲染处理，输出神经渲染图像；并将神经渲染图像输入重建模型中进行重建处理，输出重建图像；计算三维重建模块得到的三维正脸图像与该重建图像之间的欧式距离，并将该欧式距离确定为损失值。
本申请实施例中，通过获取多个训练样本图像，且训练样本图像中的人脸在预设方向上处于侧脸状态，以及基于该训练样本图像进行训练处理得到校正模型，从而可利用该校正模型对符合预设校正条件的待校正图像进行人脸校正处理，得到校正图像，以使校正图像中的人脸在预设方向上处于正脸状态，不仅解决了图像中的侧脸问题，实现了图像的优化，而且为后续的相关处理提供了保障和便利。
对应上述描述的图像优化方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种图像优化装置。图9为本申请一个或多个实施例提供的一种图像优化装置的模块组成示意图，如图9所示，该装置包括：
获取模块301，用于获取待优化的人脸图像；
第一优化模块302，用于将所述人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；所述超分模型是对RDN模型进行优化所得；
校正模块303，用于若所述第一超分辨率图像中的人脸符合预设校正条件，则将所述第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；所述校正图像中的人脸在预设方向上处于正脸状态；
第二优化模块304，用于将所述校正图像输入所述超分模型中进行优化处理，得到第二超分辨率的目标优化图像。
本申请实施例提供的图像优化装置，将待优化的人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像，并在第一超分辨率图像中的人脸符合预设校正条件时，将第一超分辨率图像输入校正模型中进行人脸校正处理，得到在预设方向上处于正脸状态的校正图像；以及将校正图像输入超分模型中再次进行优化处理，得到第二超分辨率的目标优化图像。由于该过程中所使用的超分模型是对现有的RDN模型进行优化所得，相较于现有的RDN模型而言，减少了卷积复杂的多维计算处理，因此提升了模型的推理速度，进而提升了图像的优化效率；同时，在符合预设校正条件时，利用校正模型进行人脸校正处理，使得目标优化图像中的人脸在预设方向上处于正脸状态，为后续基于目标优化图像的相关处理提供了保障和便利；再者，在得到校正图像后，利用超分模型再次进行优化处理，避免了人脸校正处理过程导致的纹理丢失等问题，进一步保障了图像质量。
需要说明的是，本申请中关于图像优化装置的实施例与本申请中关于图像优化方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的图像优化方法的实施，重复之处不再赘述。
进一步的，对应上述描述的校正模型的训练方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种校正模型的训练装置。图10为本申请一个或多个实施例提供的一种校正模型的训练装置的模块组成示意图，如图10所示，该装置包括：
获取模块401，用于获取多个训练样本图像；所述训练样本图像中的人脸在预设方向上处于侧脸状态；
训练模块402，用于将所述训练样本图像输入待训练模型中进行训练处理，得到校正模型；其中，所述校正模型用于对符合预设校正条件的待校正图像进行人脸校正处理，输出校正图像；所述校正图像中的人脸在所述预设方向上处于正脸状态。
本申请实施例提供的校正模型的训练装置，通过获取多个训练样本图像，且训练样本图像中的人脸在预设方向上处于侧脸状态，以及基于该训练样本图像进行训练处理得到校正模型，从而可利用该校正模型对符合预设校正条件的待校正图像进行人脸校正处理，得到校正图像，以使校正图像中的人脸在预设方向上处于正脸状态，不仅解决了图像中的侧脸问题，实现了图像的优化，而且为后续的相关处理提供了保障和便利。
需要说明的是，本申请中关于校正模型的训练装置的实施例与本申请中关于校正模型的训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的校正模型的训练方法的实施，重复之处不再赘述。
进一步地，对应上述描述的图像优化方法，基于相同的技术构思，本申请一个或多个实施例还提供一种电子设备，该电子设备用于执行上述的图像优化方法，图11为本申请一个或多个实施例提供的一种电子设备的结构示意图。
如图11所示，电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器501和存储器502，存储器502中可以存储有一个或一个以上存储应用程序或数据。其中，存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括电子设备中的一系列计算机可执行指令。更进一步地，处理器501可以设置为与存储器502通信，在电子设备上执行存储器502中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源503，一个或一个以上有线或无线网络接口504，一个或一个以上输入输出接口505，一个或一个以上键盘506等。
在一个具体的实施例中，电子设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对电子设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取待优化的人脸图像；
将所述人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；所述超分模型是对RDN模型进行优化所得；
若所述第一超分辨率图像中的人脸符合预设校正条件，则将所述第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；所述校正图像中的人脸在预设方向上处于正脸状态；
将所述校正图像输入所述超分模型中进行优化处理，得到第二超分辨率的目标优化图像。
本申请一个或多个实施例提供的电子设备，将待优化的人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像，并在第一超分辨率图像中的人脸符合预设校正条件时，将第一超分辨率图像输入校正模型中进行人脸校正处理，得到在预设方向上处于正脸状态的校正图像；以及将校正图像输入超分模型中再次进行优化处理，得到第二超分辨率的目标优化图像。由于该过程中所使用的超分模型是对现有的RDN模型进行优化所得，相较于现有的RDN模型而言，减少了卷积复杂的多维计算处理，因此提升了模型的推理速度，进而提升了图像的优化效率；同时，在符合预设校正条件时，利用校正模型进行人脸校正处理，使得目标优化图像中的人脸在预设方向上处于正脸状态，为后续基于目标优化图像的相关处理提供了保障和便利；再者，在得到校正图像后，利用超分模型再次进行优化处理，避免了人脸校正处理过程导致的纹理丢失等问题，进一步保障了图像质量。
在另一个具体的实施例中，电子设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对电子设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取多个训练样本图像；所述训练样本图像中的人脸在预设方向上处于侧脸状态；
将所述训练样本图像输入待训练模型中进行训练处理，得到校正模型；其中，所述校正模型用于对符合预设校正条件的待校正图像进行人脸校正处理，得到校正图像；所述校正图像中的人脸在所述预设方向上处于正脸状态。
本申请实施例提供的电子设备，通过获取多个训练样本图像，且训练样本图像中的人脸在预设方向上处于侧脸状态，以及基于该训练样本图像进行训练处理得到校正模型，从而可利用该校正模型对符合预设校正条件的待校正图像进行人脸校正处理，得到校正图像，以使校正图像中的人脸在预设方向上处于正脸状态，不仅解决了图像中的侧脸问题，实现了图像的优化，而且为后续的相关处理提供了保障和便利。
需要说明的是，本申请中关于电子设备的实施例与本申请中关于图像优化方法及校正模型的训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的图像优化方法及校正模型的训练方法的实施，重复之处不再赘述。
进一步地，对应上述描述的图像优化方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令，一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
获取待优化的人脸图像；
将所述人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；所述超分模型是对RDN模型进行优化所得；
若所述第一超分辨率图像中的人脸符合预设校正条件，则将所述第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；所述校正图像中的人脸在预设方向上处于正脸状态；
将所述校正图像输入所述超分模型中进行优化处理，得到第二超分辨率的目标优化图像。
本申请一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，将待优化的人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像，并在第一超分辨率图像中的人脸符合预设校正条件时，将第一超分辨率图像输入校正模型中进行人脸校正处理，得到在预设方向上处于正脸状态的校正图像；以及将校正图像输入超分模型中再次进行优化处理，得到第二超分辨率的目标优化图像。由于该过程中所使用的超分模型是对现有的RDN模型进行优化所得，相较于现有的RDN模型而言，减少了卷积复杂的多维计算处理，因此提升了模型的推理速度，进而提升了图像的优化效率；同时，在符合预设校正条件时，利用校正模型进行人脸校正处理，使得目标优化图像中的人脸在预设方向上处于正脸状态，为后续基于目标优化图像的相关处理提供了保障和便利；再者，在得到校正图像后，利用超分模型再次进行优化处理，避免了人脸校正处理过程导致的纹理丢失等问题，进一步保障了图像质量。
在另一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
获取多个训练样本图像；所述训练样本图像中的人脸在预设方向上处于侧脸状态；
将所述训练样本图像输入待训练模型中进行训练处理，得到校正模型；其中，所述校正模型用于对符合预设校正条件的待校正图像进行人脸校正处理，得到校正图像；所述校正图像中的人脸在所述预设方向上处于正脸状态。
本申请一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，通过获取多个训练样本图像，且训练样本图像中的人脸在预设方向上处于侧脸状态，以及基于该训练样本图像进行训练处理得到校正模型，从而可利用该校正模型对符合预设校正条件的待校正图像进行人脸校正处理，得到校正图像，以使校正图像中的人脸在预设方向上处于正脸状态，不仅解决了图像中的侧脸问题，实现了图像的优化，而且为后续的相关处理提供了保障和便利。
需要说明的是，本申请中关于存储介质的实施例与本申请中关于图像优化方法及校正模型的训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的图像优化方法及校正模型的训练方法的实施，重复之处不再赘述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (15)

1.一种图像优化方法，其特征在于，包括：
获取待优化的人脸图像；
将所述人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；所述超分模型是对RDN模型进行优化所得；
若所述第一超分辨率图像中的人脸符合预设校正条件，则将所述第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；所述校正图像中的人脸在预设方向上处于正脸状态；
将所述校正图像输入所述超分模型中进行优化处理，得到第二超分辨率的目标优化图像。
2.根据权利要求1所述的方法，其特征在于，所述超分模型是将所述RDN模型中的每个3*3的卷积替换为空洞转置卷积所得；
在所述优化处理中，所述空洞转置卷积，用于对第一输入图像进行预设处理，得到处理结果；所述第一输入图像包括所述人脸图像或所述校正图像或所述空洞装置卷积的前一层的输出图像。
3.根据权利要求2所述的方法，其特征在于，所述对第一输入图像进行预设处理，得到处理结果，包括
利用预设滑窗矩阵，按照预设滑动步长对第一输入图像进行滑窗处理，得到多个激活区；
对每个所述激活区进行第一转换处理，得到目标矩阵；
对所述空洞转置卷积的卷积核进行第二转换处理，得到目标向量；
根据所述目标矩阵和所述目标向量进行计算处理，得到计算结果；
对所述计算结果进行第三转换处理得到处理结果，输出所述处理结果。
4.根据权利要求1所述的方法，其特征在于，所述将所述人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像之后，还包括：
确定所述第一超分率图像中的人脸在第一预设方向和第二预设方向上是否均处于正脸状态；
若否，则确定所述第一超分辨率图像中的人脸符合预设校正条件。
5.根据权利要求4所述的方法，其特征在于，所述校正模型包括三维重建模块、第一生成模块和第二生成模块；
在所述人脸校正处理中，所述三维重建模块，用于对第二输入图像进行三维人脸重建处理，得到第一三维正脸图像；所述第一生成模块，用于根据所述第一三维正脸图像生成二维侧脸图像；所述第二生成模块，用于根据所述第一三维正脸图像和所述二维侧脸图像生成输出图像；
其中，若所述第一超分率图像中的人脸在所述第一预设方向或所述第二预设方向上未处于正脸状态，则所述三维重建模块在进行三维人脸重建时所处理的第二输入图像包括所述第一超分辨图像，所述第二生成模块的输出图像包括所述校正图像；若所述第一超分率图像中的人脸在所述第一预设方向和所述第二预设方向上均未处于正脸状态，则所述三维重建模块在进行三维人脸重建时所处理的第二输入图像依次为所述第一超分辨图像和所述第一超分辨图像对应的中间图像，所述第二生成模块的输出图像依次为所述中间图像和所述校正图像。
6.根据权利要求5所述的方法，其特征在于，所述对第二输入图像进行三维人脸重建处理，得到第一三维正脸图像，包括：
对第二输入图像进行纹理特征处理，得到第一纹理特征；
对所述第二输入图像进行三维人脸重建处理，得到第一三维侧脸模型；
将所述第一三维侧脸模型在目标方向上进行第一旋转，得到三维正脸模型；其中，目标方向包括第一预设方向或第二预设方向；
对所述第一纹理特征和所述三维正脸模型进行融合处理，得到第一三维正脸图像。
7.根据权利要求5所述的方法，其特征在于，所述根据所述第一三维正脸图像生成二维侧脸图像，包括：
将所述第一三维正脸图像在目标方向上进行第二旋转，得到所述目标方向上的第一三维侧脸图像；所述目标方向包括所述第一预设方向或所述第二预设方向；
对所述第一三维侧脸图像进行渲染处理，得到二维渲染图像；
对所述二维渲染图像进行平滑处理，得到二维侧脸图像。
8.根据权利要求5所述的方法，其特征在于，所述根据所述第一三维正脸图像和所述二维侧脸图像生成输出图像，包括：
对所述二维侧脸图像进行纹理特征处理，得到第二纹理特征；
将所述第一三维正脸图像对应的三维正脸模型在目标方向上进行第二旋转，得到所述目标方向上的第二三维侧脸模型；所述目标方向包括所述第一预设方向或所述第二预设方向；
对所述第二纹理特征和所述第二三维侧脸模型进行融合处理，得到第二三维侧脸图像；
将所述第二三维侧脸图像在所述目标方向上进行第三旋转，得到第二三维正脸图像；
对所述第二三维正脸图像进行渲染处理，得到输出图像。
9.根据权利要求1所述的方法，其特征在于，所述将所述第一超分辨率图像输入校正模型中进行人脸校正处理，输出校正图像之后，所述方法还包括：
将所述校正图像输入神经渲染模型中进行神经渲染处理，输出神经渲染图像；
将所述神经渲染图像输入重建模型中进行重建处理，输出重建图像；
所述将所述校正图像输入所述超分模型中进行优化处理，得到第二超分辨率的目标优化图像，包括：将所述重建图像输入所述超分模型中进行优化处理，得到第二超分辨率的目标优化图像。
10.一种校正模型的训练方法，其特征在于，包括：
获取多个训练样本图像；所述训练样本图像中的人脸在预设方向上处于侧脸状态；
将所述训练样本图像输入待训练模型中进行训练处理，得到校正模型；其中，所述校正模型用于对符合预设校正条件的待校正图像进行人脸校正处理，得到校正图像；所述校正图像中的人脸在所述预设方向上处于正脸状态。
11.根据权利要求10所述的方法，其特征在于，所述待训练模型包括三维重建模块、第一生成模块和第二生成模块；
在所述训练处理中，所述三维重建模块，用于对第三输入图像进行三维人脸重建处理，得到第一三维正脸图像；所述第一生成模块，用于根据所述第一三维正脸图像生成二维侧脸图像；所述第二生成模块，用于根据所述第一三维正脸图像和所述二维侧脸图像生成输出图像，并输出所述输出图像；
其中，若所述训练样本图像中的人脸在第一预设方向或第二预设方向上处于侧脸状态，则所述三维重建模块在进行三维人脸重建时所处理的第三输入图像包括所述训练样本图像，所述第二生成模块的输出图像包括校正图像；若所述训练样本图像中的人脸在所述第一预设方向和所述第二预设方向上均处于侧脸状态，则所述三维重建模块在进行三维人脸重建时所处理的第三输入图像依次为所述训练样本图像和所述训练样本图像对应的中间图像，所述第二生成模块的输出图像依次为所述中间图像和所述校正图像。
12.一种图像优化转置，其特征在于，包括：
获取模块，用于获取待优化的人脸图像；
第一优化模块，用于将所述人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；所述超分模型是对RDN模型进行优化所得；
校正模块，用于若所述第一超分辨率图像中的人脸符合预设校正条件，则将所述第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；所述校正图像中的人脸在预设方向上处于正脸状态；
第二优化模块，用于将所述校正图像输入所述超分模型中进行优化处理，得到第二超分辨率的目标优化图像。
13.一种校正模型的训练装置，其特征在于，包括：
获取模块，用于获取多个训练样本图像；所述训练样本图像中的人脸在预设方向上处于侧脸状态；
训练模块，用于将所述训练样本图像输入待训练模型中进行训练处理，得到校正模型；其中，所述校正模型用于对符合预设校正条件的待校正图像进行人脸校正处理，输出校正图像；所述校正图像中的人脸在所述预设方向上处于正脸状态。
14.一种电子设备，包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行如权利要求1-9任一项所述的方法中的步骤，或者所述可执行指令包括用于执行如权利要求10-11所述的方法中的步骤。
15.一种存储介质，其特征在于，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行如权利要求1-9任一项所述的方法，或者所述可执行指令使得计算机执行如权利要求10-11所述的方法。
CN202210576940.XA 2022-05-25 2022-05-25 图像优化方法、校正模型的训练方法及装置 Pending CN114897700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210576940.XA CN114897700A (zh) 2022-05-25 2022-05-25 图像优化方法、校正模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210576940.XA CN114897700A (zh) 2022-05-25 2022-05-25 图像优化方法、校正模型的训练方法及装置

Publications (1)

Publication Number Publication Date
CN114897700A true CN114897700A (zh) 2022-08-12

Family

ID=82726952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210576940.XA Pending CN114897700A (zh) 2022-05-25 2022-05-25 图像优化方法、校正模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN114897700A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224887A (ja) * 2015-06-04 2016-12-28 大日本印刷株式会社 立体物造形用データ出力規制装置
CN110428428A (zh) * 2019-07-26 2019-11-08 长沙理工大学 一种图像语义分割方法、电子设备和可读存储介质
US20210232803A1 (en) * 2020-01-23 2021-07-29 Northeastern University Frontal Face Synthesis from Low-Resolution Images
WO2021164429A1 (zh) * 2020-02-21 2021-08-26 京东方科技集团股份有限公司 图像处理方法、图像处理装置及设备
CN114238904A (zh) * 2021-12-08 2022-03-25 马上消费金融股份有限公司 身份识别方法、双通道超分模型的训练方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224887A (ja) * 2015-06-04 2016-12-28 大日本印刷株式会社 立体物造形用データ出力規制装置
CN110428428A (zh) * 2019-07-26 2019-11-08 长沙理工大学 一种图像语义分割方法、电子设备和可读存储介质
US20210232803A1 (en) * 2020-01-23 2021-07-29 Northeastern University Frontal Face Synthesis from Low-Resolution Images
WO2021164429A1 (zh) * 2020-02-21 2021-08-26 京东方科技集团股份有限公司 图像处理方法、图像处理装置及设备
CN114238904A (zh) * 2021-12-08 2022-03-25 马上消费金融股份有限公司 身份识别方法、双通道超分模型的训练方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邢晓羊;魏敏;符颖;: "基于特征损失的医学图像超分辨率重建", 计算机工程与应用, no. 20, 6 February 2018 (2018-02-06), pages 207 - 212 *

Similar Documents

Publication Publication Date Title
CN108509915B (zh) 人脸识别模型的生成方法和装置
JP7490141B2 (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
CN111274977B (zh) 多任务卷积神经网络模型及使用方法、装置和存储介质
CN106651877B (zh) 实例分割方法及装置
Samet et al. Houghnet: Integrating near and long-range evidence for bottom-up object detection
CN111814794B (zh) 文本检测方法、装置、电子设备及存储介质
Xu et al. Effective face detector based on yolov5 and superresolution reconstruction
US20230021661A1 (en) Forgery detection of face image
CN109492674B (zh) 用于目标检测的ssd框架的生成方法及装置
CN114238904B (zh) 身份识别方法、双通道超分模型的训练方法及装置
CN112800468B (zh) 一种基于隐私保护的数据处理方法、装置及设备
CN113807361B (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
CN114445904A (zh) 基于全卷积神经网络的虹膜分割方法和装置、介质和设备
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN111353514A (zh) 模型训练方法、图像识别方法、装置及终端设备
CN114758145A (zh) 一种图像脱敏方法、装置、电子设备及存储介质
CN114202457A (zh) 低分辨率图像的处理方法、电子设备及计算机程序产品
Khare et al. Multi-resolution approach to human activity recognition in video sequence based on combination of complex wavelet transform, Local Binary Pattern and Zernike moment
CN116071804A (zh) 人脸识别的方法、装置和电子设备
CN114897700A (zh) 图像优化方法、校正模型的训练方法及装置
CN113421317B (zh) 一种生成图像的方法、系统及电子设备
CN116543246A (zh) 图像去噪模型的训练方法、图像去噪方法、装置及设备
CN108629264B (zh) 用于图像处理的方法和装置
CN114677611A (zh) 数据识别方法、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination