CN111259841B - 一种图像处理方法及相关设备 - Google Patents
一种图像处理方法及相关设备 Download PDFInfo
- Publication number
- CN111259841B CN111259841B CN202010068139.5A CN202010068139A CN111259841B CN 111259841 B CN111259841 B CN 111259841B CN 202010068139 A CN202010068139 A CN 202010068139A CN 111259841 B CN111259841 B CN 111259841B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- images
- channel
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 61
- 230000003321 amplification Effects 0.000 claims abstract description 52
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 52
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 8
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 4
- 101150064138 MAP1 gene Proteins 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法及相关设备，其中，所述方法包括：获取目标人脸的N张第一人脸图像，N为不小于3的整数；将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率。可见，通过本申请提供的技术方案，能够将小尺寸、低分辨率的人脸图像合成大尺寸、高分辨率的人脸图像，有利于实现人脸精确识别。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像处理方法及相关设备。
背景技术
理想情况下的安防场景中，希望对安防摄像头拍摄得到的图片或者视频序列中的所有人、车等目标都做到精准的识别。然而，实际情况下的安防场景中，为了使安防摄像头获得更大的监控范围，往往将安防摄像头安装在相对较高的位置。这样安装虽然使安防摄像头获得了更大的监控范围，但是安防摄像头拍摄得到的图片中的目标物体，包括人脸、人体、车等在图像分辨率上都会较小，从而无法精确识别。
发明内容
本申请实施例提供了一种图像处理方法及相关设备，能够将小尺寸、低分辨率的人脸图像合成大尺寸、高分辨率的人脸图像，有利于实现人脸精确识别。
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
获取目标人脸的N张第一人脸图像，N为不小于3的整数；
将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率。
第二方面，本申请实施例提供了一种图像处理装置，所述装置包括处理单元，所述处理单元用于：
获取目标人脸的N张第一人脸图像，N为不小于3的整数；
以及将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率。
第三方面，本申请实施例提供了一种图像处理芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第四方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。
第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质用于存储计算机程序，其中，上述计算机程序被处理器执行，以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请提供的技术方案，电子设备获取目标人脸的N张第一人脸图像，N为不小于3的整数；然后将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率。可见，在本申请提供的技术方案中，电子设备在对目标人脸进行人脸识别的过程中，若存在人脸尺寸较小、分辨率较低，无法精确识别时，则获取该目标人脸的多张人脸图像，通过该目标人脸的多张人脸图像合成人脸尺寸较大、分辨率较高的该目标人脸的一张人脸图像，然后再对合成的该目标人脸的尺寸较大、分辨率较高的人脸图像进行人脸识别，从而有利于实现人脸精确识别。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的硬件结构示意图。
图2是本申请实施例提供的一种图像处理方法的流程示意图。
图3A是本申请实施例提供的一种人脸图像超分辨率放大模型的结构示意图。
图3B是本申请实施例提供的一种运动补偿模型的结构示意图。
图3C是本申请实施例提供的一种超分辨率模型的结构示意图。
图4是本申请实施例提供的一种人脸属性损失和感受野损失的生成流程示意图。
图5是本申请实施例提供的一种基于人脸超分辨率算法的安防监控方法流程示意图。
图6是本申请实施例提供的一种电子设备的结构示意图。
图7是本申请实施例提供的一种图像处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，智能手机、平板电脑、电子书等能够运行应用程序的电子设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等。
请参考图1，图1是本申请一个示例性实施例提供的电子设备100的硬件结构示意图。本申请中的电子设备100可以包括一个或多个如下部件：处理器、存储器和收发器等。可选地，所述电子设备100还可以包括：摄像头、信号处理器、显示屏、扬声器、麦克风、随机存取存储器(RAM)、红外灯等。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块通信芯片进行实现。
存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器包括非瞬时性计算机可读介质(non-transitorycomputer-readable storage medium)。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如人脸图像超分辨率放大模型等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)或其它系统。存储数据区还可以存储电子设备100在使用中所创建的数据(比如人脸图像、放大预设倍数的人脸图像等)。
请参阅图2，图2是本申请实施例提供的一种图像处理方法的流程示意图，所述图像处理方法可以应用于如图1所示的电子设备。如图2所示，所述图像处理方法的执行主体是电子设备，所述方法包括以下操作步骤。
S201、获取目标人脸的N张第一人脸图像，N为不小于3的整数。
其中，所述N张第一人脸图像可以是是通过所述电子设备采集视频，从视频中获取的多帧图像中提取的人脸图像，例如电子设备采集到的视频，在视频中检测到人脸，然后提取该人脸区域的图像，得到N张第一人脸图像；所述N张第一人脸图像也可以是通过所述电子设备的摄像头获取图像，从获取的多张图像中提取人脸图像，例如电子设备开启摄像头采集多张图像，在该多张图像中检测到人脸，然后提取该人脸区域的图像，得到N张第一人脸图像。
优选的，所述目标人脸的N张第一人脸图像为所述目标人脸的连续的多张人脸图像，例如所述目标人脸的N张第一人脸图像为视频中连续几帧图像中提取的该目标人脸的人脸图像，或者所述目标人脸的N张第一人脸图像为所述电子设备通过摄像头连续采集该目标人脸的几张图像，从所述几张图像中提取的该目标人脸的人脸图像。
优选的，所述N为不小于3的奇数，例如3、5、7、9等。
S202、将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率。
其中，所述人脸图像超分辨率放大模型基于一种多输入的卷积神经网络结构，使用目标人脸的多张人脸图像作为输入，输出目标人脸的一张放大预设倍数的高分辨率的人脸图像。所述人脸图像超分辨率放大模型是预先通过将大量的大尺寸、高分辨率的不同历史人脸的人脸图像缩小为小尺寸、低分辨率的该历史人脸的人脸图像，然后采用所述卷积神经网络进行训练得到的。
其中，所述多张人脸图像以及放大预设倍数的高分辨率的人脸图像的格式可以是RGB格式，也可以是YUV格式(一种颜色编码格式)。
可选的，所述预设倍数可以是4倍。
可以看出，本申请实施例提供的图像处理方法，电子设备获取目标人脸的N张第一人脸图像，N为不小于3的整数；将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率。可见，在本申请实施例提供的图像处理方法中，电子设备在对目标人脸进行人脸识别的过程中，若存在人脸尺寸较小、分辨率较低，无法精确识别时，获取该目标人脸的多张人脸图像，通过该目标人脸的多张人脸图像合成人脸尺寸较大、分辨率较高的该目标人脸的一张人脸图像，然后再对合成的该目标人脸的尺寸较大、分辨率较高的人脸图像进行人脸识别，从而有利于实现人脸精确识别。
在一个可能的示例中，所述N张第一人脸图像为YUV格式，所述将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，包括：根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像；以及根据其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像合成所述第二人脸图像。
其中，只使用Y通道作为输入，是因为Y通道已经含有图像的所有纹理信息，减少其他冗余信息，可以使网络运行效率更高。
请一并参阅图3A，图3A是本申请实施例提供的一种人脸图像超分辨率放大模型的结构示意图。如图3A所示，以目标人脸的3张人脸图像作为输入举例说明，将该目标人脸的YUV格式的人脸图像0、人脸图像1、人脸图像2(im0、im1、im2)的Y通道图像提取出，得到人脸图像0的Y通道图像、人脸图像1的Y通道图像、人脸图像2的Y通道图像(im0_y、im1_y、im2_y)，然后根据人脸图像0的Y通道图像、人脸图像1的Y通道图像、人脸图像2的Y通道图像合成一张高分辨率的放大预设倍数的Y通道图像(SR_Result_y)，再提取人脸图像1的U通道图像和V通道图像，使用人脸图像1的U通道图像和V通道图像对放大预设倍数的Y通道图像进行重建，得到该目标人脸的一张高分辨率的放大预设倍数的人脸图像(SR_Result)。
可见，本示例中，将目标人脸的YUV格式的多张人脸图像的Y通道图像输入模型中进行放大，得到放大预设倍数的Y通道图像，再用多张人脸图像中的其中一张的U通达图像、V通道图像对放大预设倍数的Y通道图像进行重建，得到该目标人脸的一张放大预设倍数的人脸图像，仅使用Y通道图像进行放大提升分辨率，可以提高网络运行效率，减少合成大尺寸、高分辨率的人脸图像的耗时。
在一个可能的示例中，若所述N张第一人脸图像为RGB格式，在根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像之前，所述方法还包括：将RGB格式的所述N张第一人脸图像转换成YUV格式，得到YUV格式的N张第一人脸图像。
请继续参阅图3A，以目标人脸的3张人脸图像作为输入举例说明，如果输入到模型中的目标人脸的人脸图像0、人脸图像1、人脸图像2(im0、im1、im2)的格式为RGB格式，则对人脸图像0、人脸图像1、人脸图像2进行格式转换，得到YUV格式的人脸图像0、人脸图像1、人脸图像2，再提取YUV格式的人脸图像0、人脸图像1、人脸图像2的Y通道图像，得到人脸图像0的Y通道图像、人脸图像1的Y通道图像、人脸图像2的Y通道图像(im0_y、im1_y、im2_y)，然后根据人脸图像0的Y通道图像、人脸图像1的Y通道图像、人脸图像2的Y通道图像合成一张高分辨率的放大预设倍数的Y通道图像(SR_Result_y)，再提取人脸图像1的U通达图像和V通道图像，使用人脸图像1的U通达图像和V通道图像对放大预设倍数的Y通道图像进行重建，得到该目标人脸的一张高分辨率的放大预设倍数的人脸图像(SR_Result)。
可见，本示例中，人脸图像超分辨率放大模型可以将输入的目标人脸的RGB格式的人脸图像转换成YUV格式，再采用多张YUV格式的人脸图像进行放大合成该目标人脸的一张大尺寸、高分辨率的人脸图像，从而可以对多种格式的图像进行处理，丰富模型的兼容程度。
在一个可能的示例中，所述人脸图像超分辨率放大模型包括运动补偿模型和超分辨率模型，所述根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像，包括：以所述其中一张第一人脸图像的第一Y通道图像为基准Y通道图像；将其他N-1张第一人脸图像的第一Y通道图像和所述基准Y通道图像输入到所述运动补偿模型，预测出所述N-1张第一人脸图像的第一Y通道图像相对于所述基准Y通道图像的光流，得到N-1个光流，所述N-1个光流与所述N-1张第一人脸图像的第一Y通道图像一一对应；以及预测出所述N-1张第一人脸图像的第一Y通道图像根据所述N-1个光流进行变换的结果，得到N-1张第三Y通道图像，所述N-1张第三Y通道图像与所述N-1张第一人脸图像的第一Y通道图像一一对应；将所述基准Y通道图像和所述N-1张第三Y通道图像输入到所述超分辨率模型，合成所述第二Y通道图像。
其中，运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法。
优选地，所述N为奇数，所述N张第一人脸图像为视频中连续的N帧图像或者摄像头连续获取的N张图像，所述基准Y通道图像为所述N张第一人脸图像中最中间的那张第一人脸图像的Y通道图像。
举例来说，假设N为3，输入的连续几张人脸图像为人脸图像0、人脸图像1、人脸图像2(im0、im1、im2)，所述基准Y通道图像为人脸图像1(im1)的Y通道图像；或者假设N为5，输入的连续几张人脸图像为人脸图像0、人脸图像1、人脸图像2、人脸图像3、人脸图像4(im0、im1、im2、im3、im4)，所述基准Y通道图像为人脸图像2(im2)的Y通道图像。
请继续参阅图3A，以目标人脸的3张人脸图像作为输入举例说明，将该目标人脸的人脸图像0的Y通道图像、人脸图像1的Y通道图像、人脸图像2的Y通道图像(im0_y、im1_y、im2_y)输入到运动补偿模型(Motion Estimation)中，以人脸图像1的Y通道图像作为基准Y通道图像(im1_y)；预测出人脸图像0相对于人脸图像1的光流0-1(flow0_1)，以及预测出人脸图像2相对于人脸图像1的光流2-1(flow2_1)；同时预测出人脸图像0通过光流0-1向人脸图像1进行变换的结果，得到人脸图像0变换为人脸图像1后的Y通道图像，记为人脸图像0-1的Y通道图像(im0_1_warp_y)；以及预测出人脸图像2通过光流2-1向人脸图像1进行变换的结果，得到人脸图像2变换为人脸图像1后的Y通道图像，记为人脸图像2-1的Y通道图像(im2_1_warp_y)；然后将人脸图像0-1的Y通道图像、人脸图像1的Y通道图像、人脸图像2-1的Y通道图像(im0_1_warp_y、im1_y、im2_1_warp_y)输入到超分辨率模型(SuperResolution Model，SR)，得到一张高分辨率、放大预设倍数的Y通道图像。
请一并参阅图3B，图3B是本申请实施例提供的一种运动补偿模型的结构示意图。如图3B所示，所述运动补偿模型的输入为两张Y通道图像(人脸图像0的Y通道图像、人脸图像1的Y通道图像)，设为(im0_y，im1_y)，所述运动补偿模型用来估计两帧人脸图像之间的相对运动关系，预测出两帧人脸图像之间的光流1-0(flow1_0)，同时预测出人脸图像1的Y通道图像(im1_y)通过光流1-0(flow1_0)变换回人脸图像0的Y通道图像(im0_y)的变换结果人脸图像1-0的Y通道图像(im1_0_warp_y)；其中，所述运动补偿模型采用运动补充网络(Motion Estimation网络)训练得到。
请一并参阅图3C，图3C是本申请实施例提供的一种超分辨率模型的结构示意图。如图3C所示，以目标人脸的3张人脸图像作为输入，合成一张高分辨率放大4倍的人脸图像来举例说明，所述超分辨率模型的输入是尺寸为w×h的人脸图像0-1的Y通道图像、人脸图像1的Y通道图像、人脸图像2-1的Y通道图像(im0_1_warp_y、im1_y、im2_1_warp_y)三张Y通道图像，通过超分辨率模型对该三张Y通道图像进行人脸特征提取，然后根据人脸特征合成一张4w×4h的Y通道图像，也即做4倍放大，输出高分辨率的放大4倍的该目标人脸的Y通道图像。其中，所述超分辨率模型是预先通过将大量的大尺寸、高分辨率的不同历史人脸的人脸图像缩小为小尺寸、低分辨率的该历史人脸的人脸图像，然后采用卷积神经网络进行训练得到的。
可见，本示例中，将目标人脸的YUV格式的多张人脸图像的Y通道图像输入运动补偿模型中进行运动补偿，得到该目标人脸运动补偿后的多张Y通道图像，再使用运动补偿后的多张Y通道图像合成该目标人脸的一张高分辨率、放大预设倍数的Y通道图像，运动补偿可以有效减少图像序列冗余信息，从而可以提高网络运行效率。
在一个可能的示例中，所述人脸图像超分辨率放大模型还包括图像重建模型，所述根据其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像合成所述第二人脸图像，包括：将所述其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像输入到所述图像重建模型，合成所述第二人脸图像。
请继续参阅图3A，超分辨率模型输出合成的一张高分辨率、放大预设倍数的Y通道图像之后，提取人脸图像1的U通道图像和V通道图像，再将该放大预设倍数的Y通道图像、人脸图像1的U通道图像和V通道图像输入到图像重建模型(Reconstruction模型)，合成该目标人脸的一张高分辨率、放大预设倍数的人脸图像。
可见，本示例中，仅使用Y通道图像进行放大提升分辨率，然后直接将其中一张原人脸图像的U通道图像和V通道图像、放大后的Y通道图像输入到图像重建模型进行重建，得到目标人脸的高分辨率、放大预设倍数的人脸图像，可以提高网络运行效率。
在一个可能的示例中，若所述第二人脸图像为YUV格式，所述方法还包括：将所述YUV格式的第二人脸图像转换成RGB格式，得到RGB格式的第二人脸图像。
可见，本示例中，将合成的YUV格式的高分辨率、放大预设倍数的目标人脸的人脸图像转换到RGB空间，可以得到彩色的高分辨率、放大预设倍数的该目标人脸的人脸图像。
在一个可能的示例中，在将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型之前，所述方法还包括：获取M张历史人脸的多张第一历史人脸图像，对每张历史人脸执行以下操作：获取每张历史人脸的N张第一历史人脸图像；对所述N张第一历史人脸图像按照预设倍数进行缩小，得到N张第二历史人脸图像；将所述N张第二历史人脸图像输入到所述人脸图像超分辨率放大模型，合成所述历史人脸的一张第三历史人脸图像；提取所述N张第一历史人脸图像中的其中一张第一历史人脸图像的人脸关键信息，得到第一人脸关键信息，以及提取所述第三历史人脸图像的人脸关键信息，得到第二人脸关键信息；根据所述第一人脸关键信息和所述第二人脸关键信息确定人脸属性损失；将所述N张第一历史人脸图像中的其中一张第一历史人脸图像输入到预设的卷积神经网络，得到多张第一特征图，以及将所述第三历史人脸图像输入到所述卷积神经网络，得到多张第二特征图，所述多张第一特征图与所述多张第二特征图一一对应；根据所述多张第一特征图确定多个第一感受野，以及根据所述多张第二特征图确定多个第二感受野，所述多个第一感受野与所述多个第二感受野一一对应；根据所述多个第一感受野和所述多个第二感受野确定感受野损失；根据所述人脸属性损失、所述感受野损失训练所述人脸图像超分辨率放大模型。
可选地，所述根据所述人脸属性损失、所述感受野损失训练所述人脸图像超分辨率放大模型进行训练，包括：根据所述人脸属性损失、所述感受野损失训练所述超分辨率模型进行训练。
模型具体地训练的过程，就是把历史人脸的一张非常高分辨率的人脸图像(label)进行缩小，得到该历史人脸缩小后的人脸图像，然后用缩小后的人脸图像进行模型训练，然后获取不同历史人脸的多张人脸图像重复上述步骤。其中，模型的训练过程中，除了使用SR网络中使用较多的方差损失(mse_loss)和光流损失(flow_loss)以外，还加入人脸属性损失(face_attribute_loss)以及感受野损失(peceptual_loss)，保证最后输出的图像不产生变形，更加接近高分辨率的人脸图像(label)。
其中，人脸属性损失是对训练过程中采用历史人脸的高分辨率的人脸图像(label)进行3D人脸关键点提取得到第一人脸关键信息(label_landmark)，以及对训练过程中最后合成的历史人脸的放大预设倍数的人脸图像(SR_Result)进行人脸3D关键点提取得到第二人脸关键信息(sr_landmark)，计算第一人脸关键信息坐标与第二人脸关键信息坐标的均方差，将该均方差作为人脸属性损失。人脸属性损失(face_attribute_loss)的计算方法如公式(1)所示。
公式(1)中，N表示人脸关键点的总体个数；i表示计算人脸属性损失时，一个循环中的索引；x，y，z是指每一个人脸关键点的三维坐标。
其中，感受野损失的计算过程为：准备好一个在人脸识别数据集上训练好的卷积神经网络(Face_net)，分别将训练过程中历史人脸的高分辨率的人脸图像(label)和训练过程中最后合成的历史人脸的放大预设倍数的人脸图像(SR_Result)输入到所述卷积神经网络(Face_net)，以分别取其中的3层的输出结果(label_lev1、label_lev2、label_lev3)以及(SR_lev1、SR_lev2、SR_lev3)举例来说，对相同层的结果取方差损失，再相加得到感受野损失。感受野损失(peceptual_loss)的计算方法如公式(2)所示。
peceptual_loss＝mse_loss(label_lev1,SR_lev1)+mse_loss(label_lev2,SR_lev2)+mse_loss(label_lev3,SR_lev3) (2)
请一并参阅图4，图4是本申请实施例提供的一种人脸属性损失和感受野损失的生成流程示意图。如图4所示，首先，获取到历史人脸的多张高分辨率的人脸图像，将所述高分辨率的人脸图像进行缩小，得到多张缩小后的人脸图像，然后将多张缩小后的人脸图像输入到人脸图像超分辨率放大模型，得到该历史人脸的一张放大预设倍数的人脸图像。其次，对其中一张高分辨率的人脸图像进行人脸关键点提取，得到第一人脸关键信息，以及对放大预设倍数的人脸图像进行人脸关键点提取，得到第二人脸关键信息；根据第一人脸关键信息、第二人脸关键信息利用公式(1)计算得到人脸属性损失。再次，将所述其中一张高分辨率的人脸图像输入到卷积神经网络(Face_net)中，得到3层输出结果(第一特征图1、第一特征图2、第一特征图3)，以及将所述放大预设倍数的人脸图像输入到卷积神经网络(Face_net)中，得到另外3层输出结果(第二特征图1、第二特征图2、第二特征图3)；根据第一特征图1和第二特征图1计算得到第二方差损失1(mse_loss(label_lev1,SR_lev1))，根据第一特征图2和第二特征图2计算得到第二方差损失2(mse_loss(label_lev2,SR_lev2))，根据第一特征图3和第二特征图3计算得到第二方差损失3(mse_loss(label_lev2,SR_lev2))；再根据第二方差损失1、第二方差损失2、第二方差损失2利用公式(2)计算得到感受野损失。
可见，本示例中，采用人脸属性损失和感受野损失训练人脸图像超分辨率放大模型，可以使放大后的人脸图像不发生变形，确保将人脸图像提高分辨率、放大后保持人脸特征不变，从而有利于人脸精确识别。
请参阅图5，图5是本申请实施例提供的一种基于人脸超分辨率算法的安防监控方法的流程示意图，所述安防监控方法可以应用于如图1所示的电子设备。如图5所示，所述安防监控方法的执行主体是电子设备，所述方法包括以下操作步骤。
S501、获取目标视频。
其中，所述电子设备可以是安防设备，所述目标视频可以通过安防摄像头获取得到。
S502、对所述目标视频进行扫描，检测人脸。
S503、判断检测到的目标人脸的尺寸是否大于20×20。
S504、若检测到的目标人脸的尺寸不大于20×20，则从所述目标视频中获取所述目标人脸的连续几张人脸图像。
其中，可以理解的是，若检测到的目标人脸的尺寸大于20×20，则直接进行人脸识别，也即此时目标人脸的分辨率较高，可以精确实现人脸识别。
S505、将所述连续几张人脸图像输入到人脸图像超分辨率放大模型进行放大，合成目标人脸的一张放大后的高分辨率的人脸图像。
其中，可以理解的是，当目标人脸的尺寸不大于20×20时，通过获取目标人脸的连续几张人脸图像，将其输入到所述人脸图像超分辨率放大模型中合成一张人脸尺寸大于20×20的人脸图像，以使能够精确实现人脸识别。
另外，所述人脸图像超分辨率放大模型是预先通过将大量的大尺寸、高分辨率的不同历史人脸的人脸图像缩小为小尺寸、低分辨率的该历史人脸的人脸图像，然后采用预设的神经网络进行训练得到的。
S506、对所述目标人脸进行人脸识别。
其中，所述对所述目标人脸进行人脸识别包括：当所述目标人脸的尺寸不大于20×20时，对目标人脸的一张放大后的高分辨率的人脸图像进行人脸识别；当所述目标人脸的尺寸大于20×20时，对该目标人脸的原图像进行人脸识别。
S507、对识别的结果进行认证或者报警处理。
可见，本申请实施例提供的基于人脸超分辨率算法的安防监控方法，将人脸图像超分辨率放大模型使用到安防监控系统中，对人脸检测后小于一定尺度的人脸图像进行放大，再做人脸识别，提高识别精度。
与上述图2、图5所示的实施例一致的，请参阅图6，图6是本申请实施例提供的一种电子设备600的结构示意图。如图6所示，所述电子设备600包括应用处理器610、存储器620、通信接口630以及一个或多个程序621，其中，所述一个或多个程序621被存储在上述存储器620中，并且被配置由上述应用处理器610执行，所述一个或多个程序621包括用于执行上述方法实施例中任一步骤的指令。
在一个可能的示例中，所述程序621中包括用于执行以下步骤的指令：获取目标人脸的N张第一人脸图像，N为不小于3的整数；以及将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率。
可以看出，本申请实施例提供的电子设备，获取目标人脸的N张第一人脸图像，N为不小于3的整数；然后将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率。可见，本申请实施例提供的电子设备在对目标人脸进行人脸识别的过程中，若存在人脸尺寸较小、分辨率较低，无法精确识别时，获取该目标人脸的多张人脸图像，通过该目标人脸的多张人脸图像合成人脸尺寸较大、分辨率较高的该目标人脸的一张人脸图像，然后再对合成的该目标人脸的尺寸较大、分辨率较高的人脸图像进行人脸识别，从而有利于实现人脸精确识别。
在一个可能的示例中，所述N张第一人脸图像为YUV格式，在将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像方面，所述程序621中的指令具体用于执行以下操作：根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像；以及根据其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像合成所述第二人脸图像。
在一个可能的示例中，若所述N张第一人脸图像为RGB格式，在根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像之前，所述程序621中的指令还用于执行以下操作：将RGB格式的所述N张第一人脸图像转换成YUV格式，得到YUV格式的N张第一人脸图像。
在一个可能的示例中，所述人脸图像超分辨率放大模型包括运动补偿模型和超分辨率模型，在根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像方面，所述程序621中的指令具体用于执行以下操作：以所述其中一张第一人脸图像的第一Y通道图像为基准Y通道图像；将其他N-1张第一人脸图像的第一Y通道图像和所述基准Y通道图像输入到所述运动补偿模型，预测出所述N-1张第一人脸图像的第一Y通道图像相对于所述基准Y通道图像的光流，得到N-1个光流，所述N-1个光流与所述N-1张第一人脸图像的第一Y通道图像一一对应；以及预测出所述N-1张第一人脸图像的第一Y通道图像根据所述N-1个光流进行变换的结果，得到N-1张第三Y通道图像，所述N-1张第三Y通道图像与所述N-1张第一人脸图像的第一Y通道图像一一对应；将所述基准Y通道图像和所述N-1张第三Y通道图像输入到所述超分辨率模型，合成所述第二Y通道图像。
在一个可能的示例中，所述人脸图像超分辨率放大模型还包括图像重建模型，在根据其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像合成所述第二人脸图像方面，所述程序621中的指令具体用于执行以下操作：将所述其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像输入到所述图像重建模型，合成所述第二人脸图像。
在一个可能的示例中，若所述第二人脸图像为YUV格式，所述程序621中的指令还用于执行以下操作：将所述YUV格式的第二人脸图像转换成RGB格式，得到RGB格式的第二人脸图像。
在一个可能的示例中，在将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型之前，所述程序621中的指令还用于执行以下操作：获取M张历史人脸的多张第一历史人脸图像，对每张历史人脸执行以下操作：获取每张历史人脸的N张第一历史人脸图像；对所述N张第一历史人脸图像按照预设倍数进行缩小，得到N张第二历史人脸图像；将所述N张第二历史人脸图像输入到所述人脸图像超分辨率放大模型，合成所述历史人脸的一张第三历史人脸图像；提取所述N张第一历史人脸图像中的其中一张第一历史人脸图像的人脸关键信息，得到第一人脸关键信息，以及提取所述第三历史人脸图像的人脸关键信息，得到第二人脸关键信息；根据所述第一人脸关键信息和所述第二人脸关键信息确定人脸属性损失；将所述N张第一历史人脸图像中的其中一张第一历史人脸图像输入到预设的卷积神经网络，得到多张第一特征图，以及将所述第三历史人脸图像输入到所述卷积神经网络，得到多张第二特征图，所述多张第一特征图与所述多张第二特征图一一对应；根据所述多张第一特征图确定多个第一感受野，以及根据所述多张第二特征图确定多个第二感受野，所述多个第一感受野与所述多个第二感受野一一对应；根据所述多个第一感受野和所述多个第二感受野确定感受野损失；根据所述人脸属性损失、所述感受野损失训练所述人脸图像超分辨率放大模型。
其中，需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
请参阅图7，图7是本申请实施例中所涉及的图像处理装置700的功能单元组成框图。所述图像处理装置700应用于电子设备，所述图像处理装置包括处理单元701和通信单元702，其中，所述处理单元701，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元702来完成相应操作。下面进行详细说明。
在一个可能的示例中，所述处理单元701用于：获取目标人脸的N张第一人脸图像，N为不小于3的整数；以及将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率。
可以看出，本申请实施例提供的图像处理装置，获取目标人脸的N张第一人脸图像，N为不小于3的整数；然后将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率。可见，电子设备在对目标人脸进行人脸识别的过程中，若存在人脸尺寸较小、分辨率较低，无法精确识别时，本申请实施例提供的图像处理装置获取该目标人脸的多张人脸图像，通过该目标人脸的多张人脸图像合成人脸尺寸较大、分辨率较高的该目标人脸的一张人脸图像，然后电子设备再对合成的该目标人脸的尺寸较大、分辨率较高的人脸图像进行人脸识别，从而有利于实现人脸精确识别。
在一个可能的示例中，所述N张第一人脸图像为YUV格式，在将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像方面，所述处理单元701具体用于：根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像；以及根据其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像合成所述第二人脸图像。
在一个可能的示例中，若所述N张第一人脸图像为RGB格式，在根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像之前，所述处理单元701还用于：将RGB格式的所述N张第一人脸图像转换成YUV格式，得到YUV格式的N张第一人脸图像。
在一个可能的示例中，所述人脸图像超分辨率放大模型包括运动补偿模型和超分辨率模型，在根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像方面，所述处理单元701具体用于：以所述其中一张第一人脸图像的第一Y通道图像为基准Y通道图像；将其他N-1张第一人脸图像的第一Y通道图像和所述基准Y通道图像输入到所述运动补偿模型，预测出所述N-1张第一人脸图像的第一Y通道图像相对于所述基准Y通道图像的光流，得到N-1个光流，所述N-1个光流与所述N-1张第一人脸图像的第一Y通道图像一一对应；以及预测出所述N-1张第一人脸图像的第一Y通道图像根据所述N-1个光流进行变换的结果，得到N-1张第三Y通道图像，所述N-1张第三Y通道图像与所述N-1张第一人脸图像的第一Y通道图像一一对应；将所述基准Y通道图像和所述N-1张第三Y通道图像输入到所述超分辨率模型，合成所述第二Y通道图像。
在一个可能的示例中，所述人脸图像超分辨率放大模型还包括图像重建模型，在根据其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像合成所述第二人脸图像方面，所述处理单元701具体用于：将所述其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像输入到所述图像重建模型，合成所述第二人脸图像。
在一个可能的示例中，若所述第二人脸图像为YUV格式，所述处理单元701还用于：将所述YUV格式的第二人脸图像转换成RGB格式，得到RGB格式的第二人脸图像。
在一个可能的示例中，在将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型之前，所述处理单元701还用于：获取M张历史人脸的多张第一历史人脸图像，对每张历史人脸执行以下操作：获取每张历史人脸的N张第一历史人脸图像；对所述N张第一历史人脸图像按照预设倍数进行缩小，得到N张第二历史人脸图像；将所述N张第二历史人脸图像输入到所述人脸图像超分辨率放大模型，合成所述历史人脸的一张第三历史人脸图像；提取所述N张第一历史人脸图像中的其中一张第一历史人脸图像的人脸关键信息，得到第一人脸关键信息，以及提取所述第三历史人脸图像的人脸关键信息，得到第二人脸关键信息；根据所述第一人脸关键信息和所述第二人脸关键信息确定人脸属性损失；将所述N张第一历史人脸图像中的其中一张第一历史人脸图像输入到预设的卷积神经网络，得到多张第一特征图，以及将所述第三历史人脸图像输入到所述卷积神经网络，得到多张第二特征图，所述多张第一特征图与所述多张第二特征图一一对应；根据所述多张第一特征图确定多个第一感受野，以及根据所述多张第二特征图确定多个第二感受野，所述多个第一感受野与所述多个第二感受野一一对应；根据所述多个第一感受野和所述多个第二感受野确定感受野损失；根据所述人脸属性损失、所述感受野损失训练所述人脸图像超分辨率放大模型。
其中，所述图像处理装置700还可以包括存储单元703，用于存储电子设备的程序代码和数据。所述处理单元701可以是处理器，所述通信单元702可以是触控显示屏或者收发器，存储单元703可以是存储器。
可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。
本申请实施例还提供了一种图像处理芯片，其中，该芯片包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述方法实施例中电子设备所描述的部分或全部步骤。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种图像处理方法，其特征在于，所述方法包括：
获取目标人脸的N张第一人脸图像，N为不小于3的整数；所述N张第一人脸图像为YUV格式；
将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，包括：根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像；以及根据其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像合成所述第二人脸图像；所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率；所述人脸图像超分辨率放大模型包括运动补偿模型和超分辨率模型；
其中，所述根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像，包括：以所述其中一张第一人脸图像的第一Y通道图像为基准Y通道图像；将其他N-1张第一人脸图像的第一Y通道图像和所述基准Y通道图像输入到所述运动补偿模型，预测出所述N-1张第一人脸图像的第一Y通道图像相对于所述基准Y通道图像的光流，得到N-1个光流，所述N-1个光流与所述N-1张第一人脸图像的第一Y通道图像一一对应；以及预测出所述N-1张第一人脸图像的第一Y通道图像根据所述N-1个光流进行变换的结果，得到N-1张第三Y通道图像，所述N-1张第三Y通道图像与所述N-1张第一人脸图像的第一Y通道图像一一对应；将所述基准Y通道图像和所述N-1张第三Y通道图像输入到所述超分辨率模型，合成所述第二Y通道图像。
2.根据权利要求1所述的方法，其特征在于，若所述N张第一人脸图像为RGB格式，在根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像之前，所述方法还包括：
将RGB格式的所述N张第一人脸图像转换成YUV格式，得到YUV格式的N张第一人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述人脸图像超分辨率放大模型还包括图像重建模型，所述根据其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像合成所述第二人脸图像，包括：
将所述其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像输入到所述图像重建模型，合成所述第二人脸图像。
4.根据权利要求1-3任一项所述的方法，其特征在在于，在将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型之前，所述方法还包括：
获取M张历史人脸的多张第一历史人脸图像，对每张历史人脸执行以下操作：
获取每张历史人脸的N张第一历史人脸图像；
对所述N张第一历史人脸图像按照预设倍数进行缩小，得到N张第二历史人脸图像；
将所述N张第二历史人脸图像输入到所述人脸图像超分辨率放大模型，合成所述历史人脸的一张第三历史人脸图像；
提取所述N张第一历史人脸图像中的其中一张第一历史人脸图像的人脸关键信息，得到第一人脸关键信息，以及提取所述第三历史人脸图像的人脸关键信息，得到第二人脸关键信息；
根据所述第一人脸关键信息和所述第二人脸关键信息确定人脸属性损失；
将所述N张第一历史人脸图像中的其中一张第一历史人脸图像输入到预设的卷积神经网络，得到多张第一特征图，以及将所述第三历史人脸图像输入到所述卷积神经网络，得到多张第二特征图，所述多张第一特征图与所述多张第二特征图一一对应；
根据所述多张第一特征图确定多个第一感受野，以及根据所述多张第二特征图确定多个第二感受野，所述多个第一感受野与所述多个第二感受野一一对应；
根据所述多个第一感受野和所述多个第二感受野确定感受野损失；
根据所述人脸属性损失、所述感受野损失训练所述人脸图像超分辨率放大模型。
5.一种图像处理装置，其特征在于，所述装置包括处理单元，所述处理单元用于：
获取目标人脸的N张第一人脸图像，N为不小于3的整数；所述N张第一人脸图像为YUV格式；
以及将所述N张第一人脸图像输入到预设的人脸图像超分辨率放大模型，合成所述目标人脸的一张第二人脸图像，包括：根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像；以及根据其中一张第一人脸图像的U通道图像、V通道图像和所述第二Y通道图像合成所述第二人脸图像；所述第二人脸图像的尺寸为所述第一人脸图像的尺寸的预设倍数，所述第二人脸图像的分辨率大于所述第一人脸图像的分辨率；所述人脸图像超分辨率放大模型包括运动补偿模型和超分辨率模型；
其中，所述根据每张第一人脸图像的第一Y通道图像合成一张放大预设倍数的第二Y通道图像，包括：以所述其中一张第一人脸图像的第一Y通道图像为基准Y通道图像；将其他N-1张第一人脸图像的第一Y通道图像和所述基准Y通道图像输入到所述运动补偿模型，预测出所述N-1张第一人脸图像的第一Y通道图像相对于所述基准Y通道图像的光流，得到N-1个光流，所述N-1个光流与所述N-1张第一人脸图像的第一Y通道图像一一对应；以及预测出所述N-1张第一人脸图像的第一Y通道图像根据所述N-1个光流进行变换的结果，得到N-1张第三Y通道图像，所述N-1张第三Y通道图像与所述N-1张第一人脸图像的第一Y通道图像一一对应；将所述基准Y通道图像和所述N-1张第三Y通道图像输入到所述超分辨率模型，合成所述第二Y通道图像。
6.一种图像处理芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1-4中任一项所述的方法。
7.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-4任一项所述的方法中的步骤的指令。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010068139.5A CN111259841B (zh) | 2020-01-20 | 2020-01-20 | 一种图像处理方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010068139.5A CN111259841B (zh) | 2020-01-20 | 2020-01-20 | 一种图像处理方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111259841A CN111259841A (zh) | 2020-06-09 |
| CN111259841B true CN111259841B (zh) | 2023-06-13 |
Family
ID=70945506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010068139.5A Active CN111259841B (zh) | 2020-01-20 | 2020-01-20 | 一种图像处理方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111259841B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837937A (zh) * | 2020-06-24 | 2021-12-24 | Oppo广东移动通信有限公司 | 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法 |
| CN113840075B (zh) * | 2020-06-24 | 2022-08-16 | Oppo广东移动通信有限公司 | 电子设备和基于电子设备的图像融合方法 |
| CN112183353B (zh) * | 2020-09-28 | 2022-09-20 | 腾讯科技（深圳）有限公司 | 一种图像数据处理方法、装置和相关设备 |
| CN112348783B (zh) * | 2020-10-27 | 2022-08-05 | 基建通(三亚)国际科技有限公司 | 基于图像的人物识别方法、装置及计算机可读存储介质 |
| CN114066722B (zh) * | 2021-11-03 | 2024-03-19 | 抖音视界有限公司 | 用于获取图像的方法、装置和电子设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949217B (zh) * | 2017-12-20 | 2023-04-11 | 四川大学 | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN109087243B (zh) * | 2018-06-29 | 2023-05-05 | 中山大学 | 一种基于深度卷积生成对抗网络的视频超分辨率生成方法 |
| CN109741253A (zh) * | 2018-12-12 | 2019-05-10 | 深圳慧源创新科技有限公司 | 无人机图传视频近景远景切换技术 |
| CN109949221B (zh) * | 2019-01-30 | 2022-05-17 | 深圳大学 | 一种图像处理方法及电子设备 |
-
2020
- 2020-01-20 CN CN202010068139.5A patent/CN111259841B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111259841A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259841B (zh) | 一种图像处理方法及相关设备 | |
| CN108629743B (zh) | 图像的处理方法、装置、存储介质和电子装置 | |
| WO2021088473A1 (en) | Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium | |
| US10846836B2 (en) | View synthesis using deep convolutional neural networks | |
| WO2019153671A1 (zh) | 图像超分辨率方法、装置及计算机可读存储介质 | |
| CN111598776B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| US20230081645A1 (en) | Detecting forged facial images using frequency domain information and local correlation | |
| CN108121931B (zh) | 二维码数据处理方法、装置及移动终端 | |
| WO2023035531A1 (zh) | 文本图像超分辨率重建方法及其相关设备 | |
| CN108876716B (zh) | 超分辨率重建方法及装置 | |
| CN108376234B (zh) | 用于视频图像的情感识别系统及方法 | |
| CN112950640A (zh) | 视频人像分割方法、装置、电子设备及存储介质 | |
| CN111107278A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN112381707A (zh) | 图像生成方法、装置、设备以及存储介质 | |
| CN116611491A (zh) | 目标检测模型的训练方法、装置、电子设备和存储介质 | |
| CN112714263B (zh) | 视频生成方法、装置、设备及存储介质 | |
| CN113766117B (zh) | 一种视频去抖动方法和装置 | |
| CN111104827A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN109544490A (zh) | 图像增强方法、装置和计算机可读存储介质 | |
| CN113658073A (zh) | 图像去噪处理方法、装置、存储介质与电子设备 | |
| CN110223220B (zh) | 一种处理图像的方法和装置 | |
| US20230060988A1 (en) | Image processing device and method | |
| CN116486009A (zh) | 单目三维人体重建方法、装置以及电子设备 | |
| CN116266336A (zh) | 视频超分辨率重建方法、装置、计算设备及存储介质 | |
| CN115205325A (zh) | 目标追踪方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |