CN111488779B - 视频图像超分辨率重建方法、装置、服务器及存储介质 - Google Patents

视频图像超分辨率重建方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111488779B
CN111488779B CN201910657317.5A CN201910657317A CN111488779B CN 111488779 B CN111488779 B CN 111488779B CN 201910657317 A CN201910657317 A CN 201910657317A CN 111488779 B CN111488779 B CN 111488779B
Authority
CN
China
Prior art keywords
face
image
resolution
facial
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910657317.5A
Other languages
English (en)
Other versions
CN111488779A (zh
Inventor
史方
郭宏
王标
黄梓琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changxin Intelligent Control Network Technology Co ltd
Original Assignee
Changxin Intelligent Control Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changxin Intelligent Control Network Technology Co ltd filed Critical Changxin Intelligent Control Network Technology Co ltd
Priority to CN201910657317.5A priority Critical patent/CN111488779B/zh
Publication of CN111488779A publication Critical patent/CN111488779A/zh
Application granted granted Critical
Publication of CN111488779B publication Critical patent/CN111488779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于计算机技术领域，提出一种视频图像超分辨率重建方法，包括：从视频流中提取至少两个连续的目标图像帧，目标图像帧包含有待识别人脸的图像信息；跟踪待识别人脸的图像信息，获取目标图像帧中的人脸序列；计算待识别人脸的目标人脸特征点热力图；采用人脸图像重建模型对人脸序列以及目标人脸特征点热力图进行人脸图像重建，得到超分辨率人脸图像。由于待识别人脸特征点热力图包含有有效的人脸特征，因此采用预先训练完成的人脸图像重建模型对人脸序列以及目标人脸特征点热力图进行人脸图像重建，能够准确地还原出视频中的人脸细节，提高人脸图像重建的精度。本发明还提出一种视频图像超分辨率重建装置、服务器及存储介质。

Description

视频图像超分辨率重建方法、装置、服务器及存储介质
技术领域
本发明属于计算机技术领域，尤其涉及一种视频图像超分辨率重建方法、装置、服务器及存储介质。
背景技术
在监控安防应用中，经常需要从视频监控得到的图像中查找一些特殊身份的人，而由于行人与摄像头之间的距离较远以及摄像头分辨率有限等原因往往无法直接准确识别出视频监控图像中的行人。人脸作为图像中经常被关注的敏感区域，对特定身份的人的识别起到至关重要的作用，但是从视频监控中获取的低分辨率人脸图像包含信息量比较少，同时伴随着姿态、表情、光照等因素使得提取有效的人脸特征较为困难，增加了人脸图像重建的难度。因此，如何准确地还原出视频中的人脸细节，提高人脸图像重建的精度，得到超分辨率的人脸图像是亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种视频图像超分辨率重建方法、装置、服务器及存储介质，以解决现有技术中无法准确地还原出视频中的人脸细节的问题，提高人脸图像重建的精度。
本发明实施例的第一方面提供了一种视频图像超分辨率重建方法，包括：
从视频流中提取至少两个连续的目标图像帧，所述目标图像帧包含有待识别人脸的图像信息；
跟踪所述待识别人脸，获取所述连续的目标图像帧中的人脸序列；
计算所述待识别人脸的目标人脸特征点热力图；
采用预先训练完成的人脸图像重建模型对所述人脸序列以及所述目标人脸特征点热力图进行人脸图像重建，得到超分辨率人脸图像。
可选地，在所述根据预先训练完成的人脸图像重建模型对所述人脸序列进行人脸图像重建，得到超分辨率人脸图像之前，包括：
从预先确定的视频流中获取2n+1帧的第一分辨率人脸图像；
对所述2n+1帧的第一分辨率人脸图像进行下采样处理，得到2n+1帧的第二分辨率人脸图像，所述第一分辨率高于所述第二分辨率；
从所述2n+1帧的第一分辨率人脸图像中获取第n帧第一分辨率人脸图像，基于所述第n帧第一分辨率人脸图像和所述2n+1帧的第二分辨率人脸图像生成人脸特征对；
将所述人脸特征对输入预先建立的对抗神经网络模型进行训练，得到生成网络输出的生成人脸图像，所述生成人脸图像的分辨率与所述第n帧第一分辨率人脸图像的分辨率相同，所述对抗神经网络模型包括生成网络和识别网络；
分别计算所述生成人脸图像的人脸特征点热力图和所述第n帧第一分辨率人脸图像的人脸特征点热力图；
基于所述生成人脸图像的人脸特征点热力图、所述第n帧第一分辨率人脸图像的人脸特征点热力图以及所述人脸特征对训练所述对抗神经网络模型，得到训练完成的所述人脸图像重建模型。
可选地，所述分别计算生成人脸图像的人脸特征点热力图和所述第n帧第一分辨率人脸图像的人脸特征点热力图，包括：
检测所述生成人脸图像中的第一人脸关键特征点以及检测所述第n帧第一分辨率人脸图像中的第二人脸关键特征点；
计算所述第一人脸关键特征点分别在所述生成人脸图像中的第一概率分布，以及计算所述第二人脸关键特征点分别在所述第n帧第一分辨率人脸图像中的第二概率分布；
基于所述第一概率分布形成第一概率分布图，所述第一概率分布图为所述生成人脸图像的人脸特征点热力图；
基于所述第二概率分布形成第二概率分布图，所述第二概率分布图为所述第n帧第一分辨率人脸图像的人脸特征点热力图。
可选地，所述人脸图像重建模型为：
G′loss＝Gloss+α·lgeatmap+β·lp
其中，G′loss为所述人脸图像重建模型的损失函数，Gloss为生成网络的损失函数，α，β为常数项，lheatmap为由所述生成人脸图像的人脸特征点热力图与所述第n帧第一分辨率人脸图像的人脸特征点热力图决定的损失函数，lp为由所述生成人脸图像的人脸关键特征点与所述第n帧第一分辨率人脸图像的人脸关键特征点决定的感知损失函数。
可选地，所述由所述生成人脸图像的人脸特征点热力图与所述第n帧第一分辨率人脸图像的人脸特征点热力图决定的损失函数lheatmap表示为：
其中，为所述生成人脸图像G(X)中坐标位置为(i,j)的第n个第一关键特征点的热力图，/>为所述第n帧第一分辨率人脸图像中坐标位置为(i,j)的第n个第二关键特征点对应的热力图。
可选地，所述由所述生成人脸图像的人脸关键特征点与所述第n帧第一分辨率人脸图像的人脸关键特征点决定的感知损失函数lp表示为：
其中，len表示所述生成人脸图像的人脸关键特征点和所述第n帧第一分辨率人脸图像的人脸关键特征点的维度，Ti表示所述生成人脸图像的人脸特征中的第i个特征点，Pi表示所述第n帧第一分辨率人脸图像的人脸特征中的第i个特征点。
本发明实施例的第二方面提供了一种视频图像超分辨率重建装置，包括：
提取模块，用于从视频流中提取至少两个连续的目标图像帧，所述目标图像帧包含有待识别人脸的图像信息；
第一获取模块，用于跟踪所述待识别人脸，获取所述连续的目标图像帧中的人脸序列；
计算模块，用于计算所述待识别人脸的待识别人脸特征点热力图；
重建模块，用于采用预先训练完成的人脸图像重建模型对所述人脸序列进行人脸图像重建，得到超分辨率人脸图像。
可选地，还包括：
第二获取模块，用于从预先确定的视频流中获取2n+1帧的第一分辨率人脸图像；
采样处理模块，用于对所述2n+1帧的第一分辨率人脸图像进行下采样处理，得到2n+1帧的第二分辨率人脸图像，所述第一分辨率高于所述第二分辨率；
第三获取模块，用于从所述2n+1帧的第一分辨率人脸图像中获取第n帧第一分辨率人脸图像，基于所述第n帧第一分辨率人脸图像和所述2n+1帧的第二分辨率人脸图像生成人脸特征对；
第一训练模块，用于将所述人脸特征对输入预先建立的对抗神经网络模型进行训练，得到生成网络输出的生成人脸，所述生成人脸的分辨率与所述第n帧第一分辨率人脸图像的分辨率相同，所述对抗神经网络模型包括生成网络和识别网络；
计算模块，用于分别计算所述生成人脸图像的人脸特征点热力图和所述第n帧第一分辨率人脸图像的人脸特征点热力图；
第二训练模块，用于基于所述生成人脸图像的人脸特征点热力图、所述第n帧第一分辨率人脸图像的人脸特征点热力图以及所述人脸特征对训练所述对抗神经网络模型，得到训练完成的所述人脸图像重建模型。
本发明实施例的第三方面提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一实施例所述视频图像超分辨率重建方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一实施例所述视频图像超分辨率重建方法。
本发明实施例与现有技术相比存在的有益效果是：首先从目标图像帧中获取待识别人脸的人脸序列，以及计算所述待识别人脸的目标人脸特征点热力图；然后根据预先训练完成的人脸图像重建模型对所述人脸序列以及所述目标人脸特征点热力图进行人脸图像重建。由于待识别人脸特征点热力图包含有有效的人脸特征，因此采用预先训练完成的人脸图像重建模型对人脸序列以及目标人脸特征点热力图进行人脸图像重建，能够准确地还原出视频中的人脸细节，提高人脸图像重建的精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的视频图像超分辨率重建方法的实现流程；
图2是本发明第二实施例提供的视频图像超分辨率重建方法的实现流程；
图3是图2中S205的具体实施流程；
图4是本发明提供的视频图像超分辨率重建装置的装置示意图；
图5是本发明提供的服务器的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。如图1所示，是本发明第一实施例提供的视频图像超分辨率重建方法的实现流程，本实施例的执行主体为服务器。详述如下：
S101，从视频流中提取至少两个连续的目标图像帧，所述目标图像帧包含有待识别人脸的图像信息。
目标视频流是从视频监控图像中获取的包含有人脸图像的关键图像帧。该关键图像帧为包含有完整的人脸图像信息的图像帧，例如常见的动态图像组标准格式(MPEG，Moving Pictures Experts Group)格式的监控视频中的I帧就保存有完成的人脸图像信息，这是由于在MPEG格式中I帧不使用运动补偿，故保存有完整的人脸图像信息。可以将MPEG格式的监控视频中的I帧作为所述目标图像帧。而对于一些比较大的视频，如画面组(Group of Pictures，GOP)，也可以选用I帧和P帧作为所述目标图像帧，在此不做具体限制。在本实施例中，所述目标图像帧包含有完整的待识别人脸的图像信息。所述待识别人脸的图像信息可以允许有一定程度的遮挡，如佩戴墨镜或者口罩等，但是不能完全遮挡。
S102，跟踪所述待识别人脸，获取所述连续的目标图像帧中的人脸序列。
可以理解地，在视频图像中，包含的人脸可以是一个人脸或多个人脸，因此，需要跟踪目标图像帧中的待识别人脸的图像信息，获取所述待识别人脸对应的完整的人脸序列。具体地，在本实施例中，获取的人脸序列在时间上是连续的，由所述目标图像帧中待识别人脸的图像组成。
S103，计算所述待识别人脸的待识别人脸特征点热力图。
具体地，可以通过预设的人脸关键点检测算法对待识别人脸的图像进行人脸关键点定位，其中，人脸关键点包括嘴部、眼睛、鼻子等，得到待识别人脸的关键特征点，所述预设的人脸检测算法包括但不限于如人脸关键点检测算法(Multi-task CascadedConvolutional Networks，MTCNN)；在得到待识别人脸的关键特征点之后，计算所述待识别人脸的关键特征点在所述待识别人脸中的概率分布，基于所述概率分布形成概率分布图，所述概率分布图为所述待识别人脸特征点热力图。
S104，采用预先训练完成的人脸图像重建模型对所述人脸序列以及所述目标人脸特征点热力图进行人脸图像重建，得到超分辨率人脸图像。
所述预先训练完成的人脸图像重建模型为在常见的对抗神经网络模型中加入了人脸特征点标定网络，其中，人脸特征点标定网络为在所述对抗神经网络模型中加入第一人脸特征点热力图和第二人脸特征点热力图并进行训练之后得到的网络，所述人脸特征点标定网络可以对人脸特征点热力图中的有效人脸特征进行标定，所述对抗神经网络对所述人脸特征点标定网络标定的有效人脸特征进行识别，完成图像重建。因此，能够更有效地根据图像的多帧信息还原图片的细节信息，提高低质量人脸小图识别率。
由上述实施例可知，本发明提出的视频图像超分辨率重建方法，通过从目标图像帧中获取待识别人脸的人脸序列，以及计算所述待识别人脸的目标人脸特征点热力图；获得有效的人脸特征，然后根据预先训练完成的人脸图像重建模型对所述人脸序列以及所述目标人脸特征点热力图进行人脸图像重建。能够准确地还原出视频中的人脸细节，提高人脸图像重建的精度。
具体地，如图2所示，是本发明第二实施例提供的视频图像超分辨率重建方法的实现流程。由图2可知，本实施例与图1所示实施例相比，S207与S101的具体实施过程相同，S208与S102的具体实施过程相同，S209与S103的具体实施过程相同，S210与S104的具体实施过程相同，不同点在于，S201～S206，S207～S210与上一实施例中的S101～S104相同，S207～S210具体请参阅上一实施例中S101～S104的相关描述，此处不赘述。S201～S206在S210之前执行即可。具体地，S201-S206的实施过程如下：
S201，从预先确定的视频流中获取2n+1帧的第一分辨率人脸图像。
预先确定的视频流可以为不同监控设备的监控视频，所述监控视频包含有高清视频以及模糊视频，且视频的录制在时间上具有连续性。在本实施例中，获取2n+1帧的第一分辨率人脸图像，所述第一分辨率人脸图像为高清人脸图像。
S202，对所述2n+1帧的第一分辨率人脸图像进行下采样处理，得到2n+1帧的第二分辨率人脸图像，所述第一分辨率高于所述第二分辨率。
具体地，采用预设的图像下采样算法，如双线性插值算法，快速模糊算(fastBlur)，高斯模糊算法(Gaussian blur)以及各种压缩算法对所述2n+1帧的第一分辨率人脸图像进行下采样处理，在本实施例中，将2n+1帧的第一分辨率人脸图像进行下采样处理缩小2-8倍，得到2n+1帧的第二分辨率人脸图像。由上面的下采样处理过程可知，所述第一分辨率高于所述第二分辨率。
S203，从所述2n+1帧的第一分辨率人脸图像中获取第n帧第一分辨率人脸图像，基于所述第n帧第一分辨率人脸图像和所述2n+1帧的第二分辨率人脸图像生成人脸特征对。
具体地，所述第n帧第一分辨率人脸图像为高清晰的人脸图像；人脸特征对由所述第n帧第一分辨率人脸图像和一帧第二分辨率人脸图像组成。
S204，将所述人脸特征对输入预先建立的对抗神经网络模型进行训练，得到生成网络输出的生成人脸图像，所述生成人脸图像的分辨率与所述第n帧第一分辨率人脸图像的分辨率相同，所述对抗神经网络模型包括生成网络和识别网络；
可选地，所述预先建立的对抗神经网络的生成网络包括但不限于GAN网络、WGAN网络、BEGAN网络或者DCGAN网络。
具体地，将所述第n帧第一分辨率人脸图像输入预设的人脸特征提取网络，获取所述人脸特征提取网络输出的人脸特征。其中，人脸特征提取网络包括但不限于，Vgg、InsightFace、SphereFace和DeepID等。
基于所述2n+1帧的第二分辨率的人脸图像生成第二分辨率的人脸序列，将所述第二分辨率的人脸序列输入所述生成网络中，进行训练，得到所述生成网络输出的生成人脸图像。具体地，所述生成人脸图像与所述第n帧第一分辨率人脸图像的分变率相同。
S205，分别计算所述生成人脸图像的人脸特征点热力图和所述第n帧第一分辨率人脸图像的人脸特征点热力图。
具体地，如图3所示，是图2中S205的具体实施流程。由图3可知，S205，包括：
S2051，检测所述生成人脸图像中的第一人脸关键特征点以及检测所述第n帧第一分辨率人脸图像中的第二人脸关键特征点。
具体地，根据预设的人脸关键点检测算法，如人脸关键点检测算法(Multi-taskCascaded Convolutional Networks，MTCNN)检测所述生成人脸图像中的第一人脸关键特征点以及所述第n帧第一分辨率人脸图像中的第二人脸关键特征点。所述第一人脸关键特征点和所述第二人脸关键特征点均为可显示人脸特征的点，例如鼻子、眼睛、下巴、额头等的位置点。
S2052，计算所述第一人脸关键特征点在所述生成人脸图像中的第一概率分布，以及计算所述第二人脸关键特征点在所述第n帧第一分辨率人脸图像中的第二概率分布。
具体地，预设所述生成人脸图像在预设坐标系中的位置信息；根据所述生成人脸图像在预设坐标系中的位置信息确定第一高斯概率分布函数的σ1，σ1为所述第一高斯概率分布函数的宽度参数，影响第一高斯概率分布函数的作用范围；根据所述生成人脸图像在预设坐标系中的位置信息以及σ1构造第一高斯概率分布函数；所述第一高斯概率分布公式为所述第一人脸关键特征点的高斯概率分布函数，其可以表示为：
其中，(x1,y1)为第一人脸关键特征点在所述生成人脸图像中的位置坐标根据所述第一高斯概率分布函数可以确定第一概率分布。
预设所述第n帧第一分辨率人脸图像在预设坐标系中的位置信息；根据所述第n帧第一分辨率人脸图像在预设坐标系中的位置信息确定第二高斯概率分布函数的σ2，σ2为所述第二高斯概率分布函数的宽度参数，影响第二高斯概率分布函数的作用范围；根据所述第n帧第一分辨率人脸图像在预设坐标系中的位置信息以及σ2构造第二高斯概率分布函数；所述第二高斯概率分布公式为所述第二人脸关键特征点的高斯概率分布函数，其可以表示为：
其中，(x2,y2)为第二人脸关键特征点在所述第n帧第一分辨率人脸图像中的位置坐标；根据所述第二高斯概率分布函数可以确定第二概率分布。
S2053，基于所述第一概率分布形成第一概率分布图，所述第一概率分布图为所述生成人脸图像的人脸特征点热力图。
将所述第一概率分布进行归一化处理之后，映射到预设的第一灰度图像，得到第一概率分布图。
S2054，基于所述第二概率分布形成第二概率分布图，所述第二概率分布图为所述第n帧第一分辨率人脸图像的人脸特征点热力图。
将所述第二概率分布进行归一化处理之后，映射到预设的第二灰度图像，得到所述第二概率分布图。
所述第一灰度图像与所述第二灰度图像相同。
S206，基于所述生成人脸图像的人脸特征点热力图、所述第n帧第一分辨率人脸图像的人脸特征点热力图以及所述人脸特征对训练所述对抗神经网络模型，得到训练完成的所述人脸图像重建模型。
具体地，当生成网络输出的生成人脸图像的分辨率与所述第n帧第一分辨率人脸图像的分辨率相同时，生成网络的第一损失函数对应的失真值低于预设的失真阈值，加入生成人脸图像的人脸特征点热力图和第n帧第一分辨率人脸图像的人脸特征点热力图，进行训练，可以优化神经网络，能够有效根据多帧信息还原图片的细节信息，提高人脸重建的准确率。
具体地，所述人脸图像重建模型为：
G′loss＝Gloss+α·lheatmap+β·lp
其中，G′loss为所述人脸图像重建模型的损失函数，Gloss为生成网络的损失函数，α，β为常数项，lheatmap为由生成人脸图像的人脸特征点热力图与第n帧第一分辨率的人脸图像的人脸特征点热力图决定的损失函数，lp为由第一人脸关键特征点与第二人脸关键特征点决定的感知损失函数。
具体地，所述由所述生成人脸图像的人脸特征点热力图与所述第n帧第一分辨率的人脸图像的人脸特征点热力图决定的损失函数lheatmap表示为：
其中，为所述生成人脸图像中坐标位置为(i,j)的第n个关键特征点的热力图，/>为所述第n帧第一分辨率人脸图像中坐标位置为(i,j)的第n个关键特征点对应的热力图。
具体地，所述所述由所述生成人脸图像的人脸关键特征点与所述第n帧第一分辨率人脸图像的人脸关键特征点决定的感知损失函数lp表示为：
其中，len表示所述生成人脸图像的人脸关键特征点和所述第n帧第一分辨率人脸图像的人脸关键特征点的维度，Ti表示所述生成人脸图像的人脸关键特征点中的第i个特征点，Pi表示所述第n帧第一分辨率人脸图像的人脸关键特征点中的第i个特征点。
通过上述分析可知，本发明提出的视频图像超分辨率重建方法，通过从目标图像帧中获取待识别人脸的人脸序列，以及计算所述待识别人脸的目标人脸特征点热力图；然后在训练人脸图像重建模型的过程中，当对抗神经网络的生成网络的损失函数的失真值低于预设的失真阈值时，加入第一人脸特征点热力图和第二人脸特征点热力图，对神经网络进行优化，使得训练完成的人脸图像重建模型能够准确地还原出视频中的人脸细节，提高人脸图像重建的精度。
图4是本发明提供的视频图像超分辨率重建装置的装置示意图。如图4所示，该实施例的视频图像超分辨率重建装置4包括：提取模块410、第一获取模块420、计算模块430以及重建模块440。其中，
提取模块410，用于从视频流中提取至少两个连续的目标图像帧，所述目标图像帧包含有待识别人脸的图像信息；
第一获取模块420，用于跟踪所述待识别人脸，获取所述连续的目标图像帧中的人脸序列；
第一计算模块430，用于计算所述待识别人脸的目标人脸特征点热力图；
重建模块440，用于采用预先训练完成的人脸图像重建模型对所述人脸序列以及所述目标人脸特征点热力图进行人脸图像重建，得到超分辨率人脸图像。
可选地，还包括：
第二获取模块，用于从预先确定的视频流中获取2n+1帧的第一分辨率人脸图像；
采样处理模块，用于对所述2n+1帧的第一分辨率人脸图像进行下采样处理，得到2n+1帧的第二分辨率人脸图像，所述第一分辨率高于所述第二分辨率；
第三获取模块，用于从所述2n+1帧的第一分辨率人脸图像中获取第n帧第一分辨率人脸图像，基于所述第n帧第一分辨率人脸图像和所述2n+1帧的第二分辨率人脸图像生成人脸特征对；
第一训练模块，用于将所述人脸特征对输入预先建立的对抗神经网络模型进行训练，得到生成网络输出的生成人脸，所述生成人脸的分辨率与所述第n帧第一分辨率人脸图像的分辨率相同，所述对抗神经网络模型包括生成网络和识别网络；
第二计算模块，用于分别计算所述生成人脸图像的人脸特征点热力图和所述第n帧第一分辨率人脸图像的人脸特征点热力图；
第二训练模块，用于基于所述生成人脸图像的人脸特征点热力图、所述第n帧第一分辨率人脸图像的人脸特征点热力图以及所述人脸特征对训练所述对抗神经网络模型，得到训练完成的所述人脸图像重建模型。
可选地，第二计算模块，包括：
检测单元，用于检测所述可识别的人脸图像中的第一人脸关键特征点以及检测所述第一分辨率人脸图像序列中的第二人脸关键特征点；
第二计算单元，用于计算所述第一人脸关键特征点分别在所述可识别的人脸图像中的第一概率分布，以及计算所述第二人脸关键特征点分别在所述第一分辨率人脸图像序列中的第二概率分布；
第一形成单元，用于基于所述第一概率分布形成第一概率分布图，所述第一概率分布图为所述第一人脸特征点热力图；
第二形成单元，用于基于所述第二概率分布形成第二概率分布图，所述第二概率分布图为所述第二人脸特征点热力图。
可选地，所述人脸图像重建模型为：
G′loss＝Gloss+α·lheatmap+β·lp
其中，G′loss为所述人脸图像重建模型的损失函数，Gloss为生成网络的损失函数，α，β为常数项，lheatmap为由所述第一人脸特征点热力图与所述第二人脸特征点热力图决定的损失函数，lp为由所述第一人脸关键特征点与所述第二人脸关键特征点决定的感知损失函数。
可选地，所述由所述第一人脸特征点热力图与所述第二人脸特征点热力图决定的损失函数lheatmap表示为：
其中，为所述可识别的人脸图像G(X)中坐标位置为(i,j)的第n个第一关键特征点的热力图，/>为所述第一分辨率人脸图像序列帧中坐标位置为(i,j)的第n个第二关键特征点对应的热力图。
可选地，所述由所述第一人脸关键特征点与所述第二人脸关键特征点决定的感知损失函数lp表示为：
其中，len表示第一人脸关键特征点和第二人脸关键特征点的维度，Ti表示所述第一人脸关键特征点中的第i个特征点，Pi表示所述第二人脸关键特征点中的第i个特征点。
图5是本发明提供的服务器的示意图。如图5所示，该实施例的服务器5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如视频图像超分辨率重建程序。所述处理器50执行所述计算机程序52时实现上述各个视频图像超分辨率重建方法实施例中的步骤，例如图1所示的步骤101至104。或者，所述处理器50执行所述计算机程序52时实现上述样本取样设备实施例中各模块/单元的功能，例如图4所示模块410至440的功能。
示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述服务器5中的执行过程。例如，所述计算机程序52可以被分割成提取模块、获取模块、计算模块、重建模块(虚拟装置中的模块)，各模块具体功能如下：
提取模块，用于从目标视频流中提取连续的目标图像帧，所述目标图像帧包含有待识别人脸；
第一获取模块，用于跟踪所述待识别人脸，获取所述连续的目标图像帧中的人脸序列；
第一计算模块，用于计算所述待识别人脸的待识别人脸特征点热力图；
重建模块，用于根据预先训练完成的人脸图像重建模型对所述人脸序列进行人脸图像重建，得到超分辨率人脸图像。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个通信单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种视频图像超分辨率重建方法，其特征在于，包括：
从视频流中提取至少两个连续的目标图像帧，所述目标图像帧包含有待识别人脸的图像信息；
跟踪所述待识别人脸，获取所述连续的目标图像帧中的人脸序列；
计算所述待识别人脸的目标人脸特征点热力图；
采用预先训练完成的人脸图像重建模型对所述人脸序列以及所述目标人脸特征点热力图进行人脸图像重建，得到超分辨率人脸图像；
在所述采用预先训练完成的人脸图像重建模型对所述人脸序列以及所述目标人脸特征点热力图进行人脸图像重建，得到超分辨率人脸图像之前，包括：
从预先确定的视频流中获取2n+1帧的第一分辨率人脸图像；
对所述2n+1帧的第一分辨率人脸图像进行下采样处理，得到2n+1帧的第二分辨率人脸图像，所述第一分辨率高于所述第二分辨率；
从所述2n+1帧的第一分辨率人脸图像中获取第n帧第一分辨率人脸图像，基于所述第n帧第一分辨率人脸图像和所述2n+1帧的第二分辨率人脸图像生成人脸特征对；
将所述人脸特征对输入预先建立的对抗神经网络模型进行训练，得到生成网络输出的生成人脸图像，所述生成人脸图像的分辨率与所述第n帧第一分辨率人脸图像的分辨率相同，所述对抗神经网络模型包括生成网络和识别网络；
分别计算所述生成人脸图像的人脸特征点热力图和所述第n帧第一分辨率人脸图像的人脸特征点热力图；
基于所述生成人脸图像的人脸特征点热力图、所述第n帧第一分辨率人脸图像的人脸特征点热力图以及所述人脸特征对训练所述对抗神经网络模型，得到训练完成的所述人脸图像重建模型；
所述分别计算所述生成人脸图像的人脸特征点热力图和所述第n帧第一分辨率人脸图像的人脸特征点热力图，包括：
检测所述生成人脸图像中的第一人脸关键特征点以及检测所述第n帧第一分辨率人脸图像中的第二人脸关键特征点；
计算所述第一人脸关键特征点分别在所述生成人脸图像中的第一概率分布，以及计算所述第二人脸关键特征点分别在所述第n帧第一分辨率人脸图像中的第二概率分布；
基于所述第一概率分布形成第一概率分布图，所述第一概率分布图为所述生成人脸图像的人脸特征点热力图；
基于所述第二概率分布形成第二概率分布图，所述第二概率分布图为所述第n帧第一分辨率人脸图像的人脸特征点热力图。
2.如权利要求1所述的视频图像超分辨率重建方法，其特征在于，所述人脸图像重建模型为：
G′loss ＝Gloss +α·lheatmap +β·l p
其中，G′loss 为所述人脸图像重建模型的损失函数，Gloss 为生成网络的损失函数，α，β为常数项，lheatmap 为由所述生成人脸图像的人脸特征点热力图与所述第n帧第一分辨率人脸图像的人脸特征点热力图决定的损失函数，l p 为由所述生成人脸图像的人脸关键特征点与所述第n帧第一分辨率人脸图像的人脸关键特征点决定的感知损失函数。
3.如权利要求2所述的视频图像超分辨率重建方法，其特征在于，所述由所述生成人脸图像的人脸特征点热力图与所述第n帧第一分辨率人脸图像的人脸特征点热力图决定的损失函数lheatmap表示为：
其中，为所述生成人脸图像G(X)中坐标位置为(i,j)的第n个第一关键特征点的热力图，/>为所述第n帧第一分辨率人脸图像中坐标位置为(i,j)的第n个第二关键特征点对应的热力图。
4.如权利要求2所述的视频图像超分辨率重建方法，其特征在于，所述由所述生成人脸图像的人脸关键特征点与所述第n帧第一分辨率人脸图像的人脸关键特征点决定的感知损失函数lp 表示为：
其中，len表示所述生成人脸图像的人脸关键特征点和所述第n帧第一分辨率人脸图像的人脸关键特征点的维度，Ti表示所述生成人脸图像的人脸特征中的第i个特征点，Pi表示所述第n帧第一分辨率人脸图像的人脸特征中的第i个特征点。
5.一种视频图像超分辨率重建装置，其特征在于，包括：
提取模块，用于从视频流中提取至少两个连续的目标图像帧，所述目标图像帧包含有待识别人脸的图像信息；
第一获取模块，用于跟踪所述待识别人脸，获取所述连续的目标图像帧中的人脸序列；
第一计算模块，用于计算所述待识别人脸的待识别人脸特征点热力图；
重建模块，用于采用预先训练完成的人脸图像重建模型对所述人脸序列进行人脸图像重建，得到超分辨率人脸图像；
还包括：
第二获取模块，用于从预先确定的视频流中获取2n+1帧的第一分辨率人脸图像；
采样处理模块，用于对所述2n+1帧的第一分辨率人脸图像进行下采样处理，得到2n+1帧的第二分辨率人脸图像，所述第一分辨率高于所述第二分辨率；
第三获取模块，用于从所述2n+1帧的第一分辨率人脸图像中获取第n帧第一分辨率人脸图像，基于所述第n帧第一分辨率人脸图像和所述2n+1帧的第二分辨率人脸图像生成人脸特征对；
第一训练模块，用于将所述人脸特征对输入预先建立的对抗神经网络模型进行训练，得到生成网络输出的生成人脸，所述生成人脸的分辨率与所述第n帧第一分辨率人脸图像的分辨率相同，所述对抗神经网络模型包括生成网络和识别网络；
第二计算模块，用于分别计算所述生成人脸图像的人脸特征点热力图和所述第n帧第一分辨率人脸图像的人脸特征点热力图；
第二训练模块，用于基于所述生成人脸图像的人脸特征点热力图、所述第n帧第一分辨率人脸图像的人脸特征点热力图以及所述人脸特征对训练所述对抗神经网络模型，得到训练完成的所述人脸图像重建模型；
其中所述分别计算所述生成人脸图像的人脸特征点热力图和所述第n帧第一分辨率人脸图像的人脸特征点热力图，包括：
检测所述生成人脸图像中的第一人脸关键特征点以及检测所述第n帧第一分辨率人脸图像中的第二人脸关键特征点；
计算所述第一人脸关键特征点分别在所述生成人脸图像中的第一概率分布，以及计算所述第二人脸关键特征点分别在所述第n帧第一分辨率人脸图像中的第二概率分布；
基于所述第一概率分布形成第一概率分布图，所述第一概率分布图为所述生成人脸图像的人脸特征点热力图；
基于所述第二概率分布形成第二概率分布图，所述第二概率分布图为所述第n帧第一分辨率人脸图像的人脸特征点热力图。
6.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述视频图像超分辨率重建方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述视频图像超分辨率重建方法的步骤。
CN201910657317.5A 2019-07-19 2019-07-19 视频图像超分辨率重建方法、装置、服务器及存储介质 Active CN111488779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910657317.5A CN111488779B (zh) 2019-07-19 2019-07-19 视频图像超分辨率重建方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910657317.5A CN111488779B (zh) 2019-07-19 2019-07-19 视频图像超分辨率重建方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111488779A CN111488779A (zh) 2020-08-04
CN111488779B true CN111488779B (zh) 2024-02-13

Family

ID=71811454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910657317.5A Active CN111488779B (zh) 2019-07-19 2019-07-19 视频图像超分辨率重建方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111488779B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022057837A1 (zh) * 2020-09-16 2022-03-24 广州虎牙科技有限公司 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质
CN112883925B (zh) * 2021-03-23 2023-08-29 杭州海康威视数字技术股份有限公司 一种人脸图像处理方法、装置及设备
CN113344783B (zh) * 2021-06-08 2022-10-21 哈尔滨工业大学 一种热力图感知的金字塔人脸超分辨率网络

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN109711364A (zh) * 2018-12-29 2019-05-03 成都视观天下科技有限公司 一种人脸图像超分辨重建方法、装置及计算机设备
CN109977769A (zh) * 2019-02-21 2019-07-05 西北大学 一种低分辨率环境下微表情识别的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN109711364A (zh) * 2018-12-29 2019-05-03 成都视观天下科技有限公司 一种人脸图像超分辨重建方法、装置及计算机设备
CN109977769A (zh) * 2019-02-21 2019-07-05 西北大学 一种低分辨率环境下微表情识别的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于波 ; 方业全 ; 刘闽 ; 董君陶 ; .基于深度卷积神经网络的图像重建算法.计算机系统应用.2018,(09),170-175. *

Also Published As

Publication number Publication date
CN111488779A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN110334635B (zh) 主体追踪方法、装置、电子设备和计算机可读存储介质
CN111488779B (zh) 视频图像超分辨率重建方法、装置、服务器及存储介质
Zhou et al. Classical and state-of-the-art approaches for underwater image defogging: a comprehensive survey
Zhang et al. Video dehazing with spatial and temporal coherence
EP1542155A1 (en) Object detection
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
CN109840485B (zh) 一种微表情特征提取方法、装置、设备及可读存储介质
CN110059634B (zh) 一种大场景人脸抓拍方法
CN111950401B (zh) 确定关键点区域位置的方法、图像处理系统、设备和介质
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN111695462A (zh) 一种人脸识别方法、装置、存储介质和服务器
Abiko et al. Single image reflection removal based on GAN with gradient constraint
CN112101195A (zh) 人群密度预估方法、装置、计算机设备和存储介质
CN112818955A (zh) 一种图像分割方法、装置、计算机设备以及存储介质
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
Polatsek et al. Novelty-based spatiotemporal saliency detection for prediction of gaze in egocentric video
CN111199197B (zh) 一种人脸识别的图像提取方法及处理设备
CN110992393B (zh) 一种基于视觉的目标运动跟踪方法
CN112766028B (zh) 人脸模糊处理方法、装置、电子设备及存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN111667504A (zh) 一种人脸追踪方法、装置及设备
CN111860057A (zh) 人脸图像模糊和活体检测方法、装置、存储介质及设备
CN116385316B (zh) 多目标图像动态捕捉方法及相关装置
CN111222446B (zh) 人脸识别方法、人脸识别装置及移动终端
CN112597911A (zh) 一种磨皮处理方法、装置、移动终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211201

Address after: 241000 12th floor, advertising creative complex building, Wuhu advertising industrial park, middle Beijing Road, Jiujiang District, Wuhu City, Anhui Province

Applicant after: CHANGXIN INTELLIGENT CONTROL NETWORK TECHNOLOGY CO.,LTD.

Address before: 518000 room 1002, phase II, international student entrepreneurship building, No. 29, South Ring Road, gaoxinyuan, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: TONGGUAN TECHNOLOGY (SHENZHEN) CO.,LTD.

GR01 Patent grant
GR01 Patent grant