CN113205079B - 一种人脸检测方法、装置、电子设备及存储介质 - Google Patents

一种人脸检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113205079B
CN113205079B CN202110628737.8A CN202110628737A CN113205079B CN 113205079 B CN113205079 B CN 113205079B CN 202110628737 A CN202110628737 A CN 202110628737A CN 113205079 B CN113205079 B CN 113205079B
Authority
CN
China
Prior art keywords
face
interval
face detection
video frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110628737.8A
Other languages
English (en)
Other versions
CN113205079A (zh
Inventor
王顺利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110628737.8A priority Critical patent/CN113205079B/zh
Publication of CN113205079A publication Critical patent/CN113205079A/zh
Application granted granted Critical
Publication of CN113205079B publication Critical patent/CN113205079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种人脸检测方法、装置、电子设备及存储介质。其中，人脸检测方法，应用于AR特效渲染场景，所述方法包括：获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。通过本方案可以提高AR特效的渲染效果和效率。

Description

一种人脸检测方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种人脸检测方法、装置、电子设备及存储介质。
背景技术
为了在移动端上实现基于人脸实现AR(Augmented Reality，增强现实)特效的场景，需要实时地从视频的每一帧图像中检测出所有人脸，再针对其中每个人脸单独进行分析并进一步渲染特效。
现有技术中，在实际检测人脸过程中，不同移动端的硬件处理能力不同，实时地对每一帧图像进行人脸检测会增加移动端功耗；另外，由于人物经常处于运动状态，会导致图像中人脸丢失，此时无法进行渲染处理只能等到全局检测被触发后才能再次进行处理，而全局检测的计算量很大，造成AR特效渲染的卡顿和滞后。
发明内容
本申请实施例的目的在于提供一种人脸检测方法、装置、电子设备及存储介质，以提高AR特效的渲染效果和效率。具体技术方案如下：
在本申请实施的第一方面，首先提供了一种人脸检测方法，应用于AR特效渲染场景，所述方法包括：
获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；
按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；
在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。
可选地，所述第二间隔随着选取视频帧的次数的增加而指数递增。
可选地，所述第二间隔按照如下公式确定：
Nx＝ax-1，
其中，Nx为第二间隔；x为选取视频帧的次数，x≥1；a为大于1的常数。
可选地，所述方法还包括：
若对当前视频帧之后的视频帧进行人脸检测的检测结果中包含跟踪丢失的人脸，或者所述第二间隔所间隔的视频帧数大于目标帧数阈值时，停止对当前视频帧之后的视频帧进行人脸检测。
可选地，所述目标帧数阈值的确定方式包括：
判断所述第一间隔和所述第二间隔的视频帧数的大小，以两者中的最小数值为目标帧数阈值。
可选地，所述当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果，包括：
当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；
当检测得到人脸之后，将检测到的人脸与跟踪丢失人脸进行相似度对比；
如果对比结果大于预设阈值，则将检测到的人脸作为跟踪丢失人脸；否则，将检测得到的人脸作为新的人脸。
可选地，所述按照所述第一间隔从目标视频中选取目标帧进行人脸检测，包括：
采用第一线程，按照所述第一间隔从目标视频中选取目标帧进行人脸检测；
所述按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，包括：
采用第二线程，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；其中，所述第一线程和所述第二线程异步执行。
在本申请实施的第二方面，还提供了一种人脸检测装置，应用于AR特效渲染场景，所述装置包括：
间隔确定模块，用于获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；
检测跟踪模块，用于按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；
人脸抽检模块，用于在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。
在本申请实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面的方法步骤。
在本申请实施的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的方法步骤。
本申请实施例提供的人脸检测方法，在按照实时帧率确定的第一间隔选取视频的目标帧进行检测的同时，还对相间隔的目标帧之间的视频帧进行人脸跟踪识别。在人脸跟踪识别的过程中，如果跟踪丢失丢失人脸，则立即触发采用至少一次按照第二间隔检测的方式对该视频帧之后的视频帧进行人脸检测，且每次检测时所间隔的第二间隔随检测次数的增大而增大。通过该操作可以迅速得到检测到的视频帧的人脸检测结果，从而快速追寻丢失的人脸，显著减少了找回丢失人脸的时间，从而保证及时对检测到的人脸进行特效渲染，提高AR特效的渲染效果和效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种人脸检测方法的流程图；
图2为本申请实施例提供的另一种人脸检测方法的流程图；
图3为本申请实施例提供的一种人脸检测装置的结构示意图；
图4为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例的技术方案进行描述。
为了提高AR特效的渲染效果和效率，本申请实施例提供一种人脸检测方法、装置、电子设备及存储介质。下面首先对本申请实施例提供的一种人脸检测方法进行介绍。
本申请实施例提供的人脸检测方法，在得到视频帧的人脸检测结果后，可以基于人脸检测结果进行预定的特效渲染，因此该方法可以应用于AR特效渲染场景。该方法可以应用于电子设备。在具体应用中，该电子设备可以是智能手机、平板电脑等。具体的，本申请实施例的人脸检测方法的执行主体可以为运行于电子设备中的一种人脸检测装置。并且，该人脸检测方法所适用于的视频可以为实时视频，例如：用户直播过程中通过摄像头实时采集到的视频，或者，视频通话过程中实时采集到的视频；当然，该人脸检测方法所适用于的视频也可以为预先采集完成的视频，例如：电子设备本地保存的视频，或者从网络上下载的视频。
本申请实施例提供的一种人脸检测方法，可以包括如下步骤：
获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；
按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；
在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。
本申请实施例提供的人脸检测方法，在按照实时帧率确定的第一间隔选取视频的目标帧进行检测的同时，还对相间隔的目标帧之间的视频帧进行人脸跟踪识别。在人脸跟踪识别的过程中，如果跟踪丢失丢失人脸，则立即触发采用至少一次按照第二间隔检测的方式对该视频帧之后的视频帧进行人脸检测，且每次检测时所间隔的第二间隔随检测次数的增大而增大。通过该操作可以迅速得到检测到的视频帧的人脸检测结果，从而快速追寻丢失的人脸，显著减少了找回丢失人脸的时间，从而保证及时对检测到的人脸进行特效渲染，提高AR特效的渲染效果和效率。
下面结合附图，对本申请实施例所提供的一种人脸检测方法进行介绍。
如图1所示，本申请实施例提供的一种人脸检测方法，应用于AR特效渲染场景，所述方法可以包括如下步骤：
S101，获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔。
需要说明的是，现有技术通常采用间隔预设固定帧数的第一间隔，选取目标帧进行人脸检测。这种方式在不同电子设备上会有不一致的人脸发现速度。
为了保证不同电子设备上发现人脸的时间基本一致，本申请实施例中根据实时帧率动态确定的第一间隔，来选取目标帧进行人脸检测。具体而言，由于电子设备的实时帧率与其设备性能及资源占用情况相关，因此，可以统计电子设备上的视频处理的实时帧率，并根据该实时帧率来动态地确定第一间隔。其中，在一种实施方式中，可以按照预设固定检测时间t并结合实时帧率，确定第一间隔以选取目标帧。例如，针对某低端电子设备和某旗舰电子设备，均设定固定时间t＝1s，如低端电子设备的实时帧率为10fps，旗舰电子设备实时帧率为30fps，那么低端电子设备可以每10帧触发一次检测，即按照第一间隔10帧选取一目标帧，旗舰电子设备可以每30帧触发一次检测，即按照第一间隔30帧选取一目标帧。当然固定检测时间t也可以设置为2s、3s、5s等。这样，在实际使用过程中，低端电子设备和旗舰电子设备人脸发现的响应速度能够保持一致，不论用户使用低端电子设备还是旗舰电子设备，都能够得到同样的使用体验。
S102，按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；
为了提高人脸检测的效率，本申请实施例中采用对目标帧的人脸进行检测，而对于相邻的目标帧之间的各个视频帧进行跟踪识别。跟踪识别的方式有多种。示例性的，可以采用光流法。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。由于该方法属于现有技术，因此在此不进行赘述。
另外，人脸检测采用定位出视频帧中各个人脸的算法，现有技术中任一种人脸检测算法均可以实现本申请实施例中的人脸检测，在此不做具体限定；并且，由于该人脸检测算法用于检测出视频帧中各个人脸，因此，通过该人脸检测算法进行人脸检测，也可以称为全局人脸检测。
S103，在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果。
其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。
由于对相邻目标帧之间的各个视频帧的人脸进行跟踪识别时，可能出现跟踪丢失人脸的情况。所谓跟踪丢失人脸，即跟踪当前视频帧所得到的人脸，与跟踪前一视频帧所得到的人脸相比，当前视频帧对应前一视频帧相同位置或邻近位置的某个人脸跟踪失效。例如跟踪当前视频帧所得到的人脸a和人脸b，与跟踪前一视频帧所得到的人脸A、人脸B和人脸C相比，当前视频帧对应前一视频帧相同位置或邻近位置的人脸C跟踪失效，从而无法确定本应该在当前视频帧中跟踪到的人脸c。因此，需要在跟踪识别过程中检测确定跟踪哪一视频帧时丢失了人脸。在确定某视频帧相对于前一视频帧跟踪丢失人脸之后，本申请实施例的方案中，在对下一视频帧进行跟踪识别的同时，立即触发按照第二间隔对于后续视频帧进行检测，及时找回丢失的人脸。
并且，在进行第一次检测之后，如果仍未检测到丢失的人脸时，考虑到人脸检测相对于跟踪识别消耗的计算资源较大，本申请实施例方案中，后一次检测时所间隔的第二间隔，相比于前一次检测时的第二间隔逐步增大。例如，针对某200帧的视频，在对第85帧视频帧进行人脸跟踪时，检测到的人脸相较于第84帧视频帧跟踪丢失了人脸c，那么按照本实施例方案，立即在第86帧视频帧进行第一次人脸检测，如果对于第86帧的第一次人脸检测没有检测到跟踪丢失的人脸c，那么后续可以间隔3、9、27、81等第二间隔的视频帧进行检测。通过这种方式，既能够及时进行检测，也避免由于检测过于频繁而导致计算资源浪费的问题。
其中，每次检测的第二间隔的视频帧数可以在满足上述要求的前提下，按照实际需要灵活设定。可选地，所述第二间隔随着选取视频帧的次数的增加而指数递增。在一种可选地实施方式中，所述第二间隔按照如下公式确定：
Nx＝ax-1，
其中，Nx为第二间隔；x为选取视频帧的次数，x≥1；a为大于1的常数。例如a＝2、3、5等；当a＝2时，第二间隔的视频帧的帧数N2为1、2、4、8、16等。
需要说明的是，在通过跟踪识别的方式进行检测的过程中，如果检测到某一视频帧相对于前一视频帧跟踪丢失了人脸，该视频帧后续的各视频帧仍进行跟踪识别和按照第一间隔进行人脸检测。这样，由于存在按照第二间隔进行人脸检测，当前视频帧之后的某些视频帧可能存在两类人脸检测结果：一类是按照第一间隔进行人脸检测和跟踪识别得到的，另一类是按照第二间隔进行人脸检测得到的。在后续基于人脸检测结果执行预定处理时，可以同时考虑这两类结果，或者仅考虑按照第二间隔进行人脸检测得到的结果。
可选地，上述当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果的步骤，可以包括：
当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；
当检测得到人脸之后，将检测到的人脸与跟踪丢失人脸进行相似度对比；
如果对比结果大于预设阈值，则将检测到的人脸作为跟踪丢失人脸；否则，将检测得到的人脸作为新的人脸。
本申请实施例提供的方案中，在按照第二间隔进行人脸检测且检测到人脸后，使检测到的人脸与丢失的人脸进行相似度判断，当大于预设阈值时，则可以认为检测到的人脸与丢失人脸为同一人脸，此时将检测到的该人脸进行输出。否则，将检测到的人脸作为新的人脸，按照上述步骤S102进行处理。其中，相似度判断的方式有多种，在一种可能的实施方式中，可以根据IoU(Intersection over Union，交并比)进行判断，IoU计算的是“预测的边框”和“真实的边框”的交集和并集的比值。由于IoU的判断方法属于现有技术，在此不进行赘述。本申请实施例在检测得到人脸之后，进行相似度对比，可以进一步提高人脸检测的准确率。
可选地，上述按照所述第一间隔从目标视频中选取目标帧进行人脸检测，可以包括：
采用第一线程，按照所述第一间隔从目标视频中选取目标帧进行人脸检测；
上述按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，可以包括：
采用第二线程，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；其中，所述第一线程和所述第二线程异步执行。
需要说明的是，考虑到人脸检测是从整幅图像中找出各种尺度的人脸，计算量大，执行频率太高会影响功耗，且电子设备的运算延迟会给用户带来滞后和卡顿的不良体验，因此，可以采用异步线程来执行人脸检测。通过异步执行人脸检测，可以避免阻塞主线程，带来更快的响应。
本申请实施例提供的人脸检测方法，在按照实时帧率确定的第一间隔选取视频的目标帧进行检测的同时，还对相间隔的目标帧之间的视频帧进行人脸跟踪识别。在人脸跟踪识别的过程中，如果跟踪丢失丢失人脸，则立即触发采用至少一次按照第二间隔检测的方式对该视频帧之后的视频帧进行人脸检测，且每次检测时所间隔的第二间隔随检测次数的增大而增大。通过该操作可以迅速得到检测到的视频帧的人脸检测结果，从而快速追寻丢失的人脸，显著减少了找回丢失人脸的时间，从而保证及时对检测到的人脸进行特效渲染，提高AR特效的渲染效果和效率。
此外，本申请实施例中根据实时帧率动态确定的第一间隔，来选取目标帧进行人脸检测，可以使低端电子设备和旗舰电子设备在实际使用过程中，人脸发现的响应速度保持一致；不论用户使用低端电子设备还是旗舰电子设备，都能够得到同样的使用体验。
如图2所示，本申请实施例提供的另一种人脸检测方法，可以包括如下步骤：
S201，获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔。
S202，按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别。
S203，在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果。
其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。
本申请实施例中，S201～S203可以与上述实施例中S101～S103的步骤相同，在此不做赘述。
S204，若对当前视频帧之后的视频帧进行人脸检测的检测结果中包含跟踪丢失的人脸，或者所述第二间隔所间隔的视频帧数大于目标帧数阈值时，停止对当前视频帧之后的视频帧进行人脸检测。
其中，对当前视频帧之后的视频帧进行人脸检测的检测结果中包含跟踪丢失的人脸，即按照第二间隔选取视频帧进行人脸检测的检测结果中出现了先前跟踪丢失的人脸。例如，跟踪当前某一视频帧的前一视频帧得到了人脸A、人脸B和人脸C，而在对当前某一视频帧跟踪时，跟踪得到人脸a和人脸b，即跟踪当前某一视频帧跟踪时，跟踪丢失了人脸c，那么选取的视频帧的人脸检测结果中包含跟踪丢失的人脸，就是指按照第二间隔选取视频帧进行人脸检测的检测结果中得到了跟踪丢失了的人脸c。
可以理解的是，按照第二间隔对该视频帧之后的视频帧进行人脸检测时，检测次数至少为一次。这种仅检测一次的情景是指，在对下一视频帧进行跟踪识别的同时，立即触发按照第二间隔检测的方式对下一视频帧进行检测时就检测到跟踪丢失人脸。此时，仅进行一次按照第二间隔的检测，便停止人脸检测。
而如果对该下一视频帧进行检测时，没有检测得到跟踪丢失人脸，则后续可以继续按照增大的第二间隔进行检测，直到检测得到跟踪丢失人脸才停止人脸检测。考虑到实际情况，视频中某一视频帧中的人脸，在后续的视频帧中不再出现，因此，如果在经过多次上述按照第二间隔的人脸检测仍未能检测到跟踪丢失人脸时，继续进行人脸检测将会浪费计算资源。对于这种情况，可以通过设定预设的目标帧数阈值。当进行上述按照第二间隔的人脸检测，且检测间隔的第二间隔大于预设的目标帧数阈值时，便停止人脸检测。
可选地，上述目标帧数阈值的确定方式包括：
判断所述第一间隔和所述第二间隔的视频帧数的大小，以两者中的最小数值为目标帧数阈值。
需要说明的是，第一间隔可以根据预设固定检测时间内电子设备的实时帧率确定，第二间隔随着检测次数的增大而动态增大。本申请实施例中，通过第一间隔与第二间隔相关联的方式，可以自动设置目标帧数阈值。例如，对于某一电子设备，若其实时帧率为30fps，预设固定检测时间为t＝1s则可以确定第一间隔为30帧。如果按照第二间隔检测的方式检测时，当前检测的视频帧与上一次检测的视频帧之间的第二间隔为10、15、30等，即不大于该预设帧数30帧时，继续按照第二间隔检测的方式进行人脸检测；而当该第二间隔为31或35等大于30帧时，便自动停止按照第二间隔检测的方式进行人脸检测。
本申请实施例提供的人脸检测方法，在按照实时帧率确定的第一间隔选取视频的目标帧进行检测的同时，还对相间隔的目标帧之间的视频帧进行人脸跟踪识别。在人脸跟踪识别的过程中，如果跟踪丢失丢失人脸，则立即触发采用至少一次按照第二间隔检测的方式对该视频帧之后的视频帧进行人脸检测，且每次检测时所间隔的第二间隔随检测次数的增大而增大。通过该操作可以迅速得到检测到的视频帧的人脸检测结果，从而快速追寻丢失的人脸，显著减少了找回丢失人脸的时间，从而保证及时对检测到的人脸进行特效渲染，提高AR特效的渲染效果和效率。
此外，本申请实施例提供的方案，在抽取的视频帧的人脸检测结果中包含跟踪丢失的人脸，或者第二间隔大于预设帧数时，便停止按照第二间隔检测的方式进行人脸检测。这样，可以避免无意义的人脸检测操作，有效节省电子设备的计算资源。
相应于上述方法实施例，如图3所示，本申请实施例还提供一种人脸检测装置，应用于AR特效渲染场景，所述装置包括：
间隔确定模块301，用于获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；
检测跟踪模块302，用于按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；
人脸抽检模块303，用于在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。
可选地，所述第二间隔随着选取视频帧的次数的增加而指数递增。
可选地，所述第二间隔按照如下公式确定：
Nx＝ax-1，
其中，Nx为第二间隔；x为选取视频帧的次数，x≥1；a为大于1的常数。
可选地，所述装置还包括：
检测停止模块，用于若对当前视频帧之后的视频帧进行人脸检测的检测结果中包含跟踪丢失的人脸，或者所述第二间隔所间隔的视频帧数大于目标帧数阈值时，停止对当前视频帧之后的视频帧进行人脸检测。
可选地，所述目标帧数阈值的确定方式包括：
判断所述第一间隔和所述第二间隔的视频帧数的大小，以两者中的最小数值为目标帧数阈值。
可选地，所述人脸抽检模块，具体用于当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；
当检测得到人脸之后，将检测到的人脸与跟踪丢失人脸进行相似度对比；
如果对比结果大于预设阈值，则将检测到的人脸作为跟踪丢失人脸；否则，将检测得到的人脸作为新的人脸。
可选地，所述检测跟踪模块，具体用于采用第一线程，按照所述第一间隔从目标视频中选取目标帧进行人脸检测；
所述人脸抽检模块，具体用于采用第二线程，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；其中，所述第一线程和所述第二线程异步执行。
如图4所示，本申请实施例还提供了一种电子设备，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现上述实施例中任一的人脸检测方法的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，实现上述实施例中任一的人脸检测方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (9)

1.一种人脸检测方法，其特征在于，应用于AR特效渲染场景，所述方法包括：
获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；
按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；
在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果，基于所述人脸检测结果进行预定的特效渲染；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大；
其中，所述当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果，包括：
当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；
当检测得到人脸之后，将检测到的人脸与跟踪丢失人脸进行相似度对比；
如果对比结果大于预设阈值，则将检测到的人脸作为跟踪丢失人脸；否则，将检测得到的人脸作为新的人脸。
2.根据权利要求1所述的方法，其特征在于，所述第二间隔随着选取视频帧的次数的增加而指数递增。
3.根据权利要求2所述的方法，其特征在于，所述第二间隔按照如下公式确定：
Nx=ax-1，
其中，Nx为第二间隔；x为选取视频帧的次数，x≥1；a为大于1的常数。
4.根据权利要求1至3任一所述的人脸检测方法，其特征在于，所述方法还包括：
若对当前视频帧之后的视频帧进行人脸检测的检测结果中包含跟踪丢失的人脸，或者所述第二间隔所间隔的视频帧数大于目标帧数阈值时，停止对当前视频帧之后的视频帧进行人脸检测。
5.根据权利要求4所述的人脸检测方法，其特征在于，所述目标帧数阈值的确定方式包括：
判断所述第一间隔和所述第二间隔的视频帧数的大小，以两者中的最小数值为目标帧数阈值。
6.根据权利要求1所述的人脸检测方法，其特征在于，所述按照所述第一间隔从目标视频中选取目标帧进行人脸检测，包括：
采用第一线程，按照所述第一间隔从目标视频中选取目标帧进行人脸检测；
所述按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，包括：
采用第二线程，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；其中，所述第一线程和所述第二线程异步执行。
7.一种人脸检测装置，其特征在于，应用于AR特效渲染场景，所述装置包括：
间隔确定模块，用于获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；
检测跟踪模块，用于按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；
人脸抽检模块，用于在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果，基于所述人脸检测结果进行预定的特效渲染；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大；
所述人脸抽检模块，具体用于当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；当检测得到人脸之后，将检测到的人脸与跟踪丢失人脸进行相似度对比；如果对比结果大于预设阈值，则将检测到的人脸作为跟踪丢失人脸；否则，将检测得到的人脸作为新的人脸。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202110628737.8A 2021-06-04 2021-06-04 一种人脸检测方法、装置、电子设备及存储介质 Active CN113205079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110628737.8A CN113205079B (zh) 2021-06-04 2021-06-04 一种人脸检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110628737.8A CN113205079B (zh) 2021-06-04 2021-06-04 一种人脸检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113205079A CN113205079A (zh) 2021-08-03
CN113205079B true CN113205079B (zh) 2023-09-05

Family

ID=77024008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110628737.8A Active CN113205079B (zh) 2021-06-04 2021-06-04 一种人脸检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113205079B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642442B (zh) * 2021-08-06 2022-11-25 展讯通信（上海）有限公司 人脸检测方法及装置、计算机可读存储介质、终端

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751136A (zh) * 2015-03-11 2015-07-01 西安理工大学 一种基于人脸识别的多相机视频事件回溯追踪方法
WO2017016516A1 (zh) * 2015-07-24 2017-02-02 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN109034100A (zh) * 2018-08-13 2018-12-18 成都盯盯科技有限公司 人脸图样检测方法、装置、设备及存储介质
CN109145771A (zh) * 2018-08-01 2019-01-04 武汉普利商用机器有限公司 一种人脸抓拍方法及装置
CN109919096A (zh) * 2019-03-08 2019-06-21 广州二元科技有限公司 一种视频实时人脸检测的方法
CN110443115A (zh) * 2019-06-19 2019-11-12 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及可读存储介质
CN110969110A (zh) * 2019-11-28 2020-04-07 杭州趣维科技有限公司 一种基于深度学习的人脸跟踪方法及系统
CN110991287A (zh) * 2019-11-23 2020-04-10 深圳市恩钛控股有限公司 一种实时视频流人脸检测跟踪方法及检测跟踪系统
CN111163259A (zh) * 2018-11-07 2020-05-15 杭州海康威视数字技术股份有限公司 一种图像抓拍方法、监控相机及监控系统
CN112215155A (zh) * 2020-10-13 2021-01-12 北京中电兴发科技有限公司 一种基于多特征融合的人脸跟踪方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979360A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 一种渲染图像的处理方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751136A (zh) * 2015-03-11 2015-07-01 西安理工大学 一种基于人脸识别的多相机视频事件回溯追踪方法
WO2017016516A1 (zh) * 2015-07-24 2017-02-02 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN109145771A (zh) * 2018-08-01 2019-01-04 武汉普利商用机器有限公司 一种人脸抓拍方法及装置
CN109034100A (zh) * 2018-08-13 2018-12-18 成都盯盯科技有限公司 人脸图样检测方法、装置、设备及存储介质
CN111163259A (zh) * 2018-11-07 2020-05-15 杭州海康威视数字技术股份有限公司 一种图像抓拍方法、监控相机及监控系统
CN109919096A (zh) * 2019-03-08 2019-06-21 广州二元科技有限公司 一种视频实时人脸检测的方法
CN110443115A (zh) * 2019-06-19 2019-11-12 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及可读存储介质
CN110991287A (zh) * 2019-11-23 2020-04-10 深圳市恩钛控股有限公司 一种实时视频流人脸检测跟踪方法及检测跟踪系统
CN110969110A (zh) * 2019-11-28 2020-04-07 杭州趣维科技有限公司 一种基于深度学习的人脸跟踪方法及系统
CN112215155A (zh) * 2020-10-13 2021-01-12 北京中电兴发科技有限公司 一种基于多特征融合的人脸跟踪方法及系统

Also Published As

Publication number Publication date
CN113205079A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN112016413B (zh) 对象间异常行为的检测方法及装置
CN111414949B (zh) 图片聚类方法、装置、电子设备及存储介质
CN109426785B (zh) 一种人体目标身份识别方法及装置
CN111369590A (zh) 多目标跟踪方法、装置、存储介质及电子设备
US10600190B2 (en) Object detection and tracking method and system for a video
CN111553234B (zh) 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN110162270B (zh) 基于分布式存储系统的数据存储方法、存储节点及介质
CN115272426A (zh) 一种跨相机轨迹关联方法、装置及电子设备
CN109447022B (zh) 一种镜头类型识别方法及装置
US10659680B2 (en) Method of processing object in image and apparatus for same
CN110866428B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113205079B (zh) 一种人脸检测方法、装置、电子设备及存储介质
US8712100B2 (en) Profiling activity through video surveillance
WO2022048578A1 (zh) 图像内容检测方法、装置、电子设备和可读存储介质
CN113470013A (zh) 一种搬移物品的检测方法及装置
CN104933688B (zh) 一种数据处理方法及电子设备
CN113297409A (zh) 一种图像搜索方法、装置、电子设备及存储介质
CN107943536B (zh) 调整阈值的方法、装置、存储介质及电子设备
CN114219938A (zh) 感兴趣区域获取方法
CN112380938B (zh) 一种人脸识别及测温方法、装置、设备及介质
CN114710318A (zh) 一种限制爬虫高频访问的方法、装置、设备及介质
CN110414495B (zh) 一种手势识别方法、装置、电子设备及可读存储介质
CN111833232A (zh) 一种图像处理装置
CN113360356B (zh) 阅读作弊行为的识别方法、计算设备及计算机存储介质
CN111739054A (zh) 目标跟踪标记方法、系统、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant