CN111260692A - 人脸跟踪方法、装置、设备及存储介质 - Google Patents

人脸跟踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111260692A
CN111260692A CN202010063626.2A CN202010063626A CN111260692A CN 111260692 A CN111260692 A CN 111260692A CN 202010063626 A CN202010063626 A CN 202010063626A CN 111260692 A CN111260692 A CN 111260692A
Authority
CN
China
Prior art keywords
frame image
current frame
face
determining
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010063626.2A
Other languages
English (en)
Inventor
苏晋展
许清泉
余清洲
张伟
陈良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN202010063626.2A priority Critical patent/CN111260692A/zh
Publication of CN111260692A publication Critical patent/CN111260692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种人脸跟踪方法、装置、设备及存储介质，涉及图像跟踪技术领域。该人脸跟踪方法包括：根据当前帧图像的人脸特征图，确定所述当前帧图像中人脸特征点的绝对位置；根据所述当前帧图像的人脸特征图和前一帧图像的人脸特征图，确定所述当前帧图像和所述前一帧图像中所述人脸特征点的运动距离；根据所述前一帧图像中所述人脸特征点的绝对位置以及所述运动距离，确定所述当前帧图像中所述人脸特征点的相对位置；根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置，确定所述当前帧图像中所述人脸特征点的目标位置。相对于现有技术，解决现了跟踪误差较大，后续帧人脸位置产生较大偏差甚至错误的问题。

Description

人脸跟踪方法、装置、设备及存储介质
技术领域
本申请涉及图像跟踪技术领域，具体而言，涉及一种人脸跟踪方法、装置、设备及存储介质。
背景技术
人脸跟踪方法是实时的人脸相关应用场景的基础。在人脸检测无法实时的条件下，为了对人脸进行实时的分析和属性提取，需要结合人脸跟踪方法，来实时定位人脸的位置。
现有技术中一般基于跟踪的方法来实现人脸跟踪，该方法通过人脸检测所得的人脸区域位置，使用人脸窗口提取人脸框的特征，利用这个特征进行前后帧的跟踪，并在跟踪中不断对特征进行学习和更新，以克服人脸姿态、尺度和表情的变化。
但是这样的跟踪方式在人脸遮挡或其他情况下较为鲁棒，容易因为跟踪漂移导致跟踪错误或跟踪闪烁，并且误差不断累计，最终导致后续帧人脸位置产生较大偏差甚至错误。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种人脸跟踪方法、装置、设备及存储介质，以解决现有技术中误差较大，后续帧人脸位置产生较大偏差甚至错误的问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请一实施例提供了一种人脸跟踪方法，包括：根据当前帧图像的人脸特征图，确定所述当前帧图像中人脸特征点的绝对位置；
根据所述当前帧图像的人脸特征图和前一帧图像的人脸特征图，确定所述当前帧图像和所述前一帧图像中所述人脸特征点的运动距离；
根据所述前一帧图像中所述人脸特征点的绝对位置以及所述运动距离，确定所述当前帧图像中所述人脸特征点的相对位置；
根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置，确定所述当前帧图像中所述人脸特征点的目标位置。
可选地，所述根据当前帧图像的人脸特征图，确定所述当前帧图像中人脸特征点的绝对位置，包括：
根据所述当前帧图像的人脸特征图，确定所述当前帧图像中人脸特征点的绝对位置，和所述当前帧图像中的人脸置信度；
对应的，所述根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置，确定所述当前帧图像中所述人脸特征点的目标位置，包括：
根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置以及所述人脸置信度，确定所述当前帧图像中所述人脸特征点的目标位置。
可选地，所述根据所述当前帧图像的人脸特征图和前一帧图像的人脸特征图，确定所述当前帧图像和所述前一帧图像中所述人脸特征点的运动距离，包括：
根据所述当前帧图像的人脸特征图和所述前一帧图像的人脸特征图，确定所述运动距离，和所述当前帧图像与所述前一帧图像之间的关联置信度；
对应的，所述根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置以及所述关联置信度，确定所述当前帧图像中所述人脸特征点的目标位置，包括：
根据所述当前帧图像中所述人脸特征点的绝对位置、所述人脸置信度、所述相对位置以及所述关联置信度，确定所述当前帧图像中所述人脸特征点的目标位置。
可选地，所述根据所述当前帧图像中所述人脸特征点的绝对位置、所述人脸置信度、所述相对位置以及所述关联置信度，确定所述当前帧图像中所述人脸特征点的目标位置包括：
根据所述当前帧图像中所述人脸特征点的绝对位置、所述人脸置信度、所述相对位置以及所述关联置信度，采用加权平均算法，确定所述当前帧图像中所述人脸特征点的目标位置。
可选地，所述方法还包括：
根据所述人脸置信度和所述关联置信度，确定所述当前帧图像中人脸跟踪的置信度。
可选地，所述根据所述人脸置信度和所述关联置信度，确定所述当前帧图像中人脸跟踪的置信度，包括：
根据所述人脸置信度和所述关联置信度中的最大置信度，确定所述当前帧图像中人脸跟踪的置信度。
可选地，所述方法还包括：
判断所述当前帧图像中人脸跟踪的置信度是否大于或等于预设阈值；
若所述当前帧图像中人脸跟踪的置信度大于或等于所示预设阈值，则确定继续根据所述当前帧图像进行下一帧的人脸跟踪。
第二方面，本申请一实施例还提供一种人脸跟踪装置，包括：确定模块，用于根据当前帧图像的人脸特征图，确定所述当前帧图像中人脸特征点的绝对位置；
所述确定模块，还用于根据所述当前帧图像的人脸特征图和前一帧图像的人脸特征图，确定所述当前帧图像和所述前一帧图像中所述人脸特征点的运动距离；
所述确定模块，还用于根据所述前一帧图像中所述人脸特征点的绝对位置以及所述运动距离，确定所述当前帧图像中所述人脸特征点的相对位置；
所述确定模块，还用于根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置，确定所述当前帧图像中所述人脸特征点的目标位置。
可选地，所述确定模块，还用于根据所述当前帧图像的人脸特征图，确定所述当前帧图像中人脸特征点的绝对位置，和所述当前帧图像中的人脸置信度；根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置以及所述人脸置信度，确定所述当前帧图像中所述人脸特征点的目标位置。
可选地，所述确定模块，还用于根据所述当前帧图像的人脸特征图和所述前一帧图像的人脸特征图，确定所述运动距离，和所述当前帧图像与所述前一帧图像之间的关联置信度；根据所述当前帧图像中所述人脸特征点的绝对位置、所述人脸置信度、所述相对位置以及所述关联置信度，确定所述当前帧图像中所述人脸特征点的目标位置。
可选地，所述确定模块，还用于根据所述当前帧图像中所述人脸特征点的绝对位置、所述人脸置信度、所述相对位置以及所述关联置信度，采用加权平均的算法，确定所述当前帧图像中所述人脸特征点的目标位置。
所述确定模块，还用于根据所述人脸置信度和所述关联置信度，确定所述当前帧图像中人脸跟踪的置信度。
可选地，所述确定模块，还用于根据所述人脸置信度和所述关联置信度中的最大置信度，确定所述当前帧图像中人脸跟踪的置信度。
可选地，所述装置还包括：判断模块，用于判断所述当前帧图像中人脸跟踪的置信度是否大于或等于预设阈值；
所述确定模块，还用于若所述当前帧图像中人脸跟踪的置信度大于或等于所述预设阈值，则确定继续根据所述当前帧图像进行下一帧的人脸跟踪。
第三方面，本申请一实施例还提供一种人脸跟踪设备，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所提供的任一项所述的人脸跟踪方法。
第四方面，本申请一实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面所提供的任一项所述的人脸跟踪方法。
本申请的有益效果是：采用本申请提供的人脸跟踪方法，可以根据当前图像的人脸特征图和前一帧图像的人脸特征图，确定当前帧图像和前一帧图像中人脸特征点的运动距离，随后根据该运动距离和前一帧图像中人脸特征点的绝对位置，计算当前帧图像中人脸特征点的相对位置，最后根据当前帧图像中人脸特征点的绝对位置、相对位置确定当前帧图像中人脸特征点的目标位置，这样的处理方式通过结合前后帧图像的信息，融合得到最终当前帧图像中人脸特征点的目标位置，保证了跟踪过程中，前后帧的一致性，从而避免因为跟踪漂移导致跟踪错误或跟踪闪烁的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的人脸跟踪方法的流程示意图；
图2为本申请另一实施例提供的人脸跟踪方法的流程示意图；
图3为本申请另一实施例提供的人脸跟踪方法的流程示意图；
图4为本申请另一实施例提供的人脸跟踪方法的流程示意图；
图5为本申请一实施例提供的人脸跟踪装置的结构示意图；
图6为本申请一实施例提供的人脸跟踪装置的结构示意图；
图7为本申请一实施例提供的人脸跟踪设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
图1为本申请一实施例提供的人脸跟踪方法的流程示意图，该人脸跟踪方法可以由手机、平板电脑、穿戴设备等任一具有图像识别和图像处理功能的电子设备执行，也可由电子设备中图像应用程序对应的应用服务器执行，如下以电子设备的执行过程进行实例说明，针对服务器执行的方法其相似之处，本申请不再赘述。如图1所示，该方法包括：
S101：根据当前帧图像的人脸特征图，确定当前帧图像中人脸特征点的绝对位置。
其中，当前帧图像中的人脸特征图是根据预设的主干网络计算得到的，主干网络为预先训练好的算法的特征提取网络，任何通用的卷积神经网络均可成为主干网络。主干网络的使用过程中，输入为待处理图像It(待处理图像为：人脸图像)，输出为待处理图像对应的图像的特征图Ft；其中，t表示当前人脸图像的帧序号，当t＝1时，表示当前人脸图像为第一帧图像。
可选地，在本申请的一个实施例中，主干网络可以为Backbone Network，简称B-Net，具体主干网络的选择可以根据用户需要设计，本申请在此不做任何限制。
其中，人脸特征点的绝对位置是根据预设的绝对预测网络确定的，绝对预测网络为预先训练好的通用的人脸点预测网络，其输入为主干网络输出的当前帧图像的特征图，输出为当前特征图中，人脸特征点的绝对位置St。
可选地，在本申请的一个实施例中，绝对预测网络可以为Absolute Network，简称Abs-Net，但具体绝对预测网络的选择可以根据用户需要设计，本申请在此不做任何限制。
S102：根据当前帧图像的人脸特征图和前一帧图像的人脸特征图，确定当前帧图像和前一帧图像中人脸特征点的运动距离。
其中，运动距离的确定是根据预设的差分预测网络得到的，差分预测网络的输入为的当前帧图像的人脸特征图Ft和前一帧图像的人脸特征图Ft-1；输出为当前帧图像的和前一帧图像中人脸特征点的运动距离
Figure BDA0002375148670000064
可选地，在本申请的一个实施例中，差分预测网络可以为差分预测网络(Differential Network)，简称Diff-Net，但具体差分预测网络的选择可以根据用户需要设计，本申请在此不做任何限制。
S103：根据前一帧图像中人脸特征点的绝对位置以及运动距离，确定当前帧图像中人脸特征点的相对位置。
其中，通过绝对预测网络和差分预测网络，可以分别计算得到前一帧图像中人脸特征点的绝对位置St-1和运动距离
Figure BDA0002375148670000061
随后根据公式
Figure BDA0002375148670000062
计算得到当前帧图像中人脸特征点的相对位置
Figure BDA0002375148670000063
S104：根据当前帧图像中人脸特征点的绝对位置、相对位置，确定当前帧图像中人脸特征点的目标位置。
本实施例所提供的人脸跟踪方法中，可以根据当前图像的人脸特征图和前一帧图像的人脸特征图，确定当前帧图像和前一帧图像中人脸特征点的运动距离，随后根据该运动距离和前一帧图像中人脸特征点的绝对位置，计算当前帧图像中人脸特征点的相对位置，最后根据当前帧图像中人脸特征点的绝对位置、相对位置确定当前帧图像中人脸特征点的目标位置，这样的处理方式通过结合前后帧图像的信息，融合得到最终当前帧图像中人脸特征点的目标位置，保证了跟踪过程中，前后帧的一致性，从而避免因为跟踪漂移导致跟踪错误或跟踪闪烁的问题。
图2为本申请另一实施例提供的人脸跟踪方法的流程示意图，如图2所示，S101包括：
S105：根据当前帧图像的人脸特征图确定当前帧图像中人脸特征点的绝对位置，和当前帧图像中的人脸置信度。
其中，当前帧图像中的人脸置信度Qt为绝对预测网络的输出端输出的，该置信度为当前帧图像中的人脸跟踪置信度；即绝对预测网络的输入端输入的为当前帧图像的特征图，输出的为St和Qt。
对应的，S104包括：根据当前帧图像中人脸特征点的绝对位置、相对位置以及人脸信度，确定当前帧图像中人脸特征点的目标位置。
可选地，S102包括：
S106：根据当前帧图像的人脸特征图和前一帧图像的人脸特征图，确定运动距离，和当前帧图像与前一帧图像之间的关联置信度。
其中，关联置信度
Figure BDA0002375148670000071
为差分预测网络的输出端输出的，用于表示前后帧之间的关联置信度；即差分预测网络输入端输入的为Ft和Ft-1，输出端输出的为
Figure BDA0002375148670000072
和
Figure BDA0002375148670000073
对应的，S104可以包括：
S107：根据当前帧图像中人脸特征点的绝对位置、人脸置信度、相对位置以及关联置信度，确定当前帧图像中人脸特征点的目标位置。
在本申请的一个实施例中，当前帧图像中人脸特征点的目标位置的确定是根据：当前帧图像中人脸特征点的绝对位置、人脸置信度、相对位置以及关联置信度，采用加权平均的算法计算得到的。
其中，加权平均的算法为
Figure BDA0002375148670000074
St′即为当前的人脸特征点最终输出的目标位置。
其中，St为人脸特征点的绝对位置，Qt为当前人脸的置信度，
Figure BDA0002375148670000075
为运动距离，即当前帧与上一帧人脸特征点之间的坐标差，
Figure BDA0002375148670000076
为关联置信度，即当前帧与前一帧图像之间，来自同一人脸的关联置信度。
其中，由于计算目标位置的过程中加入了前后一致性的置信度，使得置信度高的帧图像中人脸特征点的位置所占的比例更大，置信度低的帧图像中人脸特征点的位置所占的比例更小，从而保证了跟踪过程中前后的一致性，即上一帧和下一帧的置信度更加平滑和鲁邦，能够有效避免因为环境恶劣导致的跟踪闪烁的问题。
图3为本申请另一实施例提供的人脸跟踪方法的流程示意图，如图3所示，该方法还可包括：
S108：根据人脸置信度和关联置信度，确定当前帧图像中人脸跟踪的置信度。
可选地，可以将人脸置信度和关联置信度取平均值作为当前帧图像中人脸跟踪的置信度；也可以将人脸置信度和关联置信度中的最大值作为当前帧图像中的人脸跟踪的置信度；也可以按照预设权重对人脸置信度和关联置信度进行加权处理后，得到当前帧图像中人脸跟踪的置信度；具体人脸跟踪的置信度确定方式可以根据用户需要设计，并不以上述实施例给出的例子为限。
在本申请的一个实施例中，根据人脸置信度和关联置信度中的最大置信度，确定当前帧图像中人脸跟踪的置信度。
当前帧图像中人脸跟踪的置信度为人脸置信度和关联置信度之间的最大值，即Q′t＝max(Qt,Pt)；Q′t即为当前帧图像中人脸跟踪的置信度。
可选地，上述方法均应用在非第一帧图像的基础上，若当前帧图像为第一帧图像，则只执行S105。
其中，由于第一帧图像没有前一帧图像，无法执行后续步骤，所以使用S105输出的当前帧图像中的人脸置信度为人脸跟踪的置信度，并通过判断当前的人脸跟踪的置信度是否大于或等于预设阈值，来确定是否继续跟踪，若大于或等于预设阈值，则输出当前帧图像中人脸特征点的绝对位置和人脸跟踪的置信度，并且存储当前帧图像的人脸特征图Ft，以作为下一帧图像的差分预测网络的输入项，随后进入下一帧图像的跟踪。
在上述任一所示方法的基础上，本申请实施例还提供一种人脸跟踪方法，图4为本申请另一实施例提供的人脸跟踪方法的流程示意图，如图4所示，该方法还可包括：
S109：判断当前帧图像中人脸跟踪的置信度是否大于或等于预设阈值。
若当前帧图像中人脸跟踪的置信度大于或等于预设阈值，则确定继续根据当前帧图像进行下一帧的人脸跟踪，执行S105。
可选地，若当前帧图像中人脸跟踪的置信度大于或等于预设阈值，则输出当前的人脸特征点最终输出的目标位置，和当前帧图像中人脸跟踪的置信度，并进入下一帧图像进行人脸跟踪。
若当前帧图像中人脸跟踪的置信度小于预设阈值，则表示当前跟踪已经不满足要求，执行S110：结束跟踪。
在本申请的一个实施例中，预设阈值设置为0.5，但是预设阈值的具体设置可以根据用户需要设计，本申请在此不做任何限制。
可选地，上述任一实施例提供的人脸跟踪方法，均可采用预先建立的神经网络模型实现，预先训练的神经网络模型包括：主干网络、绝对预测网络和差分预测网络。
训练时，使用含有标识的静态图像人脸点数据，或含有标识的视频人脸点数据对模型进行训练。
其中，对于静态图像数据，通过在静态图像中随机裁剪两张人脸区域的图像来模拟人脸在视频中的运动。采用这样的数据进行训练的优点在于训练数据容易获取，但是模拟的前后帧数据中人脸点只有刚性(平移、旋转、缩放)运动，不具备表情运动。对于视频数据的训练过程中，可以从5帧图像中随机选取两帧图像，作为前后帧数据进行训练。
整个算法使用人脸点优先训练的方式，先对人脸点进行训练，在人脸点训练完毕之后，冻结人脸点的相关参数，并训练置信度分支；置信度训练过程中，数据集最终会输出两组图像和对应的图像标签(标签用于指示当前图像是否是人脸)。
可选地，在本申请的一个实施例中，采用算法Pytorch框架对模型进行训练，但是具体框架的选择并不以此为限。
采用本申请提供的人脸跟踪方法，可以通过结合前后帧图像的信息，按照预设算法经过加权计算后，得到最终当前帧图像中人脸特征点的目标位置，并且选择人脸置信度和关联置信度中的最大置信度为当前帧图像中人脸跟踪的置信度，这样就在最大程度上保证了跟踪前后的一致性，使得每一帧的检测中能够感知前后帧环境条件的一致性，提高了人脸跟踪的持续一致性，减少闪烁。
图5为本申请一实施例提供的一种人脸跟踪装置的示意图，如图5所示，该装置可包括：确定模块201，用于根据当前帧图像的人脸特征图，确定当前帧图像中人脸特征点的绝对位置。
确定模块201，还用于根据当前帧图像的人脸特征图和前一帧图像的人脸特征图，确定当前帧图像和前一帧图像中人脸特征点的运动距离。
确定模块201，还用于根据前一帧图像中人脸特征点的绝对位置以及运动距离，确定当前帧图像中人脸特征点的相对位置。
确定模块201，还用于根据当前帧图像中人脸特征点的绝对位置、相对位置，确定当前帧图像中人脸特征点的目标位置。
可选地，确定模块201，还用于根据当前帧图像的人脸特征图，确定当前帧图像中人脸特征点的绝对位置，和当前帧图像中的人脸置信度；根据当前帧图像中人脸特征点的绝对位置、相对位置以及人脸置信度，确定当前帧图像中人脸特征点的目标位置。
可选地，确定模块201，还用于根据当前帧图像的人脸特征图和前一帧图像的人脸特征图，确定运动距离，和当前帧图像与前一帧图像之间的关联置信度；根据当前帧图像中人脸特征点的绝对位置、人脸置信度、相对位置以及关联置信度，确定当前帧图像中人脸特征点的目标位置。
可选地，确定模块201，还用于根据当前帧图像中人脸特征点的绝对位置、人脸置信度、相对位置以及关联置信度，采用加权平均的算法，确定当前帧图像中人脸特征点的目标位置。
确定模块201，还用于根据人脸置信度和关联置信度，确定当前帧图像中人脸跟踪的置信度。
可选地，确定模块，还用于根据人脸置信度和关联置信度中的最大置信度，确定当前帧图像中人脸跟踪的置信度。
图6为本申请另一实施例提供的一种人脸跟踪装置的示意图，如图6所示，该装置还包括：判断模块202，用于判断当前帧图像中人脸跟踪的置信度是否大于或等于预设阈值。
确定模块201，还用于若当前帧图像中人脸跟踪的置信度大于或等于预设阈值，则确定继续根据当前帧图像进行下一帧的人脸跟踪。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图7为本申请一实施例提供的人脸跟踪设备的结构示意图，该人脸跟踪设备可以集成于终端设备或者终端设备的芯片。
如图7所示，该人脸跟踪设备包括：处理器501、存储介质502和总线503。
处理器501用于存储程序，处理器501调用存储介质502存储的程序，以执行上述图1-图4对应的方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本申请还提供一种程序产品，例如存储介质，该存储介质上存储有计算机程序，包括程序，该程序在被处理器运行时执行上述方法对应的实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种人脸跟踪方法，其特征在于，包括：
根据当前帧图像的人脸特征图，确定所述当前帧图像中人脸特征点的绝对位置；
根据所述当前帧图像的人脸特征图和前一帧图像的人脸特征图，确定所述当前帧图像和所述前一帧图像中所述人脸特征点的运动距离；
根据所述前一帧图像中所述人脸特征点的绝对位置以及所述运动距离，确定所述当前帧图像中所述人脸特征点的相对位置；
根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置，确定所述当前帧图像中所述人脸特征点的目标位置。
2.根据权利要求1所述的方法，其特征在于，所述根据当前帧图像的人脸特征图，确定所述当前帧图像中人脸特征点的绝对位置，包括：
根据所述当前帧图像的人脸特征图，确定所述当前帧图像中人脸特征点的绝对位置，和所述当前帧图像中的人脸置信度；
对应的，所述根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置，确定所述当前帧图像中所述人脸特征点的目标位置，包括：
根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置以及所述人脸置信度，确定所述当前帧图像中所述人脸特征点的目标位置。
3.根据权利要求2所述的方法，其特征在于，所述根据所述当前帧图像的人脸特征图和前一帧图像的人脸特征图，确定所述当前帧图像和所述前一帧图像中所述人脸特征点的运动距离，包括：
根据所述当前帧图像的人脸特征图和所述前一帧图像的人脸特征图，确定所述运动距离，和所述当前帧图像与所述前一帧图像之间的关联置信度；
对应的，所述根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置以及所述关联置信度，确定所述当前帧图像中所述人脸特征点的目标位置，包括：
根据所述当前帧图像中所述人脸特征点的绝对位置、所述人脸置信度、所述相对位置以及所述关联置信度，确定所述当前帧图像中所述人脸特征点的目标位置。
4.根据权利要求3所述的方法，其特征在于，所述根据所述当前帧图像中所述人脸特征点的绝对位置、所述人脸置信度、所述相对位置以及所述关联置信度，确定所述当前帧图像中所述人脸特征点的目标位置包括：
根据所述当前帧图像中所述人脸特征点的绝对位置、所述人脸置信度、所述相对位置以及所述关联置信度，采用加权平均的算法，确定所述当前帧图像中所述人脸特征点的目标位置。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述人脸置信度和所述关联置信度，确定所述当前帧图像中人脸跟踪的置信度。
6.根据权利要求5所述的方法，其特征在于，所述根据所述人脸置信度和所述关联置信度，确定所述当前帧图像中人脸跟踪的置信度，包括：
根据所述人脸置信度和所述关联置信度中的最大置信度，确定所述当前帧图像中人脸跟踪的置信度。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
判断所述当前帧图像中人脸跟踪的置信度是否大于或等于预设阈值；
若所述当前帧图像中人脸跟踪的置信度大于或等于所述预设阈值，则确定继续根据所述当前帧图像进行下一帧的人脸跟踪。
8.一种人脸跟踪装置，其特征在于，包括：确定模块，用于根据当前帧图像的人脸特征图，确定所述当前帧图像中人脸特征点的绝对位置；
所述确定模块，还用于根据所述当前帧图像的人脸特征图和前一帧图像的人脸特征图，确定所述当前帧图像和所述前一帧图像中所述人脸特征点的运动距离；
所述确定模块，还用于根据所述前一帧图像中所述人脸特征点的绝对位置以及所述运动距离，确定所述当前帧图像中所述人脸特征点的相对位置；
所述确定模块，还用于根据所述当前帧图像中所述人脸特征点的绝对位置、所述相对位置，确定所述当前帧图像中所述人脸特征点的目标位置。
9.一种人脸跟踪设备，其特征在于，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的人脸跟踪方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述权利要求1-7任一项所述的人脸跟踪方法。
CN202010063626.2A 2020-01-20 2020-01-20 人脸跟踪方法、装置、设备及存储介质 Pending CN111260692A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010063626.2A CN111260692A (zh) 2020-01-20 2020-01-20 人脸跟踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010063626.2A CN111260692A (zh) 2020-01-20 2020-01-20 人脸跟踪方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111260692A true CN111260692A (zh) 2020-06-09

Family

ID=70952502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010063626.2A Pending CN111260692A (zh) 2020-01-20 2020-01-20 人脸跟踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111260692A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023108411A1 (zh) * 2021-12-14 2023-06-22 华为技术有限公司 一种目标跟踪方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090169067A1 (en) * 2007-12-26 2009-07-02 Altek Corporation Face detection and tracking method
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
CN107832741A (zh) * 2017-11-28 2018-03-23 北京小米移动软件有限公司 人脸特征点定位的方法、装置及计算机可读存储介质
CN107871106A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 人脸检测方法和装置
CN108304758A (zh) * 2017-06-21 2018-07-20 腾讯科技（深圳）有限公司 人脸特征点跟踪方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090169067A1 (en) * 2007-12-26 2009-07-02 Altek Corporation Face detection and tracking method
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
CN107871106A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 人脸检测方法和装置
CN108304758A (zh) * 2017-06-21 2018-07-20 腾讯科技（深圳）有限公司 人脸特征点跟踪方法及装置
CN107832741A (zh) * 2017-11-28 2018-03-23 北京小米移动软件有限公司 人脸特征点定位的方法、装置及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023108411A1 (zh) * 2021-12-14 2023-06-22 华为技术有限公司 一种目标跟踪方法和装置

Similar Documents

Publication Publication Date Title
CN108229322B (zh) 基于视频的人脸识别方法、装置、电子设备及存储介质
US10825187B2 (en) Method and system for object tracking
WO2021169637A1 (zh) 图像识别方法、装置、计算机设备及存储介质
US8363902B2 (en) Moving object detection method and moving object detection apparatus
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN112016371B (zh) 人脸关键点检测方法、装置、设备及存储介质
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
CN113221771B (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
CN110738650B (zh) 一种传染病感染识别方法、终端设备及存储介质
WO2021217937A1 (zh) 姿态识别模型的训练方法及设备、姿态识别方法及其设备
CN116363750A (zh) 人体姿态预测方法、装置、设备及可读存储介质
CN116452631A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN111260692A (zh) 人脸跟踪方法、装置、设备及存储介质
CN115862119B (zh) 基于注意力机制的人脸年龄估计方法及装置
CN107977628B (zh) 神经网络训练方法、人脸检测方法及人脸检测装置
CN113223083B (zh) 一种位置确定方法、装置、电子设备及存储介质
CN115359563A (zh) 多人行为识别方法、装置、计算机设备及存储介质
CN113963202A (zh) 一种骨骼点动作识别方法、装置、电子设备及存储介质
WO2023041181A1 (en) Electronic device and method for determining human height using neural networks
CN114463378B (zh) 目标跟踪方法、电子设备及存储介质
CN113077512B (zh) 一种rgb-d位姿识别模型训练方法及系统
CN110458092B (zh) 基于l2正则化梯度约束稀疏表示的人脸识别方法
CN116452741B (zh) 对象重建方法、对象重建模型的训练方法、装置及设备
CN110210306B (zh) 一种人脸跟踪方法和相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination