CN111667504A - 一种人脸追踪方法、装置及设备 - Google Patents

一种人脸追踪方法、装置及设备 Download PDF

Info

Publication number
CN111667504A
CN111667504A CN202010325777.0A CN202010325777A CN111667504A CN 111667504 A CN111667504 A CN 111667504A CN 202010325777 A CN202010325777 A CN 202010325777A CN 111667504 A CN111667504 A CN 111667504A
Authority
CN
China
Prior art keywords
face
frame picture
key point
face key
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010325777.0A
Other languages
English (en)
Other versions
CN111667504B (zh
Inventor
徐波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Duoyi Network Co ltd
GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD
Guangzhou Duoyi Network Co ltd
Original Assignee
Duoyi Network Co ltd
GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD
Guangzhou Duoyi Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Duoyi Network Co ltd, GUANGDONG LIWEI NETWORK TECHNOLOGY CO LTD, Guangzhou Duoyi Network Co ltd filed Critical Duoyi Network Co ltd
Priority to CN202010325777.0A priority Critical patent/CN111667504B/zh
Publication of CN111667504A publication Critical patent/CN111667504A/zh
Application granted granted Critical
Publication of CN111667504B publication Critical patent/CN111667504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种人脸追踪方法，包括：获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点；根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点；所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点按照预设的光流算法进行计算，得到当前帧图片的第二人脸关键点；根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点。本发明实施例还提供了一种人脸追踪装置及设备，能有效解决现有技术中人脸关键点抖动，而造成追踪到的人脸位置信息不准确的问题。

Description

一种人脸追踪方法、装置及设备
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸追踪方法、装置及设备。
背景技术
目前，图像处理技术应用到了越来越多的领域。其中基于图像序列的人脸追踪技术是从视频中检测出人脸，并在后续帧中捕获人脸位置、大小等信息的技术。但是，目前的人脸追踪技术没有考虑到人脸关键点抖动，而造成追踪到的人脸位置信息不准确的问题。
发明内容
本发明实施例提供一种人脸追踪方法、装置及设备，能有效解决现有技术中人脸关键点抖动，而造成追踪到的人脸位置信息不准确的问题。
本发明一实施例提供一种人脸追踪方法，包括：
获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点；其中，所述人脸关键点包括：人脸五官的位置信息；
根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点；
所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点按照预设的光流算法进行计算，得到当前帧图片的第二人脸关键点；
根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点。
作为上述方案的改进，在所述获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点之后，所述根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点之前，所述方法还包括：
根据上一帧图片中的人脸关键点计算出所述上一帧图片中的人脸关键点对应的外切矩阵；
根据当前帧图片对所述外切矩阵按照预设的比例进行调整，得到前帧图片的截取矩阵。
作为上述方案的改进，所述根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点，具体包括：
将所述当前帧图片截取矩阵按照预设的排列方式输入至所述预设的人脸识别神经网络进行计算，得到当前帧图片的第一人脸关键点。
作为上述方案的改进，所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点按照预设的光流算法进行计算，得到当前帧图片的第二人脸关键点，具体包括：
将所述上一帧图片中人脸关键点对应的像素点标记为有效像素点；
根据预设的光流算法对所述上一帧图片中人脸关键点对应的像素点与所述当前帧图片的像素点进行对比计算，得到各个像素点对应的偏移量；
在所述有效像素点上增加其对应的偏移量，得到当前帧图片的第二人脸关键点。
作为上述方案的改进，根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点，具体包括：
判断所述第一人脸关键点与所述第二人脸关键点的差值的绝对值是否大于预设的第一阈值；
响应于判断结果大于预设的第一阈值，则选择所述第一人脸关键点为当前帧的最终人脸关键点。
作为上述方案的改进，在所述判断所述第一人脸关键点与所述第二人脸关键点的差值的绝对值是否大于预设的第一阈值之后，还包括:
响应于判断结果小于预设的第一阈值，则判断所述第一人脸关键点与所述第二人脸关键点的差值的绝对值是否小于预设的第二阈值；
响应于判断结果小于预设的第二阈值，则选择所述第二人脸关键点为当前帧的最终人脸关键点；
响应于判断结果不小于预设的第二阈值，则根据所述第一人脸关键点与所述第二人脸关键点的差值的绝对值，在所述第二人脸关键点的位置信息上增加对应的偏移量。
作为上述方案的改进，在所述获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点之前，还包括：
判断所述上一帧图片中的人脸关键点是否存在；
响应于判断结果为存在，则获取上一帧图片中的人脸关键点；
响应于判断结果为不存在，则根据预设的人脸检测算法对当前帧图片进行处理，得到当前帧图片的截取矩阵。
作为上述方案的改进，所述方法还包括：
在预设的周期内根据预设的人脸检测算法对所述当前帧图片进行检查，以判断所述当前帧图片中是否有新增的人脸。
本发明另一实施例对应提供了一种人脸追踪装置，包括：
获取模块，用于获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点；其中，所述人脸关键点包括：人脸五官的位置信息；
第一计算模块，用于根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点；
第二计算模块，用于所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点按照预设的光流算法进行计算，得到当前帧图片的第二人脸关键点；
处理模块，用于根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点。
本发明另一实施例提供了一种人脸追踪设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的人脸追踪方法。
与现有技术相比，本发明实施例公开的人脸追踪方法、装置及设备，根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点，再根据预设的光流算法对所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点进行计算，得到当前帧图片的第二人脸关键点。再根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点。由此可见，通过光流算法与神经网络进行结合，通过光流算法避免人脸关键点抖动的情况，使得追踪出来的人脸位置信息更加准确，从而提升用户体验。
附图说明
图1是本发明一实施例提供的一种人脸追踪方法的流程示意图；
图2是本发明一实施例提供的一种人脸追踪装置的结构示意图；
图3是本发明一实施例提供的一种人脸追踪设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种人脸追踪方法的流程示意图。
本发明一实施例提供一种人脸追踪方法，包括：
S10,获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点；其中，所述人脸关键点包括：人脸五官的位置信息。
需要说明的是，在本实施例中，图片来自于人脸追踪终端拍摄的视频，视频图片中可以包括多个人脸，这样，每个人脸都对应有各自的人脸关键点。
可以理解的是，上一帧图片中的人脸关键点可以是已经通过计算获得的，也可以是是预先设置好的。
S20,根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点。
具体地，将当前帧图片输入至预设的人脸识别神经网络，得到所有对应人脸图片的关键点、人脸属性(性别，眼镜，人脸置信度)、人脸三维欧拉角信息。可以理解的是，BP神经网络、卷积神经网络等都可以识别人脸关键点(即人脸五官)，在此不对预设的人脸识别神经网络进行限定。
进一步地，判断人脸置信度是否大于预设的置信度阈值。
响应于判断结果为大于预设的置信度阈值，则此人脸关键点有效。
响应于判断结果为小于预设的置信度阈值，则此人脸关键点无效。
在本实施例中，人脸的置信度是0-1，将置信度阈值设置为0.95(可以理解的是，置信度阈值可以根据需要进行设置)，则置信度大于0.95的人脸关键点有效，并除去无效人脸关键点，使得视频图片中的人脸关键点更加准确。
S30,所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点按照预设的光流算法进行计算，得到当前帧图片的第二人脸关键点。
其中，预设的光流算法为LK光流算法，一个像素I(x,y,t)在第一帧的光强度(其中t代表其所在的时间维度)。它移动了(dx,dy)的距离到下一帧，用了dt时间。因为是同一个像素点，我们认为该像素在运动前后的光强度是不变的即
I(x,y,t)＝I(x+dx,y+dy,t+dt) (1)
对公式(1)进行泰勒展开，得到
Figure BDA0002463154100000061
其中，ε代表二阶无穷小项，可忽略不计。代入后同除dt，可得：
Figure BDA0002463154100000062
设u,v分别为光流分别为沿X轴与Y轴的速度矢量，得：
Figure BDA0002463154100000063
令
Figure BDA0002463154100000064
分别表示图像中像素点的灰度沿X,Y,T方向的偏导数。
综上可得Ixu+Iyv+It＝0，其中，Ix,Iy,It均可由图像数据求得，而(u，v)即为所求光流矢量。
S40,根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点。
其中，预设的人脸追踪判断条件为判断所述第一人脸关键点与所述第二人脸关键点的差值的绝对值是否大于预设的第一阈值。
具体地，将光流算法得到的人脸关键点和神经网络计算得到的人脸关键点进行对比，不再单一的用神经网络计算人脸关键点位置，通过光流算法避免人脸抖动时，神经网络计算出的位置不准确的问题。
综上所述，根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点，再根据预设的光流算法对所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点进行计算，得到当前帧图片的第二人脸关键点。再根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点。由此可见，通过光流算法与神经网络进行结合，通过光流算法避免人脸关键点抖动的情况，使得追踪出来的人脸位置信息更加准确，从而提升用户体验。
作为上述方案的改进，在步骤S10,所述获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点之后，在步骤S20,所述根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点之前，所述方法还包括：
S11，根据上一帧图片中的人脸关键点计算出所述上一帧图片中的人脸关键点对应的外切矩阵。
需要说明的是，因为视频前后两帧人脸位置基本上不会改变，所以用上一帧人脸位置直接算做当前帧人脸位置。根据现有技术计算出人脸关键点对应的外切矩阵值。
S12，根据当前帧图片对所述外切矩阵按照预设的比例进行调整，得到前帧图片的截取矩阵。
在本实施例中，预设的比例为向上扩充人脸外切矩阵高的％2.68和向下扩充高的1.2％得出人脸截取矩阵的高，让截取人脸矩阵的宽等于人脸截取矩阵的高，使人脸截取矩阵为正方形，防止人脸缩放变形。可以理解的是，预设的比例可以根据需要进行改变，以使人脸截取矩阵为正方形。
进一步地，在按照预设的比例进行调整之后，将人脸截取矩阵中人脸的位置调整至人脸截取矩阵中心，得到当前帧图片的截取矩阵。
具体地，先将当前帧图片对应的外切矩阵进行适应性的缩放，在本实施例中，缩放到112*112，还可以为其他尺寸，在此不做限定。
作为上述方案的改进，根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点，步骤S20具体包括：
将所述当前帧图片的截取矩阵按照预设的排列方式输入至所述预设的人脸识别神经网络。
在本实施例中，将缩放到112*112的图片按照NCHW方式排列，输入到预设的人脸识别神经网络得出所有对应人脸图片的关键点集合、人脸属性(性别，眼镜，人脸置信度)、人脸三维欧拉角信息(即人脸朝向信息)。
作为上述方案的改进，所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点按照预设的光流算法进行计算，得到当前帧图片的第二人脸关键点，步骤S30具体包括：
S300，将所述上一帧图片中人脸关键点对应的像素点标记为有效像素点。
在本实施例中，将人脸关键点对应的像素点标记为有效像素点，其余为无效像素点，将有效像素点标记为1，无效像素点标记为0。从而可以判断上一帧图片中的人脸关键点移动至当前帧图片的偏移量。
S301，根据预设的光流算法对所述上一帧图片中人脸关键点对应的像素点与所述当前帧图片的像素点进行对比计算，得到各个像素点对应的偏移量。
在本实施例中，通过LK光流算法计算出当前视频帧图片人脸关键点相与上一帧视频图片人脸变化产生的偏移量。
S302，在所述有效像素点上增加其对应的偏移量，得到当前帧图片的第二人脸关键点。
在本实施例中，在标记为1的像素点上增加其对应的偏移量，从而得到当前帧图片的第二人脸关键点。
作为上述方案的改进，根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点，步骤S40具体包括：
S401,判断所述第一人脸关键点与所述第二人脸关键点的差值的绝对值是否大于预设的第一阈值。
其中，预设的第一阈值设置为9个像素，还可以根据需要设置为其他值，在此不做限定。
在本实施例中，将第一人脸关键点与第二人脸关键点的做差，得到两个数组的差值。可以理解的是，在图片中可以含有多个人，因此需要每一个人脸关键点进行做差，再判断差值的绝对值是否大于预设的第一阈值。
S402,响应于判断结果大于预设的第一阈值，则选择所述第一人脸关键点为当前帧的最终人脸关键点。
在本实施例中，差值的绝对值大于9个像素则选择第一人脸关键点(即预设的人脸识别神经网络计算得到的人脸关键点)为当前帧的最终人脸关键点
作为上述方案的改进，在所述判断所述第一人脸关键点与所述第二人脸关键点的差值的绝对值是否大于预设的第一阈值之后，还包括:
S403,响应于判断结果小于预设的第一阈值，则判断所述第一人脸关键点与所述第二人脸关键点的差值的绝对值是否小于预设的第二阈值。
在本实施例中，预设的第二阈值设置为3个像素，还可以根据需要设置为其他值，在此不做限定。
S404,响应于判断结果小于预设的第二阈值，则选择所述第二人脸关键点为当前帧的最终人脸关键点。
在本实施例中，当差值的绝对值小于3个像素，则选择所述第二人脸关键点(即光流算法计算得到的)为当前帧的最终人脸关键点。
S405,响应于判断结果不小于预设的第二阈值，则根据所述第一人脸关键点与所述第二人脸关键点的差值的绝对值，在所述第二人脸关键点的位置信息上增加对应的偏移量。
优选地，当差值的绝对值不小于预设的第二阈值，则判断差值的绝对值是否小于预设的第三阈值。
响应于判断结果小于预设的第三阈值，则在所述第二人脸关键点上增加对应的第一偏移量。
响应于判断结果不小于预设的第三阈值，则判断值的绝对值是否不大于预设的第一阈值。
响应于判断结果不大于预设的第一阈值，则在所述第二人脸关键点上增加对应的第二偏移量。
其中，预设的第三阈值为6个像素，还可以根据需要设置为其他值，在此不做限定。第一偏移量为设置为差值绝对值的三分之一，第二偏移量设置为差值绝对值的三分之二。
需要说明的是，第一阈值、第二阈值、第三阈值只是本发明实施例的一个示例，在实际应用中，可以根据大量的统计或者根据工作人员的需要对阈值、以及偏移量进行相应的更改，在此不做限定。
作为上述方案的改进，步骤S10在所述获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点之前，还包括：
S1,判断所述上一帧图片中的人脸关键点是否存在。
S2,响应于判断结果为存在，则获取上一帧图片中的人脸关键点。
S2’,响应于判断结果为不存在，则根据预设的人脸检测算法对当前帧图片进行处理，得到当前帧图片的截取矩阵。
具体地，当上一帧图片中的人脸关键点不存在时，可以通过MTCNN神经网络对当前帧图片进行处理，得到当前帧图片的截取矩阵。则在此步骤之后无需对上一帧图片进行预处理。可以直接将当前帧图片的截取矩阵输入至预设的人脸识别神经网络进行计算。
作为上述方案的改进，所述方法还包括：
在预设的周期内根据预设的人脸检测算法对所述当前帧图片进行检查，以判断所述当前帧图片中是否有新增的人脸。其中，预设的周期设置为30帧，还可以设置为任意周期(例如时间周期等)，在此不做限定。
在本实施例中，通过MTCNN神经网络对所述当前帧图片进行检查，判断是否有新的人脸截取矩阵加入。
参见图2，是本发明一实施例提供的一种人脸追踪装置的结构示意图。
本发明一实施例对应提供了一种人脸追踪装置，包括：
获取模块10，用于获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点；其中，所述人脸关键点包括：人脸五官的位置信息。
第一计算模块20，用于根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点。
第二计算模块30，用于所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点按照预设的光流算法进行计算，得到当前帧图片的第二人脸关键点。
处理模块40，用于根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点。
本发明实施例提供的一种人脸追踪装置，根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点，再根据预设的光流算法对所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点进行计算，得到当前帧图片的第二人脸关键点。再根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点。由此可见，通过光流算法与神经网络进行结合，通过光流算法避免人脸关键点抖动的情况，使得追踪出来的人脸位置信息更加准确，从而提升用户体验。
参见图3，是本发明一实施例提供的人脸追踪设备的示意图。该实施例的人脸追踪设备包括：处理器11、存储器12以及存储在所述存储器12中并可在所述处理器11上运行的计算机程序。所述处理器11执行所述计算机程序时实现上述各个人脸追踪方法实施例中的步骤。或者，所述处理器11执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述人脸追踪设备中的执行过程。
所述人脸追踪设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述人脸追踪设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是人脸追踪设备的示例，并不构成对人脸追踪设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述人脸追踪设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器11可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述人脸追踪设备的控制中心，利用各种接口和线路连接整个人脸追踪设备的各个部分。
所述存储器12可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述人脸追踪设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述人脸追踪设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种人脸追踪方法，其特征在于，包括：
获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点；其中，所述人脸关键点包括：人脸五官的位置信息；
根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点；
所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点按照预设的光流算法进行计算，得到当前帧图片的第二人脸关键点；
根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点。
2.如权利要求1所述的人脸追踪方法，其特征在于，在所述获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点之后，所述根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点之前，所述方法还包括：
根据上一帧图片中的人脸关键点计算出所述上一帧图片中的人脸关键点对应的外切矩阵；
根据当前帧图片对所述外切矩阵按照预设的比例进行调整，得到前帧图片的截取矩阵。
3.如权利要求2所述的人脸追踪方法，其特征在于，所述根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点，具体包括：
将所述当前帧图片截取矩阵按照预设的排列方式输入至所述预设的人脸识别神经网络进行计算，得到当前帧图片的第一人脸关键点。
4.如权利要求1所述的人脸追踪方法，其特征在于，所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点按照预设的光流算法进行计算，得到当前帧图片的第二人脸关键点，具体包括：
将所述上一帧图片中人脸关键点对应的像素点标记为有效像素点；
根据预设的光流算法对所述上一帧图片中人脸关键点对应的像素点与所述当前帧图片的像素点进行对比计算，得到各个像素点对应的偏移量；
在所述有效像素点上增加其对应的偏移量，得到当前帧图片的第二人脸关键点。
5.如权利要求1所述的人脸追踪方法，其特征在于，根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点，具体包括：
判断所述第一人脸关键点与所述第二人脸关键点的差值的绝对值是否大于预设的第一阈值；
响应于判断结果大于预设的第一阈值，则选择所述第一人脸关键点为当前帧的最终人脸关键点。
6.如权利要求5所述的人脸追踪方法，其特征在于，在所述判断所述第一人脸关键点与所述第二人脸关键点的差值的绝对值是否大于预设的第一阈值之后，还包括:
响应于判断结果小于预设的第一阈值，则判断所述第一人脸关键点与所述第二人脸关键点的差值的绝对值是否小于预设的第二阈值；
响应于判断结果小于预设的第二阈值，则选择所述第二人脸关键点为当前帧的最终人脸关键点；
响应于判断结果不小于预设的第二阈值，则根据所述第一人脸关键点与所述第二人脸关键点的差值的绝对值，在所述第二人脸关键点的位置信息上增加对应的偏移量。
7.如权利要求1所述的人脸追踪方法，其特征在于，在所述获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点之前，还包括：
判断所述上一帧图片中的人脸关键点是否存在；
响应于判断结果为存在，则获取上一帧图片中的人脸关键点；
响应于判断结果为不存在，则根据预设的人脸检测算法对当前帧图片进行处理，得到当前帧图片的截取矩阵。
8.如权利要求1所述的人脸追踪方法，其特征在于，所述方法还包括：
在预设的周期内根据预设的人脸检测算法对所述当前帧图片进行检查，以判断所述当前帧图片中是否有新增的人脸。
9.一种人脸追踪装置，其特征在于，包括：
获取模块，用于获取当前帧图片、上一帧图片以及上一帧图片中的人脸关键点；其中，所述人脸关键点包括：人脸五官的位置信息；
第一计算模块，用于根据预设的人脸识别神经网络对所述当前帧图片进行计算，得到当前帧图片的第一人脸关键点；
第二计算模块，用于所述当前帧图片、所述上一帧图片以及所述上一帧图片中的人脸关键点按照预设的光流算法进行计算，得到当前帧图片的第二人脸关键点；
处理模块，用于根据预设的人脸追踪判断条件对所述第一人脸关键点与所述第二人脸关键点进行判断，根据判断结果选择对应的人脸关键点为当前帧的最终人脸关键点。
10.一种人脸追踪设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的人脸追踪方法。
CN202010325777.0A 2020-04-23 2020-04-23 一种人脸追踪方法、装置及设备 Active CN111667504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010325777.0A CN111667504B (zh) 2020-04-23 2020-04-23 一种人脸追踪方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010325777.0A CN111667504B (zh) 2020-04-23 2020-04-23 一种人脸追踪方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111667504A true CN111667504A (zh) 2020-09-15
CN111667504B CN111667504B (zh) 2023-06-20

Family

ID=72382794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010325777.0A Active CN111667504B (zh) 2020-04-23 2020-04-23 一种人脸追踪方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111667504B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183309A (zh) * 2020-09-25 2021-01-05 咪咕文化科技有限公司 人脸关键点处理方法、系统、终端及存储介质
CN112634363A (zh) * 2020-12-10 2021-04-09 上海零眸智能科技有限公司 一种货架姿态预估方法
CN113239847A (zh) * 2021-05-26 2021-08-10 电子科技大学中山学院 一种人脸检测网络的训练方法、装置、设备以及存储介质
CN113792633A (zh) * 2021-09-06 2021-12-14 北京工商大学 一种基于神经网络和光流法的人脸追踪系统和追踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140205141A1 (en) * 2013-01-22 2014-07-24 Qualcomm Incorporated Systems and methods for tracking and detecting a target object
CN107704829A (zh) * 2017-10-09 2018-02-16 武汉斗鱼网络科技有限公司 一种人脸关键点追踪方法及应用和装置
CN109344789A (zh) * 2018-10-16 2019-02-15 北京旷视科技有限公司 人脸跟踪方法及装置
CN109871760A (zh) * 2019-01-15 2019-06-11 北京奇艺世纪科技有限公司 一种人脸定位方法、装置、终端设备及存储介质
CN110852254A (zh) * 2019-11-08 2020-02-28 杭州网易云音乐科技有限公司 人脸关键点跟踪方法、介质、装置和计算设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140205141A1 (en) * 2013-01-22 2014-07-24 Qualcomm Incorporated Systems and methods for tracking and detecting a target object
CN107704829A (zh) * 2017-10-09 2018-02-16 武汉斗鱼网络科技有限公司 一种人脸关键点追踪方法及应用和装置
CN109344789A (zh) * 2018-10-16 2019-02-15 北京旷视科技有限公司 人脸跟踪方法及装置
CN109871760A (zh) * 2019-01-15 2019-06-11 北京奇艺世纪科技有限公司 一种人脸定位方法、装置、终端设备及存储介质
CN110852254A (zh) * 2019-11-08 2020-02-28 杭州网易云音乐科技有限公司 人脸关键点跟踪方法、介质、装置和计算设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183309A (zh) * 2020-09-25 2021-01-05 咪咕文化科技有限公司 人脸关键点处理方法、系统、终端及存储介质
CN112634363A (zh) * 2020-12-10 2021-04-09 上海零眸智能科技有限公司 一种货架姿态预估方法
CN112634363B (zh) * 2020-12-10 2023-10-03 上海零眸智能科技有限公司 一种货架姿态预估方法
CN113239847A (zh) * 2021-05-26 2021-08-10 电子科技大学中山学院 一种人脸检测网络的训练方法、装置、设备以及存储介质
CN113792633A (zh) * 2021-09-06 2021-12-14 北京工商大学 一种基于神经网络和光流法的人脸追踪系统和追踪方法
CN113792633B (zh) * 2021-09-06 2023-12-22 北京工商大学 一种基于神经网络和光流法的人脸追踪系统和追踪方法

Also Published As

Publication number Publication date
CN111667504B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111667504B (zh) 一种人脸追踪方法、装置及设备
CN110660066B (zh) 网络的训练方法、图像处理方法、网络、终端设备及介质
CN109934065B (zh) 一种用于手势识别的方法和装置
CN109598744B (zh) 一种视频跟踪的方法、装置、设备和存储介质
CN111027504A (zh) 人脸关键点检测方法、装置、设备及存储介质
CN112016371B (zh) 人脸关键点检测方法、装置、设备及存储介质
CN110781770B (zh) 基于人脸识别的活体检测方法、装置及设备
CN110147708B (zh) 一种图像数据处理方法和相关装置
CN112348686B (zh) 理赔图片的采集方法、装置及通讯设备
CN111583299A (zh) 一种运动检测方法、装置、存储介质及终端设备
CN112381071A (zh) 一种视频流中目标的行为分析方法、终端设备及介质
CN111583280B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
WO2024022301A1 (zh) 视角路径获取方法、装置、电子设备及介质
CN109726613B (zh) 一种用于检测的方法和装置
CN111222446B (zh) 人脸识别方法、人脸识别装置及移动终端
CN111062279B (zh) 照片处理方法及照片处理装置
CN111539975B (zh) 一种运动目标的检测方法、装置、设备及存储介质
KR101791604B1 (ko) 헤드 포지션 추정 방법 및 장치, 컴퓨터 판독가능 저장 매체
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
CN113228105A (zh) 一种图像处理方法、装置和电子设备
US11954875B2 (en) Method for determining height of plant, electronic device, and storage medium
CN116128922A (zh) 基于事件相机的物体掉落检测方法、装置、介质及设备
CN111461971B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN111754411B (zh) 图像降噪方法、图像降噪装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant