CN110097586A - 一种人脸检测追踪方法及装置 - Google Patents

一种人脸检测追踪方法及装置 Download PDF

Info

Publication number
CN110097586A
CN110097586A CN201910364961.3A CN201910364961A CN110097586A CN 110097586 A CN110097586 A CN 110097586A CN 201910364961 A CN201910364961 A CN 201910364961A CN 110097586 A CN110097586 A CN 110097586A
Authority
CN
China
Prior art keywords
characteristic point
image
point
facial image
target facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910364961.3A
Other languages
English (en)
Other versions
CN110097586B (zh
Inventor
李锴
刘雪莉
郝旭宁
单洪伟
王文建
姚晓方
谭继双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Network Technology Co Ltd
Original Assignee
Qingdao Hisense Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Network Technology Co Ltd filed Critical Qingdao Hisense Network Technology Co Ltd
Priority to CN201910364961.3A priority Critical patent/CN110097586B/zh
Publication of CN110097586A publication Critical patent/CN110097586A/zh
Application granted granted Critical
Publication of CN110097586B publication Critical patent/CN110097586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸检测追踪方法及装置，包括：获取待测图像和目标人脸图像；检测并描述待测图像和目标人脸图像中的特征点；根据检测和描述结果，匹配待测图像和目标人脸图像中的特征点；根据匹配结果进行人脸检测和追踪。本发明解决了现有人脸检测追踪方法中特征点提取时的堆积问题和特征点描述时的噪声问题，提高了人脸检测追踪的精准度。

Description

一种人脸检测追踪方法及装置
技术领域
本发明涉及到人脸识别领域，具体涉及了一种人脸检测追踪方法及装置。
背景技术
人脸检测技术是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否有人脸，如果有人脸，则返回人脸的位置、大小等信息。目前的人脸检测技术可以用于身份认证与安全防护、媒体与娱乐、图像搜索等领域。目标追踪技术一般是基于对一系列图像的处理，从复杂的背景中识别出目标，并对目标的运动规律加以预测，实现对目标的连续、准确的追踪，该技术在现代军事和民用安保中占有非常重要的地位，其中，该目标多数为人脸。
人脸检测追踪技术流程主要包括五个组成部分：人脸图像采集、人脸图像预处理、人脸图像特征提取、人脸特征数据匹配与确认以及人脸追踪。
目前，采用比较多的人脸检测追踪方法是基于深度学习的方法，通过卷积神经网络对海量人脸图片进行学习，然后对输入图像提取出对区分不同人脸的有用的特征向量，通过比对不同人脸的特征向量找出同一人的脸，再通过相关追踪的算法进行人脸追踪。
现有技术中存在很多的问题，主要从比较流行的机器学习方法和传统图像处理方法来说明，机器学习相关的方法中需要海量的人脸图片作为训练集，且不同场景下的训练集很难收集，难以保证训练的效果。传统图像处理方法实时性不足，抗干扰能力较差，例如旋转、遮挡、光照变化、抖动、模糊等。
发明内容
本发明提供了一种人脸检测追踪方法及装置，用以解决现有的人脸检测追踪方法中特征点提取时的堆积问题和旋转问题，以及特征点描述时的噪声问题，提高了人脸检测追踪的精准度。
本发明提供的具体技术方案如下：
获取待测图像和目标人脸图像；检测并描述所述待测图像和所述目标人脸图像中的特征点；根据检测和描述结果，匹配所述待测图像和所述目标人脸图像中的特征点；根据匹配结果进行人脸检测和追踪；其中，在检测并描述时，对所述待测图像和所述目标人脸图像中的特征点添加方向。
上述技术方案中，对待测图像和目标人脸图像中的特征点添加方向，用以解决特征点旋转变性问题，可以进一步提高特征点匹配的准确率。
所述待测图像和所述目标人脸图像中的特征点添加方向包括：对所述待测图像和所述目标人脸图像中的特征点进行筛选，得到特征点集；以所述特征点集中的特征点为中心，以N个像素大小为半径的圆形区域为邻域，计算所述邻域的质心；以所述质心和所述特征点之间连线与所述特征点所在水平轴之间的夹角θ来描述所述特征点的方向。
可选地，对所述待测图像和所述目标人脸图像中的特征点进行筛选时，按照公式(1)计算所述待测图像和所述目标人脸图像中每个特征点的得分值S；
其中，S为特征点的得分值；values是特征点周围取的点的灰度值；q是特征点的灰度值；t为阈值，0<t<255，可根据图像画质的质量设置大小；
将一定区域内所述得分值S最大的特征点放入所述特征点集。
可选地，所述特征点集中的特征点周围按照高斯分布方式选择S*S大小的像素框对；
根据所述像素框的像素和大小对所述像素框进行二进制赋值。
可选地，对所述像素框的像素和大小计算时，计算每个所述像素框的像素和，形成特征描述子。
可选地，所述特征点描述子用于描述所述特征点集中的特征点，将所述特征点集改写为矩阵，所述矩阵根据所述夹角θ计算得到所述矩阵的旋转矩阵。
可选地，对待测视频文件进行抽帧可得到所述待测图像。
相应的，本发明还提供一种人脸检测追踪装置，包括：
获取单元，用于获取所述待测图像和所述目标人脸图像；
处理单元，用于检测并描述所述待测图像和所述目标人脸图像中的特征点；根据检测和描述结果，匹配所述待测图像和所述目标人脸图像中的特征点；根据匹配结果进行人脸检测和追踪；其中，在检测并描述时，对所述待测图像和所述目标人脸图像中的特征点添加方向。
对待测图像和目标人脸图像中的特征点添加方向，用以解决特征点旋转变性问题，可以进一步提高特征点匹配的准确率。
可选地，所述待测图像和所述目标人脸图像中的特征点添加方向包括：对所述待测图像和所述目标人脸图像中的特征点进行筛选，得到特征点集；以所述特征点集中的特征点为中心，以N个像素大小为半径的圆形区域为邻域，计算所述邻域的质心；以所述质心和所述特征点之间连线与所述特征点所在水平轴之间的夹角θ来描述所述特征点的方向。
可选地，对所述待测图像和所述目标人脸图像中的特征点进行筛选时，按照公式(1)计算所述待测图像和所述目标人脸图像中每个特征点的得分值S；
其中，S为特征点的得分值；values是特征点周围取的点的灰度值；q是特征点的灰度值；t为阈值，0<t<255，可根据图像画质的质量设置大小；
将一定区域内所述得分值S最大的特征点放入所述特征点集。
可选地，所述特征点集中的特征点周围按照高斯分布方式选择S*S大小的像素框对；
根据所述像素框的像素和大小对所述像素框进行二进制赋值。
可选地，对所述像素框的像素和大小计算时，计算每个所述像素框的像素和，形成特征描述子。
可选地，所述特征点描述子用于描述所述特征点集中的特征点，将所述特征点集改写为矩阵，所述矩阵根据所述夹角θ计算得到所述矩阵的旋转矩阵。
可选地，对待测视频文件进行抽帧可得到所述待测图像。
相应的，本发明还提供一种计算机设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述人脸检测追踪方法。
一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述人脸追踪方法。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为人脸检测追踪方法流程图；
图2为本发明实施例1提供的图像像素点检测示意图；
图3为本发明实施例1提供的夹角示意图；
图4为本发明实施例1提供的特征点采样方式示意图；
图5为本发明实施例1提供的图像积分法示意图；
图6为本发明实施例1提供的位置预测示意图；
图7为人脸检测追踪结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：人脸检测追踪装置
本发明实施例提供了一种人脸检测追踪方法及装置，下面结合附图对本发明实施例进行详细说明。
参照图1所述的一种人脸检测追踪方法的具体流程，包括：
步骤101a，在人脸检测追踪装置中上传视频文件；
步骤101b，在人脸检测追踪装置中上传图像集。
步骤102a，对上传到人脸检测追踪装置中的视频文件进行抽帧处理，得到多张图像，多张图像组合成待测图像集；
步骤102b，从上传到人脸检测追踪装置中的图像集中，根据指定目标选取目标人脸图像。
其中，人脸检测追踪装置可以是计算机，或者其他具有运算处理功能的设备，本发明实施例对此不做限制。
另外，对于在人脸检测追踪装置中上传视频文件和图像集的先后顺序，本发明实施例也不做限制。
步骤103a，对待测图像中的人脸特征进行检测提取。
首先，对图像中的人脸图像进行去噪处理，以降低噪声对检测图像中人脸图像的干扰。通过在图像中一个像素点周围的一个圆形邻域内，比较该像素点与邻域内其他像素点的灰度值的差异，根据灰度值差异是否达到设定的阈值m，确定是否为我们要找的特征点。
在使用该方法检测图像中的特征点时，需要遍历图像中的所有像素点，并比较这些像素点周围一圈所有像素点的灰度值，但是在图像中特征点的数量通常只占很少的比例，大部分像素点都是非特征点，如果对图像中所有像素点全部进行上述的检测过程，无疑会浪费大量的时间。
进一步地，为了提高效率，对该方法加速扫描，一般只采用N个圆形区域边缘上的像素点来比对，以图2为例，对于每个像素点，首先检测它周围的第1、5、9、13号像素点，如果其中有至少三个点与中心像素点的灰度值差异大于设定的阈值，则继续对该点周围其他的邻域像素点进行检测，进一步判断该点是否为特征点，否则，直接放弃该点，即认为该点不是特征点。采用该方法可以减小特征检测的运算量，大幅提高运算速度。
特征点检测到后需要对特征点进行提取，在提取特征点的过程中，普遍存在特征点堆积问题，特征点堆积是因为一般在最强特征点周围，存在一部分较弱的特征点，这些特征点会围绕在强特征点周围，干扰强特征点的匹配。
为了解决检测到的特征点堆积问题，本发明实施例从全部特征点中找寻最强特征点，计算每个检测到的特征点的得分值S，得分值S的含义为特征点与周围点差值的绝对值之和。计算公式如公式(1)所示，在以检测到的特征点q为中心的邻域内(例如邻域大小为11像素×11像素)，如果没有其他特征点，则保留该特征点，如果有多个特征点，则计算所有这些特征点的得分值，对计算得到的得分值进行比较，以得分值S最大的特征点为该邻域的最强特征点，将其点放入特征点集。寻找特征点邻域范围内的最强特征点，可以解决检测到的特征点堆积问题，使得检测到的人脸特征点分布更加均匀，有利于之后的特征点匹配。
其中，S为特征点的得分值；values是特征点周围取的点的灰度值；q是特征点的灰度值；t为阈值，0<t<255，可根据图片画质的质量设置大小。
在该步骤中对特征点添加方向。示例性地，以特征点q为中心，3个像素大小为半径的圆形区域为邻域，计算该区域的质心。如图3所示，以质心(502)和特征点(501)之间连线与特征点(501)所在水平轴(504)之间的夹角(503)来描述特征点(501)的方向。计算公式如下，其中公式(2)为邻域距离计算公式，公式(3)为区域质心的计算公式，计算得到的夹角θ会在特征描述时用到。对特征点添加方向，可以解决特征点旋转变性问题，有利于进一步提高特征点匹配的准确率。
邻域矩为：mab＝∑x,yxaybI(x,y) (2)
质心为：
用特征点与质心的夹角来描述最强特征点的方向：
θ＝arctan(m01,m10) (4)
步骤103b，对目标人脸图像中的人脸特征进行检测提取，方法同步骤103a。
步骤104a，对待测图像中的提取出的特征点进行描述。该编码包含特征点的重要信息，作为特征点匹配的依据。
优选地，对特征点进行编码的方式采用二进制编码方式。
首先对待测图像进行滤波，滤波方式可采用高斯滤波。对待测图像进行滤波，可降低外界噪声的干扰。
然后以检测到的特征点为中心，选取一个邻域窗口，大小为S×S，在窗口中随机选取一对小窗口，其中小窗口的大小小于邻域窗口大小。
以检测到的特征点为中心，选取邻域的方式进行采样，可以进一步降噪声对特征点描述时的干扰。
示例性地，如图4所示，302为窗口中心点，303为窗口中心点移动边界，选取5×5的小窗口301，组成窗口对，计算该对小窗口各自的像素和。
示例性地，求小窗口各自的像素和，如图5所示，采用积分图像法，每个点(xl,yl)的值I(xl,yl)代表原始图像中从原点到该点形成矩形框中所有像素点的灰度值之和，区域S的灰度值积分时就用S＝A-B-C+D来表示。
比较窗口对的像素和大小，为每一对采样点进行二进制赋值。
最后在邻域窗口中按照高斯分布的方式选取N对小窗口，重复上述操作，得到整幅图像特征点的二进制编码。
优选地，N＝128或者256或者512。因为二进制编码的长度发生变化，特征描述子的描述能力也随之发生变化；其次是点对的选择方式，通常点对(x,y)按照服从高斯分布的方式来选择，即(x,y)都呈高斯分布
特征描述子是对特征点的特征进行描述的一种方式，特征点因为与周围其他点与众不同而成为特征点，需要特征描述子把特征点给描述出来。
进一步地，对特征描述子加入方向信息，将区域采样点集改写为矩阵形式S，如公式(5)所示。
通过特征提取获得的方向角θ来计算其旋转矩阵Rθ，获得新的测试点集Sθ＝RθS，所以新的描述子gn可表示为：
gn(q,θ):＝fn(q)|(xi,yi)∈Sθ (6)
最终得到的新的特征描述子具备了方向信息。
实际过程中，因为人是运动的，视频中每一帧的人脸图像都在发生旋转，所以提取的特征点的分布也会因为图像旋转而旋转，特征点分布旋转了，在特征点周围进行采样的时候采样点集也随之旋转，而采样方式都是高斯分布方式，这就需要知道该帧图像旋转的情况，根据之前特征点提取时计算获得的角度θ对采样点集进行旋转，可降低视频中人脸图像发生旋转对特征点匹配的影响，进一步提高特征匹配的准确率。
步骤104b，对目标人脸图像中的提取出的特征点进行描述，方法同步骤103a。
步骤105，对目标人脸图像特征点和待测图像特征点进行匹配。
进一步地，二进制特征描述子生成之后，通过比较两个二进制编码的距离来完成匹配(比如一个特征点形成的描述子二进制编码是11111，另一个二进制编码是11110，这两个二进制编码就只差了一位，就是最后的1和0，那么这两个二进制编码的距离就是1)，此处的距离为目标人脸图像特征点的二进制编码变换为待测图像特征点的二进制编码所需要的最少步骤。如果需要的步骤最少，认为两个特征点是同一个特征点。
步骤106，对目标人脸图像和待测图像匹配成功的特征点进行去取误匹配，以提高匹配的准确率。
优选地，采用一种随机采样一致的方法，该算法利用一组包含较多异常数据的数据集，采用迭代的方法，获得数据的最优数学模型。该方法认为数据集中既包含正确数据，称为内点，也包含异常数据，称为外点。这些外点可能来自一些错误的操作和计算。该方法也认为通过数据集中的内点可以计算出符合这些数据的数学模型，并不断扩大该数学模型的适用范围。
示例性地，该方法数据集P由N个数据点组成，选择P中的n个点为内点，并通过这n个点来拟合出模型的参数，方法如下：
(1)从数据集P中选择n个内点组成内点集C；
(2)利用这n个点来拟合出模型M；
(3)比较P中剩余的数据点数值与通过模型M估算的值，差值小于阈值t的数据点加入内点集C，利用新得到的内点集重新计算模型M；
(4)迭代k次，最终获得估算的数学模型。
该方法可以去除数据集中的错误数据，获得正确的模型参数，进一步地，会降低噪声干扰，提高待测图像和目标人脸图像的特征点匹配准确率。
步骤107，根据匹配结果，在待测图像集中对目标人脸进行位置预测，找出待测图像集中包含目标人脸图像的全部图像。
优选地，采用卡尔曼(Kalman)预测模型根据之前特征匹配的结果预测下一时刻的目标人脸图像位置信息。
采用Kalman预测模型，预测待测视频中目标人脸图像下一时刻的位置信息，该预测只在目标的邻域内搜索，从而减少搜索区域，提高匹配追踪速度。
进一步地，以当前待测图像集中目标人脸图像的特征点集中区域，也即感兴趣区域(ROI)的中心点p作为观测点，以此作为观测向量，预测下一帧图像中该点的位置。参照图6，位置预测总体框架如下：
(1)步骤401，在k-1时刻，获取待测图像中目标人脸图像区域的中心点p(k-1)；
(2)步骤402，根据p(k-1)，用Kalman预测器估计出k时刻的人脸目标区域的中心点p(k)；
(3)步骤403根据k时刻的中心点p(k)，在其邻域设置ROI进行搜索，重复401、402步。
步骤108，基于目标人脸特征点，对待测视频中进行目标人脸追踪。
优选地，对待测视频中进行目标人脸追踪主要分为以下几个步骤：
(1)获取追踪目标信息
人脸目标人脸图像的获取通过人工方式选择，如图6中框内的图像1，提取人脸目标的图像大小，作为ROI窗口的尺寸大小：宽度为a，高度为b。
将目标人脸图像导入到追踪系统的目标库，进行初始化。提取目标人脸图像中的特征信息，并做备份，保存一份原始目标人脸图像。
(2)追踪初始化
a.目标库初始化：首先对相机获取的待测视频序列进行全帧搜索，提取第1帧中的特征点，并与人脸目标上的特征点进行匹配，获得目标在第1帧中的匹配点集，对这个匹配点集合的坐标求均值，获取该匹配点集的中心点。
以这个中心点为中心绘制ROI窗口，标出目标的图像坐标。如果连续2帧都能检测到目标的位置。对ROI窗口内的目标进行截取并保存到目标图片库中。
优选地，为了节省存储资源，将该目标图片库的大小设定到30。如果超过30个，则从目标图片库中的第一个图片开始覆盖保存。
b.目标中心点位置预测：对目标中心点下一时刻的位置进行预测时，为了减少搜索区域，在算法中引入了Kalman预测器。根据Kalman预测算法，对目标中心点下一时刻的位置进行预测，选用在此预测点附近50×50的区域作为中心点的最大出现概率区域。以此为中心在其邻域(50+a)×(50+b)的区域内进行局部搜索，并加入纠错机制，一旦在此区域内搜索不到则转为全局搜索。
(3)目标丢失时应对机制
a.局部搜索目标丢失：当在Kalman预测的范围内搜索不到目标时，算法转为全帧搜索。找到目标后，再进入预测邻域内进行局部搜索。
b.全局搜索丢失目标：
①首先按照倒序从目标人脸图像库中进行搜索匹配。追踪到目标则继续目标学习，并追踪。
②如果目标人脸图像库没找到目标，则用第1步备份的原始目标人脸图像的特征点去搜索全帧图像中的目标。
基于上述实施例，参阅图7所示，本发明实施例还提供了一种人脸检测追踪装置，该装置包括：获取单元201、处理单元202、确定单元203以及初始化单元204，其中
获取单元201，用于获取当前待测图像和目标人脸图像；
处理单元202，用于对当前待测图像和目标人脸图像进行特征处理，提取当前待测图像中的图像特征，并在待测图像特征中识别并筛选出目标人脸图像特征；
确定单元203，用于基于目标人脸图像特征确定包围该人脸图像特征的人脸归属区域，以及确定该目标人脸归属区域对应的参数值；
初始化单元204，用于根据该目标人脸归属区域对应的参数值对人脸检测追踪的参数进行初始化。
获取单元201，具体用于：
获取视频文件中抽帧后的图像，将其作为待测图像；
选取指定的图像作为目标人脸图像。
处理单元202，具体用于：
对目标人脸图像和待测图像中的人脸图像进行去噪处理，以降低噪声的干扰。通过在图像中一个像素点周围的一个圆形邻域内，比较该像素点与邻域内其他像素点的灰度值的差异，根据灰度值差异是否达到设定的阈值m，确定是否为我们要找的特征点。
用圆形区域边缘上的像素点来比对，对于每个像素点，首先检测它周围的像素点，如果其中有至少三个点与中心像素点的灰度值差异大于设定的阈值，则继续对该点周围其他的邻域像素点进行检测，进一步判断该点是否为特征点，否则，直接放弃该点，即认为该点不是特征点。
特征点检测到后需要对特征点进行提取，从全部特征点中找寻最强特征点，并对最强特征点添加方向。
确定单元203，具体用于：
形成包围人脸图像最强特征点的最小矩形框，该矩形框包含的区域为人脸归属区域；
根据该矩形框在当前图像中的位置，以及该矩形框的像素大小，确定该人脸归属区域对应的参数值，其中，人脸归属区域对应的参数值为人脸归属区域任意一个顶点的坐标值、人脸归属区域的宽度以及人脸归属区域的高度。
其中，人脸检测追踪的参数包括：待追踪人脸特征框的任意一个顶点的坐标值、待追踪人脸特征框的宽度和高度。
初始化单元204，具体用于：
针对人脸归属区域定义待追踪人脸特征框；其中，人脸检测追踪的参数包括：待追踪的人脸特征框的任意一个顶点的坐标值、待追踪的人脸特征框的宽度和高度；
根据该人脸归属区域的任意一个顶点坐标值对该待追踪的人脸特征框中相应的顶点坐标值进行初始化；
基于获得的人脸特征框中的顶点坐标值，以及该人脸归属区域的宽度和高度对人脸特征框对应的宽度和高度进行初始化。
基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述人脸检测追踪方法。
本发明提供了一种人脸检测追踪方法和装置，人脸检测追踪装置获取到待测视频和目标人脸图像后，首先对待测视频解码，使其变为待测图像集；然后同时对待测图像集和目标人脸图像进行特征点检测和特征点描述，提取特征点；对待测图像集和目标人脸图像进行特征点匹配，找出待测图像集中的目标人脸图像；根据目标人脸图像进行特征检测追踪，能够准确预测目标下一刻的位置，加快目标检测追踪的速度。该方法和装置具有很好的实时性，提升了特征匹配和目标检测追踪的准确率。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种人脸检测追踪方法，其特征在于，包括：获取待测图像和目标人脸图像；检测并描述所述待测图像和所述目标人脸图像中的特征点；根据检测和描述结果，匹配所述待测图像和所述目标人脸图像中的特征点；根据匹配结果进行人脸检测和追踪；其中，在检测并描述时，对所述待测图像和所述目标人脸图像中的特征点添加方向。
2.根据权利要求1所述的一种人脸检测追踪方法，其特征在于，所述待测图像和所述目标人脸图像中的特征点添加方向包括：对所述待测图像和所述目标人脸图像中的特征点进行筛选，得到特征点集；以所述特征点集中的特征点为中心，以N个像素大小为半径的圆形区域为邻域，计算所述邻域的质心；以所述质心和所述特征点之间连线与所述特征点所在水平轴之间的夹角θ来描述所述特征点的方向。
3.根据权利要求2所述的一种人脸检测追踪方法，其特征在于，对所述待测图像和所述目标人脸图像中的特征点进行筛选时，按照公式(1)计算所述待测图像和所述目标人脸图像中每个特征点的得分值S；
其中，S为特征点的得分值；values是特征点周围取的点的灰度值；q是特征点的灰度值；t为阈值，0<t<255，可根据图像画质的质量设置大小；
将一定区域内所述得分值S最大的特征点放入所述特征点集。
4.根据权利要求3所述的一种人脸检测追踪方法，其特征在于：所述特征点集中的特征点周围按照高斯分布方式选择S*S大小的像素框对；
根据所述像素框的像素和大小对所述像素框进行二进制赋值。
5.根据权利要求4所述的一种人脸检测追踪方法，其特征在于：对所述像素框的像素和大小计算时，计算每个所述像素框的像素和，形成特征描述子。
6.根据权利要求5所述的一种人脸检测追踪方法，其特征在于：所述特征点描述子用于描述所述特征点集中的特征点，将所述特征点集改写为矩阵，所述矩阵根据所述夹角θ计算得到所述矩阵的旋转矩阵。
7.根据权利要求3所述的一种人脸检测追踪方法，其特征在于，对待测视频文件进行抽帧可得到所述待测图像。
8.一种人脸检测追踪装置，其特征在于，包括：
获取单元，用于获取所述待测图像和所述目标人脸图像；
处理单元，用于检测并描述所述待测图像和所述目标人脸图像中的特征点；根据检测和描述结果，匹配所述待测图像和所述目标人脸图像中的特征点；根据匹配结果进行人脸检测和追踪；其中，在检测并描述时，对所述待测图像和所述目标人脸图像中的特征点添加方向。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至7任一项所述的方法。
10.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至7任一项所述的方法。
CN201910364961.3A 2019-04-30 2019-04-30 一种人脸检测追踪方法及装置 Active CN110097586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910364961.3A CN110097586B (zh) 2019-04-30 2019-04-30 一种人脸检测追踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910364961.3A CN110097586B (zh) 2019-04-30 2019-04-30 一种人脸检测追踪方法及装置

Publications (2)

Publication Number Publication Date
CN110097586A true CN110097586A (zh) 2019-08-06
CN110097586B CN110097586B (zh) 2023-05-30

Family

ID=67446654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910364961.3A Active CN110097586B (zh) 2019-04-30 2019-04-30 一种人脸检测追踪方法及装置

Country Status (1)

Country Link
CN (1) CN110097586B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879972A (zh) * 2019-10-24 2020-03-13 深圳云天励飞技术有限公司 一种人脸检测方法及装置
CN111640055A (zh) * 2020-05-22 2020-09-08 构范(厦门)信息技术有限公司 一种二维人脸图片变形方法及系统
CN112277957A (zh) * 2020-10-27 2021-01-29 广州汽车集团股份有限公司 一种用于驾驶员分心纠正的预警方法及其系统、存储介质
CN112419555A (zh) * 2020-11-23 2021-02-26 浙江安防职业技术学院 一种用于防台风的门窗防护装置
CN112417998A (zh) * 2020-11-03 2021-02-26 航天信息股份有限公司 活体人脸图像的获取方法和装置、介质、设备
CN112651369A (zh) * 2020-12-31 2021-04-13 南京视察者智能科技有限公司 一种监控场景下行人识别的方法及装置
CN112907625A (zh) * 2021-02-05 2021-06-04 齐鲁工业大学 应用于四足仿生机器人的目标跟随方法及系统
CN113469040A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN113469041A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739712A (zh) * 2010-01-25 2010-06-16 四川大学 基于视频的3d人脸表情动画驱动方法
US20100316298A1 (en) * 2009-06-10 2010-12-16 Honeywell International Inc. Multiple view face tracking
CN101968846A (zh) * 2010-07-27 2011-02-09 上海摩比源软件技术有限公司 一种人脸跟踪方法
CN103093203A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 一种人体再识别方法以及人体再识别系统
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪系统及方法
CN103745240A (zh) * 2013-12-20 2014-04-23 许雪梅 一种基于Haar分类器和ORB特征的人脸检索方法及系统
CN103870824A (zh) * 2014-03-28 2014-06-18 海信集团有限公司 一种在人脸检测跟踪过程中的人脸捕捉方法及装置
CN105868716A (zh) * 2016-03-29 2016-08-17 中国科学院上海高等研究院 一种基于面部几何特征的人脸识别方法
CN106981073A (zh) * 2017-03-31 2017-07-25 中南大学 一种基于无人机的地面运动目标实时跟踪方法及系统
WO2018089691A1 (en) * 2016-11-11 2018-05-17 Magic Leap, Inc. Periocular and audio synthesis of a full face image
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
CN108492315A (zh) * 2018-02-09 2018-09-04 湖南华诺星空电子技术有限公司 一种动态人脸跟踪方法
CN108734059A (zh) * 2017-04-18 2018-11-02 深圳市丰巨泰科电子有限公司 室内移动机器人物体识别方法
CN108919810A (zh) * 2018-07-26 2018-11-30 东北大学 基于视觉示教的移动机器人定位与导航系统
WO2018233438A1 (zh) * 2017-06-21 2018-12-27 腾讯科技（深圳）有限公司 人脸特征点跟踪方法、装置、存储介质及设备
CN109508575A (zh) * 2017-09-14 2019-03-22 深圳超多维科技有限公司 人脸跟踪方法及装置、电子设备和计算机可读存储介质
US20190281224A1 (en) * 2017-06-23 2019-09-12 Goertek Inc. Method for tracking and shooting moving target and tracking device

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316298A1 (en) * 2009-06-10 2010-12-16 Honeywell International Inc. Multiple view face tracking
CN101739712A (zh) * 2010-01-25 2010-06-16 四川大学 基于视频的3d人脸表情动画驱动方法
CN101968846A (zh) * 2010-07-27 2011-02-09 上海摩比源软件技术有限公司 一种人脸跟踪方法
CN103093203A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 一种人体再识别方法以及人体再识别系统
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪系统及方法
CN103745240A (zh) * 2013-12-20 2014-04-23 许雪梅 一种基于Haar分类器和ORB特征的人脸检索方法及系统
CN103870824A (zh) * 2014-03-28 2014-06-18 海信集团有限公司 一种在人脸检测跟踪过程中的人脸捕捉方法及装置
CN105868716A (zh) * 2016-03-29 2016-08-17 中国科学院上海高等研究院 一种基于面部几何特征的人脸识别方法
WO2018089691A1 (en) * 2016-11-11 2018-05-17 Magic Leap, Inc. Periocular and audio synthesis of a full face image
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
CN106981073A (zh) * 2017-03-31 2017-07-25 中南大学 一种基于无人机的地面运动目标实时跟踪方法及系统
CN108734059A (zh) * 2017-04-18 2018-11-02 深圳市丰巨泰科电子有限公司 室内移动机器人物体识别方法
WO2018233438A1 (zh) * 2017-06-21 2018-12-27 腾讯科技（深圳）有限公司 人脸特征点跟踪方法、装置、存储介质及设备
US20190281224A1 (en) * 2017-06-23 2019-09-12 Goertek Inc. Method for tracking and shooting moving target and tracking device
CN109508575A (zh) * 2017-09-14 2019-03-22 深圳超多维科技有限公司 人脸跟踪方法及装置、电子设备和计算机可读存储介质
CN108492315A (zh) * 2018-02-09 2018-09-04 湖南华诺星空电子技术有限公司 一种动态人脸跟踪方法
CN108919810A (zh) * 2018-07-26 2018-11-30 东北大学 基于视觉示教的移动机器人定位与导航系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JACOB FOYTIK 等: "Tracking and Recognizing Multiple Faces Using Kalman Filter and ModularPCA", PROCEDIA COMPUTER SCIENCE *
JONGJU SHIN 等: "Robust face alignment and tracking by combining local search and global fitting", IMAGE AND VISION COMPUTING *
余佳伟: "基于视频的人脸检测与跟踪技术的研究及应用", 中国优秀硕士学位论文全文数据库 (信息科技辑) *
孙宇博: "面向服务机器人的视觉辅助系统设计与实现", 中国优秀硕士学位论文全文数据库 (信息科技辑) *
李晶等: "自动人脸跟踪方法研究", 《计算机应用研究》 *
郑江滨 等: "视频监视中运动目标的检测与跟踪算法", 系统工程与电子技术 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879972A (zh) * 2019-10-24 2020-03-13 深圳云天励飞技术有限公司 一种人脸检测方法及装置
CN111640055A (zh) * 2020-05-22 2020-09-08 构范(厦门)信息技术有限公司 一种二维人脸图片变形方法及系统
CN111640055B (zh) * 2020-05-22 2023-04-11 构范(厦门)信息技术有限公司 一种二维人脸图片变形方法及系统
CN112277957B (zh) * 2020-10-27 2022-06-24 广州汽车集团股份有限公司 一种用于驾驶员分心纠正的预警方法及其系统、存储介质
CN112277957A (zh) * 2020-10-27 2021-01-29 广州汽车集团股份有限公司 一种用于驾驶员分心纠正的预警方法及其系统、存储介质
CN112417998A (zh) * 2020-11-03 2021-02-26 航天信息股份有限公司 活体人脸图像的获取方法和装置、介质、设备
CN112419555A (zh) * 2020-11-23 2021-02-26 浙江安防职业技术学院 一种用于防台风的门窗防护装置
CN112651369A (zh) * 2020-12-31 2021-04-13 南京视察者智能科技有限公司 一种监控场景下行人识别的方法及装置
CN112907625A (zh) * 2021-02-05 2021-06-04 齐鲁工业大学 应用于四足仿生机器人的目标跟随方法及系统
CN113469040A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN113469041A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质
WO2023273022A1 (zh) * 2021-06-30 2023-01-05 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品
CN113469040B (zh) * 2021-06-30 2023-10-24 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110097586B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN110097586A (zh) 一种人脸检测追踪方法及装置
JP4766495B2 (ja) 対象物追跡装置および対象物追跡方法
JP4208898B2 (ja) 対象物追跡装置および対象物追跡方法
US8855369B2 (en) Self learning face recognition using depth based tracking for database generation and update
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN109598684B (zh) 结合孪生网络的相关滤波跟踪方法
CN110610150B (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN107633226A (zh) 一种人体动作跟踪识别方法及系统
JP6789876B2 (ja) 画素変更処理画像を用いて対象を追跡する装置、プログラム及び方法
CN113763424B (zh) 基于嵌入式平台的实时智能目标检测方法及系统
CN108804539A (zh) 一种时间与空间双视角下的轨迹异常检测方法
CN109118516A (zh) 一种目标从运动到静止的跟踪方法及装置
Berclaz et al. Multi-camera tracking and atypical motion detection with behavioral maps
CN108364306A (zh) 一种高速周期运动的视觉实时检测方法
CN111753650A (zh) 一种自动跟踪人脸的摄像头转动控制方法
CN102509308A (zh) 基于混合动态纹理空时显著性检测的运动分割方法
Sun et al. Automated human use mapping of social infrastructure by deep learning methods applied to smart city camera systems
CN109977796A (zh) 尾随通行检测方法及装置
CN109949344A (zh) 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法
CN106127798A (zh) 基于自适应模型的稠密时空上下文目标跟踪方法
Jiang et al. Faster and simpler siamese network for single object tracking
Xue et al. Tracking multiple visual targets via particle-based belief propagation
Saif et al. Adaptive long term motion pattern analysis for moving object detection using UAV aerial images
CN110765817A (zh) 人群计数模型的选择方法、装置、设备及其存储介质
Sujatha et al. An innovative moving object detection and tracking system by using modified region growing algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant