CN103034841B - 一种人脸追踪方法及系统 - Google Patents
一种人脸追踪方法及系统 Download PDFInfo
- Publication number
- CN103034841B CN103034841B CN201210515881.1A CN201210515881A CN103034841B CN 103034841 B CN103034841 B CN 103034841B CN 201210515881 A CN201210515881 A CN 201210515881A CN 103034841 B CN103034841 B CN 103034841B
- Authority
- CN
- China
- Prior art keywords
- face
- current video
- video frame
- frame
- contingency table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000007613 environmental effect Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 46
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于图像处理领域,提供了一种人脸追踪方法及系统。方法包括:根据用户选择,调用至少一个特征比较器;截取当前视频帧,建立当前视频帧的关联表,关联表表征了视频帧序号、视频帧中每一人脸的位置信息、每一人脸在视频帧中的截图、每一人脸在不同特征比较器下的特征值、每一人脸对应的人的ID值之间的关系;根据关联表,利用特征比较器,查找之前视频帧中、与当前视频帧中每一人脸最接近的人脸;将查找到的人脸对应的人与当前视频帧的对应人脸关联存储在关联表中。本发明可利用多个特征比较器、综合多种特征来实现人脸追踪,可将环境因素对人脸追踪的影响最小化,相对于现有技术,可准确定位出视频帧中的人脸所对应的人,追踪的精确度高。
Description
技术领域
本发明属于图像处理领域,尤其涉及一种人脸追踪方法及系统。
背景技术
人脸是一种重要的视觉图像,其在计算机视觉、模式识别、多媒体技术等研究领域占有重要地位。
近年来,随着计算机科学在人机交互领域的快速发展,作为人脸信息处理中的一项关键技术,人脸追踪技术在模式识别与计算机视觉领域内受到普遍重视。人脸追踪技术利用人脸在视频帧中所具有的特征,来实现人脸在不同视频帧中的定位,进而实现人脸追踪。该技术可应用于日常的拍摄、视频监控等,为这些活动的使用者提供更大的便利、或者增加这些活动的趣味等。
然而,现有技术提供的人脸追踪方法是依靠单一生理特征(如:肤色、人脸轮廓等)来实现追踪的,而单一生理特征在不同的环境中常常会受到环境因素的干扰而影响追踪的效果,使得人脸定位的准确度低,追踪效果差。
发明内容
本发明实施例的目的在于提供一种人脸追踪方法,旨在解决现有的人脸追踪方法是依靠单一生理特征实现追踪,由于单一生理特征容易受到环境因素的干扰,使得人脸定位的准确度低,追踪效果差的问题。
本发明实施例是这样实现的,一种人脸追踪方法,所述方法包括:
步骤A11:根据用户选择,调用至少一个特征比较器;
步骤A12:截取当前视频帧,建立所述当前视频帧的关联表,所述关联表表征了视频帧序号、视频帧中每一人脸的位置信息、每一人脸在视频帧中的截图、每一人脸在不同特征比较器下的特征值、每一人脸对应的人的ID值之间的关系;
步骤A13:根据之前视频帧的关联表和所述当前视频帧的关联表,利用所述特征比较器,查找所述之前视频帧中、与所述当前视频帧中每一人脸最接近的人脸;
步骤A14:将查找到的人脸对应的人与所述当前视频帧的对应人脸关联存储在所述当前视频帧的关联表中。
本发明实施例的另一目的在于提供一种人脸追踪系统,所述系统包括:
调用模块,用于根据用户选择,调用至少一个特征比较器;
关联表建立模块,用于截取当前视频帧,建立所述当前视频帧的关联表,所述关联表表征了视频帧序号、视频帧中每一人脸的位置信息、每一人脸在视频帧中的截图、每一人脸在不同特征比较器下的特征值、每一人脸对应的人的ID值之间的关系;
查找模块,用于根据之前视频帧的关联表和所述关联表建立模块建立的、所述当前视频帧的关联表,利用所述调用模块调用的所述特征比较器,查找之前视频帧中、与所述当前视频帧中每一人脸最接近的人脸;
第一关联存储模块,用于将所述查找模块查找到的人脸对应的人与所述当前视频帧的对应人脸关联存储在所述当前视频帧的关联表中。
本发明提供的人脸追踪方法及系统可利用多个特征比较器、综合多种特征来实现人脸追踪,可将环境因素对人脸追踪的影响最小化,相对于现有技术,可准确定位出视频帧中的人脸所对应的人,追踪的精确度高。另外,还可对视频帧中与一个人对应的两个或两个以上冲突人脸进行仲裁,进一步提高了追踪的准确度。
附图说明
图1是本发明实施例一提供的人脸追踪方法的流程图;
图2是本发明实施例一中,建立当前视频帧的关联表的流程图;
图3是本发明实施例一中,查找与当前视频帧中每一人脸最接近的人脸的流程图;
图4是本发明实施例二提供的人脸追踪方法的流程图;
图5是本发明实施例三提供的人脸追踪方法的流程图;
图6是本发明实施例三中,识别出与共同对应的人最接近的人脸的流程图;
图7是本发明实施例三中,查找与当前视频帧中每一冲突人脸最接近的人脸的流程图;
图8是本发明实施例四提供的人脸追踪系统的结构图;
图9是图8中,关联表建立模块的结构图;
图10是本发明实施例五提供的人脸追踪系统的结构图;
图11是本发明实施例六提供的人脸追踪系统的结构图;
图12是图11中,识别模块的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供的人脸追踪方法可结合多个特征比较器,综合多种特征来实现人脸追踪的。
以下结合具体实施例对本发明的实现进行详细描述:
实施例一
本发明实施例一提供了一种人脸追踪方法,如图1所示,包括:
步骤S11:根据用户选择,调用至少一个特征比较器。
本发明实施例一中,特征比较器根据相应种类的特征值进行比较分析,不同的特征比较器具有不同种类的特征值,例如:对肤色色值进行比较分析的肤色比较器、对立体肤色参数值进行比较分析的立体肤色比较器、对人脸在视频帧中的位置信息进行比较分析的人脸出现区域比较器、对不同视频帧之间的距离进行比较分析的帧间距离比较器等。在实际中,用户可根据实际需要,根据特征比较器列表,在可选范围内对特征比较器进行增减。
步骤S12:截取当前视频帧,建立当前视频帧的关联表。如图2所示,步骤S12进一步包括以下步骤:
S121:截取当前视频帧。
本发明实施例一中,可从摄像头拍摄的视频中截图,也可从在线视频中截图,当然还可是从其它视频播放设备中截图。
S122:利用人脸识别算法,识别出当前视频帧中的每一人脸,并得到每一人脸在当前视频帧中的位置信息。
S123:从当前视频帧中提取出每一人脸的截图。
S124:利用每一人脸的截图,得到不同特征比较器所需的特征值。
S125:根据得到的位置信息、以及不同特征比较器所需的特征值,建立当前视频帧的关联表。
本发明实施例一中,关联表表征了视频帧序号、视频帧中每一人脸的位置信息、每一人脸在视频帧中的截图、每一人脸在不同特征比较器下的特征值、每一人脸对应的人的ID值之间的关系,对于当前视频帧,每一人脸对应的人的ID值暂为空,待完成人脸追踪后填充。
为了方便存储和查找,进一步地,关联表采用二维哈希表的数据格式实现存储,例如,对于当前视频帧的关联表的存储结构可以是:
{TrackedFrame[N]:
[{face1:
{loc:area1,img:image1,ftr:feature 1,id:personA}},
{face2:
{loc:area2,img:image2,ftr:feature2,id:personB}},
…]}
其中,face1和face2代表一个视频帧中的两个人脸,loc代表视频帧中每一人脸的位置信息,img代表每一人脸在视频帧中的截图,ftr代表每一人脸在不同特征比较器下的特征值,id代表每一人脸对应的人的ID值。
步骤S13:根据之前视频帧的关联表和当前视频帧的关联表,利用特征比较器,查找之前视频帧中、与当前视频帧中每一人脸最接近的人脸。
本发明实施例一中,之前视频帧的个数可以由用户定义,例如,可以选择当前视频帧之前的10帧视频帧。如图3所示,步骤S 13进一步包括以下步骤:
S1301:利用特征比较器,计算当前视频帧的关联表中、一人脸的对应特征值与之前一视频帧的关联表中一人脸的对应特征值之间的差距值。
S1302:将各个特征比较器对应的差距值乘以相应的权重后相加,得到当前视频帧中、当前比较的人脸相对该之前视频帧中被比较的人脸的相似度差距值。
S1303:判断相似度差距值是否超过相似度阈值,是则认为当前比较的人脸是之前视频帧中未出现过的新人脸,此时执行步骤S1306,否则认为当前比较的人脸在之前的视频帧中出现过,此时执行步骤S1304。
S1304:判断相似度差距值是否小于当前视频帧中、当前比较的人脸相对之前视频帧中其它已被比较的人脸的相似度差距值的最小值,是则说明本次与当前比较的人脸进行比较的人脸是与当前比较的人脸最接近的,此时执行步骤S1305,否则,说明本次与当前比较的人脸进行比较的人脸并非与当前比较的人脸最接近,此时执行步骤S1306。
S1305:将该相似度差距值赋值给相似度差距值的最小值。
S1306:判断当前视频帧的关联表中、当前比较的人脸是否比较完毕,即是说,判断当前比较的人脸是否已经与之前视频帧中的每一人脸比较完毕,是则执行步骤S1307,否则执行步骤S1312。
S1307:判断相似度差距值是否超过相似度阈值,是则执行步骤S1308,否则执行步骤S1309。
S1308:建立新的人,并将该新的人与当前视频帧中、当前比较的人脸关联存储在当前视频帧的关联表中,即:将新的人的ID值写入当前视频帧的关联表中,当前比较的人脸下的ID值栏位。
S1309:将相似度差距值的最小值对应的人脸作为查找到的、与当前视频帧中、当前比较的人脸最接近的人脸输出。
S1310:在由步骤S1308和步骤S1309完成对当前视频帧中、当前比较的人脸的比较后,判断当前视频帧的关联表中、其它人脸是否比较完毕,是则退出程序,否则执行步骤S1311。
S1311:利用特征比较器,计算当前视频帧的关联表中、其它一人脸的对应特征值与之前视频帧的关联表中、一人脸的对应特征值之间的差距值,之后返回步骤S1302,循环执行,直至当前视频帧中,全部人脸均已比较完毕。
S1312:利用特征比较器,计算当前视频帧的关联表中、当前比较的人脸的对应特征值与之前视频帧的关联表中、一其它人脸的对应特征值之间的差距值,之后返回步骤S1302,循环执行。
本发明实施例一中,步骤S1301至步骤S1312完成当前视频帧与之前一视频帧的比较。之后,循环执行步骤S1301至步骤S1312,完成当前视频帧与之前其它视频帧的比较。根据选择的、与当前视频帧进行比较的之前视频帧帧数的不同,步骤S1301至步骤S1312的循环次数不同,例如,当选择当前视频帧之前的10帧视频帧进行比较时,需循环执行步骤S1301至步骤S1312的次数为10次。当然,在实际中,在每次循环过程中,还可利用上一次循环中的计算数据,以优化循环次数,降低程序执行复杂度。
另外,本发明实施例一中,在各次循环过程中,相似度差距值的最小值唯一,且为一变量,则当前视频帧中每一人脸在各次循环执行后,最多只能对应一个ID值。
为了便于理解,下面举一实例说明图3所示的流程:
假设当前视频帧包括5个人脸,分别为face1、face2、face3、face4、face5;选取肤色比较器、立体肤色比较器、人脸出现区域比较器、帧间距离比较器对5个人脸进行追踪,肤色比较器的权重为w1、立体肤色比较器的权重为w2、人脸出现区域比较器的权重为w3、帧间距离比较器的权重为w4;选择当前视频帧之前的10帧中的人脸作为被比较的人脸;视频帧的关联表为如上所述的TrackedFrame[N],N代表了视频帧序号。
四个比较器分别根据当前视频帧的TrackedFrame[N]中的对应特征值,将face1与之前10帧中的一人脸进行比较,即:每一比较器分别计算face1的对应特征值与之前10帧中一人脸的对应特征值之间的差距值,假设肤色比较器计算得到的差异值为A1、立体肤色比较器计算得到的差异值为A2、人脸出现区域比较器计算得到的差异值为A3、帧间距离比较器计算得到的差异值为A4;之后,计算face1相对该被比较人脸的相似度差距值cost1=A1*w1+A2*w2+A3*w3+A4*w4;假设相似度阈值为theadhold、face1相对其它已经比较过的人脸的相似度差距值的最小值为min(cost1),若cost1≤theadhold,且cost1小于min(cost1),则使得min(cost1)=cost1,否则face1继续与其它人脸进行比较,直到face1与之前10帧中的每一人脸均比较完毕,将最后得到的face1的相似度差距值的最小值min(cost1)作为与face1最接近的人脸;若cost1>theadhold,则建立一新的人,并将该新的人的ID值写入前视频帧的关联表中、face1对应的ID值栏位。之后,若当前视频帧中还有其它未比较的人脸,则按照上述步骤完成人脸追踪,否则结束程序。
步骤S14:将查找到的人脸对应的人与当前视频帧的对应人脸关联存储在当前视频帧的关联表中,即是说,将查找到的人脸对应的人的ID值写入当前视频帧的关联表中、对应人脸下的ID值栏位。
本发明实施例一提供的人脸追踪方法可利用多个特征比较器、综合多种特征来实现人脸追踪,可将环境因素对人脸追踪的影响最小化,相对于现有技术,可准确定位出视频帧中的人脸所对应的人,追踪的精确度高。应用该人脸追踪方法,可以实时追踪到视频中出现的每个人,并记录每个人在视频中的出现的位置、出现时长、占据屏幕面积等各种活动情况;基于记录的数据,可以统计出某个名人在某个频道、电视剧或电影等的出现情况,从而为估算其影响力、广告价值等提供参考,应用范围广泛,在此不一一列举。
实施例二
本发明实施例二提供了一种人脸追踪方法,如图4所示。与图1所示不同,在步骤S12和步骤S13之间,还包括:
步骤S15:判断特征比较器是否满足适用条件,是则执行步骤S13,否则结束程序。
本发明实施例二中,若特征比较器包括肤色比较器、立体肤色比较器、人脸出现区域比较器、帧间距离比较器,则对于人脸出现区域比较器,则需执行步骤S15,而对于另外三种比较器,则无需执行步骤S15而直接执行步骤S13,因此根据用户选择的比较器的不同,步骤S15为一可选步骤。
本发明实施例二中,对于人脸出现区域比较器,适用条件可以是指:当前视频帧中,最接近的两张人脸沿水平方向的距离差和沿垂直方向的距离差的乘积小于一定值,该定值优选是80。
实施例三
本发明实施例三提供了一种人脸追踪方法,如图5所示。与图1和图4所示不同,在步骤S 14之后,还包括:
步骤S16:判断当前视频帧中,是否有两个或两个以上的人脸共同对应同一人,是则需要对两个或两个以上的冲突人脸进行仲裁,此时执行步骤S 17,否则结束程序。
步骤S17:识别出两个或两个以上的冲突人脸中,与共同对应的人最接近的人脸。如图6所示,步骤S17包括以下步骤:
S171:根据用户选择,调用至少一个特征比较器。
本发明实施例三中,步骤S171可选取的特征比较器的范围与步骤S11可调用的特征比较器的范围不同,例如,当步骤S11可调用的特征比较器包括肤色比较器、立体肤色比较器、人脸出现区域比较器、帧间距离比较器时,步骤S171可选取的特征比较器包括肤色比较器、立体肤色比较器,而不包括人脸出现区域比较器、帧间距离比较器。
S172:利用步骤S1302得到的相似度差距值,识别出与共同对应的人最接近的多个人脸,该多个人脸的数目可由用户定义,本发明实施例三中,多个人脸的数目是10个。
S173:根据多个人脸所在帧的关联表和当前视频帧的关联表,利用特征比较器,查找多个人脸中、与每一冲突人脸最接近的人脸,并得到每一冲突人脸相对多个人脸的最小差异值。如图7所示,步骤S 173进一步包括以下步骤:
步骤S1731:利用特征比较器,计算当前视频帧的关联表中、一冲突人脸的对应特征值与多个人脸中一人脸的对应特征值之间的差距值。
步骤S1732:将各个特征比较器对应的差距值乘以相应的权重后相加,得到当前比较的冲突人脸相对该被比较的人脸的相似度差距值。
步骤S1733:判断相似度差距值是否小于当前视频帧中、当前比较的冲突人脸相对多个人脸中其它已被比较的人脸的相似度差距值的最小值,是则执行步骤S1734,否则执行步骤S1735。
步骤S1734:将该相似度差距值赋值给相似度差距值的最小值。
步骤S 1735:判断当前比较的冲突人脸是否比较完毕,是则执行步骤S1737,否则执行步骤S1736。
步骤S1736:利用特征比较器,计算当前视频帧的关联表中、当前比较的冲突人脸的对应特征值与多个人脸中、一其它人脸的对应特征值之间的差距值,之后,返回步骤S 1732,循环执行。
步骤S1737:将相似度差距值的最小值对应的人脸作为查找到的、当前比较的冲突人脸最接近的人脸,并得到当前比较的冲突人脸相对多个人脸的最小差异值后输出。
步骤S1738:判断当前视频帧的关联表中、其它冲突人脸是否比较完毕,是则结束程序,否则执行步骤S1739。
步骤S1739:利用特征比较器,计算当前视频帧的关联表中、其它一冲突人脸的对应特征值与多个人脸中、一人脸的对应特征值之间的差距值,之后返回步骤S1732,循环执行。
S174:将最小差异值中的最小值对应的冲突人脸,作为与共同对应的人最接近的人脸输出。
步骤S18:将识别出的人脸与共同对应的人关联存储在当前视频帧的关联表中,并建立新的人,并将冲突人脸中的其它人脸与新的人关联存储在当前视频帧的关联表中。
相对于本发明实施例一,本发明实施例三提供的人脸追踪方法对视频帧中与一个人对应的两个或两个以上冲突人脸进行仲裁,进一步提高了追踪的准确度。
实施例四
本发明实施例四提出了一种人脸追踪系统,如图8所示,为了便于说明,仅示出了与本发明实施例四相关的部分。
详细而言,本发明实施例四提供的人脸追踪系统包括:调用模块11,用于根据用户选择,调用至少一个特征比较器;关联表建立模块12,用于截取当前视频帧,建立当前视频帧的关联表;查找模块13,用于根据之前视频帧的关联表和关联表建立模块12建立的、当前视频帧的关联表,利用调用模块11调用的特征比较器,查找之前视频帧中、与当前视频帧中每一人脸最接近的人脸;第一关联存储模块14,用于将查找模块13查找到的人脸对应的人与当前视频帧的对应人脸关联存储在当前视频帧的关联表中。其中,查找模块13的查找过程如图3所示,在此不赘述。
本发明实施例四中,如图9所示,关联表建立模块12包括:截取子模块121,用于截取当前视频帧;第一识别子模块122,用于利用人脸识别算法,识别出截取子模块121截取的当前视频帧中的每一人脸,并得到每一人脸在当前视频帧中的位置信息;截图子模块123,用于从截取子模块121截取的当前视频帧中提取出每一人脸的截图;特征值获取子模块124,用于利用截图子模块123提取的每一人脸的截图,得到不同特征比较器所需的特征值;关联表建立子模块125,用于根据第一识别子模块122得到的位置信息、以及特征值获取子模块124得到的不同特征比较器所需的特征值,建立当前视频帧的关联表。
本发明实施例四提供的人脸追踪方法可利用多个特征比较器、综合多种特征来实现人脸追踪,可将环境因素对人脸追踪的影响最小化,相对于现有技术,可准确定位出视频帧中的人脸所对应的人,追踪的精确度高。应用该人脸追踪方法,可以实时追踪到视频中出现的每个人,并记录每个人在视频中的出现的位置、出现时长、占据屏幕面积等各种活动情况;基于记录的数据,可以统计出某个名人在某个频道、电视剧或电影等的出现情况,从而为估算其影响力、广告价值等提供参考,应用范围广泛,在此不一一列举。
实施例五
本发明实施例五提供了一种人脸追踪系统,如图10所示,为了便于说明,仅示出了与本发明实施例五相关的部分。
与图8所示不同,本发明实施例五中,人脸追踪系统还可包括:第一判断模块15,用于判断调用模块11调用的特征比较器是否满足适用条件;此时,查找模块13是在第一判断模块15判断调用模块11调用的特征比较器满足适用条件时,根据之前视频帧的关联表和关联表建立模块12建立的、当前视频帧的关联表,利用调用模块11调用的特征比较器,查找之前视频帧中、与当前视频帧中每一人脸最接近的人脸。
本发明实施例五中,若调用模块11调用的特征比较器包括肤色比较器、立体肤色比较器、人脸出现区域比较器、帧间距离比较器,则对于人脸出现区域比较器,需利用第一判断模块15判断是否满足适用条件,而对于另外三种比较器,则无需第一判断模块15进行判断,因此根据用户选择的比较器的不同,第一判断模块15为一可选模块。
本发明实施例五中,对于人脸出现区域比较器,适用条件可以是指:当前视频帧中,最接近的两张人脸沿水平方向的距离差和沿垂直方向的距离差的乘积小于一定值,该定值优选是80。
实施例六
本发明实施例五提供了一种人脸追踪系统,如图11所示,为了便于说明,仅示出了与本发明实施例六相关的部分。
与图8和图10所示不同,本发明实施例六中,人脸追踪系统还可包括:第二判断模块16,用于判断当前视频帧中,是否有两个或两个以上的人脸共同对应同一人;识别模块17,用于当第二判断模块16判断当前视频帧中有两个或两个以上的人脸共同对应同一人时,识别出两个或两个以上的冲突人脸中、与共同对应的人最接近的人脸;第二关联存储模块18,用于将识别模块17识别出的人脸对应的人脸与共同对应的人关联存储在当前视频帧的关联表中,并建立新的人,并将冲突人脸中的其它人脸与新的人关联存储在当前视频帧的关联表中。
本发明实施例六中,如图12所示,识别模块17包括:调用子模块171,用于根据用户选择,调用至少一个特征比较器;第二识别子模块172,用于根据查找模块13查找过程中得到的相似度差距值,识别出与共同对应的人最接近的多个人脸;查找子模块173,用于根据第二识别子模块172识别出的多个人脸所在帧的关联表和当前视频帧的关联表,利用调用子模块171调用的特征比较器,查找多个人脸中、与每一冲突人脸最接近的人脸,并得到每一冲突人脸相对多个人脸的最小差异值;输出子模块174,用于将查找子模块173得到的最小差异值中的最小值对应的冲突人脸,作为与共同对应的人最接近的人脸输出。其中,查找子模块173的查找过程如图7所示,在此不赘述。
相对于本发明实施例四,本发明实施例六提供的人脸追踪方法对视频帧中与一个人对应的两个或两个以上冲突人脸进行仲裁,进一步提高了追踪的准确度。
综上所述,本发明提供的人脸追踪方法及系统可利用多个特征比较器、综合多种特征来实现人脸追踪,可将环境因素对人脸追踪的影响最小化,相对于现有技术,可准确定位出视频帧中的人脸所对应的人,追踪的精确度高。另外,还可对视频帧中与一个人对应的两个或两个以上冲突人脸进行仲裁,进一步提高了追踪的准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成,所述的程序可以在存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种人脸追踪方法,其特征在于,所述方法包括:
步骤A11:根据用户选择,调用至少一个特征比较器;
步骤A12:截取当前视频帧,建立所述当前视频帧的关联表,所述关联表表征了视频帧序号、视频帧中每一人脸的位置信息、每一人脸在视频帧中的截图、每一人脸在不同特征比较器下的特征值、每一人脸对应的人的ID值之间的关系;
步骤A13:根据之前视频帧的关联表和所述当前视频帧的关联表,利用所述特征比较器,查找所述之前视频帧中、与所述当前视频帧中每一人脸最接近的人脸;
步骤A14:将查找到的人脸对应的人与所述当前视频帧的对应人脸关联存储在所述当前视频帧的关联表中;
所述步骤A13包括:
A1301:利用所述特征比较器,计算所述当前视频帧的关联表中、一人脸的对应特征值与之前一视频帧的关联表中一人脸的对应特征值之间的差距值;
A1302:将各个特征比较器对应的所述差距值乘以相应的权重后相加,得到所述当前视频帧中、当前比较的人脸相对所述之前视频帧中被比较的人脸的相似度差距值;
A1303:判断所述相似度差距值是否超过相似度阈值,是则执行步骤A1306,否则执行步骤A1304;
A1304:判断所述相似度差距值是否小于所述当前视频帧中、所述当前比较的人脸相对所述之前视频帧中其它已被比较的人脸的相似度差距值的最小值,是则执行步骤A1305,否则执行步骤A1306;
A1305:将所述相似度差距值赋值给所述相似度差距值的最小值;
A1306:判断所述当前视频帧的关联表中、所述当前比较的人脸是否比较完毕,是则执行步骤A1307,否则执行步骤A1312;
A1307:判断所述相似度差距值是否超过所述相似度阈值,是则执行步骤A1308,否则执行步骤A1309;
A1308:建立新的人,并将所述新的人与所述当前视频帧中、所述当前比较的人脸关联存储在所述当前视频帧的关联表中;
A1309:将所述相似度差距值的最小值对应的人脸作为查找到的、与所述当前视频帧中、所述当前比较的人脸最接近的人脸输出;
A1310:在所述步骤A1308和所述步骤A1309之后,判断所述当前视频帧的关联表中、其它人脸是否比较完毕,是则执行步骤A14,否则执行步骤A1311;
A1311:利用所述特征比较器,计算所述当前视频帧的关联表中、其它一人脸的对应特征值与所述之前视频帧的关联表中、一人脸的对应特征值之间的差距值,之后返回所述步骤A1302;
A1312:利用所述特征比较器,计算所述当前视频帧的关联表中、所述当前比较的人脸的对应特征值与所述之前视频帧的关联表中、一其它人脸的对应特征值之间的差距值,之后返回所述步骤A1302。
2.如权利要求1所述的人脸追踪方法,其特征在于,所述步骤A12包括:
截取当前视频帧;
利用人脸识别算法,识别出所述当前视频帧中的每一人脸,并得到每一人脸在所述当前视频帧中的位置信息;
从所述当前视频帧中提取出每一人脸的截图;
利用所述每一人脸的截图,得到不同特征比较器所需的特征值;
根据得到的所述位置信息、以及不同特征比较器所需的特征值,建立所述当前视频帧的关联表。
3.如权利要求1所述的人脸追踪方法,其特征在于,所述步骤A14之后,还包括:
步骤A16:判断所述当前视频帧中,是否有两个或两个以上的人脸共同对应同一人,若判断有两个或两个以上的人脸共同对应同一人,则执行步骤A17;
步骤A17:识别出所述两个或两个以上的冲突人脸中,与共同对应的人最接近的人脸;
步骤A18:将识别出的人脸与所述共同对应的人关联存储在所述当前视频帧的关联表中,并建立新的人,并将所述冲突人脸中的其它人脸与所述新的人关联存储在所述当前视频帧的关联表中。
4.如权利要求3所述的人脸追踪方法,其特征在于,所述步骤A17包括:
步骤A171:根据用户选择,调用至少一个特征比较器;
步骤A172:利用所述相似度差距值,识别出与所述共同对应的人最接近的多个人脸;
步骤A173:根据所述多个人脸所在帧的关联表和所述当前视频帧的关联表,利用所述特征比较器,查找所述多个人脸中、与每一冲突人脸最接近的人脸,并得到所述每一冲突人脸相对所述多个人脸的最小差异值;
步骤A174:将所述最小差异值中的最小值对应的所述冲突人脸,作为与所述共同对应的人最接近的人脸输出。
5.如权利要求4所述的人脸追踪方法,其特征在于,所述步骤A173包括:
步骤A1731:利用所述特征比较器,计算所述当前视频帧的关联表中、一冲突人脸的对应特征值与所述多个人脸中一人脸的对应特征值之间的差距值;
步骤A1732:将各个特征比较器对应的差距值乘以相应的权重后相加,得到当前比较的冲突人脸相对所述被比较的人脸的相似度差距值;
步骤A1733:判断所述步骤A1732得到的所述相似度差距值是否小于所述当前视频帧中、所述当前比较的冲突人脸相对所述多个人脸中其它已被比较的人脸的相似度差距值的最小值,是则执行步骤A1734,否则执行步骤A1735;
步骤A1734:将所述相似度差距值赋值给所述步骤A1733中的相似度差距值的最小值;
步骤A1735:判断所述当前比较的冲突人脸是否比较完毕,是则执行步骤A1737,否则执行步骤A1736;
步骤A1736:利用所述特征比较器,计算所述当前视频帧的关联表中、所述当前比较的冲突人脸的对应特征值与所述多个人脸中、一其它人脸的对应特征值之间的差距值,之后,返回所述步骤A1732;
步骤A1737:将所述步骤A1733中的相似度差距值的最小值对应的人脸作为查找到的、所述当前比较的冲突人脸最接近的人脸,并得到所述当前比较的冲突人脸相对多个人脸的最小差异值后输出;
步骤A1738:判断所述当前视频帧的关联表中、其它冲突人脸是否比较完毕,若未比较完毕,则执行步骤A1739;
步骤A1739:利用所述特征比较器,计算所述当前视频帧的关联表中、其它一冲突人脸的对应特征值与所述多个人脸中、一人脸的对应特征值之间的差距值,之后返回所述步骤A1732。
6.如权利要求1所述的人脸追踪方法,其特征在于,所述步骤A12和所述步骤A13之间,还包括:
步骤A15:判断所述特征比较器是否满足适用条件,若判断所述特征比较器满足适用条件,则执行上述步骤A13。
7.一种人脸追踪系统,其特征在于,所述系统包括:
调用模块,用于根据用户选择,调用至少一个特征比较器;
关联表建立模块,用于截取当前视频帧,建立所述当前视频帧的关联表,所述关联表表征了视频帧序号、视频帧中每一人脸的位置信息、每一人脸在视频帧中的截图、每一人脸在不同特征比较器下的特征值、每一人脸对应的人的ID值之间的关系;
查找模块,用于根据之前视频帧的关联表和所述关联表建立模块建立的、所述当前视频帧的关联表,利用所述调用模块调用的所述特征比较器,查找之前视频帧中、与所述当前视频帧中每一人脸最接近的人脸;
第一关联存储模块,用于将所述查找模块查找到的人脸对应的人与所述当前视频帧的对应人脸关联存储在所述当前视频帧的关联表中;
所述查找模块具体用于执行以下步骤:
A1301,利用所述特征比较器,计算所述当前视频帧的关联表中、一人脸的对应特征值与之前一视频帧的关联表中一人脸的对应特征值之间的差距值;
A1302,将各个特征比较器对应的所述差距值乘以相应的权重后相加,得到所述当前视频帧中、当前比较的人脸相对所述之前视频帧中被比较的人脸的相似度差距值;
A1303,判断所述相似度差距值是否超过相似度阈值,是则执行步骤A1306,否则执行步骤A1304;
A1304,判断所述相似度差距值是否小于所述当前视频帧中、所述当前比较的人脸相对所述之前视频帧中其它已被比较的人脸的相似度差距值的最小值,是则执行步骤A1305,否则执行步骤A1306;
A1305,将所述相似度差距值赋值给所述相似度差距值的最小值;
A1306,判断所述当前视频帧的关联表中、所述当前比较的人脸是否比较完毕,是则执行步骤A1307,否则执行步骤A1312;
A1307,判断所述相似度差距值是否超过所述相似度阈值,是则执行步骤A1308,否则执行步骤A1309;
A1308,建立新的人,并将所述新的人与所述当前视频帧中、所述当前比较的人脸关联存储在所述当前视频帧的关联表中;
A1309,将所述相似度差距值的最小值对应的人脸作为查找到的、与所述当前视频帧中、所述当前比较的人脸最接近的人脸输出;
A1310,在所述步骤A1308和所述步骤A1309之后,判断所述当前视频帧的关联表中、其它人脸是否比较完毕,是则执行步骤A14,否则执行步骤A1311;
A1311,利用所述特征比较器,计算所述当前视频帧的关联表中、其它一人脸的对应特征值与所述之前视频帧的关联表中、一人脸的对应特征值之间的差距值,之后返回所述步骤A1302;
A1312,利用所述特征比较器,计算所述当前视频帧的关联表中、所述当前比较的人脸的对应特征值与所述之前视频帧的关联表中、一其它人脸的对应特征值之间的差距值,之后返回所述步骤A1302。
8.如权利要求7所述的人脸追踪系统,其特征在于,所述系统还包括:
第一判断模块,用于判断所述调用模块调用的所述特征比较器是否满足适用条件;
所述查找模块是在所述第一判断模块判断所述调用模块调用的所述特征比较器满足适用条件时,查找之前视频帧中、与所述当前视频帧中每一人脸最接近的人脸的。
9.如权利要求7所述的人脸追踪系统,其特征在于,所述系统还包括:
第二判断模块,用于判断所述当前视频帧中,是否有两个或两个以上的人脸共同对应同一人;
识别模块,用于当所述第二判断模块判断所述当前视频帧中有两个或两个以上的人脸共同对应同一人时,识别出所述两个或两个以上的冲突人脸中、与共同对应的人最接近的人脸;
第二关联存储模块,用于将所述识别模块识别出的人脸对应的人脸与所述共同对应的人关联存储在所述当前视频帧的关联表中,并建立新的人,并将所述冲突人脸中的其它人脸与所述新的人关联存储在所述当前视频帧的关联表中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210515881.1A CN103034841B (zh) | 2012-12-03 | 2012-12-03 | 一种人脸追踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210515881.1A CN103034841B (zh) | 2012-12-03 | 2012-12-03 | 一种人脸追踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103034841A CN103034841A (zh) | 2013-04-10 |
CN103034841B true CN103034841B (zh) | 2016-09-21 |
Family
ID=48021720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210515881.1A Expired - Fee Related CN103034841B (zh) | 2012-12-03 | 2012-12-03 | 一种人脸追踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103034841B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104573611B (zh) * | 2013-10-11 | 2018-03-20 | 杭州海康威视数字技术股份有限公司 | 一种分布式人脸识别集群系统 |
US9430694B2 (en) | 2014-11-06 | 2016-08-30 | TCL Research America Inc. | Face recognition system and method |
AU2016277553B2 (en) * | 2015-06-26 | 2022-02-17 | Rovi Guides, Inc. | Systems and methods for automatic formatting of images for media assets based on user profile |
US10628009B2 (en) | 2015-06-26 | 2020-04-21 | Rovi Guides, Inc. | Systems and methods for automatic formatting of images for media assets based on user profile |
CN105234940A (zh) * | 2015-10-23 | 2016-01-13 | 上海思依暄机器人科技有限公司 | 机器人及其控制方法 |
CN113228626B (zh) * | 2018-12-29 | 2023-04-07 | 浙江大华技术股份有限公司 | 视频监控系统和方法 |
CN110321857B (zh) * | 2019-07-08 | 2021-08-17 | 苏州万店掌网络科技有限公司 | 基于边缘计算技术的精准客群分析方法 |
CN116034580A (zh) * | 2020-08-21 | 2023-04-28 | 海信视像科技股份有限公司 | 人像定位方法及显示设备 |
CN113762228B (zh) * | 2021-11-09 | 2022-02-22 | 南京惠积信息科技有限公司 | 口腔器械消毒灭菌操作监控方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1892702A (zh) * | 2005-07-05 | 2007-01-10 | 欧姆龙株式会社 | 追踪装置 |
US7620247B2 (en) * | 2004-11-22 | 2009-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and storage medium |
CN101854516A (zh) * | 2009-04-02 | 2010-10-06 | 北京中星微电子有限公司 | 视频监控系统、视频监控服务器及视频监控方法 |
CN102592147A (zh) * | 2011-12-30 | 2012-07-18 | 深圳市万兴软件有限公司 | 一种人脸检测的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8503777B2 (en) * | 2010-12-16 | 2013-08-06 | Sony Corporation | Geometric feature based image description and fast image retrieval |
-
2012
- 2012-12-03 CN CN201210515881.1A patent/CN103034841B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7620247B2 (en) * | 2004-11-22 | 2009-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and storage medium |
CN1892702A (zh) * | 2005-07-05 | 2007-01-10 | 欧姆龙株式会社 | 追踪装置 |
CN101854516A (zh) * | 2009-04-02 | 2010-10-06 | 北京中星微电子有限公司 | 视频监控系统、视频监控服务器及视频监控方法 |
CN102592147A (zh) * | 2011-12-30 | 2012-07-18 | 深圳市万兴软件有限公司 | 一种人脸检测的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103034841A (zh) | 2013-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103034841B (zh) | 一种人脸追踪方法及系统 | |
US6701014B1 (en) | Method and apparatus for matching slides in video | |
CN106687990B (zh) | 用于基于渐进式改良从视频序列选择帧的方法 | |
US9514353B2 (en) | Person-based video summarization by tracking and clustering temporal face sequences | |
US6578040B1 (en) | Method and apparatus for indexing of topics using foils | |
US20140092244A1 (en) | Object search method, search verification method and apparatuses thereof | |
CN103699532B (zh) | 图像颜色检索方法和系统 | |
CN107408205A (zh) | 用红外成像区分前景和背景 | |
CN110852269B (zh) | 一种基于特征聚类的跨镜头人像关联分析方法及装置 | |
CN110807402B (zh) | 一种基于肤色检测的五官定位方法、系统和终端设备 | |
CN105573613B (zh) | 一种程序图标排序方法和装置 | |
JP2000003452A (ja) | デジタル画像における顔面の検出方法、顔面検出装置、画像判定方法、画像判定装置およびコンピュ―タ可読な記録媒体 | |
CN109948450A (zh) | 一种基于图像的用户行为检测方法、装置和存储介质 | |
CN106650670A (zh) | 活体人脸视频的检测方法及装置 | |
CN108256497A (zh) | 一种视频图像处理方法及装置 | |
Chakraborty et al. | SBD-Duo: a dual stage shot boundary detection technique robust to motion and illumination effect | |
CN110544268A (zh) | 一种基于结构光及SiamMask网络的多目标跟踪方法 | |
CN111259757B (zh) | 一种基于图像的活体识别方法、装置及设备 | |
US8798391B2 (en) | Method for pre-processing an image in facial recognition system | |
RU2510935C2 (ru) | Способ индексации и поиска цифровых изображений | |
CN108288053B (zh) | 一种虹膜图像的处理的方法、装置及计算机可读存储介质 | |
Dwina et al. | Skin segmentation based on improved thresholding method | |
EP3472750A1 (en) | Methods, systems and apparatuses of feature extraction and object detection | |
Heng et al. | High accuracy flashlight scene determination for shot boundary detection | |
Subban et al. | Combining color spaces for human skin detection in color images using skin cluster classifier |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160921 |