CN109948489A - 一种基于视频多帧人脸特征融合的人脸识别系统及方法 - Google Patents

一种基于视频多帧人脸特征融合的人脸识别系统及方法 Download PDF

Info

Publication number
CN109948489A
CN109948489A CN201910177457.2A CN201910177457A CN109948489A CN 109948489 A CN109948489 A CN 109948489A CN 201910177457 A CN201910177457 A CN 201910177457A CN 109948489 A CN109948489 A CN 109948489A
Authority
CN
China
Prior art keywords
face
video
face characteristic
fusion
multiframe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910177457.2A
Other languages
English (en)
Inventor
林志灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minnan University of Science and Technology
Original Assignee
Minnan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minnan University of Science and Technology filed Critical Minnan University of Science and Technology
Priority to CN201910177457.2A priority Critical patent/CN109948489A/zh
Publication of CN109948489A publication Critical patent/CN109948489A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于人脸识别技术领域,公开了一种基于视频多帧人脸特征融合的人脸识别系统及方法,利用具体双边滤波器的摄像器采集人脸视频数据;利用视频处理软件增强人脸视频数据;利用提取程序对人脸视频提取多帧人脸特征元素,利用SMART‑PN融合算法对多帧人脸特征进行融合操作;利用识别程序采用超高频射频识别技术对人脸特征进行识别;利用存储器存储采集的人脸视频数据;利用显示器显示采集的人脸视频数据。本发明可提高人脸识别的准确度;通过选取面部口、眼、眉三大特征的数据对比处理,提高了识别处理的速度。

Description

一种基于视频多帧人脸特征融合的人脸识别系统及方法
技术领域
本发明属于人脸识别技术领域,尤其涉及一种基于视频多帧人脸特征融合的人脸识别系统及方法。
背景技术
人脸识别技术主要是基于可见光图像的人脸识别,这也是人们熟悉的识别方式,已有30多年的研发历史。但这种方式有着难以克服的缺陷,尤其在环境光照发生变化时,识别效果会急剧下降,无法满足实际系统的需要。解决光照问题的方案有三维图像人脸识别,和热成像人脸识别。但这两种技术还远不成熟,识别效果不尽人意。迅速发展起来的一种解决方案是基于主动近红外图像的多光源人脸识别技术。它可以克服光线变化的影响,已经取得了卓越的识别性能,在精度、稳定性和速度方面的整体系统性能超过三维图像人脸识别。这项技术在近两三年发展迅速,使人脸识别技术逐渐走向实用化。然而,
综上所述,现有技术存在的问题是:
现有人脸识别采集的视频质量差;同时,对人脸识别率较低,准确率低。
现有技术中,不能保证采集人脸视频的清晰度,且人脸图像在采集过程中不具有平滑保边的作用,不利于实现采集人脸视频数据的准确真实采集;现有技术中对多帧人脸特征进行融合操作,由于碰撞造成的损失,降低精确度,降低融合效率;现有技术中信息数据的读取识别效率低,工作效率低。
发明内容
针对现有技术存在的问题,本发明提供了一种基于视频多帧人脸特征融合的人脸识别系统及方法。
本发明是这样实现的,一种基于视频多帧人脸特征融合的人脸识别方法,所述基于视频多帧人脸特征融合的人脸识别方法包括:
第一步,利用具体双边滤波器的摄像器采集人脸视频数据;利用视频处理软件增强人脸视频数据;
第二步,利用提取程序对人脸视频提取多帧人脸特征元素,利用SMART-PN融合算法对多帧人脸特征进行融合操作;
第三步,利用识别程序采用超高频射频识别技术对人脸特征进行识别;
第四步,利用存储器存储采集的人脸视频数据;利用显示器显示采集的人脸视频数据。
进一步,通过具体双边滤波器的摄像器,实现采集人脸视频数据的准确真实采集,具体算法为:
图像滤波可用下式表示:
其中:I(x,y)是滤除噪声后的清晰图像,n(i,j)是需要滤波处理的含噪声图像,Ω是像素的邻域,w(i,j)是滤波器在点(i,j)处的权;wp是一个标准量,可表示:
那么,对于高斯滤波来说,权值w(i,j)和像素的空间距离线性相关,距离越近相关性越大,权值也越大,其滤波核函数可以定义如下:
其中σk是高斯函数标准差;
双边滤波在上面权值的基础上增加了一个衡量像素值变化的权,计算公式如式:
双边滤波的权值w是wk(i,j)和wh(i,j)的乘积,图像边缘处像素值变化大,wh(i,j)值较小。
进一步,利用SMART-PN融合算法对多帧人脸特征进行融合操作,具体方法为:
(1)建树准备阶段:利用TAG算法建立数据融合树,每一个节点i(i=1,2,…,N)随机在h跳内选取一个节点集Si;
(2)数据串通阶段:各节点集Si中随机选择J-1个目标节点,计算产生J-1个分片,并将分片传送至目标节点;
各节点分片计算方法如下:
设有N个节点,每个节点分成J份,各节点采集到的原始数据为Di(i=i=1,2,…,N),要发送的J-1片分片设为Slice1,Slice2,…,Slice J-1,r∈(0,1),其中
Slice1=Di×r=Di×(-1)1-1×r1=Di×r1;……为正
Slice2=Di×r×(-r)=Di×(-1)2-1×r2=Di×r2;……为负
Slice3=Di×r×(-r)×(-r)=Di×(-1)3-1×r3=Di×r3
……
SliceJ-1=Di×(-1)J-2×rJ-1
(3)数据融合阶段:各节点利用TAG算法进行数据融合。
进一步,第一步,利用视频处理软件增强人脸视频数据中,对初始向量进行一次到多次处理,在用相邻边角序列构造初始向量的基础上,再添加人脸特征图像的几何特征值,采用添加顺序的相邻边角比作为新的初始向量;将初始向量进行一次到多次非线性化处理,采用将初始向量进行开方处理;
对处理后的初始向量进行多次相似度计算,最后按加权平均取值,以欧式距离Eu和相和系数Sim的评定公式如下:
上式中n为向量处理的次数,ki为权重系数,Eui和Simi为第i次处理后向量的欧式距离,Eu(P,Q)为欧式距离的评定,n=4,ki取0.25。
进一步,利用视频处理软件增强人脸视频数据中,具体包括:
消除人脸特征图像中的奇化部分;建立两人脸特征图像的数学模型,由描述人脸特征图像的完备向量组建立与人脸特征图像对应的特征矩阵,计算出相邻两边的夹角;计算两人脸特征图像间的最近距离;然后对计算结果的增强性处理。
进一步,建立的数学模型用多边形的边长和邻角按逆时针构造一个向量S1表示多边形:
S1=(l1,α1,l2,α2…lN-1N-1,lNN);
S1和该多边形有一一映射关系,其表示与边角初始顺序无关。
进一步,完备向量组,按逆时针方向,有2N个向量S1、S2……S2N-1、S2N和多边形均有一一映射关系,构成了该多边形的一个完备向量组,表示如下:
S1=(l11,l2,α2…lN-1N-1,lNN);
S2=(α1,l2,α2…lN-1N-1,lNN,l1);
……
S2N-1=(lNN,l11,l2,α2…lN-1N-1);
S2N=(αN,l11,l2,α2…lN-1N-1,lN);
用矩阵SE表示完备向量,并定义SE为该多边形的特征矩阵,SE表示如下:
进一步,人脸特征图像中源人脸特征图像和目标人脸特征图像作预处理包括:
根据人脸特征图像最小包容矩形长宽比设置适当域值,进行过滤;
根据源人脸特征图像中各边长与周长比的最小值设置域值,去除目标人脸特征图像中的奇化部分;
对目标人脸特征图像边数作化简处理,使和源人脸特征图像具有相同边数。
本发明的另一目的在于提供一种实现所述基于视频多帧人脸特征融合的人脸识别方法的基于视频多帧人脸特征融合的人脸识别系统,所述基于视频多帧人脸特征融合的人脸识别系统包括:
视频采集模块,与主控模块连接,用于通过摄像器采集人脸视频数据;
主控模块,与视频采集模块、视频增强模块、人脸特征提取模块、特征融合模块、人脸识别模块、存储模块、显示模块连接,用于通过单片机控制各个模块正常工作;
视频增强模块,与主控模块连接,用于通过视频处理软件增强人脸视频数据;
人脸特征提取模块,与主控模块连接,用于通过提取程序对人脸视频提取多帧人脸特征元素;
特征融合模块,与主控模块连接,用于通过融合算法对多帧人脸特征进行融合操作;
人脸识别模块,与主控模块连接,用于通过识别程序对人脸特征进行视频;
存储模块,与主控模块连接,用于通过存储器存储采集的人脸视频数据;
显示模块,与主控模块连接,用于通过显示器显示采集的人脸视频数据。
本发明的另一目的在于提供一种应用所述基于视频多帧人脸特征融合的人脸识别方法的人脸识别平台。
本发明的优点及积极效果为:
本发明通过视频增强模块解决了由于视频中各帧进行相同的增强而导致处理不灵活的问题,能够对视频中的各帧进行不同的增强,实现了基于帧的视频增强,有效地提高了视频增强效果,提升了视频质量;同时,通过人脸识别模块与可提高人脸识别的准确度;通过选取面部口、眼、眉三大特征的数据对比处理,提高了识别处理的速度。
本发明通过具体双边滤波器的摄像器,可以保证采集人脸视频的清晰度,且人脸图像在采集过程中具有平滑保边的作用,有利于实现采集人脸视频数据的准确真实采集;本发明利用SMART-PN融合算法对多帧人脸特征进行融合操作,通过在串通时间片内,降低由于碰撞造成的损失,以提高精确度,提高融合效率;本发明利用识别程序采用超高频射频识别技术对人脸特征进行识别,提高信息数据的读取识别效率,提高工作效率。
本发明利用视频处理软件增强人脸视频数据中,消除人脸特征图像中的奇化部分;建立两人脸特征图像的数学模型,由描述人脸特征图像的完备向量组建立与人脸特征图像对应的特征矩阵,计算出相邻两边的夹角;计算两人脸特征图像间的最近距离;然后对计算结果的增强性处理。提高了对人脸图形相似度的视觉分辨效果,尤其对不易分辨高相似度图形的难点有很大帮助;图形检测效果有较强的稳定性和可靠性;检测时间短,运行高效,实施效果成本低。本发明仅对人脸图形的边进行查询,减少了数据处理量。本发明通过构造图形的特征矩阵,选取合适的判定准则,并对特征矩阵元素进行多次增强性非线性变换,用多数值、多标准的加权平均值建立相似度标准,达到了算法高效并有较强的稳定性。
附图说明
图1是本发明实施例提供的基于视频多帧人脸特征融合的人脸识别方法流程图。
图2是本发明实施例提供的基于视频多帧人脸特征融合的人脸识别系统结构框图。
图中:1、视频采集模块;2、主控模块;3、视频增强模块;4、人脸特征提取模块;5、特征融合模块;6、人脸识别模块;7、存储模块;8、显示模块。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效,兹例举以下实施例,并配合附图详细说明如下。
现有人脸识别采集的视频质量差;同时,对人脸识别率较低,准确率低。
现有技术中,不能保证采集人脸视频的清晰度,且人脸图像在采集过程中不具有平滑保边的作用,不利于实现采集人脸视频数据的准确真实采集;现有技术中对多帧人脸特征进行融合操作,由于碰撞造成的损失,降低精确度,降低融合效率;现有技术中信息数据的读取识别效率低,工作效率低。
为解决上述问题,下面结合具体方案对本发明作详细的描述。
如图1所示,本发明提供的基于视频多帧人脸特征融合的人脸识别方法包括以下步骤:
S101:利用具体双边滤波器的摄像器采集人脸视频数据;利用视频处理软件增强人脸视频数据。
S102:利用提取程序对人脸视频提取多帧人脸特征元素,利用SMART-PN融合算法对多帧人脸特征进行融合操作。
S103:利用识别程序采用超高频射频识别技术对人脸特征进行识别。
S104:利用存储器存储采集的人脸视频数据;利用显示器显示采集的人脸视频数据。
步骤S101中,本发明实施例提供的通过具体双边滤波器的摄像器,可以保证采集人脸视频的清晰度,且人脸图像在采集过程中具有平滑保边的作用,有利于实现采集人脸视频数据的准确真实采集,具体算法为:
图像滤波可用下式表示:
其中:I(x,y)是滤除噪声后的清晰图像,n(i,j)是需要滤波处理的含噪声图像,Ω是像素的邻域,w(i,j)是滤波器在点(i,j)处的权;wp是一个标准量,可表示:
那么,对于高斯滤波来说,权值w(i,j)和像素的空间距离线性相关,距离越近相关性越大,权值也越大,其滤波核函数可以定义如下:
其中σk是高斯函数标准差。
高斯滤波只关注像素的空间距离而忽略了像素值的变化(图像灰度的改变),滤除噪声的同时也平滑了边缘;双边滤波在上面权值的基础上增加了一个衡量像素值变化的权,计算公式如式:
双边滤波的权值w是wk(i,j)和wh(i,j)的乘积,图像边缘处像素值变化大,wh(i,j)值较小,从而使得w也变小,滤波器在边缘处的滤波作用降低,从而在滤波的同时人脸视频图像保持了边缘。
步骤S101中,利用视频处理软件增强人脸视频数据中,对初始向量进行一次到多次处理,在用相邻边角序列构造初始向量的基础上,再添加人脸特征图像的几何特征值,采用添加顺序的相邻边角比作为新的初始向量;将初始向量进行一次到多次非线性化处理,采用将初始向量进行开方处理。
对处理后的初始向量进行多次相似度计算,最后按加权平均取值,以欧式距离Eu和相和系数Sim的评定公式如下:
上式中n为向量处理的次数,ki为权重系数,Eui和Simi为第i次处理后向量的欧式距离,Eu(P,Q)为欧式距离的评定,n=4,ki取0.25。
利用视频处理软件增强人脸视频数据中,具体包括:
消除人脸特征图像中的奇化部分;建立两人脸特征图像的数学模型,由描述人脸特征图像的完备向量组建立与人脸特征图像对应的特征矩阵,计算出相邻两边的夹角;计算两人脸特征图像间的最近距离;然后对计算结果的增强性处理。
建立的数学模型用多边形的边长和邻角按逆时针构造一个向量S1表示多边形:
S1=(l1,α1,l2,α2…lN-1N-1,lNN);
S1和该多边形有一一映射关系,其表示与边角初始顺序无关。
进一步,完备向量组,按逆时针方向,有2N个向量S1、S2……S2N-1、S2N和多边形均有一一映射关系,构成了该多边形的一个完备向量组,表示如下:
S1=(l11,l2,α2…lN-1N-1,lNN);
S2=(α1,l2,α2…lN-1N-1,lNN,l1);
……
S2N-1=(lNN,l11,l2,α2…lN-1N-1);
S2N=(αN,l11,l2,α2…lN-1N-1,lN);
用矩阵SE表示完备向量,并定义SE为该多边形的特征矩阵,SE表示如下:
人脸特征图像中源人脸特征图像和目标人脸特征图像作预处理包括:
根据人脸特征图像最小包容矩形长宽比设置适当域值,进行过滤;
根据源人脸特征图像中各边长与周长比的最小值设置域值,去除目标人脸特征图像中的奇化部分。
对目标人脸特征图像边数作化简处理,使和源人脸特征图像具有相同边数。
获取源人脸特征图像和目标人脸特征图像特征矩阵中最相似向量的欧式距离和最大相和系数具体包括:
首先,按逆时针方向分别建立源人脸特征图像P和目标人脸特征图像Q的特征矩阵PE和QE
PE=[P1 T P2 T…P2N-1 T P2N T];
QE=[Q1 T Q2 T…Q2N-1 T Q2N T];
欧式距离公式d(x,y)和夹角余弦公式sim(x,y)如下:
以d(x,y)和为sim(x,y)基础,重新定义两个矩阵D和S,使:
求出D和S中的最小值。
分别令Eue=min{Dij},1≤i≤j=2N;Sime=max{Sij},1≤i≤j=2N;
然后再按顺序针方向构造人脸特征图像P和Q的特征矩阵,重复上述计算方法,求出两特征矩阵中最完备向量间的最小值Euc和Simc
最后令Eu=min{Eue,Euc};
Sim=min{Sime,Simc};
Eu和Sim即为P、Q两人脸特征图像对应最相似向量的欧式距离和最大相和系数。
步骤S102中,本发明实施例提供的利用SMART-PN融合算法对多帧人脸特征进行融合操作,通过在串通时间片内,降低由于碰撞造成的损失,以提高精确度,提高融合效率,具体方法为:
(1)建树准备阶段:利用TAG算法建立数据融合树,每一个节点i(i=1,2,…,N)随机在h跳内选取一个节点集Si。
(2)数据串通阶段:各节点集Si中随机选择J-1个目标节点,计算产生J-1个分片,并将分片传送至目标节点。
各节点分片计算方法如下:
设有N个节点,每个节点分成J份,各节点采集到的原始数据为Di(i=i=1,2,…,N),要发送的J-1片分片设为Slice1,Slice2,…,Slice J-1,r∈(0,1),其中
Slice1=Di×r=Di×(-1)1-1×r1=Di×r1。……为正
Slice2=Di×r×(-r)=Di×(-1)2-1×r2=Di×r2。……为负
Slice3=Di×r×(-r)×(-r)=Di×(-1)3-1×r3=Di×r3
……
SliceJ-1=Di×(-1)J-2×rJ-1
(3)数据融合阶段:各节点利用TAG算法进行数据融合。
步骤S103中,本发明实施例提供的利用识别程序采用超高频射频识别技术对人脸特征进行识别,提高信息数据的读取识别效率,提高工作效率,具体方法为:
有m个人脸待识别特征信息,使用L叉树,当搜索深度为1时,标签的识别概率为:
P(1)=[1-L-1]m-1
采用超高频射频识别技术,得到数据的搜索深度的均值为:
所有人脸特征信息都是工作在识别的频段上,因此,当识别过程唤醒所有信息后,得到平均时隙数为:
将空的Hash table数据送入TABLE,使用二叉树法,则人脸特征层次化融合时隙数为:
采用RFID技术,驱动识别程序将内部的数据送出,此时识别程序按相应的顺序接收数据,得到人脸特征的信息层次化融合结果为:
通过上述处理,保留第一个被输出的人脸特征识别信息,过滤后的数据需要保持原来的采集顺序,提高对人脸特征的信息读取能力。
如图2所示,本发明提供的基于视频多帧人脸特征融合的人脸识别系统包括:视频采集模块1、主控模块2、视频增强模块3、人脸特征提取模块4、特征融合模块5、人脸识别模块6、存储模块7、显示模块8。
视频采集模块1,与主控模块2连接,用于通过摄像器采集人脸视频数据。
主控模块2,与视频采集模块1、视频增强模块3、人脸特征提取模块4、特征融合模块5、人脸识别模块6、存储模块7、显示模块8连接,用于通过单片机控制各个模块正常工作。
视频增强模块3,与主控模块2连接,用于通过视频处理软件增强人脸视频数据。
人脸特征提取模块4,与主控模块2连接,用于通过提取程序对人脸视频提取多帧人脸特征元素。
特征融合模块5,与主控模块2连接,用于通过融合算法对多帧人脸特征进行融合操作。
人脸识别模块6,与主控模块2连接,用于通过识别程序对人脸特征进行识别。
存储模块7,与主控模块2连接,用于通过存储器存储采集的人脸视频数据。
显示模块8,与主控模块2连接,用于通过显示器显示采集的人脸视频数据。
本发明提供的视频增强模块3增强方法如下:
(1)依次获取视频中的各个帧。
(2)对每一个当前帧,确定反映运动状态或明暗的属性信息,查找预设的映射关系得到与所述属性信息对应的控制参数,用所述控制参数对所述当前帧执行视频增强操作。
本发明提供的确定反映运动状态或明暗的属性信息,查找预设的映射关系得到与所述属性信息对应的控制参数,用所述控制参数对所述当前帧执行视频增强操作,包括:
确定反映运动状态或明暗的所述当前帧的属性信息,查找预设的属性信息与控制参数的映射关系得到所述当前帧的控制参数。
计算所述当前帧的控制参数与上一帧的控制参数的差值,判断所述差值的绝对值是否超过指定的阈值。
如果超过所述指定的阈值,则根据所述上一帧的控制参数和所述阈值计算得到新控制参数,用所述新控制参数对所述当前帧执行视频增强操作。
如果未超过所述指定的阈值,则用所述当前帧的控制参数对所述当前帧执行视频增强操作。
本发明提供的人脸识别模块6识别方法如下:
1)提取人脸视频中面部信息。
2)对进行面部信息图像进行初次处理,记录面部位于图像的位置信息及面部大小,得到具体的人脸信息。
3)将面部图像进行逐帧处理,将面部的特征与原先录入的面部信息进行信息对比,将面部相同的信息进行分析,将口、眼、眉三组信息与原有的面部信息的口、眼、眉数据信息进行数据交换。
4)在数据处理中,口、眼、眉的吻合度要达到值,其中口与眼的特征信息与原先录入的口与眼信息相差不超过或者小于原有的1/20,眼与眉之间特征信息与原先录入的眼与眉特征信息相差不超过或小于原有的1/10,并检测口与眼的三角区域小大,检测眉与眼间隔距离。
5)将检测得出的口与眼的三角区域小大,眉与眼间隔距离进行数据处理,在设定范围内,口与眼的三角区域小大相差在1/15至2/15之间,眉与眼间隔距离在1/15至2/15之间,即口与眼的三角区域小大相差与眉与眼间隔距离相加且除半的相差值在1/15至2/15之间,即视为识别成功。
以上所述仅是对本发明的较佳实施例而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所做的任何简单修改,等同变化与修饰,均属于本发明技术方案的范围内。

Claims (10)

1.一种基于视频多帧人脸特征融合的人脸识别方法,其特征在于,所述基于视频多帧人脸特征融合的人脸识别方法包括:
第一步,利用具体双边滤波器的摄像器采集人脸视频数据;利用视频处理软件增强人脸视频数据;
第二步,利用提取程序对人脸视频提取多帧人脸特征元素,利用SMART-PN融合算法对多帧人脸特征进行融合操作;
第三步,利用识别程序采用超高频射频识别技术对人脸特征进行识别;
第四步,利用存储器存储采集的人脸视频数据;利用显示器显示采集的人脸视频数据。
2.如权利要求1所述的基于视频多帧人脸特征融合的人脸识别方法,其特征在于,通过具体双边滤波器的摄像器采集人脸视频数据集,摄像器进行图像滤波中,用下式表示:
其中:I(x,y)是滤除噪声后的清晰图像,n(i,j)是需要滤波处理的含噪声图像,Ω是像素的邻域,w(i,j)是滤波器在点(i,j)处的权;wp是一个标准量,可表示:
那么,对于高斯滤波来说,权值w(i,j)和像素的空间距离线性相关,距离越近相关性越大,权值也越大,其滤波核函数可以定义如下:
其中σk是高斯函数标准差;
双边滤波在上面权值的基础上增加了一个衡量像素值变化的权,计算公式如式:
双边滤波的权值w是wk(i,j)和wh(i,j)的乘积,图像边缘处像素值变化大,wh(i,j)值较小。
3.如权利要求1所述的基于视频多帧人脸特征融合的人脸识别方法,其特征在于,利用SMART-PN融合算法对多帧人脸特征进行融合操作中,具体包括:
(1)建树准备阶段:利用TAG算法建立数据融合树,每一个节点i(i=1,2,…,N)随机在h跳内选取一个节点集Si;
(2)数据串通阶段:各节点集Si中随机选择J-1个目标节点,计算产生J-1个分片,并将分片传送至目标节点;
各节点分片计算方法如下:
设有N个节点,每个节点分成J份,各节点采集到的原始数据为Di(i=i=1,2,…,N),要发送的J-1片分片设为Slice1,Slice2,…,Slice J-1,r∈(0,1),其中
Slice1=Di×r=Di×(-1)1-1×r1=Di×r1;……为正
Slice2=Di×r×(-r)=Di×(-1)2-1×r2=Di×r2;……为负
Slice3=Di×r×(-r)×(-r)=Di×(-1)3-1×r3=Di×r3
……
SliceJ-1=Di×(-1)J-2×rJ-1
(3)数据融合阶段:各节点利用TAG算法进行数据融合。
4.如权利要求1所述的基于视频多帧人脸特征融合的人脸识别方法,其特征在于,第一步,利用视频处理软件增强人脸视频数据中,对初始向量进行一次到多次处理,在用相邻边角序列构造初始向量的基础上,再添加人脸特征图像的几何特征值,采用添加顺序的相邻边角比作为新的初始向量;将初始向量进行一次到多次非线性化处理,采用将初始向量进行开方处理;
对处理后的初始向量进行多次相似度计算,最后按加权平均取值,以欧式距离Eu和相和系数Sim的评定公式如下:
上式中n为向量处理的次数,ki为权重系数,Eui和Simi为第i次处理后向量的欧式距离,Eu(P,Q)为欧式距离的评定,n=4,ki取0.25。
5.如权利要求4所述的基于视频多帧人脸特征融合的人脸识别方法,其特征在于,利用视频处理软件增强人脸视频数据中,具体包括:
消除人脸特征图像中的奇化部分;建立两人脸特征图像的数学模型,由描述人脸特征图像的完备向量组建立与人脸特征图像对应的特征矩阵,计算出相邻两边的夹角;计算两人脸特征图像间的最近距离;然后对计算结果的增强性处理。
6.如权利要求5所述的基于视频多帧人脸特征融合的人脸识别方法,其特征在于,建立的数学模型用多边形的边长和邻角按逆时针构造一个向量S1表示多边形:
S1=(l1,α1,l2,α2…lN-1N-1,lNN);
S1和该多边形有一一映射关系,其表示与边角初始顺序无关。
7.如权利要求5所述的基于视频多帧人脸特征融合的人脸识别方法,其特征在于,完备向量组,按逆时针方向,有2N个向量S1、S2……S2N-1、S2N和多边形均有一一映射关系,构成了该多边形的一个完备向量组,表示如下:
S1=(l11,l2,α2…lN-1N-1,lNN);
S2=(α1,l2,α2…lN-1N-1,lNN,l1);
……
S2N-1=(lNN,l11,l2,α2…lN-1N-1);
S2N=(αN,l11,l2,α2…lN-1N-1,lN);
用矩阵SE表示完备向量,并定义SE为该多边形的特征矩阵,SE表示如下:
SE=[S1 T S2 T …… S2N-1 T S2N T]。
8.如权利要求5所述的基于视频多帧人脸特征融合的人脸识别方法,其特征在于,人脸特征图像中源人脸特征图像和目标人脸特征图像作预处理包括:
根据人脸特征图像最小包容矩形长宽比设置适当域值,进行过滤;
根据源人脸特征图像中各边长与周长比的最小值设置域值,去除目标人脸特征图像中的奇化部分;
对目标人脸特征图像边数作化简处理,使和源人脸特征图像具有相同边数。
9.一种实现权利要求1所述基于视频多帧人脸特征融合的人脸识别方法的基于视频多帧人脸特征融合的人脸识别系统,其特征在于,所述基于视频多帧人脸特征融合的人脸识别系统包括:
视频采集模块,与主控模块连接,用于通过摄像器采集人脸视频数据;
主控模块,与视频采集模块、视频增强模块、人脸特征提取模块、特征融合模块、人脸识别模块、存储模块、显示模块连接,用于通过单片机控制各个模块正常工作;
视频增强模块,与主控模块连接,用于通过视频处理软件增强人脸视频数据;
人脸特征提取模块,与主控模块连接,用于通过提取程序对人脸视频提取多帧人脸特征元素;
特征融合模块,与主控模块连接,用于通过融合算法对多帧人脸特征进行融合操作;
人脸识别模块,与主控模块连接,用于通过识别程序对人脸特征进行视频;
存储模块,与主控模块连接,用于通过存储器存储采集的人脸视频数据;
显示模块,与主控模块连接,用于通过显示器显示采集的人脸视频数据。
10.一种应用权利要求1所述基于视频多帧人脸特征融合的人脸识别方法的人脸识别平台。
CN201910177457.2A 2019-03-09 2019-03-09 一种基于视频多帧人脸特征融合的人脸识别系统及方法 Pending CN109948489A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910177457.2A CN109948489A (zh) 2019-03-09 2019-03-09 一种基于视频多帧人脸特征融合的人脸识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910177457.2A CN109948489A (zh) 2019-03-09 2019-03-09 一种基于视频多帧人脸特征融合的人脸识别系统及方法

Publications (1)

Publication Number Publication Date
CN109948489A true CN109948489A (zh) 2019-06-28

Family

ID=67009368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910177457.2A Pending CN109948489A (zh) 2019-03-09 2019-03-09 一种基于视频多帧人脸特征融合的人脸识别系统及方法

Country Status (1)

Country Link
CN (1) CN109948489A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242020A (zh) * 2020-01-10 2020-06-05 广州康行信息技术有限公司 一种人脸识别方法及装置
CN111382309A (zh) * 2020-03-10 2020-07-07 深圳大学 一种基于图模型的短视频推荐方法、和智能终端和存储介质
CN112560669A (zh) * 2020-12-14 2021-03-26 杭州趣链科技有限公司 人脸姿态估计方法、装置及电子设备
CN113836980A (zh) * 2020-06-24 2021-12-24 中兴通讯股份有限公司 人脸识别方法、电子设备以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175447A1 (en) * 2007-01-24 2008-07-24 Samsung Electronics Co., Ltd. Face view determining apparatus and method, and face detection apparatus and method employing the same
CN105354866A (zh) * 2015-10-21 2016-02-24 郑州航空工业管理学院 一种多边形轮廓相似度检测方法
CN107958244A (zh) * 2018-01-12 2018-04-24 成都视观天下科技有限公司 一种基于视频多帧人脸特征融合的人脸识别方法及装置
CN108873781A (zh) * 2018-07-09 2018-11-23 厦门驿创数字科技有限公司 一种全自动数字化设备
CN109066999A (zh) * 2018-09-28 2018-12-21 青岛黄海学院 一种基于can总线的船舶电站监控系统及方法
CN109308606A (zh) * 2018-09-14 2019-02-05 重庆大学城市科技学院 一种基于bim技术的建筑工程成本管理系统及方法
CN109360044A (zh) * 2018-09-20 2019-02-19 浙江医药高等专科学校 一种跨境电子商务销售管理系统及方法
CN109411038A (zh) * 2018-09-28 2019-03-01 石海燕 一种输血中血液信息采集比对系统及比对方法、储存介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175447A1 (en) * 2007-01-24 2008-07-24 Samsung Electronics Co., Ltd. Face view determining apparatus and method, and face detection apparatus and method employing the same
CN105354866A (zh) * 2015-10-21 2016-02-24 郑州航空工业管理学院 一种多边形轮廓相似度检测方法
CN107958244A (zh) * 2018-01-12 2018-04-24 成都视观天下科技有限公司 一种基于视频多帧人脸特征融合的人脸识别方法及装置
CN108873781A (zh) * 2018-07-09 2018-11-23 厦门驿创数字科技有限公司 一种全自动数字化设备
CN109308606A (zh) * 2018-09-14 2019-02-05 重庆大学城市科技学院 一种基于bim技术的建筑工程成本管理系统及方法
CN109360044A (zh) * 2018-09-20 2019-02-19 浙江医药高等专科学校 一种跨境电子商务销售管理系统及方法
CN109066999A (zh) * 2018-09-28 2018-12-21 青岛黄海学院 一种基于can总线的船舶电站监控系统及方法
CN109411038A (zh) * 2018-09-28 2019-03-01 石海燕 一种输血中血液信息采集比对系统及比对方法、储存介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李知菲 等: "基于联合双边滤波器的 Kinect 深度图像滤波算法", 《计算机应用》 *
杨庚 等: "传感器网络中面向隐私保护的高精确度数据融合算法", 《计算机学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242020A (zh) * 2020-01-10 2020-06-05 广州康行信息技术有限公司 一种人脸识别方法及装置
CN111382309A (zh) * 2020-03-10 2020-07-07 深圳大学 一种基于图模型的短视频推荐方法、和智能终端和存储介质
CN111382309B (zh) * 2020-03-10 2023-04-18 深圳大学 一种基于图模型的短视频推荐方法、和智能终端和存储介质
CN113836980A (zh) * 2020-06-24 2021-12-24 中兴通讯股份有限公司 人脸识别方法、电子设备以及存储介质
WO2021259033A1 (zh) * 2020-06-24 2021-12-30 中兴通讯股份有限公司 人脸识别方法、电子设备以及存储介质
CN112560669A (zh) * 2020-12-14 2021-03-26 杭州趣链科技有限公司 人脸姿态估计方法、装置及电子设备

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN109948489A (zh) 一种基于视频多帧人脸特征融合的人脸识别系统及方法
CN108446617B (zh) 抗侧脸干扰的人脸快速检测方法
CN109284733B (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
CN109410026A (zh) 基于人脸识别的身份认证方法、装置、设备和存储介质
CN111524145B (zh) 图片智能裁剪方法、系统、计算机设备及存储介质
CN108875542B (zh) 一种人脸识别方法、装置、系统及计算机存储介质
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
WO2019007253A1 (zh) 图像识别方法、装置及设备、可读介质
US10866984B2 (en) Sketch-based image searching system using cell-orientation histograms and outline extraction based on medium-level features
CN113239907B (zh) 一种人脸识别的检测方法、装置、电子设备及存储介质
CN112036284B (zh) 图像处理方法、装置、设备及存储介质
CN111507324A (zh) 卡片边框识别方法、装置、设备和计算机存储介质
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN113228105A (zh) 一种图像处理方法、装置和电子设备
US20220405527A1 (en) Target Detection Methods, Apparatuses, Electronic Devices and Computer-Readable Storage Media
Xu et al. License plate recognition system based on deep learning
CN106980818B (zh) 一种用于人脸图像的个性化预处理方法、系统及其终端
CN110276260B (zh) 一种基于深度摄像头的商品检测方法
CN116797550A (zh) 缺陷检测方法、装置、电子设备以及存储介质
WO2019237560A1 (zh) 一种边框页码扫描系统
Wei et al. Omni-face detection for video/image content description
CN114267030A (zh) 基于端到端的车牌检测与关键点检测方法及装置
WO2022263904A1 (en) Target detection methods, apparatuses, electronic devices and computer-readable storage media
CN109145737B (zh) 一种快速人脸识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190628