CN220983921U - 一种基于人脸和声纹的识别装置 - Google Patents
一种基于人脸和声纹的识别装置 Download PDFInfo
- Publication number
- CN220983921U CN220983921U CN202321371477.1U CN202321371477U CN220983921U CN 220983921 U CN220983921 U CN 220983921U CN 202321371477 U CN202321371477 U CN 202321371477U CN 220983921 U CN220983921 U CN 220983921U
- Authority
- CN
- China
- Prior art keywords
- processing circuit
- face
- information
- voiceprint
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 claims abstract description 119
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 description 13
- 239000013598 vector Substances 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Collating Specific Patterns (AREA)
Abstract
本实用新型一种基于人脸和声纹的识别装置,该装置包括相互连接的用于采集人脸信息和声纹信息的音视频采集机、对人脸信息和声纹信息执行处理的第一芯片、和对人脸信息和声纹信息执行管理的第二芯片;第一芯片包括人脸信息处理电路和声纹信息处理电路;人脸信息处理电路包括依次连接的第一人脸信息处理电路、第二人脸信息处理电路和第三人脸信息处理电路;声纹信息处理电路包括依次连接的第一声纹信息处理电路、第二声纹信息处理电路和第三声纹信息处理电路;第二芯片包括相互连接的信息增删处理电路、信息存储器和信息加解密处理电路。本装置将人脸信息和声纹信息的处理进行整合,多重识别提高了身份认证的安全性和准确性。
Description
技术领域
本实用新型涉及身份识别技术领域,尤其涉及一种基于人脸和声纹的识别装置。
背景技术
近年来,人脸识别技术被大量应用到门禁、考勤、手机解锁等各个领域,适用于各个层次的人群。然而,随着移动互联网科技的迅速发展,目前的人脸识别认证技术主要是2D人脸识别技术和3D人脸识别技术,普遍存在被欺骗的风险。
基于二维图像进行识别的2D人脸识别技术,从二维彩色图像估计的人脸深度数据可靠性不高,不仅易受光照、姿态、表情、遮挡等因素影响,而且也易被照片、视频所欺骗,具有一定的局限性。
基于三维空间进行识别的3D人脸识别技术,虽然与2D人脸识别技术相比,其安全性更高,但是,3D人脸识别技术对硬件要求较高,设备成本也更高,在采集过程中不仅需要被采集对象保持固定的姿态,采集时间长,而且获取的深度图质量较低,噪声较大。
总之,单一维度的人脸识别仍然存在身份识别准确性和安全隐患。
实用新型内容
本实用新型提供一种基于人脸和声纹的识别装置,用以解决现有技术中单一维度的身份识别被照片、视频欺骗,识别技术的准确性和安全性较低的问题。
本实用新型提供一种基于人脸和声纹的识别装包括相互连接的用于采集人脸信息和声纹信息的音视频采集机、对所述人脸信息和所述声纹信息执行处理的第一芯片、和对所述人脸信息和所述声纹信息执行管理的第二芯片;
所述第一芯片包括人脸信息处理电路和声纹信息处理电路;
所述人脸信息处理电路,包括依次连接的对所述音视频采集机获取的所述人脸信息执行检测的第一人脸信息处理电路、对人脸局部特征信息执行识别的第二人脸信息处理电路、和对人脸对比信息执行处理的第三人脸信息处理电路;
所述声纹信息处理电路,包括依次连接的对所述音视频采集机获取的所述声纹信息执行特征提取的第一声纹信息处理电路、对声纹特征进行模型建立与训练的第二声纹信息处理电路、和对声纹对比信息执行处理的第三声纹信息处理电路;
所述第二芯片包括相互连接的对所述人脸信息和所述声纹信息执行增加和/或删除的信息增删处理电路、对所述人脸信息和所述声纹信息进行保存的信息存储器、和对所述人脸信息和所述声纹信息执行加解密的信息加解密处理电路;
其中,所述第一人脸信息处理电路和所述第一声纹信息处理电路同时与所述音视频采集机连接;所述第三人脸信息处理电路和所述第三声纹信息处理电路同时与所述信息存储器连接。
进一步的,所述第一芯片和所述第二芯片之间为无线连接或有线连接。
进一步的,所述第一芯片设置于用户终端;所述第二芯片设置于服务终端。
进一步的,第三人脸信息处理电路包括依次连接对所述人脸信息执行预处理的预处理电路、对所述人脸信息的空间执行降维度处理的降维处理电路和对所述人脸信息执行比对的比对处理电路。
进一步的,所述第一声纹信息处理电路包括对所述声纹信息执行短时平均过零分析的第一元件、对所述声纹信息执行短时平均能量分析的第二元件和对所述声纹信息执行分帧和倒谱的第三元件;
其中,所述第一元件和所述第二元件同时与所述第三元件连接。
进一步的,所述第三人脸信息处理电路与所述第一声纹信息处理电路连接。
进一步的,所述第三人脸信息处理电路同时与所述第一元件和所述第二元件连接。
进一步的,所述装置还包括与所述信息存储器连接的口令信息处理电路;
其中,所述口令信息处理电路设置于所述第一芯片或所述第二芯片。
进一步的,所述装置还包括设置于所述第一芯片或所述第二芯片的记录信息处理电路。
进一步的,所述音视频采集机为录像机或摄影机,设置于所述用户终端。
总体而言,通过本实用新型所构思的技术方案,与现有技术相比能够取得下列有益效果:
(1)本实用新型提供一种基于人脸和声纹的识别装置,设计了一种新式“活体检测”的人脸和声纹双重识别装置,将人脸信息处理电路和声纹信息处理电路进行整合,不仅对用户的不同动态面部表情、唇形能进行很好区分处理,支持动态人脸识别,而且支持与文本无关的声纹识别,实现动态人脸识别与声纹识别双因素验证,提高了身份认证的安全性和准确性。
(2)本实用新型提供一种基于人脸和声纹的识别装置,加入对所述人脸信息和所述声纹信息执行管理的第二芯片,采用第一芯片、第二芯片分离模式,不仅可以使管理员更加方便对用户信息进行后台管理,而且支持对用户信息执行加解密保护,保护用户信息,防止其泄露,提高了用户信息的安全性和方便性。
(3)本实用新型提供一种基于人脸和声纹的识别装置,增加了口令信息处理电路,可以从用户特征库中随机选出字符作为新口令,让用户按要求念出,完成认证;不仅可以使用户在使用该装置进行认证时,简化用户认证操作,提升便捷性,而且每次认证的口令都不同,可以抵抗重放攻击。
(4)本实用新型提供一种基于人脸和声纹的识别装置,还增加了记录信息处理电路,方便管理员对认证装置使用的次数进行监视、记录和审查,具有较强的适用性。
附图说明
为了更清楚地说明本实用新型或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本实用新型的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本实用新型提供的一种基于人脸和声纹的识别装置的装置结构示意图;
图2是本实用新型提供的一种基于人脸和声纹的识别装置中的第一声纹信息处理电路工作原理示意图;
1-音视频采集机;2-第一芯片;3-第二芯片;
21-人脸信息处理电路;22-声纹信息处理电路;
211-第一人脸信息处理电路;212-第二人脸信息处理电路;213-第三人脸信息处理电路;
221-第一声纹信息处理电路;222-第二声纹信息处理电路;223-第三声纹信息处理电路;
31-信息增删处理电路;32-信息存储器;33-信息加解密处理电路;34-口令信息处理电路。
具体实施方式
为使本实用新型的目的、技术方案和优点更加清楚,下面将结合本实用新型中的附图,对本实用新型中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本实用新型一部分实施例,而不是全部的实施例。基于本实用新型中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本实用新型保护的范围。
需要说明的是,在本实用新型实施例的描述中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合图1-图2描述本实用新型实施例所提供的实用新型一种基于人脸和声纹的识别装置。
图1是本实用新型提供的一种基于人脸和声纹的识别装置的装置结构示意图,如图1所示,该装置包括相互连接的用于采集人脸信息和声纹信息的音视频采集机1、对人脸信息和声纹信息执行处理的第一芯片2、和对人脸信息和声纹信息执行管理的第二芯片3。通过加入执行增加、删除、存储及加解密用户信息的第二芯片3,且采用第一芯片2、第二芯片3分离模式,不仅方便管理员进行后台管理,而且防止用户信息泄露,提高了用户信息的安全性和方便性。
第一芯片2包括人脸信息处理电路21和声纹信息处理电路22;其中,人脸信息处理电路21包括依次连接的对音视频采集机1获取的人脸信息执行检测的第一人脸信息处理电路211、对人脸局部特征信息执行识别的第二人脸信息处理电路212、和对人脸对比信息执行处理的第三人脸信息处理电路213;声纹信息处理电路22包括依次连接的对音视频采集机1获取的声纹信息执行特征提取的第一声纹信息处理电路221、对声纹特征进行模型建立与训练的第二声纹信息处理电路222、和对声纹对比信息执行处理的第三声纹信息处理电路223。
第二芯片3包括相互连接的对人脸信息和声纹信息执行增加和/或删除的信息增删处理电路31、对人脸信息和声纹信息进行保存的信息存储器32、和对人脸信息和声纹信息执行加解密的信息加解密处理电路33;其中,信息存储器32同时与第三人脸信息处理电路213和第三声纹信息处理电路223连接。
第一芯片2和第二芯片3之间为无线连接和有线连接,可选的,第一芯片2设置于用户终端,第二芯片3设置于服务终端。
音视频采集机1,同时和第一芯片2和第二芯片3连接;需要说明的是,音视频采集机1同时与人脸信息处理电路21、声纹信息处理电路22、信息增删处理电路31和信息存储器32连接,用于采集人脸信息和声纹信息。更具体的,音视频采集机1与第一人脸信息处理电路211、第一声纹信息处理电路221连接。
可选的,音视频采集机1为录像机或摄影机,可以设置于第一芯片2,也可以设置于第二芯片3;可以设置于用户终端,也可以是设置于服务终端。音视频采集机1还进一步包括显示屏幕,设置于第一芯片2,用于同步将动态人脸和特定口令显示在显示屏幕上。
人脸信息处理电路21,封装包括依次连接的第一人脸信息处理电路211、第二人脸信息处理电路212和第三人脸信息处理电路213的处理电路,用于根据音视频检测、提取、分析用户的动态人脸特征并进行比对识别。
第一人脸信息处理电路211为常规信息处理,封装了执行音视频中是否存在人脸的检测结构的处理电路,例如,处理电路对于任意一幅给定的图像,采用一定的策略对其进行搜索以确定其中是否含有人脸,如果是人脸,则反馈人脸的位置、大小和姿态等动态人脸特征,以供第二人脸信息处理电路212进行人脸特征跟踪。
由于动态人脸检测是一个复杂且具有挑战的模式检测问题,一是由人脸内在变化引起的;人脸具有相当复杂的细节变化,如脸形、肤色等不同的外貌,如眼、嘴的开与闭等不同的表情;还有眼镜、头发和头部饰物以及其他外部物体等的遮挡使人脸不能完全显示出来。二是由外在条件变化引起的;由于成像角度的不同造成人脸的多姿态,如平面内旋转、深度旋转以及上下旋转,其中深度旋转影响较大;或是光照的影响,如图像中的亮度、对比度的变化和阴影等;此外还有图像的成像条件,如摄像设备的焦距、成像距离,图像获得的途径等。这些都促使动态人脸检测具有较高的难度。因此,第一人脸信息处理电路211是人脸信息处理电路21中的一个关键组成部分。
作为一个优选实施例,本实用新型中的第一人脸信息处理电路211包括封装了基于OpenCV(Open Source Computer Vision Library,基于开源发行的跨平台计算机视觉库)的一个或多个分类元件,用于直接进行人脸检测。
具体而言,分类元件是利用多幅训练样本图片的harr特征进行分类器训练的,从而得到一个级联的boosted分类器。其中,训练样本分为正例样本和反例样本,正例样本是指待检人脸,反例样本指其它任意图片,需要说明的是,所有的训练样本图片都被归一化为同样尺寸的大小。分类元件可以对输入的图像直接进行人脸检测。
第二人脸信息处理电路212为常规信息处理电路,具体而言,封装了用于逐帧分析,捕获动态人脸特征进行跟踪结构的处理电路。可以理解为,第二人脸信息处理电路212包含基于动态人脸局部特征跟踪法对不同的动态人脸器官特征信息进行器官跟踪结构。也就是,利用眼睛、嘴和鼻子等器官特征信息进行跟踪定位,分析人面部曲线并在人面部画上标识点进行跟踪。
第三人脸信息处理电路213与信息存储器32连接,用于将动态人脸特征信息与信息存储器32中的人脸特征进行对比识别。
作为一个可选实施例,第三人脸信息处理电路213封装了基于代数特征的完整PCA(Principal Component Analysis,主成分分析法)的结构的处理电路。具体而言,每一幅人脸图像被看成是以像素点灰度为元素的矩阵,则可以通过反映某些性质的数据特征来表示人脸特征。设人脸图像f(x,y)为二维灰度图像,那么图像中的每一点都能用二维坐标表示。但由于在这个大空间中并不是每一部分都包含有价值的信息,因此一般情况下需要通过某种变换将大空间中的这些点映射到一个维数较低的低维子空间中去,再利用对图像投影间的某种度量来确定图像间的相似度。
更具体的,第三人脸信息处理电路213包括封装了依次连接对人脸信息执行预处理的预处理电路、对人脸信息的空间执行降维度处理的降维处理电路和对人脸信息执行比对的比对处理电路。
预处理电路,具有将动态人脸特征信息进行预处理的结构的处理电路,预处理也即是使从第二人脸信息处理电路212中获取的信息值与人脸数据库中的特征信息值一致,例如图像格式、图像尺寸或是图像灰度等有效信息。
维度处理电路,包括第一数据接口将动态人脸特征信息读入人脸库,还包括将信息训练形成特征子空间,生成矩阵并计算图像的特征值和特征向量的处理电路。更具体的,将归一化人脸库后,选择人脸数据库中的每一个用户的一定数量的图像构成训练样本集,设归一化后的图像是n×n,则按列相连就构成二维矢量,可视为二维空间中的一个点,那么便可以通过K-L变换,用一个低维子空间描述这个图像。需要说明的是,训练样本集的总体散布矩阵为产生矩阵,求矩阵∑的特征值和正交归一化的特征向量。如果直接计算的话,计算量太大,因此,通过引入奇异值分解(AVD)定理计算图像的特征值和特征向量解决维数过高的问题。
识别处理电路为常规信息处理,包括具有将训练图像和测试图像投影到特征子空间中,并选择一定的距离函数进行识别的处理电路。具体而言,将用户的每一帧人脸图像向特征子空间进行投影,得到一组坐标系数,对应于特征子空间中的一个点。同样,子空间中的任一点也对应于每一帧人脸图像。这组系数便可作为人脸识别的依据,也就是用户的动态人脸特征信息。也就是说任何一帧人脸图像都可以表示为这组特征脸的线性组合,各个加权系数就是K-L变换的展开系数,作为图像的识别特征,表明了该图像在子空间的位置,即向量可用于人脸检测,如果它大于某个阈值,可以认为f是人脸图像,否则就认为不是。这样原来的人脸识别问题就转化为依据子空间的训练样本点进行分类的问题。
总之,人脸信息处理电路21是客户获得认证资格的第一步,也是本装置的主要功能模块之一。
声纹信息处理电路22为封装包括依次连接的第一声纹信息处理电路221、第二声纹信息处理电路222和第三声纹信息处理电路223的处理电路;用于从音视频中提取、分析用户进行特定口令验证时的声纹特征并进行识别。
第一声纹信息处理电路221封装了对声纹信息执行短时平均过零分析的第一元件、对声纹信息执行短时平均能量分析的第二元件和对声纹信息执行分帧和倒谱的第三元件;其中,第一元件和第二元件同时与第三元件连接。作为可选的一个实施例,第三人脸信息处理电路213与第一声纹信息处理电路221连接。进一步的,第一元件和第二元件同时与第一声纹信息处理电路221连接。
作为一个可选实施例,音视频中的语音文件格式为WAVE文件。第一元件和第二元件用于同时提取WAVE文件中的语音数据。具体而言,判断语音信号的起始和结束的位置,利用端点检测将语音文件进行处理,剪除两端的没有语音的数据段,得到有语音的部分。如图2所示,是本实用新型的第一声纹信息处理电路221工作原理示意图:从WAVE数据中将语音数据(Speech数据)提取出来,同时去掉语音数据两头的Silence数据。
第一元件通过在语音信号时域分析中每帧内信号通过零值的次数得到短时平均过零率。对于连续语音信号,直接通过时域波形通过时间轴的情况得到短时平均过零率;而对于离散信号,短时平均过零率实质上就是信号采样点符号变化的次数。
但如果是正弦信号,则需要第一元件和第二元件共同判断。这是因为语音信号为正弦信号时,短时平均过零率就是信号的频率除以两倍的采样频率,采样频率是固定的,在一定程度上短时平均过零率可以反映出信号的频谱特性,但由于语音信号并不是简单的正弦序列,且语音信号能量会随着时间变化比较明显,一般清音部分的能量比浊音的能量小的多,所以只靠第一元件就不那么准确,需要第一元件和第二元件共同判断,更加准确。
第二元件可以很好反应语音信号能量的变化幅度。第二元件中的短时能量计算模型为:
其中,E(n)表示语音信号中一个短时间段内的能量;x(n)表示语音信号;w(n)表示窗函数;n表示窗口内采样的总数。
可选的,h(n)=w2(n);则En表示在信号的第n个点开始加窗函数时的短时能量;此时短时平均能量可以看作是语音信号的平方经过一个线性滤波器的输出,该线性滤波器的单位函数响应为h(n)。
第三元件用于将语音数据分帧处理得到一个语音倒谱特征向量序列。具体而言,将语音数据分割成相互重叠的语音帧,对每帧语音数据进行LPC倒谱特征提取,得到一个语音帧的倒谱特征向量,并将倒谱特征向量组合为一个语音倒谱特征向量序列。以此类推,每一个语音帧组合得到一个n维的倒谱特征向量;一个语音信号便可以得到一串语音倒谱特征向量序列,使得提取的声纹特征更加准确。
第二声纹信息处理电路222包括封装一个利用语音倒谱特征向量序列训练的语音模型结构。不同的语音样本训练不同的语音模型,作为可选的一个实施例,第二声纹信息处理电路222为常规信息处理电路,具体为隐马尔可夫模型(Hidden Markov Model,HMM)。
隐马尔可夫模型是马尔可夫链的一种,作为一种统计分析模型,它的状态虽然不能直接观察到,但可以间接通过观测向量序列而观察到,每个观测向量都是通过某些概率密度分布而表现为各种状态,每一个观测向量是由一个具有相应概率密度分布的状态序列产生。因此,隐马尔可夫模型是一个双重随机过程,即具有一定状态数的隐马尔可夫链和显示随机函数集。隐马尔可夫模型用从左向右、单向、带自环、带跨越的拓扑结构来对识别基元进行建模,一个音素就是一个三至五状态的HMM,一个词就是构成词的多个音素的HMM串行起来构成的HMM,而连续语音识别的整个模型就是词和静音组合起来的HMM。
隐马尔可夫模型包括2个状态集合和3个概率矩阵,更具体的,包括隐含状态S、可观测状态O、初始状态概率矩阵π、隐含状态转移概率矩阵A和观测状态转移概率矩阵B。一般的用λ=(A,B,π)三元组来简洁的表示隐马尔可夫模型,实际上是标准马尔可夫模型添加了可观测状态集合和这些状态与隐含状态之间的概率关系。其中,隐含状态之间满足马尔可夫性质,是马尔可夫模型中实际所隐含的状态,这些状态通常无法通过直接观测而得到,例如S1、S2、S3等;可观测状态O在模型中与隐含状态相关联,可通过直接观测而得到,例如O1、O2、O3等,需要说明的是可观测状态的数目不一定要和隐含状态的数目一致;初始状态概率矩阵π表示隐含状态在初始时刻t=1的概率矩阵,例如t=1时,P(S1)=p1、P(S2)=P2、P(S3)=p3,则初始状态概率矩阵π=[p1 p2 p3];隐含状态转移概率矩阵A描述了隐马尔可夫模型中各个状态之间的转移概率,其中Aij=P(Sj|Si),1≤i,j≤N,表示在t时刻、状态为Si的条件下,在t+1时刻状态是Sj的概率;观测状态转移概率矩阵B中,当N代表隐含状态数目,M代表可观测状态数目时,Bij=P(Oi|Sj),1≤i≤M,1≤j≤N,表示在t时刻、隐含状态是Sj条件下,观察状态为Oi的概率。
第三声纹信息处理电路223为常规信息处理,与信息存储器32连接;用于将第二声纹信息处理电路222中获取的语音倒谱特征向量序列样本与信息存储器32中的声纹特征进行比对识别。
第二芯片3为封装了相互连接的信息增删处理电路31、信息存储器32和信息加解密处理电路33的处理电路,用于增加、删除、存储及加解密用户的动态人脸特征和声纹特征。
其中,信息增删处理电路31与音视频采集机1连接,用于接收用户的特征信息进行注册指令和删除指令;信息存储器32与音视频采集机1连接,用于存储生物特征信息;信息加解密处理电路33用于对生物特征信息进行加解密。
由于用户的特征信息具有唯一性、永久性,一旦泄露,存在的安全风险很大,因此在进行存储时,必须进行加密。信息加解密处理电路33包括SM4加密处理电路,为内置加密和解密,其加解密过程由内置程序自动完成,第一芯片2及第二芯片3均无权限修改密钥。
此外,该装置还包括口令信息处理电路34,设置于第一芯片2或第二芯片3,与生物特征管理器4连接,封装从信息存储器32中提取对应用户录入的字符并生成特定口令的处理电路。具体为,当用户进行重复几次进行录入,可从用户自定义口令中随机选出字符生成新口令,以此保证每次用户进行认证时的口令都不同,防止重放攻击,更加具有安全性。
该装置还包括信息记录处理电路,设置于第一芯片2或第二芯片3,与音视频采集机1连接。
作为一个可选的实施例,信息记录处理电路包括清除元件和导出接口,设置了多个审计点和审计事件,一旦触发审计事件,信息记录处理电路记录用户操作结果、时间等信息,将用户的相关操作记录到装置日志中,对用户的认证操作进行记录,方便管理员进行管理与审查,更具方便性。
总之,该装置聚动态人脸识别和声纹识别为一体,提取、建立用户说口令时的视频,进行逐帧分析,建立人脸动态特征模型。当用户提出认证时,分析、对比用户的人脸特征,进行识别。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本实用新型的技术方案,而非对其限制;尽管参照前述实施例对本实用新型进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本实用新型各实施例技术方案的精神和范围。
Claims (10)
1.一种基于人脸和声纹的识别装置,其特征在于,所述装置包括相互连接的用于采集人脸信息和声纹信息的音视频采集机、对所述人脸信息和所述声纹信息执行处理的第一芯片、和对所述人脸信息和所述声纹信息执行管理的第二芯片;
所述第一芯片包括人脸信息处理电路和声纹信息处理电路;
所述人脸信息处理电路,包括依次连接的对所述音视频采集机获取的所述人脸信息执行检测的第一人脸信息处理电路、对人脸局部特征信息执行识别的第二人脸信息处理电路、和对人脸对比信息执行处理的第三人脸信息处理电路;
所述声纹信息处理电路,包括依次连接的对所述音视频采集机获取的所述声纹信息执行特征提取的第一声纹信息处理电路、对声纹特征进行模型建立与训练的第二声纹信息处理电路、和对声纹对比信息执行处理的第三声纹信息处理电路;
所述第二芯片包括相互连接的对所述人脸信息和所述声纹信息执行增加和/或删除的信息增删处理电路、对所述人脸信息和所述声纹信息进行保存的信息存储器、和对所述人脸信息和所述声纹信息执行加解密的信息加解密处理电路;
其中,所述第一人脸信息处理电路和所述第一声纹信息处理电路同时与所述音视频采集机连接;所述第三人脸信息处理电路和所述第三声纹信息处理电路同时与所述信息存储器连接。
2.如权利要求1所述的一种基于人脸和声纹的识别装置,其特征在于,所述第一芯片和所述第二芯片之间为无线连接或有线连接。
3.如权利要求2所述的一种基于人脸和声纹的识别装置,其特征在于,所述第一芯片设置于用户终端;所述第二芯片设置于服务终端。
4.如权利要求1所述的一种基于人脸和声纹的识别装置,其特征在于,第三人脸信息处理电路包括依次连接对所述人脸信息执行预处理的预处理电路、对所述人脸信息的空间执行降维度处理的降维处理电路和对所述人脸信息执行比对的比对处理电路。
5.如权利要求1~4中任一项所述的一种基于人脸和声纹的识别装置,其特征在于,所述第一声纹信息处理电路包括对所述声纹信息执行短时平均过零分析的第一元件、对所述声纹信息执行短时平均能量分析的第二元件和对所述声纹信息执行分帧和倒谱的第三元件;
其中,所述第一元件和所述第二元件同时与所述第三元件连接。
6.如权利要求5所述的一种基于人脸和声纹的识别装置,其特征在于,所述第三人脸信息处理电路与所述第一声纹信息处理电路连接。
7.如权利要求6所述的一种基于人脸和声纹的识别装置,其特征在于,所述第三人脸信息处理电路同时与所述第一元件和所述第二元件连接。
8.如权利要求1中所述的一种基于人脸和声纹的识别装置,其特征在于,所述装置还包括与所述信息存储器连接的口令信息处理电路;
其中,所述口令信息处理电路设置于所述第一芯片或所述第二芯片。
9.如权利要求1中所述的一种基于人脸和声纹的识别装置,其特征在于,所述装置还包括设置于所述第一芯片或所述第二芯片的记录信息处理电路。
10.如权利要求3中所述的一种基于人脸和声纹的识别装置,其特征在于,所述音视频采集机为录像机或摄影机,设置于所述用户终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202321371477.1U CN220983921U (zh) | 2023-05-31 | 2023-05-31 | 一种基于人脸和声纹的识别装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202321371477.1U CN220983921U (zh) | 2023-05-31 | 2023-05-31 | 一种基于人脸和声纹的识别装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN220983921U true CN220983921U (zh) | 2024-05-17 |
Family
ID=91065664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202321371477.1U Active CN220983921U (zh) | 2023-05-31 | 2023-05-31 | 一种基于人脸和声纹的识别装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN220983921U (zh) |
-
2023
- 2023-05-31 CN CN202321371477.1U patent/CN220983921U/zh active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Frischholz et al. | BiolD: a multimodal biometric identification system | |
Kim et al. | Multimodal biometric authentication using teeth image and voice in mobile environment | |
WO2019210796A1 (zh) | 语音识别方法、装置、存储介质及电子设备 | |
US20080260212A1 (en) | System for indicating deceit and verity | |
Chetty et al. | Automated lip feature extraction for liveness verification in audio-video authentication | |
KR20010039771A (ko) | 시청각적 발성자 인식 및 발성 검증 방법 및 장치 | |
Majekodunmi et al. | A review of the fingerprint, speaker recognition, face recognition and iris recognition based biometric identification technologies | |
Mandalapu et al. | Audio-visual biometric recognition and presentation attack detection: A comprehensive survey | |
Haji et al. | Real time face recognition system (RTFRS) | |
WO2003052677A1 (en) | Identification of people using video and audio eigen features | |
Boutellaa et al. | Audiovisual synchrony assessment for replay attack detection in talking face biometrics | |
RU2316051C2 (ru) | Способ и система автоматической проверки присутствия лица живого человека в биометрических системах безопасности | |
Bengio et al. | Evaluation of biometric technology on XM2VTS | |
Shen et al. | Secure mobile services by face and speech based personal authentication | |
CN116883900A (zh) | 一种基于多维生物特征的视频真伪鉴别方法和系统 | |
CN220983921U (zh) | 一种基于人脸和声纹的识别装置 | |
Luque et al. | Audio, video and multimodal person identification in a smart room | |
Memon | Multi-layered multimodal biometric authentication for smartphone devices | |
Bredin et al. | Making talking-face authentication robust to deliberate imposture | |
Mok et al. | Lip features selection with application to person authentication | |
Ambeth Kumar et al. | Footprint based recognition system | |
Yu et al. | Biometric recognition by using audio and visual feature fusion | |
Abbaas et al. | Evaluation of biometric user authentication using an ensemble classifier with face and voice recognition | |
Phaneemdra et al. | Human Face Detection and Recognition using PCA and DCT in HMM | |
Almaadeed et al. | Audio-visual feature fusion for speaker identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |