CN111862413A - 实现抗疫情非接触多维身份快速识别的方法及其系统 - Google Patents

实现抗疫情非接触多维身份快速识别的方法及其系统 Download PDF

Info

Publication number
CN111862413A
CN111862413A CN202010737120.5A CN202010737120A CN111862413A CN 111862413 A CN111862413 A CN 111862413A CN 202010737120 A CN202010737120 A CN 202010737120A CN 111862413 A CN111862413 A CN 111862413A
Authority
CN
China
Prior art keywords
face
voice
identity
training
carrying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010737120.5A
Other languages
English (en)
Inventor
赵锐
吴松洋
林群雄
孙太平
李宁
洪小龙
孙全忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Research Institute of the Ministry of Public Security
Original Assignee
Third Research Institute of the Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Research Institute of the Ministry of Public Security filed Critical Third Research Institute of the Ministry of Public Security
Priority to CN202010737120.5A priority Critical patent/CN111862413A/zh
Publication of CN111862413A publication Critical patent/CN111862413A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/38Individual registration on entry or exit not involving the use of a pass with central registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种实现抗疫情非接触多维身份快速识别的方法,包括将常住人员信息发送至门禁装置和云服务器进行存储;通过摄像头和麦克风进行人脸采集并进行存储;判断是否检测到人脸被遮挡,如果是,则提供特定文本语音进行语音采集,将语音内容通过GAN与NLP融合算法进行计算;将人脸视频、图像内容通过迁移学习深度学习融合算法进行计算,对人脸视频和图像内容进行身份识别处理,并确定身份。本发明还涉及一种实现抗疫情非接触多维身份快速识别的系统。采用了本发明的实现抗疫情非接触多维身份快速识别的方法及其系统,采用全局人脸特征检索,对人脸全局特征进行建模分析,准确率已超过人眼极限;大幅度提升了人脸识别的实用性,具有更广泛的应用范围。

Description

实现抗疫情非接触多维身份快速识别的方法及其系统
技术领域
本发明涉及人工智能领域,尤其涉及面部遮挡的身份快速识别领域,具体是指一种实现抗疫情非接触多维身份快速识别的方法及其系统。
背景技术
人脸识别技术是基于人的脸部特征,对输入的人脸图像或者视频流.首先判断其是否存在人脸,如果存在人脸,则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息,进一步提取每个人脸中所蕴涵的身份特征,并将其与已知的人脸进行对比,从而识别每个人脸的身份。目前,人脸识别技术以其便利性、安全性已在安防、公安、民用考勤、电商生物特征支付等领域广泛应用,尤其在大数据时代,人脸识别必成为未来的发展趋势。
由于新型冠状病毒的影响,民众出行戴口罩将常态化趋势,由于传统的人脸识别(浅层学习)识别技术存在——一、识别准确率最多能到70%,即便部署后仍需安保人员时刻注意。二、只能通过双眼特征这样的简单属性做人脸识别,可识别的人脸属性过少。三、识别算法模型简单无法准确识别戴口罩、戴帽子、戴眼镜等各种轻微的装饰;四、识别算法通常识别时间长,识别时还必须正面摄像机,实用性不高等问题,造成现有人脸身份识别技术效能大幅度降低,而已被全球大部分国家政府接受与认可的指纹识别技术又因是接触式识别而无法应用于这一场景。人脸身份识别技术在抗疫情身份识别应用中难以保证准确性与可靠性,而不够准确、不够可靠的身份识别系统在大部分实际应用场景中失去了使用意义。
发明内容
本发明的目的是克服了上述现有技术的缺点,提供了一种满足实用性高、精准识别、适用范围较为广泛的实现抗疫情非接触多维身份快速识别的方法及其系统。
为了实现上述目的,本发明的实现抗疫情非接触多维身份快速识别的方法及其系统如下:
该实现抗疫情非接触多维身份快速识别的方法,其主要特点是,所述的方法包括以下步骤:
(1)通过客户端进行居民信息注册,客户端将居民注册信息根据门栋常住人员、非常住人员进行分级,将常住人员信息发送至门禁装置和云服务器进行存储;
(2)门禁装置检测到人脸后主动启动显示屏,通过摄像头和麦克风进行人脸采集并进行存储;
(3)判断是否检测到人脸被遮挡,如果是,则提供特定文本语音进行语音采集,将语音内容通过GAN与NLP融合算法进行计算,确认采集的信息属于真人,将采集语音内容发送至云服务器,继续步骤(4);否则,继续步骤(4);
(4)将人脸视频、图像内容通过迁移学习深度学习融合算法进行计算,对人脸视频和图像内容进行身份识别处理,并确定身份,如果身份识别通过,则打开门禁装置的电控门锁;否则,继续进行人脸检测。
较佳地,所述的步骤(4)的迁移学习深度学习融合算法通过计算上眼睑、左眼角、右眼角、下眼睑这四个区域之间的位置与比例关系,具体包括以下步骤:
(4.1)进行人脸检测,定位人脸特征点,进行几何归一化、光照归一化以及数据集扩展;
(4.2)通过SA及PCA算法进行人脸特征点定位,并构造分类训练集,从人脸图像中裁切出四个人脸区块进行人脸分块;
(4.3)为每个人脸区块训练模型进行特征提取;
(4.4)基于CRC网络训练判断人脸区块是否被遮挡,如果是,则对未被遮挡的区块对应的特征通过欧氏距离比对度量特征相似度;否则,通过通用人脸模型的特征比对度量特征相似度。
较佳地,所述的步骤(3)中通过GAN与NLP融合算法语义分析模型判断采集的语音与门禁装置随机显示的文字语义的一致性并通过声纹识别模型进行身份识别,具体包括以下处理过程:
(3.1)通过未标记的数据学习语言表达,并使用少量经过标记的训练数据执行多种监督任务建立预训练机器学习模型;
(3.2)通过3D声纹建模对声纹建模;
(3.3)对采集的语音使用语音质量检测引擎进行质量检测,对噪音环境及人声能量过少的语音使用语音增强引擎进行语音质量处理;
(3.4)通过预训练机器学习模型判断处理后的语音内容与随机显示的文字语义是否一致,如果是,则确认处理后的语音与注册的语音声纹的一致性并返回结果;否则,返回识别身份失败。
较佳地,所述的步骤(4.1)的光照归一化采用迁移学习算法,通过大量多种光线下正常人脸进行数据集训练。
较佳地,所述的步骤(2)的构造的训练集分为眼睛类、鼻子类、嘴巴类和背景类,所述的背景类指人脸关键区域外的其他部分。
该实现抗疫情非接触多维身份快速识别的系统,其主要特点是,所述的系统包括:
客户端,用于实现居民信息注册及门禁信息展示的人机交互功能;
门禁装置,通过有线网络或无线网络与客户端相连接,由嵌入式系统作为底层硬件平台,用于进行音视频终端设备对接和门禁系统对接,采集视频采集与语音,提取视频人脸与语音数据特征,压缩编码特征数据及传输;
云服务器,通过有线网络或无线网络与客户端以及门禁装置相连接,用于进行视频人脸身份识别、语音身份识别和语义身份识别;
身份快速识别程序,通过对其未被遮挡脸部区块对应特征度量相似度,并比对其语音语义后进行声纹识别进行多维度身份精准识别,具体进行以下步骤处理:
(1)通过客户端进行居民信息注册,客户端将居民注册信息根据门栋常住人员、非常住人员进行分级,将常住人员信息发送至门禁装置和云服务器进行存储;
(2)门禁装置检测到人脸后主动启动显示屏,通过摄像头和麦克风进行人脸采集并进行存储;
(3)判断是否检测到人脸被遮挡,如果是,则提供特定文本语音进行语音采集,将语音内容通过GAN与NLP融合算法进行计算,确认采集的信息属于真人,将采集语音内容发送至云服务器,继续步骤(4);否则,继续步骤(4);
(4)将人脸视频、图像内容通过迁移学习深度学习融合算法进行计算,对人脸视频和图像内容进行身份识别处理,并确定身份,如果身份识别通过,则打开门禁装置的电控门锁;否则,继续进行人脸检测。
较佳地,所述的步骤(4)的迁移学习深度学习融合算法通过计算上眼睑、左眼角、右眼角、下眼睑这四个区域之间的位置与比例关系,具体包括以下步骤:
(4.1)进行人脸检测,定位人脸特征点,进行几何归一化、光照归一化以及数据集扩展;
(4.2)通过SA及PCA算法进行人脸特征点定位,并构造分类训练集,从人脸图像中裁切出四个人脸区块进行人脸分块;
(4.3)为每个人脸区块训练模型进行特征提取;
(4.4)基于CRC网络训练判断人脸区块是否被遮挡,如果是,则对未被遮挡的区块对应的特征通过欧氏距离比对度量特征相似度;否则,通过通用人脸模型的特征比对度量特征相似度。
较佳地,所述的步骤(3)中通过GAN与NLP融合算法语义分析模型判断采集的语音与门禁装置随机显示的文字语义的一致性并通过声纹识别模型进行身份识别,具体包括以下处理过程:
(3.1)通过未标记的数据学习语言表达,并使用少量经过标记的训练数据执行多种监督任务建立预训练机器学习模型;
(3.2)通过3D声纹建模对声纹建模;
(3.3)对采集的语音使用语音质量检测引擎进行质量检测,对噪音环境及人声能量过少的语音使用语音增强引擎进行语音质量处理;
(3.4)通过预训练机器学习模型判断处理后的语音内容与随机显示的文字语义是否一致,如果是,则确认处理后的语音与注册的语音声纹的一致性并返回结果;否则,返回识别身份失败。
较佳地,所述的步骤(4.1)的光照归一化采用迁移学习算法,通过大量多种光线下正常人脸进行数据集训练。
较佳地,所述的步骤(2)的构造的训练集分为眼睛类、鼻子类、嘴巴类和背景类,所述的背景类指人脸关键区域外的其他部分。
采用了本发明的实现抗疫情非接触多维身份快速识别的方法及其系统,准确率全天候平均能达到90%之多,部署后可大幅节省安保人员精力;本发明一种抗疫情非接触多维身份快速识别系统,采用全局人脸特征检索,对人脸全局特征进行建模分析,而不局限于人眼局部特征,因此准确率已超过人眼极限;本发明一种抗疫情非接触多维身份快速识别系统不但能识别戴口罩、戴帽子、戴眼镜等常规装饰,还能够识别假胡须、假发、大墨镜等各种伪装,即便嫌疑人蓄意伪装,也能够精准的对在逃的目标嫌疑人实现精准布控;本发明一种抗疫情非接触多维身份快速识别系统能够在人海中迅速检索出人脸并抓怕,即便使行人故意躲避,左右旋转30度,俯仰15度依然能够精准识别,大幅度提升了人脸识别的实用性,具有更广泛的应用范围。
附图说明
图1为本发明的实现抗疫情非接触多维身份快速识别的方法的流程图。
图2为本发明的实现抗疫情非接触多维身份快速识别的方法的迁移学习深度学习融合算法的流程示意图。
图3为本发明的实现抗疫情非接触多维身份快速识别的系统的硬件结构连接示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
本发明的该实现抗疫情非接触多维身份快速识别的方法,其中包括以下步骤:
(1)通过客户端进行居民信息注册,客户端将居民注册信息根据门栋常住人员、非常住人员进行分级,将常住人员信息发送至门禁装置和云服务器进行存储;
(2)门禁装置检测到人脸后主动启动显示屏,通过摄像头和麦克风进行人脸采集并进行存储;
(3)判断是否检测到人脸被遮挡,如果是,则提供特定文本语音进行语音采集,将语音内容通过GAN与NLP融合算法进行计算,确认采集的信息属于真人,将采集语音内容发送至云服务器,继续步骤(4);否则,继续步骤(4);
(4)将人脸视频、图像内容通过迁移学习深度学习融合算法进行计算,对人脸视频和图像内容进行身份识别处理,并确定身份,如果身份识别通过,则打开门禁装置的电控门锁;否则,继续进行人脸检测。
作为本发明的优选实施方式,所述的步骤(4)的迁移学习深度学习融合算法通过计算上眼睑、左眼角、右眼角、下眼睑这四个区域之间的位置与比例关系,具体包括以下步骤:
(4.1)进行人脸检测,定位人脸特征点,进行几何归一化、光照归一化以及数据集扩展;
(4.2)通过SA及PCA算法进行人脸特征点定位,并构造分类训练集,从人脸图像中裁切出四个人脸区块进行人脸分块;
(4.3)为每个人脸区块训练模型进行特征提取;
(4.4)基于CRC网络训练判断人脸区块是否被遮挡,如果是,则对未被遮挡的区块对应的特征通过欧氏距离比对度量特征相似度;否则,通过通用人脸模型的特征比对度量特征相似度。
作为本发明的优选实施方式,所述的步骤(3)中通过GAN与NLP融合算法语义分析模型判断采集的语音与门禁装置随机显示的文字语义的一致性并通过声纹识别模型进行身份识别,具体包括以下处理过程:
(3.1)通过未标记的数据学习语言表达,并使用少量经过标记的训练数据执行多种监督任务建立预训练机器学习模型;
(3.2)通过3D声纹建模对声纹建模;
(3.3)对采集的语音使用语音质量检测引擎进行质量检测,对噪音环境及人声能量过少的语音使用语音增强引擎进行语音质量处理;
(3.4)通过预训练机器学习模型判断处理后的语音内容与随机显示的文字语义是否一致,如果是,则确认处理后的语音与注册的语音声纹的一致性并返回结果;否则,返回识别身份失败。
作为本发明的优选实施方式,所述的步骤(4.1)的光照归一化采用迁移学习算法,通过大量多种光线下正常人脸进行数据集训练。
作为本发明的优选实施方式,所述的步骤(2)的构造的训练集分为眼睛类、鼻子类、嘴巴类和背景类,所述的背景类指人脸关键区域外的其他部分。
本发明的该实现抗疫情非接触多维身份快速识别的系统,其中包括:
客户端,用于实现居民信息注册及门禁信息展示的人机交互功能;
门禁装置,通过有线网络或无线网络与客户端相连接,由嵌入式系统作为底层硬件平台,用于进行音视频终端设备对接和门禁系统对接,采集视频采集与语音,提取视频人脸与语音数据特征,压缩编码特征数据及传输;
云服务器,通过有线网络或无线网络与客户端以及门禁装置相连接,用于进行视频人脸身份识别、语音身份识别和语义身份识别;
身份快速识别程序,通过对其未被遮挡脸部区块对应特征度量相似度,并比对其语音语义后进行声纹识别进行多维度身份精准识别,具体进行以下步骤处理:
(1)通过客户端进行居民信息注册,客户端将居民注册信息根据门栋常住人员、非常住人员进行分级,将常住人员信息发送至门禁装置和云服务器进行存储;
(2)门禁装置检测到人脸后主动启动显示屏,通过摄像头和麦克风进行人脸采集并进行存储;
(3)判断是否检测到人脸被遮挡,如果是,则提供特定文本语音进行语音采集,将语音内容通过GAN与NLP融合算法进行计算,确认采集的信息属于真人,将采集语音内容发送至云服务器,继续步骤(4);否则,继续步骤(4);
(4)将人脸视频、图像内容通过迁移学习深度学习融合算法进行计算,对人脸视频和图像内容进行身份识别处理,并确定身份,如果身份识别通过,则打开门禁装置的电控门锁;否则,继续进行人脸检测。
作为本发明的优选实施方式,所述的步骤(4)的迁移学习深度学习融合算法通过计算上眼睑、左眼角、右眼角、下眼睑这四个区域之间的位置与比例关系,具体包括以下步骤:
(4.1)进行人脸检测,定位人脸特征点,进行几何归一化、光照归一化以及数据集扩展;
(4.2)通过SA及PCA算法进行人脸特征点定位,并构造分类训练集,从人脸图像中裁切出四个人脸区块进行人脸分块;
(4.3)为每个人脸区块训练模型进行特征提取;
(4.4)基于CRC网络训练判断人脸区块是否被遮挡,如果是,则对未被遮挡的区块对应的特征通过欧氏距离比对度量特征相似度;否则,通过通用人脸模型的特征比对度量特征相似度。
作为本发明的优选实施方式,所述的步骤(3)中通过GAN与NLP融合算法语义分析模型判断采集的语音与门禁装置随机显示的文字语义的一致性并通过声纹识别模型进行身份识别,具体包括以下处理过程:
(3.1)通过未标记的数据学习语言表达,并使用少量经过标记的训练数据执行多种监督任务建立预训练机器学习模型;
(3.2)通过3D声纹建模对声纹建模;
(3.3)对采集的语音使用语音质量检测引擎进行质量检测,对噪音环境及人声能量过少的语音使用语音增强引擎进行语音质量处理;
(3.4)通过预训练机器学习模型判断处理后的语音内容与随机显示的文字语义是否一致,如果是,则确认处理后的语音与注册的语音声纹的一致性并返回结果;否则,返回识别身份失败。
作为本发明的优选实施方式,所述的步骤(4.1)的光照归一化采用迁移学习算法,通过大量多种光线下正常人脸进行数据集训练。
作为本发明的优选实施方式,所述的步骤(2)的构造的训练集分为眼睛类、鼻子类、嘴巴类和背景类,所述的背景类指人脸关键区域外的其他部分。
本发明的具体实施方式中,由客户端、门禁装置与云服务器三部分组成。客户端主要用于居民信息注册、门禁信息展示等人机交互方面的功能。门禁装置由嵌入式系统作为底层硬件平台,用于音视频终端设备对接、门禁系统对接等工作,实现视频采集与语音采集、视频人脸与语音数据特征提取、特征数据压缩编码、传输等功能。云服务器承担着视频人脸身份识别,语音身份识别,语义身份识别等功能,实现基于公安“人口库”、“在逃”、其他业务局小库的对接查询等工作。本系统通过“云+端”分布式计算,实现社区居民不摘口罩情况下的多维度身份精准识别,提升在疫情时期的社区治安智能化管控水平,增强了公安与社区服务民生的能力,应用面广阔且符合公安大数据发展战略。
本发明的目的是克服了上述现有技术的缺点,应用深度学习技术,通过“云+端”分布式计算,提供了一种能够实现社区居民不摘口罩情况下,对其未被遮挡脸部区块对应特征度量相似度,并比对其语音语义后进行声纹识别的多维度身份精准识别的系统,人脸+语音身份识别技术的融合,大大提升了人脸部分遮挡情况下身份识别的准确性与可靠性,减轻人员工作量,降低人脸抓拍角度要求,能够提升在疫情时期的社区治安智能化管控水平,增强了公安与社区服务民生的能力。
本发明的一种抗疫情非接触多维身份快速识别系统及其身份识别方法具有如下构成:
请参阅图3所示,该种抗疫情非接触多维身份快速识别系统,其主要特点是,包括系统包括客户端、门禁装置与云服务器,客户端通过有线网络或无线网络(4/5G,WIFI,OFDM)与门禁装置、云服务器相连接,门禁装置通过有线网络或无线网络(4/5G,WIFI,OFDM)与云服务器相连接。
客户端主要用于居民信息注册、门禁信息展示等人机交互方面的功能。
门禁装置由嵌入式系统作为底层硬件平台,用于音视频终端设备对接、门禁系统对接等工作,实现视频采集与语音采集,视频人脸与语音数据特征提取,特征数据压缩编码,传输等功能。
云服务器承担着视频人脸身份识别、语音身份识别、语义身份识别等功能,实现基于公安“人口库”、“在逃”、其他业务局小库的对接查询等工作。
该抗疫情非接触多维身份快速识别系统实现戴口罩人脸身份识别方法,其主要特点是,包括以下步骤:
(1)将客户端与门禁装置相连接;
(2)将门禁装置通过有线网络或无线网络(4/5G,WIFI,OFDM)与云服务器相连接;
(3)用客户端进行居民信息注册;
(4)客户端将居民注册信息根据门栋常住人员、非常住人员进行分级,通过有线网络或无线网络(4/5G,WIFI,OFDM)将常住人员信息发送至门禁装置进行存储;
(5)客户端将所有居民注册信息通过有线网络或无线网络(4/5G,WIFI,OFDM)发送至云服务器进行存储;
(6)门禁装置检测到人脸后主动启动显示屏,采集人脸视频和照片并进行存储;如检测到人脸被遮挡,则在屏幕上随机显示10个字左右构成的一段语句供居民朗读,采集语音并进行存储;
(7)如网络连接正常,门禁装置将采集的人脸视频和图像内容通过有线网络或无线网络(4/5G,WIFI,OFDM)发送至云服务器;如检测到人脸被遮挡,则在屏幕上随机显示10个字左右构成的一段语句供居民朗读,采集语音内容通过有线网络或无线网络(4/5G,WIFI,OFDM)发送至云服务器;
(8)在网络正常情况下,云服务器接收到人脸视频、图像内容(和语音内容)后进行身份识别处理后确定身份。在断网情况下,门禁装置对在门禁装置上存储的视频、图像内容(和语音内容)后进行身份识别处理后确定身份;
(9)如果身份识别通过,则打开门禁装置的电控门锁。
请参阅图1所示,该基于上述的系统一种抗疫情非接触多维身份快速识别系统实现戴口罩人脸身份识别方法,其主要特点是,音视频数据处理过程包括以下步骤:
(1)将人脸视频、图像内容用迁移学习深度学习融合算法进行计算。
(2)如上述步骤判断人脸被遮挡,则将语音内容用GAN与NLP融合算法进行计算。
(3)如步骤一判断人脸被遮挡,则将权利步骤一和步骤二的结果使用专家系统进行综合判断得出身份识别结论。
请参阅图2所示,迁移学习深度学习融合算法是通过计算上眼睑、左眼角、右眼角、下眼睑这四个区域之间的位置与比例关系,实现基于视频的口罩人脸识别。具体步骤如下:
(1)进行人脸检测,人脸特征点定位,几何归一化,光照归一化以及数据集扩展。光照归一化采用迁移学习算法,通过大量多种光线下正常人脸进行数据集训练。
(2)采用SA+PCA算法进行人脸特征点定位,基于人脸特征点定位的结果(左眼中心、右眼中心、鼻尖、左侧嘴角和右侧嘴角),从人脸图像中裁切出四个人脸区块(左眼、右眼、鼻子和嘴)进行人脸分块。
(3)为每个人脸区块训练一个基于深度卷积神经网络的模型进行特征提取。
(4)基于CRC网络进行训练一个用于判别人脸区块是否被遮挡的网络。在做分类训练集构造的时候,将左眼和右眼的类别合并为眼睛,即构造出的训练集分为4类:眼睛类、鼻子类、嘴巴类和背景类。其中,背景类指除上述人脸关键区域外的其他部分,包括其他人脸相关的前景和无关的背景。
(5)如判断人脸未被遮挡,则使用通用人脸模型的特征比对度量特征相似度。
(6)对于有遮挡的人脸,则取比对的两张人脸都未被判别为遮挡的区块对应的特征使用欧氏距离度量特征相似度。
GAN与NLP融合算法先用语义分析模型判断采集的语音与门禁装置随机显示的文字语义是否一致,一致后再用声纹识别模型进行身份识别,包括以下步骤:
(1)使用大量未标记的数据,以预训练、也就是无人监督的方式学习语言表达,再使用少量经过标记的训练数据对模型进行fine-tune,以监督学习的方式,执行多种监督任务来建立预训练机器学习模型;
(2)使用3D声纹建模对声纹建模;
(3)对采集的语音使用语音质量检测引擎(PESQ\POLQA\等分析方法)做质量检测,将语音质量分为纯静音、噪音环境、人声能量过少、正常语音四类,对噪音环境、人声能量过少的语音根据情况生成使用采用对抗网络GAN算法的纯降噪、纯语音增益、降噪+语音增益三种语音增强引擎进行语音质量处理。
(4)使用预训练机器学习模型来判断处理后的语音内容与随机显示的文字语义是否一致;
(5)如语义不一致,则返回识别身份失败;
(6)如语义一致,使用3D声纹模型和同源连续性识别技术与高维仿生模式识别算法判断处理后的语音与注册的语音声纹是否一致并返回结果。
采用了本发明的实现抗疫情非接触多维身份快速识别的方法及其系统,准确率全天候平均能达到90%之多,部署后可大幅节省安保人员精力;本发明一种抗疫情非接触多维身份快速识别系统,采用全局人脸特征检索,对人脸全局特征进行建模分析,而不局限于人眼局部特征,因此准确率已超过人眼极限;本发明一种抗疫情非接触多维身份快速识别系统不但能识别戴口罩、戴帽子、戴眼镜等常规装饰,还能够识别假胡须、假发、大墨镜等各种伪装,即便嫌疑人蓄意伪装,也能够精准的对在逃的目标嫌疑人实现精准布控;本发明一种抗疫情非接触多维身份快速识别系统能够在人海中迅速检索出人脸并抓怕,即便使行人故意躲避,左右旋转30度,俯仰15度依然能够精准识别,大幅度提升了人脸识别的实用性,具有更广泛的应用范围。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。

Claims (10)

1.一种实现抗疫情非接触多维身份快速识别的方法,其特征在于,所述的方法包括以下步骤:
(1)通过客户端进行居民信息注册,客户端将居民注册信息根据门栋常住人员、非常住人员进行分级,将常住人员信息发送至门禁装置和云服务器进行存储;
(2)门禁装置检测到人脸后主动启动显示屏,通过摄像头和麦克风进行人脸采集并进行存储;
(3)判断是否检测到人脸被遮挡,如果是,则提供特定文本语音进行语音采集,将语音内容通过GAN与NLP融合算法进行计算,确认采集的信息属于真人,将采集语音内容发送至云服务器,继续步骤(4);否则,继续步骤(4);
(4)将人脸视频、图像内容通过迁移学习深度学习融合算法进行计算,对人脸视频和图像内容进行身份识别处理,并确定身份,如果身份识别通过,则打开门禁装置的电控门锁;否则,继续进行人脸检测。
2.根据权利要求1所述的实现抗疫情非接触多维身份快速识别的方法,其特征在于,所述的步骤(4)的迁移学习深度学习融合算法通过计算上眼睑、左眼角、右眼角、下眼睑这四个区域之间的位置与比例关系,具体包括以下步骤:
(4.1)进行人脸检测,定位人脸特征点,进行几何归一化、光照归一化以及数据集扩展;
(4.2)通过SA及PCA算法进行人脸特征点定位,并构造分类训练集,从人脸图像中裁切出四个人脸区块进行人脸分块;
(4.3)为每个人脸区块训练模型进行特征提取;
(4.4)基于CRC网络训练判断人脸区块是否被遮挡,如果是,则对未被遮挡的区块对应的特征通过欧氏距离比对度量特征相似度;否则,通过通用人脸模型的特征比对度量特征相似度。
3.根据权利要求1所述的实现抗疫情非接触多维身份快速识别的方法,其特征在于,所述的步骤(3)中通过GAN与NLP融合算法语义分析模型判断采集的语音与门禁装置随机显示的文字语义的一致性并通过声纹识别模型进行身份识别,具体包括以下处理过程:
(3.1)通过未标记的数据学习语言表达,并使用少量经过标记的训练数据执行多种监督任务建立预训练机器学习模型;
(3.2)通过3D声纹建模对声纹建模;
(3.3)对采集的语音使用语音质量检测引擎进行质量检测,对噪音环境及人声能量过少的语音使用语音增强引擎进行语音质量处理;
(3.4)通过预训练机器学习模型判断处理后的语音内容与随机显示的文字语义是否一致,如果是,则确认处理后的语音与注册的语音声纹的一致性并返回结果;否则,返回识别身份失败。
4.根据权利要求2所述的实现抗疫情非接触多维身份快速识别的方法,其特征在于,所述的步骤(4.1)的光照归一化采用迁移学习算法,通过大量多种光线下正常人脸进行数据集训练。
5.根据权利要求2所述的实现抗疫情非接触多维身份快速识别的方法,其特征在于,所述的步骤(2)的构造的训练集分为眼睛类、鼻子类、嘴巴类和背景类,所述的背景类指人脸关键区域外的其他部分。
6.一种实现抗疫情非接触多维身份快速识别的系统,其特征在于,所述的系统包括:
客户端,用于实现居民信息注册及门禁信息展示的人机交互功能;
门禁装置,通过有线网络或无线网络与客户端相连接,由嵌入式系统作为底层硬件平台,用于进行音视频终端设备对接和门禁系统对接,采集视频采集与语音,提取视频人脸与语音数据特征,压缩编码特征数据及传输;
云服务器,通过有线网络或无线网络与客户端以及门禁装置相连接,用于进行视频人脸身份识别、语音身份识别和语义身份识别;
身份快速识别程序,通过对其未被遮挡脸部区块对应特征度量相似度,并比对其语音语义后进行声纹识别进行多维度身份精准识别,具体进行以下步骤处理:
(1)通过客户端进行居民信息注册,客户端将居民注册信息根据门栋常住人员、非常住人员进行分级,将常住人员信息发送至门禁装置和云服务器进行存储;
(2)门禁装置检测到人脸后主动启动显示屏,通过摄像头和麦克风进行人脸采集并进行存储;
(3)判断是否检测到人脸被遮挡,如果是,则提供特定文本语音进行语音采集,将语音内容通过GAN与NLP融合算法进行计算,确认采集的信息属于真人,将采集语音内容发送至云服务器,继续步骤(4);否则,继续步骤(4);
(4)将人脸视频、图像内容通过迁移学习深度学习融合算法进行计算,对人脸视频和图像内容进行身份识别处理,并确定身份,如果身份识别通过,则打开门禁装置的电控门锁;否则,继续进行人脸检测。
7.根据权利要求6所述的实现抗疫情非接触多维身份快速识别的系统,其特征在于,所述的步骤(4)的迁移学习深度学习融合算法通过计算上眼睑、左眼角、右眼角、下眼睑这四个区域之间的位置与比例关系,具体包括以下步骤:
(4.1)进行人脸检测,定位人脸特征点,进行几何归一化、光照归一化以及数据集扩展;
(4.2)通过SA及PCA算法进行人脸特征点定位,并构造分类训练集,从人脸图像中裁切出四个人脸区块进行人脸分块;
(4.3)为每个人脸区块训练模型进行特征提取;
(4.4)基于CRC网络训练判断人脸区块是否被遮挡,如果是,则对未被遮挡的区块对应的特征通过欧氏距离比对度量特征相似度;否则,通过通用人脸模型的特征比对度量特征相似度。
8.根据权利要求6所述的实现抗疫情非接触多维身份快速识别的系统,其特征在于,所述的步骤(3)中通过GAN与NLP融合算法语义分析模型判断采集的语音与门禁装置随机显示的文字语义的一致性并通过声纹识别模型进行身份识别,具体包括以下处理过程:
(3.1)通过未标记的数据学习语言表达,并使用少量经过标记的训练数据执行多种监督任务建立预训练机器学习模型;
(3.2)通过3D声纹建模对声纹建模;
(3.3)对采集的语音使用语音质量检测引擎进行质量检测,对噪音环境及人声能量过少的语音使用语音增强引擎进行语音质量处理;
(3.4)通过预训练机器学习模型判断处理后的语音内容与随机显示的文字语义是否一致,如果是,则确认处理后的语音与注册的语音声纹的一致性并返回结果;否则,返回识别身份失败。
9.根据权利要求7所述的实现抗疫情非接触多维身份快速识别的系统,其特征在于,所述的步骤(4.1)的光照归一化采用迁移学习算法,通过大量多种光线下正常人脸进行数据集训练。
10.根据权利要求7所述的实现抗疫情非接触多维身份快速识别的系统,其特征在于,所述的步骤(2)的构造的训练集分为眼睛类、鼻子类、嘴巴类和背景类,所述的背景类指人脸关键区域外的其他部分。
CN202010737120.5A 2020-07-28 2020-07-28 实现抗疫情非接触多维身份快速识别的方法及其系统 Pending CN111862413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010737120.5A CN111862413A (zh) 2020-07-28 2020-07-28 实现抗疫情非接触多维身份快速识别的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010737120.5A CN111862413A (zh) 2020-07-28 2020-07-28 实现抗疫情非接触多维身份快速识别的方法及其系统

Publications (1)

Publication Number Publication Date
CN111862413A true CN111862413A (zh) 2020-10-30

Family

ID=72948248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010737120.5A Pending CN111862413A (zh) 2020-07-28 2020-07-28 实现抗疫情非接触多维身份快速识别的方法及其系统

Country Status (1)

Country Link
CN (1) CN111862413A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381987A (zh) * 2020-11-10 2021-02-19 中国人民解放军国防科技大学 基于人脸识别的智能门禁防疫系统
CN112598840A (zh) * 2020-12-16 2021-04-02 广州云从鼎望科技有限公司 基于人脸识别和语音交互的通行设备控制方法、装置、机器可读介质及设备
CN112700576A (zh) * 2020-12-29 2021-04-23 成都启源西普科技有限公司 基于图像与文字的多模态识别算法
CN112800885A (zh) * 2021-01-16 2021-05-14 南京众鑫云创软件科技有限公司 一种基于大数据的数据处理系统及方法
CN116092228A (zh) * 2023-01-05 2023-05-09 厦门科拓通讯技术股份有限公司 针对面部遮挡的门禁处理方法、装置、门禁设备和介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021790A (zh) * 2013-02-28 2014-09-03 联想(北京)有限公司 声控解锁方法以及电子设备
CN104680375A (zh) * 2015-02-28 2015-06-03 优化科技(苏州)有限公司 电子支付真人活体身份验证系统
CN104834849A (zh) * 2015-04-14 2015-08-12 时代亿宝(北京)科技有限公司 基于声纹识别和人脸识别的双因素身份认证方法及系统
CN105844758A (zh) * 2016-05-20 2016-08-10 广州邻礼信息科技有限公司 一种物业常驻用户及访客出入管理的系统及实现方法
CN106096564A (zh) * 2016-06-17 2016-11-09 福建网龙计算机网络信息技术有限公司 一种数学自动批改方法
CN206224639U (zh) * 2016-11-14 2017-06-06 华南理工大学 一种具有遮挡检测功能的人脸识别门禁系统
CN108898705A (zh) * 2018-06-14 2018-11-27 贵州大学 一种具有权限分享的家庭门禁系统及其授权方法
CN109410974A (zh) * 2018-10-23 2019-03-01 百度在线网络技术(北京)有限公司 语音增强方法、装置、设备及存储介质
CN110223429A (zh) * 2019-06-19 2019-09-10 上海应用技术大学 语音门禁系统
CN110491004A (zh) * 2019-08-14 2019-11-22 金陵科技学院 一种居民社区人员安全管理系统及方法
CN110516426A (zh) * 2019-08-21 2019-11-29 广州国音智能科技有限公司 身份认证方法、认证终端、装置及可读存储介质
CN110739002A (zh) * 2019-10-16 2020-01-31 中山大学 基于生成对抗网络的复数域语音增强方法、系统及介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021790A (zh) * 2013-02-28 2014-09-03 联想(北京)有限公司 声控解锁方法以及电子设备
CN104680375A (zh) * 2015-02-28 2015-06-03 优化科技(苏州)有限公司 电子支付真人活体身份验证系统
CN104834849A (zh) * 2015-04-14 2015-08-12 时代亿宝(北京)科技有限公司 基于声纹识别和人脸识别的双因素身份认证方法及系统
CN105844758A (zh) * 2016-05-20 2016-08-10 广州邻礼信息科技有限公司 一种物业常驻用户及访客出入管理的系统及实现方法
CN106096564A (zh) * 2016-06-17 2016-11-09 福建网龙计算机网络信息技术有限公司 一种数学自动批改方法
CN206224639U (zh) * 2016-11-14 2017-06-06 华南理工大学 一种具有遮挡检测功能的人脸识别门禁系统
CN108898705A (zh) * 2018-06-14 2018-11-27 贵州大学 一种具有权限分享的家庭门禁系统及其授权方法
CN109410974A (zh) * 2018-10-23 2019-03-01 百度在线网络技术(北京)有限公司 语音增强方法、装置、设备及存储介质
CN110223429A (zh) * 2019-06-19 2019-09-10 上海应用技术大学 语音门禁系统
CN110491004A (zh) * 2019-08-14 2019-11-22 金陵科技学院 一种居民社区人员安全管理系统及方法
CN110516426A (zh) * 2019-08-21 2019-11-29 广州国音智能科技有限公司 身份认证方法、认证终端、装置及可读存储介质
CN110739002A (zh) * 2019-10-16 2020-01-31 中山大学 基于生成对抗网络的复数域语音增强方法、系统及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周孝佳,朱允斌,张跃: ""基于分块的有遮挡人脸识别算法"", 《计算机应用于软件》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381987A (zh) * 2020-11-10 2021-02-19 中国人民解放军国防科技大学 基于人脸识别的智能门禁防疫系统
CN112598840A (zh) * 2020-12-16 2021-04-02 广州云从鼎望科技有限公司 基于人脸识别和语音交互的通行设备控制方法、装置、机器可读介质及设备
CN112700576A (zh) * 2020-12-29 2021-04-23 成都启源西普科技有限公司 基于图像与文字的多模态识别算法
CN112700576B (zh) * 2020-12-29 2021-08-03 成都启源西普科技有限公司 基于图像与文字的多模态识别算法
CN112800885A (zh) * 2021-01-16 2021-05-14 南京众鑫云创软件科技有限公司 一种基于大数据的数据处理系统及方法
CN112800885B (zh) * 2021-01-16 2023-09-26 南京众鑫云创软件科技有限公司 一种基于大数据的数据处理系统及方法
CN116092228A (zh) * 2023-01-05 2023-05-09 厦门科拓通讯技术股份有限公司 针对面部遮挡的门禁处理方法、装置、门禁设备和介质
CN116092228B (zh) * 2023-01-05 2024-05-14 厦门科拓通讯技术股份有限公司 针对面部遮挡的门禁处理方法、装置、门禁设备和介质

Similar Documents

Publication Publication Date Title
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
CN111862413A (zh) 实现抗疫情非接触多维身份快速识别的方法及其系统
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
CN110569720B (zh) 一种基于音视频处理系统的音视频智能识别处理方法
US11263435B2 (en) Method for recognizing face from monitoring video data
CN102945366B (zh) 一种人脸识别的方法及装置
CN111881726B (zh) 一种活体检测方法、装置及存储介质
CN107392112A (zh) 一种人脸表情识别方法及其应用的智能锁系统
CN111861240A (zh) 可疑用户识别方法、装置、设备及可读存储介质
KR102554391B1 (ko) 홍채 인식 기반 사용자 인증 장치 및 방법
CN111460962A (zh) 一种口罩人脸识别方法及系统
CN110287813A (zh) 身份识别方法及系统
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
CN111127830A (zh) 基于监控设备的报警方法、报警系统和可读存储介质
CN110705454A (zh) 一种具有活体检测功能的人脸识别方法
CN111476222A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN110069965A (zh) 一种机器人身份识别方法
CN112381987A (zh) 基于人脸识别的智能门禁防疫系统
CN114218543A (zh) 一种基于多场景表情识别的加密解锁系统及方法
RU2381553C1 (ru) Способ и система для распознавания лица с учетом списка людей, не подлежащих проверке
CN107862298B (zh) 一种基于红外摄像装置下眨眼的活体检测方法
RU2316051C2 (ru) Способ и система автоматической проверки присутствия лица живого человека в биометрических системах безопасности
Naveen et al. Face recognition and authentication using LBP and BSIF mask detection and elimination
CN112749605A (zh) 身份识别方法、系统和设备
CN113011544B (zh) 基于二维码的人脸生物信息识别方法、系统、终端、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication