CN118230395A - 一种基于InsightFace与LIS文件管理的人脸识别方法及装置 - Google Patents

一种基于InsightFace与LIS文件管理的人脸识别方法及装置 Download PDF

Info

Publication number
CN118230395A
CN118230395A CN202410585413.4A CN202410585413A CN118230395A CN 118230395 A CN118230395 A CN 118230395A CN 202410585413 A CN202410585413 A CN 202410585413A CN 118230395 A CN118230395 A CN 118230395A
Authority
CN
China
Prior art keywords
face
image
features
face image
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410585413.4A
Other languages
English (en)
Inventor
刘振华
苏立伟
谭火超
康峰
苏凯
陈海燕
覃浩
杨秋勇
李兰芳
陈锐忠
杨英勃
曾晓锋
彭若馨
王帅
肖卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Customer Service Center of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Customer Service Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Customer Service Center of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202410585413.4A priority Critical patent/CN118230395A/zh
Publication of CN118230395A publication Critical patent/CN118230395A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于InsightFace与LIS文件管理的人脸识别方法及装置,包括:实时采集初始的第一人脸图像,并定位第一人脸图像的多个人脸部位特征,当根据多个人脸部位特征进行人脸嵌入时,将多个人脸部位特征分别转化为多个第一高维人脸嵌入向量,得到嵌入后的第二人脸图像;获取第二人脸图像在LIS颜色空间的颜色特征,并根据颜色特征对人脸区域和非人脸区域进行分类,得到包含人脸区域在第二人脸图像上的位置数据;从第二人脸图像中获取位置数据对应的第二高维人脸嵌入向量,并对第二高维人脸嵌入向量提取到低维人脸特征,根据低维人脸特征进行人脸识别;能够提高人脸识别的精确度。

Description

一种基于InsightFace与LIS文件管理的人脸识别方法及装置
技术领域
本发明涉及人脸识别技术领域,尤其涉及一种基于InsightFace与LIS文件管理的人脸识别方法及装置。
背景技术
人脸识别算法用于识别和验证个体的身份或分析人脸图像特征的算法,它广泛应用于现实生活中各种途径,例如:门禁控制;手机解锁;城市监控和考试监控领域都有所运用。
现有人脸识别的相关技术要么没有考虑到通过多个训练样本对人脸图像的局部特征进行提取,要么没有考虑到人脸嵌入时会受到外界背景干扰,会使人脸图像不够清晰,导致人脸识别精确度不高。
发明内容
本发明的目的是针对上述现有技术的不足,提出一种基于InsightFace与LIS文件管理的人脸识别方法及装置,能够提高人脸识别的精确度。
第一方面,本发明提供了一种基于InsightFace与LIS文件管理的人脸识别方法,包括:
实时采集初始的第一人脸图像,并定位所述第一人脸图像的多个人脸部位特征,当根据所述多个人脸部位特征进行人脸嵌入时,将所述多个人脸部位特征分别转化为多个第一高维人脸嵌入向量,得到嵌入后的第二人脸图像;
获取所述第二人脸图像在LIS颜色空间的颜色特征,并根据所述颜色特征对人脸区域和非人脸区域进行分类,得到包含所述人脸区域在所述第二人脸图像上的位置数据;其中,所述LIS颜色空间包括:亮度、信息内容和饱和度;
从所述第二人脸图像中获取所述位置数据对应的第二高维人脸嵌入向量,并对所述第二高维人脸嵌入向量提取到低维人脸特征,根据所述低维人脸特征进行人脸识别。
本发明采用对人脸图像进行人脸部位特征定位,能够单独提取到人脸上每个器官的特征,实现对人脸图像的局部特征进行提取,并对得到的人脸部位特征转化为人脸嵌入向量,便于对人脸图像进行比较和识别匹配,还采用LIS颜色空间对人脸区域和非人脸区域进行分类,便于根据得到的位置数据定位到在人脸图像中的高维人脸嵌入向量,能够保证获取到精确的人脸区域内的高维人脸嵌入向量,而忽略非人脸区域的干扰,从而提高图像检测的准确性和可靠性;本发明还对第二高维人脸嵌入向量提取低维人脸特征,以使降低人脸特征的维度,从而加快人脸识别效率。
结合第一方面,在一些实施例中,所述获取所述第二人脸图像在LIS颜色空间的颜色特征,包括:
获取所述第二人脸图像在亮度、信息和饱和度的颜色表示,并根据所述颜色表示提取颜色特征;其中,所述颜色特征包括:面色、肤质和毛发颜色。
本发明采用LIS颜色空间对人脸图像在亮度(Light)、信息内容(Informationcontent)和饱和度(Saturation)的LIS颜色空间对人脸图像进行颜色特征提取,能够获取到人物的面色、肤质和毛发颜色等的颜色特征表示,从而便于区分面部区域和非面部区域,避免非面部区域对人脸识别的干扰,从而提高图像检测的准确性和可靠性。
结合第一方面和上述实施例,所述对所述第二高维人脸嵌入向量提取到低维人脸特征,包括:
对所述第二高维人脸嵌入向量分别进行低秩分解和加权稀疏表示,得到将所述第二高维人脸嵌入向量转换为高数据含量的低维人脸特征。
本发明采用对高维人脸嵌入向量进行低秩分解,将每张图像表示为低秩矩阵的近似,以提取到重要信息特征而忽略其他干扰信息特征,并结合加权稀疏表示,对重要信息特征进行加权,对重要的人脸部位特征进行增强,得到高数据含量的低维人脸特征,从而能够降低干扰,增强有用的特征,并以低维度的形式表示有用特征,不仅降低了背景干扰,还缩小了模型对数据量的需求,从而提高对人脸识别的精确度的同时提高识别效率。
结合第一方面和上述实施例,所述对所述第二高维人脸嵌入向量进行低秩分解,包括:
将所述第二高维人脸嵌入向量进行低秩分解,将得到的低维度的第一低秩分解结果作为锚定样本,并获取与所述锚定样本属于同一人像的正例样本和不同于所述锚定样本的负例样本;
根据所述锚定样本、所述正例样本和所述负例样本建立的三元损失函数,获取到具有判别性的第二低秩分解结果,以使根据所述第二低秩分解结果得到低维人脸特征。
本发明采用将高维人脸嵌入向量表示为低秩矩阵的近似后,引入了判别性损失函数,以确保低秩分解后的特征在人脸识别任务中具有良好的判别性,从而提高保留有用信息特征并去除干扰信息特征的精确度,并解决人脸识别时会因光照变化、遮挡和面部污垢的因素造成的面部识别不准确的问题,进而提高对人脸识别的精确度。
结合第一方面和上述实施例,所述根据所述第二低秩分解结果得到低维人脸特征,包括:
根据所述第二低秩分解结果在所述第二人脸图像中对应基向量,引入权重对人脸部位特征进行增强,得到高数据含量的低维人脸特征;其中,所述第二人脸图像是由一组基向量的线性组合表示的。
结合第一方面和上述实施例,所述根据所述低维人脸特征进行人脸识别,包括:
将所述低维人脸特征与已存储的第三人脸图像的人脸特征进行匹配,得到身份验证结果;
根据对所述第一人脸图像采集的透明度画面的光谱信息,对所述第一人脸图像进行人脸真伪检验,得到人脸真伪结果;
根据所述身份验证结果和所述人脸真伪结果,得到所述第一人脸图像的识别结果,并将所述识别结果存入区块链中。
本发明采用同时对人脸部位特征进行提取的同时判断人脸图像真伪,从而提高人脸识别的判别精度,避免假冒和伪冒人像成功通过人脸识别,进而提高对人脸识别的精确度。
结合第一方面和上述实施例,所述根据对所述第一人脸图像采集的透明度画面的光谱信息,对所述第一人脸图像进行人脸真伪检验,得到人脸真伪结果,包括:
根据对所述第一人脸图像采集的透明度画面的红外光谱,判别所述第一人脸图像中是否存在与真实皮肤对红外辐射的反射或吸收不同的面具材料;
或者,根据对所述第一人脸图像采集的透明度画面的紫外光谱,判别所述第一人脸图像中是否存在对紫外光的反射或吸收异常的面具材料;
或者,根据对所述第一人脸图像采集的透明度画面的多波长融合的融合光谱,判别所述第一人脸图像中是否存在对融合光的反射或吸收异常的面具材料;
若在所述第一人脸图像中存在所述面具材料,则人脸真伪结果为假;若在所述第一人脸图像中不存在所述面具材料,则所述人脸真伪结果为真;
其中,所述光谱信息包括:所述红外光谱、所述紫外光谱和所述融合光谱。
本发明采用红外光谱、紫外光谱或融合光谱对人脸真伪进行识别,能够对使用面具、照片或视频等欺骗方式进行检测,从而能够有效提高人脸识别的判别精度,避免假冒和伪冒人像成功通过人脸识别的情况,导致非法访问,进而提高对人脸识别的精确度和可靠性。
结合第一方面和上述实施例,所述实时采集初始的第一人脸图像,包括:
采集人脸图像的多种模式画面,并对所述多种模式画面进行预处理,将得到的预处理图像保存至LIS文件管理中,以使从所述LIS文件管理中读取图像,得到第一人脸图像;其中,所述多种模式画面包括:彩色画面、灰度画面和透明度画面。
本发明采用图书馆与信息科学(Library and Information Science, LIS)文件管理,能够对人脸图像进行统一处理,从而保障人脸识别图像的来源统一,便于进行人脸识别。
结合第一方面和上述实施例,所述当根据所述多个人脸部位特征进行人脸嵌入时,将所述多个人脸部位特征分别转化为多个第一高维人脸嵌入向量,得到嵌入后的第二人脸图像,包括:
根据基于训练好的第一InsightFace人脸识别算法,并结合由卷积注意力模块与深度级可分离卷积组成的网络结构的残差人脸嵌入网络,将局部的多个人脸部位特征转化为特征增强的第一高维人脸嵌入向量,得到嵌入后的第二人脸图像。
第二方面,本发明提供了一种基于InsightFace与LIS文件管理的人脸识别装置,包括:嵌入模块、人脸区域分类模块和识别模块;其中,
所述嵌入模块,用于实时采集初始的第一人脸图像,并定位所述第一人脸图像的多个人脸部位特征,当根据所述多个人脸部位特征进行人脸嵌入时,将所述多个人脸部位特征分别转化为多个第一高维人脸嵌入向量,得到嵌入后的第二人脸图像;
所述人脸区域分类模块,用于获取所述第二人脸图像在LIS颜色空间的颜色特征,并根据所述颜色特征对人脸区域和非人脸区域进行分类,得到包含所述人脸区域在所述第二人脸图像上的位置数据;
所述识别模块,用于从所述第二人脸图像中获取所述位置数据对应的第二高维人脸嵌入向量,并对所述第二高维人脸嵌入向量提取到低维人脸特征,根据所述低维人脸特征进行人脸识别。
附图说明
图1是本申请实施例提供的一种基于InsightFace与LIS文件管理的人脸识别方法的流程示意图;
图2是本申请实施例提供的完整的一种基于InsightFace与LIS文件管理的人脸识别方法的流程示意图;
图3是本申请实施例提供的人脸图像采集的流程示意图;
图4是本申请实施例提供的人脸部位特征提取的流程示意图;
图5是本申请实施例提供的局部特征提取的人脸部位的示意图;
图6是本申请实施例提供的人脸嵌入模型的示意图;
图7是本申请实施例提供的人脸识别的流程示意图;
图8是本申请实施例提供的人脸识别的结构示意图;
图9是本申请实施例提供的一种基于InsightFace与LIS文件管理的人脸识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
参见图1,是本申请实施例提供的一种基于InsightFace与LIS文件管理的人脸识别方法的流程示意图,包括步骤S11~S13,具体为:
步骤S11、实时采集初始的第一人脸图像,并定位所述第一人脸图像的多个人脸部位特征,当根据所述多个人脸部位特征进行人脸嵌入时,将所述多个人脸部位特征分别转化为多个第一高维人脸嵌入向量,得到嵌入后的第二人脸图像。
在一些实施例中,实时采集初始的第一人脸图像,包括:采集人脸图像的多种模式画面,并对所述多种模式画面进行预处理,将得到的预处理图像保存至LIS文件管理中,以使从所述LIS文件管理中读取图像,得到第一人脸图像;其中,所述多种模式画面包括:彩色画面、灰度画面和透明度画面。
值得说明的是,第一人脸图像是从LIS文件管理中读取的人脸图像,第二人脸图像是对人脸进行嵌入后得到的人脸图像。
值得说明的是,图书馆与信息科学(Library and Information Science, LIS)文件管理用于保存采集后的人脸图像,以便后续处理或分析中,对采集后的人脸图像进行处理方便后期与预先存储的人脸图像进行比对。
在一些实施例中,对所述多种模式画面进行预处理,包括:去噪、对比度增强或图像尺寸标准化一些处理中至少一种,以提升后续人脸图像对比效果。
在一些实施例中,使用终端配置摄像头进行人脸图像采集,具体包括:先将终端配置的摄像头的分辨率调整到1080p(1920x1080像素)并进行手动对焦直至使摄像亮度调整到80%,并且对比度在60%时,以确保提高摄像头采集的人脸图像质量,再通过开源计算机视觉库(OpenSourceComputerVisionLibrary,OpenCV)和Python编程语言的cv2库对摄像头进行编程读取同一种图像的彩色画面、灰度画面和透明度画面这三种图像背景显示后,得出通过三种不同通道的图像更加清晰的识别图像三种不同的显示效果,从而更加准确的判断出人脸图像的真实性,随后再使编程接口访问摄像头对人脸图像进行采集,随后再将采集到的人脸图像保存到LIS文件管理中,以便后续比对、分析和验证。
在一些实施例中,cv2库的具体参数对包括:cv2库、cv2.imread函数和返回值;其中,cv2库,是开源计算机视觉库的Python编程语言绑定,使用cv2库读取、显示和保存图像;cv2.imread函数,用于读取图像文件;返回值,返回NumPy数组表示的多种模式画面;其中,多种模式画面包括:彩色画面、灰度画面和透明度画面;其中,NumPy是一个Python工具包。
在一些实施例中,对所述多种模式画面进行预处理,并将预处理图像绑定到数据控中的坐席账号,确保每个人脸有一个唯一的识别账号,从而提高人脸算法的安全性。
在一些实施例中,对所述多种模式画面进行预处理,并将预处理图像的特征绑定到数据控中的坐席账号。
值得说明的是,当得到人脸的识别结果时,将通过识别账号将识别结果反馈到坐席账号上,以标识坐席账号对应的人脸识别是否成功和身份验证是否成功。
在一些实施例中,定位所述第一人脸图像的多个人脸部位特征,包括:使用哈尔(Haar)级联分类器或人脸关键点检测器检测并定位集中到采集后的人脸图像的局部部位(即人脸部位),实现对局部部位的检测和定位采集。
值得说明的是,Haar级联分类器是基于Haar-like特征,通过积分图加速运算结合Adaboost训练的强分类器级联分类器。构建Haar-like特征包括:将图像中划定的区域用相同像素个数的两个子区域进行表示,并为两个子区域给予不同的权重,分别统计划定区域中两个子区域内的带权重像素总和,并以两个子区域内的带权重像素总和的差值作为Haar-like特征,通过Haar-like特征的值可以反映该区域的颜色变化情况。
在一些实施例中,局部部位的检测和定位采集,包括:在人脸图像中定位到的局部特征区域,局部特征区域包括:眼睛、鼻子、嘴巴、脸型、下巴或耳朵中的至少一种,针对每个局部特征区域,使用特征提取方法进行提取。
在一些实施例中,特征提取法包括:使用相似性度量方法将每个局部特征通过欧氏距离相似性度量方法来度量两个特征向量之间的距离,在人脸识别中用于比较特征向量之间的相似性;其中,在训练时,训练样本也通过相同的方法为对应局部特征比较相似性。
在一些实施例中,通过欧氏距离相似性度量方法来度量两个特征向量之间的距离表示为:
其中,表示特征/>和特征/>之间的欧氏距离,/>是特征/>的特征值,是特征/>的特征值。
在一些实施例中,通过欧氏距离相似性度量方法的计算公式,反复计算两个特征向量之间的距离,并且经过三次以上的计算距离进行对比,使提取的局部特征与采集的人脸图像相似度提升,相似度越高的局部特征表示它们距离越接近,从而方便后期辅助人脸识别,提高了人脸识别的可靠性和准确性。
在一些实施例中,在训练过程中,采用数据增强、采集多种数据类型、构造数据或迁移学习中的至少一种来增加训练样本数量。增加训练样本数量通常用于提高人脸识别的性能,因为更多的样本帮助模型更好地学习人脸的变化和特征。
在一些实施例中,数据增强包括:数据增强在人脸识别中,应用旋转、翻转、缩放或平移等中的至少一种进行变换,对训练集进行扩充,这有助于模型对不同姿态、光照条件和表情的适应性。
在一些实施例中,采集更多数据包括:采集更多的人脸图像数据,这通过拍摄更多不同角度、不同光照条件和不同背景下的照片多维度多空间的方式来实现。
在一些实施例中,构造数据包括:使用计算机图形技术生成合成的人脸图像,这些构造出的人脸图像包括:对表情、年龄和性别的多种组合,合成数据的好处是精确地控制变化,并生成大量样本。
在一些实施例中,迁移学习包括:利用已经在其他任务上训练过的模型(如预训练的卷积神经网络)来进行迁移学习,有效地扩充训练数据,通过微调预训练模型,使其适应人脸识别任务,加速训练过程并提高性能。
在一些实施例中,当根据所述多个人脸部位特征进行人脸嵌入时,将所述多个人脸部位特征分别转化为多个第一高维人脸嵌入向量,得到嵌入后的第二人脸图像,包括:根据基于训练好的第一InsightFace人脸识别算法,并结合由卷积注意力模块与深度级可分离卷积组成的网络结构的残差人脸嵌入网络,将局部的多个人脸部位特征转化为特征增强的第一高维人脸嵌入向量,得到嵌入后的第二人脸图像。
值得说明的是,InsightFace人脸识别算法是开源的基于Pytorch和MXNet的2D/3D人脸分析工具,能够对人脸进行识别、检测和对齐;CBAM(Convolutional Block AttentionModule,卷积注意力机制模块)是一种用于前馈卷积神经网络的注意力模块,是结合了空间(Spatial)和通道(Channel)的注意力机制模块,当给定一个特征图,CBAM会沿着两个独立的维度(空间和通道)依次推断注意力图,然后将注意力图与输入特征图相乘,得到最终的特征以进行自适应特征优化;残差人脸嵌入网络是基于CBAM-MobileNet网络结构的残差神经网络(ResNet)的人脸嵌入网络。第一高维人脸嵌入向量是人脸部位特征初始的高维人脸嵌入向量,第二高维人脸嵌入向量是第一高维人脸嵌入向量人脸部位特征经过训练好的第一InsightFace人脸识别算法,并结合由卷积注意力模块与深度级可分离卷积组成的网络结构的残差人脸嵌入网络转换得到的。第一InsightFace人脸识别算法是初始的InsightFace人脸识别算法经过训练后得到的损失函数收敛的InsightFace人脸识别算法。局部的多个人脸部位特征包括:将人脸划分为局部的多个部位后,每个部位所对应的特征。
在一些实施例中,使用基于MobileNetV2网络结构的InsightFace人脸识别算法,结合由卷积注意力模块与深度级可分离卷积组成的网络结构的残差人脸嵌入网络,将局部特征转化为人脸嵌入向量,这一步骤的目标是将人脸信息编码成一个高维向量,以便进行比较和匹配。
在一些实施例中,MobileNetV2的网络结构包括:深度可分离卷积、扩张卷积和残差连接技术,以减少参数量和计算复杂度,同时保持模型性能;其中MobileNetV2体现在:轻量级结构;深度可分离卷积;扩张卷积;残差连接。
在一些实施例中,通过CBAM-MobileNet将CBAM模块集成到MobileNet的深度可分离卷积中,以增强对图像特征的关注度。
值得说明的是,MobileNetV2已经具有深度可分离卷积和轻量级特性,适合移动设备上的人脸嵌入任务,CBAM模块通常包括通道注意力和空间注意力。
在一些实施例中,基于MobileNetV2网络结构的InsightFace人脸识别算法的网络结果包括:输入、卷积层、CBAM模块、全局池化层、密集层和CBAM-残差人脸嵌入网络依次连接;其中,卷积层是MobileNetV2的深度可分离卷积层;CBAM模块包括:通道注意力和空间注意力,用于增强特征图的表征能力;全局池化层通常是全局平均池化,将特征图降维为一维向量;密集层用于产生人脸嵌入向量;再用CBAM-残差人脸嵌入网络输入,最后输出得到人脸嵌入高维向量,便于对人脸图像进行比较和识别匹配。
步骤S12、获取所述第二人脸图像在LIS颜色空间的颜色特征,并根据所述颜色特征对人脸区域和非人脸区域进行分类,得到包含所述人脸区域在所述第二人脸图像上的位置数据;其中,所述LIS颜色空间包括:亮度、信息内容和饱和度。
在一些实施例中,获取所述第二人脸图像在亮度、信息内容和饱和度的颜色表示,并根据所述颜色表示提取颜色特征;其中,所述颜色特征包括:面色、肤质和毛发颜色。
值得说明的是,LIS颜色空间是一种基于亮度(Light)、信息内容(Informationcontent)和饱和度(Saturation)的颜色表示方式,确保提高人脸区域的对比度和辨别度,并提取出颜色特征,这些颜色特征包括:面色、肤质和毛发颜色,用于区分人脸和非人脸区域。对于每个图像,将其转化为LIS颜色空间。信息内容是每一层里面所有像素所代表的内容,并非嵌入表示,比如一张照片里面的“信息”可以代表人脸、工作环境或者动物这些内容。
在一些实施例中,将得到的颜色特征作为改进的Adaboost分类器的输入对人脸区域和非人脸区域进行分类;其中,改进的Adaboost算法根据颜色特征的重要性进行加权,以提高分类器的性能。
在一些实施例中,改进的Adaboost分类器通过滑动窗口检测进行加权。
在一些实施例中,滑动窗口检测采用非极大值抑制的方式。
在一些实施例中,将提取出的颜色特征输入到Adaboost分类器中进行分类,根据分类结果判断是否为面部,当分类结果为面部,则根据分类和检测结果,将面部的位置数据输出,根据所述位置数据对人脸进行对齐,以确保它们在尺寸、角度和位置上都一致以便做下一步的面部检测;其中,位置数据包括:位置和大小信息。
值得说明的是,使用改进的Adaboost算法和基于LIS颜色空间的方法进行面部检测步骤旨在准确地定位人脸在图像中的位置,一旦检测到人脸,则对人脸进行对齐,以确保它们在尺寸、角度和位置上都一致,这有助于提高图像检测的准确性和可靠性。
步骤S13、从所述第二人脸图像中获取所述位置数据对应的第二高维人脸嵌入向量,并对所述第二高维人脸嵌入向量提取到低维人脸特征,根据所述低维人脸特征进行人脸识别。
在一些实施例中,对所述第二高维人脸嵌入向量提取到低维人脸特征,包括:对所述第二高维人脸嵌入向量分别进行低秩分解和加权稀疏表示,得到将所述第二高维人脸嵌入向量转换为高数据含量的低维人脸特征。
在一些实施例中,对所述第二高维人脸嵌入向量进行低秩分解,包括:将所述第二高维人脸嵌入向量进行低秩分解,将得到的低维度的第一低秩分解结果作为锚定样本,并获取与所述锚定样本属于同一人像的正例样本和不同于所述锚定样本的负例样本;根据所述锚定样本、所述正例样本和所述负例样本建立的三元损失函数,获取到具有判别性的第二低秩分解结果,以使根据所述第二低秩分解结果得到低维人脸特征。
值得说明的是,第一低秩分解结果是第二高维人脸嵌入向量经过低秩分解后得到的地址分解结果,是获取低维人脸特征的中间结果,第二低秩分解结果是第一低秩分解结果经过三元损失函数处理,获取到具有判别性的低秩分解结果。
值得说明的是,使用基于判别性低秩分解与加权稀疏表示的面部识别算法,同时利用对嵌入向量进行处理,以实现对不同人脸的识别,这个算法会考虑光照变化、遮挡和面部污垢的因素,以提高面部识别的准确性,具体如下所示:判别性低秩分解是对输入数据(包括训练集和测试集)对应的人脸图像进行低秩分解,将每张人脸图像表示为低秩矩阵的近似,再引入判别性损失函数,以确保低秩分解后的特征在人脸识别任务中具有良好的判别性。
在一些实施例中,判别性损失函数表示为:
其中,是锚定(Anchor)样本,即人脸图像的嵌入表示;/>是正例(Positive)样本,与锚定样本属于同一人,具有相似的嵌入;/>是负例(Negative)样本,与锚定样本不同,具有不相似的嵌入;/>是损失函数;/>是一个非负的超参数;/>(/>)表示嵌入函数,将输入图像映射为嵌入向量;/>表示取欧氏范数(L2范数)。
值得说明的是,是锚定样本,即人脸图像的嵌入表示;/>是正例样本,是与/>属于同一人脸图像的相似嵌入表示;/>是负例样本,是与/>不同的不相似嵌入表示;/>是一个超参数,通常称为“边界”,用于控制正例样本和负例样本之间的间隔,它是一个非负数。
在一些实施例中,根据所述第二低秩分解结果得到低维人脸特征,包括:根据所述第二低秩分解结果在所述第二人脸图像中对应基向量,引入权重对人脸部位特征进行增强,得到高数据含量的低维人脸特征;其中,所述第二人脸图像是由一组基向量的线性组合表示的。
在一些实施例中,加权稀疏表示为输入数据对应的人脸图像表示为一组基向量的线性组合,其中大多数系数是零;这种表示捕获图像的重要结构信息,再为每个基向量引入权重,以便更加关注对人脸识别任务有意义的特征。
在一些实施例中,在训练时,使用经过判别性低秩分解和加权稀疏表示处理后的特征作为输入,训练一个分类器用于人脸识别;在测试时,对于新的测试图像(例如第一人脸图像),将其通过相同的处理流程(判别性低秩分解和加权稀疏表示)得到特征,然后使用训练好的分类器进行识别。
值得说明的是,上述算法结合了低秩分解的优点:降低特征维度,保留主要信息和稀疏表示的优点:提取重要的特征信息,以达到更好的人脸识别性能。
在一些实施例中,根据所述低维人脸特征进行人脸识别,包括:将所述低维人脸特征与已存储的第三人脸图像的人脸特征进行匹配,得到身份验证结果;根据对所述第一人脸图像采集的透明度画面的光谱信息,对所述第一人脸图像进行人脸真伪检验,得到人脸真伪结果;根据所述身份验证结果和所述人脸真伪结果,得到所述第一人脸图像的识别结果,并将所述识别结果存入区块链中。
值得说明的是,第三人脸图像是预先存储好的人脸图像。
在一些实施例中,根据对所述第一人脸图像采集的透明度画面的光谱信息,对所述第一人脸图像进行人脸真伪检验,得到人脸真伪结果,包括:根据对所述第一人脸图像采集的透明度画面的红外光谱,判别所述第一人脸图像中是否存在与真实皮肤对红外辐射的反射或吸收不同的面具材料;或者,根据对所述第一人脸图像采集的透明度画面的紫外光谱,判别所述第一人脸图像中是否存在对紫外光的反射或吸收异常的面具材料;或者,根据对所述第一人脸图像采集的透明度画面的多波长融合的融合光谱,判别所述第一人脸图像中是否存在对融合光的反射或吸收异常的面具材料;若在所述第一人脸图像中存在所述面具材料,则人脸真伪结果为假;若在所述第一人脸图像中不存在所述面具材料,则所述人脸真伪结果为真;其中,所述光谱信息包括:所述红外光谱、所述紫外光谱和所述融合光谱。
值得说明的是,使用光谱分析利用不同波长的光谱信息和确保人脸图像和识别结果的安全性和不可篡改性和与区块链技术确保人脸图像和识别结果的安全性和不可篡改性,从而实现不同光谱下的反射特征来区分真实人脸和伪造物的识别,同时将人脸数据和识别记录存储在区块链上,提高数据的可信度和隐私保护,这种算法用于避免人脸识别算法欺骗,使用面具、照片或视频方式进行伪造,以获得非法访问或通过身份验证。
在一些实施例中,光谱分析需要使用特殊的传感器来捕捉不同波长的光谱信息,并且针对不同光谱和波长进行校准和分析,包括:红外光谱、紫外光谱、多波长融合和光谱特征分析。
在一些实施例中,红外光谱包括:红外光谱通常被用来检测面具,因为大多数面具材料对红外辐射的反射或吸收特性与真实皮肤不同,由此辨别是面具还是真实人脸。
在一些实施例中,紫外光谱包括:紫外光谱用于检测特殊的面具材料,因为有一些面具材料对紫外光具有不同的反应,如果面具材料在紫外光下表现出异常的反射或吸收特性,那么这是伪造的迹象。
在一些实施例中,光谱特征分析包括:通过在不同波长下对人脸区域进行光谱分析用于检测面具或其他伪造物,如果特定波长的光谱特征与真实人脸不匹配,发出警示信息。
在一些实施例中,多波长融合包括:结合不同波长的光谱信息,提高对欺骗尝试的检测能力,以便更准确地区分真实人脸和伪造物。
在一些实施例中,区块链技术用于确保人脸图像和识别结果的安全性和不可篡改性,主要通过以下方式实现:分布式存储;加密;智能合约;时间戳;不可篡改性;审计和透明性;以及去中心化。
在一些实施例中,采集彩色画面、灰度画面和透明度画面三种不同通道的图像的光谱信息包括:步骤S211~S214,具体为:
步骤S211、选择特殊的传感器确保设备覆盖所需的波长范围,并且具有高分辨率和动态范围;
步骤S212、校准设备,包括:在进行光谱采集之前,需要对设备进行校准,以确保数据的准确性和一致性;
步骤S213、采集光谱数据,包括:针对不同的画面类型,采用不同的采集方法;对于彩色画面,将其直接拍摄或通过光谱相机进行采集;对于灰度画面,将其转化为黑白图像,然后通过光谱相机进行采集;对于透明度画面,通过光谱扫描仪在不同波长下扫描图像,并记录每个波长下的透过率或反射率;
步骤S214、分析结果,包括:根据处理后的数据,进一步分析不同画面类型的光谱特征和差异,比较不同颜色通道的强度分布、分析灰度图像的亮度分布和评估透明度画面的透过率。
与现有的相关技术相比,本申请实施例的有益效果包括:
本申请实施例通过使用多个训练样本使采集到的人脸图像的局部特征进行提取,同时再利用多个样本数据进行融合,使更多的样本帮助模型更好地学习人脸的变化和局部特征的体现,从而提高人脸识别的准确性。
本申请实施例通过MobileNetV2网络结构的InsightFace人脸识别算法,将带有卷积注意力模块的CBAM-MobileNet网络结构的残差人脸嵌入网络,提高人脸图像的质量,同时运用LIS颜色空间和改进Adaboost的面部检测算法,提升复杂背景下的面部检测效果,从而使人脸嵌入时更加清晰,不会受到外界背景干扰,提高了人脸识别的准确性。
本申请实施例通过判别性低秩分解与加权稀疏表示的面部识别算法,突破解决因光照变化、遮挡、面部污垢等因素造成的面部识别不准确的问题,从而提高了人脸识别算法的可靠性和实用性。
本申请实施例通过使用光谱分析和区块链技术,避免人脸识别算法受到使用面具、照片或视频等欺骗方式进行伪造,来获得非法访问或通过身份验证,从而确保人脸图像和识别结果的安全性和不可篡改性,提高了提高人脸识别的准确性和可靠性。
实施例2
参见图2,是本申请实施例提供的完整的一种基于InsightFace与LIS文件管理的人脸识别方法的流程示意图,包括步骤S201~S207,具体为:
步骤S201、首先需要使用终端配置摄像头进行人脸图像采集;
步骤S202、将采集后的人脸图像进行图像处理,随后再将处理后的图像提取特征值绑定到数据控中的坐席账号,确保每个人脸有一个唯一的识别账号,提高了人脸算法的安全性;其中,将采集后的人脸图像进行图像处理包括:对人脸图像进行预处理;所述预处理包括:去噪、图像尺寸标准化和对比度增强;将采集后的人脸图像进行图像处理还包括:在训练时,对训练样本进行局部特征提取;
步骤S203、人脸嵌入用于提高人脸图像的质量,当有人脸嵌入时,利用卷积注意力模块的CBAM-MobileNet网络结构的残差人脸嵌入网络提高嵌入的人脸图像质量,使其方便对事先注册的人脸图像进行对比判断;
步骤S204、人脸检测对嵌入后的人脸图像进行检测,再利用LIS颜色空间和改进Adaboost的面部检测算法提升复杂背景下的人脸图像的检测效果;
步骤S205、人脸识别通过判别性低秩分解与加权稀疏表示的面部识别算法,突破解决因光照变化、遮挡或面部污垢因素造成的面部识别不准确的问题,再通过光谱分析和区块链技术对避免有人使用面具、照片或视频方式进行伪造而欺骗人脸识别算法,从而提升了人脸识别算法的准确性和鲁棒性;
步骤S206、身份验证用于验证来访人员的身份是否正确,人脸识别后,使嵌入的人脸图像与事先注册的人脸图像进行比对完成后,再对来访人员进行身份验证,判断身份正确或者错误;其中,只有识别结果和人脸真伪结果均为真时,识别出人脸合法,身份正确;否则,身份错误;
步骤S207、结果输出是对身份验证出的结果进行显示,使判断后的结果进行输出,再将结果进行显示,根据身份正确或错误做出可显示的响应。
进一步,步骤S206中,提取的人脸特征与事先注册的特征进行比对,以验证用户的身份,使人脸识别算法访问控制人员的身份核验,再根据身份验证的结果,输出相应的响应,如果找到了匹配的特征且人脸真伪结果为真,则识别到该人脸的身份,并予以通过;否则,拒绝访问,显示验证失败。
本申请实施例采用对人脸图像进行人脸部位特征定位,能够单独提取到人脸上每个器官的特征,实现对人脸图像的局部特征进行提取,并对得到的人脸部位特征转化为人脸嵌入向量,便于对人脸图像进行比较和识别匹配,还采用LIS颜色空间对人脸区域和非人脸区域进行分类,便于根据得到的位置数据定位到在人脸图像中的高维人脸嵌入向量,能够保证获取到精确的人脸区域内的高维人脸嵌入向量,而忽略非人脸区域的干扰,从而提高图像检测的准确性和可靠性;本发明还对第二高维人脸嵌入向量提取低维人脸特征,以使降低人脸特征的维度,从而加快人脸识别效率。
实施例3
参见图3,是本申请实施例提供的人脸图像采集的流程示意图。图中,人脸图像采集包括摄像头编程接口、设置参数和保存图像,编程接口利用OpenCV、Python的cv2库来访问摄像头并进行图像采集,设置参数用于调整摄像头分辨率、对焦、亮度和对比度的各项参数,以获得更高的图像质量,保存图像用于将采集到的人脸图像进行保存到LIS文件管理中。
先将终端配置的摄像头的分辨率调整到1080p(1920x1080像素)并进行手动对焦直至使摄像亮度调整到80%,并且对比度在60%时,以确保提高摄像头采集的人脸图像质量,再通过OpenCV、Python的cv2库对摄像头进行编程读取同一种图像的彩色画面、灰度画面和透明度画面这三种图像背景显示后,得出通过三种不同通道的图像更加清晰的识别图像三种不同的显示效果,从而更加准确的判断出人脸图像的真实性,随后再使编程接口访问摄像头对人脸图像进行采集,随后再将采集到的人脸图像保存到LIS文件管理中,以便后续比对、分析和验证。
cv2库的具体参数对包括:
cv2库,用于OpenCV的Python绑定,使用cv2库读取、显示和保存图像;
cv2.imread函数,用于读取图像文件;
返回值,用于返回NumPy数组表示的图像;包括彩色画面、灰度画面和透明度画面。
使OpenCV、Python的cv2库对摄像头分析读取从彩色和灰度再到透明度通道图像的三种显示,cv2.imread函数的具体参数包括:cv2.imread(filename, flags)函数;其中,filename是要读取的图像文件的路径和名称,是相对路径或绝对路径。flags是一个可选参数,用于指定图像读取的方式。
在一些实施例中,常用的flags参数取值包括:cv2.IMREAD_COLOR、cv2.IMREAD_GRAYSCALE、cv2.IMREAD_UNCHANGED和cv2.imread函数;其中,cv2.IMREAD_COLOR:默认值,以彩色模式读取图像,忽略图像的透明度通道;v2.IMREAD_GRAYSCALE:以灰度模式读取图像,将图像转换为单通道灰度图像;cv2.IMREAD_UNCHANGED:以包含透明度通道的方式读取图像,保留图像的所有通道;cv2.imread函数,用于返回一个表示图像的NumPy数组。如果图像文件不存在或读取失败,函数将返回None。
本申请实施例采用获取三种不同通道的图像,能够更加准确的判断出人脸图像的真实性,随后再使编程接口访问摄像头对人脸图像进行采集,随后再将采集到的人脸图像保存到LIS文件管理中,以便后续比对、分析和验证。
实施例4
参见图2,人脸图像采集过程包括图像处理,图像处理包括:预处理和训练样本,预处理用于对人脸采集后的图像进行去噪、对比度增强和图像尺寸标准化一些处理,提升后续人脸图像对比效果;在训练或测试时,训练样本或测试样本采用多个样本对人脸采集后的图像进行人脸局部区域特征提取。
进一步,图像处理完成后,将人脸图像绑定到坐骑账号上,使人脸图像的人脸形状、轮廓和纹理等信息与坐席账号进行绑定,当用户进行人脸识别时,在后续的识别过程中,将采集到的人脸图像与已存储的人脸图像进行比对,从而实现个性化的身份验证和权限控制。
实施例5
参见图2和图3,人脸部位特征的提取包括:先将采集后的图像进行预处理,对图像进行去噪、对比度增强、图像尺寸标准化一系列处理后,再通过训练样本进行人脸图像的局部特征区域进行提取,参见图4,是本申请实施例提供的人脸部位特征提取的流程示意图,包括步骤S101~S104,包括:
步骤S101、局部特征检测与定位,包括:使用Haar级联分类器或人脸关键点检测器检测并定位集中到采集后的人脸图像的局部部位,实现对局部部位的检测进行定位采集。
步骤S102、局部特征提取,包括:在人脸图像中定位到的局部特征区域,例如眼睛、鼻子、嘴巴、脸型、下巴和耳朵,针对每个局部特征区域,使用特征提取方法来提取局部特征描述。参见图5,是本申请实施例提供的局部特征提取的人脸部位的示意图。
步骤S103、特征匹配,包括:使用相似性度量方法将每个局部特征通过欧氏距离相似性度量方法来度量两个特征向量之间的距离,在人脸识别中用于比较特征向量之间的相似性与训练样本中的对应局部特征进行比较。
欧氏距离相似性度量方法的具体计算公式表示为:
其中,表示特征/>和特征/>之间的欧氏距离,/>是特征/>的特征值,是特征/>的特征值。
通过欧氏距离相似性度量方法的计算公式,反复计算两个特征向量之间的距离,并且经过三次以上的计算距离进行对比,使提取的局部特征与采集的人脸图像相似度提升,相似度越高的局部特征表示它们距离越接近,从而方便后期辅助人脸识别,提高了人脸识别的可靠性和准确性。
步骤S104、同时增加训练样本数量通常用于提高人脸识别的性能,因为更多的样本帮助模型更好地学习人脸的变化和特征,增加训练样本数量包括:数据增强、采集多种数据类型、构造数据或迁移学习中的至少一种。
数据增强包括:数据增强在人脸识别中,应用旋转、翻转、缩放、平移变换,以扩充数据集,这有助于模型对不同姿态、光照条件和表情的适应性。
采集更多数据包括:采集更多的人脸图像数据,这通过拍摄更多不同角度、不同光照条件和不同背景下的照片多维度多空间的方式来实现。
通过数据合成采集多种数据类型,包括:使用计算机图形技术生成合成的人脸图像,这些图像包括多种变化,包括:不同表情、年龄或性别,合成数据的好处是精确地控制变化,并生成大量样本。
迁移学习包括:利用已经在其他任务上训练过的模型(如预训练的卷积神经网络)来进行迁移学习,有效地扩充训练数据,通过微调预训练模型,使其适应人脸识别任务,加速训练过程并提高性能。
进一步,人脸面部的特征选择包括:主成分分析(Principal ComponentAnalysis,PCA)是一种常见的降维技术,用于提取主要的特征,减少数据的维度。在人脸识别中,PCA用于提取重要的人脸特征;局部二值模式(Local Binary Pattern,LBP)是一种用于纹理分析的特征提取方法,在人脸识别中也广泛使用,它捕捉到人脸上的纹理信息;方向梯度直方图(Histogram of Oriented Gradient,HOG)是一种用于检测图像中对象边缘和纹理的特征提取方法,在人脸识别中,它用于捕捉人脸的轮廓信息;深度学习特征:使用卷积神经网络(Convolutional Neural Networks,CNN)等深度学习算法,自动学习具有判别性的特征,通过使用预训练的深度学习模型,包括:VGG、残差或FaceNet,来获得高质量的局部特征的表示。
相似性度量方法包括:余弦相似度用于衡量两个向量之间的夹角,通常在文本分类和图像检索中使用,它也用于比较特征向量之间的相似性;基于直方图的方法:将特征向量表示成直方图,并使用直方图距离度量相似性,如Chi-Square距离、Hellinger距离等;马氏距离考虑了特征之间的协方差结构,用于更准确地度量特征之间的相似性;核方法将数据映射到高维空间,并在该空间中进行相似性度量,常见的核函数包括线性核、多项式核和高斯核。
本申请实施例通过欧氏距离相似性度量方法的计算公式,使提取的局部特征与采集的人脸图像相似度提升,相似度越高的局部特征表示它们距离越接近,从而方便后期辅助人脸识别,提高了人脸识别的可靠性和准确性。
实施例6
参见图6,是本申请实施例提供的人脸嵌入模型的示意图。图6中,使用基于MobileNetV2网络结构的InsightFace人脸识别算法,结合由卷积注意力模块与深度级可分离卷积组成的网络结构的残差人脸嵌入网络,将局部特征转化为人脸嵌入向量,这一步骤的目标是将人脸信息编码成一个高维向量,以便进行比较和匹配,具体包括:步骤S301~S302,具体为:
步骤S301、MobileNetV2的网络结构包括深度可分离卷积、扩张卷积和残差连接技术,以减少参数量和计算复杂度,同时保持模型性能,其中MobileNetV2具体体现如下:轻量级结构;深度可分离卷积;扩张卷积;以及残差连接。
步骤S302、CBAM-MobileNet将CBAM模块集成到MobileNet的深度可分离卷积中,以增强对图像特征的关注度,MobileNetV2已经具有深度可分离卷积和轻量级特性,适合移动设备上的人脸嵌入任务,CBAM模块通常包括通道注意力和空间注意力。
基于MobileNetV2网络结构的InsightFace人脸识别算法的网络结构包括:输入、卷积层、CBAM模块、全局池化层、密集层和CBAM-残差人脸嵌入网络依次连接;其中,卷积层是MobileNetV2的深度可分离卷积层;CBAM模块包括:通道注意力和空间注意力,用于增强特征图的表征能力;全局池化层通常是全局平均池化,将特征图降维为一维向量;密集层用于产生人脸嵌入向量;再用CBAM-残差人脸嵌入网络输入,最后输出得到人脸嵌入高维向量,便于对人脸图像进行比较和识别匹配。
本申请实施例采用轻量级结构——MobileNetV2在移动设备上高效运行,具有相对较小的模型大小和计算开销;深度可分离卷积:深度可分离卷积将标准卷积操作分解为两个步骤,即深度卷积和逐点卷积,以减少计算成本;扩张卷积:扩张卷积引入了一个可调整的膨胀率,以增加感受野,从而更好地捕捉图像中的全局信息;残差连接:残差连接通过跳跃连接来促进梯度的顺畅传播,有助于解决深度神经网络中的梯度消失问题。
实施例7
参见图7,是本申请实施例提供的人脸识别的流程示意图。图7中,使用改进的Adaboost算法和基于LIS颜色空间的方法进行面部检测,具体内容包括步骤S411~S414,具体为:
步骤S411、使用改进的Adaboost算法来训练一个分类器,用于区分人脸和非人脸区域,改进的Adaboost算法根据特征的重要性进行加权,以提高分类器的性能,具体使用非极大值抑制的滑动窗口检测方式。
步骤S412、将训练好的Adaboost分类器应用到整个数据集上,对于每个图像,将其转化为LIS颜色空间,LIS颜色空间是一种基于亮度、信息内容和饱和度的颜色表示方式,确保提高人脸区域的对比度和辨别度,并提取出颜色特征,颜色特征包括面色、肤质和毛发颜色,用于区分人脸和非人脸区域。
步骤S413、分类与检测,包括:将提取出的颜色特征输入到Adaboost分类器中进行分类,根据分类结果判断是否为面部,当分类结果为正面,则进一步进行面部检测。
步骤S414、结果输出,包括:根据分类和检测结果,将面部的位置数据输出,位置数据包括:位置信息和大小信息。
上述使用改进的Adaboost算法和基于LIS颜色空间的方法进行面部检测步骤旨在准确地定位人脸在图像中的位置,一旦检测到人脸,需要对人脸进行对齐,以确保它们在尺寸、角度和位置上都一致,这有助于提高图像检测的准确性和可靠性。
本申请实施例在输入图像上使用滑动窗口的方式,将分类器应用于不同位置和尺度的图像块,通过滑动窗口检测,找到包含人脸的区域。对于重叠的检测框,使用非极大值抑制算法来选择最佳的人脸检测结果,这避免重复检测同一个人脸,从而提高人脸识别的精确度。
实施例8
参见图8,是本申请实施例提供的人脸识别的结构示意图,具体地,包括步骤S501~S502。
步骤S501、使用基于判别性低秩分解与加权稀疏表示的面部识别算法,同时利用对嵌入向量进行处理,以实现对不同人脸的识别,这个算法会考虑光照变化、遮挡、面部污垢因素,以提高面部识别的准确性,具体如下所示:判别性低秩分解是对训练数据集中的人脸图像进行低秩分解,将每张图像表示为低秩矩阵的近似,再引入判别性损失函数,以确保低秩分解后的特征在人脸识别任务中具有良好的判别性。
判别性损失函数如下所示:假设有三个样本:A:锚定(Anchor)样本,即人脸图像的嵌入表示;P:正例(Positive)样本,与锚定样本属于同一人,具有相似的嵌入;N:负例(Negative)样本,与锚定样本不同,具有不相似的嵌入。
则基于三个样本,判别性损失函数的公式表示为:
其中,是锚定(Anchor)样本,即人脸图像的嵌入表示;/>是正例(Positive)样本,与锚定样本属于同一人,具有相似的嵌入;/>是负例(Negative)样本,与锚定样本不同,具有不相似的嵌入;/>是损失函数;/>是一个非负的超参数;/>(/>)表示嵌入函数,将输入图像映射为嵌入向量;/>表示对向量取欧氏范数(L2范数)。
加权稀疏表示是每张图像表示为一组基向量的线性组合,其中大多数系数是零。这种表示捕获图像的重要结构信息,再为每个基向量引入权重,以便更加关注对人脸识别任务有意义的特征。
在训练分类器时,使用经过判别性低秩分解和加权稀疏表示处理后的特征作为输入,训练一个分类器用于人脸识别任务;在测试分类时,对于新的测试图像,将其通过相同的处理流程(判别性低秩分解和加权稀疏表示)得到特征,然后使用训练好的分类器进行识别;上述算法结合了低秩分解的优点:降低特征维度,保留主要信息和稀疏表示的优点:提取重要的特征信息,以达到更好的人脸识别性能。
步骤S502、使用光谱分析利用不同波长的光谱信息和确保人脸图像和识别结果的安全性和不可篡改性和与区块链技术确保人脸图像和识别结果的安全性和不可篡改性,从而实现不同光谱下的反射特征来区分真实人脸和伪造物的识别,同时将人脸数据和识别记录存储在区块链上,提高数据的可信度和隐私保护,这种算法用于避免人脸识别算法欺骗,使用面具、照片或视频方式进行伪造,以获得非法访问或通过身份验证。
其中,光谱分析需要使用特殊的传感器来捕捉不同波长的光谱信息,并且针对不同光谱和波长进行校准和分析,包括:采用红外光谱用来检测面具,因为大多数面具材料对红外辐射的反射或吸收特性与真实皮肤不同,由此辨别是面具还是真实人脸;或者,采用紫外光谱来检测特殊的面具材料,因为有一些面具材料对紫外光具有不同的反应,如果面具材料在紫外光下表现出异常的反射或吸收特性,那么这是伪造的迹象;或者采用光谱特征分析,包括通过在不同波长下对人脸区域进行光谱分析用于检测面具或其他伪造物,如果特定波长的光谱特征与真实人脸不匹配,发出警示信息;或者,采用多波长融合,包括:结合不同波长的光谱信息,提高对欺骗尝试的检测能力,以便更准确地区分真实人脸和伪造物。
通过光谱分析采集彩色画面、灰度画面和透明度画面三种不同通道的图像的光谱信息,包括步骤S211~S214,具体为:
步骤S211、选择特殊的传感器确保设备覆盖所需的波长范围,并且具有高分辨率和动态范围;
步骤S212、校准设备,包括:在进行光谱采集之前,需要对设备进行校准,以确保数据的准确性和一致性;
步骤S213、采集光谱数据,包括:针对不同的画面类型,采用不同的采集方法;对于彩色画面,将其直接拍摄或通过光谱相机进行采集;对于灰度画面,将其转化为黑白图像,然后通过光谱相机进行采集;对于透明度画面,通过光谱扫描仪在不同波长下扫描图像,并记录每个波长下的透过率或反射率;
步骤S214、分析结果,包括:根据处理后的数据,进一步分析不同画面类型的光谱特征和差异,比较不同颜色通道的强度分布、分析灰度图像的亮度分布和评估透明度画面的透过率。
区块链技术用于确保人脸图像和识别结果的安全性和不可篡改性,主要通过以下方式实现:分布式存储:加密;智能合约;时间戳;不可篡改性;审计和透明性;以及去中心化。
采用区块链对人脸识别的过程数据(例如采集的人脸图像和识别过程中产生的特征)和识别结果进行分布式存储。区块链是一种分布式数据库,人脸图像和识别结果以分布式方式存储在多个节点上,这意味着没有单一的中心服务器或数据库,攻击者要修改或篡改数据需要同时改变多个节点上的数据,这变得非常困难。
采用区块链对人脸识别的过程数据及识别结果进行加密,包括:人脸图像和识别结果被加密存储在区块链上,只有具有正确密钥的授权用户才能访问和解密这些数据,这确保了数据的隐私和安全。
采用区块链执行人脸识别的智能合约,包括:智能合约是区块链上的自动执行的代码,用于定义访问和修改数据的规则,只有满足合约规定的条件的操作才能被执行,这防止未经授权的访问和篡改。
采用区块链制定人脸识别的时间戳,包括:区块链上的每个交易都有一个时间戳,用于记录数据的创建和修改时间,这确保了数据的时间顺序和不可篡改性,如果有人试图篡改数据,时间戳将显示不一致性。
采用区块链不可篡改人脸识别的数据,包括:区块链的本质使得已经写入的数据几乎不被修改,一旦数据被添加到区块链上,它将与之前的区块链接在一起,形成一个不断增长的链,任何尝试修改数据都会导致与之前的区块不匹配,因此很容易被检测到。
采用区块链对人脸识别过程进行审计并透明展示,包括:区块链是透明的,所有的数据交易都被审计,这意味着追踪数据的来源和历史,确保数据的合法性和完整性。
采用区块链对人脸识别过程进行去中心化,包括:区块链的去中心化性质意味着没有单一的控制权,数据不受单一实体的掌控,这减少了单点故障和潜在的滥用风险。
本申请实施例采用光谱分析利用不同波长的光谱信息和确保人脸图像和识别结果的安全性和不可篡改性和与区块链技术确保人脸图像和识别结果的安全性和不可篡改性,从而实现不同光谱下的反射特征来区分真实人脸和伪造物的识别,同时将人脸数据和识别记录存储在区块链上,提高数据的可信度和隐私保护。
实施例9
参见图9,是本申请实施例提供的一种基于InsightFace与LIS文件管理的人脸识别装置的结构示意图,包括:嵌入模块91、人脸区域分类模块92和识别模块93。
嵌入模块91,用于实时采集初始的第一人脸图像,并定位所述第一人脸图像的多个人脸部位特征,当根据所述多个人脸部位特征进行人脸嵌入时,将所述多个人脸部位特征分别转化为多个第一高维人脸嵌入向量,得到嵌入后的第二人脸图像。
在一些实施例中,实时采集初始的第一人脸图像,包括:采集人脸图像的多种模式画面,并对所述多种模式画面进行预处理,将得到的预处理图像保存至LIS文件管理中,以使从所述LIS文件管理中读取图像,得到第一人脸图像;其中,所述多种模式画面包括:彩色画面、灰度画面和透明度画面。
在一些实施例中,当根据所述多个人脸部位特征进行人脸嵌入时,将所述多个人脸部位特征分别转化为多个第一高维人脸嵌入向量,得到嵌入后的第二人脸图像,包括:根据基于训练好的第一InsightFace人脸识别算法,并结合由卷积注意力模块与深度级可分离卷积组成的网络结构的残差人脸嵌入网络,将局部的多个人脸部位特征转化为特征增强的第一高维人脸嵌入向量,得到嵌入后的第二人脸图像。
人脸区域分类模块92,用于获取所述第二人脸图像在LIS颜色空间的颜色特征,并根据所述颜色特征对人脸区域和非人脸区域进行分类,得到包含所述人脸区域在所述第二人脸图像上的位置数据;其中,所述LIS颜色空间包括:亮度、信息内容和饱和度。
在一些实施例中,获取所述第二人脸图像在亮度、信息内容和饱和度的颜色表示,并根据所述颜色表示提取颜色特征;其中,所述颜色特征包括:面色、肤质和毛发颜色。
识别模块93,用于从所述第二人脸图像中获取所述位置数据对应的第二高维人脸嵌入向量,并对所述第二高维人脸嵌入向量提取到低维人脸特征,根据所述低维人脸特征进行人脸识别。
在一些实施例中,对所述第二高维人脸嵌入向量提取到低维人脸特征,包括:对所述第二高维人脸嵌入向量分别进行低秩分解和加权稀疏表示,得到将所述第二高维人脸嵌入向量转换为高数据含量的低维人脸特征。
在一些实施例中,对所述第二高维人脸嵌入向量进行低秩分解,包括:将所述第二高维人脸嵌入向量进行低秩分解,将得到的低维度的第一低秩分解结果作为锚定样本,并获取与所述锚定样本属于同一人像的正例样本和不同于所述锚定样本的负例样本;根据所述锚定样本、所述正例样本和所述负例样本建立的三元损失函数,获取到具有判别性的第二低秩分解结果,以使根据所述第二低秩分解结果得到低维人脸特征。
在一些实施例中,根据所述第二低秩分解结果得到低维人脸特征,包括:根据所述第二低秩分解结果在所述第二人脸图像中对应基向量,引入权重对人脸部位特征进行增强,得到高数据含量的低维人脸特征;其中,所述第二人脸图像是由一组基向量的线性组合表示的。
在一些实施例中,根据所述低维人脸特征进行人脸识别,包括:将所述低维人脸特征与已存储的第三人脸图像的人脸特征进行匹配,得到身份验证结果;根据对所述第一人脸图像采集的透明度画面的光谱信息,对所述第一人脸图像进行人脸真伪检验,得到人脸真伪结果;根据所述身份验证结果和所述人脸真伪结果,得到所述第一人脸图像的识别结果,并将所述识别结果存入区块链中。
在一些实施例中,根据对所述第一人脸图像采集的透明度画面的光谱信息,对所述第一人脸图像进行人脸真伪检验,得到人脸真伪结果,包括:根据对所述第一人脸图像采集的透明度画面的红外光谱,判别所述第一人脸图像中是否存在与真实皮肤对红外辐射的反射或吸收不同的面具材料;或者,根据对所述第一人脸图像采集的透明度画面的紫外光谱,判别所述第一人脸图像中是否存在对紫外光的反射或吸收异常的面具材料;或者,根据对所述第一人脸图像采集的透明度画面的多波长融合的融合光谱,判别所述第一人脸图像中是否存在对融合光的反射或吸收异常的面具材料;若在所述第一人脸图像中存在所述面具材料,则人脸真伪结果为假;若在所述第一人脸图像中不存在所述面具材料,则所述人脸真伪结果为真;其中,所述光谱信息包括:所述红外光谱、所述紫外光谱和所述融合光谱。
本申请实施例采用嵌入模块91对人脸图像进行人脸部位特征定位,能够单独提取到人脸上每个器官的特征,实现对人脸图像的局部特征进行提取,并对得到的人脸部位特征转化为人脸嵌入向量,便于对人脸图像进行比较和识别匹配,还采用人脸区域分类模块92通过LIS颜色空间对人脸区域和非人脸区域进行分类,便于根据得到的位置数据定位到在人脸图像中的高维人脸嵌入向量,能够保证获取到精确的人脸区域内的高维人脸嵌入向量,而忽略非人脸区域的干扰,从而提高图像检测的准确性和可靠性;本申请实施例还采用识别模块93对第二高维人脸嵌入向量提取低维人脸特征,以使降低人脸特征的维度,从而加快人脸识别效率。
本领域内的技术人员应明白,本申请的实施例还可提供包括计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于InsightFace与LIS文件管理的人脸识别方法,其特征在于,包括:
实时采集初始的第一人脸图像,并定位所述第一人脸图像的多个人脸部位特征,当根据所述多个人脸部位特征进行人脸嵌入时,将所述多个人脸部位特征分别转化为多个第一高维人脸嵌入向量,得到嵌入后的第二人脸图像;
获取所述第二人脸图像在LIS颜色空间的颜色特征,并根据所述颜色特征对人脸区域和非人脸区域进行分类,得到包含所述人脸区域在所述第二人脸图像上的位置数据;其中,所述LIS颜色空间包括:亮度、信息内容和饱和度;
从所述第二人脸图像中获取所述位置数据对应的第二高维人脸嵌入向量,并对所述第二高维人脸嵌入向量提取到低维人脸特征,根据所述低维人脸特征进行人脸识别。
2.如权利要求1所述的基于InsightFace与LIS文件管理的人脸识别方法,其特征在于,所述获取所述第二人脸图像在LIS颜色空间的颜色特征,包括:
获取所述第二人脸图像在亮度、信息内容和饱和度的颜色表示,并根据所述颜色表示提取颜色特征;其中,所述颜色特征包括:面色、肤质和毛发颜色。
3.如权利要求1所述的基于InsightFace与LIS文件管理的人脸识别方法,其特征在于,所述对所述第二高维人脸嵌入向量提取到低维人脸特征,包括:
对所述第二高维人脸嵌入向量分别进行低秩分解和加权稀疏表示,得到将所述第二高维人脸嵌入向量转换为高数据含量的低维人脸特征。
4.如权利要求3所述的基于InsightFace与LIS文件管理的人脸识别方法,其特征在于,所述对所述第二高维人脸嵌入向量进行低秩分解,包括:
将所述第二高维人脸嵌入向量进行低秩分解,将得到的低维度的第一低秩分解结果作为锚定样本,并获取与所述锚定样本属于同一人像的正例样本和不同于所述锚定样本的负例样本;
根据所述锚定样本、所述正例样本和所述负例样本建立的三元损失函数,获取到具有判别性的第二低秩分解结果,以使根据所述第二低秩分解结果得到低维人脸特征。
5.如权利要求4所述的基于InsightFace与LIS文件管理的人脸识别方法,其特征在于,所述根据所述第二低秩分解结果得到低维人脸特征,包括:
根据所述第二低秩分解结果在所述第二人脸图像中对应基向量,引入权重对人脸部位特征进行增强,得到高数据含量的低维人脸特征;其中,所述第二人脸图像是由一组基向量的线性组合表示的。
6.如权利要求1所述的基于InsightFace与LIS文件管理的人脸识别方法,其特征在于,所述根据所述低维人脸特征进行人脸识别,包括:
将所述低维人脸特征与已存储的第三人脸图像的人脸特征进行匹配,得到身份验证结果;
根据对所述第一人脸图像采集的透明度画面的光谱信息,对所述第一人脸图像进行人脸真伪检验,得到人脸真伪结果;
根据所述身份验证结果和所述人脸真伪结果,得到所述第一人脸图像的识别结果,并将所述识别结果存入区块链中。
7.如权利要求6所述的基于InsightFace与LIS文件管理的人脸识别方法,其特征在于,所述根据对所述第一人脸图像采集的透明度画面的光谱信息,对所述第一人脸图像进行人脸真伪检验,得到人脸真伪结果,包括:
根据对所述第一人脸图像采集的透明度画面的红外光谱,判别所述第一人脸图像中是否存在与真实皮肤对红外辐射的反射或吸收不同的面具材料;
或者,根据对所述第一人脸图像采集的透明度画面的紫外光谱,判别所述第一人脸图像中是否存在对紫外光的反射或吸收异常的面具材料;
或者,根据对所述第一人脸图像采集的透明度画面的多波长融合的融合光谱,判别所述第一人脸图像中是否存在对融合光的反射或吸收异常的面具材料;
若在所述第一人脸图像中存在所述面具材料,则人脸真伪结果为假;若在所述第一人脸图像中不存在所述面具材料,则所述人脸真伪结果为真;
其中,所述光谱信息包括:所述红外光谱、所述紫外光谱和所述融合光谱。
8.如权利要求1所述的基于InsightFace与LIS文件管理的人脸识别方法,其特征在于,所述实时采集初始的第一人脸图像,包括:
采集人脸图像的多种模式画面,并对所述多种模式画面进行预处理,将得到的预处理图像保存至LIS文件管理中,以使从所述LIS文件管理中读取图像,得到第一人脸图像;其中,所述多种模式画面包括:彩色画面、灰度画面和透明度画面。
9.如权利要求1所述的基于InsightFace与LIS文件管理的人脸识别方法,其特征在于,所述当根据所述多个人脸部位特征进行人脸嵌入时,将所述多个人脸部位特征分别转化为多个第一高维人脸嵌入向量,得到嵌入后的第二人脸图像,包括:
根据基于训练好的第一InsightFace人脸识别算法,并结合由卷积注意力模块与深度级可分离卷积组成的网络结构的残差人脸嵌入网络,将局部的多个人脸部位特征转化为特征增强的第一高维人脸嵌入向量,得到嵌入后的第二人脸图像。
10.一种基于InsightFace与LIS文件管理的人脸识别装置,基于如权利要求1-9任一项所述的基于InsightFace与LIS文件管理的人脸识别方法,其特征在于,包括:嵌入模块、人脸区域分类模块和识别模块;其中,
所述嵌入模块,用于实时采集初始的第一人脸图像,并定位所述第一人脸图像的多个人脸部位特征,当根据所述多个人脸部位特征进行人脸嵌入时,将所述多个人脸部位特征分别转化为多个第一高维人脸嵌入向量,得到嵌入后的第二人脸图像;
所述人脸区域分类模块,用于获取所述第二人脸图像在LIS颜色空间的颜色特征,并根据所述颜色特征对人脸区域和非人脸区域进行分类,得到包含所述人脸区域在所述第二人脸图像上的位置数据;
所述识别模块,用于从所述第二人脸图像中获取所述位置数据对应的第二高维人脸嵌入向量,并对所述第二高维人脸嵌入向量提取到低维人脸特征,根据所述低维人脸特征进行人脸识别。
CN202410585413.4A 2024-05-13 2024-05-13 一种基于InsightFace与LIS文件管理的人脸识别方法及装置 Pending CN118230395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410585413.4A CN118230395A (zh) 2024-05-13 2024-05-13 一种基于InsightFace与LIS文件管理的人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410585413.4A CN118230395A (zh) 2024-05-13 2024-05-13 一种基于InsightFace与LIS文件管理的人脸识别方法及装置

Publications (1)

Publication Number Publication Date
CN118230395A true CN118230395A (zh) 2024-06-21

Family

ID=91509413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410585413.4A Pending CN118230395A (zh) 2024-05-13 2024-05-13 一种基于InsightFace与LIS文件管理的人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN118230395A (zh)

Similar Documents

Publication Publication Date Title
Liu et al. Global texture enhancement for fake face detection in the wild
Quan et al. Distinguishing between natural and computer-generated images using convolutional neural networks
CN107423690B (zh) 一种人脸识别方法及装置
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN112215180B (zh) 一种活体检测方法及装置
US11023708B2 (en) Within document face verification
US7715596B2 (en) Method for controlling photographs of people
CN113128271A (zh) 脸部图像的伪造检测
CN112069891B (zh) 一种基于光照特征的深度伪造人脸鉴别方法
CN117558011B (zh) 基于自一致性矩阵和多尺度损失的图像文本篡改检测方法
Bakshi et al. An efficient face anti-spoofing and detection model using image quality assessment parameters
Saleem et al. Techniques and challenges for generation and detection face morphing attacks: A survey
Kaya et al. Copy-move forgery detection in digital forensic images using CNN
US20230069960A1 (en) Generalized anomaly detection
CN113610071B (zh) 人脸活体检测方法、装置、电子设备及存储介质
Bikku et al. Deep Residual Learning for Unmasking DeepFake
CN118230395A (zh) 一种基于InsightFace与LIS文件管理的人脸识别方法及装置
Abraham Digital image forgery detection approaches: A review and analysis
Shichkina et al. Synthesis of the method of operative image analysis based on metadata and methods of searching for embedded images
Merkle et al. Face morphing detection: issues and challenges
Navya SMART ATTENDANCE USING IMAGE PROCESSING TECHNIQUES
Majidpour et al. Unreadable offline handwriting signature verification based on generative adversarial network using lightweight deep learning architectures
EP4361971A1 (en) Training images generation for fraudulent document detection
Zabin et al. FaceSensor-ID: A High Precision Approach on Multi-Spectral (Visible and NIR) Camera Sensor Origin Identification
JP4606955B2 (ja) 映像認識システム、映像認識方法、映像補正システムおよび映像補正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination