CN113673345B - 人脸识别方法及系统 - Google Patents

人脸识别方法及系统 Download PDF

Info

Publication number
CN113673345B
CN113673345B CN202110817075.9A CN202110817075A CN113673345B CN 113673345 B CN113673345 B CN 113673345B CN 202110817075 A CN202110817075 A CN 202110817075A CN 113673345 B CN113673345 B CN 113673345B
Authority
CN
China
Prior art keywords
face
data set
feature vector
group
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110817075.9A
Other languages
English (en)
Other versions
CN113673345A (zh
Inventor
谢泽
李雯
朱建生
杨立鹏
单杏花
王拓
阎志远
李贝贝
衣帅
尹伊伊
梅巧玲
樊春美
王思宇
马杰
王炜炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Trip Science And Technology Co ltd
Institute of Computing Technologies of CARS
Beijing Jingwei Information Technology Co Ltd
Original Assignee
China Railway Trip Science And Technology Co ltd
Institute of Computing Technologies of CARS
Beijing Jingwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Trip Science And Technology Co ltd, Institute of Computing Technologies of CARS, Beijing Jingwei Information Technology Co Ltd filed Critical China Railway Trip Science And Technology Co ltd
Priority to CN202110817075.9A priority Critical patent/CN113673345B/zh
Publication of CN113673345A publication Critical patent/CN113673345A/zh
Application granted granted Critical
Publication of CN113673345B publication Critical patent/CN113673345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种人脸识别方法及系统，该方法包括：获取公开的人脸数据集；提取人脸数据集中每个采样图片的人脸特征向量，获得群组聚类数据集；提取单支流人脸特征向量；提取群组聚类中心特征向量；得到富含群组特征信息的人脸特征向量表达；对采样图片进行人脸识别。该系统包括图片采样模块、群组聚类模块、第一提取模块、第二提取模块、特征计算模块和人脸识别模块。本申请实施例提供的技术方案能够基于无监督人脸群组聚类、深度卷积神经网络、适用于任何人脸识别场景，且能够为单支流人脸特征向量赋予群组特征信息，可以在人脸特征向量空间分布方面帮助增大不同类人脸类间间距，缩小相同人脸间距，使得模型提取到更鲁棒的人脸特征。

Description

人脸识别方法及系统
【技术领域】
本申请涉及计算机视觉技术领域，尤其涉及一种人脸识别方法及系统。
【背景技术】
人脸的群组特征多种多样，它既可以显性表示出来比如高的发际线、浓密的胡子、不同肤色等等，又会有很多隐性表示，也即无法直接观察出来，比如五官相对空间位置。当前通用的人脸识别神经网络架构主要通过局部感受野从人脸图片中提取局部特征，再经过池化层将局部特征进行压缩以简化计算量，随后使用全连接层继续压缩，最终通过不同的损失函数将特征向量代表的人脸图片分布在不同的数学空间。在上述人脸识别过程中并没有目的性地去突出人脸群组特征信息表达，然而群组特征信息可以帮助增大不同类人脸类间间距，缩小相同人脸间距。
【发明内容】
有鉴于此，本申请实施例提供了一种人脸识别方法及系统，用以解决现有技术存在的无法突出人脸群组特征信息表达的技术问题。
第一方面，本申请实施例提供了一种人脸识别方法，所述方法包括以下步骤：
获取公开的人脸数据集，对所述人脸数据集中的多个人脸图片分别进行图像处理，转换成大小相同且与所述人脸图片所包含的内容相同的采样图片；
提取所述人脸数据集中每个所述采样图片的人脸特征向量，通过对每个所述采样图片对应的所述人脸特征向量进行聚类处理，获得包含多个所述采样图片的多个不同的群组聚类数据集；
提取所述人脸数据集中每个所述采样图片的单支流人脸特征向量；
通过对各个所述群组聚类数据集中各个所述人脸特征向量进行计算，提取每个所述群组聚类数据集的群组聚类中心特征向量；
基于所述单支流人脸特征向量和所述群组聚类中心特征向量计算得到嵌入系数，基于所述嵌入系数和所述单支流人脸特征向量得到富含群组特征信息的人脸特征向量表达；
通过计算所述人脸特征向量表达对两张所述采样图片进行人脸识别。
通过本实施例提供的方案，能够将具有相同人脸特征向量的采样图片分组在一个群组聚类数据集中，通过计算同一个群组聚类数据集内各个采样图片的嵌入系数得到采样图片的空间分布情况，放大不同人脸之间的间距，缩小相同人脸之间的间距，从而更准确地判断不同的采样图片中的人脸是否属于同一个人，人脸特征识别的鲁棒性更好。
在一种优选的实施方案中，在获取公开的人脸数据集，对所述人脸数据集中的多个人脸图片分别进行图像处理，转换成大小相同且与所述人脸图片所包含的内容相同的采样图片的步骤中，包括以下步骤：
获取公开的人脸数据集；
对所述人脸数据集中的人脸图片进行人脸检测，获取人脸检测参数；
根据所述人脸检测参数计算所述人脸图片的偏斜角度，得到旋转角度；
将所述人脸图片做仿射变换；
将仿射变换后的所述人脸图片根据所述旋转角度进行图像旋转；
判断对所述人脸图片进行图像旋转的旋转角度是否完成图像校正；
对未完成图像校正的所述人脸图片重新计算偏斜角度；
对完成图像校正的所述人脸图片重新采样，获得具有相同大小的采样图片；
将所述采样图片转换成数据存储结构。
通过本实施例提供的方案，先对获取到的公开的人脸数据集中的各个人脸图片进行统一的标准化预处理，以便进行人脸识别时能够有统一的识别条件和更好的识别准确率。
在一种优选的实施方案中，在提取所述人脸数据集中每个所述采样图片的人脸特征向量，通过对每个所述采样图片对应的所述人脸特征向量进行聚类处理，获得包含多个所述采样图片的多个不同的群组聚类数据集的步骤中，包括以下步骤：
基于分类损失函数对人脸识别深度卷积神经网络在所述人脸数据集的基础上进行训练；
利用训练成熟的所述人脸识别深度卷积神经网络对所述人脸数据集中每个所述采样图片提取出人脸特征向量，并将所述采样图片与对应的人脸特征向量绑定存储；
根据预设的参数条件对每个所述采样图片对应的人脸特征向量进行聚类处理，获得包含多个所述采样图片的多个不同的群组聚类数据集。
通过本实施例提供的方案，将经过采样的所有采样图片根据提取的人脸特征向量分为不同的群组聚类数据集，在进行最终人脸识别之前先将包含明显特征区别的人脸的采样图片进行分类初筛，进一步提高人脸识别的精确度和鲁棒性。
在一种优选的实施方案中，在提取所述人脸数据集中每个所述采样图片的单支流人脸特征向量的步骤中，包括以下步骤：
基于所述分类损失函数对人脸识别特征提取深度学习网络结构在所述人脸数据集的基础上进行训练；
将训练成熟的所述人脸识别特征提取深度学习网络结构复制构成权值参数相同的主干影子网络；
利用所述主干影子网络对所述人脸数据集中每个所述采样图片提取单支流人脸特征向量，并将所述采样图片与对应的单支流人脸特征向量绑定存储。
通过本实施例提供的方案，通过深度学习人脸数据集，提取出能够代表各个群组聚类数据集的群组特征信息的单支流人脸特征向量，在进行人脸识别时，单支流人脸特征向量能够帮助增大不同类人脸的各个特征之间的间距，缩小相同人脸的各个特征之间的间距，有助于提高人脸识别的准确性和鲁棒性。
在一种优选的实施方案中，在通过对各个所述群组聚类数据集中各个所述人脸特征向量进行计算，提取每个所述群组聚类数据集的群组聚类中心特征向量的步骤中，包括以下步骤：
利用所述主干影子网络对所述多个群组聚类数据集中的多个采样图片提取人脸特征向量，并按照各个所述群组聚类数据集进行分类存储；
对各个所述群组聚类数据集中的人脸特征向量进行几何中心向量计算；
筛选出各个所述群组聚类数据集中与几何中心向量距离最小的人脸特征向量作为对应群组聚类数据集的群组聚类中心特征向量。
通过本实施例提供的方案，在具有同一类人脸特征向量的群组聚类数据集中，通过距离计算选取与该群组聚类数据集的几何中心距离最小的人脸特征向量作为群组聚类中心特征向量，能够很好地代表该群组聚类数据集的采样图片中人脸的特征的共性，再通过群组聚类中心特征向量作为统一的标准，能够帮助各个采样图片中的人脸的各个特征的放大和缩小，有助于提高人脸识别的准确性。
在一种优选的实施方案中，在基于所述单支流人脸特征向量和所述群组聚类中心特征向量计算得到嵌入系数，基于所述嵌入系数和所述单支流人脸特征向量得到富含群组特征信息的人脸特征向量表达的步骤中，包括以下步骤：
基于所述单支流人脸特征向量和所述群组聚类中心特征向量计算得出各个所述群组聚类数据集中所述单支流人脸特征向量与所述群组聚类中心特征向量的欧氏距离；
将各个所述群组聚类数据集的欧氏距离进行缩放倒数变换；
对经过缩放倒数变换后的各个所述群组聚类数据集的欧氏距离进行总距离占比计算，得到各个所述群组聚类数据集的群组聚类中心特征向量的嵌入系数；
基于各个所述群组聚类数据集中的单支流人脸特征向量和群组聚类中心特征向量及其嵌入系数，构建富含群组特征信息的人脸特征向量表达；
基于所述主干影子网络，使用所述人脸数据集微调网络参数直至收敛。
通过本实施例提供的方案，在经过人脸特征向量分类后对各个群组聚类数据集的采样图片中人脸的各个特征的间距进行放大和缩小计算时，通过嵌入系数帮助进行欧氏距离的缩放倒数变换，以实现群组聚类数据集中群组聚类中心特征向量的多支流嵌入功能，有助于提高人脸识别的鲁棒性。
在一种优选的实施方案中，在通过计算所述人脸特征向量表达对两张所述采样图片进行人脸识别的步骤中，包括以下步骤：
计算各个所述群组聚类数据集中人脸特征向量表达的欧氏距离值，得到各个所述采样图片两两之间的差异结果；
将各个所述差异结果与预设差异阈值进行比较；
若所述差异结果不大于所述预设阈值，则所述差异结果对应的两个采样图片中的人脸为同一个人脸；
若所述差异结果大于所述预设阈值，则所述差异结果对应的两个采样图片中的人脸为不同的人脸。
通过本实施例提供的方案，通过事先设置具有经验属性的预设阈值作为判断两个采样图片中的人脸是否相同的判断标准，利用欧氏距离值的计算，来进行人脸识别，从而实现人脸识别的高鲁棒性和高准确率。
第二方面，本申请实施例提供了一种人脸识别系统，所述系统包括：互相通信连接的图片采样模块、群组聚类模块、第一提取模块、第二提取模块、特征计算模块和人脸识别模块；
所述图片采样模块用于获取公开的人脸数据集，对所述人脸数据集中的多个人脸图片分别进行图像处理，转换成大小相同且与所述人脸图片所包含的内容相同的采样图片；
所述群组聚类模块用于提取所述人脸数据集中每个所述采样图片的人脸特征向量，通过对每个所述采样图片对应的所述人脸特征向量进行聚类处理，获得包含多个所述采样图片的多个不同的群组聚类数据集；
所述第一提取模块用于提取所述人脸数据集中每个所述采样图片的单支流人脸特征向量；
所述第二提取模块用于通过对各个所述群组聚类数据集中各个所述人脸特征向量进行计算，提取每个所述群组聚类数据集的群组聚类中心特征向量；
所述特征计算模块用于基于所述单支流人脸特征向量和所述群组聚类中心特征向量计算得到嵌入系数，基于所述嵌入系数和所述单支流人脸特征向量得到富含群组特征信息的人脸特征向量表达；
所述人脸识别模块用于通过计算所述人脸特征向量表达对两张所述采样图片进行人脸识别。
通过本实施例提供的方案，利用该系统的六个模块，能够将具有相同人脸特征向量的采样图片分组在一个群组聚类数据集中，通过计算同一个群组聚类数据集内各个采样图片的嵌入系数得到采样图片的空间分布情况，放大不同人脸之间的间距，缩小相同人脸之间的间距，从而更准确地判断不同的采样图片中的人脸是否属于同一个人，人脸特征识别的鲁棒性更好。
第三方面，本申请实施例提供了一种终端设备，包括：存储器和处理器：
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中存储的计算机程序，以使所述终端设备执行如第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，如第一方面所述的方法被执行。
与现有技术相比，本技术方案至少具有如下有益效果：
本申请实施例所公开的人脸识别方法及系统，能够基于无监督人脸群组聚类、深度卷积神经网络、适用于任何人脸识别场景，且能够为单支流人脸特征向量赋予群组特征信息，可以在人脸特征向量空间分布方面帮助增大不同类人脸类间间距，缩小相同人脸间距，使得模型提取到更鲁棒的人脸特征。
【附图说明】
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例1所提供的人脸识别方法的步骤流程图；
图2是本申请实施例1所提供的人脸识别方法中，Step100的流程图；
图3是本申请实施例1所提供的人脸识别方法中，Step200的流程图；
图4是本申请实施例1所提供的人脸识别方法中，Step300的流程图；
图5是本申请实施例1所提供的人脸识别方法中，执行Step300将群组聚类特征中心向量多支流嵌入单支流人脸特征向量的人脸识别架构图；
图6是本申请实施例1所提供的人脸识别方法中，Step400的流程图；
图7是本申请实施例1所提供的人脸识别方法中，Step500的流程图；
图8是本申请实施例1所提供的人脸识别方法中，Step600的流程图；
图9是本申请实施例2所提供的人脸识别系统的模块示意图。
附图标记：
10-图片采样模块；20-群组聚类模块；30-第一提取模块；40-第二提取模块；50-特征计算模块；60-人脸识别模块。
【具体实施方式】
为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
实施例1
本申请实施例1提供了一种人脸识别方法，基于群组聚类特征多支流嵌入，将单支流人脸特征向量中的特征表达强迫性地赋予群组特征信息，以扩大不同类人脸特征向量的类间间距，缩小同类人脸特征向量的间距，从而可以提取出群组特征更明显、鲁棒性更强的人脸特征，有助于进行人脸识别。
如图1所示，该人脸识别方法包括以下步骤：
Step100：获取公开的人脸数据集，对人脸数据集中的多个人脸图片分别进行图像处理，转换成大小相同且与人脸图片所包含的内容相同的采样图片；
Step200：提取人脸数据集中每个采样图片的人脸特征向量，通过对每个采样图片对应的人脸特征向量进行聚类处理，获得包含多个采样图片的多个不同的群组聚类数据集；
Step300：提取人脸数据集中每个采样图片的单支流人脸特征向量；
Step400：通过对各个群组聚类数据集中各个人脸特征向量进行计算，提取每个群组聚类数据集的群组聚类中心特征向量；
Step500：基于单支流人脸特征向量和群组聚类中心特征向量计算得到嵌入系数，基于嵌入系数和单支流人脸特征向量得到富含群组特征信息的人脸特征向量表达；
Step600：通过计算人脸特征向量表达对两张采样图片进行人脸识别。
本实施例1提供的人脸识别方法所公开的上述步骤，能够将具有相同人脸特征向量的采样图片分组在一个群组聚类数据集中，通过计算同一个群组聚类数据集内各个采样图片的嵌入系数得到采样图片的空间分布情况，放大不同人脸之间的间距，缩小相同人脸之间的间距，从而更准确地判断不同的采样图片中的人脸是否属于同一个人，人脸特征识别的鲁棒性更好。
在本实施例1提供的人脸识别方法中，Step100对人脸图片进行图像预处理。在Step100中，获取公开的MS-Celeb-1M人脸数据集、LFW人脸数据集。MS-Celeb-1M人脸数据集含有约100000000张人脸图片，将其作为训练数据。LFW人脸数据集含有约13000张不同的人脸图片，将其作为测试数据。公开的人脸数据集具有人脸位置倾斜、人脸图片大小不一致等问题，需要对其进行统一标准化预处理。如图2所示，Step100包括以下步骤：
Step101：获取公开的人脸数据集；
Step102：对人脸数据集中的人脸图片进行人脸检测，获取人脸检测参数；
Step103：根据人脸检测参数计算人脸图片的偏斜角度，得到旋转角度；
Step104：将人脸图片做仿射变换；
Step105：将仿射变换后的人脸图片根据旋转角度进行图像旋转；
Step106：判断对人脸图片进行图像旋转的旋转角度是否完成图像校正；对未完成图像校正的人脸图片重新执行Step103，计算偏斜角度；对完成图像校正的人脸图片继续执行Step107；
Step107：重新采样经过图像校正的人脸图片，获得具有相同大小的采样图片；
Step108：将采样图片转换成数据存储结构。
在Step100中，首先使用MTCNN人脸检测算法对MS-Celeb-1M人脸数据集以及LFW人脸数据集进行人脸检测，获取的人脸检测参数包含有人脸关键点位置信息、人脸定位框信息。接着根据人脸双眼等关键点位置信息计算人脸图片的偏斜角度，得到旋转角度，将人脸图片做仿射变换，随后对仿射变换后的人脸图片按照旋转角度进行旋转校正，并对校正后的人脸图片重新采样到大小为160×160像素的采样图片，最终将各个采样图片转换成适用于MxNet框架的数据存储结构。
本实施例1提供的人脸识别方法所公开的上述步骤，先对获取到的公开的人脸数据集中的各个人脸图片进行统一的标准化预处理，以便进行人脸识别时能够有统一的识别条件和更好的识别准确率。
在本实施例1提供的人脸识别方法中，Step200对MS-Celeb-1M人脸数据集进行人脸群组聚类从而为群组特征提取作数据准备。
如图3所示，Step200包括以下步骤：
Step201：基于分类损失函数对人脸识别深度卷积神经网络在人脸数据集的基础上进行训练；
Step202：利用训练成熟的人脸识别深度卷积神经网络对人脸数据集中每个采样图片提取出人脸特征向量，并将采样图片与对应的人脸特征向量绑定存储；
Step203：根据预设的参数条件对每个采样图片对应的人脸特征向量进行聚类处理，获得包含多个采样图片的多个不同的群组聚类数据集。
首先基于联合Margin损失函数对Insight Face(通用的人脸识别方法)中的人脸识别深度卷积神经网络在MS-Celeb-1M人脸数据集基础上进行训练，接着利用训练成熟的Insight Face人脸识别深度卷积神经网络对MS-Celeb-1M人脸数据集每一张采样图片进一步提取出512维的人脸特征向量，并将采样图片与提取的人脸特征向量绑定存储。最后设置群组聚类最小欧氏距离阈值为1.1，最小聚类数阈值为10，使用DBSCAN算法在以上参数设置条件下对人脸特征向量进行聚类处理，获得20个不同的群组聚类数据集，每个数据集包含有12张采样图片。联合Margin损失函数表达式如下：
本实施例1提供的人脸识别方法所公开的上述步骤，将经过采样的所有采样图片根据提取的人脸特征向量分为不同的群组聚类数据集，在进行最终人脸识别之前先将包含明显特征区别的人脸的采样图片进行分类初筛，进一步提高人脸识别的精确度和鲁棒性。
在本实施例1提供的人脸识别方法中，Step300对MS-Celeb-1M人脸数据集每一张采样图片提取对应的单支流人脸特征向量，以为赋予其群组特征信息做准备。
如图4所示，Step300包括以下步骤：
Step301：基于分类损失函数对人脸识别特征提取深度学习网络结构在人脸数据集的基础上进行训练；
Step302：将训练成熟的人脸识别特征提取深度学习网络结构复制构成权值参数相同的主干影子网络；
Step303：利用主干影子网络对人脸数据集中每个采样图片提取单支流人脸特征向量，并将采样图片与对应的单支流人脸特征向量绑定存储。
如图5所示，首先基于联合Margin分类损失函数LOSS对DenseNet169网络结构(通用的人脸识别特征提取深度学习网络结构)在MS-Celeb-1M人脸数据集基础上进行训练，接着将训练成熟的DenseNet169网络结构复制构成主干影子网络，主干影子网络权值参数与其保持相同。最后利用训练成熟的DenseNet169网络结构(即主干影子网络)对MS-Celeb-1M人脸数据集每一张采样图片提取出512维的单支流人脸特征向量，并将采样图片与提取的人脸特征向量绑定存储。单支流人脸特征向量表达为f＝[f1,f2,…,f512]。
本实施例1提供的人脸识别方法所公开的上述步骤，通过深度学习人脸数据集，提取出能够代表各个群组聚类数据集的群组特征信息的单支流人脸特征向量，在进行人脸识别时，单支流人脸特征向量能够帮助增大不同类人脸的各个特征之间的间距，缩小相同人脸的各个特征之间的间距，有助于提高人脸识别的准确性和鲁棒性。
在本实施例1提供的人脸识别方法中，Step400对每个群组聚类数据集提取群组聚类中心特征向量。
如图6所示，Step400包括以下步骤：
Step401：利用主干影子网络对多个群组聚类数据集中的多个采样图片提取人脸特征向量，并按照各个群组聚类数据集进行分类存储；
Step402：对各个群组聚类数据集中的人脸特征向量进行几何中心向量计算；
Step403：筛选出各个群组聚类数据集中与几何中心向量距离最小的人脸特征向量作为对应群组聚类数据集的群组聚类中心特征向量。
首先使用Step300中主干影子网络对Step200中20个不同的群组聚类数据集中的采样图片进行人脸特征向量提取，并以20个不同的群组聚类数据集进行分类存储。接着对不同群组聚类数据集的人脸特征向量进行几何中心向量计算。最后筛选出群组聚类数据集中与几何中心向量距离最小的人脸特征向量作为该群组聚类数据集的中心特征向量。距离采用欧氏距离计算，群组聚类中心特征提取最终获取20个中心特征向量A1,A2,…,A20，每个群组聚类中心特征向量At＝[at1,at2,…,at512]。
本实施例1提供的人脸识别方法所公开的上述步骤，在具有同一类人脸特征向量的群组聚类数据集中，通过距离计算选取与该群组聚类数据集的几何中心距离最小的人脸特征向量作为群组聚类中心特征向量，能够很好地代表该群组聚类数据集的采样图片中人脸的特征的共性，再通过群组聚类中心特征向量作为统一的标准，能够帮助各个采样图片中的人脸的各个特征的放大和缩小，有助于提高人脸识别的准确性。
在本实施例1提供的人脸识别方法中，Step500将Step400得到的各个群组聚类中心特征向量多支流嵌入为Step300中提取的各个群组聚类数据集的单支流人脸特征向量f＝[f1,f2,…,f512]。
如图7所示，Step500包括以下步骤：
Step501：基于单支流人脸特征向量和群组聚类中心特征向量计算得出各个群组聚类数据集中单支流人脸特征向量与群组聚类中心特征向量的欧氏距离；
Step502：将各个群组聚类数据集的欧氏距离进行缩放倒数变换；
Step503：对经过缩放倒数变换后的各个群组聚类数据集的欧氏距离进行总距离占比计算，得到各个群组聚类数据集的群组聚类中心特征向量的嵌入系数；
Step504：基于各个群组聚类数据集中的单支流人脸特征向量和群组聚类中心特征向量及其嵌入系数，构建富含群组特征信息的人脸特征向量表达；
Step505：基于主干影子网络，使用人脸数据集微调网络参数直至收敛。
先根据20个群组聚类中心特征向量A1,A2,…,A20与20个单支流人脸特征向量f求解出对应的20个欧氏距离x1,x2,…,x20。由于不同人脸间的欧氏距离往往是大于1的数，且一般都分布在1至2范围，因此为了扩大不同群组聚类中心特征向量嵌入程度差距，也即保证距离越近的特征向量嵌入程度越高，首先对20个欧氏距离x1,x2,…,x20进行10倍的缩放，再采用倒数变换。利用负级次幂函数在约接近0的位置变化率越大的特性，将距离间比较接近的欧氏距离值在负级次幂函数上做了映射，扩大了不同欧氏距离值的差距。由于缩放前的欧氏距离值一般分布在1至2范围，缩放后，欧氏距离值一般分布在0至1范围内，采用负级次的幂函数就可以保证映射基本投放在变化率较大的函数一侧。再将缩放倒数变换后的欧氏距离进行总距离占比求解，并将求解后的0至1范围内占比数作为20个群组聚类中心特征向量A1,A2,…,A20的嵌入系数w1,w2,…,w20，w1+w2+…+w20＝1。然后，将20个单支流人脸特征向量f与20个待嵌入的群组聚类中心特征向量使用嵌入系数ε组合构成富含群组特征信息的人脸特征向量表达u＝f+ε(w1A1+w2A2+…w20A20)，其中嵌入系数ε为一种经验参数，通常为0.1。最后，基于联合Margin分类损失函数LOSS训练以上步骤中输出最终人脸特征向量表达的主干影子网络，用同样的MS-Celeb-1M人脸数据集微调网络参数直至收敛。
本实施例1提供的人脸识别方法所公开的上述步骤，在经过人脸特征向量分类后对各个群组聚类数据集的采样图片中人脸的各个特征的间距进行放大和缩小计算时，通过嵌入系数帮助进行欧氏距离的缩放倒数变换，以实现群组聚类数据集中群组聚类中心特征向量的多支流嵌入功能，有助于提高人脸识别的鲁棒性。
在本实施例1提供的人脸识别方法中，Step600将Step100至Step500步骤最后取得的富含群组特征信息的人脸特征向量表达m(u,r)中的u和r之间的欧氏距离值进行计算，来进行人脸识别。
如图8所示，Step600包括以下步骤：
Step601：计算各个群组聚类数据集中人脸特征向量表达的欧氏距离值，得到各个采样图片两两之间的差异结果；
Step602：将各个差异结果与预设差异阈值进行比较；
若差异结果不大于预设阈值，则执行Step603：差异结果对应的两个采样图片中的人脸为同一个人脸；
若差异结果大于预设阈值，则执行Step604：差异结果对应的两个采样图片中的人脸为不同的人脸。
采用欧氏距离作为特征相似度，使用两张采样图片在Step400中计算所得富含群组特征信息的人脸特征向量表达u和r间的欧氏距离值m(u,r)作为评判两张采样图片中人脸的差异大小的指标，计算公式为：
若m(u,r)<＝threshold，则为同一个人脸，否则不为同一个人脸，threshold为预设阈值，该预设阈值同样为经验数据。
本实施例1提供的人脸识别方法所公开的上述步骤，通过事先设置具有经验属性的预设阈值作为判断两个采样图片中的人脸是否相同的判断标准，利用欧氏距离值的计算，来进行人脸识别，从而实现人脸识别的高鲁棒性和高准确率。
实施例2
如图9所示，本申请实施例2提供了一种人脸识别系统，系统包括：互相通信连接的图片采样模块10、群组聚类模块20、第一提取模块30、第二提取模块40、特征计算模块50和人脸识别模块60；图片采样模块10用于获取公开的人脸数据集，对人脸数据集中的多个人脸图片分别进行图像处理，转换成大小相同且与人脸图片所包含的内容相同的采样图片；群组聚类模块20用于提取人脸数据集中每个采样图片的人脸特征向量，通过对每个采样图片对应的人脸特征向量进行聚类处理，获得包含多个采样图片的多个不同的群组聚类数据集；第一提取模块30用于提取人脸数据集中每个采样图片的单支流人脸特征向量；第二提取模块40用于通过对各个群组聚类数据集中各个人脸特征向量进行计算，提取每个群组聚类数据集的群组聚类中心特征向量；特征计算模块50用于基于单支流人脸特征向量和群组聚类中心特征向量计算得到嵌入系数，基于嵌入系数和单支流人脸特征向量得到富含群组特征信息的人脸特征向量表达；人脸识别模块60用于通过计算人脸特征向量表达对两张采样图片进行人脸识别。
本实施例2提供的人脸识别系统所公开的结构，利用该系统的六个模块，能够将具有相同人脸特征向量的采样图片分组在一个群组聚类数据集中，通过计算同一个群组聚类数据集内各个采样图片的嵌入系数得到采样图片的空间分布情况，放大不同人脸之间的间距，缩小相同人脸之间的间距，从而更准确地判断不同的采样图片中的人脸是否属于同一个人，人脸特征识别的鲁棒性更好。
实施例3
本申请实施例3提供了一种终端设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，用于执行存储器中存储的计算机程序，以使终端设备执行如本申请实施例1所公开的方法。
实施例4
本申请实施例4提供了一种计算机可读存储介质，包括程序或指令，当程序或指令在计算机上运行时，如本申请实施例1所公开的方法被执行。
本申请实施例所公开的人脸识别方法及系统，能够基于无监督人脸群组聚类、深度卷积神经网络、适用于任何人脸识别场景，且能够为单支流人脸特征向量赋予群组特征信息，可以在人脸特征向量空间分布方面帮助增大不同类人脸类间间距，缩小相同人脸间距，使得模型提取到更鲁棒的人脸特征。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (7)

1.一种人脸识别方法，其特征在于，所述方法包括以下步骤：
获取公开的人脸数据集，对所述人脸数据集中的多个人脸图片分别进行图像处理，转换成大小相同且与所述人脸图片所包含的内容相同的采样图片；
提取所述人脸数据集中每个所述采样图片的人脸特征向量，通过对每个所述采样图片对应的所述人脸特征向量进行聚类处理，获得包含多个所述采样图片的多个不同的群组聚类数据集；
提取所述人脸数据集中每个所述采样图片的单支流人脸特征向量；
通过对各个所述群组聚类数据集中各个所述人脸特征向量进行计算，提取每个所述群组聚类数据集的群组聚类中心特征向量；
基于所述单支流人脸特征向量和所述群组聚类中心特征向量计算得到嵌入系数，基于所述嵌入系数和所述单支流人脸特征向量得到富含群组特征信息的人脸特征向量表达；
通过计算所述人脸特征向量表达对两张所述采样图片进行人脸识别；
在提取所述人脸数据集中每个所述采样图片的单支流人脸特征向量的步骤中，包括以下步骤：
基于分类损失函数对人脸识别特征提取深度学习网络结构在所述人脸数据集的基础上进行训练；
将训练成熟的所述人脸识别特征提取深度学习网络结构复制构成权值参数相同的主干影子网络；
利用所述主干影子网络对所述人脸数据集中每个所述采样图片提取单支流人脸特征向量，并将所述采样图片与对应的单支流人脸特征向量绑定存储；
在通过对各个所述群组聚类数据集中各个所述人脸特征向量进行计算，提取每个所述群组聚类数据集的群组聚类中心特征向量的步骤中，包括以下步骤：
利用所述主干影子网络对所述多个群组聚类数据集中的多个采样图片提取人脸特征向量，并按照各个所述群组聚类数据集进行分类存储；
对各个所述群组聚类数据集中的人脸特征向量进行几何中心向量计算；
筛选出各个所述群组聚类数据集中与几何中心向量距离最小的人脸特征向量作为对应群组聚类数据集的群组聚类中心特征向量；
在基于所述单支流人脸特征向量和所述群组聚类中心特征向量计算得到嵌入系数，基于所述嵌入系数和所述单支流人脸特征向量得到富含群组特征信息的人脸特征向量表达的步骤中，包括以下步骤：
基于所述单支流人脸特征向量和所述群组聚类中心特征向量计算得出各个所述群组聚类数据集中所述单支流人脸特征向量与所述群组聚类中心特征向量的欧氏距离；
将各个所述群组聚类数据集的欧氏距离进行缩放倒数变换；
对经过缩放倒数变换后的各个所述群组聚类数据集的欧氏距离进行总距离占比计算，得到各个所述群组聚类数据集的群组聚类中心特征向量的嵌入系数；
基于各个所述群组聚类数据集中的单支流人脸特征向量和群组聚类中心特征向量及其嵌入系数，构建富含群组特征信息的人脸特征向量表达；
基于所述主干影子网络，使用所述人脸数据集微调网络参数直至收敛。
2.根据权利要求1所述的人脸识别方法，其特征在于，在获取公开的人脸数据集，对所述人脸数据集中的多个人脸图片分别进行图像处理，转换成大小相同且与所述人脸图片所包含的内容相同的采样图片的步骤中，包括以下步骤：
获取公开的人脸数据集；
对所述人脸数据集中的人脸图片进行人脸检测，获取人脸检测参数；
根据所述人脸检测参数计算所述人脸图片的偏斜角度，得到旋转角度；
将所述人脸图片做仿射变换；
将仿射变换后的所述人脸图片根据所述旋转角度进行图像旋转；
判断对所述人脸图片进行图像旋转的旋转角度是否完成图像校正；
对未完成图像校正的所述人脸图片重新计算偏斜角度；
对完成图像校正的所述人脸图片重新采样，获得具有相同大小的采样图片；
将所述采样图片转换成数据存储结构。
3.根据权利要求1所述的人脸识别方法，其特征在于，在提取所述人脸数据集中每个所述采样图片的人脸特征向量，通过对每个所述采样图片对应的所述人脸特征向量进行聚类处理，获得包含多个所述采样图片的多个不同的群组聚类数据集的步骤中，包括以下步骤：
基于分类损失函数对人脸识别深度卷积神经网络在所述人脸数据集的基础上进行训练；
利用训练成熟的所述人脸识别深度卷积神经网络对所述人脸数据集中每个所述采样图片提取出人脸特征向量，并将所述采样图片与对应的人脸特征向量绑定存储；
根据预设的参数条件对每个所述采样图片对应的人脸特征向量进行聚类处理，获得包含多个所述采样图片的多个不同的群组聚类数据集。
4.根据权利要求1所述的人脸识别方法，其特征在于，在通过计算所述人脸特征向量表达对两张所述采样图片进行人脸识别的步骤中，包括以下步骤：
计算各个所述群组聚类数据集中人脸特征向量表达的欧氏距离值，得到各个所述采样图片两两之间的差异结果；
将各个所述差异结果与预设差异阈值进行比较；
若所述差异结果不大于所述预设差异阈值，则所述差异结果对应的两个采样图片中的人脸为同一个人脸；
若所述差异结果大于所述预设差异阈值，则所述差异结果对应的两个采样图片中的人脸为不同的人脸。
5.一种人脸识别系统，其特征在于，所述系统包括：互相通信连接的图片采样模块、群组聚类模块、第一提取模块、第二提取模块、特征计算模块和人脸识别模块；
所述图片采样模块用于获取公开的人脸数据集，对所述人脸数据集中的多个人脸图片分别进行图像处理，转换成大小相同且与所述人脸图片所包含的内容相同的采样图片；
所述群组聚类模块用于提取所述人脸数据集中每个所述采样图片的人脸特征向量，通过对每个所述采样图片对应的所述人脸特征向量进行聚类处理，获得包含多个所述采样图片的多个不同的群组聚类数据集；
所述第一提取模块用于提取所述人脸数据集中每个所述采样图片的单支流人脸特征向量；
所述第二提取模块用于通过对各个所述群组聚类数据集中各个所述人脸特征向量进行计算，提取每个所述群组聚类数据集的群组聚类中心特征向量；
所述特征计算模块用于基于所述单支流人脸特征向量和所述群组聚类中心特征向量计算得到嵌入系数，基于所述嵌入系数和所述单支流人脸特征向量得到富含群组特征信息的人脸特征向量表达；
所述人脸识别模块用于通过计算所述人脸特征向量表达对两张所述采样图片进行人脸识别；
在提取所述人脸数据集中每个所述采样图片的单支流人脸特征向量的步骤中，包括以下步骤：
基于分类损失函数对人脸识别特征提取深度学习网络结构在所述人脸数据集的基础上进行训练；
将训练成熟的所述人脸识别特征提取深度学习网络结构复制构成权值参数相同的主干影子网络；
利用所述主干影子网络对所述人脸数据集中每个所述采样图片提取单支流人脸特征向量，并将所述采样图片与对应的单支流人脸特征向量绑定存储；
在通过对各个所述群组聚类数据集中各个所述人脸特征向量进行计算，提取每个所述群组聚类数据集的群组聚类中心特征向量的步骤中，包括以下步骤：
利用所述主干影子网络对所述多个群组聚类数据集中的多个采样图片提取人脸特征向量，并按照各个所述群组聚类数据集进行分类存储；
对各个所述群组聚类数据集中的人脸特征向量进行几何中心向量计算；
筛选出各个所述群组聚类数据集中与几何中心向量距离最小的人脸特征向量作为对应群组聚类数据集的群组聚类中心特征向量；
在基于所述单支流人脸特征向量和所述群组聚类中心特征向量计算得到嵌入系数，基于所述嵌入系数和所述单支流人脸特征向量得到富含群组特征信息的人脸特征向量表达的步骤中，包括以下步骤：
基于所述单支流人脸特征向量和所述群组聚类中心特征向量计算得出各个所述群组聚类数据集中所述单支流人脸特征向量与所述群组聚类中心特征向量的欧氏距离；
将各个所述群组聚类数据集的欧氏距离进行缩放倒数变换；
对经过缩放倒数变换后的各个所述群组聚类数据集的欧氏距离进行总距离占比计算，得到各个所述群组聚类数据集的群组聚类中心特征向量的嵌入系数；
基于各个所述群组聚类数据集中的单支流人脸特征向量和群组聚类中心特征向量及其嵌入系数，构建富含群组特征信息的人脸特征向量表达；
基于所述主干影子网络，使用所述人脸数据集微调网络参数直至收敛。
6.一种终端设备，其特征在于，包括：存储器和处理器：
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中存储的计算机程序，以使所述终端设备执行如权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，包括程序或指令，当所述程序或指令在计算机上运行时，如权利要求1至4中任一项所述的方法被执行。
CN202110817075.9A 2021-07-20 2021-07-20 人脸识别方法及系统 Active CN113673345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110817075.9A CN113673345B (zh) 2021-07-20 2021-07-20 人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110817075.9A CN113673345B (zh) 2021-07-20 2021-07-20 人脸识别方法及系统

Publications (2)

Publication Number Publication Date
CN113673345A CN113673345A (zh) 2021-11-19
CN113673345B true CN113673345B (zh) 2024-04-02

Family

ID=78539861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110817075.9A Active CN113673345B (zh) 2021-07-20 2021-07-20 人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN113673345B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671887A (zh) * 2024-01-16 2024-03-08 深圳市龙侨华实业有限公司 一种基于大数据的智慧安防预警管理方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080041931A (ko) * 2006-11-08 2008-05-14 삼성전자주식회사 확장된 가보 웨이브렛 특징 들을 이용한 얼굴 인식 방법 및장치
CN108416336A (zh) * 2018-04-18 2018-08-17 特斯联（北京）科技有限公司 一种智慧社区人脸识别的方法和系统
CN110991210A (zh) * 2019-01-30 2020-04-10 复钧智能科技(苏州)有限公司 一种基于深度学习的嵌入式人脸识别方法及装置
CN111931749A (zh) * 2020-10-12 2020-11-13 北京神州泰岳智能数据技术有限公司 一种基于神经网络的人脸聚类方法以及装置
CN112633250A (zh) * 2021-01-05 2021-04-09 北京经纬信息技术有限公司 一种人脸识别检测实验方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080041931A (ko) * 2006-11-08 2008-05-14 삼성전자주식회사 확장된 가보 웨이브렛 특징 들을 이용한 얼굴 인식 방법 및장치
CN108416336A (zh) * 2018-04-18 2018-08-17 特斯联（北京）科技有限公司 一种智慧社区人脸识别的方法和系统
CN110991210A (zh) * 2019-01-30 2020-04-10 复钧智能科技(苏州)有限公司 一种基于深度学习的嵌入式人脸识别方法及装置
CN111931749A (zh) * 2020-10-12 2020-11-13 北京神州泰岳智能数据技术有限公司 一种基于神经网络的人脸聚类方法以及装置
CN112633250A (zh) * 2021-01-05 2021-04-09 北京经纬信息技术有限公司 一种人脸识别检测实验方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于5G技术的武汉卷烟厂安防监控建设应用与研究;宋煜等;《技术应用》;第19-26页 *

Also Published As

Publication number Publication date
CN113673345A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN112287940A (zh) 一种基于深度学习的注意力机制的语义分割的方法
CN111814611B (zh) 一种嵌入高阶信息的多尺度人脸年龄估计方法及系统
CN109086777B (zh) 一种基于全局像素特征的显著图精细化方法
CN109410247A (zh) 一种多模板和自适应特征选择的视频跟踪算法
CN112465801B (zh) 一种分尺度提取掩码特征的实例分割方法
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN109948397A (zh) 一种人脸图像校正方法、系统及终端设备
CN108197669B (zh) 卷积神经网络的特征训练方法及装置
CN109872305A (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN113673345B (zh) 人脸识别方法及系统
CN112614070B (zh) 一种基于DefogNet的单幅图像去雾方法
CN112001386B (zh) 一种基于车牌字符识别方法、系统、介质及终端
CN110647820A (zh) 基于特征空间超分辨映射的低分辨率人脸识别方法
CN111339869A (zh) 一种人脸识别方法、装置、计算机可读存储介质及设备
CN115147932A (zh) 一种基于深度学习的静态手势识别方法及系统
CN112926552A (zh) 基于深度神经网络的遥感影像车辆目标识别模型及方法
Chen et al. A convolutional neural network with dynamic correlation pooling
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及系统
CN108090460B (zh) 基于韦伯多方向描述子的人脸表情识别特征提取方法
CN111191035B (zh) 一种识别肺癌临床数据库文本实体的方法及装置
CN117078508A (zh) 一种基于多特征点点集的点云配准方法及系统
CN112257504A (zh) 脸型识别方法、脸型识别模型训练方法及相关装置
CN116843893A (zh) 一种基于注意力机制多尺度卷积神经网络的三维图像分割方法及系统
CN112990336B (zh) 基于竞争注意力融合的深度三维点云分类网络构建方法
CN115482405A (zh) 基于深度学习的单模板匹配的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant