CN116110100B - 一种人脸识别方法、装置、计算机设备及存储介质 - Google Patents
一种人脸识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116110100B CN116110100B CN202310094544.8A CN202310094544A CN116110100B CN 116110100 B CN116110100 B CN 116110100B CN 202310094544 A CN202310094544 A CN 202310094544A CN 116110100 B CN116110100 B CN 116110100B
- Authority
- CN
- China
- Prior art keywords
- face
- feature
- attribute information
- area image
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000013598 vector Substances 0.000 claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 41
- 230000001815 facial effect Effects 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了人脸识别方法、系统、计算机设备及介质，其方法实现，包括：通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像；将人脸区域图像输入至目标人脸特征属性模型中进行处理，以获取每个人脸区域图像对应的特征向量以及属性信息；根据属性信息，对不符合预设检测条件的人脸区域图像进行过滤；将过滤后的每一个人物对应的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，当匹配度大于第一预设阈值时，则输出所述人脸区域图像对应的人物身份信息以及属性信息，并通过属性信息对所述数据库中预存的历史属性信息进行更新。可同时生成人脸特征及多种属性信息，减少了时间，提高了精确度。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸识别方法、装置、计算机设备及存储介质。
背景技术
人脸识别(Face Recognition)基于图像或视频中的人脸检测、分析和比对技术，提供对据的人脸检测定位、人脸属性识别和人脸比对等独立服务模块。广泛应用于人脸AR、人脸识别和认证、大规模人脸检索、照片管理等各种场景。
目前，在对人脸进行识别时，仅支持对人脸特征进行检测，或者对人脸属性进行检测，及时可以同时支持对人脸特征和人脸属性进行检测，其所采用的方式也是需要独立进行，即需要分别训练两个深度学习模型，并分别由两个深度学习模型独立获取，需要花费大量时间，且只能预估少量的人脸属性，对于困难场景，例如，模糊，或者角度遮挡时，精度过低。
发明内容
基于此，有必要针对上述技术问题，提供一种人脸识别方法、系统、计算机设备及存储介质，以解决至少一个现有技术中存在的问题。
第一方面，提供了一种人脸识别方法，包括：
通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像；
将所述人脸区域图像输入至目标人脸特征属性模型中进行处理，以获取每个人脸区域图像对应的特征向量以及属性信息；
根据所述属性信息，对不符合预设检测条件的人脸区域图像进行过滤；
将所述过滤后的每一个人物对应的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，当匹配度大于第一预设阈值时，则输出所述人脸区域图像对应的人物身份信息以及属性信息，并通过所述属性信息对所述数据库中预存的历史属性信息进行更新。
在一实施例中，当所述待检测数据为待检测视频时，所述根据所述属性信息，对不符合预设检测条件的人脸区域图像进行过滤之后，包括：
将当前帧中每一个人的人脸区域图像对应的特征向量与前一帧保留的人脸区域图像对应的特征向量进行特征对比；
当匹配度大于第二预设阈值时，将所述前一帧保留的人脸区域图像作为当前帧保留的人脸区域图像；
当所述匹配度小于所述第二预设阈值时，将所述当前帧新出现的人脸区域图像作为当前帧保留的人脸区域图像。
在一实施例中，所述将所述过滤后的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，包括：
当所述待检测视频的剩余帧中目标用户的人脸区域图像对应的特征向量与前一帧保留的人脸区域图像对应的特征向量之间的匹配度小于所述第二预设阈值时，则将前一帧保留的所述目标用户的人脸区域图像与所述数据库中预存的人脸区域图像进行特征对比。
在一实施例中，所述通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像，包括：
通过人脸检测模型获取所述每一帧待检测视频或者每一张待检测图片中所有的人脸检测框；
检测所述人脸检测框中的人脸关键点；
根据所述人脸关键点进行人脸对齐，并对对齐后的人脸检测框中的人脸区域图像进行截取。
在一实施例中，所述属性信息包括性别、年龄、颜值、表情、清晰度、是否闭眼、是否戴眼镜、是否戴口罩、是否戴帽子。
在一实施例中，所述目标人脸特征属性模型，包括主干网络、特征网络以及属性网络，所述主干网络用于对输入的待检测视频以及待检测图片进行处理，以提取深层次特征向量，并分别发送给所述特征网络以及属性网络，所述特征网络用于对所述深层次特征向量进行处理，以生成所述特征向量，所述属性网络用于对所述深层次特征向量进行处理，以生成所述属性信息。
在一实施例中，所述目标人脸特征属性模型通过如下方式获取：
将训练数据集中的训练视频数据或者训练图像数据输入至原始人脸特征属性模型，通过所述原始人脸特征属性模型生成每个人脸区域图像的训练特征向量以及训练属性信息；
根据所述训练特征向量，计算出第一损失函数值；
根据所述训练属性信息，计算出第二损失函数值；
根据所述第一损失函数值与所述第二损失函数值的加权和计算出总损失函数值；
根据所述总损失函数值，对原始人脸特征属性模型进行迭代训练，直到所述总损失函数值小于预设损失阈值时，生成所述目标人脸特征属性模型。
第二方面，提供了一种人脸识别系统，包括：
人脸区域图像提取单元，用于通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像；
特征向量以及属性信息获取单元，用于将所述人脸区域图像输入至目标人脸特征属性模型中进行处理，以获取每个人脸区域图像对应的特征向量以及属性信息；
过滤单元，用于根据所述属性信息，对不符合预设检测条件的人脸区域图像进行过滤；
特征匹配单元，用于将所述过滤后的每一个人物对应的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，当匹配度大于第一预设阈值时，则输出所述人脸区域图像对应的人物身份信息以及属性信息，并通过所述属性信息对所述数据库中预存的历史属性信息进行更新。
第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述所述人脸识别方法的步骤。
第四方面，提供了一种可读存储介质，所述可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述基于自适应业务分流的路由分发方法的步骤。
上述人脸识别方法、系统、计算机设备及存储介质，其方法实现，包括：通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像；将所述人脸区域图像输入至目标人脸特征属性模型中进行处理，以获取每个人脸区域图像对应的特征向量以及属性信息；根据所述属性信息，对不符合预设检测条件的人脸区域图像进行过滤；将所述过滤后的每一个人物对应的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，当匹配度大于第一预设阈值时，则输出所述人脸区域图像对应的人物身份信息以及属性信息，并通过所述属性信息对所述数据库中预存的历史属性信息进行更新。本申请中，通过预先训练的目标人脸特征属性模型可同时生成人脸特征向量以及多种属性信息，极大的减少了人脸识别和属性分析的时间，且本申请可以对不符合条件的人脸区域图像进行过滤，可以有效提高精确度，尤其面对视频中任务姿态丰富、场景困难，例如运动模糊，遮挡等情况下，具有良好的识别准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中提供的目标人脸特征属性检测模型的结构示意图；
图2是本发明一实施例中人脸识别方法的一流程示意图；
图3是本发明一实施例中人脸识别系统的一结构示意图；
图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供的人脸识别方法，可通过如图1所示的目标人脸特征属性模型进行预测，其中，该目标人脸特征属性模型可包括主干网络、特征网络和属性网络，该特征网络还包括特征训练网络，该属性网络可包括多个属性子网络。所述主干网络用于对输入的待检测视频以及待检测图片进行处理，以提取深层次特征向量，并分别发送给所述特征网络以及属性网络，所述特征网络用于对所述深层次特征向量进行处理，以生成所述特征向量，所述属性网络用于对所述深层次特征向量进行处理，以生成所述属性信息。
其中，该主干网络根据计算量要求可以使用所有主流的基干网络，例如resnet、mobilenet等。
其中，特征网络通常由若干卷积层、跳跃连接、和自注意力层组成，最后经过全连接层输出512维向量。
其中，特征训练网络只在模型训练阶段使用，可使用任何人脸识别损失函数对应的模型，例如arcface、cosface、sphereface等。
其中，属性网络通常由若干卷积层、跳跃连接、和自注意力层组成。该属性子网络具体包括：
性别网络：是一个二分类网络结构，输出人物是男性和女性的概率。
年龄网络：用于输出101维的向量，表示人物年龄在0、1、2、100岁的概率，用期望值表示该人物的最终年龄。
颜值网络：用于输出一个0到1之间的标量值，表示人物的漂亮程度，值越大表示越漂亮。
表情网络：是一个三分类网络结构，输出人物表情是正面、中性、负面的概率。
清晰度网络：用于输出一个0到1之间的标量值，表示人脸的清晰程度，值越大表示越清晰。
闭眼网络：是一个二分类网络结构，输出人物闭眼和睁眼的概率。
戴眼镜网络：是一个二分类网络结构，输出人物戴眼镜和不戴眼镜的概率。
戴口罩网络：是一个二分类网络结构，输出人物戴口罩和不戴口罩的概率。
戴帽子网络：是一个二分类网络结构，输出人物戴帽子和不戴帽子的概率。
在一实施例中，如图2所示，提供一种人脸识别方法，包括如下步骤：
在步骤S110中，通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像；
在本申请实施例中，可输入视频或者图片，当输入的数据为视频时，可通过人脸检测模型对视频中的每一帧中所显示的每一个人物对应的人脸区域图像进行提取，当输入的数据为图片时，则可对每一张图片中所显示的每一个人物对应的人脸区域进行提取。
在本申请一实施例中，通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像，包括：
通过人脸检测模型获取所述每一帧待检测视频或者每一张待检测图片中所有的人脸检测框；
检测所述人脸检测框中的人脸关键点；
根据所述人脸关键点进行人脸对齐，并对对齐后的人脸检测框中的人脸区域图像进行截取。
具体的，通过该人脸检测模型可以识别出该每一帧视频或者每一张图片上出现的人脸区域，并通过人脸检测框进行框取，同时可以对人脸检测框中的人脸关键点进行检测，通过检测出的人脸关键点进行人脸对齐，例如可以和预设的标准人脸关键点检测框进行对齐，对齐完成后可截取出该人脸检测框中的人脸区域作为人脸区域图片。
其中，该人脸关键点可包括：左眼中心、右眼中心、鼻尖、左嘴角以及右嘴角。
进一步，可根据该标准人脸关键点检测框对人脸区域图像进行缩小、放大和移动，以使人脸区域对齐至人脸检测框中。
在步骤S120中，将所述人脸区域图像输入至目标人脸特征属性模型中进行处理，以获取每个人脸区域图像对应的特征向量以及属性信息；
在本申请实施例中，该属性信息可包括性别、年龄、颜值、表情、清晰度、是否闭眼、是否戴眼镜、是否戴口罩、是否戴帽子。
在本申请实施例中，该目标人脸特征属性模型为预先通过训练数据集进行训练得到的，且可同时输出人脸特征向量以及多种属性信息。
在本申请实施例中，该目标人脸特征属性模型：包括主干网络、特征网络以及属性网络，所述主干网络用于对输入的待检测视频以及待检测图片进行处理，以提取深层次特征向量，并分别发送给所述特征网络以及属性网络，所述特征网络用于对所述深层次特征向量进行处理，以生成所述特征向量，所述属性网络用于对所述深层次特征向量进行处理，以生成所述属性信息。
进一步，该目标人脸特征属性模型通过如下方式获取：
将训练数据集中的训练视频数据或者训练图像数据输入至原始人脸特征属性模型，通过所述原始人脸特征属性模型生成每个人脸区域图像的训练特征向量以及训练属性信息；
根据所述训练特征向量，计算出第一损失函数值；
根据所述训练属性信息，计算出第二损失函数值；
根据所述第一损失函数值与所述第二损失函数值的加权和计算出总损失函数值；
根据所述总损失函数值，对原始人脸特征属性模型进行迭代训练，直到所述总损失函数值小于预设损失阈值时，生成所述目标人脸特征属性模型。
具体的，在对原始人脸特征属性模型进行训练时，可通过预设的损失函数，例如，交叉熵代价函数、均方误差函数等方式计算出特征向量的第一损失函数值以及多种属性信息的对应的多个第二损失函数值，并进行加权求和算法得到总损失函数，基于该总损失函数可对该原始人脸特征属性模型进行迭代训练，直到该总损失函数值最小，此时可生成目标人脸特征属性模型，以通过该目标人脸特征属性模型对视频或者图片进行人脸识别和属性分析。
进一步，由于不是所有的视频帧或者图片中均同时具备ID、性别、年龄、颜值、表情、清晰度、是否闭眼、是否戴眼镜、是否戴口罩、是否戴帽子所有标签。并且由于训练数据集使用了多种开源和非开源的数据集，因此当某一张图某一个标签不存在时，可将该标签值计作-1，最后算损失函数时，可不加入到总损失函数的值。
在步骤S130中，根据所述属性信息，对不符合预设检测条件的人脸区域图像进行过滤；
在本申请实施例中，预设检测条件具备可包括清晰度较低，面部遮挡面积较大，例如带口罩的人脸图像，或者侧面的人脸图像等。具体可以根据获取的每张人脸区域图像的属性信息进行确定，将不符合该预设检测条件的人脸区域图像进行删除，不在执行后续步骤。
在本申请实施例中，当所述待检测数据为待检测视频时，所述根据所述属性信息，对不符合预设检测条件的人脸区域图像进行过滤之后，包括：
将当前帧中每一个人的人脸区域图像对应的特征向量与前一帧保留的人脸区域图像对应的特征向量进行特征对比；
当匹配度大于第二预设阈值时，将所述前一帧保留的人脸区域图像作为当前帧保留的人脸区域图像；
当所述匹配度小于所述第二预设阈值时，将所述当前帧新出现的人脸区域图像作为当前帧保留的人脸区域图像。
在本申请实施例中，对于每一帧视频数据或者每一张图片数据中第一次出现的人物的人脸区域图像可分配一新的ID，用于唯一标识该人物身份。
在本申请实施例中，由于视频拍摄为持续时间的画面，如果用户持续出现在画面中，则会在前后帧会出现重复的人脸，而由于需要对视频数据的每一帧画面中出现的人物的人脸区域进行截取和检测，因此当用户持续出现在多帧视频中时，需要对该用户的多张人脸区域图像均与数据库中存储的所有人脸区域图像进行特征对比，当数据库库中人脸区域图像的数量特别多时，视频中相邻帧重复的人脸被多次重复与库中人脸比对，需要花费大量时间。本申请中通过对每一帧的人脸图像进行截取和过滤，保留下来的人脸图像在与后一帧截取的每个人的人脸区域图像进行特征对比，当匹配度大于预设阈值时，则说明前后帧的人脸区域图像属于同一个用户的，此时可以使用该分配给该用户的ID，并记录该ID的用户没有离开，即其依然处于视频数据中，并且将该ID的用户的前一帧保留的人脸区域图像在当前帧继续保留，并剔除当前帧该ID的用户的人脸区域图像，可以实现只在每个人第一次出现的时候与数据库中人脸区域图像进行特征匹配，极大了减少了视频人脸特征匹配时间。
进一步，当当前帧处理的人脸区域图像与前一帧保留的人脸区域图像均没有匹配上时，即匹配度低于第二预设阈值时，则可认为当前帧出现了新的用户的人脸区域图像，可向该人脸区域图像分配新的ID，并将其作为当前帧保留的人脸区域图像。
可以理解的，将前一帧需要保留的人脸区域图像和当前帧新出现的人脸区域如下进行保留，以作为当前帧需要保留的人脸，继续处理下一帧。进一步，可以使用该ID用户当前帧所对应的属性信息对前一帧保留的该ID的用户的人脸区域图像对应属性信息进行更新。
在本申请一实施例中，可以对ID用户的前一帧保留的人脸区域图像与当前帧截取的人脸区域图像进行质量评分，并将质量评分高的人脸区域图像作为当前帧保留的人脸区域图像，例如，可以通过前一帧保留的人脸区域图像的属性信息采用加权求和算法进行加权求和，以作为前一帧保留的人脸区域图像的质量评分，同理，该当前帧的人脸区域图像也可通过其属性信息加权求和，以作为当前帧保留的人脸区域图像的质量评分，基于该质量评分进行对比，将质量评分高的人脸区域图像作为当前帧保留的人脸区域图像。可以保留下质量最好、清晰度最优的人脸区域图像作为最终对比对象，以提高对比的准确性。
在步骤S140中，将所述过滤后的每一个人物对应的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，当匹配度大于第一预设阈值时，则输出所述人脸区域图像对应的人物身份信息以及属性信息，并通过所述属性信息对所述数据库中预存的历史属性信息进行更新。
在本申请实施例中，通过余弦相似度算法，分别计算所述过滤后的每一个人物对应的人脸区域图像的特征向量与预存的人脸区域图像对应的特征向量之间的余弦距离，当该余弦距离大于第一预设阈值，例如0.6时，则可认为是同一个人，此时，可以输出数据库中预存的身份信息，以确定该人物的身份，并可通过该人物的人脸区域图像所获取多种属性信息对该人物在数据库中预存的属性信息进行更新。
在本申请一实施例中，将所述过滤后的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，包括：
当所述待检测视频的剩余帧中目标用户的人脸区域图像对应的特征向量与前一帧保留的人脸区域图像对应的特征向量之间的匹配度小于所述第二预设阈值时，则将前一帧保留的所述目标用户的人脸区域图像与所述数据库中预存的人脸区域图像进行特征对比。
在本申请实施例中，依次对视频的每一帧数据进行处理，当在当前帧中出现与前一帧匹配度大于第二预设阈值的人脸区域图像时，则表示该人脸区域图像的用户没有在拍摄的视频画面中离开，此时则将前一帧的该用户的人脸区域图像作为当前帧需要保留的人脸区域图像，并继续处理一下帧图像直到该用户在视频画面中离开，即前一帧保留的人脸区域图像与后一帧中处理的人脸区域图像没有匹配上，则可将该用户的人脸区域图像与数据库中存储的所有的人脸区域图像进行匹配对比，当匹配度达到第一预设阈值时，则根据该数据库中存储的该身份信息作为该用户的身份信息，同时，将该用户的人脸区域图像对应的属性信息对该数据库中存储的该用户的身份进行更新。通过对前后帧视频的人脸区域图像进行对比，将重复的人脸区域图像进行剔除，可以理解为，只保留该用户最开始出现的人脸区域图像，并将该用户最开始出现的人脸区域图像与数据库中存储的人脸区域图像进行对比，无需对每一帧中该用户出现的人脸区域图像均与数据库中存储的人脸区域图像进行对比，可以极大的节省特征匹配时间。
上述人脸识别方法、系统、计算机设备及存储介质，其方法实现，包括：通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像；将所述人脸区域图像输入至目标人脸特征属性模型中进行处理，以获取每个人脸区域图像对应的特征向量以及属性信息；根据所述属性信息，对不符合预设检测条件的人脸区域图像进行过滤；将所述过滤后的每一个人物对应的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，当匹配度大于第一预设阈值时，则输出所述人脸区域图像对应的人物身份信息以及属性信息，并通过所述属性信息对所述数据库中预存的历史属性信息进行更新。本申请中，通过预先训练的目标人脸特征属性模型可同时生成人脸特征向量以及多种属性信息，极大的减少了人脸识别和属性分析的时间，且本申请可以对不符合条件的人脸区域图像进行过滤，可以有效提高精确度，尤其面对视频中任务姿态丰富、场景困难，例如运动模糊，遮挡等情况下，具有良好的识别准确度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种人脸识别系统，该人脸识别系统与上述实施例中人脸识别方法一一对应。如图3所示，该人脸识别系统包括人脸区域图像提取单元10、属性信息获取单元20、过滤单元30以及第一特征匹配单元40。各功能模块详细说明如下：
人脸区域图像提取单元10，用于通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像；
特征向量以及属性信息获取单元20，用于将所述人脸区域图像输入至目标人脸特征属性模型中进行处理，以获取每个人脸区域图像对应的特征向量以及属性信息；
过滤单元30，用于根据所述属性信息，对不符合预设检测条件的人脸区域图像进行过滤；
第一特征匹配单元40，用于将所述过滤后的每一个人物对应的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，当匹配度大于第一预设阈值时，则输出所述人脸区域图像对应的人物身份信息以及属性信息，并通过所述属性信息对所述数据库中预存的历史属性信息进行更新。
在一实施例中，所述系统还包括第二特征匹配单元，用于：
将当前帧中每一个人的人脸区域图像对应的特征向量与前一帧保留的人脸区域图像对应的特征向量进行特征对比；
当匹配度大于第二预设阈值时，将所述前一帧保留的人脸区域图像作为当前帧保留的人脸区域图像，并对前一帧保留的人脸区域图像对应的属性信息进行更新；
当所述匹配度小于所述第二预设阈值时，将所述人脸区域图像作为当前帧保留的人脸区域图像进行保留，并分配新的ID。
在一实施例中，第一特征匹配单元40，还用于：
当所述待检测视频的剩余帧中目标用户的人脸区域图像对应的特征向量与前一帧保留的人脸区域图像对应的特征向量之间的匹配度小于所述第二预设阈值时，则将前一帧保留的所述目标用户的人脸区域图像与所述数据库中预存的人脸区域图像进行特征对比。
在一实施例中，人脸区域图像提取单元10，还用于：
通过人脸检测模型获取所述每一帧待检测视频或者每一张待检测图片中所有的人脸检测框；
检测所述人脸检测框中的人脸关键点；
根据所述人脸关键点进行人脸对齐，并对对齐后的人脸检测框中的人脸区域图像进行截取。
在一实施例中，所述属性信息包括性别、年龄、颜值、表情、清晰度、是否闭眼、是否戴眼镜、是否戴口罩、是否戴帽子。
在一实施例中，所述目标人脸特征属性模型，包括主干网络、特征网络以及属性网络，所述主干网络用于对输入的待检测视频以及待检测图片进行处理，以提取深层次特征向量，并分别发送给所述特征网络以及属性网络，所述特征网络用于对所述深层次特征向量进行处理，以生成所述特征向量，所述属性网络用于对所述深层次特征向量进行处理，以生成所述属性信息。
在一实施例中，所述系统还包括目标人脸特征属性模型获取模块，用于：
将训练数据集中的训练视频数据或者训练图像数据输入至原始人脸特征属性模型，通过所述原始人脸特征属性模型生成每个人脸区域图像的训练特征向量以及训练属性信息；
根据所述训练特征向量，计算出第一损失函数值；
根据所述训练属性信息，计算出第二损失函数值；
根据所述第一损失函数值与所述第二损失函数值的加权和计算出总损失函数值；
根据所述总损失函数值，对原始人脸特征属性模型进行迭代训练，直到所述总损失函数值小于预设损失阈值时，生成所述目标人脸特征属性模型。
本申请中，通过预先训练的目标人脸特征属性模型可同时生成人脸特征向量以及多种属性信息，极大的减少了人脸识别和属性分析的时间，且本申请可以对不符合条件的人脸区域图像进行过滤，可以有效提高精确度，尤其面对视频中任务姿态丰富、场景困难，例如运动模糊，遮挡等情况下，具有良好的识别准确度。
关于人脸识别系统的具体限定可以参见上文中对于人脸识别方法的限定，在此不再赘述。上述人脸识别系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质。该可读存储介质存储有计算机可读指令。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种人脸识别方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现如上述人脸识别方法的步骤。
一种可读存储介质，可读存储介质存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述人脸识别方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (9)
1.一种人脸识别方法，其特征在于，所述方法，包括：
通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像；
将所述人脸区域图像输入至目标人脸特征属性模型中进行处理，以获取每个人脸区域图像对应的特征向量以及属性信息；
根据所述属性信息，对不符合预设检测条件的人脸区域图像进行过滤；
将所述过滤后的每一个人物对应的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，当匹配度大于第一预设阈值时，则输出所述人脸区域图像对应的人物身份信息以及属性信息，并通过所述属性信息对所述数据库中预存的历史属性信息进行更新；
其中，所述根据所述属性信息，对不符合预设检测条件的人脸区域图像进行过滤之后，包括：
将当前帧中每一个人的人脸区域图像对应的特征向量与前一帧保留的人脸区域图像对应的特征向量进行特征对比；
当匹配度大于第二预设阈值时，将所述前一帧保留的人脸区域图像作为当前帧保留的人脸区域图像；
当所述匹配度小于所述第二预设阈值时，将所述当前帧新出现的人脸区域图像作为当前帧保留的人脸区域图像。
2.如权利要求1所述的人脸识别方法，其特征在于，所述将所述过滤后的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，包括：
当所述待检测视频的剩余帧中目标用户的人脸区域图像对应的特征向量与前一帧保留的人脸区域图像对应的特征向量之间的匹配度小于所述第二预设阈值时，则将前一帧保留的所述目标用户的人脸区域图像与所述数据库中预存的人脸区域图像进行特征对比。
3.如权利要求1所述的人脸识别方法，其特征在于，所述通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像，包括：
通过人脸检测模型获取所述每一帧待检测视频或者每一张待检测图片中所有的人脸检测框；
检测所述人脸检测框中的人脸关键点；
根据所述人脸关键点进行人脸对齐，并对对齐后的人脸检测框中的人脸区域图像进行截取。
4.如权利要求1所述的人脸识别方法，其特征在于，所述属性信息包括性别、年龄、颜值、表情、清晰度、是否闭眼、是否戴眼镜、是否戴口罩、是否戴帽子。
5.如权利要求1所述的人脸识别方法，其特征在于，所述目标人脸特征属性模型，包括主干网络、特征网络以及属性网络，所述主干网络用于对输入的待检测视频以及待检测图片进行处理，以提取深层次特征向量，并分别发送给所述特征网络以及属性网络，所述特征网络用于对所述深层次特征向量进行处理，以生成所述特征向量，所述属性网络用于对所述深层次特征向量进行处理，以生成所述属性信息。
6.如权利要求1所述的人脸识别方法，其特征在于，所述目标人脸特征属性模型通过如下方式获取：
将训练数据集中的训练视频数据或者训练图像数据输入至原始人脸特征属性模型，通过所述原始人脸特征属性模型生成每个人脸区域图像的训练特征向量以及训练属性信息；
根据所述训练特征向量，计算出第一损失函数值；
根据所述训练属性信息，计算出第二损失函数值；
根据所述第一损失函数值与所述第二损失函数值的加权和计算出总损失函数值；
根据所述总损失函数值，对原始人脸特征属性模型进行迭代训练，直到所述总损失函数值小于预设损失阈值时，生成所述目标人脸特征属性模型。
7.一种人脸识别系统，其特征在于，所述系统，包括：
人脸区域图像提取单元，用于通过人脸检测模型，提取每一帧待检测视频或者每一张待检测图片中每一个人物对应的人脸区域图像；
特征向量以及属性信息获取单元，用于将所述人脸区域图像输入至目标人脸特征属性模型中进行处理，以获取每个人脸区域图像对应的特征向量以及属性信息；
过滤单元，用于根据所述属性信息，对不符合预设检测条件的人脸区域图像进行过滤；
特征匹配单元，用于将所述过滤后的每一个人物对应的人脸区域图像分别与数据库中预存的人脸区域图像进行特征对比，当匹配度大于第一预设阈值时，则输出所述人脸区域图像对应的人物身份信息以及属性信息，并通过所述属性信息对所述数据库中预存的历史属性信息进行更新；
其中，所述系统还包括第二特征匹配单元，用于：
将当前帧中每一个人的人脸区域图像对应的特征向量与前一帧保留的人脸区域图像对应的特征向量进行特征对比；
当匹配度大于第二预设阈值时，将所述前一帧保留的人脸区域图像作为当前帧保留的人脸区域图像；
当所述匹配度小于所述第二预设阈值时，将所述当前帧新出现的人脸区域图像作为当前帧保留的人脸区域图像。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至6任意一项所述人脸识别方法的步骤。
9.一种可读存储介质，所述可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至6任意一项所述人脸识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310094544.8A CN116110100B (zh) | 2023-01-14 | 2023-01-14 | 一种人脸识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310094544.8A CN116110100B (zh) | 2023-01-14 | 2023-01-14 | 一种人脸识别方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116110100A CN116110100A (zh) | 2023-05-12 |
| CN116110100B true CN116110100B (zh) | 2023-11-14 |
Family
ID=86255731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310094544.8A Active CN116110100B (zh) | 2023-01-14 | 2023-01-14 | 一种人脸识别方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116110100B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116453201B (zh) * | 2023-06-19 | 2023-09-01 | 南昌大学 | 基于相邻边缘损失的人脸识别方法及系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040042501A (ko) * | 2002-11-14 | 2004-05-20 | 엘지전자 주식회사 | 형판 정합 기반 얼굴 검출방법 |
| WO2014205768A1 (zh) * | 2013-06-28 | 2014-12-31 | 中国科学院自动化研究所 | 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 |
| CN110569809A (zh) * | 2019-09-11 | 2019-12-13 | 淄博矿业集团有限责任公司 | 一种基于深度学习的煤矿动态人脸识别考勤方法及系统 |
| WO2020017190A1 (ja) * | 2018-07-18 | 2020-01-23 | 株式会社日立製作所 | 映像解析装置、人物検索システムおよび人物検索方法 |
| CN111079553A (zh) * | 2019-11-25 | 2020-04-28 | 上海眼控科技股份有限公司 | 客户分析数据的获取方法、装置、设备和存储介质 |
| CN112183162A (zh) * | 2019-07-04 | 2021-01-05 | 北京航天长峰科技工业集团有限公司 | 一种监控场景下人脸自动注册识别系统及方法 |
| WO2021139309A1 (zh) * | 2020-07-31 | 2021-07-15 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
| CN113239727A (zh) * | 2021-04-03 | 2021-08-10 | 国家计算机网络与信息安全管理中心 | 一种人物的检测和识别方法 |
| WO2021184894A1 (zh) * | 2020-03-20 | 2021-09-23 | 深圳市优必选科技股份有限公司 | 一种去模糊的人脸识别方法、系统和一种巡检机器人 |
| CN113642450A (zh) * | 2021-08-09 | 2021-11-12 | 深圳市英威诺科技有限公司 | 视频人脸识别方法、系统及存储介质 |
| CN114565955A (zh) * | 2021-12-27 | 2022-05-31 | 深圳云天励飞技术股份有限公司 | 人脸属性识别模型训练、社区人员监控方法、装置、设备 |
| CN114627345A (zh) * | 2022-03-15 | 2022-06-14 | 锐迪科创微电子（北京）有限公司 | 人脸属性的检测方法及装置、存储介质、终端 |
| CN114973344A (zh) * | 2021-02-22 | 2022-08-30 | 武汉Tcl集团工业研究院有限公司 | 人脸检测方法、装置、终端设备和计算机可读存储介质 |
| CN115035564A (zh) * | 2022-05-06 | 2022-09-09 | 深圳英飞拓智能技术有限公司 | 基于巡逻车智能摄像机的人脸识别方法、系统及相关组件 |
-
2023
- 2023-01-14 CN CN202310094544.8A patent/CN116110100B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040042501A (ko) * | 2002-11-14 | 2004-05-20 | 엘지전자 주식회사 | 형판 정합 기반 얼굴 검출방법 |
| WO2014205768A1 (zh) * | 2013-06-28 | 2014-12-31 | 中国科学院自动化研究所 | 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 |
| WO2020017190A1 (ja) * | 2018-07-18 | 2020-01-23 | 株式会社日立製作所 | 映像解析装置、人物検索システムおよび人物検索方法 |
| CN112183162A (zh) * | 2019-07-04 | 2021-01-05 | 北京航天长峰科技工业集团有限公司 | 一种监控场景下人脸自动注册识别系统及方法 |
| CN110569809A (zh) * | 2019-09-11 | 2019-12-13 | 淄博矿业集团有限责任公司 | 一种基于深度学习的煤矿动态人脸识别考勤方法及系统 |
| CN111079553A (zh) * | 2019-11-25 | 2020-04-28 | 上海眼控科技股份有限公司 | 客户分析数据的获取方法、装置、设备和存储介质 |
| WO2021184894A1 (zh) * | 2020-03-20 | 2021-09-23 | 深圳市优必选科技股份有限公司 | 一种去模糊的人脸识别方法、系统和一种巡检机器人 |
| WO2021139309A1 (zh) * | 2020-07-31 | 2021-07-15 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
| CN114973344A (zh) * | 2021-02-22 | 2022-08-30 | 武汉Tcl集团工业研究院有限公司 | 人脸检测方法、装置、终端设备和计算机可读存储介质 |
| CN113239727A (zh) * | 2021-04-03 | 2021-08-10 | 国家计算机网络与信息安全管理中心 | 一种人物的检测和识别方法 |
| CN113642450A (zh) * | 2021-08-09 | 2021-11-12 | 深圳市英威诺科技有限公司 | 视频人脸识别方法、系统及存储介质 |
| CN114565955A (zh) * | 2021-12-27 | 2022-05-31 | 深圳云天励飞技术股份有限公司 | 人脸属性识别模型训练、社区人员监控方法、装置、设备 |
| CN114627345A (zh) * | 2022-03-15 | 2022-06-14 | 锐迪科创微电子（北京）有限公司 | 人脸属性的检测方法及装置、存储介质、终端 |
| CN115035564A (zh) * | 2022-05-06 | 2022-09-09 | 深圳英飞拓智能技术有限公司 | 基于巡逻车智能摄像机的人脸识别方法、系统及相关组件 |
Non-Patent Citations (3)
| Title |
|---|
| CogEmoNet: A Cognitive-Feature-Augmented Driver Emotion Recognition Model for Smart Cockpit;Wenbo Li 等;《 IEEE Transactions on Computational Social Systems 》;全文 * |
| 基于人脸区域特征相关性的视频流人脸识别研究;董胜;李凤;刘守印;;智能计算机与应用(03);全文 * |
| 基于视觉跟踪的实时视频人脸识别;任梓涵;杨双远;;厦门大学学报(自然科学版)(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116110100A (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021077984A1 (zh) | 对象识别方法、装置、电子设备及可读存储介质 | |
| CN108520219B (zh) | 一种卷积神经网络特征融合的多尺度快速人脸检测方法 | |
| CN109344742B (zh) | 特征点定位方法、装置、存储介质和计算机设备 | |
| WO2021174880A1 (zh) | 征提取模型训练方法、人脸识别方法、装置、设备及介质 | |
| CN109934197A (zh) | 人脸识别模型的训练方法、装置和计算机可读存储介质 | |
| WO2022179401A1 (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
| WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| WO2021179471A1 (zh) | 一种人脸模糊度检测方法、装置、计算机设备及存储介质 | |
| CN111274947B (zh) | 一种多任务多线索人脸识别方法、系统及存储介质 | |
| CN109271958A (zh) | 人脸年龄识别方法及装置 | |
| CN111108508B (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
| CN111914748B (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
| CN110378230A (zh) | 失踪人脸识别方法、装置、计算机设备和存储介质 | |
| CN116110100B (zh) | 一种人脸识别方法、装置、计算机设备及存储介质 | |
| CN113205002B (zh) | 非受限视频监控的低清人脸识别方法、装置、设备及介质 | |
| CN112801054A (zh) | 人脸识别模型的处理方法、人脸识别方法及装置 | |
| CN113435330A (zh) | 基于视频的微表情识别方法、装置、设备及存储介质 | |
| CN110969154A (zh) | 文本识别方法、装置、计算机设备和存储介质 | |
| CN114565955A (zh) | 人脸属性识别模型训练、社区人员监控方法、装置、设备 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN110163049B (zh) | 一种人脸属性预测方法、装置及存储介质 | |
| CN110942067A (zh) | 文本识别方法、装置、计算机设备和存储介质 | |
| CN115578765A (zh) | 目标识别方法、装置、系统及计算机可读存储介质 | |
| She et al. | Facial image inpainting algorithm based on attention mechanism and dual discriminators | |
| CN115830720A (zh) | 活体检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |