CN111985348B - 人脸识别方法和系统 - Google Patents
人脸识别方法和系统 Download PDFInfo
- Publication number
- CN111985348B CN111985348B CN202010742789.3A CN202010742789A CN111985348B CN 111985348 B CN111985348 B CN 111985348B CN 202010742789 A CN202010742789 A CN 202010742789A CN 111985348 B CN111985348 B CN 111985348B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- images
- user
- service platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012216 screening Methods 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000001939 inductive effect Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 210000000887 face Anatomy 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 210000000697 sensory organ Anatomy 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
- G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请提供了一种人脸识别方法和系统，所述方法包括：服务平台获取采集装置上传的视频流图像，对所述人脸进行检测和跟踪；获取所述视频流图像中同一用户的人脸图像并存储到所述用户的第一图像集合中；获取第一图像集合中高质量的人脸图像，并上传给所述人脸比对服务器；所述人脸比对服务器使用所述人脸图像在注册数据库中进行人脸匹配，并将匹配结果响应给所述服务平台；服务平台接收所述人脸比对服务器响应的匹配结果；当所述匹配结果为用户ID时，根据所述ID查询到所述用户的用户信息；当所述匹配结果为未匹配到时，确定所述用户为新用户。该方法能够无感地、高效地识别出人脸。
Description
技术领域
本发明涉及人脸识别技术领域，特别涉及一种人脸识别方法和系统。
背景技术
人脸图像的来源可能多种多样，由于采集设备的不同，得到的人脸图像质量也不一样，特别是对于那些低分辨率、噪声大、质量差的人脸图像，如远程监控拍摄的图片等。由于人体运动，同一设备拍摄出的多张人脸图像的图像质量也会有较大差异。
人脸识别技术是一种依据人独有的面部特征进行身份验证的有效手段，由于其直接、友好、非接触式的特点，在众多应用场景中通过对人脸识别来识别人脸对应的用户。
目前人脸识别技术已经比较成熟，可以达到99％以上的识别率，但是现有的人脸图像都比较依赖人脸图像的质量；
如何高效识别采集到的人脸图像是亟待解决的技术问题。
发明内容
有鉴于此，本申请提供一种人脸识别方法和系统，能够无感地、高效地识别出人脸。
为解决上述技术问题，本申请的技术方案是这样实现的：
在一个实施例中，提供了一种人脸识别方法，所述方法包括：
采集装置采集视频流图像，并上传给服务平台；
所述服务平台获取采集装置上传的视频流图像，对所述人脸进行检测和跟踪；
所述服务平台获取所述视频流图像中同一用户的人脸图像并存储到所述用户的第一图像集合中；
所述服务平台获取第一图像集合中高质量的人脸图像，并上传给所述人脸比对服务器；
所述人脸比对服务器使用所述人脸图像在注册数据库中进行人脸匹配，并将匹配结果响应给所述服务平台；
接收所述人脸比对服务器响应的匹配结果；当所述匹配结果为用户ID时，根据所述ID查询到所述用户的用户信息；当所述匹配结果为未匹配到时，确定所述用户为新用户。
在另一个实施例中，提供了一种人脸识别系统，所述系统包括：采集装置、服务平台和人脸比对服务器；
所述采集装置，采集视频流图像，并上传给服务平台；
所述服务平台，获取采集装置上传的视频流图像，对所述人脸进行检测和跟踪；获取所述视频流图像中同一用户的人脸图像并存储到所述用户的第一图像集合中；获取第一图像集合中高质量的人脸图像，并上传给所述人脸比对服务器；接收所述人脸比对服务器响应的匹配结果；当所述匹配结果为用户ID时，根据所述ID查询到所述用户的用户信息；当所述匹配结果为未匹配到时，确定所述用户为新用户；
所述人脸比对服务器使用所述人脸图像在注册数据库中进行人脸匹配，并将匹配结果响应给所述服务平台。
由上面的技术方案可见，上述实施例中通过采集装置实时采集图像，服务平台对所述采集装置采集到的视频流图像进行检测跟踪获取每个用户的所有人脸图像，并分别存储到对应用户的第一图像集合中，选择质量高的人脸图像上传给人脸比对服务器，所述人脸比对服务器使用所述人脸图像到注册数据库中匹配人脸图像，当匹配到时，获取人脸图像对应的用户ID响应给服务平台，服务平台查询到用户ID对应的用户信息；否则，确定对应的用户为新用户。该方案能够无感地、高效地识别出人脸。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中人脸识别系统示意图；
图2为本申请实施例中人脸识别流程示意图；
图3为本申请实施例中获取高质量的人脸图像的流程示意图；
图4为人脸关键点示意图；
图5为本申请实施例中进行人脸匹配的流程示意图；
图6为本申请实施例中获取人脸图像的人脸特征的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本申请实施例中提供一种人脸识别系统，可以应用于需要人脸识别的任意场景中，如汽车展厅、会议大厅等场所。
参见图1，图1为本申请实施例中人脸识别系统示意图。所述人脸识别系统包括：图像采集装置、服务平台和人脸比对服务器。
所述采集装置为一个或多个，当采集装置为一个时，该采集装置部署在应用场景对应的入口处，能够第一时间采集到所述场景的用户的人脸图像；如果采集装置为多个，在应用场景对应的入口处部署一个采集装置，在其他位置也可以部署采集装置，采集人脸图像，当入口处的采集装置采集到的人脸图像质量不佳，或未采集到某个用户的人脸图像时，用以补充采集到相关用户的人脸图像。
入口处的采集装置可以为迎宾机器人摄像头，或者部署在某一位置的摄像头，本申请实施例中对此不进行限制。
所述采集装置采集视频流图像，并传输给所述服务平台。
由于采集到的视频流图像的质量容易受光照、天气、相机位置等因素的影响，因而在识别人脸之前需要先对相机和人脸图像进行预处理，以保证得到清晰的人脸图像。对于采集装置而言，预处理方式主要包含自动曝光处理、自动白平衡处理、自动逆光处理、自动过爆处理等。
其中，服务平台为部署在应用场景中，如展厅，的一台PC。
所述服务平台在所述采集装置上传视频流图像时，获取视频流图像。
所述采集装置，采集视频流图像，并上传给服务平台；
所述服务平台，获取采集装置上传的视频流图像，对所述人脸进行检测和跟踪；获取所述视频流图像中同一用户的人脸图像并存储到所述用户的第一图像集合中。
由于采集到的视频流图像的质量容易受光照、天气、相机位置等因素的影响，因而在识别人脸之前，对于视频流图像进行预处理，如对视频流图像进行图像增强、归一化等处理。
本申请实施例中服务平台对视频流图像中的人脸进行检测，包括：
检测所述视频流图像中是否存在人脸，如果存在，定位人脸的位置，并进行人脸关键点提取；
裁剪出人脸区域作为人脸图像。
本申请实施例中服务平台进行人脸跟踪，包括：
通过马氏距离判断相邻帧视频图像对应的人脸关键点的位置是否匹配来进行人脸跟踪。
以关键点Ai和Aj之间的马氏距离dij的计算为例：
dij＝((xi-xj)TS-1(xi-xj))1/2；
其中，xi和xj指的是相邻两帧图像的同位置的关键点的坐标，T表示转置，S样本分布的协方差矩阵。
在具体实现时，可能同一张视频流图像中存在多个人脸，则针对每个人脸分别获取人脸图像并存储到每个人脸图像对应的第一图像集合中。
所述服务平台获取第一图像集合中高质量的人脸图像，并上传给所述人脸比对服务器；
其中高质量人脸图像为图像清晰的、角度小的且遮挡少的人脸图像。
在具体实现时，可以从第一图像集合中的人脸图像中获取高质量人脸图像；也可以是过滤掉第一图像集合中的低质量人脸图像，即图像模糊的、角度大的、存在遮挡的人脸图像获得高质量的人脸图像。
其中，图像清晰的人脸图像指对应清晰分类的概率不小于第一预设阈值的人脸图像，所述人脸图像对应清晰分类的概率通过第一轻量型二分类网络模型获取；
角度小的人脸图像指对应正脸分类概率不小于第三预设阈值，俯仰角不大于第一预设角度值，偏航角不大于第二预设角度值的人脸图像；具体实现时可以通过预设模型分别获得人脸图像的正脸分类概率，以及偏航角和俯仰角的角度值；
遮挡少的人脸图像指遮挡得分不小于第二预设阈值的人脸图像，所述遮挡得分根据定位的人脸关键点的回归概率确定。
服务平台获取第一图像集合中高质量的人脸图像的具体实现过程如下：
第一步、通过第一轻量型二分类网络模型确定所述第一图像集合中人脸图像对应分类为清晰分类的概率；过滤掉清晰分类小于第一预设阈值的人脸图像得到第二图像集合；
第二步、对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率；通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角；通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，以及第三图像集合；
第三步、检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于预设阈值的人脸图像得到第四图像集合；
将所述第四图像集合中的人脸图像确定为高质量的人脸图像。
所述服务平台进一步用于根据第一次筛选获得的属于正脸分类的概率、第二次筛选和第三次筛选获得的俯仰角和偏航角计算人脸姿态得分；
根据所述清晰分类的概率、人脸姿态得分和所述遮挡得分确定所述第四图像集合中的人脸图像的综合得分；
将所述第四图像集合中的人脸图像按照综合得分值从小到大的顺序进行排序，其中，人脸图像的综合得分值越小其图像质量越高。
所述人脸比对服务器上注册了多个用户，注册信息通过用户ID与注册用户的图像绑定存储到注册数据库中。
所述人脸比对服务器接收到所述服务平台传输的人脸图像时，使用所述人脸图像在注册数据库中进行人脸匹配，并向所述服务平台响应匹配结果。
人脸主要包含眼睛、额头、鼻子、耳朵、下巴、嘴巴等部位，这些部位之间的结构关系可以使用几何形状特征来描述，每个人的人脸图像都有一个对应的几何形状特征，这些特征可作为人脸识别的重要依据。
本申请实施例中结合人脸几何特征和图卷积神经网络进行人脸识别，通过强化特征中人脸几何信息，以增强所提特征的表达能力。
人脸比对服务器进行人脸匹配的具体过程如下：
第一步、获取待识别的人脸图像的人脸特征；所述待识别的人脸图像为所述服务平台传输的人脸图像。
获取待识别的人脸图像的人脸特征的具体过程如下：
(1)、获取所述待识别人脸图像的纹理特征。
具体实现时，可以但是不限于利用SE-Resnet100分类网络训练的人脸识别模型提取人脸的纹理特征；
(2)、获取所述待识别人脸图像的几何特征。
具体实现时，可以但不限于通过预设图卷积分类网络F-GCNs提取人脸的几何特征；图卷积网络的图结构由人脸的68个人脸关键点构建；
(3)、将所述纹理特征和所述几何特征组合作为所述待识别人脸图像的人脸特征。
如人脸图像的纹理特征为A1、A2、A3，人脸图像的几何特征为B1、B2、B3，则人脸图像的人脸特征为：A1、A2、A3、B1、B2、B3。
第二步、计算所述待识别的人脸图像的人脸特征与所述注册数据库中的人脸图像的人脸特征的余弦距离。
本申请实施例中具体实现时，使用1：N的比对方式，使用待识别的人脸图像与注册数据库中的人脸图像进行人脸特征的比对。
本申请实施例中使用了余弦距离确定两张人脸图像是否匹配，但不限于余弦距离的匹配实现方式，也可以使用其他相似度计算方法，本申请实施例中对此不进行一一举例。
计算两张人脸图像的人脸特征的余弦距离的计算公式如下：
其中，两张人脸的特征向量分别为：a＝(x1，x2，...，xp)T，b＝(y1，y2，...，yp)T，其中x1，x2，...，xp，y1，y2，...，yp表示人脸特征向量在各个维度的取值，T表示向量的转置，θ表示两向量之间的夹角。
第三步、当计算的所述余弦距离大于预设距离阈值时，确定所述待识别的人脸图像与所述注册数据库中的所述人脸图像匹配，并获取所述注册数据库中的所述人脸图像对应的用户ID响应给所述服务平台；当不存在计算的所述余弦距离大于预设距离阈值时，向所述服务平台响应未匹配到的匹配结果。
在具体实现时，如果所述注册数据库中存在多张人脸图像的人脸特征与所述待识别的人脸图像的人脸特征之间的余弦距离大于预设距离阈值时，确定所述待识别的人脸图像与余弦距离值最大的所述注册数据库中的人脸图像相匹配。
当匹配结果为匹配成功时，向所述服务平台响应匹配到的人脸图像的用户ID；当匹配结果为匹配失败时，向所述服务平台响应未匹配到，或匹配失败。
所述服务平台接收所述人脸比对服务器响应的匹配结果；当所述匹配结果为用户ID时，根据所述ID查询到所述用户的用户信息；当所述匹配结果为未匹配到时，确定所述用户为新用户。
本申请实施例中采用“云+端”的技术架构，采集装置和服务平台的图像处理为前端，人脸比对服务器作为云端。从采集到人脸图像到返回匹配结果的时间非常短，可以实现在秒级以内。
在处理过程中结合本地多人脸检测、跟踪和特征识别分析，有效过滤掉质量低的人脸数据，提高识别效率，大大节省识别设备的计算资源；
在人脸匹配过程中，考虑的人脸特征包括人脸的几何特征和纹理特征，提高识别率。
本申请实施例应用在各种需要人脸识别的场景中，如4S汽车店，对进店顾客采用人脸的无接触采集，处理、识别，通过匹配到的用户ID获取对应的用户信息，能够提供相应的服务；针对未匹配到用户ID的顾客，也可以享受到新用户的服务，进而提高所有用户的用户体验。
下面结合附图，详细说明本申请实施例中实现人脸识别过程。
参见图2，图2为本申请实施例中人脸识别流程示意图。具体步骤为：
步骤201，采集装置采集视频流图像，并上传给服务平台。
步骤202，服务平台获取采集装置上传的视频流图像，对所述人脸进行检测和跟踪。
本步骤中对人脸进行检测和跟踪，包括：
确定视频流图像中是否存在人脸，如果存在，裁剪出人脸区域；
并通过马氏距离判断相邻帧视频图像对应的关键点的位置是否匹配来进行人脸跟踪。
本实施例中对人脸的检测主要包括确定视频流图像中是否存在人脸图像，当存在人脸图像时，确定人脸图像在整个视频流图像中位置，并将人脸区域裁剪出来，便于后续的人脸特征提取与识别；同时对人脸关键点进行提取。
在进行人脸跟踪时，通过马氏距离判断相邻帧视频图像对应的关键点的位置是否匹配来进行人脸跟踪。
以关键点Ai和Aj之间的马氏距离dij的计算为例：
dij＝((xi-xj)TS-1(xi-xj))1/2；
其中，xi和yi指的是相邻两帧图像的同位置的关键点的坐标；T表示转置，S样本分布的协方差矩阵
在具体实现时，可能同一张视频流图像中存在多个人脸，则针对每个人脸分别获取人脸图像并存储到每个人脸图像对应的第一图像集合中。
步骤203，所述服务平台获取所述视频流图像中同一用户的人脸图像并存储到所述用户的第一图像集合中。
本申请实施例中在进行人脸跟踪与检测过程中，将属于同一用户的人脸图像存储在一个第一图像集合中，也就是说有多个用户时，存储多个用户的第一图像集合。
步骤204，获取第一图像集合中高质量的人脸图像，并上传给所述人脸比对服务器。
其中高质量人脸图像为图像清晰的、角度小的且遮挡少的人脸图像。
在具体实现时，可以从第一图像集合中的人脸图像中获取高质量人脸图像；也可以是过滤掉第一图像集合中的低质量人脸图像，即图像模糊的、角度大的、存在遮挡的人脸图像获得高质量的人脸图像。
其中，图像清晰的人脸图像指对应清晰分类的概率不小于第一预设阈值的人脸图像，所述人脸图像对应清晰分类的概率通过第一轻量型二分类网络模型获取；
角度小的人脸图像指对应正脸分类概率不小于第三预设阈值，俯仰角不大于第一预设角度值，偏航角不大于第二预设角度值的人脸图像；具体实现时可以通过预设模型分别获得人脸图像的正脸分类概率，以及偏航角和俯仰角的角度值；
遮挡少的人脸图像指遮挡得分不小于第二预设阈值的人脸图像，所述遮挡得分根据定位的人脸关键点的回归概率确定。
参见图3，图3为本申请实施例中获取高质量的人脸图像的流程示意图。具体步骤为
步骤301，通过第一轻量型二分类网络模型确定第一图像集合中人脸图像对应分类为清晰分类的概率；过滤掉清晰分类的概率小于第一预设阈值的人脸图像得到第二图像集合。
本步骤中使用的第一轻量型二分类网络模型使用与本申请要选择的图片处于同一应用场景中拍摄的图片作为样本进行训练获取；第一轻量型二分类网络模型对应的两类一类为清晰，一类为模糊，该模型输出的结果为人脸图像属于清晰这一分类的概率，以及人脸图像属于模糊这一分类的概率。
将第一图像集合中清晰的概率小于第一预设阈值的人脸图像过滤掉，即过滤掉模糊的人脸图像，删除这些人脸图像的第一图像集合记为第二图像集合。
步骤302，对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率；通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角；通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，以及第三图像集合；并根据第一次筛选获得的属于正脸分类的概率、第二次筛选和第三次筛选获得的俯仰角和偏航角计算人脸姿态得分。
本步骤的实现通过如下四步实现：
第一步：
使用与本申请实施例中第一图像集合中的人脸图像处于同一应用场景的人脸图像进行人工数据处理和标注，对轻量型神经网络进行二分类模型训练，获得第二轻量型分类网络模型。
这里的两类可以为侧脸(大角度)分类和正脸(小角度)分类的两类，如大于第三预设角度值的角度为大角度；小于第四预设角度值的角度为小角度；
第三预设角度值如50度，第四预设角度值的角度如30度。
本步骤中对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率的具体实现包括：
基于所述第二轻量型二分类网络确定每张人脸图像属于正脸分类的概率；
筛选掉正脸分类的概率小于第三预设阈值的概率的人脸图像。
属于正脸分类的概率越大，说明越接近正脸图像，将属于正脸分类的概率用于进行人脸得分计算。
通过第一次筛选过滤掉大角度图像。
第二步：
其中的轻量型的多任务网络模型用于对人脸图像进行精细划分类，即划分的类大于2个，并通过所述轻量型的多任务网络模型获取人脸图像的俯仰角和偏航角。
本申请实施例中的多任务网络模型对应两个任务，其中一个任务输出偏航角对应的概率，另一个任务输出俯仰角对应的概率，两个任务划分的类可以相同，也可以不同，下面给出一种分类方式的示例，但不限于下述实现：
如[0，5)，[5，10)……[85，90)等多个分类，针对每个分类对应一个角度值，如[0，5)对应的角度值为3度，[5，10)对应的角度为7度等。在具体实现时为了角度的更精确定义，可以将每一度划分为一个区间，则每个区间对应一个角度值。
本步骤中通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角的具体实现包括：
通过轻量型的多任务网络模型获取人脸图像的俯仰角和偏航角分别属于各角度分类的概率；
将俯仰角概率最大的分类对应的角度值作为所述人脸图像的俯仰角；将偏航角概率最大的分类对应的角度值作为所述人脸图像的偏航角；
筛选掉俯仰角大于第一预设角度值，且偏航角大于第二预设角度值的人脸图像。
这里的第一预设角度值可以为20度，第二预设角度值可以为30度，但是不限于上述实现。
通过上述方式过滤掉大、中角度的人脸图像。
第三步、通过上述两步图像的过滤，已经获得的质量较佳的人脸图像。为了对图像进行更精细的质量评分，对当前第二图像集合中的人脸图像进行3D人脸重建。
由于3D人脸重建技术容易受到3D人脸模板库的限制，导致人脸几何结构易被限制在模板的形状空间之中，因此，本申请实施例中为简化3D人脸重建任务的复杂度，将人脸重建任务转化为密集关键点的定位任务。
关键点定位任务一般可通过关键点直接回归和关键点热图回归这两种技术获得，但对于密集关键点来说，若直接使用上述两种定位技术，容易出现算法复杂度较高以及定位不准的情况，本申请实施例中采用UV纹理位置映射图(UVpositionMap)技术来完成密集关键点的定位。
在使用UVpositionMap技术来完成密集关键点的定位时，UVpositionMap中保存的是密集关键点的3D坐标值，有x、y和z 3个通道，分别存储的人脸图像各部位关键点的x、y和z值。通过预测图像对应的UVpositionMap，即可完成密集关键点的3D坐标定位。
本步骤中通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角的具体实现包括：
采用UVpositionMap技术进行人脸图像的密集关键点的定位；
通过密集关键点的3D坐标计算旋转矩阵，获得3D人脸姿态结果；其中所述人脸姿态结果包括：俯仰角、偏航角和旋转角的角度值；本申请实施例中仅使用俯仰角和偏航角进行人脸姿态得分确定，旋转角信息可以存储进行其他处理，也可以直接舍弃；
筛选掉俯仰角大于第一预设角度值，且偏航角大于第二预设角度值的人脸图像。
通过第三次筛选后获得第三图像集合。
第四步：
根据第一次筛选获得的属于正脸分类的概率、第二次筛选和第三次筛选获得的俯仰角和偏航角计算人脸姿态得分的计算过程如下：
Scorepose＝α1(1-Score1)+α2(|pitch2|+|yaw2|)+α3(|pitch3|+|yaw3|)
其中，Scorepose为人脸姿态得分，α1、α2、α3是权重值，分别为三次筛选对应的权重值；Score1为通过第一次筛选获得的所述人脸图像属于正脸分类的概率值；pitch2为第二次筛选获得的俯仰角的角度值，yaw2为第二次筛选获得的偏航角的角度值；pitch3为第三次筛选获得的俯仰角的角度值，yaw3为第三次筛选获得的偏航角的角度值。
人脸姿态得分的值越小，人脸图像的图像质量越佳。
步骤303，检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于第二预设阈值的人脸图像得到第四图像集合。
本步骤中利用卷积姿态机(Convolutional Pose Machine，CPM)关键点定位网络，基于热图heatmap检测人脸14个关键点位置，利用各关键点的热图回归概率来判断人脸各部位的遮挡情况，当检测概率小于阈值如0.4时，即可判断该关键点被遮挡。
其中14个关键点示意图如图4所示，图4为人脸关键点示意图。图4中包含4个脸颊轮廓点和10个主要脸部关键点。
本步骤中检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，包括：
利用卷积姿态机(Convolutional Pose Machine，CPM)关键点定位网络，基于热图(heatmap)检测人脸的关键点；
根据所述人脸的关键点的回归概率确定人脸图像的遮挡得分。
为了更大程度上区分各关键点检测概率的高低，本申请实施例中提出概率加权计算的方法。计算公式如下：
所述人脸图像的遮挡得分Score_occlusion为：
其中，/>
Pi为第i个关键点的回归概率，N为关键点的个数，wi为第i个关键点对应的预设权重值，Wi为根据Pi和wi确定的第i个关键点对应的实际权重值。
Pi为通过预设网络预测模型预测出的第i个关键点未被遮挡的概率；预设网络预测模型为预先训练好的模型，输入人脸图像时，能够获得人脸图像的每个关键点未被遮挡的概率，越小表示越被遮挡。
如图4所示，本申请实施例中关键点的个数以14个为例，包括4个脸颊轮廓关键点，1个下巴关键点，以及9个五官关键点；
其中，点1到点4为脸颊轮廓关键点，点5为下巴关键点，其他点为五官关键点。
针对脸颊轮廓关键点、下巴关键点和五官关键点预设的预设权重值的比值可以为2：3：8。
当计算出的遮挡得分小于预设阈值时，预设阈值可以为0.5，但不限于0.5，确定人脸被遮挡；将这些确定被遮挡的人脸图像从第三图像集合中去除。
在具体实现时，还需将当前第三图像集合中存在的五官关键点被遮挡的人脸图像删除。
也就是说即使计算出的遮挡得分比较大，如大于第二预设阈值，但是该人脸图像的五官关键点被遮挡，则直接确定该人脸图像被遮挡。
在具体实现时，针对一张人脸图像，若未检测出所有的五官关键点，则确定该人脸图像被遮挡，直接过滤。
步骤304、根据所述清晰分类的概率、人脸姿态得分和所述遮挡得分确定所述第四图像集合中的人脸图像的综合得分。
Score_total＝
β1(1-Score_clear)+β2Score_pose+β3(1-Score_occlusion)；
其中其中，β1为图像清晰度得分对应的权重、β2为人脸姿态得分对应的权重、β3为遮挡得分对应的权重；Score_clear表示人脸图像属于清晰分类的概率；Score_pose表示人脸姿态得分，Score_occlusion表示遮挡得分。
本申请实施例中根据实际需要设置第一预设阈值、第二预设阈值，以及第三预设阈值的值，本申请实施例对此不进行限制。
步骤305，将所述第四图像集合中的人脸图像按照综合得分值从大到小的顺序进行排序。
本申请实施例中第四图像集合中的人脸图像，确定为高质量的人脸图像。
在具体实现时，若设置上传图像的张数，如M，则将前M张人脸图像传输给人脸比对服务器；若未设置上传图像的张数，则将第四图像集合中的所有人脸图像传输给图像比对服务器。其中，M为大于0的整数。
如果设置为传输M张人脸图像的实现方式，且所述第四图像集合中的人脸图像的张数不小于M时，选择前M张人脸图像作为待上传的高质量人脸图像；当第四图像集合中的人脸图像的张数小于M时，将第四图像集合中的所有人脸图像传输给人脸比对服务器。
在上传人脸图像时，给出人脸图像质量的高低排序，可以使人脸比对服务器优先使用质量高的人脸图像进行人脸匹配，能够提高识别效率。
本申请实施例具体实现时，可以批量处理多个用户的人脸图像，针对每个用户对应一个第一图像集合，针对多个用户的人脸图像可以并行处理，针对每个用户的第一图像集合中的人脸图像按照上述流程实现优质人脸图像的选择。
本申请实施例中基于深度学习技术对人脸图像的人脸模糊度、人脸姿态和人脸遮挡三方面进行人脸图像过滤，并评估，使用三方面的评估的得分获取过滤后的人脸图像的综合得分，得分值越小的人脸图像的图像质量越高。
优选出高质量的人脸图像传输给人脸比对服务器，与将所有人脸图像传输给所述人脸比对服务器相比，能够提高人脸比对服务器的识别速率，并且大大减少人脸识别的服务处理的压力。
针对第一图像集合中的人脸图像中未传输到人脸传输服务器的数据，或者第一图像集合中的人脸图像可以在本地存储，以便进行监控等相关情况使用；也可以直接保存视频流图像，以便用户监控以及后期相关查找等。
步骤205，所述人脸比对服务器使用所述人脸图像在注册数据库中进行人脸匹配，并将匹配结果响应给所述服务平台。
所述人脸比对服务器上预先注册了多个用户，注册信息通过用户ID与注册用户的图像绑定存储到注册数据库中。
人脸主要包含眼睛、额头、鼻子、耳朵、下巴、嘴巴等部位，这些部位之间的结构关系可以使用几何形状特征来描述，每个人的人脸图像都有一个对应的几何形状特征，这些特征可作为人脸识别的重要依据。
本申请实施例中结合人脸几何特征和图卷积神经网络进行人脸识别，通过强化特征中人脸几何信息，以增强所提特征的表达能力。
参见图5，图5为本申请实施例中进行人脸匹配的流程示意图。具体步骤为具：
步骤501，获取待识别的人脸图像的人脸特征；所述待识别的人脸图像为所述服务平台传输的人脸图像。
参见图6，图6为本申请实施例中获取人脸图像的人脸特征的流程示意图。具体步骤为：
步骤601，获取所述待识别人脸图像的纹理特征。
具体实现时，可以但是不限于利用SE-Resnet100分类网络训练的人脸识别模型提取人脸的纹理特征；
步骤602，获取所述待识别人脸图像的几何特征。
具体实现时，可以但不限于通过预设图卷积分类网络F-GCNs提取人脸的几何特征；图卷积网络的图结构由人脸的68个人脸关键点构建；
步骤603，将所述纹理特征和所述几何特征组合作为所述待识别人脸图像的人脸特征。
如人脸图像的纹理特征为A1、A2、A3，人脸图像的几何特征为B1、B2、B3，则人脸图像的人脸特征为：A1、A2、A3、B1、B2、B3。
步骤502，计算所述待识别的人脸图像的人脸特征与所述注册数据库中的人脸图像的人脸特征的余弦距离。
本申请实施例中具体实现时，使用1：N的比对方式，使用待识别的人脸图像与注册数据库中的人脸图像进行人脸特征的比对。
本申请实施例中使用了余弦距离确定两张人脸图像是否匹配，但不限于余弦距离的匹配实现方式，也可以使用其他相似度计算方法，本申请实施例中对此不进行一一举例。
计算两张人脸图像的人脸特征的余弦距离的计算公式如下：
其中，两张人脸的特征向量分别为：a＝(x1，x2，...，xp)T，b＝(y1，y2，...，yp)T，其中x1，x2，...，xp，y1，y2，...，yp表示人脸特征向量在各个维度的取值，T表示向量的转置，θ表示两向量之间的夹角。
步骤503，当计算的所述余弦距离大于预设距离阈值时，确定所述待识别的人脸图像与所述注册数据库中的所述人脸图像匹配，并获取所述注册数据库中的所述人脸图像对应的用户ID响应给所述服务平台；当不存在计算的所述余弦距离大于预设距离阈值时，向所述服务平台响应未匹配到的匹配结果。
在具体实现时，如果所述注册数据库中存在多张人脸图像的人脸特征与所述待识别的人脸图像的人脸特征之间的余弦距离大于预设距离阈值时，确定所述待识别的人脸图像与余弦距离值最大的所述注册数据库中的人脸图像相匹配。
当匹配结果为匹配成功时，向所述服务平台响应匹配到的人脸图像的用户ID；当匹配结果为匹配失败时，向所述服务平台响应未匹配到，或匹配失败。
步骤206，接收所述人脸比对服务器响应的匹配结果；当所述匹配结果为用户ID时，根据所述ID查询到所述用户的用户信息；当所述匹配结果为未匹配到时，确定所述用户为新用户。
服务平台上会存储用户ID对因的用户信息，这里的用户信息可以根据具体应用场景设置，如果会员信息、兴趣爱好等。本申请实施例中对此不进行限制。
如果查找到用户的用户信息，可以根据该用户的用户信息为该用户提供相关服务，如果该用户为未匹配的到的用户，即未注册用户，也就是说是一个新用户的时候，可以由服务人员根据个人经验进行相关服务；如果该用户注册，或者获取用户的相关信息，可以将该用户的相关信息与用户ID在本地存储，并将该用户ID和人脸图像在人脸比对服务器上进行注册。
本申请实施例中获取的用户信息可以在服务平台上显示，供工作人员查阅，也可以发送给相关工作人员的客户端进行显示，所述客户端可以是手机、PC等；
在具体实现时，在客户端上显示时可以是通过相关APP显示，也可以通过网页显示，显示的内容，如用户到店时间、用户的人脸图像，如果有用户ID，还可以显示对应用户的用户信息；如果无用户ID，则作为新用户显示。
实际应用场景中可能由于顾客比较多，每次显示的用户的个数根据实际需要设置，本申请实施例中对此不进行限制。
本申请实施例中的人脸图像选择方案能够有效解决人脸重复捕获的问题，在人脸轨迹跟踪基础上，结合人脸特征识别分析算法，可有效提高跟踪成功率，并一定程度上过滤掉重复人脸图像，减少需要识别图像的图像数量，可大大节省识别算法计算资源和上传带宽。
如在汽车展厅通过迎宾机器人采集的人脸图像的进店人员图像质量，精确的控制人脸识别系统的输入图像，能有效的确保人脸的无感注册、无感识别系统识别性能，使系统可以在实际场景中更广泛的使用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (9)
1.一种人脸识别方法，其特征在于，所述方法包括：
采集装置采集视频流图像，并上传给服务平台；
所述服务平台获取采集装置上传的视频流图像，对所述人脸进行检测和跟踪；
所述服务平台获取所述视频流图像中同一用户的人脸图像并存储到所述用户的第一图像集合中；
所述服务平台获取第一图像集合中高质量的人脸图像，并上传给所述人脸比对服务器；
所述人脸比对服务器使用所述人脸图像在注册数据库中进行人脸匹配，并将匹配结果响应给所述服务平台；
接收所述人脸比对服务器响应的匹配结果；当所述匹配结果为用户ID时，根据所述ID查询到所述用户的用户信息；当所述匹配结果为未匹配到时，确定所述用户为新用户；
其中，所述获取第一图像集合中高质量的人脸图像，包括：
通过第一轻量型二分类网络模型确定所述第一图像集合中人脸图像对应分类为清晰分类的概率；过滤掉清晰分类的概率小于第一预设阈值的人脸图像得到第二图像集合；
对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率；通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角；通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，以及第三图像集合；
检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于预设阈值的人脸图像得到第四图像集合；
将所述第四图像集合中的人脸图像确定为高质量的人脸图像；
其中，所述人脸比对服务器使用所述人脸图像在注册数据库中进行人脸匹配时，结合人脸几何特征和图卷积神经网络进行人脸识别。
2.根据权利要求1所述的方法，其特征在于，所述对所述人脸进行检测，包括：
检测所述视频流图像中是否存在人脸，如果存在，定位人脸的位置，并进行人脸关键点提取；
裁剪出人脸区域作为人脸图像。
3.根据权利要求2所述的方法，其特征在于，进行人脸跟踪，包括：
通过马氏距离判断相邻帧视频图像对应的人脸关键点的位置是否匹配来进行人脸跟踪。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
根据第一次筛选获得的属于正脸分类的概率、第二次筛选和第三次筛选获得的俯仰角和偏航角计算人脸姿态得分；
根据所述清晰分类的概率、人脸姿态得分和所述遮挡得分确定所述第四图像集合中的人脸图像的综合得分；
将所述第四图像集合中的人脸图像按照综合得分值从小到大的顺序进行排序，其中，人脸图像的综合得分值越小其图像质量越高。
5.根据权利要求4所述的方法，其特征在于，所述方法进一步包括：
当设置上传图像的张数为M张时，将第四图像集合中的前M张人脸图像上传给所述人脸比对服务器；
当未设置上传图像的张数时，将所述第四图像集合中的人脸图像上传给所述人脸比对服务器。
6.根据权利要求5所述的方法，其特征在于，所述使用所述人脸图像在注册数据库中进行人脸匹配时，优先使用排序在前的人脸图像在注册数据库中进行人脸匹配。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述使用所述人脸图像在注册数据库中进行人脸匹配，并将匹配结果响应给所述服务平台，包括：
获取待识别的人脸图像的人脸特征；所述待识别的人脸图像为所述服务平台传输的人脸图像；
计算所述待识别的人脸图像的人脸特征与所述注册数据库中的人脸图像的人脸特征的余弦距离；
当计算的所述余弦距离大于预设距离阈值时，确定所述待识别的人脸图像与所述注册数据库中的所述人脸图像匹配，并获取所述注册数据库中的所述人脸图像对应的用户ID响应给所述服务平台；当不存在计算的所述余弦距离大于预设距离阈值时，向所述服务平台响应未匹配到的匹配结果。
8.根据权利要求7所述的方法，其特征在于，所述获取待识别的人脸图像的人脸特征，包括：
获取所述待识别人脸图像的纹理特征；
获取所述待识别人脸图像的几何特征；
将所述纹理特征和所述几何特征组合作为所述待识别人脸图像的人脸特征。
9.一种人脸识别系统，其特征在于，所述系统包括：采集装置、服务平台和人脸比对服务器；
所述采集装置，采集视频流图像，并上传给服务平台；
所述服务平台，获取采集装置上传的视频流图像，对所述人脸进行检测和跟踪；获取所述视频流图像中同一用户的人脸图像并存储到所述用户的第一图像集合中；获取第一图像集合中高质量的人脸图像，并上传给所述人脸比对服务器；接收所述人脸比对服务器响应的匹配结果；当所述匹配结果为用户ID时，根据所述ID查询到所述用户的用户信息；当所述匹配结果为未匹配到时，确定所述用户为新用户；
所述人脸比对服务器使用所述人脸图像在注册数据库中进行人脸匹配，并将匹配结果响应给所述服务平台；
其中，所述服务平台，具体用于获取第一图像集合中高质量的人脸图像时，通过第一轻量型二分类网络模型确定所述第一图像集合中人脸图像对应分类为清晰分类的概率；过滤掉清晰分类的概率小于第一预设阈值的人脸图像得到第二图像集合；对所述第二图像集合中的人脸图像通过第二轻量型二分类网络模型进行第一次筛选，并获得属于正脸分类的概率；通过轻量型的多任务网络模型对人脸图像进行第二次筛选，并获得人脸图像的俯仰角和偏航角；通过3D人脸重建技术对所述人脸图像进行第三次筛选，并获得人脸图像的俯仰角和偏航角，以及第三图像集合；检测所述第三图像集合中的人脸图像的关键点，根据所述关键点被遮挡的概率确定人脸图像的遮挡得分，并过滤得分小于预设阈值的人脸图像得到第四图像集合；将所述第四图像集合中的人脸图像确定为高质量的人脸图像；
所述人脸比对服务器使用所述人脸图像在注册数据库中进行人脸匹配时，结合人脸几何特征和图卷积神经网络进行人脸识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010742789.3A CN111985348B (zh) | 2020-07-29 | 2020-07-29 | 人脸识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010742789.3A CN111985348B (zh) | 2020-07-29 | 2020-07-29 | 人脸识别方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111985348A CN111985348A (zh) | 2020-11-24 |
| CN111985348B true CN111985348B (zh) | 2024-05-10 |
Family
ID=73444376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010742789.3A Active CN111985348B (zh) | 2020-07-29 | 2020-07-29 | 人脸识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111985348B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986163A (zh) * | 2020-07-29 | 2020-11-24 | 深思考人工智能科技(上海)有限公司 | 人脸图像选择方法和装置 |
| CN112801043B (zh) * | 2021-03-11 | 2022-07-15 | 河北工业大学 | 基于深度学习的实时视频人脸关键点检测方法 |
| CN113269081A (zh) * | 2021-05-20 | 2021-08-17 | 上海仪电数字技术股份有限公司 | 人员自动识别与视频轨迹查询的系统及方法 |
| CN113297423A (zh) * | 2021-05-24 | 2021-08-24 | 深圳市优必选科技股份有限公司 | 一种推送方法、推送装置及电子设备 |
| CN113536953B (zh) * | 2021-06-22 | 2024-04-19 | 浙江吉利控股集团有限公司 | 一种人脸识别方法、装置、电子设备及存储介质 |
| CN113569728B (zh) * | 2021-07-27 | 2023-05-09 | 重庆中科云从科技有限公司 | 一种数据处理方法、系统、设备及计算机可读介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091176A (zh) * | 2014-07-18 | 2014-10-08 | 吴建忠 | 人像比对在视频中的应用技术 |
| CN107153816A (zh) * | 2017-04-16 | 2017-09-12 | 五邑大学 | 一种用于鲁棒人脸识别的数据增强方法 |
| CN108898051A (zh) * | 2018-05-22 | 2018-11-27 | 广州洪森科技有限公司 | 一种基于视频流的人脸识别方法及系统 |
| CN109657609A (zh) * | 2018-12-19 | 2019-04-19 | 新大陆数字技术股份有限公司 | 人脸识别方法及系统 |
| US10303866B1 (en) * | 2018-06-03 | 2019-05-28 | Apple Inc. | Automatic retries for facial recognition |
| CN110163114A (zh) * | 2019-04-25 | 2019-08-23 | 厦门瑞为信息技术有限公司 | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 |
| CN110378324A (zh) * | 2019-07-15 | 2019-10-25 | 易诚高科（大连）科技有限公司 | 一种基于质量维度的人脸识别算法评估方法 |
| CN110688930A (zh) * | 2019-09-20 | 2020-01-14 | Oppo广东移动通信有限公司 | 人脸检测方法、装置、移动终端及存储介质 |
| CN110799972A (zh) * | 2017-07-21 | 2020-02-14 | 北京市商汤科技开发有限公司 | 人脸图像动态入库方法和装置、电子设备、介质、程序 |
| CN111339884A (zh) * | 2020-02-19 | 2020-06-26 | 浙江大华技术股份有限公司 | 图像识别方法以及相关设备、装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9892315B2 (en) * | 2013-05-10 | 2018-02-13 | Sension, Inc. | Systems and methods for detection of behavior correlated with outside distractions in examinations |
-
2020
- 2020-07-29 CN CN202010742789.3A patent/CN111985348B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091176A (zh) * | 2014-07-18 | 2014-10-08 | 吴建忠 | 人像比对在视频中的应用技术 |
| CN107153816A (zh) * | 2017-04-16 | 2017-09-12 | 五邑大学 | 一种用于鲁棒人脸识别的数据增强方法 |
| CN110799972A (zh) * | 2017-07-21 | 2020-02-14 | 北京市商汤科技开发有限公司 | 人脸图像动态入库方法和装置、电子设备、介质、程序 |
| CN108898051A (zh) * | 2018-05-22 | 2018-11-27 | 广州洪森科技有限公司 | 一种基于视频流的人脸识别方法及系统 |
| US10303866B1 (en) * | 2018-06-03 | 2019-05-28 | Apple Inc. | Automatic retries for facial recognition |
| CN109657609A (zh) * | 2018-12-19 | 2019-04-19 | 新大陆数字技术股份有限公司 | 人脸识别方法及系统 |
| CN110163114A (zh) * | 2019-04-25 | 2019-08-23 | 厦门瑞为信息技术有限公司 | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 |
| CN110378324A (zh) * | 2019-07-15 | 2019-10-25 | 易诚高科（大连）科技有限公司 | 一种基于质量维度的人脸识别算法评估方法 |
| CN110688930A (zh) * | 2019-09-20 | 2020-01-14 | Oppo广东移动通信有限公司 | 人脸检测方法、装置、移动终端及存储介质 |
| CN111339884A (zh) * | 2020-02-19 | 2020-06-26 | 浙江大华技术股份有限公司 | 图像识别方法以及相关设备、装置 |
Non-Patent Citations (4)
| Title |
|---|
| An Empirical Study of Face Recognition under Variations;Baoyun Peng等;《2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018)》;20180607;310-317 * |
| CNN-Based Real-Time Dense Face Reconstruction with Inverse-Rendered Photo-Realistic Face Images;Yudong Guo等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20180517;第41卷(第6期);1294-1307 * |
| 一种多尺度轻量化的人脸识别算法;张文涛等;《现代计算机(专业版)》;20181031(第30期);310-317 * |
| 基于深度学习特征提取的人脸认证算法研究;曹本;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20180415(第04期);I138-2764 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111985348A (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111985348B (zh) | 人脸识别方法和系统 | |
| CN109934176B (zh) | 行人识别系统、识别方法及计算机可读存储介质 | |
| CN111523462B (zh) | 基于自注意增强cnn的视频序列表情识别系统及方法 | |
| CN109819208A (zh) | 一种基于人工智能动态监控的密集人群安防监控管理方法 | |
| CN109784274A (zh) | 识别尾随的方法及相关产品 | |
| CN106355154B (zh) | 一种监控视频中检测频繁过人的方法 | |
| US20100111375A1 (en) | Method for Determining Atributes of Faces in Images | |
| CN101131728A (zh) | 一种基于Shape Context的人脸形状匹配方法 | |
| CN111241932A (zh) | 汽车展厅客流检测与分析系统、方法及存储介质 | |
| CN111353338B (zh) | 一种基于营业厅视频监控的能效改进方法 | |
| CN108133197B (zh) | 用于生成信息的方法和装置 | |
| CN111539351B (zh) | 一种多任务级联的人脸选帧比对方法 | |
| Chandran et al. | Missing child identification system using deep learning and multiclass SVM | |
| CN111986163A (zh) | 人脸图像选择方法和装置 | |
| CN115439884A (zh) | 一种基于双分支自注意力网络的行人属性识别方法 | |
| Hirzi et al. | Literature study of face recognition using the viola-jones algorithm | |
| CN113450369A (zh) | 一种基于人脸识别技术的课堂分析系统及方法 | |
| CN112257559A (zh) | 一种基于生物个体步态信息的身份识别方法 | |
| CN111523461A (zh) | 基于增强cnn和跨层lstm的表情识别系统与方法 | |
| CN108197593B (zh) | 基于三点定位方法的多尺寸人脸表情识别方法及装置 | |
| Bhakt et al. | A novel framework for real and fake smile detection from videos | |
| CN114998966A (zh) | 基于特征融合的人脸表情识别方法 | |
| CN110287841B (zh) | 图像传输方法及装置、图像传输系统、存储介质 | |
| Alkahla et al. | Face identification in a video file based on hybrid intelligence technique-review | |
| CN113591619A (zh) | 一种基于录像视频的人脸识别核验装置及其核验方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |