CN109726674A - 一种人脸识别方法及装置 - Google Patents

Abstract

本发明公开了一种人脸识别方法及装置，所述方法为：服务器获取监控设备抓拍至少一张第一人脸图像；所述服务器从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息，所述人脸图像库中包括至少一个人脸档案；所述人脸档案是通过对监控设备抓拍的人脸图像进行聚类后确定的；至少一个人脸档案包括身份信息；所述服务器将所述访问者的身份信息发送给查询终端以使所述查询终端提前获知访问者。

Description

一种人脸识别方法及装置

技术领域

本发明涉及监控技术领域，尤其涉及一种人脸识别方法及装置。

背景技术

为了扩大品牌影响力、增强顾客粘性，线下门店通常会引导消费顾客发展为品牌VIP会员，而使用手机号码作为唯一认证账号来登记并辅以实体卡来区分VIP顾客是最常见的方法之一，但该方法具有几个明显的弊端：其一，随身携带实体卡给轻松出行的用户带来了不必要的麻烦。忘记带卡，影响积分体系也会影响用户的消费体验，增加了用户放弃使用会员体系的风险，从而失去活跃用户的消费数据；其二，登记过程需顾客主动配合，步骤繁琐，且易被顾客拒绝，从而遗漏了门店消费数据，某种程度上影响了库存整理、进货及消费人群定位分析的准确度；其三，所有信息需店员手动录入系统，一方面给门店店员添加巨大工作量，另一方面可能导致会员信息遗漏及错误，而登记的信息有一定可能性为虚假信息，浪费门店店员的工作资源；其四，由于操作繁琐，多人使用同一账号的事例比比皆是，不但增加了会员积分体系兑换机制的混乱及盗刷冒领的风险，更不利于门店精准定位消费群体画像，影响商业广告的投放价值。以上弊端极大降低了顾客从潜在VIP激活成品牌VIP的转化率，甚至会由于服务水平差强人意而导致品牌形象受损。

发明内容

本发明提供一种人脸识别方法及装置，用以在用户不需要主动配合监控设备的前提，获取用户信息，以提高用户体验。

本发明实施例提供的具体技术方案如下：

本发明实施例提供一种人脸识别方法，包括：

服务器获取监控设备抓拍至少一张第一人脸图像；

所述服务器从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息，所述人脸图像库中包括至少一个人脸档案；所述人脸档案是通过对监控设备抓拍的人脸图像进行聚类后确定的；至少一个人脸档案包括身份信息；

所述服务器将所述访问者的身份信息发送给查询终端以使所述查询终端提前获知访问者。

一种可能的实现方式，所述服务器将所述访问者的身份信息发送给查询终端之前，还包括：

所述服务器根据所述至少一张第一人脸图像确定所述访问者的轨迹；

所述服务器根据所述访问者的轨迹确定所述查询终端，所述查询终端设置于所述访问者预估到达点。

一种可能的实现方式，所述服务器将所述访问者的身份信息发送给查询终端，包括：

所述服务器获取位于所述查询终端设定范围内的监控设备拍摄的第二人脸图像；

所述服务器确定所述第二人脸图像为所述访问者，则将所述访问者的身份信息发送给所述查询终端。

一种可能的实现方式，所述服务器从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息之前，还包括：

所述服务器从所述至少一张第一人脸图像中确定比对图像，所述比对图像至少根据人脸图像中人脸姿态、图像质量、人脸遮挡状况中的一项或多项确定；

所述服务器从人脸图像库中确定所述人脸图像对应的访问者的身份信息，包括：

所述服务器若确定所述人脸图像库中的第一人脸档案的类中心与所述比对图像的相似度大于第一阈值，则确定所述第一人脸档案对应的身份信息为所述访问者的身份信息，所述第一人脸档案的类中心是根据所述第一人脸档案中的人脸图像确定的。

一种可能的实现方式，所述确定所述人脸图像库中的第一人脸档案的类中心与所述比对图像的相似度，包括：

确定所述比对图像与所述第一人脸档案的各类中心的类间相似度；

根据所述第一人脸档案的各类中心的权重以及所述各类中心的类间相似度，确定所述第一人脸档案的类中心与所述比对图像的相似度。

本发明实施例提供一种人脸识别装置包括：

收发单元，用于获取监控设备抓拍至少一张第一人脸图像；将所述访问者的身份信息发送给查询终端以使所述查询终端提前获知访问者；

处理单元，用于从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息，所述人脸图像库中包括至少一个人脸档案；所述人脸档案是通过对监控设备抓拍的人脸图像进行聚类后确定的；至少一个人脸档案包括身份信息。

一种可能的实现方式，所述处理单元，还用于：

根据所述至少一张第一人脸图像确定所述访问者的轨迹；根据所述访问者的轨迹确定所述查询终端，所述查询终端设置于所述访问者预估到达点。

一种可能的实现方式，所述收发单元，具体用于：

获取位于所述查询终端设定范围内的监控设备拍摄的第二人脸图像；确定所述第二人脸图像为所述访问者，则将所述访问者的身份信息发送给所述查询终端。

一种可能的实现方式，所述处理单元，还用于：

从所述至少一张第一人脸图像中确定比对图像，所述比对图像至少根据人脸图像中人脸姿态、图像质量、人脸遮挡状况中的一项或多项确定；若确定所述人脸图像库中的第一人脸档案的类中心与所述比对图像的相似度大于第一阈值，则确定所述第一人脸档案对应的身份信息为所述访问者的身份信息，所述第一人脸档案的类中心是根据所述第一人脸档案中的人脸图像确定的。

一种可能的实现方式，所述处理单元，具体用于：

确定所述比对图像与所述第一人脸档案的各类中心的类间相似度；

根据所述第一人脸档案的各类中心的权重以及所述各类中心的类间相似度，确定所述第一人脸档案的类中心与所述比对图像的相似度。

本发明实施例提供一种人脸识别设备，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行如本发明实施例提供的任一方法的步骤。

本发明实施例提供一种计算机可读介质，其存储有可由归档设备执行的计算机程序，当所述程序在归档设备上运行时，使得所述人脸识别设备执行本发明实施例提供任一方法的步骤。

基于上述技术方案，服务器从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息，所述人脸图像库中包括至少一个人脸档案；所述人脸档案是通过对监控设备抓拍的人脸图像进行聚类后确定的；至少一个人脸档案包括身份信息；通过建立人脸档案，有效提高了访问者的身份信息的获取效率，优化访问者的身份信息的获取效果，提高访问者的身份信息获取的实时性。

附图说明

图1为本发明实施例中人脸识别系统架构示意图；

图2为本发明实施例中人脸识别的方法流程示意图；

图3为本发明实施例中归档方法的流程示意图；

图4为本发明实施例中归档方法的流程示意图；

图5为本发明实施例中归档方法的流程示意图；

图6为本发明实施例中人脸识别装置的结构示意图；

图7为本发明实施例中人脸识别设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

作为人体与生俱来的生物特征，人脸具有唯一性和不易被复制的良好特性；同其他生物特征识别技术相比，人脸识别技术则具有操作简单、结果直观、隐蔽性好的优越性。深度学习理论的突破使人脸识别性能指标大幅提升，从而促进了人脸识别技术迅速的商业化和模式化，在短短5年间，该技术已在安防业、银行业、互联网金融业及娱乐业等领域有了广泛的应用，如海关边检、安防布控、ATM刷脸取款等。与此同时，随着消费领域市场竞争的逐渐加剧，线下消费领域的智能化管理需求越来越强烈，为在激烈的竞争中智能先行，做市场的弄潮儿，提高门店服务的运营效率、用户体验及管理专业性，从而直面提升品牌形象已成为消费领域企业创新化和差异化竞争的必然选择。此外，门店是否能够主动为VIP顾客提供及时的、个性化的服务都将极大影响服务质量。而当使用传统的手机号码作为VIP顾客的身份验证方法时，顾客的VIP身份通常依靠店员肉眼识别，或在结账时才会被核对验证，因此门店店员无法提前得知其身份以在其购物过程中提供有针对性的服务。在此背景下，若店员能够在顾客到访时即刻收到该顾客是VIP的智能提示，店员则可为该顾客提供及时的、个性化的服务，从而提高品牌口碑，进一步提升品牌形象。

因此，寻找一种基于人脸特征的、无需顾客主动配合的、自动精准获取数据并存储的顾客信息记录及人像识别方案已成为解决线下门店服务瓶颈的迫切需求。

本申请实施例中的归档方法可以应用于安防，以监控设备采集的人脸图像为基础，建立人脸图像库，人脸图像库中包括多个人脸档案，一个档案对应一个人，其中人脸档案的归档方法可以根据归档方法划分为在线归档和离线归档。在线归档为用于对监控设备实时采集的人脸图像进行归档的方法，离线归档为定期对设定时间段内采集的人脸图像进行归档的方法。为描述方便，本发明实施例中的人脸档案在线归档过程中称为在线档案，本发明实施例中的人脸档案在离线归档过程中称为离线档案。离线归档可以用于更新在线归档。在线档案中包括实名档案和非实名档案，离线档案中也包括实名档案和非实名档案，其中，实名档案中包括个人的身份标识信息，比如实名档案中包括身份证件。

如图1示例性示出了本申请实施例适用的系统架构，在该系统架构中包括监控设备101-111、服务器102。监控设备101-111实时采集视频流，然后将采集的视频流发送至服务器102，服务器102中包括归档装置，服务器102从视频流中获取待归档的人脸图像，然后将待归档的人脸图像归入对应的人脸档案。监控设备101-111通过无线网络与服务器102连接，监控设备是具备采集图像功能的电子设备，比如摄像头、摄像机、录像机等。服务器102是一台服务器或若干台服务器组成的服务器集群或云计算中心。

基于图1所示的系统架构，本申请实施例提供了一种人脸识别方法的流程，该方法的流程可以由归档装置执行，人脸识别装置可以是图1所示的服务器102，如图2所示，包括以下步骤：

步骤201：服务器获取监控设备抓拍至少一张第一人脸图像；

在具体实施过程中，可以包括视频解码和人脸识别。举例来说，视频解码可以包括将监控设备获取的不同码流的视频进行格式转化，然后以固定频率进行解码处理，最终输出一帧帧的静态图片；固定频率可以为10～25帧/每秒。根据解码后的静态图片，识别每张静态图片中的人脸图像；将人脸从每一帧静态图片中一一识别，并形成人脸图像；每张人脸图像中可以携带有该人脸图像的时间信息和空间信息。

由于行人一般不会主动配合去面对监控设备，基于该问题，本申请实施例提供一种方法，包括：

步骤一、服务器根据所述至少一张第一人脸图像确定所述访问者的轨迹；

其中，访问者的轨迹可以根据识别出的至少一张第一人脸图像的时间信息和空间信息确定；

具体的，可以将视频中同一人的确定出的至少一张第一人脸图像进行聚合，形成一条访问者的轨迹。例如，从商户门店入口的监控设备1拍摄到的第一张人脸图像开始至商户门店的监控设备的最后一张人脸图像，形成访问者进入监控画面到离开监控画面的轨迹。

步骤二、服务器根据所述访问者的轨迹确定所述查询终端；查询终端用于服务器接收所述访问者的身份信息，以使所述查询终端提前获知访问者。

其中，查询终端可以设置于所述访问者预估到达点。例如，预估到达点可以为商户门店的前台位置或结账位置，或者休息区等位置，在此不做限定。

步骤202：服务器从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息；

其中，所述人脸图像库中包括至少一个人脸档案；所述人脸档案是通过对监控设备抓拍的人脸图像进行聚类后确定的；至少一个人脸档案包括身份信息。身份信息可以包括访问者的姓名，电话，VIP账号，账户信息等，在此不做限定。

步骤203：服务器将所述访问者的身份信息发送给查询终端以使所述查询终端提前获知访问者。

在步骤203中，服务器将所述访问者的身份信息发送给查询终端的具体实施过程，可以包括：

步骤一、服务器获取位于所述查询终端设定范围内的监控设备拍摄的第二人脸图像；

其中，查询终端可以为商户门店的前台位置或结账位置，也可以设置为其他需要查询访问者的身份信息的查询终端，在此不做限定。设定范围可以为查询终端内包括至少一台监控设备的范围，也可以根据其他方式限定。

步骤二、服务器确定所述第二人脸图像为所述访问者，则将所述访问者的身份信息发送给所述查询终端。

本申请实施例中，在商户为识别访问者时，可以以访问者的图像搜索人脸图像库中的人脸档案，从中获取访问者对应的人脸档案，之后根据访问者应的人脸档案中的人脸图像分析访问者的活动轨迹等信息，为访问者推送商户信息，进而实现个性化定制，提高用户体验。通过上述方法，有利于商户门店精准定位消费群体画像，提高商业广告的投放价值，极大的提高了访问者从潜在VIP激活成品牌VIP的转化率，提高品牌形象。

在步骤202中，具体从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息的方法，可以包括：

步骤一、服务器获取第一人脸图像。

为提高人脸识别的效率，第一人脸图像可以为服务器从所述至少一张第一人脸图像中确定的比对图像。

其中，比对图像可以至少根据人脸图像中人脸姿态、图像质量、人脸遮挡状况中的一项或多项确定。当然，第一人脸图像还可以为待归档的在线人脸图像，可以根据具体需要确定。

步骤二、服务器若确定所述人脸图像库中的第一人脸档案的类中心与所述比对图像的相似度大于第一阈值，则确定所述第一人脸档案对应的身份信息为所述访问者的身份信息。

其中，第一人脸档案的类中心是根据所述第一人脸档案中的人脸图像确定的。

具体的，第一人脸档案的归档方法，可以如图3所示，包括以下步骤：

步骤301：服务器获取第一人脸图像。

其中，第一人脸图像可以为服务器获取监控设备抓拍至少一张第一人脸图像，也可以为从所述至少一张第一人脸图像中确定的比对图像，在此不做限定。即，可以将服务器获取的所有人脸图像进行归档，或者，根据图像质量筛选后，将图像质量高的人脸图像进行归档。

步骤302：若确定在线档案中的第一人脸档案的类中心与所述第一人脸图像的相似度大于或等于第一阈值，则将所述第一人脸图像归入所述第一人脸档案中。

其中，人脸图像库中包括至少一个在线档案，在线档案用于对在线人脸图像实时归档，在线档案用于对在线人脸图像实时归档；第一人脸档案为在线档案中的任一人脸档案；第一人脸档案的类中心是根据第一人脸档案中的人脸图像确定的。

通过上述归档方法，可以实时确定监控设备实时获取的人脸图像的归档信息，有利于快速实现访问者身份信息的识别，并且可以快速实现访问者图像查看的和调阅，有助于从海量的监控视频中获取有用的信息，以适应商户门店个性化定制和发展VIP客户的需要，提高用户体验。

在步骤302中，第一人脸档案的类中心可以根据多种方式确定，如图4所示，本发明实施例提供一种归档方法，包括：

步骤401：获取第一人脸档案；

其中，所述第一人脸档案为人脸图像库中的任一人脸档案；任一人脸档案中的任一张人脸图像与其他人脸档案中任一张人脸图像之间的相似度小于第一阈值；

步骤402：根据所述第一人脸档案的至少一张人脸图像，确定所述第一人脸档案的类中心；所述第一人脸档案的类中心用于确定监控设备获取的人脸图像是否归入所述第一人脸档案。

以下根据应用场景举例说明。

第一种场景，第一人脸档案为根据第一人脸图像新建的人脸档案，此时档案中仅存在一张人脸图像，可以将第一人脸图像作为第一人脸档案的类中心。

同理，若确定所述在线档案中的任一人脸档案的类中心与所述第一人脸图像的相似度都小于所述第一阈值，则在在线档案中建立第二人脸档案，并将所述第一人脸图像作为所述第二人脸档案的类中心。

第二种场景，第一人脸档案中包括至少2张人脸图像，为提高在线归档的效率和归档的准确度，一种可能的实现方式，可以将第一人脸档案中图像质量最高的人脸图像作为第一人脸档案的类中心，具体的更新第一人脸档案的类中心的时间节点可以根据具体需要确定。

需要说明的是，图像质量可以根据人脸图像的像素，清晰度，人脸图像的拍摄角度，特征提取的效果等方面综合确定的，在此不做限定。

一种可能的实现方式，可以在设定周期到达时，针对所述在线档案中的任一人脸档案，更新所述人脸档案的类中心。

一种可能的实现方式，可以在更新人脸图像之后，更新人脸档案的类中心，具体的，可以包括：

若确定所述第一人脸图像的图像质量大于所述第一人脸档案的类中心的图像质量，则将所述第一人脸档案的类中心更新为所述第一人脸图像。

在一种可能的实施方式中，在线档案的类中心为一个。将该类中心与第一人脸图像的类间相似度，确定为在线档案与第一人脸图像之间的相似度。

具体实施中，在确定类中心与第一人脸图像的类间相似度时，可以首先确定类中心对应用的第一特征向量以及第一人脸图像对应的第二特征向量，然后计算第一特征向量与第二特征向量之间的距离，根据第一特征向量与第二特征向量之间的距离确定类中心与第一人脸图像的类间相似度。

在另一种可能的实施方式中，在线档案的类中心可以为多个，确定第一人脸图像与在线档案的各类中心的类间相似度，然后根据在线档案的各类中心的权重以及各类中心的类间相似度，确定在线档案与第一人脸图像的相似度。

以第一人脸图像为比对图像举例来说，确定所述人脸图像库中的第一人脸档案的类中心与所述比对图像的相似度的具体方法，可以包括：

确定所述比对图像与所述第一人脸档案的各类中心的类间相似度；

根据所述第一人脸档案的各类中心的权重以及所述各类中心的类间相似度，确定所述第一人脸档案的类中心与所述比对图像的相似度。

具体实施中，可以采用以下方法确定在线档案的多个类中心，包括：

步骤一、预先设置在线档案的类中心的数量；

步骤二、将在线档案图像质量最高的人脸图像确定为第一类中心；

步骤三、在接收到归入在线档案的第一人脸图像时，若确定所述第二人脸图像的图像质量大于第三阈值，则确定第一类中心与第一人脸图像的相似度；

步骤四、若确定该相似度小于第二阈值时，将第一人脸图像确定为第二类中心；

步骤五、针对下一张归入在线档案的第一人脸图像执行上述步骤，直到在线档案的类中心的数据达到预先设置的数量。

由于预先根据在线档案中人脸图像的图像质量以及图像特征从各人脸图像中选取类中心，故在对第一人脸图像进行归档时，只需将第一人脸图像与在线档案的类中心进行比较，确定与第一人脸图像匹配的在线档案，而不需要将第一人脸图像与在线档案中每张人脸图像进行比较，从而提高了归档效率。

在确定第一人脸图像与多个类中心的类间相似度时，可以先分别确定第一人脸图像与每一个类中心的类间相似度，然后根据每一个类中心的权重将第一人脸图像与每一个类中心的类间相似度进行融合，确定在线档案与第一人脸图像的相似度，类中心的权重可以根据图像质量进行分配，也可以根据图像特征进行分配。

在具体实施过程中，所述根据所述第一人脸档案的各类中心与所述第一人脸图像的类间相似度，确定所述第一人脸档案与所述第一人脸图像的相似度，包括：

步骤一、分别确定所述第一人脸图像与所述第一人脸档案的各类中心的类间相似度；

步骤二、根据所述第一人脸档案的各类中心的权重以及所述各类中心的类间相似度，确定述第一人脸档案与所述第一人脸图像的相似度。

一种可能的实现方式，所述第一人脸图像与所述第一人脸档案的相似度C根据以下公式确定：

其中，Bj为第一人脸档案的第j个类中心的权重；M≥j≥1；M为大于1的正整数；Cj为所述第一人脸图像与所述第一人脸档案的第j个类中心间的类间相似度。

一种可能的实现方式，所述各类中心的权重根据以下方法确定的，包括：

针对所述第一人脸档案中的每个类中心，将所述类中心的属性信息输入监督学习模型，确定所述类中心的权重；所述属性信息包括以下至少之一及组合：图像质量、时间信息相关度或空间信息相关度。

在步骤302中，具体的实施方式可以包括以下两种实现方式：

一种可能的实现方式，所述若确定在线档案中的第一人脸档案的类中心与所述第一人脸图像的相似度大于或等于第一阈值，则将所述第一人脸图像归入所述第一人脸档案中，包括：

步骤一、遍历所述在线档案中的所有人脸档案，确定所有人脸档案的类中心与第一人脸图像的相似度；

步骤二、若确定所述在线档案中的至少一个第一人脸档案的类中心与所述第一人脸图像的相似度大于或等于所述第一阈值，则在所述至少一个第一人脸档案中选取相似度最高的第一人脸档案；

步骤三、将所述第一人脸图像归入所述相似度最高的第一人脸档案中。

举例来说，在线档案中包括人脸档案1的类中心1、人脸档案2的类中心2、人脸档案3的类中心2，确定第一人脸图像与类中心1的相似度1，确定第一人脸图像与类中心2的相似度2，确定第一人脸图像与类中心3的相似度3；若确定相似度1和相似度2都大于第一阈值，且相似度1大于相似度2，则将第一人脸图像归入人脸档案1。

一种可能的实现方式，所述若确定在线档案中的第一人脸档案的类中心与所述第一人脸图像的相似度大于或等于第一阈值，则将所述第一人脸图像归入所述第一人脸档案中，包括：

选取所述在线档案中的任一人脸档案，若确定出所述在线档案中的一个第一人脸档案的类中心与所述第一人脸图像的相似度大于或等于所述第一阈值，则将所述第一人脸图像归入所述第一人脸档案中。

举例来说，在线档案中包括人脸档案1的类中心1、人脸档案2的类中心2、人脸档案3的类中心2，若确定第一人脸图像与类中心1的相似度1小于第一阈值，则确定第一人脸图像与类中心2的相似度2；若确定第一人脸图像与类中心2的相似度2小于第一阈值，则确定第一人脸图像与类中心3的相似度3；若确定相似度3大于第一阈值，则将第一人脸图像归入人脸档案3。

需要说明的是，第一人脸图像与人脸档案比较的顺序可以为随机选择，也可以根据人脸档案的优先级确定，在此不做限定。人脸档案的优先级可以根据第一人脸图像的空间信息和或时间信息生成。人脸图像均可以携带空间信息和时间信息，其中，空间信息为抓拍人脸图像的监控设备的标识以及位置。时间信息为监控设备抓拍人脸图像的时间。示例性地，人脸图像A的空间信息和时间信息如下所示：空间信息：摄像头标识为：CAMERA_1，摄像头位置：上海市浦东新区门店1摄像头1。时间信息：2018-10-20 10:07:21。

具体地，可以根据空间信息确定多个筛选策略，依照筛选策略依次确定第一人脸图像的各优先级的在线档案，其中，筛选策略对应的空间范围越小，确定的优先级越高。每确定一个优先级的在线档案，将第一人脸图像与该优先级的在线档案进行比较，当该优先级的在线档案中存在与第一人脸图像匹配的在线档案时，将第一人脸图像归入匹配的在线档案。

由于很多人的生活范围较固定，因此一个人可能经常被某些地区的摄像头抓拍，故在对实时抓拍的第一人脸图像进行归档时，先以第一人脸图像的空间信息作为先验信息，从人脸图像库中筛选出在线档案，然后将第一人脸图像与筛选出的在线档案进行比较后归档，能有效提高在线归档的效率。

示例性地，设定第一人脸图像的空间信息包括：摄像头标识为CAMERA_1，摄像头位置为上海市浦东新区门店1摄像头1。设定根据空间范围从小到大的顺序，确定第一人脸图像的以下筛选策略：

筛选策略1：按照“摄像头标识CAMERA_1所属的门店”从人脸图像库中筛选出第1优先级的在线档案。

筛选策略2：按照“商户在浦东新区的所有门店”从人脸图像库中筛选出第2优先级的在线档案。

筛选策略3：按照“商户在上海市的所有门店”从人脸图像库中筛选出第3优先级的在线档案。

筛选策略4：人脸图像库中所有在线档案作为第4优先级的在线档案。

进一步地，设定根据筛选策略1从人脸图像库中筛选出第1优先级的在线档案为在线档案1和在线档案2，则将第一人脸图像与在线档案1进行比较，确定第一人脸图像与在线档案1匹配时，将第一人脸图像归入在线档案1。

在确定第K优先级的在线档案中不存在与第一人脸图像匹配的在线档案时，从人脸图像库中获取第K+1优先级的在线档案。确定第K+1优先级的在线档案中是否存在与第一人脸图像匹配的在线档案，直至找到匹配的在线档案或各优先级的在线档案均比对完毕。

示例性地，设定根据筛选策略1从人脸图像库中筛选出第1优先级的在线档案为在线档案1和在线档案2，将第一人脸图像分别与在线档案1和在线档案2进行比较，确定第一人脸图像与在线档案1和在线档案2均不匹配，则根据筛选策略2从人脸图像库中筛选出第2优先级的在线档案。设定第2优先级的在线档案为在线档案1、在线档案2、在线档案3、在线档案4。将第一人脸图像分别与在线档案3和在线档案4进行比较，第一人脸图像已经与在线档案1和在线档案2进行了比较，因此此时可以不再比较。当在线档案3和在线档案4中存在一个在线档案与第一人脸图像匹配时，将第一人脸图像归入匹配的在线档案，当在线档案3和在线档案4均与第一人脸图像不匹配时，根据筛选策略3从人脸图像库中筛选出第3优先级的在线档案，依次类推，直到在人脸图像中找到与第一人脸图像中匹配的在线档案或第一人脸图像与第4优先级的在线档案对比完毕。

具体采用以下方法确定第K优先级的在线档案中存在与第一人脸图像匹配的在线档案：

针对第K优先级的在线档案中的任一在线档案，根据在线档案的类中心与第一人脸图像的类间相似度，确定在线档案与所述第一人脸图像的相似度。

若相似度大于或等于第一阈值，则确定第N优先级的在线档案中存在与第一人脸图像匹配的在线档案。

具体地，针对不同优先级的在线档案，设置的第一阈值也不相同，其中，优先级越高，对应的第一阈值越小。示例性的，设定第1优先级对应的第一阈值为T0，第2优先级对应的第一阈值为T1，第3优先级对应的第一阈值为T2，第4优先级对应的第一阈值为T3，则T0<T1<T2<T3。

当然，还可以按照时间信息确定在线档案的优先级，或者，按照时间信息和空间信息确定在线档案的优先级，确定方式可以参照空间信息的确认方式，在此不再赘述。

为进一步提高第一人脸档案归档的准确度，结合图3，如图5所示，本发明实施例还提供一种归档方法，包括：

步骤501：获取预设时段中的多张人脸图像；

其中，预设时段可以一天为粒度进行划分；例如，预设时段可以为一天，即在第T天的0点，获取第T天的监控设备抓拍的所有人脸图像。

需要说明的是，为避免在线档案对离线档案的影响，可以撤销在线档案对所述多张人脸图像进行的归档操作。

一种可能的实现方式，在步骤501之前，还可以包括：撤销在所述预设时段更新的在线档案；所述更新的在线档案为对所述多张人脸图像进行在线归档的在线档案；所述多张人脸图像为监控设备在所述预设时段中实时获取的人脸图像。

一种可能的实现方式，在步骤501之前，还可以包括：恢复在预设时段之前的离线档案。

步骤502：对所述多张人脸图像进行聚类，生成预归档档案；

其中，任一预归档档案中的任一张人脸图像与其他预归档档案中任一张人脸图像之间的相似度小于第一阈值；

步骤503：针对至少一个预归档档案，若确定所述预归档档案的类中心与离线档案中的第一人脸档案的类中心间的相似度大于第二阈值，则将所述预归档档案中的人脸图像归入所述第一人脸档案；

其中，第一人脸档案为所述离线档案中已归档的任一人脸档案；离线档案为所述预设时段之前归档的档案；类中心是根据档案中的人脸图像确定的。

通过对预设时段的多张人脸图像进行聚类，并进行重新归档，确定离线档案的类中心，在重新归档后，相对于在线档案的归档方法，有效提高了档案的归档的准确度。

另外，在步骤503之后，可以将归档后的离线档案直接覆盖预设时段的在线档案。结合步骤501中的例子，在第T+1天进行在线归档时，在线档案的初始档案即为在第T天归档的离线档案。相对于直接使用在线档案进行在线归档来说，可以有效提高归档的准确度，并提高类中心的准确度，进而提高在线归档的准确度。

在步骤502中，预归档档案的类中心可以根据多种方式确定。

举例来说，第一种场景，若确定所述预归档档案的类中心与所述离线档案中所有的人脸档案的类中心间的相似度均小于所述第二阈值，则为所述预归档档案建立第二人脸档案，并将所述预归档档案的类中心作为所述第二人脸档案的类中心。

第二种场景，预归档档案中包括至少2张人脸图像，为提高在线归档的效率和归档的准确度，一种可能的实现方式，可以将预归档档案中图像质量最高的人脸图像作为预归档档案的类中心，具体的更新预归档档案的类中心的时间节点可以为离线档案归档的时间，也可以根据需要确定。需要说明的是，图像质量可以根据人脸图像的像素，清晰度，人脸图像的拍摄角度，特征提取的效果等方面综合确定的，在此不做限定。

在一种可能的实施方式中，离线档案的类中心为一个。将离线档案的类中心与预归档档案的类中心的类间相似度，确定为离线档案与预归档档案之间的相似度。

具体实施中，在确定离线档案的类中心与预归档档案的类中心的类间相似度时，可以首先确定类中心对应用的第一特征向量以及预归档档案的类中心对应的第二特征向量，然后计算第一特征向量与第二特征向量之间的距离，根据第一特征向量与第二特征向量之间的距离确定离线档案的类中心与预归档档案的类中心的类间相似度。

在该场景下，在步骤503之后，还可以包括：

若确定所述预归档档案的类中心的图像质量大于所述第一人脸档案的类中心的图像质量，则将所述第一人脸档案的类中心更新为所述预归档档案的类中心。

在另一种可能的实施方式中，离线档案的类中心可以为多个，确定离线档案的各类中心与预归档档案的类中心的类间相似度，然后根据在线档案的各类中心的权重以及各类中心的类间相似度，确定在线档案与第一人脸图像的相似度。

在具体实施过程中，确定多个类中心的类间相似度的方法，可以包括：

步骤一、将所述第一人脸档案中图像质量最高的第一人脸图像作为所述第一人脸档案的第一类中心；

步骤二、若确定所述第一人脸档案中第二人脸图像的图像质量大于第三阈值，且所述第二人脸图像与所述第一人脸图像之间的相似度小于第四阈值，则将所述第二人脸图像作为所述第一人脸档案的第二类中心；所述第四阈值大于所述第二阈值。

举例来说，可以采用以下方法确定离线档案的多个类中心，包括：

步骤一、预先设置离线档案的类中心的数量；

步骤二、将离线档案图像质量最高的人脸图像确定为第一类中心；

步骤三、在确定预归档档案归入第一人脸档案后，若确定预归档档案中的第二人脸图像的图像质量大于第三阈值，则确定第一类中心与预归档档案的各类中心的类间相似度；

步骤四、若确定该类间相似度小于第二阈值时，将第二人脸图像确定为第二类中心；

步骤五、针对下一个归入离线档案的预归档档案执行上述步骤，直到在线档案的类中心的数据达到预先设置的数量。

由于预先根据离线档案中人脸图像的图像质量以及图像特征从各人脸图像中选取类中心，故在对预归档档案进行归档时，只需将预归档档案的类中心与离线档案的类中心进行比较，确定与预归档档案匹配的离线档案，而不需要将预归档档案中的所有人脸图像与离线档案中每张人脸图像进行比较，从而提高了归档效率；另外，通过设置多个类中心，有效提高了归档的准确率，控制了档案比，使得同一个人不会生成过多的档案，以提高归档的鲁棒性。

在确定预归档档案的类中心与离线档案的多个类中心的类间相似度时，可以先分别确定预归档档案的每个类中心与第一人脸档案的每一个类中心的类间相似度，然后根据每一个类中心的权重将预归档档案的各类中心与离线档案的各类中心的类间相似度进行融合，确定离线档案与预归档档案的每个类中心的相似度，类中心的权重可以根据图像质量进行分配，也可以根据图像特征进行分配。

在具体实施过程中，所述根据所述第一人脸档案的各类中心与所述预归档档案的每个类中心的类间相似度，确定所述第一人脸档案与所述预归档档案的相似度，包括：

步骤一、分别确定所述预归档档案的每个类中心与所述第一人脸档案的各类中心的类间相似度；

步骤二、根据所述第一人脸档案的各类中心的权重、预归档档案的每个类中心的权重以及所述各类中心的类间相似度，确定述第一人脸档案与所述预归档档案的每个类中心的相似度。

一种可能的实现方式，所述预归档档案的每个类中心与所述第一人脸档案的相似度C根据以下公式确定：

其中，Ai为预归档档案的第i个类中心的权重；N≥i≥1；Bj为第一人脸档案的第j个类中心的权重；M≥j≥1；Ci,j为所述预归档档案的第i个类中心与所述第一人脸档案的第j个类中心间的相似度。N，M为大于1的正整数。

一种可能的实现方式，所述各类中心的权重根据以下方法确定的，包括：

将所述类中心的属性信息输入监督学习模型，确定所述类中心的权重；所述属性信息包括以下至少之一及组合：图像质量、时间信息相关度或空间信息相关度。

举例来说，图像的质量分数可以分为高、中、低三类；时空信息可以分为强相关(在同一摄像头同一天)、弱相关(同一摄像头或同一天)、不相关(既不是同一摄像头，也不是同一天)。可以根据图像的质量分数和时空信息相关度确定类中心的权重。

基于相同的发明构思，如图6所示，本发明实施例提供一种人脸识别装置700，包括：

收发单元601，用于获取监控设备抓拍至少一张第一人脸图像；将所述访问者的身份信息发送给查询终端以使所述查询终端提前获知访问者；

处理单元602，用于从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息，所述人脸图像库中包括至少一个人脸档案；所述人脸档案是通过对监控设备抓拍的人脸图像进行聚类后确定的；至少一个人脸档案包括身份信息。

一种可能的实现方式，所述处理单元602，还用于：

根据所述至少一张第一人脸图像确定所述访问者的轨迹；根据所述访问者的轨迹确定所述查询终端，所述查询终端设置于所述访问者预估到达点。

一种可能的实现方式，所述收发单元601，具体用于：

获取位于所述查询终端设定范围内的监控设备拍摄的第二人脸图像；确定所述第二人脸图像为所述访问者，则将所述访问者的身份信息发送给所述查询终端。

一种可能的实现方式，所述处理单元602，还用于：

从所述至少一张第一人脸图像中确定比对图像，所述比对图像至少根据人脸图像中人脸姿态、图像质量、人脸遮挡状况中的一项或多项确定；若确定所述人脸图像库中的第一人脸档案的类中心与所述比对图像的相似度大于第一阈值，则确定所述第一人脸档案对应的身份信息为所述访问者的身份信息，所述第一人脸档案的类中心是根据所述第一人脸档案中的人脸图像确定的。

一种可能的实现方式，所述处理单元602，具体用于：

确定所述比对图像与所述第一人脸档案的各类中心的类间相似度；

根据所述第一人脸档案的各类中心的权重以及所述各类中心的类间相似度，确定所述第一人脸档案的类中心与所述比对图像的相似度。

基于上述技术方案，服务器从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息，所述人脸图像库中包括至少一个人脸档案；所述人脸档案是通过对监控设备抓拍的人脸图像进行聚类后确定的；至少一个人脸档案包括身份信息；通过建立人脸档案，有效提高了访问者的身份信息的获取效率，优化访问者的身份信息的获取效果，提高访问者的身份信息获取的实时性。

基于相同的技术构思，本申请实施例提供了一种人脸识别设备，如图7所示，包括至少一个处理器701，以及与至少一个处理器连接的存储器702，本申请实施例中不限定处理器701与存储器702之间的具体连接介质，图7中处理器701和存储器702之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。

在本申请实施例中，存储器702存储有可被至少一个处理器701执行的指令，至少一个处理器701通过执行存储器702存储的指令，可以执行前述归档方法中所包括的步骤。

其中，处理器701是归档设备的控制中心，可以利用各种接口和线路连接归档设备的各个部分，通过运行或执行存储在存储器702内的指令以及调用存储在存储器702内的数据，从而实现归档。可选的，处理器701可包括一个或多个处理单元，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。在一些实施例中，处理器701和存储器702可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器701可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器702可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于同一发明构思，本申请实施例提供了一种计算机可读介质，其存储有可由归档设备执行的计算机程序，当所述程序在归档设备上运行时，使得所述归档设备执行归档方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：

服务器获取监控设备抓拍至少一张第一人脸图像；

所述服务器从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息，所述人脸图像库中包括至少一个人脸档案；所述人脸档案是通过对监控设备抓拍的人脸图像进行聚类后确定的；至少一个人脸档案包括身份信息；

所述服务器将所述访问者的身份信息发送给查询终端以使所述查询终端提前获知访问者。

2.如权利要求1所述的方法，其特征在于，所述服务器将所述访问者的身份信息发送给查询终端之前，还包括：

所述服务器根据所述至少一张第一人脸图像确定所述访问者的轨迹；

所述服务器根据所述访问者的轨迹确定所述查询终端，所述查询终端设置于所述访问者预估到达点。

3.如权利要求1所述的方法，其特征在于，所述服务器将所述访问者的身份信息发送给查询终端，包括：

所述服务器获取位于所述查询终端设定范围内的监控设备拍摄的第二人脸图像；

所述服务器确定所述第二人脸图像为所述访问者，则将所述访问者的身份信息发送给所述查询终端。

4.如权利要求1-3任一项所述的方法，其特征在于，所述服务器从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息之前，还包括：

所述服务器从所述至少一张第一人脸图像中确定比对图像，所述比对图像至少根据人脸图像中人脸姿态、图像质量、人脸遮挡状况中的一项或多项确定；

所述服务器从人脸图像库中确定所述人脸图像对应的访问者的身份信息，包括：

所述服务器若确定所述人脸图像库中的第一人脸档案的类中心与所述比对图像的相似度大于第一阈值，则确定所述第一人脸档案对应的身份信息为所述访问者的身份信息，所述第一人脸档案的类中心是根据所述第一人脸档案中的人脸图像确定的。

5.如权利要求4所述的方法，其特征在于，所述确定所述人脸图像库中的第一人脸档案的类中心与所述比对图像的相似度，包括：

确定所述比对图像与所述第一人脸档案的各类中心的类间相似度；

根据所述第一人脸档案的各类中心的权重以及所述各类中心的类间相似度，确定所述第一人脸档案的类中心与所述比对图像的相似度。

6.一种人脸识别装置，其特征在于，包括：

收发单元，用于获取监控设备抓拍至少一张第一人脸图像；将所述访问者的身份信息发送给查询终端以使所述查询终端提前获知访问者；

处理单元，用于从人脸图像库中确定所述第一人脸图像对应的访问者的身份信息，所述人脸图像库中包括至少一个人脸档案；所述人脸档案是通过对监控设备抓拍的人脸图像进行聚类后确定的；至少一个人脸档案包括身份信息。

7.如权利要求6所述的装置，其特征在于，所述处理单元，还用于：

根据所述至少一张第一人脸图像确定所述访问者的轨迹；根据所述访问者的轨迹确定所述查询终端，所述查询终端设置于所述访问者预估到达点。

8.如权利要求6所述的装置，其特征在于，所述收发单元，具体用于：

获取位于所述查询终端设定范围内的监控设备拍摄的第二人脸图像；确定所述第二人脸图像为所述访问者，则将所述访问者的身份信息发送给所述查询终端。

9.一种人脸识别设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～5任一权利要求所述方法的步骤。

10.一种计算机可读介质，其特征在于，其存储有可由归档设备执行的计算机程序，当所述程序在归档设备上运行时，使得所述人脸识别设备执行权利要求1～5任一所述方法的步骤。