CN104573611B - 一种分布式人脸识别集群系统 - Google Patents

Abstract

本发明公开了一种分布式人脸识别集群系统，包括：功能层子系统和接口层子系统；功能层子系统，用于接收前端设备发送来的人脸实时比对图片，并生成人脸实时比对结果，通过接口层子系统返回给客户端；接收客户端通过接口层子系统发送来的人脸比对确认图片，并生成人脸比对确认结果，通过接口层子系统返回给客户端；接收客户端通过接口层子系统发送来的人脸检索图片，并生成人脸检索结果，通过接口层子系统返回给客户端。应用本发明所述方案，能够提高系统的兼容性等。

Description

一种分布式人脸识别集群系统

技术领域

本发明涉及智能安防领域，特别涉及一种分布式人脸识别集群系统。

背景技术

人脸识别是生物特征识别的典型实现方式之一，是指从人脸图片中提取出能够区分不同人的特征，并通过一定的算法，计算出不同特征的相似程度，从而得到对应人脸图片的相似程度，以确定是否为相同人等。

在实际应用中，人脸识别可包括以下三种类型：人脸实时比对、人脸比对确认和人脸检索。

其中，人脸实时比对是指从视频流中抓拍人脸图片，并与指定的一系列人脸图片（黑名单）进行比对，达到预定的阈值则发出报警；其典型应用为卡口方式，即在重要通道处，如火车站和汽车站的出入口，实时抓拍过往人员，并与黑名单进行实时比对报警。

人脸比对确认是指针对某一张人脸图片，将其与选定的一张人脸图片进行比对，并返回这两张人脸图片的相似程度；其典型应用为门禁考勤和人员身份确认，如火车乘警可利用该技术对可疑人员进行身份核实。

人脸检索是指针对某一张人脸图片，将其与指定的一系列人脸图片进行比对，并返回相似程度最高的前N张人脸图片，N为正整数；其典型应用为事后查证，得到特定人员在特定摄像机监控范围内出现的时间等。

现有的智能安防场景中，通常，所布设的系统都是功能单一的系统，即只能用于进行人脸实时比对、人脸比对确认或人脸检索，即系统的兼容性较差，从而不方便使用。

发明内容

有鉴于此，本发明提供了一种分布式人脸识别集群系统，能够提高系统的兼容性。

为了达到上述目的，本发明的技术方案是这样实现的：

一种分布式人脸识别集群系统，包括：功能层子系统和接口层子系统；

所述功能层子系统，用于接收前端设备发送来的人脸实时比对图片，并生成人脸实时比对结果，通过接口层子系统返回给客户端；

接收所述客户端通过所述接口层子系统发送来的人脸比对确认图片，并生成人脸比对确认结果，通过所述接口层子系统返回给所述客户端；

接收所述客户端通过所述接口层子系统发送来的人脸检索图片，并生成人脸检索结果，通过所述接口层子系统返回给所述客户端。

可见，本发明所述的分布式人脸识别集群系统，既能用于进行人脸实时比对、又能用于进行人脸比对确认，还能用于进行人脸检索，从而相比于现有技术，系统功能更为丰富和完善，进而提高了系统的兼容性。

附图说明

图1为本发明所述不同类型的前端设备和客户端的示意图。

图2为本发明分布式人脸识别集群系统的组成结构示意图。

具体实施方式

针对现有技术中存在的问题，本发明中提出一种面向服务的分布式人脸识别集群系统，一方面，系统采用网络服务方式对外提供人脸实时比对、人脸比对确认和人脸检索等功能，具备跨平台和多任务的特点，另一方面，系统内部的分布式和并行也是采用面向服务的架构实现，从而使得系统整体架构一致，并具备不同任务共享底层资源等特点。

另外，本发明所述的分布式人脸识别集群系统可以接入多种不同类型的前端设备，并且可以支持多种不同类型的客户端。前端设备、分布式人脸识别集群系统以及客户端可分别位于不同的网络，具备分布式的特点。

图1为本发明所述不同类型的前端设备和客户端的示意图。如图1所示，前端设备至少可包括人脸抓拍机、IP摄像机以及便携设备三种类型，其中，IP摄像机包括类似的设备，如普通摄像机＋网络视频录像机（NVR，Network Video Recorder）等；客户端至少可包括个人计算机（PC，Personal Computer）客户端、网页（WEB）客户端以及便携设备三种类型；具体地，便携设备可包括笔记本、智能手机和警用手持终端等。

前端设备主要用于人脸实时比对的功能，即生成人脸实时比对图片，并发送给分布式人脸识别集群系统。人脸抓拍机是将人脸抓拍功能直接嵌入到摄像机的智能前端设备，IP摄像机的人脸抓拍功能则可以通过以下两种方式实现：一种是在前端增加具备人脸抓拍功能的工控机或类似设备，从而完成人脸抓拍，另一种是将视频数据传输到数据中心，由后端的人脸抓拍服务器完成人脸抓拍。

在实际应用中，便携设备可承担前端设备和客户端的双重角色，即同时作为前端设备和客户端。

本发明所述的分布式人脸识别集群系统可采用层次化设计方式，具体来说，可包括：功能层子系统和接口层子系统，另外还可进一步包括：数据层子系统。图2为本发明分布式人脸识别集群系统的组成结构示意图。

其中，功能层子系统，用于接收前端设备发送来的人脸实时比对图片，并生成人脸实时比对结果，通过接口层子系统返回给客户端；接收客户端通过接口层子系统发送来的人脸比对确认图片，并生成人脸比对确认结果，通过接口层子系统返回给客户端；接收客户端通过接口层子系统发送来的人脸检索图片，并生成人脸检索结果，通过接口层子系统返回给客户端。

数据层子系统，用于对系统运行过程中所涉及到的各种数据进行存储。

以下对各个子系统的组成以及功能分别进行详细介绍。

一）功能层子系统

如图2所示，功能层子系统中可包括：前端设备接入服务器、人脸检测服务器、人脸建模服务器和人脸比对服务器；另外，还可进一步包括：设备管理服务器；还可进一步包括：检测任务调度服务器、建模任务调度服务器以及比对任务调度服务器。

1）前端设备接入服务器

前端设备接入服务器可用于，接收前端设备发送来的人脸实时比对图片，并发送给人脸检测服务器。

前端设备如何生成人脸实时比对图片为现有技术，不作介绍。

另外，在实际应用中，针对接收到的每张人脸实时比对图片，前端设备接入服务器可首先确定其置信度值是否大于或等于预定阈值，如果是，则将该人脸实时比对图片发送给人脸检测服务器。

也就是说，只有置信度值大于或等于预定阈值的人脸图片，前端设备接入服务器才会将其发送给人脸检测服务器，进而完成后续的人脸实时比对等，如何确定置信度值为现有技术，另外，所述预定阈值的具体取值可根据实际需要而定。

这样处理的好处在于，对于一些置信度较低的人脸图片，即比对价值不大的人脸图片，可不触发后续的人脸实时比对任务，以减少后续的工作量。

2）人脸检测服务器、人脸建模服务器和人脸比对服务器

人脸检测服务器可用于，对接收自前端设备接入服务器的人脸实时比对图片进行人脸检测，并将检测到的人脸实时比对子图发送给人脸建模服务器；对接收自接口层子系统的人脸比对确认图片进行人脸检测，并将检测到的人脸比对确认子图发送给人脸建模服务器；对接收自接口层子系统的人脸检索图片进行人脸检测，并将检测到的人脸检索子图发送给人脸建模服务器。

人脸建模服务器可用于，对接收到的人脸实时比对子图进行人脸建模，将得到的人脸模型发送给人脸比对服务器，并触发其执行人脸实时比对任务；对接收到的人脸比对确认子图进行人脸建模，将得到的人脸模型发送给人脸比对服务器，并触发其执行人脸比对确认任务；对接收到的人脸检索子图进行人脸建模，将得到的人脸模型发送给人脸比对服务器，并触发其执行人脸检索任务。

人脸比对服务器可用于，当触发人脸实时比对任务时，将接收到的人脸模型分别与作为实时比对对象的各人脸模型进行比对，并生成人脸实时比对结果，通过接口层子系统返回给客户端；当触发人脸比对确认任务时，将接收到的人脸模型与作为比对确认对象的一个预定人脸模型进行比对，并生成人脸比对确认结果，通过接口层子系统返回给客户端；当触发人脸检索任务时，将接收到的人脸模型分别与作为检索对象的各人脸模型进行比对，并生成人脸检索结果，通过接口层子系统返回给客户端。

另外，人脸检测服务器还可进一步用于，分别对接收自接口层子系统的对应于实时比对对象、比对确认对象以及检索对象的人脸图片进行人脸检测，并将检测结果发送给人脸建模服务器进行人脸建模，将得到的人脸模型分别作为实时比对对象、比对确认对象以及检索对象。

可见，对于人脸检测服务器来说，其接收到的人脸图片至少包括以下几种类型：人脸实时比对图片、人脸比对确认图片、人脸检索图片；对应于实时比对对象、比对确认对象以及检索对象的人脸图片。如何进行人脸检测为现有技术。

针对上述不同类型的人脸图片，人脸检测服务器可将检测结果分别发送给人脸建模服务器进行人脸建模。

相应地，人脸建模服务器可通过执行特征点定位、人脸质量评分以及人脸归一化等操作，得到每个检测结果对应的人脸模型，从功能的角度来看，输入为一张人脸图片（子图），输出为对应的人脸模型。

对于人脸实时比对子图对应的人脸模型，人脸建模服务器可将其发送给人脸比对服务器，并触发其执行人脸实时比对任务；对于人脸比对确认子图对应的人脸模型，人脸建模服务器可将其发送给人脸比对服务器，并触发其执行人脸比对确认任务；对于人脸检索子图对应的人脸模型，人脸建模服务器可将其发送给人脸比对服务器，并触发其执行人脸检索任务；对于作为实时比对对象、比对确认对象以及检索对象的人脸模型，人脸建模服务器可直接将其存储。

人脸比对服务器可用于完成三种类型的比对，即人脸实时比对、人脸比对确认和人脸检索。

具体来说，当触发人脸实时比对任务时，人脸比对服务器可将接收到的人脸模型分别与作为实时比对对象的各人脸模型进行比对，并生成人脸实时比对结果，通过接口层子系统返回给客户端；当触发人脸比对确认任务时，人脸比对服务器可将接收到的人脸模型与作为比对确认对象的一个预定人脸模型进行比对，并生成人脸比对确认结果，通过接口层子系统返回给客户端；当触发人脸检索任务时，人脸比对服务器可将接收到的人脸模型分别与作为检索对象的各人脸模型进行比对，并生成人脸检索结果，通过接口层子系统返回给客户端。

通常，实时比对对象的个数要远少于检索对象的个数，因为实时比对对象对应的人脸实时比对任务具有较高的实时性要求，如果比对对象过多，处理速度会很慢，实时性达不到要求。

在实际应用中，可根据实际需求，随时对实时比对对象、比对确认对象以及检索对象进行更新，比如，可将接收到的人脸检索图片对应的人脸模型作为新的检索对象等。

3）检测任务调度服务器、建模任务调度服务器以及比对任务调度服务器

在实际应用中，人脸检测服务器、人脸建模服务器和人脸比对服务器的个数均可为一个以上，即可以为一个，也可以为多个，具体个数可视实际需要而定。

相应地，检测任务调度服务器可用于，根据负载情况，将接收到的各人脸检测任务在各人脸检测服务器之间进行合理分配，实现各人脸检测服务器之间的负载均衡；

建模任务调度服务器可用于，根据负载情况，将接收到的各人脸建模任务在各人脸建模服务器之间进行合理分配，实现各人脸建模服务器之间的负载均衡；

比对任务调度服务器可用于，根据负载情况，将接收到的各人脸实时比对任务、人脸比对确认任务和人脸检索任务在各人脸比对服务器之间进行合理分配，实现各人脸比对服务器之间的负载均衡。

以检测任务调度服务器为例，当每接收到一个人脸检测任务时，可将其加入到预先建立的任务队列末尾，并实时查询各个人脸检测服务器的负载情况，如果某一人脸检测服务器空闲，则可将任务队列中的第一个任务分配给该人脸检测服务器进行处理，同时可监测该任务的处理状态，如果超时仍未处理完毕，则可对该任务进行重新分配，当该任务正常处理完毕时，可将其从任务队列中删除。

需要说明的是，以上仅为举例说明，并不用于限制本发明的技术方案，比如，对于不同的人脸检测任务，也可设置不同的优先级，并优先处理优先级高的任务。

相应地，在系统初始化阶段，各人脸检测服务器需要分别注册到检测任务调度服务器，并具备状态标识和可供查询的接口；类似地，在系统初始化阶段，各人脸建模服务器需要分别注册到建模任务调度服务器，并具备状态标识和可供查询的接口；在系统初始化阶段，各人脸比对服务器需要分别注册到比对任务调度服务器，并具备状态标识和可供查询的接口。

4）设备管理服务器

设备管理服务器可用于，对功能层子系统中的各服务器进行配置和管理；即完成各服务器的列表维护，在系统初始化阶段对各服务器进行配置，并维护各服务器的系统心跳，对状态异常的服务器进行自动重置等，从而使得系统具备完善的自我管理能力。

二）接口层子系统

如图2所示，接口层子系统中可包括：人脸注册接口服务器、实时比对接口服务器、比对确认接口服务器以及人脸检索接口服务器；另外还可进一步包括：配置管理接口服务器。

接口层子系统中的各服务器对外提供微软通讯接口（WCF，WindowsCommunication Foundation）服务访问接口。WCF是微软发布的新一代windows通讯接口，其特点在于整合了WEB服务（Web Service）、.NET远程处理（.NET Remoting）、基础Socket通信、命名管道等多种不同的通讯方式，从而可以以统一的方式使用不同的通信协议完成数据交互。

1）人脸注册接口服务器

人脸注册接口服务器可用于，接收对应于实时比对对象、比对确认对象以及检索对象的人脸图片，并发送给人脸检测服务器。

具体来说，可进一步包括：人脸归一化接口、单张注册接口、批量注册接口以及数据库导入接口。

人脸归一化接口用于交互式注册过程中确认人脸归一化是否正确；

单张注册接口用于向系统注册单张图片；

批量注册接口用于向系统批量注册图片或者导入第三方数据，该接口可通过自动多次调用单张注册接口实现；

数据库导入接口用于从第三方数据库自动读取图片并批量注册，实质为批量注册接口的另一种形式，区别在于批量注册接口读取本地目录中的图片，而数据库导入接口读取数据库。

所谓注册，即指加入到系统中。

2）实时比对接口服务器

实时比对接口服务器可用于，将人脸比对服务器生成的人脸实时比对结果返回给客户端。

具体来说，可进一步包括：配置抓拍前端接口和报警生成接口。

配置抓拍前端接口用于将前端设备注册到系统中，以便系统能够接收前端设备发送来的人脸实时比对图片；

报警生成接口用于接收人脸比对服务器产生的实时比对报警，并获取对应的人脸图片，生成适合客户端接收和查看的报警信息推送到客户端。

3）比对确认接口服务器

比对确认接口服务器可用于，将接收自客户端的人脸比对确认图片发送给人脸检测服务器，并将人脸比对服务器生成的人脸比对确认结果返回给客户端。

如前所述，比对确认结果即指人脸比对确认图片与选定的人脸图片的比对相似程度，以确定是否为同一个人。

4）人脸检索接口服务器

人脸检索接口服务器可用于，将接收自客户端的人脸检索图片发送给人脸检测服务器，并将人脸比对服务器生成的人脸检索结果返回给客户端。

人脸检索结果可包括比对后N张相似程度最高的图片，并可按照相似程度由高到低的顺序进行排序。

具体来说，如果相似程度大于阈值的图片数大于或等于N，则可返回相似程度最高的前N张图片，否则，可仅返回相似程度大于阈值的图片。

5）配置管理接口服务器

配置管理接口服务器可用于，接收配置和管理信息，并发送给设备管理服务器。

以上为各接口服务器的接口功能描述，在实际应用中，可采用异步调用和服务线程池等技术提升系统对外提供服务的并发能力。

三）数据层子系统

如图2所示，数据层子系统可用于，将系统接收到的各个图片、生成的各个子图，生成的各个人脸模型，以及生成的各个结果等均进行存储，另外还可进一步存储各个服务器的设备信息等。

数据层子系统提供数据的存储和查询功能，采用网络服务方式为上层提供数据，并屏蔽不同数据库类型，网络附属存储（NAS，Network Attached Storage）等存储设备的差异。

相应地，功能层子系统中的人脸比对服务器还可进一步用于，当自身启动时，将实时比对对象从数据层子系统加载到自身内存中，并将指定的部分检索对象加载到自身内存中；当执行人脸检索任务时，如果存在需要使用但未加载到自身内存中的检索对象，则将所需要的检索对象加载到自身内存中。

由于人脸实时比对任务有较高的实时性要求，因此为加快处理速度，可预先将实时比对对象加载到人脸比对服务器的内存中，而对于无实时性要求或对实时性要求较低的人脸检索，则可只将部分检索对象预先加载到人脸比对服务器的内存中，待实际执行任务时，再将所需的剩余检索对象加载进去；加载到内存中的各人脸模型可按照使用频率由高到低的顺序进行排序，当内存不足时，可用新加载的人脸模型覆盖最少使用的人脸模型；对于人脸比对确认任务，由于其只需要进行人脸模型之间的一对一的比较，即使执行任务时再去加载也不会耗费多少时间，因此可无需预先加载。

总之，本发明所述的分布式人脸识别集群系统，既能用于进行人脸实时比对、又能用于进行人脸比对确认，还能用于进行人脸检索，从而相比于现有技术，系统功能更为丰富和完善，进而提高了系统的兼容性；而且，采用面向服务的架构实现，能够支持不同的前端设备和客户端类型，具有广泛适用性；另外，三种不同任务可以共享底层资源，从而提高了底层资源的利用率；再有，系统具有完备的自我管理能力，可以自动重置状态异常的服务器，并且可以动态增加或减少服务器的数量等；还有，基于面向服务的架构自身的特点，系统具备自我描述的能力，从而可以方便地接入到其它应用系统。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种分布式人脸识别集群系统，其特征在于，包括：功能层子系统和接口层子系统；

所述功能层子系统，用于接收前端设备发送来的人脸实时比对图片，并生成人脸实时比对结果，通过接口层子系统返回给客户端；

接收所述客户端通过所述接口层子系统发送来的人脸比对确认图片，并生成人脸比对确认结果，通过所述接口层子系统返回给所述客户端；

接收所述客户端通过所述接口层子系统发送来的人脸检索图片，并生成人脸检索结果，通过所述接口层子系统返回给所述客户端；

所述功能层子系统中包括：前端设备接入服务器、人脸检测服务器、人脸建模服务器和人脸比对服务器；

所述前端设备接入服务器，用于接收所述前端设备发送来的人脸实时比对图片，并发送给所述人脸检测服务器；

所述人脸检测服务器，用于对接收自所述前端设备接入服务器的人脸实时比对图片进行人脸检测，并将检测到的人脸实时比对子图发送给所述人脸建模服务器；对接收自所述接口层子系统的人脸比对确认图片进行人脸检测，并将检测到的人脸比对确认子图发送给所述人脸建模服务器；对接收自所述接口层子系统的人脸检索图片进行人脸检测，并将检测到的人脸检索子图发送给所述人脸建模服务器；

所述人脸建模服务器，用于对接收到的人脸实时比对子图进行人脸建模，将得到的人脸模型发送给所述人脸比对服务器，并触发其执行人脸实时比对任务；对接收到的人脸比对确认子图进行人脸建模，将得到的人脸模型发送给所述人脸比对服务器，并触发其执行人脸比对确认任务；对接收到的人脸检索子图进行人脸建模，将得到的人脸模型发送给所述人脸比对服务器，并触发其执行人脸检索任务；

所述人脸比对服务器，用于当触发人脸实时比对任务时，将接收到的人脸模型分别与作为实时比对对象的各人脸模型进行比对，并生成人脸实时比对结果，通过所述接口层子系统返回给所述客户端；当触发人脸比对确认任务时，将接收到的人脸模型与作为比对确认对象的一个预定人脸模型进行比对，并生成人脸比对确认结果，通过所述接口层子系统返回给所述客户端；当触发人脸检索任务时，将接收到的人脸模型分别与作为检索对象的各人脸模型进行比对，并生成人脸检索结果，通过所述接口层子系统返回给所述客户端。

2.根据权利要求1所述的系统，其特征在于，

所述前端设备接入服务器进一步用于，针对接收到的每张人脸实时比对图片，分别确定其置信度值是否大于或等于预定阈值，如果是，则将该人脸实时比对图片发送给所述人脸检测服务器。

3.根据权利要求1所述的系统，其特征在于，

所述人脸检测服务器、所述人脸建模服务器以及所述人脸比对服务器的个数均为一个以上；

所述功能层子系统中进一步包括：检测任务调度服务器、建模任务调度服务器以及比对任务调度服务器；

所述检测任务调度服务器，用于根据负载情况，将接收到的各人脸检测任务在各人脸检测服务器之间进行合理分配，实现各人脸检测服务器之间的负载均衡；

所述建模任务调度服务器，用于根据负载情况，将接收到的各人脸建模任务在各人脸建模服务器之间进行合理分配，实现各人脸建模服务器之间的负载均衡；

所述比对任务调度服务器，用于根据负载情况，将接收到的各人脸实时比对任务、人脸比对确认任务和人脸检索任务在各人脸比对服务器之间进行合理分配，实现各人脸比对服务器之间的负载均衡。

4.根据权利要求1所述的系统，其特征在于，

所述接口层子系统中包括：人脸注册接口服务器、实时比对接口服务器、比对确认接口服务器以及人脸检索接口服务器；

所述人脸注册接口服务器，用于接收对应于实时比对对象、比对确认对象以及检索对象的人脸图片，并发送给所述人脸检测服务器；

所述人脸检测服务器进一步用于，分别对接收到的对应于实时比对对象、比对确认对象以及检索对象的人脸图片进行人脸检测，并将检测结果发送给人脸建模服务器进行人脸建模，将得到的人脸模型分别作为实时比对对象、比对确认对象以及检索对象；

所述实时比对接口服务器，用于将所述人脸比对服务器生成的人脸实时比对结果返回给所述客户端；

所述比对确认接口服务器，用于将接收自所述客户端的人脸比对确认图片发送给所述人脸检测服务器，并将所述人脸比对服务器生成的人脸比对确认结果返回给所述客户端；

所述人脸检索接口服务器，用于将接收自所述客户端的人脸检索图片发送给所述人脸检测服务器，并将所述人脸比对服务器生成的人脸检索结果返回给所述客户端。

5.根据权利要求4所述的系统，其特征在于，

所述功能层子系统中进一步包括：设备管理服务器，用于对所述功能层子系统中的各服务器进行配置和管理；其中，所述管理包括：维护各服务器的系统心跳，对状态异常的服务器进行自动重置；

所述接口层子系统中进一步包括：配置管理接口服务器，用于接收配置和管理信息，并发送给所述设备管理服务器。

6.根据权利要求1～5中任一项所述的系统，其特征在于，

该系统中进一步包括：数据层子系统，用于将该系统接收到的各个图片、生成的各个子图，生成的各个人脸模型，以及生成的各个比对结果均进行存储。

7.根据权利要求6所述的系统，其特征在于，

所述人脸比对服务器进一步用于，当自身启动时，将实时比对对象从所述数据层子系统加载到自身内存中，并将指定的部分检索对象加载到自身内存中；当执行人脸检索任务时，如果存在需要使用但未加载到自身内存中的检索对象，则将所需要的检索对象加载到自身内存中。

8.根据权利要求1～5中任一项所述的系统，其特征在于，

所述前端设备的类型包括：人脸抓拍机、IP摄像机、便携设备。

9.根据权利要求1～5中任一项所述的系统，其特征在于，

所述客户端的类型包括：PC客户端、WEB客户端、便携设备。