CN110929068A - 一种基于终端设备的人脸搜索方法 - Google Patents

Abstract

发明提供一种基于终端设备的人脸搜索方法，该方法可应用于人脸搜索系统，人脸搜索系统包括：客户端、人脸服务器、应用服务器和终端设备，通过人脸服务器、应用服务器和终端设备这三者之间的交互，可以实现人脸入库在人脸服务器和终端设备上，且应用服务器和终端设备之间通过socket服务进行交互，不需要固定终端设备的IP地址。因此，本申请实施例提供的人脸搜索系统可以成功实现实时的人脸搜索响应。

Description

一种基于终端设备的人脸搜索方法

技术领域

本发明涉及人脸识别技术领域，具体涉及一种基于终端设备的人脸搜索方法。

背景技术

目前，深度学习技术日益成熟，计算机算力不断提升，人工智能越来越受到人们的关注。人脸识别在许多领域均有应用。

人脸识别模型通常都部署有大型的服务器上，服务器上面配备有图形处理器(Graphics Processing Unit，GPU)，可以快速地进行模型推理。但随着业务的扩展，很多情况下，需要在终端设备上运行人脸识别模型，这时候就出现一个问题，终端设备的计算力有限，很难支撑频繁的模型推理运算。

在人脸搜索时，首先需要进行人脸入库，目前常用的人脸入库方法是将人脸入库和人脸搜索都放在终端设备上进行，上述方案存在容易耗尽终端设备的处理资源的问题，因此无法做到人脸搜索的实时响应。

另一种人脸入库方法是在服务器上进行，这需要在终端设备上部署REST API服务，客户端通过调用终端设备的API服务进行人脸特征编码的推送同步。这种方案由于使用REST API服务，因此需要终端设备的互联网协议(Internet Protocol，IP)地址是固定不变的，但是在实际的应用场景中上述方案存在无法实现的问题，因为终端设备使用移动网络，通常没有固定的IP地址，因此上述方案无法实现人脸搜索。

发明内容

本发明的目的在于提供一种基于终端设备的人脸搜索方法，用于成功实现实时的人脸搜索响应。

为了达到上述目的，本发明采用这样的如下技术方案：

本发明提供一种基于终端设备的人脸搜索方法，所述方法应用于人脸搜索系统，所述人脸搜索系统包括：客户端、人脸服务器、应用服务器和终端设备，其中，所述客户端分别和所述人脸服务器、所述应用服务器之间建立有通信连接，所述人脸服务器和所述应用服务器之间建立有通信连接，所述应用服务器和所述终端设备之间建立还有套接字socket连接；所述方法包括如下步骤：

所述客户端向所述人脸服务器发送人脸入库请求，所述人脸入库请求包括需要入库的第一人脸图片；

所述人脸服务器接收所述客户端发送的人脸入库请求；

所述人脸服务器将所述第一人脸图片入库到第一人脸信息库中，所述第一人脸信息库是所述人脸服务器的本地数据库；

所述人脸服务器从所述第一人脸信息库中读取出所述第一人脸图片，然后向所述应用服务器发送所述第一人脸图片对应的第一人脸信息；

所述应用服务器接收所述人脸服务器发送的第一人脸信息，然后通过所述socket连接向所述终端设备发送所述第一人脸信息；

所述终端设备通过所述socket连接接收所述应用服务器发送的第一人脸信息，并将接收到的第一人脸信息入库到第二人脸信息库中，所述第二人脸信息库是所述终端设备的本地数据库；

所述终端设备获取所述终端设备的摄像头采集到的第二人脸图片；

所述终端设备获取所述第二人脸图片对应的第二人脸信息；

所述终端设备在所述第二人脸信息库中对所述第二人脸信息进行人脸搜索，并输出人脸搜索结果。

采用上述技术方案后，本发明提供的技术方案将有如下优点：

本发明提供一种基于终端设备的人脸搜索方法，该方法可应用于人脸搜索系统，人脸搜索系统包括：客户端、人脸服务器、应用服务器和终端设备，通过人脸服务器、应用服务器和终端设备这三者之间的交互，可以实现人脸入库在人脸服务器和终端设备上，且应用服务器和终端设备之间通过socket服务进行交互，不需要固定终端设备的IP地址。具体的，本发明提供基于终端设备的人脸搜索方案，将人脸入库独立出来，放到人脸服务器上，然后再同步到终端设备上，有效解决了终端设备的计算力有限，频繁进行入库相关的模型推理容易耗尽终端设备资源，很难做到实时响应的问题；本发明使用Socket的方式将人脸服务器的人像信息同步到终端设备上，由于终端设备的Socket客户端程序只要连接到应用服务器的Socket服务端程序中，就可以实现双方的通信，有效解决终端设备的IP不固定，无法通过终端设备的API服务推送人像信息的问题。因此，本申请实施例提供的人脸搜索系统可以成功实现实时的人脸搜索响应。

附图说明

图1为本发明实施例提供一种基于终端设备的人脸搜索方法的流程方框示意图；

图2为本发明实施例提供的基于终端设备的人脸搜索方案的实现原理示意图。

具体实施方式

本发明实施例提供了一种基于终端设备的人脸搜索方法，用于成功实现实时的人脸搜索响应。

接下来将结合本发明附图，对本发明实施例中的技术方案进行清楚、完整地描述，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于终端设备的人脸搜索方法，该方法可应用于人脸搜索系统，人脸搜索系统包括：客户端、人脸服务器、应用服务器和终端设备，其中，客户端是触发人脸入库的设备，人脸服务器是进行人脸入库的服务器，应用服务器是人脸服务器和终端设备之间的交互载体，应用服务器可以将人脸服务器提供的人脸信息转发至终端设备，终端设备包括有本地人脸信息库，终端设备将已经人脸入库的人脸信息存储到本地人脸信息库中，从而该终端设备可以使用本地人脸信息库中的人脸特征编码进行人脸搜索。本申请实施例通过人脸服务器、应用服务器和终端设备这三者之间的交互，可以实现人脸入库在人脸服务器和终端设备上，且应用服务器和终端设备之间通过socket服务进行交互，不需要固定终端设备的IP地址。具体的，本发明提供基于终端设备的人脸搜索方案，将人脸入库独立出来，放到人脸服务器上，然后再同步到终端设备上，有效解决了终端设备的计算力有限，频繁进行入库相关的模型推理容易耗尽终端设备资源，很难做到实时响应的问题；本发明使用Socket的方式将人脸服务器的人像信息同步到终端设备上，由于终端设备的Socket客户端程序只要连接到应用服务器的Socket服务端程序中，就可以实现双方的通信，有效解决终端设备的IP不固定，无法通过终端设备的API服务推送人像信息的问题。因此，本申请实施例提供的人脸搜索系统可以成功实现实时的人脸搜索响应。

请参阅图1所示，本发明提供的基于终端设备的人脸搜索方法，应用于人脸搜索系统，人脸搜索系统包括：客户端、人脸服务器、应用服务器和终端设备，其中，客户端分别和人脸服务器、应用服务器之间建立有通信连接，人脸服务器和应用服务器之间建立有通信连接，应用服务器和终端设备之间建立还有套接字socket连接；本发明提供的基于终端设备的人脸搜索方法，可以包括如下步骤：

其中，基于终端设备的人脸搜索方法主要由两部分功能组成：人脸入库和同步、人脸搜索。如下步骤10至步骤60对人脸入库和同步的过程进行说明，步骤70至步骤90对人脸搜索的过程进行说明。

在人脸入库和同步的过程中，将人脸入库部署在人脸服务器上，对外提供入库和查询人像信息的REST API服务；在应用服务器上部署Socket服务端程序，并对外提供同步人像信息的REST API服务；在终端设备上部署Socket客户端程序，用于接收人像信息并完成入库。

步骤10、客户端向人脸服务器发送人脸入库请求，人脸入库请求包括需要入库的第一人脸图片。

其中，客户端可以调用人脸服务器的入库应用程序接口(ApplicationProgramming Interface，API)，将要入库的包含人脸的图片做为参数传送给人脸服务器。

步骤20、人脸服务器接收客户端发送的人脸入库请求。

其中，人脸服务器的API服务可以从客户端接收到入库请求。

在本发明的一些实施例中，步骤20人脸服务器接收客户端发送的人脸入库请求之后，本申请实施例提供的方法还包括：

人脸服务器按照人脸检测模型的输入图片要求对第一人脸图片进行图像预处理。

其中，人脸服务器可以进行图片预处理，使之符合人脸检测模型的输入要求。例如对图片的大小、像素、格式等参数进行图片预处理，具体过程此处不做限定。

步骤30、人脸服务器将第一人脸图片入库到第一人脸信息库中，第一人脸信息库是人脸服务器的本地数据库。

其中，人脸服务器上可以部署有人脸检测模型和人脸识别模型，人脸服务器在对第一人脸图片进行检测和识别之后，人脸服务器可以进行人脸入库的具体操作，从而可以将第一人脸图片入库到第一人脸信息库中，第一人脸信息库是人脸服务器的本地数据库。其中，入库到第一人脸信息库中的可以是第一人脸图片中承载的第一人脸信息。

在本发明的一些实施例中，步骤30人脸服务器将第一人脸图片入库到第一人脸信息库中，包括：

人脸服务器对第一人脸图片进行人脸检测，以得到第一人脸检测结果；

人脸服务器根据第一人脸检测结果进行人脸识别，以得到第一人脸图片对应的第一人脸信息，第一人脸信息包括：第一人脸特征编码；

人脸服务器将第一人脸信息入库到第一人脸信息库中。

其中，人脸服务器执行的人脸入库算法可以包括人脸检测以及人脸识别，在完成上述操作之后，可以得到第一人脸图片对应的第一人脸信息，第一人脸信息包括：第一人脸特征编码，最后人脸服务器将第一人脸信息入库到第一人脸信息库中。

进一步的，在本发明的一些实施例中，人脸服务器对第一人脸图片进行人脸检测，包括：

人脸服务器将第一人脸图片输入到人脸检测模型中，通过人脸检测模型从第一人脸图片上检测到第一人脸坐标和第一人脸特征点；

人脸服务器通过人脸检测模型，根据第一人脸坐标和第一人脸特征点进行仿射变换，得到人脸对齐后的第一人脸检测结果。

进一步的，在本发明的一些实施例中，人脸服务器根据第一人脸检测结果进行人脸识别，包括：

人脸服务器将人脸对齐后的第一人脸检测结果输入到人脸识别模型中，通过人脸检测模型进行人脸识别，以得到第一人脸特征编码。

举例说明如下，人脸服务器可以将预处理完成后的图片，送入人脸检测模型，得到人脸坐标和5个人脸特征点位置(左眼、右眼、鼻子、左嘴角、右嘴角)，然后根据人脸坐标和5个人脸特征点进行仿射变换，得到人脸对齐后的图片。

接下来，人脸服务器可以将人脸对齐后的图片送入人脸识别模型，得到人脸特征编码，例如该人脸特征编码可以是128维的特征数据，此处仅作举例，不作为对本发明的限定。

人脸服务器最后可以将人脸特征编码入库到数据库中，例如该数据库可以是人像信息库，该人脸信息库的具体字段包括用户标识(ID)、姓名、性别、图片统一资源定位符(Uniform Resource Locator,URL)、人脸特征编码等。

在本发明的一些实施例中，步骤30人脸服务器将第一人脸图片入库到第一人脸信息库中之后，本发明实施例提供的方法还包括：

人脸服务器向客户端发送第一人脸入库成功消息；

客户端接收人脸服务器发送的第一人脸入库成功消息。

其中，人脸服务器将第一人脸图片成功的入库到第一人脸信息库中之后，人脸服务器的API服务返回入库成功的消息给客户端。从而客户端接收人脸服务器发送的第一人脸入库成功消息，客户端确定人脸已经成功入库，接下来客户端可以触发应用服务器和人脸服务器的交互，以完成人脸信息可以入库到终端设备的本地人脸信息库中。

在本发明的一些实施例中，客户端接收人脸服务器发送的人脸入库成功消息之后，本发明实施例提供的方法进一步还包括：

客户端向应用服务器发送同步人脸信息请求；

应用服务器接收客户端发送的同步人脸信息请求，然后向人脸服务器发送查询人脸信息请求；

人脸服务器接收应用服务器发送的查询人脸信息请求，然后触发执行如下步骤40：人脸服务器从第一人脸信息库中读取出第一人脸图片。

其中，客户端调用应用服务器的同步人像信息API服务。应用服务器的同步API调用Socket服务端程序进行工作。应用服务器的Socket服务端程序调用人脸服务器的查询人像信息API服务。

步骤40、人脸服务器从第一人脸信息库中读取出第一人脸图片，然后向应用服务器发送第一人脸图片对应的第一人脸信息。

其中，人脸服务器的查询人像信息API服务返回人像信息给应用服务器的Socket服务端程序。

步骤50、应用服务器接收人脸服务器发送的第一人脸信息，然后通过socket连接向终端设备发送第一人脸信息。

具体的，应用服务器的Socket服务端程序发送人像信息给终端设备的Socket客户端程序。

步骤60、终端设备通过socket连接接收应用服务器发送的第一人脸信息，并将接收到的第一人脸信息入库到第二人脸信息库中，第二人脸信息库是终端设备的本地数据库。

具体的，终端设备的Socket客户端程序将人像信息入库到终端设备的本地数据库中。

在本发明的一些实施例中，步骤60终端设备通过socket连接接收应用服务器发送的第一人脸信息，并将接收到的第一人脸信息入库到第二人脸信息库中之后，本申请实施例提供的方法还包括：

终端设备向应用服务器发送的第二人脸入库成功消息；

应用服务器接收终端设备发送的第二人脸入库成功消息；

应用服务器向客户端发送第二人脸入库成功消息；

客户端接收应用服务器发送的第二人脸入库成功消息。

其中，终端设备的Socket客户端程序返回入库完成的消息给应用服务器的Scoket服务端程序。应用服务器的同步API服务返回同步完成的消息给客户端，从而客户端确定人脸已经成功入库，完成人脸信息可以入库到终端设备的本地人脸信息库中。

在本发明实施例中，通过前述步骤10至步骤60对人脸入库和同步之后，接下来执行步骤70至步骤90对人脸搜索的过程，具体的，通过前述步骤10至步骤60对人脸入库和同步操作，在终端设备上已经构建了一个人像信息库，加载人像信息库的人脸特征编码，开启摄像头，针对摄像头的预览图片进行人脸搜索。具体步骤如下：

步骤70、终端设备获取终端设备的摄像头采集到的第二人脸图片。

其中，终端设备需要开启终端设备的摄像头，进行实时的预览图像。

步骤80、终端设备获取第二人脸图片对应的第二人脸信息。

具体的，终端设备可以解析第二人脸图片，以获取到该第二人脸图片上的人脸信息。

不限定的是，终端设备还可以对摄像头的预览图像进行图片预处理，使之符合模型输入要求。

步骤90、终端设备在第二人脸信息库中对第二人脸信息进行人脸搜索，并输出人脸搜索结果。

在本申请实施例中，终端设备已经提前将许可的人脸信息存储到了本地的人脸信息库中，接下来终端设备在第二人脸信息库中对第二人脸信息进行人脸搜索，并输出人脸搜索结果。

在本发明的一些实施例中，步骤90终端设备在第二人脸信息库中对第二人脸信息进行人脸搜索，包括：

终端设备从第二人脸信息库中读取到第三人脸信息，并将第三人脸信息加载到终端设备的内存中，第三人脸信息包括：第三人脸特征编码；

终端设备根据内存中的第三人脸信息构建Faiss索引；

终端设备对第二人脸图片进行人脸检测，以得到第二人脸检测结果；

终端设备根据第二人脸检测结果进行人脸识别，以得到第二人脸信息，第二人脸信息包括：第二人脸特征编码；

终端设备使用第二人脸特征编码作为第二人脸信息库的输入条件，使用Faiss索引进行人脸搜索，以得到人脸搜索结果，人脸搜索结果包括：第二人像信息库中与输入的第二人脸特征编码最为相似的人像和对应的相似度。

其中，从终端设备的本地人像信息库中加载人脸特征编码到内存中，相当于保存到一个特征编码数组中。基于内存中的人脸特征编码构建Faiss index索引。Faiss是一种开源的特征向量搜索框架，构建index即构建特征向量的空间结构，后续实施例可以使用index进行特征向量的搜索，返回与输入特征向量距离最近的TOP N特征向量在数组中的下标及其对应相似度，其中，TOP N是指距离最近的N个特征向量组，N的取值不做限定。

接下来，终端设备可以对预览图像进行人脸检测，得到人脸坐标和5个人脸特征点位置(左眼、右眼、鼻子、左嘴角、右嘴角)，然后根据人脸坐标和5个人脸特征点进行仿射变换，得到人脸对齐后的图片。终端设备将人脸对齐后的图片送入人脸识别模型，得到人脸特征编码，例如该人脸特征编码可以是128维的特征数据。

最后，终端设备将上一步得到的人脸特征编码作为人脸信息库中的输入，使用index进行人脸搜索，得到人像信息库中与输入人像最为相似的人像和对应的相似度。

举例说明如下，根据相似度阈值进行业务操作，比如相似度高于0.6，即确认人脸匹配成功，例如可以开启闸机放行，否则，提示验证失败，无法通过。

本发明将人脸入库独立出来，放到服务器上，然后再同步到终端设备上，有效解决了终端设备的计算力有限的问题，即使频繁的进行入库相关的模型推理，也不会耗尽终端设备资源，可以做到实时响应，本发明使用Socket的方式将人脸服务器的人像信息同步到终端设备上，由于终端设备的Socket客户端程序只要连接到应用服务器的Socket服务端程序中，就可以实现双方的通信，有效解决终端设备IP地址不固定，无法通过终端设备的API服务推送人像信息的问题；本发明使用Faiss搜索框架，有效解决暴力搜索速度慢，响应不及时的问题。

在本发明的一些实施例中，终端设备对第二人脸图片进行人脸检测，以得到第二人脸检测结果之后，本申请实施例提供的方法进一步包括如下步骤：

终端设备对第二人脸图片中检测到的人脸进行活体检测判断，在确定第二人脸图片为活体人脸时，触发执行如下步骤：终端设备根据第二人脸检测结果进行人脸识别，以得到第二人脸信息。

具体的，终端设备还可以对检测到的人脸进行活体检测判断，排除假人脸攻击的情况。

为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。

如图2所示，本发明提供的基于终端设备的人脸搜索方案，可以分为两个部分：人脸入库和同步、人脸搜索。

第一部分说明人脸入库和同步的过程。主要包括如下步骤1至步骤14。

步骤1：客户端调用人脸服务器的入库API，将要入库的包含人脸的图片做为参数传送过去。

步骤2：人脸服务器的API服务接收到入库请求，首先进行图片预处理，使之符合模型输入要求。

步骤3：将预算完成后的图片，送入人脸检测模型，得到人脸坐标和5个人脸特征点位置(左眼、右眼、鼻子、左嘴角、右嘴角)，然后根据人脸坐标和5个人脸特征点进行仿射变换，得到人脸对齐后的图片。

步骤4：将人脸对齐后的图片送入人脸识别模型，得到人脸特征编码，例如为128维的特征数据。

步骤5：将人脸特征编码入库到数据库中，即人像信息库，具体字段包括用户ID、姓名、性别、图片URL、人脸特征编码等。

步骤6：人脸服务器API返回入库成功的消息给客户端。

步骤7：客户端调应用服务器的同步人像信息API服务。

步骤8：应用服务器的同步API调用Socket服务端程序进行工作。

步骤9：应用服务器的Socket服务端程序调用人脸服务器的查询人像信息API。

步骤10：人脸服务器的查询人像信息API返回人像信息给应用服务器的Socket服务端程序。

步骤11：应用服务器的Socket服务端程序发送人像信息给终端设备的Socket客户端程序。

步骤12：终端设备的Socket客户端程序将人像信息入库终端设备本地数据库。

步骤13：终端设备的Socket客户端程序返回入库完成的消息给应用服务器的Scoket服务端程序。

步骤14：应用服务器的同步API返回同步完成的消息给客户端。

接下来对第二部分进行说明，主要包括如下步骤1至步骤9。

步骤1：从人像信息库中加载人脸特征编码到内存中，相当于保存到一个特征编码数组中。

步骤2：基于内存中的人脸特征编码构建Faiss Index。其中，Faiss是一种开源的特征向量搜索框架，构建Index即构建特征向量的空间结构，后面可以使用Index进行特征向量的搜索，返回与输入特征向量距离最近的TOP N特征向量在数组中的下标及其对应相似度。

步骤3：开启摄像头，实时预览图像。

步骤4：对摄像头的预览图像进行图片预处理，使之符合模型输入要求。

步骤5：对预览图像进行人脸检测，得到人脸坐标和5个人脸特征点位置(左眼、右眼、鼻子、左嘴角、右嘴角)，然后根据人脸坐标和5个人脸特征点进行仿射变换，得到人脸对齐后的图片。

步骤6：对检测到的人脸进行活体检测判断，排除假人脸攻击的情况。

步骤7：将人脸对齐后的图片送入人脸识别模型，得到人脸特征编码，例如可以是128维的特征数据。

步骤8：将由摄像头拍摄图片且经过人脸识别模型得到的人脸特征编码作为输入，使用Index进行人脸搜索，得到人像信息库中与输入人像最为相似的人像和对应的相似度。

步骤9：根据相似度阈值进行业务操作，比如相似度高于0.6即开启闸机放行，否则，提示验证失败，无法通过。

本发明实施例中，将人脸入库独立出来，放到服务器上，然后再同步到终端设备上，有效解决了终端设备的计算力有限，频繁进行入库相关的模型推理容易耗尽终端设备的资源，很难做到实时响应的问题；本发明使用Socket的方式将人脸服务器的人像信息同步到终端设备上，有效解决终端设备IP不固定，无法通过API服务推送人像信息的问题；本发明使用Faiss搜索框架，有效解决暴力搜索速度慢，响应不及时的问题。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于终端设备的人脸搜索方法，其特征在于，所述方法应用于人脸搜索系统，所述人脸搜索系统包括：客户端、人脸服务器、应用服务器和终端设备，其中，所述客户端分别和所述人脸服务器、所述应用服务器之间建立有通信连接，所述人脸服务器和所述应用服务器之间建立有通信连接，所述应用服务器和所述终端设备之间建立还有套接字socket连接；所述方法包括如下步骤：

所述客户端向所述人脸服务器发送人脸入库请求，所述人脸入库请求包括需要入库的第一人脸图片；

所述人脸服务器接收所述客户端发送的人脸入库请求；

所述人脸服务器将所述第一人脸图片入库到第一人脸信息库中，所述第一人脸信息库是所述人脸服务器的本地数据库；

所述人脸服务器从所述第一人脸信息库中读取出所述第一人脸图片，然后向所述应用服务器发送所述第一人脸图片对应的第一人脸信息；

所述应用服务器接收所述人脸服务器发送的第一人脸信息，然后通过所述socket连接向所述终端设备发送所述第一人脸信息；

所述终端设备通过所述socket连接接收所述应用服务器发送的第一人脸信息，并将接收到的第一人脸信息入库到第二人脸信息库中，所述第二人脸信息库是所述终端设备的本地数据库；

所述终端设备获取所述终端设备的摄像头采集到的第二人脸图片；

所述终端设备获取所述第二人脸图片对应的第二人脸信息；

所述终端设备在所述第二人脸信息库中对所述第二人脸信息进行人脸搜索，并输出人脸搜索结果。

2.根据权利要求1所述的一种基于终端设备的人脸搜索方法，其特征在于，所述人脸服务器接收所述客户端发送的人脸入库请求之后，所述方法还包括：

所述人脸服务器按照人脸检测模型的输入图片要求对所述第一人脸图片进行图像预处理。

3.根据权利要求1所述的一种基于终端设备的人脸搜索方法，其特征在于，所述人脸服务器将所述第一人脸图片入库到第一人脸信息库中，包括：

所述人脸服务器对所述第一人脸图片进行人脸检测，以得到第一人脸检测结果；

所述人脸服务器根据所述第一人脸检测结果进行人脸识别，以得到所述第一人脸图片对应的第一人脸信息，所述第一人脸信息包括：第一人脸特征编码；

所述人脸服务器将所述第一人脸信息入库到所述第一人脸信息库中。

4.根据权利要求3所述的一种基于终端设备的人脸搜索方法，其特征在于，所述人脸服务器对所述第一人脸图片进行人脸检测，包括：

所述人脸服务器将所述第一人脸图片输入到人脸检测模型中，通过所述人脸检测模型从所述第一人脸图片上检测到第一人脸坐标和第一人脸特征点；

所述人脸服务器通过人脸检测模型，根据所述第一人脸坐标和所述第一人脸特征点进行仿射变换，得到人脸对齐后的第一人脸检测结果。

5.根据权利要求4所述的一种基于终端设备的人脸搜索方法，其特征在于，所述人脸服务器根据所述第一人脸检测结果进行人脸识别，包括：

所述人脸服务器将人脸对齐后的第一人脸检测结果输入到人脸识别模型中，通过所述人脸检测模型进行人脸识别，以得到所述第一人脸特征编码。

6.根据权利要求1所述的一种基于终端设备的人脸搜索方法，其特征在于，所述人脸服务器将所述第一人脸图片入库到第一人脸信息库中之后，所述方法还包括：

所述人脸服务器向所述客户端发送第一人脸入库成功消息；

所述客户端接收所述人脸服务器发送的第一人脸入库成功消息。

7.根据权利要求6所述的一种基于终端设备的人脸搜索方法，其特征在于，所述客户端接收所述人脸服务器发送的人脸入库成功消息之后，所述方法还包括：

所述客户端向所述应用服务器发送同步人脸信息请求；

所述应用服务器接收所述客户端发送的同步人脸信息请求，然后向所述人脸服务器发送查询人脸信息请求；

所述人脸服务器接收所述应用服务器发送的查询人脸信息请求，然后触发执行如下步骤：所述人脸服务器从所述第一人脸信息库中读取出所述第一人脸图片。

8.根据权利要求7所述的一种基于终端设备的人脸搜索方法，其特征在于，所述终端设备通过所述socket连接接收所述应用服务器发送的第一人脸信息，并将接收到的第一人脸信息入库到第二人脸信息库中之后，所述方法还包括：

所述终端设备向所述应用服务器发送的第二人脸入库成功消息；

所述应用服务器接收所述终端设备发送的第二人脸入库成功消息；

所述应用服务器向所述客户端发送所述第二人脸入库成功消息；

所述客户端接收所述应用服务器发送的第二人脸入库成功消息。

9.根据权利要求1所述的一种基于终端设备的人脸搜索方法，其特征在于，所述终端设备在所述第二人脸信息库中对所述第二人脸信息进行人脸搜索，包括：

所述终端设备从所述第二人脸信息库中读取到第三人脸信息，并将所述第三人脸信息加载到所述终端设备的内存中，所述第三人脸信息包括：第三人脸特征编码；

所述终端设备根据所述内存中的第三人脸信息构建Faiss索引；

所述终端设备对所述第二人脸图片进行人脸检测，以得到第二人脸检测结果；

所述终端设备根据所述第二人脸检测结果进行人脸识别，以得到所述第二人脸信息，所述第二人脸信息包括：第二人脸特征编码；

所述终端设备使用所述第二人脸特征编码作为所述第二人脸信息库的输入条件，使用所述Faiss索引进行人脸搜索，以得到所述人脸搜索结果，所述人脸搜索结果包括：所述第二人像信息库中与输入的第二人脸特征编码最为相似的人像和对应的相似度。

10.根据权利要求9所述的一种基于终端设备的人脸搜索方法，其特征在于，所述终端设备对所述第二人脸图片进行人脸检测，以得到第二人脸检测结果之后，所述方法还包括：

所述终端设备对所述第二人脸图片中检测到的人脸进行活体检测判断，在确定所述第二人脸图片为活体人脸时，触发执行如下步骤：所述终端设备根据所述第二人脸检测结果进行人脸识别，以得到所述第二人脸信息。

Images