CN113590866A - 基于端云结合的人员身份确认和轨迹管理方法及系统 - Google Patents

Abstract

本发明公开了一种基于端云结合的人员身份确认和轨迹管理方法，包括由前端智能单元采用前端算法依托前端局部人员身份库进行识别并将人员图像及识别结果发送至云端智能单元，对于前端智能单元未识别的依靠算力需求大于前端算法的云端算法依托云端全局人员身份库进行识别，对于云端算法依然未识别的，则创建新的人员身份信息并将相应记录更新至云端全局人员身份库。本发明还公开了一种基于端云结合的人员身份确认和轨迹管理系统。本发明结合了前端智能和云端智能的优点并实现系统高鲁棒性和识别精度反馈优化，达到端云协同工作，兼顾实时性和精确性提升了整体效率。

Description

基于端云结合的人员身份确认和轨迹管理方法及系统

技术领域

本发明涉及一种人员轨迹管理方法及系统，特别是涉及一种基于端云结合的人员身份确认和轨迹管理方法及系统。

背景技术

在公安，社区，校园，宾馆等安全管理领域，关键点是对人员进行身份确认及基于多人轨迹进行异常行为预警，目前人员识别产品普遍采取两种模式实现，即前端智能和云端智能，前端智能是指在监控点本地如社区大门，实现对人员的抓拍，特征提取和与本地库特征比对，通过阈值比较完成身份确认，进而实现如开门或报警等联动操作；云端智能是指前端只进行监控或人员抓拍，所有人脸精确定位，质量筛选，人脸矫正，特征提取，特征比对，身份确认功能在云端实现，再将识别结果通过网络发送给前端进行联动。

人脸或者人形识别技术，一般由人脸定位，人脸矫正，人脸特征提取，特征比对，阈值判断几个环节实现，不同深度学习网络模型的网络深度和节点数及特征区分度等差别，导致需要的算力和运算压力不同，目前嵌入式系统的算力与云端gpu或npu计算卡相比存在量级差异，因此比对效果差别也非常大。并且人脸识别为1：n比对排序输出，库大小即n的值和算力需求成正比。

前端智能具备不受网络等环境影响，可以本地独立工作，没有网络延时可以快速反应联动的优点，但缺点是前端智能一般采用嵌入式芯片完成抓拍，特征提取，比对识别等工作，考虑到成本环境散热等因素，往往算力有限，无法部署复杂算法或超过10万级别的大规模库比对压力算法，故识别精度和比对人员范围受限；云端智能与前端智能相比，一般采用专业机房服务器集群实现，因此算力充沛且不需要考虑散热等工作环境问题，算法识别准确率一般超过前端算法10倍以上，即前端特征识别区分度为10万级，中心可以实现复杂算法和100万乃至上亿的库比对，但缺点是依赖网络质量，现场联动延时大，算力成本高，故障点集中。

发明内容

针对上述现有技术的缺陷，本发明提供了一种基于端云结合的人员身份确认和轨迹管理方法，主要解决前端算力有限，不适于高精度复杂识别，而云端识别过于依赖网络，容易因为云端或网络问题产生多个现场无法联动的问题。本发明还提供了一种基于端云结合的人员身份确认和轨迹管理系统。

本发明技术方案如下：一种基于端云结合的人员身份确认和轨迹管理方法，包括以下步骤：

步骤1、前端智能单元由前端采集模块采集人员图像并通过前端算法及与所述前端算法匹配的前端局部人员身份库对人员进行识别并将人员图像及识别结果通过网络发送至云端智能单元；

步骤2、云端智能单元通过云端算法及与所述云端算法匹配的用于人员识别的云端全局人员身份库对前端智能单元未识别出人员身份信息的人员图像进行识别；

步骤3、云端智能单元针对云端算法未识别出人员身份信息的人员图像创建人员身份并将创建的所述人员身份信息与对应的人员图像更新至所述云端全局人员身份库；

步骤4、由步骤1或步骤2识别的人员身份信息或者由步骤3创建的人员身份信息与所述前端采集模块采集人员图像时获取的人员轨迹信息组成人员轨迹记录更新至人员轨迹库；其中，所述前端算法的算力需求小于所述云端算法的算力需求。

对人脸比对算法而言，同一个摄像机抓拍的人脸进行比对即同源比对成功率最高，对抓拍照和身份照比对而言，由于存在拍照年龄差距，光线差距甚至美容效果等问题，前端嵌入式算法的比对率与平台复杂度高的算法相比，识别准确率置信度差距很大。因此为了提高前端智能单元的识别率，形成闭环优化，所述步骤2将云端智能单元识别的人员身份信息与对应的人员图像通过网络更新至所述前端局部人员身份库，所述步骤3将云端智能单元创建的人员身份信息与对应的人员图像更新至所述前端局部人员身份库。

进一步地，为了保持前端智能单元的识别速度，避免前端局部人员身份库存储的信息超过硬件处理能力，设定一时间间隔，将在所述时间间隔内未被所述前端算法识别命中的人员身份信息数据从所述前端局部人员身份库移除。

进一步地，所述人员轨迹信息包括采集与所述人员轨迹信息对应的人员图像的前端智能单元的位置信息。

进一步地，所述前端局部人员身份库、所述云端全局人员身份库和所述人员轨迹库中每个人员通过唯一人员id区分，所述前端局部人员身份库、所述云端全局人员身份库和所述人员轨迹库中同一人员的人员id相同。

进一步地，为了提高云端智能单元对于人员的识别效率，所述云端全局人员身份库以管理区域范围级别大小构成树状数据结构存储，所述云端智能单元通过云端算法对人员图像进行识别时根据获取所述人员图像的前端智能单元所处的管理区域范围为起始点，逐级向上识别匹配，如果比中人员则跳出完成，否则直至管理区域范围级别最大的云端全局人员身份库完成输出识别结果。

一种基于端云结合的人员身份确认和轨迹管理系统，包括通过网络连接的前端智能单元和云端智能单元，

所述前端智能单元包括：前端采集模块，用于采集人员图像；

前端智能识别联动模块，通过前端算法用于与前端局部人员身份库匹配对人员图像进行人员身份信息识别并向所述云端智能单元发送人员图像及识别结果；

以及前端局部人员身份库，用于存储人员身份信息、人员图像及提取前端算法识别特征值；

所述云端智能单元包括：记录判别模块，用于判断所述前端智能识别联动模块发送的识别结果是否识别出人员身份信息；

云端全局智能识别模块：通过云端算法用于与云端全局人员身份库匹配对人员图像进行人员身份信息识别并向所述云端智能单元发送人员图像及识别结果；

人员身份生成模块：用于在云端全局智能识别模块未识别出人员身份信息时生成新的人员身份信息，并将所述生成的新的人员身份信息与对应的人员图像发送至云端全局人员身份库；

目标轨迹管理模块：用于将前端智能识别联动模块识别出的人员身份信息、云端全局智能识别模块识别出的人员身份信息或者人员身份生成模块生成的人员身份信息与前端采集模块采集人员图像时获取的人员轨迹信息组成人员轨迹记录更新至人员轨迹库；

人员轨迹库：用于存储人员轨迹记录；

以及云端全局人员身份库：用于存储人员身份信息、人员图像及提取云端算法识别特征值。

进一步地，所述云端智能单元包括人员身份同步管理模块：用于将云端全局智能识别模块识别出的人员身份信息与对应的人员图像通过网络更新至所述前端局部人员身份库，以及用于将人员身份生成模块生成的新的人员身份信息与对应的人员图像通过网络更新至所述前端局部人员身份库。

进一步地，所述云端全局人员身份库以管理区域范围级别大小构成树状数据结构存储，所述云端全局智能识别模块通过云端算法对人员图像进行识别时根据获取所述人员图像的前端智能单元所处的管理区域范围为起始点，逐级向上识别匹配，如果比中人员则跳出完成，否则直至管理区域范围级别最大的云端全局人员身份库完成输出识别结果。

进一步地，所述前端局部人员身份库以及所述云端全局人员身份库中每个人员身份信息对应的人员图像有1-5张。

本发明所提供的技术方案的优点在于：

本发明结合了前端智能和云端智能的优点并实现系统高鲁棒性和识别精度反馈优化，达到端云协同工作，既能在突发情况如云端中心或网络故障时独立工作实时反馈联动，又能在正常情况下利用云端充足算力完成高精度的识别和轨迹管理，达到端云协同一体分布式计算，互为补充和优化效率和效果的目标。

本发明兼顾实时性和精确性，在确保前端独立工作优点下，通过二次比对兼顾了云端系统准确率高的优点，且对于前端无法成功的数据，采用云端同步的方式进行数据更新，即将同一个摄像机抓拍图片同步到前端人脸库，从而确保同源近照比对，提升了前端的比对成功率，形成优化闭环。

另外，本发明优化了系统成本，前端设备一般采用嵌入式设备，具备成本低，算力也相对低的特点，本发明系统一方面充分利用前端算力，前端比对识别独立工作，基于大多数场景人员重复出现率大于90％的情况，前端设备可以实现90％以上人员身份确认，即只有10％的陌生人需要平台比对，这样就大大降低了网络压力和云端比对压力，而本发明中云端比对也采用以单位节点开始的逐级遍历分级比对跳出的模式，确保最大概率一次命中和多次比对最小比对开销命中，故端云体系协同效率提升，在确保识别准确率的同时大大降低了人员身份确认和轨迹生成的算力成本。

附图说明

图1为基于端云结合的人员身份确认和轨迹管理系统流程示意图。

具体实施方式

下面结合实施例对本发明作进一步说明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本说明之后，本领域技术人员对本说明的各种等同形式的修改均落于本申请所附权利要求所限定的范围内。

请结合图1所示，本实施例的基于端云结合的人员身份确认和轨迹管理系统包括通过网络连接的前端智能单元1和云端智能单元2。前端智能单元1包括前端采集模块101、前端智能识别联动模块102和前端局部人员身份库103。前端采集模块101采用摄像机等成像抓拍设备，与所属国家、省、市、区县、街道乡镇、村及社区、单元楼、房间组成的树状数据结构绑定，前端智能识别联动模块102加载对应单位前端局部人员身份库103。前端采集模块101获取的图像接入前端智能识别联动模块102，该模块采用如arm+npu芯片，实现人脸抓拍，人脸定位，人脸矫正，人脸特征提取，通过前端算法并与存储在本地的前端局部人员身份库103中局部人脸图像特征库进行逐一人脸特征比对，通过设定阈值比较，超过阈值者的最大相似度人员为比对命中，如果没有相似度超过设定阈值，则视为前端未比中人员。将识别比对结果，即时间，地点，抓拍人脸jpeg图片，身份比对结果(人员id即人员身份信息或未命中)通过http等网络协议上传到云端智能单元2。

云端智能单元2由记录判别模块201、云端全局智能识别模块202、人员身份同步管理模块203、目标轨迹管理模块204、人员身份生成模块205和云端全局人员身份库206及人员轨迹库207组成。记录判别模块201接收前端智能单元1上传的识别记录，对识别记录中有人员身份信息的识别记录即存在人员id的识别记录，进入目标轨迹管理模块204，形成人员身份信息与前端采集模块101采集人员图像时获取的人员轨迹信息组成人员轨迹记录更新到人员轨迹库207中。对于没有人员身份信息的记录，由云端全局智能识别模块202通过算力需求远大于前端算法且精度更高的云端算法重新根据人员图像提取特征，并与云端全局人员身份库206进行特征比对，进而对确认人员身份的记录将其人员身份信息与前端采集模块101采集人员图像时获取的人员轨迹信息组成人员轨迹记录通过目标轨迹管理模块204更新到人员轨迹库207中。对经过云端全局智能识别模块202比对仍然不能确认身份的陌生人，由人员身份生成模块205生成一个新的人员身份信息，将其和抓拍人脸jpeg图片入库到云端全局人员身份库206，并通过目标轨迹管理模块204创建对应人员id以及与前端采集模块101采集人员图像时获取的人员轨迹信息组成新的人员轨迹记录进入人员轨迹库207。对于经由前端智能识别联动模块102、云端全局智能识别模块202识别出人员身份信息的，或者形成了新的人员身份信息的，通过前端智能识别联动模块102进行相应的门禁、声光提示等动作。

前端局部人员身份库103和云端全局人员身份库206中，人员id具备唯一性，同时在人员轨迹库207中也以人员id为单位进行时空节点轨迹存储，人员轨迹以时间顺序进行存储，包括人员id，时间序列，对应地点序列。前端局部人员身份库103和前端监控卡点以所属单位组织结构进行绑定，前端局部人员身份库103具备一次性录入人员信息及对应1-5张图片及通过前端算法提取人脸特征值功能，同时通过与云端全局人员身份库206同步将所有在云端全局人员身份库206出现过的前端局部人员身份库103内人员信息(包括提取特征，人员id)经人员身份同步管理模块203通过网络下发入库。作为一个优选的实施方式，在上述人员身份确认和轨迹管理系统的人员身份确认和轨迹管理过程中，对于没有人员身份信息的记录，当云端全局智能识别模块202识别得到人员身份信息后，将该人员身份信息以及抓拍人脸jpeg图片通过人员身份同步管理模块203将同步更新至前端局部人员身份库103以提高前端识别准确率，另外在对经过云端全局智能识别模块202比对仍然不能确认身份的陌生人，由人员身份生成模块205生成一个新的人员身份信息后，也将该人员身份信息以及抓拍人脸jpeg图片通过人员身份同步管理模块203将同步更新至前端局部人员身份库103。对于前端智能单元1未比对成功的人员，采用云端同步的方式进行数据更新，即将同一个摄像机抓拍图片同步到前端局部人员身份库103和云端全局人员身份库206，每个人员支持1-5张人脸图片，从而确保同源近照比对，提升了前端智能单元1的比对成功率，形成优化闭环。为避免前端存储人员过多超过硬件处理能力，对前端局部人员身份库103设置一时间间隔，将在时间间隔内未被前端算法识别命中的人员身份信息数据从前端局部人员身份库103移除。

云端全局人员身份库206与系统所有单位卡点绑定，支持人员库一次性录入人员身份信息及对应1-5张图片及提取云端算法人脸特征值，同时对所有出现过的非云端全局人员身份库206内的人员实时提取特征入库。作为一个优选的实施方式，云端全局人员身份库206及前端局部人员身份库103以国家、省、市、区县、街道乡镇、村及社区、单元楼、房间组成的树状数据结构存储，在云端全局智能识别模块202利用云端全局人员身份库206进行身份识别时，以获取的人员图像对应的前端智能单元所在单位为起始点，逐级向上匹配，如果比中人员则跳出完成，否则直至系统根节点最高级别库比对完成输出识别结果。由于前端算法受前端嵌入式设备算力限制，故在识别率要求严格场所，系统采用高阈值进行判断，确保识别准确性，对前端陌生人采用云端智能单元2二次比对方法，如果网络正常，将结果返回前端智能单元1，系统设有超时机制，规定最小返回时间，如2秒，确保系统的及时响应。

Claims (10)

1.一种基于端云结合的人员身份确认和轨迹管理方法，其特征在于，包括以下步骤：

步骤1、前端智能单元由前端采集模块采集人员图像并通过前端算法及与所述前端算法匹配的前端局部人员身份库对人员进行识别并将人员图像及识别结果通过网络发送至云端智能单元；

步骤2、云端智能单元通过云端算法及与所述云端算法匹配的用于人员识别的云端全局人员身份库对前端智能单元未识别出人员身份信息的人员图像进行识别；

步骤3、云端智能单元针对云端算法未识别出人员身份信息的人员图像创建人员身份信息并将创建的所述人员身份信息与对应的人员图像更新至所述云端全局人员身份库；

步骤4、由步骤1或步骤2识别的人员身份信息或者由步骤3创建的人员身份信息与所述前端采集模块采集人员图像时获取的人员轨迹信息组成人员轨迹记录更新至人员轨迹库；其中，所述前端算法的算力需求小于所述云端算法的算力需求。

2.根据权利要求1所述的基于端云结合的人员身份确认和轨迹管理方法，其特征在于，所述步骤2将云端智能单元识别的人员身份信息与对应的人员图像通过网络更新至所述前端局部人员身份库，所述步骤3将云端智能单元创建的人员身份信息与对应的人员图像更新至所述前端局部人员身份库。

3.根据权利要求2所述的基于端云结合的人员身份确认和轨迹管理方法，其特征在于，设定一时间间隔，将在所述时间间隔内未被所述前端算法识别命中的人员身份信息数据从所述前端局部人员身份库移除。

4.根据权利要求1所述的基于端云结合的人员身份确认和轨迹管理方法，其特征在于，所述人员轨迹信息包括采集与所述人员轨迹信息对应的人员图像的前端智能单元的位置信息。

5.根据权利要求1所述的基于端云结合的人员身份确认和轨迹管理方法，其特征在于，所述前端局部人员身份库、所述云端全局人员身份库和所述人员轨迹库中每个人员通过唯一人员id区分，所述前端局部人员身份库、所述云端全局人员身份库和所述人员轨迹库中同一人员的人员id相同。

6.根据权利要求1所述的基于端云结合的人员身份确认和轨迹管理方法，其特征在于，所述云端全局人员身份库以管理区域范围级别大小构成树状数据结构存储，所述云端智能单元通过云端算法对人员图像进行识别时根据获取所述人员图像的前端智能单元所处的管理区域范围为起始点，逐级向上识别匹配，如果比中人员则跳出完成，否则直至管理区域范围级别最大的云端全局人员身份库完成输出识别结果。

7.一种基于端云结合的人员身份确认和轨迹管理系统，其特征在于，包括通过网络连接的前端智能单元和云端智能单元，

所述前端智能单元包括：前端采集模块，用于采集人员图像；

前端智能识别联动模块，通过前端算法用于与前端局部人员身份库匹配对人员图像进行人员身份信息识别并向所述云端智能单元发送人员图像及识别结果；

以及前端局部人员身份库，用于存储人员身份信息、人员图像及提取前端算法识别特征值；

所述云端智能单元包括：记录判别模块，用于判断所述前端智能识别联动模块发送的识别结果是否识别出人员身份信息；

云端全局智能识别模块：通过云端算法用于与云端全局人员身份库匹配对人员图像进行人员身份信息识别并向所述云端智能单元发送人员图像及识别结果；

人员身份生成模块：用于在云端全局智能识别模块未识别出人员身份信息时生成新的人员身份信息，并将所述生成的新的人员身份信息与对应的人员图像发送至云端全局人员身份库；

目标轨迹管理模块：用于将前端智能识别联动模块识别出的人员身份信息、云端全局智能识别模块识别出的人员身份信息或者人员身份生成模块生成的人员身份信息与前端采集模块采集人员图像时获取的人员轨迹信息组成人员轨迹记录更新至人员轨迹库；

人员轨迹库：用于存储人员轨迹记录；

以及云端全局人员身份库：用于存储人员身份信息、人员图像及提取云端算法识别特征值。

8.根据权利要求7所述的基于端云结合的人员身份确认和轨迹管理系统，其特征在于，所述云端智能单元包括人员身份同步管理模块：用于将云端全局智能识别模块识别出的人员身份信息与对应的人员图像通过网络更新至所述前端局部人员身份库，以及用于将人员身份生成模块生成的新的人员身份信息与对应的人员图像通过网络更新至所述前端局部人员身份库。

9.根据权利要求7所述的基于端云结合的人员身份确认和轨迹管理系统，其特征在于，所述云端全局人员身份库以管理区域范围级别大小构成树状数据结构存储，所述云端全局智能识别模块通过云端算法对人员图像进行识别时根据获取所述人员图像的前端智能单元所处的管理区域范围为起始点，逐级向上识别匹配，如果比中人员则跳出完成，否则直至管理区域范围级别最大的云端全局人员身份库完成输出识别结果。

10.根据权利要求7所述的基于端云结合的人员身份确认和轨迹管理系统，其特征在于，所述前端局部人员身份库以及所述云端全局人员身份库中每个人员身份信息对应的人员图像有1-5张。

Images