CN115908493A - 一种小区人员轨迹管理与展示方法及其系统 - Google Patents

Abstract

本发明公开了一种小区人员轨迹管理与展示方法及其系统，属于智慧小区的技术领域。本发明将计算机视觉算法应用于智慧小区领域，利用目标检测、目标跟踪、人脸识别、行人重识别、视角映射等技术将小区内公共区域活动的居民进行实时身份识别，并将轨迹映射至二维地图上，重点挖掘识别身份不明的外来徘徊人员、长时间静止人员等敏感人员，辅助居委会、公安、物业部门进行智能化小区管控。

Description

一种小区人员轨迹管理与展示方法及其系统

技术领域

本发明属于智慧小区的技术领域，特别是涉及一种小区人员轨迹管理与展示方法及其系统。

背景技术

小区管理是各单位及物业的重点工作，能够直接影响居民生活的安全感与幸福感。目前，各小区内的公共区域基本覆盖了全方位的管理，视频巡查+人工巡逻的方式成为了小区管控的主流方式。然而，小区内视频数量众多且分布不规律，人工很难同时实时兼顾所有的视频，且无法将各路视频的信息进行高效地融合。因此，利用人工智能算法辅助人工视频巡查成为了热门的趋势。

发明内容

本发明为解决上述背景技术中存在的技术问题，提供了一种小区人员轨迹管理与展示方法及其系统。

本发明采用以下技术方案：一种小区人员轨迹管理与展示方法，至少包括以下步骤：

步骤一、实时读取小区内每个摄像头中的视频流，将每组视频流进行处理并汇总为视频集；

获取小区内人员信息并存储于数据库中，所述人员信息至少包括：人脸图像；

步骤二、于视频集中按照每秒的频率抽取预定数量的视频流的图像帧，将所述图像帧作为第一模型的输入，经第一模型输出人体目标图像body_n,id,time，其中，n表示摄像头的编号，id表示不同图像帧之间的同一人体，time表示图像帧的时间点；

步骤三、将所述人脸图像作为第二模型的输入，经第二模型输出特征向量，得到关于人脸图像的向量化表示，记作V_base；按照预定频率将所述人体目标图像body_n,id,time作为第二模型的输入，通过第二模型识别出满足需求的输入并输出为人脸对比的特征向量，表示为v_n,id；

步骤四、通过人脸图像的向量化表示V_base和人脸对比的特征向量v_n,id筛选出与人体相匹配的人脸图像，并将匹配出的人员信息更新为person_id；并在未来的每一个图像帧内将人体目标图像body_n,id,time均与person_id相对应，记录该人员在小区内的运动轨迹。

在进一步的实施例中，还包括以下步骤：

步骤五、若在执行步骤四时，出现未匹配出对应人脸图像的人体目标图像body_n,id,time时，则执行步骤六；

步骤六、将所述人体目标图像body_n,id,time标识为未标记人体图像body_{id,unlabelled}；并确定未标记人体图像body_{id,unlabelled}曾出现过的摄像头m，收集位于摄像头m位置周边的其他摄像头m₁、m₂、m₃…，记为N_round，其中，m≤n；

获取N_round的摄像头在指定时间范围内的采集到的若干个图像帧，并筛选出匹对成功的id，将与所述id相对应的人体目标图像body_n,id,time和person_id记为(body,person_id)_round；

将所述(body,person_id)_round对应的每个图像帧作为第三模型的输入，经第三模型输出关于人体id的特征向量V_round；对所述未标记人体图像body_{id,unlabelled}采用步骤七分别与关于人体id的特征向量V_round进行匹配；

步骤七、按照预定频率采集并将未标记人体图像body_{id,unlabelled}作为第三模型的输入，经第三模型输出关于未标记人体的特征向量，依次与关于人体id的特征向量V_round中的每个向量计算余弦相似度；

步骤八、选取余弦相似度最高的(body,person_id)_round，若余弦相似度高于阈值，则匹配成功；反之，执行步骤七继续采样。

在进一步的实施例中，还包括以下步骤：

构建关于小区的二维平面地图，并选取至少四个显著标志物作为关键点；以二维平面地图建立二维笛卡尔坐标系，并对应标记出关键点的坐标位置，得到的图记为fig_map；

于每个摄像头中任意选取一张拍摄的画面截图，在所述画面截图中对应标记出所述关键点，并确定关键点在画面截图上的像素点坐标，将得到的图记为fig_video；

将所述fig_map和fig_video采用插值变换思想，结合透视变换函数，计算得到从fig_video变换到fig_map的变换方程f；

基于所述变换方程f将摄像头拍摄的任意人员变换投影到二维平面地图上，变换时，以识别出人员方框的下边界的中点作为人员位置所在点；将视频各帧的画面投影到地图上连接起来，即可呈现小区地图上人员动态效果；

当地图上两个人员点距离过近或者有重复的人员身份时，进行去重处理，优先保留身份确定的人员轨迹。

在进一步的实施例中，所述人员信息还包括：与所述人脸图像相对应的姓名、住址、和身份证号码。

在进一步的实施例中，所述第一模型为Yolov5+DeepSort模型；

所述第二模型为Yolov5-face模型。

在进一步的实施例中，满足需求的输入是指人体目标图像body_n,id,time中的人脸尺寸满足长、宽均超过30个像素。

在进一步的实施例中，所述步骤四中基于向量化表示V_base和人脸对比的特征向量v_n,id选出与人体相匹配的人脸图像的流程如下：

将向量化表示V_base和人脸对比的特征向量v_n,id中对应的人脸向量计算余弦相似度，若相似度为最高且对应的数值大于阈值，则匹配成功；反之，匹配失败。

在进一步的实施例中，还包括以下流程：

基于已经匹配出人员信息的人体id和对应的人体目标图像body_n,id,time中的摄像头编号的更新/摄像头编号对应的位置，判断人体id的行为是否满足预警条件：

若person_id在较长时间内的人体目标图像body_n,id,time均处于编号为n的摄像头内，则构成预警条件，触发预警模型；

若person_id对应的人体目标图像body_n,id,time中的摄像头编号n为小区的边界处编号，则构成预警条件，触发预警模型；

若采集的图像帧中出现的人脸不属于数据库，则构成预警条件，触发预警模型。

在进一步的实施例中，所述第三模型为fast-reid模型。

一种小区人员轨迹管理与展示系统，至少包括：

第一模块，被设置为实时读取小区内每个摄像头中的视频流，将每组视频流进行处理并汇总为视频集；获取小区内人员信息并存储于数据库中，所述人员信息至少包括：人脸图像；

第二模块，被设置为于视频集中按照每秒的频率抽取预定数量的视频流的图像帧，将所述图像帧作为第一模型的输入，经第一模型输出人体目标图像body_n,id,time，其中，n表示摄像头的编号，id表示不同图像帧之间的同一人体，time表示图像帧的时间点；

第三模块，被设置为将所述人脸图像作为第二模型的输入，经第二模型输出特征向量，得到关于人脸图像的向量化表示，记作V_base；按照预定频率将所述人体目标图像body_n,id,time作为第二模型的输入，通过第二模型识别出满足需求的输入并输出为人脸对比的特征向量，表示为v_n,id；

第四模块，被设置为通过人脸图像的向量化表示V_base和人脸对比的特征向量v_n,id筛选出与人体相匹配的人脸图像，并将匹配出的人员信息更新为person_id；并在未来的每一个图像帧内将人体目标图像body_n,id,time均与person_id相对应，记录该人员在小区内的运动轨迹。

在进一步的实施例中，还包括：

第五模块，被设置为构建关于小区的二维平面地图，并选取至少四个显著标志物作为关键点；以二维平面地图建立二维笛卡尔坐标系，并对应标记出关键点的坐标位置，得到的图记为fig_map；于每个摄像头中任意选取一张拍摄的画面截图，在所述画面截图中对应标记出所述关键点，并确定关键点在画面截图上的像素点坐标，将得到的图记为fig_video；将所述fig_map和fig_video采用插值变换思想，结合透视变换函数，计算得到从fig_video变换到fig_map的变换方程f；

基于所述变换方程f将摄像头拍摄的任意人员变换投影到二维平面地图上，变换时，以识别出人员方框的下边界的中点作为人员位置所在点；将视频各帧的画面投影到地图上连接起来，即可呈现小区地图上人员动态效果；

当地图上两个人员点距离过近或者有重复的人员身份时，进行去重处理，优先保留身份确定的人员轨迹。

本发明的有益效果：利用行人检测及重识别技术，将不同摄像头中检测到人员进行高效实时关联融合。利用人脸识别比对技术，确认小区管理中出现的人员身份。通过视角转换技术，将各个摄像头拍摄的画面统一映射到二维地图上，更为清晰直观且极大减轻了人工巡查的工作量。构建上层业务算法模型，进一步筛选较为敏感的人员活动数据，例如长期在某一楼道前徘徊的陌生人员。

具体实施方式

下面结合说明附图和实施例对本发明做进一步的描述。

随着硬件算力资源与计算机视觉技术的发展，目标检测、目标跟踪、人脸识别、行人重识别等各个技术领域都有了突飞猛进的发展。目标检测任务上，YoloV5是目前应用最广、性能最好的模型，以预训练的方式内置了通用的目标检测能力，只需要少量数据进行微调就能在特定任务数据集上实现良好的效果。基于YoloV5模型为骨干网络，本专利采用YoloV5+Deepsort算法实现目标跟踪，采用YoloV5-face算法实现人脸识别。在行人重识别任务上，本专利基于开源的平台Fast-Reid进行开发，以Resnet模型为主干。

实施例1

一种小区人员轨迹管理与展示方法，包括以下步骤：

步骤一、实时读取小区内每个摄像头中的视频流，将每组视频流进行处理并汇总为视频集；

获取小区内人员信息并存储于数据库中，所述人员信息至少包括：人脸图像，与所述人脸图像相对应的姓名、住址、和身份证号码。

换言之，通过步骤一以视频流的形式实时读取小区内各摄像头中的视频流数据，将不同的摄像头用独立的相同算法模块进行并行处理。视频流数据的处理算法为现有技术，故在此不再赘述。人员信息的获取主要通过物业预先对业主或者需要经常输入小区的信息采集并存储。

步骤二、于视频集中按照每秒的频率抽取预定数量的视频流的图像帧，将所述图像帧作为第一模型的输入，经第一模型输出人体目标图像body_n,id,time，其中，n表示摄像头的编号，id表示不同图像帧之间的同一人体，time表示图像帧的时间点；需要说明的是，当一个人体在摄像头中出现，然后又消失了则保持原有的id不变。如果对应的人体在消失一段时间后又出现，则会赋予新的id，替换旧的id。

步骤三、将所述人脸图像作为第二模型的输入，经第二模型输出特征向量，得到关于人脸图像的向量化表示，记作V_base；按照预定频率(在本实施例中按照每0.2秒)将所述人体目标图像body_n,id,time作为第二模型的输入，通过第二模型识别出满足需求的输入并输出为人脸对比的特征向量，表示为v_n,id；在进一步的实施例中，满足需求的输入是指人体目标图像body_n,id,time中的人脸尺寸满足长、宽均超过30个像素。换言之，只有人体目标图像body_n,id,time中的人脸尺寸满足长、宽均超过30个像素才会被选择输入第二模型，再经过第二模型完成输出。

步骤四、通过人脸图像的向量化表示V_base和人脸对比的特征向量v_n,id筛选出与人体相匹配的人脸图像，并将匹配出的人员信息更新为person_id；并在未来的每一个图像帧内将人体目标图像body_n,id,time均与person_id相对应，记录该人员在小区内的运动轨迹。

在进一步的实施例中，步骤四中基于向量化表示V_base和人脸对比的特征向量v_n,id选出与人体相匹配的人脸图像的流程如下：

将向量化表示V_base和人脸对比的特征向量v_n,id中对应的人脸向量计算余弦相似度，若相似度为最高且对应的数值大于阈值，则匹配成功；反之，匹配失败。在本实施例中，所述阈值的取值为0.9。

综上所述，对于每个摄像头识别出的body_n,id,time，如果某一时刻time，人体id拥有对应的person_id身份信息，那么人员身份已确定，不用进入重识别模块。而若t时刻，人体id的person_id未确定(此id对应的人体目标图像body_n,id,time经过每隔0.2s的采样，还未匹配成功人员信息)，那么利用其它摄像头的拍摄信息以及行人重识别算法进行人员身份的补全。

换言之，一种小区人员轨迹管理与展示方法，还包括：步骤五、若在执行步骤四时，出现未匹配出对应人脸图像的人体目标图像body_n,id,time时，则执行步骤六；

步骤六、将所述人体目标图像body_m,id,time标识为未标记人体图像body_{id,unlabelled}；并确定未标记人体图像body_{id,unlabelled}曾出现过的摄像头m，收集位于摄像头m位置周边的其他摄像头m₁、m₂、m₃…，记为N_round，其中，m≤n；

获取N_round的摄像头在指定时间范围内的采集到的若干个图像帧，并筛选出匹对成功的id，将与所述id相对应的人体目标图像body_n,id,time和persin_id记为(body,person_id)_round；在本实施例中，选定指定时间范围如下：t-30s<time<t；

将所述(body,person_id)_round对应的每个图像帧作为第三模型的输入，经第三模型输出关于人体id的特征向量V_round；对所述未标记人体图像body_{id,unlabelled}采用步骤七分别与关于人体id的特征向量V_round进行匹配；

步骤七、按照预定频率采集并将未标记人体图像body_{id,unlabelled}作为第三模型的输入，经第三模型输出关于未标记人体的特征向量，依次与关于人体id的特征向量V_round中的每个向量计算余弦相似度；

步骤八、选取余弦相似度最高的(body,person_id)_round，若余弦相似度高于阈值，在本实施例中，阈值的取值为0.9，则匹配成功；反之，执行步骤七继续采样。

基于上述描述，第一模型为Yolov5+DeepSort模型；其创建流程如下：(1)收集1000张小区内摄像头视频截图，人工画框标记出其中的人体，标记标签为“person”，作为微调Yolov5模型的数据集。

(2)将数据集输入Yolov5模型，并加载经过Imagenet数据集预训练后的权重yolov5x版本作为模型初始参数，进行训练。训练参数为：Epoch为300，batchsize为16，输入图像尺寸为640，优化器为SGD，训练设备为单张英伟达3090卡。

(3)将训练好的Yolov5模型的输出端加上Deepsort算法代码，形成Yolov5+DeepSort模型。需要说明的是，考虑到实际场景中的硬件压力，本专利在视频采样时进行降采样处理，即每一秒只抽取10个视频中的图像帧，作为Yolov5+Deepsort模型的输入。

第二模型为Yolov5-face模型，第三模型为fast-reid模型。其中，Yolov5-face模型和fast-reid模型均为现有技术，故在此不做赘述。

为了能够将人体动态展示出来，在进一步的实施例中，还包括以下步骤：

构建关于小区的二维平面地图，并选取至少四个显著标志物作为关键点，例如：树木、墙角、大门、台阶、道路路牌等，作为视角转换的参考物；以二维平面地图建立二维笛卡尔坐标系，并对应标记出关键点的坐标位置，得到的图记为fig_map；

于每个摄像头中任意选取一张拍摄的画面截图，在所述画面截图中对应标记出所述关键点，并确定关键点在画面截图上的像素点坐标，将得到的图记为fig_video；

将所述fig_map和fig_video采用插值变换思想，结合透视变换函数，计算得到从fig_video变换到fig_map的变换方程f；在本实施例中，对变换方程f做进一步的描述：(u,v)为原始图像像素坐标，为变换之后的图像像素坐标,右侧3×3的矩阵即为变换方程f的权重，python代码中一般应用opencv工具包的cv2.get Perspective Transform方法实现；w′、w均为预先设定的参数；

式中，为预先设定的变化矩阵，则a₁₁、a₁₂、a₁₃、a₂₁、a₂₂、a₂₃、a₃₁、a₃₂和a₃₃均为对应的的矩阵参数。

基于所述变换方程f将摄像头拍摄的任意人员变换投影到二维平面地图上，变换时，以识别出人员方框的下边界的中点作为人员位置所在点；将视频各帧的画面投影到地图上连接起来，即可呈现小区地图上人员动态效果；

当地图上两个人员点距离过近或者有重复的人员身份时，进行去重处理，优先保留身份确定的人员轨迹。即可呈现小区地图上人员动态效果。

增加去重操作，当地图上两个人员点距离过近或者有重复的人员身份时(可能是不同摄像头拍的同一个人)，算法进行去重，优先保留身份确定的人员轨迹。这样，去重的操作也可以弥补步骤4重识别后仍有人员身份未确定的情况。

同时，为了与小区内的安全相关联，在进一步的实施例中，还包括以下流程：

基于已经匹配出人员信息的人体id和对应的人体目标图像body_n,id,time中的摄像头编号的更新/摄像头编号对应的位置，判断人体id的行为是否满足预警条件：

若person_id在较长时间内的人体目标图像body_n,id,time均处于编号为n的摄像头内，则构成预警条件，触发预警模型；换言之，长时间静止不动的人员，可能出现了一些意外或者正从事不正当活。

若person_id对应的人体目标图像body_n,id,time中的摄像头编号n为小区的边界处编号，则构成预警条件，触发预警模型；换言之，越界人员，比如侵入他人院子、草坪等人员。

若采集的图像帧中出现的人脸不属于数据库，则构成预警条件，触发预警模型。即，未识别出人脸，但人脸拍摄清晰的人员，可能是小区外非法进入人员

通过以上技术方案，能够高效、实时融合各个摄像头拍摄的视频画面、识别出人员身份，并且能够直观地呈现在二维地图上，大幅度地减少使用者的工作量、提升使用者研判的准确率，高效、快速地处置小区内突发事件。

实施例2

本实施例公开了一种小区人员轨迹管理与展示系统，用于实现实施例1所述的方法。至少包括：

第一模块，被设置为实时读取小区内每个摄像头中的视频流，将每组视频流进行处理并汇总为视频集；获取小区内人员信息并存储于数据库中，所述人员信息至少包括：人脸图像；

第二模块，被设置为于视频集中按照每秒的频率抽取预定数量的视频流的图像帧，将所述图像帧作为第一模型的输入，经第一模型输出人体目标图像body_n,id,time，其中，n表示摄像头的编号，id表示不同图像帧之间的同一人体，time表示图像帧的时间点；

第三模块，被设置为将所述人脸图像作为第二模型的输入，经第二模型输出特征向量，得到关于人脸图像的向量化表示，记作V_base；按照预定频率将所述人体目标图像body_n,id,time作为第二模型的输入，通过第二模型识别出满足需求的输入并输出为人脸对比的特征向量，表示为v_n,id；

第四模块，被设置为通过人脸图像的向量化表示V_base和人脸对比的特征向量v_n,id筛选出与人体相匹配的人脸图像，并将匹配出的人员信息更新为person_id；并在未来的每一个图像帧内将人体目标图像body_n,id,time均与person_id相对应，记录该人员在小区内的运动轨迹。

Claims (10)

1.一种小区人员轨迹管理与展示方法，其特征在于，至少包括以下步骤：

步骤一、实时读取小区内每个摄像头中的视频流，将每组视频流进行处理并汇总为视频集；

获取小区内人员信息并存储于数据库中，所述人员信息至少包括：人脸图像；

步骤二、于视频集中按照每秒的频率抽取预定数量的视频流的图像帧，将所述图像帧作为第一模型的输入，经第一模型输出人体目标图像body_n,id,time，其中，n表示摄像头的编号，id表示不同图像帧之间的同一人体，time表示图像帧的时间点；

步骤三、将所述人脸图像作为第二模型的输入，经第二模型输出特征向量，得到关于人脸图像的向量化表示，记作V_base；按照预定频率将所述人体目标图像body_n,id,time作为第二模型的输入，通过第二模型识别出满足需求的输入并输出为人脸对比的特征向量，表示为v_n,id；

步骤四、通过人脸图像的向量化表示V_base和人脸对比的特征向量v_n,id筛选出与人体相匹配的人脸图像，并将匹配出的人员信息更新为person_id；并在未来的每一个图像帧内将人体目标图像body_n,id,time均与person_id相对应，记录该人员在小区内的运动轨迹。

2.根据权利要求1所述的一种小区人员轨迹管理与展示方法，其特征在于，还包括以下步骤：

步骤五、若在执行步骤四时，出现未匹配出对应人脸图像的人体目标图像body_n,id,time时，则执行步骤六；

步骤六、将所述人体目标图像body_n,id,time标识为未标记人体图像body_{id,unlabelled}；并确定未标记人体图像body_{id,unlabelled}曾出现过的摄像头m，收集位于摄像头m位置周边的其他摄像头m₁、m₂、m₃…，记为N_round，其中，m≤n；

获取N_round的摄像头在指定时间范围内的采集到的若干个图像帧，并筛选出匹对成功的id，将与所述id相对应的人体目标图像body_n,id,time和person_id记为(body,person_id)_round；

将所述(body,person_id)_round对应的每个图像帧作为第三模型的输入，经第三模型输出关于人体id的特征向量V_round；对所述未标记人体图像body_{id,unlabelled}采用步骤七分别与关于人体id的特征向量V_round进行匹配；

步骤七、按照预定频率采集并将未标记人体图像body_{id,unlabelled}作为第三模型的输入，经第三模型输出关于未标记人体的特征向量，依次与关于人体id的特征向量V_round中的每个向量计算余弦相似度；

步骤八、选取余弦相似度最高的(body,person_id)_round，若余弦相似度高于阈值，则匹配成功；反之，执行步骤七继续采样。

3.根据权利要求1所述的一种小区人员轨迹管理与展示方法，其特征在于，还包括以下步骤：

构建关于小区的二维平面地图，并选取至少四个显著标志物作为关键点；以二维平面地图建立二维笛卡尔坐标系，并对应标记出关键点的坐标位置，得到的图记为fig_map；

于每个摄像头中任意选取一张拍摄的画面截图，在所述画面截图中对应标记出所述关键点，并确定关键点在画面截图上的像素点坐标，将得到的图记为fig_video；

将所述fig_map和fig_video采用插值变换思想，结合透视变换函数，计算得到从fig_video变换到fig_map的变换方程f；

基于所述变换方程f将摄像头拍摄的任意人员变换投影到二维平面地图上，变换时，以识别出人员方框的下边界的中点作为人员位置所在点；将视频各帧的画面投影到地图上连接起来，即可呈现小区地图上人员动态效果；

当地图上两个人员点距离过近或者有重复的人员身份时，进行去重处理，优先保留身份确定的人员轨迹。

4.根据权利要求1所述的一种小区人员轨迹管理与展示方法，其特征在于，所述人员信息还包括：与所述人脸图像相对应的姓名、住址、和身份证号码。

5.根据权利要求1所述的一种小区人员轨迹管理与展示方法，其特征在于，

所述第一模型为Yolov5+DeepSort模型；

所述第二模型为Yolov5-face模型。

6.根据权利要求1所述的一种小区人员轨迹管理与展示方法，其特征在于，满足需求的输入是指人体目标图像body_n,id,time中的人脸尺寸满足长、宽均超过30个像素。

7.根据权利要求1所述的一种小区人员轨迹管理与展示方法，其特征在于，所述步骤四中基于向量化表示V_base和人脸对比的特征向量v_n,id选出与人体相匹配的人脸图像的流程如下：

将向量化表示V_base和人脸对比的特征向量v_n,id中对应的人脸向量计算余弦相似度，若相似度为最高且对应的数值大于阈值，则匹配成功；反之，匹配失败。

8.根据权利要求1所述的一种小区人员轨迹管理与展示方法，其特征在于，还包括以下流程：

基于已经匹配出人员信息的人体id和对应的人体目标图像body_n,id,time中的摄像头编号的更新/摄像头编号对应的位置，判断人体id的行为是否满足预警条件：

若person_id在较长时间内的人体目标图像body_n,id,time均处于编号为n的摄像头内，则构成预警条件，触发预警模型；

若person_id对应的人体目标图像body_n,id,time中的摄像头编号n为小区的边界处编号，则构成预警条件，触发预警模型；

若采集的图像帧中出现的人脸不属于数据库，则构成预警条件，触发预警模型。

9.根据权利要求2所述的一种小区人员轨迹管理与展示方法，其特征在于，所述第三模型为fast-reid模型。

10.一种小区人员轨迹管理与展示系统，其特征在于，至少包括：

第一模块，被设置为实时读取小区内每个摄像头中的视频流，将每组视频流进行处理并汇总为视频集；获取小区内人员信息并存储于数据库中，所述人员信息至少包括：人脸图像；

第二模块，被设置为于视频集中按照每秒的频率抽取预定数量的视频流的图像帧，将所述图像帧作为第一模型的输入，经第一模型输出人体目标图像body_n,id,time，其中，n表示摄像头的编号，id表示不同图像帧之间的同一人体，time表示图像帧的时间点；

第三模块，被设置为将所述人脸图像作为第二模型的输入，经第二模型输出特征向量，得到关于人脸图像的向量化表示，记作V_base；按照预定频率将所述人体目标图像body_n,id,time作为第二模型的输入，通过第二模型识别出满足需求的输入并输出为人脸对比的特征向量，表示为v_n,id；

第四模块，被设置为通过人脸图像的向量化表示V_base和人脸对比的特征向量v_n,id筛选出与人体相匹配的人脸图像，并将匹配出的人员信息更新为person_id；并在未来的每一个图像帧内将人体目标图像body_n,id,time均与person_id相对应，记录该人员在小区内的运动轨迹。