CN113947742A - 一种基于人脸识别的人员轨迹追踪方法与装置 - Google Patents

Abstract

本发明公开了一种基于人脸识别的人员轨迹追踪方法与装置，所述方法包括：S1.建立监控场景的三维模型，并进行监控区域划分和编号；S2.布设视频监控单元；S3.保存所在监控区域的编号；S4.保存监控场景内常驻人员的人脸图像信息；S5.采集进入人员的人脸图像信息，传输给轨迹追踪服务器；S6.轨迹追踪服务器判断进入人员是否为常驻人员；若是，则返回步骤S5；若否，则保存进入人员的人脸图像信息作为目标人脸图像；S7.轨迹追踪服务器将目标人脸图像分别分发给每一个视频监控单元；S8.获取轨迹追踪信息传输给轨迹追踪服务器；S9.获取目标轨迹。本发明能够有效区分常驻人员和非常驻人员，仅仅对进入监控场景的非常驻人员进行轨迹追踪，有效降低服务器的运算负荷。

Description

一种基于人脸识别的人员轨迹追踪方法与装置

技术领域

本发明涉及人脸识别，特别是涉及一种基于人脸识别的人员轨迹追踪方法与装置。

背景技术

在一些监控场景下，常常需要对进入的外来人员进行监控，例如，学校、图书管、企业办公场地等，以学校为例，外来人员主要包括快递员、餐厅食材送货人员、外卖送货人员、电气设备维修人员以及私自进入学校的无关等等；而对上述人员而言，很难直接禁止其进入，例如，像快递人员如果直接禁止其进入，将对学校师生的生活带来诸多不便；因此，常常需要对外来人员进行监控，但是，就目前而言，对外来人员的监控主要还是体现在视频监控上，无法实现有效的轨迹追踪；虽然根据视频信息，可以逐步分析出人员的轨迹，但是，并未对常驻人员(学生、老师、校内其他工作人员)和外来人员进行分开，这就使得在进行轨迹追踪时，其实是统一的追踪，这将大大增加服务器的负荷和运算成本。在其他监控场景内依然存在这类似的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于人脸识别的人员轨迹追踪方法与装置，能够有效区分常驻人员和非常驻人员，仅仅对进入监控场景的非常驻人员进行轨迹追踪，有效降低服务器的运算负荷。

本发明的目的是通过以下技术方案来实现的：一种基于人脸识别的人员轨迹追踪方法，包括以下步骤：

S1.轨迹追踪服务器建立监控场景的三维模型，并划分为多个的监控区域，在建立的三维模型中，对各个监控区域进行编号；

S2.在监控场景入口和监控场景内每一个监控区域内分别布设视频监控单元，用于监控该区域内的人脸图像信息；

S3.在所述视频监控单元中保存所在监控区域的编号，将每一个视频监控单元通过无线网络连接到轨迹追踪服务器；

S4.在轨迹追踪服务器内保存监控场景内常驻人员的人脸图像信息；

S5.当有人员进入监控场景时，在监控场景入口处的视频监控单元采集进入人员的人脸图像信息，传输给轨迹追踪服务器；

S6.轨迹追踪服务器将进入人员的人脸图像信息与常驻人员的人脸图像信息进行比对，判断进入人员是否为常驻人员；

若是，则返回步骤S5；

若否，则保存进入人员的人脸图像信息作为目标人脸图像，进入步骤S7；

S7.轨迹追踪服务器将目标人脸图像分别分发给每一个视频监控单元；

S8.各个视频监控单元实时监控各自区域内的人员的人脸图像信息，当发现目标人脸图像出现在自己所属的区域时，记录目标人脸图像的出现时间,并将出现时间和当前监控区域的编号一起，作为轨迹追踪信息传输给轨迹追踪服务器；

S9.轨迹追踪服务器取出每一条轨迹追踪信息中包含的编号信息，在三维模型中对这些编号信息对应的监控区域进行标记，然后根据轨迹追踪信息中的出现时间，按照出现时间先后顺序，对标记的各个监控区域中心依次进行连线，得到目标轨迹。

进一步地，所述步骤S6中，所述轨迹追踪服务器采用基于人脸特征向量的人脸识别方法，实现进入人员的人脸图像信息与常驻人员的人脸图像信息的比对：

当进入的人员的人脸图像信息与常驻人员的人脸图像信息一致时，则认为进入的是常驻人员，返回步骤S5；

当进入的人员的人脸图像信息与常驻人员的人脸图像信息不一致时，认为进入的人员为非常驻人员，进入步骤S7。

进一步地，所述常驻人员为多人时，需要将进入人员的人脸图像信息分别与每一个常驻人员的人脸图像信息的比对。

进一步地，所述视频监控单元通过基于人脸特征向量的人脸识别方法，实现监控区域内人员的人脸图像信息与目标人脸信息进行比对，当监控区域内出现的人脸图像信息与目标人脸图像一致时，认为目标人脸图像出现在自己所属的区域。所述视频监控单元采集到的监控区域内人员的人脸信息图像为多张时，分别将每一张与所述目标人脸图像进行比对。

所述基于人脸特征特征向量的人脸识别方法包括：

A1、对于任意一幅人脸图像，从图像中选择M个人脸特征点，并以图像中心为原点，建立平面直角坐标系；所述M个人脸特征点中包含N个关键特征点(x₁,y₁),(x₂,y₂),...,(x_N,y_N)和M-N个普通特征点(x_N+1,y_N+1),(x_N+2,y_N+2),...,(x_M,y_M),其中M>N；

A2、提取出M个人脸特征点在平面坐标系中的位置信息(x₁,y₁),(x₂,y₂),...,(x_M,y_M)；其中，(x_i,y_i)表示第i个人脸特征点在平面坐标系中的坐标，i＝1,2,...,M；

A3、根据M个人脸特征点的位置信息，进行加权计算，得到参考点的代表坐标(x′,y′)：

其中，k_i表示第i个人脸特征点的权重，i＝1,2,...,M；其中关键特征点的权重是普通特征点权重的3倍，且k₁+k₂+...+k_M＝1；

A4、计算代表坐标(x′,y′)与N个关键特征点(x₁,y₁),(x₂,y₂),...,(x_N,y_N)之间的差值，得到x方向的特征向量X和y方向的特征向量Y:

X＝(x₁-x′,x₂-x′,...,x_N-x′)；

Y＝(y₁-x′,y₂-x′,...,y_N-x′)；

A5、对于任意两张待比较的人脸图像，首先进行倾斜校正，然后缩放到相同的尺寸，按照步骤A1～A4得到特征向量；

计算两张人脸图像的差异度E：设第一张图像得到的特征向量为X₁，Y₁；第二张图像得到的特征向量为X₂，Y₂，则：

E＝|X₁-X₂|+|Y₁-Y₂|

其中，|X₁-X₂|表示对X₁-X₂求模，|Y₁-Y₂|表示对Y₁-Y₂求模；

判断E是否大于预设阈值E′，若是，则认为两张人脸图像不一致，若否，则认为两张人脸图像不一致。

所述关键特征点是指位于眼睛、鼻子和嘴巴区域的人脸特征点。

一种基于人脸识别的人员轨迹追踪装置，包括轨迹追踪服务器，以及位于监控场景入口和监控场景内各监控区域内的视频监控单元；

所述轨迹追踪服务器与各个视频监控单元配合，按照所述的人员轨迹追踪方法实现轨迹追踪。

所述视频监控单元包括摄像头和数据传输处理装置，所述摄像头通过数据传输处理装置与所述轨迹追踪服务器连接。

所述数据传输处理装置包括微处理器、实时时钟模块、保存有所在监控区域编号的存储器和无线通讯模块；所述微处理器分别与摄像头、实时时钟模块、存储器和无线通讯模块连接，所述无线通讯模块与轨迹追踪服务器连接。

本发明的有益效果是：本发明能够有效区分常驻人员和非常驻人员，仅仅对进入监控场景的非常驻人员进行轨迹追踪，有效降低服务器的运算负荷；同时，本发明中采用的基于人脸特征特征向量的人脸识别方法，在构建特征向量时，综合考虑了关键特征点和普通特征点进行参考点的代表坐标计算，增大关键特征点的权重，以突出关键特征点信息；在此基础上，根据参考点代表坐标和关键特征点进行特征向量构建，并在此基础上进行人脸一致性比较，具有较高的识别精度。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种基于人脸识别的人员轨迹追踪方法，包括以下步骤：

S1.轨迹追踪服务器建立监控场景的三维模型，并划分为多个的监控区域，在建立的三维模型中，对各个监控区域进行编号；

S2.在监控场景入口和监控场景内每一个监控区域内分别布设视频监控单元，用于监控该区域内的人脸图像信息；

S3.在所述视频监控单元中保存所在监控区域的编号，将每一个视频监控单元通过无线网络连接到轨迹追踪服务器；

S4.在轨迹追踪服务器内保存监控场景内常驻人员的人脸图像信息；

S5.当有人员进入监控场景时，在监控场景入口处的视频监控单元采集进入人员的人脸图像信息，传输给轨迹追踪服务器；

S6.轨迹追踪服务器将进入人员的人脸图像信息与常驻人员的人脸图像信息进行比对，判断进入人员是否为常驻人员；

若是，则返回步骤S5；

若否，则保存进入人员的人脸图像信息作为目标人脸图像，进入步骤S7；

S7.轨迹追踪服务器将目标人脸图像分别分发给每一个视频监控单元；

S8.各个视频监控单元实时监控各自区域内的人员的人脸图像信息，当发现目标人脸图像出现在自己所属的区域时，记录目标人脸图像的出现时间,并将出现时间和当前监控区域的编号一起，作为轨迹追踪信息传输给轨迹追踪服务器；

S9.轨迹追踪服务器取出每一条轨迹追踪信息中包含的编号信息，在三维模型中对这些编号信息对应的监控区域进行标记，然后根据轨迹追踪信息中的出现时间，按照出现时间先后顺序，对标记的各个监控区域中心依次进行连线，得到目标轨迹。

进一步地，所述步骤S6中，所述轨迹追踪服务器采用基于人脸特征向量的人脸识别方法，实现进入人员的人脸图像信息与常驻人员的人脸图像信息的比对：

当进入的人员的人脸图像信息与常驻人员的人脸图像信息一致时，则认为进入的是常驻人员，返回步骤S5；

当进入的人员的人脸图像信息与常驻人员的人脸图像信息不一致时，认为进入的人员为非常驻人员，进入步骤S7。

进一步地，所述常驻人员为多人时，需要将进入人员的人脸图像信息分别与每一个常驻人员的人脸图像信息的比对。

进一步地，所述视频监控单元通过基于人脸特征向量的人脸识别方法，实现监控区域内人员的人脸图像信息与目标人脸信息进行比对，当监控区域内出现的人脸图像信息与目标人脸图像一致时，认为目标人脸图像出现在自己所属的区域。所述视频监控单元采集到的监控区域内人员的人脸信息图像为多张时，分别将每一张与所述目标人脸图像进行比对。

所述基于人脸特征特征向量的人脸识别方法包括：

A1、对于任意一幅人脸图像，从图像中选择M个人脸特征点，并以图像中心为原点，建立平面直角坐标系；所述M个人脸特征点中包含N个关键特征点(x₁,y₁),(x₂,y₂),...,(x_N,y_N)和M-N个普通特征点(x_N+1,y_N+1),(x_N+2,y_N+2),...,(x_M,y_M),其中M>N；

A2、提取出M个人脸特征点在平面坐标系中的位置信息(x₁,y₁),(x₂,y₂),...,(x_M,y_M)；其中，(x_i,y_i)表示第i个人脸特征点在平面坐标系中的坐标，i＝1,2,...,M；

A3、根据M个人脸特征点的位置信息，进行加权计算，得到参考点的代表坐标(x′,y′)：

其中，k_i表示第i个人脸特征点的权重，i＝1,2,...,M；其中关键特征点的权重是普通特征点权重的3倍，且k₁+k₂+...+k_M＝1；

A4、计算代表坐标(x′,y′)与N个关键特征点(x₁,y₁),(x₂,y₂),...,(x_N,y_N)之间的差值，得到x方向的特征向量X和y方向的特征向量Y:

X＝(x₁-x′,x₂-x′,...,x_N-x′)；

Y＝(y₁-x′,y₂-x′,...,y_N-x′)；

A5、对于任意两张待比较的人脸图像，首先进行倾斜校正，然后缩放到相同的尺寸，按照步骤A1～A4得到特征向量；

计算两张人脸图像的差异度E：设第一张图像得到的特征向量为X₁，Y₁；第二张图像得到的特征向量为X₂，Y₂，则：

E＝|X₁-X₂|+|Y₁-Y₂|

其中，|X₁-X₂|表示对X₁-X₂求模，|Y₁-Y₂|表示对Y₁-Y₂求模；

判断E是否大于预设阈值E′，若是，则认为两张人脸图像不一致，若否，则认为两张人脸图像不一致。

所述关键特征点是指位于眼睛、鼻子和嘴巴区域的人脸特征点。

一种基于人脸识别的人员轨迹追踪装置，包括轨迹追踪服务器，以及位于监控场景入口和监控场景内各监控区域内的视频监控单元；

所述轨迹追踪服务器与各个视频监控单元配合，按照所述的人员轨迹追踪方法实现轨迹追踪。

所述视频监控单元包括摄像头和数据传输处理装置，所述摄像头通过数据传输处理装置与所述轨迹追踪服务器连接。

所述数据传输处理装置包括微处理器、实时时钟模块、保存有所在监控区域编号的存储器和无线通讯模块；所述微处理器分别与摄像头、实时时钟模块、存储器和无线通讯模块连接，所述无线通讯模块与轨迹追踪服务器连接。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于人脸识别的人员轨迹追踪方法，其特征在于：包括以下步骤：

S1.轨迹追踪服务器建立监控场景的三维模型，并划分为多个的监控区域，在建立的三维模型中，对各个监控区域进行编号；

S2.在监控场景入口和监控场景内每一个监控区域内分别布设视频监控单元，用于监控该区域内的人脸图像信息；

S3.在所述视频监控单元中保存所在监控区域的编号，将每一个视频监控单元通过无线网络连接到轨迹追踪服务器；

S4.在轨迹追踪服务器内保存监控场景内常驻人员的人脸图像信息；

S5.当有人员进入监控场景时，在监控场景入口处的视频监控单元采集进入人员的人脸图像信息，传输给轨迹追踪服务器；

S6.轨迹追踪服务器将进入人员的人脸图像信息与常驻人员的人脸图像信息进行比对，判断进入人员是否为常驻人员；

若是，则返回步骤S5；

若否，则保存进入人员的人脸图像信息作为目标人脸图像，进入步骤S7；

S7.轨迹追踪服务器将目标人脸图像分别分发给每一个视频监控单元；

S8.各个视频监控单元实时监控各自区域内的人员的人脸图像信息，当发现目标人脸图像出现在自己所属的区域时，记录目标人脸图像的出现时间,并将出现时间和当前监控区域的编号一起，作为轨迹追踪信息传输给轨迹追踪服务器；

S9.轨迹追踪服务器取出每一条轨迹追踪信息中包含的编号信息，在三维模型中对这些编号信息对应的监控区域进行标记，然后根据轨迹追踪信息中的出现时间，按照出现时间先后顺序，对标记的各个监控区域中心依次进行连线，得到目标轨迹。

2.根据权利要求1所述的一种基于人脸识别的人员轨迹追踪方法，其特征在于：所述步骤S6中，所述轨迹追踪服务器采用基于人脸特征向量的人脸识别方法，实现进入人员的人脸图像信息与常驻人员的人脸图像信息的比对：

当进入的人员的人脸图像信息与常驻人员的人脸图像信息一致时，则认为进入的是常驻人员，返回步骤S5；

当进入的人员的人脸图像信息与常驻人员的人脸图像信息不一致时，认为进入的人员为非常驻人员，进入步骤S7。

3.根据权利要求2所述的一种基于人脸识别的人员轨迹追踪方法，其特征在于：所述常驻人员为多人时，需要将进入人员的人脸图像信息分别与每一个常驻人员的人脸图像信息的比对。

4.根据权利要求1所述的一种基于人脸识别的人员轨迹追踪方法，其特征在于：所述视频监控单元通过基于人脸特征向量的人脸识别方法，实现监控区域内人员的人脸图像信息与目标人脸信息进行比对，当监控区域内出现的人脸图像信息与目标人脸图像一致时，认为目标人脸图像出现在自己所属的区域。

5.根据权利要求4所述的一种基于人脸识别的人员轨迹追踪方法，其特征在于：所述视频监控单元采集到的监控区域内人员的人脸信息图像为多张时，分别将每一张与所述目标人脸图像进行比对。

6.根据权利要求2或4所述的一种基于人脸识别的人员轨迹追踪方法，其特征在于：所述基于人脸特征特征向量的人脸识别方法包括：

A1、对于任意一幅人脸图像，从图像中选择M个人脸特征点，并以图像中心为原点，建立平面直角坐标系；所述M个人脸特征点中包含N个关键特征点(x₁,y₁),(x₂,y₂),...,(x_N,y_N)和M-N个普通特征点(x_N+1,y_N+1),(x_N+2,y_N+2),...,(x_M,y_M),其中M>N；

A2、提取出M个人脸特征点在平面坐标系中的位置信息(x₁,y₁),(x₂,y₂),...,(x_M,y_M)；其中，(x_i,y_i)表示第i个人脸特征点在平面坐标系中的坐标，i＝1,2,...,M；

A3、根据M个人脸特征点的位置信息，进行加权计算，得到参考点的代表坐标(x′,y′)：

其中，k_i表示第i个人脸特征点的权重，i＝1,2,...,M；其中关键特征点的权重是普通特征点权重的3倍，且k₁+k₂+...+k_M＝1；

A4、计算代表坐标(x′,y′)与N个关键特征点(x₁,y₁),(x₂,y₂),...,(x_N,y_N)之间的差值，得到x方向的特征向量X和y方向的特征向量Y:

X＝(x₁-x′,x₂-x′,...,x_N-x′)；

Y＝(y₁-x′,y₂-x′,...,y_N-x′)；

A5、对于任意两张待比较的人脸图像，首先进行倾斜校正，然后缩放到相同的尺寸，按照步骤A1～A4得到特征向量；

计算两张人脸图像的差异度E：设第一张图像得到的特征向量为X₁，Y₁；第二张图像得到的特征向量为X₂，Y₂，则：

E＝|X₁-X₂|+|Y₁-Y₂|

其中，|X₁-X₂|表示对X₁-X₂求模，|Y₁-Y₂|表示对Y₁-Y₂求模；

判断E是否大于预设阈值E′，若是，则认为两张人脸图像不一致，若否，则认为两张人脸图像不一致。

7.根据权利要求6所述的一种基于人脸识别的人员轨迹追踪方法，其特征在于：所述关键特征点是指位于眼睛、鼻子和嘴巴区域的人脸特征点。

8.一种基于人脸识别的人员轨迹追踪装置，采用权利要求1～7中任意一项所述的方法进行轨迹追踪，其特征在于：包括轨迹追踪服务器，以及位于监控场景入口和监控场景内各监控区域内的视频监控单元；

所述轨迹追踪服务器与各个视频监控单元配合，按照所述的人员轨迹追踪方法实现轨迹追踪。

9.根据权利要求8所述的一种基于人脸识别的人员轨迹追踪装置，其特征在于：所述视频监控单元包括摄像头和数据传输处理装置，所述摄像头通过数据传输处理装置与所述轨迹追踪服务器连接。

10.根据权利要求9所述的一种基于人脸识别的人员轨迹追踪装置，其特征在于：所述数据传输处理装置包括微处理器、实时时钟模块、保存有所在监控区域编号的存储器和无线通讯模块；所述微处理器分别与摄像头、实时时钟模块、存储器和无线通讯模块连接，所述无线通讯模块与轨迹追踪服务器连接。

Images