CN110969118A

CN110969118A - 轨迹监控系统和方法

Info

Publication number: CN110969118A
Application number: CN201911198567.3A
Authority: CN
Inventors: 章烈剽; 吕红; 李奕良; 马琳
Original assignee: Guangzhou Grg Vision Intelligent Technology Co ltd; GRG Banking Equipment Co Ltd
Current assignee: Grg Tally Vision IT Co ltd; Guangdian Yuntong Group Co ltd
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2020-04-07
Anticipated expiration: 2039-11-29
Also published as: CN110969118B

Abstract

本发明公开了一种轨迹监控系统和方法，所述系统包括：用于拍摄监控范围入口的第一摄像机和拍摄监控范围内的第二摄像机、人脸检测模块、跟踪检测模块和服务器，所述人脸检测模块从第一摄像机拍摄的视频中提取第一人脸信息，跟踪检测模块从第二摄像机拍摄的视频中提取第二人脸信息和行人位置信息；所述服务器根据第一人脸信息在第一人脸数据库中进行人脸匹配，然后将匹配到的人脸数据写入第二人脸数据库中，以便于在对跟踪检测模块所提取的第二人脸信息进行匹配时，减少匹配的数量。本发明可以大大减少行人跟踪时的人脸匹配的运算量。本发明可以广泛应用于行人跟踪技术领域。

Description

轨迹监控系统和方法

技术领域

本发明涉及行人跟踪技术领域，尤其是一种轨迹监控系统和方法。

背景技术

随着图像识别技术日渐发达，行人跟踪等技术被应用在安防监控之中，然而，安防监控系统所监视的区域往往是公共的开放区域，人流可能来自于四面八方，目前行人跟踪技术甚少应用在室内场景之中。

应用在安防监控系统中的行人跟踪技术，由于监控范围较大、监控摄像头分辨率参差不齐以及人脸匹配需要较大的算力，一般只会对行人位置进行跟踪，而不会直接识别行人的身份。

然而随着大数据的发展，越来越多的数据运营商希望获得人们在诸如商场等室内场所的运动轨迹，以从用户的运动轨迹中分析出用户的需求。

因此，如果将现有的行人跟踪技术应用在室内，会存在如下问题，实施人脸匹配需要耗费较大的算力，并且未必能够达到理想的精度，其识别速度也不能满足跟踪需要。

发明内容

为解决上述技术问题的至少之一，本发明的目的在于：提供一种轨迹监控系统和方法，以降低轨迹监控过程中人脸识别时的算力以及提升识别精度。

第一方面，本发明实施例提供了：

一种轨迹监控系统，包括：

第一摄像机，用于拍摄监控范围的入口区域的第一视频；

第二摄像机，用于拍摄监控范围内的第二视频；其中，第二摄像机的数量至少为一台；

人脸检测模块，用于获取第一视频，并从第一视频中提取至少一个第一人脸信息；

跟踪检测模块，用于获取至少一段第二视频，并从至少一段第二视频中提取至少一个第二人脸信息以及与第二人脸信息关联的行人位置信息，其中，行人位置信息包含时间信息；

服务器，用于根据第一人脸信息从第一人脸数据库中匹配人脸数据，将匹配到的人脸数据写入第二人脸数据库中；根据第二人脸信息在第二人脸数据库中匹配目标行人，根据与目标行人相匹配的第二人脸信息关联的行人位置信息，确定目标行人的运动轨迹；

其中，第一人脸数据库中的人脸数据的数量大于所述第二人脸数据库中的人脸数据的数量。

进一步，所述第一摄像机为监控枪机，所述第二摄像机为广角摄像机，所述第二摄像机的数量有多个。

进一步，所述服务器还用于：

在根据第一人脸信息从第一人脸数据库中匹配人脸数据之前，先根据第一人脸信息在第二人脸数据库中进行匹配，仅当在第二人脸数据库中匹配失败时，才在第一人脸数据库中进行匹配。

进一步，所述服务器还用于：

当根据第二人脸信息在第二人脸数据库中进行匹配且匹配失败时，根据第二人脸信息在第一人脸数据库中进行匹配；若在第一人脸数据库中成功匹配到人脸数据，则将根据第二人脸信息在第一人脸数据库中匹配到的人脸数据写入第二人脸数据库。

进一步，所述服务器还用于：当根据第一人脸信息或者第二人脸信息在第一人脸数据库中进行匹配且匹配失败时，根据第一人脸信息或者第二人脸信息在第一人脸数据库和第二人脸数据库中创建人脸数据。

进一步，所述根据与目标行人相匹配的第二人脸信息关联的行人位置信息，确定目标行人的运动轨迹，其具体为：

根据所有行人位置信息中的时间信息，确定目标行人出现位置的先后顺序。

进一步，所述服务器在第二视频中提取行人位置信息的过程具体包括：

识别图像中的行人；

根据行人在图像中的位置以及摄像机参数，将行人的位置映射到预设坐标系之中，将行人在预设坐标系中的坐标作为行人位置信息。

第二方面，本发明实施例提供了：

一种轨迹监控方法，所述方法应用在包括用于拍摄监控范围的入口区域的第一视频的第一摄像机，以及用于拍摄监控范围内的第二视频的第二摄像机的轨迹监控系统之中，所述方法包括以下步骤：

获取第一视频，并从第一视频中提取至少一个第一人脸信息；

获取至少一段第二视频，并从至少一段第二视频中提取至少一个第二人脸信息以及与第二人脸信息关联的行人位置信息，其中，行人位置信息包含时间信息；

根据第一人脸信息从第一人脸数据库中匹配人脸数据，将匹配到的人脸数据写入第二人脸数据库中；

根据第二人脸信息在第二人脸数据库中匹配目标行人，根据与目标行人相匹配的第二人脸信息关联的行人位置信息，确定目标行人的运动轨迹；

进一步，还包括以下步骤：

当根据第二人脸信息在第二人脸数据库中匹配失败时，根据第二人脸信息在第一人脸数据库中进行匹配；若在第一人脸数据库中成功匹配到人脸数据，则将根据第二人脸信息在第一人脸数据库中匹配到的人脸数据写入第二人脸数据库。

本发明实施例的有益效果是：本发明实施例通过设置用于拍摄监控范围的入口区域的第一摄像机，来拍摄第一视频，接着在第一视频中提取第一人脸信息，并根据第一人脸信息在第一人脸数据库中进行匹配，将匹配得到的人脸数据存入第二人脸数据库之中，然后通过设置用于拍摄监控范围内的至少一个第二摄像机，来拍摄第二视频，接着从第二视频中提取人脸信息，并在第二数据库之中进行人脸匹配，本发明实施例通过监测监控范围的入口区域的人脸，将成功匹配的人脸数据从数据量较大的第一人脸数据库写入数据量较少的第二人脸数据库，可以大大减少在行人跟踪过程中人脸识别的匹配量，并且在数据量较少的第二人脸数据库中进行人脸识别，即便第二视频中的人脸清晰度较低，也可以通过降低匹配阈值的方式来保证一定的命中率。

附图说明

图1为本发明一种具体实施例的轨迹监控系统的模块框图；

图2为本发明一种具体实施例的轨迹监控系统实施轨迹监控的示意图；

图3为本发明一种具体实施例的轨迹监控系统的功能架构图；

图4为本发明一种具体实施例的轨迹监控方法的流程图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

参照图1，本实施例公开了一种轨迹监控系统，其包括：

第一摄像机，用于拍摄监控范围的入口区域的第一视频；

具体地，设置第一摄像机的目的在于获取进入监控范围的人员的人脸特征，从而从数据量较大的用户人脸数据库中匹配出该用户的身份，并存入数据量较少的当日用户数据库中，从而削减在监控范围内行人跟踪时的人脸识别数量。这样一来，匹配数量少了，同时由于匹配的对象少了，可以降低在当日用户数据库中的匹配阈值，使得第二摄像机所拍摄的人脸即便清晰度较低，也可以保持一定的命中率。

其中，第一摄像机可以部署在监控范围的入口，例如商场的入口，银行的入口等，主要用于拍摄人脸，因此应将第一摄像机设置在可以清楚拍摄入口用户的人脸的位置。而第二摄像机其主要用于拍摄行人跟踪时所需的视频。第二摄像机的数量可以有多个，并且第二摄像机通常部署在不同的位置，具有不同的拍摄角度，从而可以分别拍摄监控范围的不同区域。为了尽量扩大监控范围，第二摄像机可以采用高清的广角摄像机实现。

以下给出一种优选的摄像机部署方式：

1)、摄像机安装在人行通道或展示设备的正前方，正面抓拍人脸。保证人脸左右偏转<30°，上下偏转<15°。对此，相机要求吊装或者横臂挑出正装，避免侧装。

2)、摄像机架设高度建议在2.0～3.0米。

3)、摄像机俯视角度小于15度。

4)、保持画面水平、抓拍对象处于画面正中，人脸区域像素至少达到150*150像素以上。其中人脸区域是指，脸颊最左侧到最右侧，额头到下巴下端的范围。

而关于第一人脸数据库，是指一个总的用户数据库，其中存储有成千上万的用户人脸数据，这些人脸数据可以来源于用户注册时所授权的数据。例如，以银行为例，银行在为用户办理业务时，在用户的授权下可以采集用户的人脸数据作为支付凭证或者其他用途。这时候可以将用户的人脸数据与对应的用户身份信息存储在服务器的第一人脸数据库之中，作为总的数据库。

而第二人脸数据库，是指按照设定周期清空的临时数据库，例如每天清空一次的数据库。设置第二人脸数据库的目的在于，将周期内进入的用户的人脸数据从总数据库抽取出来放入到该数据库之中，以便于在进行行人跟踪时，可以较快地实现人脸匹配。

所述第一人脸数据库和第二人脸数据库均可以部署在服务器上，当然，存储功能由一个或者多个存储器实现。所述服务器可以是一个或者多个计算设备组成的，其中包括分布式服务器。

人脸检测模块，其主要用于人脸特征的提取，其部署在摄像机和服务器之间，该人脸检测模块中部署有经过训练的神经网络，可以提取人脸特征，并且将这些人脸特征上传至服务器，交由服务器执行人脸匹配。

跟踪检测模块，本模块用于执行两种功能，一种是人脸识别，另一种的行人跟踪。其部署有可以实现行人识别和人脸识别的神经网络，可以提取人脸特征以及行人特征。在实现行人跟踪时，可以采取以下方法，在视频按照设定间隔抽取图像帧，然后识别抽取的图像帧之中的行人，根据行人特征将前后图像帧中识别出来的行人进行关联，即可以获取到行人在某个时刻的位置信息或者在一段时间内的位置变化信息。同理，在进行行人跟踪时，可以实施人脸识别，以将识别出来的行人位置信息和行人身份关联起来。此外，跟踪检测模块，在用户跨越多个摄像机时，也可以根据行人特征识别出相同的用户。例如，用户在经过第一广角摄像机时，已经被识别出行人特征和人脸特征，此时，该用户的行人特征已经与其身份相关联了。当该用户离开第一广角摄像机的拍摄范围后进入第二广角摄像机的拍摄范围，跟踪检测模块可以根据行人特征，识别出该用户的身份，而不一定需要再次进行人脸识别。

其中，在实现行人识别时，可以采用人体外形特征作为识别特征，也可以采取运动特征作为行人特征。一般情况下，外形特征比较容易实现且识别比较准确。

而在行人跟踪时，由于每个摄像机所处的位置和拍摄角度不同，无法通过人物在图像中的位置统一表征用户的位置。据此，需要根据用户在摄像机所拍摄的图像中的位置进行坐标系映射，将不同画面中的位置映射到一个统一的坐标系之中。在映射过程中，需要预先输入摄像机与坐标系参考点的相对几何位置和相机参数，其中相对几何位置包括相对高度和相对角度等，相机参数包括像素和镜头焦距等等。

以图2对轨迹监控进行说明，本实施例主要对以多个广角摄像机来实施轨迹监控的情况进行说明，如图2所示，本实施例部署了5个广角摄像机，分别拍摄第一区域201、第二区域202、第三区域203、第四区域204和第五区域205。假定用户A，按照时间先后顺序进入第一区域201、第三区域203和第四区域204，则用户A的移动轨迹如轨迹206所示。当然，图2只示出了简易的运动轨迹，其并未考虑用户A在三个区域内具体的位置变化细节。在现实情况中，并不关心用户在一个区域内是如何移动的，通常只关心，用户是否经过特定的位置，以及在该特定的位置所停留的时间。因此，当一个广角摄像机拍摄的区域内具有多个所述的特定位置，也应该记录用户是否经过这些特定的位置，以及停留的时间。因此，最终可以以向量组的形式来表示用户的移动轨迹，并且在每个向量中增加时间参数，以表示停留时间。而停留时间的确定，可以由用户在某个特定位置出现的第一图像帧和最后一个图像帧的拍摄时间确定。

同理，根据图2所表示的原理，将图2中的多个区域理解为一个广角摄像机拍摄的多个特定位置，也可以在只有一个广角摄像机的情况下，实现轨迹监控。

作为优选的实施例，本实施例为了减少检测反复出入监控范围的用户的人脸的识别运算量，所述服务器还用于：

由于第二人脸数据库的数据量相对于第一人脸数据库的数量很小，可能是数十和数十万之间的差异，先从第二人脸数据库进行匹配，能够提高诸如反复进入监控范围的用户的人脸识别的效率。本实施例适用于用户反复进入监控范围的场景。

作为优选的实施例，为了避免用户在进入监控范围时人脸遮挡，系统无法提取人脸特征，而导致后续无法正常进行行人跟踪的情况，所述服务器还用于：

本实施例在第二视频中如果发现没有存储在第二人脸数据库中的人脸数据，会在第一人脸数据库中进行匹配，在第一人脸数据库中进行匹配后，同步将人脸数据写入第二人脸数据库之中，以便于跟踪。这种情况通常发生在用户进入室内时佩戴口罩，但进入室内后脱下口罩的情形。

在一些更加的复杂的情况下，如果该用户的信息从未被录入到第一人脸数据库之中。这样是无法对用户进行人脸识别的。因此需要为用户创建新的数据。

作为优选的实施例，所述服务器还用于：当根据第一人脸信息或者第二人脸信息在第一人脸数据库中进行匹配且匹配失败时，根据第一人脸信息或者第二人脸信息在第一人脸数据库和第二人脸数据库中创建人脸数据。

在创建新的数据时，为用户创建一个ID并关联人脸特征。例如在银行的场景中，当用户在柜台办理业务时，就能把相关资料与人脸特征关联起来。本实施例考虑了两种情形，一种是用户在进门时，就因为人脸遮挡无法提取人脸特征，随后在室内被广角摄像机所捕捉。另一种是用户在进门时，所提取的人脸特征就无法在第一人脸数据库中匹配成功。

作为优选的实施例，所述根据与目标行人相匹配的第二人脸信息关联的行人位置信息，确定目标行人的运动轨迹，其具体为：

具体地，所述时间信息可以是行人处于某个位置时的时间，本实施例根据时间的先后顺序，确定行人的运动轨迹。

作为优选的实施例，所述服务器在第二视频中提取行人位置信息的过程具体包括：

识别图像中的行人；

本实施例可以根据摄像机参数以及摄像机与参考点之间的相对位置关系，对摄像机进行标定，将图像中的位置转换为二维坐标系中的坐标。

参照图3，本实施例供了一种轨迹监控系统的功能架构图。如图3所示，本实施例由一个监控枪机、服务器、监控枪机处理盒、广角摄像机处理盒和多个广角摄像机组成。

其中，监控枪机处理盒用于根据监控枪机拍摄的图像进行人脸检测和跟踪，具体地，从画面中提取人脸特征和跟踪人脸位置。

广角摄像机处理盒用于根据多个广角摄像机拍摄的图像进行人脸检测和人脸跟踪、行人检测和行人跟踪，其中，行人检测和行人跟踪是指提取图像中的行人特征，并与已识别的行人特征进行比对，从而确定在不同图像帧之中的相同行人，从而实现行人检测和跟踪。

服务器，其设置有人脸数据库总库，其存储了大量的用户的人脸数据。服务器对于监控枪机处理盒发送的人脸特征进行人脸识别，从人脸数据库总库中匹配出对应的用户。同时，服务器设置有当日人脸数据库，其用于存储当天从人脸数据库总库中匹配到的用户的人脸数据。对于广角摄像机处理盒发送的人脸特征和行人位置信息，服务器根据人脸特征在当日数据库内进行匹配，并根据与用户关联的行人位置信息，描述出用户的运动轨迹。

参照图4，本实施例公开了一种轨迹监控方法，所述方法应用在包括用于拍摄监控范围的入口区域的第一视频的第一摄像机，以及用于拍摄监控范围内的第二视频的第二摄像机的轨迹监控系统之中，所述方法包括以下步骤：

S401、获取第一视频，并从第一视频中提取至少一个第一人脸信息；

S402、获取至少一段第二视频，并从至少一段第二视频中提取至少一个第二人脸信息以及与第二人脸信息关联的行人位置信息，其中，行人位置信息包含时间信息；

S403、根据第一人脸信息从第一人脸数据库中匹配人脸数据，将匹配到的人脸数据写入第二人脸数据库中；

S404、根据第二人脸信息在第二人脸数据库中匹配目标行人，根据与目标行人相匹配的第二人脸信息关联的行人位置信息，确定目标行人的运动轨迹；

根据前面的实施例可知，本方法实施例也可以应用在前面系统实施例之中。

作为优选的实施例，还包括以下步骤：

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种轨迹监控系统，其特征在于：包括：

第一摄像机，用于拍摄监控范围的入口区域的第一视频；

2.根据权利要求1所述的一种轨迹监控系统，其特征在于：所述第一摄像机为监控枪机，所述第二摄像机为广角摄像机，所述第二摄像机的数量有多个。

3.根据权利要求1所述的一种轨迹监控系统，其特征在于：所述服务器还用于：

4.根据权利要求1所述的一种轨迹监控系统，其特征在于：所述服务器还用于：

5.根据权利要求4所述的一种轨迹监控系统，其特征在于：所述服务器还用于：当根据第一人脸信息或者第二人脸信息在第一人脸数据库中进行匹配且匹配失败时，根据第一人脸信息或者第二人脸信息在第一人脸数据库和第二人脸数据库中创建人脸数据。

6.根据权利要求1-5任一项所述的一种轨迹监控系统，其特征在于：所述根据与目标行人相匹配的第二人脸信息关联的行人位置信息，确定目标行人的运动轨迹，其具体为：

7.根据权利要求1-5任一项所述的一种轨迹监控系统，其特征在于：所述服务器在第二视频中提取行人位置信息的过程具体包括：

识别图像中的行人；

8.一种轨迹监控方法，其特征在于：所述方法应用在包括用于拍摄监控范围的入口区域的第一视频的第一摄像机，以及用于拍摄监控范围内的第二视频的第二摄像机的轨迹监控系统之中，所述方法包括以下步骤：

9.根据权利要求8所述的一种轨迹监控方法，其特征在于：还包括以下步骤：

10.根据权利要求8或9所述的一种轨迹监控方法，其特征在于：还包括以下步骤：