CN110969118B - 轨迹监控系统和方法 - Google Patents

轨迹监控系统和方法 Download PDF

Info

Publication number
CN110969118B
CN110969118B CN201911198567.3A CN201911198567A CN110969118B CN 110969118 B CN110969118 B CN 110969118B CN 201911198567 A CN201911198567 A CN 201911198567A CN 110969118 B CN110969118 B CN 110969118B
Authority
CN
China
Prior art keywords
face
pedestrian
information
database
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911198567.3A
Other languages
English (en)
Other versions
CN110969118A (zh
Inventor
章烈剽
吕红
李奕良
马琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Grg Tally Vision IT Co ltd
Guangdian Yuntong Group Co ltd
Original Assignee
Grg Tally Vision IT Co ltd
GRG Banking Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Grg Tally Vision IT Co ltd, GRG Banking Equipment Co Ltd filed Critical Grg Tally Vision IT Co ltd
Priority to CN201911198567.3A priority Critical patent/CN110969118B/zh
Publication of CN110969118A publication Critical patent/CN110969118A/zh
Application granted granted Critical
Publication of CN110969118B publication Critical patent/CN110969118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种轨迹监控系统和方法,所述系统包括:用于拍摄监控范围入口的第一摄像机和拍摄监控范围内的第二摄像机、人脸检测模块、跟踪检测模块和服务器,所述人脸检测模块从第一摄像机拍摄的视频中提取第一人脸信息,跟踪检测模块从第二摄像机拍摄的视频中提取第二人脸信息和行人位置信息;所述服务器根据第一人脸信息在第一人脸数据库中进行人脸匹配,然后将匹配到的人脸数据写入第二人脸数据库中,以便于在对跟踪检测模块所提取的第二人脸信息进行匹配时,减少匹配的数量。本发明可以大大减少行人跟踪时的人脸匹配的运算量。本发明可以广泛应用于行人跟踪技术领域。

Description

轨迹监控系统和方法
技术领域
本发明涉及行人跟踪技术领域,尤其是一种轨迹监控系统和方法。
背景技术
随着图像识别技术日渐发达,行人跟踪等技术被应用在安防监控之中,然而,安防监控系统所监视的区域往往是公共的开放区域,人流可能来自于四面八方,目前行人跟踪技术甚少应用在室内场景之中。
应用在安防监控系统中的行人跟踪技术,由于监控范围较大、监控摄像头分辨率参差不齐以及人脸匹配需要较大的算力,一般只会对行人位置进行跟踪,而不会直接识别行人的身份。
然而随着大数据的发展,越来越多的数据运营商希望获得人们在诸如商场等室内场所的运动轨迹,以从用户的运动轨迹中分析出用户的需求。
因此,如果将现有的行人跟踪技术应用在室内,会存在如下问题,实施人脸匹配需要耗费较大的算力,并且未必能够达到理想的精度,其识别速度也不能满足跟踪需要。
发明内容
为解决上述技术问题的至少之一,本发明的目的在于:提供一种轨迹监控系统和方法,以降低轨迹监控过程中人脸识别时的算力以及提升识别精度。
第一方面,本发明实施例提供了:
一种轨迹监控系统,包括:
第一摄像机,用于拍摄监控范围的入口区域的第一视频;
第二摄像机,用于拍摄监控范围内的第二视频;其中,第二摄像机的数量至少为一台;
人脸检测模块,用于获取第一视频,并从第一视频中提取至少一个第一人脸信息;
跟踪检测模块,用于获取至少一段第二视频,并从至少一段第二视频中提取至少一个第二人脸信息以及与第二人脸信息关联的行人位置信息,其中,行人位置信息包含时间信息;
服务器,用于根据第一人脸信息从第一人脸数据库中匹配人脸数据,将匹配到的人脸数据写入第二人脸数据库中;根据第二人脸信息在第二人脸数据库中匹配目标行人,根据与目标行人相匹配的第二人脸信息关联的行人位置信息,确定目标行人的运动轨迹;
其中,第一人脸数据库中的人脸数据的数量大于所述第二人脸数据库中的人脸数据的数量。
进一步,所述第一摄像机为监控枪机,所述第二摄像机为广角摄像机,所述第二摄像机的数量有多个。
进一步,所述服务器还用于:
在根据第一人脸信息从第一人脸数据库中匹配人脸数据之前,先根据第一人脸信息在第二人脸数据库中进行匹配,仅当在第二人脸数据库中匹配失败时,才在第一人脸数据库中进行匹配。
进一步,所述服务器还用于:
当根据第二人脸信息在第二人脸数据库中进行匹配且匹配失败时,根据第二人脸信息在第一人脸数据库中进行匹配;若在第一人脸数据库中成功匹配到人脸数据,则将根据第二人脸信息在第一人脸数据库中匹配到的人脸数据写入第二人脸数据库。
进一步,所述服务器还用于:当根据第一人脸信息或者第二人脸信息在第一人脸数据库中进行匹配且匹配失败时,根据第一人脸信息或者第二人脸信息在第一人脸数据库和第二人脸数据库中创建人脸数据。
进一步,所述根据与目标行人相匹配的第二人脸信息关联的行人位置信息,确定目标行人的运动轨迹,其具体为:
根据所有行人位置信息中的时间信息,确定目标行人出现位置的先后顺序。
进一步,所述服务器在第二视频中提取行人位置信息的过程具体包括:
识别图像中的行人;
根据行人在图像中的位置以及摄像机参数,将行人的位置映射到预设坐标系之中,将行人在预设坐标系中的坐标作为行人位置信息。
第二方面,本发明实施例提供了:
一种轨迹监控方法,所述方法应用在包括用于拍摄监控范围的入口区域的第一视频的第一摄像机,以及用于拍摄监控范围内的第二视频的第二摄像机的轨迹监控系统之中,所述方法包括以下步骤:
获取第一视频,并从第一视频中提取至少一个第一人脸信息;
获取至少一段第二视频,并从至少一段第二视频中提取至少一个第二人脸信息以及与第二人脸信息关联的行人位置信息,其中,行人位置信息包含时间信息;
根据第一人脸信息从第一人脸数据库中匹配人脸数据,将匹配到的人脸数据写入第二人脸数据库中;
根据第二人脸信息在第二人脸数据库中匹配目标行人,根据与目标行人相匹配的第二人脸信息关联的行人位置信息,确定目标行人的运动轨迹;
其中,第一人脸数据库中的人脸数据的数量大于所述第二人脸数据库中的人脸数据的数量。
进一步,还包括以下步骤:
在根据第一人脸信息从第一人脸数据库中匹配人脸数据之前,先根据第一人脸信息在第二人脸数据库中进行匹配,仅当在第二人脸数据库中匹配失败时,才在第一人脸数据库中进行匹配。
进一步,还包括以下步骤:
当根据第二人脸信息在第二人脸数据库中匹配失败时,根据第二人脸信息在第一人脸数据库中进行匹配;若在第一人脸数据库中成功匹配到人脸数据,则将根据第二人脸信息在第一人脸数据库中匹配到的人脸数据写入第二人脸数据库。
本发明实施例的有益效果是:本发明实施例通过设置用于拍摄监控范围的入口区域的第一摄像机,来拍摄第一视频,接着在第一视频中提取第一人脸信息,并根据第一人脸信息在第一人脸数据库中进行匹配,将匹配得到的人脸数据存入第二人脸数据库之中,然后通过设置用于拍摄监控范围内的至少一个第二摄像机,来拍摄第二视频,接着从第二视频中提取人脸信息,并在第二数据库之中进行人脸匹配,本发明实施例通过监测监控范围的入口区域的人脸,将成功匹配的人脸数据从数据量较大的第一人脸数据库写入数据量较少的第二人脸数据库,可以大大减少在行人跟踪过程中人脸识别的匹配量,并且在数据量较少的第二人脸数据库中进行人脸识别,即便第二视频中的人脸清晰度较低,也可以通过降低匹配阈值的方式来保证一定的命中率。
附图说明
图1为本发明一种具体实施例的轨迹监控系统的模块框图;
图2为本发明一种具体实施例的轨迹监控系统实施轨迹监控的示意图;
图3为本发明一种具体实施例的轨迹监控系统的功能架构图;
图4为本发明一种具体实施例的轨迹监控方法的流程图。
具体实施方式
下面结合说明书附图和具体的实施例对本发明进行进一步的说明。
参照图1,本实施例公开了一种轨迹监控系统,其包括:
第一摄像机,用于拍摄监控范围的入口区域的第一视频;
第二摄像机,用于拍摄监控范围内的第二视频;其中,第二摄像机的数量至少为一台;
人脸检测模块,用于获取第一视频,并从第一视频中提取至少一个第一人脸信息;
跟踪检测模块,用于获取至少一段第二视频,并从至少一段第二视频中提取至少一个第二人脸信息以及与第二人脸信息关联的行人位置信息,其中,行人位置信息包含时间信息;
服务器,用于根据第一人脸信息从第一人脸数据库中匹配人脸数据,将匹配到的人脸数据写入第二人脸数据库中;根据第二人脸信息在第二人脸数据库中匹配目标行人,根据与目标行人相匹配的第二人脸信息关联的行人位置信息,确定目标行人的运动轨迹;
其中,第一人脸数据库中的人脸数据的数量大于所述第二人脸数据库中的人脸数据的数量。
具体地,设置第一摄像机的目的在于获取进入监控范围的人员的人脸特征,从而从数据量较大的用户人脸数据库中匹配出该用户的身份,并存入数据量较少的当日用户数据库中,从而削减在监控范围内行人跟踪时的人脸识别数量。这样一来,匹配数量少了,同时由于匹配的对象少了,可以降低在当日用户数据库中的匹配阈值,使得第二摄像机所拍摄的人脸即便清晰度较低,也可以保持一定的命中率。
其中,第一摄像机可以部署在监控范围的入口,例如商场的入口,银行的入口等,主要用于拍摄人脸,因此应将第一摄像机设置在可以清楚拍摄入口用户的人脸的位置。而第二摄像机其主要用于拍摄行人跟踪时所需的视频。第二摄像机的数量可以有多个,并且第二摄像机通常部署在不同的位置,具有不同的拍摄角度,从而可以分别拍摄监控范围的不同区域。为了尽量扩大监控范围,第二摄像机可以采用高清的广角摄像机实现。
以下给出一种优选的摄像机部署方式:
1)、摄像机安装在人行通道或展示设备的正前方,正面抓拍人脸。保证人脸左右偏转<30°,上下偏转<15°。对此,相机要求吊装或者横臂挑出正装,避免侧装。
2)、摄像机架设高度建议在2.0~3.0米。
3)、摄像机俯视角度小于15度。
4)、保持画面水平、抓拍对象处于画面正中,人脸区域像素至少达到150*150像素以上。其中人脸区域是指,脸颊最左侧到最右侧,额头到下巴下端的范围。
而关于第一人脸数据库,是指一个总的用户数据库,其中存储有成千上万的用户人脸数据,这些人脸数据可以来源于用户注册时所授权的数据。例如,以银行为例,银行在为用户办理业务时,在用户的授权下可以采集用户的人脸数据作为支付凭证或者其他用途。这时候可以将用户的人脸数据与对应的用户身份信息存储在服务器的第一人脸数据库之中,作为总的数据库。
而第二人脸数据库,是指按照设定周期清空的临时数据库,例如每天清空一次的数据库。设置第二人脸数据库的目的在于,将周期内进入的用户的人脸数据从总数据库抽取出来放入到该数据库之中,以便于在进行行人跟踪时,可以较快地实现人脸匹配。
所述第一人脸数据库和第二人脸数据库均可以部署在服务器上,当然,存储功能由一个或者多个存储器实现。所述服务器可以是一个或者多个计算设备组成的,其中包括分布式服务器。
人脸检测模块,其主要用于人脸特征的提取,其部署在摄像机和服务器之间,该人脸检测模块中部署有经过训练的神经网络,可以提取人脸特征,并且将这些人脸特征上传至服务器,交由服务器执行人脸匹配。
跟踪检测模块,本模块用于执行两种功能,一种是人脸识别,另一种的行人跟踪。其部署有可以实现行人识别和人脸识别的神经网络,可以提取人脸特征以及行人特征。在实现行人跟踪时,可以采取以下方法,在视频按照设定间隔抽取图像帧,然后识别抽取的图像帧之中的行人,根据行人特征将前后图像帧中识别出来的行人进行关联,即可以获取到行人在某个时刻的位置信息或者在一段时间内的位置变化信息。同理,在进行行人跟踪时,可以实施人脸识别,以将识别出来的行人位置信息和行人身份关联起来。此外,跟踪检测模块,在用户跨越多个摄像机时,也可以根据行人特征识别出相同的用户。例如,用户在经过第一广角摄像机时,已经被识别出行人特征和人脸特征,此时,该用户的行人特征已经与其身份相关联了。当该用户离开第一广角摄像机的拍摄范围后进入第二广角摄像机的拍摄范围,跟踪检测模块可以根据行人特征,识别出该用户的身份,而不一定需要再次进行人脸识别。
其中,在实现行人识别时,可以采用人体外形特征作为识别特征,也可以采取运动特征作为行人特征。一般情况下,外形特征比较容易实现且识别比较准确。
而在行人跟踪时,由于每个摄像机所处的位置和拍摄角度不同,无法通过人物在图像中的位置统一表征用户的位置。据此,需要根据用户在摄像机所拍摄的图像中的位置进行坐标系映射,将不同画面中的位置映射到一个统一的坐标系之中。在映射过程中,需要预先输入摄像机与坐标系参考点的相对几何位置和相机参数,其中相对几何位置包括相对高度和相对角度等,相机参数包括像素和镜头焦距等等。
以图2对轨迹监控进行说明,本实施例主要对以多个广角摄像机来实施轨迹监控的情况进行说明,如图2所示,本实施例部署了5个广角摄像机,分别拍摄第一区域201、第二区域202、第三区域203、第四区域204和第五区域205。假定用户A,按照时间先后顺序进入第一区域201、第三区域203和第四区域204,则用户A的移动轨迹如轨迹206所示。当然,图2只示出了简易的运动轨迹,其并未考虑用户A在三个区域内具体的位置变化细节。在现实情况中,并不关心用户在一个区域内是如何移动的,通常只关心,用户是否经过特定的位置,以及在该特定的位置所停留的时间。因此,当一个广角摄像机拍摄的区域内具有多个所述的特定位置,也应该记录用户是否经过这些特定的位置,以及停留的时间。因此,最终可以以向量组的形式来表示用户的移动轨迹,并且在每个向量中增加时间参数,以表示停留时间。而停留时间的确定,可以由用户在某个特定位置出现的第一图像帧和最后一个图像帧的拍摄时间确定。
同理,根据图2所表示的原理,将图2中的多个区域理解为一个广角摄像机拍摄的多个特定位置,也可以在只有一个广角摄像机的情况下,实现轨迹监控。
作为优选的实施例,本实施例为了减少检测反复出入监控范围的用户的人脸的识别运算量,所述服务器还用于:
在根据第一人脸信息从第一人脸数据库中匹配人脸数据之前,先根据第一人脸信息在第二人脸数据库中进行匹配,仅当在第二人脸数据库中匹配失败时,才在第一人脸数据库中进行匹配。
由于第二人脸数据库的数据量相对于第一人脸数据库的数量很小,可能是数十和数十万之间的差异,先从第二人脸数据库进行匹配,能够提高诸如反复进入监控范围的用户的人脸识别的效率。本实施例适用于用户反复进入监控范围的场景。
作为优选的实施例,为了避免用户在进入监控范围时人脸遮挡,系统无法提取人脸特征,而导致后续无法正常进行行人跟踪的情况,所述服务器还用于:
当根据第二人脸信息在第二人脸数据库中进行匹配且匹配失败时,根据第二人脸信息在第一人脸数据库中进行匹配;若在第一人脸数据库中成功匹配到人脸数据,则将根据第二人脸信息在第一人脸数据库中匹配到的人脸数据写入第二人脸数据库。
本实施例在第二视频中如果发现没有存储在第二人脸数据库中的人脸数据,会在第一人脸数据库中进行匹配,在第一人脸数据库中进行匹配后,同步将人脸数据写入第二人脸数据库之中,以便于跟踪。这种情况通常发生在用户进入室内时佩戴口罩,但进入室内后脱下口罩的情形。
在一些更加的复杂的情况下,如果该用户的信息从未被录入到第一人脸数据库之中。这样是无法对用户进行人脸识别的。因此需要为用户创建新的数据。
作为优选的实施例,所述服务器还用于:当根据第一人脸信息或者第二人脸信息在第一人脸数据库中进行匹配且匹配失败时,根据第一人脸信息或者第二人脸信息在第一人脸数据库和第二人脸数据库中创建人脸数据。
在创建新的数据时,为用户创建一个ID并关联人脸特征。例如在银行的场景中,当用户在柜台办理业务时,就能把相关资料与人脸特征关联起来。本实施例考虑了两种情形,一种是用户在进门时,就因为人脸遮挡无法提取人脸特征,随后在室内被广角摄像机所捕捉。另一种是用户在进门时,所提取的人脸特征就无法在第一人脸数据库中匹配成功。
作为优选的实施例,所述根据与目标行人相匹配的第二人脸信息关联的行人位置信息,确定目标行人的运动轨迹,其具体为:
根据所有行人位置信息中的时间信息,确定目标行人出现位置的先后顺序。
具体地,所述时间信息可以是行人处于某个位置时的时间,本实施例根据时间的先后顺序,确定行人的运动轨迹。
作为优选的实施例,所述服务器在第二视频中提取行人位置信息的过程具体包括:
识别图像中的行人;
根据行人在图像中的位置以及摄像机参数,将行人的位置映射到预设坐标系之中,将行人在预设坐标系中的坐标作为行人位置信息。
本实施例可以根据摄像机参数以及摄像机与参考点之间的相对位置关系,对摄像机进行标定,将图像中的位置转换为二维坐标系中的坐标。
参照图3,本实施例供了一种轨迹监控系统的功能架构图。如图3所示,本实施例由一个监控枪机、服务器、监控枪机处理盒、广角摄像机处理盒和多个广角摄像机组成。
其中,监控枪机处理盒用于根据监控枪机拍摄的图像进行人脸检测和跟踪,具体地,从画面中提取人脸特征和跟踪人脸位置。
广角摄像机处理盒用于根据多个广角摄像机拍摄的图像进行人脸检测和人脸跟踪、行人检测和行人跟踪,其中,行人检测和行人跟踪是指提取图像中的行人特征,并与已识别的行人特征进行比对,从而确定在不同图像帧之中的相同行人,从而实现行人检测和跟踪。
服务器,其设置有人脸数据库总库,其存储了大量的用户的人脸数据。服务器对于监控枪机处理盒发送的人脸特征进行人脸识别,从人脸数据库总库中匹配出对应的用户。同时,服务器设置有当日人脸数据库,其用于存储当天从人脸数据库总库中匹配到的用户的人脸数据。对于广角摄像机处理盒发送的人脸特征和行人位置信息,服务器根据人脸特征在当日数据库内进行匹配,并根据与用户关联的行人位置信息,描述出用户的运动轨迹。
参照图4,本实施例公开了一种轨迹监控方法,所述方法应用在包括用于拍摄监控范围的入口区域的第一视频的第一摄像机,以及用于拍摄监控范围内的第二视频的第二摄像机的轨迹监控系统之中,所述方法包括以下步骤:
S401、获取第一视频,并从第一视频中提取至少一个第一人脸信息;
S402、获取至少一段第二视频,并从至少一段第二视频中提取至少一个第二人脸信息以及与第二人脸信息关联的行人位置信息,其中,行人位置信息包含时间信息;
S403、根据第一人脸信息从第一人脸数据库中匹配人脸数据,将匹配到的人脸数据写入第二人脸数据库中;
S404、根据第二人脸信息在第二人脸数据库中匹配目标行人,根据与目标行人相匹配的第二人脸信息关联的行人位置信息,确定目标行人的运动轨迹;
其中,第一人脸数据库中的人脸数据的数量大于所述第二人脸数据库中的人脸数据的数量。
根据前面的实施例可知,本方法实施例也可以应用在前面系统实施例之中。
作为优选的实施例,还包括以下步骤:
在根据第一人脸信息从第一人脸数据库中匹配人脸数据之前,先根据第一人脸信息在第二人脸数据库中进行匹配,仅当在第二人脸数据库中匹配失败时,才在第一人脸数据库中进行匹配。
作为优选的实施例,还包括以下步骤:
当根据第二人脸信息在第二人脸数据库中匹配失败时,根据第二人脸信息在第一人脸数据库中进行匹配;若在第一人脸数据库中成功匹配到人脸数据,则将根据第二人脸信息在第一人脸数据库中匹配到的人脸数据写入第二人脸数据库。
对于上述方法实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种轨迹监控系统,其特征在于:包括:
第一摄像机,用于拍摄监控范围的入口区域的第一视频;
第二摄像机,用于拍摄监控范围内的第二视频;其中,第二摄像机的数量至少为一台;
人脸检测模块,用于获取第一视频,并从第一视频中提取至少一个第一人脸信息;
跟踪检测模块,用于获取至少一段第二视频,并从至少一段第二视频中提取至少一个第二人脸信息以及与第二人脸信息关联的行人位置信息,其中,行人位置信息包含时间信息;
服务器,用于根据第一人脸信息从第一人脸数据库中匹配人脸数据,将匹配到的人脸数据写入第二人脸数据库中;根据第二人脸信息在第二人脸数据库中匹配目标行人,根据与目标行人相匹配的第二人脸信息关联的行人位置信息,确定目标行人的运动轨迹;
其中,第一人脸数据库中的人脸数据的数量大于所述第二人脸数据库中的人脸数据的数量;
所述服务器还用于:
在根据第一人脸信息从第一人脸数据库中匹配人脸数据之前,先根据第一人脸信息在第二人脸数据库中进行匹配,仅当在第二人脸数据库中匹配失败时,才在第一人脸数据库中进行匹配;
所述根据与目标行人相匹配的第二人脸信息关联的行人位置信息,确定目标行人的运动轨迹,其具体为:
根据所有行人位置信息中的时间信息,确定目标行人出现位置的先后顺序;
所述服务器在第二视频中提取行人位置信息的过程具体包括:
识别图像中的行人;
根据行人在图像中的位置以及摄像机参数,将行人的位置映射到预设坐标系之中,将行人在预设坐标系中的坐标作为行人位置信息;
所述第一人脸数据库是指总的存储有用户人脸数据的用户数据库,所述第二人脸数据库是指按照设定周期清空的临时数据库;
所述人脸检测模块具体用于人脸特征的提取,所述人脸检测模块部署在第一摄像机和服务器之间,所述人脸检测模块中部署有经过训练的神经网络;
所述跟踪检测模块部署有用于实现行人识别和人脸识别的神经网络,所述跟踪检测模块能提取人脸特征以及行人特征。
2.根据权利要求1所述的一种轨迹监控系统,其特征在于:所述第一摄像机为监控枪机,所述第二摄像机为广角摄像机,所述第二摄像机的数量有多个。
3.根据权利要求1所述的一种轨迹监控系统,其特征在于:所述服务器还用于:
当根据第二人脸信息在第二人脸数据库中进行匹配且匹配失败时,根据第二人脸信息在第一人脸数据库中进行匹配;若在第一人脸数据库中成功匹配到人脸数据,则将根据第二人脸信息在第一人脸数据库中匹配到的人脸数据写入第二人脸数据库。
4.根据权利要求3所述的一种轨迹监控系统,其特征在于:所述服务器还用于:当根据第一人脸信息或者第二人脸信息在第一人脸数据库中进行匹配且匹配失败时,根据第一人脸信息或者第二人脸信息在第一人脸数据库和第二人脸数据库中创建人脸数据。
5.一种轨迹监控方法,其特征在于:所述方法应用在包括用于拍摄监控范围的入口区域的第一视频的第一摄像机,以及用于拍摄监控范围内的第二视频的第二摄像机的轨迹监控系统之中,所述轨迹监控系统还包括服务器,所述方法包括以下步骤:
获取第一视频,并从第一视频中提取至少一个第一人脸信息;
获取至少一段第二视频,并从至少一段第二视频中提取至少一个第二人脸信息以及与第二人脸信息关联的行人位置信息,其中,行人位置信息包含时间信息;
根据第一人脸信息从第一人脸数据库中匹配人脸数据,将匹配到的人脸数据写入第二人脸数据库中;
根据第二人脸信息在第二人脸数据库中匹配目标行人,根据与目标行人相匹配的第二人脸信息关联的行人位置信息,确定目标行人的运动轨迹;
其中,第一人脸数据库中的人脸数据的数量大于所述第二人脸数据库中的人脸数据的数量;
所述方法还包括以下步骤:
在根据第一人脸信息从第一人脸数据库中匹配人脸数据之前,先根据第一人脸信息在第二人脸数据库中进行匹配,仅当在第二人脸数据库中匹配失败时,才在第一人脸数据库中进行匹配;
所述根据与目标行人相匹配的第二人脸信息关联的行人位置信息,确定目标行人的运动轨迹,其具体为:
根据所有行人位置信息中的时间信息,确定目标行人出现位置的先后顺序;
所述服务器在第二视频中提取行人位置信息的过程具体包括:
识别图像中的行人;
根据行人在图像中的位置以及摄像机参数,将行人的位置映射到预设坐标系之中,将行人在预设坐标系中的坐标作为行人位置信息;
所述第一人脸数据库是指总的存储有用户人脸数据的用户数据库,所述第二人脸数据库是指按照设定周期清空的临时数据库;
所述从第一视频中提取至少一个第一人脸信息,具体为:通过人脸检测模块进行人脸特征的提取,所述人脸检测模块部署在第一摄像机和服务器之间,所述人脸检测模块中部署有经过训练的神经网络;
所述从至少一段第二视频中提取至少一个第二人脸信息以及与第二人脸信息关联的行人位置信息,具体为:通过跟踪检测模块提取人脸特征以及行人特征,所述跟踪检测模块部署有用于实现行人识别和人脸识别的神经网络。
6.根据权利要求5所述的一种轨迹监控方法,其特征在于:还包括以下步骤:
当根据第二人脸信息在第二人脸数据库中匹配失败时,根据第二人脸信息在第一人脸数据库中进行匹配;若在第一人脸数据库中成功匹配到人脸数据,则将根据第二人脸信息在第一人脸数据库中匹配到的人脸数据写入第二人脸数据库。
CN201911198567.3A 2019-11-29 2019-11-29 轨迹监控系统和方法 Active CN110969118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911198567.3A CN110969118B (zh) 2019-11-29 2019-11-29 轨迹监控系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911198567.3A CN110969118B (zh) 2019-11-29 2019-11-29 轨迹监控系统和方法

Publications (2)

Publication Number Publication Date
CN110969118A CN110969118A (zh) 2020-04-07
CN110969118B true CN110969118B (zh) 2023-03-24

Family

ID=70032070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911198567.3A Active CN110969118B (zh) 2019-11-29 2019-11-29 轨迹监控系统和方法

Country Status (1)

Country Link
CN (1) CN110969118B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476183A (zh) * 2020-04-13 2020-07-31 腾讯科技(深圳)有限公司 客流信息处理方法及装置
CN113761964A (zh) * 2020-05-18 2021-12-07 深圳云天励飞技术有限公司 同行人员确定方法及相关产品
CN111696239A (zh) * 2020-06-18 2020-09-22 江苏建筑职业技术学院 一种基于计算机的人工智能识别系统
CN111523529B (zh) * 2020-07-06 2020-10-16 中国铁道科学研究院集团有限公司通信信号研究所 基于乘客出行轨迹的轨道交通疫情防控系统及方法
CN111915671A (zh) * 2020-07-15 2020-11-10 安徽清新互联信息科技有限公司 一种工作区域的人员轨迹跟踪方法和系统
CN114140838A (zh) * 2020-08-14 2022-03-04 华为技术有限公司 一种图像管理的方法、装置、终端设备和系统
CN113295168B (zh) * 2021-05-18 2023-04-07 浙江微能科技有限公司 一种基于人脸识别的签约用户导航方法及装置
CN113919882A (zh) * 2021-10-25 2022-01-11 广州广电运通金融电子股份有限公司 个性化折扣券的智能设计方法、电子装置和存储介质
CN115905733B (zh) * 2022-10-28 2024-03-08 广州地铁集团有限公司 一种基于机器视觉的口罩佩戴异常检测及轨迹追踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913037A (zh) * 2016-04-26 2016-08-31 广东技术师范学院 基于人脸识别与射频识别的监控跟踪系统
CN109151388A (zh) * 2018-09-10 2019-01-04 合肥巨清信息科技有限公司 一种多路摄像机协调的视频跟踪系统
CN109214276A (zh) * 2018-07-23 2019-01-15 武汉虹信技术服务有限责任公司 一种基于人脸识别技术的目标人员轨迹跟踪的系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8036425B2 (en) * 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913037A (zh) * 2016-04-26 2016-08-31 广东技术师范学院 基于人脸识别与射频识别的监控跟踪系统
CN109214276A (zh) * 2018-07-23 2019-01-15 武汉虹信技术服务有限责任公司 一种基于人脸识别技术的目标人员轨迹跟踪的系统及方法
CN109151388A (zh) * 2018-09-10 2019-01-04 合肥巨清信息科技有限公司 一种多路摄像机协调的视频跟踪系统

Also Published As

Publication number Publication date
CN110969118A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110969118B (zh) 轨迹监控系统和方法
US11288495B2 (en) Object tracking and best shot detection system
Gabriel et al. The state of the art in multiple object tracking under occlusion in video sequences
Sidla et al. Pedestrian detection and tracking for counting applications in crowded situations
Wheeler et al. Face recognition at a distance system for surveillance applications
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
CN103605971B (zh) 一种捕获人脸图像的方法及装置
Fookes et al. Semi-supervised intelligent surveillance system for secure environments
CN110633648B (zh) 一种自然行走状态下的人脸识别方法和系统
WO2019080669A1 (zh) 封闭场所内人物再识别的方法、系统及终端设备
WO2022227761A1 (zh) 目标跟踪方法、装置、电子设备及存储介质
WO2022134916A1 (zh) 身份特征生成方法、设备及存储介质
CN107547865A (zh) 跨区域人体视频目标跟踪智能监控方法
JPWO2008035411A1 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
Baltieri et al. 3D Body Model Construction and Matching for Real Time People Re-Identification.
CN110276233A (zh) 一种基于深度学习的多相机协同跟踪系统
CN110706250B (zh) 一种对象的跟踪方法、装置、系统及存储介质
JP6548306B2 (ja) カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法
CN109492513A (zh) 光场监控的人脸空间去重方法
CN110572618B (zh) 一种非法拍照行为监控方法、装置及系统
KR101311728B1 (ko) 침입자의 얼굴감지 시스템 및 그 방법
CN108197579B (zh) 防护舱中人数的检测方法
CN111882656A (zh) 基于人工智能的图形处理方法、设备及存储介质
Lablack et al. Analysis of human behaviour in front of a target scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 001-030, Yuntong Space Office Card, Research Institute Office Building, No. 9, Kelin Road, Science City, Guangzhou Hi tech Industrial Development Zone, 510000 Guangdong

Patentee after: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region after: China

Patentee after: Guangdian Yuntong Group Co.,Ltd.

Address before: No. 001-030, Yuntong Space Office Card, Research Institute Office Building, No. 9, Kelin Road, Science City, Guangzhou Hi tech Industrial Development Zone, 510000 Guangdong

Patentee before: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region before: China

Patentee before: GRG BANKING EQUIPMENT Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240208

Address after: No. 001-030, Yuntong Space Office Card, Research Institute Office Building, No. 9, Kelin Road, Science City, Guangzhou Hi tech Industrial Development Zone, 510000 Guangdong

Patentee after: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region after: China

Address before: No. 001-030, Yuntong Space Office Card, Research Institute Office Building, No. 9, Kelin Road, Science City, Guangzhou Hi tech Industrial Development Zone, 510000 Guangdong

Patentee before: GRG TALLY-VISION I.T. Co.,Ltd.

Country or region before: China

Patentee before: Guangdian Yuntong Group Co.,Ltd.