CN112633063B - 一种人物行动跟踪系统及其方法 - Google Patents

一种人物行动跟踪系统及其方法 Download PDF

Info

Publication number
CN112633063B
CN112633063B CN202011292949.5A CN202011292949A CN112633063B CN 112633063 B CN112633063 B CN 112633063B CN 202011292949 A CN202011292949 A CN 202011292949A CN 112633063 B CN112633063 B CN 112633063B
Authority
CN
China
Prior art keywords
information
face
target
monitoring terminal
matching result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011292949.5A
Other languages
English (en)
Other versions
CN112633063A (zh
Inventor
张百洋
孙健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Bureau Co Ltd
Original Assignee
Shenzhen Power Supply Bureau Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Bureau Co Ltd filed Critical Shenzhen Power Supply Bureau Co Ltd
Priority to CN202011292949.5A priority Critical patent/CN112633063B/zh
Publication of CN112633063A publication Critical patent/CN112633063A/zh
Application granted granted Critical
Publication of CN112633063B publication Critical patent/CN112633063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种人物行动跟踪系统及其方法，包括监控终端以及与监控终端通信连接的多个服务器，每一服务器分别与多个摄像设备通信连接，多个摄像设备分别设置于区域的不同位置；实施时，由监控终端下发目标人脸编码信息和目标人脸索引信息给各个服务器，服务器将其数据库中的所有人脸编码信息和人脸索引信息分别与目标人脸编码信息和目标人脸索引信息进行匹配，并发送匹配结果给监控终端；监控终端根据匹配结果生成目标人物的轨迹信息。在进行人物行动跟踪时，通过人脸编码信息和人脸索引信息两条线进行搜索数据库，当其中一条线搜索到匹配结果时，立即返回给监控终端进行目标人物的轨迹信息的生成处理，使得人物行动轨迹可以快速识别、跟踪。

Description

一种人物行动跟踪系统及其方法
技术领域
本发明涉及人脸识别技术领域，具体涉及一种人物行动跟踪系 统及其方法。
背景技术
人脸智能识别技术作为信息识别的一种，已被应用于生产、生 活的多个领域。随着人工智能技术的不断发展，人脸智能识别技术 也成为了各厂商、各院所的重点研究内容。同时经过多年的安防工 业发展，已经具备了人物脸部识别数据与视频监控数据的历史存储， 已经可以很方便的，进行某一人的行动跟踪。
但是传统的人物行动跟踪，只能靠倒放视频，然后调取周边的 摄像头进行逐个排查，耗时耗力。
发明内容
本发明的目的在于提出一种人物行动跟踪系统及其方法、计算 机可读存储介质，以使得人物行动轨迹可以快速识别、跟踪。
为实现上述目的，根据第一方面，本发明的实施例提出一种人 物行动跟踪系统，包括监控终端以及与所述监控终端通信连接的多 个服务器，每一所述服务器分别与多个摄像设备通信连接，所述多 个摄像设备分别设置于区域的不同位置；每一摄像设备设置有对应 的设备编号；每一所述服务器设置有一数据库；
其中，所述多个摄像设备分别用于拍摄区域的不同位置环境的 视频信息，并将拍摄的视频信息发送至与其通信连接的服务器；
其中，所述多个服务器用于响应于接收到视频信息，对视频信 息进行图像识别获得视频中的所有人脸图像，根据所述所有人脸图 像获得对应的人脸编码信息和人脸索引信息，并将接收的视频信息 以及获得的人脸编码信息和人脸索引信息存储于其数据库中；
其中，所述监控终端用于根据用户输入的视频查询信息生成视 频查询指令，并将视频查询指令分别发送给所述多个服务器；
其中，所述多个服务器用于响应于接收到所述视频查询指令， 从其数据库中获取对应的视频信息，并发送给所述监控终端；
其中，所述监控终端还用于根据用户输入的截图指令获取对应 的人脸截图，根据所述人脸截图获得对应的目标人脸编码信息和目 标人脸索引信息，根据所述目标人脸编码信息和目标人脸索引信息 生成人物搜索指令，并将所述人物搜索指令分别发送给所述多个服 务器；
其中，所述多个服务器还用于响应于接收到所述人物搜索指令， 将其数据库中的所有人脸编码信息和人脸索引信息分别与所述目标 人脸编码信息和目标人脸索引信息进行匹配，并发送匹配结果给所 述监控终端；
其中，所述监控终端还用于响应于接收到所述多个服务器的匹 配结果，根据匹配结果生成目标人物的轨迹信息。
可选地，所述服务器包括视频信息接收单元、人脸识别单元、 编码生成单元、索引生成单元、存储单元、数据库；
其中，所述视频信息接收单元用于接收与服务器通信连接的多 个摄像设备所拍摄的视频信息；所述视频信息包括摄像设备的设备 编码信息以及对应的视频图像；
其中，所述人脸识别单元用于对所述视频信息接收单元接收的 视频信息进行人脸识别得到多个人脸图像；
其中，所述编码生成单元用于提取所述多个人脸图像的特征， 并根据提取的所述多个人脸图像的特征生成所述多个人脸图像的人 脸编码信息；
其中，所述索引生成单元用于根据所述编码生成单元所生成的 多个人脸图像的人脸编码信息确定所述多个人脸图像的人脸索引信 息；所述人脸索引信息为人脸所对应人物的身份信息；
其中，所述存储单元用于将所述视频信息接收单元接收的视频 信息、所述人脸识别单元识别得到的人脸图像、所述编码生成单元 生成的人脸编码信息、以及所述索引生成单元确定的人脸索引信息 关联后存储至所述数据库中。
可选地，所述匹配结果包括目标时间段内与所述目标人脸编码 信息对应的所有人脸图像以及该所有人脸图像的时间信息以及对应 的摄像设备的设备编码信息。
根据第二方面，本发明实施例提出一种人物行动跟踪方法，基 于第一方面所述的人物行动跟踪系统实现，所述方法包括如下步骤：
步骤S1、监控终端根据用户输入的视频查询信息生成视频查询 指令，并将视频查询指令分别发送给多个服务器；
步骤S2、所述多个服务器响应于接收到所述视频查询指令，从 其数据库中获取对应的视频信息，并发送给所述监控终端；
步骤S3、所述监控终端根据用户输入的截图指令获取对应的人 脸截图，根据所述人脸截图获得对应的目标人脸编码信息和目标人 脸索引信息，根据所述目标人脸编码信息和目标人脸索引信息生成 人物搜索指令，并将所述人物搜索指令分别发送给所述多个服务器；
步骤S4、所述多个服务器响应于接收到所述人物搜索指令，将 其数据库中的所有人脸编码信息和人脸索引信息分别与所述目标人 脸编码信息和目标人脸索引信息进行匹配，并发送匹配结果给所述 监控终端；
步骤S5、所述监控终端响应于接收到所述多个服务器的匹配结 果，根据匹配结果生成目标人物的轨迹信息。
可选地，所述视频查询信息包括目标摄像设备的目标设备编码 信息以及目标时间段信息；所述视频查询指令为查询所述目标设备 编码信息所对应的目标摄像设备在目标时间段所拍摄的视频信息。
可选地，所述步骤S2，包括：
所述多个服务器根据所述目标设备编码信息以及所述目标时间 段信息查询数据库，获得所述目标设备编码信息所对应的目标摄像 设备在目标时间段所拍摄的视频信息，并发送给所述监控终端。
可选地，在所述步骤S3中，根据所述人脸截图获得对应的目标 人脸编码信息和目标人脸索引信息，包括：
提取所述人脸截图的特征，并根据提取的所述人脸截图的特征 生成所述人脸截图的人脸编码信息；
根据所述人脸截图的人脸编码信息确定所述人脸截图的人脸索 引信息；所述人脸索引信息为人脸所对应人物的身份信息。
可选地，在所述步骤S4，包括：
所述多个服务器将所述目标人脸编码信息与其数据库中的所有 人脸编码信息一一匹配，获取匹配一致的所有人脸编码信息所对应 的人脸图像、人脸图像拍摄时间信息、拍摄人脸图像的摄像设备的 设备编码信息，并生成第一匹配结果；
所述多个服务器将所述目标人脸索引信息与其数据库中的所有 人脸索引信息一一匹配，获取匹配一致的所有人脸索引信息所对应 的人脸图像、人脸图像拍摄时间信息、拍摄人脸图像的摄像设备的 设备编码信息，并生成第二匹配结果；
将所述第一匹配结果和所述第二匹配结果发送给所述监控终端。
可选地，在所述步骤S5，包括：
所述监控终端响应于接收到所述第一匹配结果，根据所述第一 匹配结果中的设备编码信息确定目标人物的各个移动位置，根据所 述第一匹配结果中的人脸图像拍摄时间信息确定目标人物的出现在 各个移动位置的时间信息，并根据各个移动位置以及目标人物的出 现在各个移动位置的时间信息生成目标人物的第一轨迹信息；
所述监控终端响应于接收到所述第二匹配结果，根据所述第二 匹配结果中的设备编码信息确定目标人物的各个移动位置，根据所 述第二匹配结果中的人脸图像拍摄时间信息确定目标人物的出现在 各个移动位置的时间信息，并根据各个移动位置以及目标人物的出 现在各个移动位置的时间信息生成目标人物的第二轨迹信息。
可选地，所述步骤S5，还包括：
在生成第一轨迹信息之后，根据区域地图数据、所述第一轨迹 信息以及对应的所有人脸图像生成第一显示信息，并输出至显示设 备进行显示，在区域地图中对应不同移动位置的坐标点处显示目标 人物所对应的人脸图像以及出现的时间信息；
在生成第二轨迹信息之后，根据区域地图数据、所述第二轨迹 信息以及对应的所有人脸图像生成第二显示信息，并输出至显示设 备进行显示，在区域地图中对应不同移动位置的坐标点处显示目标 人物所对应的人脸图像以及出现的时间信息。
本发明实施例提出一种人物行动跟踪系统及其方法，包括监控 终端以及与所述监控终端通信连接的多个服务器，每一所述服务器 分别与多个摄像设备通信连接，所述多个摄像设备分别设置于区域 的不同位置；每一摄像设备设置有对应的设备编号；每一所述服务 器设置有一数据库；实施时，由监控终端下发目标人脸编码信息和 目标人脸索引信息给各个服务器，各个服务器将其数据库中的所有 人脸编码信息和人脸索引信息分别与所述目标人脸编码信息和目标 人脸索引信息进行匹配，并发送匹配结果给所述监控终端；最后， 监控终端根据匹配结果生成目标人物的轨迹信息。所述系统及其方 法在进行人物行动跟踪时，通过人脸编码信息和人脸索引信息两条 线进行搜索数据库，当其中一条线搜索到匹配结果时，立即返回给 监控终端进行目标人物的轨迹信息的生成处理，使得人物行动轨迹 可以快速识别、跟踪。
本发明的其它特征和优点将在随后的说明书中阐述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下 面将对实施例或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于 本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
图1为本发明实施例中一种人物行动跟踪系统的框架结构图。
图2为本发明实施例中服务器的框架结构图。
图3为本发明实施例中区域地图中显示信息的显示方式示意图。
图4为本发明实施例中一种人物行动跟踪方法的流程示意图。
图中标记：
1-监控终端；
2-服务器，21-视频信息接收单元，22-人脸识别单元，23-编码 生成单元，24-索引生成单元，25-存储单元，26-数据库，27-第一匹 配单元，28-第二匹配单元，29-发送单元；
3-摄像设备。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和 方面。另外，为了更好的说明本发明，在下文的具体实施例中给出 了众多的具体细节。本领域技术人员应当理解，没有某些具体细节， 本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的 手段未作详细描述，以便于凸显本发明的主旨。
本发明一实施例提出一种人物行动跟踪系统，参阅图1，本实 施例系统包括监控终端1以及与所述监控终端1无线通信连接的多 个服务器2，图1中示出了n个服务器2的简化图，每一所述服务器 2分别与多个摄像设备3无线通信连接，所述多个摄像设备3分别设置于区域的不同位置，图1中示出了n个摄像设备3的简化图，所 述区域为监控区域；每一摄像设备3设置有对应的设备编号，即根 据设备编号就可以确定摄像设备3及其位置信息；每一所述服务器 2设置有一数据库26。
其中，所述多个摄像设备3分别用于拍摄区域的不同位置环境 的视频信息，并将拍摄的视频信息发送至与其通信连接的服务器2。
具体而言，所述视频信息的发送方式，可以是周期性地发送， 即每隔预设周期时间，将周期时间内所拍摄的视频发送给服务器2。
其中，所述多个服务器2用于响应于接收到视频信息，对视频 信息进行图像识别获得视频中的所有人脸图像，根据所述所有人脸 图像获得对应的人脸编码信息和人脸索引信息，并将接收的视频信 息以及获得的人脸编码信息和人脸索引信息存储于其数据库26中。
具体而言，所述多个服务器2实时接收摄像设备3的视频信息， 当接收到视频信息时，利用预先训练好的神经网络模型对接收的视 频信息进行图像识别，获得视频信息中所有人脸图像，并对所有人 脸图像进行特征提取得到对应的人脸特征信息，最后根据该人脸特 征信息可以获得对应的人脸编码信息和人脸索引信息；所述人脸编 码信息根据预设的算法计算生成，具体地算法的内容并不局限于某 一种，其原理主要是根据人脸特征信息可以唯一确定一个编码值即 可；所述人脸索引信息为人脸所对应人物的身份信息，例如姓名、 身份证号、手机号等，其可以根据计算得到的人脸编码信息进行对 应确定。
示例性地，当本实施例系统应用于企业单位区域的监控时，该 企业单位的每一个员工都会先进行人脸识别，计算人脸编码信息， 并录入员工的身份信息，将身份信息和人脸编码信息绑定后进行存 储于各个服务器2的数据库26；可以理解的是，只有当人脸所对应 的人物为已知人物时，才可以根据人脸编码信息获得对应的人脸索 引信息；所以如果目标人物是未识别身份的人，则无法获得对应的 人脸索引信息，因此，只能进行根据人脸编码信息的人物跟踪。
其中，所述监控终端1用于根据用户输入的视频查询信息生成 视频查询指令，并将视频查询指令分别发送给所述多个服务器2。
具体而言，所述视频查询信息包括目标摄像设备3的目标设备 编码信息以及目标时间段信息；所述视频查询指令为查询所述目标 设备编码信息所对应的目标摄像设备3在目标时间段所拍摄的视频 信息。其中，所述多个服务器2用于响应于接收到所述视频查询指 令，从其数据库26中获取对应的视频信息，并发送给所述监控终端 1。
具体而言，所述多个服务器2用于根据所述目标设备编码信息 以及所述目标时间段信息查询数据库26，获得所述目标设备编码信 息所对应的目标摄像设备3在目标时间段所拍摄的视频信息，并发 送给所述监控终端1。
其中，所述监控终端1还用于根据用户输入的截图指令获取对 应的人脸截图，根据所述人脸截图获得对应的目标人脸编码信息和 目标人脸索引信息，根据所述目标人脸编码信息和目标人脸索引信 息生成人物搜索指令，并将所述人物搜索指令分别发送给所述多个 服务器2。
具体而言，所述监控终端1为一上位机，用户可以在上位机上 查看服务器2返回的视频信息，当发现视频信息中出现了目标人物 之后，可以暂停视频信息播放，并操作鼠标、键盘等输入单元输入 截图指令，获取目标人物的人脸截图，上位机利用预先训练好的神经网络模型对人脸截图进行图像识别，对所有人脸图像进行特征提 取得到对应的目标人脸特征信息，最后根据该目标人脸特征信息可 以获得对应的目标人脸编码信息和目标人脸索引信息；所述人物搜 索指令包括目标人脸编码信息和目标人脸索引信息以及搜索请求。
其中，所述多个服务器2还用于响应于接收到所述人物搜索指 令，将其数据库26中的所有人脸编码信息和人脸索引信息分别与所 述目标人脸编码信息和目标人脸索引信息进行匹配，并发送匹配结 果给所述监控终端1。
可选地，所述匹配结果包括目标时间段内与所述目标人脸编码 信息对应的所有人脸图像以及该所有人脸图像的时间信息以及对应 的摄像设备3的设备编码信息；
其中，所述监控终端1还用于响应于接收到所述多个服务器2 的匹配结果，根据匹配结果生成目标人物的轨迹信息。
可选地，参阅图2，所述服务器2包括视频信息接收单元21、 人脸识别单元22、编码生成单元23、索引生成单元24、存储单元 25、数据库26；
其中，所述视频信息接收单元21用于接收与服务器2通信连接 的多个摄像设备3所拍摄的视频信息；所述视频信息包括摄像设备 3的设备编码信息以及对应的视频图像；
其中，所述人脸识别单元22用于对所述视频信息接收单元21 接收的视频信息进行人脸识别得到多个人脸图像；
其中，所述编码生成单元23用于提取所述多个人脸图像的特征， 并根据提取的所述多个人脸图像的特征生成所述多个人脸图像的人 脸编码信息；
其中，所述索引生成单元24用于根据所述编码生成单元23所 生成的多个人脸图像的人脸编码信息确定所述多个人脸图像的人脸 索引信息；所述人脸索引信息为人脸所对应人物的身份信息；
其中，所述存储单元25用于将所述视频信息接收单元21接收 的视频信息、所述人脸识别单元22识别得到的人脸图像、所述编码 生成单元23生成的人脸编码信息、以及所述索引生成单元24确定 的人脸索引信息关联后存储至所述数据库26中。
示例性地，所述匹配结果包括第一匹配结果和第二匹配结果；
示例性地，所述服务器2还包括第一匹配单元27，所述第一匹 配单元27用于将所述目标人脸编码信息与其数据库26中的所有人 脸编码信息一一匹配，获取匹配一致的所有人脸编码信息所对应的 人脸图像、人脸图像拍摄时间信息、拍摄人脸图像的摄像设备3的 设备编码信息，并生成第一匹配结果；
其中，所述监控终端1还用于响应于接收到所述第一匹配结果， 根据所述第一匹配结果中的设备编码信息确定目标人物的各个移动 位置，根据所述第一匹配结果中的人脸图像拍摄时间信息确定目标 人物的出现在各个移动位置的时间信息，并根据各个移动位置以及 目标人物的出现在各个移动位置的时间信息生成目标人物的第一轨 迹信息；
示例性地，所述服务器2还包括第二匹配单元28，所述第二匹 配单元28用于将所述目标人脸索引信息与其数据库26中的所有人 脸索引信息一一匹配，获取匹配一致的所有人脸索引信息所对应的 人脸图像、人脸图像拍摄时间信息、拍摄人脸图像的摄像设备3的 设备编码信息，并生成第二匹配结果；
所述监控终端1还用于响应于接收到所述第二匹配结果，根据 所述第二匹配结果中的设备编码信息确定目标人物的各个移动位置， 根据所述第二匹配结果中的人脸图像拍摄时间信息确定目标人物的 出现在各个移动位置的时间信息，并根据各个移动位置以及目标人 物的出现在各个移动位置的时间信息生成目标人物的第二轨迹信息。
示例性地，所述服务器2还包括发送单元29，所述发送单元29 用于响应于接收到第一匹配单元27的第一匹配结果，将所述第一匹 配结果、发送给所述监控终端1；以及，用于响应于接收到第二匹 配单元28的第二匹配结果，将所述第二匹配结果、发送给所述监控终端1。
可选地，所述监控终端1还用于，在生成第一轨迹信息之后， 根据区域地图数据、所述第一轨迹信息以及对应的所有人脸图像生 成第一显示信息，并输出至显示设备进行显示，在区域地图中对应 不同移动位置的坐标点处显示目标人物所对应的人脸图像以及出现 的时间信息；
可选地，所述监控终端1还用于，在生成第二轨迹信息之后， 根据区域地图数据、所述第二轨迹信息以及对应的所有人脸图像生 成第二显示信息，并输出至显示设备进行显示，在区域地图中对应 不同移动位置的坐标点处显示目标人物所对应的人脸图像以及出现 的时间信息。
具体而言，所述监控终端1在接收到第一匹配结果和第二匹配 结果之后，按时间信息对移动位置和人脸图像进行排序，并在显示 设备上显示，用户可以根据显示的信息，确定是否为要跟踪检索的 目标人物，然后输出操作指令至监控终端1以将非目标人物的人脸 图像进行删除，监控终端1响应于接收到用户的操作指令，删除选 中的人脸图像，排除干扰。监控终端1将删除后剩下的所有人脸图 像与所述第一轨迹信息或第二轨迹信息一起投射至区域地图中进行 显示；其中，显示信息具体的显示情况可以参阅图3，所述区域地图优选为栅格区域地图，图3中显示了目标人物出现轨迹，通过箭 头来表示目标人物移动的方向，移动方向根据出现的时间和地点确 定，还显示了不同时间在不同位置所拍摄到的人脸图像，以及显示 出现在不同位置的时间信息，不同位置的地点信息等等。
可以理解的是，只有当目标人物为已知人员的情况下，才会有 第二匹配结果。
基于以上描述可知，本实施例系统应用了2种人物搜索手段， 即编码信息和索引信息的搜索，其中编码信息的提出，相对于传统 的人脸识别跟踪方式而言，其大大简化了搜索的运算量，虽然会增 加服务器2的处理负荷，但是在搜索时能够大大提高搜索速度，因此，在面对搜索速度要求比较高的场合，本实施例系统的应用是十 分有效的。其次，索引搜索的方式，也是极其快速地，因为索引的 信息量也非常的少，搜索起来会非常地快，但是其局限于被搜索的 目标人物需要存在对应的索引信息，即身份信息，在面对未知人员 时，索引搜索方式是无效的；因此，本实施例系统创新性地提出编 码搜索方式，并结合索引搜索方式，从而提出了一种全新的人物跟 踪搜索的技术方案，在进行人物行动跟踪时，如果存在人脸索引信 息，则通过人脸编码信息和人脸索引信息两条线并行进行搜索数据 库26，当其中一条线搜索到匹配结果时，立即返回给监控终端1进 行目标人物的轨迹信息的生成处理，使得人物行动轨迹可以快速识 别、跟踪，如果不存在人脸索引信息，则通过人脸编码信息进行搜 索数据库26，搜索到结果之后返回给监控终端1进行目标人物的轨 迹信息的生成处理。本发明实施例系统比起传统的人为倒放摄影， 并且一个个摄像头的摄影进行查看，速度快很多，而且可以支持多 人检索。
本发明另一实施例提出一种人物行动跟踪方法，基于上述实施 例所述的人物行动跟踪系统实现，参阅图3，所述方法包括如下步 骤S1-S5：
步骤S1、监控终端根据用户输入的视频查询信息生成视频查询 指令，并将视频查询指令分别发送给多个服务器；
步骤S2、所述多个服务器响应于接收到所述视频查询指令，从 其数据库中获取对应的视频信息，并发送给所述监控终端；
步骤S3、所述监控终端根据用户输入的截图指令获取对应的人 脸截图，根据所述人脸截图获得对应的目标人脸编码信息和目标人 脸索引信息，根据所述目标人脸编码信息和目标人脸索引信息生成 人物搜索指令，并将所述人物搜索指令分别发送给所述多个服务器；
步骤S4、所述多个服务器响应于接收到所述人物搜索指令，将 其数据库中的所有人脸编码信息和人脸索引信息分别与所述目标人 脸编码信息和目标人脸索引信息进行匹配，并发送匹配结果给所述 监控终端；
步骤S5、所述监控终端响应于接收到所述多个服务器的匹配结 果，根据匹配结果生成目标人物的轨迹信息。
可选地，所述视频查询信息包括目标摄像设备的目标设备编码 信息以及目标时间段信息；所述视频查询指令为查询所述目标设备 编码信息所对应的目标摄像设备在目标时间段所拍摄的视频信息。
可选地，所述步骤S2，包括：
所述多个服务器根据所述目标设备编码信息以及所述目标时间 段信息查询数据库，获得所述目标设备编码信息所对应的目标摄像 设备在目标时间段所拍摄的视频信息，并发送给所述监控终端。
可选地，在所述步骤S3中，根据所述人脸截图获得对应的目标 人脸编码信息和目标人脸索引信息，包括：
提取所述人脸截图的特征，并根据提取的所述人脸截图的特征 生成所述人脸截图的人脸编码信息；
根据所述人脸截图的人脸编码信息确定所述人脸截图的人脸索 引信息；所述人脸索引信息为人脸所对应人物的身份信息。
可选地，在所述步骤S4，包括：
步骤S41、所述多个服务器将所述目标人脸编码信息与其数据 库中的所有人脸编码信息一一匹配，获取匹配一致的所有人脸编码 信息所对应的人脸图像、人脸图像拍摄时间信息、拍摄人脸图像的 摄像设备的设备编码信息，并生成第一匹配结果；
步骤S42、所述多个服务器将所述目标人脸索引信息与其数据 库中的所有人脸索引信息一一匹配，获取匹配一致的所有人脸索引 信息所对应的人脸图像、人脸图像拍摄时间信息、拍摄人脸图像的 摄像设备的设备编码信息，并生成第二匹配结果；
步骤S43、将所述第一匹配结果和所述第二匹配结果发送给所 述监控终端。
可选地，在所述步骤S5，包括：
步骤S51、所述监控终端响应于接收到所述第一匹配结果，根 据所述第一匹配结果中的设备编码信息确定目标人物的各个移动位 置，根据所述第一匹配结果中的人脸图像拍摄时间信息确定目标人 物的出现在各个移动位置的时间信息，并根据各个移动位置以及目 标人物的出现在各个移动位置的时间信息生成目标人物的第一轨迹 信息；
步骤S52、所述监控终端响应于接收到所述第二匹配结果，根 据所述第二匹配结果中的设备编码信息确定目标人物的各个移动位 置，根据所述第二匹配结果中的人脸图像拍摄时间信息确定目标人 物的出现在各个移动位置的时间信息，并根据各个移动位置以及目 标人物的出现在各个移动位置的时间信息生成目标人物的第二轨迹 信息。
可选地，所述步骤S51，还包括：
在生成第一轨迹信息之后，根据区域地图数据、所述第一轨迹 信息以及对应的所有人脸图像生成第一显示信息，并输出至显示设 备进行显示，在区域地图中对应不同移动位置的坐标点处显示目标 人物所对应的人脸图像以及出现的时间信息；
可选地，所述步骤S52，还包括：
在生成第二轨迹信息之后，根据区域地图数据、所述第二轨迹 信息以及对应的所有人脸图像生成第二显示信息，并输出至显示设 备进行显示，在区域地图中对应不同移动位置的坐标点处显示目标 人物所对应的人脸图像以及出现的时间信息。
具体而言，所述监控终端在接收到第一匹配结果和第二匹配结 果之后，按时间信息对移动位置和人脸图像进行排序，并在显示设 备上显示，用户可以根据显示的信息，确定是否为要跟踪检索的目 标人物，然后输出操作指令至监控终端以将非目标人物的人脸图像 进行删除，监控终端响应于接收到用户的操作指令，删除选中的人 脸图像，排除干扰。监控终端将删除后剩下的所有人脸图像与所述 第一轨迹信息或第二轨迹信息一起投射至区域地图中进行显示；其 中，显示信息具体的显示情况可以参阅图3，所述区域地图优选为 栅格区域地图，图3中显示了目标人物出现轨迹，通过箭头来表示 目标人物移动的方向，移动方向根据出现的时间和地点确定，还显 示了不同时间在不同位置所拍摄到的人脸图像，以及显示出现在不 同位置的时间信息，不同位置的地点信息等等。
需说明的是，上述实施例方法与上述实施例系统对应，因此， 上述实施例方法未详述的相关内容可以参阅上述实施例系统内容得 到，此处不再赘述。
本发明实施例提出一种人物行动跟踪系统及其方法，包括监控 终端以及与所述监控终端通信连接的多个服务器，每一所述服务器 分别与多个摄像设备通信连接，所述多个摄像设备分别设置于区域 的不同位置；每一摄像设备设置有对应的设备编号；每一所述服务 器设置有一数据库；实施时，由监控终端下发目标人脸编码信息和 目标人脸索引信息给各个服务器，各个服务器将其数据库中的所有 人脸编码信息和人脸索引信息分别与所述目标人脸编码信息和目标 人脸索引信息进行匹配，并发送匹配结果给所述监控终端；最后， 监控终端根据匹配结果生成目标人物的轨迹信息。所述系统及其方 法在进行人物行动跟踪时，通过人脸编码信息和人脸索引信息两条 线进行搜索数据库，当其中一条线搜索到匹配结果时，立即返回给 监控终端进行目标人物的轨迹信息的生成处理，使得人物行动轨迹 可以快速识别、跟踪。
以上已经描述了本发明的各实施例，上述说明是示例性的，并 非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的 各实施例的范围和精神的情况下，对于本技术领域的普通技术人员 来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨 在最好地解释各实施例的原理、实际应用或对市场中的技术改进， 或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (1)

1.一种人物行动跟踪方法，其特征在于，基于人物行动跟踪系统实现，所述人物行动跟踪系统包括监控终端以及与所述监控终端通信连接的多个服务器，每一所述服务器分别与多个摄像设备通信连接，所述多个摄像设备分别设置于区域的不同位置；每一摄像设备设置有对应的设备编号；每一所述服务器设置有一数据库；所述服务器包括视频信息接收单元、人脸识别单元、编码生成单元、索引生成单元、存储单元、数据库；
所述方法包括如下步骤：
步骤S1、监控终端根据用户输入的视频查询信息生成视频查询指令，并将视频查询指令分别发送给多个服务器；所述视频查询信息包括目标摄像设备的目标设备编码信息以及目标时间段信息；所述视频查询指令为查询所述目标设备编码信息所对应的目标摄像设备在目标时间段所拍摄的视频信息；
步骤S2、所述多个服务器根据所述目标设备编码信息以及所述目标时间段信息查询数据库，获得所述目标设备编码信息所对应的目标摄像设备在目标时间段所拍摄的视频信息，并发送给所述监控终端；
步骤S3、所述监控终端根据用户输入的截图指令获取对应的人脸截图，提取所述人脸截图的特征，并根据提取的所述人脸截图的特征生成所述人脸截图的人脸编码信息；根据所述人脸截图的人脸编码信息确定所述人脸截图的人脸索引信息；所述人脸索引信息为人脸所对应人物的身份信息，根据目标人脸编码信息和目标人脸索引信息生成人物搜索指令，并将所述人物搜索指令分别发送给所述多个服务器；
步骤S4、所述多个服务器将所述目标人脸编码信息与其数据库中的所有人脸编码信息一一匹配，获取匹配一致的所有人脸编码信息所对应的人脸图像、人脸图像拍摄时间信息、拍摄人脸图像的摄像设备的设备编码信息，并生成第一匹配结果；所述多个服务器将所述目标人脸索引信息与其数据库中的所有人脸索引信息一一匹配，获取匹配一致的所有人脸索引信息所对应的人脸图像、人脸图像拍摄时间信息、拍摄人脸图像的摄像设备的设备编码信息，并生成第二匹配结果；将所述第一匹配结果和所述第二匹配结果发送给所述监控终端；
步骤S5、所述监控终端响应于接收到所述第一匹配结果，根据所述第一匹配结果中的设备编码信息确定目标人物的各个移动位置，根据所述第一匹配结果中的人脸图像拍摄时间信息确定目标人物的出现在各个移动位置的时间信息，并根据各个移动位置以及目标人物的出现在各个移动位置的时间信息生成目标人物的第一轨迹信息；所述监控终端响应于接收到所述第二匹配结果，根据所述第二匹配结果中的设备编码信息确定目标人物的各个移动位置，根据所述第二匹配结果中的人脸图像拍摄时间信息确定目标人物的出现在各个移动位置的时间信息，并根据各个移动位置以及目标人物的出现在各个移动位置的时间信息生成目标人物的第二轨迹信息；
在生成第一轨迹信息之后，根据区域地图数据、所述第一轨迹信息以及对应的所有人脸图像生成第一显示信息，并输出至显示设备进行显示，在区域地图中对应不同移动位置的坐标点处显示目标人物所对应的人脸图像以及出现的时间信息；在生成第二轨迹信息之后，根据区域地图数据、所述第二轨迹信息以及对应的所有人脸图像生成第二显示信息，并输出至显示设备进行显示，在区域地图中对应不同移动位置的坐标点处显示目标人物所对应的人脸图像以及出现的时间信息。
CN202011292949.5A 2020-11-18 2020-11-18 一种人物行动跟踪系统及其方法 Active CN112633063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011292949.5A CN112633063B (zh) 2020-11-18 2020-11-18 一种人物行动跟踪系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011292949.5A CN112633063B (zh) 2020-11-18 2020-11-18 一种人物行动跟踪系统及其方法

Publications (2)

Publication Number Publication Date
CN112633063A CN112633063A (zh) 2021-04-09
CN112633063B true CN112633063B (zh) 2023-06-30

Family

ID=75303334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011292949.5A Active CN112633063B (zh) 2020-11-18 2020-11-18 一种人物行动跟踪系统及其方法

Country Status (1)

Country Link
CN (1) CN112633063B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103206B (zh) * 2022-06-16 2024-02-13 北京字跳网络技术有限公司 视频数据的处理方法、装置、设备、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014075495A1 (zh) * 2012-11-16 2014-05-22 中兴通讯股份有限公司 一种人脸识别跟踪方法及系统
CN105373626A (zh) * 2015-12-09 2016-03-02 深圳融合永道科技有限公司 分布式人脸识别轨迹搜索系统和方法
CN108491822A (zh) * 2018-04-02 2018-09-04 杭州高创电子科技有限公司 一种基于嵌入式设备有限缓存的人脸检测去重方法
CN110532432A (zh) * 2019-08-21 2019-12-03 深圳供电局有限公司 一种人物轨迹检索方法及其系统、计算机可读存储介质
CN110532923A (zh) * 2019-08-21 2019-12-03 深圳供电局有限公司 一种人物轨迹检索方法及其系统
CN110717414A (zh) * 2019-09-24 2020-01-21 青岛海信网络科技股份有限公司 一种目标检测追踪方法、装置及设备
JP2020137070A (ja) * 2019-02-25 2020-08-31 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 捜査支援システムおよび捜査支援方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6396682B2 (ja) * 2014-05-30 2018-09-26 株式会社日立国際電気 監視カメラシステム
CN105913037A (zh) * 2016-04-26 2016-08-31 广东技术师范学院 基于人脸识别与射频识别的监控跟踪系统
CN109409220A (zh) * 2018-09-19 2019-03-01 平安科技（深圳）有限公司 基于人脸识别的业务引导方法、装置及存储介质
CN109858358A (zh) * 2018-12-28 2019-06-07 深圳供电局有限公司 楼宇间人员轨迹跟踪方法及其系统、计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014075495A1 (zh) * 2012-11-16 2014-05-22 中兴通讯股份有限公司 一种人脸识别跟踪方法及系统
CN105373626A (zh) * 2015-12-09 2016-03-02 深圳融合永道科技有限公司 分布式人脸识别轨迹搜索系统和方法
CN108491822A (zh) * 2018-04-02 2018-09-04 杭州高创电子科技有限公司 一种基于嵌入式设备有限缓存的人脸检测去重方法
JP2020137070A (ja) * 2019-02-25 2020-08-31 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 捜査支援システムおよび捜査支援方法
CN110532432A (zh) * 2019-08-21 2019-12-03 深圳供电局有限公司 一种人物轨迹检索方法及其系统、计算机可读存储介质
CN110532923A (zh) * 2019-08-21 2019-12-03 深圳供电局有限公司 一种人物轨迹检索方法及其系统
CN110717414A (zh) * 2019-09-24 2020-01-21 青岛海信网络科技股份有限公司 一种目标检测追踪方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于人脸识别和无线射频识别的行人移动轨迹监控系统及实现;梁鹏等;《广东技术师范学院学报（自然科学）》;第21-25页 *

Also Published As

Publication number Publication date
CN112633063A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
Zhu et al. Vehicle re-identification using quadruple directional deep learning features
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
CN109271554B (zh) 一种智能视频识别系统及其应用
CN106203242B (zh) 一种相似图像识别方法及设备
Zeng et al. Agent-centric risk assessment: Accident anticipation and risky region localization
CN108399665A (zh) 基于人脸识别的安全监控方法、装置及存储介质
CN110458130B (zh) 人物识别方法、装置、电子设备及存储介质
CN111259751A (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
Boubou et al. Classifying actions based on histogram of oriented velocity vectors
CN111160307A (zh) 一种人脸识别方法及人脸识别打卡系统
CN107247920A (zh) 交互控制方法、装置和计算机可读存储介质
CN110599129A (zh) 一种基于图像追踪校园考勤方法、装置、识别终端及系统
CN111242077A (zh) 一种人物追踪方法、系统及服务器
CN111382655A (zh) 一种举手行为识别方法及装置、电子设备
US20200293760A1 (en) Multi-modal identity recognition
CN112633063B (zh) 一种人物行动跟踪系统及其方法
CN111327888B (zh) 摄像头控制方法、装置、计算机设备和存储介质
Yan et al. Human-object interaction recognition using multitask neural network
CN111783619A (zh) 人体属性的识别方法、装置、设备及存储介质
CN111553305A (zh) 一种违章视频识别系统和方法
CN112131431B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN114360182B (zh) 一种智能告警方法、装置、设备及存储介质
Fu et al. Exciting-inhibition network for person reidentification in Internet of Things
CN113837066A (zh) 行为识别方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant