CN115019241A - 一种行人识别与追踪方法、装置、可读存储介质及设备 - Google Patents

一种行人识别与追踪方法、装置、可读存储介质及设备 Download PDF

Info

Publication number
CN115019241A
CN115019241A CN202210935554.5A CN202210935554A CN115019241A CN 115019241 A CN115019241 A CN 115019241A CN 202210935554 A CN202210935554 A CN 202210935554A CN 115019241 A CN115019241 A CN 115019241A
Authority
CN
China
Prior art keywords
pedestrian
data set
position data
frame
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210935554.5A
Other languages
English (en)
Other versions
CN115019241B (zh
Inventor
刘丹
张恒星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Zhongye Intelligent Technology Co ltd
Original Assignee
Jiangxi Zhongye Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Zhongye Intelligent Technology Co ltd filed Critical Jiangxi Zhongye Intelligent Technology Co ltd
Priority to CN202210935554.5A priority Critical patent/CN115019241B/zh
Publication of CN115019241A publication Critical patent/CN115019241A/zh
Application granted granted Critical
Publication of CN115019241B publication Critical patent/CN115019241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

本发明提供一种行人识别与追踪方法、装置、可读存储介质及设备，方法包括：使用多个摄像头采集不同区域的视频流；对视频流的图片进行行人检测及行人特征提取；采用卡尔曼滤波及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出当前轨迹匹配的目标行人位置数据集；对视频流的每一帧图片进行人脸检测及识别，得到每个行人的人脸ID及其人脸位置数据集；将目标行人的所述目标行人位置数据集与各所述人脸位置数据集进行空间距离匹配，确定目标行人的追踪ID；根据目标行人的追踪ID采用追踪器对目标行人进行多个场景下追踪。本发明通过行人检测和人脸检测共同协作的行人追踪方式，在单一场景下和多场景下均取得较好的行人追踪效果。

Description

一种行人识别与追踪方法、装置、可读存储介质及设备
技术领域
本发明涉及行人识别与追踪技术领域，特别涉及一种行人识别与追踪方法、装置、可读存储介质及设备。
背景技术
商场内小孩由于调皮贪玩等因素会经常脱离家长的视野，家长长时间找不到小孩会非常担忧，因此基于摄像头拍摄图像的商场内行人的识别及轨迹追踪方法显得尤为重要。
现有的行人识别及追踪技术大多都是依靠人脸识别加上目标检测算法进行轨迹的追踪，这种情况下，当行人低头或背对摄像头时，则因无法拍摄到行人的人脸而导致行人追踪失败，故现有的行人识别及追踪技术只能在单一场景下取得一定的效果，在不同场景下，由于不同场景下的摄像头的拍摄角度不同，跨场景下通常会导致因人脸识别丢失而导致行人追踪失败。
发明内容
基于此，本发明的目的是提供一种行人识别与追踪方法、装置、可读存储介质及设备，以解决背景技术当中的至少一技术问题。
根据本发明实施例的一种行人识别与追踪方法，所述方法包括：
使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流；
对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集；
根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集；
对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸ID及其人脸位置数据集；
针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸ID作为所述目标行人的追踪ID，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人ID作为所述目标行人的追踪ID；
根据所述目标行人的追踪ID采用追踪器对所述目标行人进行多个场景下追踪。
另外，根据本发明上述实施例的一种行人识别与追踪方法，还可以具有如下附加的技术特征：
进一步地，对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集的步骤包括：
采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人ID及其对应的行人检测区域，每个所述行人检测区域的坐标构成一个所述行人位置数据集；
采用预设卷积神经网络对每个所述行人检测区域进行高纬度特征提取，得到n*2048的数组，每个n*2048的数组对应一个行人特征数据集。
进一步地，采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人ID及其对应的行人检测区域的步骤之后，还包括：
根据置信度及区域面积的大小对行人检测区域进行筛选，剔除掉置信度小于预设值的行人检测区域，并且剔除掉区域像素点个数小于预设个数的行人检测区域。
进一步地，根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集的步骤包括：
使用卡尔曼滤波算法对当前帧的每个行人位置数据集进行运动轨迹预测，并计算上一帧的每个行人位置数据集的每一个位置坐标与当前帧的预测运动轨迹的马氏距离，得出位置匹配度；
采用匈牙利算法对上下帧之间的所述行人特征数据集进行余弦相似性计算，得到特征匹配度；
根据所述位置匹配度和所述特征匹配度，计算出上一帧的每个行人位置数据集与当前帧的预测运动轨迹的综合匹配度；
将所述综合匹配度大于匹配度阈值的行人位置数据集确定为当前帧图片上的当前轨迹匹配的目标行人位置数据集。
进一步地，所述位置匹配度的计算公式为：
Figure 701914DEST_PATH_IMAGE001
式中，d（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的位置匹配度，S -1 i 是由卡尔曼滤波器预测到的当前时刻观测空间的协方差矩阵的运动轨迹的逆函数，y i 是预测的第i个运动轨迹的预测框，d j 表示第j个行人位置数据集的检测框，ε代表预测框与行人检测框的匹配系数；
所述综合匹配度的计算公式为：
Figure 600600DEST_PATH_IMAGE002
式中，z（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的综合匹配度，T（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的特征匹配度，λ为权重系数。
进一步地，所述目标行人位置数据集与所述人脸位置数据集的空间距离匹配公式为：
Figure 435700DEST_PATH_IMAGE003
其中，x0 k、y0 k代表第k个人脸区域的左上角点的横、纵坐标，x1 k、y1 k代表第k个人脸区域的右下角点的横、纵坐标，Ω2表示人脸位置数据集，Ω0表示行人位置数据集，w、h代表行人区域里的人的宽和高，m0 t、n0 t代表集合Ω0里的第t个行人区域的左上角点的横、纵坐标，m1 t、n1 t代表集合Ω0里的第t个行人区域的右下角点的横、纵坐标。
进一步地，根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集的步骤之后，还包括：
对于未匹配上的行人位置数据集，使用待舍弃标签进行标记，当连续多帧中出现预设帧数及以上未匹配成功的待舍弃标签的行人位置数据集给予舍弃，并对行人ID进行更新。
根据本发明实施例的一种行人识别与追踪装置，所述装置包括：
图像获取模块，用于使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流；
行人检测模块，用于对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集；
轨迹匹配模块，用于根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集；
人脸检测模块，用于对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸ID及其人脸位置数据集；
追踪ID确定模块，用于针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸ID作为所述目标行人的追踪ID，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人ID作为所述目标行人的追踪ID；
行人追踪模块，用于根据所述目标行人的追踪ID采用追踪器对所述目标行人进行多个场景下追踪。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的行人识别与追踪方法。
本发明还提出一种行人识别与追踪设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的行人识别与追踪方法。
与现有技术相比：通过行人检测和人脸检测共同协作的行人追踪方式，将行人检测区域与人脸检测区域进行空间距离匹配，若空间距离小于阈值时，则将人脸检测区域对应的人脸ID作为后续目标行人的追踪ID，若空间距离大于等于阈值或未检测到目标行人的人脸位置数据集时，则将行人检测区域对应的行人ID作为后续目标行人的追踪ID，这样即使因人脸识别丢失也依然能够维持目标行人的追踪，在单一场景下和多场景下均取得较好的行人追踪效果。此外，在行人检测之后，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出当前轨迹匹配的目标行人检测区域，即采用上下帧行人运动的轨迹匹配的行人检测区域参与后续的与人脸检测匹配，从而有效去除行人检测噪点，提高行人追踪精度。
附图说明
图1为本发明第一实施例中的行人识别与追踪方法的流程图；
图2为本发明第三实施例中的行人识别与追踪装置的结构示意图；
图3为本发明第四实施例中的行人识别与追踪设备的结构示意图。
以下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，所示为本发明第一实施例中的行人识别与追踪方法，所述行人识别与追踪方法可通过软件和/或硬件来实现，所述方法具体包括步骤S01-步骤S06。
步骤S01，使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流。
其中，多个摄像头可以具有不同的拍摄角度，可以安装在不同位置处，例如可以安装于商场的各个角落。
步骤S02，对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集。
在具体实施时，可以采用例如为Yolov5算法等行人检测算法对每帧图片进行行人检测，输出每帧图片上的行人检测区域，每个行人检测区域对应一个行人ID和一个行人检测框，行人检测框框选该行人检测区域，通过获取行人检测区域各预设点的坐标，得到行人位置坐标，从而构成行人位置数据集，即行人位置数据集由行人检测区域各预设点的坐标构成，其中行人检测区域的各预设点可以预设，例如为行人检测框的四个顶点坐标。在行人检测输出行人检测区域之后，可以提取行人检测区域的高纬度特征，得到行人特征数据集，其中高纬度特征例如为n*2048的数组。
步骤S03，根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集。
具体地，可以使用匈牙利算法及卡尔曼滤波算法（也即卡尔曼滤波器）对输入的上一帧区域数据集和当前帧的区域数据集进行运动轨迹匹配，轨迹匹配代表是同一个行人，并对行人ID进行更新，即上下两帧运动轨迹匹配的行人检测区域共用一个行人ID，其中区域数据集包括行人位置数据集和行人特征数据集。如果当前帧为视频的第一帧，不进行匹配运算只更新行人ID。
在一些可选实施例当中，对于未匹配成功的行人检测区域，可以采用以下处理方式：即对于未匹配上的检测区域，使用待舍弃标签进行标记，连续10帧中出现7帧及其以上未匹配成功的待舍弃标签区域给予舍弃，对于新出的行人区域给予待定标签标记，当连续5帧中有4帧及其以上都能检测到该待定标签区域，并对行人ID进行更新，从而对追踪器给予ID更新。也即，本实施例通过新生伪轨迹及消失伪轨迹的剔除方式，可以有效提高轨迹追踪的准确率。
步骤S04，对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸ID及其人脸位置数据集。
具体地，其中人脸检测及识别的主要步骤包括：人脸检测、人脸对齐、特征提取、特征匹配。具体步骤如下：
步骤S041，将预处理后的图片输入到人脸识别模块，人脸识别模块使用Retinaface网络进行人脸位置检测，得到人脸区域集合Ω1，根据Ω1的置信度及区域像素点个数对Ω1进行区域筛选，剔除置信度低于阈值（例如为0.85）、以及区域像素点个数小于N（可根据具体场景获得的先验数据做调整）的人脸区域，得到人脸区域集合Ω2。
步骤S042，通过MTCNN网络实现人脸区域集合Ω2的人脸对齐，增加人脸识别的准确率。
步骤S043，使用resnet网络和ArcFace loss对人脸分类器进行训练，保存最佳网络参数。对人脸数据库中的所有人脸数据进行特征提取，生成n*512维的人脸模板特征库。
步骤S044，将步骤S042对齐后的数据输入到步骤S043训练好的最佳网络模型中，从人脸分类器FC1层得到图片中所有人脸的m*512的高纬度特征。遍历图片所有人脸的数据，计算图片中人脸高维度特征与人脸模板特征库的余弦相似值，余弦相似值大于特定值时，该人脸的身份进行给予确定。新出现的身份（即新出现的人脸）给予待确定标签，当后续三帧都有此标签且相邻帧间的欧式距离小于一定值时，将该人脸存储于人脸数据库中。其中，多个摄像头共用一个人脸数据库，这样就可以基于人脸识别与检测来实现对跨场景下的同一个行人进行识别。
步骤S05，针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸ID作为所述目标行人的追踪ID，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人ID作为所述目标行人的追踪ID。
也即，通过计算出任一目标行人的目标行人位置数据集与各人脸位置数据集的空间距离，当空间距离小于阈值时，代表找到与该目标行人的目标行人位置数据集匹配的人脸位置数据集，此时以该匹配的人脸位置数据集对应的人脸ID作为目标行人的追踪ID，即在任意场景下，若能够正常识别到人脸，则以人脸ID进行行人追踪。而若，当空间距离大于等于阈值时，代表未找到与该目标行人的目标行人位置数据集匹配的人脸位置数据集，此时存在两种情况，一种情况是拍摄到了人脸但是拍摄角度不佳（例如拍摄侧脸）、另一种情况是可能在当前场景下未拍摄到该目标行人的人脸，则以该目标行人的目标行人位置数据集对应的行人ID作为目标行人的追踪ID，即在未识别到人脸的场景下，通过行人ID进行行人追踪。
步骤S06，根据所述目标行人的追踪ID采用追踪器对所述目标行人进行多个场景下追踪。
综上，本发明上述实施例当中的行人识别与追踪方法，通过行人检测和人脸检测共同协作的行人追踪方式，将行人检测区域与人脸检测区域进行空间距离匹配，若空间距离小于阈值时，则将人脸检测区域对应的人脸ID作为后续目标行人的追踪ID，若空间距离大于等于阈值或未检测到目标行人的人脸位置数据集时，则将行人检测区域对应的行人ID作为后续目标行人的追踪ID，这样即使因人脸识别丢失也依然能够维持目标行人的追踪，在单一场景下和多场景下均取得较好的行人追踪效果。此外，在行人检测之后，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出当前轨迹匹配的目标行人检测区域，即采用上下帧行人运动的轨迹匹配的行人检测区域参与后续的与人脸检测匹配，从而有效去除行人检测噪点，提高行人追踪精度。
实施例二
本发明第二实施例也提出一种行人识别与追踪方法，所述行人识别与追踪方法可通过软件和/或硬件来实现，所述方法具体包括步骤S21-步骤S32。
步骤S21，使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流。
步骤S22，对所述视频流当中的每桢图片进行预处理，所述预处理包括高斯滤波、不变性尺度缩放和高频滤波当中的一种或者多种。
具体地，图像的高斯滤波过程产生3*3的一个滤波器模板，并以模板的中心位置为坐标原点进行取样，高斯滤波的函数表达式为：
Figure 445245DEST_PATH_IMAGE004
其中， x,y代表图像的像素点坐标，为整数值；σ是标准差。
此外，图片的尺度缩放按照如下公式进行计算得出不变形状的尺度缩放图片，公式如下：
Figure 432923DEST_PATH_IMAGE005
其中，W、H分别表示图片待缩放的宽与高，w、h表示图片的真实宽与高，α代表图片无形变的缩放倍率，f（x，y）代表坐标（x,y)的像素值。
步骤S23，采用行人检测算法对预处理后的每个视频流的连续多帧图片进行行人检测，输出每个行人的行人ID及其对应的行人检测区域，每个所述行人检测区域的坐标构成一个所述行人位置数据集。
步骤S24，根据置信度及区域面积的大小对行人检测区域进行筛选，剔除掉置信度小于预设值的行人检测区域，并且剔除掉区域像素点个数小于预设个数的行人检测区域。
具体地，在本实施例当中，行人检测算法可以为YOLOV5行人检测算法。即将视频帧图片进行YOLOV5行人检测获得行人位置数据集S1，并根据置信度及区域面积的大小进行数据集筛选，剔除掉置信度小于0.85的行人检测区域，并且剔除掉区域像素点个数小于N（可以根据具体场景获得的先验数据调整）的行人检测区域。
步骤S25，采用预设卷积神经网络对筛选后的每个所述行人检测区域进行高纬度特征提取，得到n*2048的数组，每个n*2048的数组对应一个行人特征数据集。
在本实施例当中，预设卷积神经网络具体为FastReid卷积神经网络，即使用FastReid卷积神经网络对筛选后的行人位置数据集进行高纬度特征提取，得到n*2048的数组。
步骤S26，使用卡尔曼滤波算法对当前帧的每个行人位置数据集进行运动轨迹预测，并计算上一帧的每个行人位置数据集的每一个位置坐标与当前帧的预测运动轨迹的马氏距离，得出位置匹配度。
其中，所述位置匹配度的计算公式为：
Figure 502511DEST_PATH_IMAGE001
式中，d（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的位置匹配度，S -1 i 是由卡尔曼滤波器预测到的当前时刻观测空间的协方差矩阵的运动轨迹的逆函数，y i 是预测的第i个运动轨迹的预测框，即预测框位置坐标，d j 表示第j个行人位置数据集的检测框，即检测框位置坐标，ε代表预测框与行人检测框的匹配系数；
步骤S27，采用匈牙利算法对上下帧之间的所述行人特征数据集进行余弦相似性计算，得到特征匹配度。
步骤S28，根据所述位置匹配度和所述特征匹配度，计算出上一帧的每个行人位置数据集与当前帧的预测运动轨迹的综合匹配度。
所述综合匹配度的计算公式为：
Figure 965853DEST_PATH_IMAGE006
式中，z（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的综合匹配度，T（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的特征匹配度，λ为权重系数。
步骤S29，将所述综合匹配度大于匹配度阈值的行人位置数据集确定为当前帧图片上的当前轨迹匹配的目标行人位置数据集。
步骤S30，对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸ID及其人脸位置数据集。
步骤S31，针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸ID作为所述目标行人的追踪ID，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人ID作为所述目标行人的追踪ID。
所述目标行人位置数据集与所述人脸位置数据集的空间距离匹配公式（也即二者的空间距离计算公式）为：
Figure 638143DEST_PATH_IMAGE007
；
其中，x0 k、y0 k代表第k个人脸区域的左上角点的横、纵坐标，也即第k个人脸检测框的左上角点的横、纵坐标，x1 k、y1 k代表第k个人脸区域的右下角点的横、纵坐标，也即第k个人脸检测框的右上角点的横、纵坐标，Ω2表示人脸位置数据集，Ω0表示行人位置数据集，w、h代表行人区域里的人的宽和高，也即行人检测框的宽和高，m0 t、n0 t代表集合Ω0里的第t个行人区域的左上角点的横、纵坐标，也即第t个行人检测框的左上角点的横、纵坐标，m1 t、n1 t代表集合Ω0里的第t个行人的右下角点的横、纵坐标，也即第t个行人检测框的右下角点的横、纵坐标。
步骤S32，根据所述目标行人的追踪ID采用追踪器对所述目标行人进行多个场景下追踪。
应当理解的，根据前一帧里面的人脸识别ID及行人识别ID可以预测当前帧的所有人的ID，并通过人脸ID对当前帧进行身份重新核查，如果核查的结果不一致则以人脸检测为主，并更新追踪器里面ID的信息，如果行人是背对摄像头没有识别到人脸，则使用预测的行人ID。更新过的追踪器里的ID信息、行人检测框集合、时间、摄像头ID写入到redic数据库中。
除此之外，在根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集的步骤之后，还包括：
对于未匹配上的行人位置数据集，使用待舍弃标签进行标记，当连续多帧中出现预设帧数及以上未匹配成功的待舍弃标签的行人位置数据集给予舍弃，并对行人ID进行更新。具体地，对于未匹配上的检测区域，使用待舍弃标签进行标记，连续10帧中出现7帧及其以上未匹配成功的待舍弃标签区域给予舍弃，对于新出的行人区域给予待定标签标记，当连续5帧中有4帧及其以上都能检测到该待定标签区域，并对行人ID进行更新，从而对追踪器给予ID更新。也即，本实施例通过新生伪轨迹及消失伪轨迹的剔除方式，可以有效提高轨迹追踪的准确率。
除此之外，在一些可选实施例当中，还可以根据时间轨迹将多场景的数据进行轨迹拼接，剔除突变的异常值，然后使用中值滤波器对连续的轨迹进行平滑滤波，并使用卡尔曼滤波器进行轨迹纠正处理，根据人脸模板库中ID获得多场景下融合后的每个人的轨迹。也即，可以将多场景下的每个行人目标根据人脸ID进行轨迹拼接，从而形成该行人在各场景下的轨迹视频。
实施例三
本发明另一方面还提供一种行人识别与追踪装置，请查阅图2，所示为本发明第三实施例中的行人识别与追踪装置，所述行人识别与追踪装置包括：
图像获取模块11，用于使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流；
行人检测模块12，用于对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集；
轨迹匹配模块13，用于根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集；
人脸检测模块14，用于对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸ID及其人脸位置数据集；
追踪ID确定模块15，用于针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸ID作为所述目标行人的追踪ID，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人ID作为所述目标行人的追踪ID；
行人追踪模块16，用于根据所述目标行人的追踪ID采用追踪器对所述目标行人进行多个场景下追踪。
进一步地，在本发明一些可选实施例当中，所述行人检测模块12还用于采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人ID及其对应的行人检测区域，每个所述行人检测区域的坐标构成一个所述行人位置数据集；采用预设卷积神经网络对每个所述行人检测区域进行高纬度特征提取，得到n*2048的数组，每个n*2048的数组对应一个行人特征数据集。
进一步地，在本发明一些可选实施例当中，所述行人检测模块12还用于采用根据置信度及区域面积的大小对行人检测区域进行筛选，剔除掉置信度小于预设值的行人检测区域，并且剔除掉区域像素点个数小于预设个数的行人检测区域。
进一步地，在本发明一些可选实施例当中，所述轨迹匹配模块13还用于使用卡尔曼滤波算法对当前帧的每个行人位置数据集进行运动轨迹预测，并计算上一帧的每个行人位置数据集的每一个位置坐标与当前帧的预测运动轨迹的马氏距离，得出位置匹配度；采用匈牙利算法对上下帧之间的所述行人特征数据集进行余弦相似性计算，得到特征匹配度；根据所述位置匹配度和所述特征匹配度，计算出上一帧的每个行人位置数据集与当前帧的预测运动轨迹的综合匹配度；将所述综合匹配度大于匹配度阈值的行人位置数据集确定为当前帧图片上的当前轨迹匹配的目标行人位置数据集。
其中，所述位置匹配度的计算公式为：
Figure 604962DEST_PATH_IMAGE001
式中，d（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的位置匹配度，S -1 i 是由卡尔曼滤波器预测到的当前时刻观测空间的协方差矩阵的运动轨迹的逆函数，y i 是预测的第i个运动轨迹的预测框，d j 表示第j个行人位置数据集的检测框，ε代表预测框与行人检测框的匹配系数；
所述综合匹配度的计算公式为：
Figure 111030DEST_PATH_IMAGE008
式中，z（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的综合匹配度，T（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的特征匹配度，λ为权重系数。
其中，所述目标行人位置数据集与所述人脸位置数据集的空间距离匹配公式为：
Figure 904411DEST_PATH_IMAGE007
其中，x0 k、y0 k代表第k个人脸区域的左上角点的横、纵坐标，x1 k、y1 k代表第k个人脸区域的右下角点的横、纵坐标，Ω2表示人脸位置数据集，Ω0表示行人位置数据集，w、h代表行人区域里的人的宽和高，m0 t、n0 t代表集合Ω0里的第t个行人区域的左上角点的横、纵坐标，m1 t、n1 t代表集合Ω0里的第t个行人区域的右下角点的横、纵坐标。
进一步地，在本发明一些可选实施例当中，所述行人识别与追踪装置还包括：
标记模块，用于对于未匹配上的行人位置数据集，使用待舍弃标签进行标记，当连续多帧中出现预设帧数及以上未匹配成功的待舍弃标签的行人位置数据集给予舍弃，并对行人ID进行更新。
上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
实施例四
本发明另一方面还提出一种行人识别与追踪设备，请参阅图3，所示为本发明第四实施例当中的行人识别与追踪设备，包括存储器20、处理器10以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的行人识别与追踪方法。
其中，处理器10在一些实施例中可以是中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行访问限制程序等。
其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是行人识别与追踪设备的内部存储单元，例如该行人识别与追踪设备的硬盘。存储器20在另一些实施例中也可以是行人识别与追踪设备的外部存储装置，例如行人识别与追踪设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器20还可以既包括行人识别与追踪设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于行人识别与追踪设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
需要指出的是，图3示出的结构并不构成对行人识别与追踪设备的限定，在其它实施例当中，该行人识别与追踪设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的行人识别与追踪方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种行人识别与追踪方法，其特征在于，所述方法包括：
使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流；
对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集；
根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集；
对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸ID及其人脸位置数据集；
针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸ID作为所述目标行人的追踪ID，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人ID作为所述目标行人的追踪ID；
根据所述目标行人的追踪ID采用追踪器对所述目标行人进行多个场景下追踪。
2.根据权利要求1所述的行人识别与追踪方法，其特征在于，对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集的步骤包括：
采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人ID及其对应的行人检测区域，每个所述行人检测区域的坐标构成一个所述行人位置数据集；
采用预设卷积神经网络对每个所述行人检测区域进行高纬度特征提取，得到n*2048的数组，每个n*2048的数组对应一个行人特征数据集。
3.根据权利要求2所述的行人识别与追踪方法，其特征在于，采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人ID及其对应的行人检测区域的步骤之后，还包括：
根据置信度及区域面积的大小对行人检测区域进行筛选，剔除掉置信度小于预设值的行人检测区域，并且剔除掉区域像素点个数小于预设个数的行人检测区域。
4.根据权利要求2所述的行人识别与追踪方法，其特征在于，根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集的步骤包括：
使用卡尔曼滤波算法对当前帧的每个行人位置数据集进行运动轨迹预测，并计算上一帧的每个行人位置数据集的每一个位置坐标与当前帧的预测运动轨迹的马氏距离，得出位置匹配度；
采用匈牙利算法对上下帧之间的所述行人特征数据集进行余弦相似性计算，得到特征匹配度；
根据所述位置匹配度和所述特征匹配度，计算出上一帧的每个行人位置数据集与当前帧的预测运动轨迹的综合匹配度；
将所述综合匹配度大于匹配度阈值的行人位置数据集确定为当前帧图片上的当前轨迹匹配的目标行人位置数据集。
5.根据权利要求4所述的行人识别与追踪方法，其特征在于，所述位置匹配度的计算公式为：
Figure 279945DEST_PATH_IMAGE001
式中，d（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的位置匹配度，S -1 i 是由卡尔曼滤波器预测到的当前时刻观测空间的协方差矩阵的运动轨迹的逆函数，y i 是预测的第i个运动轨迹的预测框，d j 表示第j个行人位置数据集的检测框，ε代表预测框与行人检测框的匹配系数；
所述综合匹配度的计算公式为：
Figure 877018DEST_PATH_IMAGE002
式中，z（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的综合匹配度，T（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的特征匹配度，λ为权重系数。
6.根据权利要求1所述的行人识别与追踪方法，其特征在于，所述目标行人位置数据集与所述人脸位置数据集的空间距离匹配公式为：
Figure 82871DEST_PATH_IMAGE003
其中，x0 k、y0 k代表第k个人脸区域的左上角点的横、纵坐标，x1 k、y1 k代表第k个人脸区域的右下角点的横、纵坐标，Ω2表示人脸位置数据集，Ω0表示行人位置数据集，w、h代表行人区域里的人的宽和高，m0 t、n0 t代表集合Ω0里的第t个行人区域的左上角点的横、纵坐标，m1 t、n1 t代表集合Ω0里的第t个行人区域的右下角点的横、纵坐标。
7.根据权利要求1所述的行人识别与追踪方法，其特征在于，根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集的步骤之后，还包括：
对于未匹配上的行人位置数据集，使用待舍弃标签进行标记，当连续多帧中出现预设帧数及以上未匹配成功的待舍弃标签的行人位置数据集给予舍弃，并对行人ID进行更新。
8.一种行人识别与追踪装置，其特征在于，所述装置包括：
图像获取模块，用于使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流；
行人检测模块，用于对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集；
轨迹匹配模块，用于根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集；
人脸检测模块，用于对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸ID及其人脸位置数据集；
追踪ID确定模块，用于针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸ID作为所述目标行人的追踪ID，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人ID作为所述目标行人的追踪ID；
行人追踪模块，用于根据所述目标行人的追踪ID采用追踪器对所述目标行人进行多个场景下追踪。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1－7任一所述的行人识别与追踪方法。
10.一种行人识别与追踪设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1－7任一所述的行人识别与追踪方法。
CN202210935554.5A 2022-08-05 2022-08-05 一种行人识别与追踪方法、装置、可读存储介质及设备 Active CN115019241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210935554.5A CN115019241B (zh) 2022-08-05 2022-08-05 一种行人识别与追踪方法、装置、可读存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210935554.5A CN115019241B (zh) 2022-08-05 2022-08-05 一种行人识别与追踪方法、装置、可读存储介质及设备

Publications (2)

Publication Number Publication Date
CN115019241A true CN115019241A (zh) 2022-09-06
CN115019241B CN115019241B (zh) 2022-11-01

Family

ID=83065451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210935554.5A Active CN115019241B (zh) 2022-08-05 2022-08-05 一种行人识别与追踪方法、装置、可读存储介质及设备

Country Status (1)

Country Link
CN (1) CN115019241B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309692A (zh) * 2022-09-08 2023-06-23 广东省机场管理集团有限公司工程建设指挥部 基于深度学习用于机场安检人包绑定的方法、装置及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144481A1 (en) * 2016-11-18 2018-05-24 Kabushiki Kaisha Toshiba Moving object tracking device, display device, and moving object tracking method
CN110427905A (zh) * 2019-08-08 2019-11-08 北京百度网讯科技有限公司 行人跟踪方法、装置以及终端
CN110619657A (zh) * 2019-08-15 2019-12-27 青岛文达通科技股份有限公司 一种面向智慧社区的多摄像机联动多目标追踪方法及系统
CN111553234A (zh) * 2020-04-22 2020-08-18 上海锘科智能科技有限公司 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN112733719A (zh) * 2021-01-11 2021-04-30 西南交通大学 一种融合人脸及人体特征的跨境行人轨迹检测方法
CN113034550A (zh) * 2021-05-28 2021-06-25 杭州宇泛智能科技有限公司 跨镜行人轨迹追踪的方法、系统、电子装置和存储介质
US11048919B1 (en) * 2018-05-30 2021-06-29 Amazon Technologies, Inc. Person tracking across video instances
WO2021259055A1 (zh) * 2020-06-22 2021-12-30 苏宁易购集团股份有限公司 基于 rgb-d 图像的人体跟踪方法及装置
CN113870304A (zh) * 2021-12-07 2021-12-31 江西中业智能科技有限公司 异常行为检测与跟踪方法、装置、可读存储介质及设备
CN114240997A (zh) * 2021-11-16 2022-03-25 南京云牛智能科技有限公司 一种智慧楼宇在线跨摄像头多目标追踪方法
CN114511592A (zh) * 2022-01-21 2022-05-17 海纳云物联科技有限公司 一种基于rgbd相机和bim系统的人员轨迹追踪方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144481A1 (en) * 2016-11-18 2018-05-24 Kabushiki Kaisha Toshiba Moving object tracking device, display device, and moving object tracking method
US11048919B1 (en) * 2018-05-30 2021-06-29 Amazon Technologies, Inc. Person tracking across video instances
CN110427905A (zh) * 2019-08-08 2019-11-08 北京百度网讯科技有限公司 行人跟踪方法、装置以及终端
CN110619657A (zh) * 2019-08-15 2019-12-27 青岛文达通科技股份有限公司 一种面向智慧社区的多摄像机联动多目标追踪方法及系统
CN111553234A (zh) * 2020-04-22 2020-08-18 上海锘科智能科技有限公司 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
WO2021259055A1 (zh) * 2020-06-22 2021-12-30 苏宁易购集团股份有限公司 基于 rgb-d 图像的人体跟踪方法及装置
CN112733719A (zh) * 2021-01-11 2021-04-30 西南交通大学 一种融合人脸及人体特征的跨境行人轨迹检测方法
CN113034550A (zh) * 2021-05-28 2021-06-25 杭州宇泛智能科技有限公司 跨镜行人轨迹追踪的方法、系统、电子装置和存储介质
CN114240997A (zh) * 2021-11-16 2022-03-25 南京云牛智能科技有限公司 一种智慧楼宇在线跨摄像头多目标追踪方法
CN113870304A (zh) * 2021-12-07 2021-12-31 江西中业智能科技有限公司 异常行为检测与跟踪方法、装置、可读存储介质及设备
CN114511592A (zh) * 2022-01-21 2022-05-17 海纳云物联科技有限公司 一种基于rgbd相机和bim系统的人员轨迹追踪方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAI JIN ETAL.: "Human Identification Recognition in Surveillance Videos", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW)》 *
徐耀建: "基于深度学习的视频多目标行人检测与追踪", 《现代信息科技》 *
蔡丽仪等: "基于跨摄像头和特征在线学习的行人目标跟踪", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309692A (zh) * 2022-09-08 2023-06-23 广东省机场管理集团有限公司工程建设指挥部 基于深度学习用于机场安检人包绑定的方法、装置及介质
CN116309692B (zh) * 2022-09-08 2023-10-20 广东省机场管理集团有限公司工程建设指挥部 基于深度学习用于机场安检人包绑定的方法、装置及介质

Also Published As

Publication number Publication date
CN115019241B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
Sidla et al. Pedestrian detection and tracking for counting applications in crowded situations
Huang et al. Efficient image stitching of continuous image sequence with image and seam selections
US8818024B2 (en) Method, apparatus, and computer program product for object tracking
Brown View independent vehicle/person classification
US9008366B1 (en) Bio-inspired method of ground object cueing in airborne motion imagery
Tian et al. Scene Text Detection in Video by Learning Locally and Globally.
CN113792606B (zh) 基于多目标追踪的低成本自监督行人重识别模型构建方法
CN112381132A (zh) 一种基于多个摄像头融合的目标物跟踪方法和系统
CN115019241B (zh) 一种行人识别与追踪方法、装置、可读存储介质及设备
Afonso et al. Automatic estimation of multiple motion fields from video sequences using a region matching based approach
CN113221770A (zh) 基于多特征混合学习的跨域行人重识别方法及系统
KR101942646B1 (ko) 영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치
KR100885418B1 (ko) 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법
Gkalelis et al. View indepedent human movement recognition from multi-view video exploiting a circular invariant posture representation
Sista et al. Unsupervised video segmentation and object tracking
CN113989761A (zh) 一种对象跟踪方法、装置、电子设备及存储介质
Yu et al. A real-time motion detection algorithm for traffic monitoring systems based on consecutive temporal difference
CN113190711A (zh) 地理场景中视频动态对象轨迹时空检索方法及系统
CN116824641A (zh) 姿态分类方法、装置、设备和计算机存储介质
Prokaj Exploitation of wide area motion imagery
Schneider Visual hull
Sliti et al. Efficient visual tracking via sparse representation and back-projection histogram
Zhang et al. An IR and visible image sequence automatic registration method based on optical flow
Kim et al. Directional pedestrian counting with a hybrid map-based model
Alomari et al. Smart real-time vehicle detection and tracking system using road surveillance cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant