CN112989938A - 一种行人实时跟踪识别方法、装置、介质及设备 - Google Patents
一种行人实时跟踪识别方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN112989938A CN112989938A CN202110168969.XA CN202110168969A CN112989938A CN 112989938 A CN112989938 A CN 112989938A CN 202110168969 A CN202110168969 A CN 202110168969A CN 112989938 A CN112989938 A CN 112989938A
- Authority
- CN
- China
- Prior art keywords
- human
- tracking
- image frame
- information
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 230000009471 action Effects 0.000 claims abstract description 26
- 238000009826 distribution Methods 0.000 claims abstract description 9
- 230000015654 memory Effects 0.000 claims description 38
- 238000003860 storage Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000007619 statistical method Methods 0.000 abstract description 4
- 238000012706 support-vector machine Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005021 gait Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000010921 in-depth analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及图像识别技术领域，本公开提供了一种行人实时跟踪识别方法、装置、介质及设备，其中，所述方法包括：接收行人跟踪识别请求，读取视频数据；对所述视频数据进行分析，将所述视频数据按照视频的帧索引分布提取图像帧；利用人形检测算法模型检测出所述图像帧图像中的全部人形，标记各人形坐标及大小；在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪。本公开可应用于交通道路行人流量统计分析，也可应用于室内人员行动轨迹等信息收集。本公开充分考虑到了平台融合、集群部署，将系统设计的小巧、灵活，且与具体应用的平台无关。
Description
技术领域
本公开涉及图像识别技术领域，更为具体来说，本公开涉及一种行人实时跟踪识别方法、装置、介质及设备。
背景技术
随着目前AI人工智能技术的不断发展、进步，这些技术将能够改变现代生活，甚至能够使得某些行业发生根本性的变革，人工智能的应用逐渐涉及到日常生活的方方面面。在人脸识别领域中，由于是基于静态图像识别，因此各种关于人脸识别的模型算法都有了很多成熟的应用。
人脸识别相关的模型算法过于依赖于正脸面对摄像头，而对于实际要解决的行人实时跟踪的技术问题而言，一般行人在行走时往往存在侧对、背对摄像头的情况较多，因此通常的人脸识别算法模型并不能满足实际的行人实时跟踪识别方法的实际需求。
目前，现有技术多是通过视频监控数据查看行人的外貌、衣着等特征，根据这些特征确定是否为待追踪人员，如果不同行人的外貌、衣着特征相似，则无法进行准确的行人追踪。
如何准确的进行行人追踪，是目前本领域技术人员急需解决的技术问题。
发明内容
为解决现有技术不能满足实际的行人实时跟踪识别需求的技术问题。
为实现上述技术目的，本公开提供了一种行人实时跟踪识别方法，包括：
接收行人跟踪识别请求，读取视频数据准备进行行人实时跟踪识别分析；
进行所述视频数据分析，将所述视频数据按照视频的帧索引分布提取图像帧；
利用人形检测算法模型检测出所述图像帧图像中的全部人形，标出各人形坐标及大小；
对图像帧进行行人跟踪，将连续图像帧中的同一人标识出来，并记录其行动轨迹。
进一步，所述人形检测算法模型具体为基于SVM的人形检测算法模型或基于深度学习网络的人形检测算法模型。
进一步，所述对图像帧进行行人跟踪，将连续图像帧中的同一人标识出来，并记录其行动轨迹具体包括：
标记当前图像帧中已经标出的人形；
在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪。
进一步，所述对图像帧进行行人跟踪，将连续图像帧中的同一人标识出来，并记录其行动轨迹之后还包括：
汇总标识出的连续图像帧中的人形信息以及行动信息，上报至指定存储空间。
进一步，所述在前一图像帧中查找是否存在本次标记的人形之后还包括：
检查所述跟踪队列，将所述跟踪队列中的全部人形在当前图像帧中的人形信息进行比较，判断是否存在所述跟踪队列中的人形不在当前图像帧中，若不在，则将此人形不在当前图像帧中的信息也上报至指定存储空间。
为实现上述技术目的，本公开还能够提供一种行人实时跟踪识别装置，包括：
读取模块，用于接收行人跟踪识别请求，读取视频数据准备进行行人实时跟踪识别分析；
提取模块，用于进行所述视频数据分析，将所述视频数据按照视频的帧索引分布提取图像帧；
标识模块，用于利用人形检测算法模型检测出所述图像帧图像中的全部人形，标出各人形坐标及大小；
跟踪模块，用于对图像帧进行行人跟踪，将连续图像帧中的同一人标识出来，并记录其行动轨迹。
进一步，所述跟踪模块具体包括：
标记子模块，用于标记当前图像帧中已经标出的人形；
查找子模块，用于在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪。
进一步，所述装置还包括：
汇报模块，用于汇总标识出的连续图像帧中的人形信息以及行动信息，上报至指定存储空间；
所述汇报模块还用于检查所述跟踪队列，将所述跟踪队列中的全部人形在当前图像帧中的人形信息进行比较，判断是否存在所述跟踪队列中的人形不在当前图像帧中，若不在，则将此人形不在当前图像帧中的信息也上报至指定存储空间。
为实现上述技术目的，本公开还能够提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时用于实现上述的一种行人实时跟踪识别方法的步骤。
为实现上述技术目的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种行人实时跟踪识别方法的步骤。
本公开的有益效果为：
本公开提出了一种将人形检测算法、行人跟踪变成服务的工程化方法，该方法充分考虑了算法的功能性、算法应用的实际场景等因素，将实验室的产出，很好的应用到了实际场景中。本公开可应用于交通道路行人流量统计分析，可应用于人群密集场所信息收集，也可应用于室内人员行动轨迹等信息收集。本公开充分考虑到了平台融合、集群部署，将系统设计的小巧、灵活，且与实际应用的平台无关。本公开的方法可单独部署，作为行人跟踪检测的服务，也可集成在某平台中统一部署，提供行人跟踪检测、轨迹记录查询等功能。通过网络调用的方式，本公开可以集成到各种应用平台中，充分发挥本公开的作用，满足多场景使用的需求。本公开的行人跟踪，能够有效的记录行人的行动轨迹，在结合地形特征、多摄像头配合的情况下，可以实时的获取行人定位等信息，对于行人搜索也有着有益的帮助。
附图说明
图1示出了本公开的实施例1的流程示意图；
图2示出了本公开的实施例1的采用SVM进行人形识别过程示意图；
图3示出了本公开的实施例2的流程示意图；
图4示出了本公开的实施例3的结构示意图；
图5示出了本公开的实施例5的结构示意图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在附图中示出了根据本公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
实施例一：
如图1所示：
本公开提供了一种行人实时跟踪识别方法，包括：
S101：接收行人跟踪识别请求，读取视频数据准备进行行人实时跟踪识别分析；
S102：进行所述视频数据分析，将所述视频数据按照视频的帧索引分布提取图像帧；
S103：利用人形检测算法模型检测出所述图像帧图像中的全部人形，标出各人形坐标及大小；
具体地，所述人形检测算法模型具体为基于SVM的人形检测算法模型或基于深度学习网络的人形检测算法模型。
如图2所示，下面以一种基于SVM的人形检测算法模型来介绍本公开的利用人形检测算法模型检测出所述图像帧图像中的全部人形，标出各人形坐标及大小的过程。
支持向量机(Support Vector Machine，SVM)是一类按监督学习(supervisedlearning)方式对数据进行二元分类的广义线性分类器(generalized linearclassifier)，其决策边界是对学习样本求解的最大边距超平面(maximum－marginhyperplane)。
SVM使用铰链损失函数(hinge loss)计算经验风险(empirica lrisk)并在求解系统中加入了正则化项以优化结构风险(structura lrisk)，是一个具有稀疏性和稳健性的分类器。SVM可以通过核方法(kerne lmethod)进行非线性分类，是常见的核学习(kernellearning)方法之一。
基于SVM(支持向量机)人形识别的算法，通过对静态图像小波变换提取目标的局部形状突变特征，并结合动态帧的步态特征，然后利用支持向量机对小样本进行学习与识别。通过实验验证，该算法具有实时性好、识别率高、可靠性高、适用范围广等特点，以达到实现监控自动化和智能化的目标。
首先，如图2中1所示，需要进行特征向量提取，分为静态帧特征向量和动态帧序列特征向量的提取；
从图像帧序列中获取静态帧；
对所示静态帧图像进行预处理，具体为将彩色图片转化成灰度图像，利用图像平滑去除噪声，再对图像进行锐化处理增强人形与背景的差异；
对预处理后的图像帧进行小波变换，这里可以采用通用的卷积小波变换算法作为离散小波变换的常用算法。
基于步态识别的结果，用背景差的方法提取运动人形轮廓，对轮廓进行水平和垂直投影，将水平和垂直投影矢量合成为一维矢量，并进行规一化处理，在此基础上再求得人形重心位置，从而得到动态特征向量。本公开在此基础上采用PCA分析方法获取主要系数，适当增大惩罚权重，减少第二类错误率。
PCA是Principal component analysis的缩写，中文翻译为主元分析。它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。正如它的名字：主元分析，这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制，可以方便的应用与各个场合。因此应用极其广泛，从神经科学到计算机图形学都有它的用武之地。被誉为应用线形代数最价值的结果之一。在以下的章节中，不仅有对PCA的比较直观的解释，同时也配有较为深入的分析。首先将从一个简单的例子开始说明PCA应用的场合以及想法的由来，进行一个比较直观的解释；然后加入数学的严格推导，引入线形代数，进行问题的求解。随后将揭示PCA与SVD(Singular Value Decomposition)之间的联系以及如何将之应用于真实世界。最后将分析PCA理论模型的假设条件以及针对这些条件可能进行的改进。
图2中2示出了支持向量机SVM的训练过程：
在1特征向量提取后得到的特征向量作为样本集进行SVM训练，再次输入提取出的特征向量进行样本测试，之后进行样本自举重新得到训练的样本集。
图2中的3示出了额本公开采用SVM进行人形识别的过程示意图。
需要说明的是，本公开采用了SVM进行人形识别而没有采用常用的人脸检测识别算法模型，这主要是由于人脸识别相关的模型算法过于依赖于正脸面对摄像头，而对于本公开要解决的行人实时跟踪的技术问题而言，一般行人在行走时往往存在侧对、背对摄像头的情况较多，因此通常的人脸识别算法模型并不能满足本公开的行人实时跟踪识别方法的实际需求。
S104：对图像帧进行行人跟踪，将连续图像帧中的同一人标识出来，并记录其行动轨迹。
具体地，
标记当前图像帧中已经标出的人形；
在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪。
所述在前一图像帧中查找是否存在本次标记的人形具体为：
根据相邻图像帧检测出的人形中心点位移变化差值，与预先设定的第一阈值比较，若小于第一阈值，则表示相邻图像帧中的人形为同一人，表示存在本次标记的人形，或者，
根据相邻图像帧检测出的人形切图面积差值与设定的第二阈值比较，若小于第二阈值，则表示相邻图像帧中的人形为同一人，表示存在本次标记的人形。
存在，则说明该人已经被跟踪，跟踪队列需要更新此人信息；不存在，则说明该人形是第一次出现，需要加入跟踪队列，进行跟踪。
行人跟踪，能够有效的记录行人的行动轨迹，在结合地形特征、多摄像头配合的情况下，可以实时的获取行人定位等信息，对于行人搜索也有着有益的帮助。
本公开可应用于交通道路行人流量统计分析，可应用于人群密集场所信息收集，也可应用于室内人员行动轨迹等信息收集。本公开充分考虑到了平台融合、集群部署，将系统设计的小巧、灵活，且与具体应用的平台无关。
实施例二：
如图3所示：
本公开还可以在实施例一的技术方案上做如下改进：
所述方法还包括：
S105：汇总标识出的连续图像帧中的人形信息以及行动信息，上报至指定存储空间。
进一步地，所述在前一图像帧中查找是否存在本次标记的人形之后还包括：
检查所述跟踪队列，将所述跟踪队列中的全部人形在当前图像帧中的人形信息进行比较，判断是否存在所述跟踪队列中的人形不在当前图像帧中，若不在，则将此人形不在当前图像帧中的信息也上报至指定存储空间。
检查跟踪队列，将其中所有人形在当前帧的人形信息中进行比较，看是否存在所跟踪人形不在当前帧中，如不在，则说明此人已经离开摄像头所包含的范围，也就是说明此人已经跟踪完毕，此时需要将该信息也上报至指定地址。
实施例三：
如图4所示，
本公开还能够提供一种行人实时跟踪识别装置，包括：
读取模块401，用于接收行人跟踪识别请求，读取视频数据准备进行行人实时跟踪识别分析；
提取模块402，用于对所述视频数据进行分析，将所述视频数据按照视频的帧索引分布提取图像帧；
标识模块403，用于利用人形检测算法模型检测出所述图像帧图像中的全部人形，标记各人形坐标及大小；
跟踪模块404，用于在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪。
本公开所述的读取模块401依次与所述提取模块402、标识模块403以及跟踪模块404相连接。
具体地，所述人形检测算法模型具体为基于SVM的人形检测算法模型或基于深度学习网络的人形检测算法模型。
进一步，所述跟踪模块404具体包括：
标记子模块，用于标记当前图像帧中已经标出的人形；
查找子模块，用于在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪。
进一步，所述装置还包括：
汇报模块，用于汇总标识出的连续图像帧中的人形信息以及行动信息，上报至指定存储空间；
所述汇报模块还用于检查所述跟踪队列，将所述跟踪队列中的全部人形在当前图像帧中的人形信息进行比较，判断是否存在所述跟踪队列中的人形不在当前图像帧中，若不在，则将此人形不在当前图像帧中的信息也上报至指定存储空间。
本公开的一种行人实时跟踪识别装置分为：
对外网络层接口层，采用ZMQ通信方式，各应用层或者其它产品可通过该接口使用本系统提供的行人检测功能；
以及功能实现层，主要包含视频读取、人形检测、行人跟踪、信息上报等功能。
ZMQ通信与传统的TCP Socket最大的区别在于Socket连接不再是1：1的，而是1：N甚至N：N的，这意味ZMQ通信摒弃了每个后台请求处理线程都使用单独的一个Socket来返回用户请求的。同时，ZMQ通信又不允许多个线程共享Socket，所以ZMQ通信在使用一个Socket处理请求的过程中，会阻塞同一个端口的其他请求，显然这是无法满足需求的。ZMQ通信使用了信封的机制灵活的解决了这个问题。
ZMQ通信的Socket有4种类型：DEALER，REQ，REP，ROUTER。4种Socket之间的组合变化基本可以满足绝大多数消息通信的需求，当然也可以实现多线程处理用户请求。信封机制的核心是Router Socket，它可以为每一个来自REQ的请求打上一个标记来标识该REQ，在返回的时候直接返回给对应的REQ，利用Router我们就可以实现利用多线程处理用户请求。
本公开的行人实时跟踪识别装置功能简介：
视频读取，支持视频文件读取，支持摄像头实时视频流的读取。主要由读取模块401实现该功能。
人形检测，实现静态图片中人形的检测，标出各人形的坐标及大小。主要由提取模块402和标识模块403实现该功能。
行人跟踪，实现相邻静态图片中同一人形的检测。主要由跟踪模块404实现该功能。
信息上报，检测到的人形、行动信息上报至指定存储空间。主要由汇报模块实现该部分功能。
实施例四：
本公开还能够提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时用于实现上述的一种行人实时跟踪识别方法的步骤。
所述的行人实时跟踪识别方法，包括：
接收行人跟踪识别请求，读取视频数据准备进行行人实时跟踪识别分析；
进行所述视频数据分析，将所述视频数据按照视频的帧索引分布提取图像帧；
利用人形检测算法模型检测出所述图像帧图像中的全部人形，标出各人形坐标及大小；
对图像帧进行行人跟踪，将连续图像帧中的同一人标识出来，并记录其行动轨迹。
进一步，所述人形检测算法模型具体为基于SVM的人形检测算法模型或基于深度学习网络的人形检测算法模型。
进一步，所述对图像帧进行行人跟踪，将连续图像帧中的同一人标识出来，并记录其行动轨迹具体包括：
标记当前图像帧中已经标出的人形；
在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪。
进一步，所述对图像帧进行行人跟踪，将连续图像帧中的同一人标识出来，并记录其行动轨迹之后还包括：
汇总标识出的连续图像帧中的人形信息以及行动信息，上报至指定存储空间。
进一步，所述在前一图像帧中查找是否存在本次标记的人形之后还包括：
检查所述跟踪队列，将所述跟踪队列中的全部人形在当前图像帧中的人形信息进行比较，判断是否存在所述跟踪队列中的人形不在当前图像帧中，若不在，则将此人形不在当前图像帧中的信息也上报至指定存储空间。
本公开的计算机存储介质可以采用半导体存储器、磁芯存储器、磁鼓存储器或磁盘存储器实现。
半导体存储器，主要用于计算机的半导体存储元件主要有Mos和双极型两种。Mos元件集成度高、工艺简单但速度较慢。双极型元件工艺复杂、功耗大、集成度低但速度快。NMos和CMos问世后，使Mos存储器在半导体存储器中开始占主要地位。NMos速度快，如英特尔公司的1K位静态随机存储器的存取时间为45ns。而CMos耗电省，4K位的CMos静态存储器存取时间为300ns。上述半导体存储器都是随机存取存储器(RAM)，即在工作过程中可随机进行读出和写入新内容。而半导体只读存储器(ROM)在工作过程中可随机读出但不能写入，它用来存放已固化好的程序和数据。ROM又分为不可改写的熔断丝式只读存储器──PROM和可改写的只读存储器EPROM两种。
磁芯存储器，具有成本低，可靠性高的特点，且有20多年的实际使用经验。70年代中期以前广泛使用磁芯存储器作为主存储器。其存储容量可达10位以上，存取时间最快为300ns。国际上典型的磁芯存储器容量为4MS～8MB，存取周期为1.0～1.5μs。在半导体存储快速发展取代磁芯存储器作为主存储器的位置之后，磁芯存储器仍然可以作为大容量扩充存储器而得到应用。
磁鼓存储器，一种磁记录的外存储器。由于其信息存取速度快，工作稳定可靠，虽然其容量较小，正逐渐被磁盘存储器所取代，但仍被用作实时过程控制计算机和中、大型计算机的外存储器。为了适应小型和微型计算机的需要，出现了超小型磁鼓，其体积小、重量轻、可靠性高、使用方便。
磁盘存储器，一种磁记录的外存储器。它兼有磁鼓和磁带存储器的优点，即其存储容量较磁鼓容量大，而存取速度则较磁带存储器快，又可脱机贮存，因此在各种计算机系统中磁盘被广泛用作大容量的外存储器。磁盘一般分为硬磁盘和软磁盘存储器两大类。
硬磁盘存储器的品种很多。从结构上，分可换式和固定式两种。可换式磁盘盘片可调换，固定式磁盘盘片是固定的。可换式和固定式磁盘都有多片组合和单片结构两种，又都可分为固定磁头型和活动磁头型。固定磁头型磁盘的容量较小，记录密度低存取速度高，但造价高。活动磁头型磁盘记录密度高(可达1000～6250位/英寸)，因而容量大，但存取速度相对固定磁头磁盘低。磁盘产品的存储容量可达几百兆字节，位密度为每英寸6250位，道密度为每英寸475道。其中多片可换磁盘存储器由于盘组可以更换，具有很大的脱体容量，而且容量大，速度高，可存储大容量情报资料，在联机情报检索系统、数据库管理系统中得到广泛应用。
实施例五：
本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种行人实时跟踪识别方法的步骤。
所述的行人实时跟踪识别方法，包括：
接收行人跟踪识别请求，读取视频数据准备进行行人实时跟踪识别分析；
进行所述视频数据分析，将所述视频数据按照视频的帧索引分布提取图像帧；
利用人形检测算法模型检测出所述图像帧图像中的全部人形，标出各人形坐标及大小；
对图像帧进行行人跟踪，将连续图像帧中的同一人标识出来，并记录其行动轨迹。
进一步，所述人形检测算法模型具体为基于SVM的人形检测算法模型或基于深度学习网络的人形检测算法模型。
进一步，所述对图像帧进行行人跟踪，将连续图像帧中的同一人标识出来，并记录其行动轨迹具体包括：
标记当前图像帧中已经标出的人形；
在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪。
进一步，所述对图像帧进行行人跟踪，将连续图像帧中的同一人标识出来，并记录其行动轨迹之后还包括：
汇总标识出的连续图像帧中的人形信息以及行动信息，上报至指定存储空间。
进一步，所述在前一图像帧中查找是否存在本次标记的人形之后还包括：
检查所述跟踪队列，将所述跟踪队列中的全部人形在当前图像帧中的人形信息进行比较，判断是否存在所述跟踪队列中的人形不在当前图像帧中，若不在，则将此人形不在当前图像帧中的信息也上报至指定存储空间。
图5为一个实施例中电子设备的内部结构示意图。如图5所示，该电子设备包括通过系统总线连接的处理器、存储介质、存储器和网络接口。其中，该计算机设备的存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种一种行人实时跟踪识别方法。该电设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种一种行人实时跟踪识别方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
该电子设备包括但不限于智能电话、计算机、平板电脑、可穿戴智能设备、人工智能设备、移动电源等。
所述处理器在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Centra lProcessingunit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器内的程序或者模块(例如执行远端数据读写程序等)，以及调用存储在所述存储器内的数据，以执行电子设备的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheralcom ponentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器以及至少一个处理器等之间的连接通信。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi－Fi模块等，在此不再赘述。
进一步地，所述电子设备还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI－FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。
可选地，该电子设备还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light－Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
进一步地，所述计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
本公开提出了一种将人形检测方法、行人跟踪变成服务的工程化方法，该方法充分考虑了算法的功能性、算法应用的实际场景等因素，将实验室的产出，很好的应用到了实际场景中。本公开可应用于交通道路行人流量统计分析，可应用于人群密集场所信息收集，也可应用于室内人员行动轨迹等信息收集。本公开充分考虑到了平台融合、集群部署，将系统设计的小巧、灵活，且与实际应用的平台无关。本公开的方法可单独部署，作为行人跟踪检测的服务，也可集成在某平台中统一部署，提供行人跟踪检测、轨迹记录查询等功能。通过网络调用的方式，本公开可以集成到各种应用平台中，充分发挥本公开的作用，满足多场景使用的需求。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。本公开的范围由所附权利要求及其等价物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。
Claims (10)
1.一种行人实时跟踪识别方法，其特征在于，包括：
接收行人跟踪识别请求，读取视频数据；
对所述视频数据进行分析，将所述视频数据按照视频的帧索引分布提取图像帧；
利用人形检测算法模型检测出所述图像帧图像中的全部人形，标记各人形坐标及大小；
在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪。
2.根据权利要求1所述的方法，其特征在于，所述人形检测算法模型具体为基于SVM的人形检测算法模型或基于深度学习网络的人形检测算法模型。
3.根据权利要求1所述的方法，其特征在于，所述在前一图像帧中查找是否存在本次标记的人形具体包括：
根据相邻图像帧检测出的人形中心点位移变化差值，与预先设定的第一阈值比较，若小于第一阈值，则表示相邻图像帧中的人形为同一人，表示存在本次标记的人形，或者，
根据相邻图像帧检测出的人形切图面积差值与设定的第二阈值比较，若小于第二阈值，则表示相邻图像帧中的人形为同一人，表示存在本次标记的人形。
4.根据权利要求3所述的方法，其特征在于，所述在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪之后还包括：
汇总标识出的连续图像帧中的人形信息以及行动信息，上报至指定存储空间。
5.根据权利要求4所述的方法，其特征在于，所述在前一图像帧中查找是否存在本次标记的人形之后还包括：
检查所述跟踪队列，将所述跟踪队列中的全部人形在当前图像帧中的人形信息进行比较，判断是否存在所述跟踪队列中的人形不在当前图像帧中，若不在，则将此人形不在当前图像帧中的信息也上报至指定存储空间。
6.一种行人实时跟踪识别装置，其特征在于，包括：
读取模块，用于接收行人跟踪识别请求，读取视频数据准备进行行人实时跟踪识别分析；
提取模块，用于对所述视频数据进行分析，将所述视频数据按照视频的帧索引分布提取图像帧；
标识模块，用于利用人形检测算法模型检测出所述图像帧图像中的全部人形，标记各人形坐标及大小；
跟踪模块，用于在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪。
7.根据权利要求6所述的装置，其特征在于，所述跟踪模块具体包括：
标记子模块，用于标记当前图像帧中已经标出的人形；
查找子模块，用于在前一图像帧中查找是否存在本次标记的人形，若存在则在跟踪队列中更新此人形的信息；若不存在则在跟踪队列中加入本次标记的人形信息，进行跟踪。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
汇报模块，用于汇总标识出的连续图像帧中的人形信息以及行动信息，上报至指定存储空间；
所述汇报模块还用于检查所述跟踪队列，将所述跟踪队列中的全部人形在当前图像帧中的人形信息进行比较，判断是否存在所述跟踪队列中的人形不在当前图像帧中，若不在，则将此人形不在当前图像帧中的信息也上报至指定存储空间。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～5任一项中所述行人实时跟踪识别方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时用于实现权利要求1～5任一项中所述的行人实时跟踪识别方法对应的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110168969.XA CN112989938A (zh) | 2021-02-07 | 2021-02-07 | 一种行人实时跟踪识别方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110168969.XA CN112989938A (zh) | 2021-02-07 | 2021-02-07 | 一种行人实时跟踪识别方法、装置、介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112989938A true CN112989938A (zh) | 2021-06-18 |
Family
ID=76348979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110168969.XA Pending CN112989938A (zh) | 2021-02-07 | 2021-02-07 | 一种行人实时跟踪识别方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112989938A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118116034A (zh) * | 2024-04-26 | 2024-05-31 | 厦门四信通信科技有限公司 | 基于ai视觉分析的行人逆行检测方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020167594A1 (en) * | 2001-05-09 | 2002-11-14 | Yasushi Sumi | Object tracking apparatus, object tracking method and recording medium |
| CN104063692A (zh) * | 2014-06-30 | 2014-09-24 | 武汉烽火众智数字技术有限责任公司 | 一种行人定位检测方法及系统 |
| CN110287855A (zh) * | 2019-06-21 | 2019-09-27 | 上海闪马智能科技有限公司 | 一种行人轨迹获取方法以及系统 |
| CN110675426A (zh) * | 2018-07-02 | 2020-01-10 | 百度在线网络技术（北京）有限公司 | 人体跟踪方法、装置、设备及存储介质 |
| US20200275017A1 (en) * | 2019-02-23 | 2020-08-27 | Pegatron Corporation | Tracking system and method thereof |
-
2021
- 2021-02-07 CN CN202110168969.XA patent/CN112989938A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020167594A1 (en) * | 2001-05-09 | 2002-11-14 | Yasushi Sumi | Object tracking apparatus, object tracking method and recording medium |
| CN104063692A (zh) * | 2014-06-30 | 2014-09-24 | 武汉烽火众智数字技术有限责任公司 | 一种行人定位检测方法及系统 |
| CN110675426A (zh) * | 2018-07-02 | 2020-01-10 | 百度在线网络技术（北京）有限公司 | 人体跟踪方法、装置、设备及存储介质 |
| US20200275017A1 (en) * | 2019-02-23 | 2020-08-27 | Pegatron Corporation | Tracking system and method thereof |
| CN110287855A (zh) * | 2019-06-21 | 2019-09-27 | 上海闪马智能科技有限公司 | 一种行人轨迹获取方法以及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118116034A (zh) * | 2024-04-26 | 2024-05-31 | 厦门四信通信科技有限公司 | 基于ai视觉分析的行人逆行检测方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | An edge traffic flow detection scheme based on deep learning in an intelligent transportation system | |
| CN111723786B (zh) | 一种基于单模型预测的安全帽佩戴检测方法及装置 | |
| Suprem et al. | Odin: Automated drift detection and recovery in video analytics | |
| Ning et al. | Occluded person re-identification with deep learning: a survey and perspectives | |
| CN107871111B (zh) | 一种行为分析方法及系统 | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| CN115115825B (zh) | 图像中的对象检测方法、装置、计算机设备和存储介质 | |
| Zhang et al. | Appearance-based loop closure detection via locality-driven accurate motion field learning | |
| CN111178455B (zh) | 图像聚类方法、系统、设备及介质 | |
| CN113255682B (zh) | 一种目标检测系统、方法、装置、设备及介质 | |
| CN113052133A (zh) | 一种基于YOLOv3的安全帽识别方法、装置、介质及设备 | |
| Tseng et al. | Person retrieval in video surveillance using deep learning–based instance segmentation | |
| CN113361392B (zh) | 无监督的基于相机和无线定位的多模态行人重识别方法 | |
| CN112528903B (zh) | 人脸图像获取方法、装置、电子设备及介质 | |
| CN112989938A (zh) | 一种行人实时跟踪识别方法、装置、介质及设备 | |
| Ahmad et al. | Embedded deep vision in smart cameras for multi-view objects representation and retrieval | |
| Shen et al. | Robust regression based face recognition with fast outlier removal | |
| CN116630753A (zh) | 一种基于对比学习的多尺度小样本目标检测方法 | |
| CN116071569A (zh) | 图像选择方法、计算机设备及存储装置 | |
| CN113806539A (zh) | 一种文本数据增强系统、方法、设备及介质 | |
| Liu et al. | Semantic retrieval for videos in non-static background using motion saliency and global features | |
| CN113111689A (zh) | 一种样本挖掘方法、装置、设备及存储介质 | |
| Xu et al. | Vehicle Re‐Identification System Based on Appearance Features | |
| CN114882489B (zh) | 一种对旋转车牌进行水平校正方法、装置、设备及介质 | |
| CN113537286B (zh) | 一种图像分类方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |