CN111860282A - 地铁断面客流量统计和行人逆行检测方法及系统 - Google Patents
地铁断面客流量统计和行人逆行检测方法及系统 Download PDFInfo
- Publication number
- CN111860282A CN111860282A CN202010681138.8A CN202010681138A CN111860282A CN 111860282 A CN111860282 A CN 111860282A CN 202010681138 A CN202010681138 A CN 202010681138A CN 111860282 A CN111860282 A CN 111860282A
- Authority
- CN
- China
- Prior art keywords
- target
- detection
- pedestrian
- appearance
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 164
- 238000000605 extraction Methods 0.000 claims description 48
- 239000013598 vector Substances 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 27
- 238000012544 monitoring process Methods 0.000 claims description 26
- 230000006399 behavior Effects 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 7
- 238000002372 labelling Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法,本发明将在线多目标跟踪算法应用于地铁监控场景,采用地铁监控视频制作样本集用于训练检测器,同时利用大规模行人再识别数据集训练外观特征抽取网络。综合运动信息和外观特征提高跟踪算法性能,通过算法跟踪场景内的每一个行人目标,进而通过跟踪目标与设置的绊线之间的逻辑判断统计出客流量信息,同时也可以检测出行人的逆行行为。
Description
技术领域
本发明涉及人流量和异常行为检测技术领域,具体为一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法及系统。
背景技术
随着我国的城市化的不断推进和基础建设领域的持续投资,一、二线的大型城市都规划了较为完善的轨道交通网络。地铁对于城市而言,不仅大大方便了人民群众的日常通勤,也提升了城市的综合治理水平。与此同时,地铁作为典型的人群密集场所,也有许多新的安全议题,其公共安全治理也对管理者提出更高的要求。以视频监控控制客流、预警危险事件,不仅可以保障乘客安全,而且更高效智能,能节省大量人力资源。掌握地铁站内实时客流信息、对乘客存在的危险行为及时预警是地铁监控视频智能分析的基本任务。基于在线的多目标跟踪算法,我们可以获取监控场景内的客流量变化,还可以对控制区域的行人逆行进行快速检测并报警。地铁监控场景具有客流量大、人流密集、人群相互遮挡、行人运动复杂等特征,这对多目标跟踪算法提出了很大的挑战。
多目标跟踪算法旨在准确描绘出独立个体的连续运动,难点在于不同个体连续跟踪过程中的准确性,比如同一目标遮挡后的恢复,多个目标交织后的准确区分,对运动过程中的目标变形的跟踪等。多目标跟踪算法多采用跟踪基于检测的策略,检测器的性能是跟踪的基础,检测器为跟踪器提供初始化并在跟踪过程中对跟踪做出持续的修正,这又被称为数据关联。检测器的改进能大幅提高跟踪的效果,目标的准确跟踪则依赖于数据关联,包括关联度量的相似度计算和匹配方法。因为检测器的改进对于跟踪效果的提升影响很大,而数据关联的相关研究一直未有大突破,所以多目标跟踪在学术界并不是热门。但是实际工业应用却对其有很大的需求。Sort(2016)和DeepSort(2017)就是目前工业界关注最高的算法,这两个算法基本流程一样,都遵循:检测→运动预测(特征提取)→相似度计算→数据关联的基本流程。由于加入了外观信息的关联度量和级联匹配,DeepSort相当于Sort的改进版本。DeepSort算法核心包括卡尔曼滤波、匈牙利匹配和利用外观特征和距离特征的级联匹配,框架简单但是十分高效,外观特征的提取也没有增加太多的计算负荷,因此能满足有实时性要求的工程应用。最新的研究提出引入轨迹评分机制来完善匹配优先级,将检测网络和特征提取网络结合起来以进一步提升速度。这些都是基于DeepSort的改进,并未改变整体的框架,也未有突破性的性能提升。
中国发明专利申请公开号CN110782484A,介绍了一种无人机视频人员识别追踪的方法。针对无人机对行人跟踪,采用了RetinaNet作为检测模型对行人进行学习,然后利用跟踪算法对行人进行跟踪。该发明针对无人机拍摄的视频进行行人跟踪,只采用公共数据集进行检测模型的训练,未对场景特征进行优化,同时对于多目标跟踪算法只采用了卡尔曼预测和匈牙利匹配,未利用目标的外观特征提升跟踪算法的性能。此外,无人机监控视频并非固定视角,因此场景画面一直在变化,这对多目标跟踪是十分不利的,几乎使得目标的运动信息无法使用。
中国发明专利申请公开号CN110532852A,介绍了一种基于深度学习的地铁行人异常事件检测的方法。使用了深度学习检测算法和DeepSort跟踪算法进行地铁的异常行为监测。其中包括入侵、逆行和摔倒。该发明中的逆行检测通过前后15帧同一行人构成的运动方向向量,计算其与预设绝对逆行方向向量间的角度差进行逆行异常判断。该方法因为需要视频的前后帧数据,因此无法做到实时的应用,且连续帧的运动向量方向非线性,实用性并不好。而通过计算前后3帧的行人质心位置Y坐标的相对变化量和行人检测框宽高比的相对变化量,判断行人是否发生摔倒异常,会因为大量的遮挡导致检测框瞬时变化而产生误判,实用性也不佳。
发明内容
本发明所要解决的技术问题在于:利用深度学习算法智能统计地铁站内监控视频的断面客流量并检测行人逆行。
本发明通过以下技术手段实现解决上述技术问题。
一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法,包括以下步骤
S01.目标检测模型训练,采用地铁站监控视频制作样本集,对目标跟踪算法进行训练,得到目标检测模型;
S02.外观特征描述模型训练,采用行人再识别数据集训练表观特征抽取网络,得到特征提取模型,用于提取检测目标外观特征向量;
S03.绊线设置,根据实际场景设置用于判断行人跨越的绊线,作为判断行人跨越行为的依据;
S04.目标追踪,获取地铁站内监控视频,将视频解码抽帧,输入目标检测模型,目标检测模型获取初始的行人检测框,特征提取模型根据检测框内的目标得到外观特征向量;依据检测框的位置信息和提取出的外观特征向量进行目标跟踪匹配,循环迭代确定跟踪目标的目标ID号并返回;
S05.行为判断,对于同一目标ID号的行人目标,判断其检测框坐标与绊线的位置关系;根据检测框是否在一定时期内出现在绊线两侧,来判断其是否存在跨越绊线行为;
S06.客流量和逆行计算,根据行人目标的跨越行为,统计计算出视频区域内的断面客流量,同时判断特定区域是否存在行人逆行行为,并给出报警信号。
进一步的,所述步骤S01中,采用YOLO V3检测算法作为目标跟踪算法的检测器,以darknet53为基础的特征提取网络作为检测器的backbong,对样本集进行迭代训练。
进一步的,所述步骤S02中,使用darknet深度学习框架搭建CNN外观特征抽取网络,离线训练得到特征提取模型。
进一步的,所述CNN外观特征抽取网络为10层,分别为2个卷积层,1个最大值池化层,6个残差层,1个全连接层;其中,对样本数据进行三次下采样,最后批归一化得到128维向量作为外观特征度量向量。
进一步的,所述步骤S03中绊线垂直于客流行进方向,设置于地铁站内楼梯口、扶梯口、闸机口区域。
进一步的,所述步骤S04具体为:接入地铁监控视频,解码抽帧后输入YOLOV3检测算法中获取当前帧内的检测目标的检测框,YOLOV3检测算法采用非极大值抑制和置信度对检测框进行筛选,然后再采用10层的CNN外观特征抽取网络对检测框内检测目标分别计算其外观特征的128维向量。
进一步的,所述步骤S04中的目标跟踪匹配为先对检测目标和跟踪器进行级联匹配,然后针对级联匹配中筛选出的未匹配的检测目标再进行IOU匹配;
所述级联匹配为先采用多目标跟踪算法进行目标跟踪,进行距离度量,具体为:对跟踪目标执行卡尔曼滤波,同时使用匈牙利匹配方法对目标ID进行逐帧关联;其中,卡尔曼滤波器为
di,j1=(dj-yi)TSi -1(dj-yi) (1)
其中,(yi,Si)表示第i个跟踪器预测值在度量空间的分布,dj表示第j个检测框;计算检测框距离跟踪器位置的平均标准差得到马氏距离;
然后,通过计算检测器i和跟踪器j的外观空间中的最小余弦距离获得外观度量
然后采用加权和将距离度量和外观度量组合,得到
ci,j=λdi,j1+(1-λ)di,j2
根据阈值排除距离较大的关联,综合后的阈值:
bi,j=bi,j1+bi,j2
其中,ci,j为加权度量,λ为权重,di,j1为距离度量,di,j2为外观度量,bi,j为阈值;
所述IOU匹配具体为:首先,计算卡尔曼预测的每个跟踪器位置和实际检测目标之间的平方马氏距离,以及实际检测目标的外观特征向量和每个跟踪器内储存的特征之间的最小余弦距离,将超过阈值的对应值置为最大,然后使用匈牙利算法求取跟踪器与实际检测目标之间的线性分配,最后,筛选掉余弦距离过大的匹配后再更新匹配成功和未匹配的结果并返回。
本发明还提供一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测系统,包括:
目标检测模型训练模块,目标检测模型训练,采用地铁站监控视频制作样本集,对目标跟踪算法进行训练,得到目标检测模型;
外观特征训练模块,采用行人再识别数据集训练表观特征抽取网络,得到特征提取模型,用于提取检测目标外观特征向量;
绊线设置模块,根据实际场景设置用于判断行人跨越的绊线,作为判断行人跨越行为的依据;
目标追踪模块,获取地铁站内监控视频,将视频解码抽帧,输入目标检测模型,目标检测模型获取初始的行人检测框,特征提取模型根据检测框内的目标得到外观特征向量;依据检测框的位置信息和提取出的外观特征向量进行目标跟踪匹配,循环迭代确定跟踪目标的目标ID号并返回;
行为判断模块,对于同一目标ID号的行人目标,判断其检测框坐标与绊线的位置关系;根据检测框是否在一定时期内出现在绊线两侧,来判断其是否存在跨越绊线行为;
客流量和逆行计算模块,根据行人目标的跨越行为,统计计算出视频区域内的断面客流量,同时判断特定区域是否存在行人逆行行为,并给出报警信号。
进一步的,所述目标跟踪模型训练模块中使用darknet深度学习框架搭建CNN外观特征抽取网络,离线训练得到目标跟踪模型;
所述CNN外观特征抽取网络为10层,分别为2个卷积层,1个最大值池化层,6个残差层,1个全连接层;其中,对样本数据进行三次下采样,最后批归一化得到128维向量作为外观特征度量。
进一步的,所述目标追踪模块中,的目标跟踪匹配为先对检测目标和跟踪器进行级联匹配,然后针对级联匹配中筛选出的未匹配的检测目标再进行IOU匹配;
所述级联匹配为先采用多目标跟踪算法进行目标跟踪,进行距离度量,具体为:对跟踪目标执行卡尔曼滤波,同时使用匈牙利匹配方法对目标ID进行逐帧关联;其中,卡尔曼滤波器为
di,j1=(dj-yi)TSi -1(dj-yi) (1)
其中,(yi,Si)表示第i个跟踪器预测值在度量空间的分布,dj表示第j个检测框;计算检测框距离跟踪器位置的平均标准差得到马氏距离;
然后,通过计算检测器i和跟踪器j的外观空间中的最小余弦距离获得外观度量
然后采用加权和将距离度量和外观度量组合,得到
ci,j=λdi,j1+(1-λ)di,j2
根据阈值排除距离较大的关联,综合后的阈值:
bi,j=bi,j1+bi,j2
其中,ci,j为加权度量,λ为权重,di,j1为距离度量,di,j2为外观度量,bi,j为阈值;
所述IOU匹配具体为:首先,计算卡尔曼预测的每个跟踪器位置和实际检测目标之间的平方马氏距离,以及实际检测目标的外观特征向量和每个跟踪器内储存的特征之间的最小余弦距离,将超过阈值的对应值置为最大,然后使用匈牙利算法求取跟踪器与实际检测目标之间的线性分配;最后,筛选掉余弦距离过大的匹配后再更新匹配成功和未匹配的结果并返回。
本发明将在线多目标跟踪算法应用于地铁监控场景,采用地铁监控视频制作样本集用于训练检测器,同时利用大规模行人再识别数据集训练外观特征抽取网络。综合运动信息和外观特征提高跟踪算法性能,通过算法跟踪场景内的每一个行人目标,进而通过跟踪目标与设置的绊线之间的逻辑判断统计出客流量信息,同时也可以检测出行人的逆行行为。
本发明的优点在于:
将先进的目标跟踪算法应用到地铁监控中,可进行断面客流量统计和行人逆行检测,满足实时性要求;其中跟踪算法基于检测进行关联匹配,检测算法采用速度快、准确度高的YOLOV3算法,并经过真实地铁场景的行人数据进行训练。样本满足场景、光线、角度、行人类别的多样性,可达到良好的行人检出效果;多目标跟踪算法的关联匹配集成了距离信息和外观特征,外观特征经过行人再识别训练得来,比仅靠距离度量的跟踪算法具有更好的准确性,减少了ID的变换;不论是断面客流量统计还是行人逆行检测,都以跟踪算法为基础,判断准则简单且高效,仅仅通过一条绊线就可以实现对行人跨越的准确判断,且不会因为跟踪框突变产生误判。同时本发明还给出了合理的绊线设置原则;此外因为统计断面客流量和行人逆行检测基于相同的算法框架和判断规则,因此复用率高,两个算法可以同时部署在同一台机器上,能节约计算资源和硬件成本。
附图说明
图1为本发明实施例中检测方法的流程框图;
图2为本发明实施例中多目标跟踪算法的流程框图;
图3为本发明实施例中外观特征抽取网络结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本实施例提供的基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法,包括以下步骤:
步骤(1):
通过对地铁监控视频进行抽帧取图进行重新命名,收集得到30000张图像;然后使用LabelImg标注软件对视频图像数据进行标注,标注类别为“person”,将标注框的坐标信息存储在对应图片名称的XML文件中。样本选择需要多样性要求。
以darknet53作为基础的特征提取网络搭建检测网络,对地铁行人数据进行迭代训练;训练参数设置为:批处理图片数量Batch Size:64,初始学习速率Learning Rate:0.001,冲量常数Momentum:0.9,权重衰减系数Decay:0.0005,Anchor Numbers:9,预选框大小为(3,5),(7,11),(11,21),(17,27),(23,41),(33,54),(45,81),(69,120),(108,203)、经过200000次迭代训练,网络损失函数下降并收敛,得到目标检测模型。
步骤(2):
下载行人重识别样本集Mars,其中包含636个人、12180个小段轨迹、68万张样本,使用darknet框架按照附图3搭建10层的CNN外观特征抽取网络,如图3所示,训练参数设置为:批处理图片数量Batch Size:128,初始学习速率Learning Rate:0.001,冲量常数Momentum:0.9,权重衰减系数Decay:0.0005,类别:636。迭代100000次得到特征提取模型以用于提取检测内目标的外观特征向量。外观特征抽取网络是一个10层的卷积结构,包含2个卷积层,1个最大值池化层,6个残差层,1个dense层,其中第3层池化层、第6层残差层、第8层残差层分别做了下采样,最后批归一化得到128维向量作为外观特征度量。
步骤(3):
根据实际场景设置用于判断行人跨越的绊线:绊线为判断跟踪目标是否跨越指定位置的判断依据。具体的设计原则为:根据监控场景内的客流流动控制方向来设定绊线,避开人群易密集、遮挡的区域,选择在画面的空旷区域画取一条水平(客流为上下行走)或垂直(客流为左右行走)的线段。对于断面客流量来说,绊线可选取在地铁站内楼梯口、扶梯口、闸机口等区域以便于逐一计数,对于双向通道可设置两条或多条绊线分别进行客流量统计。行人逆行检测一般针对扶梯、楼梯等有严格限定客流方向的区域,为排除区域外行人的干扰可限定ROI区域,绊线可选取在限定区域的上下三分之一处。
步骤(4):
搭建多目标跟踪算法运行环境,选择搭载有NVIDIA GeForce GTX 2080 Ti显卡,内存>32G的,安装有windows10操作系统的服务器。安装CUDA 10.0、CUDNN 7.6.0、Python3.6及相关依赖库、OpenCV3.4.2、Visual Studio 2013等依赖环境。
本发明采用DeepSort算法进行行人跟踪,跟踪算法的主流程为:行人目标检测→外观特征提取、轨迹卡尔曼滤波运动预测→相似度计算→使用匈牙利算法将预测后的跟踪器和当前帧中的检测框进行数据关联(级联匹配和IOU匹配)。卡尔曼滤波算法对目标位置进行预测和更新,匈牙利匹配算法计算代价矩阵得到最佳匹配。
接入地铁监控视频,解码抽帧后输入算法,加载预训练的YOLOV3检测模型和CNN外观特征抽取模型,在线多目标跟踪算法将检测器和跟踪器集成起来。跟踪在逐帧检测的基础上执行数据关联,首先利用YOLOV3算法检测出当前帧内的行人目标的检测框,其中,采用非极大值抑制(NMS)和置信度对检测框进行筛选,NMS值设为0.6,置信度thresh设为0.7。然后针对检测目标分别计算描述其表观特征的128维向量。
为检测目标初始化跟踪器,根据其状态将跟踪器分为Tentative、Confirmed和Deleted,对检测目标和跟踪器进行级联匹配,根据距离信息和外观特征进行相似度估计,也就是计算卡尔曼预测后的框和当前帧的检测框间的马氏距离,以及当前帧检测目标与跟踪器内储存的外观特征向量间的最小余弦距离。综合两个关联度量进行数据匹配,采用匈牙利算法解决分配问题。这个过程是一个循环,从age=0的轨迹(即上一帧轨迹匹配上)到age=30的轨迹(即丢失轨迹的最大帧数30帧)依次和检测结果进行匹配。也就是说,对于没有丢失过的轨迹赋予优先匹配的权利,而丢失的最久的轨迹最后匹配。在目标匹配后采用卡尔曼滤波对目标位置进行更新,再参与下一次预测。
根据检测框内图像获取128维的特征向量作为外观特征,通过对比第i个追踪器的成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离,来判断检测目标是否是同一个人。对每一个追踪目标构建一个gallary,存储追踪器成功关联的最近100帧的特征向量。外观提取网络在NVIDIA GeForce GTX2080的GPU加速下,32个检测框的前向推断大约需要30ms,因此适用于在线的实时跟踪。这一扩展使我们能够对长时间遮挡的对象进行跟踪,从而有效地减少ID变换的数量。
对通过级联匹配筛选出的未匹配上的检测框(unmatched detection)与待匹配的跟踪目标再做IOU(交并比)匹配。将只有一帧为匹配的跟踪器看做候选项(trackcandidate),计算unmatched detection和track candidate之间的距离(IOU distance),并将阈值设为0.7用于删除距离较大的匹配,并删除IOU较小对。经过两次匹配得到最终的匹配结果(matched、unmatched tracks和unmatched detection)并返回。
解决卡尔曼预测状态与检测目标之间关联的可以用匈牙利算法进行分配。此处我们的度量集成运动信息和外观特征。对于运动信息度量,我们计算卡尔曼预测状态和检测框之间的平方马氏(Mahalanobis)距离:
di,j1=(dj-yi)TSi -1(dj-yi) (1)
其中,(yi,Si)表示第i个跟踪器预测值在度量空间的分布,dj表示第j个检测框。计算检测框距离跟踪器位置的平均标准差得到马氏距离。此外通过阈值排除不可能的关联。如下:
如果第i个跟踪器与第j个检测框达成关联,则评估为1。
为了弥补运动复杂时距离度量进行跟踪的不足,我们将第二个度量集成进来。对于每个框检测dj,我们计算外观特征向量rj。对于确定状态的跟踪器,我们用一个库储存其最近的100个相关的外观特征向量。通过计算检测器i与跟踪器j在外观空间中的最小余弦距离获得第二个度量:
同样地,引入一个二进制变量来限定这个度量是否允许关联。
阈值t2的大小通过计算跟踪目标外观特征的预训练CNN单独训练得到。其网络结构见附图3。在组合关联度量中,两个度量从不同方面相互补充。一方面,马氏距离提供了基于可能的物体运动位置的信息,这些信息对于短期预测特别有用。另一方面,余弦距离考虑外观信息,这些信息为长期遮挡后恢复跟踪提供依据。综合两者,我们使用加权和将这两个度量组合在一起:
ci,j=λdi,j1+(1-λ)di,j2
根据阈值排除距离较大的关联,综合后的阈值:
bi,j=bi,j1+bi,j2
其中,ci,j为加权度量,λ为权重,di,j1为距离度量,di,j2为外观度量,bi,j为阈值;
步骤(5):
对于跟踪算法返回的同一ID的行人目标,首先选取跟踪框内某一点(如左下角)为基准。对于水平方向的绊线,先判断坐标点的y值是否在绊线y坐标的范围之内,然后取坐标点的x坐标值与绊线的x坐标值进行比较。对于垂直方向的绊线,先判断坐标点的x值是否在绊线x坐标的范围之内,然后取坐标点的y坐标值与绊线的y坐标值进行比较。如果跟踪框坐标在跟踪周期内出现在绊线两侧则认为此目标存在跨越绊线行为;有多条绊线的情况则对所有跟踪目标按绊线分别独立判断。
步骤(6):
对于断面客流量统计,当某个ID下跟踪目标存在行人跨越绊线时,则将其视为有效客流并计入客流总数,同时计算客流量变化的速度得到实时的客流趋势;对于行人逆行行为检测,首先设定逆行方向和时间段,利用指定区域排除掉不在控制区域内的跟踪目标。当某个ID下跟踪目标顺序跨越绊线,且此顺序与设定的逆行方向一致时,则判定此目标为逆行。此时将此目标标注并给出报警信号。
本实施例还提供一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测系统,包括以下步骤:
目标检测模型训练模块:
通过对地铁监控视频进行抽帧取图进行重新命名,收集得到30000张图像;然后使用LabelImg标注软件对视频图像数据进行标注,标注类别为“person”,将标注框的坐标信息存储在对应图片名称的XML文件中。样本选择需要多样性要求。
以darknet53作为基础的特征提取网络搭建检测网络,对地铁行人数据进行迭代训练;训练参数设置为:批处理图片数量Batch Size:64,初始学习速率Learning Rate:0.001,冲量常数Momentum:0.9,权重衰减系数Decay:0.0005,Anchor Numbers:9,预选框大小为(3,5),(7,11),(11,21),(17,27),(23,41),(33,54),(45,81),(69,120),(108,203)、经过200000次迭代训练,网络损失函数下降并收敛,得到目标检测模型。
外观特征训练模块:
下载行人重识别样本集Mars,其中包含636个人、12180个小段轨迹、68万张样本,使用darknet框架按照附图3搭建10层的CNN外观特征抽取网络,如图3所示,训练参数设置为:批处理图片数量Batch Size:128,初始学习速率Learning Rate:0.001,冲量常数Momentum:0.9,权重衰减系数Decay:0.0005,类别:636。迭代100000次得到特征提取模型以用于提取检测内目标的外观特征向量。外观特征抽取网络是一个10层的卷积结构,包含2个卷积层,1个最大值池化层,6个残差层,1个dense层,其中第3层池化层、第6层残差层、第8层残差层分别做了下采样,最后批归一化得到128维向量作为外观特征度量。
绊线设置模块:
根据实际场景设置用于判断行人跨越的绊线:绊线为判断跟踪目标是否跨越指定位置的判断依据。具体的设计原则为:根据监控场景内的客流流动控制方向来设定绊线,避开人群易密集、遮挡的区域,选择在画面的空旷区域画取一条水平(客流为上下行走)或垂直(客流为左右行走)的线段。对于断面客流量来说,绊线可选取在地铁站内楼梯口、扶梯口、闸机口等区域以便于逐一计数,对于双向通道可设置两条或多条绊线分别进行客流量统计。行人逆行检测一般针对扶梯、楼梯等有严格限定客流方向的区域,为排除区域外行人的干扰可限定ROI区域,绊线可选取在限定区域的上下三分之一处。
目标追踪模块:
搭建多目标跟踪算法运行环境,选择搭载有NVIDIA GeForce GTX 2080 Ti显卡,内存>32G的,安装有windows10操作系统的服务器。安装CUDA 10.0、CUDNN 7.6.0、Python3.6及相关依赖库、OpenCV3.4.2、Visual Studio 2013等依赖环境。
本发明采用DeepSort算法进行行人跟踪,跟踪算法的主流程为:行人目标检测→外观特征提取、轨迹卡尔曼滤波运动预测→相似度计算→使用匈牙利算法将预测后的跟踪器和当前帧中的检测框进行数据关联(级联匹配和IOU匹配)。卡尔曼滤波算法对目标位置进行预测和更新,匈牙利匹配算法计算代价矩阵得到最佳匹配。
接入地铁监控视频,解码抽帧后输入算法,加载预训练的YOLOV3检测模型和CNN外观特征抽取模型,在线多目标跟踪算法将检测器和跟踪器集成起来。跟踪在逐帧检测的基础上执行数据关联,首先利用YOLOV3算法检测出当前帧内的行人目标的检测框,其中,采用非极大值抑制(NMS)和置信度对检测框进行筛选,NMS值设为0.6,置信度thresh设为0.7。然后针对检测目标分别计算描述其表观特征的128维向量。
为检测目标初始化跟踪器,根据其状态将跟踪器分为Tentative、Confirmed和Deleted,对检测目标和跟踪器进行级联匹配,根据距离信息和外观特征进行相似度估计,也就是计算卡尔曼预测后的框和当前帧的检测框间的马氏距离,以及当前帧检测目标与跟踪器内储存的外观特征向量间的最小余弦距离。综合两个关联度量进行数据匹配,采用匈牙利算法解决分配问题。这个过程是一个循环,从age=0的轨迹(即上一帧轨迹匹配上)到age=30的轨迹(即丢失轨迹的最大帧数30帧)依次和检测结果进行匹配。也就是说,对于没有丢失过的轨迹赋予优先匹配的权利,而丢失的最久的轨迹最后匹配。在目标匹配后采用卡尔曼滤波对目标位置进行更新,再参与下一次预测。
根据检测框内图像获取128维的特征向量作为外观特征,通过对比第i个追踪器的成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离,来判断检测目标是否是同一个人。对每一个追踪目标构建一个gallary,存储追踪器成功关联的最近100帧的特征向量。外观提取网络在NVIDIA GeForce GTX2080的GPU加速下,32个检测框的前向推断大约需要30ms,因此适用于在线的实时跟踪。这一扩展使我们能够对长时间遮挡的对象进行跟踪,从而有效地减少ID变换的数量。
对通过级联匹配筛选出的未匹配上的检测框(unmatched detection)与待匹配的跟踪目标再做IOU(交并比)匹配。将只有一帧为匹配的跟踪器看做候选项(trackcandidate),计算unmatched detection和track candidate之间的距离(IOU distance),并将阈值设为0.7用于删除距离较大的匹配,并删除IOU较小对。经过两次匹配得到最终的匹配结果(matched、unmatched tracks和unmatched detection)并返回。
解决卡尔曼预测状态与检测目标之间关联的可以用匈牙利算法进行分配。此处我们的度量集成运动信息和外观特征。对于运动信息度量,我们计算卡尔曼预测状态和检测框之间的平方马氏(Mahalanobis)距离:
di,j1=(dj-yi)TSi -1(dj-yi) (1)
其中,(yi,Si)表示第i个跟踪器预测值在度量空间的分布,dj表示第j个检测框。计算检测框距离跟踪器位置的平均标准差得到马氏距离。此外通过阈值排除不可能的关联。如下:
如果第i个跟踪器与第j个检测框达成关联,则评估为1。
为了弥补运动复杂时距离度量进行跟踪的不足,我们将第二个度量集成进来。对于每个框检测dj,我们计算外观特征向量rj。对于确定状态的跟踪器,我们用一个库储存其最近的100个相关的外观特征向量。通过计算检测器i与跟踪器j在外观空间中的最小余弦距离获得第二个度量:
同样地,引入一个二进制变量来限定这个度量是否允许关联。
阈值t2的大小通过计算跟踪目标外观特征的预训练CNN单独训练得到。其网络结构见附图3。在组合关联度量中,两个度量从不同方面相互补充。一方面,马氏距离提供了基于可能的物体运动位置的信息,这些信息对于短期预测特别有用。另一方面,余弦距离考虑外观信息,这些信息为长期遮挡后恢复跟踪提供依据。综合两者,我们使用加权和将这两个度量组合在一起:
ci,j=λdi,j1+(1-λ)di,j2
根据阈值排除距离较大的关联,综合后的阈值:
bi,j=bi,j1+bi,j2
其中,ci,j为加权度量,λ为权重,di,j1为距离度量,di,j2为外观度量,bi,j为阈值;
行为判断模块:
对于跟踪算法返回的同一ID的行人目标,首先选取跟踪框内某一点(如左下角)为基准。对于水平方向的绊线,先判断坐标点的y值是否在绊线y坐标的范围之内,然后取坐标点的x坐标值与绊线的x坐标值进行比较。对于垂直方向的绊线,先判断坐标点的x值是否在绊线x坐标的范围之内,然后取坐标点的y坐标值与绊线的y坐标值进行比较。如果跟踪框坐标在跟踪周期内出现在绊线两侧则认为此目标存在跨越绊线行为;有多条绊线的情况则对所有跟踪目标按绊线分别独立判断。
客流量和逆行计算模块:
对于断面客流量统计,当某个ID下跟踪目标存在行人跨越绊线时,则将其视为有效客流并计入客流总数,同时计算客流量变化的速度得到实时的客流趋势;对于行人逆行行为检测,首先设定逆行方向和时间段,利用指定区域排除掉不在控制区域内的跟踪目标。当某个ID下跟踪目标顺序跨越绊线,且此顺序与设定的逆行方向一致时,则判定此目标为逆行。此时将此目标标注并给出报警信号。以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法,其特征在于:包括以下步骤
S01.目标检测模型训练,采用地铁站监控视频制作样本集,对目标跟踪算法进行训练,得到目标检测模型;
S02.外观特征描述模型训练,采用行人再识别数据集训练表观特征抽取网络,得到特征提取模型,用于提取检测目标外观特征向量;
S03.绊线设置,根据实际场景设置用于判断行人跨越的绊线,作为判断行人跨越行为的依据;
S04.目标追踪,获取地铁站内监控视频,将视频解码抽帧,输入目标检测模型,目标检测模型获取初始的行人检测框,特征提取模型根据检测框内的目标得到外观特征向量;依据检测框的位置信息和提取出的外观特征向量进行目标跟踪匹配,循环迭代确定跟踪目标的目标ID号并返回;
S05.行为判断,对于同一目标ID号的行人目标,判断其检测框坐标与绊线的位置关系;根据检测框是否在一定时期内出现在绊线两侧,来判断其是否存在跨越绊线行为;
S06.客流量和逆行计算,根据行人目标的跨越行为,统计计算出视频区域内的断面客流量,同时判断特定区域是否存在行人逆行行为,并给出报警信号。
2.根据权利要求1所述的一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法,其特征在于:所述步骤S01中,采用YOLO V3检测算法作为目标跟踪算法的检测器,以darknet53为基础的特征提取网络作为检测器的backbone,对样本集进行迭代训练。
3.根据权利要求2所述的一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法,其特征在于:所述步骤S02中,使用darknet深度学习框架搭建CNN外观特征抽取网络,离线训练得到特征提取模型。
4.根据权利要求3所述的种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法,其特征在于:所述CNN外观特征抽取网络为10层,分别为2个卷积层,1个最大值池化层,6个残差层,1个全连接层;其中,对样本数据进行三次下采样,最后批归一化得到128维向量作为外观特征度量向量。
5.根据权利要求1所述的种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法,其特征在于:所述步骤S03中绊线垂直于客流行进方向,设置于地铁站内楼梯口、扶梯口、闸机口区域。
6.根据权利要求4所述的一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法,其特征在于:所述步骤S04具体为:接入地铁监控视频,解码抽帧后输入YOLOV3检测算法中获取当前帧内的检测目标的检测框,YOLOV3检测算法采用非极大值抑制和置信度对检测框进行筛选,然后再采用10层的CNN外观特征抽取网络对检测框内检测目标分别计算其外观特征的128维向量。
7.根据权利要求4所述的一种基于多目标跟踪算法的地铁端面客流量统计和行人逆行检测方法,其特征在于:所述步骤S04中的目标跟踪匹配为先对检测目标和跟踪器进行级联匹配,然后针对级联匹配中筛选出的未匹配的检测目标再进行IOU匹配;
所述级联匹配为先采用多目标跟踪算法进行目标跟踪,进行距离度量,具体为:对跟踪目标执行卡尔曼滤波,同时使用匈牙利匹配方法对目标ID进行逐帧关联;其中,卡尔曼滤波器为
di,j1=(dj-yi)TSi -1(dj-yi) (1)
其中,(yi,Si)表示第i个跟踪器预测值在度量空间的分布,dj表示第j个检测框;计算检测框距离跟踪器位置的平均标准差得到马氏距离;
然后,通过计算检测器i和跟踪器j的外观空间中的最小余弦距离获得外观度量
然后采用加权和将距离度量和外观度量组合,得到
ci,j=λdi,j1+(1-λ)di,j2
根据阈值排除距离较大的关联,综合后的阈值:
bi,j=bi,j1+bi,j2
其中,ci,j为加权度量,λ为权重,di,j1为距离度量,di,j2为外观度量,bi,j为阈值;
所述IOU匹配具体为:首先,计算卡尔曼预测的每个跟踪器位置和实际检测目标之间的平方马氏距离,以及实际检测目标的外观特征向量和每个跟踪器内储存的特征之间的最小余弦距离,将超过阈值的对应值置为最大,然后使用匈牙利算法求取跟踪器与实际检测目标之间的线性分配,最后,筛选掉余弦距离过大的匹配后再更新匹配成功和未匹配的结果并返回。
8.一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测系统,其特征在于:包括
目标检测模型训练模块,采用地铁站监控视频制作样本集,对目标跟踪算法进行训练,得到目标检测模型;
外观特征训练模块,采用行人再识别数据集训练表观特征抽取网络,得到特征提取模型,用于提取检测目标外观特征向量;
绊线设置模块,根据实际场景设置用于判断行人跨越的绊线,作为判断行人跨越行为的依据;
目标追踪模块,获取地铁站内监控视频,将视频解码抽帧,输入目标检测模型,目标检测模型获取初始的行人检测框,特征提取模型根据检测框内的目标得到外观特征向量;依据检测框的位置信息和提取出的外观特征向量进行目标跟踪匹配,循环迭代确定跟踪目标的目标ID号并返回;
行为判断模块,对于同一目标ID号的行人目标,判断其检测框坐标与绊线的位置关系;根据检测框是否在一定时期内出现在绊线两侧,来判断其是否存在跨越绊线行为;
客流量和逆行计算模块,根据行人目标的跨越行为,统计计算出视频区域内的断面客流量,同时判断特定区域是否存在行人逆行行为,并给出报警信号。
9.根据权利要求8所述的检测系统,其特征在于:所述目标跟踪模型训练模块中使用darknet深度学习框架搭建CNN外观特征抽取网络,离线训练得到目标跟踪模型;
所述CNN外观特征抽取网络为10层,分别为2个卷积层,1个最大值池化层,6个残差层,1个全连接层;其中,对样本数据进行三次下采样,最后批归一化得到128维向量作为外观特征度量。
10.根据权利要求8所述的检测系统,其特征在于:所述目标追踪模块中,的目标跟踪匹配为先对检测目标和跟踪器进行级联匹配,然后针对级联匹配中筛选出的未匹配的检测目标再进行IOU匹配;
所述级联匹配为先采用多目标跟踪算法进行目标跟踪,进行距离度量,具体为:对跟踪目标执行卡尔曼滤波,同时使用匈牙利匹配方法对目标ID进行逐帧关联;其中,卡尔曼滤波器为
di,j1=(dj-yi)TSi -1(dj-yi) (1)
其中,(yi,Si)表示第i个跟踪器预测值在度量空间的分布,dj表示第j个检测框;计算检测框距离跟踪器位置的平均标准差得到马氏距离;
然后,通过计算检测器i和跟踪器j的外观空间中的最小余弦距离获得外观度量
然后采用加权和将距离度量和外观度量组合,得到
ci,j=λdi,j1+(1-λ)di,j2
根据阈值排除距离较大的关联,综合后的阈值:
bi,j=bi,j1+bi,j2
其中,ci,j为加权度量,λ为权重,di,j1为距离度量,di,j2为外观度量,bi,j为阈值;
所述IOU匹配具体为:首先,计算卡尔曼预测的每个跟踪器位置和实际检测目标之间的平方马氏距离,以及实际检测目标的外观特征向量和每个跟踪器内储存的特征之间的最小余弦距离,将超过阈值的对应值置为最大,然后使用匈牙利算法求取跟踪器与实际检测目标之间的线性分配;最后,筛选掉余弦距离过大的匹配后再更新匹配成功和未匹配的结果并返回。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010681138.8A CN111860282B (zh) | 2020-07-15 | 2020-07-15 | 地铁断面客流量统计和行人逆行检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010681138.8A CN111860282B (zh) | 2020-07-15 | 2020-07-15 | 地铁断面客流量统计和行人逆行检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111860282A true CN111860282A (zh) | 2020-10-30 |
CN111860282B CN111860282B (zh) | 2022-12-16 |
Family
ID=72984293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010681138.8A Active CN111860282B (zh) | 2020-07-15 | 2020-07-15 | 地铁断面客流量统计和行人逆行检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111860282B (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112435277A (zh) * | 2020-12-11 | 2021-03-02 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种监控场景下限定区域内目标跟踪方法及系统 |
CN112560641A (zh) * | 2020-12-11 | 2021-03-26 | 北京交通大学 | 基于视频的双向客流通道中的单向客流信息检测方法 |
CN112633205A (zh) * | 2020-12-28 | 2021-04-09 | 北京眼神智能科技有限公司 | 基于头肩检测的行人追踪方法及装置、电子设备、存储介质 |
CN112669349A (zh) * | 2020-12-25 | 2021-04-16 | 北京竞业达数码科技股份有限公司 | 一种客流统计方法、电子设备及存储介质 |
CN112668432A (zh) * | 2020-12-22 | 2021-04-16 | 上海幻维数码创意科技股份有限公司 | 一种基于YoloV5和DeepSort的地面互动投影系统中人体检测跟踪方法 |
CN112668538A (zh) * | 2021-01-06 | 2021-04-16 | 鞍钢矿业爆破有限公司 | 一种装药操作行为规范监控方法 |
CN112785627A (zh) * | 2021-02-02 | 2021-05-11 | 电子科技大学 | 一种基于重识别技术的多目标跟踪方法 |
CN112800841A (zh) * | 2020-12-28 | 2021-05-14 | 深圳市捷顺科技实业股份有限公司 | 一种行人计数方法、装置、系统及计算机可读存储介质 |
CN112836640A (zh) * | 2021-02-04 | 2021-05-25 | 浙江工业大学 | 一种单摄像头多目标行人跟踪方法 |
CN112906590A (zh) * | 2021-03-02 | 2021-06-04 | 东北农业大学 | 一种基于FairMOT的多目标跟踪人流量监测方法 |
CN112927535A (zh) * | 2021-01-07 | 2021-06-08 | 沈阳聚德视频技术有限公司 | 一种基于视觉技术的智能临时信号灯及其实现方法 |
CN113034548A (zh) * | 2021-04-25 | 2021-06-25 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
CN113139442A (zh) * | 2021-04-07 | 2021-07-20 | 青岛以萨数据技术有限公司 | 一种图像跟踪方法、装置、存储介质及电子设备 |
CN113158813A (zh) * | 2021-03-26 | 2021-07-23 | 精英数智科技股份有限公司 | 流动目标实时统计方法及装置 |
CN113221808A (zh) * | 2021-05-26 | 2021-08-06 | 新疆爱华盈通信息技术有限公司 | 一种基于图像识别的餐盘计数统计方法及装置 |
CN113297903A (zh) * | 2021-04-16 | 2021-08-24 | 广州地铁设计研究院股份有限公司 | 一种地铁客流数据获取方法、存储介质及计算机设备 |
CN113313733A (zh) * | 2021-05-19 | 2021-08-27 | 西华大学 | 基于共享卷积的分级无人机目标跟踪方法 |
CN113537170A (zh) * | 2021-09-16 | 2021-10-22 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 一种交通路况智能监测方法和计算机可读存储介质 |
CN113592785A (zh) * | 2021-07-09 | 2021-11-02 | 浙江大华技术股份有限公司 | 一种目标流量统计方法及装置 |
CN113743260A (zh) * | 2021-08-23 | 2021-12-03 | 北京航空航天大学 | 一种地铁站台密集人流情况下的行人跟踪方法 |
CN113903058A (zh) * | 2021-11-19 | 2022-01-07 | 上海玉贲智能科技有限公司 | 一种基于区域人员识别的智能控制系统 |
CN114155475A (zh) * | 2022-01-24 | 2022-03-08 | 杭州晨鹰军泰科技有限公司 | 无人机视角下端到端的人员动作识别方法、设备及介质 |
CN114241397A (zh) * | 2022-02-23 | 2022-03-25 | 武汉烽火凯卓科技有限公司 | 一种边防视频智能分析方法及系统 |
CN114332749A (zh) * | 2021-11-16 | 2022-04-12 | 河海大学 | 一种基于深度学习的采砂船采砂监控方法 |
CN114821795A (zh) * | 2022-05-05 | 2022-07-29 | 北京容联易通信息技术有限公司 | 一种基于ReID技术的人员跑动检测和预警方法及系统 |
CN115158365A (zh) * | 2022-06-29 | 2022-10-11 | 广州顺如电子科技有限公司 | 站台门轨行区侧复杂空间全时域交通信息感知装置及方法 |
CN115410155A (zh) * | 2022-08-31 | 2022-11-29 | 珠海数字动力科技股份有限公司 | 一种基于多目标跟踪的人流量统计方法 |
CN116128883A (zh) * | 2023-04-19 | 2023-05-16 | 尚特杰电力科技有限公司 | 一种光伏板数量统计方法、装置、电子设备及存储介质 |
CN116935446A (zh) * | 2023-09-12 | 2023-10-24 | 深圳须弥云图空间科技有限公司 | 行人重识别方法、装置、电子设备及存储介质 |
CN117953546A (zh) * | 2024-03-27 | 2024-04-30 | 沈阳二一三电子科技有限公司 | 一种基于多目标跟踪的行人逆行判断方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532852A (zh) * | 2019-07-09 | 2019-12-03 | 长沙理工大学 | 基于深度学习的地铁站行人异常事件检测方法 |
CN111126152A (zh) * | 2019-11-25 | 2020-05-08 | 国网信通亿力科技有限责任公司 | 一种基于视频的多目标行人检测与跟踪的方法 |
CN111144247A (zh) * | 2019-12-16 | 2020-05-12 | 浙江大学 | 一种基于深度学习的自动扶梯乘客逆行检测方法 |
-
2020
- 2020-07-15 CN CN202010681138.8A patent/CN111860282B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532852A (zh) * | 2019-07-09 | 2019-12-03 | 长沙理工大学 | 基于深度学习的地铁站行人异常事件检测方法 |
CN111126152A (zh) * | 2019-11-25 | 2020-05-08 | 国网信通亿力科技有限责任公司 | 一种基于视频的多目标行人检测与跟踪的方法 |
CN111144247A (zh) * | 2019-12-16 | 2020-05-12 | 浙江大学 | 一种基于深度学习的自动扶梯乘客逆行检测方法 |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112435277A (zh) * | 2020-12-11 | 2021-03-02 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种监控场景下限定区域内目标跟踪方法及系统 |
CN112560641A (zh) * | 2020-12-11 | 2021-03-26 | 北京交通大学 | 基于视频的双向客流通道中的单向客流信息检测方法 |
CN112435277B (zh) * | 2020-12-11 | 2022-09-02 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种监控场景下限定区域内目标跟踪方法及系统 |
CN112668432A (zh) * | 2020-12-22 | 2021-04-16 | 上海幻维数码创意科技股份有限公司 | 一种基于YoloV5和DeepSort的地面互动投影系统中人体检测跟踪方法 |
CN112669349A (zh) * | 2020-12-25 | 2021-04-16 | 北京竞业达数码科技股份有限公司 | 一种客流统计方法、电子设备及存储介质 |
CN112669349B (zh) * | 2020-12-25 | 2023-12-05 | 北京竞业达数码科技股份有限公司 | 一种客流统计方法、电子设备及存储介质 |
CN112633205A (zh) * | 2020-12-28 | 2021-04-09 | 北京眼神智能科技有限公司 | 基于头肩检测的行人追踪方法及装置、电子设备、存储介质 |
CN112800841B (zh) * | 2020-12-28 | 2024-05-17 | 深圳市捷顺科技实业股份有限公司 | 一种行人计数方法、装置、系统及计算机可读存储介质 |
CN112800841A (zh) * | 2020-12-28 | 2021-05-14 | 深圳市捷顺科技实业股份有限公司 | 一种行人计数方法、装置、系统及计算机可读存储介质 |
CN112668538A (zh) * | 2021-01-06 | 2021-04-16 | 鞍钢矿业爆破有限公司 | 一种装药操作行为规范监控方法 |
CN112927535A (zh) * | 2021-01-07 | 2021-06-08 | 沈阳聚德视频技术有限公司 | 一种基于视觉技术的智能临时信号灯及其实现方法 |
CN112927535B (zh) * | 2021-01-07 | 2023-04-18 | 沈阳聚德视频技术有限公司 | 一种基于视觉技术的智能临时信号灯及其实现方法 |
CN112785627A (zh) * | 2021-02-02 | 2021-05-11 | 电子科技大学 | 一种基于重识别技术的多目标跟踪方法 |
CN112836640B (zh) * | 2021-02-04 | 2024-04-19 | 浙江工业大学 | 一种单摄像头多目标行人跟踪方法 |
CN112836640A (zh) * | 2021-02-04 | 2021-05-25 | 浙江工业大学 | 一种单摄像头多目标行人跟踪方法 |
CN112906590A (zh) * | 2021-03-02 | 2021-06-04 | 东北农业大学 | 一种基于FairMOT的多目标跟踪人流量监测方法 |
CN113158813A (zh) * | 2021-03-26 | 2021-07-23 | 精英数智科技股份有限公司 | 流动目标实时统计方法及装置 |
CN113139442A (zh) * | 2021-04-07 | 2021-07-20 | 青岛以萨数据技术有限公司 | 一种图像跟踪方法、装置、存储介质及电子设备 |
CN113297903A (zh) * | 2021-04-16 | 2021-08-24 | 广州地铁设计研究院股份有限公司 | 一种地铁客流数据获取方法、存储介质及计算机设备 |
CN113297903B (zh) * | 2021-04-16 | 2024-06-28 | 广州地铁设计研究院股份有限公司 | 一种地铁客流数据获取方法、存储介质及计算机设备 |
CN113034548A (zh) * | 2021-04-25 | 2021-06-25 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
CN113313733A (zh) * | 2021-05-19 | 2021-08-27 | 西华大学 | 基于共享卷积的分级无人机目标跟踪方法 |
CN113221808A (zh) * | 2021-05-26 | 2021-08-06 | 新疆爱华盈通信息技术有限公司 | 一种基于图像识别的餐盘计数统计方法及装置 |
CN113592785A (zh) * | 2021-07-09 | 2021-11-02 | 浙江大华技术股份有限公司 | 一种目标流量统计方法及装置 |
CN113743260A (zh) * | 2021-08-23 | 2021-12-03 | 北京航空航天大学 | 一种地铁站台密集人流情况下的行人跟踪方法 |
CN113743260B (zh) * | 2021-08-23 | 2024-03-05 | 北京航空航天大学 | 一种地铁站台密集人流情况下的行人跟踪方法 |
CN113537170A (zh) * | 2021-09-16 | 2021-10-22 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 一种交通路况智能监测方法和计算机可读存储介质 |
CN114332749A (zh) * | 2021-11-16 | 2022-04-12 | 河海大学 | 一种基于深度学习的采砂船采砂监控方法 |
CN114332749B (zh) * | 2021-11-16 | 2024-04-19 | 河海大学 | 一种基于深度学习的采砂船采砂监控方法 |
CN113903058A (zh) * | 2021-11-19 | 2022-01-07 | 上海玉贲智能科技有限公司 | 一种基于区域人员识别的智能控制系统 |
CN114155475A (zh) * | 2022-01-24 | 2022-03-08 | 杭州晨鹰军泰科技有限公司 | 无人机视角下端到端的人员动作识别方法、设备及介质 |
CN114155475B (zh) * | 2022-01-24 | 2022-05-17 | 杭州晨鹰军泰科技有限公司 | 无人机视角下端到端的人员动作识别方法、设备及介质 |
CN114241397A (zh) * | 2022-02-23 | 2022-03-25 | 武汉烽火凯卓科技有限公司 | 一种边防视频智能分析方法及系统 |
CN114241397B (zh) * | 2022-02-23 | 2022-07-08 | 武汉烽火凯卓科技有限公司 | 一种边防视频智能分析方法及系统 |
CN114821795B (zh) * | 2022-05-05 | 2022-10-28 | 北京容联易通信息技术有限公司 | 一种基于ReID技术的人员跑动检测和预警方法及系统 |
CN114821795A (zh) * | 2022-05-05 | 2022-07-29 | 北京容联易通信息技术有限公司 | 一种基于ReID技术的人员跑动检测和预警方法及系统 |
CN115158365A (zh) * | 2022-06-29 | 2022-10-11 | 广州顺如电子科技有限公司 | 站台门轨行区侧复杂空间全时域交通信息感知装置及方法 |
CN115158365B (zh) * | 2022-06-29 | 2024-08-09 | 广州顺如电子科技有限公司 | 站台门轨行区侧复杂空间全时域交通信息感知装置及方法 |
CN115410155A (zh) * | 2022-08-31 | 2022-11-29 | 珠海数字动力科技股份有限公司 | 一种基于多目标跟踪的人流量统计方法 |
CN116128883A (zh) * | 2023-04-19 | 2023-05-16 | 尚特杰电力科技有限公司 | 一种光伏板数量统计方法、装置、电子设备及存储介质 |
CN116935446A (zh) * | 2023-09-12 | 2023-10-24 | 深圳须弥云图空间科技有限公司 | 行人重识别方法、装置、电子设备及存储介质 |
CN116935446B (zh) * | 2023-09-12 | 2024-02-20 | 深圳须弥云图空间科技有限公司 | 行人重识别方法、装置、电子设备及存储介质 |
CN117953546A (zh) * | 2024-03-27 | 2024-04-30 | 沈阳二一三电子科技有限公司 | 一种基于多目标跟踪的行人逆行判断方法 |
CN117953546B (zh) * | 2024-03-27 | 2024-06-11 | 沈阳二一三电子科技有限公司 | 一种基于多目标跟踪的行人逆行判断方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111860282B (zh) | 2022-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111860282B (zh) | 地铁断面客流量统计和行人逆行检测方法及系统 | |
CN108875588B (zh) | 基于深度学习的跨摄像头行人检测跟踪方法 | |
CN110147743B (zh) | 一种复杂场景下的实时在线行人分析与计数系统及方法 | |
Owens et al. | Application of the self-organising map to trajectory classification | |
CN101325691B (zh) | 融合不同生存期的多个观测模型的跟踪方法和跟踪装置 | |
Lin et al. | Abandoned object detection via temporal consistency modeling and back-tracing verification for visual surveillance | |
Xu et al. | A people counting system based on head-shoulder detection and tracking in surveillance video | |
US9569531B2 (en) | System and method for multi-agent event detection and recognition | |
Ekinci et al. | Silhouette based human motion detection and analysis for real-time automated video surveillance | |
Mahajan et al. | A framework for activity recognition and detection of unusual activities | |
Pore et al. | Bidirectional people counting system in video surveillance | |
Makhmutova et al. | Object tracking method for videomonitoring in intelligent transport systems | |
Mahapatra et al. | Human recognition system for outdoor videos using Hidden Markov model | |
CN111209781A (zh) | 一种统计室内人数的方法及装置 | |
CN112149557A (zh) | 一种基于人脸识别的人物身份跟踪方法及系统 | |
Farooq et al. | Unsupervised video surveillance for anomaly detection of street traffic | |
Sharif et al. | Deep crowd anomaly detection: state-of-the-art, challenges, and future research directions | |
Lu et al. | Detecting unattended packages through human activity recognition and object association | |
Kokul et al. | Online multi-person tracking-by-detection method using ACF and particle filter | |
Taha et al. | Exploring behavior analysis in video surveillance applications | |
Shbib et al. | Distributed monitoring system based on weighted data fusing model | |
Badgujar et al. | A Survey on object detect, track and identify using video surveillance | |
Revathi et al. | A survey of activity recognition and understanding the behavior in video survelliance | |
Marsiano et al. | Deep Learning-Based Anomaly Detection on Surveillance Videos: Recent Advances | |
Wen et al. | People tracking and counting for applications in video surveillance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |