CN112365520B - 一种基于视频大数据资源效能测评的行人目标实时追踪系统及方法 - Google Patents
一种基于视频大数据资源效能测评的行人目标实时追踪系统及方法 Download PDFInfo
- Publication number
- CN112365520B CN112365520B CN202010550808.2A CN202010550808A CN112365520B CN 112365520 B CN112365520 B CN 112365520B CN 202010550808 A CN202010550808 A CN 202010550808A CN 112365520 B CN112365520 B CN 112365520B
- Authority
- CN
- China
- Prior art keywords
- tracking
- video
- target
- pedestrian
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims description 55
- 238000012544 monitoring process Methods 0.000 claims description 54
- 239000013598 vector Substances 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012916 structural analysis Methods 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 12
- 238000007726 management method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 3
- 238000010223 real-time analysis Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于视频大数据资源效能测评的行人目标实时追踪系统及方法，本方案由行人追踪模块在接收外部系统提供的追踪目标图像和发现位置后，启动资源调度模块进行资源调度，利用追踪目标出现位置附近的视频大数据资源进行视频追踪，定期向高维特征快速检索模块发出检索命令，展示返回的检索结果，确认发现追踪目标后，本轮行人目标追踪结束；将本轮发现追踪目标的视频大数据资源点位信息发送至资源效能测评模块，进行追踪起点漂移，调用资源调度模块进行资源调度，进行下一轮行人目标追踪。本方案可有效提升街面巡逻管控人员对目标人员的直接见面率。
Description
技术领域
本发明涉及本发明属于视频大数据应用领域，具体涉及基于视频大数据的行人目标实时追踪技术。
背景技术
经过多年的建设，中国公安和社会面的视频监控点位数量稳步增长，覆盖面有效提升，各类抓拍卡口和治安监控作为延伸到社会各个角落的“触角”，为公安、城管、交通等政府部门全面实时掌握行人和车辆的运动轨迹提供了可靠的数据基础，成为了视频大数据系统的重要资源。近年来，随着人脸算法的快速成熟以及人像卡口设备的大量部署，基于人脸识别算法的重点关注人员检测与发现成为了实际工作中进行人员管控的重要手段。
在实际应用过程中，对出现在道路及重要场合的目标人员进行识别与报警只是管控的第一步，更重要的是要完成与目标人员的见面与盘查，才能实现对目标人员的挤压和行为警示。由于街面巡逻的管控人员(如公安民警等)数量有限，因此，从发出目标人员预警到街面巡逻人员赶到现场之间至少有20分钟左右的时间差，这20分钟内，目标人员早已远离初始发现的位置，为提高对目标人员的见面率，需充分利用安装密度远高于人像卡口的治安监控(即视频大数据资源)，通过对实时监控视频流进行解析比对来实现对目标人员的实时追踪，从而提高街面巡逻管控人员与目标人员的直接见面率，有效提升治安防控效果。
利用监控视频实现目标人员的实时跨镜追踪，最有效的手段是对现有的监控视频流进行全量解析，目标人员无论出现在哪个监控摄像头视野范围内都能发现其踪迹。但是，视频解析计算量巨大，目前的硬件能力根本无法实现对全量视频流的解析，仅能支持少量视频流的实时分析。
发明内容
针对现有人像卡口发现目标人员后无法进行实时人员运动轨迹追踪而导致街面巡逻管控人员直接见面率较低的问题，需要一种高效且可行的行人目标实时追踪方案。
为此，本发明的目的在于提供一种基于视频大数据资源效能测评的行人目标实时追踪系统，并基于该系统提供一种行人目标实时追踪方法，本方案能够实现高效追踪视角始终紧跟追踪目标的效果。
为了达到上述目的，本发明提供的基于视频大数据资源效能测评的行人目标实时追踪系统，包括：视频流接入模块(1)、视频解析模块(2)、任务队列(3)、高维特征快速检索模块(4)、资源效能测评模块(5)、资源调度模块(6)和行人追踪模块(7)，
所述的视频流接入模块根据资源调度模块的调度指令，进行监控实时视频流的接入，形成整个系统的数据输入源；
所述的视频解析模块根据当前可用的计算资源选择效能值较高的视频大数据资源提供的实时视频流进行并行解析，检测出现在视频中的行人目标，生成行人的结构化特征向量，作为目标追踪匹配识别的背景数据；
所述的任务队列接收视频解析模块产生的并行输入，进行串行化后供高维特征快速检索模块读取，实现并行视频解析结果产生的海量数据缓冲；
所述的高维特征快速检索模块从任务队列读取结构化后的行人特征向量及关联信息，计算与追踪目标的相似度后插入本模块管理的内存数据库中，根据行人追踪模块的要求，检索指定时间范围内出现的行人目标，返回相似度目标；
所述的资源效能测评模块评估视频大数据资源的效能，给出量化效能值，作为资源调度的依据；
所述的资源调度模块调用资源效能评估模块，对当前追踪起点周围的视频大数据资源进行效能评估，选择效能值最高的一批视频大数据资源加入备选资源池；
所述的行人追踪模块进行追踪任务的启动和结束，对外提供数据接口用于接收追踪目标的图像及发现位置，启动视频追踪后，向高维特征快速检索模块发起检索命令，并展示追踪结果。
进一步地，所述的视频流接入模块基于国标GB/T 28181-2016与监控视频汇聚平台进行对接，并根据资源调度模块的调度指令，快速完成系统当前接入监控视频流的切换，为视频解析模块提供输入数据。
进一步地，所述的视频解析模块，对接入的视频大数据资源提供的视频流进行并行解析，实时检测出现在视频流中的行人目标，计算行人目标的特征向量，将由行人目标出现的视频监控摄像机ID、行人目标出现的时间、行人目标描述信息、场景截图以及行人目标的特征向量等信息组成的结构化数据写入任务队列。
进一步地，所述的任务队列接收视频解析模块并行输入的由行人目标出现的视频监控摄像机编号、行人目标出现的时间、行人目标描述信息、场景截图以及行人目标的特征向量等信息组成的结构化数据，形成串行数据流，并向高维特征快速检索模块提供读取接口。
进一步地，所述的高维特征快速检索模块从任务队列读取由行人目标出现的视频监控摄像机编号、行人目标出现的时间、行人目标描述信息、场景截图以及行人目标特征向量等信息组成的结构化数据，计算本次读取的行人目标与待追踪行人目标之间基于特征向量的相似度，写入内存数据库；所述的高维特征快速检索模块根据行人追踪模块的指令要求，检索指定时间范围内出现的行人目标，返回相似度目标。
进一步的，所述的资源效能测评模块综合视频大数据资源与追踪起点的相对位置及历史成效等数据，综合测评视频大数据资源的效能值，作为资源调度的依据。
进一步的，所述的行人追踪模块接收输入的需追踪行人目标图像及发现追踪目标位置信息，调用资源调度模块启动视频追踪，定时调用高维特征快速检索模块进行行人目标检索，显示过去的一段时间内与追踪目标相似度最高的目标；在完成追踪目标确认后，进行追踪起点漂移，确保始终追随跟踪目标。
进一步的，追踪起点漂移时，根据最近一次发现追踪目标的监控设备点位信息动态调整追踪起点，始终确保追踪起点贴近追踪目标。
为了达到上述目的，本发明提供的基于视频大数据资源效能测评的行人目标实时追踪方法，所述方法基于多因素测评视频大数据资源的综合效能并量化为效能值，在进行追踪起点切换时，自动选择效能值较高的资源集作为本次分析的视频数据来源，进行资源优化选择。
进一步的，根据最近一次发现追踪目标的监控设备点位信息动态调整追踪起点，始终确保追踪起点贴近追踪目标。
进一步地，所述追踪方法包括：
首先，接收需追踪的行人目标图像，对行人目标进行结构化解析，获得行人目标的特征描述向量；
接着，将获得行人目标图像的卡口位置作为追踪起点，利用视频大数据资源效能测评的结论，动态接入位于追踪起点周围且效能值较高的n路治安监控视频流，对视频流进行实时并行解析，提取其中的行人目标，计算行人目标特征描述向量；
接着，利用高维特征快速检索技术实现追踪目标与监控视频中行人的快速比对检索，显示相似度最高的目标；
接着，选取确认发现追踪目标，追踪起点即漂移至最近获得追踪目标的监控点位，释放上一轮追踪所使用的计算资源，重新按照视频大数据资源效能值动态接入追踪起点周围的治安监控视频流，进入新一轮追踪，直到经过长时间的检索都无法发现追踪目标。
本发明提供的方案利用视频大数据资源覆盖面广的特点，基于视频大数据资源测评及优化调度实现资源合理配置、基于视频大数据实时解析及精确匹配实现目标人员识别、基于追踪起点漂移实现目标人员贴近追踪，用户基于以上追踪结果可指导街面巡逻人员赶赴准确的实时位置，有效提升街面巡逻管控人员对目标人员的直接见面率。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1为本发明实例中基于视频大数据资源效能测评的行人目标实时追踪系统架构图；
图2为本发明实例中基于视频大数据资源效能测评的行人目标实时追踪系统整体工作流程图；
图3为本发明实例中资源优化调度流程示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
本方案将广泛分布于城市及市郊的视频监控摄像头都视作视频大数据资源，并采用基于视频大数据资源效能测评的资源优化调度技术和基于运动轨迹的追踪起点动态漂移技术，实现视频分析计算资源的优化调度和目标行人的实时贴近追踪。
据此，本方案给出了一种基于视频大数据资源效能测评的行人目标实时追踪系统。该系统将所有能够接入分析的监控摄像头都视作视频大数据资源，以追踪目标的图像及发现目标的视频资源(摄像头)所在点位作为系统应用输入，启动行人目标视频追踪过程，依据当前点位周边视频大数据资源的效能测评值进行资源优化匹配，根据追踪目标的发现情况进行视频追踪起点动态漂移，实现始终紧随追踪目标的效果，有效提升行人目标追踪的实时性和有效性。
本系统在运行过程中基于多因素测评视频大数据资源(即监控视频设备)的综合效能并量化为效能值(效能值越高越具有再次利用价值)，在进行追踪起点切换时，自动选择效能值较高的资源集作为本次分析的视频数据来源(即接入效能值较高的监控视频流进行实时视频分析)，实现资源的优化选择，将有限的视频解析计算资源运用于更有效的视频大数据资源解析。
进一步的，本系统根据最近一次发现追踪目标的监控设备点位信息动态调整追踪起点，始终确保追踪起点贴近追踪目标，有效提升在视频大数据资源提供的实时视频流中发现追踪目标的概率。
参见图1，其所示为本实例给出的基于视频大数据资源效能测评的行人目标实时追踪系统的结构示例图。
具体的，由图可知，该系统主要由视频流接入模块(1)、视频解析模块(2)、任务队列(3)、高维特征快速检索模块(4)、资源效能测评模块(5)、资源调度模块(6)和行人追踪模块(7)相互配合协调构成。
其中视频流接入模块(1)对接资源调度模块(6)和视频解析模块(2)。视频流接入模块(1)从资源调度模块(6)接收资源接入切换命令以及备选资源池，从视频解析模块(2)获取当前可用的视频解析计算资源，选择效能值较高的n个视频大数据资源基于国标GB/T28181-2016从监控视频汇聚平台(外部系统)完成接入，根据资源调度模块(6)的调度指令，快速完成系统当前接入监控视频流的切换，并向视频解析模块(2)解析切换命令，为视频解析模块(2)提供输入数据。本模块是全系统的数据流入口。
视频解析模块(2)对接视频流接入模块(1)和任务队列(3)。视频解析模块(2)从视频流接入模块(1)接收解析切换命令后，停止当前的视频解析任务，将视频解析计算资源切换用于解析本次视频流接入模块(1)接入的实时视频流，实时检测出现在视频流中的行人目标，计算行人目标的特征向量，作为目标追踪匹配识别的背景数据；将由行人目标出现的视频监控摄像机ID、行人目标出现的时间、行人目标描述信息(衣着、是否佩戴帽子、眼镜等)、场景截图以及行人目标的特征向量等信息组成的结构化数据，并将解析所得的行人结构化描述数据写入任务队列(3)。本模块支持基于GPU的并行视频解析，用以提高解析效率。
任务队列(3)对接视频解析模块(2)和高维特征快速检索模块(4)。任务队列(3)接收视频解析模块(2)输出的并行解析结果，进行数据缓冲，向高维特征快速检索模块(4)提供读取接口。
具体的，本任务队列接收视频解析模块并行输入的由行人目标出现的视频监控摄像机编号、行人目标出现的时间、行人目标描述信息、场景截图以及行人目标的特征向量等信息组成的结构化数据，形成串行数据流，并向高维特征快速检索模块(4)提供读取接口，便于高维特征快速检索模块读取，实现并行视频解析结果产生的海量数据缓冲，起到数据缓冲和数据防丢失的作用。
高维特征快速检索模块(4)对接任务队列(3)和行人追踪模块(7)。
该高维特征快速检索模块(4)从任务队列(3)中读取由行人目标出现的视频监控摄像机编号、行人目标出现的时间、行人目标描述信息、场景截图以及行人目标特征向量等信息组成的结构化数据，计算与每个行人与待追踪行人目标之间基于特征向量的相似度，并将行人结构化描述数据(内容包括人描述特征、行人目标的特征向量，行人目标出现的时间、“捕获”行人目标的视频大数据资源点位ID、视频场景截图)及相似度写入由本模块维护的内存数据库中，用于实时检索。本模块还接收行人追踪模块(7)的数据检索命令，检索指定时间范围内出现的行人目标，如将上次检索以来与追踪目标相似度最高的前20个行人结构化描述数据返回至行人追踪模块(7)，做到毫秒级响应。
再者，本高维特征快速检索模块(4)在适当的时机将内存数据库中已完成检索的数据写入外部数据库，完成数据的持久化存储。
资源效能测评模块(5)对接资源调度模块(6)和行人追踪模块(7)。该模块综合视频大数据资源所在位置、所提供的视频数据质量、历史数据有效性等因素，评估视频大数据资源的效能，给出量化效能值，作为资源调度的依据。
具体的，该资源效能测评模块(5)接收资源调度模块(6)资源测评命令以及本次测评的起始点(即追踪起点)，采用预设定的策略计算起始点附近所有视频大数据资源的效能值，并返回至资源调度模块(6)，作为资源调度的依据。资源效能测评模块(5)接收行人追踪模块(7)给出的追踪目标确认信息，作为效能评估的重要参考因素。
作为举例，本实例中资源效能测评模块(5)所采用的视频大数据资源效能测评策略如：
a)效能测评针对单个视频大数据资源(即当个视频监控摄像机)进行，考虑的因素包含以下方面：
当前视频大数据资源的清晰度，反映当前资源本身的性能，清晰度越高本项得分越高。
当前视频大数据资源一年以内(可配置)的历史在线率，反映当前资源的运行稳定性，历史在线率越高本项得分越高。
当前视频大数据资源一年以内(可配置)的历史行人检出率，反映当前资源在行人检测方面能起的作用，历史行人检出率越高本项得分越高。
当前视频大数据资源一年以内(可配置)发现追踪目标的概率，反映追踪目标经过当前资源的概率，概率值越高本项得分越高。
当前视频大数据资源与追踪起点的距离，反映追踪目标出现在当前资源视野范围内可能性，距离越近本项得分越高。
当前视频大数据资源是否在追踪目标行进方向的前方，行进方向前方的资源本项得分明显高于行进方向后方的资源。
b)将以上因素进行量化，加权计算获得当前视频大数据资源的效能值。
c)各因素的加权值在系统运行过程中可做调整，确保对本次追踪更有价值的视频大数据资源能够加入备选资源池并保证排名靠前。
资源调度模块(6)对接资源效能测评模块(5)、行人追踪模块(7)、视频解析模块(2)和视频流接入模块(1)。该模块调用资源效能评估模块，对当前追踪起点周围的视频大数据资源进行效能评估，选择效能值最高的一批视频大数据资源加入备选资源池。
具体的，本资源调度模块(6)接收行人追踪模块(7)的追踪启动(切换)命令和追踪起点，调用资源效能测评模块(5)进行视频大数据资源效能评估，依据效能值和可用的视频解析计算资源生成备选资源池，发送到视频流接入模块(1)，作为本次追踪下一轮可接入的视频大数据资源。
作为举例，本实例中资源调度模块(6)资源调度过程如下(参见图3)：
①接收行人追踪模块(7)发出的追踪启动(切换)命令。
②从行人追踪模块(7)获取本次追踪起点L，设置待评估范围R为2公里(即评估追踪起点周围2公里范围内的视频大数据资源)。
③从视频解析模块(2)获取当前计算资源能够并行解析的视频大数据资源数Sc。
④从监控视频汇聚平台(外部系统)获取以追踪起点L为中心，待评估范围R为半径的圆形区域内的视频大数据资源，形成待评估资源池，资源数量为St。
⑤若Sc/St的值不大于1.5，则增加待评估范围R的值，转④。
⑥调用资源效能测评模块(5)对待评估资源池内所有视频大数据资源进行效能值测评，给出评估值并排序。
⑦上调待评估资源池中符合以下条件的视频大数据资源进行效能值，调整幅度为10％：
A)6个月内最新上线。
B)被列入备选资源池次数小于当前待评估资源池中80％的视频大数据资源。
⑧生成备选资源池，并将备选资源池中的视频大数据资源ID及效能值发送至视频流接入模块(1)。
⑨向视频流接入模块(1)发送资源接入切换命令。
行人追踪模块(7)对接高维特征快速检索模块(4)、资源效能测评模块(5)和资源调度模块(6)。该行人追踪模块进行追踪任务的启动和结束，对外提供数据接口用于接收追踪目标的图像及发现位置，启动视频追踪后，向高维特征快速检索模块发起检索命令，向用户提供人机界面展示追踪的结果，用户利用此人机界面实现追踪结果的确认。
具体的，该行人追踪模块(7)作为系统的应用入口，用于接收追踪目标的图像及发现位置信息，并向用户提供人机接口。该模块在接收输入的需追踪行人目标图像及发现追踪目标位置信息后，启动资源调度模块(6)启动视频追踪，进行资源调度，利用追踪目标出现位置附近的视频大数据资源进行视频追踪，定期向高维特征快速检索模块(4)发出检索命令，即定时调用高维特征快速检索模块(4)进行行人目标检索，展示返回的检索结果(如在系统人机界面上显示过去的一段时间内与追踪目标相似度最高的TOP20)，由用户确认是否为追踪目标；用户确认发现追踪目标后，本轮行人目标追踪结束。将本轮发现追踪目标的视频大数据资源点位信息发送至资源效能测评模块(5)，进行追踪起点漂移，调用资源调度模块(6)进行资源调度，进行下一轮行人目标追踪。
由此形成的基于视频大数据资源效能测评的行人目标实时追踪系统，其在运行时，充分利用当前正在大量建设的治安监控，将每一路视频监控设备都视为视频大数据资源，基于视频结构化和高维特征快速检索等技术，采用基于视频大数据资源效能测评的资源优化调度及基于运动轨迹的追踪起点动态漂移思路，在某一人像卡口发现重点关注行人目标后，通过视频追踪实现行人目标的连续实时追踪。系统充分利用治安监控获取的视频数据，有效辅助用户完成重点关注行人目标的实时追踪及轨迹描述，便于采取下一步的防控措施。
具体的，本系统运行时，首先接收需追踪的行人目标图像(在某一人像卡口获得)，对行人目标进行结构化解析，获得行人目标的特征描述向量；
接着，将获得行人目标图像的卡口位置作为追踪起点，利用视频大数据资源效能测评的结论，动态接入位于追踪起点周围且效能值较高的n路(接入数量根据可用计算资源动态调整)治安监控视频流，对视频流进行实时并行解析，提取其中的行人目标，计算行人目标特征描述向量；
接着，利用高维特征快速检索技术实现追踪目标与监控视频中行人的快速比对检索，向用户显示相似度最高的TOP20，由用户确认是否发现追踪目标；
最后，一旦用户确认发现追踪目标，追踪起点即漂移至最近获得追踪目标(用户确认)的监控点位，释放上一轮追踪所使用的计算资源，重新按照视频大数据资源效能值动态接入追踪起点周围的治安监控视频流，进入新一轮追踪，直到经过长时间的检索都无法发现追踪目标(目标进入治安监控盲区)或街面的巡逻人员已接触到追踪目标为止。
通过对以上的过程进行复演，考虑行人的运动特性，可精确刻画追踪目标的本次运动轨迹。
以下结合本基于视频大数据资源效能测评的行人目标实时追踪系统的构成，具体说明一下基于本系统进行行人目标实时追踪的实施过程。
如图2所示，基于本系统进行行人目标实时追踪的过程主要包括如下步骤：
①系统的行人追踪模块(7)提供的数据接口接收其他系统输入需追踪的行人目标全身图像(正面图像能够提高追踪的准确率)，并附带行人目标出现的位置(或提供发现追踪目标的监控设备点位信息)。调用资源调度模块(6)启动一轮视频追踪过程。
②资源调度模块(6)调用资源效能测评模块(5)进行当前点位周边视频大数据资源的效能评估，并按照当前可用计算资源将效能值较高的视频大数据资源加入备选资源池。
③视频流接入模块(1)根据当前可用视频解析计算资源从备选资源池中选择效能值最高的n个视频大数据资源，将这些资源提供的视频流接入系统。
④视频解析模块(2)对视频接入模块接入的实时视频流进行并行解析，检测视频流中的行人目标，提取行人描述特征，计算行人目标的特征向量，连同行人目标出现的时间及“捕获”行人目标的视频大数据资源点位ID等组成结构化数据写入任务队列(3)。
⑤任务队列(3)完成并行输入的串行化，形成待处理队列。
⑥高维特征快速检索模块(4)从任务队列(3)中读取待处理的行人结构化数据，计算与追踪目标的相似度，写入内存数据库中。
⑦行人追踪模块(7)定期调用高维特征快速检索模块(4)，将最近一段时间内相似度最高的前20个行人目标显示在人机界面上，由用户确认追踪目标是否出现。
⑧行人追踪模块(7)根据用户的确认结果进行追踪起点的动态漂移，转②，进入下一轮视频追踪过程。经过长时间追踪无法发现追踪目标或用户中止，视频追踪过程结束。
本实例给出的基于视频大数据资源效能测评的行人目标实时追踪系统作为一种视频监控大数据资源的深化应用手段，其基于视频解析、多维向量快速检索等技术，运用追踪起点漂移，资源效能测评及优化调度等方法，通过视频流接入模块、视频解析模块、任务队列、高维特征快速检索模块、资源效能测评模块、资源调度模块和行人追踪模块协同运行，实现基于视频大数据的重点关注行人目标实时追踪。本系统可在很大程度上解决当前人像卡口发现重点关注行人目标后难以实时掌握目标行踪及视频大数据资源利用率较低等现实问题。考虑到视频大数据资源数据量大、视频解析计算复杂度高等特点，系统采用了基于GPU的并行视频解析技术，提高同时接入解析的视频大数据资源。同时，为了提升视频解析计算资源的利用效率，系统计算并维护每路视频大数据资源的效能值，尽可能接入效能值较高的视频流进行实时解析，将有限的计算资源尽可能应用于更有效的视频资源，从而提升视频解析计算资源的利用效率。
再者，本行人目标实时追踪系统在具体应用时，具有以下技术效果：
(1)接入的标准性。在本发明所描述的基于视频大数据资源效能测评的行人目标实时追踪系统中，基于国标GB/T 28181-2016进行视频资源的接入，保证了系统数据输入的标准性，使得系统能够尽可能多地利用已建成的视频监控资源。
(2)计算的高效性。系统采用了基于GPU的并行视频解析技术，能够同时对多路视频监控数据资源进行实时分析，扩展追踪的范围。同时，系统支持通过扩展GPU计算服务器的方式实现系统并行解析能力的平滑扩展。
(3)资源的优选性。系统综合图像质量、建设年份、单位时间目标检测量、历史目标命中次数等因素计算监控摄像头的可用值，将可用值较高的摄像头产生的视频监控数据优先接入计算，确保计算资源高效利用。
(4)应用的实战性。系统针对实战过程中发现的问题展开设计，提出了基于目标运动轨迹的追踪起点漂移技术，能够有效加长针对重点关注行人目标的追踪时长。
上述本发明的方法，或特定系统单元、或其部份单元，为纯软件架构，可以透过程序代码布设于实体媒体，如硬盘、光盘片、或是任何电子装置(如智能型手机、计算机可读取的储存媒体)，当机器加载程序代码且执行(如智能型手机加载且执行)，机器成为用以实行本发明的装置。上述本发明的方法与装置亦可以程序代码型态透过一些传送媒体，如电缆、光纤、或是任何传输型态进行传送，当程序代码被机器(如智能型手机)接收、加载且执行，机器成为用以实行本发明的装置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (11)
1.基于视频大数据资源效能测评的行人目标实时追踪系统，其特征在于，包括：视频流接入模块、视频解析模块、任务队列、高维特征快速检索模块、资源效能测评模块、资源调度模块和行人追踪模块，
所述的视频流接入模块根据资源调度模块的调度指令，进行监控实时视频流的接入，形成整个系统的数据输入源；
所述的视频解析模块根据当前可用的计算资源选择效能值较高的视频大数据资源提供的实时视频流进行并行解析，检测出现在视频中的行人目标，生成行人的结构化特征向量，作为目标追踪匹配识别的背景数据；
所述的任务队列接收视频解析模块产生的并行输入，进行串行化后供高维特征快速检索模块读取，实现并行视频解析结果产生的海量数据缓冲；
所述的高维特征快速检索模块从任务队列读取结构化后的行人特征向量及关联信息，计算与追踪目标的相似度后插入本模块管理的内存数据库中，根据行人追踪模块的要求，检索指定时间范围内出现的行人目标，返回相似度目标；
所述的资源效能测评模块评估视频大数据资源的效能，给出量化效能值，作为资源调度的依据；
所述的资源调度模块调用资源效能评估模块，对当前追踪起点周围的视频大数据资源进行效能评估，选择效能值最高的一批视频大数据资源加入备选资源池；
所述的行人追踪模块进行追踪任务的启动和结束，对外提供数据接口用于接收追踪目标的图像及发现位置，启动视频追踪后，向高维特征快速检索模块发起检索命令，并展示追踪结果。
2.根据权利要求1所述的行人目标实时追踪系统，其特征在于，所述的视频流接入模块基于国标GB/T 28181-2016与监控视频汇聚平台进行对接，并根据资源调度模块的调度指令，快速完成系统当前接入监控视频流的切换，为视频解析模块提供输入数据。
3.根据权利要求1所述的行人目标实时追踪系统，其特征在于，所述的视频解析模块，对接入的视频大数据资源提供的视频流进行并行解析，实时检测出现在视频流中的行人目标，计算行人目标的特征向量，将由行人目标出现的视频监控摄像机ID、行人目标出现的时间、行人目标描述信息、场景截图以及行人目标的特征向量等信息组成的结构化数据写入任务队列。
4.根据权利要求1所述的行人目标实时追踪系统，其特征在于，所述的任务队列接收视频解析模块并行输入的由行人目标出现的视频监控摄像机编号、行人目标出现的时间、行人目标描述信息、场景截图以及行人目标的特征向量等信息组成的结构化数据，形成串行数据流，并向高维特征快速检索模块提供读取接口。
5.根据权利要求1所述的行人目标实时追踪系统，其特征在于，所述的高维特征快速检索模块从任务队列读取由行人目标出现的视频监控摄像机编号、行人目标出现的时间、行人目标描述信息、场景截图以及行人目标特征向量等信息组成的结构化数据，计算本次读取的行人目标与待追踪行人目标之间基于特征向量的相似度，写入内存数据库；所述的高维特征快速检索模块根据行人追踪模块的指令要求，检索指定时间范围内出现的行人目标，返回相似度目标。
6.根据权利要求1所述的行人目标实时追踪系统，其特征在于，所述的资源效能测评模块综合视频大数据资源与追踪起点的相对位置及历史成效等数据，综合测评视频大数据资源的效能值，作为资源调度的依据。
7.根据权利要求1所述的行人目标实时追踪系统，其特征在于，所述的行人追踪模块接收输入的需追踪行人目标图像及发现追踪目标位置信息，调用资源调度模块启动视频追踪，定时调用高维特征快速检索模块进行行人目标检索，显示过去的一段时间内与追踪目标相似度最高的目标；在完成追踪目标确认后，进行追踪起点漂移，确保始终追随跟踪目标。
8.根据权利要求7所述的行人目标实时追踪系统，其特征在于，追踪起点漂移时，根据最近一次发现追踪目标的监控设备点位信息动态调整追踪起点，始终确保追踪起点贴近追踪目标。
9.基于视频大数据资源效能测评的行人目标实时追踪方法，其特征在于，所述方法基于多因素测评视频大数据资源的综合效能并量化为效能值，在进行追踪起点切换时，自动选择效能值较高的资源集作为本次分析的视频数据来源，进行资源优化选择。
10.根据权利要求9所述的行人目标实时追踪方法，其特征在于，根据最近一次发现追踪目标的监控设备点位信息动态调整追踪起点，始终确保追踪起点贴近追踪目标。
11.根据权利要求9所述的行人目标实时追踪方法，其特征在于，所述追踪方法包括：
首先，接收需追踪的行人目标图像，对行人目标进行结构化解析，获得行人目标的特征描述向量；
接着，将获得行人目标图像的卡口位置作为追踪起点，利用视频大数据资源效能测评的结论，动态接入位于追踪起点周围且效能值较高的n路治安监控视频流，对视频流进行实时并行解析，提取其中的行人目标，计算行人目标特征描述向量；
接着，利用高维特征快速检索技术实现追踪目标与监控视频中行人的快速比对检索，显示相似度最高的目标；
接着，选取确认发现追踪目标，追踪起点即漂移至最近获得追踪目标的监控点位，释放上一轮追踪所使用的计算资源，重新按照视频大数据资源效能值动态接入追踪起点周围的治安监控视频流，进入新一轮追踪，直到经过长时间的检索都无法发现追踪目标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010550808.2A CN112365520B (zh) | 2020-06-16 | 2020-06-16 | 一种基于视频大数据资源效能测评的行人目标实时追踪系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010550808.2A CN112365520B (zh) | 2020-06-16 | 2020-06-16 | 一种基于视频大数据资源效能测评的行人目标实时追踪系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112365520A CN112365520A (zh) | 2021-02-12 |
| CN112365520B true CN112365520B (zh) | 2024-01-30 |
Family
ID=74516659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010550808.2A Active CN112365520B (zh) | 2020-06-16 | 2020-06-16 | 一种基于视频大数据资源效能测评的行人目标实时追踪系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365520B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113596396B (zh) * | 2021-07-27 | 2024-05-14 | 上海悠络客电子科技股份有限公司 | 一种基于gb28181的目标跟踪系统 |
| CN113326834B (zh) * | 2021-08-04 | 2021-10-15 | 湖南乐泊科技有限公司 | 基于视频追踪的挪车方法、系统及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1577305A (zh) * | 2003-07-28 | 2005-02-09 | 华为技术有限公司 | 一种并行处理的方法及系统 |
| CN105491377A (zh) * | 2015-12-15 | 2016-04-13 | 华中科技大学 | 一种计算复杂度感知的视频解码宏块级并行调度方法 |
| CN109344267A (zh) * | 2018-09-06 | 2019-02-15 | 苏州千视通视觉科技股份有限公司 | 基于pgis地图的接力追踪方法及系统 |
| CN110245268A (zh) * | 2019-06-26 | 2019-09-17 | 银河水滴科技（北京）有限公司 | 一种路线确定、展示的方法及装置 |
-
2020
- 2020-06-16 CN CN202010550808.2A patent/CN112365520B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1577305A (zh) * | 2003-07-28 | 2005-02-09 | 华为技术有限公司 | 一种并行处理的方法及系统 |
| CN105491377A (zh) * | 2015-12-15 | 2016-04-13 | 华中科技大学 | 一种计算复杂度感知的视频解码宏块级并行调度方法 |
| CN109344267A (zh) * | 2018-09-06 | 2019-02-15 | 苏州千视通视觉科技股份有限公司 | 基于pgis地图的接力追踪方法及系统 |
| CN110245268A (zh) * | 2019-06-26 | 2019-09-17 | 银河水滴科技（北京）有限公司 | 一种路线确定、展示的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112365520A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292240B (zh) | 一种基于人脸与人体识别的找人方法及系统 | |
| CN102843547B (zh) | 一种嫌疑目标智能追踪方法和系统 | |
| CN101646067B (zh) | 数字化全空间智能监控系统及方法 | |
| CN107705574A (zh) | 一种精准快速的道路违章停车全自动抓拍系统 | |
| WO2016202027A1 (zh) | 一种物体移动轨迹识别方法及系统 | |
| CN105574506A (zh) | 基于深度学习和大规模集群的智能人脸追逃系统及方法 | |
| CN101778260A (zh) | 一种基于结构化描述的视频监控管理方法及系统 | |
| CN102231820B (zh) | 一种监控图像处理的方法、装置和系统 | |
| CN112365520B (zh) | 一种基于视频大数据资源效能测评的行人目标实时追踪系统及方法 | |
| CN104093001A (zh) | 一种在线动态视频浓缩方法 | |
| EP2735984A1 (en) | Video query method, device and system | |
| Gaikwad et al. | Smart surveillance system for real-time multi-person multi-camera tracking at the edge | |
| CN102595105A (zh) | 一种基于gis地图镜头角度信息配置的应用方法 | |
| Chang et al. | AI City Challenge 2019-City-Scale Video Analytics for Smart Transportation. | |
| CN105357496A (zh) | 一种多源大数据融合的视频监控行人身份识别方法 | |
| CN109872541A (zh) | 一种车辆信息分析方法及装置 | |
| KR20110035662A (ko) | 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 | |
| CN111767432B (zh) | 共现对象的查找方法和装置 | |
| CN113239792A (zh) | 一种大数据分析处理系统和方法 | |
| CN112580470A (zh) | 城市视觉感知方法、装置、电子设备和存储介质 | |
| CN114170556A (zh) | 目标轨迹追踪方法及装置、存储介质、电子设备 | |
| CN102789645B (zh) | 一种用于周界防范的多目标快速跟踪方法 | |
| KR20170095599A (ko) | 동영상 검색 시스템 및 그 방법 | |
| CN117292247A (zh) | 基于YOLOv8算法和跟踪算法的改进型室内危险场景检测方法 | |
| CN112383751A (zh) | 一种监控视频数据处理方法、装置、终端设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |