CN117911944A - 一种基于视觉计算的监控数据无侵入式采集的方法 - Google Patents
一种基于视觉计算的监控数据无侵入式采集的方法 Download PDFInfo
- Publication number
- CN117911944A CN117911944A CN202311862046.XA CN202311862046A CN117911944A CN 117911944 A CN117911944 A CN 117911944A CN 202311862046 A CN202311862046 A CN 202311862046A CN 117911944 A CN117911944 A CN 117911944A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- moving object
- monitoring
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000000007 visual effect Effects 0.000 title claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 15
- 239000000523 sample Substances 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000000691 measurement method Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000003672 processing method Methods 0.000 claims description 16
- 238000010276 construction Methods 0.000 claims description 12
- 230000009191 jumping Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000013440 design planning Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000012827 research and development Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000012351 Integrated analysis Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉计算的监控数据无侵入式采集的方法,该方法包括启动监控设备,生成无侵入校验码并插入无侵入式探针,获取监控视频流;对传入的监控视频流进行预处理,获得背景图像建模结果;将背景图像建模结果作为视频片段第一帧进行视频分割,获得独立的视频片段;根据独立的视频片段,构建监控数据无侵入式采集算法模型,对独立视频片段的移动对象进行提取,获得移动对象的关键字与标号信息;根据移动对象的关键字与标号信息,构建移动对象的相似性度量方法,将高于相似度阈值的移动对象进行集成并写入移动对象视频流数据库;本发明解决了监控视频数据处理中对视频分割和提取关键信息的自动化处理,减少了大量的人工操作。
Description
技术领域
本发明涉及视觉计算与信息融合技术领域,特别涉及一种基于视觉计算的监控数据无侵入式采集的方法。
背景技术
随着计算机技术、微电子技术、信息技术等相关领域的飞速发展,智能视频监控技术为城市管理、平安校园、商场监控、医院监控等方面的安全做出巨大贡献。然而,在工业园区场地的大范围监控中,视频监控的数据采集方法表现出较大的局限性:一是工业园区环境复杂多变,可能存在光照变化、遮挡物等因素,移动目标的追踪可能会变得更加困难,特别是当目标穿越不同摄像头的监控范围时,需要进行有效的目标跟踪和协同工作,且获取视频内容的过程往往需要花费接近原视频时长的时间,效率低下;二是高清视频逐渐成为趋势,大范围监控会产生大量的视频数据,需要大量的存储空间和计算资源进行数据处理和分析,增加了系统的复杂性和成本,对视频数据的存储带来了巨大的压力,海量视频的结构化处理,成为当下亟需解决的难题之一。实现计算机视觉的智能化与视频监控技术的紧密结合、研发更为成熟可行的智能视频监控技术体系,已经成为当今社会发展的迫切需求和各界关注的焦点问题。
基于视觉计算的监控视频采集方法在现代监控系统中具有广泛的应用前景,使用Java代理技术和自定义类加载器,生成无侵入校验码插入无侵入探针的方式能够减少对应用系统研发的影响,实现了对监控视频流的校验和增强,使得技术栈的部署更加顺利。通过扩展无侵入采集方式,可以结合智能分析算法,实现自动识别和监测特定事件或对象,从而提升监控系统的实时监测能力,进一步提升监控系统的功能和性能。同时,无侵入采集方式也为监控系统的扩展和升级提供了更多的可能性,使其能够适应不断变化的需求和环境。基于视觉计算的监控视频采集方法是一种以移动对象行为为基础的监控技术,通常情况下,智能分析单元可放置于前端,能够直接接入数据端口并对监控视频数据进行分析处理,也可利用关键字与标号对现有的视频片段与录像存储进行动态化调节,以减轻网络带宽与存储容量,使计算机可以从大规模纷繁复杂的视频图像中分辨并识别出视频中的移动对象,便于安保人员的调取与分析。为方便监控视频数据的分析与使用,首先,要对其所在的监控场景进行背景模型提取,将场景中的静态背景与动态前景物体分离,减少噪声、排除光照变化等干扰因素;然后,通过借助视觉计算算法模型对视频片段进行分析处理;最后,将分析结果进行集成并写入数据库,对影像进行智能匹配,实现快速、自动化的目标检测和图像匹配,提高工作效率和准确性,以此达到对移动对象的高效搜索。
发明内容
本发明旨在提供一种基于视觉计算的监控数据无侵入式采集的方法,提高视频监控的数据采集的效率和质量。传统监控视频采集存在着许多问题,包括但不限于质量限制、视野受限、盲区问题、依赖人工操作和数据处理存储不便等缺陷。本发明通过采用先进的高清摄像、视觉计算、智能分析等技术,对工业园区场地实时监测,并应用视觉计算方法进行数据分析,以提升监控效果和便利性。本发明通过采用Java代理技术,在设备启动时动态修改字节码,生成基于安全哈希散列算法的无侵入校验码,允许设备插入无侵入式探针后实时获取监控视频流,无需额外的设备投入,通过视觉计算方法提取丰富的图像特征和信息,减轻了人工操作的负担,使得监控视频采集更加智能化和高效化。同时,本发明还可以有效地保护用户隐私,通过图像分割的采集方式,不需要直接获取个人敏感信息,而且可以根据具体需求进行灵活的配置或调整系统参数,提供了更加智能和高效的解决方案,为监控数据无侵入式采集提供了更加智能化和高效化的数据分析能力。
本发明的目的之一是通过以下技术方案实现的:
一种基于视觉计算的监控数据无侵入式采集的方法,包括以下步骤:
步骤S1:启动监控设备,生成无侵入校验码并插入无侵入式探针,获取监控视频流;
步骤S2:对传入的监控视频流进行预处理,获得背景图像建模结果;
步骤S3:将背景图像建模结果作为视频片段第一帧进行视频分割,获得独立的视频片段;
步骤S4:根据独立的视频片段,构建监控数据无侵入式采集算法模型,对独立视频片段的移动对象进行提取,获得移动对象的关键字与标号信息;
步骤S5:根据移动对象的关键字与标号信息,构建移动对象的相似性度量方法,将高于相似度阈值的移动对象进行集成并写入移动对象视频流数据库。
进一步,所述步骤S1具体包括:
步骤S101:根据场地设计规划情况,确定设备安装地点并设计敷设线路,将摄像头安装的重点区域划分成x个采集点,每个采集点内放置y个摄像头,确保全面地覆盖待监控区域并准确地收集图像数据;
步骤S102:启动监控设备,添加启动参数并加载无侵入式探针,获得监控设备校验字符Device;
步骤S103:创建自定义类加载器,修改视频流字节码并随机生成监控视频流校验字符Stream,生成无侵入校验码VER,无侵入校验码计算公式如下:
VER=Hash(Device+Stream)
其中,Hash()为哈希散列函数,将任意长度的信息转换为256位(即32字节)的大整数;
步骤S104:如果无侵入校验码VER通过系统校验,允许监控设备插入无侵入式探针,调用图像视频处理库的视频捕获模块获取监控视频流。
进一步,所述步骤S2具体包括:
步骤S201:将步骤S104获得的监控视频流在颜色空间上进行线性量化转换,计算红、绿、蓝三通道颜色值的平均值,得到第k帧像素点Pk(m,n)的灰度值Gk(m,n),灰度值计算公式如下:
其中,R、G、B分别为视频图像像素点对应的红、绿、蓝三通道颜色值,颜色值的取值范围为[0,255],m和n分别为像素点的横坐标和纵坐标;
步骤S202:根据阈值分割算法设定阈值THC,构建背景像素点判定法,对像素点逐个进行分类处理,得到备选背景图像的灰度值序列Bi(m,n);
步骤S203:将背景图像序列Bi(m,n)按照灰度值由小到大进行排序,使用中值法进行背景建模,得到第x个采集点的第y个摄像头的背景图像建模结果Bxy(m,n),计算公式如下:
Bxy(m,n)=mid{B1(m,n),B2(m,n),…,Bi(m,n)}
步骤S204:对每个摄像头采集的监控视频图像执行步骤S201、S202、S203,构建背景图像建模结果序列B(m,n)={B11(m,n),B12(m,n),…,Bxy(m,n)}。
进一步,所述步骤S202中背景像素点的判断方法为:
(1)提取第k帧像素点Pk(m,n)灰度值Gk(m,n)与第k-1帧像素点Pk-1(m,n)灰度值Gk-1(m,n);
(2)进行判断:若Gk(m,n)<Gk-1(m,n),则该背景像素点的分类处理方法为:
否则,则该背景像素点的分类处理方法为:
其中,ε、λ为光照敏感的抑制系数,NA为当前背景图像所包含的像素数目,THC为背景像素点分类处理方法的阈值;
(3)输出背景图像序列Bi(m,n)。
进一步,所述步骤S3具体包括:
步骤S301:根据第x个采集点的第y个摄像头采集的视频片段,构建视频序列S={S11,S12,…,Sxy};
步骤S302:根据图像处理方法对视频序列S进行处理,捕获视频片段Sxy的第一个输入帧fp,获取输入帧fp中移动对象q的光影总大小Op与总数量Np,其中,p为捕获帧的次数;
步骤S303:将背景图像建模结果Bxy(m,n)作为视频片段Sxy的第一帧,根据移动对象影响因子δ计算执行时间E,构建监控视频分割方法,对视频片段Sxy进行分割;
步骤S304:继续捕获下一个视频片段,对视频序列S中的每个视频片段执行步骤S302和步骤S303;
步骤S305:构建视频序列C={C1,C2,…,Cb},其中,b表示视频段的数量。
进一步,步骤S303中的监控视频分割方法具体流程为:
(1)捕获视频片段Sxy的输入帧fp,初始化变量Op=0、Np=0、Fn=0;
(2)计算输入帧fp移动对象的光影总大小Op与总数量Np;
(3)构建方法exeTime(),exeTime()的计算方法为:
exeTime(Op,Np)=δ*(Op-Np)+Np
其中,exeTime(Op,Np)的输出结果为E;
(4)进行判断:若exeTime(Op,Np)>THL,则将背景图像的建模结果写入当前视频片段的第一帧,当前视频片段记为Cb,跳转至步骤(1),其中THL为已知的成本执行时间阈值;
(5)输出分割后的视频序列C={C1,C2,…,Cb}。
进一步,所述步骤S4具体包括:
步骤S401:基于视频序列C的中的视频片段,使用视频均分帧处理方法获得抽取帧,构建抽取帧序列N={N1,N2,…,Nη},其中,η表示其对应的抽帧序号,计算公式如下:
其中,α为视频片段帧速率,T为视频片段时长,I为设置抽取帧的时间间隔;
步骤S402:对抽取帧序列进行边缘分析和滤波操作,构建无侵入式移动对象数据提取模型;根据抽取帧位置,设置移动对象q的关键字v与标号信息(取值为0或1);构建待集成移动对象序列Q={q1,q2,…,qv}。
进一步,步骤S402中的无侵入式移动对象特征提取方法并构建待集成移动对象序列的具体流程为:
(1)提取抽取帧序列N中的帧Nη;
(2)构建方法filt(),filt()的计算方法为:
d(x,y)=[Nη(x,y)-Nη(xc,yc)]2
其中,filt()为空间滤波函数,x为抽取帧序列Nη像素点的横坐标,y为抽取帧序列Nη像素点的纵坐标,xc为抽取帧序列Nη中心像素点的横坐标,yc为抽取帧序列Nη中心像素点的纵坐标,θ为标准差,d(x,y)为像素点Nη(x,y)与中心像素点的偏离差;
(3)进行判断:若移动对象的出现帧不是子视频序列Cb的第一帧,且移动对象的结束帧也不是子视频序列Cb的最后一帧,则不对该移动对象设置关键字与标号,并将该移动对象存入数据库中;
(4)进行判断:如果移动对象的出现帧是子视频序列的第一帧,则将该移动对象关键字标记为v-1,并分配标号1;
(5)进行判断:如果移动对象的结束帧是子视频序列的最后一帧,则将该移动对象关键字标记为v,并分配标号0;
(6)输出待集成移动对象序列Q={q1,q2,…,qv}。
进一步,所述步骤S5具体包括:
步骤S501:根据待集成移动对象序列Q,构建移动对象的相似性度量方法;
步骤S502:根据移动对象qv-1与移动对象q的灰度级频率,获得已标记移动对象qv-1与移动对象q的全局颜色直方图;
步骤S503:根据移动对象的灰度级频率与全局颜色直方图,获得移动对象相似性评估系数I;
步骤S504:已知相似度阈值THI,判断移动对象序列中相邻对象的相似性,将高于相似度阈值的移动对象进行集成,存入移动对象视频流数据库中。
进一步,步骤S5中包含的移动对象的相似性度量方法具体流程为:
(1)获取关键字为v、标号为0移动对象qv,及关键字为v-1、标号为1的移动对象qv-1;
(2)已知相似度阈值THI,构建方法sim(),sim()的计算方法为:
其中,为移动对象qv、qv-1的灰度级频率,分别为移动对象qv、qv-1的光影像素数,M为图像像素总数,分别为移动对象qv、qv-1的平均灰度直方图,L为监控视频图像的灰度级数,i为当前灰度级,Mi为当前灰度级的图像像素总数,sim()为相似性度量函数,sim()的输出结果为I;
(3)进行判断:若I>THI,则将移动对象qv与移动对象qv-1集成,否则跳转至步骤(1);
(4)输出包含移动对象q的视频片段。
本发明的目的之二是提供一种基于视觉计算的监控数据无侵入式采集的方法,包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如前所述的方法。
本发明的目的之三是提供一种计算机可读存储介质,其上储存有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如前所述的方法。
本发明的有益效果包括:
(1)无侵入式采集方式避免了对被采集对象的干扰和影响,可以降低监控数据采集的成本和复杂度,而当使用无侵入监控后,数据来源都是基于真实的内核层处理网络请求的时间,提供了解真实服务真实运行状态的能力。当启动监控设备后,全程无需埋点,即可收集应用程序的运行状态;
(2)通过生成无侵入校验码插入无侵入探针的方式能够减少对应用系统研发的影响,实现了对监控视频流的校验和增强,使得技术栈的部署更加顺利;此外,监控数据无侵入式采集方法在大规模流量下具有良好的安全性以及较低的资源消耗;
(3)无侵入式的采集方式能够通过物理接口提取目标终端的视频数据,无需额外设备或人力投入,实时分析视频流,自动进行数据处理和分析,无需等待离线处理,及时发现和应对潜在的安全威胁和风险,减轻了人工操作的负担,从而提高监控系统的响应速度和效率,保证监控数据来源的真实性和保密性;
(4)无侵入式采集装置可以根据实际需求进行灵活配置和调整,适应不同场景和应用要求,实现更准确的监控和控制。同时,监控数据采集装置可以与其他监控设备和系统进行无缝集成,将多个系统和设备的数据进行融合和分析,提供综合的监控解决方案,实现更深入、更全面的监控和分析,提高安全性和效率,为用户提供更多选择和优化空间,使其能够根据具体需求定制监控解决方案,满足不同行业和领域的需求;
(5)通过基于视觉计算的方法对监控数据进行实时采集和处理,能够在较短的时间内处理大数据量的监控视频数据,提取得到移动对象结构化的信息,尽可能保证了移动对象视频信息的完整性,大幅提高移动对象的提取速度,使得监控数据采集更加智能化和高效化。此外,通过对监控区域的全面覆盖和细节捕捉,综合多个采集点的摄像头所采集的信息,可以充分利用计算资源,提高监控数据的精度和准确性;
(6)相比传统监控方法,基于视觉计算的监控数据采集方法能够保护个人隐私信息,不需要对被采集对象进行任何物理接触或观察,可以有效保护个人隐私和数据安全,并且避免了对被采集对象的干扰和影响,可以保持被采集对象的自然状态,更加真实。此外,安保人员可以根据不同场景和应用需求,或根据不同的安全事件和威胁情况,对采集系统进行灵活的配置和调整,以保证安全防护的有效性和可靠性,所提出的算法模型能够更好地应对复杂多变的安全环境和威胁形式,提高数据采集模型的性能和适应能力;
(7)通过对大量的监控数据进行分析和存储,可以方便后续的监控数据的调取和回放,发现隐藏在数据中的有价值的信息和模式,对于事后的事故调查、证据收集以及犯罪侦查等方面具有重要意义。同时,采集系统所采集的数据能够为企业和机构提供全面的信息支持,通过对数据进行分析和挖掘,及时发现数据采集流程中存在的瓶颈和问题并进行调整和优化,帮助安保人员更好地了解和把握业务流程和运作情况,通过数据驱动的决策支持提高工作效率;
(8)通过设置多个摄像头,从工业园区的不同方位采集监控数据并进行融合和分析,使得监控系统能够获得更全面、更准确的信息,及时发现异常行为、物体或事件,并通过智能分析等视觉计算技术,揭示隐藏在海量数据中的有价值信息和模式,从而提高对监控事件的观察和分析能力,有助于预测和预防潜在的安全威胁,提供决策支持和业务优化建议,帮助企业提高安全性和运营效率。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和前述的权利要求书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步的详细描述,其中:
图1为本发明的整体工作流程示意图;
图2为本发明背景像素点的判定方法示意图;
图3为本发明使用中值法进行背景建模流程图;
图4为本发明边缘分析和滤波操作示意图;
图5为本发明无侵入式移动对象特征提取方法流程图;
图6为本发明移动对象关键帧和标号设置示意图;
图7为本发明无侵入式采集方法总体工作流程图。
具体实施方式
以下将参照附图,对本发明的优选实施例进行详细的描述。应当理解,优选实施例仅为了说明本发明,而不是为了限制本发明的保护范围。
本发明的一种基于视觉计算的监控数据无侵入式采集的方法,如图1所示,包括如下步骤:
步骤S1:启动监控设备,生成无侵入校验码并插入无侵入式探针,获取监控视频流;
步骤S2:对传入的监控视频流进行预处理,获得背景图像建模结果;
步骤S3:将背景图像建模结果作为视频片段第一帧进行视频分割,获得独立的视频片段;
步骤S4:根据独立的视频片段,构建监控数据无侵入式采集算法模型,对独立视频片段的移动对象进行提取,获得移动对象的关键字与标号信息;
步骤S5:根据移动对象的关键字与标号信息,构建移动对象的相似性度量方法,将高于相似度阈值的移动对象进行集成并写入移动对象视频流数据库。
以下将通过一个具体的实施例对上述方法的具体步骤进行进一步的阐述。
本实施例中,步骤S1具体包括如下步骤:
步骤S101:根据场地设计规划情况,确定设备安装地点并设计敷设线路,将摄像头安装的重点区域划分成x个采集点,每个采集点内放置y个摄像头,确保全面地覆盖待监控区域并准确地收集图像数据;
步骤S102:启动监控设备,通过Java代理技术,添加启动参数javaagent:agent.jar加载无侵入式探针,获得监控设备校验字符Device;
步骤S103:调用inst.addTransformer方法创建自定义类加载器,修改视频流字节码并随机生成监控视频流校验字符Stream,生成无侵入校验码VER,无侵入校验码计算公式如下:
VER=Hash(Device+Stream)
其中,Hash()为计算SHA256值的安全哈希散列函数,将任意长度的信息转换为256位(32字节)的大整数;
本实施例的步骤S103中,以监控设备校验字符Device={testPassword},监控视频流校验字符Stream={tArg}为例,计算得到无侵入校验码:
VER={e7f6b57104695d3a2d738a87364532e15890dd64eeeb839264169df873d6b1df};
步骤S104:如果无侵入校验码VER通过系统校验,允许监控设备插入无侵入式探针,调用OpenCV视频处理库的VideoCapture模块获取监控视频流。
步骤S2具体包括如下步骤:
步骤S201:将步骤S104获得的监控视频流在颜色空间上进行线性量化转换,计算红、绿、蓝三通道颜色值的平均值,得到第k帧像素点Pk(m,n)的灰度值Gk(m,n),灰度值计算公式如下:
其中,R、G、B分别为视频图像像素点对应的红、绿、蓝三通道颜色值,颜色值的取值范围为[0,255],m和n分别为像素点的横坐标和纵坐标;
步骤S202:根据阈值分割算法设定阈值THC,构建背景像素点判定法,对像素点逐个进行分类处理,得到备选背景图像的灰度值序列Bi(m,n);
步骤S202中,背景像素点的判定方法如图2所示,具体方法为:
(1)提取第k帧像素点Pk(m,n)灰度值Gk(m,n)与第k-1帧像素点Pk-1(m,n)灰度值Gk-1(m,n);
(2)进行判断:若Gk(m,n)<Gk-1(m,n),则该背景像素点的分类处理方法为:
否则,则该背景像素点的分类处理方法为:
其中,ε、λ为光照敏感的抑制系数,NA为当前背景图像所包含的像素数目,THC为背景像素点分类处理方法的阈值;
本实施例的步骤(2)中,设定光照敏感的抑制系数ε=0.4、λ=0.6,根据阈值分割算法设定阈值THC=127,以B1(m,n)=[218,34,162,76,148]为例,经过背景像素点分类处理的方法后,B1(m,n)=[0,255,0,255,0];
(3)输出背景图像序列Bi(m,n)。
步骤S203:将背景图像序列Bi(m,n)按照灰度值由小到大进行排序,使用中值法进行背景建模,得到第x个采集点的第y个摄像头的背景图像建模结果Bxy(m,n),计算公式如下:
Bxy(m,n)=mid{B1(m,n),B2(m,n),…,Bi(m,n)}
步骤S203中,中值法背景建模处理流程如图3所示。
步骤S204:对每个摄像头采集的监控视频图像执行步骤S201、S202、S203,构建背景图像建模结果序列B(m,n)={B11(m,n),B12(m,n),…,Bxy(m,n)}。
步骤S3具体包括如下步骤:
步骤S301:根据第x个采集点的第y个摄像头采集的视频片段,构建视频序列S={S11,S12,…,Sxy};
步骤S302:根据图像处理方法对视频序列S进行处理,捕获视频片段Sxy的第一个输入帧fp,获取输入帧fp中移动对象的光影总大小Op与总数量Np,其中,p为捕获帧的次数;
步骤S303:将背景图像建模结果Bxy(m,n)作为视频片段Sxy的第一帧,根据移动对象影响因子δ计算执行时间E,构建监控视频分割方法,对视频片段Sxy进行分割;
步骤S303中,监控视频分割方法流程具体流程为:
(1)捕获视频片段Sxy的输入帧fp,初始化变量Op=0、Np=0、Fn=0;
步骤(1)中,设置x=1,y=1,捕获视频片段为S11;
(2)计算输入帧fp移动对象的光影总大小Op与总数量Np;
(3)构建方法exeTime(),exeTime()的计算方法为:
exeTime(Op,Np)=δ*(Op-Np)+Np
其中,exeTime(Op,Np)的输出结果为E;
此步骤(3)中,设置移动对象影响因子δ=0.5,以视频片段S11中的输入帧f0为例,输入帧fp移动对象的光影总大小Op=240px,总数量Np=5;
(4)进行判断:若exeTime(Op,Np)>THL,则将背景图像的建模结果写入当前视频片段的第一帧,当前视频片段记为Cb,跳转至步骤(1),其中THL为已知的成本执行时间阈值;
本实施例的步骤(4)中,设定成本执行时间THL=100s,s为时间单位秒的缩写,计算得到:
exeTime(Op,Np)=122.5
故将背景图像的建模结果B11(m,n)写入当前视频片段的第一帧,当前视频片段记为C1,跳转至步骤(1)对视频片段继续进行分割;
(5)输出分割后的视频片段Cb。
步骤S304:继续捕获下一个视频片段,对视频序列S中的每个视频片段执行步骤S302和步骤S303;
步骤S305:构建视频序列C={C1,C2,…,Cb},其中,b表示视频段的数量。
步骤S4具体包括如下步骤:
步骤S401:基于视频序列C的中的视频片段,使用视频均分帧处理方法获得抽取帧,构建抽取帧序列N={N1,N2,…,Nη},其中,η表示其对应的抽帧序号,计算公式如下:
其中,α为视频片段帧速率,T为视频片段时长,I为设置抽取帧的时间间隔;
本实施例的步骤S401中,已知视频片段帧速率α=30fps,fps为视频片段每秒传输帧数的缩写,设置视频片段时长T=120s,抽取帧的时间间隔I=5,计算得到η=720,表示抽取总帧数为720帧;
步骤S402:对抽取帧序列进行边缘分析和滤波操作,构建无侵入式移动对象数据提取模型;根据抽取帧位置,设置移动对象q的关键字v与标号信息(取值为0或1);构建待集成移动对象序列Q={q1,q2,…,qv}。
步骤S402中,边缘分析和滤波操作如图4所示;
步骤S402中,无侵入式移动对象特征提取方法并构建待集成移动对象序列的具体流程如图5所示,具体方法为:
(1)提取抽取帧序列N中的帧Nη;
(2)构建方法filt(),filt()的计算方法为:
d(x,y)=[Nη(x,y)-Nη(xc,yc)]2
其中,filt()为空间滤波函数,x为抽取帧序列Nη像素点的横坐标,y为抽取帧序列Nη像素点的纵坐标,xc为抽取帧序列Nη中心像素点的横坐标,yc为抽取帧序列Nη中心像素点的纵坐标,θ为标准差,d(x,y)为像素点Nη(x,y)与中心像素点的偏离差;
(3)进行判断:若移动对象的出现帧不是子视频序列Cb的第一帧,且移动对象的结束帧也不是子视频序列Cb的最后一帧,则不对该移动对象设置关键字与标号,并将该移动对象存入数据库中;
上述步骤(3)中,关键帧和标号设置方法如图6所示;
(4)进行判断:如果移动对象的出现帧是子视频序列的第一帧,则将该移动对象关键字标记为v-1,并分配标号1;
(5)进行判断:如果移动对象的结束帧是子视频序列的最后一帧,则将该移动对象关键字标记为v,并分配标号0;
(6)输出待集成移动对象序列Q={q1,q2,…,qv}。
步骤S5具体包括如下步骤:
步骤S501:根据待集成移动对象序列Q,构建移动对象的相似性度量方法;
步骤S502:根据移动对象qv-1与移动对象q的灰度级频率,获得已标记移动对象qv-1与移动对象q的全局颜色直方图;
步骤S503:根据移动对象的灰度级频率与全局颜色直方图,获得移动对象相似性评估系数I;
步骤S504:已知相似度阈值THI,判断移动对象序列中相邻对象的相似性,将高于相似度阈值的移动对象进行集成,存入移动对象视频流数据库中。
进一步,步骤S5中包含的移动对象的相似性度量方法具体流程为:
(1)获取关键字为v、标号为0移动对象qv,及关键字为v-1、标号为1的移动对象qv-1;
(2)已知相似度阈值THI,构建方法sim(),sim()的计算方法为:
其中,为移动对象qv、qv-1的灰度级频率,分别为移动对象qv、qv-1的光影像素数,M为图像像素总数,分别为移动对象qv、qv-1的平均灰度直方图,L为监控视频图像的灰度级数,i为当前灰度级,Mi为当前灰度级的图像像素总数,sim()为相似性度量函数,sim()的输出结果为I;
本实施例的步骤(2)中,已知相似度阈值THI=0.7,以光影像素数图像像素总数M=240px为例,通过灰度级频率计算公式计算得已知监控视频图像的灰度级数L=8,通过平均灰度直方图计算公式计算得通过相似性度量函数sim()计算得出移动对象相似度I=0.85;
(3)进行判断:若I>THI,则将移动对象qv与移动对象qv-1集成,否则跳转至步骤(1);
上述步骤(3)中,移动对象相似度I=0.85>0.7,故将移动对象qv与移动对象qv-1集成;
(4)输出包含移动对象q的视频片段。
在本实施例中,无侵入式采集方法总体工作流程如图7所示。通过Java代理技术,生成无侵入校验码并插入无侵入式探针,获取监控视频流,设计视频分割方法,提取监控视频中的移动对象,更好地管理视频数据,便于后续处理和存储。此外,通过视觉计算的方式对监控视频进行移动对象的提取与融合,具备良好的可扩展性,适应不同场景和监控需求,提供更加灵活、可靠和高效的监控解决方案,对于监控系统的性能和功能提升具有重要的意义。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术,包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于视觉计算的监控数据无侵入式采集的方法,其特征在于:所述方法包括以下步骤:
步骤S1:启动监控设备,生成无侵入校验码并插入无侵入式探针,获取监控视频流;
步骤S2:对传入的监控视频流进行预处理,获得背景图像建模结果;
步骤S3:将背景图像建模结果作为视频片段第一帧进行视频分割,获得独立的视频片段;
步骤S4:根据独立的视频片段,构建监控数据无侵入式采集算法模型,对独立视频片段的移动对象进行提取,获得移动对象的关键字与标号信息;
步骤S5:根据移动对象的关键字与标号信息,构建移动对象的相似性度量方法,将高于相似度阈值的移动对象进行集成并写入移动对象视频流数据库。
2.根据权利要求1所述的一种基于视觉计算的监控数据无侵入式采集的方法,其特征在于:所述步骤S1具体包括:
步骤S101:根据场地设计规划情况,确定设备安装地点并设计敷设线路,将摄像头安装的重点区域划分成x个采集点,每个采集点内放置y个摄像头,确保全面地覆盖待监控区域并准确地收集图像数据;
步骤S102:启动监控设备,添加启动参数并加载无侵入式探针,获得监控设备校验字符Device;
步骤S103:创建自定义类加载器,修改视频流字节码并随机生成监控视频流校验字符Stream,生成无侵入校验码VER,无侵入校验码计算公式如下:
VER=Hash(Device+Stream)
其中,Hash()为安全哈希散列函数,将任意长度的信息转换为大整数;
步骤S104:如果无侵入校验码VER通过系统校验,允许监控设备插入无侵入式探针,调用图像视频处理库的视频捕获模块获取监控视频流。
3.根据权利要求1所述的一种基于视觉计算的监控数据无侵入式采集的方法,其特征在于:所述步骤S2具体包括:
步骤S201:将步骤S104获得的监控视频流在颜色空间上进行线性量化转换,计算红、绿、蓝三通道颜色值的平均值,得到第k帧像素点Pk(m,n)的灰度值Gk(m,n),灰度值计算公式如下:
其中,R、G、B分别为视频图像像素点对应的红、绿、蓝三通道颜色值,颜色值的取值范围为[0,255],m和n分别为像素点的横坐标和纵坐标;
步骤S202:根据阈值分割算法设定阈值THC,构建背景像素点判定法,对像素点逐个进行分类处理,得到备选背景图像的灰度值序列Bi(m,n);
步骤S203:将背景图像序列Bi(m,n)按照灰度值由小到大进行排序,使用中值法进行背景建模,得到第x个采集点的第y个摄像头的背景图像建模结果Bxy(m,n),计算公式如下:
Bxy(m,n)=mid{B1(m,n),B2(m,n),…,Bi(m,n)}
步骤S204:对每个摄像头采集的监控视频图像执行步骤S201、S202、S203,构建背景图像建模结果序列B(m,n)={B11(m,n),B12(m,n),…,Bxy(m,n)}。
4.根据权利要求3所述的一种基于视觉计算的监控数据无侵入式采集的方法,其特征在于:所述步骤S202中,背景像素点的判断方法为:
(1)提取第k帧像素点Pk(m,n)灰度值Gk(m,n)与第k-1帧像素点Pk-1(m,n)灰度值Gk-1(m,n);
(2)进行判断:若Gk(m,n)<Gk-1(m,n),则该背景像素点的分类处理方法为:
否则,则该背景像素点的分类处理方法为:
其中,ε、λ为光照敏感的抑制系数,NA为当前背景图像所包含的像素数目,THC为背景像素点分类处理方法的阈值;
(4)输出背景图像序列Bi(m,n)。
5.根据权利要求1所述的一种基于视觉计算的监控数据无侵入式采集的方法,其特征在于:所述步骤S3具体包括:
步骤S301:根据第x个采集点的第y个摄像头采集的视频片段,构建视频序列S={S11,S12,…,Sxy};
步骤S302:根据图像处理方法对视频序列S进行处理,捕获视频片段Sxy的第一个输入帧fp,获取输入帧fp中移动对象q的光影总大小Op与总数量Np,其中,p为捕获帧的次数;
步骤S303:将背景图像建模结果Bxy(m,n)作为视频片段Sxy的第一帧,根据移动对象影响因子δ计算执行时间E,构建监控视频分割方法,对视频片段Sxy进行分割;
步骤S304:继续捕获下一个视频片段,对视频序列S中的每个视频片段执行步骤S302和步骤S303;
步骤S305:构建视频序列C={C1,C2,…,Cb},其中,b表示视频段的数量。
6.根据权利要求5所述的一种基于视觉计算的监控数据无侵入式采集的方法,其特征在于:所述步骤S303中的监控视频分割方法具体流程为:
(1)捕获视频片段Sxy的输入帧fp,初始化变量Op=0、Np=0、Fn=0;
(2)计算输入帧fp的移动对象的光影总大小Op与总数量Np;
(3)构建方法exeTime(),exeTime()的计算方法为:
exeTime(Op,Np)=δ*(Op-Np)+Np
其中,exeTime(Op,Np)的输出结果为E;
(4)进行判断:若exeTime(Op,Np)>THL,则将背景图像的建模结果写入当前视频片段的第一帧,当前视频片段记为Cb,跳转至步骤(1),其中THL为已知的成本执行时间阈值;
(5)输出分割后的视频序列C={C1,C2,…,Cb}。
7.根据权利要求1所述的一种基于视觉计算的监控数据无侵入式采集的方法,其特征在于:所述步骤S4具体包括:
步骤S401:基于视频序列C的中的视频片段,使用视频均分帧处理方法获得抽取帧,构建抽取帧序列N={N1,N2,…,Nη},其中,η表示其对应的抽帧序号,计算公式如下:
其中,α为视频片段帧速率,T为视频片段时长,I为设置抽取帧的时间间隔;
步骤S402:对抽取帧序列进行边缘分析和滤波操作,构建无侵入式移动对象数据提取模型;根据抽取帧位置,设置移动对象q的关键字v与标号信息(取值为0或1);构建待集成移动对象序列Q={q1,q2,…,qv}。
8.根据权利要求7所述的一种基于视觉计算的监控数据无侵入式采集的方法,其特征在于:所述步骤S402中的无侵入式移动对象特征提取方法并构建待集成移动对象序列的具体流程为:
(1)提取抽取帧序列N中的帧Nη;
(2)构建方法filt(),filt()的计算方法为:
d(x,y)=[Nη(x,y)-Nη(xc,yc)]2
其中,filt()为空间滤波函数,x为抽取帧序列Nη像素点的横坐标,y为抽取帧序列Nη像素点的纵坐标,xc为抽取帧序列Nη中心像素点的横坐标,yc为抽取帧序列Nη中心像素点的纵坐标,θ为标准差,d(x,y)为像素点Nη(x,y)与中心像素点的偏离差;
(3)进行判断:若移动对象的出现帧不是子视频序列Cb的第一帧,且移动对象的结束帧也不是子视频序列Cb的最后一帧,则不对该移动对象设置关键字与标号,并将该移动对象存入数据库中;
(4)进行判断:如果移动对象的出现帧是子视频序列的第一帧,则将该移动对象关键字标记为v-1,并分配标号1;
(5)进行判断:如果移动对象的结束帧是子视频序列的最后一帧,则将该移动对象关键字标记为v,并分配标号0;
(6)输出待集成移动对象序列Q={q1,q2,…,qv}。
9.根据权利要求1所述的一种基于视觉计算的监控数据无侵入式采集的方法,其特征在于:所述步骤S5具体包括:
步骤S501:根据待集成移动对象序列Q,构建移动对象的相似性度量方法;
步骤S502:根据移动对象qv-1与移动对象q的灰度级频率,获得已标记移动对象qv-1与移动对象q的全局颜色直方图;
步骤S503:根据移动对象的灰度级频率与全局颜色直方图,获得移动对象相似性评估系数I;
步骤S504:已知相似度阈值THI,判断移动对象序列中相邻对象的相似性,将高于相似度阈值的移动对象进行集成,存入移动对象视频流数据库中。
10.根据权利要求9所述的一种基于视觉计算的监控数据无侵入式采集的方法,其特征在于:所述步骤S5包含的移动对象的相似性度量方法具体流程为:
(1)获取关键字为v、标号为0移动对象qv,及关键字为v-1、标号为1的移动对象qv-1;
(2)已知相似度阈值THI,构建方法sim(),sim()的计算方法为:
其中,为移动对象qv、qv-1的灰度级频率,mqv、mqv-1分别为移动对象qv、qv-1的光影像素数,M为图像像素总数,Hqv、Hqv-1分别为移动对象qv、qv-1的平均灰度直方图,L为监控视频图像的灰度级数,i为当前灰度级,Mi为当前灰度级的图像像素总数,sim()为相似性度量函数,sim()的输出结果为I;
(3)进行判断:若I>THI,则将移动对象qv与移动对象qv-1集成,否则跳转至步骤(1);
(4)输出包含移动对象q的视频片段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311862046.XA CN117911944A (zh) | 2023-12-29 | 2023-12-29 | 一种基于视觉计算的监控数据无侵入式采集的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311862046.XA CN117911944A (zh) | 2023-12-29 | 2023-12-29 | 一种基于视觉计算的监控数据无侵入式采集的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117911944A true CN117911944A (zh) | 2024-04-19 |
Family
ID=90693135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311862046.XA Pending CN117911944A (zh) | 2023-12-29 | 2023-12-29 | 一种基于视觉计算的监控数据无侵入式采集的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117911944A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118400519A (zh) * | 2024-06-27 | 2024-07-26 | 南京财经大学 | 一种视频监控异常行为智能检查方法及系统 |
-
2023
- 2023-12-29 CN CN202311862046.XA patent/CN117911944A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118400519A (zh) * | 2024-06-27 | 2024-07-26 | 南京财经大学 | 一种视频监控异常行为智能检查方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2009243442B2 (en) | Detection of abnormal behaviour in video objects | |
EP1805715B1 (en) | A method and system for processing video data | |
CN117911944A (zh) | 一种基于视觉计算的监控数据无侵入式采集的方法 | |
CN111311475A (zh) | 检测模型训练方法、装置、存储介质和计算机设备 | |
CN1875378A (zh) | 图像中的对象检测 | |
CN112287875B (zh) | 异常车牌识别方法、装置、设备及可读存储介质 | |
CN112434178B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
CN111680610A (zh) | 一种施工场景异常监测方法和装置 | |
CN110942027A (zh) | 遮挡策略的确定方法及装置、存储介质、电子装置 | |
CN111476160A (zh) | 损失函数优化方法、模型训练方法、目标检测方法及介质 | |
CN113963438A (zh) | 行为识别方法及装置、设备和存储介质 | |
CN114449362B (zh) | 视频封面的选取方法、装置、设备及存储介质 | |
CN111798435A (zh) | 图像处理方法、工程车辆侵入输电线路监测方法及系统 | |
CN112966687B (zh) | 图像分割模型训练方法、装置及通信设备 | |
CN117789090A (zh) | 一种高空安全带检测方法、系统、设备和介质 | |
CN111898448B (zh) | 一种基于深度学习的行人属性识别方法和系统 | |
CN104809438B (zh) | 一种检测电子眼的方法和设备 | |
JPWO2020095644A1 (ja) | 変状検出装置、変状検出方法、及びプログラム | |
CN114445751A (zh) | 视频关键帧图像轮廓特征的提取方法和装置 | |
CN113361426A (zh) | 车辆定损图像获取方法、介质、装置和电子设备 | |
CN118506146B (zh) | 高识别准确率的黑色烟雾识别及展示方法 | |
Nadarajan et al. | A knowledge-based planner for processing unconstrained underwater videos | |
CN116156149B (zh) | 一种用于检测摄像头移动的检测方法及装置 | |
CN110855930B (zh) | 一种网络设备智能识别方法和系统 | |
CN111598053B (zh) | 图像数据的处理方法及其装置、介质和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |