CN112733584A - 通信光缆的智能告警方法和装置 - Google Patents

通信光缆的智能告警方法和装置 Download PDF

Info

Publication number
CN112733584A
CN112733584A CN201911040622.6A CN201911040622A CN112733584A CN 112733584 A CN112733584 A CN 112733584A CN 201911040622 A CN201911040622 A CN 201911040622A CN 112733584 A CN112733584 A CN 112733584A
Authority
CN
China
Prior art keywords
target
neural network
network model
video
moving target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911040622.6A
Other languages
English (en)
Inventor
郭亮
杨小青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinzhou Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Original Assignee
Xinzhou Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinzhou Power Supply Co of State Grid Shanxi Electric Power Co Ltd filed Critical Xinzhou Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Priority to CN201911040622.6A priority Critical patent/CN112733584A/zh
Publication of CN112733584A publication Critical patent/CN112733584A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本申请公开了一种通信光缆的智能告警方法和装置。其中,该方法包括:获取监控视频,监控视频是对电力通信光缆所在场景进行监控时采集得到的视频;检测监控视频中是否存在运动目标;在监控视频中存在运动目标的情况下,检测运动目标的运动是否符合工程机械特征;在运动目标的运动符合工程机械特征的情况下,检测运动目标是否位于目标观察区,目标观察区为通信光缆所在的区域;在运动目标位于目标观察区的情况下,生成运动目标的告警信息。本申请解决了相关技术中电力通信光缆的安全维护的效率较低的技术问题。

Description

通信光缆的智能告警方法和装置
技术领域
本申请涉及监控领域,具体而言,涉及一种通信光缆的智能告警方法和装置。
背景技术
在智能电网快速发展的形势下,通信光缆线路的分布越来越广。迅速增长的光缆线路给线路运行维护人员带来了越来越多的巡视维护工作,但对处于交叉跨越、人员活动密集、自然灾害区域等地的线路危险点的观察巡视又是必不可少的。目前在电力通信光缆线路的运行维护方面主要依靠人工间歇性巡视为主,一般巡视周期为一个月。由于电力通信光缆线路具有面广、线长、高空、野外、跨两高的特点,极易遭到外力破坏,完全靠人力来完成对数量庞大的光缆线路巡检,工作效率低下,因此有必要研究电力通信光缆防外力破坏视频智能分析预警技术,为电力通信光缆的安全稳定运行提供技术支撑。预防外力破坏是保障电力通信光缆安全和维护电网正常运行的重要手段。预防电力通信光缆外力破坏存在难预警、难排查、耗费人力三个难点。针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种通信光缆的智能告警方法和装置,以至少解决相关技术中电力通信光缆的安全维护的效率较低的技术问题。
根据本申请实施例的一个方面,提供了一种通信光缆的智能告警方法,包括:获取监控视频,监控视频是对电力通信光缆所在场景进行监控时采集得到的视频;检测监控视频中是否存在运动目标;在监控视频中存在运动目标的情况下,检测运动目标的运动是否符合工程机械特征;在运动目标的运动符合工程机械特征的情况下,检测运动目标是否位于目标观察区,目标观察区为通信光缆所在的区域;在运动目标位于目标观察区的情况下,生成运动目标的告警信息。
根据本申请实施例的另一方面,还提供了一种通信光缆的智能告警装置,包括:获取单元,用于获取监控视频,监控视频是对电力通信光缆所在场景进行监控时采集得到的视频;第一检测单元,用于检测监控视频中是否存在运动目标;第二检测单元,用于在监控视频中存在运动目标的情况下,检测运动目标的运动是否符合工程机械特征;第三检测单元,用于在运动目标的运动符合工程机械特征的情况下,检测运动目标是否位于目标观察区,目标观察区为通信光缆所在的区域;生成单元,用于在运动目标位于目标观察区的情况下,生成运动目标的告警信息。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的方法。
根据本申请实施例的另一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器通过计算机程序执行上述的方法。
在本申请实施例中,获取监控视频,监控视频是对电力通信光缆所在场景进行监控时采集得到的视频;检测监控视频中是否存在运动目标;在监控视频中存在运动目标的情况下,检测运动目标的运动是否符合工程机械特征;在运动目标的运动符合工程机械特征的情况下,检测运动目标是否位于目标观察区,目标观察区为通信光缆所在的区域;在运动目标位于目标观察区的情况下,生成运动目标的告警信息,进而解决了相关技术中电力通信光缆的安全维护的效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种可选的通信光缆的智能告警方法的流程图;以及,
图2是根据本申请实施例的电力通信光缆的异常识别的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
根据本申请实施例的一方面,提供了一种通信光缆的智能告警方法的方法实施例。如图1所示,该方法可以包括以下步骤:
步骤S102,获取监控视频,监控视频是对电力通信光缆所在场景进行监控时采集得到的视频。
步骤S104,检测监控视频中是否存在运动目标。可选地,检测监控视频中是否存在运动目标包括:使用卡尔曼滤波方法和目标跟踪方法检测监控视频中是否存在运动目标。具体可包括:使用卡尔曼滤波方法在监控视频中检测出候选目标;使用目标跟踪方法从候选目标中识别出运动目标。
步骤S106,在监控视频中存在运动目标的情况下,检测运动目标的运动是否符合工程机械特征。
步骤S108,在运动目标的运动符合工程机械特征的情况下,检测运动目标是否位于目标观察区,目标观察区为通信光缆所在的区域。
步骤S110,在运动目标位于目标观察区的情况下,生成运动目标的告警信息。可选地,生成运动目标的告警信息包括:将监控视频中的目标视频帧输入第一神经网络模型,其中,第一神经网络模型是使用标记有故障类型的训练图像进行训练得到的,目标视频帧为监控视频中运动目标所在的视频帧;获取第一神经网络模型输出的故障类型,并生成携带有该故障类型的告警信息。
可选地,在将监控视频中的目标视频帧输入第一神经网络模型之前,将训练图像输入第二神经网络模型,以对第二神经网络模型中各层的参数进行训练,得到第三神经网络模型;在第三神经网络模型对测试图像的故障类型的识别准确率达到目标阈值的情况下,将第三神经网络模型作为第一神经网络模型;在第三神经网络模型对测试图像的故障类型的识别准确率未达到目标阈值的情况下,继续使用训练图像对第三神经网络模型进行训练,直至第三神经网络模型对测试图像的故障类型的识别准确率达到目标阈值。
通过上述步骤,通过采用机器自动检测的方式,在出现异常时自动告警,可以解决相关技术中电力通信光缆的安全维护的效率较低的技术问题。
针对电力通信光缆监控视频的异常行为特征提取技术,研究基于电力通信光缆监控视频异常行为识别检测与动态跟踪技术、基于卷积神经网络的电力通信光缆监控视频智能分析与告警技术。提出智能化的电力通信光缆监控视频分析方法,自动判别电力通信光缆安全隐患,减少通信光缆故障,提高通信光缆外力破坏监控分析的智能性,提高外力破坏预警的及时性和准确性。
电力通信光缆视频监控中的异常行为识别与界定主要分为三个阶段,分别是初级、中级和高级阶段。当输入视频序列后,首先要提取前景目标,前景目标的提取精度将直接影响后续对目标的识别,紧接着对提取的目标识别跟踪,这属于中级阶段,最后是对视频监控场景中运动目标行为的分析理解。目标行为分为正常和异常行为,通过对不同运动行为建模,最终做出分类。图2是电力通信光缆视频监控中的异常行为识别与建模框架图。
通信光缆视频监控异常行为识别是目标运动状态判断和理解的过程,并采用较为直观的方式表现出来。其核心思想是对前一帧中检测出来的目标特征与当前帧检测出来的目标特征加以匹配,如果匹配成功就认为是同一目标,重复上述步骤以实现对目标行为的监督作用。
异常行为运动目标识别检测采用多高斯背景建模,在每个像素点上,建立多个高斯背景模型,每个高斯背景模型分别描述不同动态场景,也称为多高斯背景模型。多高斯背景模型能很好的描述动态场景中像素点的复杂变化,具有很好的鲁棒性。设在一帧图像中每个像素点建立K个高斯模型,则该像素点在t时刻像素点的概率值为:
Figure BSA0000192806970000051
ωi,t表示t时刻第i个高斯分布的权重,体现了当前模型像素与背景模型像素的近似度;μi,t-1表示t-1时刻第i个高斯分布的期望,体现了当前模型的单峰中心;xi,t表示为t时刻第i个高斯分布的像素的样本,σi,t-1表示t-1时刻第i个高斯分布的方差,体现了像素分布的不稳定程度。p(xi,t,μi,t-1,σi,t-1)是标准高斯分布。K表示高斯背景模型的个数,体现了像素值多峰分布的特性。K的值越大,处理波动的能力就越强,消耗计算机的内存就越大,计算的复杂性就越强,实时处理的效果就越差,一般K的值为3到5。多高斯背景模型算法用于检测运动目标的具体过程如下:
多高斯背景模型在开始时需要对大量的视频序列进行训练,建立背景模型。多高斯背景模型的建立,需要获得高斯分布的期望和方差等参数。期望和方差的计算公式如下:
Figure BSA0000192806970000052
μo和σo分别表示高斯分布的期望和方差,t的取值为0至N-1,N为预先设定的,按照上述公式计算期望和方差,通常需要耗费大量的内存空间,效率不高。一般可将K个高斯分布的方差初始化为较大的值,权重ωi和μi计算公式:
Figure BSA0000192806970000061
运动目标检测要求较高的实时性,多高斯背景建模在初始化时需要对多帧图像进行计算分析,需要耗费大量的时间。为了计算简便,一般将第一帧图像的像素值作为第一个高斯模型的期望,其他高斯模型的期望值设为零。K个高斯背景模型的方差都取一个相对比较大的值。第一个高斯模型的权重应该高于其他模型,K个高斯模型的权重和为1。采用这样的方式,大大缩短了背景建模的时间,提高了高斯背景建模的速度。
当背景模型建立之后,将当前帧图像与背景模型的像素点进行匹配,若当前帧的像素点与背景模型中的K个高斯模型都不匹配,则可以判断该像素点为前景,即运动目标点,匹配公式如下:
|xti,t|≤Mσt
xt为t时刻当前帧的像素值,μi,t为对应的期望值,σt为对应的方差。M为匹配参数,一般可取经验值2.5。若当前帧的像素点与背景模型匹配,也不能将该像素点归类为背景点,需要做进一步的分析。K个高斯模型中,权重大的高斯模型才能更加准确地描述像素点的分布和与背景模型近似程度,权重小的高斯模型有可能是受噪声的影响。为了消除噪声的干扰,将K个高斯模型按照,ωi,ti,t值的大小降序排列,可判断某个像素点是否属于前景。
Figure BSA0000192806970000062
T为权重参数,一般可取经验值0.7到0.89之间。i1,i2,i3,...in,为K个高斯分布按ωi,ti,t排列后的前n个高斯分布,β为排序后高斯模型权重和小于T时j的最小值,若满足条件的高斯模型的序号小于β(j<β),则判定该像素点为背景,否则将该像素点归类为前景点。
实际的场景中,光线、阴影的变化可能引起背景产生变化。背景中静止的汽车突然开动或者运动的人突然停止会使前景融入到背景或者背景转化为前景,使得前景和背景相互转化。背景变化会使背景模型描述不准确,导致检测效果不理想。背景模型如果不能适应动态场景的变化,实际的检测效果将会受到影响。背景模型更新是对环境变化适应,能有效提高运动目标检测的准确性。多高斯背景模型对动态场景具有很好的鲁棒性在于多高斯背景模型的实时更新,多高斯背景模型的更新主要是对方差、期望和权重的更新。若当前帧的像素点与K个高斯模型中的任意一个模型匹配,就需要将对应的模型参数进行更新,更新公式如下:
ωi,t=(1-α)ωi,t-1+α,μi,t=(1-ρ)μi,t-1+ρIi
Figure BSA0000192806970000071
α为背景更新学习快慢程度,α取值较大,背景的学习速度较快,容易将前景点误认为背景,反之,背景模型对动态场景变化适应性差,检测效果变差。选择合适的α是混合高斯背景模型的关键,一般取0到1之间,要根据具体的场景确定。ρ为模型的更新速率,一般有ρ≈α/ωi,t。若当前帧的像素点与K个高斯模型都不匹配,则需要重新建立一个新高斯模型取代权重最小的高斯模型。新的高新模型的建立与高斯模型初始化方法相同,即用对应像素点的像素值作为新的高斯模型的期望,方差取较大的值,权重取较小的值,其他的高斯模型的权重系数应更新。
运用多高斯背景建模的原理,经过大量的测试,背景建模帧数大于200帧,背景建模对检测结果影响不大。当背景建模的帧数小于200帧时,由于场景不同,背景建模对像素点的分布描述不准确,就会将前景和背景混淆,检测出很多的离散的点,检测的目标不清晰。因此,使用多高斯背景建模检测运动目标时,对图像序列的前200帧图像训练,建立背景模型。初始化时,第一帧的像素点作为第一个高斯背景模型的均值,权重设为0.32,选择K值为6,T值为0.6,背景更新速率是影响多高斯背景建模运动目标检测效果的重要参数。当较大,表示当前帧像素点对背景模型更新影响较大,检测出的运动目标会出现“空洞”现象。当偏小,背景更新变慢,当背景跟新速度跟不上场景变化的速度时,检测的目标的轮廓不完整,有细小的空洞。
多高斯背景建模要对大量视频进行训练建立背景模型,为了满足动态性的要求,要对背景进行实时的更新,多高斯背景建模计算复杂,内存占用高。多高斯背景模型具有很好的动态性和鲁棒性,对光线、噪声不敏感,能提取完整目标轮廓。
电力通信光缆外力破坏视频监控系统摄像机架设位置越高,抖动就越频繁。电力通信光缆外力破坏监测要从早到晚全年监控,运动目标检测算法要适应光线明暗变化,并能减少抖动的干扰。工程机械是电力通信光缆外力破坏的重点监控对象,多高斯背景建模能提取物体的完整轮廓。电力通信光缆外力破坏运动目标检测算法要对噪声、光线变化具有很好的鲁棒性,并能实时检测运动的车辆。
运动目标跟踪是视频监控的关键技术,是一个极具挑战的问题。运动目标检测是判断场景中运动目标是否出现以及确定运动目标的位置,运动目标跟踪是判断运动目标随着时间的改变运动位置的变化和目标形状的变化。运动目标检测和运动目标跟踪是视频分析和处理中的紧密相连的过程。运动目标检测是运动目标跟踪的前提,运动目标跟踪有利于运动目标的检测。在实际应用中,场景往往比较复杂,由于光照的变化、阴影的干扰、背景的抖动,运动目标检测的效果和理论之间往往会出现偏差,影响后续运动目标跟踪。运动目标跟踪要对多个目标分析处理,由于目标遮挡、场景变化等,算法比较复杂,准确快速地跟踪运动目标是当前视频研究的重点和难点。
运动目标跟踪的实质是对视频序列中运动物体分析,根据目标的灰度、密度、纹理、形状等特征获得用户感兴趣的运动目标的位置、形状、速度等参数。运动目标跟踪通常有两种基本思路,一种是通过运动目标检测来进行运动目标跟踪,这种方法不考虑运动目标的形状、尺寸的变化,通过检测提取视频序列中的运动目标来实现目标跟踪。另外一种方法是通过目标识别来实现运动目标的实时跟踪,该方法分析视频序列中的运动目标,根据目标的特征进行识别,包含目标匹配和目标识别两部分。基于这两种思路或将两种思路相结合,国内外的研究人员提出不同的跟踪算法。各种跟踪算法因目标特征、跟踪过程、运动类型、场景变化等因素在理论和实践上存在显著差异。各种跟踪算法都具有各自的特点,可应用在不同的场景中,根据跟踪目标的表达和相似性,可将目标跟踪算法分为基于轮廓的跟踪算法、基于三维模型的跟踪算法、基于区域匹配的跟踪算法和基于特征匹配的跟踪算法。
Kalman滤波是一种高效率的递归滤波器。它是基于协方差误差最小的递归算法,能够从一系列复杂或者包含噪声的系统中获得动态系统的状态。Kalman滤波的基本思想是以协方差误差最小为原则,建立信号和噪声的空间状态模型,利用上一状态的估计值和当前状态的观测值来更新对当前状态的估计,从而获得当前状态的估计值。Kalman滤波器最初适用于随机离散系统状态或参数估计。假设该系统状态的转换可以用离散的随机事件模型描述,该系统的状态受输入参数的控制并在整个工程中受到噪声的影响,噪声的分布属于高斯白噪声,Kalman滤波参数模型公式如下:
xk=Axk|k-1+Buk-1+Wk-1
xk为k时刻系统状态,xk-1为k-1时刻系统状态,xk|k-1是利用上一状态预测的结果,uk-1是k时刻对系统的控制,A和B为系统的参数,对于多系统模型,A、B为矩阵参数。Wk-1是过程噪声,并假定其符合均值为零,协方差矩阵为的Qk多元正态分布。
WK-1~N(0,QK),
对于k时刻的xk测量,真实测量值Zk符合公式
Zk=Hkxk+Vk
其中Zk为K时刻的测量值,Hk为系统的观测模型,Vk为观测噪声,均值为0,协方差矩阵为Rk,符合正态分布,
VK~N(0,Rk),
Vk和Wk是相互独立,正态分布的噪声,则Vk和Wk满足下列公式:
E[Wk]=O
E[Vk]=O
E[WkWj T]=Qkσkj
E[VkVj T]=Rkσkj
E[WkVj T]=O,
其中σkj为kronecker函数。
Kalman滤波器是根据系统上一状态对当前状态进行估计,是一种递归的线性滤波方程。预估和校正是kalman滤波的重要过程。预估是利用时间更新方程来对当前状态进行先验估计和实时估算当前状态变量和误差协方差。校正是预估的反馈过程,根据测量更新方程将当前测量值和先验估计值结合起来修正的结果,并将该结果作为下一状态的先验估计。Kalman滤波器过程是通过实时修正来对系统的状态进行估计的过程,即利用时间更新方程获得当前系统状态变量和误差协方差,通过测量更新方程获得的观测值不断地修正估计系统的状态。下面给出Kalman滤波器的时间更新方程和测量更新方程。
时间更新方程包含状态预测方程和预测状态下的协方差方程。已知k-1时刻的Xk-1的最优估计为
Figure BSA0000192806970000101
则状态预测方程:
Figure BSA0000192806970000102
预测状态下的协方差方程:
Figure BSA0000192806970000103
测量更新方程由滤波器增益方程、状态最优化估计方程和状态最优化估计的协方差方程组成。滤波器增益方程:
Figure BSA0000192806970000111
状态最优化估计方程:
Figure BSA0000192806970000112
状态最优化估计的协方差方程:
Figure BSA0000192806970000113
由测量更新方程和时间更新方程可知,Kalman滤波器是一个递推重复的过程,Kalman滤波器是基于预测和校正的高效迭代滤波器。基于kalman滤波器的运动目标跟踪算法首先要初始化Kalman滤波器的参数,初始化状态转移矩阵A,测量矩阵H,误差协方差P,计算运动目标的初始位置、速度以及噪声协方差Q和P。初始化Kalman滤波器后,将参数带入时间更新方程,计算预估状态变量和预估误差协方差,将测量值代入测量更新方程,更新Kalman增益、协方差误差,校正运动目标位置。最后将预测的目标位置作为下一时刻的先验估计,更新Kalman滤波器的状态,循环迭代。
不断预估和校正的过程,是在时间轴上递归的算法。Kalman是时域的滤波器,不需要像低通滤波器在时域和频域之间相互转换,是解决状态空间估计和预测的有效途径。Kalman滤波是根据上一时刻状态值和当前状态的观测值对当前状态进行预估,并不断修正。它不需要存储大量的历史数据,也不需要进行复杂的运算,占用内存小,计算速度快,实时性好。
基于MeanShift的运动目标跟踪,它的基本含义是漂移的均值向量。主要应用于图像分割和图像平滑等领域。是一种基于密度梯度的无参估计方法。无参数密度估计,运动目标跟踪是计算机视觉的研究的重点,也是视频监控必不可少的环节。目标特征提取和目标跟踪算法是运动目标跟踪的两个重要的组成部分。运动目标跟踪的过程是在视频序列中将符合目标特征的运动的物体从背景中提取出来的过程。目标特征描述是运动目标跟踪的首要条件。统计建模是表示目标特征的一种重要方法,实质是使用外观表象信息表示目标并映射到特定的特征空间,获得的统计数据就是描述目标的特征值。若获得的特征值服从特定的概率密度分布,求解描述特征值概率分布的特定的概率密度函数过程是概率密度估计过程。概率密度估计的方法有两种:参数密度估计和无参密度估计。参数密度估计是根据一个特征空间服从的已知的概率密度函数,通过求特征值的最大似然估计从而获得函数的未知参数。在实际应用中,很难找到特征空间服从的概率密度分布的函数,使用参数密度估计不能有效地表示目标特征。无参密度估计则是完全依靠训练数据进行估计,对先验知识要求低,并且可以用于任意形状的密度估计。
核密度估计是一种平滑的无参估计方法,是一种根据数据和其相关数据的权重构造核密度估计的方法。核密度估计是在直方图估计的基础上引入了平滑数据的核函数。它是根据自身数据及其数据相关权重构造密度估计的方法,基本原理是将一组数据分成若干个相等的区域,每个区域即为一个bin,数组按照区间划分为若干个组,每组数据的个数与总的样本个数的比值即为每个bin对应的概率值,在此基础上,引入一个平滑的核函数,即:设一维空间中,有n组数据xi,i=1,2,…,n,x处的概率密度为
Figure BSA0000192806970000121
K(x)表示多元核函数,H为d*d对称正定矩阵,
Figure BSA0000192806970000122
K(x)、H满足以下公式:
Figure BSA0000192806970000123
其中,
Figure BSA0000192806970000124
代入可得:
Figure BSA0000192806970000125
Kh为核密度函数(核密度函数是关于y轴对称的函数,通常有对称性质,且
Figure BSA0000192806970000126
)。一维的核密度估计公式,多维核密度估计的数学描述为:
Figure BSA0000192806970000127
其中KH(x)为d维空间Rd的核函数,H为是一阶非奇异矩阵,也称为带宽矩阵。KH(x)和H是多维核密度估计的重要参数,多维核变量的选取和H矩阵的计算是影响核密度估计的重要因素。多维变量核函数有两种方式,一种是将核函数连乘,即:
Figure BSA0000192806970000131
式中K(x)为一维核函数,带入上式,则有:
Figure BSA0000192806970000132
另外一种多维变量生成方式是将一维变量核函数在空间Rd中旋转得到,公式如下:
Ks(x)=SkdK(||x||),
其中Skd为常数系数,保证K(||x||)的积分为1。核函数K(x)的轮廓函数k(x),应满足当[0,∞)→R,2K(x)=k(||x||),并且满足:k是非负的,k是非增的,k是分段连续函数且可积。以上两个公式等价:
KS(x)=Ckdk(||x||2),
带宽矩阵H表示多维核密度估计的灵活度。复杂的带宽矩阵能提高多维核密度估计的灵活性,但计算量大。为了平衡灵活性和计算速度,一般将H矩阵化简为对角矩阵,即H=diag[h2 1,h2 2,...h2 d],或者简化为H=hI。则多维核密度估计表达式为:
Figure BSA0000192806970000133
代入,可得:
Figure BSA0000192806970000134
这就是多维核密度估计的基本公式。
MeanShift算法的实质是核密度估计算法。核密度函数能准确地表达采样数据分布的密集程度,核密度函数值越大,就代表数据分布的越密集。核密度函数的峰值,即核密度函数的局部最大值点,就是局部数据分布的最密集的区域。MeanShift算法就是一个不断迭代的过程,将点“移动”到核密度函数的局部最大值点,从而寻求得到核密度函数的最大值点。核密度函数的局部最大值点即为核密度梯度为零的点,根据密度函数的可微性,对公进行一阶求导,得到核密度函数梯度:
Figure BSA0000192806970000141
令g(x)=-k′(x),假设除有限个点外,k′(x)对所有的x∈[0,∞)都存在。将核函数G(x)定义为G(x)=Ckdg(||x||2),Ckd为归一化常数。对于任意的x,G(x)的导数都存在,将g(x)带入公式中,则
Figure BSA0000192806970000142
根据轮廓函数的性质,
Figure BSA0000192806970000143
是一个正实数。由核函数G(x)得到的数据点在x处的核概率密度估计公式为:
Figure BSA0000192806970000144
Figure BSA0000192806970000145
代入公式化简为
Figure BSA0000192806970000146
MeanShift向量MhG为:
Figure BSA0000192806970000151
MeanShift向量是以核函数G(x)为轮廓函数为权重系数的加权均值与x的向量。将MhG代入公式,可得
Figure BSA0000192806970000152
MeanShift向量与基于核函数K(x)的密度估计是正相关关系,即MeanShift向量的最大值点也是基于核函数K(x)的概率密度变化最快的地方,且Manshift向量的方向指向核概率密度变化的方向。MeanShift算法就是不断计算MeanShift向量并将核函数的中心位置移动到MeanShift向量所指向的位置的重复过程。
MeanShift算法的收敛性是算法从理论到实际应用的重要基础,也是MeanShift理论核心。设序列{yj}j=1,2,...是迭代过程中核函数的中心位置,其中y1是MeanShift算法迭代的初始位置,设
Figure BSA0000192806970000153
为核函数的中心位置{yj}j=1,2,...通过核函数g(x)估计的密度序列。根据定理,若核函数g(x)是单调递减的凸函数,并满足条件g′(x)=-k(x),则序列{yj}j=1,2,...和{J(yj)}j=1,2,...)}均收敛。
基于MeanShift目标跟踪的原理是根据目标区域和候选区域像素的分布计算特征概率获得目标模型的描述和候选模型的描述,通过相似函数度量初始化的目标模型和候选模版的相似性,计算相似函数最大的候选模型和MeanShift向量,并将MeanShift核函数的中心位置移动到MeanShift向量指向的终点。根据MeanShift收敛性,通过不断计算MeanShift向量,MeanShift核函数的中心将不断地移动,最终收敛于某个位置,这个位置就是密度最大点,即目标的真实位置,从而实现实时目标跟踪。
MeanShift算法是基于核密度函数不断迭代的过程,目标模型描述是MeanShift算法的初始化条件。MeanShift算法在视频监控中进行运动目标跟踪,一般选用目标颜色的直方图作为搜索特征。目标模型描述初始化的基本方法是首先选中目标区域也就是核函数作用的区域,核函数的带宽为区域的大小。目标区域中像素点的特征值的概率是初始化的目标模型描述。将彩色图像划分为R、G、B三个子空间,每个空间按照直方图分为k个区间(K个bin),bin对应的值即为特征值。所有的bin构成了特征空间。特征空间中包含k3个特征值,目标模型的概率密度可表示为:
Figure BSA0000192806970000161
其中,
Figure BSA0000192806970000162
表示以目标中心为原点,即MeanShift算法的起始位置。K(x)为核函数,b(xi)i表示位于xi点的像素点在特征空间bin中对应的值。μ为直方图的颜色索引。δ(x)(克罗内克函数)是判断位于xi点的像素点是否属于特征空间中第μ个bin,若属于对应的bin区间,则为1,反之为0。C是常量系数,使
Figure BSA0000192806970000163
的值为C,则:
Figure BSA0000192806970000164
目标模型描述初始化后,在视频序列中要搜索符合目标模型的区域。在视频序列中,有可能包含目标的区域称为候选区域,即以前一帧的目标位置yn-1为搜索窗口的中心坐标计算出当前帧的候选区域的直方图。候选区域像素点用{xi}(i=1,2,...n)表示,候选区域的概率密度可表示为:
Figure BSA0000192806970000165
其中,b(xi)、δ(x)、C、μ的含义与之前相同。xi为当前帧的像素点,h为核窗宽,其值大小决定权重的分布。C为常量系统,通过公式(3-45)可计算得到。
Figure BSA0000192806970000171
相似度是判断当前帧中的候选区域是否包含目标区域的标准,是目标跟踪的依据。在MeanShift算法中,Bhattacharrya系数用来衡量目标模版和候选区域相似性对应直方图的相似性,以最大相似性为原则,在搜索窗口中按照MeanShift向量的方向和大小移动到目标的真实位置。若使用qn表示目标模型,pn为候选区域模型,μ=1...m,μ∈[0,1],目标模型和候选区域模型的相似度用ρ[p,q]表示,
Figure BSA0000192806970000172
pμ(y0)和qμ是核密度函数,满足
Figure BSA0000192806970000173
Figure BSA0000192806970000174
Figure BSA0000192806970000175
Figure BSA0000192806970000176
都表示单位球面向量,根据Bhattacharrya系数ρ[p,q]的几何意义,ρ[p,q]表示两向量夹角的余弦值,有余弦函数的性质可知,夹角越小,余弦值越大,ρ[p,q]值就越大,相似度就越高。
设y0为初始化的中心点,即目标跟踪搜索的起点。将Bhattacharrya系数表达式按照泰勒公式在y0展开
Figure BSA0000192806970000177
将公式代入,则等价于:
Figure BSA0000192806970000181
其中:
Figure BSA0000192806970000182
可知,Bhattacharrya系数ρ[p,q]在y0点按照泰勒公式展开的第一项为常量,第二项为含有y的函数。ρ[p,q]的最大值就是第二项函数式的最大值点,因此,用f(y)表示第二项,则有:
Figure BSA0000192806970000183
公理解做核函数的轮廓函数为k(x)且权重为wi的核密度估计公式。根据MeanShift理论,MeanShift向量为:
Figure BSA0000192806970000184
当前帧的坐标点yn即:
Figure BSA0000192806970000185
其中,g(x)=-k(x)。当MeanShift向量的距离大于一定的值d,就当中心坐标点移动到当前帧的中心点,直到距离小于d。MeanShift算法是在窗口中不断搜索,直到搜索到相似度最大的候选模型,即不断移动中心位置,直到迭代停止,找到目标的实际位置。
MeanShift算法基于彩色图像中目标区域的像素值进行概率密度统计,建立目标模型。MeanShift算法的实现过程是比较目标模型和候选模型概率密度的Bhattacharrya系数,计算小,复杂度低,实时性高。MeanShift算法是以目标像素的概率密度建立模型,目标的形态变化、旋转以及微小遮挡并不影响概率密度,因而具有较好的鲁棒性。基于MeanShift算法的目标跟踪算法的结果是,当物体运动速度不大,微小遮挡,也能很好地实现目标跟踪。当目标移动速度变快,MeanShift算法要不断进行模版匹配,实时性变差,导致目标丢失。
通信光缆异常行为运动目标跟踪算法应用,Kalman滤波的局限性在于kalman滤波只适用于线性且呈高斯分布的系统,对于目标的形变、旋转变化,不能准确和实时地预测目标位置。无法胜任目标变形、遮挡以及多目标的场合。
MeanShift算法基于目标彩色分布特征,利用梯度优化的方法实现对目标的快速定位、对目标的形变、旋转等具有很好的鲁棒性。但MeanShift算法使用范围较小、没有对目标运动特征进行分析,当周围环境存在干扰时,很容易丢失目标。MeanShift算法具有很好的稳定性,计算量大,对于整幅图像实施目标跟踪实时性低。MeanShift通过多次迭代漂移实现目标跟踪,对于低速运动的大多数情况都能实现实时、准确地跟踪,简单易于实现,但不适应于快速运动或者较小的目标,存在误差累积和错误跟踪。
为了提高目标跟踪的实时性,适应环境变化和目标遮挡等情况,采用一种将Kalman滤波和MeanShift算法相结合的算法,使用Kalman滤波对目标的位置进行预估,在将估计的位置提交给MeanShift算法处理。当图像中存在多个运动目标时,能减少MeanShift算法的迭代次数,对目标遮挡、形变具有很好的鲁棒性,提高算法的实时处理能力。
电力通信光缆监控视频分析技术,面向通信光缆视频图像故障识别模型,本申请通过深入研究卷积神经网络的相关理论知识,提出面向通信光缆的视频图像预处理技术,并对现有网络应用模型进行分析的基础之上,设计提出了一种电力通信光缆监控视频图像自动智能识别分析的卷积神经网络模型结构,实现对电力通信光缆自动化、智能化的电力通信光缆故障检测与分类识别,主要的内容包括如下几个方面:
1、基于卷积神经网络的通信光缆视频图像识别模型设计,从图像数据集、网络结构、模型参数设置以及需要处理的参数变化情况等方面对几种常见的卷积神经网络模型结构进行深入研究,以此作为构建故障视频图像识别的卷积神经网络模型的研究基础,并完成电力通信光缆视频图像自动智能识别卷积神经网络模型的总体设计;2、基于卷积神经网络的通信光缆视频图像识别模型构建,完成初始电力通信光缆视频图像自动智能识别卷积神经网络模型和网络框架的构建,对CNN模型中激活函数和池化方式进行选择;3、基于卷积神经网络的通信光缆视频图像识别模型的优化与实现,完成对初始基于卷积神经网络的通信光缆视频图像识别模型的优化,形成最终的基于卷积神经网络的通信光缆视频图像识别模型。
通信光缆视频图像故障识别的CNN算法的主要思路是将现有的视频转化为帧图片构建图片数据集,对图像数据进行训练获得卷积神经网络模型,然后利用得到的网络模型对图像进行分类识别,输出测试的图片类别以及识别的准确率。视频图像故障识别算法分为三个过程实现,分别是数据集构建过程、模型训练及生成过程以及图片分类识别过程。
(1)数据集构建过程。
深度学习神经网络模型的训练和生成是建立在对大量图片特征进行学习的基础上实现的。本技术方案的研究对象是电力通信光缆监控视频图像识别的深度学习模型,其模型建立的基础是大量故障视频图像以及正常图像。故障图像为清晰度异常图像和色偏异常图像两类,正常图像为人眼所接受的、可识别的清晰图像。对清晰度异常视频、色偏异常视频以及正常视频进行处理,将视频转化为单侦图像,并对图片尺寸进行归一化处理,构建清晰度异常图像数据集、偏色异常图像数据集和正常图像数据集。从中任意抽取图像划分为训练集、测试集和验证集三类,各集合中图像数目需要结合实际需要选择。
(2)模型训练及生成过程
图片数据集构建后,经过一个数据转化的过程,在该过程中,将图片文件由JPEG格式转化成神经网络识别的文件格式。在本技术方案卷积神经网络模型训练的过程中,图片数据集转化成为leveldb数据库文件,作为网络的底层数据输入。CNN对图片数据进行处理之后,经过卷积、池化等各种操作,从而实现网络模型输出。通过比较实际输出与期望输出之间的误差信息,对描述模型优劣的测试准确率值和误差损失函数等结果进行观察分析。然后,变更模型的网络参数。模型的训练阶段是一个不断变更参数和优化的过程。这个过程持续进行,直到输出的数据值收敛并且趋于一个稳定的状态或者迭代次数终止,模型训练结束。此时可以获得一个分类模型,将它用于图像分类过程。
(3)图片分类识别过程
在图像分类过程,需验证图像对训练过程中获得的网络模型进行测试。图片要先经过尺寸归一化和格式转换,并调用训练生成的模型对图片进行分类识别。
假设设计的该模型共有六层结构,包括三个卷积层和三个全连接层。其中最后一个全连接层作为输出层输出。卷积层采用ReLU作为激活函数,紧接着对卷积层做池化和局部区域归一化处理。最后一层全连接层作为输出层,采用SOFTMAXJLOSS回归模型。在此网络的基础上对模型进行训练,后续部分会结合实验结果对网络模型做适当调整。模型的训练与生成主要包括训练及测试两个过程。
(1)模型的训练过程
在模型的训练过程中,经过尺寸归一化处理的训练图片和测试图片数据集作为底层数据输入到网络,卷积层对输入的图像数据进行卷积运算,抽取图像特征,生成多个特征图。模仿人类视觉神经系统内神经元细胞的处理流程,对抽取到的特征加上一个激活函数和一个偏置值,进行输出。数据经过卷积层处理后,紧接着传入全连接层,全连接层将特征完全转化成一维向量输出。确定实际输出值与期望值之间的误差,对网络进行反向传播,调整网络参数。在该网络模型中,选择使用一个误差损失函数描述参数调整的优劣程度。当误差损失函数的值较小且达到收敛时,即可判断网络参数此时达到最优,进而决定是否结束模型训练过程。若误差损失函数的值较大,则需要继续进行训练,返回训练起始端输入图片进行特征学习。模型训练的结束与否还与模型设置的迭代次数有关,当达到预定的送代次数时,模型训练也会结束。最终获得卷积神经网络模型,模型中存储的即为我们提取到的图像的种类及特征信息。
(2)模型的测试过程
在模型的测试过程中,我们可以选择选择单张图片或多张图片进行测试,仅需更改网络参数中输入的图片数量即可实现。模型的测试过程大体同模型的训练过程类似。将经过尺寸归一化处理的图片数据输入到网络底层,网络参数的设置即为已经训练完成的网络模型参数,在测试过程中对其进行调用。图像数据在该网络中经过特征提取与输出,与训练获得的模型进行比较,输出图片的标签信息,也即图像的类别。由此,模型的测试过程完成。
模型训练过程中,测试网络将实例化,并且测试其准确率,将模型训练过程中的测试准确率命名为Test,其中Test选择每200次迭代测试一次,观察Test的变化情况。实验从迭代次数、批处理的图片数据量、权重学习率、图像数据分辨率、网络层数等五个因素探索其对网络模型测试准确率的影响。
卷积神经网络通过迭代实现对网络参数的调整,迭代次数的设置对网络参数的影响从模型的测试准确率上可以观察到。实验过程中选择的图片分辨率为60*60,其中用作训练的样本数为1200张,测试的样本数为300张。下面表中的数据反映的是不同迭代次数对模型测试准确率的影响情况。选择迭代次数在1000到10000之间的10组数据,观察模型准确率的变化。
由测试结果可观察到,在保持其他网络参数值不变的情况下,网络的迭代次数影响模型的测试准确率。在迭代次数比较少的状况下,模型对特征的学习不够充分,测试准确率也比较低,并且不断震荡。甚至会由于迭代次数过少而导致出现过拟合的现象。随着迭代次数的增加,反向传播得W持续进行,网络参数得到优化,训练得到的模型的测试准确率也在不断提窩。但是,当达到一定迭代次数以后,模型的测试准确率就不再升高了,出现不稳定的状态。
在对网络模型进行训练的过程中,批处理的图片数据量指的是一次迭代选择处理的图片的数量,即进行特征学习的图片个数。实验选择的图片分辨率为60*60,其中用作训练的样本数为1200张,测试的样本数为300张。不同批处理的图片数据量对模型测试准确率的影响情况。试验选择10到100之间的十组数据,用于观察模型测试准确率的变化。
由测试结果可观察到,在保持其他网络参数值不变的情况下,批处理的图片数据的数目影响模型的测试准确率。批处理的图片数据量比较小时,网络模型提取到的特征数量比较少,容易出现过拟合的现象。随着批处理的图片数目的增多,在一定范围内,随着批处理数目的增多,模型的测试准确率呈上升趋势。当批处理的图片数据量达到一定数目时,模型的测试准确率不再升高,反而会出现震荡,无法得到一个收敛的数值。
学习率是影响模型测试准确率的一个重要参数。在对BP算法进行推导和分析的过程中可以知道,学习率会影响网络仅值的调整,进而影响模型的测试准确率。实验选择的训练样本的数目为1200张测试的样本数目为300张,改变学习率,观察模型测试准确率的变化情况。
对测试结果分析可得出,学习率的值影响模型的测试准确率。当学习率过小时,模型的测试准确率的值在0.2与0.4两个数值之间发生麗荡,结合BP算法中的权值公式可以知道,此时网络权值虽然比较小,但是获得的是局部区域的一个梯度值,即局部最小值,模型的测试准确率无法收敛。当学习率比较大时,网络权值抖动频繁,此时不能获得梯度的最优值。
采用图像不同大小的局部区域作为网络模型的底层数据输入,即对图像数据选择不同分辨率进行特征学习。所选择的训练的样本数目为1200张,测试的样本数目为300张。
由测试数据可知,网络模型选择处理的图片的大小影响模型的测试准确率。当图像的分辨率比较小时,会导致图像的信息出现一定损失,此时网络学习到的特征的数量就比较少,模型的测试准确率会发生震荡,无法收敛。随着图片像素值的增大,通过卷积获得特征的数量也在增加,此时模型的测试准确率随着迭代次数的增加而呈现上升趋势,并且在达到一定迭代次数后收敛,网络趋于稳定。但是,图片的分辨率也不宜过大,否则会造成图片的特征过多,增加计算的复杂度,对模型的测试准确率也会产生影响。
深度学习区别于浅层学习的一个主要特点就是具有多层网络结构。网络层数的多少会影响模型的抽象能力。下面通过实验分析网络层数对模型测试准确率的影响。其中C为卷积层,fc为全连接层。
由测试数据可以看出,当网络层数较少时(卷积层数目为2),对于图像提取的特征虽然已经具备一定的表达能力,但是抽象程度不够,模型的测试准确率不高,且容易出现震荡,误差损失函数不收敛,权值无法达到最优解。而当网络层数过多时,又会由于图片数据量的不足造成过拟合的现象,此时损失函数为负值,这说明网络结构设置错误。此外,当对提取的特征消除归一化操作时,梯度下降速度过快,模型的测试准确率发生震荡。
电力通信光缆监控视频图像的故障识别是通过对组成视频的单帧图像的质量进行检测而实现的。图像质量检测涉及到对图像清晰度异常、色偏异常等故障图像的诊断与识别。目前,针对图像质量的检测多采用传统的分类识别方法,即对输入的图像进行预处理,采用特征提取的方法提取图像特征,这些特征提取的方法通常是经过大量人工计算获得符合某一类图像恃征的规律的总结,算法的鲁棒性和可移植性不高。
深度学习一个最为显著的特点是在网络结构的底端直接对图像数据进行处理,自动逐层对特征进行学习,优化目标函数,是一种端到端的机器学习系统。图像清晰度和色偏是视频质量检测的两个极为重要的判断因素,本研究选择清晰度异常图片、偏色异常图片以及正常图片作为训练和测试的样本集,图像为RGB颜色模式。深度学习对图片数据集的要求比较高,图片数据集的数目要比较大才能达到特征学习的目的。在实际实验过程中,如何获取大量的图片数据是一个难点。鉴于此,本技术方案实验所选择的图像数据来源于视频序列图,将视频序列转化为单帧图像。然后对图像做尺寸的归一化操作,用来作为底层数据输入。
本技术方案设计的基于CNN的通信光缆视频图像故障识别模型有多层网络构成,其中包括3个conv层、3个降采样层以及3个全连接层。输入到网络底层的图像数据的大小为60*60。
本技术方案选择ReLU函数作为激活函数,即神经元上的输入和输出的逻辑关系满足f(x)=max(0,x)的关系。在本技术方案设计的模型中,在降采样层,选择使用最大池化的方式,即对特征图的局部子区域选取最大值作为输出,从而剔除局部最大值的影响,降低网络中数据的计算量。
图像数据由网络底层输入,首先经过卷积处理,对处理后的数据进行降采样,选择ReLU函数作为激活函数,降采样的方式是最大池化的方式,获得特征子区域的最大值。经过连续三个卷积层和降采样层处理后,数据转化成一维向量输入到全连接层,并最终输出模型的测试准确率和误差损失函数值。
由于图像和视频序列本身在时间和空间维度上具有显著的结构性和连续性特征,并且包含大量的冗余信息,对图像的平移、旋转、扭曲、高斯和椒盐噪声等图像处理操作,都能够产生有效的训练数据,作为扩展模型训练集的措施,而不会降低模型的鲁棒性。本文通过旋转、扭曲等措施对图像数据集进行了扩展。
在基础卷及神经网络模型上,调整后的故障视频图像识别的卷积神经网络模型包含4个conv层、3个降采样层和2个全连接层。相较于基础CNN模型,增加了1个conv层,减少了1个全连接层。并且对输入到网络底层的图像数据大小进行了调整,由原先的60*60调整为100*100。模型中激活函数和池化方式与基础模型中的一致,不作更改。调整后的网络模型如下图所示。图像数据由网络底层输入,经过四次卷积处理及相应的降采样处理后,数据转化成一维向量输入到全连接层,并最终输出其测试准确率和误差损失函数值。
通信光缆视频图像故障识别的卷积神经优化模型的CNN网络优化框架,其具体建构如下:输入,将经过尺寸归一化处理的图像数据集输入到网络模型中,在200*200大小的图像中也选取100*100的图像。设定网络一次迭代过程中处理的图片数目为50张。C1层,对于C1卷积层。相较于基础模型的16个4*4大小的卷积核,选用36个5*5大小的卷积核对图像数据进行步幅为2的卷积,获得36个49*49大小的特征图。将卷积所得数据与一个激活函数先运算,并为其添加一个偏置项,让其充当神经元的特征值存储到特征提取层C1层上。此时,C1层上的数据个数为36*49*49*50=4321800。S1层,对于降采样层S1层,对C1层上的数据进行降采样处理,采用最大池化的方式,大小为3*3的卷积核对特征图像的相邻区域进行步幅为2的聚合统计,然后获取子区域中的MAX值。此时,S1层上的数据个数为36*24*24*50=1036800。C2层,C2层主要是提取图像的特征,过程与C1类似。此时选用96个5*5大小的卷积核对图像数据进行卷积,获得96个特征图,卷积核的数目发生改变,获取的特征图个数也相应增加。经过卷积处理的数据个数为96*12*12*50=829440。卷积层C3、C4和降采样层S2、S4,这几个层的工作原理与前面的卷积层和降采样层一致,其中卷积层C3层用128个卷积核大小为3*3的区域去对图像数据进行卷积,获得128个大小为12*12的特征图像。卷积层C4层用96个卷积核大小为3*3的区域去对图像数据进行卷积,获得96个大小为12*12的特征图像。降采样层S2层连接在卷积层C2层之后,对提取的特征图像进行最大池化处理,池化的方式与S1层相同,此时输出的数据为96*12*12*50=691200。卷积层C3后面没有连接降采样层,直接将数据输入到卷积层C4上。降采样层S4层连接在C4后,也对C4进行池化操作,输出的数据为96*6*6*50=127800。fc5是全连接层,将降采样层S4层上的特征数据转换成一维向量输入,有528个神经元。此时数据的个数为528*1*1*50=26400。全连接层fc6上有3个神经元,相当于图片的3个种类。输出层,输出层与fc6相连,采用SOFTMAX_LOSS方式,实现对参数的更新。
基建工程等的机械操作是近年来影响电力通信光缆安全的主要因素,在电力通信光缆下通行,或者在电力通信光缆旁作业的工程机械是电力通信光缆防外力破坏重点监控的对象。以工程机械车为例,其车身进行位置移动,机械臂施工作业,二者不能在同一地点同一时刻同时运动。工程机械的颜色特征明显,一般为红色、黄色和黑色,并具有很好的直线特征。下面以工程机械为例,应用本申请研究提出的技术方案,考虑工程机械自身特点以及施工作业特性,分析电力通信光缆防外力破坏视频智能分析告警的技术路线及应用方式。
电力通信光缆防外力破坏视频智能分析告警技术主要流程包括:
1、光缆监控视频流媒体传输
电力通信光缆分布广、覆盖面积大,对电力通信光缆进行视频监控一般采用远程视频监控。流媒体技术是网络化视频监控的核心,流媒体传输是指音视频文件以流的方式在网络中实现服务器和客户端之间的传输,是目前网络视频传输的主要解决方案。
2、运动目标检测
运动目标检测是将运动目标和背景进行分割,也是目标跟踪的前提。运动目标检测的质量是衡量视频监控的重要指标,也是后续处理和分析的基础。采用多高斯背景建模来检测运动目标,多高斯背景建模动态性好,鲁棒性好。
3、形态学与连通域
实际的场景中一般存在多个物体做无规律的运动,运动目标检测往往检测到多个目标。由于噪声、遮挡、阴影等的干扰,同一个物体的边缘可能出现断裂或者不同的物体有可能被连接到一起。因此对图像进行形态学处理,使物体的边界更加平滑。连通域标记目标的数目和位置。
4、外力破坏目标对象识别
工程机械是本技术方案重点研究的监控对象。在对工程机械的特征识别中,常常需要根据工程机械的特征来识别。工程机械具有较好的颜色特征,一般为红色、黄色、和黑色,在算法中做辅助判断。长宽比和面积也判别工程机械的重要方法,算法根据目标的最小外接矩形计算长宽比和面积。此外,工程机械具有很好的直线特征,因此,可根据直线特征识别工程机械。
5、运动目标跟踪
目标跟踪是计算机视觉分析的难点,也是视频分析研究的重点。本技术方案采用了一种基于Kalman滤波和MeanShift算法结合的目标跟踪算法。MeanShift算法需要初始化目标模型,算法通过多高斯背景建模提取运动目标,再求出目标的最小外接矩形,目标跟踪直接用目标的最小外接矩形的颜色直方图作为搜索特征,提高了算法的可靠性与准确性。
6、异常行为的检测及告警
异常行为的检测及告警主要依据设定的异常行为或危险的判断原则和预设参数,自动判别异常目标。通过对大型作业机械等移动物体进行准确的跟踪和定位,是预测该物体造成高压线路碰线事故的重要依据。本项技术主要是从摄像机获取的图像信息出发计算三维空间中物体的几何信息,空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系运算,将该技术用于大型机械入侵电力通信光缆的安全距离计算。通过实时测算出被监控目标和电力通信光缆之间的距离,实时评估被监控目标和电力通信光缆之间是否在安全距离内,进行及时的告警提示。告警方式主要包括:1)音响报警:通过预先设定的音响格式,通过设置在监测中心的音响进行告警;2)推图报警:当某条电力通信光缆出现外力入侵情况时,立即在监测画面显示该线路,并闪烁示警;3)短信报警:通过手机短信方式,向指定运行人员发送短信。支持短信定制和群发方式;4)分级报警:能够根据异常严重程度,分等级报警。
根据本申请实施例的另一个方面,还提供了一种用于实施上述通信光缆的智能告警方法的通信光缆的智能告警装置。该装置可以包括:
获取单元,用于获取监控视频,其中,监控视频是对电力通信光缆所在场景进行监控时采集得到的视频;第一检测单元,用于检测监控视频中是否存在运动目标;第二检测单元,用于在监控视频中存在运动目标的情况下,检测运动目标的运动是否符合工程机械特征;第三检测单元,用于在运动目标的运动符合工程机械特征的情况下,检测运动目标是否位于目标观察区,其中,目标观察区为通信光缆所在的区域;生成单元,用于在运动目标位于目标观察区的情况下,生成运动目标的告警信息。
上述生成单元包括:输入模块,用于将监控视频中的目标视频帧输入第一神经网络模型,其中,第一神经网络模型是使用标记有故障类型的训练图像进行训练得到的,目标视频帧为监控视频中运动目标所在的视频帧;生成模块,用于获取第一神经网络模型输出的故障类型,并生成携带有该故障类型的告警信息。
该装置还包括训练单元,用于:在将监控视频中的目标视频帧输入第一神经网络模型之前,将训练图像输入第二神经网络模型,以对第二神经网络模型中各层的参数进行训练,得到第三神经网络模型;在第三神经网络模型对测试图像的故障类型的识别准确率达到目标阈值的情况下,将第三神经网络模型作为第一神经网络模型;在第三神经网络模型对测试图像的故障类型的识别准确率未达到目标阈值的情况下,继续使用训练图像对第三神经网络模型进行训练,直至第三神经网络模型对测试图像的故障类型的识别准确率达到目标阈值。
本领域普通技术人员可以理解,运行本申请的方法的终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices,MID)、PAD等终端设备。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种通信光缆的智能告警方法,其特征在于,包括:
获取监控视频,其中,所述监控视频是对电力通信光缆所在场景进行监控时采集得到的视频;
检测所述监控视频中是否存在运动目标;
在所述监控视频中存在运动目标的情况下,检测所述运动目标的运动是否符合工程机械特征;
在所述运动目标的运动符合工程机械特征的情况下,检测所述运动目标是否位于目标观察区,其中,所述目标观察区为所述通信光缆所在的区域;
在所述运动目标位于所述目标观察区的情况下,生成所述运动目标的告警信息。
2.根据权利要求1所述的方法,其特征在于,检测所述监控视频中是否存在运动目标包括:
使用卡尔曼滤波方法和目标跟踪方法检测所述监控视频中是否存在运动目标。
3.根据权利要求2所述的方法,其特征在于,使用卡尔曼滤波方法和目标跟踪方法检测所述监控视频中是否存在运动目标包括:
使用所述卡尔曼滤波方法在所述监控视频中检测出候选目标;
使用所述目标跟踪方法从所述候选目标中识别出所述运动目标。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,生成所述运动目标的告警信息包括:
将所述监控视频中的目标视频帧输入第一神经网络模型,其中,所述第一神经网络模型是使用标记有故障类型的训练图像进行训练得到的,所述目标视频帧为所述监控视频中所述运动目标所在的视频帧;
获取所述第一神经网络模型输出的故障类型,并生成携带有该故障类型的所述告警信息。
5.根据权利要求4所述的方法,其特征在于,在将所述监控视频中的目标视频帧输入第一神经网络模型之前,所述方法还包括:
将所述训练图像输入第二神经网络模型,以对所述第二神经网络模型中各层的参数进行训练,得到第三神经网络模型;
在所述第三神经网络模型对测试图像的故障类型的识别准确率达到目标阈值的情况下,将所述第三神经网络模型作为所述第一神经网络模型;
在所述第三神经网络模型对所述测试图像的故障类型的识别准确率未达到所述目标阈值的情况下,继续使用所述训练图像对所述第三神经网络模型进行训练,直至所述第三神经网络模型对所述测试图像的故障类型的识别准确率达到所述目标阈值。
6.一种通信光缆的智能告警装置,其特征在于,包括:
获取单元,用于获取监控视频,其中,所述监控视频是对电力通信光缆所在场景进行监控时采集得到的视频;
第一检测单元,用于检测所述监控视频中是否存在运动目标;
第二检测单元,用于在所述监控视频中存在运动目标的情况下,检测所述运动目标的运动是否符合工程机械特征;
第三检测单元,用于在所述运动目标的运动符合工程机械特征的情况下,检测所述运动目标是否位于目标观察区,其中,所述目标观察区为所述通信光缆所在的区域;
生成单元,用于在所述运动目标位于所述目标观察区的情况下,生成所述运动目标的告警信息。
7.根据权利要求6所述的装置,其特征在于,所述生成单元包括:
输入模块,用于将所述监控视频中的目标视频帧输入第一神经网络模型,其中,所述第一神经网络模型是使用标记有故障类型的训练图像进行训练得到的,所述目标视频帧为所述监控视频中所述运动目标所在的视频帧;
生成模块,用于获取所述第一神经网络模型输出的故障类型,并生成携带有该故障类型的所述告警信息。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括训练单元,用于:
在将所述监控视频中的目标视频帧输入第一神经网络模型之前,将所述训练图像输入第二神经网络模型,以对所述第二神经网络模型中各层的参数进行训练,得到第三神经网络模型;
在所述第三神经网络模型对测试图像的故障类型的识别准确率达到目标阈值的情况下,将所述第三神经网络模型作为所述第一神经网络模型;
在所述第三神经网络模型对所述测试图像的故障类型的识别准确率未达到所述目标阈值的情况下,继续使用所述训练图像对所述第三神经网络模型进行训练,直至所述第三神经网络模型对所述测试图像的故障类型的识别准确率达到所述目标阈值。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至5任一项中所述的方法。
10.一种电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器通过所述计算机程序执行上述权利要求1至5任一项中所述的方法。
CN201911040622.6A 2019-10-29 2019-10-29 通信光缆的智能告警方法和装置 Pending CN112733584A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911040622.6A CN112733584A (zh) 2019-10-29 2019-10-29 通信光缆的智能告警方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911040622.6A CN112733584A (zh) 2019-10-29 2019-10-29 通信光缆的智能告警方法和装置

Publications (1)

Publication Number Publication Date
CN112733584A true CN112733584A (zh) 2021-04-30

Family

ID=75589470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911040622.6A Pending CN112733584A (zh) 2019-10-29 2019-10-29 通信光缆的智能告警方法和装置

Country Status (1)

Country Link
CN (1) CN112733584A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035395A (zh) * 2022-07-07 2022-09-09 北京拙河科技有限公司 用于机场航站楼场景的安全分析装置方法及装置
CN115184193A (zh) * 2022-09-06 2022-10-14 深圳永贵技术有限公司 线缆的自动化测试方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035395A (zh) * 2022-07-07 2022-09-09 北京拙河科技有限公司 用于机场航站楼场景的安全分析装置方法及装置
CN115035395B (zh) * 2022-07-07 2023-11-10 北京拙河科技有限公司 用于机场航站楼场景的安全分析装置方法及装置
CN115184193A (zh) * 2022-09-06 2022-10-14 深圳永贵技术有限公司 线缆的自动化测试方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
López-Rubio et al. Foreground detection in video sequences with probabilistic self-organizing maps
CN113902897B (zh) 目标检测模型的训练、目标检测方法、装置、设备和介质
CN113012203A (zh) 一种复杂背景下高精度多目标跟踪方法
CN113205063A (zh) 一种输电导线缺陷的视觉识别及定位方法
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN112616023A (zh) 复杂环境下的多摄像机视频目标追踪方法
US20220128358A1 (en) Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction
Ye et al. Overhead ground wire detection by fusion global and local features and supervised learning method for a cable inspection robot
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN112733584A (zh) 通信光缆的智能告警方法和装置
CN114998890B (zh) 一种基于图神经网络的三维点云目标检测算法
Wang et al. Video background/foreground separation model based on non-convex rank approximation RPCA and superpixel motion detection
Sood et al. Image quality enhancement for Wheat rust diseased images using Histogram equalization technique
CN112766145B (zh) 人工神经网络的人脸动态表情识别方法及装置
CN115019163A (zh) 基于多源大数据的城市要素识别方法
Lou et al. Smoke root detection from video sequences based on multi-feature fusion
Ju et al. A novel fully convolutional network based on marker-controlled watershed segmentation algorithm for industrial soot robot target segmentation
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
CN113628251B (zh) 一种智慧酒店终端监测方法
CN109558771B (zh) 海上船舶的行为状态识别方法、装置、设备及存储介质
CN114663835A (zh) 一种行人跟踪方法、系统、设备及存储介质
CN113963270A (zh) 一种高分遥感影像建筑物检测方法
CN112528988A (zh) 一种车牌角度矫正方法
Venkatesan et al. Experimental research on identification of face in a multifaceted condition with enhanced genetic and ANT colony optimization algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210430