CN115641538A - 设备异常检测方法、装置、计算机设备及存储介质 - Google Patents
设备异常检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115641538A CN115641538A CN202211347122.9A CN202211347122A CN115641538A CN 115641538 A CN115641538 A CN 115641538A CN 202211347122 A CN202211347122 A CN 202211347122A CN 115641538 A CN115641538 A CN 115641538A
- Authority
- CN
- China
- Prior art keywords
- background
- video information
- pixel point
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及图像识别领域,提供一种设备异常检测方法、设备及计算机存储介质,该方法包括:获取监控设备在至少两个历史时段拍摄的视频信息,以及获取监控设备在当前时段拍摄的视频信息;分别提取至少两个历史时段拍摄的视频信息中的背景和当前时段拍摄的视频信息中的背景,得到至少两个历史时段拍摄的视频信息对应的背景图像和当前时段拍摄的视频信息对应的背景图像;对至少两个历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像;根据背景基准图像和当前时段拍摄的视频信息对应的背景图像,确定监控设备是否存在异常。降低了监控设备异常检测的实施成本,减少环境干扰对监控设备异常检测的影响,避免误检。
Description
技术领域
本申请涉及图像识别领域,尤其涉及一种设备异常检测方法、装置、计算机设备及存储介质。
背景技术
随着社会的发展和智慧城市的建设,通过布设监控设备获取监控视频的需求也大大增加。然而,监控设备可能会遭到遮挡或者偏移等干扰,导致监控设备状态异常。现有技术中为了检测监控设备是否处于异常状态,需要实时获取和解码视频流,实施成本和数据处理量较大,并且容易由于车辆等运动物体经过、光照变化、蚊虫飞扰等原因造成误检。因此,如何检测监控设备的异常状态成为亟需解决的问题。
发明内容
本申请的主要目的在于提供一种设备异常检测方法、装置、计算机设备及计算机存储介质,旨在降低监控设备异常检测的实施成本,减少环境干扰对监控设备异常检测的影响,避免误检。
第一方面,本申请提供一种设备异常检测方法,所述设备异常检测方法包括以下步骤:
获取监控设备在至少两个历史时段拍摄的视频信息,以及获取所述监控设备在当前时段拍摄的视频信息;
分别提取至少两个所述历史时段拍摄的视频信息中的背景和所述当前时段拍摄的视频信息中的背景,得到至少两个所述历史时段拍摄的视频信息对应的背景图像和所述当前时段拍摄的视频信息对应的背景图像;
对至少两个所述历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像;
根据所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像,确定所述监控设备是否存在异常。
第二方面,本申请还提供一种设备异常检测装置,所述设备异常检测装置包括:
视频信息获取模块,用于获取监控设备在至少两个历史时段拍摄的视频信息,以及获取所述监控设备在当前时段拍摄的视频信息;
背景图像提取模块,用于分别提取至少两个所述历史时段拍摄的视频信息中的背景和所述当前时段拍摄的视频信息中的背景,得到至少两个所述历史时段拍摄的视频信息对应的背景图像和所述当前时段拍摄的视频信息对应的背景图像;
背景图像融合模块,用于对至少两个所述历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像;
背景图像对比模块,用于根据所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像,确定所述监控设备是否存在异常。
第三方面,本申请还提供一种计算机设备,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如上述的设备异常检测方法。
第四方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如上述的设备异常检测方法。
本申请提供一种设备异常检测方法、装置、计算机设备及存储介质,该设备异常检测方法通过获取监控设备在至少两个历史时段拍摄的视频信息,以及获取所述监控设备在当前时段拍摄的视频信息;分别提取至少两个所述历史时段拍摄的视频信息中的背景和所述当前时段拍摄的视频信息中的背景,得到至少两个所述历史时段拍摄的视频信息对应的背景图像和所述当前时段拍摄的视频信息对应的背景图像;对至少两个所述历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像;根据所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像,确定所述监控设备是否存在异常。由于分时段获取第一视频信息和第二视频信息进行设备异常检测,避免了持续获取和解码视频流,降低了异常检测的实施成本,并且通过对第一背景图像进行融合得到基准背景图像,减少了偶然因素的干扰造成的误检,提高了异常检测的准确度。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的一种设备异常检测方法的流程示意图;
图2为本申请一实施例提供的一种设备异常检测方法的使用场景图;
图3为本申请一实施例提供的一种设备异常检测方法的流程示意性框图;
图4为本申请一实施例提供的一种设备异常检测方法的示意性框图;
图5为本申请一实施例涉及的计算机设备的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
本申请实施例提供一种设备异常检测方法、装置、计算机设备及存储介质。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,图1为本申请的实施例提供的一种设备异常检测方法的流程示意图。该设备异常检测方法可以用于终端或服务器中,以实现对监控设备的异常检测。其中,终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备,也可以是监控设备本身;服务器可以为独立的服务器,也可以为服务器集群。
请参照图2,图2为本申请一实施例提供的一种设备异常检测方法的使用场景图。如图2所示,监控设备例如监控摄像头可以将不同时段拍摄到的视频信息发送至服务器,例如将历史时段和当前时段拍摄的视频信息发送至服务器,以便服务器提取视频信息中的背景,对监控设备进行检测,得到监控设备的检测结果。若所述服务器检测认为监控设备存在异常,所述服务器可以向监控设备或终端设备发送提示信息。当然也不限于此,所述设备异常检测方法也可以是由终端设备完成的,或者由监控设备内置的处理器完成的,在此不做限定。
如图1所示,该设备异常检测方法包括步骤S101至步骤S104。
步骤S101、获取监控设备在至少两个历史时段拍摄的视频信息,以及获取监控设备在当前时段拍摄的视频信息。
示例性的,获取至少两个历史时段拍摄的视频信息用于提取异常判定的背景图像,使最终根据背景图像融合得到的基准背景图像能够排除其中某一时段突发情况的干扰,提高监控设备异常检测的准确性。
示例性的,根据预设时间周期获取历史时段拍摄的视频信息。具体地,在一个月的四个星期中,每个星期获取特定天数中特定时间段的监控视频作为第一视频信息,例如,在每个星期中分别获取4天的上午、中午、下午特定时间段拍摄的监控视频,特定时间段可以是上午10点、中午1点、下午3点,视频信息的时长可以是1分钟,则每个星期获取12段时长为1分钟的视频信息,作为历史时段拍摄的视频信息。当然也不限于此,也可获取其他时间段的监控视频作为历史时段拍摄的视频信息,视频信息的时长也可以为其他时长,在此不做限定。
示例性的,获取当前时段拍摄的视频信息,例如可以是设备异常检测流程被触发时实时获取预设时长的视频信息。其中,设备异常检测流程可以是根据设备运行逻辑周期性触发的,也可以是根据用户发送的设备异常检测指令触发的,在此不做限定。
在一些实施方式中,获取监控设备在至少两个历史时段拍摄的视频信息,以及获取监控设备在当前时段拍摄的视频信息之后,还包括:获取监控设备在至少两个历史时段拍摄的视频段,以及获取监控设备在当前时段拍摄的视频段;分别对获取的视频段中的各视频帧所包含的像素点进行灰度化处理,得到监控设备在至少两个历史时段拍摄的视频信息以及监控设备在当前时段拍摄的视频信息。
示例性的,对视频段中各视频帧所包含的像素点进行灰度化处理,也就是将监控视频中的R、G、B三个颜色通道上的颜色通道参数值进行计算得到单一颜色通道的灰度值,后续计算时只需要对像素的灰度值进行计算,减小了进行背景提取的计算量,降低了计算的复杂度。具体的,在进行灰度值计算时,可以采用对像素点在R、G、B三个颜色通道上的颜色通道参数值进行平均值计算或加权平均值计算得到像素点最终的灰度值的方式,或者也可以采用将像素点在R、G、B三个颜色通道上的颜色通道参数值中选取最大的颜色通道参数值作为像素点最终的灰度值的方式。当然,本申请实施例还可以采用对图像进行灰度处理的其它方式,并不限定于以上方式。
步骤S102、分别提取至少两个历史时段拍摄的视频信息中的背景和当前时段拍摄的视频信息中的背景,得到至少两个历史时段拍摄的视频信息对应的背景图像和当前时段拍摄的视频信息对应的背景图像。
示例性的,分别提取至少两个历史时段拍摄的视频信息中的背景,以便对至少两个历史时段拍摄的视频信息对应的背景图像进行融合,得到用于进行设备异常检测的基准背景图像,排除某一时段突发情况对异常检测的干扰,避免误检。
在一些实施方式中,步骤S102包括:基于视频信息对应的背景提取模型,对视频信息中的像素点进行背景图像分析,得到视频信息对应的背景图像,其中,背景提取模型包括多个高斯混合模型,多个高斯混合模型分别用于对视频信息中的像素点进行背景分析。
示例性的,针对视频信息中的每一个像素点分别确定高斯混合模型,得到背景图像分析模型,以便对视频帧中每一个像素点的像素值进行分析,确定组成背景图像的背景像素点的集合,提高了背景提取的准确性。
在一些实施方式中,基于视频信息对应的背景提取模型,对视频信息中的像素点进行背景图像分析,得到视频信息对应的背景图像,包括:选取视频信息中的目标视频帧,获取目标视频帧中的各目标像素点对应的像素值;针对目标视频帧所包含的每个目标像素点,基于目标像素点对应的高斯混合模型以及目标像素点对应的像素值,对目标像素值进行背景分类,得到目标像素点的背景分类结果;基于目标视频帧所包含的每个目标像素点的背景分类结果,得到视频信息对应的背景图像。
示例性的,在视频信息中选取目标视频帧,目标视频帧可以是在视频信息随机选取的,也可以是基于一定的规则从视频信息中选取的,在此不做限定。其中,目标像素点为目标视频帧中的像素点。
示例性的,目标像素点的像素值,可以是目标像素点的灰度值,通过灰度值进行计算减小了背景图像分析的计算量,提高了检测效率。
示例性的,针对目标视频帧中的各目标像素点应用对应的高斯混合模型,即基于各目标像素点对应的高斯混合模型对目标像素点进行背景分类,确定目标像素点是否属于背景像素点,以便根据背景像素点得到背景图像,提高了得到的背景图像的准确性。
在一些实施方式中,多个高斯混合模型均包括至少一个高斯分布,基于目标像素点对应的高斯混合模型以及目标像素点对应的像素值,对目标像素值进行背景分类,得到目标像素点的背景分类结果,包括:若目标像素点对应的高斯混合模型中,存在高斯分布的均值与目标像素点的像素值之间的差值小于或等于预设数值的目标高斯分布,则确定目标像素点的背景分类结果为背景像素点;若目标像素点对应的高斯混合模型中,不存在高斯分布的均值与目标像素点的像素值之间的差值小于或等于预设数值的目标高斯分布,则确定目标像素点的背景分类结果为前景像素点。
示例性的,高斯分布又称正态分布,由于高斯分布的分布曲线具有集中性、对称性和均匀变动性的特点,而视频信息中背景像素点的像素值大小变化通常也集中一定范围内,可以通过高斯分布表示视频信息中背景像素点像素值的概率密度。具体地,若视频信息中像素点的像素值与高斯分布的均值的差值小于或等于预设数值,说明该像素点的像素值大小集中在特定值附近,可以认为该像素点属于背景像素点;若视频信息中像素点的像素值与高斯分布的均值的差值大于预设数值,说明该像素点的像素值大小不是规律变化的,可以认为该像素点不属于背景像素点。
示例性的,由于目标像素点所在的场景可能涉及像素值的反复变化的情况,例如树叶晃动、水纹波动、电子广告牌等场景,若对每个像素点只设置单个高斯分布进行匹配,容易将上述情况引起变化的像素点排除在背景像素点之外,使得确定的背景图像存在误差。因此,设置包括多个高斯分布的高斯混合模型,使得背景提取模型提取到的背景图像更加准确。
示例性的,可以基于目标高斯分布根据以下公式对目标像素点与进行分类,具体地,若目标像素点的像素值与目标高斯分布的关系符合以下公式,则将目标像素点确定为背景像素点,反之,若不存在与目标像素点的像素值的关系符合以下公式的目标高斯分布,则将目标像素点确定为前景像素点:
在一些实施方式中,背景提取模型的中的高斯混合模型对应的高斯分布,可以通过以下步骤S201-步骤S204确定,其中,视频信息被划分为第一历史视频帧和第二历史视频帧,可以理解的,目标视频帧不属于第一历史视频帧和第二历史视频帧。
步骤S201、根据第一历史视频帧的第一像素值,确定高斯混合模型对应的多个初始高斯分布。
示例性的,将历史视频帧分为第一历史视频帧和第二历史视频帧,通过第一历史视频帧确定各高斯混合模型的初始高斯分布模型,再通过第二历史视频帧调整初始高斯分布模型,得到各高斯混合模型对应的目标高斯分布模型,以便得到能够准确反映像素点像素值分布情况的高斯混合模型。
示例性的,高斯混合模型可以通过以下公式表示:
其中,p(xt)表示混合高斯模型的概率密度;k为整数,表示每个高斯混合模型中初始高斯分布的个数,通常情况下3≤k≤5;η(xt,μi,t,τi,t)为像素点在t时刻对应的第i个初始高斯分布,xt表示t时刻该像素点的像素值,μi,t表示该初始高斯分布的均值,τi,t表示该初始高斯分布的协方差矩阵;表示该初始高斯分布的方差,wi,t表示该初始高斯分布在高斯混合模型中的权重,I是三维单位矩阵。
示例性的,由于高斯混合模型中的高斯分布是由均值、方差、权重决定的,根据第一历史视频帧的第一像素值,确定高斯混合模型对应的多个初始高斯分布,可以是根据第一历史视频帧像素点的第一像素值确定K个初始高斯分布的均值和方差,并为该K个初始高斯分布赋予预设权重。
示例性的,预设权重的数值可以为1/K,使各个预设权重的和为1,后续再根据第二历史视频帧的像素值对权重的大小进行调整;K的大小可以根据实际需求设置,例如根据第一历史视频帧预先确定3~5个初始高斯分布,在此不做限定。
步骤S202、若高斯混合模型中存在与第二历史视频帧的第二像素值匹配的初始高斯分布,根据预设的学习速率,增大与第二像素值匹配的初始高斯分布的权重,并根据第二像素值对初始高斯分布的均值和方差进行更新,以及根据学习速率,减小与第二像素值不匹配的初始高斯分布的权重。
示例性的,根据第一历史视频帧确定的初始高斯分布通常准确度较低,需要根据第二历史视频帧对初始高斯分布进行调整,以得到能够较为准确地反映对应像素点的像素值概率密度分布情况的高斯混合模型。
示例性的,获取第二历史视频帧中像素点的第二像素值,将第二像素值与对应像素点的初始高斯分布进行匹配,例如对比第二像素值与各初始高斯分布的均值,若第二像素值与各初始高斯分布的均值相差小于或等于预设数值,则认为第二像素值与初始高斯分布匹配。
示例性的,若高斯混合模型中存在与第二像素值匹配的初始高斯分布,根据预设的学习速率增大与第二像素值匹配的初始高斯分布的权重,并根据第二像素值对初始高斯分布的均值和方差进行更新。具体地,可以基于以下公式对初始高斯分布的均值和方差进行更新:
ρ=α*η(Xt|μk,σk)
μt=(1-ρ)*μt-1+ρ*Xt
其中,ρ表示更新速率,η(Xt|μk,σk)表示t时刻的第k个高斯分布的概率密度,Xt表示与初始高斯分布匹配的第二像素值,α表示预设的学习速率,μt表示更新后的高斯分布的均值,μt-1表示更新前的高斯分布的均值;表示更新后的高斯分布的方差,表示更新前的高斯分布的方差;右上标T表示矩阵转置。
示例性的,对于高斯混合模型中与第二像素值不匹配的初始高斯分布,根据预设的学习速率减小与第二像素值不匹配的初始高斯分布的权重。具体地,根据下式对各初始高斯分布的权重进行调整:
wk,t=(1-α)*wk,t-1+α*Mk,t
其中,wk,t表示更新后的权重,wk,t-1表示更新前的权重,α表示学习速率;Mk,t用于表示第二像素值与初始高斯分布的匹配情况,若第二像素值与初始高斯分布匹配则Mk,t=1,若第二像素值与初始高斯分布不匹配则Mk,t=0。
示例性的,更新各初始高斯分布的权重后,需要对各初始高斯分布的权重进行归一化处理,使调整后的各初始高斯分布的权重之和为1,在此不做赘述。
步骤S203、若高斯混合模型中不存在与第二像素值匹配的初始高斯分布,根据第二像素值,对高斯混合模型中权重最小的初始高斯分布进行替换。
示例性的,若高斯混合模型中不存在与第二像素值匹配的初始高斯分布,说明高斯混合模型当前的各初始高斯分布均无法准确地反映第二像素值,根据第二像素值,对高斯混合模型中权重最小的初始高斯分布进行替换。
具体地,将第二像素值替换为权重最小的初始高斯分布的均值,并根据预设的数值为该初始高斯分布确定较大的方差,以便后续逐步调整该方差的数值大小使其趋近准确。
步骤S204、根据同一高斯混合模型中各初始高斯分布的权重和方差,确定各高斯混合模型对应的目标高斯分布。
示例性的,由于方差越小的高斯分布,其分布曲线也越集中,本申请的实施例选取权重较大且方差较小的初始高斯分布作为目标高斯分布,以便确定与像素点较为匹配且概率分布较为集中的高斯分布,提高后续确定背景像素点的准确度。
具体地,根据w/σ2对各初始高斯分布进行排序,选取其中前B个初始高斯分布作为目标高斯分布,B的大小可以根据下式确定:
其中,参数T表示背景所占的比例,T的大小可以根据实际需求设置,通常情况下0.7≤T≤0.8,当然也不限于此。
示例性的,通过以上实施方式提供的方法确定各像素点对应的高斯混合模型中的多个目标高斯分布,可以防止由于待检测监控设备拍摄的目标区域中存在树叶晃动、水纹波动、电子广告牌等反复变化的元素造成背景图像提取出现误差,提高了背景提取的准确性。
步骤S103、对至少两个历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像。
示例性的,由于获取了多个历史时段拍摄的视频信息,并提取得到多个历史时段拍摄的视频信息对应的背景图像,对背景图像进行融合处理,以便排除背景图像中的偶然性干扰,提高后续异常检测的容错性和抗干扰性。
在一些实施方式中,步骤S103包括:获取至少两个历史时段拍摄的视频信息对应的背景图像;对获取的至少两个背景图像中位于相同位置处的像素点的像素值进行与操作,得到融合后的背景图像;对融合后的背景图像进行图像腐蚀处理,得到背景基准图像。
示例性的,背景图像可以为二值化图像,像素值为0或者255。其中,像素值为255表示背景像素点,像素值为0表示前景像素点,对至少两个背景图像中对应位置像素点的像素值进行与操作,若像素点在至少两幅背景图像中均为背景像素点,则确定像素点在融合后的背景图像中也为背景像素点,否则确定像素点为前景像素点。
在一些实施方式中,通过预设的核函数对融合后的背景图像进行图像腐蚀处理,得到基准背景图像,核函数例如可以是如下所示的矩阵,当然也不限于此,核函数可以根据实际需求设置。
示例性的,由于基准背景图像是通过多个历史时段拍摄的背景下西对应的背景图像融合得到的,融合后的背景图像可能存在较多的噪声,通过图像腐蚀处理来过滤融合后的背景图像中的噪声,降低图像噪声的影响,提高基准背景图像的准确度。
步骤S104、根据背景基准图像和当前时段拍摄的视频信息对应的背景图像,确定监控设备是否存在异常。
示例性的,将当前时段拍摄的视频信息对应的背景图像,与至少两个历史时段拍摄的视频信息对应的背景图像融合得到的背景基准图像进行对比,根据二者中相似像素点的数量,确定监控设备是否存在异常。
在一些实施方式中,步骤S104包括:确定背景基准图像中的背景像素点的第一像素数量;将背景基准图像和当前时段拍摄的视频信息对应的背景图像中处于相同位置处的各个像素点分别进行对比,确定像素值相同的像素点的第二像素数量;基于第二像素数量与第一像素数量之间的比值以及预设的像素占比阈值,确定监控设备是否存在异常。
示例性的,对比基准背景图像和当前时段拍摄的视频信息对应的背景图像中同一位置的像素点的像素值,得到基准背景图像和当前时段拍摄的视频信息对应的背景图像的相似度,以便根据相似度大小确定监控设备是否存在异常。
示例性的,基准背景图像和当前时段拍摄的视频信息对应的背景图像均为二值图像,图像中背景像素点的像素值为255,前景像素点的像素值为0。通过设置二值化图像减小了异常检测的计算量,提高了检测效率。
示例性的,将基准背景图像和当前时段拍摄的视频信息对应的背景图像中系统位置处像素点的像素值进行对比,确定像素值相同的像素点的第二像素数量。
示例性的,基准背景图像和第二背景图像均为二值化图像,若对应位置像素点的像素值均为225或均为0,则像素点为相同像素。
示例性的,根据第二像素数量与第一像素数量的比值是否小于预设的像素占比阈值,判定监控设备存在异常,不要求第二背景图像与基准背景图像完全相同,允许一定误差的存在,提高了监控设备异常检测的容错率,避免误检。
本申请实施例通过获取监控设备在至少两个历史时段拍摄的视频信息,以及获取监控设备在当前时段拍摄的视频信息;分别提取至少两个历史时段拍摄的视频信息中的背景和当前时段拍摄的视频信息中的背景,得到至少两个历史时段拍摄的视频信息对应的背景图像和当前时段拍摄的视频信息对应的背景图像;对至少两个历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像;根据背景基准图像和当前时段拍摄的视频信息对应的背景图像,确定监控设备是否存在异常,降低了监控设备异常检测的实施成本,减少环境干扰对监控设备异常检测的影响,避免误检。
请参见图3,图3为本申请一实施例提供的一种设备异常检测方法的流程示意性框图。
如图3所示,监控设备分别获取至少两个历史时段以及当前时段拍摄的视频信息并提取视频信息对应的背景图像,其中,至少两个历史时段拍摄的视频信息对应的背景图像融合后得到基准背景图像,将基准背景图像与当前时段拍摄的视频信息对应的背景图像进行对比得到监控设备的检测结果,以确定监控设备是否存在遭到遮挡等异常情况。
请参阅图4,图4是本申请一实施例提供的一种设备异常检测装置的示意图,该设备异常检测装置可以配置于服务器或终端中,用于执行前述的设备异常检测方法。
如图4所示,该设备异常检测装置,包括:视频信息获取模块110、背景图像提取模块120、背景图像融合模块130、背景图像对比模块140。
视频信息获取模块110,用于获取监控设备在至少两个历史时段拍摄的视频信息,以及获取所述监控设备在当前时段拍摄的视频信息;
背景图像提取模块120,用于分别提取至少两个所述历史时段拍摄的视频信息中的背景和所述当前时段拍摄的视频信息中的背景,得到至少两个所述历史时段拍摄的视频信息对应的背景图像和所述当前时段拍摄的视频信息对应的背景图像;
背景图像融合模块130,用于对至少两个所述历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像;
背景图像对比模块140,用于根据所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像,确定所述监控设备是否存在异常。
示例性的,所述背景图像提取模块120,包括背景图像分析模块。
背景图像分析模块,用于基于所述视频信息对应的背景提取模型,对所述视频信息中的像素点进行背景图像分析,得到所述视频信息对应的背景图像,其中,所述背景提取模型包括多个高斯混合模型,所述多个高斯混合模型分别用于对所述视频信息中的像素点进行背景分析。
示例性的,所述背景图像分析模块包括:像素值获取模块、像素点分类模块、分类结果确定模块。
像素值获取模块,用于选取所述视频信息中的目标视频帧,获取所述目标视频帧中的各目标像素点对应的像素值;
像素点分类模块,用于针对所述目标视频帧所包含的每个目标像素点,基于所述目标像素点对应的高斯混合模型以及所述目标像素点对应的像素值,对所述目标像素值进行背景分类,得到所述目标像素点的背景分类结果。
分类结果确定模块,用于基于所述目标视频帧所包含的每个目标像素点的背景分类结果,得到所述视频信息对应的背景图像。
示例性的,所述像素点分类模块包括:背景像素点确定模块、前景像素点确定模块。
背景像素点确定模块,用于若目标像素点对应的高斯混合模型中,存在高斯分布的均值与所述目标像素点的像素值之间的差值小于或等于预设数值的目标高斯分布,则确定所述目标像素点的背景分类结果为背景像素点;
前景像素点确定模块,用于若所述目标像素点对应的高斯混合模型中,不存在高斯分布的均值与所述目标像素点的像素值之间的差值小于或等于预设数值的目标高斯分布,则确定所述目标像素点的背景分类结果为前景像素点。
示例性的,所述分类结果确定模块,包括像素点二值化模块。
像素点二值化模块,用于根据所述目标视频帧所包含的每个目标像素点的背景分类结果,对所述目标视频帧进行二值化,得到所述视频信息对应的背景图像。
示例性的,所述背景图像融合模块,包括背景图像获取模块、图像融合处理模块、背景图像腐蚀模块。
背景图像获取模块,用于获取至少两个所述历史时段拍摄的视频信息对应的背景图像;
图像融合处理模块,用于对所述获取的至少两个背景图像中位于相同位置处的像素点的像素值进行与操作,得到融合后的背景图像;
背景图像腐蚀模块,用于对所述融合后的背景图像进行图像腐蚀处理,得到所述背景基准图像。
示例性的,所述背景图像对比模块,包括第一像素数量确定模块、第二像素数量确定模块、像素占比确定模块。
第一像素数量确定模块,用于确定所述背景基准图像中的背景像素点的第一像素数量;
第二像素数量确定模块,用于将所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像中处于相同位置处的各个像素点分别进行对比,确定像素值相同的像素点的第二像素数量;
像素占比确定模块,用于基于所述第二像素数量与所述第一像素数量之间的比值以及预设的像素占比阈值,确定所述监控设备是否存在异常。
本申请的方法可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
示例性地,上述的方法可以实现为一种计算机程序的形式,该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5,图5为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为服务器或终端。
如图5所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括存储介质和内存储器。
存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种设备异常检测方法。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种设备异常检测方法。
该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
获取监控设备在至少两个历史时段拍摄的视频信息,以及获取所述监控设备在当前时段拍摄的视频信息;
分别提取至少两个所述历史时段拍摄的视频信息中的背景和所述当前时段拍摄的视频信息中的背景,得到至少两个所述历史时段拍摄的视频信息对应的背景图像和所述当前时段拍摄的视频信息对应的背景图像;
对至少两个所述历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像;
根据所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像,确定所述监控设备是否存在异常。
在一个实施例中,所述处理器在实现所述视频信息的背景图像基于以下方法进行提取时,用于实现:
在一个实施例中,所述处理器在实现时,用于实现:
基于所述视频信息对应的背景提取模型,对所述视频信息中的像素点进行背景图像分析,得到所述视频信息对应的背景图像,其中,所述背景提取模型包括多个高斯混合模型,所述多个高斯混合模型分别用于对所述视频信息中的像素点进行背景分析。
在一个实施例中,所述处理器在实现所述基于所述视频信息对应的背景提取模型,对所述视频信息中的像素点进行背景图像分析,得到所述视频信息对应的背景图像时,用于实现:
选取所述视频信息中的目标视频帧,获取所述目标视频帧中的各目标像素点对应的像素值;
针对所述目标视频帧所包含的每个目标像素点,基于所述目标像素点对应的高斯混合模型以及所述目标像素点对应的像素值,对所述目标像素值进行背景分类,得到所述目标像素点的背景分类结果;
基于所述目标视频帧所包含的每个目标像素点的背景分类结果,得到所述视频信息对应的背景图像。
在一个实施例中,所述处理器在实现所述多个高斯混合模型均包括至少一个高斯分布,所述基于所述目标像素点对应的高斯混合模型以及所述目标像素点对应的像素值,对所述目标像素值进行背景分类,得到所述目标像素点的背景分类结果时,用于实现:
若目标像素点对应的高斯混合模型中,存在高斯分布的均值与所述目标像素点的像素值之间的差值小于或等于预设数值的目标高斯分布,则确定所述目标像素点的背景分类结果为背景像素点;
若所述目标像素点对应的高斯混合模型中,不存在高斯分布的均值与所述目标像素点的像素值之间的差值小于或等于预设数值的目标高斯分布,则确定所述目标像素点的背景分类结果为前景像素点。
在一个实施例中,所述处理器在实现所述基于所述目标视频帧所包含的每个目标像素点的背景分类结果,得到所述视频信息对应的背景图像时,用于实现:
根据所述目标视频帧所包含的每个目标像素点的背景分类结果,对所述目标视频帧进行二值化,得到所述视频信息对应的背景图像。
在一个实施例中,所述处理器在实现所述对至少两个所述历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像时,用于实现:
获取至少两个所述历史时段拍摄的视频信息对应的背景图像;
对所述获取的至少两个背景图像中位于相同位置处的像素点的像素值进行与操作,得到融合后的背景图像;
对所述融合后的背景图像进行图像腐蚀处理,得到所述背景基准图像。
在一个实施例中,所述处理器在实现所述根据所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像,确定所述监控设备是否存在异常时,用于实现:
确定所述背景基准图像中的背景像素点的第一像素数量;
将所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像中处于相同位置处的各个像素点分别进行对比,确定像素值相同的像素点的第二像素数量;
基于所述第二像素数量与所述第一像素数量之间的比值以及预设的像素占比阈值,确定所述监控设备是否存在异常。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述设备异常检测的具体工作过程,可以参考前述设备异常检测方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序中包括程序指令,所述程序指令被执行时所实现的方法可参照本申请设备异常检测方法的各个实施例。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种设备异常检测方法,其特征在于,所述方法包括:
获取监控设备在至少两个历史时段拍摄的视频信息,以及获取所述监控设备在当前时段拍摄的视频信息;
分别提取至少两个所述历史时段拍摄的视频信息中的背景和所述当前时段拍摄的视频信息中的背景,得到至少两个所述历史时段拍摄的视频信息对应的背景图像和所述当前时段拍摄的视频信息对应的背景图像;
对至少两个所述历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像;
根据所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像,确定所述监控设备是否存在异常。
2.根据权利要求1所述的设备异常检测方法,其特征在于,所述视频信息的背景图像基于以下方法进行提取:
基于所述视频信息对应的背景提取模型,对所述视频信息中的像素点进行背景图像分析,得到所述视频信息对应的背景图像,其中,所述背景提取模型包括多个高斯混合模型,所述多个高斯混合模型分别用于对所述视频信息中的像素点进行背景分析。
3.根据权利要求2所述的设备异常检测方法,其特征在于,所述基于所述视频信息对应的背景提取模型,对所述视频信息中的像素点进行背景图像分析,得到所述视频信息对应的背景图像,包括:
选取所述视频信息中的目标视频帧,获取所述目标视频帧中的各目标像素点对应的像素值;
针对所述目标视频帧所包含的每个目标像素点,基于所述目标像素点对应的高斯混合模型以及所述目标像素点对应的像素值,对所述目标像素值进行背景分类,得到所述目标像素点的背景分类结果;
基于所述目标视频帧所包含的每个目标像素点的背景分类结果,得到所述视频信息对应的背景图像。
4.根据权利要求3所述的设备异常检测方法,其特征在于,所述多个高斯混合模型均包括至少一个高斯分布,所述基于所述目标像素点对应的高斯混合模型以及所述目标像素点对应的像素值,对所述目标像素值进行背景分类,得到所述目标像素点的背景分类结果,包括:
若目标像素点对应的高斯混合模型中,存在高斯分布的均值与所述目标像素点的像素值之间的差值小于或等于预设数值的目标高斯分布,则确定所述目标像素点的背景分类结果为背景像素点;
若所述目标像素点对应的高斯混合模型中,不存在高斯分布的均值与所述目标像素点的像素值之间的差值小于或等于预设数值的目标高斯分布,则确定所述目标像素点的背景分类结果为前景像素点。
5.根据权利要求3所述的设备异常检测方法,其特征在于,所述基于所述目标视频帧所包含的每个目标像素点的背景分类结果,得到所述视频信息对应的背景图像,包括:
根据所述目标视频帧所包含的每个目标像素点的背景分类结果,对所述目标视频帧进行二值化,得到所述视频信息对应的背景图像。
6.根据权利要求1所述的设备异常检测方法,其特征在于,所述对至少两个所述历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像,包括:
获取至少两个所述历史时段拍摄的视频信息对应的背景图像;
对所述获取的至少两个背景图像中位于相同位置处的像素点的像素值进行与操作,得到融合后的背景图像;
对所述融合后的背景图像进行图像腐蚀处理,得到所述背景基准图像。
7.根据权利要求1所述的设备异常检测方法,其特征在于,所述根据所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像,确定所述监控设备是否存在异常,包括:
确定所述背景基准图像中的背景像素点的第一像素数量;
将所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像中处于相同位置处的各个像素点分别进行对比,确定像素值相同的像素点的第二像素数量;
基于所述第二像素数量与所述第一像素数量之间的比值以及预设的像素占比阈值,确定所述监控设备是否存在异常。
8.一种设备异常检测装置,其特征在于,所述设备异常检测装置包括:
视频信息获取模块,用于获取监控设备在至少两个历史时段拍摄的视频信息,以及获取所述监控设备在当前时段拍摄的视频信息;
背景图像提取模块,用于分别提取至少两个所述历史时段拍摄的视频信息中的背景和所述当前时段拍摄的视频信息中的背景,得到至少两个所述历史时段拍摄的视频信息对应的背景图像和所述当前时段拍摄的视频信息对应的背景图像;
背景图像融合模块,用于对至少两个所述历史时段拍摄的视频信息对应的背景图像进行图像融合处理,得到背景基准图像;
背景图像对比模块,用于根据所述背景基准图像和所述当前时段拍摄的视频信息对应的背景图像,确定所述监控设备是否存在异常。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如权利要求1至7中任一项所述的设备异常检测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如权利要求1至7中任一项所述的设备异常检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211347122.9A CN115641538A (zh) | 2022-10-31 | 2022-10-31 | 设备异常检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211347122.9A CN115641538A (zh) | 2022-10-31 | 2022-10-31 | 设备异常检测方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115641538A true CN115641538A (zh) | 2023-01-24 |
Family
ID=84946452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211347122.9A Pending CN115641538A (zh) | 2022-10-31 | 2022-10-31 | 设备异常检测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115641538A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116170693A (zh) * | 2023-04-25 | 2023-05-26 | 山西乐宸科技有限公司 | 一种安防监控系统控制方法、装置、电子设备及存储介质 |
CN116797993A (zh) * | 2023-05-13 | 2023-09-22 | 全景智联(武汉)科技有限公司 | 一种基于智慧社区场景的监控方法、系统、介质及设备 |
CN116823816A (zh) * | 2023-08-28 | 2023-09-29 | 济南正邦电子科技有限公司 | 一种基于安防监控静态存储器的检测设备及检测方法 |
CN117319640A (zh) * | 2023-11-28 | 2023-12-29 | 重庆华悦生态环境工程研究院有限公司深圳分公司 | 监控设备的检测方法及装置 |
-
2022
- 2022-10-31 CN CN202211347122.9A patent/CN115641538A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116170693A (zh) * | 2023-04-25 | 2023-05-26 | 山西乐宸科技有限公司 | 一种安防监控系统控制方法、装置、电子设备及存储介质 |
CN116797993A (zh) * | 2023-05-13 | 2023-09-22 | 全景智联(武汉)科技有限公司 | 一种基于智慧社区场景的监控方法、系统、介质及设备 |
CN116797993B (zh) * | 2023-05-13 | 2024-03-19 | 全景智联(武汉)科技有限公司 | 一种基于智慧社区场景的监控方法、系统、介质及设备 |
CN116823816A (zh) * | 2023-08-28 | 2023-09-29 | 济南正邦电子科技有限公司 | 一种基于安防监控静态存储器的检测设备及检测方法 |
CN116823816B (zh) * | 2023-08-28 | 2023-11-21 | 济南正邦电子科技有限公司 | 一种基于安防监控静态存储器的检测设备及检测方法 |
CN117319640A (zh) * | 2023-11-28 | 2023-12-29 | 重庆华悦生态环境工程研究院有限公司深圳分公司 | 监控设备的检测方法及装置 |
CN117319640B (zh) * | 2023-11-28 | 2024-03-29 | 重庆华悦生态环境工程研究院有限公司深圳分公司 | 监控设备的检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115641538A (zh) | 设备异常检测方法、装置、计算机设备及存储介质 | |
CN108875522B (zh) | 人脸聚类方法、装置和系统及存储介质 | |
US8660368B2 (en) | Anomalous pattern discovery | |
CN111581046A (zh) | 数据异常检测方法、装置、电子设备及存储介质 | |
CN104254873A (zh) | 视频监控系统中的警报量归一化 | |
CN112948614B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110941978B (zh) | 一种未识别身份人员的人脸聚类方法、装置及存储介质 | |
CN107918688B (zh) | 场景模型动态估计方法、数据分析方法及装置、电子设备 | |
CN111177469A (zh) | 人脸检索方法及人脸检索装置 | |
CN111352794B (zh) | 异常检测方法、装置、计算机装置及存储介质 | |
CN113746780B (zh) | 基于主机画像的异常主机检测方法、装置、介质和设备 | |
CN113986674A (zh) | 时序数据的异常检测方法、装置和电子设备 | |
CN113486302A (zh) | 数据处理方法及装置 | |
CN116842520A (zh) | 基于检测模型的异常感知方法、装置、设备及介质 | |
US11393091B2 (en) | Video image processing and motion detection | |
CN113989720A (zh) | 目标检测方法、训练方法、装置、电子设备及存储介质 | |
CN111476059A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
CN113705363A (zh) | 一种特定卫星上行信号的识别方法及系统 | |
CN109614893B (zh) | 基于情境推理的异常行为行踪智能识别方法及装置 | |
CN116707859A (zh) | 特征规则提取方法和装置、网络入侵检测方法和装置 | |
CN115204278A (zh) | 异常样本检测方法和装置、电子设备、存储介质 | |
CN114640841A (zh) | 一种异常确定方法、装置、电子设备及存储介质 | |
CN113095313A (zh) | 文本字符串的识别方法、装置和服务器 | |
Mindrup et al. | Extending robust parameter design to noise by noise interactions with an application to hyperspectral imagery | |
CN110765817A (zh) | 人群计数模型的选择方法、装置、设备及其存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |