CN112749596A - 异常画面检测方法、装置、电子设备和存储介质 - Google Patents
异常画面检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112749596A CN112749596A CN201911052738.1A CN201911052738A CN112749596A CN 112749596 A CN112749596 A CN 112749596A CN 201911052738 A CN201911052738 A CN 201911052738A CN 112749596 A CN112749596 A CN 112749596A
- Authority
- CN
- China
- Prior art keywords
- picture
- information
- frame picture
- background modeling
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000015654 memory Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013450 outlier detection Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种异常画面检测方法、装置、电子设备和存储介质，该方法包括接收经过解析的视频图像序列，并提取该视频图像序列中每一个帧画面的背景建模信息；进而，对背景建模信息进行分离，得到帧画面对应的背景信息和前景信息，并根据背景建模信息与第一预设阈值的比较结果，确定异常画面。由于正常情形下画面背景建模信息中的背景信息是固定的，而前景信息反映的是处于运动状态的目标，一般也是稳定变化的，只有当画面出现突然跳变或者画面中存在灯光闪烁等异常情形时，前景信息才会发生剧烈的变化，因此本申请实施例能够提高异常画面的检测效率，同时也可避免异常情形影响暴力分拣辨别的准确度。
Description
技术领域
本发明一般涉及计算机视觉技术领域，具体涉及一种异常画面检测方法、装置、电子设备和存储介质。
背景技术
现代社会中，人们越来越多地使用快递来收寄物品。尤其是随着电子商务的蓬勃发展，网上购物的方式得到快速普及和应用。网上购物通过使用快递将商品派送到客户手中，这极大地方便了人们的日常生活。
在快递行业的服务质量以及分拣效率不断提高的当下，暴力分拣的行业顽疾依然存在。由于暴力抛扔会破坏快件，这种行为不仅给快递公司造成了巨大的经济损失，而且也影响了快递公司的行业形象。因此，为规范快件分拣的操作过程，快递企业都在分拣场所安装了摄像机系统进行辨别和监控。
目前在暴力分拣的监控中，摄像头的画面常常会出现突然跳变，比如监控画面突然黑屏，然后又继续工作；以及，摄像头的画面中光照频繁变化，比如灯光闪烁等，这些情形都会影响辨别的准确度。然而，针对上述问题，现有技术中尚未提出有效的解决方案。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种异常画面检测方法、装置、电子设备和存储介质，能够检测摄像头监控的异常画面，进而避免异常情形影响暴力分拣辨别的准确度。
第一方面，本申请提供一种异常画面检测方法，所述方法包括：
接收经过解析的视频图像序列，并提取所述视频图像序列中每一个帧画面的背景建模信息；
对所述背景建模信息进行分离，得到所述帧画面对应的背景信息和前景信息，并根据所述背景建模信息与第一预设阈值的比较结果，确定异常画面。
第二方面，本申请提供一种异常画面检测装置，所述装置包括：
提取模块，配置用于接收经过解析的视频图像序列，并提取所述视频图像序列中每一个帧画面的背景建模信息；
确定模块，其与所述提取模块信号连接，配置用于对所述背景建模信息进行分离，得到所述帧画面对应的背景信息和前景信息，并根据所述背景建模信息与第一预设阈值的比较结果，确定异常画面。
第三方面，本申请提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如第一方面所述的异常画面检测方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现如第一方面所述的异常画面检测方法的步骤。
综上，本申请实施例提供的异常画面检测方法、装置、电子设备和存储介质，由于正常情形下画面背景建模信息中的背景信息是固定的，而前景信息反映的是处于运动状态的目标，一般也是稳定变化的，只有当画面出现突然跳变或者画面中存在灯光闪烁等异常情形时，前景信息才会发生剧烈的变化。基于此，本申请实施例通过接收经过解析的视频图像序列，并提取该视频图像序列中每一个帧画面的背景建模信息；进而，对背景建模信息进行分离，得到帧画面对应的背景信息和前景信息，并根据背景建模信息与第一预设阈值的比较结果，确定异常画面，提高了异常画面的检测效率，同时也避免了异常情形影响暴力分拣辨别的准确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的一种异常画面检测方法的应用场景示意图；
图2为本申请实施例提供的一种异常画面检测方法的基本流程示意图；
图3为本申请实施例提供的一种提取帧画面背景建模信息的示例；
图4为本申请实施例提供的另一种提取帧画面背景建模信息的示例；
图5为本申请实施例提供的一种异常画面检测装置的基本结构示意图；
图6为本申请实施例提供的另一种异常画面检测装置的结构示意图；
图7为本申请实施例提供的又一种异常画面检测装置的结构示意图；
图8为本申请实施例提供的一种电子设备的基本结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
为了便于理解本申请实施例提供的异常画面检测方法，下面结合实际应用场景对该异常画面检测方法进行介绍。
请参考图1，其为本申请实施例提供的一种异常画面检测方法的应用场景示意图。如图1所示，在该应用场景中，包括至少一个摄像头101、服务器102和终端103，三者之间信号连接。信号连接的方式包括有线接口连接以及无线互联网连接，而无线互联网连接可以包括但不限于Wi-Fi、无线宽带、全球微波互联接入和蓝牙、射频识别和超宽带等技术。
其中，摄像头101用于采集视频图像，并发送至服务器102存储，而终端103用于对视频图像进行异常画面检测，该终端103具体可以包括但不限于个人计算机(PersonalComputer，PC)、个人数字助理(Personal Digital Assistant，PDA)、平板电脑(TabletComputer)、无线手持设备和手机等，本申请实施例对此不做限定。当然，摄像头101也可以集成存储、对异常画面进行检测和处理等功能。或者，服务器102能够对从摄像头101处所接收的视频图像进行异常画面检测，并控制摄像头101的运行，而服务器102可以为独立的服务器，也可以为由多个服务器组成的服务器集群或者云计算中心。
举例说明，在快件分拣场所安装摄像机系统，由该摄像机系统中的各个摄像头101采集帧图像流，并发送至服务器102进行存储。而终端103获取服务器102中存储的帧图像流之后，将经过解析的帧图像流转换为灰度序列并堆叠形成光流堆，进而基于光流原理检测暴力抛扔现象。需要说明的是，光流(Optic Flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧和当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息。一般而言，光流是由于场景中前景目标本身的移动、摄像头的移动或者二者的共同运动所产生的。光流除了能够提供物体之间的远近信息外，还可以提供运动的角度信息。
为了便于理解和说明，下面通过图2至图8详细的阐述本申请实施例提供的异常画面检测方法、装置、电子设备和存储介质。
请参考图2，其为本申请实施例提供的一种异常画面检测方法的基本流程示意图，该方法包括以下步骤：
S201，接收经过解析的视频图像序列，并提取视频图像序列中每一个帧画面的背景建模信息。
需要说明的是，本申请实施例中经过解析的视频图像序列可以为灰度序列，当然也可以为RGB序列。由于正常情形下画面背景建模信息中的背景信息是固定的，而前景信息反映的是处于运动状态的目标，一般也是稳定变化的，只有当画面出现突然跳变或者画面中存在灯光闪烁等异常情形时，前景信息才会发生剧烈的变化。本申请实施例提取视频图像序列中每一个帧画面的背景建模信息可以包括但不限于如下两种方式，对此不进行限定。
第一种方式，本申请实施例通过遍历视频图像序列中的每一个帧画面，以当前帧画面作为基准，并计算当前帧画面与相邻帧画面的差值，得到当前帧画面的背景建模信息。其中，相邻帧画面为当前帧画面的前一时刻对应的帧画面，或者为当前帧画面的后一时刻对应的帧画面。
可选地，本申请实施例获取当前帧画面中每个像素点的第一像素值，以及相邻帧画面中每个像素点的第二像素值，并对第一像素值与第二像素值作差值运算；进而，基于差值运算的结果和第二预设阈值，对差值运算的结果进行二值化处理，确定当前帧画面的背景建模信息。比如，如图3所示，其为本申请实施例提供的一种提取帧画面背景建模信息的示例。其中，假设当前帧画面中每个像素点的第一像素值为Fn(x，y)，相邻帧画面中每个像素点的第二像素值为Fn-1(x，y)，通过用第n-1帧画面与第n帧画面相减，得到各对应像素点的差值Dn(x，y)，即式(1)。
Dn(x，y)＝|Fn(x，y)-Fn-1(x，y)| (1)
之后，将每个差值Dn(x，y)的绝对值与第二预设阈值T比较，并通过式(2)进行二值化处理。正常情形下，由于相邻两帧图像中运动目标位置不会发生突变，因此相减后通常会出现空洞，再加上图像微弱噪声的影响，作差后需要进一步处理差值结果，首先根据式(1)进行二值化处理，然后分析其连通域，连通域面积较小的可视为噪声点而去除，合适的连通域根据相关性合并填充，就可以得到完整的运动目标，即为前景信息，那么其余部分则为背景信息。
第二种方式，本申请实施例通过分别比较视频图像序列中每个帧画面与预先构建的背景模型的差异，并将比较结果进行集合划分，得到帧画面对应的背景建模信息。
比如，如图4所示，其为本申请实施例提供的另一种提取帧画面背景建模信息的示例。其中，假设当前帧画面为Fa(x，y，t)，背景模型中背景参考帧画面为Fb(x，y，t)。根据式(3)，将当前帧画面与背景帧画面作差，得到背景差分结果为
Fr(x，y，t)＝|Fa(x，y，t)-Fb(x，y，t)| (3)
从而，将每个背景差分结果Fr(x，y，t)与预先设置的阈值比较，并进行二值化滤波和连通域分析处理，即可得到帧画面对应的背景建模信息。
可选地，背景模型的构建过程包括：在同一环境下采集连续的帧画面，获取连续的帧画面中相同位置处每个像素点对应的第三像素值；进而，计算相同位置处每个像素点对应的第三像素值的平均值，并将平均值组成图像矩阵，得到该背景模型。当然，本申请实施例还能够计算每个像素点的期望值和标准差，进而得到高斯背景模型，对此不再赘述。需要说明的是，本申请实施例中的背景模型为颜色背景模型或者纹理背景模型，其中颜色背景模型可以包括但不限于平均背景模型、高斯背景模型以及非参数化背景模型。以颜色背景模型为例，对帧画面中每个像素点的颜色值进行建模，比如颜色值为RGB值或者灰度值，如果当前帧画面中坐标(x，y)上的像素颜色值与背景模型中坐标(x，y)上的像素颜色值有较大差异时，那么当前像素则为前景信息，否则为背景信息。
可选地，本申请其它实施例在提取视频图像序列中每一个帧画面的背景建模信息之前，还可以获取每一个帧画面的视觉特征信息，并分别生成视觉特征信息对应的特征图，其中视觉特征信息包括颜色信息、亮度信息和方位信息；从而，对特征图进行线性合并，得到每一个帧画面的显著图，以此检测帧画面中的显著性区域。本申请实施例也可以当画面中存在灯光闪烁等异常情形时，首先进行显著性区域检测，然后再去比较该显著性区域前后两个帧图像的背景建模信息，其中显著性区域的检测方法可以包括但不限于ITTI算法、GBVS算法、SR算法和基于条件生成对抗网络(Conditional Generative AdversarialNets，CGAN)的算法等。
S202，对背景建模信息进行分离，得到帧画面对应的背景信息和前景信息，并根据背景建模信息与第一预设阈值的比较结果，确定异常画面。
具体的，本申请实施例通过对每一个帧画面的背景建模信息进行分类标注，并统计分类结果对应的总次数；从而，当分类结果对应的总次数小于第一预设阈值时，确定视频图像序列中存在异常画面。
以采用上述第一种方式提取视频图像序列中每一个帧画面的背景建模信息为例进行说明，相邻帧画面之间生成的背景建模信息中，若前景部分占整个画面的比例大于阈值，比如阈值为80％，则标注当前帧画面为异常情形，并记作-1，此时表明视频图像序列中帧画面存在突然跳变的异常状况，不能再进行后续的暴力抛扔动作判断，否则会影响到辨别的准确度；而在相邻帧画面前景部分基本一致时，将当前帧画面标注为异常情形，并记作0，反之标注当前帧画面为正常情形，并记作1，若视频图像序列中帧画面正常情形的总次数小于第一预设阈值，比如第一预设阈值为2次，此时表明视频图像序列中帧画面基本静止或者存在灯光闪烁等异常情形，可以不进行后续的暴力抛扔动作判断。需要说明的是，本申请实施例中的阈值和标记值可以根据实际需要进行设定，并不限于所列举的具体数值。
本申请实施例提供的异常画面检测方法，由于正常情形下画面背景建模信息中的背景信息是固定的，而前景信息反映的是处于运动状态的目标，一般也是稳定变化的，只有当画面出现突然跳变或者画面中存在灯光闪烁等异常情形时，前景信息才会发生剧烈的变化。基于此，本申请实施例通过接收经过解析的视频图像序列，并提取该视频图像序列中每一个帧画面的背景建模信息；进而，对背景建模信息进行分离，得到帧画面对应的背景信息和前景信息，并根据背景建模信息与第一预设阈值的比较结果，确定异常画面，提高了异常画面的检测效率，同时也避免了异常情形影响暴力分拣辨别的准确度。
基于前述实施例，本申请实施例提供一种异常画面检测装置，该装置可以应用于图1～4对应的实施例提供的异常画面检测方法中。参照图5所示，该异常画面检测装置5包括：
提取模块51，配置用于接收经过解析的视频图像序列，并提取视频图像序列中每一个帧画面的背景建模信息；
确定模块52，其与提取模块51信号连接，配置用于对背景建模信息进行分离，得到帧画面对应的背景信息和前景信息，并根据背景建模信息与第一预设阈值的比较结果，确定异常画面。
需要说明的是，信号连接的方式可以通过有线连接，USB接口连接，或者无线互联网的连接方式来实现。其中，无线互联网接入技术可以包括但不限于Wi-Fi、无线宽带、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wimax)，以及蓝牙、射频识别(Radio Frequency Identification，RFID)、超宽带(Ultra Wideband，UWB)等，本申请实施例对此不进行限定。
可选地，在本申请的其它实施例中，提取模块51具体用于遍历视频图像序列中的每一个帧画面，以当前帧画面作为基准，并计算当前帧画面与相邻帧画面的差值，得到当前帧画面的背景建模信息；
其中，相邻帧画面为当前帧画面的前一时刻对应的帧画面，或者为当前帧画面的后一时刻对应的帧画面。
可选地，在本申请的其它实施例中，提取模块51还用于获取当前帧画面中每个像素点的第一像素值，以及相邻帧画面中每个像素点的第二像素值，并对第一像素值与第二像素值作差值运算；
基于差值运算的结果和第二预设阈值，对差值运算的结果进行二值化处理，确定当前帧画面的背景建模信息。
可选地，在本申请的其它实施例中，提取模块51具体用于分别比较视频图像序列中每个帧画面与预先构建的背景模型的差异，并将比较结果进行集合划分，得到帧画面对应的背景建模信息。
可选地，在本申请的其它实施例中，提取模块51还用于构建背景模型，包括：
在同一环境下采集连续的帧画面，获取连续的帧画面中相同位置处每个像素点对应的第三像素值；
计算相同位置处每个像素点对应的第三像素值的平均值，并将平均值组成图像矩阵，得到背景模型。
可选地，在本申请的其它实施例中，如图6所示，提取模块51还包括：
生成单元511，配置用于获取每一个帧画面的视觉特征信息，并分别生成视觉特征信息对应的特征图，其中视觉特征信息包括颜色信息、亮度信息和方位信息；
合并单元512，配置用于对特征图进行线性合并，得到每一个帧画面的显著图。
可选地，在本申请的其它实施例中，如图7所示，确定模块52包括：
标注单元521，配置用于对每一个帧画面的背景建模信息进行分类标注，并统计分类结果对应的总次数；
确定单元522，配置用于当分类结果对应的总次数小于第一预设阈值时，确定视频图像序列中存在异常画面。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请实施例提供的异常画面检测装置，由于正常情形下画面背景建模信息中的背景信息是固定的，而前景信息反映的是处于运动状态的目标，一般也是稳定变化的，只有当画面出现突然跳变或者画面中存在灯光闪烁等异常情形时，前景信息才会发生剧烈的变化。基于此，本申请实施例通过提取模块接收经过解析的视频图像序列，并提取该视频图像序列中每一个帧画面的背景建模信息；进而，确定模块对背景建模信息进行分离，得到帧画面对应的背景信息和前景信息，并根据背景建模信息与第一预设阈值的比较结果，确定异常画面，提高了异常画面的检测效率，同时也避免了异常情形影响暴力分拣辨别的准确度。
基于前述实施例，请参考图8，其为本申请实施例提供的一种电子设备的基本结构示意图。电子设备800包括一个或多个处理器801、一个或多个存储器802，存储器802中存储有至少一条指令、至少一段程序、代码集或指令集，指令、程序、代码集或指令集由处理器801加载并执行以实现上述的异常画面检测方法的步骤。可选地，图8所示电子设备800还可以包括外围设备接口803，而外围设备接口803还连接有输入装置804、输出装置805、显示屏806、电源807、以及数据采集装置808，这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意，图8所示的电子设备800的组件和结构只是示例性的，而非限制性的，根据需要，电子设备800也可以具有其他组件和结构。
处理器801可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)、图像处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子设备800中的其它组件的数据进行处理，还可以控制电子设备800中的其它组件以执行期望的功能。
存储器802可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器801可以运行程序指令，以实现本申请实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。
输入装置804可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置805可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
数据采集装置808可以采集对象的图像，并且将所采集的图像存储在存储器802中以供其它组件使用。示例性地，该数据采集装置808可以为摄像头。
示例性地，用于实现根据本申请实施例异常画面检测方法的示例电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理器801、存储器802、输入装置804和输出装置805集成设置于一体，而将数据采集装置808分离设置。
示例性地，用于实现根据本申请实施例异常画面检测方法的示例电子设备可以被实现为诸如智能手机、平板电脑、智能手表以及计算机等智能终端。
作为另一方面，本申请实施例提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例异常画面检测方法中的任意一种实施方式。
作为再一方面，本申请实施例提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例异常画面检测方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。而集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例信息上报方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种异常画面检测方法，其特征在于，所述方法包括：
接收经过解析的视频图像序列，并提取所述视频图像序列中每一个帧画面的背景建模信息；
对所述背景建模信息进行分离，得到所述帧画面对应的背景信息和前景信息，并根据所述背景建模信息与第一预设阈值的比较结果，确定异常画面。
2.根据权利要求1所述的异常画面检测方法，其特征在于，所述提取所述视频图像序列中每一个帧画面的背景建模信息，包括：
遍历所述视频图像序列中的每一个帧画面，以当前帧画面作为基准，并计算所述当前帧画面与相邻帧画面的差值，得到所述当前帧画面的背景建模信息；
其中，所述相邻帧画面为所述当前帧画面的前一时刻对应的帧画面，或者为所述当前帧画面的后一时刻对应的帧画面。
3.根据权利要求2所述的异常画面检测方法，其特征在于，所述以当前帧画面作为基准，并计算所述当前帧画面与相邻帧画面的差值，得到所述当前帧画面的背景建模信息，包括：
获取所述当前帧画面中每个像素点的第一像素值，以及所述相邻帧画面中每个像素点的第二像素值，并对所述第一像素值与所述第二像素值作差值运算；
基于所述差值运算的结果和第二预设阈值，对所述差值运算的结果进行二值化处理，确定所述当前帧画面的背景建模信息。
4.根据权利要求1所述的异常画面检测方法，其特征在于，所述提取所述视频图像序列中每一个帧画面的背景建模信息，包括：
分别比较所述视频图像序列中每个帧画面与预先构建的背景模型的差异，并将比较结果进行集合划分，得到所述帧画面对应的背景建模信息。
5.根据权利要求4所述的异常画面检测方法，其特征在于，所述背景模型通过如下步骤构建，包括：
在同一环境下采集连续的帧画面，获取所述连续的帧画面中相同位置处每个像素点对应的第三像素值；
计算所述相同位置处每个像素点对应的第三像素值的平均值，并将所述平均值组成图像矩阵，得到所述背景模型。
6.根据权利要求1所述的异常画面检测方法，其特征在于，所述根据所述背景建模信息与第一预设阈值的比较结果，确定异常画面，包括：
对每一个帧画面的所述背景建模信息进行分类标注，并统计分类结果对应的总次数；
当所述分类结果对应的总次数小于所述第一预设阈值时，确定所述视频图像序列中存在异常画面。
7.根据权利要求1-6任意一项所述的异常画面检测方法，其特征在于，所述提取所述视频图像序列中每一个帧画面的背景建模信息，还包括：
获取所述每一个帧画面的视觉特征信息，并分别生成所述视觉特征信息对应的特征图，其中所述视觉特征信息包括颜色信息、亮度信息和方位信息；
对所述特征图进行线性合并，得到所述每一个帧画面的显著图。
8.一种异常画面检测装置，其特征在于，所述装置包括：
提取模块，配置用于接收经过解析的视频图像序列，并提取所述视频图像序列中每一个帧画面的背景建模信息；
确定模块，其与所述提取模块信号连接，配置用于对所述背景建模信息进行分离，得到所述帧画面对应的背景信息和前景信息，并根据所述背景建模信息与第一预设阈值的比较结果，确定异常画面。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-7中任一项所述的异常画面检测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于实现如权利要求1至7中任一项所述的异常画面检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911052738.1A CN112749596A (zh) | 2019-10-31 | 2019-10-31 | 异常画面检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911052738.1A CN112749596A (zh) | 2019-10-31 | 2019-10-31 | 异常画面检测方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112749596A true CN112749596A (zh) | 2021-05-04 |
Family
ID=75644631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911052738.1A Pending CN112749596A (zh) | 2019-10-31 | 2019-10-31 | 异常画面检测方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749596A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409587A (zh) * | 2021-06-16 | 2021-09-17 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
| CN113434825A (zh) * | 2021-07-07 | 2021-09-24 | 成都新希望金融信息有限公司 | 基于计算机视觉的应用程序造假识别方法、装置和电子设备 |
| CN113822866A (zh) * | 2021-09-23 | 2021-12-21 | 深圳爱莫科技有限公司 | 一种广适应的车轴数量识别方法、系统、设备及存储介质 |
| WO2023159985A1 (zh) * | 2022-02-25 | 2023-08-31 | 南京邮电大学 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473791A (zh) * | 2013-09-10 | 2013-12-25 | 惠州学院 | 监控视频中异常速度事件自动识别方法 |
| CN106096523A (zh) * | 2016-06-02 | 2016-11-09 | 王玉德 | 一种视频图像序列中运动目标的检出与异常行为分析算法 |
| CN106846359A (zh) * | 2017-01-17 | 2017-06-13 | 湖南优象科技有限公司 | 基于视频序列的运动目标快速检测方法 |
| CN107507221A (zh) * | 2017-07-28 | 2017-12-22 | 天津大学 | 结合帧差法和混合高斯模型的运动目标检测与跟踪方法 |
| JP2019028991A (ja) * | 2017-07-26 | 2019-02-21 | 富士通株式会社 | 目標検出方法、目標検出装置及び画像処理装置 |
-
2019
- 2019-10-31 CN CN201911052738.1A patent/CN112749596A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473791A (zh) * | 2013-09-10 | 2013-12-25 | 惠州学院 | 监控视频中异常速度事件自动识别方法 |
| CN106096523A (zh) * | 2016-06-02 | 2016-11-09 | 王玉德 | 一种视频图像序列中运动目标的检出与异常行为分析算法 |
| CN106846359A (zh) * | 2017-01-17 | 2017-06-13 | 湖南优象科技有限公司 | 基于视频序列的运动目标快速检测方法 |
| JP2019028991A (ja) * | 2017-07-26 | 2019-02-21 | 富士通株式会社 | 目標検出方法、目標検出装置及び画像処理装置 |
| CN107507221A (zh) * | 2017-07-28 | 2017-12-22 | 天津大学 | 结合帧差法和混合高斯模型的运动目标检测与跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| 温喆等: "基于物联网的四网融合技术研究及其应用", 30 April 2016, 吉林人民出版社, pages: 161 - 162 * |
| 铁道部劳动和卫生司等: "高速铁路通信综合维修岗位", 30 September 2012, 中国铁道出版社, pages: 108 - 109 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409587A (zh) * | 2021-06-16 | 2021-09-17 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
| CN113409587B (zh) * | 2021-06-16 | 2022-11-22 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
| CN113434825A (zh) * | 2021-07-07 | 2021-09-24 | 成都新希望金融信息有限公司 | 基于计算机视觉的应用程序造假识别方法、装置和电子设备 |
| CN113822866A (zh) * | 2021-09-23 | 2021-12-21 | 深圳爱莫科技有限公司 | 一种广适应的车轴数量识别方法、系统、设备及存储介质 |
| WO2023159985A1 (zh) * | 2022-02-25 | 2023-08-31 | 南京邮电大学 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9830704B1 (en) | Predicting performance metrics for algorithms | |
| CN112749596A (zh) | 异常画面检测方法、装置、电子设备和存储介质 | |
| US9158985B2 (en) | Method and apparatus for processing image of scene of interest | |
| CA3077517A1 (en) | Method and system for classifying an object-of-interest using an artificial neural network | |
| WO2020167581A1 (en) | Method and apparatus for processing video stream | |
| US20140270460A1 (en) | Paper identifying method and related device | |
| CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
| US10997469B2 (en) | Method and system for facilitating improved training of a supervised machine learning process | |
| CN111524112B (zh) | 追钢识别方法、系统、设备及介质 | |
| Cuevas et al. | Improved background modeling for real-time spatio-temporal non-parametric moving object detection strategies | |
| US9953240B2 (en) | Image processing system, image processing method, and recording medium for detecting a static object | |
| CN114169381A (zh) | 图像标注方法、装置、终端设备及存储介质 | |
| US10395373B1 (en) | Image feature detection | |
| Panda et al. | A new Wronskian change detection model based codebook background subtraction for visual surveillance applications | |
| Patel et al. | Top‐Down and Bottom‐Up Cues Based Moving Object Detection for Varied Background Video Sequences | |
| JPWO2018179360A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN114119964A (zh) | 一种网络训练的方法及装置、目标检测的方法及装置 | |
| Liang et al. | Robust object detection in severe imaging conditions using co-occurrence background model | |
| CN114648720A (zh) | 神经网络训练方法、图像检测方法、装置、设备及介质 | |
| CN114821596A (zh) | 文本识别方法、装置、电子设备和介质 | |
| Bouma et al. | WPSS: Watching people security services | |
| CN115131315A (zh) | 一种图像的变化检测方法、装置、设备及存储介质 | |
| Cameron et al. | Dynamic prioritization of surveillance video data in real-time automated detection systems | |
| CN108711164B (zh) | 一种基于LBP和Color特征的运动检测方法 | |
| CN113628192A (zh) | 图像模糊检测方法、装置、设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |