CN115861236A - 滴漏事件的确定方法及装置、存储介质、电子装置 - Google Patents

Abstract

本发明公开了一种滴漏事件的确定方法及装置、存储介质、电子装置，其中，上述方法包括：对监控区域进行图像采集，得到所述监控区域对应的多帧图像；获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；对所述多帧图像对应的掩码图进行累加，得到累加掩码图；根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。解决了相关技术中，无法快速准确的确定监控区域是否发生滴漏事件等问题。

Description

滴漏事件的确定方法及装置、存储介质、电子装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种滴漏事件的确定方法及装置、存储介质、电子装置。

背景技术

在电力能源、石油化工等诸多领域，均需要对设备、管道等可能出现滴漏的区域进行监控，以便及时告警，保障生产安全。目前随着图像处理、深度学习技术的发展，可以依靠图像识别算法实现滴漏的智能分析功能，但深度学习方法受限于跑冒滴漏真实素材难以获取，同时深度学习方法严重依赖人工标注。

正常情况下视频的帧率为1秒25帧。如果靠近滴漏区域拍摄，可以增大滴漏目标在图像上的尺寸(像素)，但太近了监控的区域就会缩小；如果远离滴漏区域拍摄，则可以监控更大的范围，但滴漏目标成像会变小，进而不利于识别，所以在一般视角拍摄滴漏区域的情况下，一个滴漏目标从刚开始下落到从画面中消失，只需要连续5帧。在实际应用和部署中，为了节约成本，会有1个以上(一般为8个甚至更多)的视频数据送入算法进行识别。具体的，在实际应用中，视频数据会进行抽帧送给算法进行识别，因为1000毫秒/(25帧*8路视频)＝5毫秒，所以要求算法需要5毫秒内处理送入的数据并给出结果。但一般情况下会1秒5帧，则此时算法耗时可以为25毫秒。

因此，针对滴漏这个现象，存在如下问题：1)如果进行抽帧操作，则肯定会出现未被抽取的帧里存在所需的滴漏下落的数据；2)如果不进行抽帧，又要支持多路视频数据，就必须要求算法耗时不高，至少做到5ms内。

针对相关技术中，无法快速准确的确定监控区域是否发生滴漏事件等问题，尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种滴漏事件的确定方法及装置、存储介质、电子装置，以至少解决相关技术中，无法快速准确的确定监控区域是否发生滴漏事件等问题。

根据本发明实施例的一个方面，提供了一种滴漏事件的确定方法，包括：对监控区域进行图像采集，得到所述监控区域对应的多帧图像；获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；对所述多帧图像对应的掩码图进行累加，得到累加掩码图；根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。

在一个示例性实施例中，获取所述多帧图像中每组帧图像对应的掩码图的过程中，所述方法还包括：对于所述多组帧图像中的任意两组帧图像，获取第一组帧图像对应的第一临时掩码图和第二组帧图像对应的第二临时掩码图，其中，所述第一组帧图像和所述第二组帧图像中存在重合图像，且所述第一组帧图像中存在第一帧图像采集时刻早于所述第二组帧图像的第二帧图像，所述第一组帧图像包括：所述第一帧图像和所述重合图像，所述第二组帧图像包括：所述重合图像和所述第二帧图像；根据所述第一临时掩码图和第二临时掩码图获取所述第二帧图像对应的掩码图。

在一个示例性实施例中，根据所述第一临时掩码图和第二临时掩码图获取所述第二帧图像对应的掩码图，包括：确定所述第二临时掩码图第一位置的像素点灰度值是否为目标值；确定所述第一临时掩码图第二位置的像素点灰度值是否为目标值，其中，所述第二位置与所述第一位置对应；在所述第一位置的像素点灰度值不为目标值，所述第二位置的像素点灰度值为目标值的情况下，获取所述第二帧图像对应的在第三位置的像素点灰度值不为目标值的掩码图，其中，第三位置与所述第一位置和所述第二位置均对应。

在一个示例性实施例中，对所述多帧图像对应的掩码图进行累加，得到累加掩码图，包括：获取帧图像的帧数量；根据所述帧数量确定多帧图像对应的掩码图的划分结果，其中，每一个所述划分结果中均包括帧数量对应的帧图像；分别对每一个划分结果内的帧图像进行累加，以得到所述累加掩码图。

在一个示例性实施例中，从所述累加掩码图中检测是否存在滴漏图像区域，包括：提取所述累加掩码图中的多个对象的轮廓框；确定多个对象的轮廓框是否符合预设条件；在所述多个对象中的目标对象的轮廓框符合预设条件的情况下，确定所述目标对象为滴漏目标，并根据所述滴漏目标确定所述滴漏图像区域，其中，所述滴漏图像区域中包括：所述滴漏目标。

在一个示例性实施例中，确定多个对象的轮廓是否符合预设条件，包括：获取每一个对象的轮廓框的旋转角度和高宽差，其中，所述旋转角度用于指示所述轮廓框与垂直线的角度差，所述高宽差用于指示所述轮廓框高度和宽度的差值；在所述旋转角度小于第一阈值，且所述高宽差大于第二阈值的情况下，确定所述目标对象的轮廓框符合预设条件。

在一个示例性实施例中，根据所述滴漏目标确定所述滴漏图像区域，包括：在已确定出多个滴漏目标的情况下，分别获取所述多个滴漏目标对应的中心点坐标；获取多个所述中心点坐标的横坐标中最大横坐标和最小横坐标的第一差值，多个所述中心点坐标的纵坐标中最大纵坐标和最小纵坐标的第二差值，以及所述最大横坐标对应的第一滴漏目标和所述最小横坐标对应的第二滴漏目标的宽度差；在所述第一差值的绝对值小于第三阈值，所述第二差值的绝对值大于第四阈值，且所述宽度差的绝对值小于第五阈值的情况下，确定所述多个滴漏目标对应的区域为所述滴漏图像区域。

根据本发明实施例的另一个方面，还提供了一种滴漏事件的确定装置，包括：采集模块，用于对监控区域进行图像采集，得到所述监控区域对应的多帧图像；获取模块，用于获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；累加模块，用于对所述多帧图像对应的掩码图进行累加，得到累加掩码图；检测模块，用于根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。

根据本发明实施例的另一方面，还提供了一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时运行上述滴漏事件的确定方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器通过所述计算机程序运行上述滴漏事件的确定方法。

在本发明实施例中，对监控区域进行图像采集，得到所述监控区域对应的多帧图像；获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；对所述多帧图像对应的掩码图进行累加，得到累加掩码图；根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。也就是说，通过采集监控区域的图像并处理，得到每组帧图像对应的掩码图，进而对掩码图进行累加，得到累加掩码图，进而检测累加掩码图并与预设条件比较，即可确定监控区域是否发生滴漏事件。解决了相关技术中，无法快速准确的确定监控区域是否发生滴漏事件等问题，进而可以快速准确的确定监控区域是否发生滴漏事件。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种滴漏事件的确定方法的计算机终端的硬件结构框图；

图2是根据本发明实施例的一种可选的滴漏事件的确定方法的流程图；

图3是本发明实施例的一种可选的滴漏事件的确定方法的采集的第3帧图像示意图；

图4是本发明实施例的一种可选的滴漏事件的确定方法的采集的第4帧图像示意图；

图5是本发明实施例的一种可选的滴漏事件的确定方法的采集的第5帧图像示意图；

图6是本发明实施例的一种可选的滴漏事件的确定方法的掩码图；

图7是本发明实施例的一种可选的滴漏事件的确定方法的累加掩码图；

图8是本发明实施例的一种可选的滴漏事件的确定方法的另一个累加掩码图；

图9是本发明实施例的一种可选的滴漏事件的处理流程图；

图10是根据本发明实施例的一种滴漏事件的确定装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例所提供的方法实施例可以在计算机终端中运行。以运行在计算机终端上为例，图1是本发明实施例的一种滴漏事件的确定方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理系统)和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，摄像设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的滴漏事件的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而运行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储系统、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至安全文本。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括摄像设备的通信供应商提供的无线网络。在一个实例中，传输系统106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。

在本实施例中提供了一种滴漏事件的确定方法，包括但不限于应用于上述计算机终端，图2是根据本发明实施例的一种可选的滴漏事件的确定方法的流程图，该流程包括如下步骤：

步骤S202，对监控区域进行图像采集，得到所述监控区域对应的多帧图像；

步骤S204，获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；

可以理解的是，如果多帧图像对应有100帧图像，可以按照采集时刻依次对100帧图像进行排序，进而将采集时刻连续的两帧图像确定为一组帧图像。进而100帧图像可以确定出50组帧图像，50组帧图像中的每一组帧图像均包括两个采集时刻连续的两帧图像。

还需说明的是，此处的掩码图可以是临时掩码图，也可以是对临时掩码图处理后的掩码图，本发明实施例对此不进行限定。

步骤S206，对所述多帧图像对应的掩码图进行累加，得到累加掩码图；

步骤S208，根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。

通过本发明实施例的上述技术方案，对监控区域进行图像采集，得到所述监控区域对应的多帧图像；获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；对所述多帧图像对应的掩码图进行累加，得到累加掩码图；根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。也就是说，通过采集监控区域的图像并处理，得到每组帧图像对应的掩码图，进而对掩码图进行累加，得到累加掩码图，进而检测累加掩码图并与预设条件比较，即可确定监控区域是否发生滴漏事件。解决了相关技术中，无法快速准确的确定监控区域是否发生滴漏事件等问题，进而可以快速准确的确定监控区域是否发生滴漏事件。

需要说明的是，步骤S202中得到的监控区域对应的多帧图像可以是在预设时间段内进行采集的。由于判断滴漏事件是否发生的过程需要多帧图像，而多帧图像如果是某一时间段的图像，会使得最终的判断结果更加准确。因此，为了更加精准的确定出滴漏事件是否发生，可以获取在预设时间段内的多帧图像。实际操作过程中，预设时间段可以是10秒钟，1分钟，2分钟等，可以根据实际情况灵活调整，本发明实施例对此不进行限定。

在一个可选实施例中，获取所述多帧图像中每组帧图像对应的掩码图的过程中，所述方法还包括：对于所述多组帧图像中的任意两组帧图像，获取第一组帧图像对应的第一临时掩码图和第二组帧图像对应的第二临时掩码图，其中，所述第一组帧图像和所述第二组帧图像中存在重合图像，且所述第一组帧图像中存在第一帧图像采集时刻早于所述第二组帧图像的第二帧图像，所述第一组帧图像包括：所述第一帧图像和所述重合图像，所述第二组帧图像包括：所述重合图像和所述第二帧图像；根据所述第一临时掩码图和第二临时掩码图获取所述第二帧图像对应的掩码图。

需要说明的是，本发明可选实施例提供的是一种通过对视频图像序列中相邻两帧作差分运算来获取运动目标轮廓的方法，可以很好的适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。

示例性的，以连续三帧图像为例，序号分别为3、4、5，第3帧图像如图3所示，图像中包含：第一时刻采集到的管道和/或滴漏(相当于滴漏目标)；第4帧图像如图4所示，图像中包含：在第二时刻采集到的管道和/或滴漏；第5帧图像如图5所示，图像中包含：在第三时刻采集到的管道和/或滴漏。第3帧和第4帧图像为第一组帧图像，第4帧和第5帧图像为第二组帧图像。分别对第3、4、5帧图像进行灰度化处理并调节到合适的尺寸，如320*180。进而可以根据帧间差分法获取第一组帧图像和第二组帧图像分别对应的第一临时掩码图和第二临时掩码图：用第4帧图像减去第3帧图像，具体为第4帧图像与第3帧图像对应位置上的像素点的灰度值相减并取绝对值，可以得到第一临时掩码图。用第5帧图像减去第4帧图像，具体为第5帧与第4帧图像对应位置上的像素点的灰度值相减并取绝对值，可以得到第二临时掩码图。

由于根据差分运算得到的第一临时掩码图和第二临时掩码图会出现两个可能的滴漏目标，即第一临时掩码图中可能出现滴漏目标的第3帧图像和第4帧图像，第二临时掩码图中可能出现滴漏目标的第4帧图像和第5帧图像。因此需要进一步根据第一临时掩码图和第二临时掩码图获取第5帧图像对应的只有一个滴漏目标的掩码图。

进一步的，根据所述第一临时掩码图和第二临时掩码图获取所述第二帧图像对应的掩码图，包括：确定所述第二临时掩码图第一位置的像素点灰度值是否为目标值；确定所述第一临时掩码图第二位置的像素点灰度值是否为目标值，其中，所述第二位置与所述第一位置对应；在所述第一位置的像素点灰度值不为目标值，所述第二位置的像素点灰度值为目标值的情况下，获取所述第二帧图像对应的在第三位置的像素点灰度值不为目标值的掩码图，其中，第三位置与所述第一位置和所述第二位置均对应。

可以理解的是，仍旧以第3、4、5帧图像为例，第3帧和第4帧图像为第一组帧图像，对应第一临时掩码图，第4帧和第5帧图像为第二组帧图像，对应第二临时掩码图。在第一临时掩码图中会显示第3帧图像和第4帧图像处理后对应的滴漏目标，具体为滴漏目标对应的位置像素点灰度值不为0；在第二临时掩码图中会显示第4帧图像和第5帧图像处理后对应的滴漏目标，具体为滴漏目标对应的位置像素点灰度值不为0。则根据第一临时掩码图和第二临时掩码图可以获取只存在第5帧图像所对应的滴漏目标的掩码图，具体为1)确定第二临时掩码图的灰度值不为0的区域；2)确定第一临时掩码图与第二临时掩码图对应位置的灰度值，在对应位置的灰度值为0的情况下，可以确定与第一掩码图和第二掩码图对应位置的灰度值不为0的掩码图，掩码图如图6所示，其余情况下，掩码图与第一掩码图和第二掩码图的对应位置的灰度值为0。需要说明的是，灰度值不为0，可以理解为在0-255之间除0以外任意取值。

对于步骤S206，有多种实施方式，在一个可选实施例中，包括：获取帧图像的帧数量；根据所述帧数量确定多帧图像对应的掩码图的划分结果，其中，每一个所述划分结果中均包括帧数量对应的帧图像；分别对每一个划分结果内的帧图像进行累加，以得到所述累加掩码图。即根据掩码图的总数量进行划分，例，有100帧掩码图的情况下，可以设定25帧为一组进行累加，进而可以得到4帧累加掩码图，如图7、8所示，图7，图8是两个不同的累加掩码图。

可选的，从所述累加掩码图中检测是否存在滴漏图像区域，包括：提取所述累加掩码图中的多个对象的轮廓框；确定多个对象的轮廓框是否符合预设条件；在所述多个对象中的目标对象的轮廓框符合预设条件的情况下，确定所述目标对象为滴漏目标，并根据所述滴漏目标确定所述滴漏图像区域，其中，所述滴漏图像区域中包括：所述滴漏目标。

可以理解的是，提取累加掩码图中多个灰度值不为0的疑似滴漏目标的轮廓框，在多个轮廓框符合预设条件的情况下，确定疑似滴漏目标就是所需要的滴漏目标，进而可以根据滴漏目标确定滴漏图像区域。

进一步的，确定多个对象的轮廓是否符合预设条件，包括：获取每一个对象的轮廓框的旋转角度和高宽差，其中，所述旋转角度用于指示所述轮廓框与垂直线的角度差，所述高宽差用于指示所述轮廓框高度和宽度的差值；在所述旋转角度小于第一阈值，且所述高宽差大于第二阈值的情况下，确定所述目标对象的轮廓框符合预设条件。

具体的，预设条件包括旋转角度的第一阈值，和高宽差的第二阈值。其中，1)关于第一阈值：滴漏过程一般为垂直下落，但由于风吹等其他因素的干扰，会导致角度的旋转，因此可以设定角度第一阈值。进一步的，可以先确定以某一固定位置为坐标原点的坐标系，进而确定疑似滴漏对象的轮廓框的中心点坐标，进而根据中心点坐标计算旋转角度，得到的旋转角度大于第一阈值则不是滴漏目标；2)关于第二阈值：滴漏目标一般情况下为长方形，且竖直方向的高度大于水平方向的宽度，因此，可以设定高宽差为第二阈值。进一步的，轮廓框高度减去宽度的差值，得到的高宽差值小于第二阈值则不是滴漏目标。可选的，还可以根据实际情况设置高宽比阈值、最小宽度阈值、最大宽度阈值、最小高度阈值、最大高度阈值等，本实施例不作限定。

进一步的，根据所述滴漏目标确定所述滴漏图像区域，包括：在已确定出多个滴漏目标的情况下，分别获取所述多个滴漏目标对应的中心点坐标；获取多个所述中心点坐标的横坐标中最大横坐标和最小横坐标的第一差值，多个所述中心点坐标的纵坐标中最大纵坐标和最小纵坐标的第二差值，以及所述最大横坐标对应的第一滴漏目标和所述最小横坐标对应的第二滴漏目标的宽度差；在所述第一差值的绝对值小于第三阈值，所述第二差值的绝对值大于第四阈值，且所述宽度差的绝对值小于第五阈值的情况下，确定所述多个滴漏目标对应的区域为所述滴漏图像区域。

在多个疑似滴漏目标的对象被确定为滴漏目标的情况下，根据已经确定的以某一固定位置为坐标原点的坐标系获取多个滴漏目标的中心点坐标，以3个滴漏目标为例，假设序号为1、2、3，对应中心点坐标为(2，2)、(2.1，5)、(1.9，8)，对应宽度分别是1、1、1.1根据横坐标由小到大的顺序分别是3号滴漏目标-1号滴漏目标-2号滴漏目标，则3个滴漏目标中心点坐标的横坐标中最大横坐标和最小横坐标的第一差值为2.2-1.9＝0.2；3个滴漏目标中心点坐标的纵坐标中最大纵坐标和最小纵坐标的第二差值为8-2＝6，以及最大横坐标对应的第一滴漏目标和最小横坐标对应的第二滴漏目标的宽度差为1.1-1＝0.1。

在设定的第三阈值为0.5，第四阈值为4，第三阈值为0.2的情况下，则可以确定所述多个滴漏目标对应的区域为所述滴漏图像区域；但如果存在第三阈值和、或第四阈值和、或第五阈值，任一不被满足的情况，确定为非滴漏图像区域。需要说明的是阈值可以根据需要设定，本申请对此不作限定。

为了更好的理解上述滴漏事件的确定方案，在一个可选实施例中，还提供了一种方案，用于对上述方案进行解释说明。

本发明可选实施例提供了一种滴漏事件的确定方法。图9是本发明实施例的一种可选的滴漏事件的处理流程图，如图9所示，该方法包括以下步骤：

步骤1：获取可能发生滴漏事件的区域的待识别图；

获取当前实时监控图像image，如图3、4、5所示。

步骤2：滴漏目标运动检测；

将待识别图image进行灰度化得到灰度图，以第5帧图像为例，得到gray_image_5；然后进行缩小到一定尺寸(如320*180)得到第5帧图像的resize_image_5；

用得到的resize_image_5减去resize_image_4(第4帧图像进行上述步骤1、2得到的图，第4帧图像在第5帧图像之前)，即对应位置上的像素点的灰度值相减，并取绝对值(因为直接减会出现负的情况)。如果该值大于设定的阈值gray_threshold(阈值可人为设定，例如设置为8)，则临时掩码图tmp_mask_5(尺寸大小和resize_image_5一致，即320*180)上对应位置的灰度值为255(可以是0到255之间除0以外的任意值)，否则就为0即认为背景，不动的地方，以上操作可以是帧间差分法，即用当前帧减去当前帧的上一帧。但是用当前帧减去当前帧的上一帧得到的临时掩码图会出现“重影”现象，即tmp_mask_5上会是两个明显的滴漏区域。然而实际image_5上就一个水滴(相当于上述实施例的滴漏目标)，即临时掩码图tmp_mask_5的可能存在重影问题，所以需要对tmp_mask_5进行进一步处理；

对第4帧图像也进行了上述步骤的操作，进而得到了第4帧图像的临时掩码图tmp_mask_4，根据滴漏的特点，可以通过以下方式得到只有一个滴漏目标的掩码图，需要同时满足如下条件：

(1)tmp_mask_5某位置灰度差大于阈值；

(2)tmp_mask_4对应位置的灰度值等于0；则可以得到与tmp_mask_4和tmp_mask_5对应位置的像素点的灰度值等于255的掩码图mask_5，如图6所示。

对上述步骤二得到的掩码图(mask_5、mask_4、mask_3等)进行依次相加，累加图片数量可以设定参数frame_num，例如设置frame_num＝25，则每25帧掩码图累加一次，即具体为1到25帧累加一次，26帧到50帧累加一次，51帧到75帧累加一次，进而可以得到mask_accumulate图，如图7、8所示，但并不局限于图7、8；

步骤3：对得到mask_accumulate图进行滴漏区域检测，以寻找滴漏区域，同时减少背景干扰，具体地，

对图mask_accumulate进行提取轮廓；

计算每个轮廓的最小外接旋转矩形(疑似滴漏目标)；

1)、疑似滴漏目标检测：由于滴漏过程一般为垂直下落的过程，即滴漏目标的最小外接旋转矩形的旋转角度接近0(或者-90度)，但自然界中存在风吹或者其他对滴漏目标有影响的条件因素，因此需要进行角度阈值比较：具体的，设定角度阈值angle_threshold，以某一固定位置为坐标原点，检测疑似滴漏目标轮廓的中心坐标点，并计算角度，得到的角度结果不满足阈值的疑似滴漏目标就不是滴漏目标；进一步的，滴漏目标一般情况下为长条状，即滴漏目标的高大于宽，因而可设定高宽比hw_threshold_ratio和/或高宽差阈值hw_threshold_diff，检测疑似滴漏目标的高和宽并计算比值和/或差值，比值和/或差值如果不满足阈值的就不是滴漏目标；同时也可以根据实际情况设定宽最小值阈值，宽最大值阈值，高最小值阈值，高最大值阈值，如果不满足阈值，则认为就不是滴漏目标。

2)、滴漏区域检测：由于滴漏事件的发生在图像中对应图像的某连续几列的像素点，即滴漏目标之间存在横坐标相近，纵坐标相远的现象，且滴漏目标之间的宽相近。所以对每个轮廓的最小外接旋转矩形(中心点位置)按横坐标从小到大进行排序；对排序后的目标进行横坐标和纵坐标的计算。

示例性的，假设保存下来9个目标，可以统计相邻N(例如N＝3)个目标，则(1)第3个目标的横坐-第1个目标的横坐标<x_threshold；(2)|第3个目标的纵坐标-第1个目标的纵坐标|>y_threshold；(3)|第3个目标的宽-第1个目标的宽|<w_threshold，以上条件同时成立则说明这几个连续的目标就是滴漏目标，进而可以统计这几个滴漏目标的所在区域横坐标位置drip_x，和滴漏目标宽度drip_w。

步骤4：判定是否存在滴漏区域；

如果没有找到滴漏区域，则重复以上所有步骤，步骤1到步骤3；如果已经找到滴漏区域，则直接进入步骤5。

步骤5：滴漏目标判定逻辑处理；

得到最终滴漏目标位置，因为实际滴漏区域一般不会随意变化，在一个地方出现后，就一直在一个地方发生，所以步骤3找到滴漏区域后，就可以不再进行滴漏区域寻找。接下来可以直接进行滴漏目标的判定，包括：

(1)、对步骤2得到的掩码图mask_5进行提取轮廓；

(2)、计算每个轮廓的最小外接旋转矩形(滴漏目标)；

(3)、设定角度阈值angle_threshold_2，不满足阈值的就不是滴漏目标；设定高宽比hw_threshold_ratio_2和/或高宽差阈值hw_threshold_diff_2，不满足阈值的就不是滴漏目标；同时也可以根据实际情况设定宽最小值阈值，宽最大值阈值，高最小值阈值，高最大值阈值，如果不满足阈值，则认为就不是滴漏目标，

(4)、确定未通过(3)中检测条件的剩下的滴漏目标的中心坐标，计算|中心位置横坐标-drip_x|是否小于阈值、|滴漏目标宽-drip_w|是否小于阈值，如果符合要求则认为该目标就为滴漏目标，需要说明的是，阈值为认为设定的。

需要说明的是，只要步骤3区域找的准确，步骤5的判断条件就可以宽松了，即步骤5里的阈值可以比步骤3里对应的阈值宽松一些，主要是依靠步骤5的(4)来确认是否真的为滴漏目标。

步骤6：输出结果。

如果需要准确判断步骤五输出的目标是否真为滴漏目标，则可以结合目前的深度学习中的目标分类技术，采集素材，标注，模型训练，分类识别。

还需要说明的是，对掩码图进行累加(时序信息)，使得滴漏区域更加突显，但同时其他动的目标如举例中的树枝也突显了；但步骤4中寻找滴漏区域，可以充分利用滴漏下落过程的情况，来屏蔽其他运动目标带来的干扰，如树枝树叶。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)运行本发明各个实施例的方法。

在本实施例中还提供了一种滴漏事件的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图10是根据本发明实施例的一种滴漏事件的确定装置的结构框图；如图10所示，包括：

采集模块102，用于对监控区域进行图像采集，得到所述监控区域对应的多帧图像；

获取模块104，用于获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；

累加模块106，用于对所述多帧图像对应的掩码图进行累加，得到累加掩码图；

检测模块108，用于根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。

通过本发明上述装置，对监控区域进行图像采集，得到所述监控区域对应的多帧图像；获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；对所述多帧图像对应的掩码图进行累加，得到累加掩码图；根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。也就是说，通过采集监控区域的图像并处理，得到每组帧图像对应的掩码图，进而对掩码图进行累加，得到累加掩码图，进而检测累加掩码图并与预设条件比较，即可确定监控区域是否发生滴漏事件。解决了相关技术中，无法快速准确的确定监控区域是否发生滴漏事件等问题，进而可以快速准确的确定监控区域是否发生滴漏事件。

需要说明的是，采集模块采集到的多帧图像可以是在预设时间段内进行采集的。由于判断滴漏事件是否发生的过程需要多帧图像，而多帧图像如果是某一时间段的图像，会使得最终的判断结果更加准确。因此，为了更加精准的确定出滴漏事件是否发生，可以获取在预设时间段内的多帧图像。实际操作过程中，预设时间段可以是10秒钟，1分钟，2分钟等，可以根据实际情况灵活调整，本发明实施例对此不进行限定。

在一个示例性实施例中，获取模块104，还用于获取所述多帧图像中每组帧图像对应的掩码图的过程中，对于所述多组帧图像中的任意两组帧图像，获取第一组帧图像对应的第一临时掩码图和第二组帧图像对应的第二临时掩码图，其中，所述第一组帧图像和所述第二组帧图像中存在重合图像，且所述第一组帧图像中存在第一帧图像采集时刻早于所述第二组帧图像的第二帧图像，所述第一组帧图像包括：所述第一帧图像和所述重合图像，所述第二组帧图像包括：所述重合图像和所述第二帧图像；根据所述第一临时掩码图和第二临时掩码图获取所述第二帧图像对应的掩码图。

需要说明的是，本发明可选实施例提供的是一种通过对视频图像序列中相邻两帧作差分运算来获取运动目标轮廓的方法，可以很好的适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。

示例性的，以连续三帧图像为例，序号分别为3、4、5，第3帧图像如图3所示，图像中包含：第一时刻采集到的管道和/或滴漏(相当于滴漏目标)；第4帧图像如图4所示，图像中包含：在第二时刻采集到的管道和/或滴漏；第5帧图像如图5所示，图像中包含：在第三时刻采集到的管道和/或滴漏。第3帧和第4帧图像为第一组帧图像，第4帧和第5帧图像为第二组帧图像。分别对第3、4、5帧图像进行灰度化处理并调节到合适的尺寸，如320*180。进而可以根据帧间差分法获取第一组帧图像和第二组帧图像分别对应的第一临时掩码图和第二临时掩码图：用第4帧图像减去第3帧图像，具体为第4帧图像与第3帧图像对应位置上的像素点的灰度值相减并取绝对值，可以得到第一临时掩码图。用第5帧图像减去第4帧图像，具体为第5帧与第4帧图像对应位置上的像素点的灰度值相减并取绝对值，可以得到第二临时掩码图。

由于根据差分运算得到的第一临时掩码图和第二临时掩码图会出现两个可能的滴漏目标，即第一临时掩码图中可能出现滴漏目标的第3帧图像和第4帧图像，第二临时掩码图中可能出现滴漏目标的第4帧图像和第5帧图像。因此需要进一步根据第一临时掩码图和第二临时掩码图获取第5帧图像对应的只有一个滴漏目标的掩码图。

在一个示例性实施例中，获取模块104，还用于确定所述第二临时掩码图第一位置的像素点灰度值是否为目标值；确定所述第一临时掩码图第二位置的像素点灰度值是否为目标值，其中，所述第二位置与所述第一位置对应；在所述第一位置的像素点灰度值不为目标值，所述第二位置的像素点灰度值为目标值的情况下，获取所述第二帧图像对应的在第三位置的像素点灰度值不为目标值的掩码图，其中，第三位置与所述第一位置和所述第二位置均对应。

可以理解的是，仍旧以第3、4、5帧图像为例，第3帧和第4帧图像为第一组帧图像，对应第一临时掩码图，第4帧和第5帧图像为第二组帧图像，对应第二临时掩码图。在第一临时掩码图中会显示第3帧图像和第4帧图像处理后对应的滴漏目标，具体为滴漏目标对应的位置像素点灰度值不为0；在第二临时掩码图中会显示第4帧图像和第5帧图像处理后对应的滴漏目标，具体为滴漏目标对应的位置像素点灰度值不为0。则根据第一临时掩码图和第二临时掩码图可以获取只存在第5帧图像所对应的滴漏目标的掩码图，具体为1)确定第二临时掩码图的灰度值不为0的区域；2)确定第一临时掩码图与第二临时掩码图对应位置的灰度值，在对应位置的灰度值为0的情况下，可以确定与第一掩码图和第二掩码图对应位置的灰度值不为0的掩码图，掩码图如图6所示，其余情况下，掩码图与第一掩码图和第二掩码图的对应位置的灰度值为0。需要说明的是，灰度值不为0，可以理解为在0-255之间处0以外任意取值。

在一个示例性实施例中，检测模块106，还用于获取帧图像的帧数量；根据所述帧数量确定多帧图像对应的掩码图的划分结果，其中，每一个所述划分结果中均包括帧数量对应的帧图像；分别对每一个划分结果内的帧图像进行累加，以得到所述累加掩码图。即根据掩码图的总数量进行划分，例，有100帧掩码图的情况下，可以设定25帧为一组进行累加，进而可以得到4帧累加掩码图，如图7、8所示，图7，图8是两个不同的累加掩码图。

在一个示例性实施例中，检测模块108，还用于提取所述累加掩码图中的多个对象的轮廓框；确定多个对象的轮廓框是否符合预设条件；在所述多个对象中的目标对象的轮廓框符合预设条件的情况下，确定所述目标对象为滴漏目标，并根据所述滴漏目标确定所述滴漏图像区域，其中，所述滴漏图像区域中包括：所述滴漏目标。

可以理解的是，提取累加掩码图中多个灰度值不为0的疑似滴漏目标的轮廓框，在多个轮廓框符合预设条件的情况下，确定疑似滴漏目标就是所需要的滴漏目标，进而可以根据滴漏目标确定滴漏图像区域。

在一个示例性实施例中，检测模块108，还用于获取每一个对象的轮廓框的旋转角度和高宽差，其中，所述旋转角度用于指示所述轮廓框与垂直线的角度差，所述高宽差用于指示所述轮廓框高度和宽度的差值；在所述旋转角度小于第一阈值，且所述高宽差大于第二阈值的情况下，确定所述目标对象的轮廓框符合预设条件。

具体的，预设条件包括旋转角度的第一阈值，和高宽差的第二阈值。其中，1)关于第一阈值：滴漏过程一般为垂直下落，但由于风吹等其他因素的干扰，会导致角度的旋转，因此可以设定角度第一阈值。进一步的，可以先确定以某一固定位置为坐标原点的坐标系，进而确定疑似滴漏对象的轮廓框的中心点坐标，进而根据中心点坐标计算旋转角度，得到的旋转角度大于第一阈值则不是滴漏目标；2)关于第二阈值：滴漏目标一般情况下为长方形，且竖直方向的高度大于水平方向的宽度，因此，可以设定高宽差为第二阈值。进一步的，轮廓框高度减去宽度的差值，得到的高宽差值小于第二阈值则不是滴漏目标。可选的，还可以根据实际情况设置高宽比阈值、最小宽度阈值、最大宽度阈值、最小高度阈值、最大高度阈值等，本实施例不作限定。

在一个示例性实施例中，检测模块108，还用于在已确定出多个滴漏目标的情况下，分别获取所述多个滴漏目标对应的中心点坐标；获取多个所述中心点坐标的横坐标中最大横坐标和最小横坐标的第一差值，多个所述中心点坐标的纵坐标中最大纵坐标和最小纵坐标的第二差值，以及所述最大横坐标对应的第一滴漏目标和所述最小横坐标对应的第二滴漏目标的宽度差；在所述第一差值的绝对值小于第三阈值，所述第二差值的绝对值大于第四阈值，且所述宽度差的绝对值小于第五阈值的情况下，确定所述多个滴漏目标对应的区域为所述滴漏图像区域。

在多个疑似滴漏目标的对象被确定为滴漏目标的情况下，根据已经确定的以某一固定位置为坐标原点的坐标系获取多个滴漏目标的中心点坐标，以3个滴漏目标为例，假设序号为1、2、3，对应中心点坐标为(2,2)、(2.1,5)、(1.9,8)，对应宽度分别是1、1、1.1根据横坐标由小到大的顺序分别是3号滴漏目标-1号滴漏目标-2号滴漏目标，则3个滴漏目标中心点坐标的横坐标中最大横坐标和最小横坐标的第一差值为2.2-1.9＝0.2；3个滴漏目标中心点坐标的纵坐标中最大纵坐标和最小纵坐标的第二差值为8-2＝6，以及最大横坐标对应的第一滴漏目标和最小横坐标对应的第二滴漏目标的宽度差为1.1-1＝0.1。

在设定的第三阈值为0.5，第四阈值为4，第三阈值为0.2的情况下，则可以确定所述多个滴漏目标对应的区域为所述滴漏图像区域；但如果存在第三阈值和、或第四阈值和、或第五阈值，任一不被满足的情况，确定为非滴漏图像区域。需要说明的是阈值可以根据需要设定，本申请对此不作限定。

本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时运行上述任一项的方法。

可选地，在本实施例中，上述存储介质可以被设置为存储用于运行以下步骤的程序代码：

S1，对监控区域进行图像采集，得到所述监控区域对应的多帧图像；

S2，获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；

S3，对所述多帧图像对应的掩码图进行累加，得到累加掩码图；

S4，根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以运行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序运行以下步骤：

S1，对监控区域进行图像采集，得到所述监控区域对应的多帧图像；

S2，获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；

S3，对所述多帧图像对应的掩码图进行累加，得到累加掩码图；

S4，根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可运行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来运行，并且在某些情况下，可以以不同于此处的顺序运行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种滴漏事件的确定方法，其特征在于，包括：

对监控区域进行图像采集，得到所述监控区域对应的多帧图像；

获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；

对所述多帧图像对应的掩码图进行累加，得到累加掩码图；

根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。

2.根据权利要求1所述的滴漏事件的确定方法，其特征在于，获取所述多帧图像中每组帧图像对应的掩码图的过程中，所述方法还包括：

对于所述多组帧图像中的任意两组帧图像，获取第一组帧图像对应的第一临时掩码图和第二组帧图像对应的第二临时掩码图，其中，所述第一组帧图像和所述第二组帧图像中存在重合图像，且所述第一组帧图像中存在第一帧图像采集时刻早于所述第二组帧图像的第二帧图像，所述第一组帧图像包括：所述第一帧图像和所述重合图像，所述第二组帧图像包括：所述重合图像和所述第二帧图像；

根据所述第一临时掩码图和第二临时掩码图获取所述第二帧图像对应的掩码图。

3.根据权利要求2所述的滴漏事件的确定方法，其特征在于，根据所述第一临时掩码图和第二临时掩码图获取所述第二帧图像对应的掩码图，包括：

确定所述第二临时掩码图第一位置的像素点灰度值是否为目标值；

确定所述第一临时掩码图第二位置的像素点灰度值是否为目标值，其中，所述第二位置与所述第一位置对应；

在所述第一位置的像素点灰度值不为目标值，所述第二位置的像素点灰度值为目标值的情况下，获取所述第二帧图像对应的在第三位置的像素点灰度值不为目标值的掩码图，其中，第三位置与所述第一位置和所述第二位置均对应。

4.根据权利要求1所述的滴漏事件的确定方法，其特征在于，对所述多帧图像对应的掩码图进行累加，得到累加掩码图，包括：

获取帧图像的帧数量；

根据所述帧数量确定多帧图像对应的掩码图的划分结果，其中，每一个所述划分结果中均包括帧数量对应的帧图像；

分别对每一个划分结果内的帧图像进行累加，以得到所述累加掩码图。

5.根据权利要求1所述的滴漏事件的确定方法，其特征在于，从所述累加掩码图中检测是否存在滴漏图像区域，包括：

提取所述累加掩码图中的多个对象的轮廓框；

确定多个对象的轮廓框是否符合预设条件；

在所述多个对象中的目标对象的轮廓框符合预设条件的情况下，确定所述目标对象为滴漏目标，并根据所述滴漏目标确定所述滴漏图像区域，其中，所述滴漏图像区域中包括：所述滴漏目标。

6.根据权利要求5所述的滴漏事件的确定方法，其特征在于，确定多个对象的轮廓是否符合预设条件，包括：

获取每一个对象的轮廓框的旋转角度和高宽差，其中，所述旋转角度用于指示所述轮廓框与垂直线的角度差，所述高宽差用于指示所述轮廓框高度和宽度的差值；

在所述旋转角度小于第一阈值，且所述高宽差大于第二阈值的情况下，确定所述目标对象的轮廓框符合预设条件。

7.根据权利要求5所述的滴漏事件的确定方法，其特征在于，根据所述滴漏目标确定所述滴漏图像区域，包括：

在已确定出多个滴漏目标的情况下，分别获取所述多个滴漏目标对应的中心点坐标；

获取多个所述中心点坐标的横坐标中最大横坐标和最小横坐标的第一差值，多个所述中心点坐标的纵坐标中最大纵坐标和最小纵坐标的第二差值，以及所述最大横坐标对应的第一滴漏目标和所述最小横坐标对应的第二滴漏目标的宽度差；

在所述第一差值的绝对值小于第三阈值，所述第二差值的绝对值大于第四阈值，且所述宽度差的绝对值小于第五阈值的情况下，确定所述多个滴漏目标对应的区域为所述滴漏图像区域。

8.一种滴漏事件的确定装置，其特征在于，包括：

采集模块，用于对监控区域进行图像采集，得到所述监控区域对应的多帧图像；

获取模块，用于获取所述多帧图像中每组帧图像对应的掩码图，其中，所述多帧图像对应多组帧图像，且所述每组帧图像包括：采集时刻连续的两帧图像；

累加模块，用于对所述多帧图像对应的掩码图进行累加，得到累加掩码图；

检测模块，用于根据预设条件检测所述累加掩码图中是否存在滴漏图像区域，以确定所述监控区域中是否发生滴漏事件。

9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时运行上述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序运行所述权利要求1至7任一项中所述的方法。

Images