CN111476163B - 一种高空抛物监控方法、装置以及计算机存储介质 - Google Patents

Abstract

本申请提供了一种高空抛物监控方法、装置以及计算机存储介质。该高空抛物监控方法包括：获取高空抛物监控的视频流；按照时间顺序截取辅码流中的图像，并对相邻的图像做图像差值处理，以得到预设数量的一次残差图像；按照一次残差图像的顺序对相邻的一次残差图像做差值处理，以得到二次残差图像；在前一次的二次残差图像的有值像素点的纵坐标值小于或等于当前的二次残差图像的有值像素点的纵坐标值时，对主码流进行像素处理，并输出像素处理后的主码流。通过上述方式，本申请的高空抛物监控方法能够对主码流按需处理，避免了监控存在的隐私保护问题。

Description

一种高空抛物监控方法、装置以及计算机存储介质

技术领域

本申请涉及视频监控技术领域，特别是涉及一种高空抛物监控方法、装置以及计算机存储介质。

背景技术

在当前城市发展和建设中，由于土地、空间等各种限制因素，高楼建设越来越常见。由此带来的各种衍生问题也越来越多，其中，高空抛物和坠物引发的安全问题也越来越受到各方的关注。高空抛物和坠物由于其突发性、危害性、不可回避性，一旦发生往往极容易引起人身伤害重大事故。

目前高空抛物事件在社会上时有发生，为了能够事后追溯，市面上出现了将传统摄像机以固定角度仰视的方式对着高层建筑，这种方式存在高层住户日常隐私得不到保证的问题。

发明内容

本申请提供了一种高空抛物监控方法、装置以及计算机存储介质，主要解决的技术问题是如何解决现有技术存在高层住户日常隐私得不到保证的问题。

为解决上述技术问题，本申请提供了一种高空抛物监控方法，所述高空抛物监控方法包括：

获取高空抛物监控的视频流，其中，所述视频流包括主码流和辅码流；

按照时间顺序截取所述辅码流中的图像，并对相邻的图像做图像差值处理，以得到预设数量的一次残差图像；

按照所述一次残差图像的顺序对相邻的一次残差图像做差值处理，以得到二次残差图像，其中，所述二次残差图像中包括有值像素点；

在前一次的二次残差图像的有值像素点的纵坐标值大于当前的二次残差图像的有值像素点的纵坐标值时，生成研判信息，并基于所述研判信息输出所述主码流；

在前一次的二次残差图像的有值像素点的纵坐标值小于或等于当前的二次残差图像的有值像素点的纵坐标值时，对所述主码流进行像素处理，并输出像素处理后的主码流。

其中，所述像素处理为二值化处理或色度处理；

所述获取高空抛物监控的视频流的步骤之后，所述高空抛物监控方法还包括：

对所述辅码流的图像进行二值化处理或色度处理。

其中，所述按照所述一次残差图像的顺序对相邻的一次残差图像做差值处理，以得到二次残差图像的步骤之后，所述高空抛物监控方法还包括：

将所述二次残差图像划分为M*N的标记块，并统计每一标记块中有值像素点的数量；

将所述有值像素点的数量小于预设数量的标记块的像素值设置为0。

其中，所述统计每一标记块中有值像素点的数量的步骤之后，所述高空抛物监控方法还包括：

计算所述有值像素点的数量大于或等于所述预设数量的标记块中所有所述有值像素点的聚类区域中心，将所述聚类区域中心作为标记点。

其中，所述在前一次的二次残差图像的有值像素点的纵坐标值大于当前的二次残差图像的有值像素点的纵坐标值时，生成研判信息的步骤，包括：

将所有所述二次残差图像合成一个融合图像；

将所述融合图像划分为N列的分析区域；

在第一目标分析区域包括两个或两个以上标记点时，判断属于前一次的二次残差图像的标记点的纵坐标值是否大于当前的二次残差图像的标记点的纵坐标值；

若是，则生成研判信息。

其中，所述基于所述研判信息输出所述主码流的步骤，包括：

基于所述研判信息输出所述主码流的第一目标分析区域。

其中，所述将所述融合图像划分为N列的分析区域的步骤之后，所述高空抛物监控方法包括：

在第二目标分析区域不存在标记点或只存在一个标记点时，将所述主码流的第二目标分析区域进行像素处理，并输出像素处理后的所述第二目标分析区域。

其中，所述视频流采用RGB颜色格式或YUV颜色格式。

为解决上述技术问题，本申请还提供了一种高空抛物监控装置，所述高空抛物监控装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的高空抛物监控方法。

为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的高空抛物监控方法。

与现有技术相比，本申请的有益效果是：高空抛物监控装置获取高空抛物监控的视频流，其中，视频流包括主码流和辅码流；按照时间顺序截取辅码流中的图像，并对相邻的图像做图像差值处理，以得到预设数量的一次残差图像；按照一次残差图像的顺序对相邻的一次残差图像做差值处理，以得到二次残差图像，其中，二次残差图像中包括有值像素点；在前一次的二次残差图像的有值像素点的纵坐标值大于当前的二次残差图像的有值像素点的纵坐标值时，生成研判信息，并基于研判信息输出主码流；在前一次的二次残差图像的有值像素点的纵坐标值小于或等于当前的二次残差图像的有值像素点的纵坐标值时，对主码流进行像素处理，并输出像素处理后的主码流。通过上述方式，本申请的高空抛物监控方法能够对主码流按需处理，避免了监控存在的隐私保护问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的高层抛物监控方法一实施例的流程示意图；

图2是本申请提供的高层抛物监控方法另一实施例的流程示意图；

图3是本申请提供的以N列为分析区域的示意图；

图4是本申请提供的高层抛物监控装置一实施例的结构示意图；

图5是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了解决现有技术存在高层住户日常隐私得不到保证的问题，本申请提出了一种高层抛物监控方法，具体请参阅图1，图1是本申请提供的高层抛物监控方法一实施例的流程示意图。

本申请的高层抛物监控方法应用于一种高层抛物监控装置，其中，本申请的高层抛物监控装置可以为服务器，也可以为终端设备，还可以为由服务器和终端设备相互配合的系统。相应地，电子设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。

进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

在以下对于高层抛物监控方法的描述中，统一以监控装置作为执行主体进行描述，在此不再赘述。

如图1所示，本实施例的高层抛物监控方法具体包括以下步骤：

S101：获取高空抛物监控的视频流，其中，视频流包括主码流和辅码流。

其中，监控装置可以与外部摄像装置建立通信连接，而外部摄像装置具体可以为一种高清摄像机，将拍摄到的视频作为高层抛物监控方法的视频流发送给监控装置。或者，监控装置自身为具有摄像功能的高清摄像机，监控装置内部的处理器能够用于实现本申请提供的高空抛物监控方法。

监控装置获取高空抛物监控的视频流，视频流采用RGB颜色格式或YUV颜色格式，视频流具体可以拉流分为主码流和辅码流两路输出。其中，主码流用于正常监控画面的采集，辅码流用于主码流在web端预览是否显示的研判分析。

在本申请中，以YUV颜色格式为例，监控装置对辅码流输出的YUV画面采用二值化处理或色度处理。

具体地，图像二值化(Image Binarization)就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程，图像二值化可以是监控图像中的数据量大大减少，从而使监控图像凸显出监控目标的轮廓。由于YUV画面中的“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述图像色彩及图像饱和度，用于指定像素的颜色。色度处理即将YUV画面中的“U”通道和“V”通道剔除，只保留“Y”通道，即只保留监控图像的明亮度信息。

S102：按照时间顺序截取辅码流中的图像，并对相邻的图像做图像差值处理，以得到预设数量的一次残差图像。

其中，监控装置按照时间顺序截取辅码流中的图像，并对相邻的图像做图像差值处理，以得到预设数量的一次残差图像。

具体地，监控装置获取第i帧和第i+1帧的图像做图像差值处理，得到残差二值化图像Ri，即一次残差图像。其中，本实施例的i取值可以从1开始，在此不再赘述。监控装置记录一次残差图像的数量，并判断一次残差图像的数量是否等于a帧，若否，将i取值加1，并获取对应的一次残差图像。在一次残差图像的数量累加到a帧时，则进入步骤103。其中，本实施例a值可以设置为3，也可以根据工作需求设置其它数值，在此不再赘述。

S103：按照一次残差图像的顺序对相邻的一次残差图像做差值处理，以得到二次残差图像，其中，二次残差图像中包括有值像素点。

其中，以步骤102的a值为3为例，监控装置此时可以得到三帧的一次残差图像R1、R2和R3。监控装置进一步按照一次残差图像的获取顺序对两两相邻的一次残差图像做差值处理，以计算得到二次残差图像。

具体地，监控装置可以通过三帧一次残差图像计算得到两帧二次残差图像△R1和△R2，计算方式具体为△R1＝R2-R1以及△R2＝R3-R2。由于辅码流的图像已经经过二值化处理，此时监控装置获取的二次残差图像中包括有值像素点，即像素值为255或非0的像素点。

监控装置比较二次残差图像之间有值像素点的纵坐标值大小，并根据比较结果进入步骤104或步骤105。

S104：在前一次的二次残差图像的有值像素点的纵坐标值大于当前的二次残差图像的有值像素点的纵坐标值时，生成研判信息，并基于研判信息输出主码流。

例如，监控装置定义前一次的二次残差图像为△R1，当前的二次残差图像为△R2，该顺序由一次残差图像的获取顺序决定，而一次残差图像的获取顺序由监控装置获取截取辅码流的图像顺序决定。

其中，在前一次的二次残差图像，即△R1的有值像素点的纵坐标值大于当前的二次残差图像，即△R2的有值像素点的纵坐标值时，说明在主码流和副码流中出现物体或物品向下运动的情况，即可能发生高层抛物的情况。此时，监控装置生成研判信息，并基于研判信息输出主码流。监控装置显示主码流的监控视频，该监控视频为摄像机直接采集的监控视频。基于研判信息，监控视频中可能发生高层抛物的情况，因此，监控装置需要将主码流直接输出，以便执法人员或工作人员能够根据监控视频可以在事后追溯抛物人，以对抛物人进行处罚。

S105：在前一次的二次残差图像的有值像素点的纵坐标值小于或等于当前的二次残差图像的有值像素点的纵坐标值时，对主码流进行像素处理，并输出像素处理后的主码流。

其中，在前一次的二次残差图像，即△R1的有值像素点的纵坐标值小于或等于当前的二次残差图像，即△R2的有值像素点的纵坐标值时，说明在主码流和副码流中不存在物体或物品向下运动的情况，即发生高层抛物的情况的可能性极小。此时，监控装置对主码流输出的YUV画面也采用二值化处理或色度处理，使得监控装置输出像素处理后的主码流，显示器上显示为黑屏或白屏。执法人员或工作人员无法通过显示器看到监控内容，能够很好地保护高层住户的日常隐私。

在本实施例中，高空抛物监控装置获取高空抛物监控的视频流，其中，视频流包括主码流和辅码流；按照时间顺序截取辅码流中的图像，并对相邻的图像做图像差值处理，以得到预设数量的一次残差图像；按照一次残差图像的顺序对相邻的一次残差图像做差值处理，以得到二次残差图像，其中，二次残差图像中包括有值像素点；在前一次的二次残差图像的有值像素点的纵坐标值大于当前的二次残差图像的有值像素点的纵坐标值时，生成研判信息，并基于研判信息输出主码流；在前一次的二次残差图像的有值像素点的纵坐标值小于或等于当前的二次残差图像的有值像素点的纵坐标值时，对主码流进行像素处理，并输出像素处理后的主码流。通过上述方式，本申请的高空抛物监控方法能够对主码流按需处理，避免了监控存在的隐私保护问题。

为了解决现有技术存在高层住户日常隐私得不到保证的问题，本申请提出了另一种高层抛物监控方法，具体请参阅图2，图2是本申请提供的高层抛物监控方法另一实施例的流程示意图。

如图2所示，本实施例的高层抛物监控方法具体包括以下步骤：

S201：获取高空抛物监控的视频流，其中，所述视频流包括主码流和辅码流。

S202：按照时间顺序截取辅码流中的图像，并对相邻的图像做图像差值处理，以得到预设数量的一次残差图像。

S203：按照一次残差图像的顺序对相邻的一次残差图像做差值处理，以得到二次残差图像，其中，二次残差图像中包括有值像素点。

S204：将二次残差图像划分为M*N的标记块，并统计每一标记块中有值像素点的数量。

其中，监控装置将上述实施例中的二次残差图像△R1和△R2分别各自划分为M*N个区域，在本实施例中，M可以取值9，N可以取值9，监控装置也可以根据实际情况设置其它数值，在此不再赘述。

监控装置按照区域位置对标记块进行对应的标记，例如，在前一个二次残差图像的第一分块行第一分块列的标记为T111，在当前二次残差图像的第三分块行第四分块列的标记为T234，以此类推。

进一步地，监控装置分别统计二次残差图像△R1和△R2中每一标记块中有值像素点的数量。在某一标记块中有值像素点的数量小于预设数量时，监控装置认为该标记块中的有值像素点属于无效像素点或者低怀疑度的像素点，因此，监控装置可以剔除该标记块的有值像素点，即将该标记块的有值像素点的像素值设置为0。

S205：计算有值像素点的数量大于或等于预设数量的标记块中所有有值像素点的聚类区域中心，将聚类区域中心作为标记点。

其中，监控装置将有值像素点的数量大于或等于预设数量的标记块作为有效标记块，并基于有效标记块中的所有有值像素点计算聚类区域中心，将该聚类区域中心作为该有效标记块的标记点。

S206：将所有二次残差图像合成一个融合图像。

其中，监控装置将二次残差图像△R1和△R2合成一个融合图像，具体方式为：将二次残差图像△R1和△R2直接进行像素点叠加融合。

S207：将融合图像划分为N列的分析区域。

其中，由于高层抛物行为在竖直方向上更明显，因此，监控装置以融合图像的N列为分析区域进行特征筛选动作。具体请参阅图3，图3中的标记表明对应的标记点所属的二次残差图像以及在所属的二次残差图像中的区域位置。

S208：在第一目标分析区域包括两个或两个以上标记点，且属于前一次的二次残差图像的标记点的纵坐标值大于当前的二次残差图像的标记点的纵坐标值时，生成研判信息，并基于研判信息输出主码流的第一目标分析区域。

其中，以图3的第一列为第一目标分析区域，此时，第一目标分析区域包括两个标记点，分别为T111和T221。从标记可以看出，前一次二次残差图像的标记点T111的纵坐标值大于当前二次残差图像的标记点T221的纵坐标值，此时，监控装置生成研判信息，并基于研判信息输出主码流的第一目标分析区域。监控装置显示主码流第一目标分析区域的监控视频，第一目标分析区域的监控视频为摄像机直接采集的监控视频。基于研判信息，第一目标分析区域的监控视频中可能发生高层抛物的情况，因此，监控装置需要将主码流第一目标分析区域直接输出，以便执法人员或工作人员能够根据监控视频在事后追溯抛物人，以对抛物人进行处罚。

S209：在第二目标分析区域不存在标记点或只存在一个标记点时，将主码流的第二目标分析区域进行像素处理，并输出像素处理后的第二目标分析区域。

其中，以图3的第二列为第二目标分析区域，此时，第二目标分析区域不存在标记点。说明在主码流和副码流的第二目标分析区域中不存在物体或物品向下运动的情况，即第二目标分析区域中发生高层抛物的情况的可能性极小。此时，监控装置对主码流的第二目标分析区域输出的YUV画面也采用二值化处理或色度处理，使得监控装置输出主码流像素处理后的第二目标分析区域，显示器上显示为黑屏或白屏。执法人员或工作人员无法通过显示器看到监控内容，能够很好地保护高层住户的日常隐私。

监控装置通过上述步骤208和步骤209遍历融合图像的所有分析区域，并依据标记点判断输出主码流对应的每个分析区域的监控内容。

在本实施例中，监控装置采用二次残差图像，使用二次残差图像回填的图像信息处理方法，同时结合有效像素点筛选以及分块性质的标记点方向性判断，进行高空抛物事件的判断，能够最大程度上避免了事件误判。

在本实施例中，监控装置分别对每一分析区域进行标记点数量以及标记点位置判断，以决定主码流每一分析区域的处理方法，在某一分析区域可能发生高层抛物的情况时，监控装置只显示该分析区域的原始监控视频，其余分析区域显示黑屏或白屏，从而在为执法人员或工作人员提供监控证据的同时最大限度保证高层居民的日常生活隐私。

为实现上述实施例的高空抛物监控方法，本申请还提出了一种高空抛物监控装置，具体请参阅图4，图4是本申请提供的高空抛物监控装置一实施例的结构示意图。

本实施例的高空抛物监控装置400包括处理器41、存储器42、输入输出设备43以及总线44。

该处理器41、存储器42、输入输出设备43分别与总线44相连，该存储器42中存储有程序数据，处理器41用于执行程序数据以实现上述实施例所述的高空抛物监控方法。

在本实施例中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器41也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，如图5所示，计算机存储介质500用于存储程序数据51，程序数据51在被处理器执行时，用以实现如本申请上述实施例中所述的高空抛物监控方法。

本申请高空抛物监控方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种高空抛物监控方法，其特征在于，所述高空抛物监控方法包括：

获取高空抛物监控的视频流，其中，所述视频流包括主码流和辅码流；

按照时间顺序截取所述辅码流中的图像，并对相邻的图像做图像差值处理，以得到预设数量的一次残差图像；

按照所述一次残差图像的顺序对相邻的一次残差图像做差值处理，以得到二次残差图像，其中，所述二次残差图像中包括有值像素点；

在前一次的二次残差图像的有值像素点的纵坐标值大于当前的二次残差图像的有值像素点的纵坐标值时，生成研判信息，并基于所述研判信息输出所述主码流；

在前一次的二次残差图像的有值像素点的纵坐标值小于或等于当前的二次残差图像的有值像素点的纵坐标值时，对所述主码流进行像素处理，并输出像素处理后的主码流。

2.根据权利要求1所述的高空抛物监控方法，其特征在于，

所述像素处理为二值化处理或色度处理；

所述获取高空抛物监控的视频流的步骤之后，所述高空抛物监控方法还包括：

对所述辅码流的图像进行二值化处理或色度处理。

3.根据权利要求1所述的高空抛物监控方法，其特征在于，

所述按照所述一次残差图像的顺序对相邻的一次残差图像做差值处理，以得到二次残差图像的步骤之后，所述高空抛物监控方法还包括：

将所述二次残差图像划分为M*N的标记块，并统计每一标记块中有值像素点的数量；

将所述有值像素点的数量小于预设数量的标记块的像素值设置为0。

4.根据权利要求3所述的高空抛物监控方法，其特征在于，

所述统计每一标记块中有值像素点的数量的步骤之后，所述高空抛物监控方法还包括：

计算所述有值像素点的数量大于或等于所述预设数量的标记块中所有所述有值像素点的聚类区域中心，将所述聚类区域中心作为标记点。

5.根据权利要求4所述的高空抛物监控方法，其特征在于，

所述在前一次的二次残差图像的有值像素点的纵坐标值大于当前的二次残差图像的有值像素点的纵坐标值时，生成研判信息的步骤，包括：

将所有所述二次残差图像合成一个融合图像；

将所述融合图像划分为N列的分析区域；

在第一目标分析区域包括两个或两个以上标记点时，判断属于前一次的二次残差图像的标记点的纵坐标值是否大于当前的二次残差图像的标记点的纵坐标值；

若是，则生成研判信息。

6.根据权利要求5所述的高空抛物监控方法，其特征在于，

所述基于所述研判信息输出所述主码流的步骤，包括：

基于所述研判信息输出所述主码流的第一目标分析区域。

7.根据权利要求6所述的高空抛物监控方法，其特征在于，

所述将所述融合图像划分为N列的分析区域的步骤之后，所述高空抛物监控方法包括：

在第二目标分析区域不存在标记点或只存在一个标记点时，将所述主码流的第二目标分析区域进行像素处理，并输出像素处理后的所述第二目标分析区域。

8.根据权利要求1所述的高空抛物监控方法，其特征在于，

所述视频流采用RGB颜色格式或YUV颜色格式。

9.一种高空抛物监控装置，其特征在于，所述高空抛物监控装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～8中任一项所述的高空抛物监控方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～8中任一项所述的高空抛物监控方法。

Images