CN113554008A - 静态物体区域内检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种静态物体区域内检测方法，包括：对视频流进行处理得到当前帧图像和前一帧图像；目标检测器输出静态物体的置信度及第一坐标框；若置信度大于或等于预设目标检测置信度阈值，依据第一坐标框形成第一检测区域及其二值图像，由二值图像计算出面积比；若面积比大于或等于预设HSV颜色置信度阈值，对当前帧图像分割处理并选出与第一坐标框的重叠面积大于预设值的像素块作为第一目标区域；利用上述方法得到第二目标区域；若第一检测区域和第二检测区域符合RGB颜色过滤条件，输出第一检测区域的坐标框；若第一检测区域的坐标框与比对坐标框的重叠面积小于或等于重叠度阈值，则静态物体发生移动。本发明的检测流程耗时短、误检的几率小。

Description

静态物体区域内检测方法、装置、电子设备及存储介质

技术领域

本发明涉及智慧城市的监控技术领域，尤其涉及一种静态物体区域内检测方法、装置、电子设备及存储介质。

背景技术

在智慧城市管理中，公共设施中的固定静态物体为居民生活服务的重要组成部分，为保证公共设施中的固定静态物体发生损坏时能够及时进行维修和更换，需要一种有效的监测技术手段对公共设施中的固定静态物体进行实时检测。

然而，对于静态物体的检测技术而言，尽管目前单独依靠卷积神经网络实现的目标检测器已经取得了良好的监测效果，但是在实际部署使用过程中面对复杂的街道、社区、商铺等真实场景时，单一的判别条件仍然会造成较多的误检问题。

因此，实有必要提供一种静态物体区域内检测方法、装置、电子设备及存储介质解决上述技术问题。

发明内容

鉴于以上内容，有必要提供一种静态物体区域内检测方法、装置、电子设备及存储介质，旨在缩短静态物体的检测流程和降低误检几率。

为实现上述目的，本发明提出静态物体区域内检测方法、装置、电子设备。

第一方面，本发明实施例提供了一种静态物体区域内检测方法，应用于电子设备，所述方法包括：

步骤1，采集视频监控区的视频流；

步骤2，对所述视频流进行解码并抽帧处理，得到视帧图像；其中，所述视帧图像包括当前帧图像和前一帧图像；

步骤3，对所述当前帧图像进行预处理，并将预处理后的所述当前帧图像输入至预设的目标检测器中进行检测，若检测出所述当前帧图像中包含静态物体，则输出所述静态物体的置信度、类别以及第一坐标框；

步骤4，判断所述静态物体的置信度是否大于预设目标检测置信度阈值：

若小于所述预设目标检测置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设目标检测置信度阈值，则根据所述静态物体的所述第一坐标框对所述当前帧图像进行扣取形成第一检测区域，并对所述第一检测区域进行HSV颜色滤波处理，得出所述第一检测区域的二值图像；

步骤5，计算所述第一检测区域的所述二值图像的总面积S和边界像素点数量SA， 并根据所述总面积S和所述边界像素点数量SA计算出面积比L，其中，所述面积比的计算公 式为

；

步骤6，判断所述面积比L是否大于预设HSV颜色置信度阈值：

若小于所述预设HSV颜色置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设HSV颜色置信度阈值，则对所述当前帧图像进行分割处理形成第一像素块集合，且从所述第一像素块集合中筛选出与所述第一坐标框的重叠面积大于预设值的像素块作为第一目标区域；

步骤7，采用上述步骤3至步骤6的方法对所述前一帧图像进行处理，得到第二坐标框、第二检测区域和第二目标区域，并通过帧差法对所述第一目标区域和所述第二目标区域进行运算处理，得出目标的静态阈值；

步骤8，判断所述目标的静态阈值是否大于预设静态阈值：

若小于所述预设静态阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设静态阈值，则将所述第一检测区域和所述第二检测区域输入至RGB颜色过滤模型中，用以判断所述第一检测区域和所述第二检测区域是否符合预先设定的RGB颜色过滤条件：若所述第一检测区域和所述第二检测区域均符合所述RGB颜色过滤条件，则输出所述第一检测区域的坐标框；

步骤9，计算所述第一检测区域的所述坐标框与预先设定的比对坐标框的重叠面积：

若所述重叠面积大于预设重叠度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若所述重叠面积小于或等于预设重叠度阈值，则判断所述静态物体发生移动。

优选的，所述步骤3中对所述当前帧图像进行预处理，具体包括如下步骤：

通过双线性插值法对所述当前帧图像进行等比例缩放处理；

将等比例缩放处理后的所述当前帧图像的短边的上下方填充灰色像素块，以使所述当前帧图像形成带有填充区域的正方形图像。

优选的，所述步骤4中对所述第一检测区域进行HSV颜色滤波处理，具体包括如下步骤：

将所述第一检测区域从RGB颜色空间转换到HSV颜色空间，记为

；

将所述

分别做四次在所述HSV颜色空间上针对不同通道上的像素值 过滤运算，得到图像

，图像

，图像

，图像

，

对所述图像

和所述图像

做“或”运算，得到图像

；

对所述图像

和所述图像

做“或”运算，得到图像

；

对所述图像

和所述图像

做“或”运算，得到所述第一检测区 域的二值图像。

优选的，所述步骤6中对所述当前帧图像进行分割处理形成第一像素块集合，具体包括如下步骤：

将所述当前帧图像进行等比例缩放处理；

将等比例缩放处理后的所述当前帧图像进行分割形成若干个预设大小的第一像素块，并将若干个所述第一像素块储存至预设集合中，形成所述第一像素块集合。

优选的，所述目标检测器是通过卷积神经网络模型训练得到的，其中，所述卷积神经网络模型为YOLO模型或SSD模型。

优选的，所述预设目标检测置信度阈值为0.5；所述预设HSV颜色置信度阈值为0.02；所述预设静态阈值为0.019；所述预设重叠度阈值为0.4。

优选的，所述静态物体区域内检测方法还包括：步骤10，若判断出所述静态物体发生移动，则发出警报。

第二方面，本发明实施例还提供一种静态物体区域内检测装置，该装置包括：

采集模块，用于采集视频监控区的视频流；

解码模块，用于对所述视频流进行解码并抽帧处理，得到视帧图像；其中，所述视帧图像包括当前帧图像和前一帧图像；

检测模块，用于对所述当前帧图像进行预处理，并将预处理后的所述当前帧图像输入至预设的目标检测器中进行检测，若检测出所述当前帧图像中包含静态物体，则输出所述静态物体的置信度、类别以及第一坐标框；

第一判断模块，用于判断所述静态物体的置信度是否大于预设目标检测置信度阈值；

若小于所述预设目标检测置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设目标检测置信度阈值，则根据所述静态物体的所述第一坐标框对所述当前帧图像进行扣取形成第一检测区域，并对所述第一检测区域进行HSV颜色滤波处理，得出所述第一检测区域的二值图像；

第一计算模块，用于计算所述第一检测区域的所述二值图像的总面积S和边界像 素点数量SA，并根据所述总面积S和所述边界像素点数量SA计算出面积比L，其中，所述面积 比的计算公式为

；

第二判断模块，用于判断所述面积比L是否大于预设HSV颜色置信度阈值；

若小于所述预设HSV颜色置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设HSV颜色置信度阈值，则对所述当前帧图像进行分割处理形成第一像素块集合，且从所述第一像素块集合中筛选出与所述第一坐标框的重叠面积大于预设值的像素块作为第一目标区域；

帧差法模块，用于对所述前一帧图像进行处理，得到第二坐标框、第二检测区域和第二目标区域，并通过帧差法对所述第一目标区域和所述第二目标区域进行运算处理，得出目标的静态阈值；

第三判断模块，用于判断所述目标的静态阈值是否大于预设静态阈值；

若小于所述预设静态阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设静态阈值，则将所述第一检测区域和所述第二检测区域输入至RGB颜色过滤模型中，用以判断所述第一检测区域和所述第二检测区域是否符合预先设定的RGB颜色过滤条件；若所述第一检测区域和所述第二检测区域均符合所述RGB颜色过滤条件，则输出所述第一检测区域的坐标框；

第二计算模块，用于计算所述第一检测区域的所述坐标框与预先设定的比对坐标框的重叠面积；

若所述重叠面积大于预设重叠度阈值，则返回所述步骤2继续执行视频流解码并抽帧处；

若所述重叠面积小于或等于预设重叠度阈值，则判断所述静态物体发生移动。

第三方面，本发明实施例还提供一种电子设备，所述电子设备包括：处理器和与所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的静态物体区域内检测程序，所述处理器执行所述静态物体区域内检测程序时实现如本发明实施例提供的上述静态物体区域内检测方法的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有静态物体区域内检测程序，所述静态物体区域内检测程序可被处理器执行，以实现本发明实施例提供的上述静态物体区域内检测方法的步骤。

相较现有技术，本发明所提出的静态物体区域内检测方法、装置、电子设备及存储介质中，通过使用目标检测器结合颜色过滤、图像区域分割、帧差法、检测区域判断静态物体是否移动等串联环节实现对区域内静态物体的检测，一方面，克服了单独使用卷积神经网络实现的目标检测器的误检问题；另外一方面，在面对复杂的街道、社区、商铺等真实场景时可以提高对静态物体的检测精度，较大的减少对不相关物体的误检率，适用范围广，同时，整体检测流程耗时短，具有较高的部署应用价值。

附图说明

图1为本发明实施例提供的静态物体区域内检测方法的流程示意图；

图2为本发明实施例提供的静态物体区域内检测装置的模块示意图；

图3为本发明实施例提供的电子设备一可选的硬件架构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本申请实施例提供的静态物体区域内检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述静态物体区域内检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。

参阅图1所示，是本发明实施例提供的静态物体区域内检测方法的流程示意图，该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，一种静态物体区域内检测方法包括以下步骤：

步骤1，采集视频监控区的视频流。

步骤2，对所述视频流进行解码并抽帧处理，得到视帧图像；其中，所述视帧图像包括当前帧图像和前一帧图像。

具体的，所述步骤2中对所述视频流进行解码并抽帧处理，得到视帧图像，其中，所 述视频流解码遵循指定的通用解码方式，解析出的图像分辨率为

。需要说明 的是，在本实施例中，对所述视频流进行解码并抽帧处理的过程中，每间隔25帧解析出的那 一帧图像才会被送到目标检测器中进行静态物体检测，当然，不限于此，跳帧的参数可以根 据实际需要进行适应性调整。

步骤3，对所述当前帧图像进行预处理，并将预处理后的所述当前帧图像输入至预设的目标检测器中进行检测，若检测出所述当前帧图像中包含静态物体，则输出所述静态物体的置信度、类别以及第一坐标框。

进一步的，所述步骤3中对所述当前帧图像进行预处理，具体包括如下步骤：通过双线性插值法对所述当前帧图像进行等比例缩放处理；将等比例缩放处理后的所述当前帧图像的短边的上下方填充灰色像素块，以使所述当前帧图像形成带有填充区域的正方形图像。

需要说明的是，所述目标检测器是通过卷积神经网络模型训练得到的，其中，所述卷积神经网络模型为YOLO模型或SSD模型，当然，不限于此。在本实施例中，所述卷积神经网络模型优选为YOLOV5模型。

步骤4，判断所述静态物体的置信度是否大于预设目标检测置信度阈值；

若小于所述预设目标检测置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设目标检测置信度阈值，则根据所述静态物体的第一坐标框对所述当前帧图像进行扣取形成第一检测区域，并将所述第一检测区域进行HSV颜色滤波处理，得出所述第一检测区域的二值图像。

值得一提的是，所述步骤4中对所述第一检测区域进行HSV颜色滤波处理，具体包 括如下步骤：将所述第一检测区域从RGB颜色空间转换到HSV颜色空间，记为

； 将所述

分别做四次在所述HSV颜色空间上针对不同通道上的像素值过滤运算， 得到图像

，图像

，图像

，图像

，对所述图像

和所述图像

做“或”运算，得到图像

；对所述图像

和所述图像

做“或”运算，得到图像

；对所述图像

和所述图像

做“或”运算，得到述第一检测区域的二值图像。

在本实施例中，所述预设目标检测置信度阈值为0.5。

步骤5，计算所述第一检测区域的所述二值图像的总面积S和边界像素点数量SA， 并根据所述总面积S和所述边界像素点数量SA计算出面积比L，其中，所述面积比的计算公 式为

。

步骤6，判断所述面积比L是否大于预设HSV颜色置信度阈值；

若小于所述预设HSV颜色置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设HSV颜色置信度阈值，则对所述当前帧图像进行分割处理形成第一像素块集合，且从所述第一像素块集合中筛选出与所述第一坐标框的重叠面积大于预设值的像素块作为第一目标区域。

更进一步的，所述步骤6中对所述当前帧图像进行分割处理形成第一像素块集合，具体包括如下步骤：将所述当前帧图像进行等比例缩放处理；将等比例缩放处理后的所述当前帧图像进行分割形成若干个预设大小的第一像素块，并将若干个所述第一像素块储存至预设集合中，形成所述第一像素块集合。

上述步骤6的执行流程上，需要先将所述当前帧图像进行等比例缩放处理；将等比 例缩放；再从所述当前帧图像的左上角坐标的位置处开始对所述当前帧图像进行分割，形 成若干个

大小的第一像素块，将若干个所述第一像素块储存至预设集合中，形成所 述第一像素块集合；且从所述第一像素块集合中筛选出与所述第一坐标框的重叠面积大于 预设值的像素块作为第一目标区域，记为

。

在本实施例中，所述预设HSV颜色置信度阈值为0.02。

步骤7，采用上述步骤3至步骤6的方法对所述前一帧图像进行处理，得到第二坐标框、第二检测区域和所述第二目标区域，并通过帧差法对所述第一目标区域和所述第二目标区域进行运算处理，得出目标的静态阈值。

在本实施例中，上述步骤7的执行流程上，需要先按上述步骤3-6相同方法处理得 到前一帧图像的n个block区域，然后在当前帧图像和前一帧图像上对应的blcok区域上进 行如下运算：先进行RGB图像上的每个通道上对应的而减法运算得到

，然后对

转换为灰度图得到

，然后对

做二值化运算，二值化区间设为

得到

，然后对于得到的

计算边界像素点个数，如果边界像素点 个数大于0，则该block区域返回计算结果1，如果边界像素点个数小于0，则该block区域返 回计算结果0。对于n个block区域的返回结果求和，记为

，所述目标的静态阈 值

。

步骤8，判断所述目标的静态阈值是否大于预设静态阈值；

若小于所述预设静态阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设静态阈值，则将所述第一检测区域和所述第二检测区域输入至RGB颜色过滤模型中，用以判断所述第一检测区域和所述第二检测区域是否符合预先设定的RGB颜色过滤条件，若所述第一检测区域和所述第二检测区域均符合所述RGB颜色过滤条件，则输出所述第一检测区域的坐标框。

在本实施例中，所述预设静态阈值为0.019。

步骤9，计算所述第一检测区域的坐标框与预先设定的比对坐标框的重叠面积；

若所述重叠面积大于预设重叠度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若所述重叠面积小于或等于预设重叠度阈值，则判断所述静态物体发生移动。

在本实施例中，所述预设重叠度阈值为0.4。

更优的，所述静态物体区域内检测方法还包括：步骤10，若判断出所述静态物体发生移动，则发出警报。

本发明所提出的静态物体区域内检测方法中，通过使用目标检测器结合颜色过滤、图像区域分割、帧差法、检测区域判断静态物体是否移动等串联环节实现对区域内静态物体的检测，一方面，克服了单独使用卷积神经网络实现的目标检测器的误检问题；另外一方面，在面对复杂的街道、社区、商铺等真实场景时可以提高对静态物体的检测精度，较大的减少对不相关物体的误检率，适用范围广，同时，整体检测流程耗时短，具有较高的部署应用价值。

参阅图2所示，是本发明实施例提供的静态物体区域内检测装置的模块示意图。

本实施例中，所述静态物体区域内检测装置200包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本发明静态物体区域内检测操作。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，静态物体区域内检测装置200可以被划分为一个或多个模块。例如，在图2中，所述静态物体区域内检测装置200可以被分割成采集模块201、解码模块202、检测模块203、第一判断模块204、第一计算模块205、第二判断模块206、帧差法模块207、第三判断模块208以及第二计算模块209。其中：

采集模块201，用于采集视频监控区的视频流。

解码模块202，用于对所述视频流进行解码并抽帧处理，得到视帧图像；其中，所述视帧图像包括当前帧图像和前一帧图像。

具体的，所述视频流解码遵循指定的通用解码方式，解析出的图像分辨率为1920*1080。需要说明的是，在本实施例中，对所述视频流进行解码并抽帧处理的过程中，每间隔25帧解析出的那一帧图像才会被送到目标检测器中进行静态物体检测，当然，不限于此，跳帧的参数可以根据实际需要进行适应性调整。

检测模块203，用于对所述当前帧图像进行预处理，并将预处理后的所述当前帧图像输入至预设的目标检测器中进行检测，若检测出所述当前帧图像中包含静态物体，则输出所述静态物体的置信度、类别以及第一坐标框。

进一步的，对所述当前帧图像进行预处理，具体包括如下步骤：通过双线性插值法对所述当前帧图像进行等比例缩放处理；将等比例缩放处理后的所述当前帧图像的短边的上下方填充灰色像素块，以使所述当前帧图像形成带有填充区域的正方形图像。

需要说明的是，所述目标检测器是通过卷积神经网络模型训练得到的，其中，所述卷积神经网络模型为YOLO模型或SSD模型，当然，不限于此。在本实施例中，所述卷积神经网络模型优选为YOLOV5模型。

第一判断模块204，用于判断所述静态物体的置信度是否大于预设目标检测置信度阈值；

若小于所述预设目标检测置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设目标检测置信度阈值，则根据所述静态物体的所述第一坐标框对所述当前帧图像进行扣取形成第一检测区域，并对所述第一检测区域进行HSV颜色滤波处理，得出所述第一检测区域的二值图像。

值得一提的是，对所述第一检测区域进行HSV颜色滤波处理，具体包括如下步骤： 将所述第一检测区域从RGB颜色空间转换到HSV颜色空间，记为

；将所述

分别做四次在所述HSV颜色空间上针对不同通道上的像素值过滤运算，得到 图像

，图像

，图像

，图像

，对所述图像

和所述图像

做“或”运算，得到图像

；对所述图像

和所述 图像

做“或”运算，得到图像

；对所述图像

和所述图像

做“或”运算，得到述第一检测区域的二值图像。

在本实施例中，所述预设目标检测置信度阈值为0.5。

第一计算模块205，用于计算所述第一检测区域的所述二值图像的总面积S和边界 像素点数量SA，并根据所述总面积S和所述边界像素点数量SA计算出面积比L，其中，所述面 积比的计算公式为

；

第二判断模块206，用于判断所述面积比L是否大于预设HSV颜色置信度阈值；

若小于所述预设HSV颜色置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设HSV颜色置信度阈值，则对所述当前帧图像进行分割处理形成第一像素块集合，且从所述第一像素块集合中筛选出与所述第一坐标框的重叠面积大于预设值的像素块作为第一目标区域。

更进一步的，所述当前帧图像进行分割处理形成第一像素块集合，具体包括如下步骤：将所述当前帧图像进行等比例缩放处理；将等比例缩放处理后的所述当前帧图像进行分割形成若干个预设大小的第一像素块，并将若干个所述第一像素块储存至预设集合中，形成所述第一像素块集合。

上述第二判断模块206的执行流程上，需要先将所述当前帧图像进行等比例缩放 处理；将等比例缩放；再从所述当前帧图像的左上角坐标的位置处开始对所述当前帧图像 进行分割，形成若干个

大小的第一像素块，将若干个所述第一像素块储存至预设集 合中，形成所述第一像素块集合；且从所述第一像素块集合中筛选出与所述第一坐标框的 重叠面积大于预设值的像素块作为第一目标区域，记为

。

在本实施例中，所述预设HSV颜色置信度阈值为0.02。

帧差法模块207，用于对所述前一帧图像进行处理，得到第二坐标框、第二检测区域和第二目标区域，并通过帧差法对所述第一目标区域和所述第二目标区域进行运算处理，得出目标的静态阈；

在本实施例中，上述帧差法模块207的执行流程上，需要先按上述步骤3-6相同方 法处理得到前一帧图像的n个block区域，然后在当前帧图像和前一帧图像上对应的blcok 区域上进行如下运算：先进行RGB图像上的每个通道上对应的而减法运算得到

，然 后对

转换为灰度图得到

，然后对

做二值化运算，二值化区间设为

得到

，然后对于得到的

计算边界像素点个数，如果边界像素点 个数大于0，则该block区域返回计算结果1，如果边界像素点个数小于0，则该block区域返 回计算结果0。对于n个block区域的返回结果求和，记为

，所述目标的静态阈 值

。

第三判断模块208，用于判断所述目标的静态阈值是否大于预设静态阈值；

若小于所述预设静态阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设静态阈值，则将所述第一检测区域和所述第二检测区域输入至RGB颜色过滤模型中，用以判断所述第一检测区域和所述第二检测区域是否符合预先设定的RGB颜色过滤条件；若所述第一检测区域和所述第二检测区域均符合所述RGB颜色过滤条件，则输出所述第一检测区域的坐标框。

在本实施例中，所述预设静态阈值为0.019。

第二计算模块209，用于计算所述第一检测区域的所述坐标框与预先设定的比对坐标框的重叠面积；

若所述重叠面积大于预设重叠度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若所述重叠面积小于或等于预设重叠度阈值，则判断所述静态物体发生移动。

在本实施例中，所述预设重叠度阈值为0.4。

更优的，若判断出所述静态物体发生移动，则发出警报。

本发明所提出的静态物体区域内检测装置中，通过使用目标检测器结合颜色过滤、图像区域分割、帧差法、检测区域判断静态物体是否移动等串联环节实现对区域内静态物体的检测，一方面，克服了单独使用卷积神经网络实现的目标检测器的误检问题；另外一方面，在面对复杂的街道、社区、商铺等真实场景时可以提高对静态物体的检测精度，较大的减少对不相关物体的误检率，适用范围广，同时，整体检测流程耗时短，具有较高的部署应用价值。

参阅图3所示，是本发明实施例提供的实现静态物体区域内检测方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11和总线12，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如静态物体区域内检测程序13。

其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如静态物体区域内检测程序13的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如执行静态物体区域内检测程序等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。

所述总线12可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的静态物体区域内检测程序13是多个指令的组合，在所述处理器10中运行时，可以实现如上述静态物体区域内检测方法的步骤。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性的，也可以是易失性的。所述计算机可读存储介质存储有静态物体区域内检测程序，所述静态物体区域内检测程序可被处理器执行，以使所述处理器执行上述静态物体区域内检测方法实施例中的步骤。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图表记视为限制所涉及的权利要求。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种静态物体区域内检测方法，应用于电子设备，其特征在于，所述方法包括：

步骤1，采集视频监控区的视频流；

步骤2，对所述视频流进行解码并抽帧处理，得到视帧图像；其中，所述视帧图像包括当前帧图像和前一帧图像；

步骤3，对所述当前帧图像进行预处理，并将预处理后的所述当前帧图像输入至预设的目标检测器中进行检测，若检测出所述当前帧图像中包含静态物体，则输出所述静态物体的置信度、类别以及第一坐标框；

步骤4，判断所述静态物体的置信度是否大于预设目标检测置信度阈值：

若小于所述预设目标检测置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设目标检测置信度阈值，则根据所述静态物体的所述第一坐标框对所述当前帧图像进行扣取形成第一检测区域，并对所述第一检测区域进行HSV颜色滤波处理，得出所述第一检测区域的二值图像；

步骤5，计算所述第一检测区域的所述二值图像的总面积S和边界像素点数量SA，并根 据所述总面积S和所述边界像素点数量SA计算出面积比L，其中，所述面积比的计算公式为

；

步骤6，判断所述面积比L是否大于预设HSV颜色置信度阈值：

若小于所述预设HSV颜色置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设HSV颜色置信度阈值，则对所述当前帧图像进行分割处理形成第一像素块集合，且从所述第一像素块集合中筛选出与所述第一坐标框的重叠面积大于预设值的像素块作为第一目标区域；

步骤7，采用上述步骤3至步骤6的方法对所述前一帧图像进行处理，得到第二坐标框、第二检测区域和第二目标区域，并通过帧差法对所述第一目标区域和所述第二目标区域进行运算处理，得出目标的静态阈值；

步骤8，判断所述目标的静态阈值是否大于预设静态阈值：

若小于所述预设静态阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设静态阈值，则将所述第一检测区域和所述第二检测区域输入至RGB颜色过滤模型中，用以判断所述第一检测区域和所述第二检测区域是否符合预先设定的RGB颜色过滤条件：若所述第一检测区域和所述第二检测区域均符合所述RGB颜色过滤条件，则输出所述第一检测区域的坐标框；

步骤9，计算所述第一检测区域的所述坐标框与预先设定的比对坐标框的重叠面积：

若所述重叠面积大于预设重叠度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若所述重叠面积小于或等于预设重叠度阈值，则判断所述静态物体发生移动。

2.如权利要求1所述的静态物体区域内检测方法，其特征在于，所述步骤3中对所述当前帧图像进行预处理，具体包括如下步骤：

通过双线性插值法对所述当前帧图像进行等比例缩放处理；

将等比例缩放处理后的所述当前帧图像的短边的上下方填充灰色像素块，以使所述当前帧图像形成带有填充区域的正方形图像。

3.如权利要求1所述的静态物体区域内检测方法，其特征在于，所述步骤4中对所述第一检测区域进行HSV颜色滤波处理，具体包括如下步骤：

将所述第一检测区域从RGB颜色空间转换到HSV颜色空间，记为

；

将所述

分别做四次在所述HSV颜色空间上针对不同通道上的像素值过滤 运算，得到图像

，图像

，图像

，图像

，

对所述图像

和所述图像

做“或”运算，得到图像

；

对所述图像

和所述图像

做“或”运算，得到图像

；

对所述图像

和所述图像

做“或”运算，得到所述第一检测区域的 二值图像。

4.如权利要求1所述的静态物体区域内检测方法，其特征在于，所述步骤6中对所述当前帧图像进行分割处理形成第一像素块集合，具体包括如下步骤：

将所述当前帧图像进行等比例缩放处理；

将等比例缩放处理后的所述当前帧图像进行分割形成若干个预设大小的第一像素块，并将若干个所述第一像素块储存至预设集合中，形成所述第一像素块集合。

5.如权利要求1所述的静态物体区域内检测方法，其特征在于，所述目标检测器是通过卷积神经网络模型训练得到的，其中，所述卷积神经网络模型为YOLO模型或SSD模型。

6.如权利要求1所述的静态物体区域内检测方法，其特征在于，所述预设目标检测置信度阈值为0.5；所述预设HSV颜色置信度阈值为0.02；所述预设静态阈值为0.019；所述预设重叠度阈值为0.4。

7.如权利要求1所述的静态物体区域内检测方法，其特征在于，所述静态物体区域内检测方法还包括：步骤10，若判断出所述静态物体发生移动，则发出警报。

8.一种静态物体区域内检测装置，其特征在于，该装置包括：

采集模块，用于采集视频监控区的视频流；

解码模块，用于对所述视频流进行解码并抽帧处理，得到视帧图像；其中，所述视帧图像包括当前帧图像和前一帧图像；

检测模块，用于对所述当前帧图像进行预处理，并将预处理后的所述当前帧图像输入至预设的目标检测器中进行检测，若检测出所述当前帧图像中包含静态物体，则输出所述静态物体的置信度、类别以及第一坐标框；

第一判断模块，用于判断所述静态物体的置信度是否大于预设目标检测置信度阈值；

若小于所述预设目标检测置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设目标检测置信度阈值，则根据所述静态物体的所述第一坐标框对所述当前帧图像进行扣取形成第一检测区域，并对所述第一检测区域进行HSV颜色滤波处理，得出所述第一检测区域的二值图像；

第一计算模块，用于计算所述第一检测区域的所述二值图像的总面积S和边界像素点 数量SA，并根据所述总面积S和所述边界像素点数量SA计算出面积比L，其中，所述面积比的 计算公式为

；

第二判断模块，用于判断所述面积比L是否大于预设HSV颜色置信度阈值；

若小于所述预设HSV颜色置信度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设HSV颜色置信度阈值，则对所述当前帧图像进行分割处理形成第一像素块集合，且从所述第一像素块集合中筛选出与所述第一坐标框的重叠面积大于预设值的像素块作为第一目标区域；

帧差法模块，用于对所述前一帧图像进行处理，得到第二坐标框、第二检测区域和第二目标区域，并通过帧差法对所述第一目标区域和所述第二目标区域进行运算处理，得出目标的静态阈值；

第三判断模块，用于判断所述目标的静态阈值是否大于预设静态阈值；

若小于所述预设静态阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若大于或等于所述预设静态阈值，则将所述第一检测区域和所述第二检测区域输入至RGB颜色过滤模型中，用以判断所述第一检测区域和所述第二检测区域是否符合预先设定的RGB颜色过滤条件；若所述第一检测区域和所述第二检测区域均符合所述RGB颜色过滤条件，则输出所述第一检测区域的坐标框；

第二计算模块，用于计算所述第一检测区域的所述坐标框与预先设定的比对坐标框的重叠面积；

若所述重叠面积大于预设重叠度阈值，则返回所述步骤2继续执行视频流解码并抽帧处理；

若所述重叠面积小于或等于预设重叠度阈值，则判断所述静态物体发生移动。

9.一种电子设备，其特征在于，所述电子设备包括：处理器和与所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的静态物体区域内检测程序，所述处理器执行所述静态物体区域内检测程序时实现如权利要求1至7中任意一项所述的静态物体区域内检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有静态物体区域内检测程序，所述静态物体区域内检测程序可被处理器执行，以实现如权利要求1至7中任意一项所述的静态物体区域内检测方法的步骤。

Images