CN112396021A - 高空危险物检测方法、装置及存储介质 - Google Patents

Abstract

本发明公开了高空危险物检测方法、装置及存储介质，其中高空危险物检测方法包括：获取目标检测区域的第一图像；根据第一图像利用高空危险物检测网络识别出高空危险物，并得到高空危险物在目标检测区域的位置信息；此能节约人力资源和时间，并快速确定高空危险物的位置信息，避免高空危险物坠落。

Description

高空危险物检测方法、装置及存储介质

技术领域

本发明涉及图像识别领域，特别是高空危险物检测方法、装置及存储介质。

背景技术

高空坠物容易造成人员伤亡，但通过人力排查楼层高空坠物容易浪费大量的时间和人力资源。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供高空危险物检测方法、装置及存储介质。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，高空危险物检测方法，包括以下步骤：

获取目标检测区域的第一图像，其中所述目标检测区域为危险高度以上的区域；

根据所述第一图像利用高空危险物检测网络识别出高空危险；

获取所述目标检测区域的坐标和所述高空危险物在所述目标检测区域的位置信息。

根据本发明的第一方面，所述获取目标检测区域的第一图像的步骤是通过无人机执行的。

根据本发明的第一方面，根据所述第一图像利用高空危险物检测网络识别出高空危险物具体包括以下步骤：

逐步提取所述第一图像的图像特征；

根据所述图像特征预测所述高空危险物在所述第一图像的位置信息和所述高空危险物的类别信息，进而识别出所述高空危险物。

根据本发明的第一方面，根据所述图像特征预测所述高空危险物在所述第一图像的位置信息和所述高空危险物的类别信息，进而识别出所述高空危险物具体包括以下步骤：

将所述第一图像均分为n*n个网格单元；

使每个所述网格单元根据所述图像特征判断待检测物的中心是否在其区域内，若是则预测所述第一图像中的所述待检测物；

使每个所述网格单元输出边界框信息和用于表示所述待检测物是否为所述高空危险物的类别信息，其中所述边界框信息包括边界框的中心位置坐标、边界框的宽度和高度以及置信度，所述置信度用于表示边界框是否包含所述待检测物和所述待检测物的位置的准确性；

获取所述置信度最高的所述边界框作为目标框，其中所述目标框中的所述待检测物为所述高空危险物。

本发明的第二方面，高空危险物检测装置，包括：

图像获取单元，用于获取目标检测区域的第一图像，其中所述目标检测区域为危险高度以上的区域；

检测单元，用于根据所述第一图像利用高空危险物检测网络识别出高空危险物；

信息获取单元，用于获取所述目标检测区域的坐标和所述高空危险物在所述目标检测区域的位置信息。

根据本发明的第二方面，所述图像获取单元为安装在无人机上的拍摄设备。

根据本发明的第二方面，所述高空危险物检测网络包括：

多个卷积模块，用于逐步提取所述第一图像的图像特征；

多个全连接模块，用于根据所述图像特征预测所述高空危险物在所述第一图像的位置信息和所述高空危险物的类别信息，进而识别出所述高空危险物。

根据本发明的第二方面，所述多个卷积模块至少包括第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；

所述第一卷积模块包括依次连接的1x1卷积层、3x3卷积层、1x1卷积层、特殊卷积层、1x1卷积层、3x3卷积层和1x1卷积层；

所述第二卷积模块、所述第三卷积模块和所述第四卷积模块均包括依次连接的1x1卷积层、特殊卷积层和1x1卷积层。

根据本发明的第二方面，所述特殊卷积层是由多个组合层按通道数进行拼接而成；所述组合层包括依次连接的可变形卷积层、批归一化层和激活函数层；

所述可变形卷积层用于执行以下可变形卷积操作：

通过规则网格对输入图像采样，其中所述规则网络利用偏移量进行扩张，所述规则网络表示为：R＝{(-1,-1),(-1,0),…,(0,1),(1,1)}+△p_n，其中R为规则网络，△p_n为偏移量；

通过卷积核对采样点进行加权运算，所述加权运算表示为：

本发明的第三方面，存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如本发明第一方面所述的高空危险物检测方法。

上述方案至少具有以下有益效果：通过装载有拍摄设备的无人机或机器人获取目标检测区域的第一图像；根据所述第一图像利用高空危险物检测网络快速稳定地识别出高空危险物，节约人力资源和时间；确定高空危险物后即可得到高空危险物在目标检测区域的位置信息，并将目标检测区域的坐标和高空危险物在目标检测区域的位置信息发送处理人员，让处理人员对高空危险物进行处理，避免高空危险物坠落。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例高空危险物检测方法的步骤图；

图2是本发明实施例高空危险物检测装置的结构图；

图3是高空危险物检测网络的结构图；

图4是图3中的第一卷积模块的结构图；

图5是图3中的第二卷积模块的结构图；

图6是图5中的特殊卷积层的结构图；

图7是图6中的组合层的结构图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图1，本发明的一个实施例，提供了高空危险物检测方法，包括以下步骤：

步骤S100、获取目标检测区域的第一图像，其中目标检测区域为危险高度以上的区域；

步骤S200、根据第一图像利用高空危险物检测网络100识别出高空危险；

步骤S300、获取目标检测区域的坐标和高空危险物在目标检测区域的位置信息。

在该实施例中，通过装载有拍摄设备的无人机或机器人获取目标检测区域的第一图像；根据第一图像利用高空危险物检测网络100快速稳定地识别出高空危险物，节约人力资源和时间；确定高空危险物后即可得到高空危险物在目标检测区域的位置信息，并将目标检测区域的坐标和高空危险物在目标检测区域的位置信息发送处理人员，让处理人员对高空危险物进行处理，避免高空危险物坠落。

需要说明的是，目标检测区域为危险高度以上的区域，即三米以上或两层楼层高度以上的区域。

本发明的某些实施例，步骤S100是通过无人机执行的。通过无人机能方便快捷地拍摄到高处区域的第一图像。无人机将第一图像通过网络发送到大型处理器。大型处理器具有高空危险物检测网络100，进行识别高空危险物步骤。

本发明的某些实施例，步骤S200具体包括以下步骤：

通过多个卷积模块逐步提取第一图像的图像特征；

通过多个全连接模块105根据图像特征预测高空危险物在第一图像的位置信息和高空危险物的类别信息，进而识别出高空危险物。

参照图3，具体地，多个卷积模块包括第一卷积模块101、第二卷积模块102、第三卷积模块103和第四卷积模块104；当然在第四卷积模块104后还可紧接多个卷积层以提取更多更准确的图像特征。上一卷积模块的输出累加到下一卷积模块中，实现浅层特征向深层的传递，提高对高空危险物的定位精度。

参照图4，第一卷积模块101包括依次连接的1x1卷积层、3x3卷积层、1x1卷积层、特殊卷积层120、1x1卷积层、3x3卷积层和1x1卷积层。参照图5，第二卷积模块102、第三卷积模块103和第四卷积模块104均包括依次连接的1x1卷积层、特殊卷积层120和1x1卷积层。第一卷积模块101、第二卷积模块102、第三卷积模块103和第四卷积模块104的通道数不同，以实现对不同尺寸大小的目标自适应提取特征。

参照图6，本发明的某些实施例，特殊卷积层120是由多个组合层130按通道数进行拼接而成，具体为三个组合层130。单个组合层130对采样点计算偏移，容易导致采样不稳定；多个组合层130能提高稳定性，并保留多层次的语义信息。

参照图7，组合层130包括依次连接的可变形卷积层131、批归一化层132和激活函数层133；

可变形卷积层131执行的可变形卷积操作包括以下步骤：

通过规则网格对输入图像采样，其中规则网络利用偏移量进行扩张，规则网络表示为：R＝{(-1,-1),(-1,0),…,(0,1),(1,1)}+△p_n，其中R为规则网络，为一个大小为3x3的扩张率为1的卷积核，R定义了感受野的大小和扩张；△p_n为偏移量，△p_n|n＝1,...,N,N＝|R|；

通过卷积核对采样点进行加权运算，加权运算表示为：

其中p₀表示输出的特征图上的每个位置，y(p₀)表示与每个位置p₀对应的输出值，p_n是对R中所列位置的枚举，Δn_n是对采样点预测的权重,x()是每个位置上的横坐标。

另外，由于偏移量Δp_n通常取小数值，通过双线性插值法计算x()的值，

G(q,p)为在坐标(q,p)上的插值。

使用规则网格对输入特征图计算偏移量,偏移量和输出特征图有相同的分辨率,输出通道数为3N，N为采样点个数。其中2N分别为预测的x方向偏移量和y方向偏移量；另1N为N个采样点的权重，因为不同采样点对特征有不同的贡献。

本发明的某些实施例，通过多个全连接模块105根据图像特征预测高空危险物在第一图像的位置信息和高空危险物的类别信息，进而识别出高空危险物具体包括以下步骤：

将第一图像均分为n*n个网格单元；

使每个网格单元根据图像特征判断待检测物的中心是否在其区域内，存在待检测物的中心的网格单元预测第一图像中的待检测物；

使每个网格单元输出边界框信息和用于表示待检测物是否为高空危险物的类别信息，其中边界框信息包括边界框的中心位置坐标、边界框的宽度和高度以及置信度，置信度用于表示边界框是否包含待检测物和待检测物的位置的准确性，置信度等于P(待检测物)与IOU的乘积，P(待检测物)＝1表示边界框包含待检测物，P(待检测物)＝0表示边界框不包含待检测物，IOU表示边界框与待检测物真实区域的交集面积，IOU归一化至[0,1]；

采用非极大值抑制法去除冗余的边界框，获取置信度最高的边界框作为目标框，其中目标框中的待检测物为高空危险物。

需要说明的是，在该实施例的高空危险物检测网络100中，全连接模块105具有两个，全连接模块105由全连接层组成。

参照图2，本发明的另一个实施例，高空危险物检测装置，包括：

图像获取单元10，用于获取目标检测区域的第一图像，其中目标检测区域为危险高度以上的区域；

检测单元20，用于根据第一图像利用高空危险物检测网络100识别出高空危险物；

信息获取单元30，用于获取目标检测区域的坐标和高空危险物在目标检测区域的位置信息。

在该实施例中，通过图像获取单元10获取目标检测区域的第一图像；通过检测单元20根据第一图像利用高空危险物检测网络100快速稳定地识别出高空危险物，节约人力资源和时间；确定高空危险物后即可得到高空危险物在目标检测区域的位置信息，并将目标检测区域的坐标和高空危险物在目标检测区域的位置信息发送处理人员，让处理人员对高空危险物进行处理，避免高空危险物坠落。

本发明的某些实施例，图像获取单元10为安装在无人机上的拍摄设备。通过无人机能方便快捷地拍摄到高处区域的第一图像。

参照图3，本发明的某些实施例，高空危险物检测网络100包括：

多个卷积模块，用于逐步提取第一图像的图像特征；

多个全连接模块105，用于根据图像特征预测高空危险物在第一图像的位置信息和高空危险物的类别信息，进而识别出高空危险物。

参照图3，本发明的某些实施例，多个卷积模块至少包括第一卷积模块101、第二卷积模块102、第三卷积模块103和第四卷积模块104；

参照图4，第一卷积模块101包括依次连接的1x1卷积层、3x3卷积层、1x1卷积层、特殊卷积层120、1x1卷积层、3x3卷积层和1x1卷积层；

参照图5，第二卷积模块102、第三卷积模块103和第四卷积模块104均包括依次连接的1x1卷积层、特殊卷积层120和1x1卷积层。

参照图6和图7，本发明的某些实施例，特殊卷积层120是由多个组合层130按通道数进行拼接而成；组合层130包括依次连接的可变形卷积层131、批归一化层132和激活函数层133；

可变形卷积层131执行以下可变形卷积操作：

通过规则网格对输入图像采样，其中规则网络利用偏移量进行扩张，规则网络表示为：R＝{(-1,-1),(-1,0),…,(0,1),(1,1)}+△p_n，其中R为规则网络，为一个大小为3x3的扩张率为1的卷积核，R定义了感受野的大小和扩张；△p_n为偏移量，△p_n|n＝1,...,N,N＝|R|；

通过卷积核对采样点进行加权运算，加权运算表示为：

其中p₀表示输出的特征图上的每个位置，y(p₀)表示与每个位置p₀对应的输出值，p_N是对R中所列位置的枚举，Δm_n是对采样点预测的权重,x()是每个位置上的横坐标。

另外，由于偏移量Δp_n通常取小数值，通过双线性插值法计算x()的值，

G(q,p)为在坐标(q,p)上的插值。

本发明的某些实施例，多个全连接模块105执行以下步骤以输出高空危险物：

将第一图像均分为n*n个网格单元；

使每个网格单元根据图像特征判断待检测物的中心是否在其区域内，存在待检测物的中心的网格单元预测第一图像中的待检测物；

使每个网格单元输出边界框信息和用于表示待检测物是否为高空危险物的类别信息，其中边界框信息包括边界框的中心位置坐标、边界框的宽度和高度以及置信度，置信度用于表示边界框是否包含待检测物和待检测物的位置的准确性，置信度等于P(待检测物)与IOU的乘积，P(待检测物)＝1表示边界框包含待检测物，P(待检测物)＝0表示边界框不包含待检测物，I OU表示边界框与待检测物真实区域的交集面积，I OU归一化至[0,1]；

采用非极大值抑制法去除冗余的边界框，获取置信度最高的边界框作为目标框，其中目标框中的待检测物为高空危险物。

本发明的另一个实施例，提供了存储介质，所述存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如方法实施例所述的高空危险物检测方法。

存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.高空危险物检测方法，其特征在于，包括以下步骤：

获取目标检测区域的第一图像，其中所述目标检测区域为危险高度以上的区域；

根据所述第一图像利用高空危险物检测网络识别出高空危险物；

获取所述目标检测区域的坐标和所述高空危险物在所述目标检测区域的位置信息。

2.根据权利要求1所述的高空危险物检测方法，其特征在于，所述获取目标检测区域的第一图像的步骤是通过无人机执行的。

3.根据权利要求1所述的高空危险物检测方法，其特征在于，根据所述第一图像利用高空危险物检测网络识别出高空危险物具体包括以下步骤：

逐步提取所述第一图像的图像特征；

根据所述图像特征预测所述高空危险物在所述第一图像的位置信息和所述高空危险物的类别信息，进而识别出所述高空危险物。

4.根据权利要求3所述的高空危险物检测方法，其特征在于，根据所述图像特征预测所述高空危险物在所述第一图像的位置信息和所述高空危险物的类别信息，进而识别出所述高空危险物具体包括以下步骤：

将所述第一图像均分为n*n个网格单元；

使每个所述网格单元根据所述图像特征判断待检测物的中心是否在其区域内，若是则预测所述第一图像中的所述待检测物；

使每个所述网格单元输出边界框信息和用于表示所述待检测物是否为所述高空危险物的类别信息，其中所述边界框信息包括边界框的中心位置坐标、边界框的宽度和高度以及置信度，所述置信度用于表示边界框是否包含所述待检测物和所述待检测物的位置的准确性；

获取所述置信度最高的所述边界框作为目标框，其中所述目标框中的所述待检测物为所述高空危险物。

5.高空危险物检测装置，其特征在于，包括：

图像获取单元，用于获取目标检测区域的第一图像，其中所述目标检测区域为危险高度以上的区域；

检测单元，用于根据所述第一图像利用高空危险物检测网络识别出高空危险物；

信息获取单元，用于获取所述目标检测区域的坐标和所述高空危险物在所述目标检测区域的位置信息。

6.根据权利要求5所述的高空危险物检测装置，其特征在于，所述图像获取单元为安装在无人机上的拍摄设备。

7.根据权利要求5所述的高空危险物检测装置，其特征在于，所述高空危险物检测网络包括：

多个卷积模块，用于逐步提取所述第一图像的图像特征；

多个全连接模块，用于根据所述图像特征预测所述高空危险物在所述第一图像的位置信息和所述高空危险物的类别信息，进而识别出所述高空危险物。

8.根据权利要求5所述的高空危险物检测装置，其特征在于，所述多个卷积模块至少包括第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；

所述第一卷积模块包括依次连接的1x1卷积层、3x3卷积层、1x1卷积层、特殊卷积层、1x1卷积层、3x3卷积层和1x1卷积层；

所述第二卷积模块、所述第三卷积模块和所述第四卷积模块均包括依次连接的1x1卷积层、特殊卷积层和1x1卷积层。

9.根据权利要求5所述的高空危险物检测装置，其特征在于，所述特殊卷积层是由多个组合层按通道数进行拼接而成；所述组合层包括依次连接的可变形卷积层、批归一化层和激活函数层；

所述可变形卷积层用于执行以下可变形卷积操作：

通过规则网格对输入图像采样，其中所述规则网络利用偏移量进行扩张，所述规则网络表示为：R＝{(-1，-1)，(-1，0)，...，(0，1)，(1，1)}+Δp_n，其中R为规则网络，Δp_n为偏移量；

通过卷积核对采样点进行加权运算，所述加权运算表示为：

其中p₀表示输出的特征图上的每个位置，y(p₀)表示与每个位置p₀对应的输出值，p_n是对R中所列位置的枚举，Δm_n是对采样点预测的权重，x()是每个位置上的横坐标。

10.存储介质，其特征在于，所述存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如权利要求1至4任一项所述的高空危险物检测方法。

Images