CN112116594A - 一种基于语义分割的风飘异物识别方法和装置 - Google Patents
一种基于语义分割的风飘异物识别方法和装置 Download PDFInfo
- Publication number
- CN112116594A CN112116594A CN202010948866.0A CN202010948866A CN112116594A CN 112116594 A CN112116594 A CN 112116594A CN 202010948866 A CN202010948866 A CN 202010948866A CN 112116594 A CN112116594 A CN 112116594A
- Authority
- CN
- China
- Prior art keywords
- wind
- semantic segmentation
- picture
- neural network
- floating foreign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 103
- 238000007667 floating Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000011176 pooling Methods 0.000 claims abstract description 20
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 240000007594 Oryza sativa Species 0.000 claims description 3
- 235000007164 Oryza sativa Nutrition 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 235000009566 rice Nutrition 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000012766 Cannabis sativa ssp. sativa var. sativa Nutrition 0.000 description 1
- 235000012765 Cannabis sativa ssp. sativa var. spontanea Nutrition 0.000 description 1
- 240000000491 Corchorus aestuans Species 0.000 description 1
- 235000011777 Corchorus aestuans Nutrition 0.000 description 1
- 235000010862 Corchorus capsularis Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000009120 camo Nutrition 0.000 description 1
- 235000005607 chanvre indien Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 239000011487 hemp Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
本发明公开了一种基于语义分割的风飘异物识别方法和装置，通过对收集到的风飘异物图片数据集进行语义分割像素标注，得到标签图片；搭建针对风飘异物的语义分割神经网络，并将风飘异物图片数据集中的图片输入语义分割神经网络，结合标签图片对语义分割神经网络进行训练，语义分割神经网络基于deeplabv3+网络，包括含有空洞卷积的深度卷积网络和空洞金字塔池化；将采集到的图片输入训练好的语义分割神经网络，得到输出结果；以及通过Opencv对输出结果进行轮廓提取，根据提取出的轮廓的个数判断图片中是否存在风飘异物。因此可以准确地识别出某些特定物体上是否存在风飘异物，识别的准确率高，效果好。
Description
技术领域
本发明涉及异物识别领域，具体涉及一种基于语义分割的风飘异物识别方法和装置。
背景技术
变电站是电力系统中重要的一部分，主要负责将电压由高变低或由低变高。考虑到变压器等设备的通风、散热和安全问题，大多数变电站都建在四周空旷的室外，因此常常受到风飘异物(如塑料袋、气球、风筝等)的入侵。这些异物在高温高压的环境下对变电站设备造成了很大的安全运行隐患，容易引发停电事故或火灾。
目前我国室外变电站的异物排查工作，大多仍通过人工定期巡检建档来完成，即变电站工作人员进入设备区，进行设备巡视。这种巡检方式易受作业人员的主观影响，需要工作人员有丰富的工作经验和较高的业务水平，也很难做到数据的实时输入管理信息系统。同时，变电站是个高危场所，在恶劣天气下，设备的巡检对工作人员来说存在较大的安全隐患。
现有技术的分析：
(1)在变电站放置固定摄像头对连续的输入帧进行高斯背景建模，即将固定场景设置为背景图像模型，通过提取前景移动物体来检测异物进入的情况。由于智能巡检机器人大多是移动式，若采用和对每个设备的周边环境进行背景建模的方案，建模难度大、效率较低且容易受光照因素等影响。帧间相差法的原理类似，也有同样的缺点。
(2)基于模板匹配，先进行无异物状态的标准图像采集，建立待检测设备区域的模板图像库，再使用SIFT等配准算法与模板图片进行特征点匹配，从而确立是否有异物出现。缺点是类似SIFT等局部特征描述子是人工设计的，需要提前对图像许多预处理，室外光线变化会对识别结果造成很大影响，算法鲁棒性较差。
(3)基于激光雷达的监控，综合漂浮物的飞行高度等因素，对变电站一定高度区域内的漂浮物进行定位预警，通过发射激光束检测障碍物的位置信息。该方案的缺点是需要在许多地方都放置成本高，易受风速等环境因素影响，面对风飘这类漂浮物常出现漏定位等。
随着基于深度学习的图像识别技术日益成熟，当前许多变电站巡检都采用目标检测等手段进行研究。采用该类方案识别风飘物主要有几大难点，如数据量不足、风飘异物形态各异、异物尺度变化大、背景复杂等。
有鉴于此，建立一种具有创新性的风飘异物识别方法和装置是非常具有意义的。
发明内容
针对上述提到的风飘异物识别技术受环境影响大、成本高、难度大等问题。本申请的实施例的目的在于提出了一种基于语义分割的风飘异物识别方法和装置来解决以上背景技术部分提到的技术问题。
第一方面，本申请的实施例提供了一种基于语义分割的风飘异物识别方法，包括以下步骤：
S1：对收集到的风飘异物图片数据集进行语义分割像素标注，得到标签图片；
S2：搭建针对风飘异物的语义分割神经网络，并将风飘异物图片数据集中的图片输入语义分割神经网络，结合标签图片对语义分割神经网络进行训练，语义分割神经网络基于deeplabv3+网络，包括含有空洞卷积的深度卷积网络和空洞金字塔池化；
S3：将采集到的图片输入训练好的语义分割神经网络，得到输出结果；以及
S4：通过Opencv对输出结果进行轮廓提取，根据提取出的轮廓的个数判断图片中是否存在风飘异物。
在一些实施例中，在步骤S1之前还包括：对风飘异物图片数据集进行数据扩增。数据扩增后可以获得足够多的有效的训练集。
在一些实施例中，在步骤S1之后还包括：将标签图片从RGB模式转化为L灰度模式或调色板颜色模式。RGB模式的图片为三通道，不能直接输入进行训练，L灰度模式或调色板颜色模式的图片对应的标签也是长*宽*类别数，可以用于神经网络训练。
在一些实施例中，步骤S2具体包括：
S21：将图片输入含有空洞卷积的深度卷积网络中进行特征提取，得到高级语义特征图和低级语义特征图；
S22：将高级语义特征图输入空洞金字塔池化中分别与四个空洞卷积层和一个池化层进行卷积和池化得到五个特征图，五个特征图连接后再通过1×1的卷积运算得到第一输出图片，第一输出图片经过第一次上采样得到第二输出图片；
S23：获取与第二输出图片具有相同分辨率的低级语义特征图，将低级语义特征图经过1×1的卷积运算，得到具有与第二输出图片相同的通道比重的第三输出图片；
S24：将第三输出图片与第二输出图片进行合并，再通过3×3的细化卷积进行细化，最后通过第二次上采样得到预测结果；以及
S25：根据预测结果和标签图片求取损失函数进行权重更新，得到最终的语义分割神经网络和权重。
根据以上步骤对语义分割神经网络进行训练，得到最终可用于预测的网络结构和权重。
在一些实施例中，第一次上采样和第二次上采样均采用双线性上采样4倍的方式。采用此方式预测得到的效果比较好。
在一些实施例中，步骤S4具体包括：若通过Opencv提取出的轮廓的个数大于0，则表示图片中存在风飘异物，否则表示图片中不存在风飘异物。通过Opencv对输出结果进行轮廓提取，实现对变电站等物体上是否存在风飘异物的准确判断。
在一些实施例中，风飘异物包括塑料袋、麻袋、米袋、绳子、毛巾或布条。风飘异物采用以上方法可以准确地进行识别。
第二方面，本申请的实施例提出了一种基于语义分割的风飘异物识别装置，包括：
标注模块，被配置为对收集到的风飘异物图片数据集进行语义分割像素标注，得到标签图片；
模型训练模块，被配置为搭建针对风飘异物的语义分割神经网络，并将风飘异物图片数据集中的图片输入语义分割神经网络，结合标签图片对语义分割神经网络进行训练，语义分割神经网络基于deeplabv3+网络，包括含有空洞卷积的深度卷积网络和空洞金字塔池化；
结果输出模块，被配置为将采集到的图片输入训练好的语义分割神经网络，得到输出结果；以及
判断模块，被配置为通过Opencv对输出结果进行轮廓提取，根据提取出的轮廓的个数判断图片中是否存在风飘异物。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请的实施例提供了一种基于语义分割的风飘异物识别方法和装置，通过对收集到的风飘异物图片数据集进行语义分割像素标注，得到标签图片；搭建针对风飘异物的语义分割神经网络，并将风飘异物图片数据集中的图片输入语义分割神经网络，结合标签图片对语义分割神经网络进行训练，语义分割神经网络基于deeplabv3+网络，包括含有空洞卷积的深度卷积网络和空洞金字塔池化；将采集到的图片输入训练好的语义分割神经网络，得到输出结果；以及通过Opencv对输出结果进行轮廓提取，根据提取出的轮廓的个数判断图片中是否存在风飘异物。因此可以准确地识别出某些特定物体上是否存在风飘异物，识别的准确率高，效果好。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本发明的实施例的基于语义分割的风飘异物识别方法的流程示意图；
图3为本发明的实施例的基于语义分割的风飘异物识别方法的步骤S2的流程示意图；
图4为本发明的实施例的基于语义分割的风飘异物识别方法得到的训练集损失曲线图；
图5为本发明的实施例的基于语义分割的风飘异物识别方法得到的测试集损失曲线图；
图6为本发明的实施例的基于语义分割的风飘异物识别方法得到的ACC曲线图；
图7为本发明的实施例的基于语义分割的风飘异物识别方法得到的mIOU曲线图；
图8为本发明的实施例的基于语义分割的风飘异物识别方法得到的fwIOU曲线图；
图9为本发明的实施例的基于语义分割的风飘异物识别装置的示意图；
图10是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的基于语义分割的风飘异物识别方法或基于语义分割的风飘异物识别装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的基于语义分割的风飘异物识别方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于语义分割的风飘异物识别装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例公开的一种基于语义分割的风飘异物识别方法，包括以下步骤：
S1：对收集到的风飘异物图片数据集进行语义分割像素标注，得到标签图片；
S2：搭建针对风飘异物的语义分割神经网络，并将风飘异物图片数据集中的图片输入语义分割神经网络，结合标签图片对语义分割神经网络进行训练，语义分割神经网络基于deeplabv3+网络，包括含有空洞卷积的深度卷积网络和空洞金字塔池化；
S3：将采集到的图片输入训练好的语义分割神经网络，得到输出结果；以及
S4：通过Opencv对输出结果进行轮廓提取，根据提取出的轮廓的个数判断图片中是否存在风飘异物。
在具体的实施例中，在步骤S1之前还包括：对风飘异物图片数据集进行数据扩增。数据扩增包括将风飘异物图片数据集中的图片进行随机裁剪，然后再做一次随机增强。数据扩增后可以获得足够多的有效的训练集。
在步骤S1中可以使用日立标注工具Semantic Segmentation Edit进行数据标注，得到json形式的标注文件，写脚本将这些json文件转化成labelme标注出来的json文件，然后使用labelme-master里的脚本将风飘异物图片数据集中的图片和json文件放在一个文件夹里面得到标签PNG图片，此时的图片是RGB模式的图片，也就是说读取出来都是三通道的无法输入直接训练。
在具体的实施例中，在步骤S1之后还包括：将标签图片从RGB模式转化为L灰度模式或调色板颜色模式。RGB模式的图片为三通道，不能直接输入进行训练，L灰度模式或调色板颜色模式的图片对应的标签也是长*宽*类别数，可以用于神经网络训练。
语义分割神经网络输出是一个长*宽*类别(one-hot)的向量，因此标签也应该是长*宽*类别(one-hot)，此时只有风飘异物一个类别和背景，那么one-hot就是背景为0，风飘异物为1，也就是说标签图片中应该是背景黑色为0，红色为1。
上面得到的RGB模式的图片有黑色(0,0,0)和红色(128,0,0)，此时有两种转换标签的选择。一种是将RGB模式转换成L灰度模式，黑色为0，红色为1。另一种就是将RGB模式转换成P模式，黑色为0，红色为1。需要注意的是，RGB直接使用convert(‘P’)转换成P模式的时候，红色默认转换成13而不是1，这就会导致转换的标签变成了黑色(0)，红色(13)，也就是说神经网络必须预测14种，否则无法进行损失函数的计算。因此，转换过程中需要对像素进行特殊处理。
在具体的实施例中，如图3所示，步骤S2具体包括：
S21：将图片输入含有空洞卷积的深度卷积网络中进行特征提取，得到高级语义特征图和低级语义特征图；
S22：将高级语义特征图输入空洞金字塔池化中分别与四个空洞卷积层和一个池化层进行卷积和池化得到五个特征图，五个特征图连接后再通过1×1的卷积运算得到第一输出图片，第一输出图片经过第一次上采样得到第二输出图片；
S23：获取与第二输出图片具有相同分辨率的低级语义特征图，将低级语义特征图经过1×1的卷积运算，得到具有与第二输出图片相同的通道比重的第三输出图片；
S24：将第三输出图片与第二输出图片进行合并，再通过3×3的细化卷积进行细化，最后通过第二次上采样得到预测结果；以及
S25：根据预测结果和标签图片求取损失函数进行权重更新，得到最终的语义分割神经网络和权重。
其中，空洞金字塔池化(ASPP)包含四个并行操作，一个1×1卷积和三个3×3卷积，都有256个卷积核，所有分支得到的特征图将会拼接在一起通过另外一个1×1卷积。
语义分割的深度学习方法一般都是在分类网络基础上进行精调，分类网络为了能够获取更抽象的特征分层，采用了conv+pool堆叠的方式，导致分辨率降低，丢失了很多信息，这对分割任务来说肯定是不好的，因为分割是对每一个像素进行分类，会造成定位精度不高。但同时更高层的特征对于分类又很重要，如何权衡二者很重要。语义分割的深度学习方法一般采用以下两种方法，其优缺点如下：
(1)encoder-decoder方法：和经典的FCN中的skip-connection思想类似，encoder是分类网络，用于提取特征，而decoder则是将encoder的先前丢失的空间信息逐渐恢复，decoder的典型结构有u-net/segnet/refinet，该类方法虽然有一定的效果，能够恢复部分信息，但是毕竟信息已经丢失，不可能完全恢复。
(2)dialed FCN方法：deeplabv1提出的方法，将vgg的最后两个pool层的步长置为1，这样网络的输出分辨率从1/32变成1/8，可以保留更多的细节信息，同时也丢掉了复杂的decoder结构，但是这种方法的计算量比较大。
因此本申请的实施例中将两者结合提出了一种基于deeplabv3+网络的语义分割神经网络，根据以上步骤对语义分割神经网络进行训练，得到最终可用于预测的网络结构和权重。
在具体的实施例中，第一次上采样和第二次上采样均采用双线性上采样4倍的方式。采用此方式预测得到的效果比较好。
语义分割时直接给出像素级的输出，因此通过Opencv对像素级的输出结果进行轮廓提取，在具体的实施例中，步骤S4具体包括：若通过Opencv提取出的轮廓的个数大于0，则表示图片中存在风飘异物，否则表示图片中不存在风飘异物。通过Opencv对输出结果进行轮廓提取，实现对变电站等物体上是否存在风飘异物的准确判断。
在具体的实施例中，风飘异物包括塑料袋、麻袋、米袋、绳子、毛巾或布条。风飘异物采用以上方法可以准确地进行识别。
在本申请的其中一个实施例中，风飘异物选择塑料袋，并且是属于在变电站上的塑料袋，使用544张图片作为训练集，15张图片作为测试集，训练集损失曲线和测试集损失曲线分别为图4和图5，通过以上步骤进行预测得到以下参数和实验结果：
(1)像素准确率PA：
像素准确率是所有分类正确的像素点个数占像素总数的比例。
(2)平均像素准确率：
平均像素准确率是分别计算每个类别分类正确的像素数占所有预测为该类别像素数的比例，即精确率，然后累加求平均，图6示出了ACC曲线的结果。
(3)平均交并比mIOU：
平均交并比是对每一类预测的结果和真实数值的交集和并集的比值求平均的结果，图7示出了mIOU曲线的结果。
(4)频权交并比fwIoU：
频权交并比是根据每一类出现的频率设置权重，权重乘以每一类的IOU并进行求和，图8示出了fwIOU曲线的结果。
(5)推测时间cost_time：
测试的结果如下：
Acc:0.996726818128275
Acc_class:0.9634261528010386
mIoU:0.9441102162019821
fwIoU:0.9935893505484741
cost_time:0.010656595230102539s
进一步参考图9，作为对上述各图所示方法的实现，本申请提供了一种目标检测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图9所示，本实施例的基于语义分割的风飘异物识别装置900包括：
标注模块1，被配置为对收集到的风飘异物图片数据集进行语义分割像素标注，得到标签图片；
模型训练模块2，被配置为搭建针对风飘异物的语义分割神经网络，并将风飘异物图片数据集中的图片输入语义分割神经网络，结合标签图片对语义分割神经网络进行训练，语义分割神经网络基于deeplabv3+网络，包括含有空洞卷积的深度卷积网络和空洞金字塔池化；
结果输出模块3，被配置为将采集到的图片输入训练好的语义分割神经网络，得到输出结果；以及
判断模块4，被配置为通过Opencv对输出结果进行轮廓提取，根据提取出的轮廓的个数判断图片中是否存在风飘异物。
本申请的实施例提供了一种基于语义分割的风飘异物识别方法和装置，通过对收集到的风飘异物图片数据集进行语义分割像素标注，得到标签图片；搭建针对风飘异物的语义分割神经网络，并将风飘异物图片数据集中的图片输入语义分割神经网络，结合标签图片对语义分割神经网络进行训练，语义分割神经网络基于deeplabv3+网络，包括含有空洞卷积的深度卷积网络和空洞金字塔池化；将采集到的图片输入训练好的语义分割神经网络，得到输出结果；以及通过Opencv对输出结果进行轮廓提取，根据提取出的轮廓的个数判断图片中是否存在风飘异物。因此可以准确地识别出某些特定物体上是否存在风飘异物，识别的准确率高，效果好。
下面参考图10，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置1000的结构示意图。图10示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机装置1000包括中央处理单元(CPU)1001和图形处理器(GPU)1002，其可以根据存储在只读存储器(ROM)1003中的程序或者从存储部分1009加载到随机访问存储器(RAM)1009中的程序而执行各种适当的动作和处理。在RAM 1004中，还存储有装置1000操作所需的各种程序和数据。CPU 1001、GPU1002、ROM 1003以及RAM 1004通过总线1005彼此相连。输入/输出(I/O)接口1006也连接至总线1005。
以下部件连接至I/O接口1006：包括键盘、鼠标等的输入部分1007；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分1008；包括硬盘等的存储部分1009；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1010。通信部分1010经由诸如因特网的网络执行通信处理。驱动器1011也可以根据需要连接至I/O接口1006。可拆卸介质1012，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1011上，以便于从其上读出的计算机程序根据需要被安装入存储部分1009。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1010从网络上被下载和安装，和/或从可拆卸介质1012被安装。在该计算机程序被中央处理单元(CPU)1001和图形处理器(GPU)1002执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：对收集到的风飘异物图片数据集进行语义分割像素标注，得到标签图片；搭建针对风飘异物的语义分割神经网络，并将风飘异物图片数据集中的图片输入语义分割神经网络，结合标签图片对语义分割神经网络进行训练，语义分割神经网络基于deeplabv3+网络，包括含有空洞卷积的深度卷积网络和空洞金字塔池化；将采集到的图片输入训练好的语义分割神经网络，得到输出结果；以及通过Opencv对输出结果进行轮廓提取，根据提取出的轮廓的个数判断图片中是否存在风飘异物。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种基于语义分割的风飘异物识别方法，其特征在于，包括以下步骤：
S1：对收集到的风飘异物图片数据集进行语义分割像素标注，得到标签图片；
S2：搭建针对风飘异物的语义分割神经网络，并将所述风飘异物图片数据集中的图片输入所述语义分割神经网络，结合所述标签图片对所述语义分割神经网络进行训练，所述语义分割神经网络基于deeplabv3+网络，包括含有空洞卷积的深度卷积网络和空洞金字塔池化；
S3：将采集到的图片输入训练好的所述语义分割神经网络，得到输出结果；以及
S4：通过Opencv对所述输出结果进行轮廓提取，根据提取出的所述轮廓的个数判断所述图片中是否存在风飘异物。
2.根据权利要求1所述的基于语义分割的风飘异物识别方法，其特征在于，在所述步骤S1之前还包括：对所述风飘异物图片数据集进行数据扩增。
3.根据权利要求1所述的基于语义分割的风飘异物识别方法，其特征在于，在所述步骤S1之后还包括：将所述标签图片从RGB模式转化为L灰度模式或调色板颜色模式。
4.根据权利要求1所述的基于语义分割的风飘异物识别方法，其特征在于，所述步骤S2具体包括：
S21：将所述图片输入所述含有空洞卷积的深度卷积网络中进行特征提取，得到高级语义特征图和低级语义特征图；
S22：将所述高级语义特征图输入所述空洞金字塔池化中分别与四个空洞卷积层和一个池化层进行卷积和池化得到五个特征图，所述五个特征图连接后再通过1×1的卷积运算得到第一输出图片，所述第一输出图片经过第一次上采样得到第二输出图片；
S23：获取与所述第二输出图片具有相同分辨率的所述低级语义特征图，将所述低级语义特征图经过1×1的卷积运算，得到具有与所述第二输出图片相同的通道比重的第三输出图片；
S24：将所述第三输出图片与所述第二输出图片进行合并，再通过3×3的细化卷积进行细化，最后通过第二次上采样得到预测结果；以及
S25：根据预测结果和所述标签图片求取损失函数进行权重更新，得到最终的所述语义分割神经网络和权重。
5.根据权利要求4所述的基于语义分割的风飘异物识别方法，其特征在于，所述第一次上采样和所述第二次上采样均采用双线性上采样4倍的方式。
6.根据权利要求1所述的基于语义分割的风飘异物识别方法，其特征在于，所述步骤S4具体包括：若通过Opencv提取出的所述轮廓的个数大于0，则表示所述图片中存在风飘异物，否则表示所述图片中不存在风飘异物。
7.根据权利要求1-6中任一项所述的基于语义分割的风飘异物识别方法，其特征在于，所述风飘异物包括塑料袋、麻袋、米袋、绳子、毛巾或布条。
8.一种基于语义分割的风飘异物识别装置，其特征在于，包括：
标注模块，被配置为对收集到的风飘异物图片数据集进行语义分割像素标注，得到标签图片；
模型训练模块，被配置为搭建针对风飘异物的语义分割神经网络，并将所述风飘异物图片数据集中的图片输入所述语义分割神经网络，结合所述标签图片对所述语义分割神经网络进行训练，所述语义分割神经网络基于deeplabv3+网络，包括含有空洞卷积的深度卷积网络和空洞金字塔池化；
结果输出模块，被配置为将采集到的图片输入训练好的所述语义分割神经网络，得到输出结果；以及
判断模块，被配置为通过Opencv对所述输出结果进行轮廓提取，根据提取出的所述轮廓的个数判断所述图片中是否存在风飘异物。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010948866.0A CN112116594B (zh) | 2020-09-10 | 2020-09-10 | 一种基于语义分割的风飘异物识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010948866.0A CN112116594B (zh) | 2020-09-10 | 2020-09-10 | 一种基于语义分割的风飘异物识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112116594A true CN112116594A (zh) | 2020-12-22 |
| CN112116594B CN112116594B (zh) | 2023-12-19 |
Family
ID=73801933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010948866.0A Active CN112116594B (zh) | 2020-09-10 | 2020-09-10 | 一种基于语义分割的风飘异物识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112116594B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766056A (zh) * | 2020-12-30 | 2021-05-07 | 厦门大学 | 一种基于深度神经网络的弱光环境车道线检测方法、装置 |
| CN113159046A (zh) * | 2021-04-16 | 2021-07-23 | 中国铁道科学研究院集团有限公司 | 无砟道床异物检测方法及装置 |
| CN113837965A (zh) * | 2021-09-26 | 2021-12-24 | 北京百度网讯科技有限公司 | 图像清晰度识别方法、装置、电子设备及存储介质 |
| CN117409205A (zh) * | 2023-12-13 | 2024-01-16 | 国网山东省电力公司济南供电公司 | 一种用于电力设备的异物搭挂检测和分割方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107564025A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度神经网络的电力设备红外图像语义分割方法 |
| CN109325534A (zh) * | 2018-09-22 | 2019-02-12 | 天津大学 | 一种基于双向多尺度金字塔的语义分割方法 |
| CN110136141A (zh) * | 2019-04-24 | 2019-08-16 | 佛山科学技术学院 | 一种面向复杂环境的图像语义分割方法及装置 |
| CN110276354A (zh) * | 2019-05-27 | 2019-09-24 | 东南大学 | 一种高分辨率街景图片语义分割训练与实时分割方法 |
| KR102073873B1 (ko) * | 2019-03-22 | 2020-02-05 | 주식회사 루닛 | 시맨틱 세그먼테이션 방법 및 그 장치 |
| CN111259905A (zh) * | 2020-01-17 | 2020-06-09 | 山西大学 | 一种基于下采样的特征融合遥感图像语义分割方法 |
-
2020
- 2020-09-10 CN CN202010948866.0A patent/CN112116594B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107564025A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度神经网络的电力设备红外图像语义分割方法 |
| CN109325534A (zh) * | 2018-09-22 | 2019-02-12 | 天津大学 | 一种基于双向多尺度金字塔的语义分割方法 |
| KR102073873B1 (ko) * | 2019-03-22 | 2020-02-05 | 주식회사 루닛 | 시맨틱 세그먼테이션 방법 및 그 장치 |
| CN110136141A (zh) * | 2019-04-24 | 2019-08-16 | 佛山科学技术学院 | 一种面向复杂环境的图像语义分割方法及装置 |
| CN110276354A (zh) * | 2019-05-27 | 2019-09-24 | 东南大学 | 一种高分辨率街景图片语义分割训练与实时分割方法 |
| CN111259905A (zh) * | 2020-01-17 | 2020-06-09 | 山西大学 | 一种基于下采样的特征融合遥感图像语义分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 方茂青: "基于Deeplabv3+的遥感图像城市道路分割算法研究", 中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766056A (zh) * | 2020-12-30 | 2021-05-07 | 厦门大学 | 一种基于深度神经网络的弱光环境车道线检测方法、装置 |
| CN112766056B (zh) * | 2020-12-30 | 2023-10-27 | 厦门大学 | 一种基于深度神经网络的弱光环境车道线检测方法、装置 |
| CN113159046A (zh) * | 2021-04-16 | 2021-07-23 | 中国铁道科学研究院集团有限公司 | 无砟道床异物检测方法及装置 |
| CN113159046B (zh) * | 2021-04-16 | 2024-04-30 | 中国铁道科学研究院集团有限公司 | 无砟道床异物检测方法及装置 |
| CN113837965A (zh) * | 2021-09-26 | 2021-12-24 | 北京百度网讯科技有限公司 | 图像清晰度识别方法、装置、电子设备及存储介质 |
| CN117409205A (zh) * | 2023-12-13 | 2024-01-16 | 国网山东省电力公司济南供电公司 | 一种用于电力设备的异物搭挂检测和分割方法及系统 |
| CN117409205B (zh) * | 2023-12-13 | 2024-04-05 | 国网山东省电力公司济南供电公司 | 一种用于电力设备的异物搭挂检测和分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112116594B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112116594B (zh) | 一种基于语义分割的风飘异物识别方法和装置 | |
| CN110033453B (zh) | 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法 | |
| CN110378222A (zh) | 一种输电线路防震锤目标检测与缺陷识别方法及装置 | |
| CN110555420B (zh) | 一种基于行人区域特征提取和重识别融合模型网络及方法 | |
| US11587299B2 (en) | Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques | |
| CN115147383A (zh) | 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法 | |
| CN111401437A (zh) | 基于深度学习的输电通道隐患预警等级分析方法 | |
| CN115965578A (zh) | 一种基于通道注意力机制的双目立体匹配检测方法及装置 | |
| CN115082813A (zh) | 检测方法、无人机、检测系统及介质 | |
| CN114612741A (zh) | 缺陷识别模型的训练方法、装置、电子设备及存储介质 | |
| CN108900895B (zh) | 一种对视频流的目标区域的屏蔽方法及其装置 | |
| CN114863118A (zh) | 一种基于输电线路外部隐患自学习识别系统、方法 | |
| CN115984672B (zh) | 基于深度学习的高清图像内小目标的检测方法和装置 | |
| CN116030050A (zh) | 基于无人机与深度学习的风机表面缺陷在线检测分割方法 | |
| CN115641431A (zh) | 一种基于改进深度学习的输电线工程车辆检测方法 | |
| CN113344121B (zh) | 训练招牌分类模型和招牌分类的方法 | |
| CN113298840B (zh) | 基于带电作业场景下的多模态物体检测方法、系统、装置及存储介质 | |
| CN115526869A (zh) | 一种电力巡检图像中金具锈蚀检测及量化方法 | |
| CN113780178A (zh) | 道路检测方法、装置、电子设备和存储介质 | |
| CN115200784B (zh) | 基于改进ssd网络模型的漏粉检测方法、装置及可读介质 | |
| CN117152646B (zh) | 无人电力巡检ai轻量大模型方法及系统 | |
| Pereira et al. | Utility pole detector for inspection of power distribution networks using faster r-cnn | |
| CN116883880B (zh) | 一种基于ar技术的起重机识别方法、装置和电子设备 | |
| CN112329863B (zh) | 一种牵引变电所内隔离开关状态识别方法 | |
| CN117152598A (zh) | 基于图像识别的输电线路基建现场风险识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |