CN109446970B - 一种基于深度学习的变电站巡检机器人道路场景识别方法 - Google Patents

一种基于深度学习的变电站巡检机器人道路场景识别方法 Download PDF

Info

Publication number
CN109446970B
CN109446970B CN201811240897.XA CN201811240897A CN109446970B CN 109446970 B CN109446970 B CN 109446970B CN 201811240897 A CN201811240897 A CN 201811240897A CN 109446970 B CN109446970 B CN 109446970B
Authority
CN
China
Prior art keywords
network
layer
transformer substation
training
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811240897.XA
Other languages
English (en)
Other versions
CN109446970A (zh
Inventor
张葛祥
刘明春
荣海娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201811240897.XA priority Critical patent/CN109446970B/zh
Publication of CN109446970A publication Critical patent/CN109446970A/zh
Application granted granted Critical
Publication of CN109446970B publication Critical patent/CN109446970B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的变电站巡检机器人道路场景识别方法，包括采集变电站道路场景图像并构建道路场景图像库、构建卷积编码网络并训练、在卷积编码网络基础上构建反卷积解码网络并训练、利用测试集测试模型和变电站巡检机器人道路场景识别应用的步骤。本发明搭建的全卷积神经网络同时兼顾识别精度及效率，通过将深层高精度卷积神经网络精简为小型浅层的网络来降低网络参数以及存储空间来提高识别效率，并采用了多种解码网络相融合的方式来获取更多目标信息保证识别精度；采用深度学习场景识别方法可获取变电站巡检机器人当前环境的稠密信息，对机器人导航避障提供更多有效的指导信息，使机器人环境适应能力更强。

Description

一种基于深度学习的变电站巡检机器人道路场景识别方法
技术领域
本发明涉及计算机模式识别技术领域，具体是一种基于深度学习的变电站巡检机器人道路场景识别方法。
背景技术
随着科技的不断发展，以“信息化、数字化、自动化、互动化”为特征的智能电网建设逐渐深入，智能机器人在变电站得到了广泛的应用，并取得了良好的效果。对于变电站巡检机器人而言，对可行道路进行有效的检测识别是机器人能够正常工作的前提保证。目前，绝大多数变电站巡检机器人主要采用激光雷达来实现机器人的导航、定位以及避障等。该方式虽然检测精度较高，但却忽略了对道路场景的识别理解，使机器人无法有效预测所处的环境情况，如机器人前方道路情况、障碍物类型(是否可越过)、机器人行驶方向是否偏离道路等，这极大的影响了变电站巡检机器人的工作效率以及其环境适应能力。因此，为了使变电站巡检机器人更好的理解环境进而更加有效的完成巡检任务，急需一种适用于变电站巡检机器人的道路场景识别方法。
传统的道路识别主要通过手动提取图像道路场景特征进而实现对可行道路识别，该方法需要大量的实验以及专业知识，且大多数方法仅适用于简单结构化道路环境。而深度学习作为近年来人工智能领域最为火热的一个方向，其采用数据驱动的方式，摆脱了人工设计特征的限制，使其可有效的避免传统人工设计和选择特征存在的不足，可有效应用于各种复杂环境的识别。同时，随着近几年计算机的飞速发展以及大数据时代的到来，深度学习也已经在图像处理领用取得了重大突破。对图像场景识别而言，自2015年Long等人提出了全卷积神经网络(FCN，Fully Convolutional Networks)的场景识别分割算法后，一系列基于深度学习的场景理解识别网络相继推出，不断刷新图像识别分割的精度及效率。但目前绝大部分高精度网络如SegNet、PSPNet、DeepLab等，其模型相对较大，识别效率较低，需使用高性能显卡如Titan Xp、Tesla V100等才能实现实时识别；而对于高效率网络如SegNet-basic、ENet、ShuffleNet等网络，虽然能在一般的嵌入式应用中实现高效实时识别，但识别精度相对较低，尤其是对小目标的识别。
发明内容
为了克服以上技术缺点，发明了一种针对变电站巡检机器人的道路场景识别方法，该方法无需高性能显卡，同时在保证识别精度的前提下可对变电站道路场景进行高效识别，为变电站巡检机器人提供有效的路况信息。
本发明的目的是提供一种基于深度学习的变电站巡检机器人道路场景识别方法，通过构建相对小型、浅层的卷积编码-反卷积解码结构的全卷积神经网络模型实现巡检机器人实时识别。卷积编码网络借鉴VGG网络结构来对图像特征进行提取，反卷积解码网络采用两种解码结构相融合的方式来获取目标更多局部精细细节信息以提高识别精度。通过依次训练卷积编码网络和反卷积解码网络使最终模型能够在复杂的变电站环境中准确高效识别分割出可行道路、杂草、石头、障碍物等目标。
实现本发明目的的技术方案为，一种基于深度学习的变电站巡检机器人道路场景识别方法，包括
步骤一：采集变电站道路场景图像，并构建道路场景图像库，包括
1、数据采集：通过变电站巡检机器人采集各个变电站不同光照、不同场景的道路视频；
2、构建数据库：从采集的道路视频中提取出清晰且重复率低的视频帧，构建训练集和测试集；
3、样本标注：标注出图像中目标的所有像素点，所述目标包括道路、杂草、石头和障碍物；
步骤二：构建卷积编码网络并训练，包括
1、载入VGG16网络；
2、移除VGG16网络pool4层之后的卷积层与全连接层，并将剩余结构的每层输出通道数降低；
3、在每个卷积层之后引入批正则化操作来加速模型收敛；
4、对每个池化层pool采用2位二进制数来记录最大池化索引，即滤波窗口中最大特征值的位置，该值用于后续的反卷积解码网络中；
5、在网络末尾添加1x1的卷积层，输出通道为目标类别数，同时添加损失层LossLayer和精度层Accuracy Layer，采用交叉熵损失函数作为Loss层的目标函数，计算公式如下：
Figure GDA0002966667480000021
其中x表示样本，n表示样本总数，y是期望输出，a是实际输出；精度计算公式如下：
G＝∑inii/∑iti (2)
其中nii为代表属于类别i正确分类的像素个数，ti代表类别i的总像素；
6、训练卷积编码网络权值，采用迁移学习的方式将VGG16在ImageNet上训练好的权重作为预训练模型来微调编码网络，同时将标签图缩小为模型最终输出尺寸，并采用随机梯度下降法对参数进行迭代调优，同时设置相应的学习率、最大迭代次数、动量参数、权值衰减参数，不断迭代训练直至网络收敛；
步骤三：在卷积编码网络基础上构建反卷积解码网络并训练，包括
1、反卷积解码网络由两部分组成，首先搭建第一部分解码网络，载入卷积编码网络；
2、移除步骤二添加的1x1卷积层，添加上采样层unpooling，同时在上采样层中使用原先存储的与之维度对应的池化层索引信息，即将编码网络中pool_i的索引值应用于对应的unpooling_i中；
3、在上采样层后添加3x3卷积层，卷积层层数和输出通道数与编码网络中对应维度的卷积层一致；
4、重复上述2，3两步中的上采样层和卷积层的添加，将编码网络镜像为解码网络，完成第一部分解码网络搭建；
5、搭建第二部分解码网络，将pool4层进行反卷积到pool3层维度后与pool3融合，对融合后的特征图再反卷积到pool2层维度后再与pool2融合，将最终融合后的特征图再反卷积到unpooling2维度并与之相加，实现两个编码网络的融合；
6、采用中值频率均衡方法来平衡各个类别，计算公式如下：
Figure GDA0002966667480000031
Figure GDA0002966667480000032
其中num_i表示该类的总像素个数，counti表示含有该类的图像数量，w和h表示图像宽高，median(fi)表示求fi的中值；
7、训练整个编码-解码网络权值，将训练好的编码网络模型作为预训练模型，其他参数设置与训练编码网络类似，不断迭代使模型收敛；
步骤四：利用测试集测试模型，包括
1、将训练的编码-解码网络转化为测试网络，移除Loss层和Accuracy层，添加Softmax层计算各类别概率，计算公式如下：
Figure GDA0002966667480000033
其中zk为输入的第k类的特征向量，j表示不同类别；
2、选择步骤三中训练精度最高的k个网络权值分别对测试网络进行赋值，通过测试集数据对网络进行测试，并计算其全局精度G、平均精度C和交除并均值IoU，计算公式如下：
G＝∑inii/∑iti (6)
C＝(1/nc1)∑inii/ti (7)
IoU＝(1/nc1)∑inii/(ti+∑jnji-nii) (8)
其中，nii为代表属于类别i正确分类的像素个数，nij为代表属于类别i却被预测为类别j的像素个数，nc1代表总的类数，ti＝∑jnij代表类别i的总像素；
步骤五：变电站巡检机器人道路场景识别应用，包括
1、通过变电站巡检机器人获取变电站道路场景视频流；
2、从步骤四中的k个权值中挑选出全局精度G、平均精度C以及交除并均值IoU最高的权重作为最终网络的权值；
3、将巡检机器人获取的道路场景视频流通过最终的网络进行逐帧预测并显示出预测结果。
本发明的有益效果在于，
1.场景识别精度以及效率更高。本发明搭建的全卷积神经网络同时兼顾识别精度及效率，通过将深层高精度卷积神经网络精简为小型浅层的网络来降低网络参数以及存储空间来提高识别效率，并采用了多种解码网络相融合的方式来获取更多目标信息保证识别精度。
2.变电站巡检机器人环境适应力更强。本发明采用深度学习场景识别方法可获取机器人当前环境的稠密信息，有效弥补了激光雷达、超声波等传感器对目标无法识别的不足，对变电站巡检机器人导航避障提供更多有效的指导信息，使机器人环境适应能力更强。
附图说明
图1是本发明的方法流程图。
图2是本发明所搭建的编码网络结构图。
图3是本发明所搭建的编码-解码网络结构图。
图4是本发明识别结果图，其中(a)为原图，(b)为人工标注图，(c)为SegNet-basic识别结果图，(d)为本发明方法识别结果。
具体实施方式
以下结合附图和实施例对本发明的具体实施方式作进一步的说明。
本发明按照图1中流程进行实施，首先利用实际变电站巡检机器人对道路场景图像进行采集后人工标注构建数据集，然后分别搭建卷积编码网络以及反卷积解码网络，并依次迭代训练使模型收敛，最终得到道路场景识别网络模型。实验采用Nvidia Jetson TX2嵌入式开发板作为开发平台，并在Ubuntu16.04操作系统下搭建Caffe深度学习框架以及相应的CUDA库进行变电站道路图像识别模型的训练和测试，最后结合Python实现变电站巡检机器人对道路场景的识别。
本发明具体实施采取如下步骤：
步骤一：采集变电站道路场景图像，并构建道路场景图像库：
1、数据采集：通过变电站巡检机器人采集各个变电站不同光照(早上、中午、晚上等)，不同场景(晴天、雨天、阴天等)的道路视频。
2、构建数据库：从采集的道路视频中提取出清晰且重复率较低的视频帧，共2433张图像，将图像尺寸归一化256x256大小，并随机选择1600张作为训练集和剩余833张作为测试集。
3、样本标注：采用网上公开标注工具labelme手工标注出图像中道路、杂草、石头、围栏以及路坑5类目标的所有像素点，剩余未标注的像素作为背景。
步骤二：构建卷积编码网络并训练：
1、卷积编码神经网络结构如图2所示，主要借鉴VGG16网络结构，载入VGG16网络；
2、移除VGG16网络pool4层之后的卷积层与全连接层，并将剩余结构的每层输出通道数改为64。
3、在每个卷积层之后引入批正则化(Batch Normalization)操作来加速模型收敛并控制过拟合。
4、对每个池化层(pool)采用2位二进制数来记录最大池化索引，即滤波窗口中最大特征值的位置，该值用于后续的反卷积解码网络中。
5、在网络末尾添加1x1的卷积层，输出通道为目标类别数即out_num为5，同时添加损失层(Loss Layer)和精度(Accuracy Layer)层，采用交叉熵损失函数作为Loss层的目标函数，计算公式如下：
Figure GDA0002966667480000051
其中x表示样本，n表示样本总数，y是期望输出，a是实际输出；
精度计算公式如下：
G＝∑inii/∑iti (2)
其中nii为代表属于类别i正确分类的像素个数，ti代表类别i的总像素。
6、训练卷积编码网络，采用迁移学习的方式将VGG16在ImageNet上训练好的权重作为预训练模型，通过该方式微调编码网络。同时将标签图缩小为16倍，采用随机梯度下降法对参数进行迭代调优，同时设置学习率为0.01，学习策略为step，学习率变化比率为1.0，动量为0.9，最大迭代次数为20000，权重衰减为0.0005，批尺寸(batch_size)为4，通过GPU不断迭代训练直至损失函数收敛。
步骤三：在卷积编码网络基础上构建反卷积解码网络并训练：
1、反卷积解码网络由两部分组成，如图3所示，首先搭建第一部分解码网络，载入卷积编码网络。
2、移除步骤二添加的1x1卷积层并添加上采样层(unpooling)，同时在上采样层中使用原先存储的与之维度对应的池化层索引信息，即将编码网络中pool4的索引值应用于对应的unpooling4中，pool3应用于unpooling3中，以此类推。
3、在上采样层后添加3x3卷积层，卷积层层数和输出通道数与编码网络中对应维度的卷积层一致，即输出通道为64，unpooling4和unpooling3后接三个3x3的卷积层，unpooling2和unpooling1后面接两个3x3卷积层。
4、将最后一个卷积层输出通道改为5，并与后续的Accuracy层和Loss层相连，完成第一部分解码网络搭建。
5、搭建第二部分解码网络，首先将pool4层进行反卷积到pool3层维度(1x64x32x32)后与pool3融合，然后对融合后的特征图再反卷积到pool2层维度(1x64x64x64)后再与pool2融合，最后将最终融合后的特征图再反卷积到unpooling2维度(1x64x128x128)并与之相加，实现两个编码网络的融合。
6、采用中值频率均衡方法来平衡各个类别，计算公式如下：
Figure GDA0002966667480000061
Figure GDA0002966667480000062
其中num_i表示该类的总像素个数，counti表示含有该类的图像数量，w和h表示图像宽高，median(fi)表示求fi的中值。根据公式计算权值结果为背景：0.43；道路：0.46；草：0.91；围栏：1.0；石头：6.13；路坑：20.47。
7、训练整个编码-解码网络，将训练好的编码网络模型作为预训练模型，最大迭代次数改为40000次，其他参数设置与训练编码网络相同，不断迭代使模型收敛。
步骤四：利用测试集测试模型：
1、将训练的编码-解码网络转化为测试网络，移除Loss层和Accuracy层，添加Softmax层计算各类别概率，计算公式如下：
Figure GDA0002966667480000063
其中zk为输入的第k类的特征向量，j∈[0～5]。
2、选择步骤三中训练精度最高的4个网络权值分别对测试网络进行赋值，通过测试集数据对网络进行测试，并计算其全局精度(G)、平均精度(C)，交除并均值(MeanIntersection over Union,Mean IoU)，计算公式如下：
G＝∑inii/∑iti (6)
C＝(1/nc1)∑inii/ti (7)
IoU＝(1/nc1)∑inii/(ti+∑jnji-nii) (8)
其中，nii为代表属于类别i正确分类的像素个数，nij为代表属于类别i却被预测为类别j的像素个数，nc1代表总的类数，ti＝∑jnij代表类别i的总像素。
步骤五：变电站巡检机器人道路场景识别应用：
1、通过变电站巡检机器人获取变电站道路场景视频流。
2、从步骤四中的4个权值中挑选出全局精度G、平均精度C以及交除并均值IoU最高的权重作为最终网络的权值。本发明的最高网络精度与SegNet-basic模型对比如表1所示。
3、将巡检机器人获取的道路场景视频流通过最终的网络进行逐帧预测并显示出预测结果。
表1与SegNet-basic模型对比结果
Figure GDA0002966667480000071

Claims (1)

1.一种基于深度学习的变电站巡检机器人道路场景识别方法，其特征在于，包括
步骤一：采集变电站道路场景图像，并构建道路场景图像库，包括
（ 1） 、数据采集：通过变电站巡检机器人采集各个变电站不同光照、不同场景的道路视频；
（ 2） 、构建数据库：从采集的道路视频中提取出清晰且重复率低的视频帧，构建训练集和测试集；
（ 3） 、样本标注：标注出图像中目标的所有像素点，所述目标包括道路、杂草、石头和障碍物；
步骤二：构建卷积编码网络并训练，包括
（ 1） 、载入VGG16网络；
（ 2） 、移除VGG16网络pool4层之后的卷积层与全连接层，并将剩余结构的每层输出通道数降低；
（ 3） 、在每个卷积层之后引入批正则化操作来加速模型收敛；
（ 4） 、对每个池化层pool采用2位二进制数来记录最大池化索引，即滤波窗口中最大特征值的位置，该值用于后续的反卷积解码网络中；
（ 5） 、在网络末尾添加1x1的卷积层，输出通道为目标类别数，同时添加损失层LossLayer和精度层Accuracy Layer，采用交叉熵损失函数作为Loss层的目标函数，计算公式如下：
Figure FDA0002966667470000011
其中x表示样本，n表示样本总数，y是期望输出，a是实际输出；
精度计算公式如下：
G＝∑inii/∑iti (2)
其中nii为代表属于类别i正确分类的像素个数，ti代表类别i的总像素；
（ 6） 、训练卷积编码网络权值，采用迁移学习的方式将VGG16在ImageNet上训练好的权重作为预训练模型来微调编码网络，同时将标签图缩小为模型最终输出尺寸，并采用随机梯度下降法对参数进行迭代调优，同时设置相应的学习率、最大迭代次数、动量参数、权值衰减参数，不断迭代训练直至网络收敛；
步骤三：在卷积编码网络基础上构建反卷积解码网络并训练，包括
（ 1） 、反卷积解码网络由两部分组成，首先搭建第一部分解码网络，载入卷积编码网络；
（ 2） 、移除步骤二添加的1x1卷积层，添加上采样层unpooling，同时在上采样层中使用原先存储的与之维度对应的池化层索引信息，即将编码网络中pool_i的索引值应用于对应的unpooling_i中；
（ 3） 、在上采样层后添加3x3卷积层，卷积层层数和输出通道数与编码网络中对应维度的卷积层一致；
（ 4） 、重复上述2，3两步中的上采样层和卷积层的添加，将编码网络镜像为解码网络，完成第一部分解码网络搭建；
（ 5） 、搭建第二部分解码网络，将pool4层进行反卷积到pool3层维度后与pool3融合，对融合后的特征图再反卷积到pool2层维度后再与pool2融合，将最终融合后的特征图再反卷积到unpooling2维度并与之相加，实现两个编码网络的融合；
（ 6） 、采用中值频率均衡方法来平衡各个类别，计算公式如下：
Figure FDA0002966667470000021
Figure FDA0002966667470000022
其中num_i表示该类的总像素个数，counti表示含有该类的图像数量，w和h表示图像宽高，median(fi)表示求fi的中值；
（ 7） 、训练整个编码-解码网络权值，将训练好的编码网络模型作为预训练模型，其他
参数设置与训练编码网络类似，不断迭代使模型收敛；
步骤四：利用测试集测试模型，包括
（ 1） 、将训练的编码-解码网络转化为测试网络，移除Loss层和Accuracy层，添加Softmax层计算各类别概率，计算公式如下：
Figure FDA0002966667470000023
其中zk为输入的第k类的特征向量，j表示不同类别；
（ 2） 、选择步骤三中训练精度最高的k个网络权值分别对测试网络进行赋值，通过测试集数据对网络进行测试，并计算其全局精度G、平均精度C和交除并均值IoU，计算公式如下：
G＝∑inii/∑iti (6)
C＝(1/nc1)∑inii/ti (7)
IoU＝(1/nc1)∑inii/(ti+∑jnji-nii) (8)
其中，nii为代表属于类别i正确分类的像素个数，nij为代表属于类别i却被预测为类别j的像素个数，nc1代表总的类数，ti＝∑jnij代表类别i的总像素；
步骤五：变电站巡检机器人道路场景识别应用，包括
（ 1） 、通过变电站巡检机器人获取变电站道路场景视频流；
（ 2） 、从步骤四中的k个权值中挑选出全局精度G、平均精度C以及交除并均值IoU最高的权重作为最终网络的权值；
（ 3） 、将巡检机器人获取的道路场景视频流通过最终的网络进行逐帧预测并显示出预测结果。
CN201811240897.XA 2018-10-24 2018-10-24 一种基于深度学习的变电站巡检机器人道路场景识别方法 Expired - Fee Related CN109446970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811240897.XA CN109446970B (zh) 2018-10-24 2018-10-24 一种基于深度学习的变电站巡检机器人道路场景识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811240897.XA CN109446970B (zh) 2018-10-24 2018-10-24 一种基于深度学习的变电站巡检机器人道路场景识别方法

Publications (2)

Publication Number Publication Date
CN109446970A CN109446970A (zh) 2019-03-08
CN109446970B true CN109446970B (zh) 2021-04-27

Family

ID=65547697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811240897.XA Expired - Fee Related CN109446970B (zh) 2018-10-24 2018-10-24 一种基于深度学习的变电站巡检机器人道路场景识别方法

Country Status (1)

Country Link
CN (1) CN109446970B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960880B (zh) * 2019-03-26 2023-01-03 上海交通大学 一种基于机器学习的工业机器人避障路径规划方法
CN110006435A (zh) * 2019-04-23 2019-07-12 西南科技大学 一种基于残差网络的变电站巡检机器人视觉辅助导航方法
CN110197491B (zh) * 2019-05-17 2021-08-17 上海联影智能医疗科技有限公司 图像分割方法、装置、设备和存储介质
CN110370273B (zh) * 2019-06-27 2021-04-09 华为技术有限公司 一种机器人避障方法、装置和系统
CN110555511A (zh) * 2019-07-24 2019-12-10 北京踏歌智行科技有限公司 识别区域的方法、装置、电子设备和计算机可读存储介质
CN110610136B (zh) * 2019-08-21 2023-07-18 广西电网有限责任公司电力科学研究院 一种基于深度学习的变电站设备识别模块及识别方法
CN110781773B (zh) * 2019-10-10 2021-05-18 湖北工业大学 一种基于残差神经网络的道路提取方法
CN111045017B (zh) * 2019-12-20 2023-03-31 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111274876B (zh) * 2020-01-09 2024-02-13 国网江苏省电力有限公司徐州供电分公司 一种基于视频分析的调度监控方法和系统
CN111242231B (zh) * 2020-01-17 2023-05-23 西安建筑科技大学 一种基于P-LinkNet网络的露天矿道路模型构建方法
CN111310764B (zh) * 2020-01-20 2024-03-26 上海商汤智能科技有限公司 网络训练、图像处理方法及装置、电子设备和存储介质
CN111383273B (zh) * 2020-03-07 2022-04-29 西南交通大学 一种基于改进结构推理网络的高铁接触网零部件定位方法
CN111522346A (zh) * 2020-05-07 2020-08-11 国网四川省电力公司电力科学研究院 一种基于深度学习的智能避障方法
CN111862012A (zh) * 2020-07-02 2020-10-30 西南科技大学 基于深度卷积神经网络的机场滑行道的缺陷检测方法
CN112732444A (zh) * 2021-01-12 2021-04-30 北京工业大学 一种面向分布式机器学习的数据划分方法
CN113283426B (zh) * 2021-04-30 2024-07-26 南京大学 基于多目标神经网络搜索的嵌入式目标检测模型生成方法
CN113486762B (zh) * 2021-06-30 2022-03-25 中南大学 基于SegNet-SL网络的小障碍物检测方法
CN113469117A (zh) * 2021-07-20 2021-10-01 国网信息通信产业集团有限公司 一种多路视频实时检测方法及系统
CN113673539B (zh) * 2021-08-19 2023-06-20 广西科技大学 一种基于深度学习模型的逐级交互式轮廓识别方法
CN113780101B (zh) * 2021-08-20 2024-08-20 京东鲲鹏(江苏)科技有限公司 避障模型的训练方法、装置、电子设备及存储介质
CN114241142B (zh) * 2021-11-23 2022-10-14 北京国网富达科技发展有限责任公司 一种多精度dem数据差值平滑融合方法和系统
CN114462536A (zh) * 2022-02-09 2022-05-10 国网宁夏电力有限公司吴忠供电公司 一种实体场景生成标注数据集的方法和系统
CN115359411B (zh) * 2022-10-21 2023-07-21 成都工业学院 一种基于改进DeepLab V3+网络的变电站环境理解方法
CN116000895B (zh) * 2023-03-28 2023-06-23 浙江大学 一种基于深度学习的中药制药过程质量检测机器人及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793082A (zh) * 2015-04-23 2015-07-22 江苏中凌高科技股份有限公司 基于谐波相关分析的电力系统谐波源识别装置
CN105631426A (zh) * 2015-12-29 2016-06-01 中国科学院深圳先进技术研究院 对图片进行文本检测的方法及装置
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
CN106570015A (zh) * 2015-10-09 2017-04-19 杭州海康威视数字技术股份有限公司 图像搜索方法和装置
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN108447052A (zh) * 2018-03-15 2018-08-24 深圳市唯特视科技有限公司 一种基于神经网络的对称性脑肿瘤分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198624B2 (en) * 2016-02-18 2019-02-05 Pinscreen, Inc. Segmentation-guided real-time facial performance capture

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793082A (zh) * 2015-04-23 2015-07-22 江苏中凌高科技股份有限公司 基于谐波相关分析的电力系统谐波源识别装置
CN106570015A (zh) * 2015-10-09 2017-04-19 杭州海康威视数字技术股份有限公司 图像搜索方法和装置
CN105631426A (zh) * 2015-12-29 2016-06-01 中国科学院深圳先进技术研究院 对图片进行文本检测的方法及装置
CN106372577A (zh) * 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN108447052A (zh) * 2018-03-15 2018-08-24 深圳市唯特视科技有限公司 一种基于神经网络的对称性脑肿瘤分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fully Convolutional Networks for Semantic Segmentation;Jonathan Long, Evan Shelhamer, Trevor Darrell;《arXiv:1411.4038v2 [cs.CV] 8 Mar 2015》;20141130;第1-10页 *
基于改进全卷积网络的棉田冠层图像分割方法;刘立波，程晓龙，赖军臣;《农业工程学报》;20180630;第193-201页 *

Also Published As

Publication number Publication date
CN109446970A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109446970B (zh) 一种基于深度学习的变电站巡检机器人道路场景识别方法
CN111612066B (zh) 基于深度融合的卷积神经网络的遥感图像分类方法
CN112308860B (zh) 基于自监督学习的对地观测图像语义分割方法
CN108647655B (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN111461258A (zh) 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法
Chen et al. An Apple Detection Method Based on Des‐YOLO v4 Algorithm for Harvesting Robots in Complex Environment
CN113657388B (zh) 一种融合图像超分辨率重建的图像语义分割方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN113780149A (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN112862774B (zh) 一种遥感影像建筑物精确分割方法
CN111046768A (zh) 一种同时提取遥感影像道路路面和中心线的深度学习方法
CN112434723B (zh) 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN113657414B (zh) 一种物体识别方法
CN112232371A (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN112488025A (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN113012177A (zh) 基于几何特征提取和边缘感知编码的三维点云分割方法
CN112766136A (zh) 一种基于深度学习的空间车位检测方法
CN115775316A (zh) 基于多尺度注意力机制的图像语义分割方法
CN114155474A (zh) 基于视频语义分割算法的损伤识别技术
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
Ignjatić et al. Deep learning for historical cadastral maps digitization: Overview, challenges and potential
CN112700476A (zh) 一种基于卷积神经网络的红外船视频跟踪方法
CN114359873A (zh) 一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法
CN113870160A (zh) 一种基于变换器神经网络的点云数据处理方法
CN115019039A (zh) 一种结合自监督和全局信息增强的实例分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210427

Termination date: 20211024

CF01 Termination of patent right due to non-payment of annual fee