CN111209832A - 变电站巡检机器人辅助避障训练方法、设备及介质 - Google Patents
变电站巡检机器人辅助避障训练方法、设备及介质 Download PDFInfo
- Publication number
- CN111209832A CN111209832A CN201911414713.1A CN201911414713A CN111209832A CN 111209832 A CN111209832 A CN 111209832A CN 201911414713 A CN201911414713 A CN 201911414713A CN 111209832 A CN111209832 A CN 111209832A
- Authority
- CN
- China
- Prior art keywords
- network
- training
- image
- data set
- student
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 86
- 238000007689 inspection Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000010354 integration Effects 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000011010 flushing procedure Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
本发明涉及变电站巡检机器人辅助避障训练方法、设备及介质，方法包括：接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障。本发明采用知识蒸馏和教师网络训练学生网络，提高学生网络的泛化能力，通过多个机器人对学生网络进行多场景的训练，并进行集成，提高了学生网络的环境适应能力和准确率。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及深度学习和目标检测领域，尤其涉及基于知识蒸馏的变电站巡检机器人辅助避障训练方法、设备及介质。
背景技术
随着社会的不断发展，对用电的依赖程度也越来越高，供电和输电一直关系到国民生产生活的正常运行。伴随着科学技术的进步，为了保障输电线路的正常运行及执行巡检任务工作人员的安全，现在输电线路多采用电力巡检机器人。
近年来深度学习视觉算法快速发展，其应用方向也越来越广泛，由于传统电力巡检机器人采用雷达避障，对一些障碍物(杂草、检修网、坑洞等)识别效果不理想，导致实际应用会产生一些问题(机器人无法识别，停留原地耗电等待，或者对巡检机器人造成损害)，故采用视觉深度学习算法在电力巡检机器人上进行视觉辅助避障。由于现有机器人通常使用传统视觉深度学习模型，又因为显卡及内存不足等问题导致识别效率低、应用效果不佳。
发明内容
本发明旨在至少在一定程度上解决以下技术问题：
传统视觉深度学习模型的需要的存储空间和计算能力过大，机器人的硬件条件不能提供有效的支持，无法识别复杂的环境。
本发明实施例的第一方面提供了一种变电站巡检机器人辅助避障训练方法，包括：接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。
在一个示例中，所述使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障之后，还包括：多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，直至达到第二目标避障率，以辅助所述机器人进行避障，其中，多个所述机器人位于变电站的不同区域。
在一个示例中，所述多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，包括：所述机器人对所述第一学生网络训练预设时间后，分别接收多个所述机器人各自的所述第一学生网络，合并多个所述第一学生网络，得到第二学生网络；将所述第二学生网络发送到多个所述机器人中，并使多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第二学生网络。
在一个示例中，所述接收第一图像并形成第一数据集，包括：标识所述第一图像的指定区域，所述指定区域与变电站内的设备、仪表和障碍物相关；标识完成后，将所述第一数据集分为训练集和测试集。
在一个示例中，所述根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，包括：将所述教师网络通过所述温度参数进行计算，得到软目标；将所述学生网络通过所述温度参数进行计算，得到第一结果，并将所述第一结果与所述软目标的交叉熵函数，作为所述学生网络的损失值的一部分；将所述学生网络直接获得的第二结果与硬目标的交叉熵函数，作为所述学生网络的损失值的另一部分，所述硬目标包括所述指定区域在图像中的位置信息。
在一个示例中，所述使用第二数据集训练所述第一学生网络之前，还包括：使用图像处理算法对所述第二数据集内的第一图片和第二图片进行处理，得到每个所述第一图片和所述第二图片的余弦相似度；将所述余弦相似度与预设阈值进行比较，确定所述第二数据集中的未识别图像，统计所述未识别图像的数量；通过所述未识别图像的数量，使用算法计算是否剔除所述未识别图像。
在一个示例中，所述学生网络包括所述教师网络的部分神经网络层和部分神经元。
本发明实施例的第二方面提供了一种变电站巡检机器人辅助避障训练设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。
本发明实施例的第三方面提供了一种变电站巡检机器人辅助避障训练的非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。
本发明实施例采用知识蒸馏和教师网络训练学生网络，提高学生网络的泛化能力；通过机器人获取训练用的图像，基于机器人的视角进行训练，更有助于提高模型的准确率；通过多个机器人对学生网络进行多场景的训练，并进行集成，提高了学生网络的环境适应能力和准确率；通过调整神经网络模型中监督和半监督的权重，使机器人在巡检过程中的实时训练。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的知识蒸馏框架示意图；
图3为本发明实施例的训练逻辑示意图；
图4为本发明实施例的设备框架示意图。
具体实施方式
为了更清楚的阐释本申请的整体构思，下面结合说明书附图以示例的方式进行详细说明。
知识蒸馏是一种神经网络模型的压缩方法，这类方法通过构建教师网络和学生网络框架，为了便于描述，本申请实施例中将神经网络模型简称为网络，由教师网络指导学生网络的训练，将网络结构复杂、参数量大、学习能力强的教师网络所学到关于特征表示的“知识”“蒸馏”出来，将这些知识迁移到网络结构简单、参数量少、学习能力弱的学生网络。知识蒸馏方法能为学生网络提供硬标注信息中学不到的软标注信息，包括类别间信息和教师网络学到的特征表示知识。通过知识蒸馏方法能够在不增加网络复杂度的情况下，提升网络的性能。
本发明实施例的第一方面提供了一种变电站巡检机器人辅助避障训练方法，图1为本发明实施例的方法流程示意图，如图1所示，方法包括：
S101接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；
S102使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；
S103根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；
S104使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。
根据本发明的具体实施例，在步骤S101中，变电站内，在不同的光照条件、天气环境下，分别从不同角度使用图像传感器获取第一图像，第一图像具体有识别目标，所述识别目标包括设备开关状态、仪表、障碍物的图像，其中，图像传感器可以是变电站内的监控摄像机，获取的第一图像可以是RGB图像，障碍物可以是变电站内的杂草、施工车辆或者其他影响机器人移动的物体。
然后利用图像标注工具(labelImg)标注出图像中的设备开关状态、仪表和障碍物的区域，制作成第一数据集。在第一数据集中，选取其中一部分图像作为训练集，剩余部分作为测试集。需要注意的是，本发明实施例对图像传感器、第一图像的类型和标注工具的具体选择不作特别的限制，上述只是本发明的一些优选的实施例。
根据本发明的具体实施例，步骤S102中，将YOLOv3特征提取网络作为教师网络，YOLO(You Only Look Once)是一种用于目标检测的神经网络，v3表示第三代。可以理解的是，本发明实施例对选取的神经网络并不做特别的限制，也可以是其他的神经网络。
将第一训练集输入到教师网络中，对教师网络进行训练，在训练时，加入温度参数T，增大教师网络的训练难度，使得教师网络能够获得更好的识别精度。一般而言，温度参数的数值越大，能够识别目标的概率的分布越缓和(识别多种类型的目标)，在训练过程中，不断调整温度参数T，再使用归一化指数函数(softmax)进行变换，可以得到一个合适的软化的概率分布软目标(soft target)，概率介于0～1之间，取值分布较为缓和时达到最大性能，确定教师网络的温度参数T。归一化指数函数(softmax)的公式如下：
其中，T为温度参数，zi为神经网络。
根据本发明的具体实施例，学生网络为YOLOv3-t iny神经网络(简化后的YOLOv3神经网络)，可以理解的是，学生网络包括教师网络的部分神经网络层和部分神经元。因此在硬件上，需要的算力和存储空间都远小于教师网络。
现有变电站巡检机器人的仪表识别、设备检测多采用传统机器学习完成，精度较高但使用范围局限易受光照、雨雪环境影响，同时也无法实现变电站设备缺陷识别、异物入侵检测、障碍物分类判定。神经网络模型可以达到这一需求，但受限于工控机的计算能力，重量级的神经网络无法运行，而知识蒸馏后的学生网络模型参数显著减少，准确率却十分接近教师网络模型。
根据本发明的具体实施例，步骤S103中，使用同样的温度参数T来训练学生网络。总体而言，包括两部分，第一部分是将所述教师网络通过所述温度参数进行计算，得到软目标(soft target)；将所述学生网络通过所述温度参数进行计算，得到第一结果，并将所述第一结果与所述软目标的交叉熵函数，作为所述学生网络的损失值的一部分；第二部分是将所述学生网络直接获得的第二结果与硬目标(hard targets)的交叉熵函数，作为所述学生网络的损失值的另一部分，所述硬目标包括所述指定区域在图像中的位置信息，也可以理解为真实标注。
具体而言，图2是本发明实施例的知识蒸馏框架示意图，如图所述，将教师模型除以温度系数T，然后使用归一化指数函数(sofmax)进行变换，得到软目标；将学生网络除以温度系数T，然后使用归一化指数函数(softmax)进行变换，得到的输出结果与软目标的交叉熵作为训练的损失值的一部分(权重为x)；不使用温度T，使用归一化指数函数(softmax)做变换后的输出结果和硬目标的交叉熵做为损失值的另外一部分(权重为1-x)，最终用总目标对学生网络进行训练。学生网络的训练初期阶段时将软目标交叉熵的加权系数权重x设置偏大有助于让学生网络更轻松的鉴别简单样本，但训练后期需要适当减小软目标的权重，让真实标注帮助鉴别困难样本。以下为学生网络的损失函数。
LOSS＝x*Loss(soft targets)+(1-x)*Loss(hard targets)
根据本发明的具体实施例，步骤S104可以在大型的计算设备上执行，也可以在机器人上执行。下面介绍在机器人上执行的场景。
由于巡检机器人巡检范围固定，可能造成场景固定，加上模型小，可能会导致识别效果不是特别好，由于各个巡检机器人的实际使用场景不同，为了最大程度提升算法模型识别的准确率，需要将各个巡检机器人收集的数据，进行重新汇总，再进行数据清洗，并进行处理，重新将各个小的学生模型集成，将数据进行训练，并对新的模型进行优化，调参，对模型识别准确率进行对比，将准确率最高的模型重新部署在巡检机器人。
图3为本发明实施例的训练逻辑示意图，如图3所示，在步骤S104之后，还包括：多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，直至达到第二目标避障率，以辅助所述机器人进行避障，其中，多个所述机器人位于变电站的不同区域。具体而言，所述多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，包括：所述机器人对所述第一学生网络训练预设时间后，分别接收多个所述机器人各自的所述第一学生网络，合并多个所述第一学生网络，得到第二学生网络；将所述第二学生网络发送到多个所述机器人中，并使多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第二学生网络。
本发明实施例将学生网络部署到变电站巡检机器人的移动计算板卡上，利用其GPU(Graphics Processing Unit)和CUDA(Compute Unified Device Architecture)可以加速本发明的许多计算(特别是视差计算)，能够在机器人的终端应用上运行更庞大、更具有深度的神经网络，让机器人更加智能，具有更高的精度和更快的响应时间，以执行如图像识别、分类，基于视觉的定位与建图(VSLAM)和语音识别等任务。
首先需要在机器人的移动计算板卡进行开箱上电，接着进行刷机工作，刷机的目的主要是安装cuda(Compute Unified Device Architecture)和基于GPU(GraphicsProcessing Unit)的加速库等运行环境，加速库可以是cudnn(NVIDIA CUDA@DeepNeuralNetwork library)，以方便模型在机器人的移动计算板卡上运行；将学生模型的运行环境配置好以后，就需要开始下载学生网络模型，将模型在深度学习的移动计算板卡上进行适配调试，同时将机器人所用的双目摄像头进行适配，并做好图像取流；将取到视频流同已经训练好的神经网络进行调试，这里的神经网络包括教师网络和第一学生网络，并实际效果进行测试。依靠机器人的移动计算板卡的计算能力，利用摄像头采集的第二图片在学生网络上进行运算识别，并将图片存入到原有数据集中，形成第二数据集。
然后使用图像处理算法对当前数据集进行清理，具体而言，使用特征检测技术检测第二数据集内的图片的识别目标，所述识别目标包括设备开关状态、仪表、障碍物的图像。对识别目标进行包括角点，Blob(图像中的一块连通区域)点和边缘点的进行检测，形成新的数据集；然后通过类似于非极大值抑制、对比度阈值约束等条件清理新的数据集中未检测到上述识别目标的图像；对新数据集内的图像运用阈值、模板匹配和霍夫变换、灵活变形分析等手段进行特征提取。然后对不同图像提取的特征向量进行余弦距离相似性计算，下式中是两个特征向量A和B的角度，计算其余弦距离作为相似度S。
使用等误差率作为判断是否为已有识别类型的阈值。当相似度超过该阈值K时，认定为是已有识别类型，小于阈值K时为未知识别类型。对于进行相似度计算后的图像，1表示为已有识别类型，0表示图像是未知类型。
式中Pi、Pj表示一类图像中的第i和j张图像的特征向量，Lij表示第i和j张图像是否为已知类型。
根据公式Ni对数据集中与识别目标不相似的图像数量进行统计；
Ni＝count(Lij＝0)，j＝1，2，…..，n
其中，Ni表示第i张识别类型不相似的图像数目，i＝1，2，…，n。
根据公式c判断是否清理该图像。
其中，n表示一类障碍物所有图像数目；参数α的值需要根据实际数据集来确定，最终确定第二数据集。
本发明实施例通过使用图像特征检测、特征提取、特征匹配等算法实现对变电站巡检现场拍摄图片的清洗。相较于需要人工对巡检现场拍摄图片数据进行筛查清理，以及不能对巡检现场拍摄图片数据经行保存的传统巡检机器人而言，本发明实施例既减轻劳动量又扩充数据集容量，减少过拟合，提高准确率，而且运维人员也能在日后对结果进行核实
根据本发明的具体实施例，多个所述机器人分别将各自的第一学生网络训练一定时间后，分别将多个所述机器人的所述第一学生网络进行集成，得到第二学生网络。具体包括：采用自助聚合(bagging)的方法进行集合，将几个不同位置的机器人上的第一学生网络作为单独学习器，利用自助统计技术随机抽取n个观测值，同时将规模为N的数据集生成新的样本大小为n；然后用自助样本可以估计每个样本的值，可以近似得到估计量的方差，根据所得方差进行模型集成，具体过程和公式如下：
其中，m为学生网络(第一学生网络)的模型基数，μ为集成后学生网络的模型期望值，F为集成后的学生网络(第二学生网络)，f为学生网络，γ为基模型的权重、方差及两两间的相关系数，每个模型的方差均为σ2，ρ为相关系数。
在自助聚合(bagging)的方法中，每个基模型的权重等于1/m且期望近似相等(子训练集都是从原训练集中进行子抽样)，由上式E(F)可以看出，集成后的学生网络的期望值近似于基模型的期望值，即集成后的学生网络的偏差和基模型的偏差近似。一般来说，整体模型的方差小于等于基模型的方差(当相关性为1时取等号)，故如果基模型数m的增多，整体模型的方差就会减少，可以有效防止过拟合的能力，也提升模型的准确度。同时，当基模型数增加到一定程度时，模型的准确度也会到极限，其特征为方差公式E(F)中第二项
的变化对集成后的学生网络的整体方差的作用不大，并达到防止过拟合的极限。另外，自助聚合中的基模型要是强模型(偏差低方差高)，否则将导致整体模型的偏差度低。
根据本发明的具体实施例，还可以采用第二种降低方差的方法，即公式Var(F)，随机森林(Random Forest)是典型的基于自助聚合框架的模型，随机森林中基模型是树模型，通过在自助聚合的基础上，在树的内部节点分裂过程中，随机抽样一部分特征纳入分裂的候选项(不再是将所有特征)，在方差公式Var(F)中，第一项σ2*ρ显著减少，第二项
稍微增加，基模型之间的相关性降低，降低了模型的方差，模型的准确度得到提升。本发明实施例可基于不同场景的数据特性选取其中的一种。
根据本发明的具体实施例，由于巡检机器人巡检范围固定，可能造成场景固定，加上模型小，可能会导致识别效果不是特别好，由于各个巡检机器人的实际使用场景不同，为了最大程度提升算法模型识别的准确率，需要将各个巡检机器人收集的数据，进行重新汇总，再进行数据清洗，并进行处理，重新将各个小的学生模型集成，将数据进行训练，并对新的模型进行优化，调参，对模型识别准确率进行对比，将准确率最高的模型重新部署在巡检机器人。
图3为本发明实施例的训练逻辑示意图，如图所示，学生网络训练一定时间后，分别将多个所述机器人的生网络进行合并，得到新的学生网络；将新的学生网络再次部署到多个所述机器人中，并进行训练。每间隔一个月循环机器人训练学生网络的步骤，清洗数据，对模型进行集成，进行12次可以完成模型收敛，使得模型在巡检周边自然环境发生变化时准确率依然能得到保证。进行12次的原因是，使机器人可以适应四季的变化，提高学生网络的环境适应能力。
根据本发明的具体实施例，本申请实施例可以通过调整深度学习模型监督和半监督的权重进行实时训练。
本发明实施例的第二方面提供了一种变电站巡检机器人辅助避障训练设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；
使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；
根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；
使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。
本发明实施例的第三方面提供了一种变电站巡检机器人辅助避障训练的非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；
使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；
根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；
使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。
本发明实施例本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在申请中。
Claims (9)
1.一种变电站巡检机器人辅助避障训练方法，其特征在于，包括：
接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；
使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；
根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；
使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。
2.根据权利要求1所述的方法，其特征在于，所述使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障之后，还包括：
多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，直至达到第二目标避障率，以辅助所述机器人进行避障，其中，多个所述机器人位于变电站的不同区域。
3.根据权利要求2所述的方法，其特征在于，所述多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，包括：
所述机器人对所述第一学生网络训练预设时间后，分别接收多个所述机器人各自的所述第一学生网络，合并多个所述第一学生网络，得到第二学生网络；
将所述第二学生网络发送到多个所述机器人中，并使多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第二学生网络。
4.根据权利要求1所述的方法，其特征在于，所述接收第一图像并形成第一数据集，包括：
标识所述第一图像的指定区域，所述指定区域与变电站内的设备、仪表和障碍物相关；
标识完成后，将所述第一数据集分为训练集和测试集。
5.根据权利要求4所述的方法，其特征在于，所述根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，包括：
将所述教师网络通过所述温度参数进行计算，得到软目标；
将所述学生网络通过所述温度参数进行计算，得到第一结果，并将所述第一结果与所述软目标的交叉熵函数，作为所述学生网络的损失值的一部分；
将所述学生网络直接获得的第二结果与硬目标的交叉熵函数，作为所述学生网络的损失值的另一部分，所述硬目标包括所述指定区域在图像中的位置信息。
6.根据权利要求1所述的方法，其特征在于，所述使用第二数据集训练所述第一学生网络之前，还包括：
使用图像处理算法对所述第二数据集内的第一图片和第二图片进行处理，得到每个所述第一图片和所述第二图片的余弦相似度；
将所述余弦相似度与预设阈值进行比较，确定所述第二数据集中的未识别图像，统计所述未识别图像的数量；
通过所述未识别图像的数量，使用算法计算是否剔除所述未识别图像。
7.根据权利要求1所述的方法，其特征在于，所述学生网络包括所述教师网络的部分神经网络层和部分神经元。
8.一种变电站巡检机器人辅助避障训练设备，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；
使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；
根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；
使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。
9.一种变电站巡检机器人辅助避障训练的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：
接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；
使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；
根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；
使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911414713.1A CN111209832B (zh) | 2019-12-31 | 2019-12-31 | 变电站巡检机器人辅助避障训练方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911414713.1A CN111209832B (zh) | 2019-12-31 | 2019-12-31 | 变电站巡检机器人辅助避障训练方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111209832A true CN111209832A (zh) | 2020-05-29 |
| CN111209832B CN111209832B (zh) | 2023-07-25 |
Family
ID=70786447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911414713.1A Active CN111209832B (zh) | 2019-12-31 | 2019-12-31 | 变电站巡检机器人辅助避障训练方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111209832B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712052A (zh) * | 2021-01-13 | 2021-04-27 | 安徽水天信息科技有限公司 | 一种机场全景视频中微弱目标的检测识别方法 |
| CN112990198A (zh) * | 2021-03-22 | 2021-06-18 | 华南理工大学 | 一种用于水表读数的检测识别方法、系统及存储介质 |
| CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
| CN113505642A (zh) * | 2021-06-04 | 2021-10-15 | 北京大学 | 提升目标重识别泛化性的方法、装置、设备及存储介质 |
| CN114663397A (zh) * | 2022-03-22 | 2022-06-24 | 小米汽车科技有限公司 | 可行驶区域的检测方法、装置、设备及存储介质 |
| CN117475067A (zh) * | 2023-12-28 | 2024-01-30 | 江西农业大学 | 基于神经辐射场的大田渲染可视化快速渲染方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN109212973A (zh) * | 2018-11-05 | 2019-01-15 | 北京交通大学 | 一种基于强化学习的仿人智能控制的避障控制方法 |
| CN109407676A (zh) * | 2018-12-20 | 2019-03-01 | 哈尔滨工业大学 | 基于DoubleDQN网络和深度强化学习的移动机器人避障方法 |
| CN110598603A (zh) * | 2019-09-02 | 2019-12-20 | 深圳力维智联技术有限公司 | 人脸识别模型获取方法、装置、设备和介质 |
-
2019
- 2019-12-31 CN CN201911414713.1A patent/CN111209832B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN109212973A (zh) * | 2018-11-05 | 2019-01-15 | 北京交通大学 | 一种基于强化学习的仿人智能控制的避障控制方法 |
| CN109407676A (zh) * | 2018-12-20 | 2019-03-01 | 哈尔滨工业大学 | 基于DoubleDQN网络和深度强化学习的移动机器人避障方法 |
| CN110598603A (zh) * | 2019-09-02 | 2019-12-20 | 深圳力维智联技术有限公司 | 人脸识别模型获取方法、装置、设备和介质 |
Non-Patent Citations (5)
| Title |
|---|
| 玉圣龙: "基于节点信息的方言语音", pages 50 - 60 * |
| 钟宇平;王丽丹;段书凯;张凤运;李波;: "基于神经网络及强化学习的智能控制系统" * |
| 钟宇平;王丽丹;段书凯;张凤运;李波;: "基于神经网络及强化学习的智能控制系统", 西南大学学报(自然科学版), no. 11 * |
| 陈平;刘国海;: "基于RBF神经网络的MOTOMAN-UPJ型机器人运动学逆解" * |
| 陈平;刘国海;: "基于RBF神经网络的MOTOMAN-UPJ型机器人运动学逆解", 机床与液压, no. 12 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712052A (zh) * | 2021-01-13 | 2021-04-27 | 安徽水天信息科技有限公司 | 一种机场全景视频中微弱目标的检测识别方法 |
| CN112990198A (zh) * | 2021-03-22 | 2021-06-18 | 华南理工大学 | 一种用于水表读数的检测识别方法、系统及存储介质 |
| CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
| CN113505642A (zh) * | 2021-06-04 | 2021-10-15 | 北京大学 | 提升目标重识别泛化性的方法、装置、设备及存储介质 |
| CN113505642B (zh) * | 2021-06-04 | 2023-10-24 | 北京大学 | 提升目标重识别泛化性的方法、装置、设备及存储介质 |
| CN114663397A (zh) * | 2022-03-22 | 2022-06-24 | 小米汽车科技有限公司 | 可行驶区域的检测方法、装置、设备及存储介质 |
| CN117475067A (zh) * | 2023-12-28 | 2024-01-30 | 江西农业大学 | 基于神经辐射场的大田渲染可视化快速渲染方法及装置 |
| CN117475067B (zh) * | 2023-12-28 | 2024-03-08 | 江西农业大学 | 基于神经辐射场的大田渲染可视化快速渲染方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111209832B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209832B (zh) | 变电站巡检机器人辅助避障训练方法、设备及介质 | |
| CN111259850B (zh) | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 | |
| CN110781838B (zh) | 一种复杂场景下行人的多模态轨迹预测方法 | |
| CN111325347B (zh) | 基于可解释视觉推理模型的危险预警描述自动生成方法 | |
| CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
| CN108921107B (zh) | 基于排序损失和Siamese网络的行人再识别方法 | |
| CN106127204A (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
| CN110555420B (zh) | 一种基于行人区域特征提取和重识别融合模型网络及方法 | |
| Wang et al. | Research on image recognition of insulators based on YOLO algorithm | |
| CN104318198A (zh) | 适用于变电站机器人巡检的识别方法及装置 | |
| CN110163069A (zh) | 用于辅助驾驶的车道线检测方法 | |
| CN108108716A (zh) | 一种基于深度信念网络的回环检测方法 | |
| CN110059646A (zh) | 训练动作规划模型的方法及目标搜索方法 | |
| CN114283285A (zh) | 交叉一致性自训练遥感图像语义分割网络训练方法及装置 | |
| CN116503399A (zh) | 基于yolo-afps的绝缘子污闪检测方法 | |
| CN112084860A (zh) | 目标对象检测、火力发电厂检测方法和装置 | |
| CN108182410A (zh) | 一种联合目标区域定位和深度特征学习的跌倒识别算法 | |
| Xingxin et al. | Adaptive auxiliary input extraction based on vanishing point detection for distant object detection in high-resolution railway scene | |
| CN118097709A (zh) | 一种猪只姿态估计方法及装置 | |
| CN112377332B (zh) | 一种基于计算机视觉的火箭发动机极性测试方法及系统 | |
| CN108985385A (zh) | 基于生成对抗学习的快速弱监督目标检测方法 | |
| Lu et al. | Hybrid deep learning based moving object detection via motion prediction | |
| CN117079026A (zh) | 一种基于改进YOLOv3网络的无人机电力巡检隐患识别方法 | |
| CN110826478A (zh) | 一种基于对抗网络的航拍违建识别方法 | |
| CN114140524B (zh) | 一种多尺度特征融合的闭环检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211011 Address after: 3 / F, xindongyuan North building, 3501 Chengfu Road, Haidian District, Beijing 100083 Applicant after: HUARUI XINZHI TECHNOLOGY (BEIJING) Co.,Ltd. Applicant after: Huarui Xinzhi Baoding Technology Co.,Ltd. Address before: Room 91818, floor 9, building 683, zone 2, No. 5, Zhongguancun South Street, Haidian District, Beijing 100083 Applicant before: HUARUI XINZHI TECHNOLOGY (BEIJING) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |