CN114943904A - 一种基于无人机巡检的作业监测方法 - Google Patents

一种基于无人机巡检的作业监测方法 Download PDF

Info

Publication number
CN114943904A
CN114943904A CN202210639001.5A CN202210639001A CN114943904A CN 114943904 A CN114943904 A CN 114943904A CN 202210639001 A CN202210639001 A CN 202210639001A CN 114943904 A CN114943904 A CN 114943904A
Authority
CN
China
Prior art keywords
point
aerial vehicle
unmanned aerial
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210639001.5A
Other languages
English (en)
Inventor
王神玉
张泽
戴永东
王茂飞
毛锋
方成
张韧
周燚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202210639001.5A priority Critical patent/CN114943904A/zh
Publication of CN114943904A publication Critical patent/CN114943904A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于无人机巡应用技术领域，尤其涉及一种基于无人机巡检的作业监测方法。包括如下步骤：通过标记物对待测对象进行标记，通过无人机巡检对随目标移动变化的标记物进行监测；将无人机巡检采集得到的图像进行灰度转换处理；通过灰度压缩的方法构建灰度叠加信息图；确定空间矩阵；确定需要的特征点；基于加速鲁棒特征算法生成前述特征点的角度特征描述；确定被标记对象的尺度参数、位移或者行动轨迹。本申请的基于无人机巡检的作业监测方法在无人机巡检技术的基础上，为实作业对象监测定位提供了低成本、便捷和快速的技术方案，该方案灵活性高，监测方法简单高效。

Description

一种基于无人机巡检的作业监测方法
技术领域
本申请属于无人机巡应用技术领域，尤其涉及一种基于无人机巡检的作业监测方法。
背景技术
在一些用于特定项目和任务临时和紧急配电作业进行过程中，为提高作业速度，缩短作业周期，往往需要在配电网延伸区域进行多点不同作业，以期能够在较短的时间内建立和完善完整的配电基础，在此过程中，为保证不同区域作业项目的完整性，需要对分布在不同作业区域内的特定目标进行协调统一，以保证作业技术后输电线路或者结构之间配合正确，线路结构科学稳定，这需要对于目标空间位置以及位移信息等因素进行持续监测和管控，由于作业范围较大，不同作业区域空间距离较远，海拔以及环境特点不一，因此往往难以有效执行，导致最终采集得到的监测和管控数据存在较大误差
发明内容
本申请的目的在于，提供一种能够基于无人机巡检作业，能够用于对多作业项目的特定目标空间和位置信息进行持续监测的作业监测方法。
为实现上述目的，本申请采用如下技术方案。
一种基于无人机巡检的作业监测方法，包括如下步骤
a1.通过标记物对待测对象进行标记，通过无人机巡检对随目标移动变化的标记物进行监测；
a2.将无人机巡检采集得到的图像进行灰度转换处理，以降低曝光以及天气变化对于图像特征信息的影响程度；
a3.通过灰度压缩的方法将图像不同坐标处的灰度信息进行矩形压缩，从提取灰度特征构建灰度叠加信息图Ii(x,y)；
Figure BDA0003680503490000021
I(x,y)是指图像压缩前像素坐标为(x,y)的点的灰度值；Ii(x,y)为压缩后图像像素坐标为(xi,yi)的点的灰度值；像素坐标原点位于图像的角点；
a4.得到灰度叠加信息图Ii(x,y)之后，为便于确定图像在尺度空间r的特征点定位，以灰度叠加信息图确定空间矩阵R(x,y,r)；
Figure BDA0003680503490000022
其中Rxx是指灰度叠加信息图内像素坐标为(x,y)的点与二阶偏导
Figure BDA0003680503490000023
的卷积；Ryy是指灰度叠加信息图内像素坐标为(x,y)的点与二阶偏导
Figure BDA0003680503490000024
的卷积；Rxy是指灰度叠加信息图内像素坐标为(x,y)的点与二阶偏导
Figure BDA0003680503490000025
的卷积；其中G(r)为卷积函数；
a5.在不同空间尺度r下确定空间矩阵R(x,y,r)之后，寻找特征点判断函数
Figure BDA0003680503490000026
上的极值点Ir,j(x,y)，并将极值点Ir,j(x,y)的像素值与相邻像素点的灰度叠加信息图Ii(x,y)对应点的像素进行比较，若该极值点极值点Ir,j(x,y)的像素值为最大，则确定为需要的特征点；
a6.基于加速鲁棒特征算法生成前述特征点的角度特征描述并在此基础上基于前述特征点和角度特征描述实现标记物特征的匹配定位；角度描述特征的计算过程中需要确定每个特征点的方向特征向量；
a7.获取监测图像，基于前述步骤定位图像中的标记物，提取标记物面积和坐标，根据标记物的面积和坐标确定被标记对象的尺度参数、位移或者行动轨迹。
对前述基于无人机巡检的作业监测方法的进一步改进或者优选实施方案，所述步骤a6具体是指：
a61.基于前述步骤a4确定的特征点，基于加速鲁棒特征算法构建以特征点为圆心6S为半径的监测区；
a62.计算位于监测区内所有特征点在坐标方向上的Haar响应值，其中S为尺度因子；
a63.建立以特征点为圆心6S为半径分割监测区形成6个等分扇形区，确定每个扇形区内部特征点的Haar响应至累加量，以类加量最大的方向作为特征点方向；
a64.基于前述步骤得到各特征点的主方向，对于对于每个特征点，将图像空间坐标转换至主方向(将其中一个轴方向调整至主方向)后；
a65.基于变换后图像建立尺度为(20S)2的矩形特征匹配区，将前述矩形特征匹配区分割为42特征提取分区；
a66.计算各区2S尺度下的Haar响应值d2s,x,d2s,y,并累加得到主方向特征向量u＝(∑d2s,x,∑d2s,y,|∑d2s,x|,|∑d2s,y|)；进行归一化处理的得到每个特征点的方向特征向量；a56、以特征点以及方向特征向量为基础，基于最近邻搜索即可最终确定图像内符合标记物特征的点，进而定位标记物。
对前述基于无人机巡检的作业监测方法的进一步改进或者优选实施方案，卷积函数G(r)采用盒子滤波器或者高斯滤波器
Figure BDA0003680503490000031
对前述基于无人机巡检的作业监测方法的进一步改进或者优选实施方案，利用基于深度学习网络实现大量数据的自动化识别处理，并根据标记物的位移信息对被测对象的位移或特定方向的尺寸变化进行监测。
对前述基于无人机巡检的作业监测方法的进一步改进或者优选实施方案，具体是指，使用以下步骤a8替换a6，所述步骤a8具体包括：
基于前述步骤提取的特征点构成特征图，根据特征图对深度学习网络的上采样层参数进行初始化开展训练迭代；
基于深度学习网络的下采样层降低训练过程和模型过拟合程度；
基于深度学习网络的全连接层将提取得到的特征映射至标记空间，根据输入向量及权重计算点积并传递至激活函数；
基于区域推荐网络RPN以特征图为基础生成候选区域，在生成候选区的过程中，利用与输入卷积特征图的空间窗口完全相连的若干锚点框点框在最终卷积层输出的特征图上进行滑动，将滑动窗口的数据映射至中间层低维向量，得到数量为锚点框点框数量4倍的角点坐标构成的回归层，以及数量为锚点框点框数量2倍的归属概率构成的分类层，归属概率包括候选区属于和不属于监测目标的概率两个参数；基于全连接层和归属概率计算每个候选区的类别，基于角点坐标计算候选区坐标以修正监测区。
对前述基于无人机巡检的作业监测方法的进一步改进或者优选实施方案，在进行区域推荐网络RPN的训练过程中，利用损失函数计算预测值与样本值之间的误差，本实施例中，损失函数定义为：
Figure BDA0003680503490000041
其中Pi是指第i个锚点框内元素属于目标的预测概率，Pi *是真实标签，当锚点框内元素属于积极样本时，Pi *＝1，当锚点框内元素属于消极样本时，Pi *＝0；Lc是分类层的损失值，Lr是回归层的损失值，ti是用于表示预测框角点坐标的向量，
Figure BDA0003680503490000042
是用于表示真实框角点坐标的向量；具体计算方法如下：
ti＝[tx,ty,tw,th]＝[(x-xi)/wi,(x-xi)/hi,log(w/wi),log(h/hi)]
Figure BDA0003680503490000043
其中x,y是指预测框的中心点坐标，w,h分别是指预测框的宽度和高度；其中xi,yi是指锚点框的中心点坐标，wi,hi分别是指锚点框的宽度和高度；其中
Figure BDA0003680503490000044
是指真实框的中心点坐标，
Figure BDA0003680503490000045
分别是指真实框的宽度和高度。
其有益效果在于：
本申请的基于无人机巡检的作业监测方法在无人机巡检技术的基础上，为实作业对象监测定位提供了低成本、便捷和快速的技术方案，该方案灵活性高，监测方法简单高效，通过多点数据的高效处理和分析，可以方便的实现对作业现场各类参数结构数据的快速收集处理，泛用性好，对设备需求低。
附图说明
图1是扇形监测区划分方法示意图。
具体实施方式
以下结合具体实施例对本申请作详细说明。
考虑到实际作业现场需要监测控制的设备、设施或结构类型多样，为便于对实际目标的统一管理和分析，结合现在无人机巡检监测管理设备的广泛应用，本发明剔除可以给予移动端智能采集，配合目标标记物和标记物位移提取相结合的基于无人机巡检的作业监测方法。
a1.具体实施时，首先需要通过特定的标记物对待测对象进行标记，通过无人机监测设备对随目标移动变化的标记物在系列监测图像中的标记物的位移信息对待测对象的位移信息进行提取表达。其中标记物是可用于对作业项目的内容或进度进行表达和界定的已知对象，最好是作业过程中需要稳定使用的特定建筑结构或者特定设备或者其他类型的可在监测图像中能够便于识别提取的对象，例如，对于配电网线路铺设项目而言，其可以是与线路延伸方向和高度分布直接关联的系列尺寸标准一致的横担，也可以是横担上的绝缘子等，在实际实施时，需要根据对象的识别难度以及与待测数据的关联程度来进行选取，优先选取识别难度较低以及与待测对象的关联程度较高的，识别难度较低是指具有更明显的可识别要素；
在确定和选择了标记物之后，需要基于标记物的可识别要素建立相应标记物的识别框架，建立识别框架可以基于机器识别技术来实现，具体实施时
虽然通过人工分辨能够迅速从各类监测图像中对标记物进行定位，但针对海量的监测数据以及机器识别技术来说，需要利用特征匹配识别等方法将标记物的各类特征进行抽取，以便于计算机能够对相应标记物进行有效识别；
a2.为了提高识别效率，需要将采集得到的图像进行灰度转换处理，以降低曝光以及天气变化对于图像特征信息的影响程度；
a3.通过灰度压缩的方法将图像不同坐标处的灰度信息进行矩形压缩，从(含有标记物的训练图像中)提取灰度特征构建灰度叠加信息图Ii(x,y)；
Figure BDA0003680503490000061
I(x,y)是指图像压缩前像素坐标为(x,y)的点的灰度值；Ii(x,y)为压缩后图像像素坐标为(xi,yi)的点的灰度值；像素坐标原点位于图像的角点；
a4.得到灰度叠加信息图Ii(x,y)之后，为便于确定图像在尺度空间r的特征点定位，以灰度叠加信息图确定空间矩阵R(x,y,r)；
Figure BDA0003680503490000062
其中Rxx是指灰度叠加信息图内像素坐标为(x,y)的点与二阶偏导
Figure BDA0003680503490000063
的卷积；Ryy是指灰度叠加信息图内像素坐标为(x,y)的点与二阶偏导
Figure BDA0003680503490000064
的卷积；Rxy是指灰度叠加信息图内像素坐标为(x,y)的点与二阶偏导
Figure BDA0003680503490000065
的卷积；其中G(r)为卷积函数；本实施例中卷积函数G(r)采用盒子滤波器或者高斯滤波器
Figure BDA0003680503490000066
a5.在不同空间尺度r下确定空间矩阵R(x,y,r)之后，寻找特征点判断函数
Figure BDA0003680503490000067
上的极值点Ir,j(x,y)，并将极值点Ir,j(x,y)的像素值与相邻像素点的灰度叠加信息图Ii(x,y)对应点的像素进行比较，若该极值点极值点Ir,j(x,y)的像素值为最大，则确定为需要的特征点；
a6.在实际标记物提取过程中，由于作业操作或者图像采集的原因，会导致标记物在原始图像中的角度并不一致，为了能够在所有图像中准确的定位标记物，本申请中基于加速鲁棒特征算法生成前述特征点的角度特征描述并在此基础上基于前述特征点和角度特征描述实现标记物特征的匹配定位；角度描述特征的计算过程中需要确定每个特征点的方向特征向量，具体步骤是：
a67.基于前述步骤a4确定的特征点，基于加速鲁棒特征算法构建以特征点为圆心6S为半径的监测区；
a68.计算位于监测区内所有特征点在坐标方向上的Haar响应值，其中S为尺度因子；
a69.建立以特征点为圆心6S为半径分割监测区形成6个等分扇形区，如图1所示，确定每个扇形区内部特征点的Haar响应至累加量，以类加量最大的方向作为特征点方向；
a610.基于前述步骤得到各特征点的主方向，对于对于每个特征点，将图像空间坐标转换至主方向(将其中一个轴方向调整至主方向)后；
a611.基于变换后图像建立尺度为(20S)2的矩形特征匹配区，将前述矩形特征匹配区分割为42特征提取分区；
a612.计算各区2S尺度下的Haar响应值d2s,x,d2s,y,并累加得到主方向特征向量u＝(∑d2s,x,∑d2s,y,|∑d2s,x|,|∑d2s,y|)；进行归一化处理的得到每个特征点的方向特征向量；a66以特征点以及方向特征向量为基础，基于最近邻搜索即可最终确定图像内符合标记物特征的点，进而定位标记物；
a7.获取监测图像，基于前述步骤定位图像中的标记物，提取标记物面积和坐标，根据标记物的面积和坐标确定被标记对象的尺度参数、位移或者行动轨迹。
特别的，在实际实基于无人机巡检的作业监测过程中，往往涉及到大量仅对于被测对象的位移参数进行持续实时监测的内容，在此情况下，涉及到大量对于图像中标记物位移的持续监测的同时一般不需要考虑步骤a6中涉及到的特征方向问题，针对此种情况，可以利用以下步骤a8代替原步骤a6，基于深度学习网络实现大量数据的自动化识别处理，并根据标记物的位移信息对被测对象的位移或特定方向的尺寸变化进行监测，a8步骤具体包括：
基于前述步骤提取的特征点构成特征图，根据特征图对深度学习网络的上采样层参数进行初始化开展训练迭代；
基于深度学习网络的下采样层降低训练过程和模型过拟合程度；
基于深度学习网络的全连接层将提取得到的特征映射至标记空间，根据输入向量及权重计算点积并传递至激活函数；
基于区域推荐网络RPN以特征图为基础生成候选区域，在生成候选区的过程中，利用与输入卷积特征图的空间窗口完全相连的若干锚点框点框在最终卷积层输出的特征图上进行滑动，将滑动窗口的数据映射至中间层低维向量，得到数量为锚点框点框数量4倍的角点坐标构成的回归层，以及数量为锚点框点框数量2倍的归属概率构成的分类层，归属概率包括候选区属于和不属于监测目标的概率两个参数；基于全连接层和归属概率计算每个候选区的类别，基于角点坐标计算候选区坐标以修正监测区；
特别的，在进行区域推荐网络RPN的训练过程中，利用损失函数计算预测值与样本值之间的误差，本实施例中，损失函数定义为：
Figure BDA0003680503490000081
其中Pi是指第i个锚点框内元素属于目标的预测概率，Pi *是真实标签，当锚点框内元素属于积极样本时，Pi *＝1，当锚点框内元素属于消极样本时，Pi *＝0；Lc是分类层的损失值，Lr是回归层的损失值，ti是用于表示预测框角点坐标的向量，
Figure BDA0003680503490000082
是用于表示真实框角点坐标的向量；具体计算方法如下：
ti＝[tx,ty,tw,th]＝[(x-xi)/wi,(x-xi)/hi,log(w/wi),log(h/hi)]
Figure BDA0003680503490000083
其中x,y是指预测框的中心点坐标，w,h分别是指预测框的宽度和高度；其中xi,yi是指锚点框的中心点坐标，wi,hi分别是指锚点框的宽度和高度；其中
Figure BDA0003680503490000084
是指真实框的中心点坐标，
Figure BDA0003680503490000085
分别是指真实框的宽度和高度；
最后应当说明的是，以上实施例仅用以说明本申请的技术方案，而非对本申请保护范围的限制，尽管参照较佳实施例对本申请作了详细地说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或者等同替换，而不脱离本申请技术方案的实质和范围。

Claims (6)

1.一种基于无人机巡检的作业监测方法，其特征在于，包括如下步骤
a1.通过标记物对待测对象进行标记，通过无人机巡检对随目标移动变化的标记物进行监测；
a2.将无人机巡检采集得到的图像进行灰度转换处理，以降低曝光以及天气变化对于图像特征信息的影响程度；
a3.通过灰度压缩的方法将图像不同坐标处的灰度信息进行矩形压缩，从提取灰度特征构建灰度叠加信息图Ii(x,y)；
Figure FDA0003680503480000011
I(x,y)是指图像压缩前像素坐标为(x,y)的点的灰度值；Ii(x,y)为压缩后图像像素坐标为(xi,yi)的点的灰度值；像素坐标原点位于图像的角点；
a4.得到灰度叠加信息图Ii(x,y)之后，为便于确定图像在尺度空间r的特征点定位，以灰度叠加信息图确定空间矩阵R(x,y,r)；
Figure FDA0003680503480000012
其中Rxx是指灰度叠加信息图内像素坐标为(x,y)的点与二阶偏导
Figure FDA0003680503480000013
的卷积；Ryy是指灰度叠加信息图内像素坐标为(x,y)的点与二阶偏导
Figure FDA0003680503480000014
的卷积；Rxy是指灰度叠加信息图内像素坐标为(x,y)的点与二阶偏导
Figure FDA0003680503480000015
的卷积；其中G(r)为卷积函数；
a5.在不同空间尺度r下确定空间矩阵R(x,y,r)之后，寻找特征点判断函数
Figure FDA0003680503480000016
上的极值点Ir,j(x,y)，并将极值点Ir,j(x,y)的像素值与相邻像素点的灰度叠加信息图Ii(x,y)对应点的像素进行比较，若该极值点极值点Ir,j(x,y)的像素值为最大，则确定为需要的特征点；
a6.基于加速鲁棒特征算法生成前述特征点的角度特征描述并在此基础上基于前述特征点和角度特征描述实现标记物特征的匹配定位；角度描述特征的计算过程中需要确定每个特征点的方向特征向量；
a7.获取监测图像，基于前述步骤定位图像中的标记物，提取标记物面积和坐标，根据标记物的面积和坐标确定被标记对象的尺度参数、位移或者行动轨迹。
2.根据权利要求1所述的一种基于无人机巡检的作业监测方法，其特征在于，所述步骤a6具体是指：
a61.基于前述步骤a4确定的特征点，基于加速鲁棒特征算法构建以特征点为圆心6S为半径的检测区；
a62.计算位于检测区内所有特征点在坐标方向上的Haar响应值，其中S为尺度因子；
a63.建立以特征点为圆心6S为半径分割检测区形成6个等分扇形区，确定每个扇形区内部特征点的Haar响应至累加量，以类加量最大的方向作为特征点方向；
a64.基于前述步骤得到各特征点的主方向，对于对于每个特征点，将图像空间坐标转换至主方向后；
a65.基于变换后图像建立尺度为(20S)2的矩形特征匹配区，将前述矩形特征匹配区分割为42特征提取分区；
a66.计算各区2S尺度下的Haar响应值d2s,x,d2s,y,并累加得到主方向特征向量u＝(∑d2s,x,∑d2s,y,|∑d2s,x|,|∑d2s,y|)；进行归一化处理的得到每个特征点的方向特征向量；a56、以特征点以及方向特征向量为基础，基于最近邻搜索即可最终确定图像内符合标记物特征的点，进而定位标记物。
3.根据权利要求1所述的一种基于无人机巡检的作业监测方法，其特征在于，卷积函数G(r)采用盒子滤波器或者高斯滤波器
Figure FDA0003680503480000021
4.根据权利要求1所述的一种基于无人机巡检的作业监测方法，其特征在于，利用基于深度学习网络实现大量数据的自动化识别处理，并根据标记物的位移信息对被测对象的位移或特定方向的尺寸变化进行监测。
5.根据权利要求4所述的一种基于无人机巡检的作业监测方法，其特征在于，具体是指，使用以下步骤a8替换a6，所述步骤a8具体包括：
基于前述步骤提取的特征点构成特征图，根据特征图对深度学习网络的上采样层参数进行初始化开展训练迭代；
基于深度学习网络的下采样层降低训练过程和模型过拟合程度；
基于深度学习网络的全连接层将提取得到的特征映射至标记空间，根据输入向量及权重计算点积并传递至激活函数；
基于区域推荐网络RPN以特征图为基础生成候选区域，在生成候选区的过程中，利用与输入卷积特征图的空间窗口完全相连的若干锚点框点框在最终卷积层输出的特征图上进行滑动，将滑动窗口的数据映射至中间层低维向量，得到数量为锚点框点框数量4倍的角点坐标构成的回归层，以及数量为锚点框点框数量2倍的归属概率构成的分类层，归属概率包括候选区属于和不属于检测目标的概率两个参数；基于全连接层和归属概率计算每个候选区的类别，基于角点坐标计算候选区坐标以修正检测区。
6.根据权利要求5所述的一种基于无人机巡检的作业监测方法，其特征在于，在进行区域推荐网络RPN的训练过程中，利用损失函数计算预测值与样本值之间的误差，损失函数定义为：
Figure FDA0003680503480000031
其中Pi是指第i个锚点框内元素属于目标的预测概率，Pi *是真实标签，当锚点框内元素属于积极样本时，Pi *＝1，当锚点框内元素属于消极样本时，Pi *＝0；Lc是分类层的损失值，Lr是回归层的损失值，ti是用于表示预测框角点坐标的向量，
Figure FDA0003680503480000032
是用于表示真实框角点坐标的向量；具体计算方法如下：
ti＝[tx,ty,tw,th]＝[(x-xi)/wi,(x-xi)/hi,log(w/wi),log(h/hi)]
Figure FDA0003680503480000041
其中x,y是指预测框的中心点坐标，w,h分别是指预测框的宽度和高度；其中xi,yi是指锚点框的中心点坐标，wi,hi分别是指锚点框的宽度和高度；其中
Figure FDA0003680503480000042
是指真实框的中心点坐标，
Figure FDA0003680503480000043
分别是指真实框的宽度和高度。
CN202210639001.5A 2022-06-07 2022-06-07 一种基于无人机巡检的作业监测方法 Pending CN114943904A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210639001.5A CN114943904A (zh) 2022-06-07 2022-06-07 一种基于无人机巡检的作业监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210639001.5A CN114943904A (zh) 2022-06-07 2022-06-07 一种基于无人机巡检的作业监测方法

Publications (1)

Publication Number Publication Date
CN114943904A true CN114943904A (zh) 2022-08-26

Family

ID=82909574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210639001.5A Pending CN114943904A (zh) 2022-06-07 2022-06-07 一种基于无人机巡检的作业监测方法

Country Status (1)

Country Link
CN (1) CN114943904A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994947A (zh) * 2023-03-22 2023-04-21 万联易达物流科技有限公司 基于定位的智能打卡的估算方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246168A (zh) * 2019-06-19 2019-09-17 中国矿业大学 一种移动巡检机器人双目图像拼接的特征匹配方法
CN111784685A (zh) * 2020-07-17 2020-10-16 国网湖南省电力有限公司 一种基于云边协同检测的输电线路缺陷图像识别方法
WO2021129569A1 (zh) * 2019-12-25 2021-07-01 神思电子技术股份有限公司 一种人体动作识别方法
CN114529817A (zh) * 2022-02-21 2022-05-24 东南大学 基于注意力神经网络的无人机光伏故障诊断及定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246168A (zh) * 2019-06-19 2019-09-17 中国矿业大学 一种移动巡检机器人双目图像拼接的特征匹配方法
WO2021129569A1 (zh) * 2019-12-25 2021-07-01 神思电子技术股份有限公司 一种人体动作识别方法
CN111784685A (zh) * 2020-07-17 2020-10-16 国网湖南省电力有限公司 一种基于云边协同检测的输电线路缺陷图像识别方法
CN114529817A (zh) * 2022-02-21 2022-05-24 东南大学 基于注意力神经网络的无人机光伏故障诊断及定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戴永东: "基于定点化自适应选择卷积神经网络的电力缺陷识别方法", 高电压技术, vol. 47, no. 11, 30 November 2021 (2021-11-30), pages 1 - 10 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994947A (zh) * 2023-03-22 2023-04-21 万联易达物流科技有限公司 基于定位的智能打卡的估算方法

Similar Documents

Publication Publication Date Title
CN112199993B (zh) 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN112165684B (zh) 基于联合视觉和无线信号特征的高精度室内定位方法
CN113554595B (zh) 无人机激光雷达点云杆塔塔头形变检测装置及方法
Zhong et al. A method for litchi picking points calculation in natural environment based on main fruit bearing branch detection
CN114973002A (zh) 一种基于改进的YOLOv5的麦穗检测方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN114241364A (zh) 一种架空输电线路异物目标快速标定方法
CN111967323B (zh) 一种基于深度学习算法的电力带电作业安全检测方法
CN112581386B (zh) 一种全自动避雷器检测与跟踪方法
CN112802070A (zh) 一种基于多描述子投票的飞机蒙皮局部点云定位方法
CN110567383A (zh) 基于结构森林和亚像素的受电弓磨耗预警系统及检测方法
CN114943904A (zh) 一种基于无人机巡检的作业监测方法
CN111383273B (zh) 一种基于改进结构推理网络的高铁接触网零部件定位方法
CN115331000A (zh) 一种基于orb算法的弓网运行状态检测方法
CN117288094B (zh) 基于激光传感器的掘进机实时定位系统
CN114973116A (zh) 一种自注意力特征嵌入夜间机场跑道异物检测方法与系统
CN115311617A (zh) 城轨车站区域客流信息获取方法及系统
CN116222579B (zh) 一种基于建筑施工的无人机巡察方法及系统
CN117274627A (zh) 一种基于图像转换的多时相积雪遥感图像匹配方法及系统
CN113316080A (zh) 基于Wi-Fi与图像融合指纹的室内定位方法
Lu et al. Design and implement of control system for power substation equipment inspection robot
Zhu et al. Automatic utility pole inclination angle measurement using unmanned aerial vehicle and deep learning
CN115685222B (zh) 一种基于激光点云数据的电力线塔架自动检测方法
CN116862952B (zh) 一种用于相似背景条件下的变电站作业人员视频追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination