CN108871409A - 一种故障检测方法和系统 - Google Patents
一种故障检测方法和系统 Download PDFInfo
- Publication number
- CN108871409A CN108871409A CN201810411306.4A CN201810411306A CN108871409A CN 108871409 A CN108871409 A CN 108871409A CN 201810411306 A CN201810411306 A CN 201810411306A CN 108871409 A CN108871409 A CN 108871409A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- camera
- detected
- algorithm
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 69
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 230000005540 biological transmission Effects 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000003745 diagnosis Methods 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims description 48
- 238000003708 edge detection Methods 0.000 claims description 20
- 230000004888 barrier function Effects 0.000 claims description 8
- 230000007257 malfunction Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000005336 cracking Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 239000003973 paint Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000004043 responsiveness Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 14
- VAYOSLLFUXYJDT-RDTXWAMCSA-N Lysergic acid diethylamide Chemical compound C1=CC(C=2[C@H](N(C)C[C@@H](C=2)C(=O)N(CC)CC)C2)=C3C2=CNC3=C1 VAYOSLLFUXYJDT-RDTXWAMCSA-N 0.000 description 13
- 238000000034 method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005183 dynamical system Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- -1 forest Chemical compound 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明故障检测系统，包括无人机和与其通信连接的地面服务器；无人机包括避障模块、飞控模块、处理器、图传相机、图传模块和寻迹相机；避障模块、飞控模块、图传相机、寻迹相机均与处理器通信连接；图传相机和地面服务器均与图传模块通信连接；故障检测方法步骤：无人机飞到被检测物体的正前方；处理器运行全轮廓提取算法完成被检测物体轮廓的提取并确定扫描方向；图传相机按照扫描方向对被检测物体的局部部件进行扫描并拍摄；处理器运行局部轮廓提取算法并输出局部部件与成像平面的方位角；飞控模块运行寻迹算法，图传相机采集局部部件的图像信息并发送到地面服务器；地面服务器运行深度神经网络算法对图像信息进行分析完成故障诊断分类。
Description
技术领域
本发明涉及故障检测技术领域，具体涉及一种故障检测方法和系统。
背景技术
大型机械设备在使用的过程中容易出现外观损坏，因此需要定期对设备进行检测，但是由于设备体积较大或放置较高，增加了检测的难度，造成检测效率低下，检测效果较差。
传统的检测方式采用人工通过望远镜观测的方式检查设备是否完好，由于设备体积较大，所以观测点不易选择且观测人员工作强度大；此外，通过升降机或吊篮下放人员目测检测的方式也是常规方式之一，但需要架设一定的设备配合人员高空作业，成本较高且安全事故多发。
目前较为便捷的方式是采用无人机拍摄目标设备，图像回送给地面，地面人员对故障进行判读，该方法对无人机操作手的技术要求较高，需要进行稳定的全轮廓绕飞，并对每个目标设备进行大量拍摄以完成外观图像采集；根据目标设备的不同，照片数量不一，但通常都是数以万计的照片，导致判读人员的工作量过大，容易因人员疲劳造成漏判和误判的情况发生。
针对上述问题，拟采用无人机按照预先设定的寻迹算法实现对指定设备进行扫描拍摄，然后通过无线图传的方式将扫描图像实时传送到地面服务器，并在地面服务器中采用深度神经网络技术完成设备故障的智能检测和分析。
发明内容
本发明的目的在于提供一种故障检测方法和系统，用以解决现有的大型设备外观检测效率低且精度差的问题。
为实现上述目的，本发明的技术方案为
一种故障检测系统，包括无人机和与其通信连接的地面服务器；所述无人机包括避障模块、飞控模块、处理器、图传相机、图传模块和寻迹相机；所述避障模块、飞控模块、图传相机、寻迹相机均与所述处理器通信连接；所述图传相机和所述地面服务器均与所述图传模块通信连接；
所述避障模块用于提供无人机到障碍物的距离信息；
所述图传相机用于按照预设的扫描方向对被检测物体件进行扫描并拍照；
所述图传模块用于将采集到的图像信息发送到所述地面服务器；
所述飞控模块用于运行寻迹算法，使所述无人机按照预设的路径飞行；
所述地面服务器用于运行深度神经网络算法对接收到的图像信息进行分析以完成对被检测物体的故障诊断分类；
所述寻迹相机用于对被检测物体进行拍照。
一种故障检测方法，用于所述故障检测系统，包括步骤：
所述无人机飞到被检测物体的正前方以确保所述寻迹相机能够拍摄完整的被检测物体；
在所述无人机初次寻迹时，所述处理器运行全轮廓提取算法完成被检测物体整个轮廓的提取，并且输出被检测物体各个局部部件与成像平面的方位角；
根据所述避障模块提供的障碍物的距离信息和所述寻迹相机提供的成像平面的方位角确定扫描方向，所述图传相机按照所述扫描方向对被检测物体的局部部件进行扫描；
所述处理器运行局部轮廓提取算法并输出所述局部部件与所述成像平面的方位角；
所述飞控模块运行寻迹算法，所述图传相机采集所述局部部件的图像信息并通过所述图传模块将所述图像信息发送到所述地面服务器；
所述地面服务器运行深度神经网络算法对接收到的所述图像信息进行分析以完成对被检测物体的故障诊断分类。
其中，在所述无人机初次寻迹时，所述处理器运行全轮廓提取算法完成被检测物体整个轮廓的提取，并且输出被检测物体各个局部部件与成像平面的方位角包括：
通过Canny边缘检测算子与Hough变换相结合实现被检测物体的全轮廓检测；
通过Hough变换计算各局部部件与成像平面的方位角。
其中，所述Canny边缘检测算子通过高斯滤波器对图像进行平滑处理，并实行非极值抑制以取得图像的边缘；
所述高斯滤波器选择的二维高斯函数为：
在某一方向n上G(x,y)的一阶方向导数为：
式中，n表示方向，为梯度矢量；
将图像函数f(x,y)和一阶方向导数Gn进行卷积得到：k＝f(x,y)*Gn，通过改变n的角度得到k的最大值，对应检测边缘的方向相互正交。
其中，所述Hough变换用于对二值图像进行直线检测；
在标准参数化方式下平面直角坐标系中的直线l表达为：
ρ＝xcosθ+ysinθ,ρ≥0,0≤θ≤2π (公式5)
其中，ρ为l相对于原点的距离，θ为ρ与x轴的夹角；
所述Hough变步骤包括：
步骤1：将参数空间量化成m×n个单元,并设置累加器矩阵Qm×n，m为θ的等份数,n为ρ的等份数；
步骤2：给参数空间中的每个单元分配一个累加器Q(i,j),并把累加器的初始值置为零；
步骤3：取出直角坐标系中的点(xi,yi)代入式(公式6)，i＝1,2,3...s,s为直角坐标系中的已知点数,并以量化后的θ值计算出ρ；
步骤4：在参数空间中,找到θ和ρ所对应的单元,并将该单元的累加器加1,即Q(i,j)＝Q(i,j)+1；
步骤5：当直角坐标系中的点都经过步骤3、步骤4遍历后,检验参数空间中每个累加器的值,累加器值最大的单元所对应的θ和ρ即为直角坐标系中直线方程式(公式6)的参数；
x1＝xcosθ-ysinθ,y1＝xsinθ+ycosθ (公式6)
步骤6：当直角坐标系中的点分布在R条直线附近时，于所述步骤5检测累加器时，取出累加器中前R个值最大的单元所对应的θk和ρk(k＝1,2,...R),以θk和ρk(k＝1,2,...R)为直角坐标系中直线方程式(公式5)的参数,即同时实现多条直线的拟合，从而得到所述局部部件边缘轨迹直线，计算各局部部件与成像平面的方位角。
其中，所述处理器运行局部轮廓提取算法并输出所述局部部件与所述成像平面的方位角包括：
通过Sobel算子和LSD算法相互结合的方式提取所述局部部件的轮廓；
通过LSD直线快速检测算法快速得到所述局部部件与成像平面的方位角；
所述Sobel边缘检测算子把差分运算与局部平均结合在一起，所述Sobel边缘检测算子把图像中的所有像素的四邻域的灰度值进行加权差，把灰度值变化大于预设阈值的像素点作为图像的边缘点，具体公式：
式中，dx表示横向边缘检测的图像，dy表示纵向边缘检测的图像；
所述LSD直线快速检测算法以一个灰度图像作为输入，返回一系列检测出来的线段；
所述LSD直线快速检测算法工作包括：
步骤7：对输入图像作Gaussian子采样，之后对处理后的图像在每点处计算梯度及其角度，并根据梯度大小确定种子点；
步骤8：从所述种子点开始，通过搜索其邻域并根据预设的角度阈值进行筛选，进而生成线支持区域；
步骤9：所述LSD直线快速检测算法采用矩形框住线支持区域，并且优化所述矩形以符合线支持区域；
步骤10：LSD检测到的直线即为所述局部部件的边缘轮廓，根据直线求取斜率，得到边缘轮廓与相机平面的方位角。
其中，所述寻迹算法包括：
S0:所述无人机切换无人机模态至自主控制模式，所述无人机进入自动寻迹飞行过程中；
S1:所述无人机以切换模态时的位置为原点，根据所述局部部件方向角设定所述无人机的飞行方向i；
S2:无人机进入飞行方向i；
S3:在机体坐标系下，根据飞行方向i和飞行时间步长，计算下一目标点位置信息；
S4:将下一目标点位置解算到地理坐标系下，并引导所述无人机至新的航点；
S5:完成无人机位置更新后，无人机自动调整云台角度，确保所述局部部件始终在镜头中央不会偏离，最终实现云台角度更新；
S6:如果所述无人机与所述局部部件距离小于安全距离，则根据距离信息计算机体坐标系下的修正位置，并返回步骤S4；
S7:解算当前局部部件中心点与镜头幅面中心点位置误差；
S8:解算云台俯仰、偏航角控制量；
S9:将新的飞行方向和角度更新到云台相机；
S10:对飞行方向和角度进行识别和修正；
S11:如果当前的飞行方向绝对误差大于10度，则返回步骤S7；
S12:如果当前位置是所述局部部件的端部，则所述无人机的飞行方向旋转180度；
S13:如果所述无人机抵达原点，则返回步骤S2；如果所述无人机未抵达原点，则返回步骤S3。
其中，所述神经网络结构包括卷积层(Convolutional Layer)、特征映射(FeatureMap)、候选区域生成(Proposal Generation)、ROI池化层(ROI Pooling Layer)、候选区域特征映射(Proposal Feature Map)、全连接层(Fully Connected Layer)、故障定位(FaultBounding Box Prediction)和故障分类(Fault Classification)；所述卷积层用于提取图像特征。
其中，所述卷积层包括输入映射集和输出映射集；
所述输入映射集包括若干卷积核，每个所述卷积核表示对图像特征的抽象；
所述输出映射集包括若干特征映射，所述特征映射是图像对特征的响应；特征的明显程度与所述特征映射的响应程度成正比；
所述卷积层公式：
式中，l表示第l个卷积层，j表示第j个特征映射的输出，rectifier是非线性结构，w和b分别为该卷积层的权重和偏置参数；
所述候选区域生成是通过在特征映射上再次使用卷积层，对特征映射的每个点生成多个尺寸和多个长宽比的候选区域，作为后续精确定位以及局部状态分类网络的输入；
所述ROI池化层通过收集输入的特征映射和候选区域，综合这些信息后提取候选区域特征映射，同时将候选区域降采样成固定尺寸并发送到全连接层以判定目标类别；
所述故障分类通过多任务分类函数Softmax和全连接层对候选区域进行分类以判断故障类别，且输出每个所述候选区域处于各种故障状态的概率；
所述故障状态包括正常、掉漆、划痕和开裂；
Softmax函数如下，yc为对应每个类别的概率大小；
所述故障定位通过候选框(Candidate Box)、真值框(Ground Truth Box)、预测框(Predicted Box)和位置回归Loss函数进行故障定位；
通过公式10确定候选框到预测框之间的映射关系以使预测框比候选框更接近真值；
通过公式11确定候选框和真值框之间的映射关系，x,y,w和h表示候选框的中心点坐标和长宽值；dx,dy,dw,dh分别表示相应的转换关系；
位置回归Loss函数为：
本发明具有如下优点：
本发明故障检测系统，包括无人机和与其通信连接的地面服务器；所述无人机包括避障模块、飞控模块、处理器、图传相机、图传模块和寻迹相机；所述避障模块、飞控模块、图传相机、寻迹相机均与所述处理器通信连接；所述图传相机和所述地面服务器均与所述图传模块通信连接；所述避障模块用于提供无人机到障碍物的距离信息；所述图传相机用于按照预设的扫描方向对被检测物体件进行扫描并拍照；所述图传模块用于将采集到的图像信息发送到所述地面服务器；所述飞控模块用于运行寻迹算法，使所述无人机按照预设的路径飞行；所述地面服务器用于运行深度神经网络算法对接收到的图像信息进行分析以完成对被检测物体的故障诊断分类；所述寻迹相机用于对被检测物体进行拍照；
本发明的故障检测方法，用于所述故障检测系统，包括步骤：
所述无人机飞到被检测物体的正前方以确保所述寻迹相机能够拍摄完整的被检测物体；在所述无人机初次寻迹时，所述处理器运行全轮廓提取算法完成被检测物体整个轮廓的提取，并且输出被检测物体各个局部部件与成像平面的方位角；根据所述避障模块提供的障碍物的距离信息和所述寻迹相机提供的成像平面的方位角确定扫描方向，所述图传相机按照所述扫描方向对被检测物体的局部部件进行扫描；所述处理器运行局部轮廓提取算法并输出所述局部部件与所述成像平面的方位角；所述飞控模块运行寻迹算法，所述图传相机采集所述局部部件的图像信息并通过所述图传模块将所述图像信息发送到所述地面服务器；所述地面服务器运行深度神经网络算法对接收到的所述图像信息进行分析以完成对被检测物体的故障诊断分类；无人机按照所述寻迹算法确定的飞行路径实现对被检测物体的图像采集，通过运行全轮廓提取算法和局部轮廓提取算法实现对被检测物体的整体轮廓和局部轮廓的图像采集，且将采集的图像发送到地面服务器通过深度神经网络算法进行分析，判断固定的位置和类型；该方法效率高，且诊断精度高。
附图说明
图1是本发明的故障检测系统的功能模块图。
图2是本发明的Hough变换图。
图3是本发明的寻迹算法的流程图。
图4是本发明的神经网络的结构示意图。
图5是本发明的故障定位原理示意图。
图6是实施例2的轮廓提取算法的流程图。
图7是实施例3的Sobel算子的3×3模板示意图。
图8是实施例3的坐标系转换示意图。
图9是本发明的候选区域生成示意图。
1-避障模块；2-飞控模块；3-处理器；4-图传相机；5-图传模块；6-地面服务器；7-寻迹相机；8-候选框；9-预测框；10-真值框。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
本发明的故障检测系统，包括无人机和与其通信连接的地面服务器6；所述无人机包括避障模块1、飞控模块2、处理器3、图传相机4、图传模块5和寻迹相机7；所述避障模块1、飞控模块2、图传相机4、寻迹相机7均与所述处理器3通信连接；所述图传相机4和所述地面服务器6均与所述图传模块5通信连接；所述避障模块1用于提供无人机到障碍物的距离信息；所述图传相机4用于按照预设的扫描方向对被检测物体件进行扫描并拍照；所述图传模块5用于将采集到的图像信息发送到所述地面服务器6；所述飞控模块2用于运行寻迹算法，使所述无人机按照预设的路径飞行；所述地面服务器6用于运行深度神经网络算法对接收到的图像信息进行分析以完成对被检测物体的故障诊断分类；所述寻迹相机7用于对被检测物体进行拍照。
本发明采用大疆M100无人机可用于专业应用的研究和开发：独特的平台化设计，包括飞行控制器、动力系统、GPS模块、DJI Lightbridge高清图传、遥控器、智能电池等；预留CAN及UART双通信数据传输接口各两个，可轻松实现相机、传感器、计算机单元通讯设备等硬件集成。
该平台全面支持大疆SDK，外部设备可灵活接入，对飞行器进行控制与监控。通过定制指令，打造行业专用飞行平台。
视觉导航模块采用大疆Guidance视觉传感导航系统，该系统可感知附近的障碍物，将探测信息发送给飞控系统，让飞行器主动避障，在检测的过程中，可避免无人机与被检测物体的碰撞。
Guidance提供USB和UART接口，可输出速度信息、障碍物距离、IMU、超声波、图像数据、深度图。Guidance视觉传感导航系统提供相应的SDK，可根据检测的具体应用场景，结合系统输出的数据进行软件的二次开发。
无线图传模块采用大疆Lightbridge全高清无线数字图像传输系统。该系统支持5公里范围内的无线传输距离。可实时的将视频图像、飞控系统OSD信息和遥控器信号传输到地面站。具有体积小、功耗低、灵敏度高等特点。
深度学习硬件平台配置一个或者多个NVIDA GTX1080Ti GPU。
实施例2
进一步，在实施例1的基础上：
本实施例2的故障检测方法，用于所述故障检测系统，包括步骤：
所述无人机飞到被检测物体的正前方以确保所述寻迹相机7能够拍摄完整的被检测物体；
在所述无人机初次寻迹时，所述处理器3运行全轮廓提取算法完成被检测物体整个轮廓的提取，并且输出被检测物体各个局部部件与成像平面的方位角；
根据所述避障模块1提供的障碍物的距离信息和所述寻迹相机7提供的成像平面的方位角确定扫描方向，所述图传相机4按照所述扫描方向对被检测物体的局部部件进行扫描；
所述处理器3运行局部轮廓提取算法并输出所述局部部件与所述成像平面的方位角；
所述飞控模块2运行寻迹算法，所述图传相机4采集所述局部部件的图像信息并通过所述图传模块5将所述图像信息发送到所述地面服务器6；
所述地面服务器6运行深度神经网络算法对接收到的所述图像信息进行分析以完成对被检测物体的故障诊断分类。
轮廓提取算法主要包括全轮廓检测算法和局部轮廓提取算法，所述全轮廓提取算法和所述局部轮廓提取算法作为寻迹算法的输入，引导无人机按照寻迹算法的工作原理促使图传相机4扫描拍摄被检测物体；全轮廓检测算法工作于无人机初次寻迹阶段，输出结果为被检测物体各个部件与像平面中心的方位角；局部轮廓提取算法工作于局部部件轮廓扫描阶段，输出结果为局部部件与像平面的方位角。
实施例3
进一步，在实施例2的基础上：
在所述无人机初次寻迹时，所述处理器3运行全轮廓提取算法完成被检测物体整个轮廓的提取，并且输出被检测物体各个局部部件与成像平面的方位角包括：
通过Canny边缘检测算子与Hough变换相结合实现被检测物体的全轮廓检测；
通过Hough变换计算各局部部件与成像平面的方位角。
所述Canny边缘检测算子通过高斯滤波器对图像进行平滑处理，并实行非极值抑制以取得图像的边缘；
Canny边缘检测算子是集图像平滑、边缘增强及检测于一身的算子。该算子的基本原理是选择一个高斯滤波器对待处理的图像进行平滑滤波；且进行非极值抑制，最终取得图像的边缘；其选用的二维高斯函数为：
在某一方向n上G(x,y)的一阶方向导数为：
式中，n表示方向，为梯度矢量；
将图像函数f(x,y)和一阶方向导数Gn进行卷积得到：k＝f(x,y)*Gn，通过改变n的角度得到k的最大值，对应检测边缘的方向相互正交。
所述Hough变换主要应用于模式识别领域中对二值图像进行直线检测。
在标准参数化方式下平面直角坐标系中的直线l表达为：
ρ＝xcosθ+ysinθ,ρ≥0,0≤θ≤2π (公式5)
其中，ρ为l相对于原点的距离，θ为ρ与x轴的夹角；
根据公式5,直线l上不同的点在参数空间中被变换为一族相交于p点的正弦曲线。显然,如果能确定参数空间中的p点,就实现了直线检测。
由上述Hough变换原理可知，Hough变换具有如下性质：
(a)直角坐标系中的一个点映射到参数空间中为一条曲线；
(b)参数空间中的一个点对应直角坐标系中的一条直线；
(c)直角坐标系中的共点线映射到参数空间中为一条曲线；
(d)直角坐标系中的共线点映射到参数空间中后为一个交于同一点的曲线族。
工程中的实验数据和图像处理中的二值边缘图通常都是离散数据,根据Hough变换性质，所述Hough变换步骤包括：
步骤1：将参数空间量化成m×n个单元,并设置累加器矩阵Qm×n，m为θ的等份数,n为ρ的等份数；
步骤2：给参数空间中的每个单元分配一个累加器Q(i,j),并把累加器的初始值置为零；
步骤3：取出直角坐标系中的点(xi,yi)代入式(公式6)，i＝1,2,3...s,s为直角坐标系中的已知点数,并以量化后的θ值计算出ρ；
步骤4：在参数空间中,找到θ和ρ所对应的单元,并将该单元的累加器加1,即Q(i,j)＝Q(i,j)+1；
步骤5：当直角坐标系中的点都经过步骤3、步骤4遍历后,检验参数空间中每个累加器的值,累加器值最大的单元所对应的θ和ρ即为直角坐标系中直线方程式(公式6)的参数；
x1＝xcosθ-ysinθ,y1＝xsinθ+ycosθ (公式6)
步骤6：当直角坐标系中的点分布在R条直线附近时，于所述步骤5检测累加器时，取出累加器中前R个值最大的单元所对应的θk和ρk(k＝1,2,...R),以θk和ρk(k＝1,2,...R)为直角坐标系中直线方程式(公式5)的参数,即同时实现多条直线的拟合，从而得到所述局部部件边缘轨迹直线，计算各局部部件与成像平面的方位角。
由上述Hough变换过程可知,如果参数空间中的θ和ρ量化过粗,则参数空间中的凝聚效果较差,找不出直线的准确参数θ和ρ；反之θ和ρ量化过细,那么计算量将增大。
所述处理器3运行局部轮廓提取算法并输出所述局部部件与所述成像平面的方位角包括：
通过Sobel算子和LSD算法相互结合的方式提取所述局部部件的轮廓；通过LSD直线快速检测算法快速得到所述局部部件与成像平面的方位角；所述Sobel边缘检测算子把差分运算与局部平均结合在一起，所述Sobel边缘检测算子把图像中的所有像素的四邻域的灰度值进行加权差，把灰度值变化大于预设阈值的像素点作为图像的边缘点，具体公式：
式中，dx表示横向边缘检测的图像，dy表示纵向边缘检测的图像。
以Sobel算子的3×3模板为例；Sobel算子计算相对简单，运行速度快；采用2个方向模板的Sobel边缘检测算子虽仅能检测出水平与竖直方向的边缘，检测出的效果较好，对噪声具备一定的抑制效果，能够给出甚为精确的边缘方向细节。
所述LSD直线快速检测算法以一个灰度图像作为输入，返回一系列检测出来的线段；
所述LSD直线快速检测算法工作包括：
步骤7：对输入图像作Gaussian子采样，之后对处理后的图像在每点处计算梯度及其角度，并根据梯度大小确定种子点；
步骤8：从所述种子点开始，通过搜索其邻域并根据预设的角度阈值进行筛选，进而生成线支持区域；
步骤9：所述LSD直线快速检测算法采用矩形框住线支持区域，并且优化所述矩形以符合线支持区域；如矩形是否精确地符合了线支持区域、该区域是否应该被保留以及是否需要分解为两个或多个矩形以形成两个或多个线段等；
步骤10：LSD检测到的直线即为所述局部部件的边缘轮廓，根据直线求取斜率，得到边缘轮廓与相机平面的方位角；用一个判断函数，根据统计学理论决定一条线段是否被保留。针对局部部件轮廓的特点，LSD检测到的直线即为局部部件的边缘轮廓，根据直线求取斜率，得到边缘轮廓与相机平面的方位角。
通过人工操作将无人机飞至被检测物体正前方位置，使得摄像头能够识别被检测物体的方向角，直至无人机超声波测距模板报警，报警的安全距离可以设为10米到20米，之后利用遥控器两段开关切换无人机模态至自主控制模式，智能无人机进入自动寻迹飞行过程中；
所述寻迹算法包括：
S0:所述无人机切换无人机模态至自主控制模式，所述无人机进入自动寻迹飞行过程中；
S1:所述无人机以切换模态时的位置为原点，根据所述局部部件方向角设定所述无人机的飞行方向i；
S2:无人机进入飞行方向i；
S3:在机体坐标系下，根据飞行方向i和飞行时间步长，计算下一目标点位置信息；
S4:将下一目标点位置解算到地理坐标系下，并引导所述无人机至新的航点；
S5:完成无人机位置更新后，无人机自动调整云台角度，确保所述局部部件始终在镜头中央不会偏离，最终实现云台角度更新；
S6:如果所述无人机与所述局部部件距离小于安全距离，则根据距离信息计算机体坐标系下的修正位置，并返回步骤S4；
S7:解算当前局部部件中心点与镜头幅面中心点位置误差；
S8:解算云台俯仰、偏航角控制量；
S9:将新的飞行方向和角度更新到云台相机；
S10:对飞行方向和角度进行识别和修正；
S11:如果当前的飞行方向绝对误差大于10度，则返回步骤S7；
S12:如果当前位置是所述局部部件的端部，则所述无人机的飞行方向旋转180度；
S13:如果所述无人机抵达原点，则返回步骤S2；如果所述无人机未抵达原点，则返回步骤S3。
在所述寻迹算法中，需要用到机体坐标系和经纬高坐标系转换、云台姿态角变换解算，通过矩阵来表示，如以下例子所示。在一个三维右手坐标系中一个向量a(x,y,z)，使它绕z轴顺时针旋转θ度，旋转完成后变为向量b(x1,y1,z1)，求向量b。针对该问题，首先a是绕z轴旋转，所以旋转完成后向量在z轴分量不变，即z＝z1，旋转完后b＝(x1,y1,z)，只需要分析xy平面上的坐标即可。
该问题就变成了假设平面上存在一个坐标系R(x,y),其上有一向量v＝(x,y)，将v绕原点顺时针旋转θ度，旋转完后的向量v1。把向量顺时针旋转θ度也就是向量v相对于坐标系R顺时针旋转了θ度，等同于坐标系R相对于v逆时针旋转θ度。
所以向量自身不变，把坐标轴R逆时针旋转θ度得到新的坐标系R1(x1,y1)，则v在R1坐标系里的向量值是v在R系里旋转过后的向量，所以只需要求出在R1坐标系里的(x1,y1)值即可，最终经过换算可以得到：
x1＝xcosθ-ysinθ,y1＝xsinθ+ycosθ (公式6)
向量a绕z轴顺时针旋转θ度后得到的b向量应为：
b＝(xcosθ-ysinθ,xsinθ+ycosθ,z) (公式13)
注意旋转是有方向的，这里的结果是以逆时针为正方向；根据以上推导可以得出更一般的公式。向量(x,y,z)绕z轴旋转α度后：
(x1,y1,z1)＝(xcosα–ysinα+z*0,xsinα+ycosα+z*0,x*0+y*0+z) (公式14)
向量(x,y,z)绕x轴旋转α度后：
(x1,y1,z1)＝(x+y+0+z*0,x*0+ycosα-zsinα,x*0+ysinα+zcosα) (公式15)
向量(x,y,z)绕y轴旋转α度后：
(x1,y1,z1)＝(xcosα–y*0+zsinα,xsinα+ycosα+z*0,x*0+y*0+z) (公式16)
(x1,y1,z1)即为当前时刻的航迹点坐标。
利用无人机进行高空拍摄，采集被检测物体图像，对所采集的被检测物体图像进行处理和分析，结合前期深度卷积神经网络对大量离线数据的学习，借助于地面服务器，能够达到在线判断其有无故障的功能，并对故障图像给出相应的故障类型以及大致的故障区域，实现被检测物体故障的自动检测。
通过对已有无人机获取的图像的分析，综合考虑天气、光照、画质等因素的影响，认为无人机被检测物体检测可能面临如下困难：
(1)无人机飞行姿态各异，拍摄图像被检测物体位置以及形状各不相同，需要对被检测物体位置以及姿态变化具有鲁棒性；
(2)被检测物体巡检天气情况各异，考虑烈日、阴天、雾霾、傍晚等情况下，如何避免故障的漏检和误检，对被检测物体的故障检测提出了较高的要求；
(3)图像背景十分复杂，经常包含森林、山川、田地、房屋、河流、道路等不同自然景物，且随着四季的更迭背景外观会随时改变；
(4)被检测物体故障区域相对于整个图像区域所占比重各异，需要对不同尺度的故障区域检测具有鲁棒性；
(5)被检测物体故障类型各异，如何更多的包含已经存在或者可能存在故障类型是设计故障分类任务的关键所在；
(6)被检测物体本身受长期使用的影响，部分存在被厚重的灰尘覆盖，即存在故障区域的遮挡问题，如何减少遮挡对检测的影响也是很大的挑战；
构建GPU硬件平台，采用深度神经网络实现被检测物体故障的识别分类。深度神经网络的模型通过多层卷积核学习图像特征，浅层卷积核学习纹理等低级特征，深层卷积核对低级特征逐渐抽象为语义信息，即提取的特征更加抽象和丰富。利用神经网络的优势，结合被检测物体检测的特点，设计基于深度学习的被检测物体故障检测算法。
所述神经网络结构包括卷积层(Convolutional Layer)、特征映射(FeatureMap)、候选区域生成(Proposal Generation)、ROI池化层(ROIPooling Layer)、候选区域特征映射(Proposal Feature Map)、全连接层(Fully Connected Layer)、故障定位(FaultBounding Box Prediction)和故障分类(Fault Classification)；所述卷积层用于提取图像特征。
所述卷积层包括输入映射集和输出映射集；
所述输入映射集包括若干卷积核，每个所述卷积核表示对图像特征的抽象；
所述输出映射集包括若干特征映射，所述特征映射是图像对特征的响应；特征的明显程度与所述特征映射的响应程度成正比；
所述卷积层公式：
式中，l表示第l个卷积层，j表示第j个特征映射的输出，rectifier是非线性结构，w和b分别为该卷积层的权重和偏置参数；
所述候选区域生成是通过在特征映射上再次使用卷积层，对特征映射的每个点生成多个尺寸和多个长宽比的候选区域，作为后续精确定位以及局部状态分类网络的输入；
所述ROI池化层通过收集输入的特征映射和候选区域，综合这些信息后提取候选区域特征映射，同时将候选区域降采样成固定尺寸并发送到全连接层以判定目标类别；
所述故障分类通过多任务分类函数Softmax和全连接层对候选区域进行分类以判断故障类别，且输出每个所述候选区域处于各种故障状态的概率；
所述故障状态包括正常、掉漆、划痕和开裂；
Softmax函数如下，yc为对应每个类别的概率大小；
所述故障定位通过候选框(Candidate Box)、真值框(Ground Truth Box)、预测框(Predicted Box)和位置回归Loss函数进行故障定位；
通过公式10确定候选框到预测框之间的映射关系以使预测框比候选框更接近真值；
通过公式11确定候选框和真值框之间的映射关系，x,y,w和h表示候选框的中心点坐标和长宽值；dx,dy,dw,dh分别表示相应的转换关系；
位置回归Loss函数：
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (9)
1.一种故障检测系统，其特征在于，包括无人机和与其通信连接的地面服务器(6)；所述无人机包括避障模块(1)、飞控模块(2)、处理器(3)、图传相机(4)、图传模块(5)和寻迹相机(7)；所述避障模块(1)、飞控模块(2)、图传相机(4)、寻迹相机(7)均与所述处理器(3)通信连接；所述图传相机(4)和所述地面服务器(6)均与所述图传模块(5)通信连接；
所述避障模块(1)用于提供无人机到障碍物的距离信息；
所述图传相机(4)用于按照预设的扫描方向对被检测物体件进行扫描并拍照；
所述图传模块(5)用于将采集到的图像信息发送到所述地面服务器(6)；
所述飞控模块(2)用于运行寻迹算法，使所述无人机按照预设的路径飞行；
所述地面服务器(6)用于运行深度神经网络算法对接收到的图像信息进行分析以完成对被检测物体的故障诊断分类；
所述寻迹相机(7)用于对被检测物体进行拍照。
2.一种故障检测方法，用于权利要求1所述故障检测系统，其特征在于，包括步骤：
所述无人机飞到被检测物体的正前方以确保所述寻迹相机(7)能够拍摄完整的被检测物体；
在所述无人机初次寻迹时，所述处理器(3)运行全轮廓提取算法完成被检测物体整个轮廓的提取，并且输出被检测物体各个局部部件与成像平面的方位角；
根据所述避障模块(1)提供的障碍物的距离信息和所述寻迹相机(7)提供的成像平面的方位角确定扫描方向，所述图传相机(4)按照所述扫描方向对被检测物体的局部部件进行扫描；
所述处理器(3)运行局部轮廓提取算法并输出所述局部部件与所述成像平面的方位角；
所述飞控模块(2)运行寻迹算法，所述图传相机(4)采集所述局部部件的图像信息并通过所述图传模块(5)将所述图像信息发送到所述地面服务器(6)；
所述地面服务器(6)运行深度神经网络算法对接收到的所述图像信息进行分析以完成对被检测物体的故障诊断分类。
3.根据权利要求2所述故障检测方法，其特征在于，在所述无人机初次寻迹时，所述处理器(3)运行全轮廓提取算法完成被检测物体整个轮廓的提取，并且输出被检测物体各个局部部件与成像平面的方位角包括：
通过Canny边缘检测算子与Hough变换相结合实现被检测物体的全轮廓检测；
通过Hough变换计算各局部部件与成像平面的方位角。
4.根据权利要求3所述故障检测方法，其特征在于，所述Canny边缘检测算子通过高斯滤波器对图像进行平滑处理，并实行非极值抑制以取得图像的边缘；
所述高斯滤波器选择的二维高斯函数为：
在某一方向n上G(x,y)的一阶方向导数为：
式中，n表示方向，▽G为梯度矢量；
将图像函数f(x,y)和一阶方向导数Gn进行卷积得到：k＝f(x,y)*Gn，通过改变n的角度得到k的最大值，对应检测边缘的方向相互正交。
5.根据权利要求4所述故障检测方法，其特征在于，所述Hough变换用于对二值图像进行直线检测；
在标准参数化方式下平面直角坐标系中的直线l表达为：
ρ＝xcosθ+ysinθ,ρ≥0,0≤θ≤2π (公式5)
其中，ρ为l相对于原点的距离，θ为ρ与x轴的夹角；
所述Hough变步骤包括：
步骤1：将参数空间量化成m×n个单元,并设置累加器矩阵Qm×n，m为θ的等份数,n为ρ的等份数；
步骤2：给参数空间中的每个单元分配一个累加器Q(i,j),并把累加器的初始值置为零；
步骤3：取出直角坐标系中的点(xi,yi)代入式(公式6)，i＝1,2,3...s,s为直角坐标系中的已知点数,并以量化后的θ值计算出ρ；
步骤4：在参数空间中,找到θ和ρ所对应的单元,并将该单元的累加器加1,即Q(i,j)＝Q(i,j)+1；
步骤5：当直角坐标系中的点都经过步骤3、步骤4遍历后,检验参数空间中每个累加器的值,累加器值最大的单元所对应的θ和ρ即为直角坐标系中直线方程式(公式6)的参数；
x1＝xcosθ-ysinθ,y1＝xsinθ+ycosθ (公式6)
步骤6：当直角坐标系中的点分布在R条直线附近时，于所述步骤5检测累加器时，取出累加器中前R个值最大的单元所对应的θk和ρk(k＝1,2,...R),以θk和ρk(k＝1,2,...R)为直角坐标系中直线方程式(公式5)的参数,即同时实现多条直线的拟合，从而得到所述局部部件边缘轨迹直线，计算各局部部件与成像平面的方位角。
6.根据权利要求5所述故障检测方法，其特征在于，所述处理器(3)运行局部轮廓提取算法并输出所述局部部件与所述成像平面的方位角包括：
通过Sobel算子和LSD算法相互结合的方式提取所述局部部件的轮廓；
通过LSD直线快速检测算法快速得到所述局部部件与成像平面的方位角；
所述Sobel边缘检测算子把差分运算与局部平均结合在一起，所述Sobel边缘检测算子把图像中的所有像素的四邻域的灰度值进行加权差，把灰度值变化大于预设阈值的像素点作为图像的边缘点，具体公式：
式中，dx表示横向边缘检测的图像，dy表示纵向边缘检测的图像；
所述LSD直线快速检测算法以一个灰度图像作为输入，返回一系列检测出来的线段；
所述LSD直线快速检测算法工作包括：
步骤7：对输入图像作Gaussian子采样，之后对处理后的图像在每点处计算梯度及其角度，并根据梯度大小确定种子点；
步骤8：从所述种子点开始，通过搜索其邻域并根据预设的角度阈值进行筛选，进而生成线支持区域；
步骤9：所述LSD直线快速检测算法采用矩形框住线支持区域，并且优化所述矩形以符合线支持区域；
步骤10：LSD检测到的直线即为所述局部部件的边缘轮廓，根据直线求取斜率，得到边缘轮廓与相机平面的方位角。
7.根据权利要求6所述故障检测方法，其特征在于，所述寻迹算法包括：
S0:所述无人机切换无人机模态至自主控制模式，所述无人机进入自动寻迹飞行过程中；
S1:所述无人机以切换模态时的位置为原点，根据所述局部部件方向角设定所述无人机的飞行方向i；
S2:无人机进入飞行方向i；
S3:在机体坐标系下，根据飞行方向i和飞行时间步长，计算下一目标点位置信息；
S4:将下一目标点位置解算到地理坐标系下，并引导所述无人机至新的航点；
S5:完成无人机位置更新后，无人机自动调整云台角度，确保所述局部部件始终在镜头中央不会偏离，最终实现云台角度更新；
S6:如果所述无人机与所述局部部件距离小于安全距离，则根据距离信息计算机体坐标系下的修正位置，并返回步骤S4；
S7:解算当前局部部件中心点与镜头幅面中心点位置误差；
S8:解算云台俯仰、偏航角控制量；
S9:将新的飞行方向和角度更新到云台相机；
S10:对飞行方向和角度进行识别和修正；
S11:如果当前的飞行方向绝对误差大于10度，则返回步骤S7；
S12:如果当前位置是所述局部部件的端部，则所述无人机的飞行方向旋转180度；
S13:如果所述无人机抵达原点，则返回步骤S2；如果所述无人机未抵达原点，则返回步骤S3。
8.根据权利要求7所述故障检测方法，其特征在于，所述神经网络结构包括卷积层、特征映射、候选区域生成、ROI池化层、候选区域特征映射、全连接层、故障定位和故障分类；所述卷积层用于提取图像特征。
9.根据权利要求8所述故障检测方法，其特征在于，所述卷积层包括输入映射集和输出映射集；
所述输入映射集包括若干卷积核，每个所述卷积核表示对图像特征的抽象；
所述输出映射集包括若干特征映射，所述特征映射是图像对特征的响应；特征的明显程度与所述特征映射的响应程度成正比；
所述卷积层公式：
式中，l表示第l个卷积层，j表示第j个特征映射的输出，rectifier是非线性结构，w和b分别为该卷积层的权重和偏置参数；
所述候选区域生成是通过在特征映射上再次使用卷积层，对特征映射的每个点生成多个尺寸和多个长宽比的候选区域，作为后续精确定位以及局部状态分类网络的输入；
所述ROI池化层通过收集输入的特征映射和候选区域，综合这些信息后提取候选区域特征映射，同时将候选区域降采样成固定尺寸并发送到全连接层以判定目标类别；
所述故障分类通过多任务分类函数Softmax和全连接层对候选区域进行分类以判断故障类别，且输出每个所述候选区域处于各种故障状态的概率；
所述故障状态包括正常、掉漆、划痕和开裂；
Softmax函数如下，yc为对应每个类别的概率大小；
所述故障定位通过候选框、真值框、预测框和位置回归Loss函数进行故障定位；
通过公式10确定候选框到预测框之间的映射关系以使预测框比候选框更接近真值；
通过公式11确定候选框和真值框之间的映射关系，x,y,w和h表示候选框的中心点坐标和长宽值；dx,dy,dw,dh分别表示相应的转换关系；
位置回归Loss函数为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810411306.4A CN108871409A (zh) | 2018-05-02 | 2018-05-02 | 一种故障检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810411306.4A CN108871409A (zh) | 2018-05-02 | 2018-05-02 | 一种故障检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108871409A true CN108871409A (zh) | 2018-11-23 |
Family
ID=64326907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810411306.4A Pending CN108871409A (zh) | 2018-05-02 | 2018-05-02 | 一种故障检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108871409A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109521019A (zh) * | 2018-11-09 | 2019-03-26 | 华南理工大学 | 一种基于无人机视觉的桥梁底面裂缝检测方法 |
| CN109557943A (zh) * | 2019-01-21 | 2019-04-02 | 中国联合网络通信集团有限公司 | 一种基于边缘云的无人机避障系统和方法 |
| CN111639595A (zh) * | 2020-05-29 | 2020-09-08 | 桂林电子科技大学 | 基于权重不可知神经网络的无人机微动特征信号检测方法 |
| CN112241163A (zh) * | 2020-10-28 | 2021-01-19 | 广州极飞科技有限公司 | 无人机的故障处理方法、装置、设备及存储介质 |
| CN116188470A (zh) * | 2023-04-28 | 2023-05-30 | 成都航空职业技术学院 | 一种基于无人机航拍识别的故障定位方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546689A (zh) * | 2010-12-20 | 2012-07-04 | 河南省电力公司驻马店供电公司 | 一种无人机巡线实时系统 |
| EP2515274A1 (en) * | 2009-12-16 | 2012-10-24 | Inha-Industry Partnership Institute | Method for extracting 3-dimensional object information out of a single image without meta information |
| CN105717934A (zh) * | 2016-04-25 | 2016-06-29 | 华北电力大学（保定） | 自主无人机巡检风机叶片系统及方法 |
| CN106708073A (zh) * | 2016-11-30 | 2017-05-24 | 浙江大学 | 一种自主导航电力巡线故障检测的四旋翼飞行器系统 |
| CN106909169A (zh) * | 2017-03-30 | 2017-06-30 | 广东容祺智能科技有限公司 | 一种全自动电力巡线无人机系统 |
| CN107063228A (zh) * | 2016-12-21 | 2017-08-18 | 上海交通大学 | 基于双目视觉的目标姿态解算方法 |
| CN107705301A (zh) * | 2017-09-29 | 2018-02-16 | 南京中设航空科技发展有限公司 | 一种基于无人机航拍公路图像的公路标线破损检测方法 |
| CN107729808A (zh) * | 2017-09-08 | 2018-02-23 | 国网山东省电力公司电力科学研究院 | 一种用于输电线路无人机巡检的图像智能采集系统及方法 |
-
2018
- 2018-05-02 CN CN201810411306.4A patent/CN108871409A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2515274A1 (en) * | 2009-12-16 | 2012-10-24 | Inha-Industry Partnership Institute | Method for extracting 3-dimensional object information out of a single image without meta information |
| CN102546689A (zh) * | 2010-12-20 | 2012-07-04 | 河南省电力公司驻马店供电公司 | 一种无人机巡线实时系统 |
| CN105717934A (zh) * | 2016-04-25 | 2016-06-29 | 华北电力大学（保定） | 自主无人机巡检风机叶片系统及方法 |
| CN106708073A (zh) * | 2016-11-30 | 2017-05-24 | 浙江大学 | 一种自主导航电力巡线故障检测的四旋翼飞行器系统 |
| CN107063228A (zh) * | 2016-12-21 | 2017-08-18 | 上海交通大学 | 基于双目视觉的目标姿态解算方法 |
| CN106909169A (zh) * | 2017-03-30 | 2017-06-30 | 广东容祺智能科技有限公司 | 一种全自动电力巡线无人机系统 |
| CN107729808A (zh) * | 2017-09-08 | 2018-02-23 | 国网山东省电力公司电力科学研究院 | 一种用于输电线路无人机巡检的图像智能采集系统及方法 |
| CN107705301A (zh) * | 2017-09-29 | 2018-02-16 | 南京中设航空科技发展有限公司 | 一种基于无人机航拍公路图像的公路标线破损检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 方挺: "航拍图像中绝缘子串的轮廓提取和故障检测", 《上海交通大学学报》 * |
| 曾接贤: "霍夫变换与最小二乘相结合的直线拟合", 《南昌航空工业学院学报（自然科学版》 * |
| 王坤 等: "基于局部轮廓特征的无人机头部检测跟踪算法", 《光学技术》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109521019A (zh) * | 2018-11-09 | 2019-03-26 | 华南理工大学 | 一种基于无人机视觉的桥梁底面裂缝检测方法 |
| CN109557943A (zh) * | 2019-01-21 | 2019-04-02 | 中国联合网络通信集团有限公司 | 一种基于边缘云的无人机避障系统和方法 |
| CN109557943B (zh) * | 2019-01-21 | 2021-07-20 | 中国联合网络通信集团有限公司 | 一种基于边缘云的无人机避障系统和方法 |
| CN111639595A (zh) * | 2020-05-29 | 2020-09-08 | 桂林电子科技大学 | 基于权重不可知神经网络的无人机微动特征信号检测方法 |
| CN111639595B (zh) * | 2020-05-29 | 2022-03-18 | 桂林电子科技大学 | 基于权重不可知神经网络的无人机微动特征信号检测方法 |
| CN112241163A (zh) * | 2020-10-28 | 2021-01-19 | 广州极飞科技有限公司 | 无人机的故障处理方法、装置、设备及存储介质 |
| CN116188470A (zh) * | 2023-04-28 | 2023-05-30 | 成都航空职业技术学院 | 一种基于无人机航拍识别的故障定位方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113359810B (zh) | 一种基于多传感器的无人机着陆区域识别方法 | |
| CN108871409A (zh) | 一种故障检测方法和系统 | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
| CN103389103B (zh) | 一种基于数据挖掘的地理环境特征地图构建与导航方法 | |
| CN104536009B (zh) | 一种激光红外复合的地面建筑物识别及导航方法 | |
| CN101839721B (zh) | 自主交会对接中的视觉导航方法 | |
| CN109949361A (zh) | 一种基于单目视觉定位的旋翼无人机姿态估计方法 | |
| CN104091369B (zh) | 一种无人机遥感影像建筑物三维损毁检测方法 | |
| CN108229587B (zh) | 一种基于飞行器悬停状态的输电杆塔自主扫描方法 | |
| CN106708073B (zh) | 一种自主导航电力巡线故障检测的四旋翼飞行器系统 | |
| CN112766184B (zh) | 基于多层级特征选择卷积神经网络的遥感目标检测方法 | |
| Xing et al. | Multi-UAV cooperative system for search and rescue based on YOLOv5 | |
| CN103149939A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
| CN101598556A (zh) | 一种未知环境下无人机视觉/惯性组合导航方法 | |
| CN113359782B (zh) | 一种融合lidar点云与图像数据的无人机自主选址降落方法 | |
| CN108830224B (zh) | 一种基于深度学习的高分辨率遥感影像舰船目标检测方法 | |
| CN114004977B (zh) | 一种基于深度学习的航拍数据目标定位方法及系统 | |
| US20170372120A1 (en) | Cloud feature detection | |
| CN114463308B (zh) | 一种无人机视角光伏组件视觉检测方法、装置及处理设备 | |
| CN109848996A (zh) | 基于图优化理论的大规模三维环境地图创建方法 | |
| CN114926739A (zh) | 内河航道水上水下地理空间信息无人化协同采集处理方法 | |
| CN114677531B (zh) | 一种融合多模态信息的水面无人艇目标检测与定位方法 | |
| CN108225273A (zh) | 一种基于传感器先验知识的实时跑道检测方法 | |
| Le Saux et al. | Rapid semantic mapping: Learn environment classifiers on the fly |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200427 Address after: No.12, unit 1, floor 901, No.2, jinguhe Road, Haidian District, Beijing 100080 Applicant after: Zhou Dongjie Address before: 100020 Room 309, 3 building, 18 purple Road, Chaoyang District, Beijing. Applicant before: BEIJING CHANGDONG TECHNOLOGY Co.,Ltd. |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181123 |