CN107133943A - 一种防震锤缺陷检测的视觉检测方法 - Google Patents
一种防震锤缺陷检测的视觉检测方法 Download PDFInfo
- Publication number
- CN107133943A CN107133943A CN201710283379.5A CN201710283379A CN107133943A CN 107133943 A CN107133943 A CN 107133943A CN 201710283379 A CN201710283379 A CN 201710283379A CN 107133943 A CN107133943 A CN 107133943A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- msubsup
- stockbridge damper
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种防震锤缺陷检测的视觉检测方法,包括对航拍图像进行去噪、防抖预处理,得到待检测的原始图像;采用几何变换、尺度变化、对比度变换的方法,扩充已有的原始图像,生成更多与原始图像相似的数据;采集样本,采集航拍图像中的防震锤,主要采集防震锤的一边;确定待训练的网络模型,输入样本数据,进行前向传播、反向传播调整权重,得到优化的检测网络模型参数;利用训练好的模型对待检测图像进行识别,确定防震锤的锤子所在位置;确定锤子所在导线,根据导线与防震锤的相对位置以及各自方向的约束,进行防震锤缺陷判别。
Description
技术领域
本发明涉及一种防震锤缺陷检测的视觉检测方法,属于输电线路无人机图像的防震锤缺陷检测技术领域。
背景技术
由于输电线要长期暴露在户外,经受风吹雨打,受自然环境影响大,故障发生的频率较高,为了维护电网的正常运行,杜绝各部件故障引发的电网运行隐患,定期而有效的输电线路巡检方式被积极采用,针对各部件的各种缺陷的事先检修成为研究的重点。当导线受到风力作用时,会发生振动。导线振动时,导线悬挂处的工作条件最为不利。由于多次振动,导线因周期性的弯折会发生疲劳破坏。因此防震锤可以减少导线因风力扯起振动。一旦防震锤发生损坏,会对输电线路的安全带来安全隐患。正确识别定位防震锤并且发现防震锤的各种缺陷并及时采取补救措施,从而利于输电线路的有效利用及其寿命的延长。依赖传统的人工进行检测,耗时,耗人力和财力。随着自动化、智能化、计算机技术的发展,如何自动化、快速地、精确地检测出输电线路图像中的缺陷防震锤已成为数字图像处理领域中的一个热门问题。
目前国内对防震锤缺陷检测的研究还很少,主要集中在防震锤的检测定位环节,缺陷检测方面还存在着很大的研究空间。防震锤的识别检测方法目前主要以模板匹配为主,也有学者通过adaboost等机器学习的方法提高检测的精度。文献“图像识别技术在电力设备监测中的应用”(张浩,王玮,徐丽杰,等.电力系统保护与控制,2010,38(6):88-91.)中提出的基于模板匹配的电力设备的识别检测技术,是针对电力设备的远程数字监控及图像识别技术的研究,主要应用于变电站电力设备的诊断监测。文献“基于结构约束的架空输电线路巡线机器人障碍识别”(张运楚,梁自泽,傅思遥,等.机器人,2007,29(1):1-6.)中利用图像的边缘信息,采用改进的基于概率图的椭圆检测方法结合分层决策机制,有效的提取输电线路图像中的防震锤。文献“高压输电线路巡线机器人障碍物视觉检测识别研究”(胡彩石,吴功平,曹珩等.传感技术学报,2008,21(12):2092-2096.)中提取边缘图像中一些图像基元并施加结构约束,实现障碍物(防震锤)识别。在机器学习方面,文献“基于类Haar特征与级联AdaBoost算法的防震锤识别”(金立军,闫书佳,刘源.系统仿真学报,2012,24(9):60-63.)中提出将类Haar特征与级联Adaboost算法相结合,检测识别图像中的防震锤。
然而,上述各方法应用于图像的防震锤检测识别中均存在一定缺陷,传统的模板匹配、边缘检测等算法鲁棒性较差,识别精度低,Adaboost等传统机器学习算法对采集的样本要求较高,特征提取单一,不能学习防震锤多方面的特征,以至于不能有效提取复杂背景下的防震锤。电力系统中防震锤图像采集多由人工或航拍来完成,以需求的特定角度及焦距在特定的光照环境下进行拍摄,图像背景变化大,防震锤在图像中大小各异、形状各异。以上方法不具有普遍性和精确性,不能很好运用到实际系统中。同时,这些方法未能对防震锤的缺陷检测作出研究。
发明内容
本发明要解决的技术问题是:提供一种防震锤缺陷检测的视觉检测方法,能够识别在不同拍摄角度、复杂背景下,精确的识别出防震锤并且提取出有缺陷的防震锤,以解决现有技术中存在的问题。
本发明采取的技术方案为:一种防震锤缺陷检测的视觉检测方法,该方法包括以下步骤:
步骤1,对无人机采集的输电线路图像进行预处理,检测拍摄图像是否存在质量问题,并且对数据进行去噪防抖操作;
步骤2,数据扩充,在样本采集之前,首先对步骤1中预处理的数据进行数据扩充生成相似的图像;
步骤3,采集样本:采用采集防震锤单边的方法对步骤2中扩充的图像样本进行样本采集,在样本采集的过程中,保证不同的防震锤类型以及防震锤锤体各500个以上,样本总数量不低于4000个;
步骤4,确定待训练的区域选择,采用引入图像分割的信息,预测检索的位置,通过对潜在的目标区域进行提取,实现多层次、多尺度的分割,最终得到目标物的候选框;
步骤5,区域特征学习,并且确定模型参数,根据步骤4所得到的物体预测的位置,将这些预测的区域进行特征学习,得到相应的特征图,所采用的特征学习方法为卷积神经网络;
步骤6,防震锤的锤子检测识别,通过步骤5的样本区域学习,得到训练后的神经网络的模型参数,根据训练出来的模型对待检测图像的防震锤进行识别定位;
步骤7,缺陷判别,提取出的防震锤锤子识别结果利用线特征提取算法和形态学处理方法,在几何位置约束下判断防震锤是否存在缺陷。
优选的,上述步骤2中预处理的数据的扩充方法包括对图像进行旋转、反射变换、翻转变换、平移变换、改变图像的对比度以及噪声扰动。
优选的,上述步骤4中假设检测目标一定存在于某一个分割区域中,基于这种假设,首先使用基于图论分割的方法对原始图像进行分割,得到很多小的分割区域,作为初始的底层候选区域R={r1,r2,…rn},并且初始化相似度集合S为空。在这个基础上,按照区域合并算法以及多样化方法对区域进行合并,区域合并算法中计算相邻区域之间的相似度,并且将其添加到相似集合S中;然后,在相似集合中找到相似度最大的两个部分区域ri,rj,对其进行合并得到新的区域rk并且将其加入到集合R中;重新计算新的合并区域与其他区域相似度,并获取了每个候选区域的位置。
优选的,上述多样化方法采用颜色空间多样化以及相似多样化两种方法,首先,颜色空间多样化采用8种不同的颜色空间分别为:(1)RGB空间;(2)归一化rgb空间;(3)灰度空间L;(4)归一化的rg通道和灰度通道L;(5)Lab空间;(6)HSV空间;(7),HSV空间中的H通道;(8)HIS颜色空间,在计算两个区域相似度时,采用多种相似度计算方法,相似度计算方法包括颜色相似度、纹理相似度、大小相似度、吻合相似度。
a.颜色相似度
对图像进行归一化得到图像每个颜色通道的25组的直方图,因此图像三个通道一共得到一个75维的向量Ci={ci 1,ci 2,….ci n},区域之间的颜色相似度通过公式(1)计算:
b.纹理相似度
对每个颜色通道的8个不同方向计算高斯微分,每个方向每个通道获取10个组的直方图,因此一共可以得到一个240维的向量Bi={bi 1,bi 2,….bn},区域之间的相似度计算方法如公式(2)所示:
c.大小相似度
该相似度方法主要计算区域中包含的像素点的数量,达到小区域先完成合并的目的:
d.吻合相似度
衡量两个目标区域是否吻合,其判断方法是合并后的区域的外包络矩形Boundingbox大小,如公式(4)所示:
以上公式(1)~(4)中ri,rj代表两个候选区域,S(ri,rj)表示这两个区域之间的相似度,size(im)表示整个图像的大小。一旦完成了区域合并,就可以得到了一系列相关物体的预测位置,将这些预测位置进行下一步的卷积神经网络特征学习。
优选的,上述步骤5中通过根据区域合并的结果,确定2000~3000个待训练的区域,并且对这些区域图像进行图像归一化,统一图像大小,作为模型训练的输入。
优选的,上述步骤5中卷积网络模型的训练方法:输入层接收原始图像,通过卷积核映射到隐层,隐层包括卷积层和降采样层,卷积层和降采样层交替重复进行,使网络结构对输入样本具有畸变容忍能力,其中,卷积层由多个特征矩阵组成,每个特征矩阵都为一个二维平面,同一个平面对应同一个卷积核,隐层中的下采样层是对上一层的特征矩阵进行缩放映射以达到减少数据维度的效果,通过隐层的卷积和降采样层的下采样特征的不断学习,调整与确定输入与输出之间的映射关系,用已知的模式对卷积网络加以训练学习,调整网络的参数,网络就能得到输入输出对之间的映射能力;卷积网络的样本集是输入向量,理想输出向量的向量对构成的,通过对采集到的防震锤样本的学习,不断的调整卷积神经网络中权重参数,得到防震锤检测模型。
优选的,上述卷积网络模型的训练包括前向传播计算和反向调整参数两个阶段,前向传播:样本集中取一个样本(Xi,Yi),其中Xi图像矩阵,Yi为该样本标记好的属于哪一个类别的多维向量。用m表示卷积神经网络的当前层,则m层输入特征为xm-1,输出特征为xm,该层滤波器的权重和偏置分别为wm、bm。因此前向传播中,输入样本在卷积神经网络的每一层的输入特征如公式(5)~(8)所示:
xm=f(um) (5)
um=xm-1wm+bm(全连接层) (6)
公式(5)中的f函数代表sigmoid函数,公式(7)中的I表示可供第m层选择的前一层(m-1层)的特征图,公式(8)中down()表示下采样函数。
将Xi输入网络,信息通过以上几个公式逐级的变换,传送到输出层,计算出相应实际输出Oi;反向传播参数调整采用批量梯度下降,计算单一样本的代价误差:
N个样本的训练样本集,卷积神经网络模型的整体代价函数如公式(10)所示:
公式(10)中λ为权重衰减参数,nm为网络层数,sm为网络模型第m层的节点数。在反向传播的过程中,通过更新每一层的权重和偏置参数来获得更优的模型参数。具体方法如公式(11)~(12)所示:
其中α为学习速率,因此就需要求出每个样本对于权重参数以及偏置参数的偏导数带入到公式中。使用上述训练过程调整参数,逐步使得整体代价函数J(x,y)减小。在反向传播的过程中,为了减小整体代价函数,得到最优的权重和偏置参数,采用多次迭代更新。每一次迭代的过程中,首先根据公式(5)~(8)计算样本经过卷积神经网络后的输出结果,接着通过公式(9)~(10)计算误差代价函数,最后通过公式(11)~(12)分别更新每一层神经网络的权重和偏置参数。本专利中,学习率设置为0.1,迭代次数为20000次。
优选的,上述步骤7中根据之前检测出的防震锤单边锤子的所在位置,首先,通过Gabor算子提取出防震锤所在导线位置并且记录导线的方向值θ,其次,沿着提取出导线方向θ,寻找是否存在相邻的检测出的防震锤锤子,若没有找到,则判定防震锤损坏,其中一个锤子丢失,若相邻的防震锤存在,则判断防震锤是否存在变形情况。
优选的,上述判断防震锤是否存在变形的方法:采用Gabor算子分别提取两边的锤子,并且计算两个锤子各自的角度β、γ,根据已经提取出防震锤依附的导线,分别计算两个锤子与导线之间的角度差,公式如下:
ΔA=|α-β| (13)
ΔB=|α-γ| (14)
若ΔA、ΔB都小于阈值T,则判定防震锤无变形存在,反之,防震锤存在变形缺陷,参数T在本专利中设置为15°。
优选的,上述步骤1中预处理包括图像复原、光学校正、几何校正。
本发明的有益效果:与现有技术相比,本发明的效果如下:
(1)通过本发明的视觉检测方法能够实现能够识别在不同拍摄角度,复杂背景下,精确的识别出防震锤并且提取出有缺陷的防震锤;
(2)本发明采用图像复原、光学校正、几何校正的方法对图像进行去噪防抖的预处理,改善图像的质量,抑制使图像退化的各种干扰信号,增强图像中有用信号;
(3)本发明在样本采集的过程中,保证不同的防震锤类型以及防震锤锤体各500个以上,样本总数量不低于4000个,规避过拟合情况的发生,从而保证训练的模型在新的数据上检测效果更好;
(4)本发明采用图像进行旋转、反射变换、翻转变换、平移变换、改变图像的对比度以及噪声扰动的方法对预处理过的无人机图像进行扩充处理,产生一系列相似的图像,提高识别的正确率,减少过拟合情况的发生;
(5)本发明的目标检测通过对原始图像进行分割,得到很多小的区域,作为初始的底层候选区域,在这个基础上,按照区域合并算法以及多样化策略对区域进行合并,区域合并算法中计算相邻区域之间的相似度,并且将其添加到相似集合中,然后,在相似集合中找到相似度最大的两个部分区域,对其进行合并。重新计算新的合并区域与其他区域相似度,并获取了每个候选区域的位置,该目标检测方法像素遍历减少,重复程度少,无需遍历图像中的每个像素以及以该像素为起始点的不同大小的矩形窗口,遍历空间小,实际中耗费的时间大大缩短,计算效率大大提高;
(6)本发明采用采用颜色空间多样化以及相似多样化两种得到了更好的区域合并结果;
(7)本发明采用交替重复进行卷积层和降采样层构成的卷积网络具有旋转、位移不变、权值共享三大特点,很大程度的减少了参数的数目,不同特征平面对应不同的卷积核,多卷积核保证了特征的多样性,特征提取更加完整;
(8)本发明Gabor算子判别防震锤缺陷,判别精确,参数可靠。
附图说明
图1是本发明的流程示意图;
图2是本发明的样本采集示意图;
图3是本发明的训练候选区域;
图4是本发明的识别效缺检测效果图。
图中,1-输电线,2-防震锤,3-候选框,fz-相似度大小。
具体实施方式
下面结合附图及具体的实施例对本发明进行进一步介绍。
实施例:如图1-4所示,一种防震锤缺陷检测的视觉检测方法,该方法包括以下步骤:
步骤1,对无人机采集的输电线路图像进行预处理,检测拍摄图像是否存在质量问题,并且对数据进行去噪防抖操作;
步骤2,数据扩充,在样本采集之前,首先对步骤1中预处理的数据进行数据扩充生成相似的图像;
步骤3,采集样本:采用采集防震锤单边的方法对步骤2中扩充的图像样本进行样本采集,在样本采集的过程中,保证不同的防震锤类型以及防震锤锤体各500个以上,样本总数量不低于4000个;
步骤4,确定待训练的区域选择,采用引入图像分割的信息,预测检索的位置,通过对潜在的目标区域进行提取,实现多层次、多尺度的分割,最终得到目标物的候选框;
步骤5,区域特征学习,并且确定模型参数,根据步骤4所得到的物体预测的位置,将这些预测的区域进行特征学习,得到相应的特征图,所采用的特征学习方法为卷积神经网络;
步骤6,防震锤的锤子检测识别,通过步骤5的样本区域学习,得到训练后的神经网络的模型参数,根据训练出来的模型对待检测图像的防震锤进行识别定位;
步骤7,缺陷判别,提取出的防震锤锤子识别结果利用线特征提取算法和形态学处理方法,在几何位置约束下判断防震锤是否存在缺陷。
优选的,上述步骤2中预处理的数据的扩充方法包括对图像进行旋转、反射变换、翻转变换、平移变换、改变图像的对比度以及噪声扰动。
优选的,上述步骤4中假设检测目标一定存在于某一个分割区域中,基于这种假设,首先使用基于图论分割的方法对原始图像进行分割,得到很多小的分割区域,作为初始的底层候选区域R={r1,r2,…rn},并且初始化相似度集合S为空。在这个基础上,按照区域合并算法以及多样化方法对区域进行合并,区域合并算法中计算相邻区域之间的相似度,并且将其添加到相似集合S中;然后,在相似集合中找到相似度最大的两个部分区域ri,rj,对其进行合并得到新的区域rk并且将其加入到集合R中;重新计算新的合并区域与其他区域相似度,并获取了每个候选区域的位置。
优选的,上述多样化方法采用颜色空间多样化以及相似多样化两种方法,首先,颜色空间多样化采用8种不同的颜色空间分别为:(1)RGB空间;(2)归一化rgb空间;(3)灰度空间L;(4)归一化的rg通道和灰度通道L;(5)Lab空间;(6)HSV空间;(7)HSV空间中的H通道;(8)HIS颜色空间,在计算两个区域相似度时,采用多种相似度计算方法,相似度计算方法包括颜色相似度、纹理相似度、大小相似度、吻合相似度。
a.颜色相似度
对图像进行归一化得到图像每个颜色通道的25组的直方图,因此图像三个通道一共得到一个75维的向量Ci={ci 1,ci 2,….ci n},区域之间的颜色相似度通过公式(1)计算:
b.纹理相似度
对每个颜色通道的8个不同方向计算高斯微分,每个方向每个通道获取10个组的直方图,因此一共可以得到一个240维的向量Bi={bi 1,bi 2,….bn},区域之间的相似度计算方法如公式(2)所示:
c.大小相似度
该相似度方法主要计算区域中包含的像素点的数量,达到小区域先完成合并的目的:
d.吻合相似度
衡量两个目标区域是否吻合,其判断方法是合并后的区域的外包络矩形Boundingbox大小,如公式(4)所示:
公式(1)~(4)中ri,rj代表两个候选区域,S(ri,rj)表示这两个区域之间的相似度,size(im)表示整个图像的大小。一旦完成了区域合并,就可以得到了一系列相关物体的预测位置,将这些预测位置进行下一步的卷积神经网络特征学习。
优选的,上述步骤5中通过根据区域合并的结果,确定2000~3000个待训练的区域,并且对这些区域图像进行图像归一化,统一图像大小为227*227,作为模型训练的输入。
优选的,上述步骤5中卷积网络模型的训练方法:输入层接收原始图像,通过卷积核映射到隐层,隐层包括卷积层和降采样层,卷积层和降采样层交替重复进行,使网络结构对输入样本具有畸变容忍能力,其中,卷积层由多个特征矩阵组成,每个特征矩阵都为一个二维平面,同一个平面对应同一个卷积核,隐层中的下采样层是对上一层的特征矩阵进行缩放映射以达到减少数据维度的效果,通过隐层的卷积和降采样层的下采样特征的不断学习,调整与确定输入与输出之间的映射关系,用已知的模式对卷积网络加以训练学习,调整网络的参数,网络就能得到输入输出对之间的映射能力;卷积网络的样本集是输入向量,理想输出向量的向量对构成的,通过对采集到的防震锤样本的学习,不断的调整卷积神经网络中权重参数,得到防震锤检测模型。
优选的,上述卷积网络模型的训练包括前向传播计算和反向调整参数两个阶段,前向传播:样本集中取一个样本(Xi,Yi),其中Xi图像矩阵,Yi为该样本标记好的属于哪一个类别的多维向量。用m表示卷积神经网络的当前层,则m层输入特征为xm-1,输出特征为xm,该层滤波器的权重和偏置分别为wm、bm。因此前向传播中,输入样本在卷积神经网络的每一层的输入特征如公式(5)~(8)所示:
xm=f(um) (5)
um=xm-1wm+bm(全连接层) (6)
公式(5)中的f函数代表sigmoid函数,公式(7)中的I表示可供第m层选择的前一层(m-1层)的特征图,公式(8)中down()表示下采样函数。
将Xi输入网络,信息通过以上几个公式逐级的变换,传送到输出层,计算出相应实际输出Oi;反向传播参数调整采用批量梯度下降,计算单一样本的代价误差:
N个样本的训练样本集,卷积神经网络模型的整体代价函数如公式(10)所示:
公式(10)中λ为权重衰减参数,nm为网络层数,sm为网络模型第m层的节点数。在反向传播的过程中,通过更新每一层的权重和偏置参数来获得更优的模型参数。具体方法如公式(11)~(12)所示:
其中α为学习速率,因此就需要求出每个样本对于权重参数以及偏置参数的偏导数带入到公式中。使用上述训练过程调整参数,逐步使得整体代价函数J(x,y)减小。在反向传播的过程中,为了减小整体代价函数,得到最优的权重和偏置参数,采用多次迭代更新。每一次迭代的过程中,首先根据公式(5)~(8)计算样本经过卷积神经网络后的输出结果,接着通过公式(9)~(10)计算误差代价函数,最后通过公式(11)~(12)分别更新每一层神经网络的权重和偏置参数。本专利中,学习率设置为0.1,迭代次数为20000次。
优选的,上述步骤7中根据之前检测出的防震锤单边锤子的所在位置,首先,通过Gabor算子提取出防震锤所在导线位置并且记录导线的方向值θ,其次,沿着提取出导线方向θ,寻找是否存在相邻的检测出的防震锤锤子,若没有找到,则判定防震锤损坏,其中一个锤子丢失,若相邻的防震锤存在,则判断防震锤是否存在变形情况。
优选的,上述判断防震锤是否存在变形的方法:采用Gabor算子分别提取两边的锤子,并且计算两个锤子各自的角度β、γ,根据已经提取出防震锤依附的导线,分别计算两个锤子与导线之间的角度差,公式如下:
ΔA=|α-β| (13)
ΔB=|α-γ| (14)
若ΔA、ΔB都小于阈值T,则判定防震锤无变形存在,反之,防震锤存在变形缺陷,参数T在本专利中设置为15°。
实施例2:一种防震锤缺陷检测的视觉检测方法,该方法包括以下步骤:
步骤一:首先对无人机航拍图像进行预处理。由于飞机巡检采集航拍图像是在野外自然环境下进行,图像在采集过程受到的噪声和运动模糊的影响非常严重,从而造成图像的严重退化,即在成像过程中出现的畸变、模糊、失真或混入噪声,造成的图像质量下降,同时,由于光照条件的限制,造成摄影时曝光不良(不足或过度)以及图像画面明暗不均,所以,在对采集到的航拍图像进行分析和检测之前一个重要的环节,就是航拍图像的预处理。航拍图像预处理的目的是采用一系列的技术手段以改善图像的质量,抑制使图像退化的各种干扰信号,增强图像中有用信号等。只有经过预处理后的图像才能进入下一步的分析处理。本申请中采用的图像预处理方法包括图像复原、光学校正、几何校正等,图像复原的目的是去除图像中的噪声和运动模糊,突出图像中的有用信息;光学校正的目的是解决图像采集时的曝光、聚焦问题,改善图像对比度;几何校正(扭曲复原)是校正图像的几何变形,对图像进行几何变换的过程;
步骤二:数据扩充
在深度学习中,卷积神经网络模型越复杂,越具有强表达能力,这会导致训练数据效果很好,而不能很好的应用于测试数据。因此,需要更多、更丰富的数据来规避过拟合情况的发生,从而保证训练的模型在新的数据上也有不错的检测效果。为了避免出现过拟合(Overfitting),需要输入充足的样本数据量。扩充数据的方法有:旋转、反射变换:随机旋转图像一定角度,改变图像内容的朝向;翻转变换:沿着水平或者垂直方向翻转图像;平移变换:在图像平面上对图像以一定方式进行平移;缩放变换:按照一定的比例放大或者缩小图像;尺度变换:对图像按照指定的尺度因子,进行放大或缩小,利用指定的尺度因子对图像滤波构造尺度空间;对比度变换:在图像的HSV颜色空间,改变饱和度S和V亮度分量,保持色调H不变.对每个像素的S和V分量进行指数运算(指数因子在0.25~4之间),增加光照变化;噪声扰动:对图像的每个像素RGB进行随机扰动,常用的噪声模式是椒盐噪声和高斯噪声,利用如上这些方法对预处理过的无人机图像进行扩充处理,产生一系列相似的图像,提高识别的正确率,减少过拟合情况的发生;
步骤三:采集样本
通过分别检测防震锤的左右两个锤子实现防震锤的识别定位,以及缺陷判别,因此,在样本采集的过程中,尽量保证采集的样本包含了防震锤锤子的完整性,考虑到防震锤种类的多样性,针对每一种类别,尽可能保证样本数量足够多,场景足够丰富,样本越丰富,绝缘子检测识别的效果越好。采集结果如图2。
步骤四:确定待训练的区域选择。常见的目标检测方法都是通过滑动窗口进行实现的,像素遍历多,重复程度高,需要遍历图像中的每个像素以及以该像素为起始点的不同大小的矩形窗口,接着依靠评分的机制对检索窗口进行初步猜测,从而判断当前检测位置是否是目标。因此,在这样的一个滑动窗口的过程中,遍历空间是巨大的,实际中耗费的时间特别长,计算效率低。因而需要采用一定的简化策略。通常假设检测目标一定存在于某一个分割区域中,基于这种假设,首先使用基于图论分割的方法对原始图像进行分割,得到很多小的分割区域,作为初始的底层候选区域R={r1,r2,…rn},并且初始化相似度集合S为空。在这个基础上,按照区域合并算法以及多样化方法对区域进行合并,区域合并算法中计算相邻区域之间的相似度,并且将其添加到相似集合S中;然后,在相似集合中找到相似度最大的两个部分区域ri,rj,对其进行合并得到新的区域rk并且将其加入到集合R中;重新计算新的合并区域与其他区域相似度,并获取了每个候选区域的位置。为了得到好的区域合并结果,采用颜色空间多样化以及相似多样化两种策略。颜色空间多样化采用8种不同的颜色空间分别为:(1)RGB空间;(2)归一化rgb空间;(3)灰度空间L;(4)归一化的rg通道和灰度通道L;(5)Lab空间;(6)HSV空间;(7),HSV空间中的H通道;(8)HIS颜色空间,在计算两个区域相似度时,采用多种相似度计算方法,相似度计算方法包括颜色相似度、纹理相似度、大小相似度、吻合相似度:
a.颜色相似度
对图像进行归一化得到图像每个颜色通道的25组的直方图,因此图像三个通道一共得到一个75维的向量Ci={ci 1,ci 2,….ci n},区域之间的颜色相似度通过公式(1)计算:
b.纹理相似度
对每个颜色通道的8个不同方向计算高斯微分,每个方向每个通道获取10个组的直方图,因此一共可以得到一个240维的向量Bi={bi 1,bi 2,….bn},区域之间的相似度计算方法如公式(2)所示:
c.大小相似度
该相似度方法主要计算区域中包含的像素点的数量,达到小区域先完成合并的目的:
d.吻合相似度
衡量两个目标区域是否吻合,其判断方法是合并后的区域的外包络矩形Boundingbox大小,如公式(4)所示:
公式(1)~(4)中ri,rj代表两个候选区域,S(ri,rj)表示这两个区域之间的相似度,size(im)表示整个图像的大小。一旦完成了区域合并,就可以得到了一系列相关物体的预测位置,将这些预测位置进行下一步的卷积神经网络特征学习。
整个过程如图3,首先选择候选区域,然后将所有候选区域进行卷积神经网络模型训练;
步骤五:区域特征学习,并且确定模型参数
通过根据区域合并的结果,确定2000~3000个待训练的区域,并且对这些区域图像进行图像归一化,统一图像大小,作为模型训练的输入。卷积神经网络卷积网络是为识别二维形状而特殊设计的一个多层感知器,卷积神经网络是一个多层的神经网络,每层由多个二维平面组成(feature map),每个feature map是由多个独立神经元组成。卷积网络工作流程如下,输入层接收原始图像。通过卷积核(神经元的权值矩阵),映射到隐层,隐层主要由卷积层和降采样层组成。卷积层和降采样层交替重复进行,使网络结构对输入样本具有较高的畸变容忍能力。其中,卷积层由多个特征矩阵组成,每个特征矩阵都为一个二维平面。同一个平面对应同一个卷积核,因此,网络具有旋转、位移不变、权值共享三大特点,很大程度的减少了参数的数目。不同特征平面对应不同的卷积核,多卷积核保证了特征的多样性,特征提取更加完整。隐层中的下采样层是对上一层的特征矩阵进行缩放映射以达到减少数据维度的效果。卷积神经网络在本质上是一种输入到输出的映射,通过隐层的卷积和下采样特征的不断学习,调整与确定输入与输出之间的映射关系,不需要精确的数学表达方式。它只要用已知的模式对卷积网络加以训练学习,调整网络的参数,网络就能得到输入输出对之间的映射能力。卷积网络的样本集是输入向量,理想输出向量的向量对构成的。卷积网络模型的训练包括前向传播计算和反向调整参数两个阶段,前向传播:样本集中取一个样本(Xi,Yi),其中Xi图像矩阵,Yi为该样本标记好的属于哪一个类别的多维向量。用m表示卷积神经网络的当前层,则m层输入特征为xm-1,输出特征为xm,该层滤波器的权重和偏置分别为wm、bm。因此前向传播中,输入样本在卷积神经网络的每一层的输入特征如公式(5)~(8)所示:
xm=f(um) (5)
um=xm-1wm+bm(全连接层) (6)
公式(5)中的f函数代表sigmoid函数,公式(7)中的I表示可供第m层选择的前一层(m-1层)的特征图,公式(8)中down表示下采样函数。
将Xi输入网络,信息通过以上几个公式逐级的变换,传送到输出层,计算出相应实际输出Oi;反向传播参数调整采用批量梯度下降,计算单一样本的代价误差:
N个样本的训练样本集,卷积神经网络模型的整体代价函数如公式(10)所示:
公式(10)中λ为权重衰减参数,nm为网络层数,sm为网络模型第m层的节点数。在反向传播的过程中,通过更新每一层的权重和偏置参数来获得更优的模型参数。具体方法如公式(11)~(12)所示:
其中α为学习速率,因此就需要求出每个样本对于权重参数以及偏置参数的偏导数带入到公式中。使用上述训练过程调整参数,逐步使得整体代价函数J(x,y)减小。在反向传播的过程中,为了减小整体代价函数,得到最优的权重和偏置参数,采用多次迭代更新。每一次迭代的过程中,首先根据公式(5)~(8)计算样本经过卷积神经网络后的输出结果,接着通过公式(9)~(10)计算误差代价函数,最后通过公式(11)~(12)分别更新每一层神经网络的权重和偏置参数。本专利中,学习率设置为0.1,迭代次数为20000次。通过对采集到的防震锤样本的学习,不断的调整卷积神经网络中权重参数,得到防震锤检测模型;
步骤六:防震锤的锤子识别检测,通过已经确定好了的神经网络模型,将输电线的航拍图像作为输入,经过神经网络模型的不断映射,最后确定出防震锤的锤子所在图像中的位置;
步骤七,缺陷判别,防震锤的缺陷检测主要集中在防震锤变形以及防震锤损坏的缺陷的识别。判别方法主要是几何位置约束下、基于规则的识别检测。根据之前检测出的防震锤一边锤子的所在位置,通过Gabor算子提取出防震锤所在导线位置并且记录导线的方向值θ,Gabor算子是一种能够检测多尺度、多方向的线提取方法,具有很好的鲁棒性。接着,沿着提取出导线方向θ,寻找是否存在相邻的检测出的防震锤锤子,如果没有找到,就可以判定防震锤损坏,其中一个锤子丢失。如果相邻的防震锤存在,在这种情况下,需要判断防震锤是否存在变形情况。因为防震锤的两个锤子也是线性的特征,所以继续采用Gabor算子分别提取两边的锤子,并且计算两个锤子各自的角度β、γ,根据已经提取出防震锤依附的导线,分别计算两个锤子与导线之间的角度差,公式如下:
ΔA=|α-β| (13)
ΔB=|α-γ| (14)
若ΔA、ΔB都小于阈值T,则判定防震锤无变形存在,反之,防震锤存在变形缺陷,参数T在本专利中设置为15°,结果如图4。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内,因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种防震锤缺陷检测的视觉检测方法,其特征在于:该方法包括以下步骤:
步骤1,对无人机采集的输电线路图像进行预处理,检测拍摄图像是否存在质量问题,并且对数据进行去噪防抖操作;
步骤2,数据扩充,在样本采集之前,首先对步骤1中预处理的数据进行数据扩充生成相似的图像;
步骤3,采集样本:采用采集防震锤单边图像的方法对步骤2中扩充的图像样本进行样本采集,在样本采集的过程中,保证不同的防震锤类型以及防震锤锤体各500个以上,样本总数量不低于4000个;
步骤4,确定待训练的区域选择,采用引入图像分割的信息,预测检索的位置,通过对潜在的目标区域进行提取,最终得到目标物的候选框;
步骤5,通过卷积神经网络进行特征学习,并且确定模型参数,根据步骤4所得到的物体预测的位置,将这些预测的区域进行特征学习,得到相应的特征图;
步骤6,防震锤的锤子检测识别,通过步骤5的样本区域学习,得到训练后的神经网络的模型参数,根据训练出来的模型对待检测图像的防震锤进行识别定位;
步骤7,缺陷判别,提取出的防震锤锤子识别结果利用线特征提取算法和形态学处理方法,在几何位置约束下判断防震锤是否存在缺陷。
2.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法,其特征在于:步骤2中预处理的数据的扩充方法包括对图像进行旋转、反射变换、翻转变换、平移变换、改变图像的对比度以及噪声扰动。
3.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法,其特征在于:步骤4中假设检测目标一定存在于某一个分割区域中,基于这种假设,首先使用基于图论分割的方法对原始图像进行分割,得到很多小的分割区域,作为初始的底层候选区域R={r1,r2,…rn},并且初始化相似度集合S为空。在这个基础上,按照区域合并算法以及多样化方法对区域进行合并,区域合并算法中计算相邻区域之间的相似度,并且将其添加到相似集合S中;然后,在相似集合中找到相似度最大的两个部分区域ri,rj,对其进行合并得到新的区域rk并且将其加入到集合R中;重新计算新的合并区域与其他区域相似度,并获取了每个候选区域的位置。
4.根据权利要求3所述的一种防震锤缺陷检测的视觉检测方法,其特征在于多样化方法采用颜色空间多样化以及相似多样化两种方法,首先,颜色空间多样化采用8种不同的颜色空间分别为:(1)RGB空间;(2)归一化rgb空间;(3)灰度空间L;(4)归一化的rg通道和灰度通道L;(5)Lab空间;(6)HSV空间;(7),HSV空间中的H通道;(8)HIS颜色空间,在计算两个区域相似度时,采用多种相似度计算方法,相似度计算方法包括颜色相似度、纹理相似度、大小相似度、吻合相似度。
a.颜色相似度
对图像进行归一化得到图像每个颜色通道的25组的直方图,因此图像三个通道一共得到一个75维的向量区域之间的颜色相似度通过公式(1)计算:
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>c</mi>
<mi>i</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>c</mi>
<mi>j</mi>
<mi>k</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
b.纹理相似度
对每个颜色通道的8个不同方向计算高斯微分,每个方向每个通道获取10个组的直方图,因此一共可以得到一个240维的向量区域之间的相似度计算方法如公式(2)所示:
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>b</mi>
<mi>i</mi>
<mi>k</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>b</mi>
<mi>j</mi>
<mi>k</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
c.大小相似度
该相似度方法主要计算区域中包含的像素点的数量,达到小区域先完成合并的目的:
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>s</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mi>m</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
d.吻合相似度
衡量两个目标区域是否吻合,其判断方法是合并后的区域的外包络矩形Bounding box大小,如公式(4)所示:
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<mi>B</mi>
<mi>o</mi>
<mi>u</mi>
<mi>n</mi>
<mi>d</mi>
<mi>i</mi>
<mi>n</mi>
<mi>g</mi>
<mi> </mi>
<mi>b</mi>
<mi>o</mi>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mi>m</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(1)~(4)中ri,rj代表两个候选区域,S(ri,rj)表示这两个区域之间的相似度,size(im)表示整个图像的大小,一旦完成了区域合并,就可以得到了一系列相关物体的预测位置,将这些预测位置进行下一步的卷积神经网络特征学习。
5.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法,其特征在于:步骤5中通过根据区域合并的结果,确定2000~3000个待训练的区域,并且对这些区域图像进行图像归一化,统一图像大小,作为模型训练的输入。
6.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法,其特征在于:步骤5中卷积网络模型的训练方法:输入层接收原始图像,通过卷积核映射到隐层,隐层包括卷积层和降采样层,卷积层和降采样层交替重复进行,使网络结构对输入样本具有畸变容忍能力,其中,卷积层由多个特征矩阵组成,每个特征矩阵都为一个二维平面,同一个平面对应同一个卷积核,隐层中的下采样层是对上一层的特征矩阵进行缩放映射以达到减少数据维度的效果,通过隐层的卷积和降采样层的下采样特征的不断学习,调整与确定输入与输出之间的映射关系,用已知的模式对卷积网络加以训练学习,调整网络的参数,网络就能得到输入输出对之间的映射能力;卷积网络的样本集是输入向量,理想输出向量的向量对构成的,通过对采集到的防震锤样本的学习,不断的调整卷积神经网络中权重参数,得到防震锤检测模型。
7.根据权利要求6所述的一种防震锤缺陷检测的视觉检测方法,其特征在于:卷积网络模型的训练包括前向传播计算和反向调整参数两个阶段,前向传播:样本集中取一个样本(Xi,Yi),其中Xi图像矩阵,Yi为该样本标记好的属于哪一个类别的多维向量。用m表示卷积神经网络的当前层,则m层输入特征为xm-1,输出特征为xm,该层滤波器的权重和偏置分别为wm、bm。因此前向传播中,输入样本在卷积神经网络的每一层的输入特征如公式(5)~(8)所示:
xm=f(um) (5)
um=xm-1wm+bm(全连接层) (6)
公式(5)中的f函数代表sigmoid函数,公式(7)中的I表示可供第m层选择的前一层(m-1层)的特征图,公式(8)中down表示下采样函数,将Xi输入网络,信息通过以上几个公式逐级的变换,传送到输出层,计算出相应实际输出Oi;反向传播参数调整采用批量梯度下降,计算单一样本的代价误差:
<mrow>
<mi>J</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<mi>O</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
N个样本的训练样本集,卷积神经网络模型的整体代价函数如公式(10)所示:
<mrow>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<mi>O</mi>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<mi>&lambda;</mi>
<mn>2</mn>
</mfrac>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msub>
<mi>n</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>s</mi>
<mi>m</mi>
</msub>
</msubsup>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>s</mi>
<mrow>
<mi>m</mi>
<mo>+</mo>
<mo>!</mo>
</mrow>
</msub>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(10)中λ为权重衰减参数,nm为网络层数,sm为网络模型第m层的节点数,在反向传播的过程中,通过更新每一层的权重和偏置参数来获得更优的模型参数。具体方法如公式(11)~(12)所示:
<mrow>
<msubsup>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>m</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>m</mi>
</msubsup>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>&CenterDot;</mo>
<mo>&lsqb;</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<mfrac>
<mo>&part;</mo>
<mrow>
<mo>&part;</mo>
<msubsup>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>m</mi>
</msubsup>
</mrow>
</mfrac>
<mi>J</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mi>n</mi>
</msup>
<mo>,</mo>
<msup>
<mi>y</mi>
<mi>n</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>&lambda;w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>m</mi>
</msubsup>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>b</mi>
<mi>i</mi>
<mi>m</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>b</mi>
<mi>i</mi>
<mi>m</mi>
</msubsup>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>&CenterDot;</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<mfrac>
<mo>&part;</mo>
<mrow>
<mo>&part;</mo>
<msubsup>
<mi>w</mi>
<mi>i</mi>
<mi>m</mi>
</msubsup>
</mrow>
</mfrac>
<mi>J</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mi>n</mi>
</msup>
<mo>,</mo>
<msup>
<mi>y</mi>
<mi>n</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
其中α为学习速率,因此就需要求出每个样本对于权重参数以及偏置参数的偏导数带入到公式中,使用上述训练过程调整参数,逐步使得整体代价函数J(x,y)减小,在反向传播的过程中,采用多次迭代更新,每一次迭代的过程中,首先根据公式(5)~(8)计算样本经过卷积神经网络后的输出结果,接着通过公式(9)~(10)计算误差代价函数,最后通过公式(11)~(12)分别更新每一层神经网络的权重和偏置参数,学习率设置为0.1,迭代次数为20000次。
8.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法,其特征在于:步骤7中根据之前检测出的防震锤单边锤子的所在位置,首先,通过Gabor算子提取出防震锤所在导线位置并且记录导线的方向值θ,其次,沿着提取出导线方向θ,寻找是否存在相邻的检测出的防震锤锤子,若没有找到,则判定防震锤损坏,其中一个锤子丢失,若相邻的防震锤存在,则判断防震锤是否存在变形情况。
9.根据权利要求8所述的一种防震锤缺陷检测的视觉检测方法,其特征在于:判断防震锤是否存在变形的方法:采用Gabor算子分别提取两边的锤子,并且计算两个锤子各自的角度β、γ,根据已经提取出防震锤依附的导线,分别计算两个锤子与导线之间的角度差,公式如下:
ΔA=|α-β| (13)ΔB=|α-γ| (14)
若ΔA、ΔB都小于阈值T,则判定防震锤无变形存在,反之,防震锤存在变形缺陷,参数T设置为15°。
10.根据权利要求1所述的一种防震锤缺陷检测的视觉检测方法,其特征在于:步骤1中预处理包括图像复原、光学校正、几何校正。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710283379.5A CN107133943B (zh) | 2017-04-26 | 2017-04-26 | 一种防震锤缺陷检测的视觉检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710283379.5A CN107133943B (zh) | 2017-04-26 | 2017-04-26 | 一种防震锤缺陷检测的视觉检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107133943A true CN107133943A (zh) | 2017-09-05 |
CN107133943B CN107133943B (zh) | 2018-07-06 |
Family
ID=59715079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710283379.5A Active CN107133943B (zh) | 2017-04-26 | 2017-04-26 | 一种防震锤缺陷检测的视觉检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107133943B (zh) |
Cited By (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886098A (zh) * | 2017-10-25 | 2018-04-06 | 昆明理工大学 | 一种基于深度学习的识别太阳黑子的方法 |
CN108022235A (zh) * | 2017-11-23 | 2018-05-11 | 中国科学院自动化研究所 | 高压输电铁塔关键部件缺陷识别方法 |
CN108037133A (zh) * | 2017-12-27 | 2018-05-15 | 武汉市智勤创亿信息技术股份有限公司 | 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统 |
CN108038846A (zh) * | 2017-12-04 | 2018-05-15 | 国网山东省电力公司电力科学研究院 | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 |
CN108090517A (zh) * | 2017-12-29 | 2018-05-29 | 美的集团股份有限公司 | 一种谷物识别方法、装置和计算机存储介质 |
CN108154508A (zh) * | 2018-01-09 | 2018-06-12 | 北京百度网讯科技有限公司 | 产品缺陷检测定位的方法、装置、存储介质及终端设备 |
CN108154502A (zh) * | 2017-12-22 | 2018-06-12 | 王华锋 | 一种基于卷积神经网络的通孔焊点识别方法 |
CN108288269A (zh) * | 2018-01-24 | 2018-07-17 | 东南大学 | 基于无人机与卷积神经网络的桥梁支座病害自动识别方法 |
CN108334844A (zh) * | 2018-02-06 | 2018-07-27 | 贵州电网有限责任公司 | 一种输电线路巡检的沿线自动跟踪方法 |
CN108346144A (zh) * | 2018-01-30 | 2018-07-31 | 哈尔滨工业大学 | 基于计算机视觉的桥梁裂缝自动监测与识别方法 |
CN108830903A (zh) * | 2018-04-28 | 2018-11-16 | 杨晓春 | 一种基于cnn的钢坯位置检测方法 |
CN109145770A (zh) * | 2018-08-01 | 2019-01-04 | 中国科学院合肥物质科学研究院 | 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法 |
CN109409424A (zh) * | 2018-10-16 | 2019-03-01 | 广东工业大学 | 一种外观缺陷检测模型建模方法和装置 |
CN109431492A (zh) * | 2018-10-16 | 2019-03-08 | 上海优加利健康管理有限公司 | 基于神经网络算法的心电图导联数据模拟重建方法 |
CN109544501A (zh) * | 2018-03-22 | 2019-03-29 | 广东电网有限责任公司清远供电局 | 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法 |
CN109753929A (zh) * | 2019-01-03 | 2019-05-14 | 华东交通大学 | 一种图库联合的高铁绝缘子巡检图像识别方法 |
CN109886325A (zh) * | 2019-02-01 | 2019-06-14 | 辽宁工程技术大学 | 一种非线性颜色空间分类的模板选择与加速匹配方法 |
CN110009620A (zh) * | 2019-04-03 | 2019-07-12 | 国网四川省电力公司检修公司 | 基于迁移学习算法进行电网防震锤智能识别的方法及系统 |
CN110119771A (zh) * | 2019-04-29 | 2019-08-13 | 杭州电子科技大学上虞科学与工程研究院有限公司 | 基于组合特征和级联分类器的高压输电线路防震锤检测方法 |
CN110222587A (zh) * | 2019-05-13 | 2019-09-10 | 杭州电子科技大学 | 一种基于特征图的商品定位检测重识别方法 |
CN110314854A (zh) * | 2019-06-06 | 2019-10-11 | 苏州市职业大学 | 一种基于视觉机器人的工件检测分拣的装置及方法 |
CN110334612A (zh) * | 2019-06-19 | 2019-10-15 | 上海交通大学 | 具有自学习能力的电力巡检图像目标检测方法 |
CN110363749A (zh) * | 2019-06-21 | 2019-10-22 | 西安工程大学 | 基于图像处理的防震锤锈蚀程度评价方法 |
CN110378222A (zh) * | 2019-06-14 | 2019-10-25 | 安徽南瑞继远电网技术有限公司 | 一种输电线路防震锤目标检测与缺陷识别方法及装置 |
CN110458798A (zh) * | 2019-06-20 | 2019-11-15 | 长沙理工大学 | 基于关键点检测的防振锤缺陷视觉检测方法、系统及介质 |
CN110738179A (zh) * | 2019-10-18 | 2020-01-31 | 国家电网有限公司 | 一种电力设备的识别方法及相关装置 |
US10769774B2 (en) | 2018-01-09 | 2020-09-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor |
CN111862089A (zh) * | 2020-08-03 | 2020-10-30 | 上海闻泰信息技术有限公司 | 一种防尘网瑕疵识别方法、装置及电子设备 |
WO2020228171A1 (zh) * | 2019-05-16 | 2020-11-19 | 平安科技(深圳)有限公司 | 数据增强方法、装置及计算机可读存储介质 |
CN112200790A (zh) * | 2020-10-16 | 2021-01-08 | 鲸斛(上海)智能科技有限公司 | 布料缺陷检测方法、设备和介质 |
CN112017777B (zh) * | 2020-11-02 | 2021-02-26 | 北京妙医佳健康科技集团有限公司 | 相似对问题预测的方法、装置及电子设备 |
CN112906654A (zh) * | 2021-03-29 | 2021-06-04 | 杭州电力设备制造有限公司 | 基于深度学习算法的防震锤检测方法 |
CN114565609A (zh) * | 2022-04-27 | 2022-05-31 | 河南银金达新材料股份有限公司 | 一种光致变色膜光学性能在线检测方法 |
CN114581692A (zh) * | 2022-03-06 | 2022-06-03 | 扬州孚泰电气有限公司 | 一种基于智能图形识别的防振锤故障检测方法及系统 |
US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
CN116310999A (zh) * | 2023-05-05 | 2023-06-23 | 贵州中水能源股份有限公司 | 一种水力发电站库区大型漂浮物检测方法 |
CN116305427A (zh) * | 2023-02-20 | 2023-06-23 | 中国建筑西南设计研究院有限公司 | 一种抗震设防参数处理方法、装置、电子设备及存储介质 |
US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
CN118396980A (zh) * | 2024-05-27 | 2024-07-26 | 浙江稳达减振器有限公司 | 基于机器视觉的新能源汽车减震杆检测系统及方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
CN115512173A (zh) | 2018-10-11 | 2022-12-23 | 特斯拉公司 | 用于使用增广数据训练机器模型的系统和方法 |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014060001A1 (en) * | 2012-09-13 | 2014-04-24 | FRENKEL, Christina | Multitransmitter model of the neural network with an internal feedback |
CN104021394A (zh) * | 2014-06-05 | 2014-09-03 | 华北电力大学(保定) | 基于Adaboost算法的绝缘子图像识别方法 |
CN104978580A (zh) * | 2015-06-15 | 2015-10-14 | 国网山东省电力公司电力科学研究院 | 一种用于无人机巡检输电线路的绝缘子识别方法 |
CN106225705A (zh) * | 2016-07-26 | 2016-12-14 | 国网福建省电力有限公司 | 基于lsd算法和机器学习的防震锤变形检测方法 |
CN106504233A (zh) * | 2016-10-18 | 2017-03-15 | 国网山东省电力公司电力科学研究院 | 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统 |
-
2017
- 2017-04-26 CN CN201710283379.5A patent/CN107133943B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014060001A1 (en) * | 2012-09-13 | 2014-04-24 | FRENKEL, Christina | Multitransmitter model of the neural network with an internal feedback |
CN104021394A (zh) * | 2014-06-05 | 2014-09-03 | 华北电力大学(保定) | 基于Adaboost算法的绝缘子图像识别方法 |
CN104978580A (zh) * | 2015-06-15 | 2015-10-14 | 国网山东省电力公司电力科学研究院 | 一种用于无人机巡检输电线路的绝缘子识别方法 |
CN106225705A (zh) * | 2016-07-26 | 2016-12-14 | 国网福建省电力有限公司 | 基于lsd算法和机器学习的防震锤变形检测方法 |
CN106504233A (zh) * | 2016-10-18 | 2017-03-15 | 国网山东省电力公司电力科学研究院 | 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统 |
Non-Patent Citations (5)
Title |
---|
付晶 等: "利用层次模型进行训练学习的线路设备缺陷检测方法", 《高电压技术》 * |
宋伟 等: "高压输电线防震锤锈蚀缺陷检测", 《仪器仪表学报》 * |
谭磊 等: "输电线路除冰机器人障碍视觉检测识别算法", 《仪器仪表学报》 * |
金立军 等: "基于类Haar特征与级联AdaBoost算法的防震锤识别", 《系统仿真学报》 * |
陈晓娟 等: "基于随机Hough变换的OPGW防震锤识别", 《黑龙江电力》 * |
Cited By (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12020476B2 (en) | 2017-03-23 | 2024-06-25 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US12086097B2 (en) | 2017-07-24 | 2024-09-10 | Tesla, Inc. | Vector computational unit |
US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
CN107886098A (zh) * | 2017-10-25 | 2018-04-06 | 昆明理工大学 | 一种基于深度学习的识别太阳黑子的方法 |
CN108022235A (zh) * | 2017-11-23 | 2018-05-11 | 中国科学院自动化研究所 | 高压输电铁塔关键部件缺陷识别方法 |
CN108022235B (zh) * | 2017-11-23 | 2020-07-28 | 中国科学院自动化研究所 | 高压输电铁塔关键部件缺陷识别方法 |
CN108038846A (zh) * | 2017-12-04 | 2018-05-15 | 国网山东省电力公司电力科学研究院 | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 |
CN108154502A (zh) * | 2017-12-22 | 2018-06-12 | 王华锋 | 一种基于卷积神经网络的通孔焊点识别方法 |
CN108037133B (zh) * | 2017-12-27 | 2021-01-26 | 武汉市智勤创亿信息技术股份有限公司 | 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统 |
CN108037133A (zh) * | 2017-12-27 | 2018-05-15 | 武汉市智勤创亿信息技术股份有限公司 | 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统 |
CN108090517A (zh) * | 2017-12-29 | 2018-05-29 | 美的集团股份有限公司 | 一种谷物识别方法、装置和计算机存储介质 |
US10769774B2 (en) | 2018-01-09 | 2020-09-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor |
CN108154508A (zh) * | 2018-01-09 | 2018-06-12 | 北京百度网讯科技有限公司 | 产品缺陷检测定位的方法、装置、存储介质及终端设备 |
CN108288269A (zh) * | 2018-01-24 | 2018-07-17 | 东南大学 | 基于无人机与卷积神经网络的桥梁支座病害自动识别方法 |
CN108346144A (zh) * | 2018-01-30 | 2018-07-31 | 哈尔滨工业大学 | 基于计算机视觉的桥梁裂缝自动监测与识别方法 |
CN108346144B (zh) * | 2018-01-30 | 2021-03-16 | 哈尔滨工业大学 | 基于计算机视觉的桥梁裂缝自动监测与识别方法 |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
CN108334844A (zh) * | 2018-02-06 | 2018-07-27 | 贵州电网有限责任公司 | 一种输电线路巡检的沿线自动跟踪方法 |
CN108334844B (zh) * | 2018-02-06 | 2022-08-12 | 贵州电网有限责任公司 | 一种输电线路巡检的沿线自动跟踪方法 |
CN109544501A (zh) * | 2018-03-22 | 2019-03-29 | 广东电网有限责任公司清远供电局 | 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法 |
CN108830903A (zh) * | 2018-04-28 | 2018-11-16 | 杨晓春 | 一种基于cnn的钢坯位置检测方法 |
US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US12079723B2 (en) | 2018-07-26 | 2024-09-03 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
CN109145770B (zh) * | 2018-08-01 | 2022-07-15 | 中国科学院合肥物质科学研究院 | 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法 |
CN109145770A (zh) * | 2018-08-01 | 2019-01-04 | 中国科学院合肥物质科学研究院 | 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法 |
US11983630B2 (en) | 2018-09-03 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
CN109431492A (zh) * | 2018-10-16 | 2019-03-08 | 上海优加利健康管理有限公司 | 基于神经网络算法的心电图导联数据模拟重建方法 |
CN109409424A (zh) * | 2018-10-16 | 2019-03-01 | 广东工业大学 | 一种外观缺陷检测模型建模方法和装置 |
CN109409424B (zh) * | 2018-10-16 | 2021-09-17 | 广东工业大学 | 一种外观缺陷检测模型建模方法和装置 |
US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
CN109753929A (zh) * | 2019-01-03 | 2019-05-14 | 华东交通大学 | 一种图库联合的高铁绝缘子巡检图像识别方法 |
CN109886325A (zh) * | 2019-02-01 | 2019-06-14 | 辽宁工程技术大学 | 一种非线性颜色空间分类的模板选择与加速匹配方法 |
US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
CN109886325B (zh) * | 2019-02-01 | 2022-11-29 | 辽宁工程技术大学 | 一种非线性颜色空间分类的模板选择与加速匹配方法 |
US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
CN110009620A (zh) * | 2019-04-03 | 2019-07-12 | 国网四川省电力公司检修公司 | 基于迁移学习算法进行电网防震锤智能识别的方法及系统 |
CN110119771A (zh) * | 2019-04-29 | 2019-08-13 | 杭州电子科技大学上虞科学与工程研究院有限公司 | 基于组合特征和级联分类器的高压输电线路防震锤检测方法 |
CN110222587A (zh) * | 2019-05-13 | 2019-09-10 | 杭州电子科技大学 | 一种基于特征图的商品定位检测重识别方法 |
WO2020228171A1 (zh) * | 2019-05-16 | 2020-11-19 | 平安科技(深圳)有限公司 | 数据增强方法、装置及计算机可读存储介质 |
CN110314854A (zh) * | 2019-06-06 | 2019-10-11 | 苏州市职业大学 | 一种基于视觉机器人的工件检测分拣的装置及方法 |
CN110378222B (zh) * | 2019-06-14 | 2023-10-27 | 南瑞集团有限公司 | 一种输电线路防震锤目标检测与缺陷识别方法及装置 |
CN110378222A (zh) * | 2019-06-14 | 2019-10-25 | 安徽南瑞继远电网技术有限公司 | 一种输电线路防震锤目标检测与缺陷识别方法及装置 |
CN110334612A (zh) * | 2019-06-19 | 2019-10-15 | 上海交通大学 | 具有自学习能力的电力巡检图像目标检测方法 |
CN110458798A (zh) * | 2019-06-20 | 2019-11-15 | 长沙理工大学 | 基于关键点检测的防振锤缺陷视觉检测方法、系统及介质 |
CN110363749A (zh) * | 2019-06-21 | 2019-10-22 | 西安工程大学 | 基于图像处理的防震锤锈蚀程度评价方法 |
CN110738179A (zh) * | 2019-10-18 | 2020-01-31 | 国家电网有限公司 | 一种电力设备的识别方法及相关装置 |
CN111862089A (zh) * | 2020-08-03 | 2020-10-30 | 上海闻泰信息技术有限公司 | 一种防尘网瑕疵识别方法、装置及电子设备 |
CN112200790A (zh) * | 2020-10-16 | 2021-01-08 | 鲸斛(上海)智能科技有限公司 | 布料缺陷检测方法、设备和介质 |
CN112017777B (zh) * | 2020-11-02 | 2021-02-26 | 北京妙医佳健康科技集团有限公司 | 相似对问题预测的方法、装置及电子设备 |
CN112906654A (zh) * | 2021-03-29 | 2021-06-04 | 杭州电力设备制造有限公司 | 基于深度学习算法的防震锤检测方法 |
CN114581692B (zh) * | 2022-03-06 | 2022-12-02 | 扬州孚泰电气有限公司 | 一种基于智能图形识别的防振锤故障检测方法及系统 |
CN114581692A (zh) * | 2022-03-06 | 2022-06-03 | 扬州孚泰电气有限公司 | 一种基于智能图形识别的防振锤故障检测方法及系统 |
CN114565609A (zh) * | 2022-04-27 | 2022-05-31 | 河南银金达新材料股份有限公司 | 一种光致变色膜光学性能在线检测方法 |
CN116305427B (zh) * | 2023-02-20 | 2023-11-28 | 中国建筑西南设计研究院有限公司 | 一种抗震设防参数处理方法、装置、电子设备及存储介质 |
CN116305427A (zh) * | 2023-02-20 | 2023-06-23 | 中国建筑西南设计研究院有限公司 | 一种抗震设防参数处理方法、装置、电子设备及存储介质 |
CN116310999B (zh) * | 2023-05-05 | 2023-07-21 | 贵州中水能源股份有限公司 | 一种水力发电站库区大型漂浮物检测方法 |
CN116310999A (zh) * | 2023-05-05 | 2023-06-23 | 贵州中水能源股份有限公司 | 一种水力发电站库区大型漂浮物检测方法 |
CN118396980A (zh) * | 2024-05-27 | 2024-07-26 | 浙江稳达减振器有限公司 | 基于机器视觉的新能源汽车减震杆检测系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107133943B (zh) | 2018-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107133943B (zh) | 一种防震锤缺陷检测的视觉检测方法 | |
CN111310862B (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
CN111209952B (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
CN113052210A (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
CN109241982A (zh) | 基于深浅层卷积神经网络的目标检测方法 | |
CN111832443B (zh) | 一种施工违规行为检测模型的构建方法及其应用 | |
CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
CN112150493A (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
CN115205274A (zh) | 一种基于轻量化级联网络的布匹瑕疵检测方法 | |
CN113052006B (zh) | 一种基于卷积神经网络的图像目标检测方法,系统及可读存储介质 | |
CN112488229A (zh) | 一种基于特征分离和对齐的域自适应无监督目标检测方法 | |
CN114972312A (zh) | 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法 | |
CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
CN114419413A (zh) | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 | |
CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
CN114140672A (zh) | 一种应用于雨雪天气场景下多传感器数据融合的目标检测网络系统及方法 | |
CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
CN109859222A (zh) | 基于级联神经网络的边缘提取方法及系统 | |
CN114612450B (zh) | 基于数据增广机器视觉的图像检测分割方法、系统、电子设备 | |
CN115700737A (zh) | 一种基于视频监控的溢油检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20201203 Address after: 550000 No. 17 Binhe Road, Nanming District, Guizhou, Guiyang Patentee after: GUIZHOU POWER GRID Corp. Address before: Nanming District of Guizhou city in Guiyang province 550001 Baba Street No. 8 Patentee before: ELECTRICITY TRANSMISSION RUN OVERHAUL BRANCH, GUIZHOU POWER GRID Co.,Ltd. Patentee before: WUHAN KEDI'AO ELECTRICITY TECHNOLOGY Co.,Ltd. |