CN109829881A - 基于深度学习的鸟巢检测方法及系统 - Google Patents
基于深度学习的鸟巢检测方法及系统 Download PDFInfo
- Publication number
- CN109829881A CN109829881A CN201811547327.5A CN201811547327A CN109829881A CN 109829881 A CN109829881 A CN 109829881A CN 201811547327 A CN201811547327 A CN 201811547327A CN 109829881 A CN109829881 A CN 109829881A
- Authority
- CN
- China
- Prior art keywords
- image
- bird
- nest
- detection model
- verifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的鸟巢检测方法及系统,涉及图像检测技术领域,该方法包括获取输电设备现场图像,对其进行变换处理得到变换图像以共同构建样本数据库;建立深度学习的检测模型;将样本数据库中的图像输入检测模型进行迭代训练,直至达到预设的训练准确度;获取输电设备上带有鸟巢的图像以构建验证集,将验证集中的图像输入检测模型验证,直至达到预设的验证准确度;获取输电设备上带有鸟巢的图像以构建测试集,将测试集中的图像输入检测模型测试,直至达到预设的测试准确度;将待检测图像输入检测模型检测,以输出目标缺陷图像。本发明实施例提供的鸟巢检测方法,可以智能排查输电设备上的鸟巢情况,提高获取鸟巢情况信息的实时性。
Description
技术领域
本发明涉及图像检测技术领域,尤其是涉及一种基于深度学习的鸟巢检测方法及系统。
背景技术
目前输电线路产生故障的主要原因有:人为原因损坏、天气因素影响输电线路、输电线路受到污染、鸟害原因产生的输电线路故障等。为了保证电网的正常运行,必须输电线路上的缺陷进行监控、预警和防护。对于此问题,目前常用的方法是人工实地勘察,发现问题,再由工作人员进行排险。但是此种方案的问题在于工作量巨大巡视死角多,并且存在一定危险性,难以保证监控结果的准确性与实时性。
近年来,随着无人机技术的兴起,对于输电线路的巡查开始逐渐由无人机低空遥感方式取代人工实地勘察,无人机巡查也因为其高效、准确、安全的优点得到了电力部门的采用。但是另一个需要解决的问题是,通过无人机取得的航拍图片数量十分巨大,如果仍然采用人工筛选、排查的方法处理如此大规模的图片,势必会遇到与人工实地勘察相似的问题,如准确性降低,难以保证缺陷信息的实时性等。
发明内容
有鉴于此,本发明的目的在于提供一种基于深度学习的鸟巢检测方法及系统,可以智能筛选排查出输电设备上的鸟巢情况,提高获取输电线路设备上鸟巢情况信息的实时性。
第一方面,本发明实施例提供了一种基于深度学习的鸟巢检测方法,包括:获取输电设备现场图像,对该输电设备现场图像进行变换处理以得到变换图像,并根据该输电设备现场图像和变换图像构建样本数据库;建立深度学习的检测模型,该检测模型的输入为样本数据库中的原始图像,该检测模型的输出为缺陷图像;将样本数据库中的图像输入检测模型进行迭代训练,直至达到预设的训练次数阈值或达到预设的训练准确度;获取输电设备上带有鸟巢的图像以构建验证集,将验证集中的图像输入训练完成后的检测模型进行验证,直至达到预设的验证次数阈值或达到预设的验证准确度;获取输电设备上带有鸟巢的图像以构建测试集,将测试集中的图像输入验证完成后的检测模型进行测试,直至达到预设的测试次数阈值或达到预设的测试准确度;将待检测图像输入测试完成后的检测模型进行检测,以输出目标缺陷图像。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,上述对该输电设备现场图像进行变换处理以得到变换图像的步骤,包括:利用数据增强技术,对该输电设备现场图像进行变换处理以得到变换图像。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,该数据增强技术包括旋转变换、反射变换、缩放变换、平移变换、尺度变换和噪声扰动中的一种或多种。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,在该检测模型进行迭代训练、验证和测试时,还包括:通过深度学习技术进行目标检测。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,该通过深度学习技术进行目标检测的步骤,包括:对图像进行区域选择,并遍历整幅图像,选择鸟巢目标区域,定位目标的位置;提取该鸟巢目标区域的特征信息;通过分类器对该特征信息进行分类。
结合第一方面的第四种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,上述遍历整幅图像的步骤,包括:采用滑动窗口策略遍历整幅图像。
结合第一方面的第四种可能的实施方式,本发明实施例提供了第一方面的第六种可能的实施方式,其中,上述提取该鸟巢目标区域的特征信息的步骤,包括:对该鸟巢目标区域进行基础特征提取,该基础特征包括轮廓特征和颜色特征;对提取的该基础特征进行多层复杂特征提取,该多层复杂特征包括轮廓分层特征和灰度图像特征;对提取的该多层复杂特征进行权重学习,输出权重较大的特征,以预测输出结果。
结合第一方面的第五种可能的实施方式,本发明实施例提供了第一方面的第七种可能的实施方式,其中,该分类器为SVM分类器或Adaboost分类器。
结合第一方面,本发明实施例提供了第一方面的第八种可能的实施方式,其中,该训练次数阈值为20万次,该训练准确度为90%;该验证次数阈值为12万次,该验证准确度为95%;该测试次数阈值为10万次,该测试准确度为99%。
第二方面,本发明实施例还提供了一种基于深度学习的鸟巢检测系统,包括:样本数据库建立模块,用于获取输电设备现场图像,对该输电设备现场图像进行变换处理以得到变换图像,并根据该输电设备现场图像和该变换图像构建样本数据库;检测模型建立模块,用于建立深度学习的检测模型,该检测模型的输入为样本数据库中的原始图像,该检测模型的输出为缺陷图像;训练模块,用于将样本数据库中的图像输入检测模型进行迭代训练,直至达到预设的训练次数阈值或达到预设的训练准确度;验证模块,用于获取输电设备上带有鸟巢的图像以构建验证集,将验证集中的图像输入训练完成后的检测模型进行验证,直至达到预设的验证次数阈值或达到预设的验证准确度;测试模块,用于获取输电设备上带有鸟巢的图像以构建测试集,将测试集中的图像输入该验证完成后的检测模型进行测试,直至达到预设的测试次数阈值或达到预设的测试准确度;检测输出模块,用于将待检测图像输入测试完成后的检测模型进行检测,以输出目标缺陷图像。
本发明实施例带来了以下有益效果:
本发明实施例提供的一种基于深度学习的鸟巢检测方法及系统,该方法包括获取输电设备现场图像,对该输电设备现场图像进行变换处理以得到变换图像,并根据该输电设备现场图像和变换图像构建样本数据库;建立深度学习的检测模型,该检测模型的输入为样本数据库中的原始图像,该检测模型的输出为缺陷图像;将样本数据库中的图像输入检测模型进行迭代训练,直至达到预设的训练次数阈值或达到预设的训练准确度;获取输电设备上带有鸟巢的图像以构建验证集,将验证集中的图像输入训练完成后的检测模型进行验证,直至达到预设的验证次数阈值或达到预设的验证准确度;获取输电设备上带有鸟巢的图像以构建测试集,将测试集中的图像输入验证完成后的检测模型进行测试,直至达到预设的测试次数阈值或达到预设的测试准确度;将待检测图像输入测试完成后的检测模型进行检测,以输出目标缺陷图像。本发明实施例提供的基于深度学习的鸟巢检测方法,通过建立图像模型对图像进行目标缺陷检测,缓解了现有技术中无法从海量图片进行筛选排查输电线路设备上的鸟巢情况的技术问题,实现对海量图片进行检测,可以智能筛选排查出输电设备上的鸟巢情况,提高获取输电线路设备上鸟巢情况信息的实时性。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于深度学习的鸟巢检测方法的流程图;
图2为本发明实施例提供的一种样本数据库中的原始图像示意图;
图3为本发明实施例提供的一种经过图像处理后的图像示意图;
图4为本发明实施例提供的一种经过网格化处理后的图像示意图;
图5为本发明实施例提供的一种基于深度学习的鸟巢检测系统的结构示意图。
图标:
51-样本数据库建立模块;52-检测模型建立模块;53-训练模块;54-验证模块;55-测试模块;56-检测输出模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,在对输电线路的故障排查中,通过航拍方式获取输电设备的现场图片并进行检测可以缓解需要人员现场勘查的问题,但是,对于获取的现场设备图像,数量十分巨大,若通过人工进行筛查,则需要耗费大量时间和精力,也无法保证排查的准确性和实时性。基于此,本发明实施例提供的一种基于深度学习的鸟巢检测方法及系统,可以智能筛选排查出输电设备缺陷图像,提高输电设备缺陷排查的效率。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种基于深度学习的鸟巢检测方法进行详细介绍。
实施例一:
参见图1,为本发明实施例提供的一种基于深度学习的鸟巢检测方法的流程图,由图1可见,该方法包括以下步骤:
步骤S102:获取输电设备现场图像,对该输电设备现场图像进行变换处理以得到变换图像,并根据该输电设备现场图像和变换图像构建样本数据库。
这里,输电设备现场图像为输电线路上各输电设备实时或历史的图像,图像中的输电设备为关注对象,需要对其工作情况进行故障排查,在输电设备存在缺陷时,及时获知缺陷信息。其中,输电设备包括线路杆塔、导线、绝缘子、线路金具、拉线、杆塔基础、接地装置、断路器等等。缺陷包括破损、异物飘挂、污染、非正常工作等等情况。
在获得输电设备现场图像之后,在其中一种实施方式中,可以首先利用数据增强技术对该输电设备现场图像进行变换处理,得到处理后的图像,然后,再根据该输电设备现场图像和该处理后的图像共同构建样本数据库。这样,可以有效增加样本数据库的数据量。
对于上述数据增强技术,可以包括旋转变换、反射变换、翻转变换、缩放变换、平移变换、尺度变换和噪声扰动中的一种或多种。具体的,各种变换的具体方式为:
旋转变换或反射变换:将图像随机旋转任一角度,改变图像内容的朝向;
翻转变换:沿着水平或者垂直方向翻转图像;
缩放变换:按照一定的比例放大或者缩小图像;
平移变换:在图像平面上对图像进行平移,可以使用随机或人为定义的方式指定平移范围和平移步长,沿水平或竖直方向进行平移,改变图像内容的位置;
尺度变换:对图像按照预设的尺度因子,进行放大或缩小;或者利用预设的尺度因子对图像滤波构造尺度空间,改变图像内容的大小或模糊程度;
噪声扰动:对图像的每个像素RGB进行随机扰动,常用的噪声模式是椒盐噪声和高斯噪声。
步骤S104:建立深度学习的检测模型,该检测模型的输入为样本数据库中的原始图像,该检测模型的输出为缺陷图像。
该检测模型用于检测出缺陷图像,其输入为样本数据库中的原始图像,输出为缺陷图像。
这里,深度学习检测模型可以采用R-CNN(Regions with CNN features)基于卷积神经网络特征的区域方法或快速R-CNN(Fast R-CNN)方法。
步骤S106:将样本数据库中的图像输入检测模型进行迭代训练,直至达到预设的训练次数阈值或达到预设的训练准确度。
在其中一种实施方式中,该训练次数阈值为20万次,该训练准确度为90%。当检测模型进行迭代训练时,同时计算其训练准确度,也即输出缺陷图像的正确度。
对于上述举例,当该检测模型训练次数达到20万次或者其训练准确度达到90%时,训练结束。
步骤S108:获取输电设备上带有鸟巢的图像以构建验证集,将验证集中的图像输入训练完成后的检测模型进行验证,直至达到预设的验证次数阈值或达到预设的验证准确度。
在其中一种实施方式中,该验证次数阈值为12万次,该验证准确度为95%。也即,当该检测模型验证次数达到12万次或者其验证准确度达到95%时,完成验证。
这里,验证集中的图像也可以通过上述数据增强技术进行处理,也扩充验证集中的数据量,以加强验证。
步骤S110:获取输电设备上带有鸟巢的图像以构建测试集,将测试集中的图像输入验证完成后的检测模型进行测试,直至达到预设的测试次数阈值或达到预设的测试准确度。
在其中一种实施方式中,该测试次数阈值为10万次,该测试准确度为99%。也即,当该检测模型的测试次数达到10万次或者其测试准确度达到99%时,完成测试。
其中,对于测试集中的图像,也可以通过上述数据增强技术进行处理,也扩充测试集中的数据量,以提升测试效果。
这里,在检测模型进行上述迭代训练、验证和测试时,该检测模型还通过深度学习技术进行目标检测。
具体的,目标检测的步骤,包括:
首先,对图像进行区域选择,并遍历整幅图像,选择鸟巢目标区域,定位目标的位置。这里,在其中一种实施方式中,采用滑动窗口策略遍历整幅图像。
其次,提取该鸟巢目标区域的特征信息。这里,提取特征信息的过程包括:对该鸟巢目标区域进行基础特征提取,该基础特征包括轮廓特征和颜色特征;对提取的该基础特征进行多层复杂特征提取,该多层复杂特征包括轮廓分层特征和灰度图像特征;对提取的该多层复杂特征进行权重学习,输出权重较大的特征,以预测输出结果。
然后,通过分类器对该特征信息进行分类。其中,分类器为SVM(Support VectorMachine,支持向量机)分类器或Adaboost分类器。SVM方法是通过一个非线性映射p,把样本空间映射到一个高维乃至无穷维的特征空间中(Hilbert空间),使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。而Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。
步骤S112:将待检测图像输入测试完成后的检测模型进行检测,以输出目标缺陷图像。
当检测模型完成测试之后,表明该检测模型已经达到检测的预期准确度要求。此时,将待检测图像输入测试完成后的检测模型进行检测,以输出目标缺陷图像。这样,所获得的目标缺陷图像是满足准确度要求的,其结果是可信的。
这样,即可以对海量的输电设备现场图片进行自动检测,得到输电设备的缺陷图像,相比于人工排查,其成本更低,速度更快,准确度更高。
本发明实施例提供的一种基于深度学习的鸟巢检测方法,该方法获取输电设备现场图像,对该输电设备现场图像进行变换处理以得到变换图像,并根据该输电设备现场图像和变换图像构建样本数据库;建立深度学习的检测模型,该检测模型的输入为样本数据库中的原始图像,该检测模型的输出为缺陷图像;将样本数据库中的图像输入检测模型进行迭代训练,直至达到预设的训练次数阈值或达到预设的训练准确度;获取输电设备上带有鸟巢的图像以构建验证集,将验证集中的图像输入训练完成后的检测模型进行验证,直至达到预设的验证次数阈值或达到预设的验证准确度;获取输电设备上带有鸟巢的图像以构建测试集,将测试集中的图像输入验证完成后的检测模型进行测试,直至达到预设的测试次数阈值或达到预设的测试准确度;将待检测图像输入测试完成后的检测模型进行检测,以输出目标缺陷图像。该方法通过建立图像模型对图像进行目标缺陷检测,缓解了现有技术中无法从海量图片进行筛选排查输电线路设备上的鸟巢情况的技术问题,实现对海量图片进行检测,可以智能筛选排查出输电设备上的鸟巢情况,提高获取输电线路设备上鸟巢情况信息的实时性。
实施例二:
为了更清楚理解上述实施例提供的基于深度学习的鸟巢检测方法,本发明实施例结合具体应用进行举例说明。
首先,从现有的无人机巡检照片中整理出164张有鸟巢的图像用作训练集,其中18张有鸟巢的图像用作验证集,60张图像用作测试集,其中2张图像中没有鸟巢。
通过图像的几何变换,使用以下一种或多种组合数据增强技术来增加输入数据的量:
(1)旋转或反射变换(Rotation/reflection):将图像随机旋转任一角度;改变图像内容的朝向;
(2)翻转变换(flip):沿着水平或者垂直方向翻转图像;
(3)缩放变换(zoom):按照一定的比例放大或者缩小图像;
(4)平移变换(shift):在图像平面上对图像以一定方式进行平移;可以使用随机或人为定义的方式指定平移范围和平移步长,沿水平或竖直方向进行平移.改变图像内容的位置;
(5)尺度变换(scale):对图像按照指定的尺度因子,进行放大或缩小;或者结合特征提取,利用指定的尺度因子对图像滤波构造尺度空间,改变图像内容的大小或模糊程度;
(6)对比度变换(contrast):在图像的HSV颜色空间,改变饱和度S和V亮度分量,保持色调H不变,对每个像素的S和V分量进行指数运算,指数因子在0.25到4之间,增加光照变化;
(7)噪声扰动(noise):对图像的每个像素RGB进行随机扰动,常用的噪声模式是椒盐噪声和高斯噪声;
(8)颜色变换(color):在训练集像素值的RGB颜色空间进行PCA,得到RGB空间的3个主方向向量p1,p2,p3;以及3个特征值λ1,λ2,λ3。
在本实施例中,使用将断股图像旋转90,180,270度的方法,增加3倍的样本集。
在本实施例中,对目标进行检测具体步骤为:
(1)区域选择。这一步是对目标的位置进行定位。由于目标可能出现在图像的任何位置,而且目标的大小、长宽比例也不确定,所以最初采用滑动窗口的策略对整幅图像进行遍历,需要设置不同的尺度,不同的长宽比。这种穷举的策略虽然包含了目标所有可能出现的位置,但是缺点也显而易见:时间复杂度太高,产生冗余窗口太多,严重影响后续特征提取和分类的速度和性能。实际上由于受到时间复杂度的问题,滑动窗口的长宽比一般都是固定的设置几个,所以对于长宽比浮动较大的多类别目标检测,即便是滑动窗口遍历也不能得到很好的区域。
(2)特征提取。由于目标的形态多样性,光照变化多样性,背景多样性等因素使得设计一个鲁棒的特征并不是那么容易,然而提取特征的好坏直接影响到分类的准确性。这个阶段常用的特征有SIFT、HOG等。
(3)分类器。传统目标检测使用到的分类器主要有SVM,Adaboost等。
参照图2和图3,分别为样本数据库中的原始图像示意图以及经过图像处理后的图像示意图,由于作为样本集的图像取自不同的地点有着不同的光照条件、不同的分辨率以及不同的尺寸等,其图像的特性不尽相同。如果直接将未经处理的图像送入卷积神经网络,势必会影响到特征提取,甚至影响目标检测的结果。因此,在图像输入到神经网络进行卷积运算之前,对图像做相应的、有效的处理,可以达到提高检测结果正确率的效果。目前较为常用的图像处理方法有图像灰度化、二值化、归一化以及数据增强。
二值化:照相机所拍摄的彩色图像具有RGB三个色彩通道,每一个像素点对应有三个取值在[0,255]之间的值。而所谓灰度化即是将三个通道的值通过分配不同权重并相加,使其只用相加所得的一个亮度值来代替原有的三个色彩通道的值。而二值化则是在灰度化图像的基础上,通过设置相应的阈值,将灰度值分为两种并重新赋予0或255两个值。
归一化:图像归一化是对经过处理的图像,通过处理变化的手段将图像转变为统一形式的图像,例如可以将取自不同无人机拍摄的尺寸不统一的图像归一化为统一尺寸。此方法有助于加快神经网络的学习速度,使其更快收敛。可以在实验中视训练收敛情况决定是否需要使用。
数据增强:由于深度学习需要有巨大的样本数量作为依托,否则可能会由于训练样本量不足而出现过拟合的现象。因此,为了避免此现象的发生,为了提高训练结果的适用性,需采用对原始样本集中有限的图像进行拉伸、翻转、镜像、移位等的数据增强的方法,从而达到扩充样本集的目的。同时也可以使用自定义的数据增强方法,例如随机改变背景像素的方法、随机擦除图像中部分区域,并用噪声填充的方法,实现对图像的全局信息特征进行学习,增强鲁棒性。
参见图4,为一种经过网格化处理后的图像示意图,这里,通过将目标检测任务转换成一个回归问题,大大加快了检测的速度,可以每秒处理45张图像。而且由于每个网络预测目标窗口时使用的是全图信息,使得误检率大幅降低。具体的,包括:
(1)获取一个输入图像,首先将图像划分成7*7的网格;
(2)对于每个网格,都预测2个边框,包括每个边框是目标的置信度以及每个边框区域在多个类别上的概率;
(3)根据上一步可以预测出7*7*2个目标窗口,然后根据阈值去除可能性比较低的目标窗口,最后通过NMS(Non-Maximum Suppression,非极大值抑制)去除冗余窗口即可。
这里,可以看到整个过程非常简单,不需要中间的候选区域(RegionProposal)在找目标,直接回归便完成了位置和类别的判定。
本发明实施例提供的基于深度学习的鸟巢检测方法,通过建立图像模型对图像进行目标缺陷检测,解决现有技术中无法对海量图片进行筛选排查的技术问题,从而对海量图片进行检测,智能筛选排查,进而实现提高图片筛选的准确率和保证缺陷信息的实时性。
实施例三:
本发明实施例还提供了一种基于深度学习的鸟巢检测系统,参见图5,为该系统的结构示意图,由图5可见,该系统包括依次相连的样本数据库建立模块51、检测模型建立模块52、训练模块53、验证模块54、测试模块55和检测输出模块56。其中,各个模块的功能如下:
样本数据库建立模块51,用于获取输电设备现场图像,对该输电设备现场图像进行变换处理以得到变换图像,并根据该输电设备现场图像和该变换图像构建样本数据库;
检测模型建立模块52,用于建立深度学习的检测模型,该检测模型的输入为样本数据库中的原始图像,该检测模型的输出为缺陷图像;
训练模块53,用于将样本数据库中的图像输入检测模型进行迭代训练,直至达到预设的训练次数阈值或达到预设的训练准确度;
验证模块54,用于获取输电设备上带有鸟巢的图像以构建验证集,将验证集中的图像输入训练完成后的检测模型进行验证,直至达到预设的验证次数阈值或达到预设的验证准确度;
测试模块55,用于获取输电设备上带有鸟巢的图像以构建测试集,将测试集中的图像输入该验证完成后的检测模型进行测试,直至达到预设的测试次数阈值或达到预设的测试准确度;
检测输出模块56,用于将待检测图像输入测试完成后的检测模型进行检测,以输出目标缺陷图像。
本发明实施例所提供的基于深度学习的鸟巢检测系统,其实现原理及产生的技术效果和前述基于深度学习的鸟巢检测方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明实施例所提供的进行基于深度学习的鸟巢检测方法的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的鸟巢检测方法,其特征在于,包括:
获取输电设备现场图像,对所述输电设备现场图像进行变换处理以得到变换图像,并根据所述输电设备现场图像和所述变换图像构建样本数据库;
建立深度学习的检测模型,所述检测模型的输入为所述样本数据库中的原始图像,所述检测模型的输出为缺陷图像;
将所述样本数据库中的图像输入所述检测模型进行迭代训练,直至达到预设的训练次数阈值或达到预设的训练准确度;
获取输电设备上带有鸟巢的图像以构建验证集,将所述验证集中的图像输入所述训练完成后的检测模型进行验证,直至达到预设的验证次数阈值或达到预设的验证准确度;
获取输电设备上带有鸟巢的图像以构建测试集,将所述测试集中的图像输入所述验证完成后的检测模型进行测试,直至达到预设的测试次数阈值或达到预设的测试准确度;
将待检测图像输入所述测试完成后的检测模型进行检测,以输出目标缺陷图像。
2.根据权利要求1所述的基于深度学习的鸟巢检测方法,其特征在于,所述对所述输电设备现场图像进行变换处理以得到变换图像的步骤,包括:
利用数据增强技术,对所述输电设备现场图像进行变换处理以得到变换图像。
3.根据权利要求2所述的基于深度学习的鸟巢检测方法,其特征在于,所述数据增强技术包括旋转变换、反射变换、缩放变换、平移变换、尺度变换和噪声扰动中的一种或多种。
4.根据权利要求1所述的基于深度学习的鸟巢检测方法,其特征在于,在所述检测模型进行迭代训练、验证和测试时,还包括:
通过深度学习技术进行目标检测。
5.根据权利要求4所述的基于深度学习的鸟巢检测方法,其特征在于,所述通过深度学习技术进行目标检测的步骤,包括:
对图像进行区域选择,并遍历整幅图像,选择鸟巢目标区域,定位鸟巢目标的位置;
提取所述鸟巢目标区域的特征信息;
通过分类器对所述特征信息进行分类。
6.根据权利要求5所述的基于深度学习的鸟巢检测方法,其特征在于,所述遍历整幅图像的步骤,包括:
采用滑动窗口策略遍历整幅图像。
7.根据权利要求5所述的基于深度学习的鸟巢检测方法,其特征在于,所述提取所述鸟巢目标区域的特征信息的步骤,包括:
对所述目标鸟巢区域进行基础特征提取,所述基础特征包括轮廓特征和颜色特征;
对提取的所述基础特征进行多层复杂特征提取,所述多层复杂特征包括轮廓分层特征和灰度图像特征;
对提取的所述多层复杂特征进行权重学习,输出权重较大的特征,以预测输出结果。
8.根据权利要求5所述的基于深度学习的鸟巢检测方法,其特征在于,所述分类器为SVM分类器或Adaboost分类器。
9.根据权利要求1所述的基于深度学习的鸟巢检测方法,其特征在于,所述训练次数阈值为20万次,所述训练准确度为90%;
所述验证次数阈值为12万次,所述验证准确度为95%;
所述测试次数阈值为10万次,所述测试准确度为99%。
10.一种基于深度学习的鸟巢检测系统,其特征在于,包括:
样本数据库建立模块,用于获取输电设备现场图像,对所述输电设备现场图像进行变换处理以得到变换图像,并根据所述输电设备现场图像和所述变换图像构建样本数据库;
检测模型建立模块,用于建立深度学习的检测模型,所述检测模型的输入为所述样本数据库中的原始图像,所述检测模型的输出为缺陷图像;
训练模块,用于将所述样本数据库中的图像输入所述检测模型进行迭代训练,直至达到预设的训练次数阈值或达到预设的训练准确度;
验证模块,用于获取输电设备上带有鸟巢的图像以构建验证集,将所述验证集中的图像输入所述训练完成后的检测模型进行验证,直至达到预设的验证次数阈值或达到预设的验证准确度;
测试模块,用于获取输电设备上带有鸟巢的图像以构建测试集,将所述测试集中的图像输入所述验证完成后的检测模型进行测试,直至达到预设的测试次数阈值或达到预设的测试准确度;
检测输出模块,用于将待检测图像输入所述测试完成后的检测模型进行检测,以输出目标缺陷图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811547327.5A CN109829881A (zh) | 2018-12-17 | 2018-12-17 | 基于深度学习的鸟巢检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811547327.5A CN109829881A (zh) | 2018-12-17 | 2018-12-17 | 基于深度学习的鸟巢检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109829881A true CN109829881A (zh) | 2019-05-31 |
Family
ID=66859279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811547327.5A Pending CN109829881A (zh) | 2018-12-17 | 2018-12-17 | 基于深度学习的鸟巢检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109829881A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110200619A (zh) * | 2019-06-06 | 2019-09-06 | 中山大学孙逸仙纪念医院 | 一种建立重大心血管疾病风险预警模型方法及装置 |
CN110503612A (zh) * | 2019-07-31 | 2019-11-26 | 东北大学 | 一种基于位平面分离重组合数据增强方法 |
CN110717490A (zh) * | 2019-09-30 | 2020-01-21 | 深圳供电局有限公司 | 一种输电线路杆塔鸟巢识别方法及其系统、存储介质 |
CN111126493A (zh) * | 2019-12-25 | 2020-05-08 | 东软睿驰汽车技术(沈阳)有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
CN111489354A (zh) * | 2020-05-18 | 2020-08-04 | 国网浙江省电力有限公司检修分公司 | 电力塔架上鸟巢的检测方法、装置、服务器及存储介质 |
CN112715427A (zh) * | 2020-12-30 | 2021-04-30 | 青海保绿丰生态农林科技有限公司 | 一种用于引鹰筑巢、产卵枚数、育雏、捕食习性规律的自动监测系统 |
CN113012202A (zh) * | 2021-03-31 | 2021-06-22 | 开放智能机器(上海)有限公司 | 目标跟踪方法、装置、设备、介质及程序产品 |
CN113076672A (zh) * | 2021-04-08 | 2021-07-06 | 江苏省送变电有限公司 | 基于改进ssd的复合绝缘子鸟啄缺陷风险等级评估方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915678A (zh) * | 2015-05-26 | 2015-09-16 | 天津航天中为数据系统科技有限公司 | 一种输电线路中目标对象的检测方法及装置 |
CN105095904A (zh) * | 2015-07-28 | 2015-11-25 | 中国科学院自动化研究所(洛阳)机器人与智能装备创新研究院 | 一种输电线路杆塔鸟巢检测方法 |
CN106971152A (zh) * | 2017-03-16 | 2017-07-21 | 天津大学 | 一种基于航拍图像的检测输电线路中鸟巢的方法 |
CN107680097A (zh) * | 2017-10-31 | 2018-02-09 | 湖北中海盛达电力器材有限公司 | 一种输电线路杆塔识别鸟巢的方法 |
-
2018
- 2018-12-17 CN CN201811547327.5A patent/CN109829881A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915678A (zh) * | 2015-05-26 | 2015-09-16 | 天津航天中为数据系统科技有限公司 | 一种输电线路中目标对象的检测方法及装置 |
CN105095904A (zh) * | 2015-07-28 | 2015-11-25 | 中国科学院自动化研究所(洛阳)机器人与智能装备创新研究院 | 一种输电线路杆塔鸟巢检测方法 |
CN106971152A (zh) * | 2017-03-16 | 2017-07-21 | 天津大学 | 一种基于航拍图像的检测输电线路中鸟巢的方法 |
CN107680097A (zh) * | 2017-10-31 | 2018-02-09 | 湖北中海盛达电力器材有限公司 | 一种输电线路杆塔识别鸟巢的方法 |
Non-Patent Citations (1)
Title |
---|
刘士波: ""基于数字图像的输电线故障识别与定位方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110200619A (zh) * | 2019-06-06 | 2019-09-06 | 中山大学孙逸仙纪念医院 | 一种建立重大心血管疾病风险预警模型方法及装置 |
CN110503612A (zh) * | 2019-07-31 | 2019-11-26 | 东北大学 | 一种基于位平面分离重组合数据增强方法 |
CN110717490A (zh) * | 2019-09-30 | 2020-01-21 | 深圳供电局有限公司 | 一种输电线路杆塔鸟巢识别方法及其系统、存储介质 |
CN111126493A (zh) * | 2019-12-25 | 2020-05-08 | 东软睿驰汽车技术(沈阳)有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
CN111126493B (zh) * | 2019-12-25 | 2023-08-01 | 东软睿驰汽车技术(沈阳)有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
CN111489354A (zh) * | 2020-05-18 | 2020-08-04 | 国网浙江省电力有限公司检修分公司 | 电力塔架上鸟巢的检测方法、装置、服务器及存储介质 |
CN112715427A (zh) * | 2020-12-30 | 2021-04-30 | 青海保绿丰生态农林科技有限公司 | 一种用于引鹰筑巢、产卵枚数、育雏、捕食习性规律的自动监测系统 |
CN113012202A (zh) * | 2021-03-31 | 2021-06-22 | 开放智能机器(上海)有限公司 | 目标跟踪方法、装置、设备、介质及程序产品 |
CN113076672A (zh) * | 2021-04-08 | 2021-07-06 | 江苏省送变电有限公司 | 基于改进ssd的复合绝缘子鸟啄缺陷风险等级评估方法 |
CN113076672B (zh) * | 2021-04-08 | 2024-02-02 | 江苏省送变电有限公司 | 基于改进ssd的复合绝缘子鸟啄缺陷风险等级评估方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829881A (zh) | 基于深度学习的鸟巢检测方法及系统 | |
CN109815800A (zh) | 基于回归算法的目标检测方法及系统 | |
CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
CN112183788B (zh) | 一种域自适应设备运检系统和方法 | |
CN109785288A (zh) | 基于深度学习的输电设备缺陷检测方法及系统 | |
CN111784685B (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
CN109815798A (zh) | 无人机图像处理方法及系统 | |
CN110163213B (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
CN112233073A (zh) | 一种变电设备红外热成像异常实时检测方法 | |
CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
CN110188835B (zh) | 基于生成式对抗网络模型的数据增强行人再识别方法 | |
CN109359666A (zh) | 一种基于多特征融合神经网络的车型识别方法及处理终端 | |
CN110288586A (zh) | 一种基于可见光图像数据的多尺度输电线路缺陷检测方法 | |
CN112560634B (zh) | 基于现场图像的电力线路绝缘子快速检测定位方法及系统 | |
CN113111727B (zh) | 一种基于特征对齐的遥感场景下旋转目标检测方法 | |
CN109544501A (zh) | 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法 | |
CN109918971A (zh) | 监控视频中人数检测方法及装置 | |
CN115205264A (zh) | 一种基于改进YOLOv4的高分辨率遥感船舶检测方法 | |
CN115294473A (zh) | 一种基于目标检测与实例分割的绝缘子故障识别方法及系统 | |
CN113160184B (zh) | 一种基于深度学习的无人机智能巡检电缆表面缺陷检测方法 | |
CN114359245A (zh) | 一种工业场景下产品表面缺陷检测方法 | |
Kumar et al. | Feature relevance analysis for 3D point cloud classification using deep learning | |
CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
Chen et al. | Insulator recognition method for distribution network overhead transmission lines based on modified yolov3 | |
CN115937736A (zh) | 基于注意力和上下文感知的小目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190531 |
|
RJ01 | Rejection of invention patent application after publication |