CN113470017B - 基于人工智能的输电线安全预警检测方法、装置及设备 - Google Patents
基于人工智能的输电线安全预警检测方法、装置及设备 Download PDFInfo
- Publication number
- CN113470017B CN113470017B CN202111014497.9A CN202111014497A CN113470017B CN 113470017 B CN113470017 B CN 113470017B CN 202111014497 A CN202111014497 A CN 202111014497A CN 113470017 B CN113470017 B CN 113470017B
- Authority
- CN
- China
- Prior art keywords
- image
- transmission line
- power transmission
- tree
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 195
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 11
- 239000000126 substance Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术领域，具体涉及基于人工智能的输电线安全预警检测方法、装置及设备。该方法包括：采集包括输电线和树木的第一图像和第二图像；提取第二图像中的树冠区域得到第四图像；根据第四图像筛选出每棵树的位置信息；获取每棵树的实际延伸方向；根据实际延伸方向与输电线的延伸方向计算每棵树对输电线的影响程度，依据影响程度、实际延伸方向上的像素点深度信息以及输电线的深度信息获取每棵树的第一风险程度；当树木与输电线的最短距离小于安全阈值时，获取每棵树的第二风险程度；根据第一风险程度和第二风险程度获取每棵树对输电线的安全影响程度。本发明实施例能够判断输电线是否安全，并根据树木的延伸方向对输电线安全预警。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及基于人工智能的输电线安全预警检测方法、装置及设备。
背景技术
高压输电线路在电力系统中扮演着传输、调节、分配等重要角色，是我国电网安全、稳定运行的重要环节，电力系统的动脉。输电线路稳定可靠的运行是智能电网建设的重要组成部分，其设备的可靠性及运行状况直接决定着整个电力系统的稳定和安全，也决定着供电的质量和可靠性。
对于大部分地区的输电线路架设来说，由于时间的累计，输电线架设路径上的环境发生了改变，尤其是树木的生长，容易引起输电线路的安全距离不足，进而导致输电线路故障。
发明人在实践中，发现上述现有技术存在以下缺陷：
目前虽然存在无人机对输电线进行巡检的技术，但主要是检测输电线路的故障及缺陷，对于输电线的安全预警还是通过人工进行巡检，耗时耗力。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的输电线安全预警检测方法、装置及设备，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于人工智能的输电线安全预警检测方法，该方法包括以下步骤：
采集包括输电线和树木的第一图像和第二图像；所述第一图像为俯视视角的RGB图像；所述第二图像为深度图像；
提取所述第一图像中的输电线，得到含有所述输电线的二值图像，作为第三图像；提取所述第二图像中每棵树的树冠区域，得到含有所述树冠区域的深度图像，作为第四图像；
根据所述第四图像中的像素点深度，筛选出树冠最高点作为每棵树的位置信息；根据所述位置信息获取每棵树的理想延伸方向；
获取每个所述树冠区域的整体延伸方向，依据每棵树的所述整体延伸方向和所述理想延伸方向的相似度，获取每棵树的实际延伸方向；
根据所述第三图像获取所述输电线的延伸方向；结合所述第一图像和所述第四图像获取所述输电线的深度信息；根据所述实际延伸方向与所述输电线的延伸方向计算每棵树对所述输电线的影响程度，依据所述影响程度、所述实际延伸方向上的像素点深度信息以及所述输电线的深度信息获取每棵树的第一风险程度；
当树木与所述输电线的最短距离小于安全阈值时，根据所述输电线的像素点深度信息，和所述输电线垂直方向上的树冠像素点深度信息获取每棵树的第二风险程度；
根据所述第一风险程度和所述第二风险程度获取每棵树对所述输电线的安全影响程度。
优选的，所述第三图像的获取方法为：
对所述第一图像进行图像灰度化，采用最大类间方差法对灰度化之后的第一图像分割输电线图像，获取所述第三图像。
优选的，所述每棵树的位置信息的获取步骤包括：
设置滑窗遍历所述第四图像的所有像素点，当所述像素点的值低于高度阈值时，作为备选像素点；
将每个所述备选像素点与预设方向上的其他所述备选像素点进行差异比较，以所有方向中深度信息最小的所述备选像素点作为初步位置像素点；
对预设范围内的所有所述初步位置像素点进行修正，获取位置像素点，以所述位置像素点的坐标信息作为所述位置信息。
优选的，所述位置像素点的获取方法为：
计算每两个所述初步位置像素点之间的距离，所述距离在所述预设范围内的两个所述初步位置像素点属于同一个位置子集，对每个所述位置子集进行密度聚类，获取聚类中心，所述聚类中心为所述位置像素点。
优选的，所述理想延伸方向的获取方法为：
对于每棵树的所述树冠区域，计算所述树冠区域的边缘像素点与所述位置像素点之间的距离，选取距离最远的多个所述边缘像素点与所述位置像素点相连，获取多个所述理想延伸方向。
优选的，所述实际延伸方向的获取步骤包括：
计算每棵树的每个所述理想延伸方向与所述整体延伸方向的余弦相似度；
当所述余弦相似度中存在大于所述预设阈值的值时，选取最大余弦相似度对应的方向作为所述实际延伸方向；
当所有所述余弦相似度都小于预设阈值时，以所述整体延伸方向作为该树的所述实际延伸方向。
优选的，所述影响程度的获取方法为：
计算所述输电线的延伸方向的垂直方向与所述实际延伸方向的差异角度，根据所述差异角度的不同计算所述影响程度。
优选的，所述输电线的深度信息的获取步骤包括：
将所述第一图像与所述第四图像相对应，获取单应性矩阵；
依据所述单应性矩阵将所述第四图像中的像素坐标变换到所述第一图像中，获取所述第一图像中的所述输电线的深度信息。
第二方面，本发明另一个实施例提供了一种基于人工智能的输电线安全预警检测装置，该装置包括以下模块：
图像采集模块，用于采集包括输电线和树木的第一图像和第二图像；所述第一图像为俯视视角的RGB图像；所述第二图像为深度图像；
图像提取模块，用于提取所述第一图像中的输电线，得到含有所述输电线的二值图像，作为第三图像；提取所述第二图像中每棵树的树冠区域，得到含有所述树冠区域的深度图像，作为第四图像；
理想延伸方向获取模块，用于根据所述第四图像中的像素点深度，筛选出树冠最高点作为每棵树的位置信息；根据所述位置信息获取每棵树的理想延伸方向；
实际延伸方向获取模块，用于获取每个所述树冠区域的整体延伸方向，依据每棵树的所述整体延伸方向和所述理想延伸方向的相似度，获取每棵树的实际延伸方向；
第一风险程度获取模块，用于根据所述第三图像获取所述输电线的延伸方向；结合所述第一图像和所述第四图像获取所述输电线的深度信息；根据所述实际延伸方向与所述输电线的延伸方向计算每棵树对所述输电线的影响程度，依据所述影响程度、所述实际延伸方向上的像素点深度信息以及所述输电线的深度信息获取每棵树的第一风险程度；
第二风险程度获取模块，用于当树木与所述输电线的最短距离小于安全阈值时，根据所述输电线的像素点深度信息，和所述输电线垂直方向上的树冠像素点深度信息获取每棵树的第二风险程度；
安全影响程度获取模块，用于根据所述第一风险程度和所述第二风险程度获取每棵树对所述输电线的安全影响程度。
第三方面，本发明另一个实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于人工智能的输电线安全预警检测方法的步骤。
本发明实施例至少具有如下有益效果：
本发明实施例通过输电线延伸方向与树木实际延伸方向计算每棵树对所述输电线的影响程度，依据影响程度、实际延伸方向上的像素点深度信息以及输电线的深度信息获取每棵树的第一风险程度；通过树木和输电线的深度信息获取第二风险程度；最终获取树木对输电线的安全影响程度。本发明实施例能够根据输电线和树木的位置信息判断输电线是否安全，并根据树木的延伸方向对输电线进行准确的安全预警。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能的输电线安全预警检测方法的步骤流程图；
图2为本发明一个实施例所提供的基于人工智能的输电线安全预警检测装置的结构框图；
图3为本发明一个实施例所提供的一种电子设备的内部结构图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的输电线安全预警检测方法、装置及设备，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的输电线安全预警检测方法、装置及设备的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于人工智能的输电线安全预警检测方法的步骤流程图，该方法包括以下步骤：
步骤S001，采集包括输电线和树木的第一图像和第二图像；第一图像为俯视视角的RGB图像；第二图像为深度图像。
具体的，获取城镇地区的输电线安装信息，该信息包含输电线的路径信息、以及各路段的输电线安装高度信息，根据得到的信息，设计一定的路径规划算法，得到多条巡检路径，使用无人机智能巡检机器人按照得到的路径信息，对城镇地区的输电线进行拍照，无人机同时携带RGB相机与激光雷达深度相机，获取其RGB图像信息与深度图像信息。
作为一个示例，本发明实施例中采用人工势场法进行路径规划，在其他实施例中，也可以采用图搜索法等其他能够达到相同效果的路径规划算法。
需要说明的是，无人机巡检路径时，是按照输电线的架设路径进行规划，无人机拍摄得到的输电线图像均为俯视图像信息。
步骤S002，提取第一图像中的输电线，得到含有输电线的二值图像，作为第三图像；提取第二图像中每棵树的树冠区域，得到含有树冠区域的深度图像，作为第四图像。
具体的步骤包括：
1）对第一图像进行预处理。
通过无人机上搭载的图像采集设备获取的第一图像，通常情况下都会受到空气环境、天气、季节等客观因素的影响，对第一图像的清晰度及对比度造成影响，故需要对其采集的第一图像进行预处理，过程如下：
a. 对于RGB图像中的每一个像素点，获取每个像素点的RGB3个分量中的最大值MAX，以及最小值MIN，使用如下公式获取每个像素点转换后的HSV分量值：
由于无人机巡检一般发生在白天，光照强度比较高，而输电线的架设高度相比起背景信息较高，输电线像素部分的明度较高，故根据该特性对图像进行HSV模型空间变换，提取其明度信息。
b. 使用加权平均法将图像灰度化，即根据重要性及其它指标，将HSV三个分量值以不同权值进行加权平均，具体计算公式如下：
由于相机采集图像场景为室外，图像的明度差异较大，因此，按上述公式对HSV三个分量进行加权平均能得到较合理的灰度图像。
c. 对图像进行去噪处理。
由于室外环境拍摄，存在许多噪声，对图像处理的影响很大，其会影响图像处理的采集、输入、处理以及输出结果等各个环节，为此，进行图像处理前必须要进行图像去噪处理。
本发明实施例中采用均值滤波对图像进行去噪处理，在其他实施例中还可以采用高斯滤波、维纳滤波等能达到相同效果的操作进行去噪。
d. 对去噪后的图像进行图像增强。
图像采集过程中图像质量会不可避免地降低，引发输电线图像对比度严重不足，导致无法进行输电线的准确分割提取，因此需要对图像进行增强处理。
本发明使用直方图均衡化方法对图像进行增强。
2）对第一图像进行图像灰度化，采用最大类间方差法对灰度化之后的第一图像分割输电线图像，获取第三图像。
以第一图像预处理的结果图像为输入对象，获取输电线灰度图像，根据灰度图像中每个像素点的灰度值的分布特征，采用最大类间方差法对输电线灰度图像进行分割处理。
具体的，首先通过在输电线灰度值范围内搜索获得背景与前景相差最大时的最佳阈值
，利用该最佳阈值将图像像素点分为输电线区域和背景区域两类，然后将输电线区域和背景区域之间的类间方差作为评价标准来判断图像的分割提取效果的优劣；最后提取到的二值图像，受各类噪声的影响仍有伪目标的存在，包含有较多小面积干扰连通域，对获取的二值图像进行形态学滤波，使得输电线边缘变得光滑连续，并填补分割目标的内部空洞，将最终分割出的二值图像映射回输电线灰度图像，结合二值图像的特征，以形态学基本运算中的腐蚀和膨胀运算对输电线灰度图像进行处理。
对图像中的输电线进行分割识别定位，然后将分割识别出的输电线区域作为后续算法的检测区域，从而大大提升输电线安全预警检测算法的处理效率。
3）提取树冠区域，获取第四图像。
对得到的第二图像进行处理，提取树冠区域。
本发明实施例对深度图中的树冠区域的感知采用语义分割的方式，DNN网络为Encoder-Decoder结构，具体训练内容为：
a. 将采集到的含有树冠的深度图像作为训练数据集。
需要说明的是，为了对树冠区域像素点进行提取，要求训练集当中包含有不同季节、不同气候的树冠深度图像；
b. 对数据集进行标注，其中，树冠区域像素点标注为1，其他像素点标注为0，随机选择数据集的80%作为训练集，剩余的20%作为验证集。
c. 将图像数据和标签数据输入网络中，Encoder抽取图像特征；然后通过Decoder将特征图的高和宽变换为输入图像的尺寸，并将通道数变换为类别个数，从而输出每个像素的类别。
d. Loss函数使用交叉熵损失函数进行训练。
经过语义分割网络提取后，得到的是二值图像信息，将该图像作为遮罩与第二图像相乘，得到只含有树冠区域深度信息的第四图像
。
步骤S003，根据第四图像中的像素点深度，筛选出树冠最高点作为每棵树的位置信息；根据位置信息获取每棵树的理想延伸方向。
树木对于输电线的影响主要体现在，树木的位置距离输电线过近时，树木的树枝生长会对输电线产生拉扯力，导致输电线变形，甚至断裂，因此对输电线附近的树木生长情况进行识别，进而判断其对输电线的安全影响。
由于树木的生长在不同的季节呈现不同的变化，如果直接使用RGB图像对树木位置进行获取，存在识别精度低，误差大的情况，且RGB图像只能获取树木的外貌特征，难以获取树木不同部位生长高度等信息，因此对第四图像
进行处理，获取每棵树的位置信息。
具体步骤包括：
1）设置滑窗遍历第四图像的所有像素点，当像素点的值低于高度阈值时，作为备选像素点。
具体的，首先设计一个边长大小为
的方形滑窗，以该方形窗口中心点为主，覆盖的像素点的个数为
；使用上述窗口，对第四图像
中深度信息不为0的每个像素点进行滑窗操作，记待滑窗的像素点大小为
，表示该点到无人机的距离，预设一个深度阈值
，该阈值信息代表了属于树冠区域的最低深度，若
，则该像素点为备选像素点，进行后续操作，否则跳过该像素点，进行下一像素点的检测。
其中，作为一个示例，本发明实施例选取
。
需要说明的是，由于无人机俯视，深度信息越大，目标距离无人机越远，距地面越近，则实际高度越低。当待滑窗的像素点小于等于深度阈值时，实际高度高于树冠区域的预设高度，该像素点属于树冠区域，作为备选像素点。
通过设置阈值对像素点进行筛选，能够加快图像每个像素点的检测速度。
2）将每个备选像素点与预设方向上的其他备选像素点进行差异比较，以所有方向中深度信息最小的备选像素点作为初步位置像素点。
当备选像素点在窗口内时，以该备选像素点为中心点统计其八个方向上的像素变化情况。
其中，以整个图像为坐标系，以行为横坐标轴，列为纵坐标轴，同时以当前备选像素点为中心，沿横坐标轴的方向为0
方向，沿相同绕行方向依次增加45
，获得当前备选像素点的八个方向。
以单一方向
为例，以窗口的中心点为起始点，沿着该方向
，比较起始点与该方向上的下一备选像素点的像素值大小，获取两个备选像素点像素值的差异值
，公式如下：
其中，
表示窗口的中心点的坐标，
表示窗口的中心点的像素值，
表示方向
上的备选像素点的坐标，
表示方向
上的备选像素点的像素值。
若
，则将比较后的备选像素点作为起始点，继续在该方向上进行下一备选像素点的比较，若
，则停止对该备选像素点的检测，按照步长为1的方式，滑动窗口，进行下一备选像素点的检测。
对于某一备选像素点，当对比完所有的方向，对所有方向上的最后一个备选像素点，始终存在
，则标记该备选像素作为初步位置像素点。
3）对预设范围内的所有初步位置像素点进行修正，获取位置像素点，以位置像素点的坐标信息作为位置信息。
对于同一棵树，其由于生长原因，导致树叶、树枝的分布产生偏差，根据上述方法获得的最低深度信息对树木进行定位时，可能在较小范围内定位到多个初步位置像素点，产生定位信息的冗余与错误，需要对其进行修正。
计算每两个初步位置像素点之间的距离，距离在预设范围内的两个初步位置像素点属于同一个位置子集，对每个位置子集进行密度聚类，获取聚类中心，聚类中心为位置像素点。
具体的步骤为：
将得到的每个初步位置像素点当做每一棵树的树干位置坐标点，构成一个树干位置集合；根据先验知识可知，对于单棵树木，其拥有一个最小延伸范围，该范围表示单棵树木的树冠伸展范围，且在该范围内其树干只有一个，因此预设一个距离阈值范围
；对树干位置集合中的每个坐标点，以该坐标点为中心，范围阈值
为半径，判断该范围内是否存在其它树干位置坐标点，判断方法如下：
其中，
与
分别为处于该阈值范围内的两个树干位置坐标点。
如果
，说明该两个初步位置像素点为同一棵树干的位置坐标点，则构建一个位置子集，使该两个坐标点属于该位置子集；将每两个初步位置像素点进行距离计算，得到多个位置子集，对每个位置子集，采用密度聚类方法对该类别的位置子集找到其聚类中心点，以该聚类中心点作为当前位置子集的位置像素点，作为真实树干位置。
4）根据位置信息获取每棵树的理想延伸方向。
对于每棵树的树冠区域，计算树冠区域的边缘像素点与位置像素点之间的距离，选取距离最远的预设数量的边缘像素点与位置像素点相连，获取理想延伸方向。
具体的，以树冠的位置像素点作为当前树木的质心位置，计算树冠区域边缘上每个像素点到该位置的距离信息，按照从大到小选取距离前
k个边缘像素点与树冠的位置信息进行连接，方向为树冠位置像素点指向该边缘像素点，得到多个理想延伸方向
。
步骤S004，获取每个树冠区域的整体延伸方向，依据每棵树的整体延伸方向和理想延伸方向的相似度，获取每棵树的实际延伸方向。
具体的步骤包括：
1）对每个树冠区域，使用PCA主成分分析法，获得树冠的整体延伸方向
。
2）计算每棵树的每个理想延伸方向与整体延伸方向的余弦相似度。
依次选取步骤S003中获取的理想延伸方向
，计算其与整体延伸方向
的余弦相似度。
3）当余弦相似度中存在大于预设阈值的值时，选取最大余弦相似度对应的方向作为延伸方向；当所有余弦相似度都小于预设阈值时，以整体延伸方向作为该树的延伸方向。
具体的，设定一个相似度阈值，将每次计算得到的余弦相似度与该阈值进行比较，保留最大余弦相似度值所对应的理想延伸方向作为实际延伸方向；若所有的余弦相似度都小于该阈值，则将整体延伸方向作为实际延伸方向。
步骤S005，根据第三图像获取输电线的延伸方向；结合第一图像和第四图像获取输电线的深度信息；根据实际延伸方向与输电线的延伸方向计算每棵树对输电线的影响程度，依据影响程度、实际延伸方向上的像素点深度信息以及输电线的深度信息获取每棵树的第一风险程度。
1）获取输电线的延伸方向。
对第三图像进行霍夫直线检测，得到多条直线信息：
其中，
表示每条输电线的斜率，
表示每条输电线的截距。
2）获取输电线的深度信息。
将第一图像与第四图像相对应，获取单应性矩阵；依据单应性矩阵将第四图像中的像素坐标变换到第一图像中，获取第一图像中的输电线的深度信息。
具体的，将第一图像与第四图像一一对应，获取RGB图像和深度图像之间的单应性矩阵，由于两相机位姿固定，本发明实施例采用标定板进行单应性矩阵的计算。
得到单应性矩阵后，将深度图像的树冠区域所包含像素点的坐标，变换到RGB图像中得到RGB图像的树冠区域，同时得到RGB图像中每棵树的位置像素点集合以及RGB图像中输电线所在像素点的深度信息。
3）计算输电线的方向的垂直方向与延伸方向的差异角度，根据差异角度的不同计算影响程度。
以每棵树的位置信息为起始点，得到垂直于输电线的直线信息，方向为树木位置指向输电线方向，计算该直线方向与树木实际延伸方向的差异度
，计算不同差异度下树木对输电线的影响程度：
其中，
为树木位置垂直于输电线的直线，
为树木实际延伸方向所在的直线，
用于计算两条直线的夹角，将其作为两直线方向的差异度；
表示树木实际延伸方向的影响程度。
获取树木实际延伸方向上的像素点的深度信息，得到其平均深度信息
，进一步得到该实际延伸方向上输电线的深度信息
，计算第一风险程度
：
当树的深度信息越大于输电线时，树木的高度低于输电线，其风险程度越小；反之，风险程度越大，由于此处计算风险程度只考虑了树木延伸方向、输电线高度及树木高度，并未考虑树木位置信息，故其风险程度为预测结果，不能反映当前情况，即风险程度增大时，
的值会更接近1。
步骤S006，当树木与输电线的最短距离小于安全阈值时，根据输电线的像素点深度信息，和输电线垂直方向上的树冠像素点深度信息获取每棵树的第二风险程度。
具体的步骤包括：
1）对得到的RGB图像中所有树木位置，计算每个树木位置对应的位置像素点与所有输电线的直线信息的距离：
其中，
表示第
个位置像素点与第
条直线的距离，
表示第
个位置像素点的坐标，
表示第
条直线的斜率，
表示第
条直线的截距。
根据输电线的实际安全距离，设定一个安全距离阈值M，当
时，说明当前位置的树木不会对输电线产生安全影响，第二风险程度为0；否则，说明其会影响输电线的输电安全，需要进一步结合该树木的生长情况进行判断。
对于会对输电线产生安全影响的树木位置，沿着该树木位置对应的位置像素点垂直于输电线的方向，由于该方向为树木到输电线的最短路径方向，因此统计该方向上每个像素点的深度信息，得到该方向上的深度最大值
进行计算；同时获取该垂直方向上的输电线深度信息
，计算第二风险程度
：
当树木的深度最大值大于输电时，树木低于输电线，此时，树木越低，其风险程度越小；反之，风险程度越大。
由于此处考虑树木位置，及其实际延伸方向，因此当前实时的风险程度计算时，只要树木高度高于输电线高度，其风险程度已经达到最大为1。
步骤S007，根据第一风险程度和第二风险程度获取每棵树对输电线的安全影响程度。
计算安全影响程度
：
其中，
表示第一风险程度的权重，
表示第二风险程度的权重。
作为一个示例，本发明实施例中，
取0.7，
取0.3。
根据实际情况，划分不同的安全预警等级。
作为一个示例，本发明实施例中影响程度处于
范围内时，预警等级划分为1级风险，处于
范围内时，预警等级划分为2级风险，处于
范围内时，预警等级划分为3级。
通过无线通讯模块将无人机当前的位置信息、树木在图像中的坐标信息以及树木对应的风险预警等级信息，上传云端，通知巡检人员进行及时防护。
综上所述，本发明实施例采集包括输电线和树木的第一图像和第二图像；第一图像为俯视视角的RGB图像；第二图像为深度图像；提取第一图像中的输电线，得到含有输电线的二值图像，作为第三图像；提取第二图像中每棵树的树冠区域，得到含有树冠区域的深度图像，作为第四图像；根据第四图像中的像素点深度，筛选出树冠最高点作为每棵树的位置信息；根据位置信息获取每棵树的理想延伸方向；获取每个树冠区域的整体延伸方向，依据每棵树的整体延伸方向和理想延伸方向的相似度，获取每棵树的实际延伸方向；根据第三图像获取输电线的延伸方向；结合第一图像和第四图像获取输电线的深度信息；根据实际延伸方向与输电线的延伸方向计算每棵树对输电线的影响程度，依据影响程度、实际延伸方向上的像素点深度信息以及输电线的深度信息获取每棵树的第一风险程度；当树木与输电线的最短距离小于安全阈值时，根据输电线的像素点深度信息，和输电线垂直方向上的树冠像素点深度信息获取每棵树的第二风险程度；根据第一风险程度和第二风险程度获取每棵树对输电线的安全影响程度。本发明实施例能够根据输电线和树木的位置信息判断输电线是否安全，并根据树木的延伸方向对输电线进行准确的安全预警。
基于与上述方法相同的发明构思，本发明另一个实施例提供了一种基于人工智能的输电线安全预警检测装置，请参阅图2，该装置包括以下模块：
图像采集模块1001、图像提取模块1002、理想延伸方向获取模块1003、实际延伸方向获取模块1004、第一风险程度获取模块1005、第二风险程度获取模块1006以及安全影响程度获取模块1007。
具体的，图像采集模块用于采集包括输电线和树木的第一图像和第二图像；所述第一图像为俯视视角的RGB图像；所述第二图像为深度图像；图像提取模块用于提取所述第一图像中的输电线，得到含有所述输电线的二值图像，作为第三图像；提取所述第二图像中每棵树的树冠区域，得到含有所述树冠区域的深度图像，作为第四图像；理想延伸方向获取模块用于根据所述第四图像中的像素点深度，筛选出树冠最高点作为每棵树的位置信息；根据所述位置信息获取每棵树的理想延伸方向；实际延伸方向获取模块用于获取每个所述树冠区域的整体延伸方向，依据每棵树的所述整体延伸方向和所述理想延伸方向的相似度，获取每棵树的实际延伸方向；第一风险程度获取模块用于根据所述第三图像获取所述输电线的延伸方向；结合所述第一图像和所述第四图像获取所述输电线的深度信息；根据所述实际延伸方向与所述输电线的延伸方向计算每棵树对所述输电线的影响程度，依据所述影响程度、所述实际延伸方向上的像素点深度信息以及所述输电线的深度信息获取每棵树的第一风险程度；第二风险程度获取模块用于当树木与所述输电线的最短距离小于安全阈值时，根据所述输电线的像素点深度信息，和所述输电线垂直方向上的树冠像素点深度信息获取每棵树的第二风险程度；安全影响程度获取模块用于根据所述第一风险程度和所述第二风险程度获取每棵树对所述输电线的安全影响程度。
基于与上述方法相同的发明构思，本发明另一个实施例提供了一种电子设备。
请参阅图3，其示出了本发明实施例提供的一种电子设备的示意图。该实施例的电子设备包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述基于人工智能的输电线安全预警检测方法实施例中的步骤，例如图1所示的步骤。或者，处理器执行计算机程序时实现上述基于人工智能的输电线安全预警检测装置实施例中各模块的功能。
示例性的，计算机程序可以被分割成一个或多个模块，其中一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。其中一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备中的执行过程。
电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器( Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (FieldProgrammable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，该处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于人工智能的输电线安全预警检测方法，其特征在于，该方法包括以下步骤：
采集包括输电线和树木的第一图像和第二图像；所述第一图像为俯视视角的RGB图像；所述第二图像为深度图像；
提取所述第一图像中的输电线，得到含有所述输电线的二值图像，作为第三图像；提取所述第二图像中每棵树的树冠区域，得到含有所述树冠区域的深度图像，作为第四图像；
根据所述第四图像中的像素点深度，筛选出树冠最高点作为每棵树的位置信息；根据所述位置信息获取每棵树的理想延伸方向；
获取每个所述树冠区域的整体延伸方向，依据每棵树的所述整体延伸方向和所述理想延伸方向的相似度，获取每棵树的实际延伸方向；
根据所述第三图像获取所述输电线的延伸方向；结合所述第一图像和所述第四图像获取所述输电线的深度信息；根据所述实际延伸方向与所述输电线的延伸方向计算每棵树对所述输电线的影响程度，依据所述影响程度、所述实际延伸方向上的像素点深度信息以及所述输电线的深度信息获取每棵树的第一风险程度；
当树木与所述输电线的最短距离小于安全阈值时，根据所述输电线的像素点深度信息，和所述输电线垂直方向上的树冠像素点深度信息获取每棵树的第二风险程度；
根据所述第一风险程度和所述第二风险程度获取每棵树对所述输电线的安全影响程度。
2.根据权利要求1所述的方法，其特征在于，所述第三图像的获取方法为：
对所述第一图像进行图像灰度化，采用最大类间方差法对灰度化之后的第一图像分割输电线图像，获取所述第三图像。
3.根据权利要求1所述的方法，其特征在于，所述每棵树的位置信息的获取步骤包括：
设置滑窗遍历所述第四图像的所有像素点，当所述像素点的值低于高度阈值时，作为备选像素点；
将每个所述备选像素点与预设方向上的其他所述备选像素点进行差异比较，以所有方向中深度信息最小的所述备选像素点作为初步位置像素点；
对预设范围内的所有所述初步位置像素点进行修正，获取位置像素点，以所述位置像素点的坐标信息作为所述位置信息。
4.根据权利要求3所述的方法，其特征在于，所述位置像素点的获取方法为：
计算每两个所述初步位置像素点之间的距离，所述距离在所述预设范围内的两个所述初步位置像素点属于同一个位置子集，对每个所述位置子集进行密度聚类，获取聚类中心，所述聚类中心为所述位置像素点。
5.根据权利要求3所述的方法，其特征在于，所述理想延伸方向的获取方法为：
对于每棵树的所述树冠区域，计算所述树冠区域的边缘像素点与所述位置像素点之间的距离，选取距离最远的多个所述边缘像素点与所述位置像素点相连，获取多个所述理想延伸方向。
6.根据权利要求5所述的方法，其特征在于，所述实际延伸方向的获取步骤包括：
计算每棵树的每个所述理想延伸方向与所述整体延伸方向的余弦相似度；
当所述余弦相似度中存在大于预设阈值的值时，选取最大余弦相似度对应的方向作为所述实际延伸方向；
当所有所述余弦相似度都小于预设阈值时，以所述整体延伸方向作为该树的所述实际延伸方向。
7.根据权利要求1所述的方法，其特征在于，所述影响程度的获取方法为：
计算所述输电线的延伸方向的垂直方向与所述实际延伸方向的差异角度，根据所述差异角度的不同计算所述影响程度。
8.根据权利要求1所述的方法，其特征在于，所述输电线的深度信息的获取步骤包括：
将所述第一图像与所述第四图像相对应，获取单应性矩阵；
依据所述单应性矩阵将所述第四图像中的像素坐标变换到所述第一图像中，获取所述第一图像中的所述输电线的深度信息。
9.基于人工智能的输电线安全预警检测装置，其特征在于，该装置包括以下模块：
图像采集模块，用于采集包括输电线和树木的第一图像和第二图像；所述第一图像为俯视视角的RGB图像；所述第二图像为深度图像；
图像提取模块，用于提取所述第一图像中的输电线，得到含有所述输电线的二值图像，作为第三图像；提取所述第二图像中每棵树的树冠区域，得到含有所述树冠区域的深度图像，作为第四图像；
理想延伸方向获取模块，用于根据所述第四图像中的像素点深度，筛选出树冠最高点作为每棵树的位置信息；根据所述位置信息获取每棵树的理想延伸方向；
实际延伸方向获取模块，用于获取每个所述树冠区域的整体延伸方向，依据每棵树的所述整体延伸方向和所述理想延伸方向的相似度，获取每棵树的实际延伸方向；
第一风险程度获取模块，用于根据所述第三图像获取所述输电线的延伸方向；结合所述第一图像和所述第四图像获取所述输电线的深度信息；根据所述实际延伸方向与所述输电线的延伸方向计算每棵树对所述输电线的影响程度，依据所述影响程度、所述实际延伸方向上的像素点深度信息以及所述输电线的深度信息获取每棵树的第一风险程度；
第二风险程度获取模块，用于当树木与所述输电线的最短距离小于安全阈值时，根据所述输电线的像素点深度信息，和所述输电线垂直方向上的树冠像素点深度信息获取每棵树的第二风险程度；
安全影响程度获取模块，用于根据所述第一风险程度和所述第二风险程度获取每棵树对所述输电线的安全影响程度。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~8任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111014497.9A CN113470017B (zh) | 2021-08-31 | 2021-08-31 | 基于人工智能的输电线安全预警检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111014497.9A CN113470017B (zh) | 2021-08-31 | 2021-08-31 | 基于人工智能的输电线安全预警检测方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113470017A CN113470017A (zh) | 2021-10-01 |
| CN113470017B true CN113470017B (zh) | 2021-11-16 |
Family
ID=77867052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111014497.9A Active CN113470017B (zh) | 2021-08-31 | 2021-08-31 | 基于人工智能的输电线安全预警检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113470017B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299406B (zh) * | 2022-03-07 | 2022-06-07 | 山东鹰联光电科技股份有限公司 | 基于无人机航拍的光纤电缆线路巡检方法 |
| CN117934458B (zh) * | 2024-03-21 | 2024-06-14 | 武汉市豪迈电力自动化技术有限责任公司 | 基于短共享电力无线通信的智能电网安全防护方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000067246A (ja) * | 1998-08-18 | 2000-03-03 | Hajime Matsuoka | 色空間上の線分による画像の領域分割 |
| CN1761855A (zh) * | 2003-03-21 | 2006-04-19 | 莱卡地球系统公开股份有限公司 | 大地测量仪器中的图像处理方法和装置 |
| CN104951990A (zh) * | 2014-03-28 | 2015-09-30 | 国际商业机器公司 | 电网数据处理方法及设备 |
| CN107103599A (zh) * | 2017-04-06 | 2017-08-29 | 云南电网有限责任公司电力科学研究院 | 一种基于LiDAR的输电线路树木隐患预测分析方法 |
| CN108986165A (zh) * | 2018-07-11 | 2018-12-11 | 云南电网有限责任公司电力科学研究院 | 一种高压线对树放电安全间距的监控方法及装置 |
| CN111461918A (zh) * | 2020-02-19 | 2020-07-28 | 北京天和本安电力科技有限公司 | 基于卫星光学影像的输电线路树闪隐患监测方法 |
-
2021
- 2021-08-31 CN CN202111014497.9A patent/CN113470017B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000067246A (ja) * | 1998-08-18 | 2000-03-03 | Hajime Matsuoka | 色空間上の線分による画像の領域分割 |
| CN1761855A (zh) * | 2003-03-21 | 2006-04-19 | 莱卡地球系统公开股份有限公司 | 大地测量仪器中的图像处理方法和装置 |
| CN104951990A (zh) * | 2014-03-28 | 2015-09-30 | 国际商业机器公司 | 电网数据处理方法及设备 |
| CN107103599A (zh) * | 2017-04-06 | 2017-08-29 | 云南电网有限责任公司电力科学研究院 | 一种基于LiDAR的输电线路树木隐患预测分析方法 |
| CN108986165A (zh) * | 2018-07-11 | 2018-12-11 | 云南电网有限责任公司电力科学研究院 | 一种高压线对树放电安全间距的监控方法及装置 |
| CN111461918A (zh) * | 2020-02-19 | 2020-07-28 | 北京天和本安电力科技有限公司 | 基于卫星光学影像的输电线路树闪隐患监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113470017A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Automatic detection of single ripe tomato on plant combining faster R-CNN and intuitionistic fuzzy set | |
| Aquino et al. | Automated early yield prediction in vineyards from on-the-go image acquisition | |
| CN107609512A (zh) | 一种基于神经网络的视频人脸捕捉方法 | |
| CN108830199B (zh) | 识别交通灯信号的方法、装置、可读介质及电子设备 | |
| US10769466B2 (en) | Precision aware drone-based object mapping based on spatial pattern recognition | |
| CN113470017B (zh) | 基于人工智能的输电线安全预警检测方法、装置及设备 | |
| Fernandez et al. | Automatic detection of field-grown cucumbers for robotic harvesting | |
| CN113139521B (zh) | 一种用于电力监控的行人越界标监测方法 | |
| CN106909886B (zh) | 一种基于深度学习的高精度交通标志检测方法及系统 | |
| Liu et al. | The method of insulator recognition based on deep learning | |
| CN113205063A (zh) | 一种输电导线缺陷的视觉识别及定位方法 | |
| CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN110659550A (zh) | 交通标志牌识别方法、装置、计算机设备和存储介质 | |
| CN113409252B (zh) | 一种架空输电线路巡检机器人障碍物检测方法 | |
| CN113963222A (zh) | 一种基于多策略组合的高分辨率遥感影像变化检测方法 | |
| CN112417931A (zh) | 一种基于视觉显著性的水面物体检测和分类的方法 | |
| Yang et al. | Instance segmentation and classification method for plant leaf images based on ISC-MRCNN and APS-DCCNN | |
| CN113326925A (zh) | 基于密度图回归的卷积神经网络的花量统计方法、系统、设备及介质 | |
| CN115147745A (zh) | 一种基于城市无人机图像的小目标检测方法 | |
| CN115841633A (zh) | 一种电力塔和电力线关联矫正的电力塔和电力线检测方法 | |
| Hao et al. | Detection of bird nests on power line patrol using single shot detector | |
| CN114140753A (zh) | 一种海洋船舶识别的方法、装置及系统 | |
| CN111008609B (zh) | 交通灯与车道的匹配方法、装置及电子设备 | |
| CN116206208B (zh) | 一种基于人工智能的林业病虫害快速分析系统 | |
| CN117456358A (zh) | 一种基于YOLOv5神经网络的植物病虫害检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231114 Address after: 201800 Area A, 1st Floor, Building 4, No. 666 Huabo Road, Huating Town, Jiading District, Shanghai Patentee after: SHANGHAI YURONG OPTICAL TECHNOLOGY Co.,Ltd. Address before: 226121 No. 2, Zhonghua East Road, Sanchang street, Haimen City, Nantong City, Jiangsu Province Patentee before: Haimen Yulong Photoelectric Technology Co.,Ltd. |