CN117011772B - 一种输电线路的风险提示方法、装置和存储介质 - Google Patents

一种输电线路的风险提示方法、装置和存储介质 Download PDF

Info

Publication number
CN117011772B
CN117011772B CN202310953802.3A CN202310953802A CN117011772B CN 117011772 B CN117011772 B CN 117011772B CN 202310953802 A CN202310953802 A CN 202310953802A CN 117011772 B CN117011772 B CN 117011772B
Authority
CN
China
Prior art keywords
image
depth
target
surrounding environment
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310953802.3A
Other languages
English (en)
Other versions
CN117011772A (zh
Inventor
张惠荣
廖承就
陈华超
魏莱
黄戬
宋明择
林杰欢
陈奕戈
陈晓儒
钟振鑫
邓小康
邱汉锋
张建锋
吴树宁
李俊杰
王潇潇
蓝钢
王峻
王瑞麟
佘仰腾
钟森淼
张锋
王鹏
袁鼎发
李成坤
陈景
罗世彬
赖伟斌
朱双
陈勇智
骆文浩
刘云凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Huizhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Huizhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Huizhou Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202310953802.3A priority Critical patent/CN117011772B/zh
Publication of CN117011772A publication Critical patent/CN117011772A/zh
Application granted granted Critical
Publication of CN117011772B publication Critical patent/CN117011772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种输电线路的风险提示方法、装置和存储介质。其中，方法包括：基于输电线路中的输电杆塔上搭载的拍摄装置获取输电线路的周围环境图像；在检测到周围环境图像包括目标对象的情况下，确定目标对象在周围环境图像中对应的对象区域；确定周围环境图像对应的深度图像，基于深度图像和对象区域，确定目标对象对应的参考深度值；在参考深度值大于预设深度值的情况下，生成用于警示输电线路存在外破隐患的告警信息。解决了现有的输电线路的风险提示测距范围较小的问题，提高了输电线路周边大型机械风险提示的距离范围，为输电线路的安全提供保障。

Description

一种输电线路的风险提示方法、装置和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种输电线路的风险提示方法、装置和存储介质。
背景技术
输电线路在电网中起着电力运输的重要作用，在大型施工机械(例如塔吊、吊车、挖掘机和推土机)等外破隐患与架空输电线路的距离小于安全距离时，可能发生放电，进而导致输电线路断线、跳闸或短路等安全事故。由于放电距离容易受到温度、气压、湿度、电压和电流等多种因素的影响，导致施工机械与输电线路的安全距离无法进行现场测量，因此需要对输电线路区域内的大型机械进行风险提示，防止大型施工机械闯入。
相关输电线路的风险提示技术方案中，基于深度学习的目标检测模型和双目图像的视差，结合三维测距原理计算出施工机械的距离；进一步根据该距离判断该施工机械是否闯入输电线路区域。但是，可能由于基线长度较短，导致测距范围较小。
发明内容
本发明提供了一种输电线路的风险提示方法、装置和存储介质，以扩大输电线路的风险提示的区域。
根据本发明的一方面，提供了一种输电线路的风险提示方法，该方法包括：
基于输电线路中的输电杆塔上搭载的拍摄装置获取所述输电线路的周围环境图像；
在检测到所述周围环境图像包括目标对象的情况下，确定所述目标对象在所述周围环境图像中对应的对象区域；
确定所述周围环境图像对应的深度图像，基于所述深度图像和所述对象区域，确定所述目标对象对应的参考深度值；
在所述参考深度值大于预设深度值的情况下，生成用于警示所述输电线路存在外破隐患的告警信息。
根据本发明的另一方面，提供了一种输电线路的风险提示装置，该装置包括：
环境图像获取模块，用于基于输电线路中的输电杆塔上搭载的拍摄装置获取所述输电线路的周围环境图像；
对象区域确定模块，用于在检测到所述周围环境图像包括目标对象的情况下，确定所述目标对象在所述周围环境图像中对应的对象区域；
参考深度值确定模块，用于确定所述周围环境图像对应的深度图像，基于所述深度图像和所述对象区域，确定所述目标对象对应的参考深度值；
告警提示模块，用于在所述参考深度值大于预设深度值的情况下，生成用于警示所述输电线路存在外破隐患的告警信息。
根据本发明的另一方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的输电线路的风险提示方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的输电线路的风险提示方法。
本发明实施例的技术方案，基于输电线路中的输电杆塔上搭载的拍摄装置获取输电线路的周围环境图像；由于周围环境图像是针对输电线路的周围环境拍摄的，能够捕获更多的针对输电线路的信息。在检测到周围环境图像包括目标对象的情况下，确定所述目标对象在周围环境图像中对应的对象区域，通过周围环境图像可简单、快速又有效地确定出目标对象在周围环境图像中对应的区域。确定周围环境图像对应的深度图像，基于深度图像和对象区域，确定目标对象对应的参考深度值，可以基于深度图像的像素值确定出目标对象在周围环境图像的相对距离。在参考深度值大于预设深度值的情况下，生成用于警示输电线路存在外破隐患的告警信息。解决了现有的输电线路的风险提示测距范围较小的问题，提高了输电线路周边大型机械风险提示的距离范围，为输电线路的安全提供保障。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的一种输电线路的风险提示方法的流程图；
图2是根据本发明实施例提供的另一种输电线路的风险提示方法的流程图；
图3是根据本发明实施例提供的一种具体的输电线路的风险提示装置的结构示意图；
图4是根据本发明实施例提供的一种深度图像确定装置示意图；
图5是根据本发明实施例提供的一种输电线路的风险提示装置的结构框图；
图6是根据本发明实施例提供的一种电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”、“目标”和“初始”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是根据本发明实施例提供的一种输电线路的风险提示方法的流程图，本实施例可适用于基于深度图像进行输电线路周边风险提示的场景，可以由输电线路的风险提示装置来执行，该输电线路的风险提示装置可以采用硬件和/或软件的形式实现，并配置于电子设备的处理器中。
如图1所示，输电线路的风险提示方法包括以下步骤：
S110、基于输电线路中的输电杆塔上搭载的拍摄装置获取输电线路的周围环境图像。
具体的，为了针对输电线路附近的大型机械进行风险提示，可将拍摄装置设置在该输电线路附近，通过该拍摄装置拍摄输电线路的周围环境，得到周围环境图像。需要说明的是，周围环境图像可以包括输电线路，也可以不包括输电线路，这需要根据拍摄装置的设置位置来确定，工作人员可以根据具体的场景对此进行选择。示例性的，可以是在输电杆塔上搭载摄像头，拍摄输电线路的周围环境，得到周围环境图像。
S120、在检测到周围环境图像包括目标对象的情况下，确定目标对象在周围环境图像中对应的对象区域。
目标对象包括可能对目标输电线路造成破坏的设备或工具，例如，可以是塔吊、吊车、挖掘机、泵车或推土机等大型机械。
对象区域包括周围环境图像中目标对象边界像素点的图像区域，示例性的，可以是目标对象对应的所有像素点组成的区域。
具体的，通过图像分类、语义分割、目标检测或实例分割确定周围环境图像中是否有目标对象；若周围环境图像包括目标对象，基于目标对象对应的所有像素点在周围环境图像中的位置，确定目标对象在周围环境图像对应的对象区域。
在一个实施例中，通过预训练的目标检测模型识别周围环境图像中的目标对象，得到目标对象在周围环境图像中对应的对象区域。
可选的，目标检测模型用于确定周围环境图像中目标对象的类型、数量和位置，例如，可以是空间金字塔池化网络(spatial pyramid pooling network，SPP-net)、快速区域卷积神经网络(faster region-convolutional neural networks，Faster R-CNN)、基于区域的全卷积神经网络(region-based fully convolutional network，R-FCN)、单步多框检测器(Single Shot MultiBox Detector，SSD)、DenseBox或单阶检测器(you only lookonce，YOLO)系列模型等。
在一个具体的实施例中，目标检测模型的具体结构可以包括主干(backbone)网络和检测头(head)，其中，主干网络用于提取周围环境图图像的特征数据，将该特征数据输入到检测头中，输出目标对象的类型、数目和位置，实现目标对象的定位和分类。进一步的，在目标检测模型的主干网络和检测头之间，添加特征融合网络，用于更好地融合/提取主干网络的特征，从而提高目标检测模型的性能。进一步的，在使用目标检测模型识别周围环境图像中的目标图像之前，需要对该目标检测模型进行训练。具体的，以各种类型目标对象的图像作为样本，以目标对象的类型及其在周围环境图像中的位置作为标签，对目标检测模型进行训练，得到预训练的目标检测模型；将周围环境图像输入预训练的目标检测模型，对该周围环境图像进行特征提取；根据该图像的特征数据进行预测，输出目标对象的类型、数目和位置，实现目标对象的定位和分类。
示例性的，目标检测模型是YOLOX模型。具体的，针对输电线路拍摄的视频画面，得到设定数量的输电线路的周围环境图像，对上述图像进行预处理，去掉存在亮度异常、噪声和图像模糊等异常的周围环境图像；将上述周围环境图像分为训练集和测试集，将训练集中的周围环境图像作为样本图像；利用标注工具对样本图像中的大型机械进行标注，以VOC数据格式保存成xml标签文件；将所有样本按照4:1的数量比例划分为训练集和测试集，采用训练集的样本和对应的标签文件对YOLOX模型进行训练，并使用测试集对YOLOX模型进行测试；基于自适应矩估计(adaptive moment estimation，Adam)优化器对YOLOX模型进行优化，共训练第一预设数量的轮次(例如50轮次)，将第一轮次的学习率设置为预设学习率(例如0.0003)，每一轮次更新完成后，学习率乘以预设比例(例如90％)，作为下一轮次的学习率。同时，观察该模型在测试集上的损失值，当损失值连续第二预设数量(例如5)个轮次没有下降时，停止训练，将损失值最低的YOLOX模型作为预训练的目标检测模型。其次，将周围环境图像输入预训练的YOLOX模型，对周围环境图像进行特征提取，生成特征图；然后，对特征图进行目标识别，得到周围环境图像中的大型机械的外接矩形框，将该矩形框作为对象区域，例如，对特征图进行目标识别，得到一个大小为R×4的二维数组，R表示YOLOX模型在该周围环境图像中检测到的大型机械的数量，每一行表示周围环境图像中一个大型机械的外接矩形框的位置信息(x1,y1,x2,y2)，x1和y1分别是外接矩形框的左上角坐标的横坐标和纵坐标，x2和y2分别是外接矩形框的右下角坐标的横坐标和纵坐标。
进一步的，还可以对周围环境图像进行图像缩放处理，得到缩小为预设尺寸(例如640×640)的周围环境图像，基于缩小的周围环境图像进行目标检测模型的训练和预测，可以加快该模型的训练过程和预测速度。
可选的，还可以使用现有的预训练权重进行目标检测模型的训练，能够加快模型收敛。示例性的，采用原YOLOX模型中的主干网络的权重参数和特征融合网络的权重参数对初始YOLOX模型进行训练，并初始化检测头的权重参数。首先，在第一数量(例如25)个轮次中主干网络和特征融合网络的权重参数保持不变，仅对检测头的权重参数进行调整以加快模型的训练速度；然后，在第二数量(例如25)个轮次中，对主干网络、特征融合网络和检测头的权重参数均根据具体情况进行调整。进一步的，在每一轮次的训练后，计算该轮次模型在测试集上的损失值，当损失值连续第三数量(例如5)个轮次没有下降的时候，完成训练，得到预训练的YOLOX模型。
S130、确定周围环境图像对应的深度图像，基于深度图像和对象区域，确定目标对象对应的参考深度值。
其中，深度图像用于存储周围环境图像的三维深度特征，将周围环境中各点的深度值作为像素值，可以直接反映了周围环境中大型机械的相对距离。
本实施例对于确定周围环境图像对应的深度图像的具体实施方式不做具体限定。示例性的，可以使用飞行时间法(time of flight，TOF)、结构光或激光扫描等技术获得周围环境图像对应的深度图像。具体的，将上述技术对应的拍摄设备设置于周围环境图像的拍摄装置附近，通过图像配准等方法使得拍摄装置和拍摄设备的视野范围相同，得到与周围环境图像对应的深度图像。
其中，参考深度值包括深度图像中目标对象的所有像素点对应的深度值的平均值、最大值和最小值中的至少一种。
可以理解的是，当输电线路附近的大型机械施工时，可能会破坏输电线路。但是，大型机械施工的范围有限，认为大型机械对于其施工范围之外的目标输电线路不会造成外力破坏。因此，为了排除距离目标输电线路远处的大型机械，需要确定目标对象的参考深度值。
具体的，基于目标对象在周围环境图像中对应的对象区域，确定深度图像的相同区域，得到深度区域，以该深度区域内所有像素点处深度值的最大值作为该目标对象对应的参考深度值。
在一个实施例中，根据对象区域，提取深度图像中与对象区域位于同一位置的深度区域中每个像素点对应的像素深度值；确定深度区域中每个像素点对应的像素深度值的平均值，将平均值作为目标对象对应的参考深度值。具体的，针对每个目标对象在周围环境图像中的所有像素点，在深度图像的同一位置，确定对应的深度区域，以该深度区域内所有像素点的深度值的平均值作为该目标对象对应的参考深度值。示例性的，针对周围环境图像中每个大型机械的外接矩形框的位置信息，在深度图像的相同位置处获取该大型机械的矩形深度区域，将该矩形深度区域中所有像素点深度值的平均值作为该目标的参考深度值。
S140、在参考深度值大于预设深度值的情况下，生成用于警示输电线路存在外破隐患的告警信息。
可以理解的是，当输电线路附近的大型机械施工时，可能会破坏输电线路。但是，大型机械施工的范围有限，认为大型机械对于其施工范围之外的目标输电线路不会造成外力破坏。因此，为了排除距离目标输电线路远处的大型机械，设定了预设深度值，当大型机械的距离小于预设深度值对应的距离时，生成告警信息。
在参考深度值大于预设深度值的情况下，设置了告警信息。告警信息可以是任何形式的告警信息，用于提醒用户有目标对象位于输电线路附近，输电线路有外破隐患。这样做的好处是，便于用户及时对风险进行干预，提高输电线路的管理效率，增强安全性。
示例性的，预先设置声/光等形式的告警信息，若深度图像中有任一目标对象的参考深度值大于第一预设深度值，则生成第一告警信息，第一告警信息用于提示用户输电线路处于第一风险等级，进行告警，提醒工作人员输电线路区域存在外破隐患。
具体的，考虑到目标对象的参考深度值与输电线路的危险程度呈现正相关的关系，因此，可设置不同于第一告警信息的第二告警信息，提示用户输电线路处于第二风险等级。具体的，还设置了第二预设深度值，第二预设深度值小于第一预设深度值。若参考深度值大于第二预设深度值，生成关于目标对象的第二提示信息，第二提示信息用于提示用户输电线路处于第二风险等级，第一风险等级高于第二风险等级。
在一个实施例中，设置了报警装置，若参考深度值大于第一预设深度值，控制报警装置发出第一时长的报警信号；若参考深度值大于第二预设深度值，控制报警装置发出第二时长的报警信号；第二时长小于第一时长。
示例性的，设置了警示灯，若大型机械的参考深度值大于第一预设深度值，警示灯亮40秒；若大型机械的参考深度值大于第二预设深度值，警示灯亮20秒。
本发明实施例的技术方案，基于输电线路中的输电杆塔上搭载的拍摄装置获取输电线路的周围环境图像；由于周围环境图像是针对输电线路的周围环境拍摄的，能够捕获更多的针对输电线路的信息。在检测到周围环境图像包括目标对象的情况下，确定目标对象在周围环境图像中对应的对象区域，通过周围环境图像可简单、快速又有效地确定出目标对象在周围环境图像中对应的区域。确定周围环境图像对应的深度图像，基于深度图像和对象区域，确定目标对象对应的参考深度值，可以基于深度图像的像素值确定出目标对象在周围环境图像的相对距离。在参考深度值大于预设深度值的情况下，生成用于警示输电线路存在外破隐患的告警信息。解决了现有的输电线路的风险提示测距范围较小的问题，扩大了输电线路周边大型机械风险提示的距离范围，为输电线路的安全提供保障。
图2是根据本发明实施例提供的另一种输电线路的风险提示方法的流程图，本实施例可适用于基于深度图像进行输电线路周边风险检测的场景，本实施例与上述实施例中的输电线路的风险提示方法属于同一个发明构思，在上述实施例的基础上，进一步描述了确定周围环境图像对应的深度图像的过程。
如图2所示，该输电线路的风险提示方法包括：
S210、基于输电线路中的输电杆塔上搭载的拍摄装置获取输电线路的周围环境图像。
S220、在检测到周围环境图像包括目标对象的情况下，确定目标对象在周围环境图像中对应的对象区域。
S230、确定周围环境图像对应的目标二维特征图。
具体的，使用预设特征提取网络对RGB三通道周围环境图像进行特征提取，得到周围环境图像对应的目标二维特征图。可选的，预设特征提取网络包括残差网络(ResidualNetwork，ResNet)、视觉几何群网络(Visual Geometry Group Network，VGGN)和密集连接卷积网络(Dense Convolutional Network，DenseNet)中的至少一个，本实施例对此不做具体限定。
在一个具体的实施例中，确定周围环境图像对应的目标二维特征图，包括：
首先，对周围环境图像进行图像缩放处理和图像裁剪处理，得到预设数量个图像块。
具体的，对周围环境图像进行图像缩放处理，得到第一尺寸的周围环境图像；将第一尺寸的周围环境图像进行图像裁剪，得到预设图像块数量个第二尺寸的图像块。这样做的好处是，基于图像块进行模型的训练和预测，可以加快该模型的训练过程和预测速度，避免出现因周围环境图像分辨率太大降低处理速度或无法处理的情况。
示例性的，对RGB图像格式的周围环境图像进行图像缩放处理，得到尺寸为448×448×3的图像；将该图像裁剪成784个长宽均为16的正方形图像块(patch)，得到尺寸为784×16×16×3的张量。这样做的好处是，基于图像块进行特征提取，便于检测特征(例如边缘等局部特征)。
然后，分别将图像块基于预设展平函数进行线性投影，得到周围环境图像对应的初始二维特征图。
具体的，预设展平函数包括flatten()函数和ravel()函数。基于预设展平函数对图像块进行线性投影，可以在不改变图像块的大小，把多维的图像块一维化。
示例性的，针对每个大小为16×16的图像块，采用flatten()函数将图像块投影至一维向量，每个图像块的特征向量长度为768，得到尺寸为784×768的初始二维特征图。
最后，向初始二维特征图拼接可学习向量，得到周围环境图像对应的目标二维特征图。
其中，可学习向量用于表征图像块之间的位置信息特征。可以理解的是，由于图像裁剪处理，导致图像块缺失其相对于周围环境图像的位置信息，因此，在初始二维特征图的预设位置处拼接一个可以学习的位置特征，得到包含图像块之间的位置信息特征的目标二维特征图。
示例性的，向尺寸为784×768的初始二维特征图的起始位置拼接一个尺寸为1×768的可学习向量，得到尺寸为785×768的目标二维特征图。
S240、基于目标二维特征图和预先训练的目标深度估计模型，确定周围环境图像对应的深度图像。
目标深度估计模型包括编码器和解码器，其中，编码器用于对目标二维特征图进行特征提取，得到中间特征，编码器包括卷积神经网络(Convolutional Neural Network，CNN)、Transfomer、特征金字塔(Feature Pyramid)和EfficientNet B5编码器中的至少一种。解码器用于对融合特征图进行上采样，得到深度图像，解码器可以是X-Decoder或CNN。
示例性的，深度估计模型包括Transformer编码器和CNN解码器。其中，Transformer编码器用于对目标二维特征图进行特征提取，得到目标特征数据；CNN解码器用于将目标特征数据中每个像素值转换为深度值，得到周围环境图像对应的深度图像并输出。
进一步的，基于目标二维特征图和预先训练的目标深度估计模型，确定周围环境图像对应的深度图像，包括：
首先，将目标二维特征图输入Transformer编码器中，得到第一编码特征图。
Transformer编码器包括多头注意力层和前馈网络，其中，多头注意力层包括注意力机制(Attention Mechanism)中的多头注意力(Multi-head Attention，MHA)，前馈网络由两个有ReLU激活函数的全连接层组成。进一步的，Transformer编码器还包括叠加和归一化组件，用于同时连接一个子层的输入和输出，示例性的，叠加和归一化组件用于同时连接多头注意力层的输入和输出，也同时连接前馈网络层的输入和输出。这样做的好处是，可以防止每层的值剧烈变化，从而提高了目标深度估计模型的训练速度。
在一个具体的实施例中，Transformer编码器包括多头注意力模块和多层感知(multi-layer perceptron，MLP)器模块。将目标二维特征图输入该Transformer编码器，Transformer编码器接受输入并将其送入多头注意力模块，该多头注意力模块运算后输出一个注意力矩阵；将注意力矩阵输入到下一个多头注意力子层，即前馈网络层。前馈网络层将注意力矩阵作为输入，并计算出特征值并输出。
示例性的，Transformer编码器包括多头注意力模块，每个多头注意力模块包括第二设定数量(例如12)的多头注意力子层，多层感知器模块的放大倍数设置为预设倍数(例如4)。将尺寸为785×768的目标二维特征图输入Transformer编码器进行特征编码，通过多头注意力模块和多层感知器模块提取鲁棒性更高的特征，最终输出大小为785×768的第一编码特征图。
可选的，可以将多个编码器一个接一个地叠加起来，将最后一个编码器的输出作为第一编码特征图并输出。
然后，删除第一编码特征图中包含的位置信息特征，得到第二编码特征图，并对第二编码特征图进行张量转换，得到第一目标张量。
具体的，删掉加入的位置信息特征，使第二编码特征图与周围环境图像对应；对第二编码特征图进行张量转换，得到张量形式的第二编码特征图，作为第一目标张量。
示例性的，删除第一编码特征图中位于起始位置的可学习向量对应的位置信息特征，得到大小为784×768的第二编码特征图，并通过reshape()函数将第二编码特征图转换为张量，得到28×28×768的第一目标张量。
最后，将第一目标张量输入CNN解码器中，得到与周围环境图像对应的深度图像。
具体的，将第一目标张量输入CNN解码器中，进行上采样操作，并将第一目标张量中每个像素点都转换为深度值并排列，得到与周围环境图像对应的深度图像并输出。
示例性的，将28×28×768的第一目标张量输入CNN解码器，进行第一目标张量的特征映射，使得深度图像的每个像素点的像素值表示该点的深度值，得到448×448×1的深度图像。
在一个具体的实施例中，CNN解码器包括多个卷积层和深度转换模块；将第一目标张量输入CNN解码器的卷积层，得到预设尺寸的第二目标张量；基于深度转换模块对第二目标张量进行像素重排列，得到周围环境图像对应的深度图像。
其中，卷积层用于通过逐层上采样，进行多次上采样操作和卷积操作，在特征映射过程中逐层扩大第一目标张量的尺寸并缩小第一目标张量的特征通道，得到预设尺寸的第二目标张量。这样做的好处是，能够将小尺寸、多通道的第一目标张量解码成大尺寸单通道的第二目标张量。深度转换模块用于将第二目标张量中每个像素点都转换为深度值并排列，得到与周围环境图像对应的深度图像并输出。这样做的好处是，不需要对编码器输出的特征图进行多次的上采样和卷积，具有较高的计算效率且不占用任何内存。需要说明的是，还需要设置采样间隔，使得将第二目标张量中每个像素点都转换为深度值并排列时的能够刚好排完。
示例性的，首先，将Transformer解码器输出的第一目标张量输入两个3×3卷积层。还设置了两个卷积层滤波器，其数量分别为512和256，将第一目标张量的特征通道从768减少至256，得到28×28×256的第二目标张量。然后，深度转换模块用于以行为单位，将第二目标张量上的特征点的像素值按顺序排列至深度图像的对应位置处，得到448×448×1的深度图像。其中，像素重排列通过公式(1)实现：
其中，P'为深度图像上的像素点；P为第二目标张量上的特征点；x与y分别是深度图像上的横坐标和纵坐标；mod(·)是求余函数；r＝16，是基于采样间隔设置的。
进一步的，目标深度估计模型的训练过程，包括：
首先，将训练集中的二维样本特征图输入初始深度估计模型，得到二维样本特征图对应的预测深度图像。
具体的，训练集包括二维样本特征图和与二维样本特征图对应的标签深度图像；将训练集中的二维样本特征图输入初始深度估计模型，初始深度估计模型针对样本二维特征图进行预测，得到与该二维样本特征图对应的预测深度图像。
示例性的，采用公共的深度估计数据集Cityscape对初始深度估计模型进行训练。具体的，将该数据集分为训练集和验证集，训练集包括2975张RGB图像及其相应的深度图像，验证集包括500张RGB图像及其相应的深度图像；将训练集中的RGB图像输入初始深度估计模型，初始深度估计模型针对RGB图像进行预测，得到与该RGB图像对应的预测深度图像。
然后，基于与二维样本特征图对应的预测深度图像和标签深度图像，通过公式(2)的损失函数计算初始深度估计模型的损失值：
其中，Loss用于表示初始深度估计模型的损失值，Li用于表示第i个像素的线性误差值，N用于表示训练集中标签深度图像的面积，即标签深度图像中像素点的总个数，Yi用于表示标签深度图像上第i个像素点对应的训练像素深度值，表示初始深度估计模型得到的预测深度图像上第i个像素点对应的预测像素深度值，δ表示预设误差阈值。
具体的，基于初始深度估计模型的设计选择损失函数，损失函数用于衡量标签深度图像和预测深度图像之间的差异。在初始深度估计模型的训练过程中，需要基于训练集求损失函数的极值，从而确定初始深度估计模型参数的值，以最小化损失函数。
可选的，损失函数包括平均绝对误差(mean absolute error，MAE)损失，均方误差(mean-square error，MSE)损失和均方根误差(root mean squared error，RMSE)损失等。
示例性的，通过公式(2)的损失函数计算初始深度估计模型的损失值，这样做的好处是，对异常值比较鲁棒，相对于MAE损失有一定的优势。具体的，将δ设置为1，r设置为16。针对预测深度图像和标签深度图像，当第i个像素点的该像素点上的损失值采用平方误差公式计算，当第i个像素点的/>该像素点上的损失值采用线性误差公式计算，初始深度估计模型的损失值(Loss)等于所有像素点损失值的平均值。
最后，根据损失值调整初始深度估计模型的模型参数，更新初始深度模型，以得到目标深度估计模型。
具体的，在训练过程中，基于优化算法，通过最小化损失函数来调整初始深度估计模型的参数，使初始深度估计模型能够更好地拟合训练集。其中，优化算法包括随机梯度下降(stochastic gradient descent，SGD)、动量随机梯度下降(stochastic gradientdescent with momentum，SGDM)、涅斯捷罗夫加速梯度(Nesterov Accelerated Gradient，NAG)、自适应梯度(adaptive gradient，AdaGrad)、自适应学习率调整(adaptive learningrate，Adadelta)、自适应矩估计(adaptive moment estimation，Adam)、均方根传播(rootmean squre propogation，RMSprop)和涅斯捷罗夫加速自适应矩估计(Nesterov-accelerated adaptive moment estimation，Nadam)等。
示例性的，基于自适应矩估计的优化算法对初始深度估计模型进行优化，共训练预设数量的轮次(例如100轮次)，将第一轮次的学习率设置为预设学习率(例如0.001)，每一轮次更新完成后，学习率乘以预设比例(例如90％)，作为下一轮次的学习率。同时，观察验证集的损失值的变化，当损失值连续目标数量(例如5)个轮次没有下降时，停止训练，将损失值最低的深度估计模型作为目标深度估计模型，提高模型鲁棒性。
S250、基于深度图像和对象区域，确定目标对象对应的参考深度值。
S260、在参考深度值大于预设深度值的情况下，生成用于警示输电线路存在外破隐患的告警信息。
图3是根据本发明实施例提供的一种具体的输电线路的风险提示装置的结构示意图，如图3所示，该风险提示装置包括：
摄像头20，搭载于输电线路21的输电杆塔上，用于获取针对输电线路21拍摄的视频数据23，该视频数据23包括周围环境图像24。
目标检测模型25，用于确定周围环境图像24中的第一目标对象22、第二目标对象32和第三目标对象33在周围环境图像24中的第一对象区域27、第二对象区域35和第三对象区域34，输出对应的第一区域图像29、第二区域图像37和第三区域图像36。
深度估计模型26，用于确定周围环境图像24对应的深度图像28。
具体的，摄像头20搭载于输电线路21的输电杆塔上，通过摄像头20采集针对输电线路21拍摄的视频数据23，得到周围环境图像24，周围环境图像24包括第一目标对象22、第二目标对象32和第三目标对象33；将周围环境图像24输入目标检测模型25，进行图像缩放，得到周围环境小图像70；基于周围环境小图像70进行目标检测，得到第一目标对象22在周围环境小图像70中对应的第一对象区域27、第二目标对象32在周围环境小图像70中对应的第二对象区域35和第三目标对象33在周围环境小图像70中对应的第三对象区域34，输出第一对象区域27对应的第一区域图像29、第二对象区域35对应的第二区域图像37和第三对象区域34对应的第三区域图像36；深度估计模型26基于周围环境图像24进行深度转换，得到深度图像28；基于第一区域图像29在深度图像28中确定相同位置的第一深度图像30，得到第一深度图像30中所有像素的深度值的平均值，作为第一参考深度值；基于第二区域图像37在深度图像28中确定相同位置的第二深度图像38，得到第二深度图像38中所有像素的深度值的平均值，作为第二参考深度值；基于第三区域图像36在深度图像28中确定相同位置的第三深度图像39；得到第三深度图像39中所有像素的深度值的平均值，作为第三参考深度值；最后，若任一目标对象对应的参考深度值大于预设深度值，生成告警信息31。
图4是根据本发明实施例提供的一种深度图像确定装置示意图，如图4所示，该深度图像确定装置包括：Transformer编码器40、CNN解码器50和矩阵变换模块60。其中，Transformer编码器40包括第一归一化模块44、多头注意力模块43、第一叠加组件99、第二归一化模块42、多层感知器模块41和第二叠加组件55。其中，多头注意力模块43的数量为第一设定数量(例如12)层，每个多头注意力模块包括第二设定数量(例如12)的多头注意力子层，多层感知器模块的放大倍数设置为预设倍数(例如4)。叠加组件包括残差连接层，用于将输入和输出相加，可以解决梯度消失的问题。归一化模块用于将每一层神经元的输入的均值方差相同，可以加快收敛。
首先，对RGB图像格式的周围环境图像24进行图像缩放处理，得到尺寸为448×448×3的图像45；将该图像45裁剪成784个长宽均为16的正方形图像块48；将所有图像块48输入线性投影模块47，针对每个大小为16×16的图像块48，采用flatten()函数将图像块48投影至一维向量，每个图像块的特征向量长度为768，得到尺寸为784×768的初始二维特征图；将该初始二维特征图输入位置信息特征嵌入模块46，向尺寸为784×768的初始二维特征图的起始位置拼接一个尺寸为1×768的可学习向量，该向量包括图像块48之间的位置信息特征，得到尺寸为785×768目标二维特征图。
然后，将尺寸为785×768目标二维特征图输入Transformer编码器40，进行特征编码，通过多头注意力模块43和多层感知器模块41提取鲁棒性更高的特征，最终输出大小为785×768的第一编码特征图。具体的，Transformer编码器接受输入并将其送入第一归一化模块44，第一叠加组件99将多头自注意力模块43的输出与Transformer编码器40的输入做残差连接，将结果送入第二归一化模块42，第二叠加组件55将多层感知器模块41的输出与第二归一化模块42的输入做残差连接，得到785×768的第一编码特征图并将其送入矩阵变换模块60。矩阵变换模块60用于删除第一编码特征图中位于起始位置的可学习向量对应的位置信息特征，得到大小为784×768的第二编码特征图，并通过reshape()函数将第二编码特征图转换为张量，得到尺寸为28×28×768的第一目标张量并将其送入CNN解码器50。
最后，CNN解码器50包括第一卷积层51、第二卷积层52和目标深度估计模型26。具体的，将第一目标张量送入3×3的第一卷积层51和3×3的第二卷积层52，还设置了两个卷积层滤波器，其数量分别为512和256，将第一目标张量的特征通道从768减少至256，得到28×28×256(即W×H×C×r2＝28×28×1×256)的第二目标张量53；目标深度估计模型26用于将第二目标张量53以行为单位，基于公式(1)，将第二目标张量53上的特征点的像素值按顺序排列至深度图像的对应位置处，得到448×448×1(即(W×r)×(H×r)×C)深度图像54。
本实施例的技术方案，基于目标深度估计模型，建立了图像像素与深度值之间的映射关系，对目标二维特征图的像素进行重排列，得到与周围环境对应的深度图像，避免多次的上采样和卷积处理，提高了目标深度估计模型的计算效率，进一步加快了输电线路周边大型机械风险提示的速度。
图5是根据本发明实施例提供的一种输电线路的风险提示装置的结构框图，本实施例可适用于基于深度图像进行输电线路周边风险提示的场景，该装置可以采用硬件和/或软件的形式实现，集成于具有应用开发功能的电子设备的处理器中。
如图5所示，该输电线路的风险提示装置包括：环境图像获取模块301、对象区域确定模块302、参考深度值确定模块303和告警提示模块304。其中，环境图像获取模块301，用于基于输电线路中的输电杆塔上搭载的拍摄装置获取输电线路的周围环境图像；对象区域确定模块302，用于在检测到周围环境图像包括目标对象的情况下，确定目标对象在周围环境图像中对应的对象区域；参考深度值确定模块303，用于确定周围环境图像对应的深度图像，基于深度图像和对象区域，确定目标对象对应的参考深度值；告警提示模块304，用于在参考深度值大于预设深度值的情况下，生成用于警示输电线路存在外破隐患的告警信息。
可选的，对象区域确定模块302包括目标检测模型识别单元，该模型检测单元具体用于：通过预训练的目标检测模型识别周围环境图像中的目标对象，得到目标对象在周围环境图像中对应的对象区域，其中，目标检测模型包括YOLOX模型。
可选的，参考深度值确定模块303包括深度模型预测单元，该深度模型预测单元具体用于：
确定周围环境图像对应的目标二维特征图；
基于目标二维特征图和预先训练的目标深度估计模型，确定周围环境图像对应的深度图像，其中，深度估计模型包括Transformer编码器和CNN解码器。
可选的，深度模型预测单元包括二维特征图确定子单元，该二维特征图确定子单元具体用于：
对周围环境图像进行图像缩放处理和图像裁剪处理，得到预设数量个图像块；
分别将图像块基于预设展平函数进行线性投影，得到周围环境图像对应的初始二维特征图；
向初始二维特征图拼接可学习向量，得到周围环境图像对应的目标二维特征图，其中，可学习向量用于表征图像块之间的位置信息特征。
可选的，深度模型预测单元还包括深度估计模型预测子单元，该深度估计模型预测子单元具体用于：
将目标二维特征图输入Transformer编码器中，得到第一编码特征图，其中，Transformer编码器包括多头注意力模块和多层感知器模块；
删除第一编码特征图中包含的位置信息特征，得到第二编码特征图，并对第二编码特征图进行张量转换，得到第一目标张量；
将第一目标张量输入CNN解码器中，得到与周围环境图像对应的深度图像。
可选的，该深度估计模型预测子单元还用于：将第一目标张量输入CNN解码器中，得到与所述周围环境图像对应的深度图像。
可选的，该深度估计模型预测子单元还具体用于：将第一目标张量输入所述CNN解码器的卷积层，得到预设尺寸的第二目标张量；
基于所述深度转换模块对所述第二目标张量进行像素重排列，得到所述周围环境图像对应的深度图像。
可选的，深度模型预测单元还包括模型训练子单元，该模型训练子单元具体用于：
将训练集中的二维样本特征图输入初始深度估计模型，得到二维样本特征图对应的预测深度图像；
基于与二维样本特征图对应的预测深度图像和标签深度图像，通过公式(2)的损失函数计算初始深度估计模型的损失值；
根据损失值调整初始深度估计模型的模型参数，更新初始深度模型，以得到目标深度估计模型。
可选的，参考深度值确定模块303还包括参考深度值确定单元，该参考深度值确定单元具体用于：
根据对象区域，提取深度图像中与对象区域位于同一位置的深度区域中每个像素点对应的像素深度值；
确定深度区域中每个像素点对应的像素深度值的平均值，将平均值作为目标对象对应的参考深度值。
本发明实施例的技术方案，基于输电线路中的输电杆塔上搭载的拍摄装置获取输电线路的周围环境图像；由于周围环境图像是针对输电线路的周围环境拍摄的，能够捕获更多的针对输电线路的信息。在检测到周围环境图像包括目标对象的情况下，确定所述目标对象在周围环境图像中对应的对象区域，通过周围环境图像可简单、快速又有效地确定出目标对象在周围环境图像中对应的区域。确定周围环境图像对应的深度图像，基于深度图像和对象区域，确定目标对象对应的参考深度值，可以基于深度图像的像素值确定出目标对象在周围环境图像的相对距离。在参考深度值大于预设深度值的情况下，生成用于警示输电线路存在外破隐患的告警信息。解决了现有的输电线路的风险提示测距范围较小的问题，扩大了输电线路周边大型机械风险提示的距离范围，为输电线路的安全提供保障。
本发明实施例所提供的输电线路的风险提示装置可执行本发明任一实施例所提供的输电线路的风险提示方法，具备执行方法相应的功能模块和有益效果。
图6是根据本发明实施例提供的一种电子设备的结构框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图6所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如输电线路的风险提示方法。
在一些实施例中，输电线路的风险提示方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的输电线路的风险提示方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行输电线路的风险提示方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (7)

1.一种输电线路的风险提示方法，其特征在于，包括：
基于输电线路中的输电杆塔上搭载的拍摄装置获取所述输电线路的周围环境图像；
在检测到所述周围环境图像包括目标对象的情况下，确定所述目标对象在所述周围环境图像中对应的对象区域；
确定所述周围环境图像对应的深度图像，基于所述深度图像和所述对象区域，确定所述目标对象对应的参考深度值；
在所述参考深度值大于预设深度值的情况下，生成用于警示所述输电线路存在外破隐患的告警信息；
其中，所述确定所述周围环境图像对应的深度图像，包括：
确定所述周围环境图像对应的目标二维特征图；
基于所述目标二维特征图和预先训练的目标深度估计模型，确定所述周围环境图像对应的深度图像，其中，所述深度估计模型包括Transformer编码器和CNN解码器；
其中，所述确定所述周围环境图像对应的目标二维特征图，包括：
对所述周围环境图像进行图像缩放处理和图像裁剪处理，得到预设数量个图像块；
分别将所述图像块基于预设展平函数进行线性投影，得到所述周围环境图像对应的初始二维特征图；
向所述初始二维特征图拼接可学习向量，得到所述周围环境图像对应的目标二维特征图，其中，所述可学习向量用于表征所述图像块之间的位置信息特征；
其中，所述基于所述目标二维特征图和预先训练的目标深度估计模型，确定所述周围环境图像对应的深度图像，包括：
将所述目标二维特征图输入所述Transformer编码器中，得到第一编码特征图，其中，所述Transformer编码器包括多头注意力模块和多层感知器模块；
删除所述第一编码特征图中包含的位置信息特征，得到第二编码特征图，并对所述第二编码特征图进行张量转换，得到第一目标张量；
将所述第一目标张量输入所述CNN解码器中，得到与所述周围环境图像对应的深度图像。
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标对象在所述周围环境图像中对应的对象区域，包括：
通过预训练的目标检测模型识别所述周围环境图像中的目标对象，得到所述目标对象在所述周围环境图像中对应的对象区域，其中，所述目标检测模型包括YOLOX模型。
3.根据权利要求1所述的方法，其特征在于，所述CNN解码器包括多个卷积层和深度转换模块；
所述将所述第一目标张量输入所述CNN解码器中，得到与所述周围环境图像对应的深度图像，包括：
将所述第一目标张量输入所述CNN解码器的卷积层，得到预设尺寸的第二目标张量；
基于所述深度转换模块对所述第二目标张量进行像素重排列，得到所述周围环境图像对应的深度图像。
4.根据权利要求1所述的方法，其特征在于，所述目标深度估计模型的训练过程，包括：
将训练集中的二维样本特征图输入初始深度估计模型，得到所述二维样本特征图对应的预测深度图像；
基于与所述二维样本特征图对应的预测深度图像和标签深度图像，通过如下损失函数计算初始深度估计模型的损失值：
其中，Loss用于表示所述初始深度估计模型的损失值，Li用于表示第i个像素的线性误差值，N用于表示所述训练集中标签深度图像的面积，即所述标签深度图像中像素点的总个数，Yi用于表示所述标签深度图像上第i个像素点对应的训练像素深度值，表示所述初始深度估计模型得到的所述预测深度图像上第i个像素点对应的预测像素深度值，δ表示预设误差阈值；
根据所述损失值调整所述初始深度估计模型的模型参数，更新所述初始深度模型，以得到所述目标深度估计模型。
5.根据权利要求1所述的方法，其特征在于，所述基于所述深度图像和所述对象区域，确定所述目标对象对应的参考深度值，包括：
根据所述对象区域，提取所述深度图像中与所述对象区域位于同一位置的深度区域中每个像素点对应的像素深度值；
确定所述深度区域中每个像素点对应的像素深度值的平均值，将所述平均值作为所述目标对象对应的参考深度值。
6.一种输电线路的风险提示装置，其特征在于，包括：
环境图像获取模块，用于基于输电线路中的输电杆塔上搭载的拍摄装置获取所述输电线路的周围环境图像；
对象区域确定模块，用于在检测到所述周围环境图像包括目标对象的情况下，确定所述目标对象在所述周围环境图像中对应的对象区域；
参考深度值确定模块，用于确定所述周围环境图像对应的深度图像，基于所述深度图像和所述对象区域，确定所述目标对象对应的参考深度值；
告警提示模块，用于在所述参考深度值大于预设深度值的情况下，生成用于警示所述输电线路存在外破隐患的告警信息；
其中，所述参考深度值确定模块包括深度模型预测单元，所述深度模型预测单元具体用于：
确定所述周围环境图像对应的目标二维特征图；
基于所述目标二维特征图和预先训练的目标深度估计模型，确定所述周围环境图像对应的深度图像，其中，所述深度估计模型包括Transformer编码器和CNN解码器；
其中，所述深度模型预测单元包括二维特征图确定子单元，所述二维特征图确定子单元具体用于：
对所述周围环境图像进行图像缩放处理和图像裁剪处理，得到预设数量个图像块；
分别将所述图像块基于预设展平函数进行线性投影，得到所述周围环境图像对应的初始二维特征图；
向所述初始二维特征图拼接可学习向量，得到所述周围环境图像对应的目标二维特征图，其中，所述可学习向量用于表征所述图像块之间的位置信息特征；
所述深度模型预测单元还包括深度估计模型预测子单元，所述深度估计模型预测子单元具体用于：
将所述目标二维特征图输入所述Transformer编码器中，得到第一编码特征图，其中，所述Transformer编码器包括多头注意力模块和多层感知器模块；
删除所述第一编码特征图中包含的位置信息特征，得到第二编码特征图，并对所述第二编码特征图进行张量转换，得到第一目标张量；
将所述第一目标张量输入所述CNN解码器中，得到与所述周围环境图像对应的深度图像。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-5中任一项所述的输电线路的风险提示方法。
CN202310953802.3A 2023-07-31 2023-07-31 一种输电线路的风险提示方法、装置和存储介质 Active CN117011772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310953802.3A CN117011772B (zh) 2023-07-31 2023-07-31 一种输电线路的风险提示方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310953802.3A CN117011772B (zh) 2023-07-31 2023-07-31 一种输电线路的风险提示方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN117011772A CN117011772A (zh) 2023-11-07
CN117011772B true CN117011772B (zh) 2024-04-30

Family

ID=88570428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310953802.3A Active CN117011772B (zh) 2023-07-31 2023-07-31 一种输电线路的风险提示方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN117011772B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475365A (zh) * 2023-12-26 2024-01-30 国网天津市电力公司高压分公司 一种输电通道风险识别方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN115346171A (zh) * 2022-08-15 2022-11-15 广东电网有限责任公司 一种输电线路监控方法、装置、设备及存储介质
CN115547003A (zh) * 2022-11-24 2022-12-30 北京数字绿土科技股份有限公司 一种输电线路的防外破报警方法和系统
CN115588038A (zh) * 2022-10-19 2023-01-10 沈阳工业大学 一种多视角深度估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN115346171A (zh) * 2022-08-15 2022-11-15 广东电网有限责任公司 一种输电线路监控方法、装置、设备及存储介质
CN115588038A (zh) * 2022-10-19 2023-01-10 沈阳工业大学 一种多视角深度估计方法
CN115547003A (zh) * 2022-11-24 2022-12-30 北京数字绿土科技股份有限公司 一种输电线路的防外破报警方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张骥 ; 余娟 ; 汪金礼 ; 谭守标 ; .基于深度学习的输电线路外破图像识别技术.计算机系统应用.2018,(08),全文. *

Also Published As

Publication number Publication date
CN117011772A (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN113936256A (zh) 一种图像目标检测方法、装置、设备以及存储介质
CN113674421B (zh) 3d目标检测方法、模型训练方法、相关装置及电子设备
CN117011772B (zh) 一种输电线路的风险提示方法、装置和存储介质
CN113971751A (zh) 训练特征提取模型、检测相似图像的方法和装置
CN113420682B (zh) 车路协同中目标检测方法、装置和路侧设备
CN113177968A (zh) 目标跟踪方法、装置、电子设备及存储介质
US20220172376A1 (en) Target Tracking Method and Device, and Electronic Apparatus
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN113591566A (zh) 图像识别模型的训练方法、装置、电子设备和存储介质
CN113870334A (zh) 深度检测方法、装置、设备以及存储介质
CN116188893A (zh) 基于bev的图像检测模型训练及目标检测方法和装置
CN113326773A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN115496895A (zh) 目标识别方法及其模型、电子设备、存储介质
CN114120172A (zh) 基于视频的目标检测方法、装置、电子设备及存储介质
CN117011280A (zh) 基于点云分割的3d打印混凝土墙质量监测方法及系统
CN116758280A (zh) 目标检测方法、装置、设备以及存储介质
CN116611491A (zh) 目标检测模型的训练方法、装置、电子设备和存储介质
CN114972465A (zh) 图像目标深度的检测方法、装置、电子设备和存储介质
CN115359055B (zh) 运输机皮带边缘检测方法、装置、电子设备和存储介质
CN115620496B (zh) 应用于输电线路的故障报警方法、装置、设备和介质
CN115908982B (zh) 图像处理方法、模型训练方法、装置、设备和存储介质
CN116721339B (zh) 一种输电线路的检测方法、装置、设备和存储介质
CN117710459A (zh) 三维信息的确定方法、装置及计算机程序产品
CN117036355B (zh) 编码器和模型的训练方法、故障检测方法及相关设备
KR20240047799A (ko) 저사양 디바이스를 위한 얼굴 감정 인식 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant