CN112487916B - 一种电力设备双目三维立体识别系统 - Google Patents

一种电力设备双目三维立体识别系统 Download PDF

Info

Publication number
CN112487916B
CN112487916B CN202011336959.4A CN202011336959A CN112487916B CN 112487916 B CN112487916 B CN 112487916B CN 202011336959 A CN202011336959 A CN 202011336959A CN 112487916 B CN112487916 B CN 112487916B
Authority
CN
China
Prior art keywords
depth
unit
power equipment
target
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011336959.4A
Other languages
English (en)
Other versions
CN112487916A (zh
Inventor
崔昊杨
滕研策
牛宇童
秦伦明
朱武
江友华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Power University
Original Assignee
Shanghai Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Power University filed Critical Shanghai Electric Power University
Priority to CN202011336959.4A priority Critical patent/CN112487916B/zh
Publication of CN112487916A publication Critical patent/CN112487916A/zh
Application granted granted Critical
Publication of CN112487916B publication Critical patent/CN112487916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种电力设备双目三维立体识别系统，图像采集融合模块、识别定位模型训练模块和目标定位修正模块；图像采集融合模块、识别定位模型训练模块和目标定位修正模块依次相连，最终输出电力设备类型及电力设备边界框，完成电力设备的识别。与现有技术相比，本发明具有识别准确率高、抗遮挡能力强、训练样本利用率高等优点。

Description

一种电力设备双目三维立体识别系统
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及一种电力设备双目三维立体识别系统。
背景技术
突破二维图像限制，将空间信息提升到三维，是电力领域长久追求的目标。通过电力3d GIS或数字孪生技术，在数字空间重现物理空间的电气设备、线路走廊、厂站信息,不仅可以提升运维精细化程度，完成设备完整性检测、故障可视化定位等目标，也可为线路规划、智能巡检、新能源分布提出三维立体空间参考。不仅如此，电力三维全景空间的获取，还能为线缆管廊、层叠设备集群等复杂场景提供多空间尺度切片，从而对虚拟重构、仿真培训、工程监理提供重要支撑。
在电力三维场景需求中，比较有代表性的是以巡检机器人和无人机为应用的智能巡检。常规巡检主要采用采用目标单一点特征及边缘特征的电力设备识别定位方法。该方法识别目标类型单一且易受环境因素影响，不适合复杂场景、多目标、细粒度的电力设备识别定位。另一方面，目前的图像巡检按照采集、处理、识别的分阶段检测流程，造成电力设备故障点难以及时排除。因此，由于深度维度信息的缺失，巡检机器人及无人机存在无法识别电力设备或错误定位等问题，不仅极大地影响了电网设备状态的评估，还降低了智能巡检设备自主导航的能力，由深度维度丢失造成了误操作、撞击和失控风险。提高机器人及无人机等远程自主巡检工具的识别定位准确率，有必要加入深度维度信息，提升智能化运检效率和准确率。
目前，深度卷积神经网络目标检测算法发展迅速，电力设备识别定位准确率大幅提升。但电力设备所处环境较为复杂，如电力设备群相互遮挡、设备构件群空间难以区分等，这些问题的存在，导致故障误检和漏检的问题仍大量存在，使得电网设备识别的准确率大大降低，全方位健康评估仍存在很大隐患。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种识别准确率高、抗遮挡能力强的电力设备双目三维立体识别系统。
本发明的目的可以通过以下技术方案来实现：
一种电力设备双目三维立体识别系统，包括：
图像采集融合模块，用于获取双目RGB图像、当前场景的稠密深度图像以及三维的三通道融合图像；
识别定位模型训练模块，用于负责输入图像的标注以及训练目标分类模型；
目标定位修正模块，用于针对遮挡电力设备执行定位修正；
所述的图像采集融合模块、识别定位模型训练模块和目标定位修正模块依次相连，最终输出电力设备类型及电力设备边界框，完成电力设备的识别。
优选地，所述的图像采集融合模块包括：
双目图像采集单元，用于获取巡检场景的双目RGB图像以及当前场景的稠密深度图像；
深度图像融合单元，用于利用深度图像将其压缩生成平面二维加入深度维内容格式的三通道融合图像；
所述的双目图像采集单元与深度图像融合单元相连；所述的深度图像融合单元与识别定位模型训练模块相连。
更加优选地，所述的双目图像采集单元具体为：
获取巡检场景的双目RGB图像，然后利用既有的立体匹配算法及深度积分图像生成当前场景的稠密深度图像。
更加优选地，所述的深度图像融合单元具体为：
步骤101：绘制当前左通道RGB图像的红、绿、蓝三通道像素直方图曲线；
步骤102：获取各个曲线峰值对应的横坐标记为Xr、Xg和Xb，然后将对三个横坐标按照升序排列记为Xmin、X和Xmax，最后按照下列公式获取三点距离的比值：
Figure BDA0002797527450000021
步骤103：若比值处于0.4到0.6之间，表明三通道颜色未出现混叠，则将预设红色通道替换为深度图像生成平面二维加入深度维内容格式的三通道融合图像；若比值不在上述区间则将X对应的颜色通道替换成深度图像，进而压缩生成平面二维加入深度维内容格式的三通道融合图像。
更加优选地，所述的识别定位模型训练模块包括：
电力设备数据集标注单元，存储有进行过类别标注的电力巡检数据集；
YOLO V3模型训练单元，用于获取电力设备细粒度目标检测模型；
所述的电力设备数据集标注单元的一端与输入图像采集融合模块相连，另一端与YOLO V3模型训练单元相连；
所述的YOLO V3模型训练单元的另一端与目标定位修正模块相连。
更加优选地，所述的YOLO V3模型训练单元中细粒度目标检测模型的获取方法为：
利用DarkNet-53特征提取网络对训练数据集进行特征提取，然后通过YOLO V3分类网络对目标进行分类训练，生成电力设备细粒度目标检测模型。
更加优选地，所述的目标定位修正模块包括：
深度计算单元，用于获取初步目标定位边界框的平均深度；
遮挡状态评估单元，用于利用各个目标的平均深度进行遮挡状态评估；
置信得分修正单元，用于对遮挡状态的电力设备置信得分进行修正；
所述的深度计算单元、遮挡状态评估单元和置信得分修正单元依次相连；所述的深度计算单元的输入端与识别定位模型训练模块相连。
更加优选地，所述的深度计算单元中目标定位边界框平均深度的计算方法为：
Figure BDA0002797527450000031
其中，H为目标边界框的高，W为目标边界框的宽，Dm,n为目标边界框中第m列第n行的深度值。
更加优选地，所述的遮挡状态评估单元具体为：
通过电力设备遮挡评估因子Nt对电力设备进行遮挡评估，遮挡评估因子Nt的计算方法为：
Figure BDA0002797527450000032
其中，DM为最优边界框的平均深度，Di为候选边界框的平均深度，ε为遮挡经验阈值；当Nt为0时表示电力设备未受遮挡，当Nt为1时表明当前设备处于遮挡状态。
更加优选地，所述的置信得分修正单元具体为：
目标置信得分修正策略采用：
Figure BDA0002797527450000041
其中，δD为深度修正因子，M为最优目标边界框，bi为候选目标边界框，IOU为M与bi的交并比，s为目标边界框的置信得分。
与现有技术相比，本发明具有以下有益效果：
一、识别准确率高：本发明中的电力设备双目三维立体识别系统在复杂电力场景中可以有效区分电力设备的遮挡状态，进而对遮挡的电力设备进行置信得分修正，改善了传统NMS算法的筛选策略，提高了电力设备的识别定位准确率。
二、抗遮挡能力强：本发明中的电力设备双目三维立体识别系统在未增加YOLO V3网络的卷积层数的情况下，保证了检测的实时性，同时融入了目标的深度信息，提高了电力设备识别定位算法的抗遮挡能力。
三、样本利用率高：本发明中的电力设备双目三维立体识别系统利用融合深度信息的图像作为输入图像，可以使相同的电力设备增加深度特征，提高了训练样本的利用率。
附图说明
图1为本发明中电力设备双目三维立体识别系统的流程示意图；
图2为本发明中图像采集及融合过程的流程示意图；
图3为本发明中基于YOLO V3网络的模型训练示意图；
图4为本发明中融合深度信息的DNMS算法定位修正示意图。
图中标号所示：
110、图像采集融合模块，111、双目图像采集单元，112、深度图像融合单元；
120、识别定位模型训练模块，121、电力设备数据集标注单元，122、YOLO V3模型训练单元；
130、目标定位修正模块，131、深度计算单元，132、遮挡状态评估单元，133、置信得分修正单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
一种电力设备双目三维立体识别系统，其流程如图1所示，包括：
图像采集融合模块110；
识别定位模型训练模块120，用于负责输入图像的标注以及训练目标分类模型；
目标定位修正模块130，用于针对遮挡电力设备执行定位修正；
图像采集融合模块110、识别定位模型训练模块120和目标定位修正模块130依次相连，最终输出电力设备类型以及电力设备边界框，完成电力设备的识别。
下面对各个模块进行详细描述：
一、图像采集融合模块110
包括：
双目图像采集单元111，用于获取巡检场景的双目RGB图像，并利用立体匹配算法及深度积分图像生成当前场景的稠密深度图像；
深度图像融合单元112，用于利用深度图像将其压缩生成平面二维加入深度维内容格式的三通道融合图像；
双目图像采集单元111与深度图像融合单元112相连，深度图像融合单元112与识别定位模型训练模块120相连。
如图2所示，深度图像融合单元112基于接收到的双目左通道RGB图像和稠密深度图像进行深度图像融合。其融合步骤为：
步骤101：绘制当前左通道RGB图像的红、绿、蓝三通道像素直方图曲线；
步骤102：获取各个曲线峰值对应的横坐标记为Xr、Xg和Xb，然后将对三个横坐标按照升序排列记为Xmin、X和Xmax，最后按照下列公式获取三点距离的比值：
Figure BDA0002797527450000051
步骤103：若比值处于0.4到0.6之间，表明三通道颜色未出现混叠，则将预设红色通道替换为深度图像生成平面二维加入深度维内容格式的三通道融合图像；若比值不在上述区间则将X对应的颜色通道替换成深度图像，进而压缩生成平面二维加入深度维内容格式的三通道融合图像。
二、识别定位模型训练模块120
包括：
电力设备数据集标注单元121，存储有进行过类别标注的电力巡检数据集；
YOLO V3模型训练单元122，利用DarkNet-53特征提取网络对训练数据集进行特征提取，然后通过YOLO V3分类网络对目标进行分类训练，生成电力设备细粒度目标检测模型；
电力设备数据集标注单元121的一端与输入图像采集融合模块110相连，另一端与YOLO V3模型训练单元122相连；YOLO V3模型训练单元122的另一端与目标定位修正模块130相连。
如图3所示，电力设备数据集标注单元121对平面二维加入深度维内容格式的融合图像进行类别标注，然后通过YOLO V3模型训练单元122训练生成电力设备细粒度识别定位模型。
三、目标定位修正模块130
包括：
深度计算单元131，用于获取初步目标定位边界框的平均深度；
遮挡状态评估单元132，用于利用各个目标的平均深度进行遮挡状态评估；
置信得分修正单元133，用于对遮挡状态的电力设备置信得分进行修正；
深度计算单元131、遮挡状态评估单元132和置信得分修正单元133依次相连，深度计算单元131的输入端与识别定位模型训练模块120相连。
识别定位模型训练模块120生成的电力设备细粒度识别定位模型会为目标电力设备生成一系列的候选定位。深度计算单元131会计算所有目标的平均深度，然后遮挡状态评估单元132按照类别排序，逐类判断目标间的遮挡状况。一旦发现目标处于遮挡状态，便会启动置信得分修正单元133对目标置信得分进行修正，调整该目标的筛选排序，最终选择出最优定位边界框。
如图4所示，目标定位修正模块130首先会对一系列候选定为边界框按照置信得分降序排列。其中置信得分最高的目标边界框为最优边界框M，其他一系列识别定位结果为候选边界框bi，然后深度计算单元131获取边界框的平均深度。
深度计算单元131中目标定位边界框平均深度的计算方法为：
Figure BDA0002797527450000071
其中，H为目标边界框的高，W为目标边界框的宽，Dm,n为目标边界框中第m列第n行的深度值。
遮挡状态评估单元132具体为：
通过电力设备遮挡评估因子Nt对电力设备进行遮挡评估：分别比较目标最优边界框M和候选目标边界框bi的平均深度，计算遮挡系数Nt，评估其遮挡状况。
遮挡评估因子Nt的计算方法为：
Figure BDA0002797527450000072
其中，DM为最优边界框的平均深度，Di为候选边界框的平均深度，ε为遮挡经验阈值；当Nt为0时表示电力设备未受遮挡，当Nt为1时表明当前设备处于遮挡状态。
置信得分修正单元133结合遮挡系数Nt并利用目标最优边界框M和候选目标边界框bi的平均深度进一步对候选目标边界框bi的置信得分进行修正，其融合深度信息的DNMS算法的筛选策略为：
Figure BDA0002797527450000073
其中，δD为深度修正因子，M为最优目标边界框，bi为候选目标边界框，IOU为M与bi的交并比，s为目标边界框的置信得分。
最后按照新的置信得分再进行降序排列，逐类对候选边界框进行筛选，直到候选边界框bi数目为零。
最终根据筛选出的边界框获得最终的电力设备标注框，完成对电力设备的识别。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种电力设备双目三维立体识别系统，其特征在于，所述的识别系统包括：
图像采集融合模块(110)，用于获取双目RGB图像、当前场景的稠密深度图像以及三维的三通道融合图像；
所述的图像采集融合模块(110)包括：
双目图像采集单元(111)，用于获取巡检场景的双目RGB图像以及当前场景的稠密深度图像；
深度图像融合单元(112)，具体为：
步骤101：绘制当前左通道RGB图像的红、绿、蓝三通道像素直方图曲线；
步骤102：获取各个曲线峰值对应的横坐标记为Xr、Xg和Xb，然后将对三个横坐标按照升序排列记为Xmin、X和Xmax，最后按照下列公式获取三点距离的比值：
Figure FDA0003673244320000011
步骤103：若比值处于0.4到0.6之间，表明三通道颜色未出现混叠，则将预设红色通道替换为深度图像生成平面二维加入深度维内容格式的三通道融合图像；若比值不在上述区间则将X对应的颜色通道替换成深度图像，进而压缩生成平面二维加入深度维内容格式的三通道融合图像；
所述的双目图像采集单元(111)与深度图像融合单元(112)相连；所述的深度图像融合单元(112)与识别定位模型训练模块(120)相连；
识别定位模型训练模块(120)，用于负责输入图像的标注以及训练目标分类模型；
所述的识别定位模型训练模块(120)包括：
电力设备数据集标注单元(121)，存储有进行过类别标注的电力巡检数据集；
YOLO V3模型训练单元(122)，用于获取电力设备细粒度目标检测模型；
所述的电力设备数据集标注单元(121)的一端与图像采集融合模块(110)相连，另一端与YOLO V3模型训练单元(122)相连；
所述的YOLO V3模型训练单元(122)的另一端与目标定位修正模块(130)相连；
目标定位修正模块(130)，用于针对遮挡电力设备执行定位修正；
所述的图像采集融合模块(110)、识别定位模型训练模块(120)和目标定位修正模块(130)依次相连，最终输出电力设备类型及电力设备边界框，完成电力设备的识别。
2.根据权利要求1所述的一种电力设备双目三维立体识别系统，其特征在于，所述的双目图像采集单元(111)具体为：
获取巡检场景的双目RGB图像，然后利用既有的立体匹配算法及深度积分图像生成当前场景的稠密深度图像。
3.根据权利要求1所述的一种电力设备双目三维立体识别系统，其特征在于，所述的YOLO V3模型训练单元(122)中细粒度目标检测模型的获取方法为：
利用DarkNet-53特征提取网络对训练数据集进行特征提取，然后通过YOLO V3分类网络对目标进行分类训练，生成电力设备细粒度目标检测模型。
4.根据权利要求1所述的一种电力设备双目三维立体识别系统，其特征在于，所述的目标定位修正模块(130)包括：
深度计算单元(131)，用于获取初步目标定位边界框的平均深度；
遮挡状态评估单元(132)，用于利用各个目标的平均深度进行遮挡状态评估；
置信得分修正单元(133)，用于对遮挡状态的电力设备置信得分进行修正；
所述的深度计算单元(131)、遮挡状态评估单元(132)和置信得分修正单元(133)依次相连；所述的深度计算单元(131)的输入端与识别定位模型训练模块(120)相连。
5.根据权利要求4所述的一种电力设备双目三维立体识别系统，其特征在于，所述的深度计算单元(131)中目标定位边界框平均深度的计算方法为：
Figure FDA0003673244320000021
其中，H为目标边界框的高，W为目标边界框的宽，Dm,n为目标边界框中第m列第n行的深度值。
6.根据权利要求5所述的一种电力设备双目三维立体识别系统，其特征在于，所述的遮挡状态评估单元(132)具体为：
通过电力设备遮挡评估因子Nt对电力设备进行遮挡评估，遮挡评估因子Nt的计算方法为：
Figure FDA0003673244320000031
其中，DM为最优边界框的平均深度，Di为候选边界框的平均深度，ε为遮挡经验阈值；当Nt为0时表示电力设备未受遮挡，当Nt为1时表明当前设备处于遮挡状态。
7.根据权利要求6所述的一种电力设备双目三维立体识别系统，其特征在于，所述的置信得分修正单元(133)具体为：
目标置信得分修正策略采用：
Figure FDA0003673244320000032
其中，δD为深度修正因子，M为最优目标边界框，bi为候选目标边界框，IOU为M与bi的交并比，s为目标边界框的置信得分。
CN202011336959.4A 2020-11-25 2020-11-25 一种电力设备双目三维立体识别系统 Active CN112487916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011336959.4A CN112487916B (zh) 2020-11-25 2020-11-25 一种电力设备双目三维立体识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011336959.4A CN112487916B (zh) 2020-11-25 2020-11-25 一种电力设备双目三维立体识别系统

Publications (2)

Publication Number Publication Date
CN112487916A CN112487916A (zh) 2021-03-12
CN112487916B true CN112487916B (zh) 2022-08-23

Family

ID=74934396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011336959.4A Active CN112487916B (zh) 2020-11-25 2020-11-25 一种电力设备双目三维立体识别系统

Country Status (1)

Country Link
CN (1) CN112487916B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN110296995A (zh) * 2019-06-27 2019-10-01 华东送变电工程有限公司 一种应用于电力电缆破损检测的图像采集装置
CN110765951A (zh) * 2019-10-24 2020-02-07 西安电子科技大学 基于边界框修正算法的遥感图像飞机目标检测方法
CN111146865A (zh) * 2019-12-25 2020-05-12 上海电力大学 一种电力设备运维状态智能监测系统
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法
CN111723691A (zh) * 2020-06-03 2020-09-29 北京的卢深视科技有限公司 一种三维人脸识别方法、装置、电子设备及存储介质
CN111797684A (zh) * 2020-05-25 2020-10-20 维森视觉丹阳有限公司 一种运动车辆双目视觉测距方法
CN111931751A (zh) * 2020-10-13 2020-11-13 深圳市瑞图生物技术有限公司 深度学习训练方法、目标物识别方法、系统和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444821B (zh) * 2020-03-24 2022-03-25 西北工业大学 一种城市道路标志自动识别方法
CN111797890A (zh) * 2020-05-18 2020-10-20 中国电力科学研究院有限公司 一种用于检测输电线路设备缺陷的方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955920A (zh) * 2014-04-14 2014-07-30 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN110296995A (zh) * 2019-06-27 2019-10-01 华东送变电工程有限公司 一种应用于电力电缆破损检测的图像采集装置
CN110765951A (zh) * 2019-10-24 2020-02-07 西安电子科技大学 基于边界框修正算法的遥感图像飞机目标检测方法
CN111146865A (zh) * 2019-12-25 2020-05-12 上海电力大学 一种电力设备运维状态智能监测系统
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法
CN111797684A (zh) * 2020-05-25 2020-10-20 维森视觉丹阳有限公司 一种运动车辆双目视觉测距方法
CN111723691A (zh) * 2020-06-03 2020-09-29 北京的卢深视科技有限公司 一种三维人脸识别方法、装置、电子设备及存储介质
CN111931751A (zh) * 2020-10-13 2020-11-13 深圳市瑞图生物技术有限公司 深度学习训练方法、目标物识别方法、系统和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Frustum pointnets for 3d object;QI C R;《IEEE》;20181231;论文全文 *
稠密电力场景中的双目复空间立体定位与识别方法;崔昊杨;《电网技术》;20201020;论文全文 *

Also Published As

Publication number Publication date
CN112487916A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN112199993B (zh) 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN109829891B (zh) 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN114445706A (zh) 一种基于特征融合的输电线路目标检测与识别方法
CN108009551B (zh) 适用于电力作业机器人的电力刀闸分合位状态识别方法
CN108648169A (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
CN110619623B (zh) 一种变电设备接头发热的自动识别方法
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN111507975B (zh) 一种牵引变电所户外绝缘子异常检测方法
CN115661337A (zh) 一种基于双目视觉的变电站作业人员三维重建的方法
CN109886937A (zh) 基于超像素分割图像识别的绝缘子缺陷检测方法
CN112911221B (zh) 一种基于5g和vr视频的远程实景仓储监管系统
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN113538503A (zh) 一种基于红外图像的太阳能板缺陷检测方法
WO2022222036A1 (zh) 车位确定方法及装置
CN112487916B (zh) 一种电力设备双目三维立体识别系统
CN116895059A (zh) 一种多目透视图像的bev空间目标检测方法及装置
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN116051539A (zh) 一种变电设备发热故障的诊断方法
CN111429411B (zh) 一种碳纤维复合芯导线的x射线缺陷图像样本生成方法
CN114693951A (zh) 一种基于全局上下文信息探索的rgb-d显著性目标检测方法
CN112132835A (zh) 基于SeFa和人工智能的光伏轨道相机果冻效应分析方法
CN117496218B (zh) 一种基于图像识别的烟感探测方法及系统
CN116862952B (zh) 一种用于相似背景条件下的变电站作业人员视频追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant