CN116416702A - 一种基于增强现实的无人机电力设备巡检系统 - Google Patents

一种基于增强现实的无人机电力设备巡检系统 Download PDF

Info

Publication number
CN116416702A
CN116416702A CN202310399950.5A CN202310399950A CN116416702A CN 116416702 A CN116416702 A CN 116416702A CN 202310399950 A CN202310399950 A CN 202310399950A CN 116416702 A CN116416702 A CN 116416702A
Authority
CN
China
Prior art keywords
information
picture
unit
filling
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310399950.5A
Other languages
English (en)
Inventor
曹世鹏
巨思旸
祁伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongxin Hanchuang Xi'an Technology Co ltd
Original Assignee
Zhongxin Hanchuang Xi'an Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongxin Hanchuang Xi'an Technology Co ltd filed Critical Zhongxin Hanchuang Xi'an Technology Co ltd
Priority to CN202310399950.5A priority Critical patent/CN116416702A/zh
Publication of CN116416702A publication Critical patent/CN116416702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于增强现实的无人机电力设备巡检系统，包括巡检模块、控制模块、增强现实模块和分析模块，所述巡检模块通过无人机对电力设备进行移动拍摄，所述控制模块用于对巡检模块的移动和拍摄进行控制，所述增强现实模块基于拍摄的现实图像添加虚拟信息，呈现虚实结合的画面信息，所述分析模块基于虚拟信息对拍摄画面进行分析处理。本系统能够边巡检边分析，并以增强现实的方式直观的表现出电力设备的异常状态，尤其是倾斜、扭曲等不易察觉的现象，更好的对电力设备进行维护。

Description

一种基于增强现实的无人机电力设备巡检系统
技术领域
本发明涉及图像或视频识别理解领域，具体涉及一种基于增强现实的无人机电力设备巡检系统。
背景技术
传统的电力设备巡检方法一般采用人工或机器人的方式进行，这些方法存在着诸多问题，例如人力成本高、巡检效率低、巡检准确性不足等，而利用无人机和增强现实技术进行电力设备巡检，可以快速地对电力设备进行拍摄和信息采集，而增强现实技术可以将电力设备的相关信息以虚拟的方式呈现并与拍摄图像进行对比，帮助操作人员更加准确地判断设备的状态和位置，并发现可能存在的缺陷和故障提高电力设备巡检的效率和精度。
背景技术的前述论述仅意图便于理解本发明。此论述并不认可或承认提及的材料中的任一种公共常识的一部分。
现在已经开发出了很多无人机巡检系统，经过我们大量的检索与参考，发现现有的巡检系统有如公开号为CN108037133B所公开的系统，这些系统一般通过采用数据流的模式，批量的获取输电线路图像数据；提取图像特征，并对所述图像特征进行整合分析，实现对典型部件的自动定位和识别，根据设定的缺陷识别规则对典型部件进行相应的缺陷分析，实现对常见缺陷的分析与识别；对分析识别结果进行汇总分析处理，依据部件类型、缺陷类型、缺陷等级进行分类，便于依据需求进行分类查询，并进行特定部件的局部放大展示。但该系统只是对拍摄的图像进行分析处理，只能检测出一些显而易见的异常状态，对于因长期暴露在室外被风吹雨打造成的倾斜、弯曲等异常状况不易发现。
发明内容
本发明的目的在于，针对所存在的不足，提出了一种基于增强现实的无人机电力设备巡检系统。
本发明采用如下技术方案：
一种基于增强现实的无人机电力设备巡检系统，包括巡检模块、控制模块、增强现实模块和分析模块；
所述巡检模块通过无人机对电力设备进行移动拍摄，所述控制模块用于对巡检模块的移动和拍摄进行控制，所述增强现实模块基于拍摄的现实图像添加虚拟信息，呈现虚实结合的画面信息，所述分析模块基于虚拟信息对拍摄画面进行分析处理；
所述增强现实模块包括第三显示单元、模型存储单元、校准单元、叠加单元和识别单元，所述模型存储单元用于保存电力设备的物理模型，所述识别单元用于识别拍摄图像中电力设备的类型，所述校准单元用于对物理模型在拍摄图像中的位置进行校准，所述叠加单元用于将物理模型的平面信息叠加至拍摄的图像中，所述第三显示单元用于显示叠加后的图像信息；
所述分析模块根据校准单元的校准信息获取填充画面和对比画面，所述填充画面从物理模型的平面信息中获取，所述对比画面从实际拍摄的图像中获取；
所述分析模块包括灰度处理单元和灰度对比单元，所述灰度处理单元用于提取填充画面和对比画面中的灰度信息，并对对比画面的灰度信息进行同化处理，所述灰度对比单元根据填充画面和对比画面的灰度信息处理得到差异区域，所述差异区域信息被发送至所述第三显示单元进行标注显示；
进一步的，所述校准单元包括虚拟拍摄处理器、空间处理器和计算处理器，所述虚拟拍摄处理器能够保存物理模型并在任意位置对物理模型进行拍摄得到填充信息，所述空间处理器用于将填充信息进行缩放、旋转、平移和裁剪处理，所述计算处理器用于计算填充信息与空位信息的吻合度，所述空位信息为所述识别单元识别的电力设备在拍摄图像中的位置信息；
进一步的，所述计算处理器根据下式计算出空位信息和填充信息的基础贴合度P1：
Figure BDA0004179086370000021
其中，nA表示A集合中像素点的数量，nB表示B集合中像素点的数量，nC表示C集合中像素点的数量，A集合表示处于空位信息但不处于填充信息的像素点，B集合表示既处于空位信息，又处于填充信息的像素点，C集合表示处于填充信息但不处于空位信息的的像素点；
所述计算处理器根据下式计算出空位信息与填充信息的吻合度P2：
Figure BDA0004179086370000031
其中，d0为基础偏差距离，dc(i)表示C集合第i个像素点与B集合中像素点的最短距离；
在所述空间处理器多次调整后，所述校准单元记录下最大的吻合度以及对应的填充位置；
进一步的，所述控制模块包括第一显示单元、第二显示单元和指令输出单元，所述第一显示单元根据无人机的定位信息显示无人机的航线地图，所述第二显示单元直接显示无人机拍摄的画面信息，工作人员基于航线地图信息和拍摄画面信息操作所述指令输出单元对无人机以及拍摄装备进行控制；
进一步的，所述灰度对比单元设有一个对比窗口，所述对比窗口用于获取填充画面和对比画面在同一区域内的灰度信息，所述对比窗口根据下式得到一个判断值Jg：
Figure BDA0004179086370000032
其中，R表示对比窗口内的像素坐标集合，nR为对比窗口内的像素点数量，λ(x，y)为逆离群系数，g1(x，y)表示填充画面上位于(x，y)位置上的像素点灰度值，g2′(x，y)表示对比画面上位于(x，y)位置上的像素点经同化后的灰度值；
当判断值大于差异阈值时，记录下对比窗口的区域信息，所述灰度对比单元不断改变对比窗口的位置，直至将整个填充画面和对比画面的灰度信息处理完毕，所述灰度对比单元将记录的区域信息发送给所述第三显示单元，所述第三显示单元将对应的区域进行标注显示。
本发明所取得的有益效果是：
本系统对每一个电力设备建立物理模型，将基于物理模型获得的平面信息与无人机巡检过程中拍摄的图像画面进行比较，通过校准后以增强现实的方式进行显示，能够直观地观察到倾斜和扭曲等不易察觉的异常状态，本系统还通过分析模块对电力设备上的画面信息进行对比，检查出磨损等常规的异常状态。
为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。
附图说明
图1为本发明整体结构框架示意图；
图2为本发明控制模块构成示意图；
图3为本发明增强现实模块构成示意图；
图4为本发明校准单元构成示意图；
图5为本发明分析模块构成示意图。
具体实施方式
以下是通过特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不悖离本发明的精神下进行各种修饰与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸的描绘，事先声明。以下的实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。
实施例一。
本实施例提供了一种基于增强现实的无人机电力设备巡检系统，结合图1，包括巡检模块、控制模块、增强现实模块和分析模块；
所述巡检模块通过无人机对电力设备进行移动拍摄，所述控制模块用于对巡检模块的移动和拍摄进行控制，所述增强现实模块基于拍摄的现实图像添加虚拟信息，呈现虚实结合的画面信息，所述分析模块基于虚拟信息对拍摄画面进行分析处理；
所述增强现实模块包括第三显示单元、模型存储单元、校准单元、叠加单元和识别单元，所述模型存储单元用于保存电力设备的物理模型，所述识别单元用于识别拍摄图像中电力设备的类型，所述校准单元用于对物理模型在拍摄图像中的位置进行校准，所述叠加单元用于将物理模型的平面信息叠加至拍摄的图像中，所述第三显示单元用于显示叠加后的图像信息；
所述分析模块根据校准单元的校准信息获取填充画面和对比画面，所述填充画面从物理模型的平面信息中获取，所述对比画面从实际拍摄的图像中获取；
所述分析模块包括灰度处理单元和灰度对比单元，所述灰度处理单元用于提取填充画面和对比画面中的灰度信息，并对对比画面的灰度信息进行同化处理，所述灰度对比单元根据填充画面和对比画面的灰度信息处理得到差异区域，所述差异区域信息被发送至所述第三显示单元进行标注显示；
所述校准单元包括虚拟拍摄处理器、空间处理器和计算处理器，所述虚拟拍摄处理器能够保存物理模型并在任意位置对物理模型进行拍摄得到填充信息，所述空间处理器用于将填充信息进行缩放、旋转、平移和裁剪处理，所述计算处理器用于计算填充信息与空位信息的吻合度，所述空位信息为所述识别单元识别的电力设备在拍摄图像中的位置信息；
所述计算处理器根据下式计算出空位信息和填充信息的基础贴合度P1：
Figure BDA0004179086370000051
其中，nA表示A集合中像素点的数量，nB表示B集合中像素点的数量，nC表示C集合中像素点的数量，A集合表示处于空位信息但不处于填充信息的像素点，B集合表示既处于空位信息，又处于填充信息的像素点，C集合表示处于填充信息但不处于空位信息的的像素点；
所述计算处理器根据下式计算出空位信息与填充信息的吻合度P2：
Figure BDA0004179086370000052
其中，d0为基础偏差距离，dc(i)表示C集合第i个像素点与B集合中像素点的最短距离；
在所述空间处理器多次调整后，所述校准单元记录下最大的吻合度以及对应的填充位置；
所述控制模块包括第一显示单元、第二显示单元和指令输出单元，所述第一显示单元根据无人机的定位信息显示无人机的航线地图，所述第二显示单元直接显示无人机拍摄的画面信息，工作人员基于航线地图信息和拍摄画面信息操作所述指令输出单元对无人机以及拍摄装备进行控制；
所述灰度对比单元设有一个对比窗口，所述对比窗口用于获取填充画面和对比画面在同一区域内的灰度信息，所述对比窗口根据下式得到一个判断值Jg：
Figure BDA0004179086370000061
其中，R表示对比窗口内的像素坐标集合，nR为对比窗口内的像素点数量，λ(x，y)为逆离群系数，g1(x，y)表示填充画面上位于(x，y)位置上的像素点灰度值，g2′(x，y)表示对比画面上位于(x，y)位置上的像素点经同化后的灰度值；
当判断值大于差异阈值时，记录下对比窗口的区域信息，所述灰度对比单元不断改变对比窗口的位置，直至将整个填充画面和对比画面的灰度信息处理完毕，所述灰度对比单元将记录的区域信息发送给所述第三显示单元，所述第三显示单元将对应的区域进行标注显示。
实施例二。
本实施例包含了实施例一中的全部内容，提供了一种基于增强现实的无人机电力设备巡检系统，包括巡检模块、控制模块、增强现实模块和分析模块；
所述巡检模块包括携带拍摄装备和通讯装备的无人机，无人机作为系统终端在飞行过程中对电力设备进行拍摄，拍摄的图像传回中央平台，所述控制模块用于控制无人机的航线以及拍摄装备的拍摄参数，所述增强现实模块基于拍摄的现实图像添加虚拟信息，用于呈现虚实结合的画面信息，所述分析模块对虚实结合的画面信息进行分析处理，所述控制模块、所述增强模块和所述分析模块设置于中央平台中；
所述无人机上还携带定位装置，定位信息被传回所述控制模块；
结合图2，所述控制模块包括第一显示单元、第二显示单元和指令输出单元，所述第一显示单元根据无人机的定位信息显示无人机的航线地图，所述第二显示单元直接显示无人机拍摄的画面信息，工作人员基于航线地图信息和拍摄画面信息操作所述指令输出单元对无人机以及拍摄装备进行控制；
结合图3，所述增强现实模块包括第三显示单元、模型存储单元、校准单元、叠加单元和识别单元，所述模型存储单元用于保存电力设备的物理模型，所述识别单元用于识别拍摄图像中电力设备的类型，所述校准单元用于对物理模型在拍摄图像中的位置进行校准，所述叠加单元用于将物理模型的平面信息叠加至拍摄的图像中，所述第三显示单元用于显示叠加后的图像信息；
所述模型存储单元中保存的物理模型能够真实地反映出电力设备的光学特征，对物理模型获取的平面信息与在对应位置及角度获取的图像能够保持一致；
所述增强现实模块对拍摄画面进行处理的过程包括如下步骤：
S1、所述识别单元接收图像信息，并判断图像中是否存在记录在案的电力设备，若是，则将识别出的电力设备类型发送给所述模型存储单元并进入步骤S2，若否，则停留在步骤S1持续接收图像信息；
S2、所述模型存储单元将对应的电力设备物理模型发送给所述校准单元，所述识别单元将识别的电力设备在图像中的位置信息发送给所述校准单元，所述位置信息称为空位信息；
S3、所述校准单元以不同的角度获取所述物理模型的平面信息，所述平面信息称为填充信息，所述校准单元获取不同的填充信息直至所述填充信息与所述空位信息的吻合度大于阈值；
S4、所述校准单元获取所述物理模型的填充画面，并将填充画面以及填充位置发送给所述叠加单元；
S5、所述叠加单元将填充画面进行区别化处理，并根据填充位置将处理后的填充画面数据叠加至原始的拍摄图像数据上，将叠加后的数据信息发送给所述第三显示单元；
S6、所述第三显示单元根据接收的数据信息显示图像；
结合图4，所述校准单元包括虚拟拍摄处理器、空间处理器和计算处理器；
所述虚拟拍摄处理器能够保存物理模型并在任意位置对物理模型进行拍摄得到平面信息，所述平面信息为所述物理模型在拍摄画面中占据的空间，而不仅仅指物理模型的边缘线；
所述空间处理器用于将填充信息进行缩放、旋转和平移处理使得填充信息更加贴合空位信息，同时截去填充信息中超出画布的部分信息，所述画布指的是空位信息所处图像对应的有效坐标区域；
所述计算处理器将空位信息和填充信息的像素点分为A、B、C三个集合，A集合表示处于空位信息但不处于填充信息的像素点，B集合表示既处于空位信息，又处于填充信息的像素点，C集合表示处于填充信息但不处于空位信息的的像素点，所述计算处理器根据下式计算出空位信息和填充信息的基础贴合度P1：
Figure BDA0004179086370000071
其中，nA表示A集合中像素点的数量，nB表示B集合中像素点的数量，nC表示C集合中像素点的数量；
所述计算处理器计算出C集合每个像素点与B集合中像素点的最短距离，记为dc(i)，i表示C集合中像素点的序号；
所述计算处理器根据下式计算出空位信息与填充信息的吻合度P2：
Figure BDA0004179086370000081
其中，d0为基础偏差距离；
在所述空间处理器多次调整后，所述校准单元记录下最大的吻合度以及对应的填充位置；
所述填充信息、填充位置以及填充画面的关系为：
填充信息为物理模型拍摄画面的像素点之间的相对位置关系信息，填充位置为物理模型拍摄画面的像素点固定在画布上的位置信息，填充画面为处于填充位置上B集合的像素点信息；
所述分析模块从所述校准单元中获取填充画面，所述分析模块根据所述空位信息B集合从无人机的拍摄画面中获取电力设备的像素点信息，成为对比画面；
结合图5，所述分析模块包括灰度处理单元和灰度对比单元，所述灰度处理单元用于提取填充画面和对比画面中的灰度信息，并对对比画面的灰度信息进行同化处理，所述灰度对比单元根据填充画面和对比画面的灰度信息处理得到差异区域；
所述灰度处理单元进行同化处理的过程包括如下步骤：
S21、分别计算出填充画面和对比画面的灰度均值，记为G1和G2；
S22、根据下式获得第一同化参数k和第二同化参数b：
Figure BDA0004179086370000082
其中，k为确定值，b为待求值；
S23、将对比画面中的每个像素点灰度根据下式进行处理：
g2′＝k·g2+b；
其中，g2为同化前的灰度值，g2’为同化后的灰度值；
S24、根据下式计算出同化指数Q：
Figure BDA0004179086370000091
其中，(x，y)表示一个像素点坐标，g1表示填充画面上像素点的灰度值；
函数Δ()的具体表达式为：
Figure BDA0004179086370000092
其中，g1(x，y)表示填充画面上位于(x，y)位置上的像素点灰度值，g2′(x，y)表示对比画面上位于(x，y)位置上的像素点经同化后的灰度值，g0为同化灰度阈值；
S25、当Q小于阈值时，对k值进行调整，回到步骤S22，当Q不小于阈值时，将填充画面上的灰度信息和对比画面上同化后的灰度信息发送给所述灰度对比单元；
所述灰度对比单元设有一个对比窗口，所述对比窗口用于获取填充画面和对比画面在同一区域内的灰度信息，所述对比窗口根据下式得到一个判断值Jg：
Figure BDA0004179086370000093
其中，R表示对比窗口内的像素坐标集合，nR为对比窗口内的像素点数量，λ(x，y)为逆离群系数；
所述逆离群系数根据下式计算得到：
Figure BDA0004179086370000094
其中，i，j为整数，用于辅助获取邻近的坐标位置；
当判断值大于差异阈值时，记录下对比窗口的区域信息；
所述灰度对比单元不断改变对比窗口的位置，直至将整个填充画面和对比画面的灰度信息处理完毕；
所述灰度对比单元将记录的区域信息发送给所述第三显示单元，所述第三显示单元将对应的区域进行标注显示。
以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的保护范围，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的保护范围内，此外，随着技术发展其中的元素可以更新的。

Claims (5)

1.一种基于增强现实的无人机电力设备巡检系统，其特征在于，包括巡检模块、控制模块、增强现实模块和分析模块；
所述巡检模块通过无人机对电力设备进行移动拍摄，所述控制模块用于对巡检模块的移动和拍摄进行控制，所述增强现实模块基于拍摄的现实图像添加虚拟信息，呈现虚实结合的画面信息，所述分析模块基于虚拟信息对拍摄画面进行分析处理；
所述增强现实模块包括第三显示单元、模型存储单元、校准单元、叠加单元和识别单元，所述模型存储单元用于保存电力设备的物理模型，所述识别单元用于识别拍摄图像中电力设备的类型，所述校准单元用于对物理模型在拍摄图像中的位置进行校准，所述叠加单元用于将物理模型的平面信息叠加至拍摄的图像中，所述第三显示单元用于显示叠加后的图像信息；
所述分析模块根据校准单元的校准信息获取填充画面和对比画面，所述填充画面从物理模型的平面信息中获取，所述对比画面从实际拍摄的图像中获取；
所述分析模块包括灰度处理单元和灰度对比单元，所述灰度处理单元用于提取填充画面和对比画面中的灰度信息，并对对比画面的灰度信息进行同化处理，所述灰度对比单元根据填充画面和对比画面的灰度信息处理得到差异区域，所述差异区域信息被发送至所述第三显示单元进行标注显示。
2.如权利要求1所述的一种基于增强现实的无人机电力设备巡检系统，其特征在于，所述校准单元包括虚拟拍摄处理器、空间处理器和计算处理器，所述虚拟拍摄处理器能够保存物理模型并在任意位置对物理模型进行拍摄得到填充信息，所述空间处理器用于将填充信息进行缩放、旋转、平移和裁剪处理，所述计算处理器用于计算填充信息与空位信息的吻合度，所述空位信息为所述识别单元识别的电力设备在拍摄图像中的位置信息。
3.如权利要求2所述的一种基于增强现实的无人机电力设备巡检系统，其特征在于，所述计算处理器根据下式计算出空位信息和填充信息的基础贴合度P1：
Figure FDA0004179086350000011
其中，nA表示A集合中像素点的数量，nB表示B集合中像素点的数量，nC表示C集合中像素点的数量，A集合表示处于空位信息但不处于填充信息的像素点，B集合表示既处于空位信息，又处于填充信息的像素点，C集合表示处于填充信息但不处于空位信息的的像素点；
所述计算处理器根据下式计算出空位信息与填充信息的吻合度P2：
Figure FDA0004179086350000021
其中，d0为基础偏差距离，dc(i)表示C集合第i个像素点与B集合中像素点的最短距离；
在所述空间处理器多次调整后，所述校准单元记录下最大的吻合度以及对应的填充位置。
4.如权利要求3所述的一种基于增强现实的无人机电力设备巡检系统，其特征在于，所述控制模块包括第一显示单元、第二显示单元和指令输出单元，所述第一显示单元根据无人机的定位信息显示无人机的航线地图，所述第二显示单元直接显示无人机拍摄的画面信息，工作人员基于航线地图信息和拍摄画面信息操作所述指令输出单元对无人机以及拍摄装备进行控制。
5.如权利要求4所述的一种基于增强现实的无人机电力设备巡检系统，其特征在于，所述灰度对比单元设有一个对比窗口，所述对比窗口用于获取填充画面和对比画面在同一区域内的灰度信息，所述对比窗口根据下式得到一个判断值Jg：
Figure FDA0004179086350000022
其中，R表示对比窗口内的像素坐标集合，nR为对比窗口内的像素点数量，
λ(x，y)为逆离群系数，g1(x，y)表示填充画面上位于(x，y)位置上的像素点灰度值，g2′(x，y)表示对比画面上位于(x，y)位置上的像素点经同化后的灰度值；
当判断值大于差异阈值时，记录下对比窗口的区域信息，所述灰度对比单元不断改变对比窗口的位置，直至将整个填充画面和对比画面的灰度信息处理完毕，所述灰度对比单元将记录的区域信息发送给所述第三显示单元，所述第三显示单元将对应的区域进行标注显示。
CN202310399950.5A 2023-04-14 2023-04-14 一种基于增强现实的无人机电力设备巡检系统 Pending CN116416702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310399950.5A CN116416702A (zh) 2023-04-14 2023-04-14 一种基于增强现实的无人机电力设备巡检系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310399950.5A CN116416702A (zh) 2023-04-14 2023-04-14 一种基于增强现实的无人机电力设备巡检系统

Publications (1)

Publication Number Publication Date
CN116416702A true CN116416702A (zh) 2023-07-11

Family

ID=87049332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310399950.5A Pending CN116416702A (zh) 2023-04-14 2023-04-14 一种基于增强现实的无人机电力设备巡检系统

Country Status (1)

Country Link
CN (1) CN116416702A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041501A (zh) * 2023-10-08 2023-11-10 众芯汉创(西安)科技有限公司 一种基于增强现实的无人机风电设备巡检方法
CN117312591A (zh) * 2023-10-17 2023-12-29 南京海汇装备科技有限公司 一种基于虚拟现实的图像数据存储管理系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041501A (zh) * 2023-10-08 2023-11-10 众芯汉创(西安)科技有限公司 一种基于增强现实的无人机风电设备巡检方法
CN117041501B (zh) * 2023-10-08 2024-01-23 众芯汉创(西安)科技有限公司 一种基于增强现实的无人机风电设备巡检方法
CN117312591A (zh) * 2023-10-17 2023-12-29 南京海汇装备科技有限公司 一种基于虚拟现实的图像数据存储管理系统及方法
CN117312591B (zh) * 2023-10-17 2024-03-12 南京海汇装备科技有限公司 一种基于虚拟现实的图像数据存储管理系统及方法

Similar Documents

Publication Publication Date Title
CN116416702A (zh) 一种基于增强现实的无人机电力设备巡检系统
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
EP3033875B1 (en) Image processing apparatus, image processing system, image processing method, and computer program
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
CN111401146A (zh) 一种无人机电力巡检方法、设备及存储介质
CN111241988B (zh) 一种结合定位信息的大场景内运动目标检测识别方法
CN111551167B (zh) 一种基于无人机拍摄和语义分割的全局导航辅助方法
CN113313047B (zh) 一种基于车道结构先验的车道线检测方法及系统
CN110099268B (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
CN110838145B (zh) 一种室内动态场景的视觉定位与建图方法
CN108181319A (zh) 一种基于立体视觉的积尘检测装置及方法
WO2021070813A1 (ja) 誤差推定装置、誤差推定方法、誤差推定プログラム
Jin et al. Perspective fields for single image camera calibration
CN114339185A (zh) 用于车辆相机图像的图像彩色化
CN114372919B (zh) 一种双挂汽车列车全景环视图像拼接方法及系统
CN113592839B (zh) 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统
CN114445467A (zh) 基于视觉的四旋翼无人机特定目标识别与追踪系统
CN113048951B (zh) 一种基于人工智能的测绘无人机抖动检测方法及系统
CN111383352B (zh) 一种针对三阶魔方的自动填色及抽象化方法
US20240070850A1 (en) Apparatus and method for image stitching based on artificial intelligence for inspecting wind turbines
JP4209637B2 (ja) 監視システムの距離補正装置および距離補正方法
CN111784745A (zh) 一种用于封样送检的样品追踪方法与系统
US11847784B2 (en) Image processing apparatus, head-mounted display, and method for acquiring space information
CN113011212B (zh) 图像识别方法、装置及车辆
CN114199250A (zh) 一种基于卷积神经网络的景象匹配导航方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination