CN111141997A - 基于紫外可见光图像融合的巡检机器人以及检测方法 - Google Patents

基于紫外可见光图像融合的巡检机器人以及检测方法 Download PDF

Info

Publication number
CN111141997A
CN111141997A CN201911174829.2A CN201911174829A CN111141997A CN 111141997 A CN111141997 A CN 111141997A CN 201911174829 A CN201911174829 A CN 201911174829A CN 111141997 A CN111141997 A CN 111141997A
Authority
CN
China
Prior art keywords
ultraviolet
image
visible light
inspection robot
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911174829.2A
Other languages
English (en)
Inventor
吴甜
刘海朋
刘洋
蒲廷燕
邢玉庆
张鹏和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruiying Zhituo Technology Development Co ltd
Original Assignee
Beijing Ruiying Zhituo Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruiying Zhituo Technology Development Co ltd filed Critical Beijing Ruiying Zhituo Technology Development Co ltd
Priority to CN201911174829.2A priority Critical patent/CN111141997A/zh
Publication of CN111141997A publication Critical patent/CN111141997A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/12—Testing dielectric strength or breakdown voltage ; Testing or monitoring effectiveness or level of insulation, e.g. of a cable or of an apparatus, for example using partial discharge measurements; Electrostatic testing
    • G01R31/1218—Testing dielectric strength or breakdown voltage ; Testing or monitoring effectiveness or level of insulation, e.g. of a cable or of an apparatus, for example using partial discharge measurements; Electrostatic testing using optical methods; using charged particle, e.g. electron, beams or X-rays
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector

Abstract

本发明提供一种基于紫外可见光图像融合的巡检机器人以及检测方法。所述巡检机器人包括巡检机器人本体，所述检机器人本体上设置有：紫外成像仪，用于拍摄并输出待检测设备的紫外图像；可见光成像仪，用于拍摄并输出待检测设备的可见光图像；图像融合单元，与所述紫外成像仪、所述可见光成像仪连接，用于将所述紫外图像与所述可见光图像融合生成融合图像；检测单元，用于根据所述融合图像对待检测设备进行故障检测；导航单元，用于实现巡检机器人的定位与导航。本发明能够对高压电力设备进行缺陷检测。

Description

基于紫外可见光图像融合的巡检机器人以及检测方法
技术领域
本发明涉及图像检测技术领域，尤其涉及一种基于紫外可见光图像融合的巡检机器人以及检测方法。
背景技术
高压设备投入运行后，由于表面粗糙不均、污秽、结构缺陷、导体接触不良等原因，会引起设备场强分布不均，造成电晕、电弧等放电现象。电晕、电弧放电时会伴随有电、光、热、声波、化合物等产生。因此需要对其进行检测。
发明内容
有鉴于此，本发明的目的在于提出一种基于紫外可见光图像融合的巡检机器人以及检测方法，以解决高压电力设备缺陷检测的问题。
基于上述目的，本发明提供了一种基于紫外可见光图像融合的巡检机器人，包括巡检机器人本体，所述检机器人本体上设置有：
紫外成像仪，用于拍摄并输出待检测设备的紫外图像；
可见光成像仪，用于拍摄并输出待检测设备的可见光图像；
图像融合单元，与所述紫外成像仪、所述可见光成像仪连接，用于将所述紫外图像与所述可见光图像融合生成融合图像；
检测单元，用于根据所述融合图像对待检测设备进行故障检测；
导航单元，用于实现巡检机器人的定位与导航。
可选的，所述导航单元通过最优路径规划算法和精确轨迹规划算法实现定位与导航。
可选的，所述导航单元包括：
激光雷达，用于对巡检环境的地形与环境进行扫描获取地形与环境的扫描数据；
惯性测量单元，用于测量巡检机器人本体的加速度与角速度；
编码器，用于将地形与环境的扫描数据以及巡检机器人本体的加速度与角速度进行融合，获得导航数据实现巡检机器人的定位与导航。
可选的，还包括紫外光日盲滤光镜，用于将输入信号处理成240nm～280nm波段紫外光信号，并将紫外光信号输入紫外成像仪。
可选的，所述紫外成像仪包括紫外镜头、紫外相机、紫外CCD。
可选的，所述可见光成像仪包括可见光镜头、可将光相机。
本发明还提供一种基于紫外可见光图像融合的检测方法，包括：
获取导航数据，构建待检测环境的三维实景环境；
基于导航信息确认巡检机器人的行驶路径并拍摄待检测设备的紫外图像以及可见光图像；
将所述紫外图像与所述可见光图像融合生成融合图像；
基于所述融合图像对待检测设备进行故障检测，获得故障信息。
可选的，所述获取导航数据包括：
获取巡检环境的地形与环境的扫描数据；
获取检机器人本体的加速度与角速度；
将地形与环境的扫描数据以及巡检机器人本体的加速度与角速度进行融合，获得导航数据。
可选的，所述紫外图像的获取方法包括：紫外通道光信号经透镜成像后由后端光电阴极成像，将可见光图像转变为电子图像，然后由三级MCP进行信号放大，然后经荧光屏将信号将电子图像转变为可见光图像，利用光纤锥将该图像耦合到后端CCD上。
可选的，还包括：根据所述故障信息生成报警信息，并将所述报警信息发送至用户端。
从上面所述可以看出，本发明提供的基于紫外可见光图像融合的巡检机器人以及检测方法，能够实现不停车精确测温与表计识别，可以通过云台边走边转、红外自动对焦、设备的形状匹配读取设备温度、近处表计不调焦识别、移动过程中拍摄高清图像等。
附图说明
图1为本发明实施例基于紫外可见光图像融合的巡检机器人的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本发明实施例的第一个方面提出一种基于紫外可见光图像融合的巡检机器人，包括巡检机器人本体，所述检机器人本体上设置有：
紫外成像仪11，用于拍摄并输出待检测设备的紫外图像；
可见光成像仪12，用于拍摄并输出待检测设备的可见光图像；
图像融合单元13，与所述紫外成像仪、所述可见光成像仪连接，用于将所述紫外图像与所述可见光图像融合生成融合图像；
检测单元14，用于根据所述融合图像对待检测设备进行故障检测；
导航单元，用于实现巡检机器人的定位与导航。
本发明提供的基于紫外可见光图像融合的巡检机器人，能够实现不停车精确测温与表计识别，可以通过云台边走边转、红外自动对焦、设备的形状匹配读取设备温度、近处表计不调焦识别、移动过程中拍摄高清图像等。
可选的，紫外成像仪采用共轴光路成像技术，入射光信号一路直接进入可见光通道、可见光通道对设备本体进行成像，另一路折射后进入紫外通道，紫外通道采用了100％日盲滤光片，仅探测240nm～280nm波段紫外光信号，从而避免了外界太阳光信号的干扰，紫外通道光信号经透镜成像后由后端光电阴极成像，将可见光图像转变为电子图像，然后由三级MCP进行信号放大，然后经荧光屏将信号将电子图像转变为可见光图像，利用光纤锥将该图像耦合到后端CCD上。仪器内部采用图像融合算法实现紫外通道和可见光通道的图像融合并输出最终图像。调焦采用可见光通道自动调焦方式，紫外通道跟随可见光通道进行调焦，通过调节MCP两端电压实现紫外通道的增益调整，为取得较好的信噪比，增益也可以采用手动调节方式。
可选的，图像传感器实现紫外和可见光传感器融合，其中紫外成像采用双通道成像技术包含了可见光信息，但是实际情况中可能受制于制造精度的问题，通过直接的光学影像融合会有不匹配的情况，不能做到精准的紫外和可见光融合，所以在硬件处理器端，预留出可见光相机和紫外相机的独立的输出端口连接至后续硬件平台，可以通过后续软件平台对两路独立的视频接口进行软件算法校正、标定、叠加，实现程序可控，灵活叠加。针对可见光摄像头、紫外成像头传感器的数字/模拟数据输出至视频处理系统的接口，主要的工作集中在设计FPGA+DSP的高速图像处理系统：对输入的视频信号进行识别、分析、处理、提取紫外成像头的电晕以及局部放电的位置强弱信息并叠加紫外成像头的电晕以及局部放电的位置强弱信息，将最终图形数字化传输至嵌入式系统中进行存储、分析后一方面通过无线自组网系统传输至变电站主控中心，另一方面通过OSD技术通过在视频信号中叠加字符信息，优化人机交互界面，将实时诊断信息输出至微型头盔显示器。同时该系统承担视频处理以及实施诊断的核心算法并且充分利用了FPGA并行处理的优点和DSP浮点运算速度快的优点，加上两片DDR2构建32bit总线，整个系统的带宽高达10Gb/s；两片DDR2容量高达2Gbit，满足视频处理过程中对高缓冲区的要求。我们选用的FPGA为Altera公司CYCLONE IV系列的EP4CE30F23C6N这款高速的FPGA芯片，在整个CYCLONE IV系列中速度级别达到最高的C6级别，可以实现FPGA和DDR2之间的始终频率达到200M，DDR2内部400M，充分满足多路紫外以及视频图像的处理需求。
可选的，紫外成像头、可见光摄像头两个传感器组成整个设备的图像传感器系统，将输入的模拟图像流信号最终图形数字化传输至嵌入式系统中进行存储、分析后通过OSD模块叠加嵌入式硬件系统中自动检测软件得出的分析结论直观输出至微型显示器。由于多个图像传感器以及与之相匹配镜头的差异性，多路输入的视频图片信号一定会有视场的失真以及畸变，所以紫外成像和可见光两路的视频图片信息进行畸变校正、压缩解码、图像识别、图像融合显得尤为重要；关于图像处理领域发展由来已久，从典型的邻近差值算法、双线性差值算法、拉伸算法、中值滤波到更智能的动态可重构的图像算法、遗传算法、神经网络算法等，所有的图像算法在紫外、可见光图像中进行灵活运用最终实现多信号的有机融合。
可选的，所述导航单元通过最优路径规划算法和精确轨迹规划算法实现定位与导航。
可选的，所述导航单元包括：
激光雷达，用于对巡检环境的地形与环境进行扫描获取地形与环境的扫描数据；
惯性测量单元，用于测量巡检机器人本体的加速度与角速度；
编码器，用于将地形与环境的扫描数据以及巡检机器人本体的加速度与角速度进行融合，获得导航数据实现巡检机器人的定位与导航。
可选的，还包括紫外光日盲滤光镜，用于将输入信号处理成240nm～280nm波段紫外光信号，并将紫外光信号输入紫外成像仪。
可选的，所述紫外成像仪包括紫外镜头、紫外相机、紫外CCD。
可选的，所述可见光成像仪包括可见光镜头、可见光相机。
本发明实施例的第二个方面提出一种基于紫外可见光图像融合的检测方法，包括：
步骤101，获取导航数据，构建待检测环境的三维实景环境；
步骤102，基于导航信息确认巡检机器人的行驶路径并拍摄待检测设备的紫外图像以及可见光图像；
步骤103，将所述紫外图像与所述可见光图像融合生成融合图像；
步骤104，基于所述融合图像对待检测设备进行故障检测，获得故障信息。
可选的，所述获取导航数据包括：
获取巡检环境的地形与环境的扫描数据；
获取检机器人本体的加速度与角速度；
将地形与环境的扫描数据以及巡检机器人本体的加速度与角速度进行融合，获得导航数据。
可选的，所述紫外图像的获取方法包括：紫外通道光信号经透镜成像后由后端光电阴极成像，将可见光图像转变为电子图像，然后由三级MCP进行信号放大，然后经荧光屏将信号将电子图像转变为可见光图像，利用光纤锥将该图像耦合到后端CCD上。
可选的，还包括：根据所述故障信息生成报警信息，并将所述报警信息发送至用户端。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于紫外可见光图像融合的巡检机器人，其特征在于，包括巡检机器人本体，所述检机器人本体上设置有：
紫外成像仪，用于拍摄并输出待检测设备的紫外图像；
可见光成像仪，用于拍摄并输出待检测设备的可见光图像；
图像融合单元，与所述紫外成像仪、所述可见光成像仪连接，用于将所述紫外图像与所述可见光图像融合生成融合图像；
检测单元，用于根据所述融合图像对待检测设备进行故障检测；
导航单元，用于实现巡检机器人的定位与导航。
2.根据权利要求1所述的巡检机器人，其特征在于，所述导航单元通过最优路径规划算法和精确轨迹规划算法实现定位与导航。
3.根据权利要求2所述的巡检机器人，其特征在于，所述导航单元包括：
激光雷达，用于对巡检环境的地形与环境进行扫描获取地形与环境的扫描数据；
惯性测量单元，用于测量巡检机器人本体的加速度与角速度；
编码器，用于将地形与环境的扫描数据以及巡检机器人本体的加速度与角速度进行融合，获得导航数据实现巡检机器人的定位与导航。
4.根据权利要求1所述的巡检机器人，其特征在于，还包括紫外光日盲滤光镜，用于将输入信号处理成240nm～280nm波段紫外光信号，并将紫外光信号输入紫外成像仪。
5.根据权利要求1所述的巡检机器人，其特征在于，所述紫外成像仪包括紫外镜头、紫外相机、紫外CCD。
6.根据权利要求1所述的巡检机器人，其特征在于，所述可见光成像仪包括可见光镜头、可见光相机。
7.一种基于紫外可见光图像融合的检测方法，其特征在于，包括：
获取导航数据，构建待检测环境的三维实景环境；
基于导航信息确认巡检机器人的行驶路径并拍摄待检测设备的紫外图像以及可见光图像；
将所述紫外图像与所述可见光图像融合生成融合图像；
基于所述融合图像对待检测设备进行故障检测，获得故障信息。
8.根据权利要求7所述的检测方法，其特征在于，所述获取导航数据包括：
获取巡检环境的地形与环境的扫描数据；
获取检机器人本体的加速度与角速度；
将地形与环境的扫描数据以及巡检机器人本体的加速度与角速度进行融合，获得导航数据。
9.根据权利要求7所述的检测方法，其特征在于，所述紫外图像的获取方法包括：紫外通道光信号经透镜成像后由后端光电阴极成像，将可见光图像转变为电子图像，然后由三级MCP进行信号放大，然后经荧光屏将信号将电子图像转变为可见光图像，利用光纤锥将该图像耦合到后端CCD上。
10.根据权利要求7所述的检测方法，其特征在于，还包括：根据所述故障信息生成报警信息，并将所述报警信息发送至用户端。
CN201911174829.2A 2019-11-26 2019-11-26 基于紫外可见光图像融合的巡检机器人以及检测方法 Pending CN111141997A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911174829.2A CN111141997A (zh) 2019-11-26 2019-11-26 基于紫外可见光图像融合的巡检机器人以及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911174829.2A CN111141997A (zh) 2019-11-26 2019-11-26 基于紫外可见光图像融合的巡检机器人以及检测方法

Publications (1)

Publication Number Publication Date
CN111141997A true CN111141997A (zh) 2020-05-12

Family

ID=70516704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911174829.2A Pending CN111141997A (zh) 2019-11-26 2019-11-26 基于紫外可见光图像融合的巡检机器人以及检测方法

Country Status (1)

Country Link
CN (1) CN111141997A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225456A (zh) * 2020-10-20 2021-08-06 北京晶品特装科技有限责任公司 侦查机器人
CN113702777A (zh) * 2021-07-27 2021-11-26 广西电网有限责任公司电力科学研究院 一种高压设备在线巡检监测系统
CN115393406A (zh) * 2022-08-17 2022-11-25 武汉华中天经通视科技有限公司 一种基于孪生卷积网络的图像配准方法
CN116402723A (zh) * 2023-06-06 2023-07-07 国网山东省电力公司电力科学研究院 集成机器人平台的紫外成像检测系统
CN115393406B (zh) * 2022-08-17 2024-05-10 中船智控科技(武汉)有限公司 一种基于孪生卷积网络的图像配准方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225456A (zh) * 2020-10-20 2021-08-06 北京晶品特装科技有限责任公司 侦查机器人
CN113702777A (zh) * 2021-07-27 2021-11-26 广西电网有限责任公司电力科学研究院 一种高压设备在线巡检监测系统
CN115393406A (zh) * 2022-08-17 2022-11-25 武汉华中天经通视科技有限公司 一种基于孪生卷积网络的图像配准方法
CN115393406B (zh) * 2022-08-17 2024-05-10 中船智控科技(武汉)有限公司 一种基于孪生卷积网络的图像配准方法
CN116402723A (zh) * 2023-06-06 2023-07-07 国网山东省电力公司电力科学研究院 集成机器人平台的紫外成像检测系统
CN116402723B (zh) * 2023-06-06 2023-08-22 国网山东省电力公司电力科学研究院 集成机器人平台的紫外成像检测系统

Similar Documents

Publication Publication Date Title
CN111141997A (zh) 基于紫外可见光图像融合的巡检机器人以及检测方法
CN103477186B (zh) 立体摄像装置
CN106385530B (zh) 一种双光谱摄像机
CN104822033A (zh) 一种红外与可见光图像融合的视觉传感器及其使用方法
JP7322708B2 (ja) 撮像素子
US8569680B2 (en) Hyperacuity from pre-blurred sampling of a multi-aperture visual sensor
CN110017897B (zh) 一种紧凑型单目多通道可组合式多光谱成像系统
CN201293684Y (zh) 三通道实时测温热像仪
CN106595869B (zh) 一种高分辨率制冷型红外热像仪
CN105466573A (zh) 一种中长波双波段红外热像仪
CN106254796A (zh) 一种基于光电摄像管的红外激光光斑探测成像装置及方法
CN201594861U (zh) 多波段图象融合红外成像系统
CN101458300A (zh) 一种电路放电检测系统
CN107518879A (zh) 一种荧光成像装置及方法
EP3637132B1 (en) Pixels for time of flight (tof) imaging
JP2018513964A (ja) スナップショット型偏光ハイパースペクトルカメラ及び結像方法
CN102944879A (zh) 一种基于mems二维扫描镜的四维成像装置及其成像方法
CN201355386Y (zh) 一种电路放电检测装置
CN114690796A (zh) 一种用于无人机机间测距的相对定位系统及方法
CN111136664A (zh) 基于紫外图像检测的巡检机器人及其检测方法
CN208782909U (zh) 一种相机、电子设备及驾驶系统
CN210155384U (zh) 一种大视场多波段立体视觉辅助驾驶仪
CN105866589B (zh) 一种透射式单元探测器成像及电性参数测试系统
CN110490160B (zh) 一种多镜头模组的指纹信息采集系统及电子设备
CN214177434U (zh) 可见红外一体化相机系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200512

WD01 Invention patent application deemed withdrawn after publication