CN117885116B - 基于遥控通信的接触网线路测距巡检方法和巡检机器人 - Google Patents

基于遥控通信的接触网线路测距巡检方法和巡检机器人 Download PDF

Info

Publication number
CN117885116B
CN117885116B CN202410295575.4A CN202410295575A CN117885116B CN 117885116 B CN117885116 B CN 117885116B CN 202410295575 A CN202410295575 A CN 202410295575A CN 117885116 B CN117885116 B CN 117885116B
Authority
CN
China
Prior art keywords
image
target
distance
moment
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410295575.4A
Other languages
English (en)
Other versions
CN117885116A (zh
Inventor
刘瑶
王雷
周成功
袁田平
倪昂
张海峰
董繁敏
朱铖
焦义
刘凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Ruien Zhitie Electrical Equipment Co ltd
Third Engineering Co Ltd of China Railway Electrification Engineering Group Co Ltd
CREC EEB Operation Maintenance Co Ltd
Original Assignee
Sichuan Ruien Zhitie Electrical Equipment Co ltd
CREC EEB Operation Maintenance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Ruien Zhitie Electrical Equipment Co ltd, CREC EEB Operation Maintenance Co Ltd filed Critical Sichuan Ruien Zhitie Electrical Equipment Co ltd
Priority to CN202410295575.4A priority Critical patent/CN117885116B/zh
Publication of CN117885116A publication Critical patent/CN117885116A/zh
Application granted granted Critical
Publication of CN117885116B publication Critical patent/CN117885116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02GINSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G1/00Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
    • H02G1/02Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及测距巡检技术领域,提供一种基于遥控通信的接触网线路测距巡检方法和巡检机器人,旨在解决难以准确判断接触网线路附近是否存在侵扰目标的问题。本发明包括:巡检机器人按照预设速度沿架空线行进,并拍摄第一图像和第二图像,从而获得第i个时刻和第i‑1个时刻的融合图像及融合图像中的检测范围,从而确定检测范围的侵扰目标及类型。通过测距雷达确定第一距离,从而基于侵扰目标的类型和第一距离确定侵扰目标的安全性评分,进而生成侵扰目标报告信息。根据本发明,可通过巡检机器人自动对接触网线路附近的侵扰目标进行检测,提高接触网线路测距巡检的准确性和便利性,减少安全隐患。且无需人工测量,可节省时间和人力。

Description

基于遥控通信的接触网线路测距巡检方法和巡检机器人
技术领域
本发明涉及测距巡检技术领域,尤其涉及一种基于遥控通信的接触网线路测距巡检方法和巡检机器人。
背景技术
CN106956264A公开了一种电力巡检机器人的远程遥控控制系统,应用于控制巡检机器人,其中,包括:控制服务端,与巡检机器人连接;遥控装置,与控制服务端连接,用以可操作的形成控制指令并将控制指令发送至控制服务端;控制服务端根据当前接收的控制指令,将控制指令对应的执行任务发送至巡检机器人;巡检机器人根据执行任务形成对应的执行命令,并根据执行命令执行相应的操作。该技术方案的有益效果在于,在电力巡检机器人系统中通过操作遥控装置发送控制指令至控制服务端,进而由控制服务端将与控制指令对应的执行任务发送至巡检机器人,巡检机器人根据执行任务执行相应的操作,不仅可实现对巡检机器人的全方位控制,而且操作简单方便。
CN109202852A公开了一种智能巡检机器人,包括机器人本体、云台、云台控制器、工控机、摄像头、补光灯、激光测距仪和拾音器,所述云台设置于所述机器人本体上,所述摄像头、相机和补光灯均设置于所述云台上,所述激光测距仪设置于所述机器人本体的前方,所述拾音器设置于所述机器人本体上,所述机器人的底盘采用双轮差速驱动方式,所述云台控制器用于控制所述云台进行自由旋转,所述工控机固定安装在所述机器人本体上,所述工控机通过无线通信装置与上位机连接。该发明的智能巡检机器人检测精度和效率高,检测范围广。
在接触网线路使用过程中,需要准确的检测是否有侵扰接触网线路的目标,即,与接触网线路距离接近,干扰接触网线路正产使用的目标,保证接触网线路使用的安全。根据相关技术,虽然公开了遥控巡检机器人的检测方案,但这些设备主要应用于对线路自身的巡检任务,而对线路附近的侵扰目标缺乏检测手段,因此难以准确判断接触网线路附近是否存在侵扰目标。
公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明提供一种基于遥控通信的接触网线路测距巡检方法和巡检机器人,能够解决难以准确判断接触网线路附近是否存在侵扰目标的技术问题。
本发明的第一方面,提供一种方法,包括:
将巡检机器人的设置在接触网线路的架空线上,并通过远程控制中心向巡检机器人的控制器发送巡检指令,使所述巡检机器人按照预设速度沿架空线行进;
在发送所述巡检指令后的第i个时刻,通过设置在巡检机器人机身上的第一摄像头拍摄巡检机器人的行进方向上的正前方的第一图像,并通过设置在巡检机器人机身上的第二摄像头拍摄巡检机器人的行进方向上的正前方的第二图像,并将第i个时刻获得的第一图像和第二图像发送至所述远程控制中心,其中,所述第一摄像头位于所述架空线的正上方,所述第二摄像头位于所述架空线的正下方,所述第一摄像头和所述第二摄像头的内参相同;
所述远程控制中心根据第i个时刻获得的第一图像和第二图像,获得第i个时刻的融合图像,以及所述第i个时刻的融合图像中的检测范围,其中,所述检测范围为以所述融合图像的中心为形心的矩形区域的范围,且所述矩形区域的尺寸小于融合图像的尺寸,其中,i为大于1的正整数;
获取第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,其中,第i个时刻和第i-1个时刻之间的时间间隔根据公式/>来确定,/>为第一摄像头的前焦距,/>为所述预设速度;
根据所述第i个时刻的融合图像、所述第i个时刻的融合图像中的检测范围、所述第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,确定所述第i个时刻的融合图像中的检测范围内是否存在侵扰目标,以及所述侵扰目标的类型;
通过设置在巡检机器人机身上的测距雷达测量所述侵扰目标与所述巡检机器人之间的第一距离;
根据所述侵扰目标的类型和所述第一距离,确定侵扰目标的安全性评分;
如果所述侵扰目标的安全性评分低于预设安全阈值,生成侵扰目标报告信息。
本发明的第二方面,提供一种巡检机器人,包括:
远程控制中心、控制器、第一摄像头、第二摄像头和测距雷达,所述测距雷达设置在所述巡检机器人机身内;所述第一摄像头和第二摄像头设置在巡检机器人机身上:
所述远程控制中心用于:
在将巡检机器人的设置在接触网线路的架空线上后,并通过远程控制中心向巡检机器人的控制器发送巡检指令,使所述巡检机器人按照预设速度沿架空线行进;
在发送所述巡检指令后的第i个时刻,通过设置在巡检机器人机身上的第一摄像头拍摄巡检机器人的行进方向上的正前方的第一图像,并通过设置在巡检机器人机身上的第二摄像头拍摄巡检机器人的行进方向上的正前方的第二图像,并将第i个时刻获得的第一图像和第二图像发送至所述远程控制中心,其中,所述第一摄像头位于所述架空线的正上方,所述第二摄像头位于所述架空线的正下方,所述第一摄像头和所述第二摄像头的内参相同;
根据第i个时刻获得的第一图像和第二图像,获得第i个时刻的融合图像,以及所述第i个时刻的融合图像中的检测范围,其中,所述检测范围为以所述融合图像的中心为形心的矩形区域的范围,且所述矩形区域的尺寸小于融合图像的尺寸,其中,i为大于1的正整数;
获取第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,其中,第i个时刻和第i-1个时刻之间的时间间隔根据公式/>来确定,/>为第一摄像头的前焦距,/>为所述预设速度;
根据所述第i个时刻的融合图像、所述第i个时刻的融合图像中的检测范围、所述第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,确定所述第i个时刻的融合图像中的检测范围内是否存在侵扰目标,以及所述侵扰目标的类型;
通过设置在巡检机器人机身上的测距雷达测量所述侵扰目标与所述巡检机器人之间的第一距离;
根据所述侵扰目标的类型和所述第一距离,确定侵扰目标的安全性评分;
如果所述侵扰目标的安全性评分低于预设安全阈值,生成侵扰目标报告信息。
本发明的有益效果:
(1)本发明可通过远程控制中心控制巡检机器人按照预设速度沿架空线行进,并通过巡检机器人的摄像头拍摄图像,确定第i个时刻和第i-1个时刻的融合图像,以及融合图像中的检测范围,进而确定检测范围内是否存在侵扰目标以及侵扰目标的类型,从而确定不同类型侵扰目标的安全性评分。
(2)本发明可通过巡检机器人自动对接触网线路附近的侵扰目标进行检测,提高接触网线路测距巡检的准确性和便利性,减少安全隐患。且无需人工测量,可节省时间和人力。
(3)本发明在获得融合图像时,可拍摄第一图像和第二图像进而得到融合图像,避免判断侵扰目标时拍摄遮挡的影响。通过前焦距确定拍摄间隔,提升拍摄图像的清晰度。第一摄像头和第二摄像头的内参和多次拍摄的时间间隔相同,可使得每次拍摄的图像的数据口径一致,从而使每次得到的融合图像有可比性,进而可结合第i个时刻和第i-1个时刻的融合图像及检测范围,更准确地确定侵扰目标和类型。
(4)本发明在确定侵扰目标的类型时,可通过目标检测模型确定第i个时刻的融合图像的检测范围内是否有侵扰目标以及目标区域,进而基于相似矩形截取检测范围的第一图像块以及对比范围的对比图像块,并利用二值化后的对比二值化图像块与第二二值化图像块,确定目标区域内的侵扰目标的类型。不仅可以通过相似矩形的处理保证图像块的可比性,还可以减少光照对判断侵扰目标类型的影响,提高了确定侵扰目标类型的准确性和全面性。为确定侵扰目标的安全性评分提供基本数据。
(5)本发明在确定检测范围的边长时,可基于历史融合图像与预设标志物获得检测范围的边长,从而获得准确的检测范围,为检测侵扰目标提供准确的数据基础。在确定固定目标的安全性评分时,可通过相似计算,分情况确定固定目标的安全性评分,基于侵扰目标与架空线的距离与侵扰距离之间的比值,客观地描述固定目标与架空线之间的相对距离,进而表示出固定目标的安全性,提升安全性评分的准确性和客观性。
(6)本发明在确定运动目标的安全性评分时,可基于运动目标所在区域的最小外接圆形设定运动目标可能的运动轨迹,并分情况确定运动目标的安全性评分,基于可能的运动轨迹,确定运动目标在运动过程中与架空线之间的可能的最近距离,进而确定侵扰目标的安全性评分,可准确描述运动目标与架空线之间的相对距离,进而表示出运动目标的安全性,提升安全性评分的准确性和客观性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本发明。根据下面参考附图对示例性实施例的详细说明,本发明的其它特征及方面将更清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例;
图1示例性地示出根据本发明实施例的基于遥控通信的接触网线路测距巡检方法的流程示意图;
图2示例性地示出根据本发明实施例的巡检机器人的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1示例性地示出根据本发明实施例的基于遥控通信的接触网线路测距巡检方法的流程示意图,所述方法包括:
步骤S101,将巡检机器人的设置在接触网线路的架空线上,并通过远程控制中心向巡检机器人的控制器发送巡检指令,使所述巡检机器人按照预设速度沿架空线行进;
步骤S102,在发送所述巡检指令后的第i个时刻,通过设置在巡检机器人机身上的第一摄像头拍摄巡检机器人的行进方向上的正前方的第一图像,并通过设置在巡检机器人机身上的第二摄像头拍摄巡检机器人的行进方向上的正前方的第二图像,并将第i个时刻获得的第一图像和第二图像发送至所述远程控制中心,其中,所述第一摄像头位于所述架空线的正上方,所述第二摄像头位于所述架空线的正下方,所述第一摄像头和所述第二摄像头的内参相同;
步骤S103,所述远程控制中心根据第i个时刻获得的第一图像和第二图像,获得第i个时刻的融合图像,以及所述第i个时刻的融合图像中的检测范围,其中,所述检测范围为以所述融合图像的中心为形心的矩形区域的范围,且所述矩形区域的尺寸小于融合图像的尺寸,其中,i为大于1的正整数;
步骤S104,获取第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,其中,第i个时刻和第i-1个时刻之间的时间间隔,根据公式(1)获得,
(1)
其中,为第一摄像头的前焦距,/>为所述预设速度;
步骤S105,根据所述第i个时刻的融合图像、所述第i个时刻的融合图像中的检测范围、所述第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,确定所述第i个时刻的融合图像中的检测范围内是否存在侵扰目标,以及所述侵扰目标的类型;
步骤S106,通过设置在巡检机器人机身上的测距雷达测量所述侵扰目标与所述巡检机器人之间的第一距离;
步骤S107,根据所述侵扰目标的类型和所述第一距离,确定侵扰目标的安全性评分;
步骤S108,如果所述侵扰目标的安全性评分低于预设安全阈值,生成侵扰目标报告信息。
根据本发明的实施例的基于遥控通信的接触网线路测距巡检方法,可通过远程控制中心控制巡检机器人按照预设速度沿架空线行进,并通过巡检机器人的摄像头拍摄图像,确定第i个时刻和第i-1个时刻的融合图像,以及融合图像中的检测范围,进而确定检测范围内是否存在侵扰目标以及侵扰目标的类型,从而确定不同类型侵扰目标的安全性评分。可通过巡检机器人自动对接触网线路附近的侵扰目标进行检测,提高接触网线路测距巡检的准确性和便利性,减少安全隐患。且无需人工测量,可节省时间和人力。
根据本发明的实施例,在步骤S101中,将巡检机器人的设置在接触网线路的架空线上,并通过远程控制中心向巡检机器人的控制器发送巡检指令,使所述巡检机器人按照预设速度沿架空线行进。例如,将巡检机器人设置在接触网线路的架空线上后,所述巡检机器人可在接收到巡检指令后,驱动与架空线接触的滚轮转动,从而在架空线上按照预设速度行进,所述预设速度不变,即,所述巡检机器人为匀速行进。
根据本发明的实施例,在步骤S102中,在发送所述巡检指令后的第i个时刻,通过设置在巡检机器人机身上的第一摄像头拍摄巡检机器人的行进方向上的正前方的第一图像,并通过设置在巡检机器人机身上的第二摄像头拍摄巡检机器人的行进方向上的正前方的第二图像,并将第i个时刻获得的第一图像和第二图像发送至所述远程控制中心,其中,所述第一摄像头位于所述架空线的正上方,所述第二摄像头位于所述架空线的正下方,所述第一摄像头和所述第二摄像头的内参相同。由于所述第一摄像头位于所述架空线的正上方,因此所述第一图像的最下方的正中间位置可看到所述架空线沿所述行进方向延伸,且只能看到所述架空线的上半部分。类似的,所述第二图像的最上方的正中间位置可看到所述架空线沿所述行进方向延伸,且只能看到所述架空线的下半部分。所述摄像头的内参相同,即,焦距等参数相同。
根据本发明的实施例,在步骤S103中,所述远程控制中心根据第i个时刻获得的第一图像和第二图像,获得第i个时刻的融合图像,以及所述第i个时刻的融合图像中的检测范围,其中,所述检测范围为以所述融合图像的中心为形心的矩形区域的范围,且所述矩形区域的尺寸小于融合图像的尺寸,其中,i为大于1的正整数。例如,远程控制中心接收到所述第i个时刻的第一图像和第二图像后,可通过泊松融合等算法将第一图像和第二图像融合得到所述第i个时刻的融合图像,可避免在判断侵扰目标时拍摄的第一图像和第二图像被架空线遮挡产生的影响。在理论上,所述融合图像的中心存在一个圆形区域,即,所述架空线在融合图像中所在的区域。所述检测范围为以所述融合图像的中心为形心的矩形区域的范围,由于上述圆形在融合图像的中心,因此所述形心为上述圆形的圆心。所述矩形区域的尺寸小于融合图像的尺寸,且在所述矩形区域的侵扰目标可能会干扰接触网线路的工作。
根据本发明的实施例,步骤S104,获取第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,其中第i个时刻和第i-1个时刻之间的时间间隔,根据公式(1)获得,/>为第一摄像头的前焦距,/>为所述预设速度。公式(1)中包括第一摄像头的前焦距/>,即,第一摄像头的焦平面到镜头的距离。由于焦平面上的的物体的成像最清楚,因此所述巡检机器人每行进一个前焦距的距离,拍摄一次第一图像,从而巡检机器人前方,且与巡检机器人的距离小于或等于前焦距的范围内进行检测,以判断检测范围内是否存在侵扰目标。类似的,第二摄像头与第一摄像头的内参相同,第二图像与第一图像同时拍摄,并进行融合,获得融合图像。由于所述巡检机器人以预设速度/>匀速行进,因此/>可表示第i个时刻和第i-1个时刻之间的时间间隔。
通过这种方式,可拍摄第一图像和第二图像进而得到融合图像,避免判断侵扰目标时拍摄遮挡的影响。通过前焦距确定拍摄间隔,提升拍摄图像的清晰度。第一摄像头和第二摄像头的内参和多次拍摄的时间间隔相同,可使得每次拍摄的图像的数据口径一致,从而使每次得到的融合图像有可比性,进而可结合第i个时刻和第i-1个时刻的融合图像及检测范围,更准确地确定侵扰目标和类型。
根据本发明的实施例,在步骤S105中,根据所述第i个时刻的融合图像、所述第i个时刻的融合图像中的检测范围、所述第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,确定所述第i个时刻的融合图像中的检测范围内是否存在侵扰目标,以及所述侵扰目标的类型,包括:通过训练后的目标检测模型,确定所述第i个时刻的融合图像中的检测范围内是否存在侵扰目标;如果所述第i个时刻的融合图像中的检测范围内存在侵扰目标,确定所述侵扰目标所在的目标区域;在所述第i个时刻的融合图像中,截取出所述第i个时刻的融合图像中的检测范围的第一图像块;在所述第i-1个时刻的融合图像中的检测范围内,确定出对比范围,其中,所述对比范围的形心与所述第i-1个时刻的融合图像中的检测范围的形心相同,且所述对比范围的边长为所述第i-1个时刻的融合图像中的检测范围的边长的一半;在所述第i-1个时刻的融合图像中,截取出所述对比范围的对比图像块;根据所述第一图像块、所述对比图像块和所述目标区域,确定所述侵扰目标的类型。
根据本发明的实施例,通过训练后的目标检测模型,例如,神经网络模型,确定所述第i个时刻的融合图像中的检测范围内是否存在侵扰目标。如果所述第i个时刻的融合图像中的检测范围内存在侵扰目标,确定所述侵扰目标所在的目标区域。例如,所述融合图像中的检测范围内的侵扰目标为鸟类,该鸟类在融合图像中的区域为所述侵扰目标所在的目标区域。
根据本发明的实施例,在所述第i个时刻的融合图像中,截取出所述第i个时刻的融合图像中的检测范围的第一图像块。即,将所述第i个时刻的融合图像中的检测范围内的像素区域截取出来,得到所述第一图像块。在所述第i-1个时刻的融合图像中的检测范围内,确定出对比范围,其中,所述对比范围的形心与所述第i-1个时刻的融合图像中的检测范围的形心相同,且所述对比范围的边长为所述第i-1个时刻的融合图像中的检测范围的边长的一半。由于第i-1个时刻在第i个时刻之前,因此第i-1个时刻的摄像头与第i个时刻摄像头的焦平面的距离为两倍的前焦距,因此第i-1个时刻的检测范围内,包含第i个时刻的检测范围所框选出的范围,且在第i-1个时刻的融合图像中,检测范围与上述框选出的范围为相似矩形。在第i-1个检测范围图像内选取第i个时刻的检测范围所框选出的范围,获得所述对比范围,在第i-1个时刻的融合图像中,检测范围与对比范围为相似矩形且形心相同,因此所述对比范围的边长为所述第i-1个时刻的融合图像中的检测范围的边长的一半,面积为所述第i-1个时刻的融合图像中的检测范围面积的四分之一。类似的,在所述第i-1个时刻的融合图像中,截取出所述对比范围的对比图像块,即,将所述第i-1个时刻的融合图像中的对比范围内的像素区域截取出来,得到所述对比图像块。
根据本发明的实施例,根据所述第一图像块和所述对比图像块,确定所述侵扰目标的类型,包括:将所述第一图像块进行放缩,获得第二图像块,其中,所述第二图像块的尺寸与所述对比图像块相同;将所述第二图像块进行二值化处理,获得第二二值化图像块;将所述对比图像块进行二值化处理,获得对比二值化图像块;将所述对比二值化图像块与所述第二二值化图像块进行作差,获得差值图像块;根据所述目标区域在所述第一图像块中的位置,确定所述差值图像块中与所述目标区域对应的侵扰目标区域;如果所述侵扰目标区域中,像素值为1的像素点的数量与所述侵扰目标区域中像素点的总数之比大于或等于第一比例阈值,则所述侵扰目标的类型为运动目标;如果所述侵扰目标区域中,像素值为1的像素点的数量与所述侵扰目标区域中像素点的总数之比小于第一比例阈值,则所述侵扰目标的类型为固定目标。
根据本发明的实施例,由于第一图像块边长为所述对比图像块的两倍,因此对第一图像块进行放缩,将边长等比例缩小为二分之一获得第二图像块,所述第二图像块与对比图像块的尺寸相同。由于拍摄图像会受光照的影响可能对判断侵扰目标造成影响,因此对所述第二图像块和对比图像块进行二值化处理。例如,将所述图像块中亮度值小于0.5的像素点的像素值确定为0,将亮度值大于0.5的像素点的像素值确定为1,从而获得对比二值化图像块与所述第二二值化图像,即,与第二图像块和对比图像块对应的黑白图像块,可尽量排除光照的影响。在二值化图像块中,像素值为1的区域表示物体边缘或前景区域,像素值为0的区域表示背景区域。将所述对比二值化图像块与所述第二二值化图像块进行作差,获得差值图像块。根据所述目标区域在所述第一图像块中的位置,确定所述差值图像块中与所述目标区域对应的侵扰目标区域,例如,根据第一图像块中确定的鸟类所在的目标区域,在相同的位置确定所述差值图像块中对应的侵扰目标区域,并通过侵扰目标区域中像素点的像素值确定侵扰目标的类型。
根据本发明的实施例,如果所述侵扰目标区域中,像素值为1的像素点的数量与所述侵扰目标区域中像素点的总数之比大于或等于第一比例阈值,则所述侵扰目标的类型为运动目标。例如,在所述侵扰目标区域中,像素值为1的像素点的数量与所述侵扰目标区域中像素点的总数之比大于或等于第一比例阈值,那么在第二二值化图像块中的像素值为1的区域与对比二值化图像块中像素值为1的区域不同,即,第i个时刻和第i-1个时刻的侵扰目标位置不同,因此,侵扰目标的类型为运动目标。反之,如果所述侵扰目标区域中,像素值为1的像素点的数量与所述侵扰目标区域中像素点的总数之比小于第一比例阈值,则所述侵扰目标的类型为固定目标,例如,在架设架空线时的某些固定设备距离架空线太近,会干扰接触网线路的工作。
通过这种方式,可通过目标检测模型确定第i个时刻的融合图像的检测范围内是否有侵扰目标以及目标区域,进而基于相似矩形截取检测范围的第一图像块以及对比范围的对比图像块,并利用二值化后的对比二值化图像块与第二二值化图像块,确定目标区域内的侵扰目标的类型。不仅可以通过相似矩形的处理保证图像块的可比性,还可以减少光照对判断侵扰目标类型的影响,提高了确定侵扰目标类型的准确性和全面性。为确定侵扰目标的安全性评分提供基本数据。
根据本发明的实施例,上述检测范围的边长可通过以下方式获得,所述方法还包括:在历史时刻获得的历史融合图像中,确定预设标志物在所述历史融合图像中的样本位置,其中,所述预设标志物与所述架空线的实际距离为第一样本距离,所述预设标志物与巡检机器人的距离为第二样本距离;确定所述样本位置与所述历史融合图像的中心之间的第一图像距离;获取与所述架空线对应的预设侵扰距离;根据所述第一样本距离、所述第二样本距离、所述第一图像距离和所述预设侵扰距离,确定所述检测范围的边长。
根据本发明的实施例,根据历史的第一图像和第二图像融合得到历史融合图像,并确定一个位置已知的预设标志物,并确定所述预设标志物在历史融合图像中的样本位置。根据所述预设标志物的位置确定所述标志物到架空线的直线距离,即,所述第一样本距离。根据所述测距雷达确定所述预设标志物与巡检机器人的直线距离,即,第二样本距离。确定所述样本位置与所述历史融合图像的中心之间的第一图像距离,即,在融合图像中所述样本位置与架空线对应的圆形的圆心之间的直线距离。可基于以上多钟距离获取与所述架空线对应的预设侵扰距离,当时侵扰目标与架空线的直线距离小于所述预设侵扰距离,所述侵扰目标会干扰接触网线路的工作。
根据本发明的实施例,根据所述第一样本距离、所述第二样本距离、所述第一图像距离和所述预设侵扰距离,确定所述检测范围的边长,包括:根据公式(2),确定所述检测范围的边长
(2)
其中,为所述预设侵扰距离,/>为所述第一摄像头的前焦距,/>为所述第一样本距离,/>为所述第二样本距离,/>为所述第一图像距离。
根据本发明的实施例,在第一样本距离对应的直线,第二样本距离对应的直线以及架空线构成的直角三角形中,基于勾股定理可确定所述架空线对应的直角边的长度为。将摄像头镜头到成像平面的距离确定为x,由于摄像头拍摄成像是通过凸透镜将相反的图像映在摄像头底板上,因此基于相似三角形可得到/>,因此所述摄像头镜头到成像平面的距离/>。由于所述预设侵扰距离是在摄像头的焦平面上确定,因此摄像头到所述预设侵扰距离所在的平面的距离为摄像头的前焦距。由于/>为检测范围的边长,因此融合图像的中心与检测范围的边缘的垂直距离为/>。因此基于相似三角形,可得到/>,进而可确定所述检测范围的边长为/>
通过这种方式,可基于历史融合图像与预设标志物获得检测范围的边长,从而获得准确的检测范围,为检测侵扰目标提供准确的数据基础。
根据本发明的实施例,在步骤S106中,通过设置在巡检机器人机身上的测距雷达测量所述侵扰目标与所述巡检机器人之间的第一距离。即,巡检机器人到所述侵扰目标的直线距离。
根据本发明的实施例,在步骤S107中,根据所述侵扰目标的类型和所述第一距离,确定侵扰目标的安全性评分,包括:如果所述侵扰目标的类型为固定目标,则获取所述固定目标在第i个时刻的融合图像中所在的区域与所述第i个时刻的融合图像的中心之间的最小固定距离;根据所述最小固定距离、所述第一距离和所述第一摄像头的前焦距,确定侵扰目标的安全性评分。
根据本发明的实施例,由于所述固定目标在第i个时刻的融合图像中所处的区域包括多个像素点,可确定该区域内的多个像素点与融合图像中心的距离的最小值,即,最小固定距离。所述最小固定距离对应所述侵扰目标与架空线的最小距离。
根据本发明的实施例,根据所述最小固定距离、所述第一距离和所述第一摄像头的前焦距,确定侵扰目标的安全性评分,包括:根据公式(3)确定侵扰目标的安全性评分S,
(3)
其中,为所述第一距离,/>为所述最小固定距离。
根据本发明的实施例,在所述最小固定距离对应的直线,融合图像是由第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像融合获得的,假设巡检机器人机身上存在一个能够直接拍摄到融合图像的摄像头(假设存在的虚拟摄像头),则摄像头镜头到成像平面的直线以及固定目标区域中与融合图像中心的最近点到摄像头镜头的直线构成的直角三角形中,基于勾股定理可确定上述最近点到摄像头镜头的直线距离为,即,/>。类似的,由于摄像头拍摄成像是通过凸透镜将相反的图像映在摄像头底板上,因此上述三角形与由所述第一距离所在的直线,固定目标到架空线垂线以及摄像头镜头沿架空线到所述固定目标所在平面(该平面与架空线垂直)的直线构成的三角形相似。可将架空线与所述固定目标所在的平面的交点到摄像头镜头的距离设为/>,因此基于相似三角形可得到/>,进而可确定架空线与所述固定目标所在平面的交点到摄像头镜头的距离为/>
根据本发明的实施例,公式(3)中包括条件函数,当架空线与所述固定目标所在平面的垂线的交点到摄像头镜头的距离大于前焦距时,所述固定目标距离摄像头镜头较远,不需要在当前融合图像对应的时刻处理,因此所述安全性评分可确定为1。反之,当架空线与所述固定目标所在平面的交点到摄像头镜头的距离小于或等于前焦距时,所述固定目标距离摄像头镜头较近,需要在当前融合图像的时刻及时处理,避免接触网线路被干扰。
根据本发明的实施例,基于勾股定理可确定所述固定目标到架空线的最近距离为,因此所述固定目标到架空线的最近距离为/>。可将预设侵扰距离在所述固定目标所在平面对应的侵扰距离设为 />。基于相似三角形可得到,因此所述固定目标所在平面对应侵扰距离为/>。进而可得到所述固定目标到架空线的最近距离与所述固定目标所在平面对应的侵扰距离之间的比例/>,整理可得/>,获得架空线与所述固定目标所在的平面的交点到摄像头镜头的距离小于或等于前焦距时的安全性评分。所述侵扰目标的安全性评分越高,则所述侵扰目标与架空线的距离越远,对接触网线路的干扰越弱,反之,所述侵扰目标的安全性评分越低,所述侵扰目标对接触网线路的干扰越强。
通过这种方式,可通过相似计算,分情况确定固定目标的安全性评分,基于侵扰目标与架空线的距离与侵扰距离之间的比值,客观地描述固定目标与架空线之间的相对距离,进而表示出固定目标的安全性,提升安全性评分的准确性和客观性。
根据本发明的实施例,根据所述侵扰目标的类型和所述第一距离,确定侵扰目标的安全性评分,包括:如果所述侵扰目标的类型为运动目标,则获取所述运动目标在第i个时刻的融合图像中所在的区域与所述第i个时刻的融合图像的中心之间的最小运动距离;获取所述运动目标在第i个时刻的融合图像中所在的区域的最小外接圆直径;根据所述最小运动距离、所述最小外接圆直径、所述第一距离和所述第一摄像头的前焦距,确定侵扰目标的安全性评分。
根据本发明的实施例,由于所述运动目标在第i个时刻的融合图像中所在的区域包括多个像素点,可确定该区域的多个像素点与融合图像中心的距离的最小值,即,最小运动距离。所述最小运动距离对应所述侵扰目标与架空线的最小距离。由于所述运动目标的运动范围可设为圆形的运动范围,可根据所述运动目标在第i个时刻的融合图像中所在的区域的最小外接圆确定为所述运动目标在第i个时刻的融合图像中对应的运动范围。
根据本发明的实施例,根据所述最小运动距离、所述最小外接圆直径、所述第一距离和所述第一摄像头的前焦距,确定侵扰目标的安全性评分,包括:根据公式(4),确定侵扰目标的安全性评分S,
(4)
其中,为所述第一距离,/>为所述最小运动距离,/>为所述最小外接圆直径。
根据本发明的实施例,与公式(3)类似的,基于相似三角形,可确定架空线与所述运动目标所在平面的交点到摄像头镜头的距离为。在公式(4)中包括条件函数,当/>大于前焦距时,所述运动目标距离摄像头镜头较远,不需要在当前融合图像对应的时刻处理,因此所述安全性评分可确定为1。反之,当/>小于或等于前焦距时,所述运动目标距离摄像头镜头较近,需要在当前融合图像的时刻及时处理,避免接触网线路被干扰。
根据本发明的实施例,由于运动目标的轨迹难以确定,因此,基于第i个时刻运动目标的位置,假设运动目标按照上述最小外接圆形为轨迹做往复运动,当所述运动目标按照上述最小外接圆形为轨迹做往复运动时,运动目标可能更远离架空线,也可能更接近架空线,并且,在运动目标更接近架空线时,对于架空线的侵扰作用更大。与公式(3)类似的,基于勾股定理,运动目标在第i个时刻距离架空线的最近距离为,如果运动目标按照上述最小外接圆形为轨迹做往复运动,则运动目标在运动时与架空线的最近时,在融合图像中对应的最小距离则为/>,基于该最小距离,可得运动目标按照上述最小外接圆形为轨迹往复运动时,与架空线的最近距离为/>,该距离与运动目标所在平面对应侵扰距离/>之间的比值,作为运动目标所在的平面的交点到摄像头镜头的距离小于或等于前焦距时的安全性评分。侵扰目标的安全性评分越高,所述侵扰目标对接触网线路的干扰越弱,反之,所述侵扰目标的安全性评分越低,所述侵扰目标对接触网线路的干扰越强。
通过这种方式,可基于运动目标所在区域的最小外接圆形设定运动目标可能的运动轨迹,并分情况确定运动目标的安全性评分,基于可能的运动轨迹,确定运动目标在运动过程中与架空线之间的可能的最近距离,进而确定侵扰目标的安全性评分,可准确描述运动目标与架空线之间的相对距离,进而表示出运动目标的安全性,提升安全性评分的准确性和客观性。
根据本发明的实施例,在步骤S108中,如果所述侵扰目标的安全性评分低于预设安全阈值,生成侵扰目标报告信息。例如,可预设安全阈值,当所述侵扰目标的安全性评分低于预设安全阈值时,生成侵扰目标报告信息帮助及时处理。当所固定目标的安全性评分低于预设安全阈值时,所述侵扰目标报告信息可包括所述固定目标的位置信息、安装信息等,帮助工作人员及时处理固定侵扰目标。当所运动目标的安全性评分低于预设安全阈值时,所述侵扰目标报告信息可通过所述运动目标的安全性评分来表示运动目标撞击架空线的威胁程度(例如,通过1减去安全性评分来表示运动目标撞击架空线的威胁程度),以及发现运动目标的位置等信息,帮助工作人员驱逐运动目标,减少运动目标的侵扰。
根据本发明的实施例的基于遥控通信的接触网线路测距巡检方法,可通过远程控制中心控制巡检机器人按照预设速度沿架空线行进,并通过巡检机器人的摄像头拍摄图像,确定第i个时刻和第i-1个时刻的融合图像,以及融合图像中的检测范围,进而确定检测范围内是否存在侵扰目标以及侵扰目标的类型,从而确定不同类型侵扰目标的安全性评分。可通过巡检机器人自动对接触网线路附近的侵扰目标进行检测,提高接触网线路测距巡检的准确性和便利性,减少安全隐患。且无需人工测量,可节省时间和人力。在获得融合图像时,可拍摄第一图像和第二图像进而得到融合图像,避免判断侵扰目标时拍摄遮挡的影响。通过前焦距确定拍摄间隔,提升拍摄图像的清晰度。第一摄像头和第二摄像头的内参和多次拍摄的时间间隔相同,可使得每次拍摄的图像的数据口径一致,从而使每次得到的融合图像有可比性,进而可结合第i个时刻和第i-1个时刻的融合图像及检测范围,更准确地确定侵扰目标和类型。在确定侵扰目标的类型时,可通过目标检测模型确定第i个时刻的融合图像的检测范围内是否有侵扰目标以及目标区域,进而基于相似矩形截取检测范围的第一图像块以及对比范围的对比图像块,并利用二值化后的对比二值化图像块与第二二值化图像块,确定目标区域内的侵扰目标的类型。不仅可以通过相似矩形的处理保证图像块的可比性,还可以减少光照对判断侵扰目标类型的影响,提高了确定侵扰目标类型的准确性和全面性。为确定侵扰目标的安全性评分提供基本数据。在确定检测范围的边长时,可基于历史融合图像与预设标志物获得检测范围的边长,从而获得准确的检测范围,为检测侵扰目标提供准确的数据基础。在确定固定目标的安全性评分时,可通过相似计算,分情况确定固定目标的安全性评分,基于侵扰目标与架空线的距离与侵扰距离之间的比值,客观地描述固定目标与架空线之间的相对距离,进而表示出固定目标的安全性,提升安全性评分的准确性和客观性。在确定运动目标的安全性评分时,可基于运动目标所在区域的最小外接圆形设定运动目标可能的运动轨迹,并分情况确定运动目标的安全性评分,基于可能的运动轨迹,确定运动目标在运动过程中与架空线之间的可能的最近距离,进而确定侵扰目标的安全性评分,可准确描述运动目标与架空线之间的相对距离,进而表示出运动目标的安全性,提升安全性评分的准确性和客观性。
图2示例性地示出根据本发明实施例的巡检机器人的框图,所述巡检机器人包括:远程控制中心、控制器、第一摄像头、第二摄像头和测距雷达,所述测距雷达设置在所述巡检机器人机身内;所述第一摄像头和第二摄像头设置在巡检机器人机身上:
所述远程控制中心用于:
在将巡检机器人的设置在接触网线路的架空线上后,并通过远程控制中心向巡检机器人的控制器发送巡检指令,使所述巡检机器人按照预设速度沿架空线行进;
在发送所述巡检指令后的第i个时刻,通过设置在巡检机器人机身上的第一摄像头拍摄巡检机器人的行进方向上的正前方的第一图像,并通过设置在巡检机器人机身上的第二摄像头拍摄巡检机器人的行进方向上的正前方的第二图像,并将第i个时刻获得的第一图像和第二图像发送至所述远程控制中心,其中,所述第一摄像头位于所述架空线的正上方,所述第二摄像头位于所述架空线的正下方,所述第一摄像头和所述第二摄像头的内参相同;
根据第i个时刻获得的第一图像和第二图像,获得第i个时刻的融合图像,以及所述第i个时刻的融合图像中的检测范围,其中,所述检测范围为以所述融合图像的中心为形心的矩形区域的范围,且所述矩形区域的尺寸小于融合图像的尺寸,其中,i为大于1的正整数;
获取第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,其中,第i个时刻和第i-1个时刻之间的时间间隔根据公式/>来确定,/>第一摄像头的前焦距,/>为所述预设速度;
根据所述第i个时刻的融合图像、所述第i个时刻的融合图像中的检测范围、所述第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,确定所述第i个时刻的融合图像中的检测范围内是否存在侵扰目标,以及所述侵扰目标的类型;
通过设置在巡检机器人机身上的测距雷达测量所述侵扰目标与所述巡检机器人之间的第一距离;
根据所述侵扰目标的类型和所述第一距离,确定侵扰目标的安全性评分;
如果所述侵扰目标的安全性评分低于预设安全阈值,生成侵扰目标报告信息。
本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于遥控通信的接触网线路测距巡检方法,其特征在于,包括:
将巡检机器人设置在接触网线路的架空线上,并通过远程控制中心向巡检机器人的控制器发送巡检指令,使所述巡检机器人按照预设速度沿架空线行进;
在发送所述巡检指令后的第i个时刻,通过设置在巡检机器人机身上的第一摄像头拍摄巡检机器人的行进方向上的正前方的第一图像,并通过设置在巡检机器人机身上的第二摄像头拍摄巡检机器人的行进方向上的正前方的第二图像,并将第i个时刻获得的第一图像和第二图像发送至所述远程控制中心,其中,所述第一摄像头位于所述架空线的正上方,所述第二摄像头位于所述架空线的正下方,所述第一摄像头和所述第二摄像头的内参相同;
所述远程控制中心根据第i个时刻获得的第一图像和第二图像,获得第i个时刻的融合图像,以及所述第i个时刻的融合图像中的检测范围,其中,所述检测范围为以所述融合图像的中心为形心的矩形区域的范围,且所述矩形区域的尺寸小于融合图像的尺寸,其中,i为大于1的正整数;
获取第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,其中,第i个时刻和第i-1个时刻之间的时间间隔根据公式/>来确定,/>为第一摄像头的前焦距,/>为所述预设速度;
根据所述第i个时刻的融合图像、所述第i个时刻的融合图像中的检测范围、所述第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,确定所述第i个时刻的融合图像中的检测范围内是否存在侵扰目标,以及所述侵扰目标的类型;
通过设置在巡检机器人机身上的测距雷达测量所述侵扰目标与所述巡检机器人之间的第一距离;
根据所述侵扰目标的类型和所述第一距离,确定侵扰目标的安全性评分;
如果所述侵扰目标的安全性评分低于预设安全阈值,生成侵扰目标报告信息;
根据所述第i个时刻的融合图像、所述第i个时刻的融合图像中的检测范围、所述第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,确定所述第i个时刻的融合图像中的检测范围内是否存在侵扰目标,以及所述侵扰目标的类型,包括:
通过训练后的目标检测模型,确定所述第i个时刻的融合图像中的检测范围内是否存在侵扰目标;
如果所述第i个时刻的融合图像中的检测范围内存在侵扰目标,确定所述侵扰目标所在的目标区域;
在所述第i个时刻的融合图像中,截取出所述第i个时刻的融合图像中的检测范围的第一图像块;
在所述第i-1个时刻的融合图像中的检测范围内,确定出对比范围,其中,所述对比范围的形心与所述第i-1个时刻的融合图像中的检测范围的形心相同,且所述对比范围的边长为所述第i-1个时刻的融合图像中的检测范围的边长的一半;
在所述第i-1个时刻的融合图像中,截取出所述对比范围的对比图像块;
根据所述第一图像块、所述对比图像块和所述目标区域,确定所述侵扰目标的类型;
根据所述第一图像块和所述对比图像块,确定所述侵扰目标的类型,包括:
将所述第一图像块进行放缩,获得第二图像块,其中,所述第二图像块的尺寸与所述对比图像块相同;
将所述第二图像块进行二值化处理,获得第二二值化图像块;
将所述对比图像块进行二值化处理,获得对比二值化图像块;
将所述对比二值化图像块与所述第二二值化图像块进行作差,获得差值图像块;
根据所述目标区域在所述第一图像块中的位置,确定所述差值图像块中与所述目标区域对应的侵扰目标区域;
如果所述侵扰目标区域中,像素值为1的像素点的数量与所述侵扰目标区域中像素点的总数之比大于或等于第一比例阈值,则所述侵扰目标的类型为固定目标;
如果所述侵扰目标区域中,像素值为1的像素点的数量与所述侵扰目标区域中像素点的总数之比小于第一比例阈值,则所述侵扰目标的类型为运动目标。
2.根据权利要求1所述的基于遥控通信的接触网线路测距巡检方法,其特征在于,所述方法还包括:
在历史时刻获得的历史融合图像中,确定预设标志物在所述历史融合图像中的样本位置,其中,所述预设标志物与所述架空线的实际距离为第一样本距离,所述预设标志物与巡检机器人的距离为第二样本距离;
确定所述样本位置与所述历史融合图像的中心之间的第一图像距离;
获取与所述架空线对应的预设侵扰距离;
根据所述第一样本距离、所述第二样本距离、所述第一图像距离和所述预设侵扰距离,确定所述检测范围的边长。
3.根据权利要求2所述的基于遥控通信的接触网线路测距巡检方法,其特征在于,根据所述第一样本距离、所述第二样本距离、所述第一图像距离和所述预设侵扰距离,确定所述检测范围的边长,包括:
根据公式
确定所述检测范围的边长,其中,/>为所述预设侵扰距离,/>为所述第一摄像头的前焦距,/>为所述第一样本距离,/>为所述第二样本距离,/>为所述第一图像距离。
4.根据权利要求3所述的基于遥控通信的接触网线路测距巡检方法,其特征在于,根据所述侵扰目标的类型和所述第一距离,确定侵扰目标的安全性评分,包括:
如果所述侵扰目标的类型为固定目标,则获取所述固定目标在第i个时刻的融合图像中所在的区域与所述第i个时刻的融合图像的中心之间的最小固定距离;
根据所述最小固定距离、所述第一距离和所述第一摄像头的前焦距,确定侵扰目标的安全性评分。
5.根据权利要求4所述的基于遥控通信的接触网线路测距巡检方法,其特征在于,根据所述最小固定距离、所述第一距离和所述第一摄像头的前焦距,确定侵扰目标的安全性评分,包括:
根据公式
确定侵扰目标的安全性评分S,其中,为所述第一距离,/>为所述最小固定距离。
6.根据权利要求3所述的基于遥控通信的接触网线路测距巡检方法,其特征在于,根据所述侵扰目标的类型和所述第一距离,确定侵扰目标的安全性评分,包括:
如果所述侵扰目标的类型为运动目标,则获取所述运动目标在第i个时刻的融合图像中所在的区域与所述第i个时刻的融合图像的中心之间的最小运动距离;
获取所述运动目标在第i个时刻的融合图像中所在的区域的最小外接圆直径;
根据所述最小运动距离、所述最小外接圆直径、所述第一距离和所述第一摄像头的前焦距,确定侵扰目标的安全性评分。
7.根据权利要求6所述的基于遥控通信的接触网线路测距巡检方法,其特征在于,根据所述最小运动距离、所述最小外接圆直径、所述第一距离和所述第一摄像头的前焦距,确定侵扰目标的安全性评分,包括:
根据公式
确定侵扰目标的安全性评分S,其中,为所述第一距离,/>为所述最小运动距离,/>为所述最小外接圆直径。
8.一种巡检机器人,其特征在于,包括:用于执行如权利要求1-7中任一项所述的方法的远程控制中心、控制器、第一摄像头、第二摄像头和测距雷达,所述测距雷达设置在所述巡检机器人机身内;所述第一摄像头和第二摄像头设置在巡检机器人机身上:
所述远程控制中心用于:
在将巡检机器人的设置在接触网线路的架空线上后,向巡检机器人的控制器发送巡检指令,使所述巡检机器人按照预设速度沿架空线行进;
在发送所述巡检指令后的第i个时刻,通过设置在巡检机器人机身上的第一摄像头拍摄巡检机器人的行进方向上的正前方的第一图像,并通过设置在巡检机器人机身上的第二摄像头拍摄巡检机器人的行进方向上的正前方的第二图像,并将第i个时刻获得的第一图像和第二图像发送至所述远程控制中心,其中,所述第一摄像头位于所述架空线的正上方,所述第二摄像头位于所述架空线的正下方,所述第一摄像头和所述第二摄像头的内参相同;
根据第i个时刻获得的第一图像和第二图像,获得第i个时刻的融合图像,以及所述第i个时刻的融合图像中的检测范围,其中,所述检测范围为以所述融合图像的中心为形心的矩形区域的范围,且所述矩形区域的尺寸小于融合图像的尺寸,其中,i为大于1的正整数;
获取第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,其中,第i个时刻和第i-1个时刻之间的时间间隔根据公式/>来确定,/>为第一摄像头的前焦距,/>为所述预设速度;
根据所述第i个时刻的融合图像、所述第i个时刻的融合图像中的检测范围、所述第i-1个时刻的融合图像以及所述第i-1个时刻的融合图像中的检测范围,确定所述第i个时刻的融合图像中的检测范围内是否存在侵扰目标,以及所述侵扰目标的类型;
通过设置在巡检机器人机身上的测距雷达测量所述侵扰目标与所述巡检机器人之间的第一距离;
根据所述侵扰目标的类型和所述第一距离,确定侵扰目标的安全性评分;
如果所述侵扰目标的安全性评分低于预设安全阈值,生成侵扰目标报告信息。
CN202410295575.4A 2024-03-15 2024-03-15 基于遥控通信的接触网线路测距巡检方法和巡检机器人 Active CN117885116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410295575.4A CN117885116B (zh) 2024-03-15 2024-03-15 基于遥控通信的接触网线路测距巡检方法和巡检机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410295575.4A CN117885116B (zh) 2024-03-15 2024-03-15 基于遥控通信的接触网线路测距巡检方法和巡检机器人

Publications (2)

Publication Number Publication Date
CN117885116A CN117885116A (zh) 2024-04-16
CN117885116B true CN117885116B (zh) 2024-05-24

Family

ID=90644419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410295575.4A Active CN117885116B (zh) 2024-03-15 2024-03-15 基于遥控通信的接触网线路测距巡检方法和巡检机器人

Country Status (1)

Country Link
CN (1) CN117885116B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014086086A1 (zh) * 2012-12-05 2014-06-12 国网山东省电力公司电力科学研究院 500kv分裂导线巡检作业机器人平台
CN112692845A (zh) * 2020-12-23 2021-04-23 深圳亿嘉和科技研发有限公司 一种架空线路巡检机器人及巡检方法
CN114792405A (zh) * 2022-04-29 2022-07-26 贵州电网有限责任公司 一种架空线路防异物入侵监测方法
WO2022188379A1 (zh) * 2021-03-12 2022-09-15 国网智能科技股份有限公司 服务于电力机器人的人工智能系统及方法
CN116311071A (zh) * 2023-03-30 2023-06-23 国网江苏省电力有限公司无锡供电分公司 一种融合帧差和ca的变电站周界异物识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014086086A1 (zh) * 2012-12-05 2014-06-12 国网山东省电力公司电力科学研究院 500kv分裂导线巡检作业机器人平台
CN112692845A (zh) * 2020-12-23 2021-04-23 深圳亿嘉和科技研发有限公司 一种架空线路巡检机器人及巡检方法
WO2022188379A1 (zh) * 2021-03-12 2022-09-15 国网智能科技股份有限公司 服务于电力机器人的人工智能系统及方法
CN114792405A (zh) * 2022-04-29 2022-07-26 贵州电网有限责任公司 一种架空线路防异物入侵监测方法
CN116311071A (zh) * 2023-03-30 2023-06-23 国网江苏省电力有限公司无锡供电分公司 一种融合帧差和ca的变电站周界异物识别方法及系统

Also Published As

Publication number Publication date
CN117885116A (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
US20200208970A1 (en) Method and device for movable object distance detection, and aerial vehicle
US20220383484A1 (en) Tunnel defect detecting method and system using unmanned aerial vehicle
EP2243125B1 (en) Vision based real time traffic monitoring
CN110264495B (zh) 一种目标跟踪方法及装置
CN107194360B (zh) 逆向通行对象识别方法、装置及系统
CN116310679A (zh) 多传感器融合目标检测方法、系统、介质、设备及终端
CN102722894B (zh) 一种基于摄像机自动标定的智能视频监控方法
CN111967323B (zh) 一种基于深度学习算法的电力带电作业安全检测方法
CN110189363A (zh) 一种机场场面移动目标低视角视频测速方法
CN112489125A (zh) 一种堆场行人自动检测方法及装置
CN114529811A (zh) 一种地铁隧道异物的快速自动识别与定位方法
CN117885116B (zh) 基于遥控通信的接触网线路测距巡检方法和巡检机器人
CN113965733A (zh) 双目视频监控方法、系统、计算机设备及存储介质
CN112263188B (zh) 一种移动机器人行进方向的矫正方法及其设备
WO2021238095A1 (zh) 一种合金分析系统及其复检方法
EP4332911A1 (en) Automatic configuration of camera settings using radar
CN116922448A (zh) 用于高铁白车身转运机器人的环境感知方法、装置及系统
Lu et al. Multisensor system for safer human-robot interaction
CN111461079A (zh) 一种基于双目图像的吊臂下人员检测方法
CN116142981A (zh) 吊装作业人员预警方法、装置、系统及吊装设备
CN112925326B (zh) 一种基于激光雷达和深度相机数据融合的agv避障方法
EP2796402A1 (en) System and control procedure for the positioning of bridge cranes
CN114690779A (zh) 基于机器人视觉识别的定位方法和装置
CN113989335A (zh) 一种对厂房内工人自动定位的方法
JP2019079338A (ja) 対象物検知システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240830

Address after: Room 202, No. 139, Fengtai intersection, Fengtai District, Beijing 100036

Patentee after: CHINA RAILWAY ELECTRIFICATION BUREAU (GROUP) Co.,Ltd.

Country or region after: China

Patentee after: CREC EEB OPERATION MAINTENANCE CO.,LTD.

Patentee after: SICHUAN RUIEN ZHITIE ELECTRICAL EQUIPMENT CO.,LTD.

Address before: Room 101, building B, No. 9, Fuqian Road, shandongzhuang Town, Pinggu District, Beijing 100068

Patentee before: CREC EEB OPERATION MAINTENANCE CO.,LTD.

Country or region before: China

Patentee before: SICHUAN RUIEN ZHITIE ELECTRICAL EQUIPMENT CO.,LTD.