CN108305346A - 设备巡检方法、装置 - Google Patents
设备巡检方法、装置 Download PDFInfo
- Publication number
- CN108305346A CN108305346A CN201711452157.8A CN201711452157A CN108305346A CN 108305346 A CN108305346 A CN 108305346A CN 201711452157 A CN201711452157 A CN 201711452157A CN 108305346 A CN108305346 A CN 108305346A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- checked
- measurement equipment
- dimensional
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C3/00—Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例提供一种设备巡检方法和装置,方法包括:接收用户根据待检测空间的三维分布图规划的巡检航线;获取通过无人机上的红外相机拍得的热力图;若热力图中存在温度值超过第一预设阈值的高温区域,则在根据三维分布图预先得到的二维热力位置特征图中匹配与高温区域对应的图像块;根据该图像块中包含的待检测设备的二维位置信息确定无人机的二维位置和航向,以及输出待检测设备对应的故障信息;根据无人机上的测距装置测得的距离和从三维分布图中得到的该待检测设备的高度,确定无人机的飞行高度;根据由无人机的二维位置、航向和飞行高度构成的位姿信息控制无人机按照巡检航线航行,从而,实现了无人机在自动航行过程中对设备完成检测。
Description
技术领域
本发明涉及无人机技术领域,尤其涉及一种设备巡检方法、装置。
背景技术
无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。目前,无人机已经被应用于多种技术领域,其中,一种应用场景为利用无人机进行设备巡检,比如,对设备的发热情况进行巡检,以及时检查出异常发热的设备。
现有技术中,需要操控者通过控制终端控制无人机飞行,这种方式下,需要操控者根据检查场景实时对无人机进行遥控操作,操作不便,且需要操控者具有较高的遥控操作水平,且无法实现故障设备的定位。
发明内容
有鉴于此,本发明实施例提供一种设备巡检方法、装置,用以实现无人机对待检测设备的自动巡检。
第一方面,本发明实施例提供一种设备巡检方法,包括:
接收用户根据待检测空间的三维分布图规划的巡检航线,所述三维分布图中包含所述待检测空间中各待检测设备的三维位置信息;
获取通过无人机上的红外相机拍得的热力图,所述红外相机具有与垂直方向呈预设角度的视角;
若所述热力图中存在温度值超过第一预设阈值的高温区域,则在根据所述三维分布图预先得到的二维热力位置特征图中匹配与所述高温区域对应的图像块;
根据所述图像块中包含的待检测设备的二维位置信息确定无人机的二维位置和航向,以及输出所述待检测设备对应的故障信息;
根据无人机上的测距装置测得的距离和从所述三维分布图中得到的所述待检测设备的高度,确定所述无人机的飞行高度,所述测距装置用于进行垂直方向测距;
根据所述无人机的位姿信息控制所述无人机按照所述巡检航线航行,所述无人机的二维位置、航向和所述飞行高度构成所述位姿信息。
第二方面,本发明实施例提供一种设备巡检装置,包括:
接收模块,用于接收用户根据待检测空间的三维分布图规划的巡检航线,所述三维分布图中包含所述待检测空间中各待检测设备的三维位置信息;
获取模块,用于获取通过无人机上的红外相机拍得的热力图,所述红外相机具有与垂直方向呈预设角度的视角;
第一匹配模块,用于若所述热力图中存在温度值超过第一预设阈值的高温区域,则在根据所述三维分布图预先得到的二维热力位置特征图中匹配与所述高温区域对应的图像块;
第一确定模块,用于根据所述图像块中包含的待检测设备的二维位置信息确定无人机的二维位置和航向,以及输出所述待检测设备对应的故障信息;
第二确定模块,用于根据无人机上的测距装置测得的距离和从所述三维分布图中得到的所述待检测设备的高度,确定所述无人机的飞行高度,所述测距装置用于进行垂直方向测距;
航行控制模块,用于根据所述无人机的位姿信息控制所述无人机按照所述巡检航线航行,所述无人机的二维位置、航向和所述飞行高度构成所述位姿信息。
另外,本发明实施例提供一种电子设备,包括处理器和存储器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的设备巡检方法。该电子设备还可以包括通信接口,用于与其他设备或通信网络通信。
本发明实施例提供了一种计算机存储介质,用于储存存储计算机程序,所述计算机程序使计算机执行时实现上述第一方面中的设备巡检方法。
本发明实施例提供的设备巡检方法、装置,预先生成待检测空间的三维分布图,该三维分布图中包含待检测空间中各待检测设备的三维位置信息,从而用户能够基于该三维分布图了解各待检测设备的位置,以便用户能够根据该三维分布图绘制出用于无人机检测各待检测设备的发热情况的巡检航线,使得无人机能够按照该巡检航线进行自动航行并在航行过程中进行设备检测。为此,无人机上需要设置红外相机和测距装置,该红外相机用于在无人机航行过程中拍得反映待检测设备发热情况的热力图,该测距装置用于测量无人机的飞行高度。具体地,假设无人机当前位于某个位置时红外相机向下拍得一热力图,如果该热力图中存在温度值超过第一预设阈值的高温区域,说明该高温区域对应于某个发热异常的待检测设备,为了确定该待检测设备的位置,以及无人机在待检测空间的位姿信息即三维位置和航向:首先,在根据三维分布图预先得到的二维热力位置特征图中匹配与高温区域对应的图像块,该二维热力位置特征图反映了各待检测设备的二维位置信息以及区分了各待检测设备与背景对象的热力特征,该图像块中即包含高温区域对应的待检测设备即发热异常的故障设备,从而,根据该待检测设备在二维热力位置特征图中的二维位置信息可以确定无人机的二维位置和航向以及确定该故障设备的位置,从而可以输出比如包含该故障设备的位置的故障信息;其次,为了确定无人机当前的位姿信息,还需进一步获取无人机的飞行高度:可以根据无人机上的测距装置测得的距离和从三维分布图中得到的上述待检测设备即故障设备的高度来确定无人机的飞行高度;之后,可以根据由无人机的二维位置、航向和飞行高度构成的位姿信息控制无人机按照巡检航线继续航行来检测各待检测设备的发热情况,从而,实现了无人机在自动巡航过程中完成对设备的检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的设备巡检方法实施例一的流程图;
图2为本发明实施例提供的设备巡检方法实施例二的流程图;
图3为本发明实施例提供的设备巡检装置的结构示意图;
图4为与图3所示实施例提供的设备巡检装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX区分开。例如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
图1为本发明实施例提供的设备巡检方法实施例一的流程图,该设备巡检方法可以由用于无人机来执行,具体地,可以由安装在无人机中的巡检客户端来执行。如图1所示,该方法包括如下步骤:
101、接收用户根据待检测空间的三维分布图规划的巡检航线,三维分布图中包含待检测空间中各待检测设备的三维位置信息。
本实施例中,该待检测空间比如为某个厂房、某个房间,该空间内部署有多个待检测设备,待检测设备比如为热力管道、热力设备等。
预先生成该待检测空间的三维分布图,该三维分布图中包含待检测空间中各待检测设备的三维位置信息,可选地,该三维分布图中还可以包括该待检测空间的空间结构信息,比如房屋的墙壁、房顶的结构信息,以便于用户结合该空间结构信息和各待检测设备的三维位置信息进行无人机巡检航线的规划。
值得说明的是,待检测空间中除了包含多个待检测设备外,可能还放置有其他的无关物体,比如桌椅等,该三维分布图中可以不具有这些无关物体的信息。
在一种场景中,无人机中可以安装有巡检客户端,基于用户的操作,可以在该客户端界面中显示上述三维分布图,以便用户可以在该三维分布图上绘制巡检航线,触发无人机按照该巡检航线进行设备巡检航行。
在另一种场景中,用户终端设备比如智能手机中可以安装有巡检客户端,基于用户的操作,可以在该客户端界面中显示上述三维分布图,以便用户可以在该三维分布图上绘制巡检航线,进而触发用户终端设备将该巡检航线发送至无人机,以控制无人机按照该巡检航线进行设备巡检航行。
用户规划的巡检航线中可以具有航行轨迹、飞行高度、飞行速度信息。
本发明实施例中,需要让无人机在按照该巡检航线航行的过程中完成对待检测设备的发热情况的检测,以及时发现故障设备即发热异常的设备。为此,一方面需要实现无人机按照该巡检航线的自动航行,另一方面需要实现对设备发热情况的检测。而实现自动航行的基础是无人机能够准确定位出自己的实时位姿,即三维位置和航向,同时,故障设备的检测也需要准确定位出故障设备的位置。结合下述步骤说明无人机位姿和故障设备位置的定位过程。
102、获取通过无人机上的红外相机拍得的热力图,红外相机具有与垂直方向呈预设角度的视角。
为了实现对待检测设备的发热情况的检测,在无人机上设置有红外相机,该红外相机具有与垂直方向呈预设角度的视角,也就是说,该红外相机可以设置在无人机的机体下方某位置处,并调整红外相机的拍摄视角,使其具有向下拍摄的一定角度范围的视角,比如设置红外相机可以拍摄无人机正下方左右分别10度范围内的物体。为了保证无人机位姿和故障设备检测结果的准确性,红外相机的拍摄视角不应过大。
实际应用中,可以结合用户规划的飞行速度来设定红外相机的图像采集时间间隔,当飞行速度较高时,可以设定图像采集时间间隔较短;当飞行速度较低时,可以设定图像采集时间间隔较长。
红外相机自启动工作即无人机开始飞行开始,每隔图像采集时间间隔触发采集一次热力图。该热力图是反映拍得物体的温度分布特征的图像,不同温度可以采用不同颜色进行表示,其中,拍得的物体可能包含一个或多个待检测设备,也可能不包含任何待检测设备。
若拍得的热力图中不包含任何待检测设备,则可以认为该热力图是无用的,忽略该热力图。
热力图中是否含有待检测设备可以基于热力图中是否包含有对应温度大于一定阈值的温度区域来确定,因为待检测设备工作时会发出热量,而诸如桌椅、墙壁等背景对象不会发出热量。为与下述阈值区分,称该阈值为第二预设阈值,该第二预设阈值用于划分热力图中的待检测设备和背景对象比如桌椅、墙壁,该第二预设阈值一般为较低的温度值。
103、若热力图中存在温度值超过第一预设阈值的高温区域,则在根据三维分布图预先得到的二维热力位置特征图中匹配与高温区域对应的图像块。
104、根据图像块中包含的待检测设备的二维位置信息确定无人机的二维位置和航向,以及输出该待检测设备对应的故障信息。
105、根据无人机上的测距装置测得的距离和从三维分布图中得到的所述待检测设备的高度,确定无人机的飞行高度,测距装置用于进行垂直方向测距。
106、根据无人机的位姿信息控制无人机按照巡检航线航行,无人机的二维位置、航向和飞行高度构成位姿信息。
如果当前拍得的热力图中包含大于上述第二预设阈值的温度区域,则说明当前拍到了一个或多个待检测设备。而如果该热力图中还进一步包含温度值超过第一预设阈值的高温区域,则可以确定当前拍得的待检测设备中存在故障设备,即发热异常的待检测设备,其中,第二预设阈值小于第一预设阈值。
此时,不仅需要定位出无人机的位姿信息,还需要确定该故障设备的位置。而此时无人机位姿信息也可以基于故障设备的位置进行确定。
具体地,为了不为无人机附加其他设备,只基于拍得的热力图和已知的三维分布图,可以通过如下过程实现故障设备的定位:
首先,可以预先基于三维分布图生成待检测空间对应的二维热力位置特征图,该二维热力位置特征图反应了待检测空间中各待检测设备的二维位置信息以及区别显示了待检测设备和背景对象的热力特征。具体地,可以对三维分布图中包含的各待检测设备进行垂直投影,以获得二维位置特征图;进而将二维位置特征图中各待检测设备的投影区域二值化为第一灰度值,其他区域二值化为第二灰度值,以获得二维热力位置特征图。其中,第一灰度值比如用1来表示,第二灰度值比如用0来表示,从而,二维热力位置特征图中映射有待检测设备的区域为黑色区域,其他区域为白色区域。
其次,在二维热力位置特征图中匹配与热力图中的高温区域对应的图像块,也就是在二维热力位置特征图中查找与热力图中的高温区域所对应的热力特征相匹配的图像区域。而为了能够进行该匹配处理,可以先对该热力图进行二值化预处理。具体地,可以将热力图中温度高于第二预设阈值的区域二值化为第一灰度值比如为1,将温度低于第二预设阈值的区域二值化为第二灰度值比如为0,其中,该第二预设阈值即为上述用于划分热力图中的待检测设备和背景对象的温度阈值。
值得说明的是,由于上述第一预设阈值大于第二预设阈值,从而热力图中温度值高于第一预设阈值的高温区域以及温度值在第二预设阈值和第一预设阈值之间的温度区域都会被二值化为相同的第一灰度值1,因此,为了实现能够在二维热力位置特征图中匹配与热力图中的高温区域对应的图像块,需要在二值化后的热力图中标记出超过第一预设阈值的该高温区域。
基于此,在二维热力位置特征图中匹配与高温区域对应的图像块,可以实现为:在二维热力位置特征图中匹配与二值化后的热力图对应的第一图像块;进而在第一图像块中定位与标注出的高温区域对应的第二图像块,该第二图像块即为二维热力位置特征图中与高温区域对应的图像块。
其中,第一图像块的匹配过程即为在二维热力位置特征图中查找二值化后的热力图的过程。值得说明的是,受无人机当前的航向对红外相机拍摄角度的影响,在第一图像块的匹配过程中,往往需要对二值化后的热力图进行角度旋转,可选地,可以每次旋转一定角度,之后在二维热力位置特征图中查找是否存在与旋转后的二值化热力图相匹配的第一图像块。理想情况下,第一图像块与旋转一定角度的二值化后的热力图重合。
在查找到第一图像块之后,在第一图像块中进一步查找高温区域对应的第二图像块,由于在二值化后的热力图中已经标记出该高温区域,因此,可以直接将第一图像块中落入该标记范围内的图像作为第二图像块。
之后,可以确定匹配出的图像块即第二图像块中包含的待检测设备即为故障设备,由于第二图像块为二维热力位置特征图中的图像块,而二维热力位置特征图中包含有各待检测设备的二维位置信息,因此,可以得到第二图像块中待检测设备的二维位置信息。此时,可以输出该设备的故障信息,该故障信息中可以包括该待检测设备的二维位置信息、该待检测设备的发热温度。另外,可选地,还可以基于该二维位置信息查询三维分布图,进一步得到该待检测设备的三维位置信息,故障信息中还可以包括该三维位置信息。
另外,无人机位姿信息的确定可以实现为:根据第二图像块中包含的待检测设备的二维位置确定无人机的二维位置,即无人机的二维位置即为该待检测设备的二维位置;可以根据匹配到第二图像块时对二值化后的热力图进行旋转的旋转角度,确定无人机的航向。而无人机的位姿信息由航向和三维位置构成,因此,还需要获得飞行高度。飞行高度的获取可以是:根据无人机上的测距装置测得的距离和从三维分布图中得到的第二图像块中包含的待检测设备的高度,确定无人机的飞行高度。
无人机上设置有测距装置,该测距装置可以是超声传感器,安装在无人机机体的下方,用于进行无人机正下方即垂直方向测距。该测距装置与红外相机的设置位置可以是相邻位置。
可以理解的是,此时,测距装置向下测得的距离值是无人机到故障设备的距离,而此时的飞行高度为该距离值与故障设备的高度的加和。由于已经确定出第二图像块中包含的待检测设备即故障设备的二维位置,基于该二维位置查询三维分布图即可得到该故障设备的高度,从而可以确定出无人机当前的飞行高度。
基于此,可以确定无人机当前的位姿信息:由二维位置和飞行高度得到的三维位置以及航向。从而,无人机可以基于当前位姿和巡检航线控制动力系统按照该巡检航线继续航行。
综上,基于本发明实施例提供的设备巡检方法,只需在无人机上设置红外相机和测距装置,以及获得待检测空间的三维分布图即可以实现无人机对待检测设备发热情况的自动巡检。
图2为本发明实施例提供的设备巡检方法实施例二的流程图,如图2所示,该方法可以包括如下步骤:
201、接收用户根据待检测空间的三维分布图规划的巡检航线。
202、获取通过无人机上的红外相机拍得的热力图。
203、将热力图中温度高于第二预设阈值的区域二值化为第一灰度值,将温度低于第二预设阈值的区域二值化为第二灰度值。
204、若热力图中不存在温度值超过第一预设阈值的高温区域,则在二维热力位置特征图中匹配与二值化后的热力图对应的图像块。
实际应用中,比如当前待检测空间的各待检测设备都没有发热异常情况,即假设无人机在当前位置处通过红外相机拍得的热力图中虽然具有待检测设备,但是不具有发热异常的待检测设备,此时,为了实现无人机按照巡检航线继续航行,也需要结合拍得的热力图进行无人机位姿的确定。
也就是说,假设当前拍得的热力图中包含温度值在第二预设阈值和第一预设阈值之间的温度区域,则可以如前述实施例所述,先对热力图进行二值化处理,之后,在二维热力位置特征图中匹配与二值化后的热力图对应的图像块,该图像块匹配的过程参见前述实施例中对第一图像块匹配过程的描述,在此不赘述。
205、确定无人机的二维位置为图像块的中心位置。
此时,该图像块中可能包含有一个或多个正常工作的待检测设备,可选地,此时可以认为无人机的二维位置为图像块的中心位置。由于二维热力位置特征图是对三维分布图进行垂直投影以及二值化处理得到的,因此,二维热力位置特征图中包含有三维分布图中所具有的二维位置信息,因此,可以从二维热力位置特征图中获得该中心位置的二维位置作为无人机的二维位置。
206、根据匹配到图像块时对二值化后的热力图进行旋转的旋转角度,确定无人机的航向。
207、在三维分布图中确定所述中心位置处是否具有待检测设备,若具有,则执行步骤208,否则,执行步骤209。
208、根据测距装置测得的距离和从三维分布图中得到的所述待检测设备的高度,确定无人机的飞行高度。
209、根据测距装置测得的距离确定无人机的飞行高度。
由于测距装置测量的是无人机到无人机下方障碍物之间的距离,若无人机下方具有待检测设备,则该障碍物为该待检测设备,若无人机下方不具有待检测设备,则该障碍物为地面,此时假设待检测空间中不具有其他尺寸较大的无关物体。因此,在得到中心位置对于的二维位置后,可以查询三维分布图,看三维分布图中该二维位置处是否具有待检测设备,如果有,则无人机的飞行高度为测距装置测得的距离与该待检测设备高度的加和;如果没有,则无人机的飞行高度为测距装置测得的距离。
210、根据无人机的位姿信息控制无人机按照巡检航线航行,无人机的二维位置、航向和飞行高度构成位姿信息。
以下将详细描述本发明的一个或多个实施例的设备巡检装置。本领域技术人员可以理解,这些设备巡检装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图3为本发明实施例提供的设备巡检装置的结构示意图,如图3所示,该装置包括:接收模块11、获取模块12,第一匹配模块13、第一确定模块14、第二确定模块15、航行控制模块16。
接收模块11,用于接收用户根据待检测空间的三维分布图规划的巡检航线,所述三维分布图中包含所述待检测空间中各待检测设备的三维位置信息。
获取模块12,用于获取通过无人机上的红外相机拍得的热力图,所述红外相机具有与垂直方向呈预设角度的视角。
第一匹配模块13,用于若所述热力图中存在温度值超过第一预设阈值的高温区域,则在根据所述三维分布图预先得到的二维热力位置特征图中匹配与所述高温区域对应的图像块。
第一确定模块14,用于根据所述图像块中包含的待检测设备的二维位置信息确定无人机的二维位置和航向,以及输出所述待检测设备对应的故障信息。
第二确定模块15,用于根据无人机上的测距装置测得的距离和从所述三维分布图中得到的所述待检测设备的高度,确定所述无人机的飞行高度,所述测距装置用于进行垂直方向测距。
航行控制模块16,用于根据所述无人机的位姿信息控制所述无人机按照所述巡检航线航行,所述无人机的二维位置、航向和所述飞行高度构成所述位姿信息。
可选地,该装置还包括:第一图像处理模块17、第二图像处理模块18。
第一图像处理模块17,用于对所述三维分布图中包含的所述各待检测设备进行垂直投影,以获得二维位置特征图;将所述二维位置特征图中所述各待检测设备的投影区域二值化为第一灰度值,其他区域二值化为第二灰度值,以获得所述二维热力位置特征图。
第二图像处理模块18,用于将所述热力图中温度高于第二预设阈值的区域二值化为第一灰度值,将温度低于所述第二预设阈值的区域二值化为第二灰度值,其中,所述第二预设阈值小于所述第一预设阈值,所述第二预设阈值用于划分所述热力图中的待检测设备和背景对象。
相应地,所述第一匹配模块13具体用于:
在二值化后的热力图中标记出所述超过第一预设阈值的高温区域;在所述二维热力位置特征图中匹配与所述二值化后的热力图对应的第一图像块;在所述第一图像块中定位与所述高温区域对应的第二图像块。
相应可选地,所述第一确定模块14用于:
根据所述第二图像块中包含的待检测设备的二维位置确定无人机的二维位置;根据匹配到所述第二图像块时对所述二值化后的热力图进行旋转的旋转角度,确定无人机的航向。
可选地,该装置还包括:第二匹配模块21、第三确定模块22、第四确定模块23、第五确定模块24。
第二匹配模块21,用于若所述热力图中不存在温度值超过所述第一预设阈值的高温区域,则在所述二维热力位置特征图中匹配与所述二值化后的热力图对应的图像块。
第三确定模块22,用于确定无人机的二维位置为所述图像块的中心位置;根据匹配到所述图像块时对所述二值化后的热力图进行旋转的旋转角度,确定无人机的航向。
第四确定模块23,用于在所述三维分布图中确定所述中心位置处是否具有待检测设备。
第五确定模块24,用于若所述第四确定模块23确定具有所述待检测设备,则根据测距装置测得的距离和从所述三维分布图中得到的所述待检测设备的高度,确定所述无人机的飞行高度;若确定不具有所述待检测设备,则根据测距装置测得的距离确定所述无人机的飞行高度。
所述航行控制模块16,还用于根据所述无人机的位姿信息控制所述无人机按照所述巡检航线航行,所述二维位置、所述航向和所述飞行高度构成所述位姿信息。
图3所示装置可以执行图1、图2所示实施例的方法,本实施例未详细描述的部分,可参考对图1、图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1、图2所示实施例中的描述,在此不再赘述。
以上描述了设备巡检装置的内部功能和结构,在一个可能的设计中,设备巡检装置的结构可实现为一电子设备,如图4所示,该电子设备可以包括:处理器31和存储器32。其中,所述存储器32用于存储支持设备巡检装置执行上述图1、图2所示实施例中提供的设备巡检方法的程序,所述处理器31被配置为用于执行所述存储器32中存储的程序。
所述程序包括一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器31执行时能够实现如下步骤:
接收用户根据待检测空间的三维分布图规划的巡检航线,所述三维分布图中包含所述待检测空间中各待检测设备的三维位置信息;
获取通过无人机上的红外相机拍得的热力图,所述红外相机具有与垂直方向呈预设角度的视角;
若所述热力图中存在温度值超过第一预设阈值的高温区域,则在根据所述三维分布图预先得到的二维热力位置特征图中匹配与所述高温区域对应的图像块;
根据所述图像块中包含的待检测设备的二维位置信息确定无人机的二维位置和航向,以及输出所述待检测设备对应的故障信息;
根据无人机上的测距装置测得的距离和从所述三维分布图中得到的所述待检测设备的高度,确定所述无人机的飞行高度,所述测距装置用于进行垂直方向测距;
根据所述无人机的位姿信息控制所述无人机按照所述巡检航线航行,所述无人机的二维位置、航向和所述飞行高度构成所述位姿信息。
可选地,所述处理器31还用于执行前述图1、图2所示实施例中的全部或部分步骤。
其中,所述设备巡检装置的结构中还可以包括通信接口33,用于设备巡检装置与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存设备巡检装置所用的计算机软件指令,其包含用于执行上述图1、图2所示方法实施例中广告投放方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(f l ash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(trans itory med i a),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种设备巡检方法,其特征在于,包括:
接收用户根据待检测空间的三维分布图规划的巡检航线,所述三维分布图中包含所述待检测空间中各待检测设备的三维位置信息;
获取通过无人机上的红外相机拍得的热力图,所述红外相机具有与垂直方向呈预设角度的视角;
若所述热力图中存在温度值超过第一预设阈值的高温区域,则在根据所述三维分布图预先得到的二维热力位置特征图中匹配与所述高温区域对应的图像块;
根据所述图像块中包含的待检测设备的二维位置信息确定无人机的二维位置和航向,以及输出所述待检测设备对应的故障信息;
根据无人机上的测距装置测得的距离和从所述三维分布图中得到的所述待检测设备的高度,确定所述无人机的飞行高度,所述测距装置用于进行垂直方向测距;
根据所述无人机的位姿信息控制所述无人机按照所述巡检航线航行,所述无人机的二维位置、航向和所述飞行高度构成所述位姿信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述三维分布图中包含的所述各待检测设备进行垂直投影,以获得二维位置特征图;
将所述二维位置特征图中所述各待检测设备的投影区域二值化为第一灰度值,其他区域二值化为第二灰度值,以获得所述二维热力位置特征图。
3.根据权利要求1或2所述的方法,其特征在于,所述获取通过无人机上的红外相机拍得的热力图之后,还包括:
将所述热力图中温度高于第二预设阈值的区域二值化为第一灰度值,将温度低于所述第二预设阈值的区域二值化为第二灰度值,其中,所述第二预设阈值小于所述第一预设阈值,所述第二预设阈值用于划分所述热力图中的待检测设备和背景对象。
4.根据权利要求3所述的方法,其特征在于,所述在根据所述三维分布图预先得到的二维热力位置特征图中匹配与所述高温区域对应的图像块,包括:
在二值化后的热力图中标记出所述超过第一预设阈值的高温区域;
在所述二维热力位置特征图中匹配与所述二值化后的热力图对应的第一图像块;
在所述第一图像块中定位与所述高温区域对应的第二图像块。
5.根据权利要求4所述的方法,其特征在于,所述根据所述图像块中包含的待检测设备的二维位置确定无人机的二维位置和航向,包括:
根据所述第二图像块中包含的待检测设备的二维位置确定无人机的二维位置;
根据匹配到所述第二图像块时对所述二值化后的热力图进行旋转的旋转角度,确定无人机的航向。
6.根据权利要求3所述的方法,其特征在于,所述方法还包括:
若所述热力图中不存在温度值超过所述第一预设阈值的高温区域,则在所述二维热力位置特征图中匹配与所述二值化后的热力图对应的图像块;
确定无人机的二维位置为所述图像块的中心位置;
根据匹配到所述图像块时对所述二值化后的热力图进行旋转的旋转角度,确定无人机的航向;
在所述三维分布图中确定所述中心位置处是否具有待检测设备;
若具有,则根据测距装置测得的距离和从所述三维分布图中得到的所述待检测设备的高度,确定所述无人机的飞行高度;
若不具有,则根据测距装置测得的距离确定所述无人机的飞行高度;
根据所述无人机的位姿信息控制所述无人机按照所述巡检航线航行,所述二维位置、所述航向和所述飞行高度构成所述位姿信息。
7.一种设备巡检装置,其特征在于,包括:
接收模块,用于接收用户根据待检测空间的三维分布图规划的巡检航线,所述三维分布图中包含所述待检测空间中各待检测设备的三维位置信息;
获取模块,用于获取通过无人机上的红外相机拍得的热力图,所述红外相机具有与垂直方向呈预设角度的视角;
第一匹配模块,用于若所述热力图中存在温度值超过第一预设阈值的高温区域,则在根据所述三维分布图预先得到的二维热力位置特征图中匹配与所述高温区域对应的图像块;
第一确定模块,用于根据所述图像块中包含的待检测设备的二维位置信息确定无人机的二维位置和航向,以及输出所述待检测设备对应的故障信息;
第二确定模块,用于根据无人机上的测距装置测得的距离和从所述三维分布图中得到的所述待检测设备的高度,确定所述无人机的飞行高度,所述测距装置用于进行垂直方向测距;
航行控制模块,用于根据所述无人机的位姿信息控制所述无人机按照所述巡检航线航行,所述无人机的二维位置、航向和所述飞行高度构成所述位姿信息。
8.根据权利要求7所述的装置,其特征在于,还包括:
第一图像处理模块,用于对所述三维分布图中包含的所述各待检测设备进行垂直投影,以获得二维位置特征图;将所述二维位置特征图中所述各待检测设备的投影区域二值化为第一灰度值,其他区域二值化为第二灰度值,以获得所述二维热力位置特征图。
9.根据权利要求7或8所述的装置,其特征在于,还包括:
第二图像处理模块,用于将所述热力图中温度高于第二预设阈值的区域二值化为第一灰度值,将温度低于所述第二预设阈值的区域二值化为第二灰度值,其中,所述第二预设阈值小于所述第一预设阈值,所述第二预设阈值用于划分所述热力图中的待检测设备和背景对象;
所述第一匹配模块用于:
在二值化后的热力图中标记出所述超过第一预设阈值的高温区域;在所述二维热力位置特征图中匹配与所述二值化后的热力图对应的第一图像块;在所述第一图像块中定位与所述高温区域对应的第二图像块。
10.根据权利要求9所述的装置,其特征在于,还包括:
第二匹配模块,用于若所述热力图中不存在温度值超过所述第一预设阈值的高温区域,则在所述二维热力位置特征图中匹配与所述二值化后的热力图对应的图像块;
第三确定模块,用于确定无人机的二维位置为所述图像块的中心位置;根据匹配到所述图像块时对所述二值化后的热力图进行旋转的旋转角度,确定无人机的航向;
第四确定模块,用于在所述三维分布图中确定所述中心位置处是否具有待检测设备;
第五确定模块,用于若所述第四确定模块确定具有所述待检测设备,则根据测距装置测得的距离和从所述三维分布图中得到的所述待检测设备的高度,确定所述无人机的飞行高度;若确定不具有所述待检测设备,则根据测距装置测得的距离确定所述无人机的飞行高度;
所述航行控制模块,还用于根据所述无人机的位姿信息控制所述无人机按照所述巡检航线航行,所述二维位置、所述航向和所述飞行高度构成所述位姿信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711452157.8A CN108305346A (zh) | 2017-12-28 | 2017-12-28 | 设备巡检方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711452157.8A CN108305346A (zh) | 2017-12-28 | 2017-12-28 | 设备巡检方法、装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108305346A true CN108305346A (zh) | 2018-07-20 |
Family
ID=62867963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711452157.8A Pending CN108305346A (zh) | 2017-12-28 | 2017-12-28 | 设备巡检方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108305346A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109080819A (zh) * | 2018-08-29 | 2018-12-25 | 深圳市旭发智能科技有限公司 | 一种用于新闻追踪的无人机及存储介质 |
CN110940278A (zh) * | 2019-11-20 | 2020-03-31 | 广州供电局有限公司 | 电力巡检数据处理方法、装置、计算机设备及存储介质 |
CN111986425A (zh) * | 2020-09-04 | 2020-11-24 | 江苏濠汉信息技术有限公司 | 一种基于红外热成像的输电通道预警系统及其预警方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331521A (zh) * | 2014-11-27 | 2015-02-04 | 国家电网公司 | 基于图像处理的变电设备异常自动识别方法 |
WO2015078284A1 (zh) * | 2013-11-29 | 2015-06-04 | 文杰 | 一种基于航拍的小区动态巡逻系统 |
CN106780825A (zh) * | 2016-12-09 | 2017-05-31 | 广东电网有限责任公司肇庆供电局 | 电网线路巡检装置 |
CN106871902A (zh) * | 2017-02-16 | 2017-06-20 | 广东工业大学 | 一种无人机导航的方法、装置以及系统 |
CN106959294A (zh) * | 2017-02-14 | 2017-07-18 | 国网天津市电力公司检修公司 | 一种基于无人机巡检的输电杆塔缺陷分析装置及方法 |
CN107015560A (zh) * | 2017-03-02 | 2017-08-04 | 浙江大学 | 一种基于无人机的光伏阵列的巡检方法 |
CN107438863A (zh) * | 2016-08-08 | 2017-12-05 | 深圳市道通智能航空技术有限公司 | 一种飞行定位的方法及装置 |
-
2017
- 2017-12-28 CN CN201711452157.8A patent/CN108305346A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015078284A1 (zh) * | 2013-11-29 | 2015-06-04 | 文杰 | 一种基于航拍的小区动态巡逻系统 |
CN104331521A (zh) * | 2014-11-27 | 2015-02-04 | 国家电网公司 | 基于图像处理的变电设备异常自动识别方法 |
CN107438863A (zh) * | 2016-08-08 | 2017-12-05 | 深圳市道通智能航空技术有限公司 | 一种飞行定位的方法及装置 |
CN106780825A (zh) * | 2016-12-09 | 2017-05-31 | 广东电网有限责任公司肇庆供电局 | 电网线路巡检装置 |
CN106959294A (zh) * | 2017-02-14 | 2017-07-18 | 国网天津市电力公司检修公司 | 一种基于无人机巡检的输电杆塔缺陷分析装置及方法 |
CN106871902A (zh) * | 2017-02-16 | 2017-06-20 | 广东工业大学 | 一种无人机导航的方法、装置以及系统 |
CN107015560A (zh) * | 2017-03-02 | 2017-08-04 | 浙江大学 | 一种基于无人机的光伏阵列的巡检方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109080819A (zh) * | 2018-08-29 | 2018-12-25 | 深圳市旭发智能科技有限公司 | 一种用于新闻追踪的无人机及存储介质 |
CN110940278A (zh) * | 2019-11-20 | 2020-03-31 | 广州供电局有限公司 | 电力巡检数据处理方法、装置、计算机设备及存储介质 |
CN110940278B (zh) * | 2019-11-20 | 2021-08-31 | 广东电网有限责任公司广州供电局 | 电力巡检数据处理方法、装置、计算机设备及存储介质 |
CN111986425A (zh) * | 2020-09-04 | 2020-11-24 | 江苏濠汉信息技术有限公司 | 一种基于红外热成像的输电通道预警系统及其预警方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11710411B2 (en) | Systems and methods for autonomous hazardous area data collection | |
JP2022510950A (ja) | パイプにuavがパーチする自動化方法 | |
JP6571305B2 (ja) | 画像ベースの位置決定 | |
CN111339347B (zh) | 一种巡检照片的管理方法及装置 | |
JP6023831B2 (ja) | 仮想参照画像を用いた位置及び向きの検出のための方法 | |
CN106989746A (zh) | 导航方法及导航装置 | |
CN108665541B (zh) | 一种基于激光传感器的地图生成方法及装置和机器人 | |
Kucuksubasi et al. | Transfer learning-based crack detection by autonomous UAVs | |
CN108305346A (zh) | 设备巡检方法、装置 | |
CN108700892A (zh) | 一种路径调整方法及无人机 | |
CN106292656B (zh) | 一种环境建模方法及装置 | |
CN111310992B (zh) | 面向地震灾后快速评估的多无人机路径优化方法 | |
CN109129488A (zh) | 一种基于近地全局视觉的高空检修机器人定位方法及装置 | |
JP2016149090A (ja) | 自律移動装置、自律移動システム、自律移動方法、およびプログラム | |
CN110375736A (zh) | 智能设备的路径规划方法、系统、设备及可读存储介质 | |
CN108319264A (zh) | 航行控制方法、装置 | |
Yatskin et al. | Principles of solving the space monitoring problem by multirotors swarm | |
Park et al. | Automatic inspection drone with deep learning-based auto-tracking camera gimbal to detect defects in power lines | |
Pogorzelski et al. | Vision Based Navigation Securing the UAV Mission Reliability | |
CN109901589B (zh) | 移动机器人控制方法和装置 | |
EP3751371A1 (en) | Alignment of plant models in augmented reality | |
CN117537803B (zh) | 机器人巡检语义-拓扑地图构建方法、系统、设备及介质 | |
CN116466733B (zh) | 一种用于无人机起降的智能避障系统及方法 | |
US20230324921A1 (en) | Autonomous Robotic Platform | |
CN108270170A (zh) | 一种基于多传感器信息融合的杆塔锁定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180720 |
|
RJ01 | Rejection of invention patent application after publication |