CN113284128B - 基于电力设备的图像融合显示方法、装置和计算机设备 - Google Patents
基于电力设备的图像融合显示方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN113284128B CN113284128B CN202110656041.6A CN202110656041A CN113284128B CN 113284128 B CN113284128 B CN 113284128B CN 202110656041 A CN202110656041 A CN 202110656041A CN 113284128 B CN113284128 B CN 113284128B
- Authority
- CN
- China
- Prior art keywords
- image
- power equipment
- infrared
- visible light
- data block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012937 correction Methods 0.000 claims abstract description 156
- 238000007689 inspection Methods 0.000 claims description 90
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 101100126292 Caenorhabditis elegans irx-1 gene Proteins 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种基于电力设备的图像融合显示方法、装置、计算机设备和存储介质。通过巡检机器人获取包含电力设备和电力设备部件的红外图像,获取电力设备部件对应的模板图像,从模板图像中提取表征电力设备部件特征的数据块,再获取红外图像中与每个数据块相似度最高的目标数据块,根据目标数据块确定电力设备部件在待处理的红外图像中的目标位置信息,根据目标位置信息、红外校正坐标和可见光校正坐标,将红外图像中电力设备部件的图像与可见光图像进行融合显示。相较于传统的显示方式,本方案利用红外图像进行数据块的提取,基于红外图像及可见光图像的坐标,实现电力设备部件的红外图像和可见光图像的融合显示,提高了电力设备部件的显示质量。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种基于电力设备的图像融合显示方法、装置、计算机设备和存储介质。
背景技术
电力是维护国家正常运行和人们正常生活的重要资源之一,电力通常依靠大量电力设备进行生产和传输,因此对电力设备的运行情况进行监测变得十分重要。目前通常使用巡检机器人对电力设备的运行情况进行巡检和监测,在对电力设备的监测过程中,需要对电力设备进行图像记录,并基于记录的图像对电力设备的运行情况进行分析,目前在对电力设备的监测中使用的图像包括有可见光图像和红外图像等图像形式,可见光图像具有清晰,色彩丰富等特点;红外图像具有可检测温度等特点。然而,目前的两种图像只能分别进行显示,无法对两种图像进行融合显示,导致图像的显示质量降低,影响了对电力设备的监测效率。
因此,目前对电力设备的图像显示方法存在显示质量低的缺陷。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高显示质量的基于电力设备的图像融合显示方法、装置、计算机设备和存储介质。
一种基于电力设备的图像融合显示方法,应用于巡检机器人,所述巡检机器人设置于电力区域中,所述方法包括:
获取待处理的红外图像;所述红外图像中包括电力设备的图像;所述电力设备包括电力设备部件;
获取电力设备模板图像中与所述电力设备部件对应的模板图像,并获取所述模板图像中预设数量的表征所述电力设备部件的特征的数据块;
获取所述待处理的红外图像中与每个所述数据块相似度最高的目标数据块,根据预设数量的目标数据块确定所述电力设备部件在所述待处理的红外图像中的目标位置信息;
根据所述目标位置信息、所述红外图像对应的红外校正坐标以及所述电力设备对应的可见光图像对应的可见光校正坐标,将所述待处理的红外图像中电力设备部件的图像与所述待处理的可见光图像进行融合显示;所述红外校正坐标表征所述红外图像中的所述电力设备的边缘位置的坐标;所述可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像;所述可见光校正坐标表征所述可见光图像中所述电力设备的边缘位置的坐标。
在其中一个实施例中,所述方法还包括:
获取红外基准图像以及可见光基准图像;所述红外基准图像包括所述电力设备所在的电力区域的多个样本红外图像;所述可见光基准图像中包括所述电力区域的多个样本可见光图像;
针对每个样本红外图像,获取该样本红外图像中电力设备的设备对角坐标,作为该样本红外图像对应的第一红外校正坐标和第二红外校正坐标;
针对每个样本可见光图像,获取该样本可见光图像中电力设备的设备对角坐标,作为该样本可见光图像对应的第一可见光校正坐标和第二可见光校正坐标;
根据多个所述第一红外校正坐标和多个所述第二红外校正坐标,得到所述红外校正坐标,以及,根据多个所述第一可见光校正坐标和多个所述第二可见光校正坐标,得到所述可见光校正坐标;
获取多个所述样本红外图像中的电力设备部件的轮廓信息,作为所述电力设备模板图像。
在其中一个实施例中,所述获取所述模板图像中预设数量的表征所述电力设备部件的特征的数据块,包括:
获取所述电力设备部件对应的模板图像中所述电力设备部件对应的轮廓信息;
获取所述轮廓信息中预设数量的节点,作为预设数量的所述电力设备部件的特征点;
针对每个所述特征点,以该特征点为中心,生成预设大小的数据块,作为该特征点对应的表征所述电力设备部件的特征的数据块;
根据多个所述数据块,得到所述预设数量的表征所述电力设备部件的特征的数据块。
在其中一个实施例中,所述获取所述待处理的红外图像中与每个所述数据块相似度最高的目标数据块,包括:
针对所述红外图像中的每个坐标,以该坐标为中心生成所述预设大小的第一数据块;
针对每个所述数据块,根据多个所述第一数据块与该数据块的比值,得到该数据块与多个所述第一数据块对应的多个数据块相似度;
获取所述多个数据块相似度中的最大值,将所述最大值对应的第一数据块作为所述该数据块在所述红外图像中对应的目标数据块。
在其中一个实施例中,所述根据预设数量的目标数据块确定所述电力设备部件在所述待处理的红外图像中的目标位置信息,包括:
针对每个目标数据块,获取该目标数据块在所述红外图像中对应的坐标;
根据多个所述目标数据块对应的坐标,得到所述电力设备部件在所述红外图像中的目标位置信息。
在其中一个实施例中,根据多个所述目标数据块对应的位置信息,得到所述电力设备部件在所述红外图像中的目标位置信息,包括:
获取所述电力设备部件对应的模板图像中所述电力设备部件对应的轮廓信息;获取所述轮廓信息中预设数量的节点,作为预设数量的所述电力设备部件的特征点;
针对每个所述特征点,获取该特征点与其他特征点的第一距离;
针对每个所述目标数据块,获取该目标数据块的坐标与其他目标数据块的坐标的第二距离;若每个所述第二距离均与该目标数据块对应的特征点与对应的其他特征点的第一距离的差值小于预设阈值,确定该目标数据块对应的坐标为目标坐标;根据多个所述目标坐标,得到所述待处理的电力设备部件在所述红外图像中的目标位置信息。
在其中一个实施例中,所述根据所述目标位置信息、所述红外图像对应的红外校正坐标以及待处理的可见光图像对应的可见光校正坐标,将所述待处理的红外图像中电力设备部件的图像与所述待处理的可见光图像进行融合显示,包括:
针对每个所述目标位置信息,根据该目标位置信息中的横坐标、所述第一红外校正坐标中的横坐标、所述第二红外校正坐标中的横坐标、所述第一可见光校正坐标中的横坐标以及所述第二可见光校正坐标中的横坐标,得到所述目标位置信息在所述可见光图像中的目标横坐标;根据该目标位置信息中的纵坐标、所述第一红外校正坐标中的纵坐标、所述第二红外校正坐标中的纵坐标、所述第一可见光校正坐标中的纵坐标以及所述第二可见光校正坐标中的纵坐标,得到所述目标位置信息在所述可见光图像中的目标纵坐标;
根据多个所述目标位置信息对应的目标横坐标和目标纵坐标,得到所述电力设备部件在所述可见光图像中的目标显示区域,将所述电力设备部件的图像显示在所述目标显示区域中。
一种基于电力设备的图像融合显示装置,应用于巡检机器人,所述巡检机器人设置于电力区域中,所述装置包括:
图像获取模块,用于获取待处理的红外图像;所述红外图像中包括电力设备的图像;所述电力设备包括电力设备部件;
特征获取模块,用于获取电力设备模板图像中与所述电力设备部件对应的模板图像,并获取所述模板图像中预设数量的表征所述电力设备部件的特征的数据块;
位置获取模块,用于获取所述待处理的红外图像中与每个所述数据块相似度最高的目标数据块,根据预设数量的目标数据块确定所述电力设备部件在所述待处理的红外图像中的目标位置信息;
融合模块,用于根据所述目标位置信息、所述红外图像对应的红外校正坐标以及所述电力设备对应的可见光图像对应的可见光校正坐标,将所述待处理的红外图像中电力设备部件的图像与所述待处理的可见光图像进行融合显示;所述红外校正坐标表征所述红外图像中的所述电力设备的边缘位置的坐标;所述可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像;所述可见光校正坐标表征所述可见光图像中所述电力设备的边缘位置的坐标。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
上述基于电力设备的图像融合显示方法、装置、计算机设备和存储介质,通过巡检机器人获取包含电力设备以及电力设备部件的红外图像,获取电力设备部件对应的模板图像,从模板图像中提取预设数量的表征电力设备部件特征的数据块,再获取红外图像中与每个数据块相似度最高的目标数据块,根据预设数量的目标数据块确定电力设备部件在待处理的红外图像中的目标位置信息,根据目标位置信息、红外图像对应的表征电力设备边缘位置的红外校正坐标以及电力设备对应的可见光图像对应的表征电力设备边缘位置的可见光校正坐标,将所述待处理的红外图像中电力设备部件的图像与待处理的可见光图像进行融合显示。相较于传统的将红外图像和可见光图像分开显示,本方案利用红外图像进行数据块的提取,基于红外图像及可见光图像的坐标,实现电力设备部件的红外图像和可见光图像的融合显示,提高了电力设备部件的显示质量。
附图说明
图1为一个实施例中基于电力设备的图像融合显示方法的应用环境图;
图2为一个实施例中基于电力设备的图像融合显示方法的流程示意图;
图3为一个实施例中获取红外校正坐标的界面示意图;
图4为一个实施例中获取可见光校正坐标的界面示意图;
图5为一个实施例中获取轮廓信息的界面示意图;
图6为一个实施例中电力设备的图像融合显示的界面示意图;
图7为一个实施例中基于电力设备的图像融合显示装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的基于电力设备的图像融合显示方法,可以应用于如图1所示的应用环境中。其中,巡检机器人102可以获取待处理的红外图像,还可以获取电力设备部件对应的模板图像,获取模板图像中预设数量的表征电力设备部件特征的数据块,并且还可以在红外图像中获取与每个数据块相似度最高的目标数据块,根据多个目标数据块确定电力设备部件在红外图像中的目标位置,巡检机器人102还可以利用目标位置信息,红外校正坐标和可见光校正坐标,将红外图像中的电力设备部件图像与可见光图像进行融合显示。在一些实施例中,还包括服务器104,巡检机器人102通过网络与服务器104进行通信。例如,巡检机器人102可以从服务器104获取电力设备模板图像,巡检机器人102还可以将融合显示后的图像上传至服务器104中。其中,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种基于电力设备的图像融合显示方法,以该方法应用于图1中的巡检机器人为例进行说明,包括以下步骤:
步骤S202,获取待处理的红外图像;红外图像中包括电力设备的图像;电力设备包括电力设备部件。
其中,红外图像可以是基于红外成像形成的图像,比0.78微米长的电磁波位于可见光光谱红色以外,称为红外线,又称红外辐射。是指波长为0.78—1000微米的电磁波,其中波长为0.78—2.0微米的部分称为近红外,波长为2.0—1000微米的部分称为热红外线。自然界中,一切物体都可以辐射红外线,因此利用探测仪测量目标本身与背景间的红外线差可以得到不同的热红外线形成的红外图像。上述待处理的红外图像可以是通过巡检机器人102拍摄得到的图像,巡检机器人102可以通过其上设置的红外摄像设备拍摄红外图像,且该红外图像可以是在电力区域中拍摄的图像,例如,巡检机器人102可将当前系统采集的即时红外热图IRImage2为待处理的红外图像,上述待处理的红外图像中可以包括电力区域中电力设备的图像,而电力设备中可以包括有多个电力设备部件,巡检机器人102可以将需要进行融合显示的电力设备部件的红外图像与可见光图像融合显示。
步骤S204,获取电力设备模板图像中与电力设备部件对应的模板图像,并获取模板图像中预设数量的表征电力设备部件的特征的数据块。
其中,电力设备模板图像也可以称为基准设备模板热图IRImage,电力设备模板图像中可以包括多个电力设备部件的模板图像,且该模板图像可以是红外图像的形式,电力设备部件的模板图像可以是基于电力设备部件的轮廓形成的图像,例如巡检机器人102将红外图像中的需要进行融合显示的电力设备部件的轮廓进行提取,形成电力设备部件的模板图像。
巡检机器人102还可以利用电力设备部件的模板图像,提取模板图像中的多个数据块,这些数据块可以表征电力设备部件的特征,例如,巡检机器人102可以从电力设备部件的模板图像中,电力设备部件的轮廓上提取预设数量的点形成数据块,每个数据块的大小可以是一致的。
步骤S206,获取待处理的红外图像中与每个数据块相似度最高的目标数据块,根据预设数量的目标数据块确定电力设备部件在待处理的红外图像中的目标位置信息。
其中,数据块可以是巡检机器人102从上述电力设备部件的模板图像中提取的数据块,巡检机器人102可以将上述数据块与待处理的红外图像进行匹配,从而可以在待处理的红外图像中寻找分别与各个数据块相似度最高的多个目标数据块,例如,巡检机器人102可以通过在待处理的红外图像数据中采用全局搜索的方法计算与上述数据块相似度最高的数据块,其中目标数据块的数量可以与上述数据块的数量一致,例如都是预设数量,即上述待处理的红外图像中的每个目标数据块均可以与电力设备部件的模板图像中的数据块对应。
并且,巡检机器人102还可以利用上述多个目标数据块确定电力设备部件在待处理红外图像中的目标位置信息,即巡检机器人102可以利用上述预设数量的数据块在待处理的红外图像中寻找对应的相似度最高的目标数据块,得到预设数量的目标数据块,从而巡检机器人102可以基于预设数量的目标数据块得到红外图像中需要进行融合显示的电力设备部件的目标位置信息。例如,在一个实施例中,根据预设数量的目标数据块确定电力设备部件在待处理的红外图像中的目标位置信息,包括:针对每个目标数据块,获取该目标数据块在所述红外图像中对应的坐标;根据多个所述目标数据块对应的坐标,得到所述电力设备部件在所述红外图像中的目标位置信息。本实施例中,上述目标数据块可以是基于待处理的红外图像中的坐标进行搜索的,例如在每个坐标上均生成一个与上述数据块大小一致的对比数据块,并与数据块进行对比,当巡检机器人102经过搜索后得到上述预设数量的目标数据块时,可以基于目标数据块的得到上述待处理的红外图像中形成该目标数据块的坐标,并将该坐标作为电力设备部件的一个特征点,由于上述目标数据块有多个,因此巡检机器人102可以获取每个目标数据块对应的坐标,从而可以基于多个坐标形成的区域,确定电力设备部件在待处理红外图像中的目标位置信息。
步骤S208,根据目标位置信息、红外图像对应的红外校正坐标以及电力设备对应的可见光图像对应的可见光校正坐标,将待处理的红外图像中电力设备部件的图像与待处理的可见光图像进行融合显示;红外校正坐标表征红外图像中的电力设备的边缘位置的坐标;可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像;可见光校正坐标表征可见光图像中电力设备的边缘位置的坐标。
其中,目标位置信息可以是电力设备部件在上述待处理的红外图像中的位置,目标位置信息中可以包括多个坐标。红外校正坐标可以是上述待处理的红外图像中包括的电力设备部件所在的电力设备的边缘位置的坐标,可见光校正坐标可以是待处理的可见光图像中包括的电力设备部件所在的电力设备的边缘位置的坐标。其中,可见光图像可以是基于人眼可感知的电磁波形成的高分辨率图像,例如可以通过巡检机器人102的拍摄设备拍摄得到。上述待处理的红外图像和待处理的可见光图像可以是针对同一电力设备同时拍摄的图像,从而可以保证融合显示的显示效果。巡检机器人102可以基于上述目标位置信息、上述红外校正坐标和上述可见光校正坐标,将待处理的红外图像中的电力设备部件的图像与待处理的可见光图像进行融合显示,例如巡检机器人102可以将上述红外校正坐标和上述可见光校正坐标以及目标位置信息中的各个坐标输入预设的计算公式,从而将目标位置信息中的各个坐标转换为可见光图像中的多个坐标,从而得到电力设备部件在可见光图像中的显示区域,并将电力设备部件的红外图像在可见光图像中的显示区域显示,实现电力设备部件的红外图像和可见光图像的融合显示。
上述基于电力设备的图像融合显示方法中,通过巡检机器人获取包含电力设备以及电力设备部件的红外图像,获取电力设备部件对应的模板图像,从模板图像中提取预设数量的表征电力设备部件特征的数据块,再获取红外图像中与每个数据块相似度最高的目标数据块,根据预设数量的目标数据块确定电力设备部件在待处理的红外图像中的目标位置信息,根据目标位置信息、红外图像对应的表征电力设备边缘位置的红外校正坐标以及电力设备对应的可见光图像对应的表征电力设备边缘位置的可见光校正坐标,将所述待处理的红外图像中电力设备部件的图像与待处理的可见光图像进行融合显示。相较于传统的将红外图像和可见光图像分开显示,本方案利用红外图像进行数据块的提取,基于红外图像及可见光图像的坐标,实现电力设备部件的红外图像和可见光图像的融合显示,提高了电力设备部件的显示质量。
在一个实施例中,还包括:获取红外基准图像以及可见光基准图像;红外基准图像包括电力设备所在的电力区域的多个样本红外图像;可见光基准图像中包括电力区域的多个样本可见光图像;针对每个样本红外图像,获取该样本红外图像中电力设备的设备对角坐标,作为该样本红外图像对应的第一红外校正坐标和第二红外校正坐标;针对每个样本可见光图像,获取该样本可见光图像中电力设备的设备对角坐标,作为该样本可见光图像对应的第一可见光校正坐标和第二可见光校正坐标;根据多个第一红外校正坐标和多个第二红外校正坐标,得到红外校正坐标,以及,根据多个第一可见光校正坐标和多个第二可见光校正坐标,得到可见光校正坐标;获取多个样本红外图像中的电力设备部件的轮廓信息,作为电力设备模板图像。
本实施例中,巡检机器人102可以在电力区域对各个电力设备进行基准图像的拍摄并从基准图像中得到校正坐标。例如,在电力区域,即调试现场,巡检机器人102需要对需要监视的电力设备设置预置位的位置,并拍摄基准照片,其中红外图像为IRImage,高清图像是CCDImage。红外基准图像中可以包括电力设备所在电力区域的多个样本红外图像,可见光基准图像中包括上述电力区域中多个样本可见光图像,而样本红外图像和样本可见光图像中都可以包括有电力设备。对于每个样本红外图像,巡检机器人102可以获取该样本红外图像中电力设备的设备对角坐标,作为该样本红外图像对应的第一红外校正坐标和第二红外校正坐标。例如,如图3所示,图3为一个实施例中获取红外校正坐标的界面示意图。巡检机器人102可以在样本红外图像上标记电力设备的左上角位置和右下角位置,记录当前红外图像上设备左上角位置坐标(IRx1,IRy1),作为第一红外校正坐标,设备右下角位置坐标(IRx2,IRy2)作为第二红外校正坐标。
对于每个样本可见光图像,巡检机器人102可以获取该样本可见光图像中电力设备的设备对角坐标,作为该样本可见光图像对应的第一可见光校正坐标和第二可见光校正坐标。例如,如图4所示,图4为一个实施例中获取可见光校正坐标的界面示意图。巡检机器人102可以在样本可见光图像上标记电力设备的左上角位置和右下角位置,记录样本可见光图像上电力设备的左上角位置坐标(CCDx1,CCDy1),作为第一可见光校正坐标,记录电力设备右下角位置坐标(CCDx2,CCDy2),作为第二可见光校正坐标。另外,针对上述样本红外图像和样本可见光图像,巡检机器人102也可以记录其他位置的坐标作为上述各个校正坐标,如电力设备的右上角坐标和左下角坐标等。
上述样本红外图像和样本可见光图像可以有多个,从而上述各个校正坐标可以有多个,巡检机器人102可以根据多个第一红外校正坐标和多个第二红外校正坐标,得到上述红外校正坐标;以及,巡检机器人102可以根据多个第一可见光校正坐标和多个第二可见光校正坐标,得到上述可见光校正坐标。
另外,巡检机器人102还可以从上述样本红外图像中获取其中包含的电力设备部件的轮廓信息,作为电力设备模板图像。例如,如图5所示,图5为一个实施例中获取轮廓信息的界面示意图。巡检机器人102可以采用多边形标记的方法,将基准模板图像,即上述电力设备模板图像中需要测量的电力设备部件标记出来。其中,样本红外图像中可以包括多个电力设备部件,巡检机器人102可以将样本红外图像中包含的所有电力设备部件均标记出来,从而便于后续对需要监测的电力设备部件的融合显示。
巡检机器人102在采集上述信息后,可以将上述信息进行按照特定格式进行存储。例如,巡检机器人102可以按照以下表1的格式存储各类信息:
表1巡检测温点位设备融合信息存储格式
其中,在这个格式文件中,首先存储了JPEG格式的高清图像信息,即可见光图像的信息,然后在JPEG文件的附件数据段中存储的红外图像数据文件及设备位置信息。这个文件存储了巡检机器人102在当前位置进行电力设备融合显示的所有信息,同时采用标准JPEG格式文件。
通过上述实施例,巡检机器人102通过对电力区域的样本红外图像和样本可见光图像中的电力设备进行校正坐标提取以及电力设备部件的轮廓提取,可以实现基于校正坐标和轮廓的融合显示,提高电力设备部件的显示质量。
在一个实施例中,获取模板图像中预设数量的表征电力设备部件的特征的数据块,包括:获取电力设备部件对应的模板图像中电力设备部件对应的轮廓信息;获取轮廓信息中预设数量的节点,作为预设数量的电力设备部件的特征点;针对每个特征点,以该特征点为中心,生成预设大小的数据块,作为该特征点对应的表征电力设备部件的特征的数据块;根据多个数据块,得到预设数量的表征电力设备部件的特征的数据块。
本实施例中,巡检机器人102可以从模板图像中获取可以代表电力设备部件的特征的数据块,由于巡检机器人102获取的模板图像中包括有电力设备部件的轮廓信息,因此巡检机器人102可以获取电力设备部件对应的模板图像中电力设备部件对应的轮廓信息,并在轮廓信息中获取预设数量的节点,作为电力设备部件的特征点,即特征点可以有预设数量个。巡检机器人102可以针对每个特征点,以该特征点为中心,生成预设大小的数据块,作为该特征点对应的表征电力设备部件的特征的数据块,并根据多个数据块,得到预设数量的表征电力设备部件的特征的数据块。具体地,巡检机器人102在自动巡检工作过程中,首先需要将采集到的红外热图通过自动识别匹配的方法,确定设备在实时热图中的位置,巡检机器人102首先以基准设备模板热图IRImage为基准图像S,以当前机器人系统采集的即时红外图像IRImage2为待处理的红外图像;对于特征块,巡检机器人102可以将基准设备模板图像,即上述模板图像中的电力设备部件的多边形为基准,按多边型的周长为计算依据,在多边型周边上平均选取4个标点,作为4个设备数据特征点:S1、S2、S3、S4;且巡检机器人102可以按照某个特征点为中心,在基准设备模板热图数据中选取长度宽度都为M的红外数据块T作为计算相似度测量的数据计算基础,巡检机器人102可以根据每个特征点均生成上述数据块T,从而得到上述预设数量的特征块,其中M的值都可以是21像素。
通过上述实施例,巡检机器人102可以利用模板图像提取特征点,从而可以利用特征点形成的数据块在可见光图像中进行电力设备部件的位置匹配,提高了融合显示的显示质量。
在一个实施例中,获取待处理的红外图像中与每个数据块相似度最高的目标数据块,包括:针对红外图像中的每个坐标,以该坐标为中心生成所述预设大小的第一数据块;针对每个数据块,根据多个第一数据块与该数据块的比值,得到该数据块与多个第一数据块对应的多个数据块相似度;获取多个数据块相似度中的最大值,将最大值对应的第一数据块作为该数据块在红外图像中对应的目标数据块。
本实施例中,巡检机器人102可以在待处理的红外图像中匹配与上述数据块对应的目标数据块,目标数据块可以是待处理的红外图像中与上述模板图像中的数据块相似度最高的数据块。针对每个上述待处理的红外图像中的坐标,巡检机器人102可以按照该坐标为中心生成与上述数据块的预设大小一致的第一数据块;而对于每个上述模板图像中的数据块,巡检机器人102可以利用待处理的红外图像中的各个第一数据块与该数据块的比值,得到该数据块与多个第一数据块相似度,并且巡检机器人102可以获取多个数据块相似度中的最大值,将最大值对应的第一数据块作为该数据块在上述待处理的红外图像中对应的目标数据块。具体地,巡检机器人102可以在待处理的红外图像数据中采用全局搜索的方法计算与上述T数据块相似度最高的数据块,计算公式如下:
其中,Sij表示在待处理的红外热图数据中以坐标(i,j)位置为中心的长度宽度都为M的红外数据块,其中i的取值范围为(M/2)到(W-M/2),j的取值范围为(M/2)到(H-M/2);其中,H可以是上述红外图像的高度上的像素数量,W可以是上述红外图像的宽度上的像素数量。巡检机器人102可以统计所有的R(i,j)中的最大值,即相似度的最大值,则该最大相似度对应的数据块即为上述模板图像中T对应的在待处理红外图像上的目标数据块。该数值的(i,j)就是待处理的红外图像数据上与基准设备模板图像中特征点相匹配的位置点,巡检机器人102可以利用不同的数据块T重复上述获取目标数据块的步骤,分别得到每个数据块T对应的目标数据块以及目标特征点位置T1、T2、T3、T4。
通过上述实施例,巡检机器人102可以利用待处理的红外图像中的对比数据块与模板图像中的数据块的相似度,在待处理的红外图像中匹配查找得到预设数量的目标数据块,从而可以基于目标数据块对电力设备部件进行融合显示,提高了电力设备部件融合显示的显示质量。
在一个实施例中,根据多个目标数据块对应的位置信息,得到电力设备部件在红外图像中的目标位置信息,包括:获取电力设备部件对应的模板图像中电力设备部件对应的轮廓信息;获取轮廓信息中预设数量的节点,作为预设数量的电力设备部件的特征点;针对每个特征点,获取该特征点与其他特征点的第一距离;针对每个目标数据块,获取该目标数据块的坐标与其他目标数据块的坐标的第二距离;若每个第二距离均与该目标数据块对应的特征点与对应的其他特征点的第一距离的差值小于预设阈值,确定该目标数据块对应的坐标为目标坐标;根据多个目标坐标,得到待处理的电力设备部件在红外图像中的目标位置信息。
本实施例中,巡检机器人102可以获取电力设备部件对应的模板图像中电力设备部件对应的轮廓信息,并从轮廓信息中获取预设数量的节点,例如在电力设备部件的轮廓上平均选取4个节点,作为预设数量的电力设备部件的特征点。其中,上述模板图像中的特征点可以记为S1、S2、S3和S4。巡检机器人102可以对针对每个特征点,获取该特征点与其他特征点的第一距离,例如,上述特征点可以有4个,每个特征点与其他特征点的第一距离可以为3个。
对于每个目标数据块,巡检机器人102可以获取该目标数据块的坐标与其他目标数据块的坐标的第二距离,例如,由于上述数据块是由特征点生成的,因此上述目标数据块的数量可以是与特征点的数量对应的,例如目标数据块的数量可以是4个,则目标数据块的坐标数量为4个,可以记为T1、T2、T3、T4。其中T1可以是该坐标对应的目标数据块与S1对应的特征点的数据块相似度最高对应的点;T2可以是该坐标对应的目标数据块与S2对应的特征点的数据块相似度最高对应的点;T3可以是该坐标对应的目标数据块与S3对应的特征点的数据块相似度最高对应的点;T4可以是该坐标对应的目标数据块与S4对应的特征点的数据块相似度最高对应的点。
巡检机器人102可以获取到的每个目标数据块的坐标与其他目标数据块的坐标的第二距离可以为3个,上述每个特征点与每个目标数据块的坐标可以一一对应。巡检机器人102可以获取上述计算与其他目标数据块的坐标的第二距离的目标数据块,获取该目标数据块对应的特征点,例如与该目标数据块相似度最高的数据块对应的特征点,并获取该特征点与对应的其他特征点的第一距离。例如,巡检机器人102可以计算S1分别到S2、S3、S4点的距离以及T1分别到T2、T3、T4点的距离。巡检机器人102还可以上述各个第二距离与对应的第一距离的差值,根据该差值确定上述目标数据块的坐标是否为电力设备部件图像的在待处理的红外图像上的位置,例如,巡检机器人102可以计算S1分别到S2、S3、S4点的距离是否与T1分别到T2、T3、T4点的距离误差在3个像素点内,如果符合,则确认T1点为模板图像在待处理的红外图像的匹配对准点,即确定该目标数据块对应的坐标为目标坐标。巡检机器人102可以对每个特征点以及每个目标数据块的坐标进行上述第一距离和第二距离的获取。例如,巡检机器人102可以获取S2分别到S1、S3、S4点的第一距离以及获取T2分别到T1、T3、T4点的第二距离,并获取第一距离与对应的第二距离的差值,从而确定下一个目标坐标。
巡检机器人102可以重复上述获取目标坐标的步骤,从而得到四个目标坐标,并基于四个目标坐标得到待处理的电力设备部件在红外图像中的目标位置信息。例如,若通过上述步骤确定出待处理的红外图像中的目标坐标为T1、T2、T3和T4,巡检机器人102可以根据T1、T2、T3、T4四个点的位置,并根据基准设备模板图像,即电力设备部件的模板图像中的轮廓多边型,确定在待处理的红外图像数据中电力设备部件的精确外框多边型的位置,从而得到上述目标位置信息。
通过本实施例,巡检机器人102可以根据模板图像中得到的电力设备部件的各个特征点以及待处理红外图像中的各个目标数据块的坐标,确定电力设备部件在红外图像中的位置,从而可以根据该位置对电力设备部件进行融合显示,提高了电力设备部件融合显示的显示质量。
在一个实施例中,根据目标位置信息、红外图像对应的红外校正坐标以及待处理的可见光图像对应的可见光校正坐标,将待处理的红外图像中电力设备部件的图像与待处理的可见光图像进行融合显示,包括:针对每个目标位置信息,根据该目标位置信息中的横坐标、第一红外校正坐标中的横坐标、第二红外校正坐标中的横坐标、第一可见光校正坐标中的横坐标以及第二可见光校正坐标中的横坐标,得到目标位置信息在可见光图像中的目标横坐标;根据该目标位置信息中的纵坐标、第一红外校正坐标中的纵坐标、第二红外校正坐标中的纵坐标、第一可见光校正坐标中的纵坐标以及第二可见光校正坐标中的纵坐标,得到目标位置信息在可见光图像中的目标纵坐标;根据多个目标位置信息对应的目标横坐标和目标纵坐标,得到电力设备部件在可见光图像中的目标显示区域,将电力设备部件的图像显示在目标显示区域中。
本实施例中,由于上述电力设备部件在红外图像中的目标位置信息不一定能与可见光图像中的坐标一致,因此需要对电力设备部件的坐标进行转换。巡检机器人102可以针对目标位置信息中的每个目标坐标,根据该目标位置信息的目标坐标中的横坐标、第一红外校正坐标中的横坐标、第二红外校正坐标的横坐标、第一可见光校正坐标中的横坐标和第二可见光校正坐标中的横坐标,得到该目标位置信息的目标坐标在可见光图像中对应的目标横坐标。另外,巡检机器人102还可以根据上述目标位置信息中该目标坐标的纵坐标、第一红外校正坐标中的纵坐标、第二红外校正坐标中的纵坐标、第一可见光校正坐标中的纵坐标以及第二可见光校正坐标中的纵坐标,得到该目标位置信息的目标坐标在可见光图像中的目标纵坐标,从而巡检机器人102可以根据目标横坐标和目标纵坐标确定该目标位置信息的目标坐标在可见光图像中的位置。例如,巡检机器人102可以根据设备在IRImage2标准模板中的电力设备部件的多边形区域,并通过基准模板中高清图像(可见光图像)与红外图像的位置标定关系进行坐标变换,确定电力设备部件的轮廓中没有点红外热图数据进行融合时的高清像素坐标位置,上述目标位置信息的目标坐标可以记为(x,y),转换后的在可见光图像中的坐标可以记为(cx,cy),红外热像像素点(x,y),即上述目标位置信息中的目标坐标,在高清图像融合时,进行融合的高清图像点位坐标(cx,cy),即可见光图像中的坐标。坐标转换计算公式如下:
其中,IRx1为第一红外校正坐标的横坐标,IRx2为第二红外校正坐标的横坐标,CCDx1为第一可见光校正坐标的横坐标,CCDx2为第二可见光校正坐标的横坐标;IRy1为第一红外校正坐标的纵坐标,IRy2为第二红外校正坐标的纵坐标,CCDy1为第一可见光校正坐标的纵坐标,CCDy2为第二可见光校正坐标的纵坐标。
上述目标位置信息中可以包括四个目标坐标T1、T2、T3和T4,因此巡检机器人102可以根据四个目标坐标的坐标信息,通过上述坐标转换计算公式确定上述目标坐标在可见光图像中的坐标信息,从而巡检机器人102可以在可见光图像中基于上述各个坐标信息以及电力设备部件的轮廓,确定电力设备部件在可见光图像中的目标显示区域;另外,由于巡检机器人102可以根据T1、T2、T3和T4以及电力设备部件的轮廓信息确定电力设备部件在红外图像中的精确位置,因此巡检机器人102还可以将在红外图像中确定出的电力设备的轮廓信息中提取多个坐标,通过上述坐标转换计算公式,转换为可见光图像中的坐标,从而可以提高电力设备部件的显示区域的准确度。如图6所示,图6为一个实施例中电力设备的图像融合显示的界面示意图。巡检机器人102确定出电力设备部件在可见光图像中的显示区域后,可以将电力设备部件的红外图像显示在上述目标显示区域中,从而实现电力设备部件的红外图像与可见光图像的融合显示。巡检机器人102在巡检过程中,每一次自动拍摄设备工作温度状态时,都可以生成一张各个电力设备的融合图像,便于巡视人员直观的了解设备工作温度状态。
通过本实施例,巡检机器人102可以利用坐标转换公式确定电力设备部件在可见光图像中的目标显示区域,从而实现电力设备部件的红外图像与可见光图像的融合显示,提高了电力设备部件的显示质量。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种基于电力设备的图像融合显示装置,包括:图像获取模块500、特征获取模块502、位置获取模块504和融合模块506,其中:
图像获取模块500,用于获取待处理的红外图像;红外图像中包括电力设备的图像;电力设备包括电力设备部件。
特征获取模块502,用于获取电力设备模板图像中与电力设备部件对应的模板图像,并获取模板图像中预设数量的表征电力设备部件的特征的数据块。
位置获取模块504,用于获取待处理的红外图像中与每个数据块相似度最高的目标数据块,根据预设数量的目标数据块确定电力设备部件在待处理的红外图像中的目标位置信息。
融合模块506,用于根据目标位置信息、红外图像对应的红外校正坐标以及电力设备对应的可见光图像对应的可见光校正坐标,将待处理的红外图像中电力设备部件的图像与待处理的可见光图像进行融合显示;红外校正坐标表征红外图像中的电力设备的边缘位置的坐标;可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像;可见光校正坐标表征可见光图像中电力设备的边缘位置的坐标。
在一个实施例中,上述特征获取模块502,具体用于针对每个目标数据块,获取该目标数据块在所述红外图像中对应的坐标;根据多个所述目标数据块对应的坐标,得到所述电力设备部件在所述红外图像中的目标位置信息。
在一个实施例中,上述装置还包括:样本获取模块,用于获取红外基准图像以及可见光基准图像;红外基准图像包括电力设备所在的电力区域的多个样本红外图像;可见光基准图像中包括电力区域的多个样本可见光图像;针对每个样本红外图像,获取该样本红外图像中电力设备的设备对角坐标,作为该样本红外图像对应的第一红外校正坐标和第二红外校正坐标;针对每个样本可见光图像,获取该样本可见光图像中电力设备的设备对角坐标,作为该样本可见光图像对应的第一可见光校正坐标和第二可见光校正坐标;根据多个第一红外校正坐标和多个第二红外校正坐标,得到红外校正坐标,以及,根据多个第一可见光校正坐标和多个第二可见光校正坐标,得到可见光校正坐标;获取多个样本红外图像中的电力设备部件的轮廓信息,作为电力设备模板图像。
在一个实施例中,上述特征获取模块502,具体用于获取电力设备部件对应的模板图像中电力设备部件对应的轮廓信息;获取轮廓信息中预设数量的节点,作为预设数量的电力设备部件的特征点;针对每个特征点,以该特征点为中心,生成预设大小的数据块,作为该特征点对应的表征电力设备部件的特征的数据块;根据多个数据块,得到预设数量的表征电力设备部件的特征的数据块。
在一个实施例中,上述位置获取模块504,具体用于针对红外图像中的每个坐标,以该坐标为中心生成所述预设大小的第一数据块;针对每个数据块,根据多个第一数据块与该数据块的比值,得到该数据块与多个第一数据块对应的多个数据块相似度;获取多个数据块相似度中的最大值,将最大值对应的第一数据块作为该数据块在红外图像中对应的目标数据块。
在一个实施例中,上述位置获取模块504,具体用于获取电力设备部件对应的模板图像中电力设备部件对应的轮廓信息;获取轮廓信息中预设数量的节点,作为预设数量的电力设备部件的特征点;针对每个特征点,获取该特征点与其他特征点的第一距离;针对每个目标数据块,获取该目标数据块的坐标与其他目标数据块的坐标的第二距离;若每个第二距离均与该目标数据块对应的特征点与对应的其他特征点的第一距离的差值小于预设阈值,确定该目标数据块对应的坐标为目标坐标;根据多个目标坐标,得到待处理的电力设备部件在红外图像中的目标位置信息。
在一个实施例中,上述融合模块506,具体用于针对每个目标位置信息,根据该目标位置信息中的横坐标、第一红外校正坐标中的横坐标、第二红外校正坐标中的横坐标、第一可见光校正坐标中的横坐标以及第二可见光校正坐标中的横坐标,得到目标位置信息在可见光图像中的目标横坐标;根据该目标位置信息中的纵坐标、第一红外校正坐标中的纵坐标、第二红外校正坐标中的纵坐标、第一可见光校正坐标中的纵坐标以及第二可见光校正坐标中的纵坐标,得到目标位置信息在可见光图像中的目标纵坐标;根据多个目标位置信息对应的目标横坐标和目标纵坐标,得到电力设备部件在可见光图像中的目标显示区域,将电力设备部件的图像显示在目标显示区域中。
关于基于电力设备的图像融合显示装置的具体限定可以参见上文中对于基于电力设备的图像融合显示方法的限定,在此不再赘述。上述基于电力设备的图像融合显示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是巡检机器人,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于电力设备的图像融合显示方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述的基于电力设备的图像融合显示方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的基于电力设备的图像融合显示方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于电力设备的图像融合显示方法,其特征在于,应用于巡检机器人,所述巡检机器人设置于电力区域中,所述方法包括:
获取待处理的红外图像;所述红外图像中包括电力设备的图像;所述电力设备包括电力设备部件;
获取电力设备模板图像中与所述电力设备部件对应的模板图像,并获取所述模板图像中预设数量的表征所述电力设备部件的特征的数据块;
获取所述待处理的红外图像中与每个所述数据块相似度最高的目标数据块,根据预设数量的目标数据块确定所述电力设备部件在所述待处理的红外图像中的目标位置信息,包括:针对每个目标数据块,获取该目标数据块在所述红外图像中对应的坐标;获取所述电力设备部件对应的模板图像中所述电力设备部件对应的轮廓信息;获取所述轮廓信息中预设数量的节点,作为预设数量的所述电力设备部件的特征点;针对每个所述特征点,获取该特征点与其他特征点的第一距离;针对每个所述目标数据块,获取该目标数据块的坐标与其他目标数据块的坐标的第二距离;若每个所述第二距离均与该目标数据块对应的特征点与对应的其他特征点的第一距离的差值小于预设阈值,确定该目标数据块对应的坐标为目标坐标;根据多个所述目标坐标,得到所述待处理的电力设备部件在所述红外图像中的目标位置信息;
根据所述目标位置信息、所述红外图像对应的红外校正坐标以及所述电力设备对应的可见光图像对应的可见光校正坐标,将所述待处理的红外图像中电力设备部件的图像与所述待处理的可见光图像进行融合显示;所述红外校正坐标表征所述红外图像中的所述电力设备的边缘位置的坐标;所述可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像;所述可见光校正坐标表征所述可见光图像中所述电力设备的边缘位置的坐标。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取红外基准图像以及可见光基准图像;所述红外基准图像包括所述电力设备所在的电力区域的多个样本红外图像;所述可见光基准图像中包括所述电力区域的多个样本可见光图像;
针对每个样本红外图像,获取该样本红外图像中电力设备的设备对角坐标,作为该样本红外图像对应的第一红外校正坐标和第二红外校正坐标;
针对每个样本可见光图像,获取该样本可见光图像中电力设备的设备对角坐标,作为该样本可见光图像对应的第一可见光校正坐标和第二可见光校正坐标;
根据多个所述第一红外校正坐标和多个所述第二红外校正坐标,得到所述红外校正坐标,以及,根据多个所述第一可见光校正坐标和多个所述第二可见光校正坐标,得到所述可见光校正坐标;
获取多个所述样本红外图像中的电力设备部件的轮廓信息,作为所述电力设备模板图像。
3.根据权利要求1所述的方法,其特征在于,所述获取所述模板图像中预设数量的表征所述电力设备部件的特征的数据块,包括:
获取所述电力设备部件对应的模板图像中所述电力设备部件对应的轮廓信息;
获取所述轮廓信息中预设数量的节点,作为预设数量的所述电力设备部件的特征点;
针对每个所述特征点,以该特征点为中心,生成预设大小的数据块,作为该特征点对应的表征所述电力设备部件的特征的数据块;
根据多个所述数据块,得到所述预设数量的表征所述电力设备部件的特征的数据块。
4.根据权利要求3所述的方法,其特征在于,所述获取所述待处理的红外图像中与每个所述数据块相似度最高的目标数据块,包括:
针对所述红外图像中的每个坐标,以该坐标为中心生成所述预设大小的第一数据块;
针对每个所述数据块,根据多个所述第一数据块与该数据块的比值,得到该数据块与多个所述第一数据块对应的多个数据块相似度;
获取所述多个数据块相似度中的最大值,将所述最大值对应的第一数据块作为所述该数据块在所述红外图像中对应的目标数据块。
5.根据权利要求2所述的方法,其特征在于,所述根据所述目标位置信息、所述红外图像对应的红外校正坐标以及待处理的可见光图像对应的可见光校正坐标,将所述待处理的红外图像中电力设备部件的图像与所述待处理的可见光图像进行融合显示,包括:
针对每个所述目标位置信息,根据该目标位置信息中的横坐标、所述第一红外校正坐标中的横坐标、所述第二红外校正坐标中的横坐标、所述第一可见光校正坐标中的横坐标以及所述第二可见光校正坐标中的横坐标,得到所述目标位置信息在所述可见光图像中的目标横坐标;根据该目标位置信息中的纵坐标、所述第一红外校正坐标中的纵坐标、所述第二红外校正坐标中的纵坐标、所述第一可见光校正坐标中的纵坐标以及所述第二可见光校正坐标中的纵坐标,得到所述目标位置信息在所述可见光图像中的目标纵坐标;
根据多个所述目标位置信息对应的目标横坐标和目标纵坐标,得到所述电力设备部件在所述可见光图像中的目标显示区域,将所述电力设备部件的图像显示在所述目标显示区域中。
6.一种基于电力设备的图像融合显示装置,其特征在于,应用于巡检机器人,所述巡检机器人设置于电力区域中,所述装置包括:
图像获取模块,用于获取待处理的红外图像;所述红外图像中包括电力设备的图像;所述电力设备包括电力设备部件;
特征获取模块,用于获取电力设备模板图像中与所述电力设备部件对应的模板图像,并获取所述模板图像中预设数量的表征所述电力设备部件的特征的数据块;
位置获取模块,用于获取所述待处理的红外图像中与每个所述数据块相似度最高的目标数据块,根据预设数量的目标数据块确定所述电力设备部件在所述待处理的红外图像中的目标位置信息,具体用于:针对每个目标数据块,获取该目标数据块在所述红外图像中对应的坐标;获取所述电力设备部件对应的模板图像中所述电力设备部件对应的轮廓信息;获取所述轮廓信息中预设数量的节点,作为预设数量的所述电力设备部件的特征点;针对每个所述特征点,获取该特征点与其他特征点的第一距离;针对每个所述目标数据块,获取该目标数据块的坐标与其他目标数据块的坐标的第二距离;若每个所述第二距离均与该目标数据块对应的特征点与对应的其他特征点的第一距离的差值小于预设阈值,确定该目标数据块对应的坐标为目标坐标;根据多个所述目标坐标,得到所述待处理的电力设备部件在所述红外图像中的目标位置信息;
融合模块,用于根据所述目标位置信息、所述红外图像对应的红外校正坐标以及所述电力设备对应的可见光图像对应的可见光校正坐标,将所述待处理的红外图像中电力设备部件的图像与所述待处理的可见光图像进行融合显示;所述红外校正坐标表征所述红外图像中的所述电力设备的边缘位置的坐标;所述可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像;所述可见光校正坐标表征所述可见光图像中所述电力设备的边缘位置的坐标。
7.根据权利要求6所述的装置,其特征在于,所述特征获取模块,具体用于:
获取所述电力设备部件对应的模板图像中所述电力设备部件对应的轮廓信息;
获取所述轮廓信息中预设数量的节点,作为预设数量的所述电力设备部件的特征点;
针对每个所述特征点,以该特征点为中心,生成预设大小的数据块,作为该特征点对应的表征所述电力设备部件的特征的数据块;
根据多个所述数据块,得到所述预设数量的表征所述电力设备部件的特征的数据块。
8.根据权利要求6所述的装置,其特征在于,所述位置获取模块,具体用于:
针对所述红外图像中的每个坐标,以该坐标为中心生成所述预设大小的第一数据块;
针对每个所述数据块,根据多个所述第一数据块与该数据块的比值,得到该数据块与多个所述第一数据块对应的多个数据块相似度;
获取所述多个数据块相似度中的最大值,将所述最大值对应的第一数据块作为所述该数据块在所述红外图像中对应的目标数据块。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110656041.6A CN113284128B (zh) | 2021-06-11 | 2021-06-11 | 基于电力设备的图像融合显示方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110656041.6A CN113284128B (zh) | 2021-06-11 | 2021-06-11 | 基于电力设备的图像融合显示方法、装置和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113284128A CN113284128A (zh) | 2021-08-20 |
CN113284128B true CN113284128B (zh) | 2023-05-16 |
Family
ID=77284596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110656041.6A Active CN113284128B (zh) | 2021-06-11 | 2021-06-11 | 基于电力设备的图像融合显示方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113284128B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491781A (zh) * | 2017-07-21 | 2017-12-19 | 国家电网公司 | 一种巡检机器人可见光与红外传感器数据融合方法 |
CN109029731A (zh) * | 2018-05-24 | 2018-12-18 | 河海大学常州校区 | 一种基于多目视觉的电力设备异常监测系统及方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567983B (zh) * | 2010-12-26 | 2014-11-26 | 浙江大立科技股份有限公司 | 即时红外热图中被监测目标位置的确定方法及应用 |
US9681066B2 (en) * | 2013-07-08 | 2017-06-13 | Flir Systems Ab | Facilitating improved calibration of captured infrared data values by an IR imaging system in a thermography arrangement |
CN105004354B (zh) * | 2015-06-19 | 2017-12-05 | 北京航空航天大学 | 大斜视角下无人机可见光和红外图像目标定位方法 |
CN105678727A (zh) * | 2016-01-12 | 2016-06-15 | 四川大学 | 基于异构多核构架的红外光与可见光图像实时融合系统 |
CN106548467B (zh) * | 2016-10-31 | 2019-05-14 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
CN106525004A (zh) * | 2016-11-09 | 2017-03-22 | 人加智能机器人技术(北京)有限公司 | 双目立体视觉系统及深度测量方法 |
CN110815201B (zh) * | 2018-08-07 | 2022-04-19 | 达明机器人股份有限公司 | 机器手臂校正坐标的方法 |
CN109242439B (zh) * | 2018-09-21 | 2021-10-26 | 国家电网有限公司 | 基于变电站设备相关联数据的特征提取识别方法 |
CN109253805B (zh) * | 2018-09-29 | 2020-09-08 | 国家电网有限公司 | 一种电力设备多目标同时测温的方法 |
CN109323765B (zh) * | 2018-09-29 | 2020-10-27 | 国家电网有限公司 | 一种采用曲线轮廓法对电力设备准确测温的方法 |
CN109300161B (zh) * | 2018-10-24 | 2021-10-26 | 四川阿泰因机器人智能装备有限公司 | 一种基于双目视觉的定位方法及装置 |
CN109544521B (zh) * | 2018-11-12 | 2021-08-17 | 北京航空航天大学 | 一种人体安检中被动毫米波图像与可见光图像的配准方法 |
CN110472510A (zh) * | 2019-07-16 | 2019-11-19 | 上海电力学院 | 基于红外及可见图像的电力设备故障检测方法及评估设备 |
CN110555819B (zh) * | 2019-08-20 | 2022-02-01 | 中国石油大学(北京) | 基于红外和可见光图像融合的设备监测方法、装置及设备 |
CN111062378B (zh) * | 2019-12-23 | 2021-01-26 | 重庆紫光华山智安科技有限公司 | 图像处理方法、模型训练方法、目标检测方法及相关装置 |
CN111083381B (zh) * | 2019-12-31 | 2021-10-22 | 深圳市道通智能航空技术股份有限公司 | 一种图像融合的方法、装置及双光相机、无人机 |
CN111246098B (zh) * | 2020-01-19 | 2022-02-22 | 深圳市人工智能与机器人研究院 | 机器人拍照方法、装置、计算机设备和存储介质 |
CN111539902B (zh) * | 2020-04-16 | 2023-03-28 | 烟台艾睿光电科技有限公司 | 一种图像处理方法、系统、设备及计算机可读存储介质 |
CN111738097B (zh) * | 2020-05-29 | 2024-04-05 | 理光软件研究所(北京)有限公司 | 一种目标分类方法、装置、电子设备和可读存储介质 |
CN111667520B (zh) * | 2020-06-09 | 2023-05-16 | 中国人民解放军63811部队 | 红外图像和可见光图像的配准方法、装置及可读存储介质 |
CN111738969B (zh) * | 2020-06-19 | 2024-05-28 | 无锡英菲感知技术有限公司 | 图像融合方法、装置及计算机可读存储介质 |
CN111738970A (zh) * | 2020-06-19 | 2020-10-02 | 无锡英菲感知技术有限公司 | 图像融合方法、装置及计算机可读存储介质 |
CN112102380A (zh) * | 2020-09-11 | 2020-12-18 | 北京华捷艾米科技有限公司 | 一种红外图像与可见光图像的配准方法及相关装置 |
CN112257664A (zh) * | 2020-11-12 | 2021-01-22 | Oppo广东移动通信有限公司 | 图像融合方法、装置、计算机设备和存储介质 |
CN112258507B (zh) * | 2020-11-20 | 2021-07-23 | 财拓云计算(上海)有限公司 | 互联网数据中心的目标对象检测方法、装置和电子设备 |
-
2021
- 2021-06-11 CN CN202110656041.6A patent/CN113284128B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491781A (zh) * | 2017-07-21 | 2017-12-19 | 国家电网公司 | 一种巡检机器人可见光与红外传感器数据融合方法 |
CN109029731A (zh) * | 2018-05-24 | 2018-12-18 | 河海大学常州校区 | 一种基于多目视觉的电力设备异常监测系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113284128A (zh) | 2021-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8897539B2 (en) | Using images to create measurements of structures through the videogrammetric process | |
US11024052B2 (en) | Stereo camera and height acquisition method thereof and height acquisition system | |
CN113592950B (zh) | 基于光学动捕的大空间环境下多相机标定方法及相关设备 | |
CN111046725B (zh) | 一种基于监控视频的人脸识别和点云融合的空间定位方法 | |
CN110751149B (zh) | 目标对象标注方法、装置、计算机设备和存储介质 | |
WO2022143283A1 (zh) | 摄像头标定方法、装置、计算机设备和存储介质 | |
CN111666922A (zh) | 视频匹配方法、装置、计算机设备和存储介质 | |
US20180300579A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
CN104065863A (zh) | 图像处理方法及处理装置 | |
CN111652314A (zh) | 温度检测方法、装置、计算机设备和存储介质 | |
CN113938674B (zh) | 视频质量检测方法、装置、电子设备及可读存储介质 | |
CN113284128B (zh) | 基于电力设备的图像融合显示方法、装置和计算机设备 | |
CN113284127B (zh) | 图像融合显示方法、装置、计算机设备和存储介质 | |
CN104748862A (zh) | 分析装置和分析方法 | |
CN104655636B (zh) | 热像分析装置、配置装置和热像分析方法、配置方法 | |
CN116879301A (zh) | 产品检测方法、装置、设备及计算机可读存储介质 | |
CN116309824A (zh) | 地面水迹识别方法、装置、计算机设备和存储介质 | |
KR20200057929A (ko) | 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램 | |
CN114925153A (zh) | 基于业务的地理信息数据质量检测方法、装置和设备 | |
CN114004891A (zh) | 一种基于目标追踪的配网线路巡检方法及相关装置 | |
CN104655284B (zh) | 分析装置、处理装置和分析方法、处理方法 | |
CN112163519A (zh) | 图像映射处理方法、装置、存储介质及电子装置 | |
CN103900713A (zh) | 热像检测装置和热像检测方法 | |
CN105021290B (zh) | 拍摄装置、伪彩设置装置和拍摄方法、伪彩设置方法 | |
CN104655638A (zh) | 分析对比装置和分析对比方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |