CN113284127A - 图像融合显示方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像融合显示方法、装置、计算机设备和存储介质。通过获取电力区域的红外图像以及包括红外图像显示内容的可见光图像对应的拍摄焦距，并获取拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标，再根据目标匹配坐标以及待处理红外图像中的像素点坐标，将待处理的红外图像与待处理的可见光图像中红外图像对应的显示内容部分进行融合显示。相较于传统的将红外图像和可见光图像分开显示，本方案利用多个可见光图像的拍摄焦距与各个可见光图像和各个红外图像中坐标的对应关系，对在电力区域中拍摄的红外图像和可见光图像进行融合显示，提高了对电力区域图像的监测效率。

Description

图像融合显示方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像融合显示方法、装置、计算机设备和存储介质。

背景技术

电力是维护国家正常运行和人们正常生活的重要资源之一，电力通常依靠大量电力设备进行生产和传输，因此对电力设备的运行情况进行监测变得十分重要。目前通常使用巡检机器人对电力设备的运行情况进行巡检和监测，在对电力设备的监测过程中，需要对电力设备进行图像记录，并基于记录的图像对电力设备的运行情况进行分析，目前在对电力设备的监测中使用的图像包括有可见光图像和红外图像等图像形式，可见光图像具有清晰，色彩丰富等特点；红外图像具有可检测温度等特点。然而，目前的两种图像只能分别进行显示，无法对两种图像进行融合显示，导致图像的显示质量降低，影响了对电力设备的监测效率。

因此，目前对图像的显示方法存在监测效率低的缺陷。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高监测效率的图像融合显示方法、装置、计算机设备和存储介质。

一种图像融合显示方法，应用于巡检机器人，所述巡检机器人设置于电力区域中，所述方法包括：

获取针对所述电力区域的待处理的红外图像以及获取待处理的可见光图像对应的拍摄焦距；所述待处理的可见光图像中包括所述待处理的红外图像的显示内容；所述可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像；

获取所述拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标；所述预设焦距坐标匹配集合包括针对所述电力区域中参照电力设备的多个样本拍摄焦距与所述参照电力设备分别在多个样本可见光图像和多个样本红外图像中对应的多个匹配坐标间的对应关系；

根据所述目标匹配坐标以及所述待处理的红外图像中的像素点坐标，将所述待处理的红外图像与所述待处理的可见光图像中所述红外图像对应的显示内容的部分进行融合显示。

在其中一个实施例中，所述方法还包括：

获取所述电力区域中针对参照电力设备的样本红外图像；

获取针对所述参照电力设备的多个不同样本拍摄焦距拍摄的样本可见光图像；所述样本可见光图像中包括所述样本红外图像的显示内容；

针对每个所述样本可见光图像，获取该样本可见光图像中所述参照电力设备的可见光匹配坐标，以及所述样本红外图像中所述参照电力设备的红外匹配坐标；所述可见光匹配坐标表征所述样本可见光图像中所述参照电力设备的边缘位置的坐标；所述红外匹配坐标表征所述样本红外图像中所述参照电力设备的边缘位置的坐标；

根据多个所述样本拍摄焦距、多个所述可见光匹配坐标以及多个所述红外匹配坐标，得到所述预设焦距坐标匹配集合。

在其中一个实施例中，所述巡检机器人包括：图像采集设备；

所述获取针对所述参照电力设备的多个不同样本拍摄焦距拍摄的样本可见光图像，包括：

以所述图像采集设备的最小样本拍摄焦距为起点，按照预设倍数增加所述图像采集设备的焦距，直到达到上述图像采集设备的最大样本拍摄焦距；

针对每个所述样本拍摄焦距，获取在该样本拍摄焦距下所述参照电力设备对应的样本可见光图像。

在其中一个实施例中，所述针对每个所述样本可见光图像，获取该样本可见光图像中所述参照电力设备的可见光匹配坐标，以及所述样本红外图像中所述参照电力设备的红外匹配坐标，包括：

针对每个所述样本可见光图像，获取该样本可见光图像中所述参照电力设备边缘的设备对角坐标，得到该样本可见光图像对应的第一可见光匹配坐标和第二可见光匹配坐标；

以及，获取所述样本红外图像中所述参照电力设备边缘的设备对角坐标，得到所述样本红外图像对应的第一红外匹配坐标和第二红外匹配坐标。

在其中一个实施例中，所述根据多个所述样本拍摄焦距、多个所述可见光匹配坐标以及多个所述红外匹配坐标，得到所述预设焦距坐标匹配集合，包括：

针对每个所述样本拍摄焦距，获取该样本拍摄焦距对应的可见光匹配坐标以及红外匹配坐标，得到该样本拍摄焦距对应的焦距坐标匹配组；

按照所述样本拍摄焦距从小到大的顺序，对多个所述焦距坐标匹配组进行排序，得到所述预设焦距坐标匹配集合。

在其中一个实施例中，所述获取所述拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标，包括：

根据所述拍摄焦距，从所述预设焦距坐标匹配集合中获取对应的目标样本拍摄焦距；所述目标样本拍摄焦距表征所述预设焦距坐标匹配集合中相邻的两个样本拍摄焦距且前一样本拍摄焦距小于所述拍摄焦距，后一样本拍摄焦距大于所述拍摄焦距，和/或所述预设焦距坐标匹配集合中与所述拍摄焦距一致的样本拍摄焦距；

获取所述目标样本拍摄焦距对应的目标可见光匹配坐标以及目标红外匹配坐标，作为所述目标匹配坐标。

在其中一个实施例中，所述根据所述目标匹配坐标以及所述待处理的红外图像中的像素点坐标，将所述待处理的红外图像与所述待处理的可见光图像中所述红外图像对应的显示内容的部分进行融合显示，包括：

根据所述目标红外匹配坐标以及所述目标可见光匹配坐标，得到坐标缩放比例；

针对每个所述像素点坐标，获取该像素点坐标与所述坐标缩放比例的乘积，以及所述乘积与所述目标可见光匹配坐标的和，得到该像素点坐标在所述待处理的可见光图像中对应的目标坐标；

根据多个所述目标坐标，得到所述待处理的红外图像在所述待处理的可见光图像中的目标显示区域，将所述待处理的红外图像显示所述目标显示区域中。

一种图像融合显示装置，应用于巡检机器人，所述巡检机器人设置于电力区域中，所述装置包括：

第一获取模块，用于获取针对所述电力区域的待处理的红外图像以及获取待处理的可见光图像对应的拍摄焦距；所述待处理的可见光图像中包括所述待处理的红外图像的显示内容；所述可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像；

第二获取模块，用于获取所述拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标；所述预设焦距坐标匹配集合包括针对所述电力区域中参照电力设备的多个样本拍摄焦距与所述参照电力设备分别在多个样本可见光图像和多个样本红外图像中对应的多个匹配坐标间的对应关系；

融合模块，用于根据所述目标匹配坐标以及所述待处理的红外图像中的像素点坐标，将所述待处理的红外图像与所述待处理的可见光图像中所述红外图像对应的显示内容的部分进行融合显示。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述图像融合显示方法、装置、计算机设备和存储介质，通过获取针对电力区域的待处理的红外图像以及获取包括待处理的红外图像的显示内容的待处理的可见光图像对应的拍摄焦距，并获取拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标，其中预设焦距坐标匹配集合包括针对电力区域中参照电力设备的多个样本拍摄焦距和对应的多个匹配坐标间的对应关系，再根据目标匹配坐标以及待处理红外图像中的像素点坐标，将待处理的红外图像与待处理的可见光图像中红外图像对应的显示内容部分进行融合显示。相较于传统的将红外图像和可见光图像分开显示，本方案利用多个可见光图像的拍摄焦距与各个可见光图像和各个红外图像中坐标的对应关系，对在电力区域中拍摄的红外图像和可见光图像进行融合显示，提高了对电力区域图像的监测效率。

附图说明

图1为一个实施例中图像融合显示方法的应用环境图；

图2为一个实施例中图像融合显示方法的流程示意图；

图3为一个实施例中获取可见光匹配坐标的界面示意图；

图4为一个实施例中获取红外匹配坐标的界面示意图；

图5为一个实施例中图像融合显示装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图像融合显示方法，可以应用于如图1所示的应用环境中。其中，巡检机器人102可以获取电力区域中的待处理的红外图像以及待处理的可见光图像对应的拍摄焦距，并利用拍摄焦距在预设焦距坐标匹配集合中得到对应的目标匹配坐标，根据目标匹配坐标和待处理红外图像中的像素点坐标，将待处理的红外图像与待处理的可见光图像中红外图像对应的显示内容的部分进行融合显示。在一些实施例中，还可以包括服务器104，巡检机器人102通过网络与服务器104进行通信。巡检机器人102可以从服务器104中获取所述预设焦距坐标匹配集，且巡检机器人102还可以将融合显示后的图像上传至服务器104进行保存。其中，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种图像融合显示方法，以该方法应用于图1中的巡检机器人为例进行说明，包括以下步骤：

步骤S202，获取针对电力区域的待处理的红外图像以及获取待处理的可见光图像对应的拍摄焦距；待处理的可见光图像中包括待处理的红外图像的显示内容；可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像。

其中，电力区域可以是巡检机器人102所在的区域，电力区域中可以包括多个电力设备，巡检机器人102可以对电力区域中的电力设备进行图像获取，例如，巡检机器人102中可以设置有图像采集设备，巡检机器人102可以利用图像采集设备获取电力区域中的图像，另外，巡检机器人102还可以利用红外成像设备获取电力区域中的图像。其中，图像采集设备获取的图像可以是可见光图像，可见光图像可以是基于人眼可感知的电磁波形成的高分辨率图像，例如可以通过巡检机器人102的相机拍摄得到；红外成像设备拍摄的图像可以是红外图像，红外图像可以是基于红外成像形成的图像，比0.78微米长的电磁波位于可见光光谱红色以外，称为红外线，又称红外辐射。是指波长为0.78—1000微米的电磁波，其中波长为0.78—2.0微米的部分称为近红外，波长为2.0—1000微米的部分称为热红外线。自然界中，一切物体都可以辐射红外线，因此利用探测仪测量目标本身与背景间的红外线差可以得到不同的热红外线形成的红外图像。

上述巡检机器人102可以利用上述红外成像设备拍摄待处理的红外图像，利用图像采集设备拍摄待处理的可见光图像，其中，图像采集设备的焦距可以调整，且不同的焦距可以拍摄出不同的可见光图像，并且，无论图像采集设备的焦距为多少，巡检机器人102通过图像采集设备拍摄的可见光图像中都可以包括红外图像中的显示内容，例如，可见光图像中的显示内容大于红外图像中的显示内容，或者可见光图像中的显示内容等于红外图像中的显示内容。巡检机器人102在获取上述待处理的可见光图像后，还可以获取拍摄该可见光图像时图像采集设备的拍摄焦距，从而巡检机器人102可以利用该焦距进行红外图像坐标到可见光图像坐标的转换。

步骤S204，获取拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标；预设焦距坐标匹配集合包括针对电力区域中参照电力设备的多个样本拍摄焦距与参照电力设备分别在多个样本可见光图像和多个样本红外图像中对应的多个匹配坐标间的对应关系。

其中，拍摄焦距可以是巡检机器人102拍摄待处理的可见光图像时的焦距。巡检机器人102可以根据拍摄焦距在预设焦距坐标匹配集合中查询对应的目标匹配坐标。其中，预设焦距坐标匹配集合中可以包括多个样本拍摄焦距与多个匹配坐标间的对应关系，其中，多个匹配坐标包括有上述参照电力设备在多个样本可见光图像中的匹配坐标，以及上述参照电力设备在多个样本红外图像中的匹配坐标。例如，巡检机器人102可以在不同样本拍摄焦距的情况下拍摄包含上述参照电力设备的可见光图像和包含上述参照电力设备的红外图像，并且可以从可见光图像中获取参照电力设备的预设位置的坐标，作为样本可见光图像的匹配坐标，以及可以从红外图像中获取参照电力设备的预设位置的坐标，作为样本红外图像的匹配坐标，并利用上述各个样本拍摄焦距、样本红外图像的匹配坐标和样本可见光图像的匹配坐标得到上述预设焦距坐标匹配集合。从而巡检机器人102可以利用上述的拍摄焦距，在预设焦距坐标集合中查询合适的样本拍摄焦距，并基于样本拍摄焦距得到对应的可见光图像对应的匹配坐标和红外图像对应的匹配坐标，从而得到目标匹配坐标。

步骤S206，根据目标匹配坐标以及待处理的红外图像中的像素点坐标，将待处理的红外图像与待处理的可见光图像中红外图像对应的显示内容的部分进行融合显示。

其中，目标匹配坐标可以是利用巡检机器人102拍摄可见光图像的拍摄焦距在预设焦距坐标匹配集合中查询得到的坐标，目标匹配坐标可以是用于对红外图像中的坐标进行校正的坐标，从而可以令红外图像与可见光图像进行结合。待处理的红外图像可以由多个像素点组成，各个像素点可以有对应的像素点坐标。巡检机器人102可以利用上述查询得到的目标匹配坐标和待处理红外图像中的像素点坐标，将待处理的红外图像在上述待处理的可见光图像中进行融合显示，例如，上述待处理的可见光图像中可以包括有待处理的红外图像中的显示内容，待处理的红外图像可以利用上述目标匹配坐标，对自身的像素点坐标进行坐标转换，从而可以实现图像比例的变换，使得巡检机器人102可以在待处理的可见光图像中红外图像对应的显示内容的部分显示上述进行坐标转换后的待处理的红外图像，从而实现待处理的可见光图像和待处理的红外图像的融合显示。

上述图像融合显示方法中，通过获取针对电力区域的待处理的红外图像以及获取包括待处理的红外图像的显示内容的待处理的可见光图像对应的拍摄焦距，并获取拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标，其中预设焦距坐标匹配集合包括针对电力区域中参照电力设备的多个样本拍摄焦距和对应的多个匹配坐标间的对应关系，再根据目标匹配坐标以及待处理红外图像中的像素点坐标，将待处理的红外图像与待处理的可见光图像中红外图像对应的显示内容部分进行融合显示。相较于传统的将红外图像和可见光图像分开显示，本方案利用多个可见光图像的拍摄焦距与各个可见光图像和各个红外图像中坐标的对应关系，对在电力区域中拍摄的红外图像和可见光图像进行融合显示，提高了对电力区域图像的监测效率。

在一个实施例中，还包括：获取电力区域中针对参照电力设备的样本红外图像；获取针对参照电力设备的多个不同样本拍摄焦距拍摄的样本可见光图像；样本可见光图像中包括样本红外图像的显示内容；针对每个样本可见光图像，获取该样本可见光图像中参照电力设备的可见光匹配坐标，以及样本红外图像中参照电力设备的红外匹配坐标；可见光匹配坐标表征样本可见光图像中参照电力设备的边缘位置的坐标；红外匹配坐标表征样本红外图像中参照电力设备的边缘位置的坐标；根据多个样本拍摄焦距、多个可见光匹配坐标以及多个红外匹配坐标，得到预设焦距坐标匹配集合。

本实施例中，参照电力设备可以是设置在电力区域中的电力设备，参照电力设备可以用于建立上述预设焦距坐标匹配集合。参照电力设备可以根据实际情况进行选择。巡检机器人102可以获取电力区域中参照电力设备的红外图像，作为样本红外图像。例如，巡检机器人102可以在调试现场，选定特定目标作为参照物，即上述参照电力设备，并利用红外成像设备，如红外热像仪，获取参照电力设备的红外图像，从而得到上述样本红外图像。巡检机器人102还可以获取参照电力设备的多个不同样本拍摄焦距的可见光图像，作为样本可见光图像，例如，巡检机器人102可以在电力区域中，利用图像采集设备调整不同的焦距，并在多个焦距条件下拍摄得到参照电力设备的可见光图像，从而得到多个样本可见光图像。其中，样本可见光图像的视场可以始终大于或等于样本红外图像的视场。即样本可见光图像中的显示内容可以包括样本红外图像中的显示内容。

巡检机器人102在获取上述各个样本可见光图像过程中，可以针对每个样本可见光图像，获取该样本可见光图像中参照电力设备的预设位置的坐标，作为该样本可见光图像的样本拍摄焦距对应的可见光匹配坐标，以及获取上述样本红外图像中参照电力设备的预设位置的坐标，作为该样本可见光图像的样本拍摄焦距对应的红外匹配坐标。上述可见光匹配坐标可以是上述样本可见光图像中参照电力设备的边缘位置的坐标，红外匹配坐标可以是样本红外图像中参照电力设备的边缘位置的坐标。例如，在一个实施例中，针对每个样本可见光图像，获取该样本可见光图像中参照电力设备的可见光匹配坐标，以及样本红外图像中参照电力设备的红外匹配坐标，包括：针对每个样本可见光图像，获取该样本可见光图像中参照电力设备边缘的设备对角坐标，得到该样本可见光图像对应的第一可见光匹配坐标和第二可见光匹配坐标；以及，获取样本红外图像中参照电力设备边缘的设备对角坐标，得到样本红外图像对应的第一红外匹配坐标和第二红外匹配坐标。本实施例中，上述可见光匹配坐标可以是样本可见光图像中参照电力设备边缘的设备对角坐标，设备对角坐标可以包括第一可见光匹配坐标和第二可见光匹配坐标，例如，可以是样本可见光图像中参照电力设备的左上角坐标和右下角坐标；上述红外匹配坐标可以是样本红外图像中参照电力设备边缘的设备对角坐标，该设备对角坐标可以包括第一红外匹配坐标和第二红外匹配坐标，例如，可以是样本红外图像中参照电力设备的左上角坐标和右下角坐标。需要说明的是，上述设备对角坐标还可以是右上角和左下角的坐标，也可以是四个角落的坐标或其他表征参照电力设备边缘的坐标。

如图3所示，图3为一个实施例中获取可见光匹配坐标的界面示意图。巡检机器人102可以首先在调试现场选定特定目标作为参照物，确保样本可见光图像的显示内容大于样本红外图像的显示内容后，记录当前样本可见光图像的焦距，例如光学变焦的位置，此时巡检机器人102可以在当前的样本可见光图像中标记参照电力设备的左上角位置的坐标，作为上述第一可见光匹配坐标，以及标记参照电力设备的右下角坐标，作为上述第二可见光匹配坐标；如图4所示，图4为一个实施例中获取红外匹配坐标的界面示意图。巡检机器人102还可以在上述样本红外图像中标记参照电力设备的左上角坐标，作为第一红外匹配坐标，以及标记参照电力设备的右下角坐标，作为第二红外匹配坐标。巡检机器人102还可以将上述在当前样本拍摄焦距条件下标记的各个坐标进行记录，例如，巡检机器人102可以记录当前图像采集设备的焦距位置，即样本拍摄焦距、第一红外图像匹配坐标、第二红外图像匹配坐标、第一可见光匹配坐标和第二可见光匹配坐标，从而得到该样本可见光图像对应的焦距和坐标的匹配组合。

巡检机器人102可以对每个上述样本可见光图像均进行上述的坐标获取流程。并且巡检机器人102可以利用多个样本拍摄焦距、多个可见光匹配坐标和多个红外匹配坐标，得到上述的预设焦距坐标匹配集合。即巡检机器人102可以根据多组上述的焦距和坐标的匹配组合得到上述预设焦距坐标匹配集合。例如样本可见光图像的数量有30个，则预设焦距坐标匹配集合中组合的个数为30个。上述预设焦距坐标匹配集合可按照数组形式进行存储。预设焦距坐标匹配集合可以按照如下数据结构进行存储：

且上述红外图像和坐标数据可以按照下表的格式进行存储：

表1机器人红外图像高清图像融合信息存储格式文件

其中，在这个格式文件中，巡检机器人102存储了JPEG格式的红外热图图像，然后巡检机器人102可以在JPEG文件的附件数据段中存储上述图像采集设备在不同焦距位置(即上述样本拍摄焦距)时，红外热像与高清图像中，校正目标位置对准坐标数组，即上述匹配坐标。并且这个文件还可以存储当前巡检机器人102在当前进行实时图像融合显示时，坐标系统的换算关系。

通过本实施例，巡检机器人102可以利用多个样本拍摄焦距拍摄的样本可见光图像和上述样本红外图像进行匹配坐标的获取，从而形成用于进行图像融合显示的预设焦距坐标匹配集合，提高了电力设备图像的显示质量，从而提高了对电力设备的监测效率。

在一个实施例中，获取针对参照电力设备的多个不同样本拍摄焦距拍摄的样本可见光图像，包括：以图像采集设备的最小样本拍摄焦距为起点，按照预设倍数增加所述图像采集设备的焦距，直到达到上述图像采集设备的最大样本拍摄焦距；针对每个样本拍摄焦距，获取在该样本拍摄焦距下所述参照电力设备对应的样本可见光图像。

本实施例中，上述巡检机器人102可以设置有图像采集设备。巡检机器人102可以利用图像采集设备获取多个样本可见光图像，且多个样本可见光图像可以是不同样本拍摄焦距拍摄得到的图像。巡检机器人102可以按照特定的规则变换样本拍摄焦距进行上述样本可见光图像的获取，在巡检机器人102获取上述样本可见光图像过程中，巡检机器人102可以首先将上述图像采集设备的焦距设置为最小，得到最小样本拍摄焦距，巡检机器人102可以将最小样本拍摄焦距作为起点，按照预设倍数增加上述图像采集设备的焦距，直到图像采集设备达到最大样本拍摄焦距，例如，图像采集设备可以是高清相机，巡检机器人102可以调节高清相机的焦距位置，从最小焦距位置(光学变倍最小，视场最大)向最大焦距位置变化，并且巡检机器人102可以针对每个样本拍摄焦距，获取在该样本拍摄焦距下参照电力设备对应的样本可见光图像，从而巡检机器人102可以根据多个样本拍摄焦距得到上述多个样本可见光图像。例如，巡检机器人102可以将上述高清相机从焦距最近一直到焦距最远，即从焦距最小一直到焦距最大进行变换，并且变换的倍数可以是一倍，即每隔一倍获取一次样本可见光图像，并且巡检机器人102可以在每次获取的样本可见光图像中记录上述第一可见光匹配坐标和第二可见光匹配坐标以及记录样本红外图像中的第一红外匹配坐标和第二红外匹配坐标，并将上述各个匹配坐标与当前的样本拍摄焦距进行记录。巡检机器人102可以在每次样本拍摄焦距变换后均进行上述记录步骤，例如样本拍摄焦距变换30次，则巡检机器人102可以存储30组数据，存储到上述数组PreposStruct p[30]中。从而得到上述预设焦距坐标匹配集合。

通过本实施例，巡检机器人102可以通过变换样本拍摄焦距从而得到多个样本可见光图像，并基于多个样本可见光图像得到用于进行图像融合显示的预设焦距坐标匹配集合，提高了电力设备图像的显示质量，从而提高了对电力设备的监测效率。

在一个实施例中，根据多个样本拍摄焦距、多个可见光匹配坐标以及多个红外匹配坐标，得到预设焦距坐标匹配集合，包括：针对每个样本拍摄焦距，获取该样本拍摄焦距对应的可见光匹配坐标以及红外匹配坐标，得到该样本拍摄焦距对应的焦距坐标匹配组；按照样本拍摄焦距从小到大的顺序，对多个焦距坐标匹配组进行排序，得到预设焦距坐标匹配集合。

本实施例中，巡检机器人102可以利用多个不同的样本拍摄焦距得到多个样本可见光图像，并利用多个样本可见光图像得到预设焦距坐标匹配集合。例如，巡检机器人102可以针对每个样本拍摄焦距，获取该样本拍摄焦距对应的可见光匹配坐标以及红外匹配坐标，从而得到该样本拍摄焦距对应的焦距坐标匹配组。巡检机器人102可以根据多组上述焦距坐标匹配组得到预设焦距坐标匹配集合，例如，巡检机器人102可以将上述各组焦距坐标匹配组，按照样本拍摄焦距从小到大的顺序进行排序，从而得到上述预设焦距坐标匹配集合。例如上述样本拍摄焦距的数量可以是30个，则巡检机器人102可以将上述各组焦距坐标匹配组按照其中的焦距f从小到大的顺序，进行升序排序，得到30组数据，并存储在数组PreposStruct p[30]中。从而得到上述预设焦距坐标匹配集合。

通过本实施例，巡检机器人102可以将多组焦距坐标匹配组按照样本拍摄焦距大小进行升序排序，从而可以得到样本拍摄焦距升序排序的用于进行图像融合显示的预设焦距坐标匹配集合，提高了电力设备图像的显示质量，从而提高了对电力设备的监测效率。

在一个实施例中，获取拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标，包括：根据拍摄焦距，从预设焦距坐标匹配集合中获取对应的目标样本拍摄焦距；目标样本拍摄焦距表征预设焦距坐标匹配集合中相邻的两个样本拍摄焦距且前一样本拍摄焦距小于拍摄焦距，后一样本拍摄焦距大于拍摄焦距，和/或预设焦距坐标匹配集合中与拍摄焦距一致的样本拍摄焦距；获取目标样本拍摄焦距对应的目标可见光匹配坐标以及目标红外匹配坐标，作为目标匹配坐标。

本实施例中，巡检机器人102可以在实际使用过程中对电力区域进行拍摄，并且将得到的待处理的红外图像和待处理的可见光图像进行融合。巡检机器人102可以获取拍摄待处理的可见光图像时的拍摄焦距，并利用拍摄焦距查询预设焦距坐标匹配集合，从中获取对应的目标样本拍摄焦距。其中，目标样本拍摄焦距可以是一个，也可以是两个，例如，当上述拍摄焦距在预设焦距坐标匹配集合中没有与其一致的样本拍摄焦距时，则此时目标样本拍摄焦距可以是两个，具体地，巡检机器人102可以查找预设焦距坐标匹配集合中相邻的两个样本拍摄焦距，且这两个相邻的样本拍摄焦距中，前一个样本拍摄焦距小于上述查询的拍摄焦距，且后一个样本拍摄焦距大于上述查询的拍摄焦距，从而巡检机器人102可以将这两个样本拍摄焦距作为上述目标样本拍摄焦距；若巡检机器人102在预设焦距坐标匹配集合中查询得到与上述拍摄焦距一致的样本拍摄焦距，则巡检机器人102可以将该样本拍摄焦距作为上述目标样本拍摄焦距。

例如，巡检机器人102在实际使用过程中，可以通过高清相机按照某个焦距拍摄待处理的可见光图像，巡检机器人102可以读取当前高清相机的焦距位置F，并首先计算得到焦距位置F在上述预设焦距坐标匹配集合的数组中prepos[30]中的位置i，由于预设焦距坐标匹配集合中的各个焦距坐标匹配组是按照样本拍摄焦距的大小升序排序的，因此F应符合条件p(i-1).f<F<p(i).f，其中p(i).f表征预设焦距坐标匹配集合中的第i个焦距坐标匹配组的样本拍摄焦距，则巡检机器人102可以将p(i-1).f以及p(i).f作为上述目标样本拍摄焦距。巡检机器人102在查询得到目标样本拍摄焦距后，可以获取目标样本拍摄焦距对应的可见光匹配坐标作为目标可见光匹配坐标以及红外匹配坐标作为目标红外匹配坐标，从而得到上述目标匹配坐标，例如巡检机器人102可以从上述目标样本拍摄焦距所在的焦距坐标匹配组中得到上述目标可见光匹配坐标和目标红外匹配坐标。

通过本实施例，巡检机器人102可以在实际使用过程中利用图像采集设备的实时拍摄焦距查询预设焦距坐标匹配集合，得到用于进行图像融合的匹配坐标，提高了电力设备图像的显示质量，从而提高了对电力设备的监测效率。

在一个实施例中，根据目标匹配坐标以及待处理的红外图像中的像素点坐标，将待处理的红外图像与待处理的可见光图像中红外图像对应的显示内容的部分进行融合显示，包括：根据目标红外匹配坐标以及目标可见光匹配坐标，得到坐标缩放比例；针对每个像素点坐标，获取该像素点坐标与坐标缩放比例的乘积，以及乘积与目标可见光匹配坐标的和，得到该像素点坐标在待处理的可见光图像中对应的目标坐标；根据多个目标坐标，得到待处理的红外图像在待处理的可见光图像中的目标显示区域，将待处理的红外图像显示目标显示区域中。

本实施例中，巡检机器人102可以利用实时拍摄的拍摄焦距查询预设焦距坐标匹配集合得到目标匹配坐标，并利用得到的目标匹配坐标对拍摄的待处理的红外图像进行坐标转换，从而可以使待处理的红外图像与待处理的可见光图像进行融合显示。上述目标匹配坐标中可以包括目标红外匹配坐标和目标可见光匹配坐标。巡检机器人102可以获取坐标缩放比例，例如可以通过上述查询得到的目标样本拍摄焦距得到，具体地，坐标缩放比例的公式可以如下所示：

其中，k可以是坐标缩放比例。巡检机器人102也可以利用上述目标红外匹配坐标和目标可见光匹配坐标得到坐标缩放比例，其公式形式与上述通过目标样本拍摄焦距得到的坐标缩放比例一致。由于上述待处理的红外图像中可以包括多个像素点，则巡检机器人102可以针对每个像素点坐标，获取该像素点坐标与坐标缩放比例乘积，以及该乘积与上述目标可见光匹配坐标的和，从而得到该像素点在上述待处理的可见光图像中对应的目标坐标。例如，对于待处理的红外图像中的各个像素点坐标(x，y)，在进行高清图像融合时，像素点坐标在上述高清图像(可见光图像)中的目标坐标可以记为(cx，cy)，每个像素点的坐标转换公式可以如下所示：

其中，p(i-1).x1表示预设焦距坐标匹配集合中第i-1位置的焦距坐标匹配组中的第一红外匹配坐标的横坐标；p(i).x2表示预设焦距坐标匹配集合中第i位置的焦距坐标匹配组中的第二红外匹配坐标的横坐标；p(i).cx2表示预设焦距坐标匹配集合中第i位置的焦距坐标匹配组中的第二可见光匹配坐标的横坐标；p(i).cx1表示预设焦距坐标匹配集合中第i位置的焦距坐标匹配组中的第一可见光匹配坐标的横坐标；p(i-1).cx1表示预设焦距坐标匹配集合中第i-1位置的焦距坐标匹配组中的第一可见光匹配坐标的横坐标；p(i-1).y1表示预设焦距坐标匹配集合中第i-1位置的焦距坐标匹配组中的第一红外匹配坐标的纵坐标；p(i).y2表示预设焦距坐标匹配集合中第i位置的焦距坐标匹配组中的第二红外匹配坐标的纵坐标；p(i).cy2表示预设焦距坐标匹配集合中第i位置的焦距坐标匹配组中的第二可见光匹配坐标的纵坐标；p(i).cy1表示预设焦距坐标匹配集合中第i位置的焦距坐标匹配组中的第一可见光匹配坐标的纵坐标；p(i-1).cy1表示预设焦距坐标匹配集合中第i-1位置的焦距坐标匹配组中的第一可见光匹配坐标的纵坐标。巡检机器人102可以对每个上述像素点坐标均使用上述公式进行目标坐标的计算，以坐标转换为基础，进行逐点的图像融合计算，从而巡检机器人102可以根据多个目标坐标得到待处理的红外图像在待处理的可见光图像的目标显示区域，并将待处理的红外图像显示在目标显示区域中。即巡检机器人102可以利用上述公式进行对待处理的红外图像进行坐标的转换，使得待处理的红外图像可以显示在待处理的可见光图像中对应的位置，即待处理的可见光图像中包含该红外图像的位置，实现红外图像和可见光图像的融合显示，并且是仅在可见光图像中红外图像显示内容的部分进行融合显示，其他部分为可见光形式显示。

通过本实施例，巡检机器人102通过预设的坐标转换公式得到待处理的红外图像在待处理的可见光图像中对应的坐标，从而利用该坐标进行红外图像和可见光图像的融合显示，提高了电力设备图像的显示质量，从而提高了对电力设备的监测效率。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种图像融合显示装置，包括：第一获取模块500、第二获取模块502和融合模块504，其中：

第一获取模块500，用于获取针对电力区域的待处理的红外图像以及获取待处理的可见光图像对应的拍摄焦距；待处理的可见光图像中包括待处理的红外图像的显示内容；可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像。

第二获取模块502，用于获取拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标；预设焦距坐标匹配集合包括针对电力区域中参照电力设备的多个样本拍摄焦距与参照电力设备分别在多个样本可见光图像和多个样本红外图像中对应的多个匹配坐标间的对应关系。

融合模块504，用于根据目标匹配坐标以及待处理的红外图像中的像素点坐标，将待处理的红外图像与待处理的可见光图像中红外图像对应的显示内容的部分进行融合显示。

在一个实施例中，上述装置还包括：第三获取模块，用于获取电力区域中针对参照电力设备的样本红外图像；获取针对参照电力设备的多个不同样本拍摄焦距拍摄的样本可见光图像；样本可见光图像中包括样本红外图像的显示内容；针对每个样本可见光图像，获取该样本可见光图像中参照电力设备的可见光匹配坐标，以及样本红外图像中参照电力设备的红外匹配坐标；可见光匹配坐标表征样本可见光图像中参照电力设备的边缘位置的坐标；红外匹配坐标表征样本红外图像中参照电力设备的边缘位置的坐标；根据多个样本拍摄焦距、多个可见光匹配坐标以及多个红外匹配坐标，得到预设焦距坐标匹配集合。

在一个实施例中，上述第三获取模块，具体用于针对每个样本可见光图像，获取该样本可见光图像中参照电力设备边缘的设备对角坐标，得到该样本可见光图像对应的第一可见光匹配坐标和第二可见光匹配坐标；以及，获取样本红外图像中参照电力设备边缘的设备对角坐标，得到样本红外图像对应的第一红外匹配坐标和第二红外匹配坐标。

在一个实施例中，上述第三获取模块，具体用于以图像采集设备的最小样本拍摄焦距为起点，按照预设倍数增加所述图像采集设备的焦距，直到达到上述图像采集设备的最大样本拍摄焦距；针对每个样本拍摄焦距，获取在该样本拍摄焦距下所述参照电力设备对应的样本可见光图像。

在一个实施例中，上述第三获取模块，具体用于针对每个样本拍摄焦距，获取该样本拍摄焦距对应的可见光匹配坐标以及红外匹配坐标，得到该样本拍摄焦距对应的焦距坐标匹配组；按照样本拍摄焦距从小到大的顺序，对多个焦距坐标匹配组进行排序，得到预设焦距坐标匹配集合。

在一个实施例中，上述第二获取模块502，具体用于根据拍摄焦距，从预设焦距坐标匹配集合中获取对应的目标样本拍摄焦距；目标样本拍摄焦距表征预设焦距坐标匹配集合中相邻的两个样本拍摄焦距且前一样本拍摄焦距小于拍摄焦距，后一样本拍摄焦距大于拍摄焦距，和/或预设焦距坐标匹配集合中与拍摄焦距一致的样本拍摄焦距；获取目标样本拍摄焦距对应的目标可见光匹配坐标以及目标红外匹配坐标，作为目标匹配坐标。

在一个实施例中，上述融合模块504，具体用于根据目标红外匹配坐标以及目标可见光匹配坐标，得到坐标缩放比例；针对每个像素点坐标，获取该像素点坐标与坐标缩放比例的乘积，以及乘积与目标可见光匹配坐标的和，得到该像素点坐标在待处理的可见光图像中对应的目标坐标；根据多个目标坐标，得到待处理的红外图像在待处理的可见光图像中的目标显示区域，将待处理的红外图像显示目标显示区域中。

关于图像融合显示装置的具体限定可以参见上文中对于图像融合显示方法的限定，在此不再赘述。上述图像融合显示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是巡检机器人，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的巡检机器人进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像融合显示方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述的图像融合显示方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的图像融合显示方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像融合显示方法，其特征在于，应用于巡检机器人，所述巡检机器人设置于电力区域中，所述方法包括：

获取针对所述电力区域的待处理的红外图像以及获取待处理的可见光图像对应的拍摄焦距；所述待处理的可见光图像中包括所述待处理的红外图像的显示内容；所述可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像；

获取所述拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标；所述预设焦距坐标匹配集合包括针对所述电力区域中参照电力设备的多个样本拍摄焦距与所述参照电力设备分别在多个样本可见光图像和多个样本红外图像中对应的多个匹配坐标间的对应关系；

根据所述目标匹配坐标以及所述待处理的红外图像中的像素点坐标，将所述待处理的红外图像与所述待处理的可见光图像中所述红外图像对应的显示内容的部分进行融合显示。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述电力区域中针对参照电力设备的样本红外图像；

获取针对所述参照电力设备的多个不同样本拍摄焦距拍摄的样本可见光图像；所述样本可见光图像中包括所述样本红外图像的显示内容；

针对每个所述样本可见光图像，获取该样本可见光图像中所述参照电力设备的可见光匹配坐标，以及所述样本红外图像中所述参照电力设备的红外匹配坐标；所述可见光匹配坐标表征所述样本可见光图像中所述参照电力设备的边缘位置的坐标；所述红外匹配坐标表征所述样本红外图像中所述参照电力设备的边缘位置的坐标；

根据多个所述样本拍摄焦距、多个所述可见光匹配坐标以及多个所述红外匹配坐标，得到所述预设焦距坐标匹配集合。

3.根据权利要求2所述的方法，其特征在于，所述巡检机器人包括：图像采集设备；

所述获取针对所述参照电力设备的多个不同样本拍摄焦距拍摄的样本可见光图像，包括：

以所述图像采集设备的最小样本拍摄焦距为起点，按照预设倍数增加所述图像采集设备的焦距，直到达到上述图像采集设备的最大样本拍摄焦距；

针对每个所述样本拍摄焦距，获取在该样本拍摄焦距下所述参照电力设备对应的样本可见光图像。

4.根据权利要求2所述的方法，其特征在于，所述针对每个所述样本可见光图像，获取该样本可见光图像中所述参照电力设备的可见光匹配坐标，以及所述样本红外图像中所述参照电力设备的红外匹配坐标，包括：

针对每个所述样本可见光图像，获取该样本可见光图像中所述参照电力设备边缘的设备对角坐标，得到该样本可见光图像对应的第一可见光匹配坐标和第二可见光匹配坐标；

以及，获取所述样本红外图像中所述参照电力设备边缘的设备对角坐标，得到所述样本红外图像对应的第一红外匹配坐标和第二红外匹配坐标。

5.根据权利要求2所述的方法，其特征在于，所述根据多个所述样本拍摄焦距、多个所述可见光匹配坐标以及多个所述红外匹配坐标，得到所述预设焦距坐标匹配集合，包括：

针对每个所述样本拍摄焦距，获取该样本拍摄焦距对应的可见光匹配坐标以及红外匹配坐标，得到该样本拍摄焦距对应的焦距坐标匹配组；

按照所述样本拍摄焦距从小到大的顺序，对多个所述焦距坐标匹配组进行排序，得到所述预设焦距坐标匹配集合。

6.根据权利要求5所述的方法，其特征在于，所述获取所述拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标，包括：

根据所述拍摄焦距，从所述预设焦距坐标匹配集合中获取对应的目标样本拍摄焦距；所述目标样本拍摄焦距表征所述预设焦距坐标匹配集合中相邻的两个样本拍摄焦距且前一样本拍摄焦距小于所述拍摄焦距，后一样本拍摄焦距大于所述拍摄焦距，和/或所述预设焦距坐标匹配集合中与所述拍摄焦距一致的样本拍摄焦距；

获取所述目标样本拍摄焦距对应的目标可见光匹配坐标以及目标红外匹配坐标，作为所述目标匹配坐标。

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标匹配坐标以及所述待处理的红外图像中的像素点坐标，将所述待处理的红外图像与所述待处理的可见光图像中所述红外图像对应的显示内容的部分进行融合显示，包括：

根据所述目标红外匹配坐标以及所述目标可见光匹配坐标，得到坐标缩放比例；

针对每个所述像素点坐标，获取该像素点坐标与所述坐标缩放比例的乘积，以及所述乘积与所述目标可见光匹配坐标的和，得到该像素点坐标在所述待处理的可见光图像中对应的目标坐标；

根据多个所述目标坐标，得到所述待处理的红外图像在所述待处理的可见光图像中的目标显示区域，将所述待处理的红外图像显示所述目标显示区域中。

8.一种图像融合显示装置，其特征在于，应用于巡检机器人，所述巡检机器人设置于电力区域中，所述装置包括：

第一获取模块，用于获取针对所述电力区域的待处理的红外图像以及获取待处理的可见光图像对应的拍摄焦距；所述待处理的可见光图像中包括所述待处理的红外图像的显示内容；所述可见光图像表征基于人眼可感知的电磁波形成的高分辨率图像；

第二获取模块，用于获取所述拍摄焦距在预设焦距坐标匹配集合中对应的目标匹配坐标；所述预设焦距坐标匹配集合包括针对所述电力区域中参照电力设备的多个样本拍摄焦距与所述参照电力设备分别在多个样本可见光图像和多个样本红外图像中对应的多个匹配坐标间的对应关系；

融合模块，用于根据所述目标匹配坐标以及所述待处理的红外图像中的像素点坐标，将所述待处理的红外图像与所述待处理的可见光图像中所述红外图像对应的显示内容的部分进行融合显示。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images