CN113743451A - 温度图像识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了温度图像识别方法、装置、设备及存储介质，其中温度图像识别方法包括：获取电力设备的红外热图像和可见光图像，并提取其第一图像特征和第二图像特征；根据第一图像特征分类得到设备类别；根据设备类别调用最优温度图像分析算法以根据第二图像特征得到当前温度值；根据设备类别从诊断库得到故障温度范围，根据故障温度范围以及当前温度值判断故障类型；采用非接触式的识别方法，节约人力资源，具有快速判断电力设备故障类型进行告警的优点。

Description

温度图像识别方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术，特别是温度图像识别方法、装置、设备及存储介质。

背景技术

红外检测技术在电力设备的预警上得到广泛的应用。但针对不同的电力设备，同一图像处理系统通常采用统一的处理算法，导致预测结果不准确。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供温度图像识别方法、装置、设备及存储介质。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，温度图像识别方法，包括：

获取电力设备的红外热图像和可见光图像；

提取所述可见光图像的第一图像特征；

提取所述红外热图像的第二图像特征；

根据所述第一图像特征分类得到所述电力设备的设备类别；

根据所述设备类别从算法存储库中调用对应的最优温度图像分析算法，利用所述最优温度图像分析算法根据所述第二图像特征得到所述电力设备的当前温度值；

根据所述设备类别从诊断库得到对应的故障温度范围，根据所述故障温度范围以及所述当前温度值判断所述电力设备的故障类型。

上述温度图像识别方法至少具有以下的有益效果：利用可见光图像得到电力设备的设备类型；然后根据设备类型调用最优温度图像分析算法以确保能得到最优的当前温度值，提高后续判断故障类型的准确性；最后根据设备类型确定故障温度范围，将当前温度值与故障温度范围对比以判断故障类型；采用非接触式的识别方法，节约人力资源，具有快速判断电力设备故障类型进行告警的优点。

根据本发明的第一方面，温度图像识别方法，还包括建立算法存储库；其中所述算法存储库存储有关系表和多种最优温度图像分析算法，所述关系表记录有所述设备类别与所述最优温度图像分析算法的对应关系。

根据本发明的第一方面，温度图像识别方法，还包括根据历史故障类型以及历史故障温度范围建立诊断库；其中所述历史故障类型和所述历史故障温度范围对应。

根据本发明的第一方面，当得到的所述设备类型为接头和接头引线，调用的所述最优温度图像分析算法为MobileNet算法。

本发明的第二方面，温度图像识别装置，包括：

图像获取模块，用于获取电力设备的红外热图像和可见光图像；

第一图像特征提取模块，用于提取所述可见光图像的第一图像特征；

第二图像特征提取模块，用于提取所述红外热图像的第二图像特征；

设备类别判断模块，用于根据所述第一图像特征分类得到所述电力设备的设备类别；

温度值判断模块，用于根据所述设备类别从算法存储库中调用对应的最优温度图像分析算法，利用所述最优温度图像分析算法根据所述第二图像特征得到所述电力设备的当前温度值；

故障类型判断模块，用于根据所述设备类别从诊断库得到对应的故障温度范围，根据所述故障温度范围以及所述当前温度值判断所述电力设备的故障类型。

上述温度图像识别装置至少具有以下的有益效果：利用可见光图像得到电力设备的设备类型；然后根据设备类型调用最优温度图像分析算法以确保能得到最优的当前温度值，提高后续判断故障类型的准确性；最后根据设备类型确定故障温度范围，将当前温度值与故障温度范围对比以判断故障类型；采用非接触式的识别方法，节约人力资源，具有快速判断电力设备故障类型进行告警的优点。

根据本发明的第二方面，所述算法存储库存储有关系表和多种最优温度图像分析算法，所述关系表记录有所述设备类别与所述最优温度图像分析算法的对应关系。

根据本发明的第二方面，所述诊断库是根据历史故障类型以及历史故障温度范围建立的；其中所述历史故障类型和所述历史故障温度范围对应。

根据本发明的第二方面，当所述设备类别判断模块得到的所述设备类别为接头和接头引线，所述温度值判断模块从所述算法存储库调用的所述最优温度图像分析算法为MobileNet算法。

本发明的第三方面，温度图像识别设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如本发明的第一方面所述的温度图像识别方法。

上述温度图像识别设备至少具有以下的有益效果：利用可见光图像得到电力设备的设备类型；然后根据设备类型调用最优温度图像分析算法以确保能得到最优的当前温度值，提高后续判断故障类型的准确性；最后根据设备类型确定故障温度范围，将当前温度值与故障温度范围对比以判断故障类型；采用非接触式的识别方法，节约人力资源，具有快速判断电力设备故障类型进行告警的优点。

本发明的第四方面，存储介质存储有计算机可执行指令，所述计算机可执行指令被控制处理器执行时实现如本发明的第一方面所述的温度图像识别方法。

上述存储介质至少具有以下的有益效果：利用可见光图像得到电力设备的设备类型；然后根据设备类型调用最优温度图像分析算法以确保能得到最优的当前温度值，提高后续判断故障类型的准确性；最后根据设备类型确定故障温度范围，将当前温度值与故障温度范围对比以判断故障类型；采用非接触式的识别方法，节约人力资源，具有快速判断电力设备故障类型进行告警的优点。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例温度图像识别方法的流程图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

一个电力系统通常由多种电力设备组成，多种电力设备共同配合协作以维持电力供应传输正常。当电力设备出现故障的时候，通常会发热，由电力设备的当前温度值可以对电力设备的故障类型进行预警。

参照图1，本发明的第一方面的实施例，提供了温度图像识别方法。

温度图像识别方法包括：

获取电力设备的红外热图像和可见光图像；

提取所述可见光图像的第一图像特征；

提取所述红外热图像的第二图像特征；

根据所述第一图像特征分类得到所述电力设备的设备类别；

根据所述设备类别从算法存储库中调用对应的最优温度图像分析算法，利用所述最优温度图像分析算法根据所述第二图像特征得到所述电力设备的当前温度值；

根据所述设备类别从诊断库得到对应的故障温度范围，根据所述故障温度范围以及所述当前温度值判断所述电力设备的故障类型。

在该实施例中，首先通过电力设备的可见光图像得到其设备类型，然后根据设备类型寻找最优温度图像分析算法，并利用该算法得到最优的当前温度值，然后根据设备类型寻找故障温度范围，根据故障温度范围以及当前温度值判断故障类型；采用非接触式的识别方法，节约人力资源，具有快速判断电力设备故障类型进行告警的优点。

由于对于不同的电力设备通过不同的图像分析算法得到不同的温度值结果，由不同的图像分析算法得到的温度值结果与实际温度值均具有一定的差值。对于不同的设备类型的电力设备，适用的图像分析算法也不相同。而在比较多种图像分析算法得到的温度值结果后，不同的图像分析算法中的最优温度图像分析算法则是差值最小的一种图像分析算法。因此根据设备类型从算法存储库中寻找最优温度图像分析算法能获得最接近实际温度值的最优的当前温度值，这能使得后续判断故障类型更准确。

对于不同的电力设备，部分设备只存在一种故障类型会引起温度异常；部分设备存在不同的故障类型导致不同范围的温度异常，且不同范围的温度异常与故障类型一一对应。则根据设备类别从诊断库能快速确定该设备各种故障类型对应的故障温度范围；然后利用之前得到的当前温度值与故障温度范围进行比对，即当当前温度值落入故障温度范围内，则该电力设备存在该故障温度范围对应的故障类型，即可判断电力设备的故障类型，进行告警。

具体地，可见光图像可以通过常用的高清摄像头进行拍摄获取。通过无人机上安装红外摄像仪，通过无人机上的红外摄像仪获取电力设备的红外热图像，能够更方便快捷地获取电力设备的红外热图像，也能获取一些人难以行进或者电力设备隐蔽位置的红外热图像。

也可以在电力设备的安装室安装能转动的红外摄像仪，通过转动的红外摄像仪对安装室内的多个电力设备拍摄红外热图像。

另外，需要说明的是，第一图像特征和第二图像特征可以是同一图像特征，也可以是不同的图像特征。在本发明中的实施例中，第一图像特征和第二图像特征为不同的图像特征。

当一张可见光图像有多个电力设备的时候，通过应用于图像识别的深度学习算法，例如Fast-RCNN算法等，提取可见光图像的第一图像特征，根据第一图像特征得到候选框，由候选框进一步判断得到多个目标框，对目标框利用分类器进行分类，得到多个电力设备的设备类型。

通过另一应用于图像识别的深度学习算法提取红外热图像的第二图像特征；当然也可以通过可见光图像与红外热图像的配对后，只提取之前确认的目标框对应区域的第二图像特征，减少工作量，提高效率。另外，可见光图像与红外热图像的配对可以采用如下的方法：获取可见光图像和红外热图像，并识别可见光图像中的各特征点，得到第一特征点集，识别红外热图像中的各特征点，得到第二特征点集；根据可见光相机与红外相机的图像变换矩阵，确定所述第一特征点集及第二特征点集中相互匹配的特征点对；根据相互匹配的特征点对，形成可见光图像特征点集和红外热图像特征点集；根据可见光图像特征点集和红外热图像特征点集，对可见光图像与红外热图像进行配对，包括：确定可见光图像特征点集和红外热图像特征点集中各特征点对的向量距离；将各特征点对的向量距离与预设标准向量距离进行比较，得到筛选后的可见光图像特征点集和筛选后的红外热图像特征点集；根据筛选后的可见光图像特征点集和筛选后的红外热图像特征点集对可见光图像与红外热图像进行配对；根据下式判断所述可见光相机与红外相机的图像变换矩阵是否为坐标变换矩阵：Crad(C)≥η*n,C＝{(Ai,Bi)|||TAi-Bi||2<ε}其中，Crad(C)为C的元素数目，T为可见光相机与红外相机的图像变换矩阵，Ai为可见光图像的第i个特征点，Bi为与Ai匹配的红外热图像的特征点，i＝1～n的正整数，n为所述筛选后的可见光图像特征点集中特征点的总数量，ε和η为判断阈值；若是，则根据可见光相机与红外相机的图像变换矩阵对可见光图像和红外热图像中各像素点进行坐标变换以实现配对。

本发明的第一方面的某些实施例，温度图像识别方法还包括建立算法存储库；其中所述算法存储库存储有关系表和多种最优温度图像分析算法，所述关系表记录有所述设备类别与所述最优温度图像分析算法的对应关系。

实际上，算法存储库中存储有多种图像分析算法。对一种电力设备通过多种图像分析算法进行多次的温度预测，最优温度图像分析算法为多种图像分析算法中平均温度预测值与实际温度值最接近的一种图像分析算法。并且将该最优温度图像分析算法与该电力设备的对应关系写进关系表中。

另外，当有新图像分析算法添加到算法存储库中，将新图像分析算法对所有电力设备均进行温度预测，若该新图像分析算法比一电力设备的原最优温度图像分析算法能获得更优的温度预测值，则更新关系表，使得新图像分析算法作为该电力设备的最优温度图像分析算法。

本发明的第一方面的某些实施例，温度图像识别方法还包括根据历史故障类型以及历史故障温度范围建立诊断库；其中所述历史故障类型和所述历史故障温度范围对应。

对于一电力设备，根据其历史数据，包括故障类型及其发生该故障类型时的实时温度，总结得到该电路设备的历史故障类型以及历史故障温度范围。而诊断库根据多种电力设备的历史故障类型以及历史故障温度范围而建立，进而得到故障类型与故障温度范围对应的数据表。

本发明的第一方面的某些实施例，当得到的所述设备类型为接头和接头引线，调用的所述最优温度图像分析算法为MobileNet算法。

对其他设备类型进行举例如下：

当得到的所述设备类型为低压柜，调用的所述最优温度图像分析算法为高斯函数卷积算法；

当得到的所述设备类型为高压柜，调用的所述最优温度图像分析算法为多模态图像特征融合算法。

本发明的第二方面的实施例，温度图像识别装置包括：

图像获取模块，用于获取电力设备的红外热图像和可见光图像；

第一图像特征提取模块，用于提取所述可见光图像的第一图像特征；

第二图像特征提取模块，用于提取所述红外热图像的第二图像特征；

设备类别判断模块，用于根据所述第一图像特征分类得到所述电力设备的设备类别；

温度值判断模块，用于根据所述设备类别从算法存储库中调用对应的最优温度图像分析算法，利用所述最优温度图像分析算法根据所述第二图像特征得到所述电力设备的当前温度值；

故障类型判断模块，用于根据所述设备类别从诊断库得到对应的故障温度范围，根据所述故障温度范围以及所述当前温度值判断所述电力设备的故障类型。

在该实施例中，通过设备类别判断模块利用可见光图像得到电力设备的设备类型；然后通过温度值判断模块根据设备类型调用最优温度图像分析算法以确保能得到最优的当前温度值，提高后续判断故障类型的准确性；最后通过故障类型判断模块根据设备类型确定故障温度范围，将当前温度值与故障温度范围对比以判断故障类型；采用非接触式的识别方法，节约人力资源，具有快速判断电力设备故障类型进行告警的优点。

需要说明的是，本发明的第二方面所提供的温度图像识别装置采用如本发明的第一方面所提供的温度图像识别方法，具有相同的技术方案，解决相同的技术问题，具有相同的技术效果，在此不再详述。

本发明的第二方面的某些实施例，所述算法存储库存储有关系表和多种最优温度图像分析算法，所述关系表记录有所述设备类别与所述最优温度图像分析算法的对应关系。

本发明的第二方面的某些实施例，所述诊断库是根据历史故障类型以及历史故障温度范围建立的；其中所述历史故障类型和所述历史故障温度范围对应。

本发明的第二方面的某些实施例，当所述设备类别判断模块得到的所述设备类别为接头和接头引线，所述温度值判断模块从所述算法存储库调用的所述最优温度图像分析算法为MobileNet算法。

本发明的第三方面的实施例，温度图像识别设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如本发明的第一方面的实施例所述的温度图像识别方法。

在该实施例中，利用可见光图像得到电力设备的设备类型；然后根据设备类型调用最优温度图像分析算法以确保能得到最优的当前温度值，提高后续判断故障类型的准确性；最后根据设备类型确定故障温度范围，将当前温度值与故障温度范围对比以判断故障类型；采用非接触式的识别方法，节约人力资源，具有快速判断电力设备故障类型进行告警的优点。

需要说明的是，本发明的第三方面所提供的温度图像识别设备采用如本发明的第一方面所提供的温度图像识别方法，具有相同的技术方案，解决相同的技术问题，具有相同的技术效果，在此不再详述。

通信接口，用于存储器和处理器与外部进行通信。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。

如果存储器、处理器和通信接口独立实现，则存储器、处理器和通信接口可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构总线、外部设备互连总线或扩展工业标准体系结构总线等。所述总线可以分为地址总线、数据总线、控制总线等。

可选的，在具体实现上，如果存储器、处理器及通信接口集成在一块芯片上，则存储器、处理器及通信接口可以通过内部接口完成相互间的通信。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

本发明的第四方面的实施例，存储介质存储有计算机可执行指令，所述计算机可执行指令被控制处理器执行时实现如本发明的第一方面所述的温度图像识别方法。

本发明实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质的更具体的示例至少(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

在本发明实施例中，存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于指令执行系统、输入法或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频，或者上述的任意合适的组合。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.温度图像识别方法，其特征在于，包括：

获取电力设备的红外热图像和可见光图像；

提取所述可见光图像的第一图像特征；

提取所述红外热图像的第二图像特征；

根据所述第一图像特征分类得到所述电力设备的设备类别；

根据所述设备类别从算法存储库中调用对应的最优温度图像分析算法，利用所述最优温度图像分析算法根据所述第二图像特征得到所述电力设备的当前温度值；

根据所述设备类别从诊断库得到对应的故障温度范围，根据所述故障温度范围以及所述当前温度值判断所述电力设备的故障类型。

2.根据权利要求1所述的温度图像识别方法，其特征在于，还包括建立算法存储库；其中所述算法存储库存储有关系表和多种最优温度图像分析算法，所述关系表记录有所述设备类别与所述最优温度图像分析算法的对应关系。

3.根据权利要求1所述的温度图像识别方法，其特征在于，还包括根据历史故障类型以及历史故障温度范围建立诊断库；其中所述历史故障类型和所述历史故障温度范围对应。

4.根据权利要求1所述的温度图像识别方法，其特征在于，当得到的所述设备类型为接头和接头引线，调用的所述最优温度图像分析算法为MobileNet算法。

5.温度图像识别装置，其特征在于，包括：

图像获取模块，用于获取电力设备的红外热图像和可见光图像；

第一图像特征提取模块，用于提取所述可见光图像的第一图像特征；

第二图像特征提取模块，用于提取所述红外热图像的第二图像特征；

设备类别判断模块，用于根据所述第一图像特征分类得到所述电力设备的设备类别；

温度值判断模块，用于根据所述设备类别从算法存储库中调用对应的最优温度图像分析算法，利用所述最优温度图像分析算法根据所述第二图像特征得到所述电力设备的当前温度值；

故障类型判断模块，用于根据所述设备类别从诊断库得到对应的故障温度范围，根据所述故障温度范围以及所述当前温度值判断所述电力设备的故障类型。

6.根据权利要求5所述的温度图像识别装置，其特征在于，所述算法存储库存储有关系表和多种最优温度图像分析算法，所述关系表记录有所述设备类别与所述最优温度图像分析算法的对应关系。

7.根据权利要求5所述的温度图像识别装置，其特征在于，所述诊断库是根据历史故障类型以及历史故障温度范围建立的；其中所述历史故障类型和所述历史故障温度范围对应。

8.根据权利要求5所述的温度图像识别装置，其特征在于，当所述设备类别判断模块得到的所述设备类别为接头和接头引线，所述温度值判断模块从所述算法存储库调用的所述最优温度图像分析算法为MobileNet算法。

9.温度图像识别设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至4任一项所述的温度图像识别方法。

10.存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令被控制处理器执行时实现如权利要求1至4任一项所述的温度图像识别方法。

Images