CN114662617B - 基于多模态学习策略的多源数据编织系统处理方法及装置 - Google Patents

基于多模态学习策略的多源数据编织系统处理方法及装置 Download PDF

Info

Publication number
CN114662617B
CN114662617B CN202210538884.0A CN202210538884A CN114662617B CN 114662617 B CN114662617 B CN 114662617B CN 202210538884 A CN202210538884 A CN 202210538884A CN 114662617 B CN114662617 B CN 114662617B
Authority
CN
China
Prior art keywords
information
image
sensing
sub
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210538884.0A
Other languages
English (en)
Other versions
CN114662617A (zh
Inventor
朱炯
张伟峰
纪前
孙微庭
夏霖
张阳阳
陆珂
陈晓斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd Tonglu County Power Supply Co
Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Zhejiang Electric Power Co Ltd Tonglu County Power Supply Co
Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd Tonglu County Power Supply Co, Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd Tonglu County Power Supply Co
Priority to CN202210538884.0A priority Critical patent/CN114662617B/zh
Publication of CN114662617A publication Critical patent/CN114662617A/zh
Application granted granted Critical
Publication of CN114662617B publication Critical patent/CN114662617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/003—Environmental or reliability tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种基于多模态学习策略的多源数据编织系统处理方法及装置，对第一图像模态信息得到第一图像信息，对第一传感模态信息得到第一传感信息；将与第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息；将与第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息；根据第一图像信息中的像素点与第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，根据第一传感信息中的检测值与第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度；对图像差异度和传感差异度进行融合比对得到第一故障提醒信息。本发明基于编织的数据，可以对设备的故障信息进行较为准确的判断。

Description

基于多模态学习策略的多源数据编织系统处理方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于多模态学习策略的多源数据编织系统处理方法及装置。
背景技术
在电网中电力设备的运行过程中，会具有多种参数信息，例如温度、湿度等等。电力设备的温度又分为内在的部件温度、外在温度等等，相同的设备在处于不同的温度、湿度的情况下，其可能会具有不同的使用情况，使用状态，进而导致电力设备的故障情况是不同的。电力设备在运行过程中，正常的电力设备和故障的电力设备的热分布状态一般是不相同的，所以可以根据电力设备在运行过程中的湿度、温度等状态判断相应的电力设备是否可能出现故障，进而进行及时的维修处理。
发明内容
本发明实施例提供一种基于多模态学习策略的多源数据编织系统处理方法及装置，能够将电网中待检测的电力设备的多模态信息与源数据编织结构相应的电力设备的多模态信息进行比对，判断相应的电力设备是否具有出现故障的可能，并进行有效的电力设备诊断提醒。
为解决上述问题，本发明提供以下技术方案：
第一方面，本发明实施例提供一种基于多模态学习策略的多源数据编织系统处理方法，包括：
获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息；
获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合；
获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合；
根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度；
对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息。
进一步地，获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息，包括：
所述第一图像模态信息包括红外图像，根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域；
统计每个子设备区域内的所有像素点的像素值生成相对应的子设备集合，根据所述子设备集合生成相对应的子设备热量；
建立与所述第一图像模态信息所对应的图像信息栏，根据所述子设备热量、子设备区域生成与所述第一图像模态信息所对应的第一图像信息，将所述第一图像信息填充至所述图像信息栏。
进一步地，根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域，包括：
选中红外图像中所有处于预设像素区间内的像素值所对应的像素点作为第一像素点，将所有相邻的第一像素点相连接生成多个一次初始区域；
将所有未与其他第一像素点连接的第一像素点作为第二像素点，获取所述第二像素点与其相邻的多个第一像素点间的多个像素距离，以及多个第一像素点所处的一次初始区域内第一像素点的第一数量；
根据所述多个像素距离、多个初始区域内第一像素点的第一数量确定与所述第二像素点对应的一次初始区域，将所有第二像素点分别划分至相对应的一次初始区域，得到所有一次初始区域分别对应的二次初始区域；
获取所有二次初始区域内像素点的第二数量，若判断存在第二数量小于预设区域数量的二次初始区域，则将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域。
进一步地，获取所有二次初始区域内像素点的第二数量，若判断存在第二数量小于预设数量的二次初始区域，则将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域，包括：
获取小于预设数量的二次初始区域内的第一中心像素点，以及获取相邻的二次初始区域内的第二中心像素点；
获取所述第一中心像素点与每个第二中心像素点的距离得到区域间距离，将第一中心像素点所对应的二次初始区域作为第一待合并区域，将区域间距离最小的第二中心像素点所对应的二次初始区域作为第二待合并区域；
对所述红外图像坐标化处理，获取所述第一待合并区域和第二待合并区域内每个像素点的第一坐标和第二坐标；
分别提取所述第一待合并区域所有第一坐标的第一X轴坐标和第一Y轴坐标，以及第二待合并区域所有第二坐标的第二X轴坐标和第二Y轴坐标；
若所有的第一X轴坐标分别与所有的第二X轴坐标相对应，且第一Y轴坐标分别与所有的第二Y轴坐标相对应，则根据所述第一X轴坐标、第一Y轴坐标、第二X轴坐标、第二Y轴坐标确定额外添加区域；
将所述额外添加区域、第一待合并区域以及第二待合并区域合并得到子设备区域。
进一步地，若所有的第一X轴坐标分别与所有的第二X轴坐标相对应，且第一Y轴坐标分别与所有的第二Y轴坐标相对应，则根据所述第一X轴坐标、第一Y轴坐标、第二X轴坐标、第二Y轴坐标确定额外添加区域，包括：
选取所述第一Y轴坐标中的第一Y轴最大值和第一Y轴最小值，标记所述第一Y轴最大值所对应的坐标为第一连接点，标记所述第一Y轴最小值所对应的坐标为第二连接点；
选取所述第二Y轴坐标中的第二Y轴最大值和第二Y轴最小值，标记所述第二Y轴最大值所对应的坐标为第三连接点，标记所述第二Y轴最小值所对应的坐标为第四连接点；
根据所述第一连接点和所述第三连接点形成第一连接线，根据所述第二连接点和所述第四连接点形成第二连接线；
基于所述第一连接线、所述第二连接线、第一待合并区域的边缘线、第二待合并区域的边缘线确定额外添加区域。
进一步地，获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合，包括：
获取多源系统数据编织结构内每个编织节点的设备信息，若所述设备信息与第一设备相对应，则判断相应编织节点所对应的图像信息为与第一图像信息关联的第二图像信息；
获取图像信息栏中第一图像信息所对应的所有子设备区域的第一区域数量，以及第二图像信息所对应的所有子设备区域的第二区域数量；
若所述第一区域数量和第二区域数量相对应，则分别获取每个第一图像信息的子设备区域的第一区域中心坐标，以及每个第二图像信息的子设备区域的第二区域中心坐标；
若所述第一区域中心坐标和第二区域中心坐标的距离小于预设区域距离，则判断第一图像信息和第二图像信息的相似度大于第一预设相似度，将第二图像信息作为第三图像信息；
所述第一设备标签为故障或非故障，所述第一图像集合表征第一设备标签为故障的第三图像信息的集合，所述第二图像集合表征第一设备标签为非故障的第三图像信息的集合。
进一步地，根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，包括：
将第一图像信息中每个子设备区域的像素点的像素值之和，与第一图像集合中每个第三图像信息的每个子设备区域的像素点的像素值之和进行比对，根据子设备区域的数量进行计算得到子故障图像差异信息；
根据所有的子故障图像差异信息、第一图像集合中的图像数量，得到总故障图像差异信息；
通过以下公式计算总故障图像差异信息：
Figure 384625DEST_PATH_IMAGE001
其中，
Figure 98503DEST_PATH_IMAGE002
为总故障图像差异信息，
Figure 612661DEST_PATH_IMAGE003
为第
Figure 804608DEST_PATH_IMAGE004
个子故障图像差异信息，
Figure 353401DEST_PATH_IMAGE005
为子故障图 像差异信息的数量的上限值，
Figure 972601DEST_PATH_IMAGE006
为子故障图像差异信息的数量值，
Figure 974055DEST_PATH_IMAGE007
为第一计算权重值，
Figure 972622DEST_PATH_IMAGE008
为第一图像集合中的图像数量，
Figure 375922DEST_PATH_IMAGE009
为第一常数值，
Figure 369286DEST_PATH_IMAGE010
为第
Figure 920353DEST_PATH_IMAGE011
个子故障图像差异信息，
Figure 391785DEST_PATH_IMAGE012
为第 一图像信息中第
Figure 711908DEST_PATH_IMAGE013
个子设备区域的像素点的像素值之和，
Figure 876173DEST_PATH_IMAGE014
为子设备区域的数量的上限值，
Figure 914537DEST_PATH_IMAGE015
为第三图像信息中第
Figure 924081DEST_PATH_IMAGE016
个子设备区域的像素点的像素值之和，
Figure 567552DEST_PATH_IMAGE017
为第二常数值，
Figure 699456DEST_PATH_IMAGE018
为子 设备区域的数量，
Figure 162798DEST_PATH_IMAGE019
为预设区域数量，
Figure 38350DEST_PATH_IMAGE020
为第一归一化值。
将第一图像信息中每个子设备区域的像素点的像素值之和，与第二图像集合中每个第三图像信息的每个子设备区域的像素点的像素值之和进行比对，根据子设备区域的数量进行计算得到子非故障图像差异信息；
根据所有的子非故障图像差异信息、第二图像集合中的图像数量，得到总非故障图像差异信息。
进一步地，获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息，包括：
所述第一传感模态信息包括湿度信息和温度信息，所述第二学习策略根据预设的湿度区间和温度区间对多个时刻的湿度信息和温度信息进行提取，得到异常温度检测值及异常湿度检测值；
建立与所述第一传感模态信息所对应的传感信息栏，根据所述异常温度检测值、异常湿度检测值生成与所述第一传感模态信息所对应的第一传感信息，将所述第一传感信息填充至所述传感信息栏。
进一步地，获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合，包括：
获取所述第一传感信息中的第一温度位置信息和第一湿度位置信息；
确定与所述第一温度位置信息和第一湿度位置信息最接近的子设备区域作为温度子设备区域和湿度子设备区域；
若其他第二传感信息的温度子设备区域和湿度子设备区域与第一传感信息的温度子设备区域和湿度子设备区域相对应，则判断所述第二传感信息与第一传感信息的数据相似度大于第二预设相似度。
进一步地，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度，包括：
获取传感信息栏中的异常温度检测值、异常湿度检测值，将异常温度检测值、异常湿度检测值与第一传感集合中的每个第三传感信息的节点温度检测值和节点湿度检测值进行比对，得到子故障传感差异信息；
根据子故障传感差异信息、以及第一传感集合中第三传感信息的数量进行计算，得到总故障传感差异信息；
通过以下公式计算总故障传感差异信息：
Figure 270749DEST_PATH_IMAGE021
其中，
Figure 839133DEST_PATH_IMAGE022
为总故障传感差异信息，
Figure 524192DEST_PATH_IMAGE023
为第一传感集合第
Figure 203435DEST_PATH_IMAGE024
个第三传感信息的子故 障传感差异信息，
Figure 290340DEST_PATH_IMAGE025
为子故障传感差异信息的上限值，
Figure 29626DEST_PATH_IMAGE026
为子故障传感差异信息数量值，
Figure 201981DEST_PATH_IMAGE027
为第二计算权重值，
Figure 419336DEST_PATH_IMAGE028
为第二常数值，
Figure 891906DEST_PATH_IMAGE029
为第一传感集合中第三传感信息的数量，
Figure 739776DEST_PATH_IMAGE030
为第 一传感集合第
Figure 461744DEST_PATH_IMAGE031
个第三传感信息的子故障传感差异信息，
Figure 420473DEST_PATH_IMAGE032
为湿度检测权重，
Figure 278708DEST_PATH_IMAGE033
为异常温 度检测值，
Figure 297479DEST_PATH_IMAGE034
为节点温度检测值，
Figure 710006DEST_PATH_IMAGE035
为温度常数值，
Figure 534743DEST_PATH_IMAGE036
为湿度检测权重，
Figure 450746DEST_PATH_IMAGE037
为异常湿度检 测值，
Figure 437157DEST_PATH_IMAGE038
为节点湿度检测值，
Figure 71400DEST_PATH_IMAGE039
为湿度常数值；
将异常温度检测值、异常湿度检测值与第二传感集合中的每个第三传感信息的节点温度检测值和节点湿度检测值进行比对，得到子非故障传感差异信息；
根据子非故障传感差异信息、以及第二传感集合中第三传感信息的数量进行计算，得到总非故障传感差异信息。
进一步地，对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息，包括：
将总故障图像差异信息、总故障传感差异信息进行融合相加得到第一融合差异信息；
将总非故障图像差异信息、总非故障传感差异信息进行融合相加得到第二融合差异信息；
若所述第一融合差异信息小于等于第二融合差异信息，则输出故障提醒的第一故障提醒信息；
若所述第一融合差异信息大于第二融合差异信息，则输出非故障提醒的第一故障提醒信息。
第二方面，本发明实施例提供一种基于多模态学习策略的多源数据编织系统处理装置，包括：
处理模块，用于获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息；
第一划分模块，用于获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合；
第二划分模块，用于获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合；
计算模块，用于根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度；
比对模块，用于对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息。
本发明具有以下有益效果：
1、本方案利用对第一设备的第一图像模态信息（红外图像）和第一传感模态信息（温度、湿度）的处理，综合对第一设备是否故障进行准确判断；针对第一图像模态信息的处理，对本方案的多个编织节点内存储有的图像信息进行分类，得到故障的第一图像集合，以及非故障的第二图像集合，然后，会得到第一图像与以上两个集合的图像差异度，从而可以得到第一设备在工作部件是否过热维度上的故障判断；针对第一传感模态信息，本方案通过温度值、湿度值及对应位置的判断，以及对多个编织节点内存储的传感信息进行分类，得到故障的第一传感集合和非故障的第二传感集合的差异度，从而得到第一设备在某个部位是否过热或者过湿维度上的故障判断；最后，结合两个维度上的差值，综合准确的对第一设备进行故障的判断。
2、本方案会对红外图像进行分区拆分处理得到多个子设备区域，使得在进行故障检测时能够结合多个子设备区域的红外图像进行诊断，使得本发明会分别对每一个第一设备进行拆分，分区域比对、诊断，进而达到对总的第一设备化整为零、故障诊断的目的。并且，本发明会对红外图像进行坐标化处理，并根据第一X轴坐标、第一Y轴坐标、第二X轴坐标、第二Y轴坐标确定额外添加区域，使得本发明在根据像素点划分子设备区域时更加的精准。并且本发明可以根据连接点的连接线、边缘线确定额外添加区域。基于连接线和边缘线，使得本发明能够将无法通过像素值划分至相应子设备区域的像素点进行划分，合理确定子设备区域所对应的像素点，保障每个子设备区域的准确性，使得每个子设备区域与实际的子设备的对应度大幅提高。
3、本方案在对红外图像进行处理的过程中，设计了对第二像素点的划分方案，实现对第二像素点的精准归类；设计了将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域，实现对小部件区域的精准归类，其中，还对额外添加区域进行了确定，以实现小部件区域与对应的二次初始区域的连通；本方案通过以上方式的配合得到了红外图像精准的区域划分方案，来对红外图像的区域进行精准划分；
4、本方案在计算总故障图像差异信息时，会计算第一图像信息中第
Figure 434248DEST_PATH_IMAGE013
个子设备区 域的像素点的像素值之和与第三图像信息中第
Figure 735917DEST_PATH_IMAGE016
个子设备区域的像素点的像素值之和的 差值，可以得到较为准确的子故障图像差异信息，从而得到较为准确的总故障图像差异信 息；此外，本方案还考虑到参与计算的数量，来对子故障图像差异信息和总故障图像差异信 息进行偏移，进一步提高结果的准确性；本方案在计算总故障传感差异信息时，会计算温度 影响值以及湿度影响值，来形成综合值，得到第一传感集合中第三传感信息的子故障传感 差异信息，最后得到总故障传感差异信息，此外，在计算总故障传感差异信息时，本方案还 考虑到第一传感集合中第三传感信息的数量的影响，来对总故障传感差异信息进行偏移， 得到较为准确的总故障传感差异信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于多模态学习策略的多源数据编织系统处理方法的流程示意图；
图2是本发明实施例提供的一种基于多模态学习策略的多源系统数据编织架构处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1是本发明实施例提供的一种基于多模态学习策略的多源数据编织系统处理方法的流程示意图，图1所示方法的执行主体可以是软件和/或硬件装置，本实施例对此不做限制。该方法包括步骤S1至步骤S5，具体如下：
S1，获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息。
其中，第一设备可以是变压器、配电柜等需要监测的电力设备。
第一图像模态信息是针对第一设备生成的初始红外图像，例如可以是利用热成像设备针对第一设备采集到的初始红外图像。可以理解的是，电力设备在运行中，一般会产生热量，热成像设备可以据此对第一设备采集，得到第一设备的红外图像。可以理解的是，如果第一图像模态信息显示第一设备中某个区域过热，说明该第一设备可能会出现故障。
第一传感模态信息可以是第一设备中设置的传感器的采集信息，例如可以是初始温度信息、初始湿度信息等。可以理解的是，如果第一传感模态信息显示超出了阈值，会对第一设备的正常运行产生影响。
本方案在得到第一图像模态信息和第一传感模态信息后，会利用第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，利用第二学习策略对所述第一传感模态信息进行处理得到第一传感信息。
为了得到第一图像信息和第一传感信息，在一些实施例中，步骤S1（获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息）包括步骤S11至步骤S13，具体如下：
S11，所述第一图像模态信息包括红外图像，根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域。
步骤S1中已经阐述第一图像模态信息包括红外图像，本方案会根据红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域。
可以理解的是，由于设备各区域的零部件不同，其工作时所产生的热量也不同，红外图像中所展示的各个区域的像素值也会有所不同，本方案会根据红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域。
为了得到多个子设备区域，在一些实施例中，步骤S11（所述第一图像模态信息包括红外图像，根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域）包括步骤S111至步骤S114，具体如下：
S111，选中红外图像中所有处于预设像素区间内的像素值所对应的像素点作为第一像素点，将所有相邻的第一像素点相连接生成多个一次初始区域。
首先，本方案设置有预设像素区间，此预设像素区间可以是对应红外图像中指示该区域具备一定热量的像素值区间，可以理解的是，预设像素区间内像素点相较于黑色的像素点较亮，即在红外图像中位于该像素值区间内的像素点可以指示该处具有一定热量。
选中像素点之后，本方案会将所有相邻的第一像素点相连接生成多个一次初始区域，一次初始区域可以理解为第一设备中针对发热部位所在的区域，一个设备可能有多个发热部位，则对应的一次初始区域也具备对应的多个。
S112，将所有未与其他第一像素点连接的第一像素点作为第二像素点，获取所述第二像素点与其相邻的多个第一像素点间的多个像素距离，以及多个第一像素点所处的一次初始区域内第一像素点的第一数量。
在步骤S111得到一次初始区域后，本方案考虑到会存在一些未与其他第一像素点连接的第一像素点。为了对其进行归类，本方案会对所有未与其他第一像素点连接的第一像素点进行标记，将其标记为第二像素点。
在得到第二像素点之后，本方案会获取到第二像素点与其相邻的多个第一像素点间的多个像素距离，以及多个第一像素点所处的一次初始区域内第一像素点的第一数量。
示例性的，第二像素点A1相邻的多个第一像素点分别为第一像素点A2、第一像素点A3以及第一像素点A4，第二像素点A1与第一像素点A2、第一像素点A3以及第一像素点A4之间的像素距离分别为10cm、11cm和12cm，同时获取到第一像素点A2、第一像素点A3以及第一像素点A4所处的一次初始区域内第一像素点的第一数量分别为1000个、2000个以及3000个。
S113，根据所述多个像素距离、多个初始区域内第一像素点的第一数量确定与所述第二像素点对应的一次初始区域，将所有第二像素点分别划分至相对应的一次初始区域，得到所有一次初始区域分别对应的二次初始区域。
在步骤S112得到像素距离以及第一数量后，本方案会利用像素距离以及第一数量对第二像素点进行划分，将所有第二像素点分别划分至相对应的一次初始区域，得到所有一次初始区域分别对应的二次初始区域。
在一些实施例中，本方案可以先根据像素距离对第二像素点进行划分，例如第二像素点A1与第一像素点A2、第一像素点A3以及第一像素点A4之间的像素距离分别为10cm、11cm和12cm，那么此时可以直接将第二像素点A1直接划分到第一像素点A2所在的一次初始区域内。
在另一些实施例中，如果像素距离相等的情况下，本方案可以依据第一数量来对第二像素点进行划分，例如，第二像素点A1与第一像素点A2和第一像素点A3之间的像素距离均为10cm，此时，第一像素点A2和第一像素点A3所处的一次初始区域内第一像素点的第一数量分别为1000个、2000个，那么就可以将第二像素点A1划分到第一数量较多的第一像素点A2所处的一次初始区域内。可以理解的是，第一数量越多的区域面积越大，第二像素点A1位于其区域内的概率越大，本方案可以依据该方式对第二像素点A1进行划分。
在第二像素点划分完毕后，本方案可以得到所有一次初始区域分别对应的二次初始区域，以上方式可以较为精准的实现区域的划分，以对后续的计算确保精准的数据基础。
S114，获取所有二次初始区域内像素点的第二数量，若判断存在第二数量小于预设区域数量的二次初始区域，则将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域。
本方案在得到二次初始区域后，会计算出所有二次初始区域内像素点的第二数量，例如可以是50个，然后将第二数量与预设区域数量进行比对，预设区域数量例如可以是1000个，将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域。
可以理解的是，在第一设备的发热部件周围可能会存在一些小部件，例如塑料件、固定件等部件，其在发热部件的影响下，也会具备一定热量，但是其像素点所构成的区域会比较小，区域像素值的数量也会较少，此时，本方案会对这种小区域进行归类，将其合并到对应的二次初始区域内。
为了对小区域进行归类，将其合并到对应的二次初始区域内，在一些实施例中，步骤S114（获取所有二次初始区域内像素点的第二数量，若判断存在第二数量小于预设区域数量的二次初始区域，则将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域）包括步骤S1141至步骤S1146，具体如下：
S1141，获取小于预设数量的二次初始区域内的第一中心像素点，以及获取相邻的二次初始区域内的第二中心像素点。
示例性的，本方案将小于预设数量的二次初始区域标记为区域H1，将与其相邻的多个二次初始区域分别标记为区域H2和区域H3，则上述的第一中心像素点Q1为区域H1的中心的像素点，第二中心像素点Q2为区域H2的中心的像素点，第二中心像素点Q3为区域H3的中心的像素点。
S1142，获取所述第一中心像素点与每个第二中心像素点的距离得到区域间距离，将第一中心像素点所对应的二次初始区域作为第一待合并区域，将区域间距离最小的第二中心像素点所对应的二次初始区域作为第二待合并区域。
在步骤S1141得到第一中心像素点和第二中心像素点之后，本方案会计算第一中心像素点与每个第二中心像素点的距离得到区域间距离。然后将第一中心像素点所对应的二次初始区域作为第一待合并区域，将区域间距离最小的第二中心像素点所对应的二次初始区域作为第二待合并区域。
示例性的，第一中心像素点Q1所对应的区域H1为第一待合并区域，第一中心像素点Q1与第二中心像素点Q2和第二中心像素点Q3之间的区域间距离分别为3cm和5cm。此时，第二中心像素点Q2的区域间距离最小，那么第二中心像素点Q2所对应的区域H2为第二待合并区域。
S1143，对所述红外图像坐标化处理，获取所述第一待合并区域和第二待合并区域内每个像素点的第一坐标和第二坐标。
本方案为了将第一待合并区域和第二待合并区域合并到一起，需要先对红外图像坐标化处理，得到第一待合并区域和第二待合并区域内每个像素点的第一坐标和第二坐标。
S1144，分别提取所述第一待合并区域所有第一坐标的第一X轴坐标和第一Y轴坐标，以及第二待合并区域所有第二坐标的第二X轴坐标和第二Y轴坐标。
在得到第一坐标和第二坐标之后，本方案会统计所有的第一坐标的第一X轴坐标和第一Y轴坐标，以及第二待合并区域所有第二坐标的第二X轴坐标和第二Y轴坐标，然后利用以上坐标进行计算。
S1145，若所有的第一X轴坐标分别与所有的第二X轴坐标相对应，且第一Y轴坐标分别与所有的第二Y轴坐标相对应，则根据所述第一X轴坐标、第一Y轴坐标、第二X轴坐标、第二Y轴坐标确定额外添加区域。
其中，若所有的第一X轴坐标分别与所有的第二X轴坐标相对应的含义是指所有的第二X轴坐标均位于所有的第一X轴坐标的范围内，例如，第一X轴坐标的跨度为100-1000，第二X轴坐标的跨度为200-500，说明第二待合并区域在横向上是位于第一待合并区域的范围内的。
同理，若所有的第一Y轴坐标分别与所有的第二Y轴坐标相对应的含义是指所有的第二Y轴坐标均位于所有的第一Y轴坐标的范围内，例如，第一Y轴坐标的跨度为50-500，第二Y轴坐标的跨度为200-300，说明第二待合并区域在竖向上是位于第一待合并区域的范围内的。
如果第二待合并区域在横向上是位于第一待合并区域的范围内，且第二待合并区域在竖向上是位于第一待合并区域的范围内，那么就可以利用第一X轴坐标、第一Y轴坐标、第二X轴坐标、第二Y轴坐标确定出额外添加区域。
为了利用第一X轴坐标、第一Y轴坐标、第二X轴坐标、第二Y轴坐标确定出额外添加区域，在一些实施例中，步骤S1145（若所有的第一X轴坐标分别与所有的第二X轴坐标相对应，且第一Y轴坐标分别与所有的第二Y轴坐标相对应，则根据所述第一X轴坐标、第一Y轴坐标、第二X轴坐标、第二Y轴坐标确定额外添加区域）包括步骤S11451至步骤S11454，具体如下：
S11451，选取所述第一Y轴坐标中的第一Y轴最大值和第一Y轴最小值，标记所述第一Y轴最大值所对应的坐标为第一连接点，标记所述第一Y轴最小值所对应的坐标为第二连接点。
本方案为了确定额外添加区域，会在第一待合并区域和第二待合并区域上找到相应的连接点，然后由连接点构造连接线，从而与第一待合并区域和第二待合并区域形成额外添加区域。
本步骤是找到第一Y轴最大值所对应的坐标为第一连接点（第一待合并区域的最上边的点），并找到第一Y轴最小值所对应的坐标为第二连接点（第一待合并区域最下方的点）。
S11452，选取所述第二Y轴坐标中的第二Y轴最大值和第二Y轴最小值，标记所述第二Y轴最大值所对应的坐标为第三连接点，标记所述第二Y轴最小值所对应的坐标为第四连接点。
与步骤S11451同理，本方案会找到第二Y轴最大值所对应的坐标为第三连接点（第二待合并区域的最上边的点），并找到第二Y轴最小值所对应的坐标为第四连接点（第二待合并区域最下方的点）。
S11453，根据所述第一连接点和所述第三连接点形成第一连接线，根据所述第二连接点和所述第四连接点形成第二连接线。
本方案在确定第一连接点、第二连接点、第三连接点和第四连接点后，会将对应的最高点连接，以及将对应的最低点连接，即本方案中的第一连接点和第三连接点形成第一连接线，第二连接点和第四连接点形成第二连接线。
S11454，基于所述第一连接线、所述第二连接线、第一待合并区域的边缘线、第二待合并区域的边缘线确定额外添加区域。
可以理解的是，在得到第一连接线和第二连接线后，第一连接线、第二连接线与第一待合并区域和第二待合并区域的边缘线之间会形成一个区域，把该区域确定为额外添加区域即可。
需要说明的是，上述实施例中，第一连接点、第二连接点、第三连接点和第四连接点会存在有多个的情况，这种情况下，本方案只需要找到距离最短的点即可。示例性的，第一连接点有多个，只需要找到距离第二待合并区域最近的第一连接点，将其作为最终的第一连接点即可，其他连接点也是类似，在此不再赘述。
S12，统计每个子设备区域内的所有像素点的像素值生成相对应的子设备集合，根据所述子设备集合生成相对应的子设备热量。
在步骤S11对子设备区域进行精准划分后，本方案会计算每个子设备区域内的所有像素点的像素值生成相对应的子设备集合，然后对子设备集合生成相对应的子设备热量。可以理解的是，本方案是以像素值大小来体现子设备热量的，例如，像素值越大，说明子设备热量越高。
S13，建立与所述第一图像模态信息所对应的图像信息栏，根据所述子设备热量、子设备区域生成与所述第一图像模态信息所对应的第一图像信息，将所述第一图像信息填充至所述图像信息栏。
本方案还会建立与第一图像模态信息所对应的图像信息栏，然后将子设备热量、子设备区域生成的第一图像信息填充到图像信息栏中，对该第一图像模态信息进行标记。
S2，获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合。
多源系统数据编织结构可以看作是具有多个不同的电力数据源所构建的数据结构，多源系统数据编织结构中会包括多个区域，每个区域对应一个电力数据源，每个电力数据源会具有多种不同的设备，不同的设备会具有与其相对应的图像模态信息、传感模态信息，并且具有该设备在相应图像模态信息、传感模态信息的故障状态，故障状态包括该设备故障或非故障。
可以理解的是，现有技术中，可以利用多源数据编织系统形成数据编织结构，对多源数据融合，多源数据编织系统结构内具备多个用于编织电力设备数据的编织节点。编织节点内例如可以存储电力设备的图像信息、温度信息、湿度信息等多种维度的信息，本方案所需要用到的维度信息均可以在编织节点内得到。
本方案会获取到每个编织节点与第一图像信息关联的第二图像信息，然后对第二图像信息进行分类，将其划分为第一图像集合和第二图像集合。
在一些实施例中，步骤S2包括步骤S21至步骤S25，具体如下：
S21，获取多源系统数据编织结构内每个编织节点的设备信息，若所述设备信息与第一设备相对应，则判断相应编织节点所对应的图像信息为与第一图像信息关联的第二图像信息。
可以理解的是，多源系统数据编织结构内存在多个编织节点，每个编织节点所编织的数据可以是不同的。
本方案会先找到多源系统数据编织结构内每个编织节点的设备信息，设备信息例如可以是变压器等电力设备，如果说有编织节点内的设备信息与第一设备相对应，那么可以判断相应编织节点所对应的图像信息为与第一图像信息关联的第二图像信息。
例如，第一设备为变压器，编织节点A对应的设备信息也为变压器，那么可以将编织节点A所对应的图像信息作为与第一图像信息关联的第二图像信息。
可以理解的是，二者都是变压器的图像信息，只有设备信息相同的图片才具有可比度。
S22，获取图像信息栏中第一图像信息所对应的所有子设备区域的第一区域数量，以及第二图像信息所对应的所有子设备区域的第二区域数量。
本方案会先得到对应第一图像信息的子设备区域的第一区域数量，以及对应第二图像信息的所有子设备区域的第二区域数量。然后会对第一区域数量和第二区域数量进行比对，以判断二者的子设备区域是否相对应。
S23，若所述第一区域数量和第二区域数量相对应，则分别获取每个第一图像信息的子设备区域的第一区域中心坐标，以及每个第二图像信息的子设备区域的第二区域中心坐标。
可以理解的是，如果说第一区域数量和第二区域数量相对应，那么说明二者具有一定相似度，再进行步骤S24的判断操作；如果说第一区域数量和第二区域数量不对应，那么说明二者不具备相似度，无需再进行步骤S24的判断操作，直接得到比对结果即可，可以减少服务器的数据处理量。
本方案在第一区域数量和第二区域数量相对应后，会获取到每个第一图像信息的子设备区域的第一区域中心坐标，以及每个第二图像信息的子设备区域的第二区域中心坐标，用于后续计算。
S24，若所述第一区域中心坐标和第二区域中心坐标的距离小于预设区域距离，则判断第一图像信息和第二图像信息的相似度大于第一预设相似度，将第二图像信息作为第三图像信息。
本方案会先计算第一区域中心坐标和第二区域中心坐标的距离，如果说第一区域中心坐标和第二区域中心坐标的距离小于预设区域距离，说明两个图像中的子设备区域在图片中的位置相同，说明二者具有一定相似度，此时会判断第一图像信息和第二图像信息的相似度大于第一预设相似度，将第二图像信息作为第三图像信息。
本步骤可以筛选出具有一定相似度的第二图像信息作为第三图像信息，无需对所有的第二图像进行处理，可以减少服务器的数据处理量。
S25，所述第一设备标签为故障或非故障，所述第一图像集合表征第一设备标签为故障的第三图像信息的集合，所述第二图像集合表征第一设备标签为非故障的第三图像信息的集合。
得到第三图像信息后，本方案会利用故障或非故障的第一设备标签来对第三图像进行划分，将其分为两类，即第一图像集合和第二图像集合，其中，第一图像集合为故障的第三图像信息的集合，第二图像集合为非故障的第三图像信息的集合。
S3，获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合。
可以理解的是，步骤S1和步骤S2是对第一图像信息进行处理的，步骤S3是对第一传感信息进行处理的。
本方案会先找到多源系统数据编织结构内与第一传感信息关联的第二传感信息，将与第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合。
其中，得到第三图像信息后，本方案会利用故障或非故障的第二设备标签来对第三传感信息进行划分，将其分为两类，即第一传感集合和第二传感集合，其中，第一传感集合为故障的第三传感信息的集合，第二传感集合为非故障的第三传感信息的集合。
S4，根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度。
本方案在得到第一图像信息后，会将第一图像信息中的像素点与第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，然后利用图像差异度得到与第一图像信息相关的比对结果。
同理，本方案在得到第一传感信息后，会将第一传感信息中的检测值与第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度，然后利用传感差异度得到与第一传感信息相关的比对结果。
在一些实施例中，步骤S4中的（在根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度）包括S41至步骤S45，具体如下：
S41，将第一图像信息中每个子设备区域的像素点的像素值之和，与第一图像集合中每个第三图像信息的每个子设备区域的像素点的像素值之和进行比对，根据子设备区域的数量进行计算得到子故障图像差异信息。
S42，根据所有的子故障图像差异信息、第一图像集合中的图像数量，得到总故障图像差异信息；
通过以下公式计算总故障图像差异信息：
Figure 830912DEST_PATH_IMAGE040
其中，
Figure 14768DEST_PATH_IMAGE041
为总故障图像差异信息，
Figure 118991DEST_PATH_IMAGE042
为第
Figure 803394DEST_PATH_IMAGE043
个子故障图像差异信息，
Figure 334870DEST_PATH_IMAGE044
为子故障图 像差异信息的数量的上限值，
Figure 740443DEST_PATH_IMAGE045
为子故障图像差异信息的数量值，
Figure 913936DEST_PATH_IMAGE046
为第一计算权重值，
Figure 659038DEST_PATH_IMAGE047
为第一图像集合中的图像数量，
Figure 423731DEST_PATH_IMAGE048
为第一常数值，
Figure 254284DEST_PATH_IMAGE049
为第
Figure 762626DEST_PATH_IMAGE050
个子故障图像差异信息，
Figure 627814DEST_PATH_IMAGE051
为第 一图像信息中第
Figure 501092DEST_PATH_IMAGE052
个子设备区域的像素点的像素值之和，
Figure 881258DEST_PATH_IMAGE053
为子设备区域的数量的上限 值，
Figure 865394DEST_PATH_IMAGE054
为第三图像信息中第
Figure 647405DEST_PATH_IMAGE052
个子设备区域的像素点的像素值之和，
Figure 691585DEST_PATH_IMAGE055
为第二常数值，
Figure 559047DEST_PATH_IMAGE056
为 子设备区域的数量，
Figure 612453DEST_PATH_IMAGE057
为预设区域数量，
Figure 983392DEST_PATH_IMAGE058
为第一归一化值。
上述计算公式的基本构思为：
本方案首先利用第一图像信息中第
Figure 198472DEST_PATH_IMAGE013
个子设备区域的像素点的像素值之和
Figure 287651DEST_PATH_IMAGE051
和 第三图像信息中第
Figure 879169DEST_PATH_IMAGE052
个子设备区域的像素点的像素值之和
Figure 573456DEST_PATH_IMAGE059
，计算出二者的差值，然后对 差值进行求和，最后与第二常数值
Figure 21755DEST_PATH_IMAGE055
进行比对，得到初始的子故障图像差异信息。
此外，本方案还考虑到子故障图像差异信息
Figure 801492DEST_PATH_IMAGE056
越多，处理的数据量就会越大，对于 子故障图像差异信息
Figure 993439DEST_PATH_IMAGE060
的影响也就越多，那么本方案可以将子故障图像差异信息调整的 相对小一些，使其更加偏向于实际子故障图像差异信息；同理，子故障图像差异信息
Figure 276653DEST_PATH_IMAGE061
越 少，处理的数据量就会越少，对于子故障图像差异信息
Figure 364694DEST_PATH_IMAGE060
的影响也就越少，那么本方案可 以将子故障图像差异信息调整的相对大一些，使其更加偏向于实际子故障图像差异信息。
本方案设置的第一归一化值
Figure 428465DEST_PATH_IMAGE062
可以是人为设置的，用于对子故障图像差异信息
Figure 361786DEST_PATH_IMAGE060
进行调整，使其更加精准。
在得到子故障图像差异信息
Figure 561824DEST_PATH_IMAGE049
之后，本方案会根据所有的子故障图像差异信息
Figure 555187DEST_PATH_IMAGE063
、第一图像集合中的图像数量
Figure 106254DEST_PATH_IMAGE064
，得到总故障图像差异信息
Figure 843266DEST_PATH_IMAGE065
，其中，
Figure 101072DEST_PATH_IMAGE066
的含义是 说第一图像集合中的图像数量
Figure 327654DEST_PATH_IMAGE047
越多，处理的数据量就会越大，对于总故障图像差异信息
Figure 38121DEST_PATH_IMAGE065
的影响也就越多，那么本方案可以将总故障图像差异信息
Figure 375562DEST_PATH_IMAGE065
调整的相对小一些，使其更 加偏向于实际总故障图像差异信息
Figure 19033DEST_PATH_IMAGE065
；同理，第一图像集合中的图像数量
Figure 88620DEST_PATH_IMAGE047
越少，处理的数 据量就会越少，对于总故障图像差异信息
Figure 617209DEST_PATH_IMAGE065
的影响也就越大，那么本方案可以将总故障图 像差异信息
Figure 430444DEST_PATH_IMAGE065
调整的相对大一些，使其更加偏向于实际总故障图像差异信息
Figure 725159DEST_PATH_IMAGE065
；第一计算 权重值
Figure 965648DEST_PATH_IMAGE067
可以是人为设置的，用于对总故障图像差异信息
Figure 978603DEST_PATH_IMAGE065
进行调整，使其更加精准。
S43，将第一图像信息中每个子设备区域的像素点的像素值之和，与第二图像集合中每个第三图像信息的每个子设备区域的像素点的像素值之和进行比对，根据子设备区域的数量进行计算得到子非故障图像差异信息。
S44，根据所有的子非故障图像差异信息、第二图像集合中的图像数量，得到总非故障图像差异信息。
步骤S43与步骤S44的计算方式以及原理与步骤S41和步骤S42类似，在此不再赘述。
在上述实施例的基础上，所述获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息具体包括：
所述第一传感模态信息包括湿度信息和温度信息，所述第二学习策略根据预设的湿度区间和温度区间对多个时刻的湿度信息和温度信息进行提取，得到异常温度检测值及异常湿度检测值。
可以理解的是，本方案预设有湿度区间和温度区间，然后利用湿度区间和温度区间对湿度信息和温度信息进行提取，得到异常温度检测值及异常湿度检测值。
例如，在某个时刻，温度信息不在温度区间内，或者湿度信息不在湿度区间内，本方案会判断其为异常温度检测值和异常湿度检测值，然后对其进行记录。
需要说明的是，本方案只提取异常值，而不是所有采集值都会提取，可以减少服务器的数据处理量。
建立与所述第一传感模态信息所对应的传感信息栏，根据所述异常温度检测值、异常湿度检测值生成与所述第一传感模态信息所对应的第一传感信息，将所述第一传感信息填充至所述传感信息栏。
本方案在得到异常温度检测值、异常湿度检测值后，生成第一传感信息，然后将第一传感信息填充到传感信息栏中进行记录。
在一些实施例中，获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合具体包括：
获取所述第一传感信息中的第一温度位置信息和第一湿度位置信息。
确定与所述第一温度位置信息和第一湿度位置信息最接近的子设备区域作为温度子设备区域和湿度子设备区域。
首先，本方案会得到第一传感信息中的第一温度位置信息和第一湿度位置信息，第一温度位置信息可以是温度传感器所监测的位置，第一湿度位置新可以是湿度传感器所监测的位置；然后，找到与第一温度位置信息和第一湿度位置信息最接近的子设备区域作为对应的温度子设备区域和湿度子设备区域。在某种情况下，如果第一温度位置信息和第一湿度位置信息较为接近，则此时根据第一温度位置信息和第一湿度位置信息所对应的温度子设备区域和湿度子设备区域可以是同一个子设备区域。
若其他第二传感信息的温度子设备区域和湿度子设备区域与第一传感信息的温度子设备区域和湿度子设备区域相对应，则判断所述第二传感信息与第一传感信息的数据相似度大于第二预设相似度。
本方案会判断其他第二传感信息的温度子设备区域和湿度子设备区域与第一传感信息的温度子设备区域和湿度子设备区域是否相对应，如果对应，说明第二传感信息与第一传感信息的数据相似度大于第二预设相似度。
在一些实施例中，步骤S4中的（根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度）包括S46至S49，具体如下：
S46，获取传感信息栏中的异常温度检测值、异常湿度检测值，将异常温度检测值、异常湿度检测值与第一传感集合中的每个第三传感信息的节点温度检测值和节点湿度检测值进行比对，得到子故障传感差异信息。
S47，根据子故障传感差异信息、以及第一传感集合中第三传感信息的数量进行计算，得到总故障传感差异信息。
通过以下公式计算总故障传感差异信息：
Figure 861108DEST_PATH_IMAGE068
其中，
Figure 948013DEST_PATH_IMAGE069
为总故障传感差异信息，
Figure 687299DEST_PATH_IMAGE070
为第一传感集合第
Figure 859654DEST_PATH_IMAGE071
个第三传感信息的子 故障传感差异信息，
Figure 77009DEST_PATH_IMAGE072
为子故障传感差异信息的数量的上限值，
Figure 549579DEST_PATH_IMAGE073
为子故障传感差异信息 数量值，
Figure 131870DEST_PATH_IMAGE074
为第二计算权重值，
Figure 853838DEST_PATH_IMAGE075
为第二常数值，
Figure 812567DEST_PATH_IMAGE076
为第一传感集合中第三传感信息的数 量，
Figure 936381DEST_PATH_IMAGE030
为第一传感集合第
Figure 955152DEST_PATH_IMAGE031
个第三传感信息的子故障传感差异信息，
Figure 164417DEST_PATH_IMAGE077
为湿度检测权重，
Figure 926836DEST_PATH_IMAGE078
为异常温度检测值，
Figure 842840DEST_PATH_IMAGE079
为节点温度检测值，
Figure 94829DEST_PATH_IMAGE080
为温度常数值，
Figure 729073DEST_PATH_IMAGE081
为湿度检测权重，
Figure 91921DEST_PATH_IMAGE082
为异 常湿度检测值，
Figure 862431DEST_PATH_IMAGE083
为节点湿度检测值，
Figure 285322DEST_PATH_IMAGE084
为湿度常数值。
上述技术公式的基本构思为：
本方案利用异常温度检测值
Figure 672441DEST_PATH_IMAGE078
与节点温度检测值
Figure 511084DEST_PATH_IMAGE079
的差值计算出温度差异信息， 利用异常湿度检测值
Figure 463997DEST_PATH_IMAGE082
和节点湿度检测值
Figure 995472DEST_PATH_IMAGE083
的差值，计算出湿度差异信息，然后将温度差 异信息和湿度差异信息综合，得到第一传感集合第
Figure 401046DEST_PATH_IMAGE085
个第三传感信息的子故障传感差异信 息
Figure 574538DEST_PATH_IMAGE086
；本方案设置的湿度检测权重
Figure 319640DEST_PATH_IMAGE077
和湿度检测权重
Figure 84334DEST_PATH_IMAGE081
可以是人为设置的，用于使得对应 的温度差异信息和湿度差异信息较为准确。
在得到第一传感集合第
Figure 914887DEST_PATH_IMAGE085
个第三传感信息的子故障传感差异信息
Figure 157649DEST_PATH_IMAGE086
之后，本方 案可以利用
Figure 288416DEST_PATH_IMAGE087
得到初始总故障传感差异信息；其中，
Figure 161694DEST_PATH_IMAGE088
的含义是说第一传感集合中 第三传感信息的数量
Figure 541860DEST_PATH_IMAGE076
越多，处理的数据量就会越大，对于总故障传感差异信息
Figure 525997DEST_PATH_IMAGE069
的影响 也就越多，那么本方案可以将总故障传感差异信息
Figure 316797DEST_PATH_IMAGE069
调整的相对小一些，使其更加偏向于 实际总故障传感差异信息
Figure 360976DEST_PATH_IMAGE069
；同理，第一传感集合中第三传感信息的数量
Figure 431701DEST_PATH_IMAGE076
越少，处理的 数据量就会越小，对于总故障传感差异信息
Figure 281845DEST_PATH_IMAGE069
的影响也就越大，那么本方案可以将总故障 传感差异信息
Figure 856046DEST_PATH_IMAGE069
调整的相对大一些，使其更加偏向于实际总故障传感差异信息
Figure 133443DEST_PATH_IMAGE069
；第二 计算权重值
Figure 160305DEST_PATH_IMAGE074
可以是人为设置的，用于对总故障传感差异信息
Figure 814140DEST_PATH_IMAGE069
进行调整，使其更加精 准。
S48，将异常温度检测值、异常湿度检测值与第二传感集合中的每个第三传感信息的节点温度检测值和节点湿度检测值进行比对，得到子非故障传感差异信息。
S49，根据子非故障传感差异信息、以及第二传感集合中第三传感信息的数量进行计算，得到总非故障传感差异信息。
步骤S48与步骤S49的计算方式以及原理与步骤S46和步骤S47类似，在此不再赘述。
S5，对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息。
本方案在得到图像差异度和传感差异度之后，会对图像差异度和传感差异度进行融合比对，得到第一比对结果，以更加全面准确的生成第一故障提醒信息。
在一些实施例中，对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息具体包括：
将总故障图像差异信息、总故障传感差异信息进行融合相加得到第一融合差异信息；将总非故障图像差异信息、总非故障传感差异信息进行融合相加得到第二融合差异信息。
首先，本方案会先将总故障图像差异信息、总故障传感差异信息采用相加的方式得到第一融合差异信息，然后将总非故障图像差异信息、总非故障传感差异信息采用相加的方式得到第二融合差异信息。
在实际应用中，融合不一定采用相加的方式，也可以是相乘等方式，能过将对应的数据融合在一起即可，本方案对此不做限制。
若所述第一融合差异信息小于等于第二融合差异信息，则输出故障提醒的第一故障提醒信息；若所述第一融合差异信息大于第二融合差异信息，则输出非故障提醒的第一故障提醒信息。
可以理解的是，如果说第一融合差异信息小于等于第二融合差异信息，那么说明第一设备存在故障的可能性较大，此时可以输出故障提醒的第一故障提醒信息；同理，如果说第一融合差异信息大于第二融合差异信息，那么说明第一设备存在故障的可能性较小，则输出非故障提醒的第一故障提醒信息。
参见图2，是本发明实施例提供的一种基于多模态学习策略的多源系统数据编织架构处理装置的结构示意图，该基于多模态学习策略的多源系统数据编织架构处理装置包括：
处理模块，用于获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息；
第一划分模块，用于获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合；
第二划分模块，用于获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合；
计算模块，用于根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度；
比对模块，用于对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息。
图2所示实施例的装置对应地可用于执行图1所示方法实施例中的步骤，其实现原理和技术效果类似，此处不再赘述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.基于多模态学习策略的多源数据编织系统处理方法，其特征在于，包括：
获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息；
获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合；
获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合；
根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度；
对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息；
其中，获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息，包括：
所述第一图像模态信息包括红外图像，根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域；
统计每个子设备区域内的所有像素点的像素值，生成相对应的子设备集合，根据所述子设备集合生成相对应的子设备热量；
建立与所述第一图像模态信息所对应的图像信息栏，根据所述子设备热量、子设备区域生成与所述第一图像模态信息所对应的第一图像信息，将所述第一图像信息填充至所述图像信息栏；
所述第一传感模态信息包括湿度信息和温度信息，所述第二学习策略根据预设的湿度区间和温度区间对多个时刻的湿度信息和温度信息进行提取，得到异常温度检测值及异常湿度检测值；
建立与所述第一传感模态信息所对应的传感信息栏，根据所述异常温度检测值、异常湿度检测值生成与所述第一传感模态信息所对应的第一传感信息，将所述第一传感信息填充至所述传感信息栏；
其中，获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合，包括：
获取多源系统数据编织结构内每个编织节点的设备信息，若所述设备信息与第一设备相对应，则判断相应编织节点所对应的图像信息为与第一图像信息关联的第二图像信息；
获取图像信息栏中第一图像信息所对应的所有子设备区域的第一区域数量，以及第二图像信息所对应的所有子设备区域的第二区域数量；
若所述第一区域数量和第二区域数量相对应，则分别获取每个第一图像信息的子设备区域的第一区域中心坐标，以及每个第二图像信息的子设备区域的第二区域中心坐标；
若所述第一区域中心坐标和第二区域中心坐标的距离小于预设区域距离，则判断第一图像信息和第二图像信息的相似度大于第一预设相似度，将第二图像信息作为第三图像信息；
所述第一设备标签为故障或非故障，所述第一图像集合表征第一设备标签为故障的第三图像信息的集合，所述第二图像集合表征第一设备标签为非故障的第三图像信息的集合；
获取所述第一传感信息中的第一温度位置信息和第一湿度位置信息；
确定与所述第一温度位置信息和第一湿度位置信息最接近的子设备区域作为温度子设备区域和湿度子设备区域；
若第二传感信息的温度子设备区域和湿度子设备区域与第一传感信息的温度子设备区域和湿度子设备区域相对应，则判断所述第二传感信息与第一传感信息的数据相似度大于第二预设相似度；
其中，得到第三图像信息后，利用故障或非故障的第二设备标签来对第三传感信息进行划分，将其分为两类，即第一传感集合和第二传感集合，其中，第一传感集合为故障的第三传感信息的集合，第二传感集合为非故障的第三传感信息的集合。
2.根据权利要求1所述的基于多模态学习策略的多源数据编织系统处理方法，其特征在于，
根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域，包括：
选中红外图像中所有处于预设像素区间内的像素值所对应的像素点作为第一像素点，将所有相邻的第一像素点相连接生成多个一次初始区域；
将所有未与其他第一像素点连接的第一像素点作为第二像素点，获取所述第二像素点与其相邻的多个第一像素点间的多个像素距离，以及多个第一像素点所处的一次初始区域内第一像素点的第一数量；
根据所述多个像素距离、多个初始区域内第一像素点的第一数量确定与所述第二像素点对应的一次初始区域，将所有第二像素点分别划分至相对应的一次初始区域，得到所有一次初始区域分别对应的二次初始区域；
获取所有二次初始区域内像素点的第二数量，若判断存在第二数量小于预设区域数量的二次初始区域，则将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域。
3.根据权利要求2所述的基于多模态学习策略的多源数据编织系统处理方法，其特征在于，
获取所有二次初始区域内像素点的第二数量，若判断存在第二数量小于预设数量的二次初始区域，则将小于预设数量的二次初始区域与相邻的二次初始区域合并得到子设备区域，包括：
获取小于预设数量的二次初始区域内的第一中心像素点，以及获取相邻的二次初始区域内的第二中心像素点；
获取所述第一中心像素点与每个第二中心像素点的距离得到区域间距离，将第一中心像素点所对应的二次初始区域作为第一待合并区域，将区域间距离最小的第二中心像素点所对应的二次初始区域作为第二待合并区域；
对所述红外图像坐标化处理，获取所述第一待合并区域和第二待合并区域内每个像素点的第一坐标和第二坐标；
分别提取所述第一待合并区域所有第一坐标的第一X轴坐标和第一Y轴坐标，以及第二待合并区域所有第二坐标的第二X轴坐标和第二Y轴坐标；
若所有的第一X轴坐标分别与所有的第二X轴坐标相对应，且第一Y轴坐标分别与所有的第二Y轴坐标相对应，则根据所述第一X轴坐标、第一Y轴坐标、第二X轴坐标、第二Y轴坐标确定额外添加区域；
将所述额外添加区域、第一待合并区域以及第二待合并区域合并得到子设备区域。
4.根据权利要求3所述的基于多模态学习策略的多源数据编织系统处理方法，其特征在于，
若所有的第一X轴坐标分别与所有的第二X轴坐标相对应，且第一Y轴坐标分别与所有的第二Y轴坐标相对应，则根据所述第一X轴坐标、第一Y轴坐标、第二X轴坐标、第二Y轴坐标确定额外添加区域，包括：
选取所述第一Y轴坐标中的第一Y轴最大值和第一Y轴最小值，标记所述第一Y轴最大值所对应的坐标为第一连接点，标记所述第一Y轴最小值所对应的坐标为第二连接点；
选取所述第二Y轴坐标中的第二Y轴最大值和第二Y轴最小值，标记所述第二Y轴最大值所对应的坐标为第三连接点，标记所述第二Y轴最小值所对应的坐标为第四连接点；
根据所述第一连接点和所述第三连接点形成第一连接线，根据所述第二连接点和所述第四连接点形成第二连接线；
基于所述第一连接线、所述第二连接线、第一待合并区域的边缘线、第二待合并区域的边缘线确定额外添加区域。
5.根据权利要求4所述的基于多模态学习策略的多源数据编织系统处理方法，其特征在于，
根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，包括：
将第一图像信息中每个子设备区域的像素点的像素值之和，与第一图像集合中每个第三图像信息的每个子设备区域的像素点的像素值之和进行比对，根据子设备区域的数量进行计算得到子故障图像差异信息；
根据所有的子故障图像差异信息、第一图像集合中的图像数量，得到总故障图像差异信息；
通过以下公式计算总故障图像差异信息：
Figure 956459DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
为总故障图像差异信息，
Figure 159032DEST_PATH_IMAGE004
为第
Figure DEST_PATH_IMAGE005
个子故障图像差异信息，
Figure 678875DEST_PATH_IMAGE006
为子故障图像差异 信息的数量的上限值，
Figure DEST_PATH_IMAGE007
为子故障图像差异信息的数量值，
Figure 605766DEST_PATH_IMAGE008
为第一计算权重值，
Figure DEST_PATH_IMAGE009
为第一图 像集合中的图像数量，
Figure 552862DEST_PATH_IMAGE010
为第一常数值，
Figure DEST_PATH_IMAGE011
为第
Figure 367365DEST_PATH_IMAGE012
个子故障图像差异信息，
Figure DEST_PATH_IMAGE013
为第一图像信息 中第
Figure 457943DEST_PATH_IMAGE014
个子设备区域的像素点的像素值之和，
Figure DEST_PATH_IMAGE015
为子设备区域的数量的上限值，
Figure 454718DEST_PATH_IMAGE016
为第三图 像信息中第
Figure 385765DEST_PATH_IMAGE014
个子设备区域的像素点的像素值之和，
Figure DEST_PATH_IMAGE017
为第二常数值，
Figure 218723DEST_PATH_IMAGE018
为子设备区域的数 量，
Figure DEST_PATH_IMAGE019
为预设区域数量，
Figure 248078DEST_PATH_IMAGE020
为第一归一化值；
将第一图像信息中每个子设备区域的像素点的像素值之和，与第二图像集合中每个第三图像信息的每个子设备区域的像素点的像素值之和进行比对，根据子设备区域的数量进行计算得到子非故障图像差异信息；
根据所有的子非故障图像差异信息、第二图像集合中的图像数量，得到总非故障图像差异信息。
6.根据权利要求5所述的基于多模态学习策略的多源数据编织系统处理方法，其特征在于，
根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度，包括：
获取传感信息栏中的异常温度检测值、异常湿度检测值，将异常温度检测值、异常湿度检测值与第一传感集合中的每个第三传感信息的节点温度检测值和节点湿度检测值进行比对，得到子故障传感差异信息；
根据子故障传感差异信息、以及第一传感集合中第三传感信息的数量进行计算，得到总故障传感差异信息；
通过以下公式计算总故障传感差异信息：
Figure 427256DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE023
为总故障传感差异信息，
Figure 670149DEST_PATH_IMAGE024
为第一传感集合第
Figure DEST_PATH_IMAGE025
个第三传感信息的子故障传感 差异信息，
Figure 537873DEST_PATH_IMAGE026
为子故障传感差异信息的数量的上限值，
Figure DEST_PATH_IMAGE027
为子故障传感差异信息数量值，
Figure 203210DEST_PATH_IMAGE028
为第二计算权重值，
Figure DEST_PATH_IMAGE029
为第二常数值，
Figure 472779DEST_PATH_IMAGE030
为第一传感集合中第三传感信息的数量，
Figure DEST_PATH_IMAGE031
为第一 传感集合第
Figure 870263DEST_PATH_IMAGE032
个第三传感信息的子故障传感差异信息，
Figure DEST_PATH_IMAGE033
为湿度检测权重，
Figure 219424DEST_PATH_IMAGE034
为异常温度检 测值，
Figure DEST_PATH_IMAGE035
为节点温度检测值，
Figure 845708DEST_PATH_IMAGE036
为温度常数值，
Figure DEST_PATH_IMAGE037
为湿度检测权重，
Figure 468319DEST_PATH_IMAGE038
为异常湿度检测值，
Figure DEST_PATH_IMAGE039
为节点湿度检测值，
Figure 334906DEST_PATH_IMAGE040
为湿度常数值；
将异常温度检测值、异常湿度检测值与第二传感集合中的每个第三传感信息的节点温度检测值和节点湿度检测值进行比对，得到子非故障传感差异信息；
根据子非故障传感差异信息、以及第二传感集合中第三传感信息的数量进行计算，得到总非故障传感差异信息。
7.根据权利要求6所述的基于多模态学习策略的多源数据编织系统处理方法，其特征在于，
对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息，包括：
将总故障图像差异信息、总故障传感差异信息进行融合相加得到第一融合差异信息；
将总非故障图像差异信息、总非故障传感差异信息进行融合相加得到第二融合差异信息；
若所述第一融合差异信息小于等于第二融合差异信息，则输出表征故障提醒的第一故障提醒信息；
若所述第一融合差异信息大于第二融合差异信息，则输出表征非故障提醒的第一故障提醒信息。
8.基于多模态学习策略的多源数据编织系统处理装置，其特征在于，包括：
处理模块，用于获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息；
第一划分模块，用于获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合；
第二划分模块，用于获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信息，将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传感信息，根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第二传感集合；
计算模块，用于根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像素点进行计算得到图像差异度，根据第一传感信息中的检测值与所述第一传感集合和第二传感集合中每个检测值进行计算得到传感差异度；
比对模块，用于对所述图像差异度和传感差异度进行融合比对得到第一比对结果，根据所述第一比对结果输出第一故障提醒信息；
其中，获取第一设备的第一图像模态信息和第一传感模态信息，基于第一学习策略对所述第一图像模态信息进行处理得到第一图像信息，基于第二学习策略对所述第一传感模态信息进行处理得到第一传感信息，包括：
所述第一图像模态信息包括红外图像，根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备区域；
统计每个子设备区域内的所有像素点的像素值，生成相对应的子设备集合，根据所述子设备集合生成相对应的子设备热量；
建立与所述第一图像模态信息所对应的图像信息栏，根据所述子设备热量、子设备区域生成与所述第一图像模态信息所对应的第一图像信息，将所述第一图像信息填充至所述图像信息栏；
所述第一传感模态信息包括湿度信息和温度信息，所述第二学习策略根据预设的湿度区间和温度区间对多个时刻的湿度信息和温度信息进行提取，得到异常温度检测值及异常湿度检测值；
建立与所述第一传感模态信息所对应的传感信息栏，根据所述异常温度检测值、异常湿度检测值生成与所述第一传感模态信息所对应的第一传感信息，将所述第一传感信息填充至所述传感信息栏；
其中，获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信息，将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图像信息，根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第二图像集合，包括：
获取多源系统数据编织结构内每个编织节点的设备信息，若所述设备信息与第一设备相对应，则判断相应编织节点所对应的图像信息为与第一图像信息关联的第二图像信息；
获取图像信息栏中第一图像信息所对应的所有子设备区域的第一区域数量，以及第二图像信息所对应的所有子设备区域的第二区域数量；
若所述第一区域数量和第二区域数量相对应，则分别获取每个第一图像信息的子设备区域的第一区域中心坐标，以及每个第二图像信息的子设备区域的第二区域中心坐标；
若所述第一区域中心坐标和第二区域中心坐标的距离小于预设区域距离，则判断第一图像信息和第二图像信息的相似度大于第一预设相似度，将第二图像信息作为第三图像信息；
所述第一设备标签为故障或非故障，所述第一图像集合表征第一设备标签为故障的第三图像信息的集合，所述第二图像集合表征第一设备标签为非故障的第三图像信息的集合；
获取所述第一传感信息中的第一温度位置信息和第一湿度位置信息；
确定与所述第一温度位置信息和第一湿度位置信息最接近的子设备区域作为温度子设备区域和湿度子设备区域；若第二传感信息的温度子设备区域和湿度子设备区域与第一传感信息的温度子设备区域和湿度子设备区域相对应，则判断所述第二传感信息与第一传感信息的数据相似度大于第二预设相似度；
其中，得到第三图像信息后，利用故障或非故障的第二设备标签来对第三传感信息进行划分，将其分为两类，即第一传感集合和第二传感集合，其中，第一传感集合为故障的第三传感信息的集合，第二传感集合为非故障的第三传感信息的集合。
CN202210538884.0A 2022-05-18 2022-05-18 基于多模态学习策略的多源数据编织系统处理方法及装置 Active CN114662617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210538884.0A CN114662617B (zh) 2022-05-18 2022-05-18 基于多模态学习策略的多源数据编织系统处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210538884.0A CN114662617B (zh) 2022-05-18 2022-05-18 基于多模态学习策略的多源数据编织系统处理方法及装置

Publications (2)

Publication Number Publication Date
CN114662617A CN114662617A (zh) 2022-06-24
CN114662617B true CN114662617B (zh) 2022-08-09

Family

ID=82038102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210538884.0A Active CN114662617B (zh) 2022-05-18 2022-05-18 基于多模态学习策略的多源数据编织系统处理方法及装置

Country Status (1)

Country Link
CN (1) CN114662617B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937142B (zh) * 2022-07-20 2022-09-23 北京智盟信通科技有限公司 基于图计算的电力设备故障诊断模型实现方法
CN115841489B (zh) * 2023-02-21 2023-04-28 华至云链科技(苏州)有限公司 智能点检方法及平台

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119518A (zh) * 2021-11-16 2022-03-01 国网重庆市电力公司电力科学研究院 一种电流互感器的红外图像中温度异常点检测方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE536137C2 (sv) * 2011-06-07 2013-05-28 Bae Systems Haegglunds Ab Anordning för signaturanpassning
CN104881637B (zh) * 2015-05-09 2018-06-19 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于传感信息及目标追踪的多模信息系统及其融合方法
CN105425123B (zh) * 2015-11-20 2018-03-09 国网福建省电力有限公司泉州供电公司 一种紫外成像与红外成像协同检测电力设备故障的方法及系统
KR102061810B1 (ko) * 2018-03-23 2020-01-02 단국대학교 산학협력단 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법
CN111652940A (zh) * 2020-04-30 2020-09-11 平安国际智慧城市科技股份有限公司 目标异常识别方法、装置、电子设备及存储介质
CN113763397B (zh) * 2021-09-03 2024-03-29 国网山东省电力公司电力科学研究院 复合绝缘子故障检测方法及系统
CN114444734A (zh) * 2022-01-27 2022-05-06 山东电工电气集团有限公司 一种基于边缘计算的变压器多模态故障诊断方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119518A (zh) * 2021-11-16 2022-03-01 国网重庆市电力公司电力科学研究院 一种电流互感器的红外图像中温度异常点检测方法及系统

Also Published As

Publication number Publication date
CN114662617A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN114662617B (zh) 基于多模态学习策略的多源数据编织系统处理方法及装置
US10762376B2 (en) Method and apparatus for detecting text
US20180174062A1 (en) Root cause analysis for sequences of datacenter states
US8660368B2 (en) Anomalous pattern discovery
CN110210302A (zh) 多目标跟踪方法、装置、计算机设备及存储介质
KR102113813B1 (ko) 정합 쌍을 이용한 신발 영상 검색 장치 및 방법
KR20180104609A (ko) 다수의 이미지 일치성을 바탕으로 보험클레임 사기 방지를 실현하는 방법, 시스템, 기기 및 판독 가능 저장매체
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
CN107431786A (zh) 图像处理设备、图像处理系统、图像处理方法和计算机程序
US9025863B2 (en) Depth camera system with machine learning for recognition of patches within a structured light pattern
CN112951386B (zh) 影像驱动的脑图谱构建方法、装置、设备及存储介质
CN107276851B (zh) 一种节点的异常检测方法、装置、网络节点及控制台
JP2015041164A (ja) 画像処理装置、画像処理方法およびプログラム
CN111709296A (zh) 一种景别识别方法、装置、电子设备及可读存储介质
US20200050838A1 (en) Suspiciousness degree estimation model generation device
CN112131277A (zh) 基于大数据的医疗数据异常分析方法、装置和计算机设备
CN114902299A (zh) 图像中关联对象的检测方法、装置、设备和存储介质
CN111652314A (zh) 温度检测方法、装置、计算机设备和存储介质
KR102132077B1 (ko) 설비 데이터의 이상 정도 평가 방법
CN113793326A (zh) 一种基于图像的疾病识别方法和装置
US20220101626A1 (en) Confidence measure for a deployed machine learning model
KR102158095B1 (ko) 영상의 유사도 예측 방법 및 장치
CN116959099A (zh) 一种基于时空图卷积神经网络的异常行为识别方法
KR20130082849A (ko) 진단 근거를 제공하는 의료영상 진단 장치 및 방법
US20150161794A1 (en) Position management device, position management system, position management method, and position management program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant