CN117609278A - 基于深度度量学习的多模态电力数据管理方法与系统 - Google Patents
基于深度度量学习的多模态电力数据管理方法与系统 Download PDFInfo
- Publication number
- CN117609278A CN117609278A CN202311774783.4A CN202311774783A CN117609278A CN 117609278 A CN117609278 A CN 117609278A CN 202311774783 A CN202311774783 A CN 202311774783A CN 117609278 A CN117609278 A CN 117609278A
- Authority
- CN
- China
- Prior art keywords
- data
- modal
- mode
- power
- modality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013523 data management Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005259 measurement Methods 0.000 title claims abstract description 21
- 238000013135 deep learning Methods 0.000 claims abstract description 15
- 238000007726 management method Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 38
- 238000004140 cleaning Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 14
- 238000007499 fusion processing Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000012512 characterization method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据识别技术领域,公开了基于深度度量学习的多模态电力数据管理方法与系统,本发明提供的方法包括:获取多模态电力数据库;获取预定电力数据模态属性集;基于预设电力数据模态属性对多模态电力数据库进行特征识别,获得多个数据模态特征;基于多个数据模态特征进行深度度量学习,获得多个深度模态特征;基于预设电力数据模态属性,根据多个深度模态特征进行深度学习,构建电力数据多模态搜索模型;根据电力数据多模态搜索模型对多模态电力数据库进行数据管理。通过本发明提供的方法实现多模态数据的统一管理,提高电力数据的多模态搜索能力和多模态相似匹配准确性,提高电力数据的多模态搜索能力,以及多模态相似匹配准确性。
Description
技术领域
本发明涉及数据识别技术领域,具体涉及基于深度度量学习的多模态电力数据管理方法与系统。
背景技术
随着电力系统的发展,电力企业积累了大量多源异构的业务数据,覆盖电力系统的多个方面,包含电压、电流、负载、电力质量、设备状态等多种数据类型。但现有的数据管理和分析方法对电力多模态数据的利用不足,难以实现对数据的深入挖掘,无法支持电力企业的决策分析、资产管理和运维工作,存在电力数据的多模态搜索能力和多模态相似匹配准确性差的缺陷。
发明内容
有鉴于此,本发明提供了一种基于深度度量学习的多模态电力数据管理方法与系统,以解决电力数据的多模态搜索能力和多模态相似匹配准确性差的问题。
第一方面,本发明提供了一种基于深度度量学习的多模态电力数据管理方法,所述方法包括:
获取多模态电力数据库;
获取预定电力数据模态属性集,其中,预定电力数据模态属性集包括N个预设电力数据模态属性,N为大于1的正整数;
基于N个预设电力数据模态属性对多模态电力数据库进行特征识别,获得多个数据模态特征;
基于多个数据模态特征进行深度度量学习,获得多个深度模态特征;
基于N个预设电力数据模态属性,根据多个深度模态特征进行深度学习,构建电力数据多模态搜索模型,其中,电力数据多模态搜索模型包括N个模态属性搜索通道;
根据电力数据多模态搜索模型对多模态电力数据库进行数据管理。
本发明提供的方法提高了电力数据的多模态搜索能力和多模态相似匹配的准确性,达到了提高电力数据的多模态搜索能力,以及多模态相似匹配准确性的技术效果。
在一种可选的实施方式中,在获取多模态电力数据库步骤之后,还包括:
获取多维清洗约束数据,其中,所述多维清洗约束数据包括数据格式统一、缺失数据填补、重复数据删除和异常数据修正;
根据所述多维清洗约束数据对所述多模态电力数据库进行数据清洗,获得标准电力数据库;
根据所述标准电力数据库对所述多模态电力数据库进行覆盖更新。
本发明提供的方法通过多维清洗约束,提高后续分析和管理的准确性和可靠性。
在一种可选的实施方式中,预定电力数据模态属性集包括:数据时间模态、数据结构模态、数据主体模态、数据产生节点模态、数据表象模态,其中,
数据时间模态表征电力数据的时间维度,用于分析数据的时序特性;
数据结构模态表征数据的结构和类型,用于确定数据的媒体类型;
数据主体模态表征数据所属的主体或来源,用于对数据的来源和所有者的进行识别;
数据产生节点模态表征数据的生成或产生节点,用于识别数据的来源和传播路径;
数据表象模态表征数据的内容或表象。
本发明提供的方法通过预设电力数据模态属性集,明确定义数据属性,以更好地理解和分类电力数据,从而为深度学习和模型构建提供更多的信息,有助于提高电力数据管理和分析的效率和准确性。
在一种可选的实施方式中,基于多个数据模态特征进行深度度量学习,获得多个深度模态特征的步骤,包括:
遍历所述多个数据模态特征进行两两相似性分析,获得多个模态相似度;
获得预设模态相似度;
基于所述预设模态相似度,根据所述多个模态相似度分别对所述多个数据模态特征进行筛选,生成所述多个深度模态特征。
在一种可选的实施方式中,基于所述预设模态相似度,根据所述多个模态相似度分别对所述多个数据模态特征进行筛选,生成所述多个深度模态特征,包括:
基于所述多个模态相似度,获得第一模态相似度;
根据所述多个数据模态特征,匹配所述第一模态相似度对应的第一模态特征组合;
判断所述第一模态相似度是否小于所述预设模态相似度;
当所述第一模态相似度小于所述预设模态相似度,生成第一组合独立指令,并根据所述第一组合独立指令对所述第一模态特征组合进行独立处理,将第一独立处理结果添加至所述多个深度模态特征。
本发明提供的方法通过根据模态相似性和预设模态相似度处理多个数据模态特征,以生成多个深度模态特征,有助于提高数据的表征和准确性,并为后续的深度学习任务提供更有信息价值的特征,从而支持数据管理和分析。
在一种可选的实施方式中,当所述第一模态相似度大于等于所述预设模态相似度,生成第一组合融合指令,并根据所述第一组合融合指令对所述第一模态特征组合进行融合处理,将第一融合处理结果添加至所述多个深度模态特征。
在一种可选的实施方式中,基于N个预设电力数据模态属性,根据多个深度模态特征进行深度学习,构建电力数据多模态搜索模型,其中,电力数据多模态搜索模型包括N个模态属性搜索通道,包括:
基于N个预设电力数据模态属性,获得第n预设电力数据模态属性,且,n为正整数,n属于N;
基于所述多个深度模态特征,采集预设数据量的样本多模态电力数据集;
基于所述第n预设电力数据模态属性对所述样本多模态电力数据集进行电力数据模态搜索记录回溯,获得样本数据模态搜索记录和样本数据模态属性匹配度记录;
基于所述样本数据模态搜索记录和样本数据模态属性匹配度记录对全连接神经网络进行有监督训练,生成第n模态属性搜索通道;
基于所述样本数据模态搜索记录对全连接神经网络进行训练,获得样本预测模态属性匹配度记录;
基于所述样本预测模态属性匹配度记录,根据所述样本数据模态属性匹配度记录,计算训练收敛度;
若所述训练收敛度满足预设训练收敛约束,生成所述第n预设电力数据模态属性对应的第n模态属性搜索通道,并将所述第n模态属性搜索通道添加至所述电力数据多模态搜索模型。
在一种可选的实施方式中,还包括:
基于所述第n预设电力数据模态属性对所述多模态电力数据库进行电力数据模态搜索记录回溯,获得电力数据模态搜索记录和电力数据模态属性匹配度记录;
基于所述电力数据模态搜索记录和所述电力数据模态属性匹配度记录对所述第n模态属性搜索通道进行增量学习。
在一种可选的实施方式中,根据电力数据多模态搜索模型对多模态电力数据库进行数据管理,包括:
根据所述多个数据模态特征对所述多模态电力数据库进行标识,生成多模态电力数据标识库;
获取多模态搜索需求,并根据所述N个预设电力数据模态属性对多模态搜索需求进行特征识别,获得N个模态属性特征需求;
基于所述N个模态属性特征需求,利用所述电力数据多模态搜索模型对所述多模态电力数据标识库进行数据搜索。
第二方面,本发明提供了一种基于深度度量学习的多模态电力数据管理系统,所述系统包括:
电力数据库获取模块,用于获取多模态电力数据库;
模态属性集获取模块,用于获取预定电力数据模态属性集,其中,预定电力数据模态属性集包括N个预设电力数据模态属性,N为大于1的正整数;
数据库特征识别模块,用于基于N个预设电力数据模态属性对多模态电力数据库进行特征识别,获得多个数据模态特征;
深度度量学习模块,用于基于多个数据模态特征进行深度度量学习,获得多个深度模态特征;
搜索模型构建模块,用于基于N个预设电力数据模态属性,根据多个深度模态特征进行深度学习,构建电力数据多模态搜索模型,其中,电力数据多模态搜索模型包括N个模态属性搜索通道;
数据管理模块,用于根据电力数据多模态搜索模型对多模态电力数据库进行数据管理。
在一种可选的实施方式中,电力数据库获取模块,还包括:
约束单元,用于获取多维清洗约束数据,其中,所述多维清洗约束数据包括数据格式统一、缺失数据填补、重复数据删除和异常数据修正;
第一获取单元,用于根据所述多维清洗约束数据对所述多模态电力数据库进行数据清洗,获得标准电力数据库;
第二获取单元,用于根据所述标准电力数据库对所述多模态电力数据库进行覆盖更新。
在一种可选的实施方式中,在模态属性集获取模块中,预定电力数据模态属性集包括:数据时间模态、数据结构模态、数据主体模态、数据产生节点模态、数据表象模态,其中,
数据时间模态表征电力数据的时间维度,用于分析数据的时序特性;
数据结构模态表征数据的结构和类型,用于确定数据的媒体类型;
数据主体模态表征数据所属的主体或来源,用于对数据的来源和所有者的进行识别;
数据产生节点模态表征数据的生成或产生节点,用于识别数据的来源和传播路径;
数据表象模态表征数据的内容或表象。
在一种可选的实施方式中,深度度量学习模块,包括:
第三获取单元,用于遍历所述多个数据模态特征进行两两相似性分析,获得多个模态相似度;
第四获取单元,用于获得预设模态相似度;
筛选单元,用于基于所述预设模态相似度,根据所述多个模态相似度分别对所述多个数据模态特征进行筛选,生成所述多个深度模态特征。
在一种可选的实施方式中,筛选单元,包括:
相似度获取子单元,用于基于所述多个模态相似度,获得第一模态相似度;
匹配子单元,用于根据所述多个数据模态特征,匹配所述第一模态相似度对应的第一模态特征组合;
判断子单元,用于判断所述第一模态相似度是否小于所述预设模态相似度;
第一处理子单元,用于当所述第一模态相似度小于所述预设模态相似度,生成第一组合独立指令,并根据所述第一组合独立指令对所述第一模态特征组合进行独立处理,将第一独立处理结果添加至所述多个深度模态特征。
在一种可选的实施方式中,第二处理子单元,用于当所述第一模态相似度大于等于所述预设模态相似度,生成第一组合融合指令,并根据所述第一组合融合指令对所述第一模态特征组合进行融合处理,将第一融合处理结果添加至所述多个深度模态特征。
在一种可选的实施方式中,搜索模型构建模块,包括:
第五获取单元,用于基于N个预设电力数据模态属性,获得第n预设电力数据模态属性,且,n为正整数,n属于N;
采集单元,用于基于所述多个深度模态特征,采集预设数据量的样本多模态电力数据集;
第六获取单元,用于基于所述第n预设电力数据模态属性对所述样本多模态电力数据集进行电力数据模态搜索记录回溯,获得样本数据模态搜索记录和样本数据模态属性匹配度记录;
搜索通道生成单元,用于基于所述样本数据模态搜索记录和样本数据模态属性匹配度记录对全连接神经网络进行有监督训练,生成第n模态属性搜索通道;
第七获取单元,用于基于所述样本数据模态搜索记录对全连接神经网络进行训练,获得样本预测模态属性匹配度记录;
第一计算单元,用于基于所述样本预测模态属性匹配度记录,根据所述样本数据模态属性匹配度记录,计算训练收敛度;
添加单元,用于若所述训练收敛度满足预设训练收敛约束,生成所述第n预设电力数据模态属性对应的第n模态属性搜索通道,并将所述第n模态属性搜索通道添加至所述电力数据多模态搜索模型。
在一种可选的实施方式中,搜索模型构建模块,还包括:
第八获取单元,用于基于所述第n预设电力数据模态属性对所述多模态电力数据库进行电力数据模态搜索记录回溯,获得电力数据模态搜索记录和电力数据模态属性匹配度记录;
学习单元,用于基于所述电力数据模态搜索记录和所述电力数据模态属性匹配度记录对所述第n模态属性搜索通道进行增量学习。
在一种可选的实施方式中,数据管理模块,包括:
多模态电力数据标识库生成单元,用于根据所述多个数据模态特征对所述多模态电力数据库进行标识,生成多模态电力数据标识库;
模态属性特征需求获取单元,用于获取多模态搜索需求,并根据所述N个预设电力数据模态属性对多模态搜索需求进行特征识别,获得N个模态属性特征需求;
搜索单元,用于基于所述N个模态属性特征需求,利用所述电力数据多模态搜索模型对所述多模态电力数据标识库进行数据搜索。
第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的基于深度度量学习的多模态电力数据管理方法。
第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于深度度量学习的多模态电力数据管理方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于深度度量学习的多模态电力数据管理方法的流程图;
图2是根据本发明实施例的基于深度度量学习的多模态电力数据管理装置的结构框图;
图3是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
根据本发明实施例,提供了一种基于深度度量学习的多模态电力数据管理方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种基于深度度量学习的多模态电力数据管理方法,可用于上述的移动终端,如手机、平板电脑等,图1是根据本发明实施例的基于深度度量学习的多模态电力数据管理方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,获取多模态电力数据库。
在本发明实施例中,通过多模态电力数据管理模块,获得多模态电力数据库。其中,多模态电力数据管理模块用于处理电力数据的多种模态的管理模块,包括:数据采集、存储、处理和检索功能等,仅以此举例,不以此为限,在实际应用中根据实际情况选取相应的功能。多模态电力数据库是集成多种电力数据类型和来源的数据库,包括来自传感器、监测设备、网络、用户输入等多种数据,这些数据是时间序列数据、图片、文本等不同模态的数据,仅以此举例,不以此为限,在实际应用中根据实际情况选取相应的数据。
在一具体实施例中,通过计算机网络或本地连接,连接到多模态电力数据管理模块。通过网络请求、数据下载、本地存储等方式,获取多模态电力数据库的访问权限,然后通过访问权限获取多模态电力数据库,获取所需的电力数据。
在本发明实施例中,在获取多模态电力数据库步骤之后,还包括:获取多维清洗约束数据,其中,多维清洗约束数据包括数据格式统一、缺失数据填补、重复数据删除和异常数据修正;根据多维清洗约束数据对多模态电力数据库进行数据清洗,获得标准电力数据库;根据标准电力数据库对多模态电力数据库进行覆盖更新。
在一具体实施例中,在获得多模态电力数据库之后,由于获取的多模态电力数据库可能存在各种数据质量问题,为确保数据的准确性和可用性,首先,获取多维清洗约束,约束数据格式统一、缺失数据填补、重复数据删除和异常数据修正。其中,数据格式统一用于确保数据的格式一致性;缺失数据填补用于填充任何缺失的数据点;重复数据删除用于去除任何冗余的数据记录;异常数据修正用于修复任何异常或错误的数据。
利用获得的多维清洗约束来清洗原始的多模态电力数据库,包括对数据进行格式标准化,填补缺失数据,删除重复数据,以及修复异常数据,以将多模态电力数据库转化为经过处理的、质量更高的标准电力数据库。随后,将经过数据清洗处理后的标准电力数据库用于覆盖更新多模态电力数据库,即将清洗后的数据将替代原始数据或与原始数据合并,从而确保多模态电力数据库的数据质量和一致性,有助于提高后续分析和管理的准确性和可靠性。
步骤S102,获取预定电力数据模态属性集,其中,预定电力数据模态属性集包括N个预设电力数据模态属性,N为大于1的正整数。
在本发明实施例中,在获取多模态电力数据库后,获取根据管理需求提前设定的预定电力数据模态属性集,该预定电力数据模态属性集包含了N个事先定义好的电力数据模态属性,以描述电力数据的不同方面和特征,其中N为大于1的正整数。
在一具体实施例中,预定电力数据模态属性集包括数据时间模态、数据结构模态、数据主体模态、数据产生节点模态、数据表象模态等,仅以此举例,不以此为限,在实际应用中根据实际情况选取相应的属性。其中,数据时间模态表征电力数据的时间维度,包括日期、时间戳等,可用于分析数据的时序特性。数据结构模态表征数据的结构和类型,包括文本、图像、音频、视频等,有助于确定数据的媒体类型。数据主体模态表征数据所属的主体或来源,例如电力设备、电网、电力用户等,用于对数据的来源和所有者的进行识别。数据产生节点模态表征数据的生成或产生节点,包括电力生产、传输、分配和使用等各个节点,有助于了解数据的来源和传播路径。数据表象模态表征数据的内容或表象,即数据表示的是什么,如表示电压、电流、功率等电力参数。
通过预定电力数据模态属性集,明确定义数据属性,以更好地理解和分类电力数据,从而为深度学习和模型构建提供更多的信息,有助于提高电力数据管理和分析的效率和准确性。
步骤S103,基于N个预设电力数据模态属性对多模态电力数据库进行特征识别,获得多个数据模态特征。
在一具体实施例中,使用预定电力数据模态属性集中的N个预设电力数据模态属性,针对多模态电力数据库执行特征识别操作。首先,通过使用预设电力数据模态属性,选择性地在多模态电力数据库中提取与属性相关的数据。例如,对于数据时间模态,提取与时间戳相关的数据。然后,使用数据处理和分析技术,例如信号处理、图像处理、自然语言处理等,仅以此举例,不以此为限,在实际应用中根据实际情况选取相应的数据处理和分析技术。将原始模态电力数据转换成具有信息价值的特征,包括提取统计数据、频谱分析、文本摘要等,仅以此举例,不以此为限,在实际应用中根据实际情况选取相应的特征。重复基于每个预设电力数据模态属性对多模态电力数据库进行特征识别,得到多个数据模态特征,用于深度度量学习和构建电力数据多模态搜索模型,有助于提高对电力数据的理解和分析,从而支持数据管理。
步骤S104,基于多个数据模态特征进行深度度量学习,获得多个深度模态特征。
在本发明实施例中,基于多个数据模态特征进行深度度量学习,获得多个深度模态特征的步骤,包括:遍历多个数据模态特征进行两两相似性分析,获得多个模态相似度;获得预设模态相似度,预设模态相似度在此不作限制,根据实际情况进行相应的选取;基于预设模态相似度,根据多个模态相似度分别对多个数据模态特征进行筛选,生成多个深度模态特征。
在本发明实施例中,基于预设模态相似度,根据多个模态相似度分别对多个数据模态特征进行筛选,生成多个深度模态特征,包括:基于多个模态相似度,获得第一模态相似度;根据多个数据模态特征,匹配第一模态相似度对应的第一模态特征组合;判断第一模态相似度是否小于预设模态相似度;当第一模态相似度小于预设模态相似度,生成第一组合独立指令,并根据第一组合独立指令对第一模态特征组合进行独立处理,将第一独立处理结果添加至多个深度模态特征。当第一模态相似度大于等于预设模态相似度,生成第一组合融合指令,并根据第一组合融合指令对第一模态特征组合进行融合处理,将第一融合处理结果添加至多个深度模态特征。
在一种具体实施例中,获取多个数据模态特征后,首先,使用如余弦相似性、欧氏距离等相似性度量方法对已提取的多个数据模态特征进行两两相似性分析,以比较这些特征之间的相似性程度,确定它们在不同方面的相似性,从而得到多个模态相似度。然后,基于业务需求事先定义好预设模态相似度,作为描述多模态数据特征之间的相似性的划分标准。
使用预设模态相似度筛选多个数据模态特征,对于每对特征,比较它们的相似性与预设模态相似度的关系,以实现对多个数据模态特征进行筛选,生成多个深度模态特征。具体的,首先,遍历多个模态相似度,每次提取一个模态相似度,作为第一模态相似度;其次,将第一模态相似度与多个数据模态特征进行匹配,以获得与该相似度对应的多个数据模态特征中的两个数据模态特征,得到第一模态特征组合;然后,判断第一模态相似度是否小于预设模态相似度,即是否满足事先定义的相似性标准;如果第一模态相似度小于预设模态相似度,则生成第一组合独立指令,该独立指令将指示系统对第一模态特征组合进行独立处理;接收到第一组合独立指令后,将第一模态特征组合内的两个数据模态特征分别作为两个深度模态特征输出,并将这两个深度模态特征到多个深度模态特征中;如果第一模态相似度大于或等于预设模态相似度,则生成第一组合融合指令,该融合指令将指示系统对第一模态特征组合进行融合处理,即对第一模态特征组合内的两个数据模态特征进行随机删除,保留一个数据模态特征,并将保留的数据模态特征作为深度模态特征输出,并将深度模态特征添加到多个深度模态特征中。
通过根据模态相似性和预设模态相似度处理多个数据模态特征,以生成多个深度模态特征,有助于提高数据的表征和准确性,并为后续的深度学习任务提供更有信息价值的特征,从而支持数据管理和分析。
步骤S105,基于N个预设电力数据模态属性,根据多个深度模态特征进行深度学习,构建电力数据多模态搜索模型,其中,电力数据多模态搜索模型包括N个模态属性搜索通道。
在本发明实施例中,基于N个预设电力数据模态属性,获得第n预设电力数据模态属性,且,n为正整数,n属于N。基于多个深度模态特征,采集预设数据量的样本多模态电力数据集。基于第n预设电力数据模态属性对样本多模态电力数据集进行电力数据模态搜索记录回溯,获得样本数据模态搜索记录和样本数据模态属性匹配度记录。基于样本数据模态搜索记录和样本数据模态属性匹配度记录对全连接神经网络进行有监督训练,生成第n模态属性搜索通道。基于样本数据模态搜索记录对全连接神经网络进行训练,获得样本预测模态属性匹配度记录。基于样本预测模态属性匹配度记录,根据样本数据模态属性匹配度记录,计算训练收敛度。若训练收敛度满足预设训练收敛约束,生成第n预设电力数据模态属性对应的第n模态属性搜索通道,并将第n模态属性搜索通道添加至电力数据多模态搜索模型。
在一具体实施例中,获取多个深度模态特征后,基于N个预设电力数据模态属性,根据多个深度模态特征进行深度学习,构建电力数据多模态搜索模型,用于电力数据的多模态搜索和属性匹配。首先,遍历N个预设电力数据模态属性,选择特定的预设电力数据模态属性,标为第n预设电力数据模态属性,代表电力数据的某个模态属性,如数据时间模态、数据结构模态、数据主体模态、数据产生节点模态、数据表象模态。其次,明确定义采样策略,包括采样的数量,即预设数据量,以及采样的时间间隔;根据定义的采样策略,从多模态电力数据库中选取符合条件的数据样本,这些数据样本包含多个深度模态特征,以确保多模态数据的全面性,得到满足预设数据量的样本多模态电力数据集。
然后,针对第n预设电力数据模态属性,遍历样本多模态电力数据集中的每个数据样本,以便对每个样本进行模态搜索;对于每个数据样本,回溯并记录与第n预设模态属性相关的模态信息,包括访问数据的元数据或特定字段,以确定与模态属性相关的模态信息,实现电力数据模态搜索记录回溯;将获得的模态信息记录下来,以创建样本数据模态搜索记录,包括时间戳、数据类型、数据来源、数据主体等属性,这些属性与第n预设电力数据模态属性相关;对于每个样本,评估第n预设电力数据模态属性与获得的模态信息之间的匹配度,得到样本数据模态属性匹配度记录,较高的匹配度表示第n模态属性与数据样本的模态信息更相符。
随后,对样本数据模态搜索记录进行划分,获取样本数据模态搜索记录的训练集和测试集;使用样本数据模态搜索记录的训练集和样本数据模态属性匹配度记录进行有监督训练,即训练全连接神经网络,以学习如何根据数据模态搜索记录来匹配电力数据模态属性,从而生成第n模态属性搜索通道。接着,将样本数据模态搜索记录的测试集对全连接神经网络进行测试训练,生成了样本预测模态属性匹配度记录。之后,根据样本模态属性匹配度记录和,得到样本预测模态属性匹配度记录的输出准确率与输出误差率,计算输出准确率与输出误差率的比值,作为训练收敛度。
如果训练收敛度满足了根据预测要求设定的预设训练收敛约束,即训练收敛度大于或等于预设训练收敛约束,说明第n模态属性搜索通道已经达到了预期的性能水平,则将生成的第n预设电力数据模态属性对应的第n模态属性搜索通道电力数据多模态搜索模型中。
在本发明实施例中,还包括:基于第n预设电力数据模态属性对多模态电力数据库进行电力数据模态搜索记录回溯,获得电力数据模态搜索记录和电力数据模态属性匹配度记录。基于电力数据模态搜索记录和电力数据模态属性匹配度记录对第n模态属性搜索通道进行增量学习。
在一具体实施例中,生成第n模态属性搜索通道后,首先,针对第n预设电力数据模态属性,执行电力数据模态搜索记录回溯,即回溯多模态电力数据库,查找与该属性相关的电力数据记录。同时,记录下电力数据模态搜索记录,包括时间戳、数据类型、数据来源等模态信息,仅以此举例,不以此为限,在实际应用中根据实际情况进行相应的记录。此外,计算每个记录与第n预设电力数据模态属性的匹配度,生成电力数据模态属性匹配度记录。
然后,使用获得的电力数据模态搜索记录和电力数据模态属性匹配度记录进行第n模态属性搜索通道的增量学习,即使第n模态属性搜索通道继续学习如何更好地匹配电力数据模态属性,以更准确地进行多模态电力数据的搜索和匹配。例如调整模型参数、扩展模型、优化匹配算法等。
通过对第n模态属性搜索通道进行增量学习,不断改进和优化第n模态属性搜索通道,以使其更适应多模态电力数据的搜索需求,有助于确保电力数据多模态搜索模型能够适应不断变化的数据和模态属性要求。
步骤S106,根据电力数据多模态搜索模型对多模态电力数据库进行数据管理。
在本发明实施例中,根据电力数据多模态搜索模型对多模态电力数据库进行数据管理,包括:根据多个数据模态特征对多模态电力数据库进行标识,生成多模态电力数据标识库;获取多模态搜索需求,并根据N个预设电力数据模态属性对多模态搜索需求进行特征识别,获得N个模态属性特征需求;基于N个模态属性特征需求,利用电力数据多模态搜索模型对多模态电力数据标识库进行数据搜索。
在一具体实施例中,构建好电力数据多模态搜索模型后,首先,使用多个数据模态特征,对多模态电力数据库进行标识,标识多模态电力数据库中每个数据的多个数据模态特征,以便后续的数据管理和搜索。其次,根据用户提出的搜索请求或其他数据分析需求,确定多模态搜索需求,基于N个预设电力数据模态属性,将这些搜索需求进行特征识别,以获得与需求相关的模态属性特征需求,获得N个模态属性特征需求,以帮助确定搜索的目标和范围,更好地满足用户的需求。
随后,使用电力数据多模态搜索模型,根据N个模态属性特征需求,对多模态电力数据标识库进行数据搜索,筛选和检索符合特定模态属性特征需求的数据样本,搜索结果将满足多模态搜索需求,以支持数据分析、决策或其他应用,提高多模态电力数据库的搜索能力和数据管理效率。
本实施例提供的基于深度度量学习的多模态电力数据管理方法,连接多模态电力数据管理模块,获得多模态电力数据库,得到多源异构原始数据。获得预定电力数据模态属性集,其中,预定电力数据模态属性集包括N个预设电力数据模态属性,且,N为大于1的正整数,定义数据属性,为特征学习奠定基础。基于N个预设电力数据模态属性对多模态电力数据库进行特征识别,获得多个数据模态特征,通过模态属性学习获取初始的模态特征表达。基于多个数据模态特征进行深度度量学习,获得多个深度模态特征,学习数据内在结构,获得深层的语义特征表达。基于N个预设电力数据模态属性,根据多个深度模态特征进行深度学习,构建电力数据多模态搜索模型,其中,电力数据多模态搜索模型包括N个模态属性搜索通道,基于统一的深层特征表示实现可扩展的多模态模型的构建。根据电力数据多模态搜索模型对多模态电力数据库进行数据管理,从而提高电力数据的多模态搜索能力,以及多模态相似匹配准确性。
在本实施例中还提供了一种基于深度度量学习的多模态电力数据管理系统,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种基于深度度量学习的多模态电力数据管理系统,如图2所示,包括:
电力数据库获取模块201,用于获取多模态电力数据库;
模态属性集获取模块202,用于获取预定电力数据模态属性集,其中,预定电力数据模态属性集包括N个预设电力数据模态属性,N为大于1的正整数;
数据库特征识别模块203,用于基于N个预设电力数据模态属性对多模态电力数据库进行特征识别,获得多个数据模态特征;
深度度量学习模块204,用于基于多个数据模态特征进行深度度量学习,获得多个深度模态特征;
搜索模型构建模块205,用于基于N个预设电力数据模态属性,根据多个深度模态特征进行深度学习,构建电力数据多模态搜索模型,其中,电力数据多模态搜索模型包括N个模态属性搜索通道;
数据管理模块206,用于根据电力数据多模态搜索模型对多模态电力数据库进行数据管理。
在一些可选的实施方式中,电力数据库获取模块201,还包括:
约束单元,用于获取多维清洗约束数据,其中,多维清洗约束数据包括数据格式统一、缺失数据填补、重复数据删除和异常数据修正;
第一获取单元,用于根据多维清洗约束数据对多模态电力数据库进行数据清洗,获得标准电力数据库;
第二获取单元,用于根据标准电力数据库对多模态电力数据库进行覆盖更新。
在一些可选的实施方式中,在模态属性集获取模块202中,预定电力数据模态属性集包括:数据时间模态、数据结构模态、数据主体模态、数据产生节点模态、数据表象模态,其中,
数据时间模态表征电力数据的时间维度,用于分析数据的时序特性;
数据结构模态表征数据的结构和类型,用于确定数据的媒体类型;
数据主体模态表征数据所属的主体或来源,用于对数据的来源和所有者的进行识别;
数据产生节点模态表征数据的生成或产生节点,用于识别数据的来源和传播路径;
数据表象模态表征数据的内容或表象。
在一些可选的实施方式中,深度度量学习模块204,包括:
第三获取单元,用于遍历多个数据模态特征进行两两相似性分析,获得多个模态相似度;
第四获取单元,用于获得预设模态相似度;
筛选单元,用于基于预设模态相似度,根据多个模态相似度分别对多个数据模态特征进行筛选,生成多个深度模态特征。
在一些可选的实施方式中,筛选单元,包括:
相似度获取子单元,用于基于多个模态相似度,获得第一模态相似度;
匹配子单元,用于根据多个数据模态特征,匹配第一模态相似度对应的第一模态特征组合;
判断子单元,用于判断第一模态相似度是否小于预设模态相似度;
第一处理子单元,用于当第一模态相似度小于预设模态相似度,生成第一组合独立指令,并根据第一组合独立指令对第一模态特征组合进行独立处理,将第一独立处理结果添加至多个深度模态特征。
在一些可选的实施方式中,第二处理子单元,用于当第一模态相似度大于等于预设模态相似度,生成第一组合融合指令,并根据第一组合融合指令对第一模态特征组合进行融合处理,将第一融合处理结果添加至多个深度模态特征。
在一些可选的实施方式中,搜索模型构建模块205,包括:
第五获取单元,用于基于N个预设电力数据模态属性,获得第n预设电力数据模态属性,且,n为正整数,n属于N;
采集单元,用于基于多个深度模态特征,采集预设数据量的样本多模态电力数据集;
第六获取单元,用于基于第n预设电力数据模态属性对样本多模态电力数据集进行电力数据模态搜索记录回溯,获得样本数据模态搜索记录和样本数据模态属性匹配度记录;
搜索通道生成单元,用于基于样本数据模态搜索记录和样本数据模态属性匹配度记录对全连接神经网络进行有监督训练,生成第n模态属性搜索通道;
第七获取单元,用于基于样本数据模态搜索记录对全连接神经网络进行训练,获得样本预测模态属性匹配度记录;
第一计算单元,用于基于样本预测模态属性匹配度记录,根据样本数据模态属性匹配度记录,计算训练收敛度;
添加单元,用于若训练收敛度满足预设训练收敛约束,生成第n预设电力数据模态属性对应的第n模态属性搜索通道,并将第n模态属性搜索通道添加至电力数据多模态搜索模型。
在一些可选的实施方式中,搜索模型构建模块205,还包括:
第八获取单元,用于基于第n预设电力数据模态属性对多模态电力数据库进行电力数据模态搜索记录回溯,获得电力数据模态搜索记录和电力数据模态属性匹配度记录;
学习单元,用于基于电力数据模态搜索记录和电力数据模态属性匹配度记录对第n模态属性搜索通道进行增量学习。
在一些可选的实施方式中,数据管理模块206,包括:
多模态电力数据标识库生成单元,用于根据多个数据模态特征对多模态电力数据库进行标识,生成多模态电力数据标识库;
模态属性特征需求获取单元,用于获取多模态搜索需求,并根据N个预设电力数据模态属性对多模态搜索需求进行特征识别,获得N个模态属性特征需求;
搜索单元,用于基于N个模态属性特征需求,利用电力数据多模态搜索模型对多模态电力数据标识库进行数据搜索。
本实施例中的基于深度度量学习的多模态电力数据管理系统是以功能单元的形式来呈现,这里的单元是指ASIC(Application Specific Integrated Circuit,专用集成电路)电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备,具有上述图3所示的基于深度度量学习的多模态电力数据管理系统。
请参阅图3,图3是本发明可选实施例提供的一种计算机设备的结构示意图,如图3所示,该计算机设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个计算机设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图3中以一个处理器10为例。
处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。
其中,存储器20存储有可由至少一个处理器10执行的指令,以使至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30,用于该计算机设备与其他设备或通信网络通信。
本发明实施例还提供了一种计算机可读存储介质,上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (20)
1.一种基于深度度量学习的多模态电力数据管理方法,其特征在于,所述方法包括:
获取多模态电力数据库;
获取预定电力数据模态属性集,其中,预定电力数据模态属性集包括N个预设电力数据模态属性,N为大于1的正整数;
基于N个预设电力数据模态属性对多模态电力数据库进行特征识别,获得多个数据模态特征;
基于多个数据模态特征进行深度度量学习,获得多个深度模态特征;
基于N个预设电力数据模态属性,根据多个深度模态特征进行深度学习,构建电力数据多模态搜索模型,其中,电力数据多模态搜索模型包括N个模态属性搜索通道;
根据电力数据多模态搜索模型对多模态电力数据库进行数据管理。
2.根据权利要求1所述的方法,其特征在于,在获取多模态电力数据库步骤之后,还包括:
获取多维清洗约束数据,其中,所述多维清洗约束数据包括数据格式统一、缺失数据填补、重复数据删除和异常数据修正;
根据所述多维清洗约束数据对所述多模态电力数据库进行数据清洗,获得标准电力数据库;
根据所述标准电力数据库对所述多模态电力数据库进行覆盖更新。
3.根据权利要求1所述的方法,其特征在于,预定电力数据模态属性集包括:数据时间模态、数据结构模态、数据主体模态、数据产生节点模态、数据表象模态,其中,
数据时间模态表征电力数据的时间维度,用于分析数据的时序特性;
数据结构模态表征数据的结构和类型,用于确定数据的媒体类型;
数据主体模态表征数据所属的主体或来源,用于对数据的来源和所有者的进行识别;
数据产生节点模态表征数据的生成或产生节点,用于识别数据的来源和传播路径;
数据表象模态表征数据的内容或表象。
4.根据权利要求1所述的方法,其特征在于,基于多个数据模态特征进行深度度量学习,获得多个深度模态特征的步骤,包括:
遍历所述多个数据模态特征进行两两相似性分析,获得多个模态相似度;
获得预设模态相似度;
基于所述预设模态相似度,根据所述多个模态相似度分别对所述多个数据模态特征进行筛选,生成所述多个深度模态特征。
5.根据权利要求4所述的方法,其特征在于,基于所述预设模态相似度,根据所述多个模态相似度分别对所述多个数据模态特征进行筛选,生成所述多个深度模态特征,包括:
基于所述多个模态相似度,获得第一模态相似度;
根据所述多个数据模态特征,匹配所述第一模态相似度对应的第一模态特征组合;
判断所述第一模态相似度是否小于所述预设模态相似度;
当所述第一模态相似度小于所述预设模态相似度,生成第一组合独立指令,并根据所述第一组合独立指令对所述第一模态特征组合进行独立处理,将第一独立处理结果添加至所述多个深度模态特征。
6.根据权利要求5所述的方法,其特征在于,当所述第一模态相似度大于等于所述预设模态相似度,生成第一组合融合指令,并根据所述第一组合融合指令对所述第一模态特征组合进行融合处理,将第一融合处理结果添加至所述多个深度模态特征。
7.根据权利要求1所述的方法,其特征在于,基于N个预设电力数据模态属性,根据多个深度模态特征进行深度学习,构建电力数据多模态搜索模型,其中,电力数据多模态搜索模型包括N个模态属性搜索通道,包括:
基于N个预设电力数据模态属性,获得第n预设电力数据模态属性,且,n为正整数,n属于N;
基于所述多个深度模态特征,采集预设数据量的样本多模态电力数据集;
基于所述第n预设电力数据模态属性对所述样本多模态电力数据集进行电力数据模态搜索记录回溯,获得样本数据模态搜索记录和样本数据模态属性匹配度记录;
基于所述样本数据模态搜索记录和样本数据模态属性匹配度记录对全连接神经网络进行有监督训练,生成第n模态属性搜索通道;
基于所述样本数据模态搜索记录对全连接神经网络进行训练,获得样本预测模态属性匹配度记录;
基于所述样本预测模态属性匹配度记录,根据所述样本数据模态属性匹配度记录,计算训练收敛度;
若所述训练收敛度满足预设训练收敛约束,生成所述第n预设电力数据模态属性对应的第n模态属性搜索通道,并将所述第n模态属性搜索通道添加至所述电力数据多模态搜索模型。
8.根据权利要求7所述的方法,其特征在于,还包括:
基于所述第n预设电力数据模态属性对所述多模态电力数据库进行电力数据模态搜索记录回溯,获得电力数据模态搜索记录和电力数据模态属性匹配度记录;
基于所述电力数据模态搜索记录和所述电力数据模态属性匹配度记录对所述第n模态属性搜索通道进行增量学习。
9.根据权利要求1所述的方法,其特征在于,根据电力数据多模态搜索模型对多模态电力数据库进行数据管理,包括:
根据所述多个数据模态特征对所述多模态电力数据库进行标识,生成多模态电力数据标识库;
获取多模态搜索需求,并根据所述N个预设电力数据模态属性对多模态搜索需求进行特征识别,获得N个模态属性特征需求;
基于所述N个模态属性特征需求,利用所述电力数据多模态搜索模型对所述多模态电力数据标识库进行数据搜索。
10.一种基于深度度量学习的多模态电力数据管理系统,其特征在于,所述系统包括:
电力数据库获取模块,用于获取多模态电力数据库;
模态属性集获取模块,用于获取预定电力数据模态属性集,其中,预定电力数据模态属性集包括N个预设电力数据模态属性,N为大于1的正整数;
数据库特征识别模块,用于基于N个预设电力数据模态属性对多模态电力数据库进行特征识别,获得多个数据模态特征;
深度度量学习模块,用于基于多个数据模态特征进行深度度量学习,获得多个深度模态特征;
搜索模型构建模块,用于基于N个预设电力数据模态属性,根据多个深度模态特征进行深度学习,构建电力数据多模态搜索模型,其中,电力数据多模态搜索模型包括N个模态属性搜索通道;
数据管理模块,用于根据电力数据多模态搜索模型对多模态电力数据库进行数据管理。
11.根据权利要求10所述的系统,其特征在于,电力数据库获取模块,还包括:
约束单元,用于获取多维清洗约束数据,其中,所述多维清洗约束数据包括数据格式统一、缺失数据填补、重复数据删除和异常数据修正;
第一获取单元,用于根据所述多维清洗约束数据对所述多模态电力数据库进行数据清洗,获得标准电力数据库;
第二获取单元,用于根据所述标准电力数据库对所述多模态电力数据库进行覆盖更新。
12.根据权利要求10所述的系统,其特征在于,在模态属性集获取模块中,预定电力数据模态属性集包括:数据时间模态、数据结构模态、数据主体模态、数据产生节点模态、数据表象模态,其中,
数据时间模态表征电力数据的时间维度,用于分析数据的时序特性;
数据结构模态表征数据的结构和类型,用于确定数据的媒体类型;
数据主体模态表征数据所属的主体或来源,用于对数据的来源和所有者的进行识别;
数据产生节点模态表征数据的生成或产生节点,用于识别数据的来源和传播路径;
数据表象模态表征数据的内容或表象。
13.根据权利要求10所述的系统,其特征在于,深度度量学习模块,包括:
第三获取单元,用于遍历所述多个数据模态特征进行两两相似性分析,获得多个模态相似度;
第四获取单元,用于获得预设模态相似度;
筛选单元,用于基于所述预设模态相似度,根据所述多个模态相似度分别对所述多个数据模态特征进行筛选,生成所述多个深度模态特征。
14.根据权利要求13所述的系统,其特征在于,筛选单元,包括:
相似度获取子单元,用于基于所述多个模态相似度,获得第一模态相似度;
匹配子单元,用于根据所述多个数据模态特征,匹配所述第一模态相似度对应的第一模态特征组合;
判断子单元,用于判断所述第一模态相似度是否小于所述预设模态相似度;
第一处理子单元,用于当所述第一模态相似度小于所述预设模态相似度,生成第一组合独立指令,并根据所述第一组合独立指令对所述第一模态特征组合进行独立处理,将第一独立处理结果添加至所述多个深度模态特征。
15.根据权利要求14所述的系统,其特征在于,第二处理子单元,用于当所述第一模态相似度大于等于所述预设模态相似度,生成第一组合融合指令,并根据所述第一组合融合指令对所述第一模态特征组合进行融合处理,将第一融合处理结果添加至所述多个深度模态特征。
16.根据权利要求10所述的系统,其特征在于,搜索模型构建模块,包括:
第五获取单元,用于基于N个预设电力数据模态属性,获得第n预设电力数据模态属性,且,n为正整数,n属于N;
采集单元,用于基于所述多个深度模态特征,采集预设数据量的样本多模态电力数据集;
第六获取单元,用于基于所述第n预设电力数据模态属性对所述样本多模态电力数据集进行电力数据模态搜索记录回溯,获得样本数据模态搜索记录和样本数据模态属性匹配度记录;
搜索通道生成单元,用于基于所述样本数据模态搜索记录和样本数据模态属性匹配度记录对全连接神经网络进行有监督训练,生成第n模态属性搜索通道;
第七获取单元,用于基于所述样本数据模态搜索记录对全连接神经网络进行训练,获得样本预测模态属性匹配度记录;
第一计算单元,用于基于所述样本预测模态属性匹配度记录,根据所述样本数据模态属性匹配度记录,计算训练收敛度;
添加单元,用于若所述训练收敛度满足预设训练收敛约束,生成所述第n预设电力数据模态属性对应的第n模态属性搜索通道,并将所述第n模态属性搜索通道添加至所述电力数据多模态搜索模型。
17.根据权利要求16所述的系统,其特征在于,搜索模型构建模块,还包括:
第八获取单元,用于基于所述第n预设电力数据模态属性对所述多模态电力数据库进行电力数据模态搜索记录回溯,获得电力数据模态搜索记录和电力数据模态属性匹配度记录;
学习单元,用于基于所述电力数据模态搜索记录和所述电力数据模态属性匹配度记录对所述第n模态属性搜索通道进行增量学习。
18.根据权利要求10所述的系统,其特征在于,数据管理模块,包括:
多模态电力数据标识库生成单元,用于根据所述多个数据模态特征对所述多模态电力数据库进行标识,生成多模态电力数据标识库;
模态属性特征需求获取单元,用于获取多模态搜索需求,并根据所述N个预设电力数据模态属性对多模态搜索需求进行特征识别,获得N个模态属性特征需求;
搜索单元,用于基于所述N个模态属性特征需求,利用所述电力数据多模态搜索模型对所述多模态电力数据标识库进行数据搜索。
19.一种计算机设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1至9中任一项所述的基于深度度量学习的多模态电力数据管理方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至9中任一项所述的基于深度度量学习的多模态电力数据管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311774783.4A CN117609278A (zh) | 2023-12-21 | 2023-12-21 | 基于深度度量学习的多模态电力数据管理方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311774783.4A CN117609278A (zh) | 2023-12-21 | 2023-12-21 | 基于深度度量学习的多模态电力数据管理方法与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117609278A true CN117609278A (zh) | 2024-02-27 |
Family
ID=89950002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311774783.4A Pending CN117609278A (zh) | 2023-12-21 | 2023-12-21 | 基于深度度量学习的多模态电力数据管理方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117609278A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118014051A (zh) * | 2024-04-08 | 2024-05-10 | 传申弘安智能(深圳)有限公司 | 多模态大模型增量学习方法、装置及计算机设备 |
-
2023
- 2023-12-21 CN CN202311774783.4A patent/CN117609278A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118014051A (zh) * | 2024-04-08 | 2024-05-10 | 传申弘安智能(深圳)有限公司 | 多模态大模型增量学习方法、装置及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147411B (zh) | 数据同步方法、装置、计算机设备及存储介质 | |
US8412735B2 (en) | Data quality enhancement for smart grid applications | |
CN117056867B (zh) | 一种可用于数字孪生的多源异构数据融合方法及系统 | |
CN113760891B (zh) | 一种数据表的生成方法、装置、设备和存储介质 | |
CN117609278A (zh) | 基于深度度量学习的多模态电力数据管理方法与系统 | |
CN106708965A (zh) | 一种数据的处理方法和装置 | |
WO2020140624A1 (zh) | 从日志中提取数据的方法和相关设备 | |
CN113779261B (zh) | 知识图谱的质量评价方法、装置、计算机设备及存储介质 | |
CN116383193A (zh) | 一种数据管理方法、装置、电子设备和存储介质 | |
CN118152983A (zh) | 一种多维数据的融合方法及系统 | |
CN114238085A (zh) | 接口测试方法、装置、计算机设备、存储介质 | |
CN114117239A (zh) | 一种房源推送方法、装置和设备 | |
CN116680445B (zh) | 基于知识图谱的电力光通信系统多源异构数据融合方法及系统 | |
CN116225848A (zh) | 日志监测方法、装置、设备和介质 | |
WO2016200413A1 (en) | Application session analysis and recommendation system | |
CN113919446A (zh) | 多媒体资源的模型训练及相似度确定方法和装置 | |
CN113641659B (zh) | 医疗特征数据库构建方法、装置、设备及存储介质 | |
CN115630170B (zh) | 一种文档推荐方法、系统、终端机及存储介质 | |
CN113127558B (zh) | 元数据同步方法、系统、设备及存储介质 | |
US20230385181A1 (en) | Re-usable web-objects for use with automation tools | |
CN116467162A (zh) | 分布式数据库索引推荐的模拟环境搭建方法及系统 | |
CN112115124A (zh) | 一种数据影响度分析方法、装置、电子设备及存储介质 | |
CN117171251A (zh) | 数据集成方法、介质、装置和计算设备 | |
CN117688124A (zh) | 数据查询索引创建方法、装置、存储介质及电子设备 | |
CN117033347A (zh) | 一种基于专利数据的数仓建模方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |