CN115576998B - 一种基于多维信息融合的配电网数据整合方法及系统 - Google Patents
一种基于多维信息融合的配电网数据整合方法及系统 Download PDFInfo
- Publication number
- CN115576998B CN115576998B CN202211574465.9A CN202211574465A CN115576998B CN 115576998 B CN115576998 B CN 115576998B CN 202211574465 A CN202211574465 A CN 202211574465A CN 115576998 B CN115576998 B CN 115576998B
- Authority
- CN
- China
- Prior art keywords
- data
- attribute information
- processing module
- numerical
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000004927 fusion Effects 0.000 title claims abstract description 57
- 238000009826 distribution Methods 0.000 title claims abstract description 41
- 230000010354 integration Effects 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 98
- 238000003860 storage Methods 0.000 claims description 37
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
- G06F16/24556—Aggregation; Duplicate elimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Water Supply & Treatment (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多维信息融合的配电网数据整合方法及系统，属于数据处理领域，通过预设中枢处理模块以及若干分布式处理模块，以分担部分计算量，提高整体的运行效率，同时通过多维信息融合，将不同类型的数据一同处理，突出数值特征，利用数值匹配的方式，建立数值联系，利用数据之间的数值联系，将部分数据虚化，进而使得虚化数据不占用存储空间，在需要读取时通过数值联系重新计算来还原，因此本发明通过数据融合处理，可以节省大量的存储空间，减轻配电网中海量数据的存储压力，相比传统的直接存储的方式，可以节省大约三分之一至四分之一的存储空间，具有较高的应用价值。
Description
技术领域
本发明涉及数据处理领域，特别涉及一种基于多维信息融合的配电网数据整合方法及系统。
背景技术
目前，电网在各个环节的信息集成方面开展了大量标准制定、工程实践和互操作研究工作，随着配电领域业务的扩展，需要实现配电相关系统的信息集成，这就有了海量的数据处理需求。
目前国内研究主要集中在配电网应用领域中电网信息模型构建。电力行业存在的信息较为复杂并且多样，在实际运行业务中，数据融合必不可少。公布号为CN113887851A的专利文献，公开了一种面向营配信息融合的方法和系统，该文献通过计量点模型数据将配电侧电网设备模型数据与营销侧电能表模型数据和用户模型数据进行融合，实现了营配侧的数据融合；公布号为CN104240139A的专利文献，公开了一种基于三维GIS的多业务系统信息融合电网综合可视化方法，该文献在综合梳理分析智能电网各环节业务流程和数据模型的基础上，利用配电自动化主站镜像同步数据库服务器，获取生产控制系统和管理信息系统中相关运行和管理信息，帮助生产运行和管理人员更加全面、直观、有效地掌握电网实时运行态势，进而实现对公司运行管理决策的智能辅助支撑。
但是，海量数据融合需求带来的存储压力不可忽视，而现有技术在数据融合或整合的过程中，更注重根据数据类型进行融合，不同类型的数据之间难以形成联系，因此只利用了数据所表达的含义价值而忽略了数据本身的数值价值，难以压缩数据量。而事实上，由于电网的数据量非常之大，数据之间除了表达含义有联系之外，数值本身也可能存在联系，因此，如何在数据融合或整合的过程中，借助数据中的数值特征来减轻硬件的存储压力，是目前难以解决的问题。
发明内容
针对现有技术在数据融合时无法借助数据的数值特征来减轻存储压力的问题，本发明提供了一种基于多维信息融合的配电网数据整合方法及系统，通过多维信息融合，将不同类型的数据一同处理，突出数值特征，利用数据之间的数值联系，将部分数据虚化，进而使得虚化数据不占用存储空间，在需要读取时通过数值联系重新计算来还原，因此本发明通过数据融合处理，可以节省大量的存储空间，减轻配电网中海量数据的存储压力。
以下是本发明的技术方案。
一种基于多维信息融合的配电网数据整合方法，预设中枢处理模块以及若干分布式处理模块，方法包括以下步骤：
S1：建立中枢处理模块与若干分布式处理模块的网络连接；
S2：中枢处理模块根据需求生成数据请求，并将数据请求发送至分布式处理模块；
S3：分布式处理模块接收到数据请求后，将采集到的符合数据请求的配电网数据进行多维信息一级融合，将重复数据合并，得到一级融合数据及对应的属性信息并发送至中枢处理模块；
S4：中枢处理模块将不同分布式处理模块发来的一级融合数据进行二级整合，得到二级整合数据及对应的属性信息，并对二级整合数据进行数值匹配，得到无数值联系的独立数据，以及存在数值联系的匹配组，删除匹配组中的一项成员数据并由匹配组继承属性信息，删除的成员数据作为虚化数据，所述虚化数据能够由同组其他成员数据计算得到；
S5：中枢处理模块需要读取数据时，根据筛选条件对属性信息进行查找得到目标属性信息，如目标属性信息对应的是独立数据或成员数据则直接读取，如目标属性信息对应的是匹配组，则将该匹配组内的成员数据进行还原计算，还原出虚化数据，读取该虚化数据。
本发明预设中枢处理模块以及若干分布式处理模块，以分担部分计算量，提高整体的运行效率，同时利用数值匹配的方式，建立数值联系，通过删除虚化数据的方式节省存储空间，在需要时通过成员数据重新计算还原，相比传统的直接存储的方式，本发明可以节省大约三分之一至四分之一的存储空间。
作为优选，所述S3中，分布式处理模块接收到数据请求后，将采集到的符合数据请求的配电网数据进行多维信息一级融合，将重复数据合并，得到一级融合数据及对应的属性信息并发送至中枢处理模块，包括：
分布式处理模块接收到数据请求后，将采集到的符合数据请求的配电网数据进行分类，得到文本数据及数值数据，并关联各自的属性信息；
将文本数据及数值数据转化为二进制数并通过标记区分转化前的数据种类；
依次判断转化得到的二进制数，从重复的二进制数中选择一个进行保留，被删除的二进制数对应的标记和属性信息继承给保留的二进制数，得到一级融合数据。
本发明中，采集到的符合数据请求的配电网数据包含了多个栏目下的内容，这里将不同的栏目一起处理，根据数据的种类分为文本数据和数值数据，将文本数据和数值数据均转化为二进制数可以将不同的数据类型同化，便于对数据一同处理，转化过程以预设的编码标准为依据，通过字符与二进制数的对照进行转化，由于二进制是计算机处理的最底层的表达形式，因此可以提高处理效率，另外，不同的栏目下，一些数值数据（忽略其背后的含义）可能在数值上是相等的，本申请将这些视为重复的数据，本步骤中去重过程执行后保留的二进制数继承了与之重复的数据对应的标签和属性信息，因此去重可以节省一部分的存储空间，也减少了处理的信息量，提前分担了后续的计算量，提高后续的处理效率。
作为优选，所述S4中，中枢处理模块将不同分布式处理模块发来的一级融合数据进行二级整合，得到二级整合数据及对应的属性信息，包括：
中枢处理模块将不同分布式处理模块发来的一级融合数进行汇总，按升序或降序对一级融合数据进行排序，得到二级整合数据及对应的属性信息。
本发明中，排序过程用于为后续的数值匹配提供一个规整的数据源，可提高数值匹配的效率。
作为优选，所述S4中，对二级整合数据进行数值匹配，得到无数值联系的独立数据，以及存在数值联系的匹配组，删除匹配组中的一项成员数据并由匹配组继承属性信息，删除的成员数据作为虚化数据，所述虚化数据能够由同组其他成员数据计算得到，包括：
取二级整合数据中的最大值及最小值，并计算它们的差值，判断二级整合数据中是否包含与该差值相等的数据，如有，则认为存在数值联系，将最大值、最小值及差值对应的数据提取为一个匹配组，匹配组内的数据作为成员数据，将成员数据中的最大值删除，并由匹配组继承属性信息，删除的成员数据作为虚化数据；
对剩余的二级整合数据重复执行上述步骤，直至剩余的二级整合数据无法形成数值联系，将无数值联系的数据作为独立数据。
本发明中，如二级整合数据中的最大值为a，最小值为b，计算a-b=c，如恰好在二级整合数据中存在等于c的数据，则认为存在数值联系，组成匹配组后将a作为虚化数据删除，后续通过b+c即可还原得到a。对于不存在数值联系的数据，则作为独立数据存储，无法节省存储空间。
作为优选，所述S5中，中枢处理模块需要读取数据时，根据筛选条件对属性信息进行查找得到目标属性信息，如目标属性信息对应的是独立数据或成员数据则直接读取，如目标属性信息对应的是匹配组，则将该匹配组内的成员数据进行还原计算，还原出虚化数据，读取该虚化数据，包括：
中枢处理模块需要读取数据时，判断筛选条件中的关键信息，利用关键信息对属性信息进行查找，得到目标属性信息，如目标属性信息对应的是独立数据或成员数据则直接读取；如目标属性信息对应的是匹配组，则将该匹配组内的各成员数据的值相加，结果即为目标属性信息继承前对应的虚化数据，读取该虚化数据。
本发明中，由于独立数据及成员数据是直接存储于硬件载体，因此查找到目标后可直接读取，而虚化数据并不直接存储与硬件载体，因此在查找到目标后，需要通过同匹配组内的其他成员数据计算还原。
作为优选，所述S2中，中枢处理模块根据需求生成数据请求，并将数据请求发送至分布式处理模块，包括：
中枢处理模块调取预设的数据需求，解析数据需求中的数据类型、数量、属性，生成数据请求，并将数据请求发送至分布式处理模块。
本发明还提供一种基于多维信息融合的配电网数据整合系统，包括中枢处理模块以及若干分布式处理模块，所述中枢处理模块以及若干分布式处理模块用于执行上述的一种基于多维信息融合的配电网数据整合方法。
本发明还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述的一种基于多维信息融合的配电网数据整合方法的步骤。
本发明还提供一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现上述的一种基于多维信息融合的配电网数据整合方法的步骤。
本发明的实质性效果包括：
通过预设中枢处理模块以及若干分布式处理模块，以分担部分计算量，提高整体的运行效率，同时利用数值匹配的方式，建立数值联系，通过删除虚化数据的方式节省存储空间，在需要时通过成员数据重新计算还原，充分利用数据的数值特征，减少存储空间的占用；
并且，在一级融合过程中，将文本数据和数值数据均转化为二进制数可以将不同的数据类型同化，仅考虑二进制数的数值而不再区分原本数据的含义，由于二进制是计算机处理的最底层的表达形式，因此可以提高处理效率，同时去重过程可以节省一部分的存储空间，也减少了处理的信息量，提前分担了后续的计算量，提高后续的处理效率；
因此，本发明可以利用数值特征来节省大量的存储空间，减轻配电网中海量数据的存储压力，相比传统的直接存储的方式，可以节省大约三分之一至四分之一的存储空间，具有较高的应用价值。
附图说明
图1是本发明实施例的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例，对本技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
下面以具体的实施例对本发明的技术方案进行详细说明。实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
实施例：
一种基于多维信息融合的配电网数据整合系统，预设有中枢处理模块以及若干分布式处理模块，其中中枢处理模块为数据中心的服务器，分布式处理模块为配电网终端侧的边缘计算设备。
本实施例的一种基于多维信息融合的配电网数据整合方法基于上述系统实现，如图1所示，方法包括以下步骤：
S1：建立中枢处理模块与若干分布式处理模块的网络连接。
S2：中枢处理模块根据需求生成数据请求，并将数据请求发送至分布式处理模块，包括：
中枢处理模块调取预设的数据需求，解析数据需求中的数据类型、数量、属性，生成数据请求，并将数据请求发送至分布式处理模块。如数据需求中请求了某段110kv输电线的在t时间段内的实时电压，则栏目是电压数据，数量为一项，具体需求是某段110kv输电线、t时间段。
S3：分布式处理模块接收到数据请求后，将采集到的符合数据请求的配电网数据进行多维信息一级融合，将重复数据合并，得到一级融合数据及对应的属性信息并发送至中枢处理模块，包括：
分布式处理模块接收到数据请求后，将采集到的符合数据请求的配电网数据进行分类，得到文本信息文本数据及数值信息数值数据，并关联各自的属性信息；
将文本信息文本数据及数值信息数值数据转化为二进制数并通过标记区分信息转化前的数据种类；
依次判断转化得到的二进制数，将从重复的二进制数中选择一个进行保留，被删除的二进制数对应的标记和属性信息继承在给保留的二进制数的标记中，得到一级融合数据。
本实施例中，属性信息记载了与该数据相关的必要属性，如数据的栏目、来源、产生的时间等，其中文本数据可以是与配电网相关的文本，如某线路中某开关合闸，而数值数据可以是电压、电流、温度等各自配电网参数，将文本数据和数值数据均转化为二进制数可以将不同的数据类型同化，便于对数据一同处理，转化过程以预设的编码标准为依据，通过字符与二进制数的对照进行转化，如GB2312编码标准或GBK编码标准，数值数据的转化可直接换算得到，如某段文字中，将每个字符及标点转化为各自对应的编码，再将编码转化为二进制数。由于二进制是计算机处理的最底层的表达形式，因此可以提高处理效率。
另外，本步骤中去重过程可以节省一部分的存储空间，也减少了处理的信息量，提前分担了后续的计算量，提高后续的处理效率。
以具体过程为例，如采集到t时刻I号线路电压为110kv，II号线路电压也为110kv，其中的110（十进制）是数值数据，其余内容是该数值数据的属性信息，也就是t时刻、I号线路、电压、kv，以及t时刻、II号线路、电压、kv，本实施例在一级融合时判断出110（十进制）是重复数据，进行去重，因此得到的结果就是对应的二进制数0110 1110，以及标签 “数值数据”，属性信息“t时刻、I号线路电压、II号线路电压、单位kv”。在数据量较大时，这一方式可以节省出较多的存储空间。
S4：中枢处理模块将不同分布式处理模块发来的一级融合数据进行二级整合，得到二级整合数据及对应的属性信息，并对二级整合数据进行数值匹配，得到无数值联系的独立数据，以及存在数值联系的匹配组，删除匹配组中的一项成员数据并由匹配组继承属性信息，删除的成员数据作为虚化数据，所述虚化数据能够由同组其他成员数据计算得到，包括：
中枢处理模块将不同分布式处理模块发来的一级融合数进行汇总，按升序或降序对一级融合数据进行排序，得到二级整合数据及对应的属性信息。
取二级整合数据中的最大值及最小值，并计算它们的差值，判断二级整合数据中是否包含与该差值相等的数据，如有，则认为存在数值联系，将最大值、最小值及差值对应的数据提取为一个匹配组，匹配组内的数据作为成员数据，将成员数据中的最大值删除，并由匹配组继承属性信息，删除的成员数据作为虚化数据；
对剩余的二级整合数据重复执行上述步骤，直至剩余的二级整合数据无法形成数值联系，将无数值联系的数据作为独立数据。
本实施例中，排序过程用于为后续的数值匹配提供一个规整的数据源，可提高数值匹配的效率。数值匹配过程中，如二级整合数据中的最大值为a，最小值为b，计算a-b=c，如恰好在二级整合数据中存在等于c的数据，则认为存在数值联系，组成匹配组后将a作为虚化数据删除，后续通过b+c即可还原得到a。对于不存在数值联系的数据，则作为独立数据存储，无法节省存储空间。
S5：中枢处理模块需要读取数据时，根据筛选条件对属性信息进行查找得到目标属性信息，如目标属性信息对应的是独立数据或成员数据则直接读取，如目标属性信息对应的是匹配组，则将该匹配组内的成员数据进行还原计算，还原出虚化数据，读取该虚化数据，包括：
中枢处理模块需要读取数据时，判断筛选条件中的关键信息，利用关键信息对属性信息进行查找，得到目标属性信息，如目标属性信息对应的是独立数据或成员数据则直接读取；如目标属性信息对应的是匹配组，则将该匹配组内的各成员数据的值相加，结果即为目标属性信息继承前对应的虚化数据，读取该虚化数据。
例如，在先前的数值匹配过程中，某线路电压数据a为110，某线路电流数据b为70，某变压器温度c为40，转化为二进制数后，数值联系同样为a=b+c，a被作为虚化数据删除后，b和c以匹配组为单位进行保存，例如匹配组关联了原先a的标签“数值数据”和属性信息“t时刻、I号线路电压、II号线路电压、单位kv”，如果现在要查询t时刻II号线路的电压数据，则通过属性信息定位到了该匹配组，通过b+c可得二进制数0110 1110，并根据匹配组的标签可知该二进制数表示的是数值数据而不是文本数据，因此直接转化得到110（十进制），再结合匹配组的属性信息，可知t时刻II号线路电压为110kv。文本数据的还原过程同理，区别仅在于在标签为“文本数据”时，利用编码标准倒推还原字符和文本。
本实施例中，由于独立数据及成员数据是直接存储于硬件载体，因此查找到目标后可直接读取，而虚化数据并不直接存储与硬件载体，因此在查找到目标后，需要通过同匹配组内的其他成员数据计算还原。
本实施例预设中枢处理模块以及若干分布式处理模块，以分担部分计算量，提高整体的运行效率，同时利用数值匹配的方式，建立数值联系，通过删除虚化数据的方式节省存储空间，在需要时通过成员数据重新计算还原，相比传统的直接存储的方式，本实施例可以节省大约三分之一至四分之一的存储空间。
本实施例还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述的一种基于多维信息融合的配电网数据整合方法的步骤。
本实施例还提供一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现上述的一种基于多维信息融合的配电网数据整合方法的步骤。
本实施例的实质性效果包括：
通过预设中枢处理模块以及若干分布式处理模块，以分担部分计算量，提高整体的运行效率，同时利用数值匹配的方式，建立数值联系，通过删除虚化数据的方式节省存储空间，在需要时通过成员数据重新计算还原，充分利用数据的数值特征，减少存储空间的占用；
并且，在一级融合过程中，将文本数据和数值数据均转化为二进制数可以将不同的数据类型同化，仅考虑二进制数的数值而不再区分原本数据的含义，由于二进制是计算机处理的最底层的表达形式，因此可以提高处理效率，同时去重过程可以节省一部分的存储空间，也减少了处理的信息量，提前分担了后续的计算量，提高后续的处理效率；
因此，本实施例可以利用数值特征来节省大量的存储空间，减轻配电网中海量数据的存储压力，相比传统的直接存储的方式，可以节省大约三分之一至四分之一的存储空间，具有较高的应用价值。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中可以根据需要而将上述功能分配由不同的功能模块完成，即将具体装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的实施例中，应该理解到，所揭露的结构和方法，可以通过其它的方式实现。例如，以上所描述的关于结构的实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个结构，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，结构或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种基于多维信息融合的配电网数据整合方法，其特征在于，预设中枢处理模块以及若干分布式处理模块，方法包括以下步骤：
S1：建立中枢处理模块与若干分布式处理模块的网络连接；
S2：中枢处理模块根据需求生成数据请求，并将数据请求发送至分布式处理模块；
S3：分布式处理模块接收到数据请求后，将采集到的符合数据请求的配电网数据进行多维信息一级融合，将重复数据合并，得到一级融合数据及对应的属性信息并发送至中枢处理模块；
S4：中枢处理模块将不同分布式处理模块发来的一级融合数据进行二级整合，得到二级整合数据及对应的属性信息，并对二级整合数据进行数值匹配，得到无数值联系的独立数据，以及存在数值联系的匹配组，删除匹配组中的一项成员数据并由匹配组继承属性信息，删除的成员数据作为虚化数据，所述虚化数据能够由同组其他成员数据计算得到；
S5：中枢处理模块需要读取数据时，根据筛选条件对属性信息进行查找得到目标属性信息，如目标属性信息对应的是独立数据或成员数据则直接读取，如目标属性信息对应的是匹配组，则将该匹配组内的成员数据进行还原计算，还原出虚化数据，读取该虚化数据。
2.根据权利要求1所述的一种基于多维信息融合的配电网数据整合方法，其特征在于，所述S3中，分布式处理模块接收到数据请求后，将采集到的符合数据请求的配电网数据进行多维信息一级融合，将重复数据合并，得到一级融合数据及对应的属性信息并发送至中枢处理模块，包括：
分布式处理模块接收到数据请求后，将采集到的符合数据请求的配电网数据进行分类，得到文本数据及数值数据，并关联各自的属性信息；
将文本数据及数值数据转化为二进制数并通过标记区分转化前的数据种类；
依次判断转化得到的二进制数，从重复的二进制数中选择一个进行保留，被删除的二进制数对应的标记和属性信息继承给保留的二进制数，得到一级融合数据。
3.根据权利要求2所述的一种基于多维信息融合的配电网数据整合方法，其特征在于，所述S4中，中枢处理模块将不同分布式处理模块发来的一级融合数据进行二级整合，得到二级整合数据及对应的属性信息，包括：
中枢处理模块将不同分布式处理模块发来的一级融合数进行汇总，按升序或降序对一级融合数据进行排序，得到二级整合数据及对应的属性信息。
4.根据权利要求3所述的一种基于多维信息融合的配电网数据整合方法，其特征在于，所述S4中，对二级整合数据进行数值匹配，得到无数值联系的独立数据，以及存在数值联系的匹配组，删除匹配组中的一项成员数据并由匹配组继承属性信息，删除的成员数据作为虚化数据，所述虚化数据能够由同组其他成员数据计算得到，包括：
取二级整合数据中的最大值及最小值，并计算它们的差值，判断二级整合数据中是否包含与该差值相等的数据，如有，则认为存在数值联系，将最大值、最小值及差值对应的数据提取为一个匹配组，匹配组内的数据作为成员数据，将成员数据中的最大值删除，并由匹配组继承属性信息，删除的成员数据作为虚化数据；
对剩余的二级整合数据重复执行上述步骤，直至剩余的二级整合数据无法形成数值联系，将无数值联系的数据作为独立数据。
5.根据权利要求4所述的一种基于多维信息融合的配电网数据整合方法，其特征在于，所述S5中，中枢处理模块需要读取数据时，根据筛选条件对属性信息进行查找得到目标属性信息，如目标属性信息对应的是独立数据或成员数据则直接读取，如目标属性信息对应的是匹配组，则将该匹配组内的成员数据进行还原计算，还原出虚化数据，读取该虚化数据，包括：
中枢处理模块需要读取数据时，判断筛选条件中的关键信息，利用关键信息对属性信息进行查找，得到目标属性信息，如目标属性信息对应的是独立数据或成员数据则直接读取；如目标属性信息对应的是匹配组，则将该匹配组内的各成员数据的值相加，结果即为目标属性信息继承前对应的虚化数据，读取该虚化数据。
6.根据权利要求1所述的一种基于多维信息融合的配电网数据整合方法，其特征在于，所述S2中，中枢处理模块根据需求生成数据请求，并将数据请求发送至分布式处理模块，包括：
中枢处理模块调取预设的数据需求，解析数据需求中的数据类型、数量、属性，生成数据请求，并将数据请求发送至分布式处理模块。
7.一种基于多维信息融合的配电网数据整合系统，其特征在于，包括中枢处理模块以及若干分布式处理模块，所述中枢处理模块以及若干分布式处理模块用于执行如权利要求1至6中任意一项所述的一种基于多维信息融合的配电网数据整合方法。
8.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至6中任意一项所述的一种基于多维信息融合的配电网数据整合方法的步骤。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至6中任意一项所述的一种基于多维信息融合的配电网数据整合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211574465.9A CN115576998B (zh) | 2022-12-09 | 2022-12-09 | 一种基于多维信息融合的配电网数据整合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211574465.9A CN115576998B (zh) | 2022-12-09 | 2022-12-09 | 一种基于多维信息融合的配电网数据整合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115576998A CN115576998A (zh) | 2023-01-06 |
| CN115576998B true CN115576998B (zh) | 2023-02-17 |
Family
ID=84590737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211574465.9A Active CN115576998B (zh) | 2022-12-09 | 2022-12-09 | 一种基于多维信息融合的配电网数据整合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115576998B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116088771B (zh) * | 2023-04-06 | 2023-06-16 | 国网浙江省电力有限公司营销服务中心 | 基于能源互联网的工单数据多层次存储方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111177101A (zh) * | 2019-12-18 | 2020-05-19 | 广西电网有限责任公司电力科学研究院 | 一种基于大数据架构的配电网多维可视化平台 |
| CN111948687A (zh) * | 2020-08-07 | 2020-11-17 | 上海卫星工程研究所 | 一种适用于多星编队的分布式多源信息融合系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3210157A1 (en) * | 2021-01-29 | 2022-08-04 | Saam, Inc. | Sensor fusion for fire detection & air quality monitoring |
-
2022
- 2022-12-09 CN CN202211574465.9A patent/CN115576998B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111177101A (zh) * | 2019-12-18 | 2020-05-19 | 广西电网有限责任公司电力科学研究院 | 一种基于大数据架构的配电网多维可视化平台 |
| CN111948687A (zh) * | 2020-08-07 | 2020-11-17 | 上海卫星工程研究所 | 一种适用于多星编队的分布式多源信息融合系统 |
Non-Patent Citations (2)
| Title |
|---|
| Assessment of Electrical equipment status in distribution network based on multi-source data fusion;Chen S;《IOP Conference Series Earth and Environmental Science》;20211231;全文 * |
| 考虑储能配置模式的多数据源融合分布式光伏发电并网接纳分析方法;陶琼等;《高电压技术》;20180416(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115576998A (zh) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446396B (zh) | 一种基于改进型cim模型的电力数据处理方法 | |
| CN115576998B (zh) | 一种基于多维信息融合的配电网数据整合方法及系统 | |
| CN113672230B (zh) | 一种工业要素标识编码方法 | |
| CN112016967A (zh) | 一种交易数据处理方法与装置 | |
| CN115062087A (zh) | 一种用户画像构建方法、装置、设备和介质 | |
| CN113836228A (zh) | 管理系统的构建方法、装置、管理系统、设备及存储介质 | |
| CN113626571A (zh) | 答句生成方法、装置、计算机设备和存储介质 | |
| CN113505273A (zh) | 基于重复数据筛选的数据排序方法、装置、设备及介质 | |
| KR102085161B1 (ko) | 그래프 데이터 시각화 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 | |
| CN113626605B (zh) | 信息分类方法、装置、电子设备及可读存储介质 | |
| JP2024509629A (ja) | 量子車型部品基礎データベースの作成方法、装置、電子機器及び記憶媒体 | |
| CN114238045A (zh) | 一种电网多源量测数据完整性判断及自动修复系统和方法 | |
| KR102418541B1 (ko) | 와이어 번들 생산 방법 및 장치 | |
| CN114547011A (zh) | 数据抽取方法、装置、电子设备及存储介质 | |
| CN112883301A (zh) | 基于55进制的短链接生成方法、装置及存储介质 | |
| CN113344674A (zh) | 基于用户购买力的产品推荐方法、装置、设备及存储介质 | |
| CN112685516A (zh) | 一种多路召回推荐方法、装置、电子设备及介质 | |
| CN113590856B (zh) | 标签查询方法、装置、电子设备及可读存储介质 | |
| CN110737980A (zh) | 电气设计系统和电气设计方法 | |
| CN114880620B (zh) | 一种有向树组的聚集生成方法 | |
| CN112486992B (zh) | 一种数据存储方法及系统 | |
| CN115693667B (zh) | 基于不对称网架信息的电网供电节点自动分配方法及装置 | |
| CN113570345B (zh) | 一种基于施工项目电路图的停电范围自动识别系统 | |
| CN115859911B (zh) | 适应数据动态变化下的标签自动生成演进方法、装置 | |
| CN114429384B (zh) | 基于电商平台的产品智能推荐方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |