CN116662622B - 电网数据一致性比对方法及装置、介质及电子设备 - Google Patents

电网数据一致性比对方法及装置、介质及电子设备 Download PDF

Info

Publication number
CN116662622B
CN116662622B CN202310912129.9A CN202310912129A CN116662622B CN 116662622 B CN116662622 B CN 116662622B CN 202310912129 A CN202310912129 A CN 202310912129A CN 116662622 B CN116662622 B CN 116662622B
Authority
CN
China
Prior art keywords
information
equipment
power grid
power
grid database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310912129.9A
Other languages
English (en)
Other versions
CN116662622A (zh
Inventor
曾向英
马强
李易华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Thp Technology Co ltd
Original Assignee
Beijing Thp Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Thp Technology Co ltd filed Critical Beijing Thp Technology Co ltd
Priority to CN202310912129.9A priority Critical patent/CN116662622B/zh
Publication of CN116662622A publication Critical patent/CN116662622A/zh
Application granted granted Critical
Publication of CN116662622B publication Critical patent/CN116662622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于特征码的电网数据一致性比对方法及装置、介质及电子设备,所述方法包括:对所述第一、二电网数据库执行步骤S100和步骤S200;步骤S100:获取所述电力设备的属性值,拼接生成拼接信息;步骤S200:基于SHA256算法计算出所述拼接信息对应的特征码信息;步骤S300:所述第一电网数据库中的多个所述电力设备的所述待比对信息传输至所述第二电网数据库;步骤S400:判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系;步骤S500:判断具有相同所述设备索引信息的所述待比对信息所包括的所述特征码信息是否一致。本发明通过对特征码信息的比对,解决了传统方案存在网络资源开销大、耗费时间长的问题。

Description

电网数据一致性比对方法及装置、介质及电子设备
技术领域
本发明涉及电网数据处理领域,尤其涉及一种电网数据一致性比对方法及装置、介质及电子设备。
背景技术
电网数据量非常庞大,对于电网总部的数据管理和可视化应用,一般会抽取各省级数据库中的数据做拼接,形成电网总部数据库中的数据。但在数据抽取过程中,由于抽取时间、抽取过程等不可控因素,会导致一定的数据差异,如数据未抽取成功,省级数据删除或属性发生变更后未及时更新到电网总部等情况。为了及时发现问题,让电网总部的应用更加顺畅,需要跨数据库进行大量数据比对和校核工作,即需要对比电网总部数据库中数据与省级数据库中数据的一致性。
无论是电网总部数据库,还是省级数据库,数据量非常大(省级数据库中的数据量级可达“亿”级),传统方案在比对电网总部数据库与省级数据库的数据是否一致时,通常是电网总部从省级数据库获取对应电力设备的属性信息全集,将其与电网总部对应的电力设备的属性信息逐一进行比对,根据比对结果判断数据一致性。然而,若按照传统的这种数据比对方案,完成一个省级数据库的数据量比对,网络资源开销大,会耗费大量的时间,甚至,在数据比对的过程中,省级数据库就可能发生数据变更的情况,从而导致比对结果时效性严重不足。
发明内容
基于上述现状,为了克服传统方案存在网络资源开销大、耗费时间长的问题,本发明提供一种电网数据一致性比对方法及装置、介质及电子设备。
本发明提供一种基于特征码的电网数据一致性比对方法,第一电网数据库和第二电网数据库中均存储有电网数据,所述电网数据包括若干电力设备的设备索引信息和设备属性信息,每一所述电力设备的所述设备属性信息包括一个或多个属性及所述属性对应的属性值;其中,所述第一电网数据库中的所述电力设备对应的所述设备索引信息及所述设备属性信息是从所述第二电网数据库中抽取获得;
所述方法包括:
对所述第一电网数据库和所述第二电网数据库执行步骤S100和步骤S200;
所述步骤S100为:按照预设的属性提取规则获取所述电力设备的所述属性值,所述属性值按照预设的拼接规则进行拼接,生成拼接信息;
所述步骤S200为:基于SHA256算法计算出所述拼接信息对应的消息摘要,所述消息摘要作为所述设备属性信息的特征码信息;所述设备索引信息及所述特征码信息形成所述电力设备的待比对信息;
步骤S300:所述第一电网数据库中的多个所述电力设备的所述待比对信息传输至所述第二电网数据库;
步骤S400:判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系;如果所述设备索引信息同时存在于所述第一电网数据库和所述第二电网数据库中,则转入步骤S500;反之,则判断所述电力设备仅在所述第一电网数据库或所述第二电网数据库中存在;
步骤S500:判断具有相同所述设备索引信息的所述待比对信息所包括的所述特征码信息是否一致,如果一致,则判断所述第一电网数据库和所述第二电网数据库中的所述电力设备的所述设备属性信息一致;反之,则判断为不一致。
优选地,所述第一电网数据库中的多个所述电力设备的所述待比对信息传输至所述第二电网数据库具体包括:
步骤S310:所述第一电网数据库中的多个所述电力设备的所述待比对信息打包成数据包发送至消息中间件;
步骤S320:解析所述数据包,并将解析获得的所述待比对信息存储至所述第二电网数据库的临时表中。
优选地,在所述步骤S400中,采用SQL进行数据关联以判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系。
优选地,具有不同设备类型信息的所述电力设备对应不同的所述预设的属性提取规则;
所述电力设备按照所述设备类型信息进行分类,具有同一设备类型信息的所述电力设备按照相同的所述预设的属性提取规则获取所述电力设备的属性值;
所述第一电网数据库为电网总部数据库,所述第二电网数据库为省级电网数据库。
优选地,按照所述预设的属性提取规则获得的所述电力设备的属性值所对应的所述属性数量小于所述电力设备的总的所述属性数量;
所述数据包进一步包括数据批次信息,数据包总数信息、数据包编码信息、省份编码信息中的一者或多者;
所述待比对信息包括设备类型信息,在所述临时表中,所述待比对信息按照所述设备类型信息进行分类存储。
优选地,根据所述第一电网数据库生成的所述待比对信息所包括的所述设备索引信息确定所述第二电网数据库中具有相同所述设备索引值的所述电力设备需要生成所述待比对信息。
本发明还提供一种基于特征码的电网数据一致性比对装置,包括:
第一电网数据库和第二电网数据库,均存储有电网数据,所述电网数据包括若干电力设备的设备索引信息和设备属性信息,每一所述电力设备的所述设备属性信息包括一个或多个属性及所述属性对应的属性值;其中,所述第一电网数据库中的所述电力设备对应的所述设备索引信息及所述设备属性信息是从所述第二电网数据库中抽取获得;
第一待比对信息生成模块,用于生成所述第一电网数据库的待比对信息;
第二待比对信息生成模块,用于生成所述第二电网数据库的待比对信息;
按照预设的属性提取规则获取所述电力设备的所述属性值,所述属性值按照预设的拼接规则进行拼接,生成拼接信息;基于SHA256算法计算出所述拼接信息对应的消息摘要,所述消息摘要作为所述设备属性信息的特征码信息;所述设备索引信息及所述特征码信息形成所述第一电网数据库和所述第二电网数据库的所述待比对信息;
传输模块,用于将所述第一电网数据库中的多个所述电力设备的所述待比对信息传输至所述第二电网数据库;
第一比对模块,用于判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系;如果所述设备索引信息同时存在于所述第一电网数据库和所述第二电网数据库中,则通过第二比对模块判断所述特征码信息是否一致;反之,则判断所述电力设备仅在所述第一电网数据库或所述第二电网数据库中存在;
所述第二比对模块,用于判断具有相同所述设备索引信息的所述待比对信息所包括的所述特征码信息是否一致,如果一致,则判断所述第一电网数据库和所述第二电网数据库中的所述电力设备的所述设备属性信息一致;反之,则判断为不一致。
优选地,所述装置进一步包括:
消息中间件,用于存储数据包,所述数据包为所述第一电网数据库中的多个所述电力设备的所述待比对信息打包形成;
临时表,用于存储所述消息中间件中的所述数据包解析后所获得的所述待比对信息;
所述临时表属于所述第二电网数据库;
采用SQL进行数据关联以判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,能实现如上所述的基于特征码的电网数据一致性比对方法。
本发明还提供一种电子设备,包括存储有计算机程序的存储介质,该计算机程序被处理器执行时能实现如上所述的基于特征码的电网数据一致性比对方法,或所述电子设备包括如上所述的基于特征码的电网数据一致性比对装置。
本发明所提供的基于特征码的电网数据一致性比对方法及装置、介质及电子设备通过对特征码信息的比对,压缩了电力设备的属性值内容,大幅降低了网络资源占比,可以快速得到比对结果,降低了比对的数据量和比对的轮询过程,提高了数据一致性比对的效率。
本发明的其他有益效果,将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述,本领域技术人员通过这些技术特征和技术方案的介绍,应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
图1为本发明基于特征码的电网数据一致性比对方法的流程图。
图2为图1中步骤S300的详细流程图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分,为了避免混淆本发明的实质,公知的方法、过程、流程、元件并没有详细叙述。
此外,本领域普通技术人员应当理解,在此提供的附图都是为了说明的目的,并且附图不一定是按比例绘制的。
除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本发明提供一种基于特征码的电网数据一致性比对方法,第一电网数据库和第二电网数据库中均存储有电网数据,所述电网数据包括若干电力设备的设备索引信息和设备属性信息,每一所述电力设备的所述设备属性信息包括一个或多个属性及所述属性对应的属性值;其中,所述第一电网数据库中的所述电力设备对应的所述设备索引信息及所述设备属性信息是从所述第二电网数据库中抽取获得;
所述方法包括:
对所述第一电网数据库和所述第二电网数据库执行步骤S100和步骤S200;
所述步骤S100为:按照预设的属性提取规则获取所述电力设备的所述属性值,所述属性值按照预设的拼接规则进行拼接,生成拼接信息;
所述步骤S200为:基于SHA256算法计算出所述拼接信息对应的消息摘要,所述消息摘要作为所述设备属性信息的特征码信息;所述设备索引信息及所述特征码信息形成所述电力设备的待比对信息;
步骤S300:所述第一电网数据库中的多个所述电力设备的所述待比对信息传输至所述第二电网数据库;
步骤S400:判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系;如果所述设备索引信息同时存在于所述第一电网数据库和所述第二电网数据库中,则转入步骤S500;反之,则判断所述电力设备仅在所述第一电网数据库或所述第二电网数据库中存在;
步骤S500:判断具有相同所述设备索引信息的所述待比对信息所包括的所述特征码信息是否一致,如果一致,则判断所述第一电网数据库和所述第二电网数据库中的所述电力设备的所述设备属性信息一致;反之,则判断为不一致。
请参阅图1,本发明提供一种基于特征码的电网数据一致性比对方法,该方法用于比对第一电网数据库和第二电网数据库中的数据一致性。其中,第一电网数据库为电网总部数据库,第二电网数据库为省级电网数据库。省级电网数据库为多个,分别存储有各省的电网数据。电网总部数据库中的电网数据由省级数据库中的电网数据抽取后拼接得到。可以理解,电网总部数据库可以抽取省级数据库中电网数据中的一部分,在一些情况下,也可以抽取全部。电网总部和省级之间为内网连接。电网总部和省级之间只能单向访问,即电网总部可以访问省级,但省级不可以访问电网总部。
电网数据包括若干电力设备的设备索引信息和设备属性信息,电力设备可以是电力系统运行过程中所涉及到的任意设备,如变压器、开关、杆塔、输电线段等等。每一电力设备具有设备索引信息和设备属性信息,其中设备索引信息为可以唯一识别电力设备的标识信息,其可以是设备编码,或者选取电力设备特有属性值作为其设备索引信息,可以理解,该设备索引信息即为设备的ID信息,其具体内容不做限定,只要能唯一确定对应的电力设备即可。
设备属性信息用于表征电力设备的属性,其具体包括一个或多个属性及所述属性对应的属性值。以杆塔为例来说,其属性包括杆号、杆塔性质、杆塔材质、资产单位、投运日期,位置等等,其对应的属性值则为具体的1#、耐张杆、钢管杆、某单位、时间、坐标参数等等。
可以理解,属性值的获取需要同时关联图形、资源、资产等相关表获取,如坐标属性值从图形表中获取,杆塔与线路的拓扑关系从资源表中获取,杆塔材质、资产单位等属性值从资产表中获取。
基于特征码的电网数据一致性比对方法包括对所述第一电网数据库和所述第二电网数据库执行步骤S100和步骤S200。
在步骤S100中,按照预设的属性提取规则获取所述电力设备的属性值,所述属性值按照预设的拼接规则进行拼接,生成拼接信息。
可以理解,预设的属性提取规则设定了在获取电力设备的属性值时,具体获取多少项属性值,具体是哪些属性值,即设定了获取每一电力设备的哪些属性对应的属性值。例如杆塔的总的属性一共10项,输电线段的总的属性一共5项,预设的属性提取规则设定了获取杆塔对应的电压等级、杆塔性质、杆塔材质、档距、位置这5项属性对应的属性值,设定了获取输电线段起始设备、导线股数这2项属性对应的属性值。在获取杆塔和输电电段的属性值时,将按照上述规则对其属性值进行获取。
作为一种实施例,具有不同设备类型信息的电力设备对应不同的预设的属性提取规则;如电力设备1对应的是预设的属性提取规则1,电力设备2对应的是预设的属性提取规则2,预设的属性提取规则1和预设的属性提取规则2的具体内容可以是相同或不同的。
作为一种实施例,按照预设的属性提取规则获得的电力设备的属性值所对应的属性数量小于电力设备的总的属性数量;可以理解,只提取需求所关注的属性对应的属性值即可,而无需把所有的属性值获取到。在一些情况下(如所有属性均为需求关注的内容时),也可以把电力设备的所有属性值获取到。可以理解,至少提取影响一致性比对结果的属性值。
作为一种实施例,在准备获取电力设备的属性值之前,可以对电力设备按照设备类型信息进行分类,具有同一设备类型信息的电力设备按照相同的预设的属性提取规则获取电力设备的属性值。如杆塔1、杆塔2、杆塔3均按照预设的属性提取规则1进行属性值的获取,输电线段1、输电线段2均按照预设的属性提取规则2进行属性值的获取。
提取到所述电力设备的属性值后,按照预设的拼接规则进行拼接,如杆塔对应的电压等级、杆塔性质、杆塔材质、档距、位置这5项属性对应的属性值可以设定为按照电压等级、杆塔性质、杆塔材质、档距、位置的顺序对其属性值进行拼接生成拼接信息。
可以理解,预设的拼接规则和预设的属性提取规则可以通过同一规则实现设定,如预设属性提取规则所规定的属性先后顺序即为属性值的拼接顺序。
在步骤S200中,基于SHA256算法计算出所述拼接信息对应的消息摘要,所述消息摘要作为所述设备属性信息的特征码信息;所述设备索引信息及所述特征码信息形成所述电力设备的待比对信息。
可以理解,对于任意长度的消息,SHA256算法都会产生一个256为的哈希值,即消息摘要,不同拼接信息通过SHA256算法计算得到的消息摘要完全不同。消息摘要可以作为设备属性信息的特征码信息,当设备属性发生变化,则计算得到的特征码信息也随之发生变化。
在步骤S300中,所述第一电网数据库中的多个所述电力设备的所述待比对信息传输至所述第二电网数据库。可以理解,第一电网数据库中的待比对信息传输至第二电网数据库以供比对,具体的比对在可以在省级进行,无需占用电网总部的资源,可以降低电网总部的网络负荷。
请参阅图2,作为一种实施例,所述第一电网数据库中的多个所述电力设备的所述待比对信息传输至所述第二电网数据库具体包括步骤S310和步骤S320。
在步骤S310中,所述第一电网数据库中的多个所述电力设备的所述待比对信息打包成数据包发送至消息中间件。
作为一种实施例,可以理解,多条待比对信息打包成数据包,以数据包的形式进行传输,数据包的个数可以是一个或者多个。
作为一种实施例,所述数据包进一步包括数据批次信息,数据包总数信息、数据包编码信息、省份编码信息中的一者或多者。方便对数据包进行入库,且在数据传输过程中,如果存在数据包丢失的情况,可以根据数据包编码信息确定具体是哪一个数据包丢失,以方便请求电网总部重新传输。
可以理解,使用消息中间件接收数据包,一方面,解耦数据发送和数据解析逻辑,可根据现场服务器配置情况,配置不同的线程数上传和下载数据,进一步提升过程中的执行效率;另一方面,在数据包数量多的时候,消息中间件也起到了一定的缓冲作用,缓解了对第二电网数据库的负载压力;再一方面,消息中间件的机制也可以确保数据通信的可靠性,规避消息丢失带来的校核不准确的问题。
在步骤S320中,解析所述数据包,并将解析获得的所述待比对信息存储至所述第二电网数据库的临时表中。
作为一种实施例,所述待比对信息包括设备类型信息,在所述临时表中,所述待比对信息按照所述设备类型信息进行分类存储。所述设备类型信息表征设备类型。
可以理解,所述待比对信息包括设备类型信息,对第一电网数据库执行步骤S100和步骤S200的时候,所述设备索引信息、所述设备类型信息及所述特征码信息形成所述待比对信息,方便后续对待比对信息进行分类存储,有利于程序化实现本申请方案。
在步骤S400中,判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系;如果所述设备索引信息同时存在于所述第一电网数据库和所述第二电网数据库中,则转入步骤S500;反之,则判断所述电力设备仅在所述第一电网数据库或所述第二电网数据库中存在。
在步骤S500中,判断具有相同所述设备索引信息的所述待比对信息所包括的所述特征码信息是否一致,如果一致,则判断所述第一电网数据库和所述第二电网数据库中的所述电力设备的所述设备属性信息一致;反之,则判断为不一致。
作为一种实施例,在所述步骤S400中,采用SQL进行数据关联以判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系。可以理解,具体判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系的技术手段不做限定,只要能实现判断目的即可。
可以理解,采用SQL(inner join)进行数据关联,以判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系包括判断第一电网数据库生成的待比对信息所包括的设备索引信息是否存在第二电网数据库生成的待比对信息中,第二电网数据库生成的待比对信息所包括的设备索引信息是否存在第一电网数据库生成的待比对信息中,其判断结果包括:①设备索引信息同时存在第一、二电网数据库中,即电力设备的设备属性信息一致。②设备索引信息仅存在第一电网数据库生成的待比对信息中,即电力设备仅存在第一电网数据库,而不存在第二电网数据。③设备索引信息仅存在第二电网数据库生成的待比对信息中,即电力设备仅存在第二电网数据库,而不存在第一电网数据。
作为一种实施例,第一、二电网数据库在设定比对范围内进行待比对信息的生成,两者的设定比对范围是相同的,第一电网数据库在比对范围所囊括的电网数据来自于某一先前时刻的第二电网数据库在对比范围所囊括的电网数据。在电网数据没有发生变更的情形下,采用SQL进行数据关联后,判断结果应当是设备索引信息同时存在第一、二电网数据库中。如果电网总部从省级抽取电网数据后,在传输过程中存在数据丢失的情况时,则可能出现设备索引信息仅存在第二电网数据库生成的待比对信息中。如果省级的电力设备做了删除,则可能出现设备索引信息仅存在第一电网数据库生成的待比对信息中。
在一些情况下,判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系,仅需判断第一电网数据库生成的待比对信息的设备索引值在第二电网数据库生成的待比对信息中是否存在。
在一些情况下,判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系,仅需判断第二电网数据库生成的待比对信息的设备索引值在第一电网数据库生成的待比对信息中是否存在。
作为一种实施例,第一、二电网数据库生成待比对信息的步骤不分先后,可以同时进行,也可以先后进行。
作为一种实施例,第二电网数据库生成的待比对信息按照设备类型信息分类存储于临时表中以方便进行比对。
作为一种变形实施例,根据所述第一电网数据库生成的所述待比对信息所包括的所述设备索引信息确定所述第二电网数据库中具有相同所述设备索引值的所述电力设备需要生成所述待比对信息。即第二电网数据库的待比对信息生成在第一电网数据库的待比对信息生成之后,且只生成第一电网数据库生成的待比对信息所对应的电力设备的待比对信息。如第一电网数据库生成了设备索引信息A、B、C,其对应电力设备a、b、c,根据索引信息,查询到第二电网数据库中的电力设备a、b、c,并计算其待比对信息。再将两个电网数据库的待比对信息的特征码信息进行比对。
作为一种实施例,按照预设的属性提取规则获取至少两组属性值,每一组属性值包括至少一项属性及对应的属性值;所述至少两组属性值按照预设的拼接规则进行拼接生成至少二拼接信息。在步骤S200中计算得到的特征码信息为至少两个。可以理解,可以按照属性值的重要程度提取出不同组的属性值,如重要的属性值分在同一组,不重要的属性值分在另外一组。也可以按照关联程度进行属性值分组,或者其他方式进行分组等等。在本实施例中,每一电力设备的待比对信息包括设备索引信息、多个特征码编码及对应的特征码信息,特征码编码用于标识特征码信息,在比对结果中,返回设备索引信息、多个特征码编码及一致性判断结果,根据设备索引信息可以准确定位到具体的设备,根据特征码编码可以确定电力设备的哪些属性值可能发生变化,进而通过特征码编码可以确定是否要进一步判断具体是哪些属性值发生了变化,如按照重要程度对属性值进行分组时,如果比对结果中,仅仅只有不重要的属性值对应的一致性判断结果为不一致时,可能对后续应用层的数据分析并不造成影响,则无需进一步判断具体哪些属性值发生了变化。反之,重要的属性值对应的一致性判断结果为不一致时,则需要做进一步判断。
所述步骤S100为:按照预设的属性提取规则获取所述电力设备的属性值,所述属性值按照预设的拼接规则进行拼接,生成拼接信息;
所述步骤S200为:基于SHA256算法计算出所述拼接信息对应的消息摘要,所述消息摘要作为所述设备属性信息的特征码信息;所述设备索引信息及所述特征码信息形成所述电力设备的待比对信息。
可以理解,由于第一、二电网数据库采用的属性提取规则、拼接规则以及计算出特征码信息的计算方式均是一样的,因此,在设备属性没有更改的情况下,相同设备索引值对应的电力设备的特征码信息应当相同(一致),如果不同,则说明第二电网数据库中的电力设备的设备属性信息发生了变化(不一致)。通过对特征码信息的比对,压缩了电力设备的属性值内容,大幅降低了网络资源占比,可以快速得到比对结果,降低了比对的数据量和比对的轮询过程,提高了数据一致性比对的效率。
本申请创造性地将电力设备按设备类型和表结构进行区分,将主要的设备属性值与SHA256算法相结合,生成特征码信息,简化了联表查询比对的步骤,支持跨网络比对,大幅降低网络资源消耗,提升了数据一致性比对效率。
执行本申请方法所得到的判断结果可以作为是否进行新一轮电网数据抽取的判断标准,可以作为后续进一步判断具体哪个设备属性有差异提供信息参考等等。如比对结果可以返回设备索引值及一致性判断结果,通过设备索引值和比对结果可以确定电力设备的属性是否发生变化,如果发生变化,可以快速定位到具体的电力设备,进而可以方便判断该电力设备的具体哪些属性值发生了变化。
本发明还提供一种基于特征码的电网数据一致性比对装置,包括第一电网数据库、第二电网数据库、第一待比对信息生成模块、第二待比对信息生成模块、传输模块及比对模块。
第一电网数据库和第二电网数据库均存储有电网数据,所述电网数据包括若干电力设备的设备索引信息和设备属性信息,每一所述电力设备的所述设备属性信息包括一个或多个属性及所述属性对应的属性值;其中,所述第一电网数据库中的所述电力设备对应的所述设备索引信息及所述设备属性信息是从所述第二电网数据库中抽取获得。
第一待比对信息生成模块用于生成所述第一电网数据库的待比对信息;第二待比对信息生成模块用于生成所述第二电网数据库的待比对信息。按照预设的属性提取规则获取所述电力设备的属性值,所述属性值按照预设的拼接规则进行拼接,生成拼接信息;基于SHA256算法计算出所述拼接信息对应的消息摘要,所述消息摘要作为所述设备属性信息的特征码信息;所述设备索引信息及所述特征码信息形成所述第一电网数据库和所述第二电网数据库的所述待比对信息;传输模块,用于将所述第一电网数据库中的多个所述电力设备的所述待比对信息传输至所述第二电网数据库;第一比对模块,用于判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系;如果所述设备索引信息同时存在于所述第一电网数据库和所述第二电网数据库中,则通过第二比对模块判断所述特征码信息是否一致;反之,则判断所述电力设备仅在所述第一电网数据库或所述第二电网数据库中存在;
所述第二比对模块,用于判断具有相同所述设备索引信息的所述待比对信息所包括的所述特征码信息是否一致,如果一致,则判断所述第一电网数据库和所述第二电网数据库中的所述电力设备的所述设备属性信息一致;反之,则判断为不一致。
作为一种实施例,所述装置进一步包括消息中间件和临时表,消息中间件用于存储数据包,所述数据包为所述第一电网数据库中的多个所述电力设备的所述待比对信息打包形成。临时表用于存储所述消息中间件中的所述数据包解析后所获得的所述待比对信息。
作为一种实施例,所述临时表属于所述第二电网数据库。
作为一种实施例,采用SQL进行数据关联以判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系。
作为一种实施例,具有不同设备类型信息的所述电力设备对应不同的所述预设的属性提取规则。
作为一种实施例,所述电力设备按照所述设备类型信息进行分类,具有同一设备类型信息的所述电力设备按照相同的所述预设的属性提取规则获取所述电力设备的属性值。
作为一种实施例,所述第一电网数据库为电网总部数据库,所述第二电网数据库为省级电网数据库。
作为一种实施例,按照所述预设的属性提取规则获得的所述电力设备的属性值所对应的所述属性数量小于所述电力设备的总的所述属性数量;
作为一种实施例,所述数据包进一步包括数据批次信息,数据包总数信息、数据包编码信息、省份编码信息中的一者或多者。
作为一种实施例,所述待比对信息包括设备类型信息,在所述临时表中,所述待比对信息按照所述设备类型信息进行分类存储。
作为一种实施例,根据所述第一电网数据库生成的所述待比对信息所包括的所述设备索引信息确定所述第二电网数据库中具有相同所述设备索引值的所述电力设备需要生成所述待比对信息。
可以理解,基于特征码的电网数据一致性比对方法中所记载的内容适用于本实施例。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,能实现如上所述的基于特征码的电网数据一致性比对方法。
本发明实施例还提供一种电子设备,包括存储有计算机程序的存储介质,该计算机程序被处理器执行时能实现如上所述的基于特征码的电网数据一致性比对方法,或所述电子设备包括如上所述的基于特征码的电网数据一致性比对装置。
此外,本发明还提供了一种计算机可读存储介质,如芯片、光盘等,计算机可读存储介质上存储有执行程序,该执行程序被执行时实现如上述任一项所述的方法。
需要说明的是,本公开的实施例所述的计算机可读存储介质并不限定于上述所给实施例,例如还可以为电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本领域的技术人员能够理解的是,在不冲突的前提下,上述各优选方案可以自由地组合、叠加。其中,附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生,例如,两个接连表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。本文中对于各步骤的编号仅为了方便说明和引用,并不用于限定前后顺序,具体的执行顺序是由技术本身确定的,本领域技术人员可以根据技术本身确定各种允许的、合理的顺序。
需要说明的是,本发明中采用步骤编号(字母或数字编号)来指代某些具体的方法步骤,仅仅是出于描述方便和简洁的目的,而绝不是用字母或数字来限制这些方法步骤的顺序。本领域的技术人员能够明了,相关方法步骤的顺序,应由技术本身决定,不应因步骤编号的存在而被不适当地限制,本领域技术人员可以根据技术本身确定各种允许的、合理的步骤顺序。
本领域的技术人员能够理解的是,在不冲突的前提下,上述各优选方案可以自由地组合、叠加。
应当理解,上述的实施方式仅是示例性的,而非限制性的,在不偏离本发明的基本原理的情况下,本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换,都将包含于本发明的权利要求范围内。

Claims (9)

1.一种基于特征码的电网数据一致性比对方法,其特征在于,第一电网数据库和第二电网数据库中均存储有电网数据,所述电网数据包括若干电力设备的设备索引信息和设备属性信息,每一所述电力设备的所述设备属性信息包括一个或多个属性及所述属性对应的属性值;其中,所述第一电网数据库中的所述电力设备对应的所述设备索引信息及所述设备属性信息是从所述第二电网数据库中抽取获得;
所述方法包括:
对所述第一电网数据库和所述第二电网数据库执行步骤S100和步骤S200;
所述步骤S100为:按照预设的属性提取规则获取所述电力设备的所述属性值,所述属性值按照预设的拼接规则进行拼接,生成拼接信息;
所述步骤S200为:基于SHA256算法计算出所述拼接信息对应的消息摘要,所述消息摘要作为所述设备属性信息的特征码信息;所述设备索引信息及所述特征码信息形成所述电力设备的待比对信息;
步骤S300:所述第一电网数据库中的多个所述电力设备的所述待比对信息传输至所述第二电网数据库;
步骤S400:判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系;如果所述设备索引信息同时存在于所述第一电网数据库和所述第二电网数据库中,则转入步骤S500;反之,则判断所述电力设备仅在所述第一电网数据库或所述第二电网数据库中存在;
步骤S500:判断具有相同所述设备索引信息的所述待比对信息所包括的所述特征码信息是否一致,如果一致,则判断所述第一电网数据库和所述第二电网数据库中的所述电力设备的所述设备属性信息一致;反之,则判断为不一致;
所述第一电网数据库中的多个所述电力设备的所述待比对信息传输至所述第二电网数据库具体包括:
步骤S310:所述第一电网数据库中的多个所述电力设备的所述待比对信息打包成数据包发送至消息中间件;
步骤S320:解析所述数据包,并将解析获得的所述待比对信息存储至所述第二电网数据库的临时表中。
2.如权利要求1所述的基于特征码的电网数据一致性比对方法,其特征在于,在所述步骤S400中,采用SQL进行数据关联以判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系。
3.如权利要求1所述的基于特征码的电网数据一致性比对方法,其特征在于,具有不同设备类型信息的所述电力设备对应不同的所述预设的属性提取规则;
所述电力设备按照所述设备类型信息进行分类,具有同一设备类型信息的所述电力设备按照相同的所述预设的属性提取规则获取所述电力设备的属性值;
所述第一电网数据库为电网总部数据库,所述第二电网数据库为省级电网数据库。
4.如权利要求1所述的基于特征码的电网数据一致性比对方法,其特征在于,按照所述预设的属性提取规则获得的所述电力设备的属性值所对应的所述属性数量小于所述电力设备的总的所述属性数量;
所述数据包进一步包括数据批次信息,数据包总数信息、数据包编码信息、省份编码信息中的一者或多者;
所述待比对信息包括设备类型信息,在所述临时表中,所述待比对信息按照所述设备类型信息进行分类存储。
5.如权利要求1所述的基于特征码的电网数据一致性比对方法,其特征在于,根据所述第一电网数据库生成的所述待比对信息所包括的所述设备索引信息确定所述第二电网数据库中具有相同设备索引值的所述电力设备需要生成所述待比对信息。
6.一种基于特征码的电网数据一致性比对装置,其特征在于,包括:
第一电网数据库和第二电网数据库,均存储有电网数据,所述电网数据包括若干电力设备的设备索引信息和设备属性信息,每一所述电力设备的所述设备属性信息包括一个或多个属性及所述属性对应的属性值;其中,所述第一电网数据库中的所述电力设备对应的所述设备索引信息及所述设备属性信息是从所述第二电网数据库中抽取获得;
第一待比对信息生成模块,用于生成所述第一电网数据库的待比对信息;
第二待比对信息生成模块,用于生成所述第二电网数据库的待比对信息;
按照预设的属性提取规则获取所述电力设备的所述属性值,所述属性值按照预设的拼接规则进行拼接,生成拼接信息;基于SHA256算法计算出所述拼接信息对应的消息摘要,所述消息摘要作为所述设备属性信息的特征码信息;所述设备索引信息及所述特征码信息形成所述第一电网数据库和所述第二电网数据库的所述待比对信息;
传输模块,用于将所述第一电网数据库中的多个所述电力设备的所述待比对信息传输至所述第二电网数据库;
第一比对模块,用于判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系;如果所述设备索引信息同时存在于所述第一电网数据库和所述第二电网数据库中,则通过第二比对模块判断所述特征码信息是否一致;反之,则判断所述电力设备仅在所述第一电网数据库或所述第二电网数据库中存在;
所述第二比对模块,用于判断具有相同所述设备索引信息的所述待比对信息所包括的所述特征码信息是否一致,如果一致,则判断所述第一电网数据库和所述第二电网数据库中的所述电力设备的所述设备属性信息一致;反之,则判断为不一致;
所述装置进一步包括:
消息中间件,用于存储数据包,所述数据包为所述第一电网数据库中的多个所述电力设备的所述待比对信息打包形成;
临时表,用于存储所述消息中间件中的所述数据包解析后所获得的所述待比对信息;
所述临时表属于所述第二电网数据库。
7.如权利要求6所述的基于特征码的电网数据一致性比对装置,其特征在于,采用SQL进行数据关联以判断所述第一电网数据库和所述第二电网数据库生成的所述待比对信息所包括的所述设备索引信息之间的关系。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,能实现如权利要求1-5任一项所述的基于特征码的电网数据一致性比对方法。
9.一种电子设备,包括存储有计算机程序的存储介质,其特征在于:该计算机程序被处理器执行时能实现如权利要求1-5任一项所述的基于特征码的电网数据一致性比对方法,或所述电子设备包括如权利要求6-7任一项所述的基于特征码的电网数据一致性比对装置。
CN202310912129.9A 2023-07-25 2023-07-25 电网数据一致性比对方法及装置、介质及电子设备 Active CN116662622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310912129.9A CN116662622B (zh) 2023-07-25 2023-07-25 电网数据一致性比对方法及装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310912129.9A CN116662622B (zh) 2023-07-25 2023-07-25 电网数据一致性比对方法及装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN116662622A CN116662622A (zh) 2023-08-29
CN116662622B true CN116662622B (zh) 2023-10-31

Family

ID=87717336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310912129.9A Active CN116662622B (zh) 2023-07-25 2023-07-25 电网数据一致性比对方法及装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN116662622B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711649A (zh) * 2020-12-25 2021-04-27 政采云有限公司 一种数据库多字段匹配方法、装置、设备及存储介质
CN113222078A (zh) * 2021-03-23 2021-08-06 杭州术也科技有限公司 一种样本库管理方法、装置、计算机设备和存储介质
CN113723810A (zh) * 2021-08-30 2021-11-30 广东电网有限责任公司 基于图数据库的电网建模方法
WO2022100233A1 (zh) * 2020-11-12 2022-05-19 全球能源互联网研究院有限公司 一种基于图数据库的电网检索方法及系统
CN115080515A (zh) * 2022-06-13 2022-09-20 中国银行股份有限公司 基于区块链的系统文件共享方法及系统
CN115168362A (zh) * 2022-07-25 2022-10-11 抖音视界有限公司 数据处理方法、装置、可读介质及电子设备
CN115374129A (zh) * 2022-10-24 2022-11-22 杭州欧若数网科技有限公司 一种数据库联合索引编码方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022100233A1 (zh) * 2020-11-12 2022-05-19 全球能源互联网研究院有限公司 一种基于图数据库的电网检索方法及系统
CN112711649A (zh) * 2020-12-25 2021-04-27 政采云有限公司 一种数据库多字段匹配方法、装置、设备及存储介质
CN113222078A (zh) * 2021-03-23 2021-08-06 杭州术也科技有限公司 一种样本库管理方法、装置、计算机设备和存储介质
CN113723810A (zh) * 2021-08-30 2021-11-30 广东电网有限责任公司 基于图数据库的电网建模方法
CN115080515A (zh) * 2022-06-13 2022-09-20 中国银行股份有限公司 基于区块链的系统文件共享方法及系统
CN115168362A (zh) * 2022-07-25 2022-10-11 抖音视界有限公司 数据处理方法、装置、可读介质及电子设备
CN115374129A (zh) * 2022-10-24 2022-11-22 杭州欧若数网科技有限公司 一种数据库联合索引编码方法和系统

Also Published As

Publication number Publication date
CN116662622A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN105704041A (zh) 使用硬件辅助散列表的ccn路由
CN105187533A (zh) 一种数据传输的方法及装置
CN108388640B (zh) 一种数据转换方法、装置以及数据处理系统
JP5377818B2 (ja) コンパイル済みスキーマに順次アクセスする方法とシステム
CN109213758B (zh) 数据存取方法、装置、设备及计算机可读存储介质
CN113946546B (zh) 异常检测方法、计算机存储介质及程序产品
CN115441448A (zh) 配电网线路的转供电校验方法、装置、设备及存储介质
CN116662622B (zh) 电网数据一致性比对方法及装置、介质及电子设备
CN112633761B (zh) 指标数据的查询方法、装置、设备及存储介质
CN112199374A (zh) 针对数据缺失的数据特征挖掘方法及其相关设备
CN116303013A (zh) 源码分析方法、装置、电子设备及存储介质
CN115422275A (zh) 一种数据处理方法、装置、设备及存储介质
CN109033189B (zh) 链路结构日志的压缩方法、装置、服务器及可读存储介质
CN113342647A (zh) 一种测试数据的生成方法及装置
CN112131239A (zh) 一种数据处理方法、计算机设备以及可读存储介质
CN113645052A (zh) 一种固件调试方法及相关设备
CN114510465B (zh) 数据管理方法、装置及计算机可读存储介质
CN114827309B (zh) 一种设备指纹生成方法、装置、设备及可读存储介质
CN112711480B (zh) 数据链路解析方法及系统
CN113591477B (zh) 基于关联数据的故障定位方法、装置、设备及存储介质
CN117453661A (zh) 资源配置方法、装置、计算机设备、存储介质
CN117880060A (zh) 一种基于规则引擎的网络运维方法、系统、设备及介质
CN115456327A (zh) 基于ymal配置文件的链式指标计算方法、装置、电子设备
CN111882310A (zh) 一种数据对比方法、装置、设备及计算机可读存储介质
CN118013350A (zh) 一种标签数据的自动化检查方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant