CN113434498A - 电力系统数据库数据异常监测方法、装置及电子设备 - Google Patents
电力系统数据库数据异常监测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113434498A CN113434498A CN202110527574.4A CN202110527574A CN113434498A CN 113434498 A CN113434498 A CN 113434498A CN 202110527574 A CN202110527574 A CN 202110527574A CN 113434498 A CN113434498 A CN 113434498A
- Authority
- CN
- China
- Prior art keywords
- data
- monitored
- piece
- data table
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000002159 abnormal effect Effects 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 19
- 230000005856 abnormality Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
Abstract
本发明适用于电力数据处理技术领域，提供了一种电力系统数据库数据异常监测方法、装置及电子设备，该方法包括：获取电力系统的数据中台中的待监测数据表及待监测数据表对应的源业务系统数据库；根据待监测数据表对应的源业务系统数据库，确定待监测数据表的业务关系；根据与待监测数据表的业务关系所对应的预设监测条件，对待监测数据表中的各条数据进行监测，并在监测到待监测数据表中某条数据发生异常时，向终端设备发送指示该条数据发生异常的异常提示消息。本发明基于待监测数据表的业务关系对待监测数据表进行监测，有利于及时获得异常监测结果，以及基于异常监测结果进行告警及修正，以提高数据中台中的数据表中的数据的准确性。
Description
技术领域
本发明属于电力数据处理技术领域，尤其涉及一种电力系统数据库数据异常监测方法、装置及电子设备。
背景技术
数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。基于数据中台对电力数据进行分析，可以为电力企业提供与其电力业务高度相关的高效服务。
在基于数据中台进行数据分析时，数据中台中的数据表、字段、视图、存储过程、函数，以及数据表的内容，直接影响分析任务能否开展、分析的结果是否正确，因此数据的准确性非常重要。但是由于数据在从源业务系统数据库到数据中台的同步过程中，经常会发生错误，导致数据中台中数据库表的结构发生变化、数据库表中的记录更新不及时，因此对数据库中对象的状态监控、对数据库表中的数据内容的监控非常必要。
发明内容
有鉴于此，本发明实施例提供了一种电力系统数据库数据异常监测方法、装置及电子设备，旨在解决现有技术中在将电力系统的源业务系统数据库中的数据同步到电力系统的数据中台后，数据中台中的数据表中的数据存在准确性不足的问题。
为实现上述目的，本发明实施例的第一方面提供了一种电力系统数据库数据异常监测方法，包括：
获取电力系统的数据中台中的待监测数据表及所述待监测数据表对应的源业务系统数据库；其中，所述数据中台中的每个数据表对应一个源业务系统数据库；
根据所述待监测数据表对应的源业务系统数据库，确定所述待监测数据表的业务关系；其中，每类业务关系对应于一个预设监测条件；
根据与所述待监测数据表的业务关系所对应的预设监测条件，对所述待监测数据表中的各条数据进行监测，并在监测到所述待监测数据表中某条数据发生异常时，向终端设备发送指示该条数据发生异常的异常提示消息。
本发明实施例的第二方面提供了一种电力系统数据库数据异常监测装置，包括：
获取模块，用于获取电力系统的数据中台中的待监测数据表及所述待监测数据表对应的源业务系统数据库；其中，所述数据中台中的每个数据表对应一个源业务系统数据库；
处理模块，用于根据所述待监测数据表对应的源业务系统数据库，确定所述待监测数据表的业务关系；其中，每类业务关系对应于一个预设监测条件；
异常监测模块，用于根据与所述待监测数据表的业务关系所对应的预设监测条件，对所述待监测数据表中的各条数据进行监测，并在监测到所述待监测数据表中某条数据发生异常时，向终端设备发送指示该条数据发生异常的异常提示消息。
本发明实施例的第三方面提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的电力系统数据库数据异常监测方法所述的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的电力系统数据库数据异常监测方法所述的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明通过获取电力系统的数据中台中的待监测数据表及待监测数据表对应的源业务系统数据库，可以根据待监测数据表对应的源业务系统数据库，确定待监测数据表的业务关系，确定待监测数据表的业务关系后，由于每类业务关系对应一个预设监测条件，因此可以根据与业务关系对应的预设监测条件对待监测数据表中的各条数据进行监测，进而方便快捷地获得异常监测结果，以便在监测到异常数据后，及时地对待监测数据表中的各条数据中的异常数据进行告警及修正，以提高数据中台中的数据表中的数据的准确性，为电力系统中基于数据中台的数据分析提供良好的基础。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的电力系统数据库数据异常监测方法的实现流程示意图；
图2是本发明另一实施例提供的电力系统数据库数据异常监测方法的实现流程示意图；
图3是本发明实施例提供的电力系统数据库数据异常监测装置的示意图；
图4是本发明实施例提供的电子设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1为本发明实施例提供的电力系统数据库数据异常监测方法的实现流程示意图，详述如下：
步骤101，获取电力系统的数据中台中的待监测数据表及待监测数据表对应的源业务系统数据库。
其中，所述数据中台中的每个数据表对应一个源业务系统数据库。
其中，电力系统的数据中台可以对应多个源业务系统数据库，每个源业务系统数据库可以对应数据中台中的一个数据表。由于不同的源业务系统数据库对应的数据表的结构和内容等不同，因此可以基于源业务系统数据库对数据表内的数据进行监测。
步骤102，根据待监测数据表对应的源业务系统数据库，确定待监测数据表的业务关系。
其中，每类业务关系对应于一个预设监测条件。
其中，数据表对应的业务关系指数据表中的数据业务变化的关系。由于每个源业务系统数据库对应数据中台中的一个数据表，而不同的源业务系统数据库对应的数据表的结构和内容等不同，对应到数据表时数据表中数据业务变化的关系也不同。因此可以根据待监测数据表对应的源业务系统数据库，确定待监测数据表的业务关系，进而基于待监测数据表的业务关系对数据表内的数据进行监测，以确定数据表内的数据是否发生异常。
可选的，每个源业务系统数据库具有一个名称标识。
根据待监测数据表对应的源业务系统数据库，确定待监测数据表的业务关系，可以包括：根据待监测数据表对应的源业务系统数据库的名称标识，确定待监测数据表的业务关系。
示例性的，数据表对应的业务关系可以为数据增加业务、数据减少业务或时间标识变化业务。
示例性的，当待监测数据表对应的源业务系统数据库的名称标识为抄表类数据库时，由于抄表类数据库中的数据每隔预设时间间隔增加，则待监测数据表的业务关系可以确定为数据增加业务。当待监测数据表对应的源业务系统数据库的名称标识为异常工单处理数据库时，由于异常工单处理后会被删除，则待监测数据表的业务关系可以确定为数据减少业务。除此之外，还可以根据待监测数据表对应的源业务系统数据库的名称标识确定对应的源业务系统数据库中数据的ID或时间戳是否变化，若对应的源业务系统数据库中数据的ID或时间戳每隔预设时间间隔发生变化，则待监测数据表的业务关系可以确定为时间标识变化业务。
本实施例中，确定待监测数据表的业务关系后，由于不同的业务关系对应不同的数据变化规律。因此，可以根据不同的业务关系对应的预设监测条件对待监测数据表内的数据进行监测，以实现待监测数据表的实时监测。以便在监测到异常数据后，及时地对待监测数据表中的各条数据中的异常数据进行告警及修正，以提高数据中台中的数据表中的数据的准确性。
步骤103，根据与待监测数据表的业务关系所对应的预设监测条件，对待监测数据表中的各条数据进行监测，并在监测到待监测数据表中某条数据发生异常时，向终端设备发送指示该条数据发生异常的异常提示消息。
可选的，待监测数据表的业务关系可以包括：数据增加业务、数据减少业务或时间标识变化业务。
可选的，参见图2，根据与待监测数据表的业务关系所对应的预设监测条件，对待监测数据表中的各条数据进行监测，可以包括：
步骤1031，若待监测数据表的业务关系为数据增加业务，监测待监测数据表中的各条数据的数据量是否增加；若待监测数据表中的某条数据的数据量未增加，则确定该条数据发生异常；若待监测数据表中的各条数据均增加，则确定待监测数据表中的各条数据均正常。
可选的，监测待监测数据表中的各条数据的数据量是否增加，可以包括：
获取待监测数据表中的各条数据当前时刻对应的第一数据量以及第一历史时刻对应的第二数据量。其中，第一历史时刻为当前时刻之前第一预设时间间隔的时刻。
针对待监测数据表中的每条数据，将该条数据对应的第一数据量和第二数据量进行比较，若该条数据对应的第一数据量大于第二数据量，则确定该条数据的数据量增加；若该条数据对应的第一数据量小于或等于第二数据量，则确定该条数据的数据量未增加。
示例性的，当待监测数据表的业务关系为数据增加业务时，例如当待监测数据表对应的源业务系统数据库的名称标识为抄表类数据库时，如果待监测数据表的数据量未增加，则说明抄表不成功，存在异常。
示例性的，对于业务关系为数据增加业务的待监测数据表，可以每隔第一预设时间间隔获取一次待监测数据表中各条数据对应的数据量，若在某个时间段，该数据表中存在某条数据的数据量未增加，则可以确定该条数据存在异常。确定该条数据存在异常后，可以获取该条数据对应的设备、负责人终端(该条数据所在的数据表对应的源业务系统数据库中存储的数据可以包括该条数据本身，以及该条数据对应的设备、负责人终端等其他信息)，从而向该条数据对应的负责人终端发送指示该条数据发生异常的异常提示消息，以提醒相应的负责人对设备进行检修。示例性的，可以通过邮件、短信息等方式向该条数据对应的负责人终端发送指示该条数据发生异常的异常提示消息。
步骤1032，若待监测数据表的业务关系为数据减少业务，监测待监测数据表中的各条数据的数据量是否减少；若待监测数据表中的某条数据的数据量未减少，则确定该条数据发生异常；若待监测数据表中的各条数据均减少，则确定待监测数据表中的各条数据均正常。
可选的，监测待监测数据表中的各条数据的数据量是否减少，可以包括：
获取待监测数据表中的各条数据当前时刻对应的第三数据量以及第二历史时刻对应的第四数据量。其中，第二历史时刻为当前时刻之前第二预设时间间隔的时刻。
针对待监测数据表中的每条数据，将该条数据对应的第三数据量和第四数据量进行比较，若该条数据对应的第三数据量小于第四数据量，则确定该条数据的数据量减少；若该条数据对应的第三数据量大于或等于第四数据量，则确定该条数据的数据量未减少。
示例性的，当待监测数据表的业务关系为数据减少业务时，例如当待监测数据表对应的源业务系统数据库的名称标识为异常工单处理数据库时，如果异常工单处理后数据未删除，可能导致重复处理。
示例性的，对于业务关系为数据减少业务的待监测数据表，可以每隔第二预设时间间隔获取一次待监测数据表中各条数据对应的数据量，若在某个时间段，该数据表中存在某条数据的数据量未减少，则可以确定该条数据存在异常。同样的，确定该条数据存在异常后，可以获取该条数据对应的设备、负责人终端(该条数据所在的数据表对应的源业务系统数据库中存储的数据可以包括该条数据本身，以及该条数据对应的设备、负责人终端等其他信息)，从而向该条数据对应的负责人终端发送指示该条数据发生异常的异常提示消息，以提醒相应的负责人对设备进行检修。同样的，可以通过邮件、短信息等方式向该条数据对应的负责人终端发送指示该条数据发生异常的异常提示消息。本实施例对发送异常提示消息的方式不做限定。
步骤1033，若待监测数据表的业务关系为时间标识变化业务，监测待监测数据表中的各条数据的时间标识是否发生变化；若待监测数据表中的某条数据的时间标识未发生变化，则确定该条数据发生异常；若待监测数据表中的各条数据的时间标识均发生变化，则确定待监测数据表中的各条数据均正常。
可选的，监测待监测数据表中的各条数据的时间标识是否发生变化，可以包括：
获取待监测数据表中的各条数据当前时刻对应的第一时间标识和第三历史时刻对应的第二时间标识。其中，第三历史时刻为当前时刻之前第三预设时间间隔的时刻。
针对待监测数据表中的每条数据，将该条数据对应的第一时间标识和第二时间标识进行比较，若该条数据对应的第一时间标识和第二时间标识不同，则确定该条数据的时间标识发生变化；若该条数据对应的第一时间标识和第二时间标识相同，则确定该条数据的时间标识未发生变化。
本实施例中，对于业务关系为时间标识变化业务的待监测数据表，数据表中的各条数据均具有时间标识(例如ID或时间戳)，每经过一段时间(例如第三预设时间间隔)，该数据表中各条数据的时间标识就应该发生变化，若在某个时间段，该数据表中存在某条数据的时间标识未发生变化，则可以确定该条数据存在异常。
可选的，针对待监测数据表中的每条数据，在将该条数据对应的第一时间标识和第二时间标识进行比较，且确定该条数据对应的第一时间标识和第二时间标识不同之后，还可以包括：
判断该条数据对应的第一时间标识和第二时间标识是否符合对应的预设变化规则，若该条数据对应的第一时间标识和第二时间标识符合对应的预设变化规则，则确定该条数据的时间标识发生变化。
若该条数据对应的第一时间标识和第二时间标识不符合对应的预设变化规则，则确定该条数据的时间标识未发生变化。
本实施例中，对于业务关系为时间标识变化业务的待监测数据表，在监测该数据表中各条数据的时间标识是否发生变化的同时，还监测各条数据的时间标识的变化是否符合对应的预设变化规则，只有时间标识的变化符合对应的预设变化规则时，才确定该数据表中的该条数据正常。
可选的，对于业务关系为时间标识变化业务的待监测数据表，在获取待监测数据表中的各条数据当前时刻对应的第一时间标识和第三历史时刻对应的第二时间标识后，针对待监测数据表中的每条数据，还可以直接判断该条数据对应的第一时间标识和第二时间标识是否符合对应的预设变化规则，若该条数据对应的第一时间标识和第二时间标识符合对应的预设变化规则，则确定该条数据的时间标识发生变化。若该条数据对应的第一时间标识和第二时间标识不符合对应的预设变化规则，则确定该条数据的时间标识未发生变化。
本实施例中，对于业务关系为时间标识变化业务的待监测数据表，通过监测待监测数据表中的各条数据对应的第一时间标识和二时间标识是否符合对应的预设变化规则，可以更精确地判断待监测数据表中的各条数据是否发生异常，更加有利于提高数据中台中的数据表中的数据的准确性，为电力系统中基于数据中台的数据分析提供良好的基础。
上述电力系统数据库数据异常监测方法，通过获取电力系统的数据中台中的待监测数据表及待监测数据表对应的源业务系统数据库，可以根据待监测数据表对应的源业务系统数据库，确定待监测数据表的业务关系，确定待监测数据表的业务关系后，由于每类业务关系对应一个预设监测条件，因此可以根据与业务关系对应的预设监测条件对待监测数据表中的各条数据进行监测，进而方便快捷地获得异常监测结果，以便在监测到异常数据后，及时地对待监测数据表中的各条数据中的异常数据进行告警及修正，以提高数据中台中的数据表中的数据的准确性，为电力系统中基于数据中台的数据分析提供良好的基础。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。
对应于上文实施例所述的电力系统数据库数据异常监测方法，图3示出了本发明实施例提供的电力系统数据库数据异常监测装置的示例图。如图3所示，该装置可以包括：获取模块31、处理模块32和异常监测模块33。
获取模块31，用于获取电力系统的数据中台中的待监测数据表及所述待监测数据表对应的源业务系统数据库；其中，所述数据中台中的每个数据表对应一个源业务系统数据库；
处理模块32，用于根据所述待监测数据表对应的源业务系统数据库，确定所述待监测数据表的业务关系；其中，每类业务关系对应于一个预设监测条件；
异常监测模块33，用于根据与所述待监测数据表的业务关系所对应的预设监测条件，对所述待监测数据表中的各条数据进行监测，并在监测到所述待监测数据表中某条数据发生异常时，向终端设备发送指示该条数据发生异常的异常提示消息。
可选的，每个源业务系统数据库具有一个名称标识；处理模块32，可以用于根据所述待监测数据表对应的源业务系统数据库的名称标识，确定所述待监测数据表的业务关系。
可选的，所述业务关系包括：数据增加业务、数据减少业务或时间标识变化业务；异常监测模块33，可以用于若所述待监测数据表的业务关系为所述数据增加业务，监测所述待监测数据表中的各条数据的数据量是否增加；若所述待监测数据表中的某条数据的数据量未增加，则确定该条数据发生异常；若所述待监测数据表中的各条数据均增加，则确定所述待监测数据表中的各条数据均正常；
若所述待监测数据表的业务关系为所述数据减少业务，监测所述待监测数据表中的各条数据的数据量是否减少；若所述待监测数据表中的某条数据的数据量未减少，则确定该条数据发生异常；若所述待监测数据表中的各条数据均减少，则确定所述待监测数据表中的各条数据均正常；
若所述待监测数据表的业务关系为所述时间标识变化业务，监测所述待监测数据表中的各条数据的时间标识是否发生变化；若所述待监测数据表中的某条数据的时间标识未发生变化，则确定该条数据发生异常；若所述待监测数据表中的各条数据的时间标识均发生变化，则确定所述待监测数据表中的各条数据均正常。
可选的，异常监测模块33，可以用于获取所述待监测数据表中的各条数据当前时刻对应的第一数据量以及第一历史时刻对应的第二数据量；所述第一历史时刻为所述当前时刻之前第一预设时间间隔的时刻；
针对所述待监测数据表中的每条数据，将该条数据对应的所述第一数据量和所述第二数据量进行比较，若该条数据对应的所述第一数据量大于所述第二数据量，则确定该条数据的数据量增加；若该条数据对应的所述第一数据量小于或等于所述第二数据量，则确定该条数据的数据量未增加。
可选的，异常监测模块33，可以用于获取所述待监测数据表中的各条数据当前时刻对应的第三数据量以及第二历史时刻对应的第四数据量；所述第二历史时刻为所述当前时刻之前第二预设时间间隔的时刻；
针对所述待监测数据表中的每条数据，将该条数据对应的所述第三数据量和所述第四数据量进行比较，若该条数据对应的所述第三数据量小于所述第四数据量，则确定该条数据的数据量减少；若该条数据对应的所述第三数据量大于或等于所述第四数据量，则确定该条数据的数据量未减少。
可选的，异常监测模块33，可以用于获取所述待监测数据表中的各条数据当前时刻对应的第一时间标识和第三历史时刻对应的第二时间标识；所述第三历史时刻为所述当前时刻之前第三预设时间间隔的时刻；
针对所述待监测数据表中的每条数据，将该条数据对应的所述第一时间标识和所述第二时间标识进行比较，若该条数据对应的所述第一时间标识和所述第二时间标识不同，则确定该条数据的时间标识发生变化；若该条数据对应的所述第一时间标识和所述第二时间标识相同，则确定该条数据的时间标识未发生变化。
可选的，异常监测模块33，还可以用于针对所述待监测数据表中的每条数据，在将该条数据对应的所述第一时间标识和所述第二时间标识进行比较，且确定该条数据对应的所述第一时间标识和所述第二时间标识不同之后，判断该条数据对应的所述第一时间标识和所述第二时间标识是否符合对应的预设变化规则，若该条数据对应的所述第一时间标识和所述第二时间标识符合对应的预设变化规则，则确定该条数据的时间标识发生变化；
若该条数据对应的所述第一时间标识和所述第二时间标识不符合对应的预设变化规则，则确定该条数据的时间标识未发生变化。
上述电力系统数据库数据异常监测装置，通过获取电力系统的数据中台中的待监测数据表及待监测数据表对应的源业务系统数据库，可以根据待监测数据表对应的源业务系统数据库，确定待监测数据表的业务关系，确定待监测数据表的业务关系后，由于每类业务关系对应一个预设监测条件，因此可以根据与业务关系对应的预设监测条件对待监测数据表中的各条数据进行监测，进而方便快捷地获得异常监测结果，以便在监测到异常数据后，及时地对待监测数据表中的各条数据中的异常数据进行告警及修正，以提高数据中台中的数据表中的数据的准确性，为电力系统中基于数据中台的数据分析提供良好的基础。
图4是本发明一实施例提供的电子设备的示意图。如图4所示，该实施例的电子设备400包括：处理器401、存储器402以及存储在所述存储器402中并可在所述处理器401上运行的计算机程序403，例如电力系统数据库数据异常监测程序。所述处理器401执行所述计算机程序403时实现上述电力系统数据库数据异常监测方法实施例中的步骤，例如图1所示的步骤101至103，或者图2所示的步骤1031至步骤1033，所述处理器401执行所述计算机程序403时实现上述各装置实施例中各模块的功能，例如图3所示模块31至33的功能。
示例性的，所述计算机程序403可以被分割成一个或多个程序模块，所述一个或者多个程序模块被存储在所述存储器402中，并由所述处理器401执行，以完成本发明。所述一个或多个程序模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序403在所述电力系统数据库数据异常监测装置或者电子设备400中的执行过程。例如，所述计算机程序403可以被分割成获取模块31、处理模块32和异常监测模块33，各模块具体功能如图3所示，在此不再一一赘述。
所述电子设备400可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器401、存储器402。本领域技术人员可以理解，图4仅仅是电子设备400的示例，并不构成对电子设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器402可以是所述电子设备400的内部存储单元，例如电子设备400的硬盘或内存。所述存储器402也可以是所述电子设备400的外部存储设备，例如所述电子设备400上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器402还可以既包括所述电子设备400的内部存储单元也包括外部存储设备。所述存储器402用于存储所述计算机程序以及所述电子设备400所需的其他程序和数据。所述存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种电力系统数据库数据异常监测方法，其特征在于，包括：
获取电力系统的数据中台中的待监测数据表及所述待监测数据表对应的源业务系统数据库；其中，所述数据中台中的每个数据表对应一个源业务系统数据库；
根据所述待监测数据表对应的源业务系统数据库，确定所述待监测数据表的业务关系；其中，每类业务关系对应于一个预设监测条件；
根据与所述待监测数据表的业务关系所对应的预设监测条件，对所述待监测数据表中的各条数据进行监测，并在监测到所述待监测数据表中某条数据发生异常时，向终端设备发送指示该条数据发生异常的异常提示消息。
2.如权利要求1所述的电力系统数据库数据异常监测方法，其特征在于，每个源业务系统数据库具有一个名称标识；
所述根据所述待监测数据表对应的源业务系统数据库，确定所述待监测数据表的业务关系，包括：
根据所述待监测数据表对应的源业务系统数据库的名称标识，确定所述待监测数据表的业务关系。
3.如权利要求1或2所述的电力系统数据库数据异常监测方法，其特征在于，所述业务关系包括：数据增加业务、数据减少业务或时间标识变化业务；
所述根据与所述待监测数据表的业务关系所对应的预设监测条件，对所述待监测数据表中的各条数据进行监测，包括：
若所述待监测数据表的业务关系为所述数据增加业务，监测所述待监测数据表中的各条数据的数据量是否增加；若所述待监测数据表中的某条数据的数据量未增加，则确定该条数据发生异常；若所述待监测数据表中的各条数据均增加，则确定所述待监测数据表中的各条数据均正常；
若所述待监测数据表的业务关系为所述数据减少业务，监测所述待监测数据表中的各条数据的数据量是否减少；若所述待监测数据表中的某条数据的数据量未减少，则确定该条数据发生异常；若所述待监测数据表中的各条数据均减少，则确定所述待监测数据表中的各条数据均正常；
若所述待监测数据表的业务关系为所述时间标识变化业务，监测所述待监测数据表中的各条数据的时间标识是否发生变化；若所述待监测数据表中的某条数据的时间标识未发生变化，则确定该条数据发生异常；若所述待监测数据表中的各条数据的时间标识均发生变化，则确定所述待监测数据表中的各条数据均正常。
4.如权利要求3所述的电力系统数据库数据异常监测方法，其特征在于，所述监测所述待监测数据表中的各条数据的数据量是否增加，包括：
获取所述待监测数据表中的各条数据当前时刻对应的第一数据量以及第一历史时刻对应的第二数据量；所述第一历史时刻为所述当前时刻之前第一预设时间间隔的时刻；
针对所述待监测数据表中的每条数据，将该条数据对应的所述第一数据量和所述第二数据量进行比较，若该条数据对应的所述第一数据量大于所述第二数据量，则确定该条数据的数据量增加；若该条数据对应的所述第一数据量小于或等于所述第二数据量，则确定该条数据的数据量未增加。
5.如权利要求3所述的电力系统数据库数据异常监测方法，其特征在于，所述监测所述待监测数据表中的各条数据的数据量是否减少，包括：
获取所述待监测数据表中的各条数据当前时刻对应的第三数据量以及第二历史时刻对应的第四数据量；所述第二历史时刻为所述当前时刻之前第二预设时间间隔的时刻；
针对所述待监测数据表中的每条数据，将该条数据对应的所述第三数据量和所述第四数据量进行比较，若该条数据对应的所述第三数据量小于所述第四数据量，则确定该条数据的数据量减少；若该条数据对应的所述第三数据量大于或等于所述第四数据量，则确定该条数据的数据量未减少。
6.如权利要求3所述的电力系统数据库数据异常监测方法，其特征在于，所述监测所述待监测数据表中的各条数据的时间标识是否发生变化，包括：
获取所述待监测数据表中的各条数据当前时刻对应的第一时间标识和第三历史时刻对应的第二时间标识；所述第三历史时刻为所述当前时刻之前第三预设时间间隔的时刻；
针对所述待监测数据表中的每条数据，将该条数据对应的所述第一时间标识和所述第二时间标识进行比较，若该条数据对应的所述第一时间标识和所述第二时间标识不同，则确定该条数据的时间标识发生变化；若该条数据对应的所述第一时间标识和所述第二时间标识相同，则确定该条数据的时间标识未发生变化。
7.如权利要求6所述的电力系统数据库数据异常监测方法，其特征在于，针对所述待监测数据表中的每条数据，在将该条数据对应的所述第一时间标识和所述第二时间标识进行比较，且确定该条数据对应的所述第一时间标识和所述第二时间标识不同之后，还包括：
判断该条数据对应的所述第一时间标识和所述第二时间标识是否符合对应的预设变化规则，若该条数据对应的所述第一时间标识和所述第二时间标识符合对应的预设变化规则，则确定该条数据的时间标识发生变化；
若该条数据对应的所述第一时间标识和所述第二时间标识不符合对应的预设变化规则，则确定该条数据的时间标识未发生变化。
8.一种电力系统数据库数据异常监测装置，其特征在于，包括：
获取模块，用于获取电力系统的数据中台中的待监测数据表及所述待监测数据表对应的源业务系统数据库；其中，所述数据中台中的每个数据表对应一个源业务系统数据库；
处理模块，用于根据所述待监测数据表对应的源业务系统数据库，确定所述待监测数据表的业务关系；其中，每类业务关系对应于一个预设监测条件；
异常监测模块，用于根据与所述待监测数据表的业务关系所对应的预设监测条件，对所述待监测数据表中的各条数据进行监测，并在监测到所述待监测数据表中某条数据发生异常时，向终端设备发送指示该条数据发生异常的异常提示消息。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110527574.4A CN113434498A (zh) | 2021-05-14 | 2021-05-14 | 电力系统数据库数据异常监测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110527574.4A CN113434498A (zh) | 2021-05-14 | 2021-05-14 | 电力系统数据库数据异常监测方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113434498A true CN113434498A (zh) | 2021-09-24 |
Family
ID=77802345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110527574.4A Pending CN113434498A (zh) | 2021-05-14 | 2021-05-14 | 电力系统数据库数据异常监测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113434498A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116048928A (zh) * | 2023-03-27 | 2023-05-02 | 新华三技术有限公司 | 一种业务监测方法、装置、电子设备及存储介质 |
| CN116668325A (zh) * | 2023-05-30 | 2023-08-29 | 广州银汉科技有限公司 | 一种基于一站式服务的游戏数据中台应用系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108073720A (zh) * | 2017-12-30 | 2018-05-25 | 广州明动软件股份有限公司 | 应用于大数据系统的数据质量管理系统及方法 |
| CN112084056A (zh) * | 2020-08-25 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 异常检测方法、装置、设备及存储介质 |
| CN112468516A (zh) * | 2020-12-17 | 2021-03-09 | 全球能源互联网研究院有限公司 | 一种安全防御方法、装置、电子设备及存储介质 |
| CN112612674A (zh) * | 2020-12-25 | 2021-04-06 | 北京三快在线科技有限公司 | 监控埋点数据的方法、装置、设备和计算机可读存储介质 |
| CN112714125A (zh) * | 2020-12-29 | 2021-04-27 | 成都知道创宇信息技术有限公司 | 一种系统安全监测方法、装置、存储介质及电子设备 |
-
2021
- 2021-05-14 CN CN202110527574.4A patent/CN113434498A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108073720A (zh) * | 2017-12-30 | 2018-05-25 | 广州明动软件股份有限公司 | 应用于大数据系统的数据质量管理系统及方法 |
| CN112084056A (zh) * | 2020-08-25 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 异常检测方法、装置、设备及存储介质 |
| CN112468516A (zh) * | 2020-12-17 | 2021-03-09 | 全球能源互联网研究院有限公司 | 一种安全防御方法、装置、电子设备及存储介质 |
| CN112612674A (zh) * | 2020-12-25 | 2021-04-06 | 北京三快在线科技有限公司 | 监控埋点数据的方法、装置、设备和计算机可读存储介质 |
| CN112714125A (zh) * | 2020-12-29 | 2021-04-27 | 成都知道创宇信息技术有限公司 | 一种系统安全监测方法、装置、存储介质及电子设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116048928A (zh) * | 2023-03-27 | 2023-05-02 | 新华三技术有限公司 | 一种业务监测方法、装置、电子设备及存储介质 |
| CN116048928B (zh) * | 2023-03-27 | 2023-06-20 | 新华三技术有限公司 | 一种业务监测方法、装置、电子设备及存储介质 |
| CN116668325A (zh) * | 2023-05-30 | 2023-08-29 | 广州银汉科技有限公司 | 一种基于一站式服务的游戏数据中台应用系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108897665B (zh) | 日志管理方法、装置、计算机设备及存储介质 | |
| CN110362455B (zh) | 一种数据处理方法和数据处理装置 | |
| CN113434498A (zh) | 电力系统数据库数据异常监测方法、装置及电子设备 | |
| CN112307057A (zh) | 数据的处理方法及装置、电子设备、计算机存储介质 | |
| CN111176937A (zh) | 消息中间件监控告警系统、方法、终端设备及存储介质 | |
| CN108181546B (zh) | 配电网故障的定位方法、定位装置及终端设备 | |
| CN111813638B (zh) | 一种告警信息处理方法、装置及终端设备 | |
| CN111400294B (zh) | 数据异常监测方法、装置及系统 | |
| CN110647913A (zh) | 基于聚类算法的异常数据检测方法及装置 | |
| CN110580220A (zh) | 测量代码段执行时间的方法及终端设备 | |
| CN112799919A (zh) | 数据监控方法、装置、设备及计算机存储介质 | |
| CN112087320A (zh) | 一种异常定位方法、装置、电子设备和可读存储介质 | |
| CN110795308A (zh) | 一种服务器检验方法、装置、设备及存储介质 | |
| CN110910061A (zh) | 一种物料管理方法、系统、存储介质以及电子设备 | |
| CN115643172A (zh) | 一种异常检测方法、装置、终端设备及存储介质 | |
| CN113806343B (zh) | 一种车联网数据质量的评估方法和系统 | |
| CN116302669A (zh) | 一种变电站保护定值监测方法、系统、装置及介质 | |
| CN116416764A (zh) | 报警阈值的生成方法和装置、电子设备和存储介质 | |
| CN110119337B (zh) | 一种数据分析方法、装置及服务器 | |
| CN112687030A (zh) | 车况信息处理方法和装置 | |
| CN113094241A (zh) | 一种实时程序准确性的确定方法、装置、设备及存储介质 | |
| CN113452533A (zh) | 计费自巡检、自愈合方法、装置、计算机设备和存储介质 | |
| CN115604668B (zh) | 短信发送和推送监控方法、装置、设备及存储介质 | |
| CN113806196B (zh) | 根因分析方法及系统 | |
| CN114441881A (zh) | 设备巡检方法、装置、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |