CN110647417A - 能源互联网异常数据处理方法、装置及系统 - Google Patents

能源互联网异常数据处理方法、装置及系统 Download PDF

Info

Publication number
CN110647417A
CN110647417A CN201910825602.3A CN201910825602A CN110647417A CN 110647417 A CN110647417 A CN 110647417A CN 201910825602 A CN201910825602 A CN 201910825602A CN 110647417 A CN110647417 A CN 110647417A
Authority
CN
China
Prior art keywords
data
real
abnormal
time database
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910825602.3A
Other languages
English (en)
Other versions
CN110647417B (zh
Inventor
王敉佳
罗晓
王灵军
黄泽鑫
赵新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201910825602.3A priority Critical patent/CN110647417B/zh
Publication of CN110647417A publication Critical patent/CN110647417A/zh
Application granted granted Critical
Publication of CN110647417B publication Critical patent/CN110647417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793Remedial or corrective actions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models

Abstract

本申请涉及能源互联网异常数据处理方法、装置及系统,属于能源互联网异常数据处理技术领域。本申请方法包括:获取实时数据库数据,其中,实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据;确定实时数据库数据是否异常;如果确定出是异常,获取确定为异常的实时数据库数据所对应的原始帧数据;根据确定为异常的实时数据库数据及其所对应的原始帧数据,确定异常原因。通过本申请,能实现对能源互联网异常数据的异常原因的快速排查,从而提升能源互联网异常数据的异常原因的排查效率,以满足对能源互联网异常数据的及时排查处理的需求。

Description

能源互联网异常数据处理方法、装置及系统
技术领域
本申请属于能源互联网异常数据处理技术领域,具体涉及能源互联网异常数据处理方法、装置及系统。
背景技术
能源互联网是综合运用先进的电力电子技术,信息技术和智能管理技术,将大量由分布式能量采集装置,分布式能量储存装置和各种类型底层设备构成的新型电力网络、石油网络、天然气网络等能源节点互联起来,以实现能量双向流动的能量对等交换与共享网络。
在能源互联网中,常常会出现数据异常的问题。而当出现异常时,需要对异常问题进行排查,确定异常原因具体是什么,然后再进行修复异常数据。但众所周知的是,能源互联网的数据量是非常大的,而且实际的人工排查工程比较复杂,造成问题的排查难度增大,浪费了大量人力、物力,进而导致异常数据的排查效率比较低。
发明内容
为至少在一定程度上克服相关技术中存在的问题,本申请提供能源互联网异常数据处理方法、装置及系统,有助于提升能源互联网异常数据的异常原因的排查效率。
为实现以上目的,本申请采用如下技术方案:
第一方面,
本申请提供一种能源互联网异常数据处理方法,包括:
获取实时数据库数据,其中,所述实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据;
确定所述实时数据库数据是否异常;
如果确定出是异常,获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因。
进一步地,所述确定所述实时数据库数据是否异常,包括:
根据之前的历史数据库数据或者预设的用于比较分析的数据,确定所述实时数据库数据是否异常。
进一步地,所述获取确定为异常的所述实时数据库数据所对应的所述原始帧数据,包括:
获取确定为异常的所述实时数据库数据中的记录时间点;
根据获取到的所述记录时间点,从原始帧日志中查找所述记录时间点所对应的所述原始帧数据,其中,所述原始帧日志是根据所述底层设备实时上报的原始帧数据形成。
进一步地,所述根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因,包括:
重新解析确定为异常的所述实时数据库数据所对应的所述原始帧数据,得到重新解析出的数据;
根据确定为异常的所述实时数据库数据及其所对应的所述重新解析出的数据,确定所述异常原因。
进一步地,所述根据确定为异常的所述实时数据库数据及其所对应的所述重新解析出的数据,确定所述异常原因,包括:
如果确定为异常的所述实时数据库数据与其所对应的所述重新解析出的数据一致,则确定所述异常原因是所述底层设备上报的原始帧数据出现异常;或者,
如果确定为异常的所述实时数据库数据与其所对应的所述重新解析出的数据不一致,则确定所述异常原因是原始帧数据的解析处理出现异常。
进一步地,所述方法还包括:
生成报警信息,其中,所述报警信息中携带有确定为异常的所述实时数据库数据、以及确定出的所述异常原因;
向用户端发送所述报警信息,以使用户根据所述报警信息确定是否需要修复确定为异常的所述实时数据库数据。
进一步地,所述方法还包括:
接收所述用户端发送的数据修复指令,所述数据修复指令用于指示修复确定为异常的所述实时数据库数据;
根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复。
进一步地,所述根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复,包括:
如果确定出的所述异常原因是所述底层设备上报的原始帧数据出现异常,则获取一时间段数据库数据,其中,确定为异常的所述实时数据库数据处于所述时间段数据库数据中;
根据所述时间段数据库数据的变化趋势,对确定为异常的所述实时数据库数据进行修复。
进一步地,所述根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复,包括:
如果确定出的所述异常原因是所述原始帧数据的解析处理出现异常,则获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
重新解析所述原始帧数据,得到用于修复的数据;
使用所述用于修复的数据替换确定为异常的所述实时数据库数据。
第二方面,
本申请提供一种能源互联网异常数据处理装置,包括:
第一获取模块,用于获取实时数据库数据,其中,所述实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据;
第一确定模块,用于确定所述实时数据库数据是否异常;
第二获取模块,用于如果确定出是异常,获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
第二确定模块,用于根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因。
第三方面,
本申请提供一种能源互联网异常数据处理系统,包括:
数据分析处理服务器,用于:
获取实时数据库数据,其中,所述实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据;
确定所述实时数据库数据是否异常;
如果确定出是异常,获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因。
进一步地,所述系统还包括:
数据库服务器,用于向所述数据分析处理服务器提供所述实时数据库数据;
程序端,用于接收所述底层设备实时上报的所述原始帧数据,对所述底层设备实时上报的所述原始帧数据进行解析,得到所述实时数据库数据,并发送给所述数据库服务器;以及
应用程序服务器,用于接收所述底层设备实时上报的所述原始帧数据,形成原始帧日志,并发送给所述数据分析处理服务器,以使所述数据分析处理服务器能从所述原始帧日志中获取所述实时数据库数据所对应的所述原始帧数据。
进一步地,
所述数据分析处理服务器,还用于:生成报警信息,并向所述程序端发送所述报警信息,其中,所述报警信息中携带有确定为异常的所述实时数据库数据、以及确定出的所述异常原因;
所述程序端,还用于:向用户端转发所述报警信息,以使用户根据所述报警信息确定是否需要修复确定为异常的所述实时数据库数据。
进一步地,所述程序端,还用于:
接收所述用户端发送的数据修复指令,所述数据修复指令用于指示修复确定为异常的所述实时数据库数据;
根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复。
本申请采用以上技术方案,至少具备以下有益效果:
本申请通过获取实时数据库数据,在当判断出实时数据库数据出现异常时,获取实时数据库数据对应的原始帧数据,根据实时数据库数据及其所对应的原始帧数据来确定异常原因,进而能实现对能源互联网异常数据的异常原因的快速排查,从而提升能源互联网异常数据的异常原因的排查效率,以满足对能源互联网异常数据的及时排查处理的需求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的能源互联网异常数据处理方法的流程示意图;
图2为本申请一个实施例提供的原始帧日志;
图3为本申请另一个实施例提供的能源互联网异常数据处理方法的流程示意图;
图4为本申请另一个实施例提供的能源互联网异常数据处理方法的流程示意图;
图5为本申请一个实施例提供的能源互联网异常数据处理装置的结构示意图;
图6为本申请一个实施例提供的能源互联网异常数据处理系统的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将对本申请的技术方案进行详细的描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本申请所保护的范围。
图1为本申请一个实施例提供的能源互联网异常数据处理方法的流程示意图,如图1所示,该能源互联网异常数据处理方法包括如下步骤:
步骤S101、获取实时数据库数据,其中,所述实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据。
具体的,底层设备上报的是原始帧数据,该原始帧数据是未解析的数据,比如,底层设备上报的原始帧数据可以为十六进制形式的数据,该十六进制形式的数据可以包括数值、校验码等等。对于底层设备上报的是原始帧数据可以形成原始帧日志来进行记录,比如,如图2所示,图2示出了一个原始帧日志,其记录了十六进制形式的原始帧数据。
步骤S102、确定所述实时数据库数据是否异常。
具体地,在底层设备实时上报原始帧数据过程中,在对原始帧数据解析处理过程中,等等,都有可能导致数据出现异常,而异常的数据会被不加识别地存储到数据库中,因而需要及时排查出异常问题所在。
在一个实施例中,所述确定所述实时数据库数据是否异常,包括:
根据之前的历史数据库数据或者预设的用于比较分析的数据,确定所述实时数据库数据是否异常。
在能源互联网的实际应用中,通常情况下,数据是稳定的,因而可以根据之前的历史数据库数据或者预设的用于比较分析的数据来分析确定获取的实时数据库数据是否异常的,以根据之前的历史数据库数据的变化趋势进行分析为例,比如,可以判断实时数据库数据相对于历史数据库数据是否发生骤变,如果发生骤变,则确定为异常;又比如,之前的历史数据库数据均是稳定的正值情况下,可以判断实时数据库数据是否为负值,如果为负值,则确定为异常;等等。
步骤S103、如果确定出是异常,获取确定为异常的所述实时数据库数据所对应的所述原始帧数据。
在一个实施例中,所述获取确定为异常的所述实时数据库数据所对应的所述原始帧数据,包括:
获取确定为异常的所述实时数据库数据中的记录时间点;
根据获取到的所述记录时间点,从原始帧日志中查找所述记录时间点所对应的所述原始帧数据,其中,所述原始帧日志是根据所述底层设备实时上报的原始帧数据形成。
在具体应用中,对于底层设备上报的是原始帧数据可以形成原始帧日志来进行记录,比如,如图2所示,图2示出了一个原始帧日志,其记录了十六进制形式的原始帧数据,每条原始帧数据对应着一个具体的形成时间点,时间点可以精确到毫秒级。数据库中不断接收存储各个实时数据库数据,实时数据库数据是通过对底层设备实时上报的原始帧数据解析得到的数据,相应地,解析得到的各条实时数据库数据中也携带有对应的原始帧数据形成时的时间点。因而,可以通过获取确定为异常的实时数据库数据中的记录时间点,从原始帧日志中方向查找到该记录时间点所对应的原始帧数据,由此得到异常实时数据库数据所对应的原始帧数据。
在另一个实施例中,也可以在解析得到实时数据库数据时,记录实时数据库数据与其所对应的原始帧数据之间的一一对应关系,通过一一对应关系来获取异常实时数据库数据所对应的原始帧数据。
步骤S104、根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因。
具体地,在底层设备实时上报原始帧数据过程中,在对原始帧数据解析处理过程中,等等,都有可能导致数据出现异常,而异常的数据会被不加识别地存储到数据库中,因而需要及时排查出异常问题所在,比如:是底层设备实时上报原始帧数据时出现异常,还是对原始帧数据解析处理时出现异常,或者,还是其他原因,等等。
在一个实施例中,所述根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因,包括:
重新解析确定为异常的所述实时数据库数据所对应的所述原始帧数据,得到重新解析出的数据;
根据确定为异常的所述实时数据库数据及其所对应的所述重新解析出的数据,确定所述异常原因。
具体的,在实时数据库数据被确定为异常时,通过重新解析异常实时数据库数据所对应的原始帧数据,得到重新解析出的数据,将异常实时数据库数据与重新解析出的数据进行比较,来分析异常原因的具体情况。
进一步地,所述根据确定为异常的所述实时数据库数据及其所对应的所述重新解析出的数据,确定所述异常原因,包括:
如果确定为异常的所述实时数据库数据与其所对应的所述重新解析出的数据一致,则确定所述异常原因是所述底层设备上报的原始帧数据出现异常;或者,
如果确定为异常的所述实时数据库数据与其所对应的所述重新解析出的数据不一致,则确定所述异常原因是原始帧数据的解析处理出现异常。
具体的,如果异常实时数据库数据与重新解析出的数据进行比较后,确定两者是一致的,可以说明出现异常不是由对原始帧数据的解析处理导致的,问题发生在底层设备,使得底层设备上报的原始帧数据出现异常,比如,底层设备上报数据的传输过程中,数据发生跳变,由正值跳变为负值,导致上报数据错误,等等。如果异常实时数据库数据与重新解析出的数据进行比较后,确定两者是不一致的,可以说明出现异常是对原始帧数据的解析处理导致的,解析出了一个错误的实时数据库数据。
综上,通过获取实时数据库数据,在当判断出实时数据库数据出现异常时,获取实时数据库数据对应的原始帧数据,根据实时数据库数据及其所对应的原始帧数据来确定异常原因,进而能实现对能源互联网异常数据的异常原因的快速排查,从而提升能源互联网异常数据的异常原因的排查效率,以满足对能源互联网异常数据的及时排查处理的需求。
图3为本申请另一个实施例提供的能源互联网异常数据处理方法的流程示意图,如图3所示,该能源互联网异常数据处理方法包括如下步骤:
步骤S301、获取实时数据库数据,其中,所述实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据;
步骤S302、确定所述实时数据库数据是否异常;
步骤S303、如果确定出是异常,获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
步骤S304、根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因;
步骤S305、生成报警信息,其中,所述报警信息中携带有确定为异常的所述实时数据库数据、以及确定出的所述异常原因;
步骤S306、向用户端发送所述报警信息,以使用户根据所述报警信息确定是否需要修复确定为异常的所述实时数据库数据。
对于上述步骤S301至步骤S304,已在上述相关实施例中进行相应说明,在此不做赘述。
具体的,在确定出异常实时数据库数据的具体的异常原因后,生成报警信息,该报警信息中携带有异常实时数据库数据,以及确定出的异常原因,在将报警信息发送给用户端后,用户在用户端可以看到该报警信息具体内容,进而做出响应,比如,根据之前的历史报警记录,分析是否需要修复异常的实时数据库数据。
图4为本申请另一个实施例提供的能源互联网异常数据处理方法的流程示意图,如图4所示,该能源互联网异常数据处理方法包括如下步骤:
步骤S401、获取实时数据库数据,其中,所述实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据;
步骤S402、确定所述实时数据库数据是否异常;
步骤S403、如果确定出是异常,获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
步骤S404、根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因;
步骤S405、生成报警信息,其中,所述报警信息中携带有确定为异常的所述实时数据库数据、以及确定出的所述异常原因;
步骤S406、向用户端发送所述报警信息,以使用户根据所述报警信息确定是否需要修复确定为异常的所述实时数据库数据;
步骤S407、接收所述用户端发送的数据修复指令,所述数据修复指令用于指示修复确定为异常的所述实时数据库数据;
步骤S408、根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复。
对于上述步骤S401至步骤S406,已在上述相关实施例中进行相应说明,在此不做赘述。
具体的,在接收到数据修复指令,根据之前确定出的异常原因,相应地对异常实时数据库数据进行修复,下述通过相关实施例进行进一步说明。
在一个实施例中,所述根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复,包括:
如果确定出的所述异常原因是所述底层设备上报的原始帧数据出现异常,则获取一时间段数据库数据,其中,确定为异常的所述实时数据库数据处于所述时间段数据库数据中;
根据所述时间段数据库数据的变化趋势,对确定为异常的所述实时数据库数据进行修复。
具体的,在确定异常原因是底层设备上报的原始帧数据出现异常时,该情况下,原始帧数据自身已没有使用价值,对于异常实时数据库数据的修复,本申请给出根据异常实时数据库数据所处的一个时间段数据库数据进行修复,在具体应用中,可以根据该时间段数据库数据的总体变化趋势,来得到一个修复数据,对异常实时数据库数据进行替换修复。
在另一个实施例中,所述根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复,包括:
如果确定出的所述异常原因是所述原始帧数据的解析处理出现异常,则获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
重新解析所述原始帧数据,得到用于修复的数据;
使用所述用于修复的数据替换确定为异常的所述实时数据库数据。
具体的,在确定异常原因是原始帧数据的解析处理出现异常时,该情况下,可认为底层设备上报的该原始帧数据是正常的,只是初始时对该原始帧数据的解析处理出现异常,因而是可以再利用该原始帧数据,重新解析该原始帧数据,得到用于修复的数据,对异常实时数据库数据进行替换修复。
另外,对于在确定异常原因是原始帧数据的解析处理出现异常时,该情况下,也可以采用上述的获取一时间段数据库数据,根据时间段数据库数据的变化趋势,对异常实时数据库数据进行修复。
综上,通过上述相关实施例方案,可实现对异常数据快速排查出问题,并进行报警,当接收到数据修复指令时,对异常数据进行自动修复。
图5为本申请一个实施例提供的能源互联网异常数据处理装置的结构示意图,如图5所示,该能源互联网异常数据处理装置5包括:
第一获取模块501,用于获取实时数据库数据,其中,所述实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据;
第一确定模块502,用于确定所述实时数据库数据是否异常;
第二获取模块503,用于如果确定出是异常,获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
第二确定模块504,用于根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因。
进一步地,第一确定模块502,具体用于:
根据之前的历史数据库数据或者预设的用于比较分析的数据,确定所述实时数据库数据是否异常。
进一步地,第二获取模块503,具体用于:
获取确定为异常的所述实时数据库数据中的记录时间点;
根据获取到的所述记录时间点,从原始帧日志中查找所述记录时间点所对应的所述原始帧数据,其中,所述原始帧日志是根据所述底层设备实时上报的原始帧数据形成。
进一步地,第二确定模块504,具体用于:
重新解析确定为异常的所述实时数据库数据所对应的所述原始帧数据,得到重新解析出的数据;
根据确定为异常的所述实时数据库数据及其所对应的所述重新解析出的数据,确定所述异常原因。
进一步地,所述根据确定为异常的所述实时数据库数据及其所对应的所述重新解析出的数据,确定所述异常原因,包括:
如果确定为异常的所述实时数据库数据与其所对应的所述重新解析出的数据一致,则确定所述异常原因是所述底层设备上报的原始帧数据出现异常;或者,
如果确定为异常的所述实时数据库数据与其所对应的所述重新解析出的数据不一致,则确定所述异常原因是原始帧数据的解析处理出现异常。
进一步地,该能源互联网异常数据处理装置5还包括:
生成模块505,用于生成报警信息,其中,所述报警信息中携带有确定为异常的所述实时数据库数据、以及确定出的所述异常原因;
发送模块506,用于向用户端发送所述报警信息,以使用户根据所述报警信息确定是否需要修复确定为异常的所述实时数据库数据。
接收模块507,用于接收所述用户端发送的数据修复指令,所述数据修复指令用于指示修复确定为异常的所述实时数据库数据;
修复模块508,用于根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复。
进一步地,修复模块508,具体用于:
如果确定出的所述异常原因是所述底层设备上报的原始帧数据出现异常,则获取一时间段数据库数据,其中,确定为异常的所述实时数据库数据处于所述时间段数据库数据中;
根据所述时间段数据库数据的变化趋势,对确定为异常的所述实时数据库数据进行修复。
进一步地,修复模块508,具体用于:
如果确定出的所述异常原因是所述原始帧数据的解析处理出现异常,则获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
重新解析所述原始帧数据,得到用于修复的数据;
使用所述用于修复的数据替换确定为异常的所述实时数据库数据。
关于上述相关实施例中的能源互联网异常数据处理装置5,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图6为本申请一个实施例提供的能源互联网异常数据处理系统的结构示意图,如图6所示,该能源互联网异常数据处理系统6包括:
数据分析处理服务器601,用于:
获取实时数据库数据,其中,所述实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据;
确定所述实时数据库数据是否异常;
如果确定出是异常,获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因。
进一步地,所述确定所述实时数据库数据是否异常,包括:
根据之前的历史数据库数据或者预设的用于比较分析的数据,确定所述实时数据库数据是否异常。
进一步地,所述获取确定为异常的所述实时数据库数据所对应的所述原始帧数据,包括:
获取确定为异常的所述实时数据库数据中的记录时间点;
根据获取到的所述记录时间点,从原始帧日志中查找所述记录时间点所对应的所述原始帧数据,其中,所述原始帧日志是根据所述底层设备实时上报的原始帧数据形成。
进一步地,所述根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因,包括:
重新解析确定为异常的所述实时数据库数据所对应的所述原始帧数据,得到重新解析出的数据;
根据确定为异常的所述实时数据库数据及其所对应的所述重新解析出的数据,确定所述异常原因。
进一步地,所述根据确定为异常的所述实时数据库数据及其所对应的所述重新解析出的数据,确定所述异常原因,包括:
如果确定为异常的所述实时数据库数据与其所对应的所述重新解析出的数据一致,则确定所述异常原因是所述底层设备上报的原始帧数据出现异常;或者,
如果确定为异常的所述实时数据库数据与其所对应的所述重新解析出的数据不一致,则确定所述异常原因是原始帧数据的解析处理出现异常。
进一步地,所述系统6还包括:
数据库服务器602,用于向所述数据分析处理服务器601提供所述实时数据库数据;
程序端603,用于接收所述底层设备实时上报的所述原始帧数据,对所述底层设备实时上报的所述原始帧数据进行解析,得到所述实时数据库数据,并发送给所述数据库服务器602;以及
应用程序服务器604,用于接收所述底层设备实时上报的所述原始帧数据,形成原始帧日志,并发送给所述数据分析处理服务器601,以使所述数据分析处理服务器601能从所述原始帧日志中获取所述实时数据库数据所对应的所述原始帧数据。
进一步地,
所述数据分析处理服务器601,还用于:生成报警信息,并向所述程序端603发送所述报警信息,其中,所述报警信息中携带有确定为异常的所述实时数据库数据、以及确定出的所述异常原因;
所述程序端603,还用于:向用户端605转发所述报警信息,以使用户根据所述报警信息确定是否需要修复确定为异常的所述实时数据库数据。
进一步地,所述程序端603,还用于:
接收所述用户端605发送的数据修复指令,所述数据修复指令用于指示修复确定为异常的所述实时数据库数据;
根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复。
进一步地,所述根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复,包括:
如果确定出的所述异常原因是所述底层设备上报的原始帧数据出现异常,则获取一时间段数据库数据,其中,确定为异常的所述实时数据库数据处于所述时间段数据库数据中;
根据所述时间段数据库数据的变化趋势,对确定为异常的所述实时数据库数据进行修复。
进一步地,所述根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复,包括:
如果确定出的所述异常原因是所述原始帧数据的解析处理出现异常,则获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
重新解析所述原始帧数据,得到用于修复的数据;
使用所述用于修复的数据替换确定为异常的所述实时数据库数据。
本申请给出上述相关实施例中的能源互联网异常数据处理系统6的系统架构,其具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”、“多”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为:表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种能源互联网异常数据处理方法,其特征在于,包括:
获取实时数据库数据,其中,所述实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据;
确定所述实时数据库数据是否异常;
如果确定出是异常,获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因。
2.根据权利要求1所述的方法,其特征在于,所述确定所述实时数据库数据是否异常,包括:
根据之前的历史数据库数据或者预设的用于比较分析的数据,确定所述实时数据库数据是否异常。
3.根据权利要求1所述的方法,其特征在于,所述获取确定为异常的所述实时数据库数据所对应的所述原始帧数据,包括:
获取确定为异常的所述实时数据库数据中的记录时间点;
根据获取到的所述记录时间点,从原始帧日志中查找所述记录时间点所对应的所述原始帧数据,其中,所述原始帧日志是根据所述底层设备实时上报的原始帧数据形成。
4.根据权利要求1所述的方法,其特征在于,所述根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因,包括:
重新解析确定为异常的所述实时数据库数据所对应的所述原始帧数据,得到重新解析出的数据;
根据确定为异常的所述实时数据库数据及其所对应的所述重新解析出的数据,确定所述异常原因。
5.根据权利要求4所述的方法,其特征在于,所述根据确定为异常的所述实时数据库数据及其所对应的所述重新解析出的数据,确定所述异常原因,包括:
如果确定为异常的所述实时数据库数据与其所对应的所述重新解析出的数据一致,则确定所述异常原因是所述底层设备上报的原始帧数据出现异常;或者,
如果确定为异常的所述实时数据库数据与其所对应的所述重新解析出的数据不一致,则确定所述异常原因是原始帧数据的解析处理出现异常。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
生成报警信息,其中,所述报警信息中携带有确定为异常的所述实时数据库数据、以及确定出的所述异常原因;
向用户端发送所述报警信息,以使用户根据所述报警信息确定是否需要修复确定为异常的所述实时数据库数据。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
接收所述用户端发送的数据修复指令,所述数据修复指令用于指示修复确定为异常的所述实时数据库数据;
根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复。
8.根据权利要求7所述的方法,其特征在于,所述根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复,包括:
如果确定出的所述异常原因是所述底层设备上报的原始帧数据出现异常,则获取一时间段数据库数据,其中,确定为异常的所述实时数据库数据处于所述时间段数据库数据中;
根据所述时间段数据库数据的变化趋势,对确定为异常的所述实时数据库数据进行修复。
9.根据权利要求7所述的方法,其特征在于,所述根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复,包括:
如果确定出的所述异常原因是所述原始帧数据的解析处理出现异常,则获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
重新解析所述原始帧数据,得到用于修复的数据;
使用所述用于修复的数据替换确定为异常的所述实时数据库数据。
10.一种能源互联网异常数据处理装置,其特征在于,包括:
第一获取模块,用于获取实时数据库数据,其中,所述实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据;
第一确定模块,用于确定所述实时数据库数据是否异常;
第二获取模块,用于如果确定出是异常,获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
第二确定模块,用于根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因。
11.一种能源互联网异常数据处理系统,其特征在于,包括:
数据分析处理服务器,用于:
获取实时数据库数据,其中,所述实时数据库数据为通过对底层设备实时上报的原始帧数据解析得到的数据;
确定所述实时数据库数据是否异常;
如果确定出是异常,获取确定为异常的所述实时数据库数据所对应的所述原始帧数据;
根据确定为异常的所述实时数据库数据及其所对应的所述原始帧数据,确定异常原因。
12.根据权利要求11所述的系统,其特征在于,所述系统还包括:
数据库服务器,用于向所述数据分析处理服务器提供所述实时数据库数据;
程序端,用于接收所述底层设备实时上报的所述原始帧数据,对所述底层设备实时上报的所述原始帧数据进行解析,得到所述实时数据库数据,并发送给所述数据库服务器;以及
应用程序服务器,用于接收所述底层设备实时上报的所述原始帧数据,形成原始帧日志,并发送给所述数据分析处理服务器,以使所述数据分析处理服务器能从所述原始帧日志中获取所述实时数据库数据所对应的所述原始帧数据。
13.根据权利要求12所述的系统,其特征在于,
所述数据分析处理服务器,还用于:生成报警信息,并向所述程序端发送所述报警信息,其中,所述报警信息中携带有确定为异常的所述实时数据库数据、以及确定出的所述异常原因;
所述程序端,还用于:向用户端转发所述报警信息,以使用户根据所述报警信息确定是否需要修复确定为异常的所述实时数据库数据。
14.根据权利要求13所述的系统,其特征在于,
所述程序端,还用于:
接收所述用户端发送的数据修复指令,所述数据修复指令用于指示修复确定为异常的所述实时数据库数据;
根据确定出的所述异常原因,对确定为异常的所述实时数据库数据进行修复。
CN201910825602.3A 2019-09-03 2019-09-03 能源互联网异常数据处理方法、装置及系统 Active CN110647417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910825602.3A CN110647417B (zh) 2019-09-03 2019-09-03 能源互联网异常数据处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910825602.3A CN110647417B (zh) 2019-09-03 2019-09-03 能源互联网异常数据处理方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110647417A true CN110647417A (zh) 2020-01-03
CN110647417B CN110647417B (zh) 2020-09-22

Family

ID=69010013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910825602.3A Active CN110647417B (zh) 2019-09-03 2019-09-03 能源互联网异常数据处理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110647417B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765228A (zh) * 2020-12-22 2021-05-07 珠海格力电器股份有限公司 Iems数据问题排查系统及方法
CN114422595A (zh) * 2021-12-28 2022-04-29 江苏亿控智能装备有限公司 自定义can系统及其报文解析方法
CN115501610A (zh) * 2022-09-26 2022-12-23 广州星火文化科技有限公司 一种游戏系统的异常数据处理方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060149598A1 (en) * 2002-02-15 2006-07-06 Akira Adachi Reproduction test service apparatus for medical systems, maintenance support information management apparatus, X-ray CT system, and maintenance service center apparatus
US20100185590A1 (en) * 2009-01-20 2010-07-22 International Business Machines Corporation Autonomic information management system (ims) mainframe database pointer error diagnostic data extraction
CN103941675A (zh) * 2014-03-27 2014-07-23 北京卓越经纬测控技术有限公司 基于无线网络的安全监测管理系统
US20160085792A1 (en) * 2014-09-24 2016-03-24 Logzilla Corporation Systems and methods for large-scale system log analysis, deduplication and management
CN105677917A (zh) * 2016-03-03 2016-06-15 威海众成信息科技股份有限公司 面向航空发动机性能监控的海量数据管理方法及系统
CN105763389A (zh) * 2016-05-24 2016-07-13 重庆邮电大学 一种基于Android平台的电力监控与故障信息管理系统
CN107273263A (zh) * 2017-05-26 2017-10-20 努比亚技术有限公司 一种异常运行的分析方法、应用终端及监控服务器
CN107909508A (zh) * 2017-09-26 2018-04-13 国网辽宁省电力有限公司 一种配电变压器负荷异常告警方法
CN108665977A (zh) * 2018-04-24 2018-10-16 上海市浦东新区周浦医院 针对病情预警与干预管理的人机协作系统及方法
CN108920833A (zh) * 2018-07-03 2018-11-30 北京天华星航科技有限公司 基于云管理平台的分析方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060149598A1 (en) * 2002-02-15 2006-07-06 Akira Adachi Reproduction test service apparatus for medical systems, maintenance support information management apparatus, X-ray CT system, and maintenance service center apparatus
US20100185590A1 (en) * 2009-01-20 2010-07-22 International Business Machines Corporation Autonomic information management system (ims) mainframe database pointer error diagnostic data extraction
CN103941675A (zh) * 2014-03-27 2014-07-23 北京卓越经纬测控技术有限公司 基于无线网络的安全监测管理系统
US20160085792A1 (en) * 2014-09-24 2016-03-24 Logzilla Corporation Systems and methods for large-scale system log analysis, deduplication and management
CN105677917A (zh) * 2016-03-03 2016-06-15 威海众成信息科技股份有限公司 面向航空发动机性能监控的海量数据管理方法及系统
CN105763389A (zh) * 2016-05-24 2016-07-13 重庆邮电大学 一种基于Android平台的电力监控与故障信息管理系统
CN107273263A (zh) * 2017-05-26 2017-10-20 努比亚技术有限公司 一种异常运行的分析方法、应用终端及监控服务器
CN107909508A (zh) * 2017-09-26 2018-04-13 国网辽宁省电力有限公司 一种配电变压器负荷异常告警方法
CN108665977A (zh) * 2018-04-24 2018-10-16 上海市浦东新区周浦医院 针对病情预警与干预管理的人机协作系统及方法
CN108920833A (zh) * 2018-07-03 2018-11-30 北京天华星航科技有限公司 基于云管理平台的分析方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765228A (zh) * 2020-12-22 2021-05-07 珠海格力电器股份有限公司 Iems数据问题排查系统及方法
CN114422595A (zh) * 2021-12-28 2022-04-29 江苏亿控智能装备有限公司 自定义can系统及其报文解析方法
CN115501610A (zh) * 2022-09-26 2022-12-23 广州星火文化科技有限公司 一种游戏系统的异常数据处理方法及系统
CN115501610B (zh) * 2022-09-26 2023-05-05 广州星火文化科技有限公司 一种游戏系统的异常数据处理方法及系统

Also Published As

Publication number Publication date
CN110647417B (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN110647417B (zh) 能源互联网异常数据处理方法、装置及系统
EP3557819A1 (en) Server failure detection method and system
CN106685676B (zh) 一种节点切换方法及装置
CN110716842A (zh) 集群故障检测方法和装置
CN106034051A (zh) 网络监控数据处理方法及网络监控数据处理装置
US7933211B2 (en) Method and system for providing prioritized failure announcements
CN105471932A (zh) 一种前端应用的监控方法、设备和系统
CN110941558B (zh) 一种智慧办公远程运维的方法及系统
CN116204385A (zh) 一种计算机日志监控方法及系统
CN109818808B (zh) 故障诊断方法、装置和电子设备
CN113360353B (zh) 一种测试服务器和云平台
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
CN110532146B (zh) 一种数据采集监控方法及装置
CN112463612A (zh) 巡检方法、装置、电子设备和介质
CN114500178B (zh) 一种自运维的智慧物联网关
CN116299129A (zh) 一种全光纤电流互感器状态检测分析方法、装置及介质
CN115480948A (zh) 硬盘故障预测方法及相关设备
CN112291302B (zh) 物联网设备行为数据分析方法与处理系统
CN113726808A (zh) 一种网站监测方法、装置、设备及存储介质
CN113254313A (zh) 一种监控指标异常检测方法、装置、电子设备及存储介质
CN113064890A (zh) 一种运营商数据的质量评估方法、装置、服务器及介质
CN111262728A (zh) 基于日志端口流量的流量负载监控系统
CN107678905B (zh) 一种监控方法和装置
EP4336883A1 (en) Modeling method, network element data processing method and apparatus, electronic device, and medium
CN117439899B (zh) 一种基于大数据的通信机房巡检方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant