CN112395298A - 一种基于数据分层思想的数据一致性管理系统 - Google Patents
一种基于数据分层思想的数据一致性管理系统 Download PDFInfo
- Publication number
- CN112395298A CN112395298A CN202011155847.9A CN202011155847A CN112395298A CN 112395298 A CN112395298 A CN 112395298A CN 202011155847 A CN202011155847 A CN 202011155847A CN 112395298 A CN112395298 A CN 112395298A
- Authority
- CN
- China
- Prior art keywords
- data
- data processing
- service
- input
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 206
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 36
- 238000012795 verification Methods 0.000 claims description 12
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 33
- 238000007726 management method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 16
- 238000013508 migration Methods 0.000 description 10
- 230000005012 migration Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000001186 cumulative effect Effects 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Security & Cryptography (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种数据一致性管理系统,包括依次关联的原始数据层和多个业务数据处理层;原始数据层包括对应同一类型数据的不同数据采集节点的多个原始数据输入模块;各业务数据处理层包括多个业务数据处理模块,各业务数据处理模块的数据输入来源于其所在业务数据处理层的前一关联层的原始数据输入模块或业务数据处理模块;各原始数据输入模块接收对应数据采集节点的原始数据输入,各业务数据处理模块响应于满足预设的触发条件,从相关联的原始数据输入模块或业务数据处理模块获取数据,按照预设的业务数据处理规则进行数据处理,将数据处理结果传输至下一关联业务数据处理层,或者进行存储或输出。本发明能够实现水电、水利、电网、能源等系统中,数据在的多个环节之间发生变化时的关联响应,提高数据加工处理结果的一致性。
Description
技术领域
本发明涉及水电、水利、电网、能源等行业的数值质量管理控制技术领域,具体涉及一种基于数据分层思想的数据一致性管理系统。
背景技术
信息化的发展已经由IT时代进入了DT时代,数据已经成为了企业的战略资产,在数据资产管理时代,对数据的全生命周期管理提出了更高的要求,数据的质量成为了衡量数据管理能力的关键指标,为了不断的提升数据质量,需要从数据的采集、传输、处理、加工、共享等多个环节对数据进行全方位的管理,保障数据质量的持续提高。随着物联网时代数据采集手段的丰富多样化、数据在采集、通信传输、数据解析、数据共享和数据应用等环节过程中经常发生采集传感器故障、采集数值异常突变、数据传输延时等问题,这些问题都会影响数据加工处理的及时性和数据计算源的完整性。
数据的加工处理主要是为前端实现灵活高效调用服务的,而前端业务应用需求随着数据主体单位的职责、职能或者分工的变化而产生变化,具有难以预测性,而数据的加工处理过程也会随着需求的变化而产生一定的变化,久而久之,数据的加工处理就会烟窗化、复杂化,不利于数据质量的管理控制,经常由于各个数据加工环节之间相互不一致而导致数据在加工处理过程中产生数据的不一致,给数据主体单位造成应用困扰。
发明内容
本发明的目的是提供一种基于数据分层思想的数据一致性管理系统,能够实现水电、水利、电网、能源等系统中,数据在的多个环节之间发生变化时的关联响应,实现数据加工处理过程的全过程跟踪,提高数据加工处理结果的一致性。本发明采用的技术方案如下。
本发明提供一种数据一致性管理系统,包括依次关联的原始数据层和多个业务数据处理层;原始数据层包括多个原始数据输入模块,多个原始数据输入模块对应同一类型数据的不同数据采集节点;各业务数据处理层包括多个业务数据处理模块,各业务数据处理模块的数据输入来源于其所在业务数据处理层的前一关联层的原始数据输入模块或业务数据处理模块;
原始数据层中,各原始数据输入模块接收对应数据采集节点的原始数据输入;
业务数据层中,各业务数据处理模块响应于满足预设的触发条件,从相关联的原始数据输入模块或前一关联层的业务数据处理模块获取数据,进而按照预设的业务数据处理规则进行数据处理,得到数据处理结果,并将数据处理结果传输至下一关联业务数据处理层,或者对数据处理结果进行存储或输出。
可选的,原始数据的数据类型包括雨量、水位、流量、电量、功率等数值型数据类型。
可选的,各业务数据处理模块对于输入数据和输出数据分别预先配置输入数据对象定义和输出数据对象定义,包括:预先配置输入数据的数据点号、数据名称和输入对象集,以及预先配置输出数据的数据点号、数据名称和输出对象集;输入对象集和输出对象集中的数据对象分别定义为哈希键值对对象。
输入对象集中的数据对象包括:数据开始时间、数据结束时间、数据时段类型、时段步长、数据时间序列、数据上下限值,和/或数据变幅上下限值;数据输出对象集中的数据对象包括:数据开始时间、数据结束时间、数据时段类型、时段步长、数据时间序列、数据上下限值、数据变幅上下限值、数据加工计算是否成功,和/或数据计算失败原因。
可选的,各业务数据处理模块预设的触发条件包括:定时时间到、前一关联层的输出数据到达、延时数据到达、外部录入数据和/或外部修改数据。
可选的,各原始数据输入模块接收原始数据输入后,主动传输至相关联的业务数据处理层中预先指定的业务数据处理模块;
业务数据处理模块响应于接收到数据输入,按照预设的业务数据处理规则,基于接收到的数据进行处理,将处理结果传输至其所在业务数据处理层的后一关联层中预先指定的业务数据处理模块。也即,各业务数据处理模块的触发条件为接收到前一关联层的数据输入,当然各业务数据处理模块的触发条件可根据实际需要设置为其它形式。
可选的,各业务数据处理模块响应于满足预设的触发条件,从相关联的原始数据输入模块或前一关联层的业务数据处理模块获取数据,并按照预设的校验规则对获取到的数据进行完整性、正确性和/或时效性校验,若校验无误,则按照预设的业务数据处理规则进行数据处理。
可选的,各业务数据处理模块执行数据处理的时间设置为:在数据输出对象对应的时段末时刻之后,延时设定的时间。如业务数据处理模块需要统计7时~8时的累计雨量,则设置在整点延时固定的时间,比如说8:05分进行计算,这样能保障绝大多数情况下输入数据序列是完整的,也保障数据的时效。
可选的,业务数据处理模块进行校验时,若校验有误,则获取外部录入数据以满足校验;
对于从前一关联层获取的数据和外部录入的数据,业务数据处理模块分别配置其优先级别标签,将基于优先级最高的数据进行处理得到的数据处理结果:传输至下一关联层的关联业务数据处理模块,或者存储数据处理结果,或者响应于查询接口调用返回数据处理结果。
在不同的应用环境中,数据的优先级别标签可根据需要设置,可以是直接采集的数据优先级最高,也可以是外部录入或外部修改的数据优先级别最高。优先级代表了数据的置信度,当外部查询或数据输出显示时,系统将选择优先级别较高的数据进行输出,可保障一数一源,从而进一步保证数据应用和数据后续加工的一致性。
可选的,对于同一优先级别的输入数据,业务数据处理模块将在后输入数据覆盖在先输入数据,并基于在后输入数据进行数据处理。
有益效果
本发明以雨量、水位、流量、电量、功率等数据处理为研究基础,提出一种基于数据分层思想的数据一致性管理系统及其管理思路,能够实现数据加工处理流程构建和数据异常应急处理,保障数据处理节点的下游数据结点数据的一致性,同时可利用优先级别标签标记数据处理版本,可保障经过人工确认或者数据归档后的数据不再被数据处理流程连环触发重新计算覆盖。本发明能够适用于所有的数值型数据的处理,适用范围较广。
附图说明
图1是雨量数据加工迁移路线示意图;
图2是任一数据结点发生改变影响的雨量数据加工迁移路线示意图;
图3是水位数据加工迁移路线示意图;
图4是任一数据结点发生改变影响的水位数据加工迁移路线示意图;
图5是水电站水库水量平衡计算数据加工迁移路线示意图;
图6是任一数据结点发生改变影响的水库数据加工迁移路线示意图。
图7是数据加工处理计算判断逻辑流程示意图;
图8是本发明数据一致性管理系统的一种应用架构示意图。
具体实施方式
以下结合附图和具体实施例进一步描述。
参考图1至图6,本发明的数据一致性管理系统,包括依次关联的原始数据层和多个业务数据处理层;原始数据层包括多个原始数据输入模块,多个原始数据输入模块对应同一类型数据的不同数据采集节点;各业务数据处理层包括多个业务数据处理模块,各业务数据处理模块的数据输入来源于其所在业务数据处理层的前一关联层的原始数据输入模块或业务数据处理模块;
原始数据层中,各原始数据输入模块接收对应数据采集节点的原始数据输入;
业务数据层中,各业务数据处理模块响应于满足预设的触发条件,从相关联的原始数据输入模块或前一关联层的业务数据处理模块获取数据,进而按照预设的业务数据处理规则进行数据处理,得到数据处理结果,并将数据处理结果传输至下一关联业务数据处理层,或者对数据处理结果进行存储或输出。
本发明能够应用于水电、水利、电网、能源等系统中,所述数据类型包括雨量、水位、流量、电量、功率等数值型数据类型,如图8所示的应用架构。
实施例
以下具体介绍本发明数据一致性管理系统的实现,主要涉及以下内容:
1)构建数据加工迁移数据流程模型。
2)数据计算启动条件管理。
3)数据级别标签化管理。
4)模型节点数据变化的数据流程影响路线影响分析。
一、构建数据加工迁移流程模型
这部分内容可参考图1、图3和图5,具体的构建思想及方法如下:
11)将要加工的数据按照数据类型进行划分,比如可以将数据分为雨量、水位、流量、电量、功率等数值型数据类型。
12)根据业务需求设计每一类数据的加工处理流程,绘制出每一类数据的工程处理逻辑流程图,如图1、图3、图5示意图可以视为数据的加工处理流程图。
13)数据逻辑流程节点可以分为数据形式和数据加工算法,例如图1中矩形方框“雨量计数”、“小时雨量”、“时段最大降雨”、“日时段最大降雨”、“旬累计降雨数据”、“月累计降雨数据”和“年累计降雨数据”等都是数据在不同的加工阶段存在的数据形式,其落实为数据的存储形式;棱形框“小时雨量计算”、“时段最大降雨计算”、“日雨量统计”、“旬累计降雨统计”、“月累计降雨统计”、“年累计降雨统计”和“日时段累计降雨统计”等定义为数据加工算法,数据加工算法不限于图1、图3、图5中提到的方法和算法。
14)同一数据类型的两种不同数据存在形式或者不同数据类型的两种数据存在形式都由一种数据加工算法负责进行逻辑生成,这种逻辑是一种单向加工流,比如A数据通过一种算法加工成B数据,这种加工算法确定只做A数据类型加工成B数据类型的工作,不能同时反向执行;B数据加工成A数据的操作,如果存在一种情况需要将A数据加工成B数据类型,有时又需要将B数据类型加工成A数据类型,这种情况需要重新定义一种数据加工算法,确保数据加工流程的单向性。
15)梳理某一种类型数据的初始来源数据形式,初始的数据形式可以是采集的数据、也可以是第三方数据源提供的数据类型,也可以是系统本身生产的数据,一般将该类作为数据加工处理的起点数据,定义为原始数据层,比如图1中的雨量计数、图3中的实时水位、图5中的坝上水位、坝下水位、闸门开度、机组功率等数据为原始数据层的数据,“原始”的涵义主要是想区分数据是否具有再进一步的可追溯性;或者说在一个特定的系统中不需再往下追溯数据的联系性的数据,数据的加工处理流程从原始数据层开始。当然对于原始层的数据不是说在数据加工流程中什么都不需要做,因为它是数据加工流程的起始点,也是计算的触发点,所以需要对数据进行数值异常识别、数据缺数识别等数据质量甄别工作。
16)原始数据经过数据加工算法进行加工后生成的数据成为业务数据,业务数据再经过其它的数据加工算法加工成一种新的数据存在也叫业务数据,如图1、图3、图5中可见,业务数据有很多“层”,它有多少“层”取决于该数据类型的加工环节多少。
17)不同“层”的数据在数据存储设计可以进行逻辑分层存储,具体可以采用分表、分库、分用户等多种方式进行逻辑区分处理。
18)定义数据形式,这里描述的数据形式主要可以分为是否数值类型和是否时间序列2个维度进行数据描述,本发明中着重考虑的是数值数据和时间序列数据;
19)定义数据加工算法,数据加工算法由输入数据对象、算法接口对象和输出数据对象。具体的方法如下:
191)输入数据对象的定义主要包括数据点号、数据名称和数据输入对象集,数据点号用于唯一标识输入数据,数据名称用于识别数据名称;数据输入对象集定义为一个哈希键值对像,数据输入对象中包含的信息可以包括数据开始时间、数据结束时间、数据时段类型、时段步长、数据时间序列、数据上下限值、数据变幅上下限值等。
192)算法接口对象的定义包括算法唯一识别码,算法名称和算法实现函数,算法唯一识别码负责对每一种数据加工算法进行区分,并实现对数据加工算法进行统一管理;算法名称为算法的别名,便于用户识别;算法函数根据输入数据序列实现对应的数据加工,最终返回输出数据序列。
193)输出数据对象的定义主要包括数据点号、数据名称和数据输出对象集,数据点号用于唯一标识输入数据,数据名称用于识别数据名称;数据输出对象集属性定义为哈希键值对对像,数据输出对象中包含的信息可以包括数据开始时间、数据结束时间、数据时段类型、时段步长、数据时间序列、数据上下限值、数据变幅上下限值和数据加工计算是否成功和数据计算失败原因等。
二、数据计算启动条件管理配置
这部分的具体实现包括以下内容:
21)数据的加工处理的触发需要满足一定的条件才能够触发,否则将造成数据处理流程的混乱或者加工处理结果的不可靠,为了保障数据加工处理流程能够按照数据加工迁移数据流程模型构建的流程有序进行处理,需要给每个数据算法启动设置确定的启动条件,并对启动条件进行管理;数据是否具备从一种数据存在形式加工成另一种数据存在形式主要处决于该数据存在形式的完整性、正确性和时效性;
22)数据存在形式的完整性判断,比如小时雨量要累计计算为日雨量,需要一天中的24个小时雨量值都存在的情况下才能进行计算,否则有数据缺失的情况下加工的日累计雨量就可能会存在偏差,这个偏差会给后续的数据加工流程一直带来偏差,带来数据的不一致性和数据质量的降低,所以数据加工算法的启动的条件之一是需要进行输入数据的完整性判断,数据完整性判断包括缺数判断和数据附加状态缺失判断;
23)数据存在形式的正确性判断,应用传感器采集来的数据由于受到外部环境的干扰或者影响,经常出现数值异常的情况,对于一些有明确上下限界值的数据,传感器数据采集器可以进行初步的过滤,但是其它情况下出现的异常值就比较难以确定了,因此输入的数据序列经常会夹杂着异常数据,这类数据参与计算的话,会让加工后的数据出现偏离真实的情况,启动数据加工算法之前需要进行数据的正确性判断;
24)数据的时效性,一般来讲,数据的及时性越好,其数据的利用价值越高,但是受数据传输通信协议、网络带宽、网络稳定性等因素影响,数据到达目的地往往会出现延时的情况,在数据加工处理的环节中,经常会遇到输入数据序列还未到齐,而其下一个加工环节的数据需要在报表中或者决策过程中出现了,这个时候就不能完全保障数据的完整性,需要在数据加工处理过程中进行一定的取舍,一般比较普遍的做法是给数据加工算法设置定时进行处理的启动条件,让它的下一个环节能够顺利进行下去,等待输入数据序列的完整性满足后,再重新调用一次数据加工处理算法,覆盖前面的数据,保障数据的正确性。
25)数据启动计算的条件大致可以分为定时启动、延时数据到达启动、人工录入数据启动和数据修改启动,如图7。针对每个数据对象建立数据启动计算的监听器,用于识别和触发计算启动流程。
26)数据会出现延时是一个普遍存在的客观事实,绝大多数的数据延时在会出现在一定的时间范围之内,根据我司在水情遥测系统建设的经验来看,一般情况下实时野外遥测雨量、水位等数据的延时会在3分钟之内,因此雨量计数统计成小时雨量时,会按照定时启动计算的方法处理,比如统计7时~8时的累计雨量,会让它在整点延时固定的时间,比如说8:05分进行计算,这样能保障绝大多数情况下输入数据序列是完整的,也保障数据的时效。至于数据加工处理的延时可具体统计某一类数据的延时规律而进行确定。数据加工处理进行设置延时计算后依然会出现个别数据不能按时到达的情况,这也是避免不了的,有三种不能的处理方法:
26A)第一种方式是定时进行处理计算,等待延迟的数据到达后,启动重新计算流程,覆盖之前计算的数据结果,这种方式能保障数据计算的一致性;
26B)第二种方式是进行缺数检验,只要不满足计算要求,就不计算,等待数据完整后启动计算流程,保存数据结果,这种方式能保障数据计算的一致性,但是这种方式会大大的降低业务数据应用的时效性,大多数数据类型这样做是不可接受的;
26C)第三种方式是通过人工或者其它手段将缺失的数据点补全,进行定时处理计算,存储后续流程的数据结果,并将此数据标记为人工确认的数据标签,等待延迟的数据到达后,根据配置人工确认的数据标签级别是否高于数据加工算法输出的数据序列标签级别来确定是否用重新计算的数据覆盖人工补齐点参与计算的数据序列,这里面涉及到另一种数据分层思想——数据级别标签化管理。
三、数据级别标签化管理配置
具体的实现如下:
31)数据级别标签化管理是数据质量管理的一种手段,主要用于解决“一数多源”和“数据质量标识”问题。
32)“一数一源”,上述26A)描述的过程中在数据未到达之前先人工补数,等待原始数据到达后此数据属性的同一时间点就存在了两个数据源,在数据应用的过程中为了保障“一数一源”,保证数据应用和数据后续加工的一致性,就必须确立数据的主次地位,这就需要对数据进行级别标签化管理,实现数据级别标签化管理后,通过数据查询接口可以优先筛选标签级别高的数据参与展示、计算和共享等环节。而且根据数据标签的级别也可以确定该数据属性和时间点增加一种标签的数据类型后,可以自动的通过数据加工处理启动管理判断其后续的数据加工处理环节是否需要继续进行,也就解决了26A)描述中提出的问题。
33)“数据质量标识”,数据级别标签化就是一种数据质量标识,比如如果定义人工录入或者人工修改的数据其标签的级别高于采集的数据级别,也就意味着人工录入或人工修改的数据的质量或者说可信度高于采集的数据,具体计算流程见图7。数据级别标签化除了帮助确立不同来源数据的质量顺序外,还用于对一个属性的数据序列中存在的异常数据或者可疑数据进行标签化,便于用户和数据加工算法识别该数据的质量,比如在判断数据加工算法启动条件的环节中,可以判断如果输入数据序列存在异常数据必须经过修正,否则不能启动数据加工算法。
34)为了满足数据属性多样化的管理要求,不同情形下数据标签级别顺序可配置调整,数据标签一般可以定义为:
数据标签 | 数据级别 | 数据标签 | 数据级别 |
异常数据 | -1 | 人工修正数据 | 3 |
可疑数据 | 0 | 人工录入数据 | 3 |
正常采集数据 | 1 | 人工校核数据 | 3 |
自动计算数据 | 1 | 归档数据 | 4 |
程序自动识别修改数据 | 2 |
数据标签的级别总体上按照数据数值从小到大排列,也可以按照数据值从大到小排列,按照从小到大的顺序排列时,数值越大表示数据级别越高,也就是在级别高的数据先存在,低级别的数据不能够覆盖高级别的数据和触发后续的数据加工流程;
注意:上述数据级别定义中存在人工修正数据、人工录入数据和人工校核数据的数据级别是一样的,都是3,当同一个数据级别的数据先后产生时,根据图7中的判断规则,后产生的数据可以覆盖先产生的数据,然后出发数据加工流程;
注意:数据的级别并不是定死的,可以根据不同企业或者应用场景需要,来制定数据标签的级别秩序,比如有的企业觉得人工修正后的数据具有最高级别,任何来源的数据都不能覆盖此数据,那么就可以考虑将人工修正数据提高到最高级别。
四、模型节点数据变化的数据流程影响路线分析
模型节点数据变化的数据流程影响路线影响分析具体实现涉及以下内容:
41)以上第二和第三部分着重描述了一个数据加工处理节点的计算处理逻辑,根据步骤1)中构建的数据加工迁移数据流程模型,一个数据结点数据的改变,会引发以此数据结点作为数据输入对象的后续所有结点的连锁反应。连锁反应的示意图可见图2、图4、图6;
42)一般情况下存在数据修改、数据录入和数据延时到达三种情况触发数据加工流程;
43)定位某一个数据对象,利用数据对象点号在数据加工迁移数据流程模型中对该数据对象的影响数据节点进行追踪,可绘制出数据节点影响流程图,见图2、图4和图6;以图2为例,比如“小时雨量C”被人工修改了,它会影响到时段最大降雨计算和日雨量统计,“日累计雨量C”被修改了以后,它会影响旬累计降雨统计、旬累计降雨统计、旬累计降雨统计和日时段最大降雨统计;同时“小时雨量C”参与了“小时面平均雨量E”的统计,也将触发“小时面平均雨量E”的流程计算,这里就不一一赘述了,最终其影响范围可以描述成图2中标注红色线条和方框元素所组成的流程图。
44)确定某一个数据对象所影响的范围后,就可以利用图7中所描述的数据加工处理逻辑对该数据影响的环节逐级进行判断,重新启动数据加工处理算法 ,自动判断触发数据处理流程,保障数据的一致性。
本发明提供一种基于数据分层思想的数据一致性管理系统,其数据分层思想主要体现在计算逻辑分层、数据存储分层和数据标签分层3个方面,从数据加工一致性的角度旨在解决数据加工处理流程链条较长的情况下,任意环节数据被修改或者干预后,其后续环节的数据能够保持一致性。从数据存储的角度旨在解决将不同加工环节的数据进行逻辑分层存储,以便满足不同层次的应用需求,数据加工处理需求是由应用需求驱动的,不同层次的数据面向不同的应用需求;从数据质量管理的角度旨在解决“一数多源”的数据秩序问题,实现数据的版本管理,确立前端应用所获取的数据是最优质的版本的数据,同时通过数据标签不断提升数据管理的水平。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (9)
1.一种数据一致性管理系统,其特征是,包括依次关联的原始数据层和多个业务数据处理层;原始数据层包括多个原始数据输入模块,多个原始数据输入模块对应同一类型数据的不同数据采集节点;各业务数据处理层包括多个业务数据处理模块,各业务数据处理模块的数据输入来源于其所在业务数据处理层的前一关联层的原始数据输入模块或业务数据处理模块;
原始数据层中,各原始数据输入模块接收对应数据采集节点的原始数据输入;
业务数据层中,各业务数据处理模块响应于满足预设的触发条件,从相关联的原始数据输入模块或前一关联层的业务数据处理模块获取数据,进而按照预设的业务数据处理规则进行数据处理,得到数据处理结果,并将数据处理结果传输至下一关联业务数据处理层,或者对数据处理结果进行存储或输出。
2.根据权利要求1所述的数据一致性管理系统,其特征是,原始数据的数据类型包括雨量、水位、流量、电量或功率中的一种或多种类型。
3.根据权利要求1所述的数据一致性管理系统,其特征是,各业务数据处理模块对于输入数据和输出数据分别预先配置输入数据对象定义和输出数据对象定义,包括:预先配置输入数据的数据点号、数据名称和输入对象集,以及预先配置输出数据的数据点号、数据名称和输出对象集;输入对象集和输出对象集分别定义为哈希键值对对象;
输入对象集中的数据对象包括:数据开始时间、数据结束时间、数据时段类型、时段步长、数据时间序列、数据上下限值,和/或数据变幅上下限值;数据输出对象集中的数据对象包括:数据开始时间、数据结束时间、数据时段类型、时段步长、数据时间序列、数据上下限值、数据变幅上下限值、数据加工计算是否成功,和/或数据计算失败原因。
4.根据权利要求1所述的数据一致性管理系统,其特征是,各业务数据处理模块预设的触发条件包括:定时时间到、前一关联层的输出数据到达、延时数据到达、外部录入数据和/或外部修改数据。
5.根据权利要求1所述的数据一致性管理系统,其特征是,各原始数据输入模块接收原始数据输入后,主动传输至相关联的业务数据处理层中预先指定的业务数据处理模块;
业务数据处理模块响应于接收到数据输入,按照预设的业务数据处理规则,基于接收到的数据进行处理,将处理结果传输至其所在业务数据处理层的后一关联层中预先指定的业务数据处理模块。
6.根据权利要求1所述的数据一致性管理系统,其特征是,各业务数据处理模块响应于满足预设的触发条件,从相关联的原始数据输入模块或前一关联层的业务数据处理模块获取数据,并按照预设的校验规则对获取到的数据进行完整性、正确性和/或时效性校验,若校验无误,则按照预设的业务数据处理规则进行数据处理。
7.根据权利要求1所述的数据一致性管理系统,其特征是,各业务数据处理模块执行数据处理的时间设置为:在数据输出对象对应的时段末时刻之后,延时设定的时间。
8.根据权利要求1所述的数据一致性管理系统,其特征是,业务数据处理模块进行校验时,若校验有误,则获取外部录入数据以满足校验;
对于从前一关联层获取的数据和外部录入的数据,业务数据处理模块分别配置其优先级别标签,将基于优先级最高的数据进行处理得到的数据处理结果:传输至下一关联层的关联业务数据处理模块,或者存储数据处理结果,或者响应于查询接口调用返回数据处理结果。
9.根据权利要求8所述的数据一致性管理系统,其特征是,对于同一优先级别的输入数据,业务数据处理模块将在后输入数据覆盖在先输入数据,并基于在后输入数据进行数据处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011155847.9A CN112395298B (zh) | 2020-10-26 | 2020-10-26 | 一种基于数据分层思想的数据一致性管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011155847.9A CN112395298B (zh) | 2020-10-26 | 2020-10-26 | 一种基于数据分层思想的数据一致性管理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112395298A true CN112395298A (zh) | 2021-02-23 |
CN112395298B CN112395298B (zh) | 2024-07-12 |
Family
ID=74597047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011155847.9A Active CN112395298B (zh) | 2020-10-26 | 2020-10-26 | 一种基于数据分层思想的数据一致性管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112395298B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537498A (zh) * | 2021-06-30 | 2021-10-22 | 电子科技大学 | 基于TrustZone的可信量化模型推理方法 |
CN114185914A (zh) * | 2022-02-16 | 2022-03-15 | 西安热工研究院有限公司 | 计算标签数据的补算方法、系统、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7587404B1 (en) * | 2005-01-11 | 2009-09-08 | Lockheed Martin Corporation | Enhanced dynamic decision support processing using fused multiple disparate data sources |
CN104298779A (zh) * | 2014-11-04 | 2015-01-21 | 中国银行股份有限公司 | 海量数据加工的处理方法和系统 |
CN104657799A (zh) * | 2013-11-19 | 2015-05-27 | 国家电网公司 | 一种电网关口计量信息质量管理方法与系统 |
CN105184642A (zh) * | 2015-09-02 | 2015-12-23 | 浪潮软件集团有限公司 | 一种综合治税平台 |
CN111104394A (zh) * | 2019-12-31 | 2020-05-05 | 新奥数能科技有限公司 | 一种能源数据仓库系统构建方法及装置 |
CN111159273A (zh) * | 2019-12-31 | 2020-05-15 | 中国联合网络通信集团有限公司 | 数据流处理方法、装置、服务器及存储介质 |
-
2020
- 2020-10-26 CN CN202011155847.9A patent/CN112395298B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7587404B1 (en) * | 2005-01-11 | 2009-09-08 | Lockheed Martin Corporation | Enhanced dynamic decision support processing using fused multiple disparate data sources |
CN104657799A (zh) * | 2013-11-19 | 2015-05-27 | 国家电网公司 | 一种电网关口计量信息质量管理方法与系统 |
CN104298779A (zh) * | 2014-11-04 | 2015-01-21 | 中国银行股份有限公司 | 海量数据加工的处理方法和系统 |
CN105184642A (zh) * | 2015-09-02 | 2015-12-23 | 浪潮软件集团有限公司 | 一种综合治税平台 |
CN111104394A (zh) * | 2019-12-31 | 2020-05-05 | 新奥数能科技有限公司 | 一种能源数据仓库系统构建方法及装置 |
CN111159273A (zh) * | 2019-12-31 | 2020-05-15 | 中国联合网络通信集团有限公司 | 数据流处理方法、装置、服务器及存储介质 |
Non-Patent Citations (2)
Title |
---|
KAMAL TAHERI 等: "Critical Zone Assessments of an Alluvial Aquifer System Using the Multi-influencing Factor (MIF) and Analytical Hierarchy Process (AHP) Models in Western Iran", 《NATURAL RESOURCES RESEARCH》, vol. 29, 9 July 2019 (2019-07-09), pages 1163 - 1191, XP037070264, DOI: 10.1007/s11053-019-09516-2 * |
刘鑫;张瑜;: "电力网络系统中统计特征任务分层的大数据融合模型", 《电网与清洁能源》, no. 8, 25 August 2015 (2015-08-25), pages 42 - 45 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537498A (zh) * | 2021-06-30 | 2021-10-22 | 电子科技大学 | 基于TrustZone的可信量化模型推理方法 |
CN113537498B (zh) * | 2021-06-30 | 2022-07-26 | 电子科技大学 | 基于TrustZone的可信量化模型推理方法 |
CN114185914A (zh) * | 2022-02-16 | 2022-03-15 | 西安热工研究院有限公司 | 计算标签数据的补算方法、系统、设备及存储介质 |
CN114185914B (zh) * | 2022-02-16 | 2022-04-29 | 西安热工研究院有限公司 | 计算标签数据的补算方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112395298B (zh) | 2024-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3798846B1 (en) | Operation and maintenance system and method | |
CN110493025B (zh) | 一种基于多层有向图的故障根因诊断的方法及装置 | |
CN111143102B (zh) | 异常数据检测方法、装置、存储介质及电子设备 | |
CN110069572A (zh) | 基于大数据平台的hive任务调度方法、装置、设备及存储介质 | |
CN107220892B (zh) | 一种应用于海量p2p网贷金融数据智能预处理工具及方法 | |
WO2019006654A1 (zh) | 金融自助设备维修派单生成方法、手持终端及电子设备 | |
US20230385034A1 (en) | Automated decision making using staged machine learning | |
CN112395298A (zh) | 一种基于数据分层思想的数据一致性管理系统 | |
CN112749221A (zh) | 数据任务调度方法、装置、存储介质及调度工具 | |
WO2024067358A1 (zh) | 仓库管理系统的效率分析方法、系统及计算机设备 | |
CN114416703A (zh) | 数据完整性自动监控方法、装置、设备及介质 | |
CN110837496A (zh) | 一种基于动态sql实现的数据质量管理方法及系统 | |
CN110648111A (zh) | 基于工作流的审批任务处理方法、装置、电子设备、介质 | |
CN109409780A (zh) | 变更处理方法、装置、计算机设备和存储介质 | |
CN111913824A (zh) | 确定数据链路故障原因的方法及相关设备 | |
CN111614520B (zh) | 一种基于机器学习算法的idc流量数据预测方法及装置 | |
CN112506957A (zh) | 工作流依赖关系的确定方法及装置 | |
CN116090702B (zh) | 一种基于物联网的erp数据智能监管系统及方法 | |
CN114666375B (zh) | 一种基于北斗卫星的智慧农业物联网方法、系统及云平台 | |
CN108829534B (zh) | 数据问题修复方法、装置、计算机设备和存储介质 | |
CN107682173B (zh) | 基于交易模型的自动故障定位方法和系统 | |
CN113094241B (zh) | 一种实时程序准确性的确定方法、装置、设备及存储介质 | |
CN112965793B (zh) | 一种面向标识解析数据的数据仓库任务调度方法和系统 | |
CN109815003A (zh) | 智能设备间协同计算方法、系统、智能设备和介质 | |
CN113825162B (zh) | 电信网络故障原因定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |