CN116881610B - 能源设备量测项数据流式计算方法、装置、设备及介质 - Google Patents
能源设备量测项数据流式计算方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116881610B CN116881610B CN202311154021.4A CN202311154021A CN116881610B CN 116881610 B CN116881610 B CN 116881610B CN 202311154021 A CN202311154021 A CN 202311154021A CN 116881610 B CN116881610 B CN 116881610B
- Authority
- CN
- China
- Prior art keywords
- formula
- data
- calculation
- time window
- referenced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 170
- 238000005259 measurement Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 5
- 238000005538 encapsulation Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 6
- 238000005265 energy consumption Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011064 split stream procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于数据流式计算技术领域，具体提供一种能源设备量测项数据流式计算方法、装置、设备及介质，所述方法包括如下步骤：对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性；逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池；在限定的时间窗口中公式数据池有数据更新，时间窗口结束时将有更新的公式数据池进行公式计算；将计算结果保存在时序数据库，并将计算结果中被计算公式引用的数据返回第一步，继续分拣处理。按照公式引用关系进行分拣和存储，避免了对大量数据的集中存储，减少了对数据的并发访问。
Description
技术领域
本发明涉及量测项数据流式计算技术领域，具体涉及一种能源设备量测项数据流式计算方法、装置、设备及介质。
背景技术
能源设备量测项数据经物联前置服务采集，然后进行数据格式化，通过消息中间件发送时间项数据，经过流式计算可获取指标和告警信息，从而用于能源监控、能源分析和运营管理。面向场景为大批量设备量测数据周期性产生，量测数据需根据设备的关系进行多次计算和在数据采集过程中同步完成计算。
相关进行流式计算的步骤包括步骤一： 缓存固定时间窗口内的量测数据；步骤二： 在下一个窗口来临时对缓存的数据进行处理，对同一量测项的多次数据保留时间戳最新的，然后把形成的数据集进行后续处理；步骤三： 将步骤二形成的数据集合并到全量数据池中，合并规则是如果池中没有该数据项就添加，如果存在就用步骤三中数据集合中数据覆盖数据池中对应数据项；步骤四： 根据步骤三形成的数据集合筛选计算公式，如果公式引用的数据在该数据集合中则选择该公式，最终形成待计算的公式列表；步骤五： 对形成的待计算的公式列表集中进行计算，为提升形成采用线程池进行并行计算；步骤六： 计算出的结果输出到时序数据库记录。
这种计算方式如果数据指标数及时间窗口比较长时导致内存消耗比较高，在时间窗口结束计算时同一指标数据仅需要在这段时间里时间戳最新的那项数据；数据按照树形结构，在内存中存储，在更新和获取时都需要对整棵树的遍历，效率低而且容易存在并发访问的数据同步问题；单项数据更新导致所有的公式就要被遍历，为提升效率，采用了集中的多线程的模式，这导致并发机制，存在数据处理量的上限；计算出的指标被用于有更大集合关系的数据项的计算，因而既是数据的消费者，也是数据的生产者，这容易出现触发不必要的计算和数据的无限值的生成和消费。
发明内容
现有的计算方式如果数据指标数及时间窗口比较长时导致内存消耗比较高，在时间窗口结束计算时同一指标数据仅需要在这段时间里时间戳最新的那项数据；数据按照树形结构，在内存中存储，在更新和获取时都需要对整棵树的遍历，效率低而且容易存在并发访问的数据同步问题，本发明提供一种能源设备量测项数据流式计算方法、装置、设备及介质。
第一方面，本发明技术方案提供一种能源设备量测项数据流式计算方法，包括如下步骤：
对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性；
逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池；
在限定的时间窗口中公式数据池有更新，时间窗口结束时将有更新的公式数据池进行公式计算；
将计算结果保存在时序数据库，并将计算结果中被计算公式引用的数据返回步骤：对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性，继续处理。
作为本发明技术方案的进一步限定，对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性的步骤包括：
对接收到的时间项数据根据设备编码进行分拣；
获取并遍历公式列表，判断分拣后的数据是否被计算公式引用；
若是，获取引用该数据的所有计算公式的公式ID并记录获取的公式ID的数量N；
将该数据复制N-1次生成N个相同的数据并将这N个相同的数据与N个公式ID一一对应，每个数据增加对应的公式ID作为属性；
若否，将数据存入时序数据库。
作为本发明技术方案的进一步限定，逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池的步骤包括：
逐个按照公式ID将被计算公式引用的数据进行汇聚；
将汇聚后的数据根据流式计算规则进行数据处理；
将处理后的数据更新到公式ID对应的公式数据池中。
作为本发明技术方案的进一步限定，在限定的时间窗口中公式数据池有更新，时间窗口结束时将有更新的公式数据池进行公式计算的步骤包括：
在限定的时间窗口中判断公式数据池是否有更新；
若是，将该公式数据池对应的公式增加待计算标识；
时间窗口结束时，根据待计算标识触发对应公式的计算；
若否，进行下一个时间窗口的处理。
作为本发明技术方案的进一步限定，时间窗口结束时，根据待计算标识触发对应公式的计算的步骤包括：
时间窗口结束时，判断待计算标识是否存在；
若是，触发待计算标识对应的公式进行计算；
若否，进行下一个时间窗口的处理。
作为本发明技术方案的进一步限定，将计算结果保存在时序数据库，并将计算结果中被计算公式引用的数据返回步骤：对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性，继续处理的步骤包括：
将计算结果保存在时序数据库；
判断计算结果中的数据是否被计算公式引用；
若是，返回步骤：对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性，继续处理；
若否，结束。
第二方面，本发明技术方案提供一种能源设备量测项数据流式计算装置，包括分拣处理模块、公式数据封装模块、执行计算模块和结果处理模块；
分拣处理模块，用于对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性；
公式数据封装模块，用于逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池；
执行计算模块，用于在限定的时间窗口中公式数据池有更新，时间窗口结束时将有更新的公式数据池进行公式计算；
结果处理模块，用于将计算结果保存在时序数据库，并将计算结果中被计算公式引用的数据返回分拣处理模块中继续处理。
作为本发明技术方案的进一步限定，分拣处理模块包括分拣单元、引用判断单元和处理单元；
分拣单元，用于对接收到的时间项数据根据设备编码进行分拣；
引用判断单元，用于获取并遍历公式列表，判断分拣后的数据是否被计算公式引用；若是触发处理单元，若否，将数据存入时序数据库；
处理单元，用于获取引用该数据的所有计算公式的公式ID并记录获取的公式ID的数量N；将该数据复制N-1次生成N个相同的数据并将这N个相同的数据与N个公式ID一一对应，每个数据增加对应的公式ID作为属性。
作为本发明技术方案的进一步限定，公式数据封装模块包括数据汇聚单元、流式处理单元和更新单元；
数据汇聚单元，用于逐个按照公式ID将被计算公式引用的数据进行汇聚；
流式处理单元，用于将汇聚后的数据根据流式计算规则进行数据处理；
更新单元，用于将处理后的数据更新到公式ID对应的公式数据池中。
作为本发明技术方案的进一步限定，执行计算模块包括更新判断单元、标识设置单元和计算触发单元；
更新判断单元，用于在限定的时间窗口中判断公式数据池是否有更新；
标识设置单元，用于将该公式数据池对应的公式增加待计算标识；
计算触发单元，用于时间窗口结束时，根据待计算标识触发对应公式的计算。
作为本发明技术方案的进一步限定，计算触发单元，用于时间窗口结束时，判断待计算标识是否存在；若是，触发待计算标识对应的公式进行计算。
第三方面，本发明技术方案还提供一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的能源设备量测项数据流式计算方法。
第四方面，本发明技术方案还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面所述的能源设备量测项数据流式计算方法。
从以上技术方案可以看出，本发明具有以下优点：本发明通过数据按照计算引用关系进行分拣和存储，避免了对大量数据的集中存储，减少了对数据的并发访问；通过对数据的分流，对分支流中的数据处理简化；逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池，时间窗口结束时，对有数据更新的公式数据池进行计算，实现了计算在分布式计算节点上的自由分布，实现了横向扩展。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的装置的示意性框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
流式计算是大数据的一种重要计算模式，与传统的基于确定数据规模的批量计算不同，流计算具有数据规模无限，数据到达连续、快速、无序，数据不稳定，数据处理多样化等特点。本发明实施例中提到的流式计算特指Flink。
如图1所示，本发明实施例提供一种能源设备量测项数据流式计算方法，包括如下步骤：
步骤1：对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性；
步骤2：逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池；
步骤3：在限定的时间窗口中公式数据池有更新，时间窗口结束时将有更新的公式数据池进行公式计算；
步骤4：将计算结果保存在时序数据库，并将计算结果中被计算公式引用的数据返回步骤1，继续处理。
能源设备量测项数据经物联前置服务采集，然后进行数据格式化（设备编码、量测项数据和时间戳），通过消息中间件发送时间项数据,接收到时间项数据后，根据设备编码进行分拣。设备编码和量测项数据可以确定数据标识；设备间逻辑关系可通过公式描述，公式和数据标识具有映射关系，从而可以使用流式计算根据公式进行数据处理，如计算设备电压或功率总和，通过与阈值比较来判断是否发出告警信息。
在本发明实施例中，对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性的步骤包括：
步骤11:对接收到的时间项数据根据设备编码进行分拣；
步骤12：获取并遍历公式列表，判断分拣后的数据是否被计算公式引用；
若是，执行步骤13；若否，执行步骤15；
步骤13：获取引用该数据的所有计算公式的公式ID并记录获取的公式ID的数量N；
步骤14：将该数据复制N-1次生成N个相同的数据并将这N个相同的数据与N个公式ID一一对应，每个数据增加对应的公式ID作为属性；
步骤15：将数据存入时序数据库。
根据设备编码进行数据分拣；设备编码、量测项数据确定数据标识,公式与数据标识具有映射关系；Map<FormulaID,List<data>>，相应的数据标识写入公式ID对应的集合中;不被公式引用的数据不做处理。通过可视化界面可配置公式，通过缓存获取到公式列表；时间项数据首先根据设备编码进行分拣（keybyMachineID）,设备编码和量测项数据确定数据标识，公式ID和数据标识具有用映射关系，可以填充到公式ID对应的集合（也就是公式数据池）中；可以一个数据写入多个公式ID对应的集合中。
在本发明实施例中，逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池的步骤包括：
步骤21：逐个按照公式ID将被计算公式引用的数据进行汇聚；
步骤22：将汇聚后的数据根据流式计算规则进行数据处理；
步骤23：将处理后的数据更新到公式ID对应的公式数据池中。
按照公式ID进行汇聚（keybyFormulaID），定义流式计算规则，对时间项数据如何进行处理，比如保留最后数据、取平均值、方差、最大值或者最小等；一个计算公式对应一个算子，根据流式计算规则进行数据处理，例如，逐个按照公式ID进行汇聚，对设备编码对应的量测数据保留最后时间戳的数据，并更新到该公式数据池中。
在本发明实施例中，在限定的时间窗口中公式数据池有更新，时间窗口结束时将有更新的公式数据池进行公式计算的步骤包括：
步骤31：在限定的时间窗口中判断公式数据池是否有更新；
若是，执行步骤32；若否，执行步骤1进行下一个时间窗口的处理；
步骤32：将该公式数据池对应的公式增加待计算标识；
步骤33：时间窗口结束时，根据待计算标识触发对应公式的计算；
在这里需要说明的是，时间窗口结束时，根据待计算标识触发对应公式的计算的步骤包括：时间窗口结束时，判断待计算标识是否存在；若是，触发待计算标识对应的公式进行计算；若否，进行下一个时间窗口的处理。
进一步需要说明的是，公式数据池是否有数据更新的判断如下：只要时间项数据对应数据表示发生变化（量测项数据发生变化，在这里，可以是数据本身没有变但是时间戳发生变化这个也属于数据发生了变化），即公式ID对应的集合有更新，则对该公式增加待计算标识。时间窗口结束，根据待计算标识来触发是否进行计算。
进一步需要说明的是，将计算结果保存在时序数据库，并将计算结果中被计算公式引用的数据返回步骤1中继续处理的步骤包括：
将计算结果保存在时序数据库；判断计算结果中的数据是否被计算公式引用；若是，返回步骤：对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性，继续处理；若否，结束。
被计算出的结果被保存入时序数据库和主题为snake_formula_result 的消息队列中，并执行步骤1中数据分拣时的判定，对有公式引用的数据才回送到步骤1继续处理。比如，对于某些公式，此时计算结果属于中间过程，作为输入值进行再次计算（如，照明系统采集的值是单个设备的能耗，公式一计算单层楼的照明能耗（单个设备能耗值和），公式二计算一栋楼的照明能耗（所有层照明能耗值之和），公式二的输入项是公式一的计算结果，此时需要回送到步骤1进行计算）。计算最终结果保存到时序数据库用于可视化界面显示，以及通过消息中间件发出些告警信息。
本发明按照公式对时间项量测数据的引用关系对量测数据进行分解和存储，实现数据项的聚合，避免无关数据混杂和干扰，可以提升处理效率；数据分拣环节是按照量测数据的设备编码做流量切分，每个分拣处理分拣操作简单高效，且是并行的，后续的计算环节按照公式做数据流量的切分，每个数据流分支都可以并行方式执行处理；只有在时间窗口内接收到的数据和计算公式相关，被分拣到计算环节对应的流中才会触发对应公式的计算，这可以保证避免重复计算及数据的无限循环；公式及所需要的数据被封装为一个单元，单元中所有数据是可序列化的，可以在多个计算节点间部署和移动，这支持增加计算节点计算能力伸缩的实现，从而数据处理上限是和最大可投入节点数关联，不被限制在单一节点上。
如图2所示，本发明实施例提供一种能源设备量测项数据流式计算装置，包括分拣处理模块、公式数据封装模块、执行计算模块和结果处理模块；
分拣处理模块，用于对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性；
公式数据封装模块，用于逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池；
执行计算模块，用于在限定的时间窗口中公式数据池有更新，时间窗口结束时将有更新的公式数据池进行公式计算；
结果处理模块，用于将计算结果保存在时序数据库，并将计算结果中被计算公式引用的数据返回分拣处理模块中继续处理。
在本发明实施例中，分拣处理模块包括分拣单元、引用判断单元和处理单元；分拣单元，用于对接收到的时间项数据根据设备编码进行分拣；
引用判断单元，用于获取并遍历公式列表，判断分拣后的数据是否被计算公式引用；若是触发处理单元，若否，将数据存入时序数据库；
处理单元，用于获取引用该数据的所有计算公式的公式ID并记录获取的公式ID的数量N；将该数据复制N-1次生成N个相同的数据并将这N个相同的数据与N个公式ID一一对应，每个数据增加对应的公式ID作为属性。
在本发明实施例中，公式数据封装模块包括数据汇聚单元、流式处理单元和更新单元；
数据汇聚单元，用于逐个按照公式ID将被计算公式引用的数据进行汇聚；
流式处理单元，用于将汇聚后的数据根据流式计算规则进行数据处理；
更新单元，用于将处理后的数据更新到公式ID对应的公式数据池中。
在本发明实施例中，执行计算模块包括更新判断单元、标识设置单元和计算触发单元；
更新判断单元，用于在限定的时间窗口中判断公式数据池是否有更新；
标识设置单元，用于将该公式数据池对应的公式增加待计算标识；
计算触发单元，用于时间窗口结束时，根据待计算标识触发对应公式的计算；具体用于时间窗口结束时，判断待计算标识是否存在；若是，触发待计算标识对应的公式进行计算。
本发明实施例还提供一种电子设备，所述电子设备包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。通信总线可以用于电子设备与传感器之间的信息传输。处理器可以调用存储器中的逻辑指令，以执行如下方法：步骤1：对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性；步骤2：逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池；步骤3：在限定的时间窗口中公式数据池有更新，时间窗口结束时将有更新的公式数据池进行公式计算；步骤4：将计算结果保存在时序数据库，并将计算结果中被计算公式引用的数据返回步骤1，继续处理。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述方法实施例所提供的方法，例如包括：步骤1：对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性；步骤2：逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池；步骤3：在限定的时间窗口中公式数据池有更新，时间窗口结束时将有更新的公式数据池进行公式计算；步骤4：将计算结果保存在时序数据库，并将计算结果中被计算公式引用的数据返回步骤1，继续处理。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种能源设备量测项数据流式计算方法，其特征在于，包括如下步骤：
对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性；
逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池；
在限定的时间窗口中公式数据池有数据更新，时间窗口结束时将有更新的公式数据池进行公式计算；
将计算结果保存在时序数据库，并将计算结果中被计算公式引用的数据返回步骤：对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性，继续处理。
2.根据权利要求1所述的能源设备量测项数据流式计算方法，其特征在于，对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性的步骤包括：
对接收到的时间项数据根据设备编码进行分拣；
获取并遍历公式列表，判断分拣后的数据是否被计算公式引用；
若是，获取引用该数据的所有计算公式的公式ID并记录获取的公式ID的数量N；
将该数据复制N-1次生成N个相同的数据并将这N个相同的数据与N个公式ID一一对应，每个数据增加对应的公式ID作为属性；
若否，将数据存入时序数据库。
3.根据权利要求2所述的能源设备量测项数据流式计算方法，其特征在于，逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池的步骤包括：
逐个按照公式ID将被计算公式引用的数据进行汇聚；
将汇聚后的数据根据流式计算规则进行数据处理；
将处理后的数据更新到公式ID对应的公式数据池中。
4.根据权利要求3所述的能源设备量测项数据流式计算方法，其特征在于，在限定的时间窗口中公式数据池有数据更新，时间窗口结束时将有更新的公式数据池进行公式计算的步骤包括：
在限定的时间窗口中判断公式数据池是否有更新；
若是，将该公式数据池对应的公式增加待计算标识；
时间窗口结束时，根据待计算标识触发对应公式的计算；
若否，进行下一个时间窗口的处理。
5.根据权利要求4所述的能源设备量测项数据流式计算方法，其特征在于，时间窗口结束时，根据待计算标识触发对应公式的计算的步骤包括：
时间窗口结束时，判断待计算标识是否存在；
若是，触发待计算标识对应的公式进行计算；
若否，进行下一个时间窗口的处理。
6.一种能源设备量测项数据流式计算装置，其特征在于，包括分拣处理模块、公式数据封装模块、执行计算模块和结果处理模块；
分拣处理模块，用于对接收到的时间项数据根据设备编码进行分拣，并将分拣后的被计算公式引用的数据增加公式ID作为属性；
公式数据封装模块，用于逐个按照公式ID将被计算公式引用的数据进行汇聚，根据流式计算规则进行数据处理并更新公式ID对应的公式数据池；
执行计算模块，用于在限定的时间窗口中公式数据池有更新，时间窗口结束时将有更新的公式数据池进行公式计算；
结果处理模块，用于将计算结果保存在时序数据库，并将计算结果中被计算公式引用的数据返回分拣处理模块中继续处理。
7.根据权利要求6所述的能源设备量测项数据流式计算装置，其特征在于，公式数据封装模块包括数据汇聚单元、流式处理单元和更新单元；
数据汇聚单元，用于逐个按照公式ID将被计算公式引用的数据进行汇聚；
流式处理单元，用于将汇聚后的数据根据流式计算规则进行数据处理；
更新单元，用于将处理后的数据更新到公式ID对应的公式数据池中。
8.根据权利要求7所述的能源设备量测项数据流式计算装置，其特征在于，执行计算模块包括更新判断单元、标识设置单元和计算触发单元；
更新判断单元，用于在限定的时间窗口中判断公式数据池是否有更新；
标识设置单元，用于将该公式数据池对应的公式增加待计算标识；
计算触发单元，用于时间窗口结束时，根据待计算标识触发对应公式的计算。
9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一项所述的能源设备量测项数据流式计算方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至5任一项所述的能源设备量测项数据流式计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311154021.4A CN116881610B (zh) | 2023-09-08 | 2023-09-08 | 能源设备量测项数据流式计算方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311154021.4A CN116881610B (zh) | 2023-09-08 | 2023-09-08 | 能源设备量测项数据流式计算方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116881610A CN116881610A (zh) | 2023-10-13 |
| CN116881610B true CN116881610B (zh) | 2024-01-09 |
Family
ID=88260913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311154021.4A Active CN116881610B (zh) | 2023-09-08 | 2023-09-08 | 能源设备量测项数据流式计算方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116881610B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107305501A (zh) * | 2016-04-25 | 2017-10-31 | 百度在线网络技术（北京）有限公司 | 一种多流流式数据的处理方法和系统 |
| CN110704480A (zh) * | 2018-06-21 | 2020-01-17 | 马上消费金融股份有限公司 | 一种流式数据处理方法、系统及一种电子设备和存储介质 |
| CN111435356A (zh) * | 2019-01-15 | 2020-07-21 | 杭州海康威视数字技术股份有限公司 | 数据特征提取方法、装置、计算机设备以及存储介质 |
| CN112000350A (zh) * | 2020-07-29 | 2020-11-27 | 新华三大数据技术有限公司 | 一种动态规则更新方法、装置及存储介质 |
| CN112749056A (zh) * | 2020-12-30 | 2021-05-04 | 广州品唯软件有限公司 | 应用服务指标监控方法、装置、计算机设备和存储介质 |
| CN114356944A (zh) * | 2021-12-30 | 2022-04-15 | 深圳市国电科技通信有限公司 | 基于大数据处理用电表码数据的方法、装置和存储介质 |
| US11550643B1 (en) * | 2021-08-06 | 2023-01-10 | Sas Institute Inc. | Automated streaming data model generation with parallel processing capability |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10560311B2 (en) * | 2015-10-14 | 2020-02-11 | Hitachi Ltd. | Management apparatus, management method, and recording medium |
-
2023
- 2023-09-08 CN CN202311154021.4A patent/CN116881610B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107305501A (zh) * | 2016-04-25 | 2017-10-31 | 百度在线网络技术（北京）有限公司 | 一种多流流式数据的处理方法和系统 |
| CN110704480A (zh) * | 2018-06-21 | 2020-01-17 | 马上消费金融股份有限公司 | 一种流式数据处理方法、系统及一种电子设备和存储介质 |
| CN111435356A (zh) * | 2019-01-15 | 2020-07-21 | 杭州海康威视数字技术股份有限公司 | 数据特征提取方法、装置、计算机设备以及存储介质 |
| CN112000350A (zh) * | 2020-07-29 | 2020-11-27 | 新华三大数据技术有限公司 | 一种动态规则更新方法、装置及存储介质 |
| CN112749056A (zh) * | 2020-12-30 | 2021-05-04 | 广州品唯软件有限公司 | 应用服务指标监控方法、装置、计算机设备和存储介质 |
| US11550643B1 (en) * | 2021-08-06 | 2023-01-10 | Sas Institute Inc. | Automated streaming data model generation with parallel processing capability |
| CN114356944A (zh) * | 2021-12-30 | 2022-04-15 | 深圳市国电科技通信有限公司 | 基于大数据处理用电表码数据的方法、装置和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 面向大型装备状态分析的分布式实时数据仓库构建技术;刘彦均;封宇;武千惠;黄必清;;计算机集成制造系统(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116881610A (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197181B (zh) | 一种时序数据的压缩存储方法、电子设备及存储介质 | |
| CN111460023A (zh) | 基于Elasticsearch的业务数据处理方法、装置、设备及存储介质 | |
| CN110147387A (zh) | 一种根因分析方法、装置、设备及存储介质 | |
| CN111371856B (zh) | 云计算任务调度方法、装置、云计算系统及服务器 | |
| CN109471847B (zh) | 一种i/o拥塞控制方法及控制系统 | |
| CN108763536A (zh) | 数据库访问方法及装置 | |
| CN116721001B (zh) | 基于数字孪生的智慧城市资源管理方法 | |
| CN106919691A (zh) | 基于网页库进行检索的方法、装置及检索系统 | |
| CN113326343B (zh) | 基于多级网格和文件索引的路网数据存储方法及系统 | |
| CN116881610B (zh) | 能源设备量测项数据流式计算方法、装置、设备及介质 | |
| Li et al. | A distributed parallel alarm management strategy for alarm reduction in chemical plants | |
| CN107330083B (zh) | 等宽直方图并行构建方法 | |
| CN114723108B (zh) | 城市路网海量公共服务设施可达性计算方法与装置 | |
| CN107766452B (zh) | 一种适合电力调度数据高速存取的索引系统及其索引方法 | |
| CN111258968A (zh) | 企业冗余数据清理方法、装置及大数据平台 | |
| CN113886396B (zh) | 基于高效用频繁模式挖掘的电力系统故障检测方法及系统 | |
| CN116151384A (zh) | 量子电路处理方法、装置及电子设备 | |
| CN115203290A (zh) | 一种基于多维prefixspan算法的故障诊断方法 | |
| CN106528849B (zh) | 面向完整历史记录的图查询开销方法 | |
| CN114253776A (zh) | 内存检测模型的训练方法、装置、设备和介质 | |
| CN110517009A (zh) | 实时公共层建设方法、装置及服务器 | |
| CN110990434B (zh) | Spark平台分组和Fp-Growth关联规则挖掘方法 | |
| CN113127237A (zh) | 风力发电机组的主故障识别方法和系统 | |
| CN117993492A (zh) | 一种电力通信接入网业务的图谱构建方法 | |
| CN110941246B (zh) | 一种hmi消息分流调度方法、存储介质及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |