CN115994837A - 一种水务数据的管理系统及方法 - Google Patents
一种水务数据的管理系统及方法 Download PDFInfo
- Publication number
- CN115994837A CN115994837A CN202310286851.6A CN202310286851A CN115994837A CN 115994837 A CN115994837 A CN 115994837A CN 202310286851 A CN202310286851 A CN 202310286851A CN 115994837 A CN115994837 A CN 115994837A
- Authority
- CN
- China
- Prior art keywords
- water
- water consumption
- time
- meter
- service data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种水务数据的管理系统及方法,涉及数据传输管理领域。本发明一种水务数据的管理方法,包括,获取表端发送的水务数据包的历史记录,得到每个表端的水流总量关于收集时刻的对应关系;根据每个表端的水流总量关于收集时刻的对应关系得到历史不同时段每个表端的用水量以及比例分布,得到表端的用水量的周期特征;根据表端的用水量的周期特征得到未来时间段内每个表端的预期用水量关于时间的对应关系;根据未来时间段内每个表端的预期用水量关于时间的对应关系编制表端数据轮发计划表,使得在未来时间段的单位时间内接收到的全部水务数据包内对应的用水量之和相同。本发明提高了海量水务数据传输吞吐的可靠性。
Description
技术领域
本发明属于数据传输管理领域,特别是涉及一种水务数据的管理系统及方法。
背景技术
水务数据由智能表端采集之后需要经过有线或无线方式进行采集归纳管理,通常一个城市的乃至于一个地级市的数据会统筹上传至同一台物理服务器内,即使是现在普遍系统上云的状态下,数量浩如繁星的表端也是对同一个服务器端口上传水务信息。
由于表端的种类不一致导致即使在规定上传的水务信息格式一致的情况下其集中上传的数据也可能会出现数据堵塞状况。
在公开号为CN108919771A的专利中公开了一种水处理设备数据采集与云传输智能控制的管理系统,该管理系统包括PLC控制器、适配器、云平台服务器及查看终端,PLC控制器与适配器通讯连接,适配器与云平台服务器通讯连接,云平台服务器与查看终端通讯连接;PLC控制器,用于读取水处理设备的相关信息;适配器,用于将PLC控制器已读取的信息转发至云平台服务器;云平台服务器,用于对获取的数据进行处理,以得到处理结果数据;查看终端,用于展示处理结果数据。该方案用于实现数据与云端的互联,但没有对数据的收发进行控制,可能会导致数据阻塞或者复杂数据管理的云服务平台数据紊乱。
发明内容
本发明的目的在于提供一种水务数据的管理系统及方法,通过对表端的用水特性进行分析,对表端上传水务信息顺序进行统筹规划,降低管理端的瞬时负载压力,提高了管理端的数据吞吐可靠性。
为解决上述技术问题,本发明是通过以下技术方案实现的:
本发明提供一种水务数据的管理方法,包括,
获取表端发送的水务数据包的历史记录,得到每个所述表端的水流总量关于收集时刻的对应关系;
根据每个所述表端的水流总量关于收集时刻的对应关系得到历史不同时段每个所述表端的用水量以及比例分布;
根据历史不同时段每个所述表端的用水量以及比例分布得到所述表端的用水量的周期特征;
根据所述表端的用水量的周期特征得到未来时间段内每个所述表端的预期用水量关于时间的对应关系;
根据未来时间段内每个所述表端的预期用水量关于时间的对应关系编制表端数据轮发计划表,使得在未来时间段的单位时间内接收到的全部所述水务数据包内对应的用水量之和相同;
接收按照所述表端数据轮发计划表发送的所述水务数据包。
本发明还公开了一种水务数据的管理方法,包括,
在水流作用下,触发收集流经表端的水流总量以及水流总量的收集时刻;
在每次水流总量达到设定统计单位水量的整数倍的时刻,将表端的硬件识别码、水流总量以及收集时刻打包为水务数据包;
将所述水务数据包按照所述的水务数据的管理方法内的所述表端数据轮发计划表进行发送。
本发明还公开了一种水务数据的管理系统,包括表端以及管理端,其中,
所述管理端用于获取表端发送的水务数据包的历史记录,得到每个所述表端的水流总量关于收集时刻的对应关系;
根据每个所述表端的水流总量关于收集时刻的对应关系得到历史不同时段每个所述表端的用水量的比例分布;
根据历史不同时段每个所述表端的用水量的比例分布得到所述表端的用水量的周期特征;
根据所述表端的用水量的周期特征得到未来时间段内每个所述表端的预期用水量关于时间的对应关系;
根据未来时间段内每个所述表端的预期用水量关于时间的对应关系编制表端数据轮发计划表,使得在未来时间段的单位时间内接收到的全部所述水务数据包内对应的用水量之和相同;
接收按照所述表端数据轮发计划表发送的所述水务数据包;
所述表端用于在水流作用下,触发收集流经表端的水流总量以及水流总量的收集时刻;
将表端的硬件识别码、水流总量以及收集时刻打包为水务数据包;
在每次水流总量达到设定数量的整数倍的时刻,将所述水务数据包按照所述表端数据轮发计划表进行发送。
本发明通过分析每个表端在不同用水周期内的特征,分析预估得到未来时段不同表端的预期用水量,之后依据每个不同表端的预期用水量进行均匀配对后得到表端数据轮发计划表,使得管理端在单位时间内获取的数据量相对均匀,避免出现数据集中上传可能导致的系统宕机问题。与此同时,由于水务数据能够高效上传,在保证上传的水务数据完整性的情况下提高了水务数据的上传效率。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所述一种水务数据的管理系统的实施流程示意图;
图2为本发明所述一种水务数据的管理系统的网络连接示意图;
图3为本发明所述一种水务数据的管理系统的功能模块连接以及信息流向示意图;
图4为本发明所述步骤S3的流程示意图;
图5为本发明所述步骤S3中一年内表端集中器的用水量的散点示意图;
图6为本发明所述步骤S3中一年内表端集中器的用水量的折线示意图;
图7为本发明所述步骤S3中工作日和节假日水量占比和日变化系数示意图;
图8为本发明所述步骤S3中在一天内用水量分时占比以及变化系数的示意图;
图9为本发明所述步骤S3中节假日和工作日在一天内用水量占比的示意图;
图10为本发明所述步骤S34的流程示意图;
图11为本发明所述步骤S4的流程示意图;
图12为本发明所述步骤S41的流程示意图;
图13为本发明所述步骤S5的流程示意图;
图14为本发明所述步骤S8的流程示意图;
图15为本发明所述步骤S9的流程示意图;
附图中,各标号所代表的部件列表如下:
1-管理端,11-数据库,12-负载均衡服务器;
2-网络设备;
3-表端。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
数量巨大的联网表端集中上传水务数据的时候可能会对管理端的服务器造成冲击导致网络带宽被阻塞,正常的水务数据上传管理服务无法完成。为了避免水务数据集中上传导致的管理端无法响应,本发明提供以下方案。
请参阅图1至3所示,本发明提供了一种水务数据的管理系统,从互联网架构层面而言,由数量众多的表端组成设备层,由交换机网关等网络设备组成网络层,由管理端组成管理层。管理端在功能上用于接收水务数据,水务数据在数据链路层面可以是水务数据包。也就是由表端经发送水务数据包,过网络层的传输之后由管理端进行接收。水务数据包的数据量可以参考TCP/IP协议通信传输中的数据包大小,即65535字节(16位字节长度)。本方案中的数据包需要包含水量、时间以及各种校验信息,其字节大小也会保持在16位字节长度附近,但是管理端在接收水务数据包之后还需要缓存、解析以及存储等操作,这就导致大量的水务数据包同时上传至管理端之后可能会导致管理端崩溃,这就使得需要管理端中的负载均衡服务器对各个表端上传水务数据的时间进行均衡。
本系统在运行逻辑上主要包括两方面,一方面是由表端执行的一种水务数据的管理方法,另一方面由管理端执行的一种水务数据的管理方法。首先我们来讨论表端执行一种水务数据的管理方法的过程。
继续参阅图1所示,在控制表端发送水务数据包之前需要表端的水务数据包采集模式等方案进行规划设计,使得水务数据的收发高效、完整且安全。对于表端而言,由表端收集水流量数据以及采集时间,由于表端的供电多为干电池或者蓄电池供电,为了提高续航时间一般需要在传感器检测到水流作用时执行步骤S7触发收集流经表端的水流总量以及水流总量的收集时刻,由于表端的供电能力孱弱,因此算力也较为孱弱,一般仅仅能够持续采集流经表端的累加水流量。在持续采集的水流量的过程中,如果持续密集发送采集到的水务数据,不仅用处不大而且消耗大量的网络和算力资源,因此接下来可以执行步骤S8在每次水流总量达到设定统计单位水量的整数倍的时刻,将表端的硬件识别码、水流总量以及收集时刻打包为水务数据包。在日常应用中,常规的自来水收费最小单位是每吨的单价,因此只要在表端的累积用水量每次达到的一吨的时候将表端的水务数据上传至管理端即可,也就是设定统计单位水量是一吨。最后可以执行步骤S9将水务数据包按照管理端生成的表端数据轮发计划表进行发送,表端数据轮发计划表内规定在未来一段时间内每个表端发送水务数据包的时刻表。
由于管理端接收处理水务数据包的性能和水务数据包的结构相关,但是总体而言可以认为水务数据包内对应的用水量和该水务数据包的接收处理复杂度正相关,此部分的证明部分以及水务数据包的设计在后续的数据包构建步骤(步骤S8)中会详细论述,接下来我们首先来讨论在已知表端过往用水记录的状态下预估每个表端未来生成的水务数据包对管理端造成的数据吞吐压力。
接下来我们从管理端的视角来讨论一种水务数据的管理方法。管理端在功能模块上可以划分为数据库和负载均衡服务器,管理端在执行步骤S1获取表端发送的水务数据包的历史记录得到每个表端的水流总量关于收集时刻的对应关系之后,将水务数据包的历史记录存储在数据库内。接下来由负载均衡服务器执行步骤S2根据每个表端的水流总量关于收集时刻的对应关系得到历史不同时段每个表端的用水量的比例分布,借此挖掘出每个表端中流经水量关于时间的特性。接下来可以执行步骤S3根据历史不同时段每个表端的用水量的比例分布得到表端的用水量的周期特征,本方案中的周期特性可以是一年内的用水量特性,也可以是分月、分周以及每天的分时特性。接下来可以执行步骤S4根据表端的用水量的周期特征得到未来时间段内每个表端的预期用水量关于时间的对应关系。有了步骤S4中的未来时间段内每个表端的预期用水量关于时间的对应关系,我们能够轻松的计算出未来每个表端发送的水务数据包的复杂度,因此在步骤S5的编制表端数据轮发计划表的过程中可以使得在未来时间段的单位时间内接收到的全部水务数据包内对应的用水量之和相同,从而实现让单位时间内管理端处理水务数据包的数据吞吐压力均衡的技术效果,最后就可以执行步骤S6接收按照表端数据轮发计划表发送的水务数据包,并且在单位时间内接收到的水务数据包内包含的数据复杂度总体上均衡,有效避免大量水务数据短时间内冲击管理端导致的宕机。
请参阅图4所示,在提取每个表端的用水量的周期特征之前,需要确保对应的水务数据包历史记录具有代表性,在现实生活中,用水量和气温、日照时间以及节假日制度密切相关,而这些又是以年为周期,也就是说满一年的水务数据包历史记录具有充分的代表性,能够有效避免后续提取的表端的用水量的周期特征的准确性,具体而言,在上述的步骤S3在执行的过程中首先可以执行步骤S31判断表端是否具有过去一年完整的水务数据包历史记录。若有,则接下来可以执行步骤S32获取每个表端用水量在过去的一年期间内每个工作日和休息日的用水量以及用水量的分布比例作为表端的用水量的周期特征。接下来可以执行步骤S33获取每个表端用水量在过去的一年期间的每个工作日和休息日的分时用水量以及每个小时用水量的分布比例作为表端的用水量的分时周期特征。由于大部分的表端是居民和消费商业用水表端,因此在其每天的用水量以及当天的分时用水量和当天是工作日还是休息日息息相关,因此需要分别在步骤S32和步骤S33中按照工作日和休息日分别提取表端的用水量的周期特征,并且提取对应的分时周期特征。具体的表端的用水量的周期特征提取可以参加如图5至9。
请参阅图5所示,在对某一企业在近一年时间内的用水量,在图6中显示出近一年期间用水量的折线图。之后在图7中显示将工作日和节假日进行分类周期特征提取,在图8中显示出某一天内表端的分时用水量周期特征提取,在图9中显示出工作日和节假日之间不同的用水量周期特征对比图。
当然不是每个表端都连续完整工作了一整年,由于用水具有相似或相同的特征,可以执行步骤S34根据全部或抽取部分具有过去一年完整的水务数据包历史记录表端的用水量的周期特征得到过去一年水务数据包历史记录不完整的表端的用水量的周期特征,也即是依靠表端的不完整的数据包历史记录结合其他表端的数据特征进行数据补全。具体的补全方案如下所示。
请参阅图10所示,数据补全的整体思路是首先要找到表端对应的不足一年的水务数据包历史记录,之后寻找与之最贴近的满一年的表端的水务数据包历史记录作为参照,最后比对填充得到等同的用水量的周期特征。在实践的过程中,首先可以执行步骤S341获取过去一年水务数据包历史记录不完整的表端的用水量的记载时段以及缺失时段,在数据库中检索既可以得到。接下来可以执行步骤S342获取过去一年水务数据包历史记录不完整的表端在记载时段的用水量关于收集时刻的对应关系,也就是生成对应用水量关于收集时刻的函数。接下来可以执行步骤S343获取全部或抽取部分具有过去一年完整的水务数据包历史记录表端在记载时段的用水量关于收集时刻的对应关系作为对照对应关系,也就是将其他的完整的用水量关于收集时刻的函数作为对照函数。接下来可以执行步骤S344在对照对应关系中选取与过去一年水务数据包历史记录不完整的表端在记载时段的用水量关于收集时刻的对应关系差值最小的对照对应关系作为目标表端在记载时段的用水量关于收集时刻的对应关系,此过程中可以求取相同自变量范围内因变量模量之和最小值的方式获取差值最小的对照对应关系。接下来可以执行步骤S345将目标表端在缺失时段的用水量关于收集时刻的对应关系作为过去一年水务数据包历史记录不完整的表端在缺失时段的用水量关于收集时刻的对应关系。由于差值最小的对照对应关系具有最大的相似性,因此在最后的步骤S346中可以直接依据过去一年水务数据包历史记录不完整的表端在记载时段以及缺失时段的用水量关于收集时刻的对应关系按照步骤S3中的具体步骤得到过去一年水务数据包历史记录不完整的表端的用水量的周期特征,此过程中充分贴合表端用水户的用水习惯,得到准确的用水量的周期特征。
请参阅图11所示,由于工作日和节假日对表端用户的用水习惯影响巨大,纯粹按照步骤S3中求取的表端用水量的周期特征可能会导致较大的偏差,例如在2023年3月4日(周六)的00:00时刻预估未来12小时内表端的用水量,如果照用2022年3月4日(周五)的00:00-12:00的用水量的周期特征,这就是依靠工作日的用水量周期特征来预估节假日的用水量周期特征。为了避免此类问题,可以考虑由临近的休息日来代替,例如可以选用2022年3月5日(周六)的00:00-12:00的用水量的周期特征,这是因为时间相距不远的日期气温相似,在都是节假日情况下具有几乎相同的用水量周期特征。也就是说在步骤S4的具体执行过程中需要进行两个判断步骤,首先是判断预估时段内包含日期是否是工作日或节假日,还需要判断一年前对应的日期是否是工作日或节假日。具体而言,首先可以执行步骤S41按照设定的时间获取未来时间段的起始时刻,接下来可以执行步骤S42根据未来时间段的起始时刻获取未来时间段包括的日期以及对应日期内的时间段。接下来可以执行第一个判断,即执行步骤S43判断未来时间段包括的日期是否为休息日。
首先讨论第一个判断中的第一个选项,若未来时间段包括的日期为休息日,则接下来可以执行第二个判断,也就是执行步骤S44判断未来时间段包括的日期对应的前一年日期是否为休息日,若对应的前一年日期为休息日则接下来可以执行步骤S45将未来时间段包括的日期对应的前一年日期作为参照日期,若对应的前一年日期为工作日则接下来可以执行步骤S46将未来时间段包括的日期对应的前一年日期最接近的休息日作为参照日期。
继续讨论第一个判断中的另一个选项,若未来时间段包括的日期为工作日,则接下来可以执行第二个判断,即执行步骤S47判断未来时间段包括的日期对应的前一年日期是否为工作日,若对应的前一年日期为工作日则接下来可以执行步骤S48将未来时间段包括的日期对应的前一年日期作为参照日期,若对应的前一年日期为休息日则接下来可以执行步骤S49将未来时间段包括的日期对应的前一年日期最接近的工作日作为参照日期。
最后可以执行步骤S410获取未来时间段内每个表端的预期用水量关于时间的对应关系,总体上来说就是利用相同用水量周期特征的时间段内的用水时段比例和用水量比例的一致性。
首先进行前置数据准备,在具体执行的过程中首先可以执行步骤S4101根据每个表端用水量在过去的一年期间的每个工作日和休息日的分时用水量以及每个小时用水量的分布比例、参照日期获取参照日期的分时用水量以及每个小时用水量的分布比例。之后可以执行步骤S4102获取未来时间段的起始时刻所在当天的分时用水量。接下来可以执行步骤S4103根据未来时间段的起始时刻所在当天的分时用水量获取未来时间段的起始时刻所在当天已用水量、已用水时段以及未用水时段。接下来可以执行步骤S4104根据参照日期的分时用水量获取参照日期在未来时间段的起始时刻所在当天已用水时段状态下的已用水量作为参照已用水量。
之后就是利用前述的比例一致性执行步骤S4105根据未来时间段的起始时刻所在当天已用水量和参照已用水量的比例,对参照日期在未来时间段的起始时刻所在当天未用水时段的用水量进行缩放,得到未来时间段的起始时刻所在当天未用水时段的用水量。
最后是在一天之中按照周期特征中的分时特征进行预期水量分配,即是执行步骤S4106根据参照日期的每个小时用水量的分布比例对未来时间段的起始时刻所在当天未用水时段的用水量进行分配,得到未来时间段内每个表端的预期用水量关于时间的对应关系。
请参阅图13所示,在完成步骤S4之后即可以编制表端数据轮发计划表,在此过程中的配对原则是让复杂度较大和复杂度较小的水务数据包进行组合排序,得到的水务数据包发送接收顺序中单位时间内的水务数据包复杂度能够相对均衡。需要说明的是,由于表端的算力和存储性能较低,可以不用把完整的表端数据轮发计划表发送到每个表端,只需要把表端数据轮发计划表中的相关部分发送到对应的表端即可。
具体而言,首先是进行数据准备,执行步骤S51获取表端数据轮发计划表的计划跨度时间段。由于水务数据包对应的用水量和数据包接收解析的复杂度正相关,因此接下来可以执行步骤S52根据未来时间段内每个表端的预期用水量关于时间的对应关系获取在计划跨度时间段内全部表端的预期用水量关于时间的对应关系。接下来可以执行步骤S53根据计划跨度时间段内全部表端的预期用水量关于时间的对应关系得到计划跨度时间段内全部表端的累计用水量。接下来可以执行步骤S54按照计划跨度时间段内全部表端的累计用水量的大小对全部的表端进行顺序排列,得到表端的预期累计用水量序列,也就是体现水务数据包接收解析复杂度的系列。
之后就是利用上述的复杂度均衡方式进行排序,首先可以执行步骤S55由表端的预期累计用水量序列的收尾两端依次顺序获取表端组成一个数据发送单元,但是考虑到顺序生成的数据发送单元之间可能存在系统性的大小聚集。为了避免此问题造成的水务数据包复杂度集中,接下来可以执行步骤S56将全部的数据发送单元随机打乱后排序得到数据发送单元的数据发送排序表。最后可以执行步骤S57将数据发送单元的数据发送排序表中的表端的顺序排列得到表端数据轮发计划表,其中规定有每个表端发送水务数据包的窗口时间,也就是表端的数据计划发送窗口时间。
接下来我们书接前文,开始讨论水务数据包的构建问题,在前文中我们分析出水务数据包内对应的用水量和该水务数据包的接收处理复杂度正相关,因此在水务数据包的设计中我们也需要遵守此客观规律,但也要尽量增加数据包的信息密度。
请参阅图14所示,为了实现对表端的标记和用水量的记录,需要将表端的硬件识别码、水流总量以及收集时刻打包为水务数据包,在具体实施的过程中受限于表端孱弱的算力,需要先将能够提前准确的数据运算提前算好,因此首先可以执行步骤S81根据表端数据轮发计划表得到表端的数据计划发送窗口时间,接下来可以执行步骤S82在表端的数据计划发送窗口时间到达之前,将表端的硬件识别码、以及表端的数据计划发送窗口时间打包为基础数据块,此处生成的基础数据块可以在后续复用。
接下来可以执行步骤S83在每次水流总量达到设定统计单位水量的整数倍的时刻,将对应的收集时刻按照时间顺序排列后打包为内容数据块,由于记录水量是连续的,发送的水务数据包也是连续的,在设定统计单位水量不变的情况下只需要记录收集时刻即可以推导出水流总量。与此同时这也很符合水务公司的统计需要,因此水费结算是按照每吨的单价进行计费,并不需要精确统计用水量。
为了避免水务数据包在传输过程中发生错误,接下来可以执行步骤S84将基础数据块以及内容数据块依照固定顺序排列后按照设定的数字摘要提取方式获取固定位数的数字摘要作为校验数据块,设定的数字摘要提取方式可以是MD5算法,也可以sha-256算法,还可以基于此添加纠错编码到数字摘要中以此实现纠错功能。最后可以执行步骤S85将基础数据块、内容数据块以及校验数据块打包为水务数据包,由此完成水务数据包的构建。
请参阅图15所示,由于表端的数据计划发送窗口时间比较短暂,有时候临近水务数据包发送时刻的时候表端仍然正在统计用水量,为了及时将表端统计的全部用水信息上传至管理端,在步骤S9实施的过程中首先可以执行步骤S91判断在表端的数据计划发送窗口时间的开始时刻,水流是否触发表端正在持续收集水流总量。
若是,则按照正常步骤接下来可以执行步骤S92水务数据包在表端的数据计划发送窗口时间的开始时刻进行发送。若否,则接下来可以执行步骤S93将表端的数据计划发送窗口时间的开始时刻的水流总量打包为扩展数据块。此处的扩展数据表并非是所有的水务数据包都具有,属于特殊情况。接下来可以执行步骤S94将扩展数据块与水务数据包中在先的校验数据块依照固定顺序排列后按照设定的数字摘要提取方式获取固定位数的数字摘要作为更新后的校验数据块,也就是对扩展数据进行补充校验,如果对此时整个水务数据包重新生成校验数据块会降低校验数据块的更新速度,可能会导致错误表端的数据计划发送窗口时间。
接下来可以执行步骤S95将基础数据块、内容数据块、扩展数据块以及校验数据块打包为更新后的水务数据包。扩展数据也记录用水量信息,因此在整体上并不违反水务数据包内对应的用水量和该水务数据包的接收处理复杂度正相关的原则。
为了避免生成扩展数据块以及更新校验数据块的过程中错过表端的数据计划发送窗口时间,可以执行步骤S96判断更新校验数据块和水务数据包过程中是否达到表端的数据计划发送窗口时间的结束时刻。若达到表端的数据计划发送窗口时间的结束时刻,则接下来可以执行步骤S97放弃更新并将更新前的水务数据包立即进行发送。若未达到表端的数据计划发送窗口时间的结束时刻,则接下来可以执行步骤S98将更新后的水务数据包在表端的数据计划发送窗口时间内进行发送。通过时间顺序判断的方式有效避免错过表端的数据计划发送窗口时间。当然由于网络故障和其他各种原因,管理端可能会接收不到表端发送的水务数据包,如果没有接收到按照表端数据轮发计划表规定的水务数据包,会要求对应的表端重发,以避免水务数据统计错误。
综上所述,本方案挖掘出每个表端采集到的水务数据的用水量周期特征,并据此预测出未来时段的用水量。之后根据水务数据包内对应的用水量和该水务数据包的接收处理复杂度正相关的规定对不同表端的水务数据包发送时刻进行编制,从而得到表端数据轮发计划表。指令每个表端按照表端数据轮发计划表发送采集并生成的水务数据包即可实现管理端的数据接收负载均衡,有效避免海量水务数据并发导致的宕机问题,提高了水务数据管理的稳定性。
本发明所示实施例的上述描述(包括在说明书摘要中的内容)并非意在详尽列举或将本发明限制到本文所公开的精确形式。尽管在本文仅为说明的目的而描述了本发明的具体实施例和本发明的实例,但是正如本领域技术人员将认识和理解的,各种等效修改是可以在本发明的精神和范围内的。如所指出的,可以按照本发明实施例的上述描述来对本发明进行这些修改,并且这些修改将在本发明的精神和范围内。
本文已经在总体上将系统和方法描述为有助于理解本发明的细节。此外,已经给出了各种具体细节以提供本发明实施例的总体理解。然而,相关领域的技术人员将会认识到,本发明的实施例可以在没有一个或多个具体细节的情况下进行实践,或者利用其它装置、系统、配件、方法、组件、材料、部分等进行实践。在其它情况下,并未特别示出或详细描述公知结构、材料和/或操作以避免对本发明实施例的各方面造成混淆。
因而,尽管本发明在本文已参照其具体实施例进行描述,但是修改自由、各种改变和替换意在上述公开内,并且应当理解,在某些情况下,在未背离所提出发明的范围和精神的前提下,在没有对应使用其他特征的情况下将采用本发明的一些特征。因此,可以进行许多修改,以使特定环境或材料适应本发明的实质范围和精神。本发明并非意在限制到在下面权利要求书中使用的特定术语和/或作为设想用以执行本发明的最佳方式公开的具体实施例,但是本发明将包括落入所附权利要求书范围内的任何和所有实施例及等同物。因而,本发明的范围将只由所附的权利要求书进行确定。
Claims (10)
1.一种水务数据的管理方法,应用于水务数据管理系统的管理端,其特征在于,包括,
获取表端发送的水务数据包的历史记录,得到每个所述表端的水流总量关于收集时刻的对应关系;
根据每个所述表端的水流总量关于收集时刻的对应关系得到历史不同时段每个所述表端的用水量以及比例分布;
根据历史不同时段每个所述表端的用水量以及比例分布得到所述表端的用水量的周期特征;
根据所述表端的用水量的周期特征得到未来时间段内每个所述表端的预期用水量关于时间的对应关系;
根据未来时间段内每个所述表端的预期用水量关于时间的对应关系编制表端数据轮发计划表,使得在未来时间段的单位时间内接收到的全部所述水务数据包内对应的用水量之和相同;
接收按照所述表端数据轮发计划表发送的所述水务数据包。
2.根据权利要求1所述的水务数据的管理方法,其特征在于,所述根据历史不同时段每个所述表端的用水量以及比例分布得到所述表端的用水量的周期特征的步骤,包括,
判断所述表端是否具有过去一年完整的水务数据包历史记录;
若有,则获取每个表端用水量在过去的一年期间内每个工作日和休息日的用水量以及的分布比例作为所述表端的用水量的周期特征;
获取每个表端用水量在过去的一年期间的每个工作日和休息日的分时用水量以及每个小时用水量的分布比例作为所述表端的用水量的周期特征;
若无,则根据全部或抽取部分具有过去一年完整的水务数据包历史记录所述表端的用水量的周期特征得到过去一年水务数据包历史记录不完整的所述表端的用水量的周期特征。
3.根据权利要求2所述的水务数据的管理方法,其特征在于,所述根据全部或抽取部分具有过去一年完整的水务数据包历史记录所述表端的用水量的周期特征得到过去一年水务数据包历史记录不完整的所述表端的用水量的周期特征的步骤,包括,
获取过去一年水务数据包历史记录不完整的所述表端的用水量的记载时段以及缺失时段;
获取过去一年水务数据包历史记录不完整的所述表端在所述记载时段的用水量关于收集时刻的对应关系;
获取全部或抽取部分具有过去一年完整的水务数据包历史记录所述表端在所述记载时段的用水量关于收集时刻的对应关系作为对照对应关系;
在所述对照对应关系中选取与过去一年水务数据包历史记录不完整的所述表端在所述记载时段的用水量关于收集时刻的对应关系差值最小的所述对照对应关系作为目标表端在所述记载时段的用水量关于收集时刻的对应关系;
将目标表端在所述缺失时段的用水量关于收集时刻的对应关系作为过去一年水务数据包历史记录不完整的所述表端在所述缺失时段的用水量关于收集时刻的对应关系;
根据过去一年水务数据包历史记录不完整的所述表端在所述记载时段以及所述缺失时段的用水量关于收集时刻的对应关系得到过去一年水务数据包历史记录不完整的所述表端的用水量的周期特征。
4.根据权利要求2所述的水务数据的管理方法,其特征在于,所述根据所述表端的用水量的周期特征得到未来时间段内每个所述表端的预期用水量关于时间的对应关系的步骤,包括,
按照设定的时间获取未来时间段的起始时刻;
根据未来时间段的起始时刻获取未来时间段包括的日期以及对应日期内的时间段;
判断未来时间段包括的日期是否为休息日;
若未来时间段包括的日期为休息日,则判断未来时间段包括的日期对应的前一年日期是否为休息日,
若对应的前一年日期为休息日,则将未来时间段包括的日期对应的前一年日期作为参照日期,
若对应的前一年日期为工作日,则将未来时间段包括的日期对应的前一年日期最接近的休息日作为参照日期;
若未来时间段包括的日期为工作日,则判断未来时间段包括的日期对应的前一年日期是否为工作日,
若对应的前一年日期为工作日,则将未来时间段包括的日期对应的前一年日期作为参照日期,
若对应的前一年日期为休息日,则将未来时间段包括的日期对应的前一年日期最接近的工作日作为参照日期;
根据每个表端用水量在过去的一年期间的每个工作日和休息日的分时用水量以及每个小时用水量的分布比例、参照日期以及对应日期内的时间段获取未来时间段内每个所述表端的预期用水量关于时间的对应关系。
5.根据权利要求4所述的水务数据的管理方法,其特征在于,所述根据每个表端用水量在过去的一年期间的每个工作日和休息日的分时用水量以及每个小时用水量的分布比例、参照日期以及对应日期内的时间段获取未来时间段内每个所述表端的预期用水量关于时间的对应关系的步骤,包括,
根据每个表端用水量在过去的一年期间的每个工作日和休息日的分时用水量以及每个小时用水量的分布比例、参照日期获取所述参照日期的分时用水量以及每个小时用水量的分布比例;
获取未来时间段的起始时刻所在当天的分时用水量;
根据未来时间段的起始时刻所在当天的分时用水量获取未来时间段的起始时刻所在当天已用水量、已用水时段以及未用水时段;
根据所述参照日期的分时用水量获取所述参照日期在未来时间段的起始时刻所在当天已用水时段状态下的已用水量作为参照已用水量;
根据未来时间段的起始时刻所在当天已用水量和参照已用水量的比例,对所述参照日期在未来时间段的起始时刻所在当天未用水时段的用水量进行缩放,得到未来时间段的起始时刻所在当天未用水时段的用水量;
根据所述参照日期的每个小时用水量的分布比例对未来时间段的起始时刻所在当天未用水时段的用水量进行分配,得到未来时间段内每个所述表端的预期用水量关于时间的对应关系。
6.根据权利要求1或4或5所述的水务数据的管理方法,其特征在于,所述根据未来时间段内每个所述表端的预期用水量关于时间的对应关系编制表端数据轮发计划表的步骤,包括,
获取所述表端数据轮发计划表的计划跨度时间段;
根据未来时间段内每个所述表端的预期用水量关于时间的对应关系获取在所述计划跨度时间段内全部所述表端的预期用水量关于时间的对应关系;
根据所述计划跨度时间段内全部所述表端的预期用水量关于时间的对应关系得到所述计划跨度时间段内全部所述表端的累计用水量;
按照所述计划跨度时间段内全部所述表端的累计用水量的大小对全部的所述表端进行顺序排列,得到所述表端的预期累计用水量序列;
由所述表端的预期累计用水量序列的收尾两端依次顺序获取所述表端组成一个数据发送单元;
将全部的所述数据发送单元随机打乱后排序得到所述数据发送单元的数据发送排序表;
将所述数据发送单元的数据发送排序表中的所述表端的顺序排列得到所述表端数据轮发计划表。
7.一种水务数据的管理方法,应用于水务数据管理系统的表端,其特征在于,包括,
在水流作用下,触发收集流经表端的水流总量以及水流总量的收集时刻;
在每次水流总量达到设定统计单位水量的整数倍的时刻,将表端的硬件识别码、水流总量以及收集时刻打包为水务数据包;
将所述水务数据包按照权利要求1至6任一项所述的水务数据的管理方法内的所述表端数据轮发计划表进行发送。
8.根据权利要求7所述的水务数据的管理方法,其特征在于,所述将表端的硬件识别码、水流总量以及收集时刻打包为水务数据包的步骤,包括,
根据所述表端数据轮发计划表得到所述表端的数据计划发送窗口时间;
在所述表端的数据计划发送窗口时间到达之前,将所述表端的硬件识别码、以及所述表端的数据计划发送窗口时间打包为基础数据块;
在每次水流总量达到设定统计单位水量的整数倍的时刻,将对应的收集时刻按照时间顺序排列后打包为内容数据块;
将所述基础数据块以及所述内容数据块依照固定顺序排列后按照设定的数字摘要提取方式获取固定位数的数字摘要作为校验数据块;
将所述基础数据块、所述内容数据块以及所述校验数据块打包为所述水务数据包。
9.根据权利要求8所述的水务数据的管理方法,其特征在于,将所述水务数据包按照所述表端数据轮发计划表进行发送的步骤,包括,
判断在所述表端的数据计划发送窗口时间的开始时刻,水流是否触发所述表端正在持续收集水流总量;
若是,则所述水务数据包在所述表端的数据计划发送窗口时间的开始时刻进行发送;
若否,则将所述表端的数据计划发送窗口时间的开始时刻的水流总量打包为扩展数据块;
将所述扩展数据块与所述水务数据包中在先的所述校验数据块依照固定顺序排列后按照设定的数字摘要提取方式获取固定位数的数字摘要作为更新后的所述校验数据块;
将所述基础数据块、所述内容数据块、所述扩展数据块以及所述校验数据块打包为更新后的所述水务数据包;
判断更新所述校验数据块和所述水务数据包过程中是否达到所述表端的数据计划发送窗口时间的结束时刻;
若达到所述表端的数据计划发送窗口时间的结束时刻,则放弃更新并将更新前的所述水务数据包立即进行发送;
若未达到所述表端的数据计划发送窗口时间的结束时刻,则将更新后的所述水务数据包在所述表端的数据计划发送窗口时间内进行发送。
10.一种水务数据的管理系统,其特征在于,包括表端以及管理端,其中,
所述管理端用于获取表端发送的水务数据包的历史记录,得到每个所述表端的水流总量关于收集时刻的对应关系;
根据每个所述表端的水流总量关于收集时刻的对应关系得到历史不同时段每个所述表端的用水量的比例分布;
根据历史不同时段每个所述表端的用水量的比例分布得到所述表端的用水量的周期特征;
根据所述表端的用水量的周期特征得到未来时间段内每个所述表端的预期用水量关于时间的对应关系;
根据未来时间段内每个所述表端的预期用水量关于时间的对应关系编制表端数据轮发计划表,使得在未来时间段的单位时间内接收到的全部所述水务数据包内对应的用水量之和相同;
接收按照所述表端数据轮发计划表发送的所述水务数据包;
所述表端用于在水流作用下,触发收集流经表端的水流总量以及水流总量的收集时刻;
将表端的硬件识别码、水流总量以及收集时刻打包为水务数据包;
在每次水流总量达到设定数量的整数倍的时刻,将所述水务数据包按照所述表端数据轮发计划表进行发送。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310286851.6A CN115994837B (zh) | 2023-03-23 | 2023-03-23 | 一种水务数据的管理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310286851.6A CN115994837B (zh) | 2023-03-23 | 2023-03-23 | 一种水务数据的管理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115994837A true CN115994837A (zh) | 2023-04-21 |
CN115994837B CN115994837B (zh) | 2023-06-30 |
Family
ID=85992418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310286851.6A Active CN115994837B (zh) | 2023-03-23 | 2023-03-23 | 一种水务数据的管理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115994837B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160076909A1 (en) * | 2009-08-11 | 2016-03-17 | Michael Edward Klicpera | Water Use Monitoring Apparatus |
CN107710294A (zh) * | 2015-05-27 | 2018-02-16 | 日本电气株式会社 | 信息处理设备、信息处理方法、信息处理程序和信息处理系统 |
CN107967801A (zh) * | 2017-12-25 | 2018-04-27 | 东华理工大学 | 一种能源计量数据在线采集与监控方法及系统 |
CN108521433A (zh) * | 2018-05-29 | 2018-09-11 | 广西电网有限责任公司 | 一种基于人工智能的关键信息基础设施安全监测及预警系统 |
CN110796848A (zh) * | 2019-09-30 | 2020-02-14 | 南京达蓝自动化科技有限公司 | 一种远程控制的抄表系统及其控制方法 |
CN111783785A (zh) * | 2020-07-02 | 2020-10-16 | 上海海事大学 | 一种水表识别系统及识别方法 |
CN112036668A (zh) * | 2020-09-30 | 2020-12-04 | 北京百度网讯科技有限公司 | 用水量预测方法、装置、电子设备以及计算机可读介质 |
CN113596622A (zh) * | 2021-07-06 | 2021-11-02 | 山东晨硕仪表有限公司 | 一种基于lora无线通信技术的水表数据采集终端 |
CN115689193A (zh) * | 2022-10-28 | 2023-02-03 | 深圳市深水水务咨询有限公司 | 基于物联网的用水数据处理方法、系统及设备 |
CN115796381A (zh) * | 2022-12-16 | 2023-03-14 | 浙江省水利河口研究院(浙江省海洋规划设计研究院) | 一种基于改进新安江模型的实际径流量预报方法 |
CN115809237A (zh) * | 2023-02-07 | 2023-03-17 | 河北建投水务投资有限公司 | 用户水表缺失数据补齐方法及系统 |
CN115827621A (zh) * | 2023-02-17 | 2023-03-21 | 河北雄安睿天科技有限公司 | 基于云计算和数据分析的水务数据管理系统 |
-
2023
- 2023-03-23 CN CN202310286851.6A patent/CN115994837B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160076909A1 (en) * | 2009-08-11 | 2016-03-17 | Michael Edward Klicpera | Water Use Monitoring Apparatus |
CN107710294A (zh) * | 2015-05-27 | 2018-02-16 | 日本电气株式会社 | 信息处理设备、信息处理方法、信息处理程序和信息处理系统 |
CN107967801A (zh) * | 2017-12-25 | 2018-04-27 | 东华理工大学 | 一种能源计量数据在线采集与监控方法及系统 |
CN108521433A (zh) * | 2018-05-29 | 2018-09-11 | 广西电网有限责任公司 | 一种基于人工智能的关键信息基础设施安全监测及预警系统 |
CN110796848A (zh) * | 2019-09-30 | 2020-02-14 | 南京达蓝自动化科技有限公司 | 一种远程控制的抄表系统及其控制方法 |
CN111783785A (zh) * | 2020-07-02 | 2020-10-16 | 上海海事大学 | 一种水表识别系统及识别方法 |
CN112036668A (zh) * | 2020-09-30 | 2020-12-04 | 北京百度网讯科技有限公司 | 用水量预测方法、装置、电子设备以及计算机可读介质 |
CN113596622A (zh) * | 2021-07-06 | 2021-11-02 | 山东晨硕仪表有限公司 | 一种基于lora无线通信技术的水表数据采集终端 |
CN115689193A (zh) * | 2022-10-28 | 2023-02-03 | 深圳市深水水务咨询有限公司 | 基于物联网的用水数据处理方法、系统及设备 |
CN115796381A (zh) * | 2022-12-16 | 2023-03-14 | 浙江省水利河口研究院(浙江省海洋规划设计研究院) | 一种基于改进新安江模型的实际径流量预报方法 |
CN115809237A (zh) * | 2023-02-07 | 2023-03-17 | 河北建投水务投资有限公司 | 用户水表缺失数据补齐方法及系统 |
CN115827621A (zh) * | 2023-02-17 | 2023-03-21 | 河北雄安睿天科技有限公司 | 基于云计算和数据分析的水务数据管理系统 |
Non-Patent Citations (2)
Title |
---|
胡柳: ""一种基于SDN的自适应多路径负载均衡策略"", 《西安工程大学学报》, vol. 32, no. 2 * |
陈明 等: ""基于 MQTT 的水务数据传输系统设计开发"", 《工业控制计算机》, vol. 35, no. 4 * |
Also Published As
Publication number | Publication date |
---|---|
CN115994837B (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9273983B2 (en) | System and method of high volume import, validation and estimation of meter data | |
CN108022043B (zh) | 一种异常用电行为的识别方法、装置及中央服务器 | |
EP2924644A1 (en) | Gas meter data validation | |
US7583203B2 (en) | Programming electronic meter settings using a bandwidth limited communications channel | |
CN111325960B (zh) | 用于收集数据的方法和传感器、数据收集器以及测量数据信息网络 | |
CN1778068B (zh) | 确定网络中的数据流量流动的方法和数据网络 | |
CN101217593B (zh) | 一种信令传输网络的性能测试装置及方法 | |
CN106126391A (zh) | 系统监控方法和装置 | |
CN102045222A (zh) | 网络系统实时整体测试的方法 | |
CN114363365B (zh) | 一种基于物联网的智能监控电表系统 | |
CN102782710A (zh) | 包括自调整流量执行功能的计算机网络服务提供系统 | |
CN103444134B (zh) | 监视系统、监视装置以及由监视装置执行的方法、终端装置以及由终端装置执行的方法 | |
JP6145067B2 (ja) | 通信トラヒック予測装置及び方法及びプログラム | |
CN110493017A (zh) | 一种流量计费方法及系统 | |
CN112581182A (zh) | 自动售货设备的销售管理方法及系统 | |
CN108896804A (zh) | 窃电检测方法、装置及电子设备 | |
CN117273337A (zh) | 一种智能电能表评价方法 | |
CN105277783A (zh) | 一种用电信息数据的海量数据采集方法 | |
CN109857765A (zh) | 客户停电数据分析方法和装置 | |
US20100329146A1 (en) | Flow information collection apparatus | |
CN115994837B (zh) | 一种水务数据的管理系统及方法 | |
CN107943808A (zh) | 处理设备上报数据的方法和装置 | |
CN111127247A (zh) | 电量数据采集方法、装置、计算机设备和存储介质 | |
CN110298677A (zh) | 一种云计算资源计费的方法、装置、电子设备和存储介质 | |
WO2024066771A1 (zh) | 一种前传链路的故障根因定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |