CN117390028B - 一种基于智能水表的大数据统计存储方法及系统 - Google Patents
一种基于智能水表的大数据统计存储方法及系统 Download PDFInfo
- Publication number
- CN117390028B CN117390028B CN202311683999.XA CN202311683999A CN117390028B CN 117390028 B CN117390028 B CN 117390028B CN 202311683999 A CN202311683999 A CN 202311683999A CN 117390028 B CN117390028 B CN 117390028B
- Authority
- CN
- China
- Prior art keywords
- water
- data
- water consumption
- condition
- derivative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 455
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013500 data storage Methods 0.000 claims abstract description 109
- 230000010354 integration Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q2209/00—Arrangements in telecontrol or telemetry systems
- H04Q2209/60—Arrangements in telecontrol or telemetry systems for transmitting utility meters data, i.e. transmission of data from the reader of the utility meter
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measuring Volume Flow (AREA)
Abstract
本发明涉及用水数据智能采集技术领域,具体公开了一种基于智能水表的大数据统计存储方法及系统,所述方法包括接收水表上传的用水数据,输入对应的数据存储单元;定时对各个数据存储单元中的已有数据进行分析,确定用水条件;根据所述用水条件确定预设数量的用水参数,根据所述用水参数验证数据存储单元的尾部数据,判定常规率;根据所述常规率递归更新所述采集频率。本发明获取到用水数据后,根据已知用水数据确定一些用水条件,由用水条件预测一些可能出现的用水情况,根据可能出现的用水情况,判断用水过程是否常规,如果常规,就降低采集频率,如果不常规,就提高采集频率,极大地提高了数据采集过程的灵活度,优化了数据存储架构。
Description
技术领域
本发明涉及用水数据智能采集技术领域,具体是一种基于智能水表的大数据统计存储方法及系统。
背景技术
现有的智能水表生产企业大都注重于前端,投入极大的研发成本,不断地优化水表的性能,比如检测准度与耐用度;但是对于后端数据的获取过程,其实是缺失的,实际上,每个用户的用水数据是一类大数据,其蕴含的价值极高,这部分价值属于生产企业未开发的领域,随着时间的推移,越来越多的企业或单位开始注重这部分数据。
现有企业获取用水数据的方式大都是全局式获取方式,当水表数量较多时,需要大量数据存储设备的支持,这会造成大量的数据冗余,如何提高用水数据采集存储过程的灵活度是本申请想要解决的技术问题。
发明内容
本发明的目的在于提供一种基于智能水表的大数据统计存储方法及系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于智能水表的大数据统计存储方法,所述方法包括:
接收用户输入的区域,查询区域内供水管网的布置信息及水表备案信息,构建管网模型及数据存储单元集;其中,管网模型中含有与水表对应的点位,一个点位与一个数据存储单元对应;
根据采集频率接收水表上传的含有时间的用水数据,输入对应的数据存储单元;
定时对各个数据存储单元中的已有数据进行分析,确定用水条件;所述用水条件包括导数条件和积分条件,导数条件为单位用水量对时间的导数,积分为单位用水量对时间的积分;其中一种导数条件为单位时间的用水量小于某一预设的数值,其中一种积分条件为在不同时间跨度内,用水量是多少;
根据所述用水条件确定预设数量的用水参数,根据所述用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;
根据所述常规率递归更新所述采集频率。
作为本发明进一步的方案:所述接收用户输入的区域,查询区域内供水管网的布置信息及水表备案信息,构建管网模型及数据存储单元集的步骤包括:
接收用户输入的区域边界,查询区域边界与已有供水管网的交点;
基于所述交点对供水管网进行延拓,查询管网节点;其中,延拓过程为沿管道远离区域的方向不断查询管道状态;
统计所有供水节点,得到区域内供水管网;
建立与水表备案库的连接通道,查询备案的水表位置;所述水表位置为基于供水管网的相对位置;
构建与不同水表相连的数据存储单元,统计所有数据存储单元,得到数据存储单元集。
作为本发明进一步的方案:所述定时对各个数据存储单元中的已有数据进行分析,确定用水条件的步骤包括:
在数据存储单元集中选取数据存储单元;
根据同一预设的起点时刻和递增的时间长度在数据存储单元中提取已有数据;
拟合提取到的已有数据,得到用水曲线,计算用水曲线的一阶导数和二阶导数,基于二阶导数确定一阶导数的导数极值及导数最值,作为导数条件;
计算用水曲线的积水,得到含有时间标签的用水总量,作为积分条件;
统计各个时间长度对应的导数条件及积分条件,得到用水条件表。
作为本发明进一步的方案:所述根据所述用水条件确定预设数量的用水参数,根据所述用水参数验证数据存储单元的尾部数据,判定常规率的步骤包括:
随机确定用水参数,基于用水条件表判定用水参数的效力值;
根据所述效力值标记用水参数,循环执行直至标记数量达到预设的数量阈值;
统计所有标记的用水参数,根据所有标记的用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;
其中,效力值的计算规则为:
;式中,V为效力值,(x)是将数据转换至[0,1]范围内的数据转换函数,其处理方式为:;/>为转换后的值,/>为待转换数据的最小值,/>为待转换数据的最大值;/>为第i个用水条件的时间跨度,n为用水条件的项数,D为用水参数的导数特征,/>为第i个用水条件的导数条件,所述导数特征与导数条件同源,I为用水参数的积分特征,/>为第i个用水条件的积分条件,所述积分特征与积分条件同源;if{}为判断语句。
作为本发明进一步的方案:所述统计所有标记的用水参数,根据所有标记的用水参数验证数据存储单元的尾部数据,判定常规率的步骤包括:
根据回溯步长在数据存储单元中读取尾部数据;
基于尾部数据遍历标记的用水参数,计算差值;
获取并统计回溯步长内的最小差值,计算差值均值;
基于所述差值均值确定常规率;所述常规率与所述差值均值呈反比。
作为本发明进一步的方案:所述根据所述常规率递归更新所述采集频率的步骤包括:
查询常规率对应的数据存储单元,查询数据存储单元对应的水表;
根据所述常规率确定采集频率的变化梯度,基于变化梯度更新采集频率;
其中,变化梯度的确定规则为:;式中,T为变化梯度,用于表征采集频率的变化率,所述变化梯度含有符号;/>为预设的常规率阈值,R为当前常规率,/>为预设数量的尾部数据对应的常规率;/>为预设数量的常规率与常规率阈值的差值的最大值,其用于将常规率与常规率阈值的差值映射至/>,在此区间内,正弦函数为增函数。
本发明技术方案还提供了一种基于智能水表的大数据统计存储系统,所述系统包括:
预处理模块,用于接收用户输入的区域,查询区域内供水管网的布置信息及水表备案信息,构建管网模型及数据存储单元集;其中,管网模型中含有与水表对应的点位,一个点位与一个数据存储单元对应;
数据采集模块,用于根据采集频率接收水表上传的含有时间的用水数据,输入对应的数据存储单元;
数据分析模块,用于定时对各个数据存储单元中的已有数据进行分析,确定用水条件;所述用水条件包括导数条件和积分条件,导数条件为单位用水量对时间的导数,积分为单位用水量对时间的积分;其中一种导数条件为单位时间的用水量小于某一预设的数值,其中一种积分条件为在不同时间跨度内,用水量是多少;
常规率判定模块,用于根据所述用水条件确定预设数量的用水参数,根据所述用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;
递归更新模块,用于根据所述常规率递归更新所述采集频率。
作为本发明进一步的方案:所述预处理模块包括:
交点查询单元,用于接收用户输入的区域边界,查询区域边界与已有供水管网的交点;
节点查询单元,用于基于所述交点对供水管网进行延拓,查询管网节点;其中,延拓过程为沿管道远离区域的方向不断查询管道状态;
节点统计单元,用于统计所有供水节点,得到区域内供水管网;
水表位置查询单元,用于建立与水表备案库的连接通道,查询备案的水表位置;所述水表位置为基于供水管网的相对位置;
存储单元构建单元,用于构建与不同水表相连的数据存储单元,统计所有数据存储单元,得到数据存储单元集。
作为本发明进一步的方案:所述数据分析模块包括:
选取单元,用于在数据存储单元集中选取数据存储单元;
数据提取单元,用于根据同一预设的起点时刻和递增的时间长度在数据存储单元中提取已有数据;
数据拟合单元,用于拟合提取到的已有数据,得到用水曲线,计算用水曲线的一阶导数和二阶导数,基于二阶导数确定一阶导数的导数极值及导数最值,作为导数条件;
积分计算单元,用于计算用水曲线的积水,得到含有时间标签的用水总量,作为积分条件;
统计执行单元,用于统计各个时间长度对应的导数条件及积分条件,得到用水条件表。
作为本发明进一步的方案:所述常规率判定模块包括:
效力值计算单元,用于随机确定用水参数,基于用水条件表判定用水参数的效力值;
循环执行单元,用于根据所述效力值标记用水参数,循环执行直至标记数量达到预设的数量阈值;
常规率确定单元,用于统计所有标记的用水参数,根据所有标记的用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;
其中,效力值的计算规则为:
;式中,V为效力值,(x)是将数据转换至[0,1]范围内的数据转换函数,其处理方式为:;/>为转换后的值,/>为待转换数据的最小值,/>为待转换数据的最大值;/>为第i个用水条件的时间跨度,n为用水条件的项数,D为用水参数的导数特征,/>为第i个用水条件的导数条件,所述导数特征与导数条件同源,I为用水参数的积分特征,/>为第i个用水条件的积分条件,所述积分特征与积分条件同源;if{}为判断语句。
与现有技术相比,本发明的有益效果是:本发明获取到用水数据后,根据已知用水数据确定一些用水条件,由用水条件预测一些可能出现的用水情况,根据可能出现的用水情况,判断用水过程是否常规,如果常规,就降低采集频率,如果不常规,就提高采集频率,极大地提高了数据采集过程的灵活度,优化了数据存储架构。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为基于智能水表的大数据统计存储方法的流程框图。
图2为基于智能水表的大数据统计存储方法的第一子流程框图。
图3为基于智能水表的大数据统计存储方法的第二子流程框图。
图4为基于智能水表的大数据统计存储方法的第三子流程框图。
图5为基于智能水表的大数据统计存储方法的第四子流程框图。
图6为基于智能水表的大数据统计存储系统的组成结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为基于智能水表的大数据统计存储方法的流程框图,本发明实施例中,一种基于智能水表的大数据统计存储方法,所述方法包括:
步骤S100:接收用户输入的区域,查询区域内供水管网的布置信息及水表备案信息,构建管网模型及数据存储单元集;其中,管网模型中含有与水表对应的点位,一个点位与一个数据存储单元对应;
用水监测过程发生在各个区域中,区域范围由用户输入,查询区域内的供水管网以及水表备案信息,可以构建出一个含有水表安装点位的管网模型;进一步的,对每个水表都设定一个独立的数据存储单元,用于存储对应水表上传的用水数据。
步骤S200:根据采集频率接收水表上传的含有时间的用水数据,输入对应的数据存储单元;
水表中内置信息传输端口,水表通过信息传输端口可以上传用水数据,所述用水数据中含有时间信息,在步骤S100中,对每个水表都构建一个独立的数据存储单元,因此,在获取到用水数据后,需要输入对应的数据存储单元。
步骤S300:定时对各个数据存储单元中的已有数据进行分析,确定用水条件;所述用水条件包括导数条件和积分条件,导数条件为单位用水量对时间的导数,积分为单位用水量对时间的积分;其中一种导数条件为单位时间的用水量小于某一预设的数值,其中一种积分条件为在不同时间跨度内,用水量是多少;
每个数据存储单元中含有对应水表在不同时刻的用水数据,对已经获取到的用水数据进行分析,可以得到用水条件;所述用水条件包括两种,一种是导数条件,其实际意义在于,用水量的变化情况需要满足何种条件,比如,单位时间的用水量需要小于某一预设的数值;另一种是积分条件,所述积分条件的实际意义在于,在不同时间跨度内,用水量为多少。
值得一提的是,关于用水量和用水数据的关系,如果用水数据是单位时间内的用水量,那么直接应用即可;如果用水数据采用已用水量,那么需要实时的计算变化量,进而计算单位用水量。
步骤S400:根据所述用水条件确定预设数量的用水参数,根据所述用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;
基于用水条件随机确定多个用水参数,所述用水参数就是用户可能进行的用水情况,这是一个统计过程,如果用户的实际用水数据与多个用水参数中的其中一个或几个相符,那么就认为当前用水数据是常规的,常规率较高,如果用户的实际用水数据与多个用水参数均不相符,那么就认为当前用水数据是不常规的,常规率较低。
步骤S500:根据所述常规率递归更新所述采集频率;
生成常规率的目的是,对采集频率进行调节,常规率越高,说明用水数据越常规,符合用户的历史用水规律,此时,采集频率可以不断调低,降低数据采集量,减缓存储压力,水表数量越多,这一效果越明显。
图2为基于智能水表的大数据统计存储方法的第一子流程框图,所述接收用户输入的区域,查询区域内供水管网的布置信息及水表备案信息,构建管网模型及数据存储单元集的步骤包括:
步骤S101:接收用户输入的区域边界,查询区域边界与已有供水管网的交点;
步骤S102:基于所述交点对供水管网进行延拓,查询管网节点;其中,延拓过程为沿管道远离区域的方向不断查询管道状态;
步骤S103:统计所有供水节点,得到区域内供水管网;
步骤S104:建立与水表备案库的连接通道,查询备案的水表位置;所述水表位置为基于供水管网的相对位置;
步骤S105:构建与不同水表相连的数据存储单元,统计所有数据存储单元,得到数据存储单元集。
上述内容对管网模型及数据存储单元的构建过程进行了限定,其具体过程如下:
接收用户输入的区域边界,查询区域边界与已有供水管网的交界点,这些交界点在供水管网中有可能是管道的中间部分,在统计时,与实际略有不符,因此,在交界点的基础上,对供电管网进行扩充,查询最近的管网节点(供水节点),所述管网节点可以一些汇集点,也可以是一些连接点,根据最近的管网节点,可以得到一个大的供水管网,区域边界内供水管道均包含于这一大的供水管网;通俗地说,区域内供水管网是在区域边界内管道信息的有限扩充。
进一步的,查询备案的水表位置,然后对每个水表都构建一个数据存储单元即可;需要说明的是,所述水表位置在是管网中的相对位置,所述相对位置代表了水表和管网模型的位置关系。
图3为基于智能水表的大数据统计存储方法的第二子流程框图,所述定时对各个数据存储单元中的已有数据进行分析,确定用水条件的步骤包括:
步骤S201:在数据存储单元集中选取数据存储单元;
步骤S202:根据同一预设的起点时刻和递增的时间长度在数据存储单元中提取已有数据;
步骤S203:拟合提取到的已有数据,得到用水曲线,计算用水曲线的一阶导数和二阶导数,基于二阶导数确定一阶导数的导数极值及导数最值,作为导数条件;
步骤S204:计算用水曲线的积水,得到含有时间标签的用水总量,作为积分条件;
步骤S205:统计各个时间长度对应的导数条件及积分条件,得到用水条件表。
每个水表都对应一个数据存储单元,在数据存储单元中存储有用水数据,上述处理过程发生在每个数据存储单元中,基于此,分析过程以其中一个数据存储单元为例:
首先,不同时间跨度中的用水数据是不同的,统计不同时间跨度中的用水数据,可以拟合出一条用水曲线(列表-描点-拟合),这些时间跨度共用同一个起点时刻,所述起点时刻为预设值,比如,前一个时间周期(一个月等)的起点。
然后,对用水曲线进行求导,可以得到导数曲线,对导数曲线进行求导,可以计算出导数曲线中的极值,根据极值可以确定用水数据的变化情况;对于极值的使用方式有很多,最简单的一种方式为,根据极值确定一个数值范围(最大值和最小值),作为对应时间跨度的导数条件。
最后,根据用水曲线确定积分条件,积分条件比较简单,就是计算不同时间跨度内用水数据的积分,它代表了一个时间跨度内的用水总量,作为对应时间跨度的积分条件。
值得一提的是,每个时间跨度都对应一个导数条件和一个积分条件,根据时间跨度的大小顺序统计导数条件和积分条件,即可得到一张表格,称为用水条件表。
图4为基于智能水表的大数据统计存储方法的第三子流程框图,所述根据所述用水条件确定预设数量的用水参数,根据所述用水参数验证数据存储单元的尾部数据,判定常规率的步骤包括:
步骤S301:随机确定用水参数,基于用水条件表判定用水参数的效力值;
步骤S302:根据所述效力值标记用水参数,循环执行直至标记数量达到预设的数量阈值;
步骤S303:统计所有标记的用水参数,根据所有标记的用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;
在本发明技术方案的一个实例中,由本方法执行主体随机生成一些用水参数,判断这些用水条件是否满足用水条件,如果满足,就保留,如果不满足,就不保留,由此,可以快速地获取到大量的较为常规(与历史数据相符)的用水参数,根据这些大量的较为常规的用水参数可以对最新的用水数据进行识别,判断其是否常规,判断原理为,如果最新的用水数据包含于(或近似包含于)这些用水参数,就认为其是常规的,常规率较大,反之,就认为其是不常规的,常规率较小。
具体的,由于用水条件是多组条件,判断随机选取的用水参数是否符合用水条件需要具体说明,其计算规则为:
式中,V为效力值,(x)是将数据转换至[0,1]范围内的数据转换函数,其处理方式为:/>;/>为转换后的值,/>为待转换数据的最小值,/>为待转换数据的最大值;/>为第i个用水条件的时间跨度,n为用水条件的项数,D为用水参数的导数特征,/>为第i个用水条件的导数条件,所述导数特征与导数条件同源,I为用水参数的积分特征,/>为第i个用水条件的积分条件,所述积分特征与积分条件同源;if{}为判断语句。
上述规则的含义为,将用水参数与用水条件表中的所有用水条件进行比对,判断其是否符合导数条件或积分条件,如果都符合,结果为2(和式),如果符合一个,结果为1,如果都不符合,结果为零,由于时间跨度不同,对应的条件要求也不同,时间跨度越长,对应的用水条件对效力值的影响力更大,也即,是权重项。上述确定规则的最终功能在于,如果用水参数符合的用水条件越多,对应效力值越大,为了便于分析,对效力值进行正则化,将效力值转换至[0,1]范围内。
进一步的,所述统计所有标记的用水参数,根据所有标记的用水参数验证数据存储单元的尾部数据,判定常规率的步骤包括:
根据回溯步长在数据存储单元中读取尾部数据;
基于尾部数据遍历标记的用水参数,计算差值;
获取并统计回溯步长内的最小差值,计算差值均值;
基于所述差值均值确定常规率;所述常规率与所述差值均值呈反比。
在本发明技术方案的一个实例中,由用水参数验证尾部数据,验证方式为:
由管理方输入回溯步长,结合当前时刻和回溯步长可以读取固定长度的尾部数据,将尾部数据与已经生成的用水参数进行比对,不断计算差值,选取差值的最小值对应的用水参数,视为与尾部数据最接近的用水参数,对应的最小值即可作为评价相似程度的标准。
尾部数据不唯一(一次验证一段时间内的用水数据),每个尾部数据都对应一个最小值,计算这些最小值的均值,均值越小,说明最近的尾部数据越常规,常规率越大。
值得一提的是,在判断常规率的过程中,还可以基于差值均值计算标准差(尾部数据和最接近的用水参数的差值的标准差),标准差越小,说明尾部数据越相似,此时,不会存在某一个突出数据,常规率越高,如果标准差越大,说明尾部数据的波动较大,有可能出现多个不符合用水参数的情况,但是考虑到整体尾部数据,也可以认为其是常规的。
图5为基于智能水表的大数据统计存储方法的第四子流程框图,所述根据所述常规率递归更新所述采集频率的步骤包括:
步骤S401:查询常规率对应的数据存储单元,查询数据存储单元对应的水表;
步骤S402:根据所述常规率确定采集频率的变化梯度,基于变化梯度更新采集频率;
其中,变化梯度的确定规则为:;式中,T为变化梯度,用于表征采集频率的变化率,所述变化梯度含有符号;/>为预设的常规率阈值,R为当前常规率,/>为预设数量的尾部数据对应的常规率;/>为预设数量的常规率与常规率阈值的差值的最大值,其用于将常规率与常规率阈值的差值映射至/>,在此区间内,正弦函数为增函数。
上述内容的实际意义在于,常规率越大,它与常规率阈值的差值为正,得到的变化梯度的符号为负,在数值上,得到的变化梯度的绝对值越大,这意味着,尾部数据越常规,采集频率不断下降的幅度越大(负的大值变化梯度),获取到的数据量就会更少;反之,常规率越小,它与常规率阈值的差值为负,得到的变化梯度的符号为正,这意味首,尾部数据越不常规,采集频率不断上升的幅度越大,获取到的数据量会增多。
图6为基于智能水表的大数据统计存储系统的组成结构框图,本发明实施例中,一种基于智能水表的大数据统计存储系统,所述系统10包括:
预处理模块11,用于接收用户输入的区域,查询区域内供水管网的布置信息及水表备案信息,构建管网模型及数据存储单元集;其中,管网模型中含有与水表对应的点位,一个点位与一个数据存储单元对应;
数据采集模块12,用于根据采集频率接收水表上传的含有时间的用水数据,输入对应的数据存储单元;
数据分析模块13,用于定时对各个数据存储单元中的已有数据进行分析,确定用水条件;所述用水条件包括导数条件和积分条件,导数条件为单位用水量对时间的导数,积分为单位用水量对时间的积分;其中一种导数条件为单位时间的用水量小于某一预设的数值,其中一种积分条件为在不同时间跨度内,用水量是多少;
常规率判定模块14,用于根据所述用水条件确定预设数量的用水参数,根据所述用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;
递归更新模块15,用于根据所述常规率递归更新所述采集频率。
进一步的,所述预处理模块11包括:
交点查询单元,用于接收用户输入的区域边界,查询区域边界与已有供水管网的交点;
节点查询单元,用于基于所述交点对供水管网进行延拓,查询管网节点;其中,延拓过程为沿管道远离区域的方向不断查询管道状态;
节点统计单元,用于统计所有供水节点,得到区域内供水管网;
水表位置查询单元,用于建立与水表备案库的连接通道,查询备案的水表位置;所述水表位置为基于供水管网的相对位置;
存储单元构建单元,用于构建与不同水表相连的数据存储单元,统计所有数据存储单元,得到数据存储单元集。
具体的,所述数据分析模块13包括:
选取单元,用于在数据存储单元集中选取数据存储单元;
数据提取单元,用于根据同一预设的起点时刻和递增的时间长度在数据存储单元中提取已有数据;
数据拟合单元,用于拟合提取到的已有数据,得到用水曲线,计算用水曲线的一阶导数和二阶导数,基于二阶导数确定一阶导数的导数极值及导数最值,作为导数条件;
积分计算单元,用于计算用水曲线的积水,得到含有时间标签的用水总量,作为积分条件;
统计执行单元,用于统计各个时间长度对应的导数条件及积分条件,得到用水条件表。
更进一步的,所述常规率判定模块14包括:
效力值计算单元,用于随机确定用水参数,基于用水条件表判定用水参数的效力值;
循环执行单元,用于根据所述效力值标记用水参数,循环执行直至标记数量达到预设的数量阈值;
常规率确定单元,用于统计所有标记的用水参数,根据所有标记的用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;
其中,效力值的计算规则为:
;式中,V为效力值,(x)是将数据转换至[0,1]范围内的数据转换函数,其处理方式为:;/>为转换后的值,/>为待转换数据的最小值,/>为待转换数据的最大值;/>为第i个用水条件的时间跨度,n为用水条件的项数,D为用水参数的导数特征,/>为第i个用水条件的导数条件,所述导数特征与导数条件同源,I为用水参数的积分特征,/>为第i个用水条件的积分条件,所述积分特征与积分条件同源;if{}为判断语句。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于智能水表的大数据统计存储方法,其特征在于,所述方法包括:
接收用户输入的区域,查询区域内供水管网的布置信息及水表备案信息,构建管网模型及数据存储单元集;其中,管网模型中含有与水表对应的点位,一个点位与一个数据存储单元对应;
根据采集频率接收水表上传的含有时间的用水数据,输入到对应的数据存储单元;
定时对各个数据存储单元中的已有数据进行分析,确定用水条件;所述用水条件包括导数条件和积分条件,导数条件为单位用水量对时间的导数,积分为单位用水量对时间的积分;其中导数条件为单位时间的用水量小于某一预设的数值,其中积分条件为在不同时间跨度内,用水量是多少;
根据所述用水条件确定预设数量的用水参数,根据所述用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;所述用水参数是用户可能产生的用水数据;
根据所述常规率递归更新所述采集频率;
所述根据所述用水条件确定预设数量的用水参数,根据所述用水参数验证数据存储单元的尾部数据,判定常规率的步骤包括:
随机确定用水参数,基于用水条件表计算用水参数的效力值;其中,每个时间跨度都对应一个导数条件和一个积分条件,根据时间跨度的大小顺序统计导数条件和积分条件,得到一张表格,称为用水条件表;
根据所述效力值标记用水参数,循环执行直至标记数量达到预设的数量阈值;
统计所有标记的用水参数,根据所有标记的用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;
其中,效力值的计算规则为:
;式中,/>;V为效力值,/>(x)是将数据转换至[0,1]范围内的数据转换函数,其处理方式为:;/>为转换后的值,/>为待转换数据的最小值,/>为待转换数据的最大值;/>为第i个用水条件的时间跨度,n为用水条件的项数,D为用水参数的导数特征,/>为第i个用水条件的导数条件,所述导数特征与导数条件同源,I为用水参数的积分特征,/>为第i个用水条件的积分条件,所述积分特征与积分条件同源;if{}为判断语句;
所述统计所有标记的用水参数,根据所有标记的用水参数验证数据存储单元的尾部数据,判定常规率的步骤包括:
根据回溯步长在数据存储单元中读取尾部数据;
基于尾部数据遍历标记的用水参数,计算差值;
获取并统计回溯步长内的最小差值,计算差值均值;
基于所述差值均值确定常规率;所述常规率与所述差值均值呈反比。
2.根据权利要求1所述的基于智能水表的大数据统计存储方法,其特征在于,所述接收用户输入的区域,查询区域内供水管网的布置信息及水表备案信息,构建管网模型及数据存储单元集的步骤包括:
接收用户输入的区域边界,查询区域边界与已有供水管网的交点;
基于所述交点对供水管网进行延拓,查询管网节点;其中,延拓过程为沿管道远离区域的方向不断查询管道状态;
统计所有供水节点,得到区域内供水管网;
建立与水表备案库的连接通道,查询备案的水表位置;所述水表位置为基于供水管网的相对位置;所述相对位置代表了水表和管网模型的位置关系;
构建与不同水表相连的数据存储单元,统计所有数据存储单元,得到数据存储单元集。
3.根据权利要求1所述的基于智能水表的大数据统计存储方法,其特征在于,所述定时对各个数据存储单元中的已有数据进行分析,确定用水条件的步骤包括:
在数据存储单元集中选取数据存储单元;
根据同一预设的起点时刻和递增的时间长度在数据存储单元中提取已有数据;
拟合提取到的已有数据,得到用水曲线,计算用水曲线的一阶导数和二阶导数,基于二阶导数确定一阶导数的导数极值及导数最值,作为导数条件;
计算用水曲线的积水,得到含有时间标签的用水总量,作为积分条件;
统计各个时间长度对应的导数条件及积分条件,得到用水条件表。
4.根据权利要求1所述的基于智能水表的大数据统计存储方法,其特征在于,所述根据所述常规率递归更新所述采集频率的步骤包括:
查询常规率对应的数据存储单元,查询数据存储单元对应的水表;
根据所述常规率确定采集频率的变化梯度,基于变化梯度更新采集频率;
其中,变化梯度的确定规则为:;式中,T为变化梯度,用于表征采集频率的变化率,所述变化梯度含有符号;/>为预设的常规率阈值,R为当前常规率,/>为预设数量的尾部数据对应的常规率;/>为预设数量的常规率与常规率阈值的差值的最大值,其用于将常规率与常规率阈值的差值映射至/>,在此区间内,正弦函数为增函数。
5.一种基于智能水表的大数据统计存储系统,其特征在于,所述系统包括:
预处理模块,用于接收用户输入的区域,查询区域内供水管网的布置信息及水表备案信息,构建管网模型及数据存储单元集;其中,管网模型中含有与水表对应的点位,一个点位与一个数据存储单元对应;
数据采集模块,用于根据采集频率接收水表上传的含有时间的用水数据,输入到对应的数据存储单元;
数据分析模块,用于定时对各个数据存储单元中的已有数据进行分析,确定用水条件;所述用水条件包括导数条件和积分条件,导数条件为单位用水量对时间的导数,积分为单位用水量对时间的积分;其中一种导数条件为单位时间的用水量小于某一预设的数值,其中一种积分条件为在不同时间跨度内,用水量是多少;
常规率判定模块,用于根据所述用水条件确定预设数量的用水参数,根据所述用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;所述用水参数是用户可能产生的用水数据;
递归更新模块,用于根据所述常规率递归更新所述采集频率;
所述常规率判定模块包括:
效力值计算单元,用于随机确定用水参数,基于用水条件表计算用水参数的效力值;其中,每个时间跨度都对应一个导数条件和一个积分条件,根据时间跨度的大小顺序统计导数条件和积分条件,得到一张表格,称为用水条件表;
循环执行单元,用于根据所述效力值标记用水参数,循环执行直至标记数量达到预设的数量阈值;
常规率确定单元,用于统计所有标记的用水参数,根据所有标记的用水参数验证数据存储单元的尾部数据,判定常规率;所述常规率用于表征尾部数据与用水参数的匹配情况;
其中,效力值的计算规则为:
;式中,/>;V为效力值,/>(x)是将数据转换至[0,1]范围内的数据转换函数,其处理方式为:;/>为转换后的值,/>为待转换数据的最小值,/>为待转换数据的最大值;/>为第i个用水条件的时间跨度,n为用水条件的项数,D为用水参数的导数特征,/>为第i个用水条件的导数条件,所述导数特征与导数条件同源,I为用水参数的积分特征,/>为第i个用水条件的积分条件,所述积分特征与积分条件同源;if{}为判断语句;
所述统计所有标记的用水参数,根据所有标记的用水参数验证数据存储单元的尾部数据,判定常规率的内容包括:
根据回溯步长在数据存储单元中读取尾部数据;
基于尾部数据遍历标记的用水参数,计算差值;
获取并统计回溯步长内的最小差值,计算差值均值;
基于所述差值均值确定常规率;所述常规率与所述差值均值呈反比。
6.根据权利要求5所述的基于智能水表的大数据统计存储系统,其特征在于,所述预处理模块包括:
交点查询单元,用于接收用户输入的区域边界,查询区域边界与已有供水管网的交点;
节点查询单元,用于基于所述交点对供水管网进行延拓,查询管网节点;其中,延拓过程为沿管道远离区域的方向不断查询管道状态;
节点统计单元,用于统计所有供水节点,得到区域内供水管网;
水表位置查询单元,用于建立与水表备案库的连接通道,查询备案的水表位置;所述水表位置为基于供水管网的相对位置;所述相对位置代表了水表和管网模型的位置关系;
存储单元构建单元,用于构建与不同水表相连的数据存储单元,统计所有数据存储单元,得到数据存储单元集。
7.根据权利要求5所述的基于智能水表的大数据统计存储系统,其特征在于,所述数据分析模块包括:
选取单元,用于在数据存储单元集中选取数据存储单元;
数据提取单元,用于根据同一预设的起点时刻和递增的时间长度在数据存储单元中提取已有数据;
数据拟合单元,用于拟合提取到的已有数据,得到用水曲线,计算用水曲线的一阶导数和二阶导数,基于二阶导数确定一阶导数的导数极值及导数最值,作为导数条件;
积分计算单元,用于计算用水曲线的积水,得到含有时间标签的用水总量,作为积分条件;
统计执行单元,用于统计各个时间长度对应的导数条件及积分条件,得到用水条件表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311683999.XA CN117390028B (zh) | 2023-12-11 | 2023-12-11 | 一种基于智能水表的大数据统计存储方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311683999.XA CN117390028B (zh) | 2023-12-11 | 2023-12-11 | 一种基于智能水表的大数据统计存储方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117390028A CN117390028A (zh) | 2024-01-12 |
CN117390028B true CN117390028B (zh) | 2024-03-08 |
Family
ID=89463442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311683999.XA Active CN117390028B (zh) | 2023-12-11 | 2023-12-11 | 一种基于智能水表的大数据统计存储方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117390028B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2506623C1 (ru) * | 2012-10-08 | 2014-02-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тихоокеанский государственный университет" | Способ поиска неисправного блока в дискретной динамической системе |
CN111550224A (zh) * | 2020-04-27 | 2020-08-18 | 成都理工大学 | 一种非常规储层油气井的水力压裂改造系统及方法 |
CN112395724A (zh) * | 2019-07-30 | 2021-02-23 | 中国石油天然气股份有限公司 | 预测水力压裂地层效果的方法及系统 |
CN112949049A (zh) * | 2021-02-08 | 2021-06-11 | 中国人民解放军92859部队 | 一种利用带限思想计算重力异常低阶径向导数的方法 |
CN116522386A (zh) * | 2023-04-25 | 2023-08-01 | 北京智慧大王科技有限公司 | 一种应用人工智能的电商数据防护方法及服务器 |
CN116879831A (zh) * | 2023-07-14 | 2023-10-13 | 深圳市肯斯特电子有限公司 | 一种基于物联网的电表智能监控方法及系统 |
-
2023
- 2023-12-11 CN CN202311683999.XA patent/CN117390028B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2506623C1 (ru) * | 2012-10-08 | 2014-02-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тихоокеанский государственный университет" | Способ поиска неисправного блока в дискретной динамической системе |
CN112395724A (zh) * | 2019-07-30 | 2021-02-23 | 中国石油天然气股份有限公司 | 预测水力压裂地层效果的方法及系统 |
CN111550224A (zh) * | 2020-04-27 | 2020-08-18 | 成都理工大学 | 一种非常规储层油气井的水力压裂改造系统及方法 |
CN112949049A (zh) * | 2021-02-08 | 2021-06-11 | 中国人民解放军92859部队 | 一种利用带限思想计算重力异常低阶径向导数的方法 |
CN116522386A (zh) * | 2023-04-25 | 2023-08-01 | 北京智慧大王科技有限公司 | 一种应用人工智能的电商数据防护方法及服务器 |
CN116879831A (zh) * | 2023-07-14 | 2023-10-13 | 深圳市肯斯特电子有限公司 | 一种基于物联网的电表智能监控方法及系统 |
Non-Patent Citations (2)
Title |
---|
呼图壁储气库全周期交互注采动态评价方法;陈超;庞晶;李道清;崔国强;闫利恒;;新疆石油地质;20161201(06);全文 * |
基于轨边图像SURF特征的动车底部件异常检测算法;彭丹;周航;;信息系统工程;20160220(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117390028A (zh) | 2024-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116646933A (zh) | 一种基于大数据的电力负荷调度方法及系统 | |
CN102419196B (zh) | 利用多个水位遥控检测装置自动绘制河流水面线的方法 | |
CN113126019A (zh) | 一种智能电表误差远程估计方法、系统、终端和存储介质 | |
CN112348290B (zh) | 河流水质预测方法、装置、存储介质及设备 | |
CN110837933A (zh) | 基于神经网络的漏损识别方法、装置、设备及存储介质 | |
CN111998918A (zh) | 一种误差校正方法、误差校正装置及流量传感系统 | |
CN117390028B (zh) | 一种基于智能水表的大数据统计存储方法及系统 | |
CN111754029A (zh) | 一种社区负荷预测系统 | |
CN112766590B (zh) | 一种居民典型电力消费模式的提取方法与系统 | |
CN116202576B (zh) | 一种城市水利的河湖动态管理的监测方法及系统 | |
CN116956156A (zh) | 一种基于人工智能的污水处理智能曝气方法及系统 | |
CN116823049A (zh) | 一种流域梯级电厂发电能力采集方法及系统 | |
CN111859783B (zh) | 水压预测方法、系统、存储介质、设备、城市供水系统 | |
CN110322063A (zh) | 一种耗电功率仿真预测方法及存储介质 | |
CN117421686B (zh) | 一种水肥一体化灌溉用量数据收集方法 | |
CN116754025B (zh) | 一种基于图像识别技术辅助水平衡测试水量监测方法 | |
CN114399338A (zh) | 一种基于数据分析的工程项目造价评估材料费用动态监测分析管理系统 | |
CN110442883B (zh) | 管网运行因素的影响程度的确定方法及装置 | |
CN117473134B (zh) | 一种用于污染物溯源的水资源监控管理方法及系统 | |
CN117494941B (zh) | 一种家庭户用水数据的处理方法、装置及设备 | |
CN113378335A (zh) | 一种基于机器学习的供水管网压力预测方法及系统 | |
CN118096240A (zh) | 一种物联网水表用量异常检测方法及系统 | |
CN117907922A (zh) | 低压智能电表运行误差的分析方法及系统 | |
CN118214703A (zh) | 一种数字孪生数据流追踪与溯源系统 | |
CN111125471A (zh) | 数据自动打标签方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |