CN116881372A - 基于物联网的水表计量大数据优化处理方法及系统 - Google Patents
基于物联网的水表计量大数据优化处理方法及系统 Download PDFInfo
- Publication number
- CN116881372A CN116881372A CN202311153452.9A CN202311153452A CN116881372A CN 116881372 A CN116881372 A CN 116881372A CN 202311153452 A CN202311153452 A CN 202311153452A CN 116881372 A CN116881372 A CN 116881372A
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- transmitted
- wireless
- feasibility
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 98
- 238000005457 optimization Methods 0.000 title claims abstract description 13
- 238000003672 processing method Methods 0.000 title abstract description 10
- 230000005540 biological transmission Effects 0.000 claims abstract description 88
- 238000009826 distribution Methods 0.000 claims abstract description 27
- 230000003044 adaptive effect Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 25
- 239000003550 marker Substances 0.000 claims description 12
- 238000003064 k means clustering Methods 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/35—Utilities, e.g. electricity, gas or water
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/20—Analytics; Diagnosis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Human Resources & Organizations (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Operations Research (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Entrepreneurship & Innovation (AREA)
- Water Supply & Treatment (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Biomedical Technology (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
Abstract
本发明涉及数据传输技术领域，具体涉及一种基于物联网的水表计量大数据优化处理方法及系统，包括：获取待传输数据；获取子节点分布数据；第一聚类模块，根据三维点图中的子节点进行聚类得到若干类簇结果；可行度计算模块，根据聚类结果基于位置信息的可行度得到聚类结果总体可行度；数据传输时间模块，得到数据传输时间；第二聚类模块，进行第二次聚类；故障排除模块，完成故障排除；数据自适应传输模块，用于对待传输数据进行自适应传输。本发明结合水表数据抄表的工作特性，选择合适的传输方式，采用远距离无线传输以及近距离无线传输结合，并采用一对一和多对一的数据传输网络拓扑结构结合的方式，实现传输成本的降低。
Description
技术领域
本发明涉及数据传输技术领域，具体涉及一种基于物联网的水表计量大数据优化处理方法及系统。
背景技术
NB-IOT水表相对于传统机械水表而言能够节省数据存储空间，提高数据参考精度和传输效率。但是在NB-IOT水表数据传输过程中，因为用户用水情况较为复杂，用水节点较多，进而导致成本过高，且数据多采用单个数据采集点与终端直接信息传输的方式，因而成本进一步提升，使得传输效率无法满足预期。
发明内容
本发明提供一种基于物联网的水表计量大数据优化处理方法及系统，以解决现有的问题。
本发明的一种基于物联网的水表计量大数据优化处理方法及系统采用如下技术方案：
本发明一个实施例提供了一种基于物联网的水表计量大数据优化处理系统，该系统包括以下模块：
数据采集模块，用于获取待传输数据；
子节点分布数据获取模块，用于获取子节点分布数据；
第一聚类模块，对子节点分布数据进行聚类得到若干类簇结果，根据类簇结果布设无线集中器；
可行度计算模块，将若干类簇结果中任意一个类簇结果记为目标类簇，根据目标类簇中子节点的距离得到聚类结果基于位置信息的可行度，根据聚类结果基于位置信息的可行度得到聚类结果总体可行度，将总体可行度小于预设阈值的目标类簇重新进行聚类，直至重新进行聚类后的类簇结果大于等于预设阈值或达到预设迭代次数时停止聚类，将总体可行度大于等于预设阈值的类簇结果记为第一目标类簇；
数据传输时间模块，根据第一目标类簇中子节点对应的待传输数据大小得到数据传输时间；
第二聚类模块，根据数据传输时间进行第二次聚类并布设无线集中器；
故障排除模块，根据无线集中器中待传输数据的大小完成故障排除；
数据自适应传输模块，用于对待传输数据进行自适应传输。
进一步地，所述子节点分布数据的具体获取方法如下：
将每一个单个用户的用水数据采集装置作为一个子节点，通过GPS获取一定区域用户的用水数据采集装置的所有子节点位置，得到子节点分布数据。
进一步地，所述根据类簇结果布设无线集中器，包括的具体步骤如下：
获取每一个类簇结果的中心，在每一个类簇中心对应的位置设置一个无线集中器。
进一步地，所述根据目标类簇中子节点的距离得到聚类结果基于位置信息的可行度，包括的具体步骤如下：
其中，表示目标类簇中第i个子节点到目标类簇中心子节点的欧式距离，/>表示目标类簇中子节点的总个数，/>表示目标类簇基于位置信息的可行度。
进一步地，所述根据聚类结果基于位置信息的可行度得到聚类结果总体可行度，包括的具体步骤如下：
其中，表示目标类簇中第i个子节点到目标类簇中心子节点的欧式距离，/>表示目标类簇中子节点的总个数，/>表示预设的Zigbee传输方式的一般有效距离，/>表示目标类簇基于位置信息的可行度，/>表示目标类簇总体可行度。
进一步地，所述根据第一目标类簇中子节点对应的待传输数据大小得到数据传输时间，包括的具体步骤如下：
其中，表示第一目标类簇中子节点的总个数，/>表示第i子节点对应的用水数据采集装置在单个抄表周期内获取的待传输数据量大小，/>表示预设的最大传输速率，/>表示第一目标类簇中所有子节点对应的用水数据采集装置在单个抄表周期内待传输数据进行传输的时间。
进一步地，所述根据数据传输时间进行第二次聚类并布设无线集中器，包括的具体步骤如下：
预设时间阈值t，当时，对/>对应的第一目标类簇进行标记得到一个标记类簇，/>表示第一目标类簇中所有子节点对应的用水数据采集装置在单个抄表周期内待传输数据进行传输的时间，当/>时,不做处理，获取每一个类簇中所有子节点对应的用水数据采集装置在单个抄表周期内待传输数据进行传输的时间，并与预设时间阈值t进行判断，得到若干标记类簇，以任意一个标记类簇为例进行如下分析：
获取标记类簇的质心，以标记类簇的质心为球心，预设半径为D，将标记类簇中的子节点在预设半径为D的球形范围内的子节点筛除，得到标记类簇中除预设半径为D的球形范围内的子节点，获取所有标记类簇中除预设半径为D的球形范围内的子节点，将所有标记类簇中除预设半径为D的球形范围内的子节点进行第二次K-means聚类，得到若干个新的类簇结果，获取每一个新的类簇中心，在每一个新的类簇中心对应的位置设置一个新的无线集中器。
进一步地，所述根据无线集中器中待传输数据的大小完成故障排除，包括的具体步骤如下：
对于不同的无线集中器任选一个无线集中器进行屏蔽，先不进行待传输数据传输，获取终端接收到的历史平均无线集中器传输数据的大小，具体为历史抄表周期中无线集中器传输到终端的数据大小均值；
将不同的无线集中器任选一个无线集中器进行屏蔽之后剩余所有的无线集中器中的待传输数据进行终端传输，同时获取终端传输的数据大小A，当终端传输的数据大小A和最近一个抄表周期中无线集中器传输到终端的数据大小相同，则屏蔽的无线集中器为故障的无线集中器，当终端传输的数据大小A和最近一个抄表周期中无线集中器传输到终端的数据大小不相同时，则屏蔽的无线集中器不是故障的无线集中器，重新在剩余的所有无线集中器中任选一个进行屏蔽，将重新在剩余的所有无线集中器中任选一个进行屏蔽之后剩余所有的无线集中器中的待传输数据进行终端传输，同时获取终端传输的数据大小B，当终端传输的数据大小B和最近一个抄表周期中无线集中器传输到终端的数据大小相同，则重新在剩余的所有无线集中器中任选一个进行屏蔽的无线集中器为故障的无线集中器，依次进行屏蔽可以确定故障的无线集中器。
进一步地，所述时间阈值t设置为1分钟。
本发明还提出了一种基于物联网的水表计量大数据优化处理方法，所述方法实现所述基于物联网的水表计量大数据优化处理系统的处理过程。
本发明的技术方案的有益效果是：通过结合水表数据的特性，以及水表数据传输需求和环境因素，建立合适的传输网络的拓扑结构，并完成数据在传输过程中故障排除的优化，提升数据采集以及传输装置的效率。
结合水表数据抄表的工作特性，选择合适的传输方式，本发明采用远距离无线传输以及近距离无线传输结合，并采用一对一和多对一的数据传输网络拓扑结构结合的方式，实现传输成本的降低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的一种基于物联网的水表计量大数据优化处理系统的系统框架图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于物联网的水表计量大数据优化处理方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于物联网的水表计量大数据优化处理方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于物联网的水表计量大数据优化处理系统的系统框架图，该系统包括以下模块：
数据采集模块：
需要说明的是，本实施例是基于物联网的水表计量大数据优化处理系统，首先需要获取待传输的数据。本实施例中的水表数据场景特征为，不同用户的用水数据互相独立，且用户的水表分布具有相对集中分布的特点，即在分布距离上具有一定的规律（类似小区居民或乡镇居民的居住距离分布规律），且单个用户的水表均包含用水数据采集装置，即可以正常获取单个用户的用水数据。
具体的，对用户的用水数据进行实时采集，采集方式为在单个抄表周期（以实际情况为准，本实施例中的参考值为30天）内采集用户的用水数据。将采集的数据先进行存储，并对数据进行预处理，通过现有的数据分析处理方法进行数据去噪，得到待传输数据。
至此，得到了待传输数据。
需要说明的是，水表数据传输的传统模式为数据传输的一对一拓扑结构，即对于单个用户，其水表数据经读取后直接进行远距离无线传输方式进行传输，这样的传输方式，传输成本较高，在数据传输过程中，基础的传输成本规律为传输距离越远传输成本越高，传输数据越大，传输次数越多，传输成本越高，因而对于数据传输的成本降低则以上述规律为切入点。
子节点分布数据获取模块：
需要说明的是，本实施例中的水表数据场景特征为，不同用户的用水数据互相独立，且用户的水表分布具有相对集中分布的特点，即在分布距离上具有一定的规律（类似小区居民或乡镇居民的居住距离分布规律），且单个用户的水表均包含用水数据采集装置，即可以正常获取单个用户的用水数据。
具体的，将每一个单个用户的用水数据采集装置作为一个子节点。需要说明的是，在待传输数据传输时，不采用子节点直接向终端进行远距离无线传输的方式，而是由短距离无线传输和远距离无线传输结合的方式进行待传输数据传输。通过GPS获取一定区域用户的用水数据采集装置的所有子节点位置，得到子节点分布数据。需要说明的是，子节点位置是用户的用水数据采集装置在三维空间中的位置坐标，例如第i个子节点位置为，/>表示第i个子节点在三维空间中的横坐标，/>表示第i个子节点在三维空间中的纵坐标，/>表示第i个子节点在三维空间中的竖坐标，子节点分布数据为用户的用水数据采集装置的空间位置分布数据。
至此，得到了子节点分布数据。
第一聚类模块：
需要说明的是，无论对于城镇还是乡村的用户的用水数据，其数据收集阶段，采集的数据单体通常为单个用户的用水数据且采集装置与水表均在同一空间位置，因此以每个水表为一个数据采集点。
具体的，对子节点分布数据进行K-means聚类，本实施例中预设K-means聚类的K值为6，具体实施时可以设置为其他值，通过K-means聚类得到若干个类簇结果，获取每一个类簇的中心，在每一个类簇中心对应的实际位置设置一个无线集中器，目的是待传输数据在传输过程中起到数据中转以及数据存储的作用，即对于多个水表的数据进行采集后，待传输数据首先存储在无线集中器中，当需要进行数据统计或收集时则将单个无线集中器的数据进行短距离无线传输。
至此，完成了第一次聚类。
可行度计算模块：
需要说明的是，通过无线集中器将属于自己一个类簇的水表信息进行统一采集，并集中进行短距离无线传输，将所需数据转发给终端管理系统，相比于直接远距离无线传输，可以减少数据传输的成本。
将任意一个类簇，记为目标类簇；
其中，表示目标类簇中第i个子节点到目标类簇中心子节点的欧式距离，/>表示目标类簇中子节点的总个数，/>表示目标类簇基于位置信息的可行度。
进一步地，根据聚类结果基于位置信息的可行度得到聚类结果总体可行度，具体如下：
其中，表示目标类簇中第i个子节点到目标类簇中心子节点的欧式距离，/>表示目标类簇中子节点的总个数，/>表示预设的Zigbee传输方式的一般有效距离，本实施例中以预设的Zigbee传输方式的一般有效距离为75m进行叙述，/>表示目标类簇基于位置信息的可行度，/>表示目标类簇总体可行度。需要说明的是，由于距离数据与距离差的波动值数值上差别较大。因此对Db进行数据归一化处理，让数据统一缩放到相同区间。当距离的波动越小聚类可行性越高，而距离越大可行性越低。因此对Pd和距离波动的值求倒数，值越大可行性越高。
进一步地，获取所有目标类簇总体可行度，利用线性归一化方法对所有目标类簇总体可行度进行归一化，为便于称呼，后文出现的目标类簇总体可行度代指归一化后的目标类簇总体可行度。
进一步地，预设判别阈值，本实施例中预设判别阈值为0.5为例进行叙述，具体实施时可以设置为其他值，当目标类簇总体可行度大于等于预设判别阈值时，在数据传输时，需要考虑数据传输的负载问题，当目标类簇总体可行度小于预设判别阈值时，获取所有小于预设判别阈值的类簇，将这些类簇中的子节点重新返回第一聚类模块进行K-means聚类，并计算新的目标类簇总体可行度与预设判别阈值进行比较，直到所有类簇总体可行度都大于等于预设判别阈值。
需要说明的是，上述获取类簇的过程是一个重复迭代过程，大改迭代次数大于等于N次时，本实施例停止迭代。本实施例以N=50为例进行叙述。
至此，得到了若干聚类结果。
数据传输时间模块：
需要说明的是，在数据传输时，需要考虑数据传输的负载问题。在聚类完成后需要对聚类结果进行判定。
具体的，将任意一个满足大于等于预设判别阈值时的类簇记为第一目标类簇，获取第一目标类簇中包含的子节点总个数，将第一目标类簇中子节点的总个数记为，获取第一目标类簇中所有子节点对应的用水数据采集装置在单个抄表周期内获取的待传输数据量大小，将第i子节点对应的用水数据采集装置在单个抄表周期内获取的待传输数据量大小记为/>，根据第一目标类簇中所有子节点对应的用水数据采集装置在单个抄表周期内获取的待传输数据量大小得到待传输数据的传输时间，具体如下：
其中，表示第一目标类簇中子节点的总个数，/>表示第i子节点对应的用水数据采集装置在单个抄表周期内获取的待传输数据量大小，/>表示预设的最大传输速率，本实施例中以Zigbee的最大传输速率/>为例进行叙述，/>表示第一目标类簇中所有子节点对应的用水数据采集装置在单个抄表周期内待传输数据进行传输的时间。
至此，得到了数据传输时间。
第二聚类模块：
具体的，预设时间阈值t，本实施例中以预设时间阈值进行叙述，当/>时，对/>对应的第一目标类簇进行标记得到一个标记类簇，/>表示第一目标类簇中所有子节点对应的用水数据采集装置在单个抄表周期内待传输数据进行传输的时间，当/>时，不做处理，同理，获取每一个类簇中所有子节点对应的用水数据采集装置在单个抄表周期内待传输数据进行传输的时间，并与预设时间阈值t进行判断，得到若干标记类簇，以任意一个标记类簇为例进行如下分析：
获取标记类簇的质心，以标记类簇的质心为球心，预设半径为D，本实施例中以预设半径为例进行说明，具体实施时可设置为其他值，预设的Zigbee传输方式的一般有效距离为75m，当标记类簇中的子节点在预设半径为D的球形范围内时，认为其属于标记类簇的可行性高，即传输速率快且传输稳定，将标记类簇中的子节点在预设半径为D的球形范围内的子节点筛除，得到标记类簇中除预设半径为D的球形范围内的子节点，同理，获取所有标记类簇中除预设半径为D的球形范围内的子节点，将所有标记类簇中除预设半径为D的球形范围内的子节点进行第二次K-means聚类，本实施例中预设第二次K-means聚类的K值为3，具体实施时可以设置为其他值，第二次聚类完成后，得到若干个新的类簇结果，获取每一个新的类簇中心，在每一个新的类簇中心对应的位置设置一个新的无线集中器，同样是在数据传输过程中起到待传输数据中转以及数据存储的作用。
至此，完成了第二次聚类。
故障排除模块：
需要说明的是，对于短距离无线传输时数据的大小以及传输速率的影响因素较少，因此其数据的大小以及传输速率的波动均较小，在数据传输时，以最初的数据采集大小为判断标准，当终端接收的数据过小或缺失时，此时需要进行故障节点的排除，本实施例采用故障隔离和分段测试方法。
具体的，对于不同的无线集中器任选一个无线集中器进行屏蔽，先不进行待传输数据传输，获取终端接收到的历史平均无线集中器传输数据的大小，具体为历史抄表周期中无线集中器传输到终端的数据大小均值，当最近一个抄表周期中无线集中器传输到终端的数据大小比历史抄表周期中无线集中器传输到终端的数据大小均值小时，说明最近一个抄表周期中存在无线集中器的故障，因此需要找到故障的无线集中器，具体如下：
将不同的无线集中器任选一个无线集中器进行屏蔽之后剩余所有的无线集中器中的待传输数据进行终端传输，同时获取终端传输的数据大小A，当终端传输的数据大小A和最近一个抄表周期中无线集中器传输到终端的数据大小相同，则说明屏蔽的无线集中器为故障的无线集中器，获取屏蔽的无线集中器的具体实际位置，后续可以安排维修人员进行维修，当终端传输的数据大小A和最近一个抄表周期中无线集中器传输到终端的数据大小不相同时，则说明屏蔽的无线集中器不是故障的无线集中器，重新在剩余的所有无线集中器中任选一个进行屏蔽，将重新在剩余的所有无线集中器中任选一个进行屏蔽之后剩余所有的无线集中器中的待传输数据进行终端传输，同时获取终端传输的数据大小B，当终端传输的数据大小B和最近一个抄表周期中无线集中器传输到终端的数据大小相同，则说明重新在剩余的所有无线集中器中任选一个进行屏蔽的无线集中器为故障的无线集中器，后续可依次进行屏蔽确定故障的无线集中器。
同理，可以对用户的用水数据采集装置进行屏蔽，需要说明的是，对于每个用户的用水数据采集装置都对应唯一一个无线集中器，且一个无线集中器对应多个用户的用水数据采集装置，在某一个无线集中器对应多个用户的用水数据采集装置中任选一个用水数据采集装置进行屏蔽，通过比较屏蔽的用水数据采集装置所对应的无线集中器在屏蔽前后所接收到的待传输数据大小，可以找到故障的用水数据采集装置，具体过程和确定故障的无线集中器相同，此处不再进行详细的赘述。
至此，完成了故障排除。
数据自适应传输模块：
需要说明的是，对于一个抄表周期的数据并非固定大小，即将采集和传输时间进行固定后，数据的大小也固定，此时数据传输在数据量较大时，容易出现数据接收时间较长，或导致数据丢失的可能性变大，因此需要对采集或传输时间进行基于数据大小的自适应优化。
具体的，预设满足待传输数据的最佳数据大小值G，本实施例中以最佳数据大小值G=1.5mb为例进行叙述，当无线集中器接收到的待传输数据的大小超过预设的最佳数据大小值G，则自动进行数据传输，传输至终端；需要说明的是，本实施例中预设的抄表周期为一个月，一般情况下月末的时候需要统计月度耗电情况，因此，在抄表周期的最后一天时，如果无线集中器接收到的待传输数据的大小没有超过预设的最佳数据大小值G，也需要进行终端传输。
至此，完成了数据自适应传输。
在本发明一个实施例中，完成了数据自适应传输后可通过对用水数据进行预处理，提高数据质量；进一步对居民月用水量的占比进行分析，进一步结合泊松分布、正态分布的概率模型分析，确定月用水量以及变化趋势，进而获得日用水量以及时用水量及变化规律的分析，通过数据分析提取当前居民用水的准确用水特征，进而对当前水管网的漏损进行监控，还可以通过数据分析实现辅助阶梯水价的调整与执行、对水费收入进行预测、对用户用水属性进行评定等多种功能。
本发明还提出了一种基于物联网的水表计量大数据优化处理方法，所述方法实现所述基于物联网的水表计量大数据优化处理系统的处理过程。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于物联网的水表计量大数据优化处理系统，其特征在于，该系统包括以下模块：
数据采集模块，用于获取待传输数据；
子节点分布数据获取模块，用于获取子节点分布数据；
第一聚类模块，对子节点分布数据进行聚类得到若干类簇结果，根据类簇结果布设无线集中器；
可行度计算模块，将若干类簇结果中任意一个类簇结果记为目标类簇，根据目标类簇中子节点的距离得到聚类结果基于位置信息的可行度，根据聚类结果基于位置信息的可行度得到聚类结果总体可行度，将总体可行度小于预设阈值的目标类簇重新进行聚类，直至重新进行聚类后的类簇结果大于等于预设阈值或达到预设迭代次数时停止聚类，将总体可行度大于等于预设阈值的类簇结果记为第一目标类簇；
数据传输时间模块，根据第一目标类簇中子节点对应的待传输数据大小得到数据传输时间；
第二聚类模块，根据数据传输时间进行第二次聚类并布设无线集中器；
故障排除模块，根据无线集中器中待传输数据的大小完成故障排除；
数据自适应传输模块，用于对待传输数据进行自适应传输。
2.根据权利要求1所述一种基于物联网的水表计量大数据优化处理系统，其特征在于，所述子节点分布数据的具体获取方法如下：
将每一个单个用户的用水数据采集装置作为一个子节点，通过GPS获取一定区域用户的用水数据采集装置的所有子节点位置，得到子节点分布数据。
3.根据权利要求1所述一种基于物联网的水表计量大数据优化处理系统，其特征在于，所述根据类簇结果布设无线集中器，包括的具体步骤如下：
获取每一个类簇结果的中心，在每一个类簇中心对应的位置设置一个无线集中器。
4.根据权利要求1所述一种基于物联网的水表计量大数据优化处理系统，其特征在于，所述根据目标类簇中子节点的距离得到聚类结果基于位置信息的可行度，包括的具体步骤如下：
，其中，/>表示目标类簇中第i个子节点到目标类簇中心子节点的欧式距离，/>表示目标类簇中子节点的总个数，/>表示目标类簇基于位置信息的可行度。
5.根据权利要求1所述一种基于物联网的水表计量大数据优化处理系统，其特征在于，所述根据聚类结果基于位置信息的可行度得到聚类结果总体可行度，包括的具体步骤如下：
，其中，/>表示目标类簇中第i个子节点到目标类簇中心子节点的欧式距离，/>表示目标类簇中子节点的总个数，/>表示预设的Zigbee传输方式的一般有效距离，/>表示目标类簇基于位置信息的可行度，/>表示目标类簇总体可行度。
6.根据权利要求1所述一种基于物联网的水表计量大数据优化处理系统，其特征在于，所述根据第一目标类簇中子节点对应的待传输数据大小得到数据传输时间，包括的具体步骤如下：
，其中，/>表示第一目标类簇中子节点的总个数，/>表示第i子节点对应的用水数据采集装置在单个抄表周期内获取的待传输数据量大小，/>表示预设的最大传输速率，/>表示第一目标类簇中所有子节点对应的用水数据采集装置在单个抄表周期内待传输数据进行传输的时间。
7.根据权利要求1所述一种基于物联网的水表计量大数据优化处理系统，其特征在于，所述根据数据传输时间进行第二次聚类并布设无线集中器，包括的具体步骤如下：
预设时间阈值t，当时，对/>对应的第一目标类簇进行标记得到一个标记类簇，/>表示第一目标类簇中所有子节点对应的用水数据采集装置在单个抄表周期内待传输数据进行传输的时间，当/>时，不做处理，获取每一个类簇中所有子节点对应的用水数据采集装置在单个抄表周期内待传输数据进行传输的时间，并与预设时间阈值t进行判断，得到若干标记类簇，以任意一个标记类簇为例进行如下分析：
获取标记类簇的质心，以标记类簇的质心为球心，预设半径为D，将标记类簇中的子节点在预设半径为D的球形范围内的子节点筛除，得到标记类簇中除预设半径为D的球形范围内的子节点，获取所有标记类簇中除预设半径为D的球形范围内的子节点，将所有标记类簇中除预设半径为D的球形范围内的子节点进行第二次K-means聚类，得到若干个新的类簇结果，获取每一个新的类簇中心，在每一个新的类簇中心对应的位置设置一个新的无线集中器。
8.根据权利要求1所述一种基于物联网的水表计量大数据优化处理系统，其特征在于，所述根据无线集中器中待传输数据的大小完成故障排除，包括的具体步骤如下：
对于不同的无线集中器任选一个无线集中器进行屏蔽，先不进行待传输数据传输，获取终端接收到的历史平均无线集中器传输数据的大小，具体为历史抄表周期中无线集中器传输到终端的数据大小均值；
将不同的无线集中器任选一个无线集中器进行屏蔽之后剩余所有的无线集中器中的待传输数据进行终端传输，同时获取终端传输的数据大小A，当终端传输的数据大小A和最近一个抄表周期中无线集中器传输到终端的数据大小相同，则屏蔽的无线集中器为故障的无线集中器，当终端传输的数据大小A和最近一个抄表周期中无线集中器传输到终端的数据大小不相同时，则屏蔽的无线集中器不是故障的无线集中器，重新在剩余的所有无线集中器中任选一个进行屏蔽，将重新在剩余的所有无线集中器中任选一个进行屏蔽之后剩余所有的无线集中器中的待传输数据进行终端传输，同时获取终端传输的数据大小B，当终端传输的数据大小B和最近一个抄表周期中无线集中器传输到终端的数据大小相同，则重新在剩余的所有无线集中器中任选一个进行屏蔽的无线集中器为故障的无线集中器，依次进行屏蔽可以确定故障的无线集中器。
9.根据权利要求7所述一种基于物联网的水表计量大数据优化处理系统，其特征在于，所述时间阈值t设置为1分钟。
10.一种基于物联网的水表计量大数据优化处理方法，其特征在于，所述方法实现如权利要求1~9任意一项所述基于物联网的水表计量大数据优化处理系统的处理过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311153452.9A CN116881372B (zh) | 2023-09-08 | 2023-09-08 | 基于物联网的水表计量大数据优化处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311153452.9A CN116881372B (zh) | 2023-09-08 | 2023-09-08 | 基于物联网的水表计量大数据优化处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116881372A true CN116881372A (zh) | 2023-10-13 |
| CN116881372B CN116881372B (zh) | 2023-12-05 |
Family
ID=88260910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311153452.9A Active CN116881372B (zh) | 2023-09-08 | 2023-09-08 | 基于物联网的水表计量大数据优化处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116881372B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118075358A (zh) * | 2024-04-17 | 2024-05-24 | 南通余弦数智科技有限公司 | 一种基于通用人工智能的通讯数据传输处理系统 |
| CN118233503A (zh) * | 2024-05-27 | 2024-06-21 | 华侨大学 | 一种智能水表的数据传输方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108833144A (zh) * | 2018-05-30 | 2018-11-16 | 南京海兴电网技术有限公司 | 一种基于聚类统计模型的智能电表集中器选址方法 |
| CN113098748A (zh) * | 2020-03-31 | 2021-07-09 | 国网浙江省电力有限公司电力科学研究院 | 一种基于双模通信的抄表方法及抄表系统 |
| CN113344742A (zh) * | 2021-06-29 | 2021-09-03 | 积成电子股份有限公司 | 基于聚类和时序分析的自动抄表成功率影响因素分析方法 |
| CN114997261A (zh) * | 2022-04-15 | 2022-09-02 | 南昌工程学院 | 一种居民电力数据聚类方法及系统 |
| CN116599776A (zh) * | 2023-07-18 | 2023-08-15 | 深圳友讯达科技股份有限公司 | 基于物联网的智能电表管理方法、装置、设备及存储介质 |
-
2023
- 2023-09-08 CN CN202311153452.9A patent/CN116881372B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108833144A (zh) * | 2018-05-30 | 2018-11-16 | 南京海兴电网技术有限公司 | 一种基于聚类统计模型的智能电表集中器选址方法 |
| CN113098748A (zh) * | 2020-03-31 | 2021-07-09 | 国网浙江省电力有限公司电力科学研究院 | 一种基于双模通信的抄表方法及抄表系统 |
| CN113344742A (zh) * | 2021-06-29 | 2021-09-03 | 积成电子股份有限公司 | 基于聚类和时序分析的自动抄表成功率影响因素分析方法 |
| CN114997261A (zh) * | 2022-04-15 | 2022-09-02 | 南昌工程学院 | 一种居民电力数据聚类方法及系统 |
| CN116599776A (zh) * | 2023-07-18 | 2023-08-15 | 深圳友讯达科技股份有限公司 | 基于物联网的智能电表管理方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118075358A (zh) * | 2024-04-17 | 2024-05-24 | 南通余弦数智科技有限公司 | 一种基于通用人工智能的通讯数据传输处理系统 |
| CN118075358B (zh) * | 2024-04-17 | 2024-06-28 | 南通余弦数智科技有限公司 | 一种基于通用人工智能的通讯数据传输处理系统 |
| CN118233503A (zh) * | 2024-05-27 | 2024-06-21 | 华侨大学 | 一种智能水表的数据传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116881372B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116881372B (zh) | 基于物联网的水表计量大数据优化处理方法及系统 | |
| CN102938742B (zh) | 基于电力业务需求的通信带宽预测方法及装置 | |
| CN105740975B (zh) | 一种基于数据关联关系的设备缺陷评估与预测方法 | |
| CN106407627B (zh) | 一种风速概率分布建模的方法和系统 | |
| CN110648249A (zh) | 年度电力平衡测算方法、装置及设备 | |
| CN118017509B (zh) | 基于数字孪生空间的大规模配电网并行优化方法 | |
| CN114119290A (zh) | 适用于碳排放数据的监控识别方法、装置及存储介质 | |
| CN115642652A (zh) | 一种基于人工智能的电力调节装置 | |
| CN116148753A (zh) | 一种智能电能表运行误差监测系统 | |
| CN117728379A (zh) | 用于区域电网的智能运行调度方法 | |
| CN114362238B (zh) | 光伏控制系统及方法 | |
| CN111930802A (zh) | 一种基于Lasso解析的反窃电分析方法 | |
| CN111835006A (zh) | 一种基于电压曲线和最小二乘的低压台区拓扑识别方法 | |
| CN109547931A (zh) | 确定移动终端所在地的服务器 | |
| CN110165657A (zh) | 考虑用户行业属性的变电站负荷聚类分析方法 | |
| CN111651448A (zh) | 一种基于降噪差分进化的低压拓扑识别方法 | |
| CN113315173B (zh) | 基于大数据分析和供需双侧协同优化的配电网规划方法、设备、系统及存储介质 | |
| CN109742856B (zh) | 台区电能表网络三维物理拓扑结构图生成方法 | |
| CN111552699A (zh) | 一种基于电力积分奖励的居民能耗上报系统 | |
| CN105203838B (zh) | 一种电量采集系统 | |
| CN111682622A (zh) | 一种基于大数据的锂电池充电管理系统 | |
| CN110719304A (zh) | 一种基于NB-IoT技术微型耕耘机监测系统 | |
| CN110225108A (zh) | 非侵入式用电能效监测终端 | |
| CN115099650B (zh) | 基于抄表差错风险模型的抄表差错监控方法及系统 | |
| CN116894568B (zh) | 一种充电桩的碳排放综合管理预测方法及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |