CN106776907B - 一种智慧城市海量数据采集优化方法 - Google Patents
一种智慧城市海量数据采集优化方法 Download PDFInfo
- Publication number
- CN106776907B CN106776907B CN201611082852.5A CN201611082852A CN106776907B CN 106776907 B CN106776907 B CN 106776907B CN 201611082852 A CN201611082852 A CN 201611082852A CN 106776907 B CN106776907 B CN 106776907B
- Authority
- CN
- China
- Prior art keywords
- data
- water conservancy
- event
- rainfall
- clock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013480 data collection Methods 0.000 title claims description 14
- 238000005457 optimization Methods 0.000 title description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 117
- 239000002245 particle Substances 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000005086 pumping Methods 0.000 claims description 12
- 230000003111 delayed effect Effects 0.000 claims description 8
- 238000001556 precipitation Methods 0.000 claims description 8
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 230000002688 persistence Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000008020 evaporation Effects 0.000 claims description 3
- 238000001704 evaporation Methods 0.000 claims description 3
- 230000002045 lasting effect Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 abstract description 4
- 238000007405 data analysis Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 3
- 238000013500 data storage Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 20
- 238000013459 approach Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及到对于水利信息化设备的智能控制，并能在特定的事件中通过对数据的快速处理来达到对水利信息化的高效管理。本方法通过在前端数据采集设备中增加事件触发功能，在事件发生过程中能优先将数据发送至分布架构中特定数据仓库中，并在数据仓库设定不同的粒度级并在粒度级上划分不同的数据域，通过对雨量、水位和流量三个关键数据点的抓取，加速在事件中对海量水利数据的批量处理，实现数据存储和访问的高效率，提升整个系统深度数据分析的能力。
Description
技术领域
本发明涉及一种计算机梳理数据处理方法，特别是一种智慧城市海量数据采集优化方法。
背景技术
随着现代计算机信息技术的高速发展，结合互联网络，水利行业在信息采集技术和手段、远程数据传输方式、信息后处理方法等方面都取得的较大的进步，并根据行业发展需求分阶段进行了水利信息化建设，并初步构建以智慧水利大数据分析为基础的综合管理平台。
伴随着水利前端采集设备越来越智能化、功能集成化程度也越来越高，但在软件方面依旧存在着分散管理、重复开发、复用率低等弊端。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种智慧城市海量数据采集优化方法。
为了解决上述技术问题，本发明公开了一种智慧城市海量水利数据采集优化方法，包括：
步骤1，对已部署的水利数据采集终端设备增加基于事件触发的功能模块；
步骤2，对水利数据采集的大数据进行分布式和集中式双架构处理；
步骤3，设定触发功能的优先级高低顺序，包括：故障告警模式、事件及时模式以及非实时性中断模式；
步骤4，功能模块获取设备运行状态值，功能模块对数据信号进行判断，根据判断规则如否则触发故障告警模式，直接发送设备运行故障信息数据至平台数据交换库，如是则执行步骤5；
步骤5，功能模块触发事件及时模式，执行发送水利数据到分布式架构下的事件数据仓库；
步骤6，在事件数据仓库中建水利事实数据表、时间维度表、区域维度表、设备特征维度表和水利属性维度表；
步骤7，将水利数据的原始信息按时间维度表、区域维度表、设备类型维度表和水利属性维度表分别存入各表；
步骤8，将步骤7中的各维度表插入到单一事件事实表和周期事实表中；
步骤9，将单一事件事实表进行数据持久操作至底层数据库，事件数据仓库内对于周期事实表中的水利数据进行处理，包括：
步骤9.1，抽取以日为时间粒度的水利基础数据并放入缓存；
步骤9.2，执行对缓存中的水利数据的查询；
步骤9.3，根据查询结果输出以降雨量、水位、流量为三个数据结果集；
步骤9.4，将降雨量、水位、流量的数据与设计的参数指标值进行比较，如符合参数指标值，执行步骤10，如否则执行步骤11；
步骤10，执行对所得数据结果集的数据持久化；
步骤11，执行对所得数据结果集在低粒度级的底层数据库中做更新操作；
步骤12，执行对步骤10在事件数据仓库中的事件数据分割；
步骤13，执行对步骤11在事件数据仓库中的业务数据分割；
步骤14，执行功能模块在系统因资源占用无法继续执行故障告警模式或事件及时模式，或高优先级任务退出后需要实现低优先级任务执行环境的恢复。
本发明中，步骤1中，水利数据采集终端设备的数据信号经过A/D转换器后通过时钟分配器，设定两个独立的A时钟域和B时钟域，如数据信息不延时，则以A时钟的宽度分配寄存地址；如数据信息延时，则以B时钟的宽度分配到寄存地址；设定寄存数据形成以A时钟和B时钟宽度的并按照时间先后顺序的数据循环队列，数据缓存控制器读取数据循环队列中的数据；在数据缓存控制器中以10个缓存数据为一个周期单元，且把每个单元和与其相邻的两个单元作为一个对前端设备运行状态的判断点；如果单一单元内的缓存数据信息完整度达到85％，且三个单元内的A时钟宽度数据比例不低于60％，同时B时钟宽度数据比例不高于40％，则数据缓存控制器触发事件及时功能并输出数据；否则，则数据缓存控制器触发故障告警但仍输出数据；判断缓存数据控制器中的数据量是否满，如满则中断对数据的输入触发模块的非实时性中断功能，否则继续读取数据。
本发明中，步骤2中包括：
步骤2.1，对水利大数据的分布式架构包括：.对整个水利数据采集区域划分为河道区、泵站闸口区、水库堤坝区以及灌排区；对基于多个河道区，泵站闸口区、水库堤坝区、灌排区的构建相互独立的数据仓库；
步骤2.2，对水利大数据的集中式架构包括：基于步骤2.1已建立的分布式数据仓库来建立集中式的数据仓库。
本发明中，步骤6包括：
步骤6.1，构建水利数据单一事件事实表和周期事实表，单一事实表为水利低粒度级，周期事实表为水利事件数据的累积的高粒度级，事件数据表包含高程、水位、流量、雨量、蓄水量、蒸发量、温度以及水流速；
步骤6.2，构建水利数据的维度表，无变化维度为区域维度表和设备特征维度表；常变化维度为时间维度表和水利属性维度表。
本发明中，步骤9中，将降雨量、水位、流量的数据与设计的参数指标值进行比较，包括：
河道区、泵站闸口区、水库堤坝区、灌排区四个区域内的实时降雨量有效数据和近一小时时段降雨数值的平均值是否大于警戒的指标值，如低于就判定降雨量数据有效；
对于符合以下规则描述的降雨量、水位和流量数据结果集认定为有效数据：
在日降雨量数据值在n年平均时段降雨量的正负一个标准差范围内，同一时段的有效水位数据结果集和流量数据结果集的增加或减少的幅度也在上一组数据的正负一个标准差范围内；在日降雨量数据值达到当月平均时段降水数值的正负两个标准差范围内之间，同一时段的有效水位数据结果集和流量数据结果集的增加或减少的幅度也在上一组数据的正负两个标准差范围内以内；在日降雨量数据值超过近8小时降雨量数值的正负三个标准差范围内，同一时段的有效水位数据结果集和流量数据结果集的增加的幅度也在上一组数据的正负三个标准差范围内。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为功能触发模块的逻辑结构图。
图2为事件功能触发流程图；
图3为数据仓库建表结构图；
图4为事件触发的数据优化流程方法图。
具体实施方式
本发明涉及到对于水利信息化设备的智能控制，并能在特定的事件中通过对数据的快速处理来达到对水利信息化的高效管理。本方法通过在前端数据采集设备中增加事件触发功能，在事件发生过程中能优先将数据发送至分布架构中特定数据仓库中，并在数据仓库设定不同的粒度级并在粒度级上划分不同的数据域，通过对雨量、水位和流量三个关键数据点的抓取，加速在事件中对海量水利数据的批量处理，实现数据存储和访问的高效率，提升整个系统深度数据分析的能力。
本发明针对现有水利信息系统中的缺陷，本发明提供基于智慧水利前端数据采集优化一种方法，快速实现对前端采集设备的智能化管理，并在水利的特定事件发生过程中对海量数据的专项处理。
本发明对于不同类型的水利前端数据采集设备包括水位雨量监测机、泵站/闸口水质水情数据采集器，增加基于事件触发的功能模块对不同设备运行状态的统一监听以及对跨业务类型的数据在水利事件中实现业务协同的快速处理。
本发明中的事件触发的功能模块，该功能实现逻辑结构为：水利数据采集终端设备的数据信号经过A/D转换器后通过时钟分配器，设定两个独立的A、B时钟域，如数据信息不延时则以A时钟的宽度分配寄存地址；如数据信息延时则以B时钟的宽度分配到寄存地址；设定寄存数据形成以A、B时钟宽度的并按照时间先后顺序的数据循环队列，数据缓存控制器读取数据循环队列中的数据，在数据缓存控制器中以10个缓存数据为一个周期单元且把每个单元和与其相邻的两个单元作为一个对前端设备运行状态的判断点，单一单元内的缓存数据信息完整度达到85％且三个单元内的A时钟宽度数据比例不低于60％同时B时钟宽度数据比例不高于40％，则数据缓存控制器触发事件及时功能并输出数据；如否则数据缓存控制器触发故障告警但仍输出数据；判断缓存数据控制器中的数据量是否满，如满则中断对数据的输入触发模块的非实时性中断功能，否则继续读取数据。
本发明设定了优先级顺序为1.故障告警模式、2.事件及时模式、3.非实时性中断模式；
本发明中的事件触发的功能模块的故障告警模式，开放的接口适配不同类型和不同厂家设备；对于设备运行状态监听并根据设备参数变化直接反馈故障数据至平台数据交换库；
本发明中的事件触发的功能模块的时间及时模式，在水利事件中对水利数据的快速提取并对水利业务数据的协同快速处理；
本发明的事件触发的功能模块的非实时性中断模式，在无法响应故障告警和事件及时模式或按照优先级顺序结束后对于该模块的功能初始化操作。
本发明中的对于水利业务数据协同的快速处理方法，其具体方法如下：
S1.在事件数据仓库中建水利事实数据表、时间维度表、区域维度表、设备类型维度表和流域水系维度表；
S2.执行水利事实数据表与时间维度表、区域维度表、设备类型维度表和流域水系维度表进行数据关联；
S3.事件数据仓库内对于关联后的水利数据进行处理，子步骤：
S3.1.抽取以日为时间粒度的水利基础数据并放入缓存；
S3.2.执行对缓存中的水利数据的查询；
S3.3.根据查询结果输出以雨量、水位、流量为三个关键数据结果集；
S3.4.判断雨量、水位、流量的数据是否同时在已设定的参数变化值区间，如是则认定有效，执行步骤S4，如否则执行步骤S5；
S4.执行对该数据结果集的数据持久化；
S5.执行对该数据结果集在低粒度级的底层数据库中做更新操作；
S6.执行对步骤S4在事件数据仓库中的事件数据分割；
S7.执行对步骤S5在事件数据仓库中的业务数据分割。
实施例1
本实施例公开了一种智慧城市海量水利数据采集优化方法，包括：
步骤1.对已部署的数据采集终端设备增加基于事件触发的功能模块；功能模块逻辑结构描述如下：水利数据采集终端设备的数据信号经过A/D转换器后通过时钟分配器，设定两个独立的A、B时钟域，如数据信息不延时则以A时钟的宽度分配寄存地址；如数据信息延时则以B时钟的宽度分配到寄存地址；设定寄存数据形成以A、B时钟宽度的并按照时间先后顺序的数据循环队列，数据缓存控制器读取数据循环队列中的数据，在数据缓存控制器中以10个缓存数据为一个周期单元且把每个单元和与其相邻的两个单元作为一个对前端设备运行状态的判断点，单一单元内的缓存数据信息完整度达到85％且三个单元内的A时钟宽度数据比例不低于60％同时B时钟宽度数据比例不高于40％，则数据缓存控制器触发事件及时功能并输出数据；如否则数据缓存控制器触发故障告警但仍输出数据；判断缓存数据控制器中的数据量是否满，如满则中断对数据的输入触发模块的非实时性中断功能，否则继续读取数据。
步骤2.对水利数据采集的大数据进行分布式和集中式双架构处理，具体部署方式即：
步骤2.1对水利大数据的分布式架构步骤：1.对整个水利数据采集区域划分为河道区、泵站闸口区、水库堤坝区、灌排区；2.对基于多个河道区，多个泵站闸口区、多个水库堤坝区、多个灌排区的构建相互独立的数据仓库；
步骤2.2对水利大数据的集中式架构步骤：基于步骤2.1已建立的分布式数据仓库来建立集中式的数据仓库；
步骤3.并设定触发功能的优先级高低顺序依次为：1.故障告警模式、2.事件及时模式、3.非实时性中断模式；
步骤4.功能模块获取设备运行状态值，功能模块对数据信号进行判断，根据判断规则如否则触发故障告警模式，直接发送设备运行故障信息数据至平台数据交换库，如是则执行步骤5；
步骤5.功能模块触发事件及时模式，执行发送水利数据到分布式架构下的事件数据仓库；
步骤6.在事件数据仓库中建水利事实数据表、时间维度表、区域维度表、设备特征维度表和水利属性维度表；
步骤6.1构建水利数据单一事件事实表和周期事实表，单一事实表为水利低粒度级，周期事实表为水利事件数据的累积的高粒度级，事件数据表包含高程、水位、流量、雨量、蓄水量、蒸发量、温度、水流速；
步骤6.2构建水利数据的维度表，无变化维度为区域维度表和设备特征维度表；常变化维度为时间维度表和水利属性维度表；
步骤7.水利数据的原始信息按时间维度表、区域维度表、设备类型维度表和水利属性维度表分别存入各表；
步骤8.步骤7中的各维度表插入到单一事件事实表和周期事实表中；
步骤9.将单一事件事实表进行数据持久操作至底层数据库；事件数据仓库内对于周期事实表中的水利数据进行处理，子步骤：
步骤9.1抽取以日为时间粒度的水利基础数据并放入缓存；
步骤9.2执行对缓存中的水利数据的查询；
步骤9.3根据查询结果输出以降雨量、水位、流量为三个数据结果集；
步骤9.4降雨量、水位、流量的数据与设计的参数指标值进行比较，如符合参数指标值，执行步骤10，如否则执行步骤11；
数据集与参数指标值比较方法：
河道区、泵站闸口区、水库堤坝区、灌排区四个区域内的实时降雨量有效数据和近一小时时段降雨数值的平均值是否大于警戒的指标值，如低于就判定降雨量数据有效合理；
在日降雨量数据值在n年(n大于等于2)平均时段降雨量的正负一个标准差范围内，同一时段的有效水位数据结果集和流量数据结果集的增加或减少的幅度也在上一组数据的正负一个标准差范围内；在日降雨量数据值达到当月平均时段降水数值的正负两个标准差范围内之间，同一时段的有效水位数据结果集和流量数据结果集的增加或减少的幅度也在上一组数据的正负两个标准差范围内以内；在日降雨量数据值超过近8小时降雨量数值的正负三个标准差范围内，同一时段的有效水位数据结果集和流量数据结果集的增加的幅度也在上一组数据的正负三个标准差范围内；对于符合以上规则描述的降雨量、水位和流量数据结果集认定为有效数据；
步骤10.执行对该数据结果集的数据持久化；
步骤11.执行对该数据结果集在低粒度级的底层数据库中做更新操作；
步骤12.执行对步骤10在事件数据仓库中的事件数据分割；
步骤13.执行对步骤11在事件数据仓库中的业务数据分割；
步骤14.执行功能模块在系统因资源占用无法继续执行模式1和模式2，或高优先级任务退出后需要实现低优先级任务执行环境的恢复；
实施例2
如图1所示，功能流程描述：水利数据采集终端设备发送数据信号到嵌入式模块中的A/D转换器，A/D转换器将模拟信号转换成数字信号后传送给时钟分配器，设定时钟分配器以数据是否延时(“0”表示延时，“1”表示不延时)来分配数据地址，分配以A时钟宽度的寄存数据(不延时)和B时钟宽度的寄存数据(延时)，A,B寄存数据形成一个循环队列的数据包，数据缓存控制器读取数据包中数据，在数据量未满的情况下通过对数据质量的判定，对符合数据质量判定规则的数据，模块触发事件及时功能同时将该数据包输出给数据仓库，如果不符合判定规则，模块则触发故障告警但同时也将数据包的信息反馈给平台数据交换库，在数据缓存控制器数据量满额时，模块则触发非实时性中断功能，数据缓存控制器暂停读取数据包。
如图2所示，流程步骤说明：功能模块在触发故障告警时直接将故障的数据信息直接反馈到平台数据交换库；模块触发事件及时功能时发送数据至分布式的事件数据仓库并对数据质量进行初步的处理；功能模块在模块中的数据缓存控制器数据已满后触发的非实时性中断功能，模块清空内存准备接收下一批数据；
其中对于数据仓库的双架构说明：对整个水利数据采集区域划分为河道区、泵站闸口区、水库堤坝区、灌排区；对基于多个河道区，多个泵站闸口区、多个水库堤坝区、多个灌排区的构建相互独立的数据仓库；
基于已建立的区域分布式数据仓库构建集中式的数据仓库。
如图3所示，建表步骤:数据仓库在获取到经过处理的有质数据后把数据信息插入时间、区域、设备特征和水利属性的维度表中，四个维度表同步插入单一事件事实表和周期事实表中；对单一事件事实表进行持久化操作，完成后入底层数据库；对周期事件事实表再在数据仓库中执行业务逻辑运算。
如图4所示，数据优化处理的步骤：数据仓库抽取水利周期事件表中以时间为粒度的水利基础数据中的雨量、水位、流量的数据信息，并将这三个关键数据点与设定的参数指标值做比较，符合参数指标值，则对数据包进行持久化储存在内存中，并根据业务需求进行后台的数据分割操作，不符合参数指标值，则将该数据包发送至底层数据库进行更新并进行业务数据的分割。
本发明提供了一种智慧城市海量水利数据采集优化方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (5)
1.一种智慧城市海量水利数据采集优化方法，其特征在于，包括：
步骤1，对已部署的水利数据采集终端设备增加基于事件触发的功能模块；
步骤2，对水利数据采集的大数据进行分布式和集中式双架构处理；
步骤3，设定触发功能的优先级高低顺序，包括：故障告警模式、事件及时模式以及非实时性中断模式；
步骤4，功能模块获取设备运行状态值，功能模块对数据信号进行判断，根据判断规则，如不符合判断规则则触发故障告警模式，直接发送设备运行故障信息数据至平台数据交换库，如符合判断规则则执行步骤5；
步骤5，功能模块触发事件及时模式，执行发送水利数据到分布式架构下的事件数据仓库；
步骤6，在事件数据仓库中建水利事实数据表、时间维度表、区域维度表、设备特征维度表和水利属性维度表；
步骤7，将水利数据的原始信息按时间维度表、区域维度表、设备类型维度表和水利属性维度表分别存入各表；
步骤8，将步骤7中的各维度表插入到单一事件事实表和周期事实表中；
步骤9，将单一事件事实表进行数据持久操作至底层数据库，事件数据仓库内对于周期事实表中的水利数据进行处理，包括：
步骤9.1，抽取以日为时间粒度的水利基础数据并放入缓存；
步骤9.2，执行对缓存中的水利数据的查询；
步骤9.3，根据查询结果输出以降雨量、水位、流量为三个数据结果集；
步骤9.4，将降雨量、水位、流量的数据与设计的参数指标值进行比较，如符合参数指标值，执行步骤10，如否则执行步骤11；
步骤10，执行对所得数据结果集的数据持久化；
步骤11，执行对所得数据结果集在低粒度级的底层数据库中做更新操作；
步骤12，执行对步骤10在事件数据仓库中的事件数据分割；
步骤13，执行对步骤11在事件数据仓库中的业务数据分割；
步骤14，执行功能模块在系统因资源占用无法继续执行故障告警模式或事件及时模式，或高优先级任务退出后需要实现低优先级任务执行环境的恢复。
2.根据权利要求1所述的方法，其特征在于，步骤1中，水利数据采集终端设备的数据信号经过A/D转换器后通过时钟分配器，设定两个独立的A时钟域和B时钟域，如数据信息不延时，则以A时钟的宽度分配寄存地址；如数据信息延时，则以B时钟的宽度分配到寄存地址；设定寄存数据形成以A时钟和B时钟宽度的并按照时间先后顺序的数据循环队列，数据缓存控制器读取数据循环队列中的数据；在数据缓存控制器中以10个缓存数据为一个周期单元，且把每个单元和与其相邻的两个单元作为一个对前端设备运行状态的判断点；如果单一单元内的缓存数据信息完整度达到85％，且三个单元内的A时钟宽度数据比例不低于60％，同时B时钟宽度数据比例不高于40％，则数据缓存控制器触发事件及时功能并输出数据；否则，则数据缓存控制器触发故障告警但仍输出数据；判断缓存数据控制器中的数据量是否满，如满则中断对数据的输入触发模块的非实时性中断功能，否则继续读取数据。
3.根据权利要求1所述的方法，其特征在于，步骤2中包括：
步骤2.1，对水利大数据的分布式架构包括：对整个水利数据采集区域划分为河道区、泵站闸口区、水库堤坝区以及灌排区；对多个河道区，泵站闸口区、水库堤坝区、灌排区的构建相互独立的数据仓库；
步骤2.2，对水利大数据的集中式架构包括：基于步骤2.1已建立的分布式数据仓库来建立集中式的数据仓库。
4.根据权利要求1所述的方法，其特征在于，步骤6包括：
步骤6.1，构建水利数据单一事件事实表和周期事实表，单一事实表为水利低粒度级，周期事实表为水利事件数据的累积的高粒度级，事件数据表包含高程、水位、流量、雨量、蓄水量、蒸发量、温度以及水流速；
步骤6.2，构建水利数据的维度表，无变化维度为区域维度表和设备特征维度表；常变化维度为时间维度表和水利属性维度表。
5.根据权利要求1所述的方法，其特征在于，步骤9中，将降雨量、水位、流量的数据与设计的参数指标值进行比较，包括：
河道区、泵站闸口区、水库堤坝区、灌排区四个区域内的实时降雨量有效数据和近一小时时段降雨数值的平均值是否大于警戒的指标值，如低于就判定降雨量数据有效；
对于符合以下规则描述的降雨量、水位和流量数据结果集认定为有效数据：
在日降雨量数据值在n年平均时段降雨量的正负一个标准差范围内，同一时段的有效水位数据结果集和流量数据结果集的增加或减少的幅度也在上一组数据的正负一个标准差范围内；在日降雨量数据值达到当月平均时段降水数值的正负两个标准差范围内之间，同一时段的有效水位数据结果集和流量数据结果集的增加或减少的幅度也在上一组数据的正负两个标准差范围内以内；在日降雨量数据值超过近8小时降雨量数值的正负三个标准差范围内，同一时段的有效水位数据结果集和流量数据结果集的增加的幅度也在上一组数据的正负三个标准差范围内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611082852.5A CN106776907B (zh) | 2016-11-30 | 2016-11-30 | 一种智慧城市海量数据采集优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611082852.5A CN106776907B (zh) | 2016-11-30 | 2016-11-30 | 一种智慧城市海量数据采集优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106776907A CN106776907A (zh) | 2017-05-31 |
| CN106776907B true CN106776907B (zh) | 2019-08-02 |
Family
ID=58901455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611082852.5A Active CN106776907B (zh) | 2016-11-30 | 2016-11-30 | 一种智慧城市海量数据采集优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106776907B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832348B (zh) * | 2017-10-19 | 2020-01-21 | 中通服咨询设计研究院有限公司 | 一种基于智能采集终端到云的网络数据流的处理方法 |
| CN108563656A (zh) * | 2017-12-28 | 2018-09-21 | 太极计算机股份有限公司 | 一种数据采集存储的方法、装置及终端 |
| CN109634951B (zh) * | 2018-10-23 | 2023-12-22 | 平安科技（深圳）有限公司 | 大数据采集方法、装置、计算机设备及存储介质 |
| CN110209077B (zh) * | 2019-05-05 | 2021-07-20 | 武汉大学 | 基于互联网的远程灌排系统实时动态监测系统 |
| CN111653079A (zh) * | 2020-06-03 | 2020-09-11 | 淮河水利委员会水文局(信息中心) | 一种高适用性遥测终端机 |
| CN112507191B (zh) * | 2021-02-05 | 2021-06-15 | 南昌工程学院 | 用于智慧城市的海量水利数据采集优化方法、装置及系统 |
| CN112653771B (zh) * | 2021-03-15 | 2021-06-01 | 浙江贵仁信息科技股份有限公司 | 水利数据分片存储方法、点播方法、处理系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101622952A (zh) * | 2009-08-13 | 2010-01-13 | 中国灌溉排水发展中心 | 灌区用水管理信息化结构体系 |
| CN104134106A (zh) * | 2013-05-05 | 2014-11-05 | 南京理工大学连云港研究院 | 水利智能决策支持系统及智能决策方法 |
| CN105427193A (zh) * | 2015-12-17 | 2016-03-23 | 山东鲁能软件技术有限公司 | 一种基于分布式时序数据服务的大数据分析装置及方法 |
-
2016
- 2016-11-30 CN CN201611082852.5A patent/CN106776907B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101622952A (zh) * | 2009-08-13 | 2010-01-13 | 中国灌溉排水发展中心 | 灌区用水管理信息化结构体系 |
| CN104134106A (zh) * | 2013-05-05 | 2014-11-05 | 南京理工大学连云港研究院 | 水利智能决策支持系统及智能决策方法 |
| CN105427193A (zh) * | 2015-12-17 | 2016-03-23 | 山东鲁能软件技术有限公司 | 一种基于分布式时序数据服务的大数据分析装置及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 信息化技术在城市内涝防治的应用研究;林珂 等;《大数据时代的信息化建设—2015(第三届)中国水利信息化与数字水利技术论坛论文集》;20150402;第16-23页 |
| 面向智慧城市发展的信息资源协同;娄欢 等;《信息通信》;20150615(第6期);第95-96页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106776907A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106776907B (zh) | 一种智慧城市海量数据采集优化方法 | |
| CN106297291B (zh) | 城市快速路交通信息采集系统 | |
| CN107256219A (zh) | 应用于自动列车控制系统海量日志的大数据融合分析方法 | |
| CN100468481C (zh) | 城市交通行程时间智能化分析系统 | |
| CN101783075B (zh) | 一种城市环形道路交通流预测系统 | |
| CN105844927A (zh) | 新型感知与控制的道路交叉口群信号控制系统及控制方法 | |
| CN107145959A (zh) | 一种基于大数据平台的电力数据处理方法 | |
| CN109118771B (zh) | 一种城市交通常发性拥堵特征确定的方法及装置 | |
| CN108009758A (zh) | 一种基于bim的现场施工材料智能管理方法 | |
| CN106844161A (zh) | 一种带状态流计算系统中的异常监控及预测方法和系统 | |
| CN108108459A (zh) | 多源融合及环路关联的动态数据清洗方法及电子设备 | |
| CN101132270B (zh) | 多节点协调的时间一致性管理方法 | |
| CN103353883B (zh) | 一种按需聚类的大数据流式聚类处理系统及方法 | |
| CN106327864A (zh) | 一种基于高速公路联网收费数据的交通流估计方法 | |
| CN106775936A (zh) | 一种虚拟机的管理方法及装置 | |
| CN110135716A (zh) | 一种电网基建项目动态预警识别方法和系统 | |
| Torabi et al. | A collaborative agent-based traffic signal system for highly dynamic traffic conditions | |
| CN110198347A (zh) | 一种基于区块链的预警方法及分控服务器 | |
| CN102023573B (zh) | 半导体生产线投料控制方法 | |
| Fan et al. | Optimal water distribution model of canals considering the workload of managers | |
| CN105847063A (zh) | 核心网数据管理方法和系统 | |
| Mansour et al. | Towards traffic congestion-free through intelligent traffic control system | |
| CN105634850A (zh) | Ptn网络的业务流量建模方法及装置 | |
| Ma et al. | Method of spillover identification in urban street networks using loop detector outputs | |
| CN106021487B (zh) | 一种基于模糊理论的物联网语义事件检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 210000 No. 58 East Street, Nanxi River, Jianye District, Nanjing, Jiangsu Applicant after: Zhong Tong clothing consulting and Design Research Institute Co., Ltd. Address before: 210000 No. 58 East Street, Nanxi River, Jianye District, Nanjing, Jiangsu Applicant before: Jiangsu Posts & Telecommunications Planning and Designing Institute Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |