CN105243127A - 一种用于污水处理厂的报表数据采样方法 - Google Patents

一种用于污水处理厂的报表数据采样方法 Download PDF

Info

Publication number
CN105243127A
CN105243127A CN201510636376.6A CN201510636376A CN105243127A CN 105243127 A CN105243127 A CN 105243127A CN 201510636376 A CN201510636376 A CN 201510636376A CN 105243127 A CN105243127 A CN 105243127A
Authority
CN
China
Prior art keywords
sampling
policy
priority
data
sampling policy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510636376.6A
Other languages
English (en)
Inventor
潘志成
汪锐
章友京
杨开虎
陈婷婷
彭玉梅
邢飞
费功全
李勇
陈春阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HAITIAN WATER GROUP Co Ltd
Original Assignee
HAITIAN WATER GROUP Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HAITIAN WATER GROUP Co Ltd filed Critical HAITIAN WATER GROUP Co Ltd
Priority to CN201510636376.6A priority Critical patent/CN105243127A/zh
Publication of CN105243127A publication Critical patent/CN105243127A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/14—Tree-structured documents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于污水处理厂的报表数据采样方法，包括以下步骤：A：建立数据库并对数据库中所有数据进行更新；B：在用户操作窗口自定义采样策略并制订采样策略优先级；C：服务器识别采样类型并解析采样策略，获得采样策略中关键字段及关键字段的优先级；D：服务器按采样策略建立采样数据库，同一条采样策略建立一个采样数据库；E：服务器以采样策略为基础进行数据采样并将采样数据复制到对应采样数据库中；F：提取采样数据库中数据绘制曲线报表。本发明中自定义采样策略并制订采样策略优先级、关键字段优先级，使数据采样分布进行，减少同一时间段数据处理量，同时建立采样数据库存储采样数据，进一步减少数据调用的处理量。

Description

一种用于污水处理厂的报表数据采样方法
技术领域
本发明涉及报表数据采样技术领域，具体是指一种用于污水处理厂的报表数据采样方法。
背景技术
在工业远程监控系统中，工业曲线的绘制是在用户操作界面向服务器发送查询请求，获取数据以后在显示窗口执行绘制的。工业生产过程中需要高频率连续不断地采集和保存海量的工业信号数据，并需要追溯以及检索这些数据用以诊断生产过程中的实际技术问题。特别是污水处理行业中，一个污水处理厂需要每秒采集近千节点数据，需要追溯的数据往往跨时间为1年以上，而其中关键技术指标信息，如pH值、NH3-N、BOD、COD、电流等信号信息尤为重要，企业需要通过这些信息数据绘制的曲线来判断信号点异常，从而定位问题发生时间点。
现有技术中所采取的技术为直接检索数据库，将符合内容的数据全部展示。这种大数据采样的方法计算量非常大，一是受数据传输带宽的限制大，二是可能导致服务器计算资源过载、系统性能下降等问题，不适合采集频率高、数据时间跨度大、数据处理量大的污水处理行业。
发明内容
本发明的目的在于提供一种用于污水处理厂的报表数据采样方法，改善大数据采样受数据传输带宽限制大、可能导致服务器计算资源过载的缺陷，满足污水处理行业数据采样的需求。
本发明通过下述技术方案实现：一种用于污水处理厂的报表数据采样方法，包括以下步骤：
步骤A：建立数据库并对数据库中所有数据进行更新；
步骤B：在用户操作窗口自定义采样策略并制订采样策略优先级；
步骤C：服务器识别采样类型并解析采样策略，获得采样策略中关键字段及关键字段的优先级；
步骤D：服务器按采样策略建立采样数据库，同一条采样策略建立一个采样数据库；
步骤E：服务器以采样策略为基础进行数据采样，并将所有采样的数据复制到对应的采样数据库中；
步骤F：提取采样数据库中数据绘制曲线报表。
进一步地，所述步骤B中自定义采样策略根据采样时间跨度分为三大类型：历史数据采样策略、实时数据采样策略、历史数据与实时数据结合采样策略；自定义采样策略至少自定义一条采样策略，自定义多条采样策略时需选择采样策略优先级，默认采样策略优先级按采样策略编辑顺序的先后由高到低排列；每条采样策略中包括至少一个关键字段，同一条采样策略中包括多个关键字段时需选择关键字段优先级，默认关键字段优先级按关键字段编辑顺序的先后由高到低排列；所述采样策略优先级高于关键字段优先级。
进一步地，所述步骤B中用户操作窗口将自定义采样策略和采样策略优先级以Json格式形成采样策略脚本。
进一步地，所述步骤B中Json格式的采样策略脚本定义采样策略的格式定义如下：strategy_id为采样策略号；strategy_pri为采样策略优先级；spec_id为关键字段标识；spec_pri为关键字段优先级；spec_func为特征采样函数表达式；spec_samp为基于该特征函数表达式选取点数；spec_freg为关键字段的采样频率；spec_cnt为全部特征信号采样点数；output为全部采样输出点数。
进一步地，所述步骤C中服务器先解析采样策略的数量，然后根据每一条采样策略的采样时间跨度识别采样类型并锁定采样目标，获取所有采样策略的采样类型后，按采样策略优先级从高到低对采样策略逐条解析，并获取每一条采样策略中的关键字段及关键字段优先级。
进一步地，所述步骤C中对采样策略逐条解析，具体是指服务器解析用户操作窗口发来的Json格式的采样策略脚本，提取关键字段对应的特征采样函数，对特征采样函数表达式做语法、语义检测，若特征采样函数表达式无误则保留采样策略脚本并配置参数，若特征采样函数表达式有误则弹出错误提示窗口。
进一步地，所述步骤E中将所有采样的数据复制到对应的采样数据库中并进行编码。
进一步地，所述步骤F中绘制曲线报表，具体是指采样数据库中已经编码的数据以Json格式返回给浏览器，浏览器根据编码绘制曲线并在曲线显示窗口显示。
本发明与现有技术相比，具有以下优点及有益效果：
（1）本发明中自定义采样策略并制订采样策略优先级、关键字段优先级，使数据采样分布进行，减少同一时间段数据处理量；
（2）本发明中根据采样策略筛选的数据复制到对应的采样数据库中，一是便于调用，二是便于根据显示窗口的缩放比例进行曲线的重新生成，进一步减少数据处理量。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员将理解，没有这些具体细节，本发明同样可以实施。在另外一些实例中，对于大家熟知的方法、流程、元件和电路未作详细描述，以便于凸显本发明的主旨。
实施例1：
本实施例的一种用于污水处理厂的报表数据采样方法，主要是通过下述技术方案实现：一种用于污水处理厂的报表数据采样方法，包括以下步骤：
步骤A：建立数据库并对数据库中所有数据进行更新；
步骤B：在用户操作窗口自定义采样策略并制订采样策略优先级；
步骤C：服务器识别采样类型并解析采样策略，获得采样策略中关键字段及关键字段的优先级；
步骤D：服务器按采样策略建立采样数据库，同一条采样策略建立一个采样数据库；
步骤E：服务器以采样策略为基础进行数据采样，并将所有采样的数据复制到对应的采样数据库中；
步骤F：提取采样数据库中数据绘制曲线报表。
本发明中自定义采样策略并制订采样策略优先级、关键字段优先级，使数据采样分布进行，减少同一时间段数据处理量；另一方面，本发明中根据采样策略筛选的数据复制到对应的采样数据库中，一是便于调用，二是便于根据显示窗口的缩放比例进行曲线的重新生成，进一步减少数据处理量。
实施例2：
本实施例在上述实施例基础上做进一步优化，进一步地，所述步骤B中自定义采样策略根据采样时间跨度分为三大类型：历史数据采样策略、实时数据采样策略、历史数据与实时数据结合采样策略；自定义采样策略至少自定义一条采样策略，自定义多条采样策略时需选择采样策略优先级，默认采样策略优先级按采样策略编辑顺序的先后由高到低排列；每条采样策略中包括至少一个关键字段，同一条采样策略中包括多个关键字段时需选择关键字段优先级，默认关键字段优先级按关键字段编辑顺序的先后由高到低排列；所述采样策略优先级高于关键字段优先级。本实施例的其他部分与上述实施例相同，故不再赘述。
实施例3：
本实施例在上述实施例基础上做进一步优化，进一步地，所述步骤B中用户操作窗口将自定义采样策略和采样策略优先级以Json格式形成采样策略脚本。本实施例的其他部分与上述实施例相同，故不再赘述。
实施例4：
本实施例在上述实施例基础上做进一步优化，进一步地，所述步骤B中Json格式的采样策略脚本定义采样策略的格式定义如下：strategy_id为采样策略号；strategy_pri为采样策略优先级；spec_id为关键字段标识；spec_pri为关键字段优先级；spec_func为特征采样函数表达式；spec_samp为基于该特征函数表达式选取点数；spec_freg为关键字段的采样频率；spec_cnt为全部特征信号采样点数；output为全部采样输出点数。本实施例的其他部分与上述实施例相同，故不再赘述。
实施例5：
本实施例在上述实施例基础上做进一步优化，进一步地，所述步骤C中服务器先解析采样策略的数量，然后根据每一条采样策略的采样时间跨度识别采样类型并锁定采样目标，获取所有采样策略的采样类型后，按采样策略优先级从高到低对采样策略逐条解析，并获取每一条采样策略中的关键字段及关键字段优先级。本实施例的其他部分与上述实施例相同，故不再赘述。
实施例6：
本实施例在上述实施例基础上做进一步优化，进一步地，所述步骤C中对采样策略逐条解析，具体是指服务器解析用户操作窗口发来的Json格式的采样策略脚本，提取关键字段对应的特征采样函数，对特征采样函数表达式做语法、语义检测，若特征采样函数表达式无误则保留采样策略脚本并配置参数，若特征采样函数表达式有误则弹出错误提示窗口。
服务器解析采样策略时，先提取关键字段，然后获取关键字段对应的特征采样函数，通过特征采样函数调取符合采样策略的数据信息，而无关的数据信息则不调取，从而减少了运算量。具体步骤如下：
步骤C01：系统自行定义特征信号抽取函数以及取样点个数。定义特征信号抽取函数即定义特征函数，特征信号抽取函数以函数表达式表示，用户根据给出的函数集合定义特征函数。函数集合为可扩展的系统定义的算法符号集合，例如：min(),max(),abs(),sqrt()等，算法集合可以随系统扩展而不断补充。用户编辑公式是用户利用系统定义算法集合按照特定语法规则编辑的公式,例如：max（s-7.0）,s表示信号点。通过特征函数的定义，用户可以有针对性的对所需要选取的数据量进行筛选，从而减少所需要提取的数据量；
步骤C02：根据特征函数计算出特征函数对应的特征点取样个数，即满足当前特征函数的要求的前提下所拥有数据量；
步骤C03：定义平均时间间隔采样点数，平均时间间隔采样点数为常量，根据系统和设置相关需要而设定；
步骤C04：浏览器根据窗口大小，自行定义输出点数。由于要在浏览器上显示曲线报表，因此浏览器则会根据窗口大小而自行定义，当前所能够输出点数，以后期绘制曲线报表打下基础；
步骤C05：用户操作窗口生成Json格式的采样策略并发送到服务器端，例如如下字串：{"strategy_id":"sw_0001","strategy_pri":"1","spec_freg":3,"spec_cnt":3,"output":1280,"spec":[{"spec_id":COD,"spec_pri":"1","spec_func":"abs(s)>1.0","spec_samp":"2"},{"spec_id":2,"spec_func":"min(s)","spec_samp":"1}]}。
其中Json脚本定义采样策略格式定义如下:
strategy_id为采样策略号；strategy_pri为采样策略优先级；spec_id为关键字段标识；spec_pri为关键字段优先级；spec_func为特征采样函数表达式；spec_samp为基于该特征函数表达式选取点数；spec_freg为关键字段的采样频率；spec_cnt为全部特征信号采样点数；output为全部采样输出点数。
本实施例的其他部分与上述实施例相同，故不再赘述。
实施例7：
本实施例在上述实施例基础上做进一步优化，进一步地，所述步骤E中将所有采样的数据复制到对应的采样数据库中并进行编码。本实施例的其他部分与上述实施例相同，故不再赘述。
实施例8：
本实施例在上述实施例基础上做进一步优化，进一步地，所述步骤F中绘制曲线报表，具体是指采样数据库中已经编码的数据以Json格式返回给浏览器，浏览器根据编码绘制曲线并在曲线显示窗口显示。本实施例的其他部分与上述实施例相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (8)

1.一种用于污水处理厂的报表数据采样方法，其特征在于：包括以下步骤：
步骤A：建立数据库并对数据库中所有数据进行更新；
步骤B：在用户操作窗口自定义采样策略并制订采样策略优先级；
步骤C：服务器识别采样类型并解析采样策略，获得采样策略中关键字段及关键字段的优先级；
步骤D：服务器按采样策略建立采样数据库，同一条采样策略建立一个采样数据库；
步骤E：服务器以采样策略为基础进行数据采样，并将所有采样的数据复制到对应的采样数据库中；
步骤F：提取采样数据库中数据绘制曲线报表。
2.根据权利要求1所述的一种用于污水处理厂的报表数据采样方法，其特征在于：所述步骤B中自定义采样策略根据采样时间跨度分为三大类型：历史数据采样策略、实时数据采样策略、历史数据与实时数据结合采样策略；自定义采样策略至少自定义一条采样策略，自定义多条采样策略时需选择采样策略优先级，默认采样策略优先级按采样策略编辑顺序的先后由高到低排列；每条采样策略中包括至少一个关键字段，同一条采样策略中包括多个关键字段时需选择关键字段优先级，默认关键字段优先级按关键字段编辑顺序的先后由高到低排列；所述采样策略优先级高于关键字段优先级。
3.根据权利要求2所述的一种用于污水处理厂的报表数据采样方法，其特征在于：所述步骤B中用户操作窗口将自定义采样策略和采样策略优先级以Json格式形成采样策略脚本。
4.根据权利要求3所述的一种用于污水处理厂的报表数据采样方法，其特征在于：所述步骤B中Json格式的采样策略脚本定义采样策略的格式定义如下：strategy_id为采样策略号；strategy_pri为采样策略优先级；spec_id为关键字段标识；spec_pri为关键字段优先级；spec_func为特征采样函数表达式；spec_samp为基于该特征函数表达式选取点数；spec_freg为关键字段的采样频率；spec_cnt为全部特征信号采样点数；output为全部采样输出点数。
5.根据权利要求3所述的一种用于污水处理厂的报表数据采样方法，其特征在于：所述步骤C中服务器先解析采样策略的数量，然后根据每一条采样策略的采样时间跨度识别采样类型并锁定采样目标，获取所有采样策略的采样类型后，按采样策略优先级从高到低对采样策略逐条解析，并获取每一条采样策略中的关键字段及关键字段优先级。
6.根据权利要求5所述的一种用于污水处理厂的报表数据采样方法，其特征在于：所述步骤C中对采样策略逐条解析，具体是指服务器解析用户操作窗口发来的Json格式的采样策略脚本，提取关键字段对应的特征采样函数，对特征采样函数表达式做语法、语义检测，若特征采样函数表达式无误则保留采样策略脚本并配置参数，若特征采样函数表达式有误则弹出错误提示窗口。
7.根据权利要求6所述的一种用于污水处理厂的报表数据采样方法，其特征在于：所述步骤E中将所有采样的数据复制到对应的采样数据库中并进行编码。
8.根据权利要求7所述的一种用于污水处理厂的报表数据采样方法，其特征在于：所述步骤F中绘制曲线报表，具体是指采样数据库中已经编码的数据以Json格式返回给浏览器，浏览器根据编码绘制曲线并在曲线显示窗口显示。
CN201510636376.6A 2015-09-30 2015-09-30 一种用于污水处理厂的报表数据采样方法 Pending CN105243127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510636376.6A CN105243127A (zh) 2015-09-30 2015-09-30 一种用于污水处理厂的报表数据采样方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510636376.6A CN105243127A (zh) 2015-09-30 2015-09-30 一种用于污水处理厂的报表数据采样方法

Publications (1)

Publication Number Publication Date
CN105243127A true CN105243127A (zh) 2016-01-13

Family

ID=55040775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510636376.6A Pending CN105243127A (zh) 2015-09-30 2015-09-30 一种用于污水处理厂的报表数据采样方法

Country Status (1)

Country Link
CN (1) CN105243127A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407240A (zh) * 2016-02-01 2017-02-15 北京润科通用技术有限公司 一种数据处理方法及系统
CN108984700A (zh) * 2018-07-05 2018-12-11 腾讯科技（深圳）有限公司 数据处理方法及装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135981A (zh) * 2007-08-29 2008-03-05 中兴通讯股份有限公司 一种实现批量报表生成的方法及装置
CN103390428A (zh) * 2012-05-11 2013-11-13 哈米尔顿森德斯特兰德公司 用于同步对正弦曲线输入的采样的方法
EP2682752A1 (en) * 2012-07-04 2014-01-08 alcedo biotech GmbH HMGA2 as a marker for diagnosing diabetes
CN103955192A (zh) * 2014-04-29 2014-07-30 安徽中科大国祯信息科技有限责任公司 一种用于污水处理厂的曲线报表数据采样方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135981A (zh) * 2007-08-29 2008-03-05 中兴通讯股份有限公司 一种实现批量报表生成的方法及装置
CN103390428A (zh) * 2012-05-11 2013-11-13 哈米尔顿森德斯特兰德公司 用于同步对正弦曲线输入的采样的方法
EP2682752A1 (en) * 2012-07-04 2014-01-08 alcedo biotech GmbH HMGA2 as a marker for diagnosing diabetes
CN103955192A (zh) * 2014-04-29 2014-07-30 安徽中科大国祯信息科技有限责任公司 一种用于污水处理厂的曲线报表数据采样方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
侯松 著: "《高并发Oracle数据库系统的架构与设计》", 30 November 2014, 北京：机械工业出版社 *
宋继成: "《220-500kV变电站电气接线设计 第2版》", 30 April 2014, 中国电力出版社 *
徐仲辉 等: "污水处理厂自控系统的开放式曲线报表系统设计", 《自动化博览》 *
李宏罡 主编: "《水污染控制技术》", 31 October 2011, 上海：华东理工大学出版社 *
管西京: "《深入体验VC++项目开发》", 31 July 2011, 清华大学出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407240A (zh) * 2016-02-01 2017-02-15 北京润科通用技术有限公司 一种数据处理方法及系统
CN106407240B (zh) * 2016-02-01 2020-06-05 北京润科通用技术有限公司 一种数据处理方法及系统
CN108984700A (zh) * 2018-07-05 2018-12-11 腾讯科技（深圳）有限公司 数据处理方法及装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN107888397B (zh) 确定故障类型的方法和装置
CN101673266B (zh) 音频、视频内容的搜索方法
CN108595435A (zh) 一种机构名称识别处理方法、智能终端及存储介质
CN103297435A (zh) 一种基于web日志的异常访问行为检测方法与系统
US20170053031A1 (en) Information forecast and acquisition method based on webpage link parameter analysis
CN107145445A (zh) 软件自动化测试的报错日志的自动分析方法和系统
CN104915334A (zh) 一种基于语义分析的招投标项目关键信息自动化提取方法
CN108416062A (zh) 一种基于地址匹配技术的电网数据关联方法
CN114153980A (zh) 知识图谱构建方法和装置、检查方法、存储介质
CN105183742A (zh) 一种简历识别方法
CN101071445A (zh) 分类样本集的优化方法和内容相关广告服务器
CN105243127A (zh) 一种用于污水处理厂的报表数据采样方法
CN111191720A (zh) 一种业务场景的识别方法、装置及电子设备
CN110633318A (zh) 一种数据提取的处理方法、装置、设备和存储介质
CN106383917A (zh) 一种基于用户日志的数据处理方法
CN103955192B (zh) 一种用于污水处理厂的曲线报表数据采样方法
CN111581057B (zh) 一种通用日志解析方法、终端设备及存储介质
CN106611176B (zh) 异常中文字符串的识别方法及装置
CN101673267B (zh) 音频、视频内容的搜索方法
CN111080362A (zh) 广告监测系统及方法
CN116579319A (zh) 一种文本相似度的分析方法及系统
CN103593463A (zh) 一种判断html网页为非文本类型的方法
CN116108376A (zh) 一种反窃电的监测系统、方法、电子设备及介质
CN110032432A (zh) 实例的压缩方法和装置、实例的解压方法和装置
CN107992590B (zh) 一种有利于信息比对的大数据系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160113

RJ01 Rejection of invention patent application after publication