CN109165213A - 基于自定义Groovy脚本配置文件的数据预处理方法 - Google Patents

基于自定义Groovy脚本配置文件的数据预处理方法 Download PDF

Info

Publication number
CN109165213A
CN109165213A CN201811148620.4A CN201811148620A CN109165213A CN 109165213 A CN109165213 A CN 109165213A CN 201811148620 A CN201811148620 A CN 201811148620A CN 109165213 A CN109165213 A CN 109165213A
Authority
CN
China
Prior art keywords
data
equipment
customized
configuration file
script configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811148620.4A
Other languages
English (en)
Inventor
杨国青
姜旭锋
苏君君
周游
吕攀
吴朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201811148620.4A priority Critical patent/CN109165213A/zh
Publication of CN109165213A publication Critical patent/CN109165213A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于自定义Groovy脚本配置文件的数据预处理方法，实现了个性化定制评判的标准来评判设备上传的数据是否异常，若出现异常信息并对异常信息进行记录，最后对异常信息历史记录进行分析来评判出这个设备是否还能继续使用。本发明能够及时并且自动化地发现异常状态的设备，根据异常状态的编码对设备上传的数据进行评估，考虑是否舍弃对应的数据包；另外，自动化有助于缩减运维成本，使得运维的工作效率更高。

Description

基于自定义Groovy脚本配置文件的数据预处理方法
技术领域
本发明属于数据预处理技术领域，具体涉及一种基于自定义Groovy脚本配置文件的数据预处理方法。
背景技术
随着计算机、互联网和物联网等技术的发展，一些传统的行业正在用这些技术对自己的业务进行升级改造，如传统的电力、燃气以及水力行业，免费给用户安装仪表，每月固定时间安排抄表人员上门抄表，这种方式不但造成人力资源的浪费，而且非常低效。
通过对仪表添加网络通信模块，能够上传自身的一些数据到一个管理后台，抄表结算以及查询报表功能都可以在管理平台实现，节省人力，提升效率。但带来便利的同时，还有一些问题需要考虑，比如如何评判设备上传的数据是可靠的、评判设备上传的数据是可靠的标准是什么、如何评判出设备是否还能继续使用等。
目前的一些数据预处理方案主要是设定一个固定的统一标准在流程中，由固化的标准来分析上传的数据中的异常点信息，比如一些电网数据统计器等，数据预处理要经过数据采集，数据清洗，数据校验，数据修正，数据修补，数据滤波，数据更新步骤完成整个流程。其中，数据清洗包括数据异常过滤和阈值过滤，数据校验包括数据关键标志为的确认。另外，因为是固定的流程，所以数据异常的判断的灵活性比较低，比如，一开始固定的流程中只有温度异常值判断，假设现在要加入压力异常值判断，需要更改以前的流程，这样的方案效率就不如动态配置的效率高。
但是，这些数据与处理方式一般是针对单一的传感器来源，所以对于数据预处理的标准要求比较单一，形式比较固定，缺少灵活性。而对于抄表系统来讲，系统里面的传感器涉及的种类多样，不同的传感器数据如果使用同一种数据与处理标准是难以满足要求的，往往需要对于不同的传感器有不同的数据与处理流程，因此需要一种能够灵活自定义配置的数据预处理方法。
发明内容
鉴于上述，本发明提供了一种基于自定义Groovy脚本配置文件的数据预处理方法，实现了个性化定制评判的标准来评判设备上传的数据是否异常，若出现异常信息并对异常信息进行记录，最后对异常信息历史记录进行分析来评判出这个设备是否还能继续使用。
一种基于自定义Groovy脚本配置文件的数据预处理方法，包括如下步骤：
(1)捕获设备发送的网络数据包；
(2)对捕获到的网络数据包进行协议解码，分离出数据报文并将其映射为模型数据对象；
(3)根据模型数据对象中每一待处理数据的类型，寻找与这些数据相匹配的自定义Groovy脚本配置文件；
(4)执行自定义Groovy脚本配置文件以对模型数据对象中的待处理数据进行预处理，并对异常信息进行记录并生成报警信息；
(5)调用设备可信度分析模块对设备异常信息的历史记录进行分析，以判断设备是否还能继续使用。
进一步地，所述步骤(1)中的网络数据包来自于不同类型的设备，不同类型的设备使用不同的协议上传数据。
进一步地，所述步骤(2)中对应不同类型的设备，则映射得到不同的模型数据对象，其用于保存设备上传的数据。
进一步地，所述步骤(3)中的自定义Groovy脚本配置文件是用户基于具体业务进行个性化定制形成预处理的一套逻辑。
进一步地，所述步骤(3)中不同类型的数据对应不同的自定义Groovy脚本配置文件，在找到相应的自定义Groovy脚本配置文件后，根据模型数据对象的类型对这些自定义Groovy脚本配置文件进行微调。
进一步地，所述步骤(4)中对待处理数据进行预处理即通过执行自定义Groovy脚本配置文件中对应的逻辑实现对待处理数据的异常判断：当待处理数据中的某些数值超出自定义Groovy脚本配置文件中对应逻辑的取值范围，则通过描述为浅显易懂的警示语言，方便用户查看。
进一步地，所述步骤(5)中的设备可信度分析模块通过设备异常信息的历史记录进行分析，统计异常次数占总上传次数的比例，若该比例大于设定的阈值，则判定该设备记录不可信，并发出无法继续使用的警告。
本发明的有益技术效果在于：能够及时并且自动化地发现异常状态的设备，根据异常状态的编码对设备上传的数据进行评估，考虑是否舍弃对应的数据包；另外，自动化有助于缩减运维成本，使得运维的工作效率更高。
附图说明
图1为本发明方法的执行流程示意图。
具体实施方式
为了更为具体的描述本发明，下面结合附图以及具体实施方式对本发明的技术方案进行详细说明。
本发明提供一种基于自定义Groovy脚本配置文件的数据预处理方法，通过该方法能够实现个性化定制数据异常评判的标准，以及通过对设备异常信息历史记录进行分析来评判这个设备能否继续使用的问题。
为了达到上述目的，本发明方法采用的技术方案如图1所示：
(1)捕获设备发送的网络数据包，获取待处理数据，不同的设备使用不同的协议上传数据。
(2)对捕获的网络数据包进行协议解码，分离出数据报文，将其映射为模型数据对象(即模板)，不同类型的设备对应不同的数据对象，用于保存上传的数据。
(3)根据上一步得到的模型数据对象，对里面的数据按类型寻找匹配的自定义Groovy脚本配置文件；其中，数据类型是由系统内部来定义数据代表的含义，比如温度、压力等等，自定义Groovy脚本配置文件是用户基于具体的业务进行个性化定制形成预处理的一套逻辑。
不同的数据类型对应不同的脚本(用于判别数据是否正常的判别程序)，找出模板中每一数据类型对应的脚本后，需根据模板类型对脚本进行微调。
(4)执行数据预处理逻辑，实现对待处理数据的预处理，并对异常信息进行记录并生成报警信；执行数据预处理逻辑就是执行自定义脚本配置文件对应的逻辑，实现对所述待处理数据的异常判断；异常信息指的是设备上传数据中的某些类型超出自定义脚本配置文件中的取值范围，通过描述为浅显易懂的警示语言，方便用户查看。
(5)调用设备可信度分析单元，利用设备对应的异常信息的历史记录来分析设备是否还可以继续使用；设备可信度分析单元对设备对应的异常信息的历史记录进行分析，统计异常次数占总上传次数比，如果比例大于设定的阈值，对这个设备记录不可信，发出不能继续使用的警告。
本实施方式采用的是Groovy脚本引擎，所以需要用户懂一些Groovy的基本语法if-else以及对业务的逻辑理解。
在以下实例中，假设设备采取HTTP协议，并且和服务器程序之间已经建立连接；用户自定义Groovy脚本配置文件，这里我们给出配置文件的样例，并对其进行说明。
以上代码是我们提供的一个脚本样例，具体的业务需求是设备的温度数据不能比前一条温度数据高300℃，如果比前一条数据高出300℃，我们就判断当前温度数据是异常的；如果不比前一条数据高出300℃，我们就判断出当前温度数据是正常的。为了和前一条温度数据相比较，我们要把前一条温度数据以<key-value>的形式传递给Groovy脚本。
设备上传数据到服务端程序，服务端程序捕获网络数据包，选择HTTP协议程序对其进行解析，生成系统内部定义的模型数据对象，这些数据中有温度，压力以及其他标识设备身份的信息，根据数据类型选择对应的异常判断脚本文件。
对温度调用温度异常判断，根据脚本的执行信息，如果脚本返回true，表明数据是正常的，直接将数据存入对应的数据库表中即可；如果脚本返回false，表明数据是异常的，生成异常描述信息存入对应的数据库表。
对压力调用压力异常判断，根据脚本的执行信息，如果脚本返回true，表明数据是正常的，直接将数据存入对应的数据库表中即可；如果脚本返回false，表明数据是异常的，生成异常描述信息存入对应的数据库表。
如果数据是异常的，调用设备可信度分析单元，结合设备异常出现次数的阈值对这个特定设备异常信息历史进行分析，如果这个设备异常信息出现的次数大于设定的阈值，判断出这个设备不能继续使用，判断的结果可以有多种处理方式，比如通过短信发送给特定的管理员，或者直接存入数据库等待被处理。如果小于阈值，说明这个设备还能继续使用。为了保证设备数据的高可用性，异常数据不会存入数据库中。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (7)

1.一种基于自定义Groovy脚本配置文件的数据预处理方法，包括如下步骤：
(1)捕获设备发送的网络数据包；
(2)对捕获到的网络数据包进行协议解码，分离出数据报文并将其映射为模型数据对象；
(3)根据模型数据对象中每一待处理数据的类型，寻找与这些数据相匹配的自定义Groovy脚本配置文件；
(4)执行自定义Groovy脚本配置文件以对模型数据对象中的待处理数据进行预处理，并对异常信息进行记录并生成报警信息；
(5)调用设备可信度分析模块对设备异常信息的历史记录进行分析，以判断设备是否还能继续使用。
2.根据权利要求1所述的数据预处理方法，其特征在于：所述步骤(1)中的网络数据包来自于不同类型的设备，不同类型的设备使用不同的协议上传数据。
3.根据权利要求1所述的数据预处理方法，其特征在于：所述步骤(2)中对应不同类型的设备，则映射得到不同的模型数据对象，其用于保存设备上传的数据。
4.根据权利要求1所述的数据预处理方法，其特征在于：所述步骤(3)中的自定义Groovy脚本配置文件是用户基于具体业务进行个性化定制形成预处理的一套逻辑。
5.根据权利要求1所述的数据预处理方法，其特征在于：所述步骤(3)中不同类型的数据对应不同的自定义Groovy脚本配置文件，在找到相应的自定义Groovy脚本配置文件后，根据模型数据对象的类型对这些自定义Groovy脚本配置文件进行微调。
6.根据权利要求1所述的数据预处理方法，其特征在于：所述步骤(4)中对待处理数据进行预处理即通过执行自定义Groovy脚本配置文件中对应的逻辑实现对待处理数据的异常判断：当待处理数据中的某些数值超出自定义Groovy脚本配置文件中对应逻辑的取值范围，则通过描述为浅显易懂的警示语言，方便用户查看。
7.根据权利要求1所述的数据预处理方法，其特征在于：所述步骤(5)中的设备可信度分析模块通过设备异常信息的历史记录进行分析，统计异常次数占总上传次数的比例，若该比例大于设定的阈值，则判定该设备记录不可信，并发出无法继续使用的警告。
CN201811148620.4A 2018-09-29 2018-09-29 基于自定义Groovy脚本配置文件的数据预处理方法 Pending CN109165213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811148620.4A CN109165213A (zh) 2018-09-29 2018-09-29 基于自定义Groovy脚本配置文件的数据预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811148620.4A CN109165213A (zh) 2018-09-29 2018-09-29 基于自定义Groovy脚本配置文件的数据预处理方法

Publications (1)

Publication Number Publication Date
CN109165213A true CN109165213A (zh) 2019-01-08

Family

ID=64892966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811148620.4A Pending CN109165213A (zh) 2018-09-29 2018-09-29 基于自定义Groovy脚本配置文件的数据预处理方法

Country Status (1)

Country Link
CN (1) CN109165213A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797340A (zh) * 2020-06-10 2020-10-20 浙江大学 一种自定义提取流程的服务封装系统
CN112416514A (zh) * 2020-11-19 2021-02-26 山东可信云信息技术研究院 一种虚拟机启动可信性度量方法、系统、存储介质及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873298A (zh) * 2014-03-14 2014-06-18 浪潮通信信息系统有限公司 一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法
CN104506393A (zh) * 2015-01-06 2015-04-08 北京海量数据技术股份有限公司 一种基于云平台的系统监控方法
CN105119764A (zh) * 2015-09-29 2015-12-02 百度在线网络技术（北京）有限公司 用于流量监控的方法和装置
CN105119750A (zh) * 2015-09-08 2015-12-02 南京联成科技发展有限公司 一种基于大数据的分布式信息安全运维管理平台
US20160050205A1 (en) * 2012-03-26 2016-02-18 Greyheller, Llc Preventing unauthorized access to an application server
CN105577799A (zh) * 2015-12-25 2016-05-11 北京奇虎科技有限公司 一种数据库集群的故障检测方法和装置
CN106021543A (zh) * 2016-05-26 2016-10-12 中国农业银行股份有限公司 一种数据预处理方法及装置
CN106371984A (zh) * 2016-08-31 2017-02-01 广州品唯软件有限公司 一种数据监控方法、设备和系统
CN106487585A (zh) * 2016-10-09 2017-03-08 深圳市思博创科技有限公司 设备综合监控系统架构
CN106612199A (zh) * 2015-10-26 2017-05-03 华耀(中国)科技有限公司 一种网络监控数据收集与分析系统及方法
CN107959678A (zh) * 2017-11-28 2018-04-24 江苏方天电力技术有限公司 一种网络数据包的分析系统和分析方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160050205A1 (en) * 2012-03-26 2016-02-18 Greyheller, Llc Preventing unauthorized access to an application server
CN103873298A (zh) * 2014-03-14 2014-06-18 浪潮通信信息系统有限公司 一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法
CN104506393A (zh) * 2015-01-06 2015-04-08 北京海量数据技术股份有限公司 一种基于云平台的系统监控方法
CN105119750A (zh) * 2015-09-08 2015-12-02 南京联成科技发展有限公司 一种基于大数据的分布式信息安全运维管理平台
CN105119764A (zh) * 2015-09-29 2015-12-02 百度在线网络技术（北京）有限公司 用于流量监控的方法和装置
CN106612199A (zh) * 2015-10-26 2017-05-03 华耀(中国)科技有限公司 一种网络监控数据收集与分析系统及方法
CN105577799A (zh) * 2015-12-25 2016-05-11 北京奇虎科技有限公司 一种数据库集群的故障检测方法和装置
CN106021543A (zh) * 2016-05-26 2016-10-12 中国农业银行股份有限公司 一种数据预处理方法及装置
CN106371984A (zh) * 2016-08-31 2017-02-01 广州品唯软件有限公司 一种数据监控方法、设备和系统
CN106487585A (zh) * 2016-10-09 2017-03-08 深圳市思博创科技有限公司 设备综合监控系统架构
CN107959678A (zh) * 2017-11-28 2018-04-24 江苏方天电力技术有限公司 一种网络数据包的分析系统和分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZELDI SURYADY 等: "Rapid Development of Smart Parking System with Cloud-based Platforms", 《THE 5TH INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGY FOR THE MUSLIM WORLD (ICT4M)》 *
孙细明 等: "《管理信息系统》", 31 January 2017 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797340A (zh) * 2020-06-10 2020-10-20 浙江大学 一种自定义提取流程的服务封装系统
CN111797340B (zh) * 2020-06-10 2022-05-17 浙江大学 一种自定义提取流程的服务封装系统
CN112416514A (zh) * 2020-11-19 2021-02-26 山东可信云信息技术研究院 一种虚拟机启动可信性度量方法、系统、存储介质及设备

Similar Documents

Publication Publication Date Title
CN109255523B (zh) 基于kks编码规则和大数据架构的分析指标计算平台
CN105491038B (zh) 一种智能设备协议解析方法
US10797987B1 (en) Systems and methods for switch stack emulation, monitoring, and control
CN109324996A (zh) 日志文件处理方法、装置、计算机设备及存储介质
CN110046073B (zh) 一种日志采集方法及装置、设备、存储介质
CN103227734A (zh) 一种OpenStack云平台异常的检测方法
CN111797403B (zh) 基于大数据和物联网的数据处理方法及云计算服务器中心
CN109165213A (zh) 基于自定义Groovy脚本配置文件的数据预处理方法
CN105574150A (zh) 一种数据处理方法和装置
CN112464620A (zh) 一种财务规则引擎的实现方法及实现系统
CN116882978A (zh) 一种基于产品信息框架的深海潜水器运维保障平台
CN111581067A (zh) 一种数据采集方法和装置
CN109241150A (zh) 一种基于SaaS模式的废水处理数据分析可视化交互系统
CN108600690A (zh) 基于图像识别的仪表盘抄表方法及系统、存储介质及服务器
CN104035342A (zh) 一种基于ifix平台的实时报警智能辅助分析系统及方法
CN114745448B (zh) 一种多通道规约适配处理方法、系统及装置
US7823119B2 (en) Constraint based software systems and methods
CN115857910A (zh) 一种边缘计算采集器的编程方法、装置、服务器及介质
CN114430421A (zh) 一种基于多种车型功能集自动产生告警规则的方法和系统
CN115237399A (zh) 用于采集数据的方法、存储介质、处理器及工程车辆
CN114428706A (zh) 接口监控方法、装置、存储介质及电子设备
CN111610964A (zh) 一种编码规则生成方法及装置
CN116466940B (zh) 一种煤矿灾害特征数据融合处理方法
CN117648718B (zh) 基于数据源的业务对象显示方法、装置、电子设备和介质
CN117667065B (zh) 一种低代码应用配置平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190108