CN105512154A - 一种基于嵌入式数据库的环保数据采集方法及系统 - Google Patents

一种基于嵌入式数据库的环保数据采集方法及系统 Download PDF

Info

Publication number
CN105512154A
CN105512154A CN201410557777.8A CN201410557777A CN105512154A CN 105512154 A CN105512154 A CN 105512154A CN 201410557777 A CN201410557777 A CN 201410557777A CN 105512154 A CN105512154 A CN 105512154A
Authority
CN
China
Prior art keywords
data
environment protection
database
protection digital
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410557777.8A
Other languages
English (en)
Inventor
张强
赵羡龙
周红峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Beijing Nanrui Zhixin Micro Electronics Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
Beijing Nanrui Zhixin Micro Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Beijing Nanrui Zhixin Micro Electronics Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201410557777.8A priority Critical patent/CN105512154A/zh
Publication of CN105512154A publication Critical patent/CN105512154A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种基于嵌入式数据库的环保数据采集方法及系统,涉及环保数据保护技术领域,其中,该方法包括:环保数据采集装置通过对外接口采集外部信号发来的环保数据,并将所述环保数据存入数据库;环保数据采集装置对数据库中的数据进行多元化处理后形成数据仓库;环保数据采集装置根据数据仓库中的数据进行决策分析。

Description

一种基于嵌入式数据库的环保数据采集方法及系统
技术领域
本发明涉及环保数据保护技术领域,特别涉及一种基于嵌入式数据库的环保数据采集方法及系统。
背景技术
环保数据采集装置是环境保护在线监测系统上的重要设备,它的主要功能是采集现场仪器仪表的数据,进行数据展示、报表分析、权限管理、报警管理、数据导出;形成历史数据,应答在线监测平台命令请求等。
早期的环保数据采集装置多采用8位、16位单片机作为硬件平台,功能比较简单,存储的数据量不大。随着计算机技术、电子技术的高速发展、32位嵌入式技术的日益成熟,在环保数据采集领域的设备越来越多的是以嵌入式操作系统作为技术平台,配合一些相关技术构成一套完整的系统方案,相对于传统的单片机系统,目前的嵌入式平台体系功能更加强大,构成也更加复杂。其中嵌入式操作系统以嵌入式Linux应用最广,嵌入式数据库多采用SQLite3,传统的Web服务器一般需要充足的资源,随着嵌入式Web服务器技术的日渐成熟、硬件技术的发展,嵌入式Web服务不再存在硬件瓶颈。商业智能是由数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。本发明主要是通过商业智能的思想对数据库进行深度数据挖掘,通过合理化的数据分析,最终得到优化的环保治理解决方案。
目前在环保数据采集领域的技术方案主要由处理模块、数据采集模块、存储模块、无线通信模块和网络通信模块组成;数据采集模块用于实时采集污染源排放现场的排污参数,并将所采集的排污参数发送至处理模块;处理模块用于通过将排污参数与阈值参数进行比对分析得到排污评价结果,并将排污参数和排污评价结果存储至存储模块,通过网络通信模块将排污参数和排污评价结果发送至环保监控平台。上行数据传输采用的是HJ/T212-2005协议,由于协议的限制,许多数据不在协议规定的范围之内,导致无法访问,如一些数据统计信息、报表、系统的状态等等。另外,对数据进行分析时,仅是将当前采集到的数据与阈值参数进行对比分析得到分析结果,缺乏对历史数据的充分利用,没有进行全局统筹的考虑。
发明内容
为了解决现有技术中环保数据采集装置缺乏对超出HJ/T212-2005协议范围的数据进行支持,文件传输机制复杂,只对当前的数据进行统计,无法做到对整个运行周期的数据进行智能分析,不便于维护升级等技术问题,本发明提出一种基于嵌入式数据库的环保数据采集方法及系统。
一种基于嵌入式数据库的环保数据采集方法,包括:
环保数据采集装置通过对外接口采集外部信号发来的环保数据,并将所述环保数据存入数据库;
环保数据采集装置对数据库中的数据进行多元化处理后形成数据仓库;
环保数据采集装置根据数据仓库中的数据进行决策分析。
所述数据库中的数据为原始数据,且原始数据是以数据标的形成存在;
优选地,所述环保数据采集装置对数据库中的数据进行多元化处理后形成数据仓库,具体包括:
根据预设的参数信息表从原始数据表中选取相应的数据以形成多种应用数据表,所述多种应用数据表为处理后形成的数据仓库。
优选地,所述环保数据采集装置根据数据仓库中的数据进行决策分析,具体包括:
根据参数信息表中设置的各种指标的阈值从原始数据所形成的历史数据表中筛选出符合所述阈值的历史数据作为指标分析展现给用户;和/或
以原始数据所形成历史数据表中带有的各个维度为统计基础,根据参数信息表中的针对各指标的参数设置信息从所述各个维度中筛选出符合参数设置信息的数据作为维度分析占线给用户。
优选地,该方法还包括:
环保数据采集装置通过嵌入式web服务器对外部的web请求进行响应。
优选地,该方法还包括:环保数据采集装置存储所述决策分析的结果。
一种基于嵌入式数据库的环保数据采集系统,包括:
采集模块,用于通过对外接口采集外部信号发来的环保数据,并将所述环保数据存入数据库模块;
数据库模块,用于存储所述环保数据;
处理模块,用于对数据库模块中的数据进行多元化处理后形成数据仓库;
分析模块,用于根据数据仓库中的数据进行决策分析。
优选地,所述数据库中的数据为原始数据,且原始数据是以数据标的形成存在;处理模块,具体用于根据预设的参数信息表从原始数据表中选取相应的数据以形成多种应用数据表,所述多种应用数据表为处理后形成的数据仓库。
优选地,所述分析模块,具体用于:根据参数信息表中设置的各种指标的阈值从原始数据所形成的历史数据表中筛选出符合所述阈值的历史数据作为指标分析展现给用户;和/或以原始数据所形成历史数据表中带有的各个维度为统计基础,根据参数信息表中的针对各指标的参数设置信息从所述各个维度中筛选出符合参数设置信息的数据作为维度分析占线给用户。
优选地,该系统还包括:嵌入式web服务模块,用于对外部的web请求进行响应。
优选地,所述数据库模块,还用于存储所述决策分析的结果。
该技术方案与本发明不同之处在于本发明是以数据服务为核心,在数据处理时本发明应用了数据挖掘理论对采集到的原始数据进行抽取、转换、分析形成数据仓库,数据内容涵盖整个运行周期,通过对系统整个运行周期内数据变化的趋势进行综合分析和评价,最后得到最合理的综合治理方案。另外,本发明引入了Web服务的概念,通过Web服务可以解决上行通讯协议HJ/T212-2005不支持的数据传输的问题,同时Web服务能够为用户提供更好地数据展示功能,更方便于用户对系统进行维护与升级。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种基于嵌入式数据库的环保数据采集方法中内置的嵌入式数据库系统的结构框图;
图2为本发明实施例1提供的一种基于嵌入式数据库的环保数据采集方法的流程图;
图3为本发明实施例1提供的一种基于嵌入式数据库的环保数据采集方法中指标分析的排放量展示图;
图4为本发明实施例1提供的一种基于嵌入式数据库的环保数据采集方法中指标分析的同比展示图;
图5为本发明实施例1提供的一种基于嵌入式数据库的环保数据采集方法中指标分析的环比展示图;
图6为本发明实施例1提供的一种基于嵌入式数据库的环保数据采集方法中指标分析中嵌入式数据库系统的较差开放模型示图;
图7为本发明实施例1提供的一种基于嵌入式数据库的环保数据采集系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。并且,以下各实施例均为本发明的可选方案,实施例的排列顺序及实施例的编号与其优选执行的顺序无关。
实施例1
本实施例结合一种内置嵌入式数据库系统(参照图1所示)的环保数据采集装置,提供一种基于嵌入式数据库的环保数据采集方法,如图2所示,该方法主要包括:
步骤101,环保数据采集装置通过对外接口采集外部信号发来的环保数据,并将所述环保数据存入数据库;
其中,环保数据包括各种污染物因子数据、模拟量数据、数字量数据等。
例如:环保数据采集装置首先要完成的任务就是数据采集,数据采集进程通过对外接口如RS485、RS232、模拟量输入等采集外部信号发来的数据,包括各种污染物因子数据、模拟量数据、数字量数据等。
步骤102,环保数据采集装置对数据库中的数据进行多元化处理后形成数据仓库;
其中,多元化处理包括数据抽取、数据整合数据集成等再加工处理。
具体而言,步骤102的实现方式为:
通过对外接口采集到的数据是原始数据,这些原始数据在系统中是以数据表的形式存在的,为了合理地利用这些数据需要对这些原始数据进行再加工处理。
环保数据采集装置有一套参数方案,参数方案规定了一系列参数信息,包括数据上报参数设置信息、污染物量程报警信息、上报内容信息等。这些参数在系统中是以数据表的形式存在的。根据这些参数信息再结合原始数据,可以形成各种应用数据表。例如上报参数设置信息中规定了实时数据是否上报、上报间隔时间、分钟数据是否上报、分钟数据上报间隔、小时数据是否上报、小时数据上报间隔等,上报内容信息参数规定了上报的污染物编码以及上报的内容。通过Sql语句对参数数据表与原始数据表进行操作,根据参数表中参数,选取相应的数据形成上报用的各种应用数据表。
采集来的数据通过图2中所示的数据库管理模块存入嵌入式数据库;嵌入式应用进行模块中的显示进程可以通过数据库管理模块读取数据库中的数据在显示屏上显示实时数据、历史数据、系统参数数据等。上行通讯进程可以通过多种通讯信道与上位机主站进行通讯,将系统采集到的数据通过规定的通讯协议传送给上位机主站。
步骤103,环保数据采集装置根据数据仓库中的数据进行决策分析。
该决策分析包括指标分析(即根据参数信息表中设置的各种指标的阈值从原始数据所形成的历史数据表中筛选出符合所述阈值的历史数据作为指标分析展现给用户);和/或多维度分析(即以原始数据所形成历史数据表中带有的各个维度为统计基础,根据参数信息表中的针对各指标的参数设置信息从所述各个维度中筛选出符合参数设置信息的数据作为维度分析占线给用户)等。具体而言,实现方式如下:
指标分析是系统参数信息表中还包含有污染物排放上限值和污染物排放下限值参数,在系统运行过程中,通过外部接口采集污染物的数据并按照时间间隔将数据存入数据库,形成历史数据表,在历史数据表中包含有时间信息,即标明了该数据产生的时间。指标分析功能通过Sql语句操作该历史数据表,可以以参数数据表中的污染物排放上限值和污染物排放下限值参数为条件查询出符合条件的数据,例如,查询该污染物排放超上限的数据,通过Sql语句操作历史数据表,以污染物数据大于污染物排放上限值为条件,可以列出该污染物历史上所有符合该条件的数据以及发生时间。
维度分析功能也是通过Sql语句对历史数据表进行操作,历史数据表中包含有污染物代码、污染物名称、污染物数据、发生时间等信息。在系统参数信息表中有各种指标的参数设置信息,如污染物参数设置信息,包括污染物代码、污染物名称、排放上限、排放下限、监测地点等信息。通过Sql语句对历史数据表和参数信息表进行操作,可以得到各个维度的数据统计信息。例如,以“时间”为条件可以查看同一时间各个污染物的数据,以“污染物位置”为条件可以查看在同一位置各个污染物的数据,等等诸如此类。
指标分析可从多个角度对关键指标进行全方位分析。例如:以二氧化硫排放量为例,系统运行之初会设定排放上限值和下限值参数,在系统运行过程中通过数据采集二氧化硫排放量数据,并存入数据库,业务智能模块会对这些数据进行分析,可以从指标趋势、同比、环比等角度对排放指标进行展现。如图3、4和5所示。多维度分析分析可以方便地调整分析的角度和范围,并可以追踪详细事件。例如选取了多维度分析功能后,可以按照“时间”维度查看在同一时间各个污染源排放数据,也可以选取“污染源位置”维度来查看在同一位置上各个污染源的数据,还可以通过选取多个维度的组合如“时间”维度、“污染源位置”维度进行分析,追溯历史信息等。
本实施例中的决策分析可具体由环保数据采集装置中的业务智能模块来执行。业务智能模块是一个背景运行的进程,可以按照固定的时间间隔激活,也可以通过外部条件触发激活。它会对数据库中的数据进行抽取、清理、后续加工、汇总和整理形成数据仓库,数据仓库中的数据主要用来进行决策分析,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。而且数据通常包含历史信息,系统记录了从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息,通过这些信息,可以对系统的运行历程和未来趋势做出定量分析和预测。优选方案汇中,业务智能模块还可以将决策分析结果保存在数据仓库中,系统如果需要使用这些分析数据可以通过业务智能模块获取。
更优选的方案中,本实施例的方法还可包括环保数据采集装置通过嵌入式web服务器对外部的web请求进行响应。
具体而言,嵌入式Web服务模块可以对外部的Web请求进行响应。例如,当客户端需要备份环保数据采集装置的数据时,通过浏览器浏览环保数据采集装置的文件夹,然后选择相应的数据文件进行备份,当客户端发出了备份请求后,嵌入式Web服务器将该请求发给CGI处理线程,CGI线程将把事先设计好的网页和数据传送给客户端,然后结束线程。如果客户端选择查询数据时,该选择通过TCP/IP的请求方式发给嵌入式Web服务器,Web服务器通过HTTP方式发给CGI线程,CGI线程根据请求读取相应的网页以及数据库,将结果返回给客户端,然后结束线程。如果客户端选择查看当前系统的分析结果时,该选择通过TCP/IP的请求方式发给嵌入式Web服务器,Web服务器通过HTTP方式发给CGI线程,CGI线程根据请求读取相应的网页以及商业智能数据仓库中的数据,将结果返回给客户端,然后结束线程。
下面结合图1所示的系统框架图,具体介绍一下本实施例中的环保数据采集装置内的该嵌入式数据库系统。
系统主要分为以下几个部分:
嵌入式Linux操作系统,提供进程(或线程)资源分配以及进程(或线程)之间的调度切换,同时封装了硬件驱动,为应用程序提供底层支撑。
嵌入式应用进程管理模块,用于监控进程、线程以及应用模块的工作状态。
嵌入式应用进程模块,包括数据采集进程、上行通讯进程、显示进程等。
数据库管理模块,提供对数据库的操作和维护
嵌入式Web服务模块,提供Web服务,其中包括嵌入式Web服务器、Web文档及应用程序、CGI应用程序。
业务智能模块,其对数据库中的数据进行抽取、转换、分析、装载进行数据挖掘形成数据仓库,最终生成系统运行报表,给出环保合理化改进方案。
嵌入式SQLite3数据库,其为系统提供数据支持,是一切关于数据操作的基础。
系统实现过程分以下步骤:
1.搭建嵌入式编译环境,移植嵌入式Linux操作系统。
2.编译嵌入式数据库SQLite3,并在嵌入式Linux操作系统上安装
3.在嵌入式Linux操作系统上安装配置嵌入式Web服务器
4.编制CGI应用程序以及制作Web页面
5.编制应用程序模块并下载至目标板运行
下面分别介绍上述各个步骤。
1.搭建嵌入式编译环境,移植嵌入式Linux操作系统。
在调试硬件环境的同时,可以同时将软件环境搭建好,软件工作和硬件工作同步进行。在这个步骤中,第一步,在Linux虚拟机中建立交叉编译环境,然后在Linux虚拟机中,对uboot源码进行修改、裁剪、编译,生成bootloader目标文件,然后将bootloader烧写至目标板上。第二步,对嵌入式linux内核进行定制和移植,包括要完成进程管理、内存管理、任务调度、进程通讯、驱动开发等。
由于嵌入式系统硬件的特殊性,一般不能安装发行版的Linux系统。例如Flash存储空间不够或者处理器比较特殊,没有发行版的Linux可用。所以需要专门为特定的目标板定制Linux操作系统,这必然需要相应的开发环境,于是就用到了交叉开发模式。交叉开发模型如图7所示。TARGET就是目标板,HOST是开发主机。在开发主机上,可以安装开发工具,编辑、编译目标板的Linux引导程序、内核和文件系统,然后在目标板上运行。这种在主机环境下开发,在目标板上运行的开发模式叫做交叉开发。在此主机HOST的平台是Intel体系结构,目标板TARGET的平台是嵌入式arm体系结构,开发主机HOST的操作系统是Linux操作系统,目标板TARGET的操作系统是经过内核裁剪的嵌入式Linux版本。
2.编译嵌入式数据库SQLite3,并在嵌入式Linux操作系统上安装。
1)下载SQLite3源码到开发主机上。
2)解压源码,然后建立一个与源码解压目录同级的目SQLite_Arm_Linux
3)进入解压目录
4)运行./configure--host=arm-Linux--prefix=目标路径,这里的目标路径是前面建立的SQLite_arm_Linux的绝对路径。
5)make
6)makeinstall。安装成功后,SQLit_rm_Linux目录下有3个文件夹:bin、lib、include
7)strip以下动态库。进入sqlit_arm_linux/lib,运行arm-linux-striplibsqlite3.so.0.8.6
8)最后将bin目录下的sqlite3拷贝到目标板的/usr/bin下,就可以直接在嵌入式开发板上使用了,将sqlite-arm-linux/lib目录下的libsqlite3.so.0.8.6拷贝到开发板相应目录下,再分别创建一个符号链接:ln-slibsqlite3.so.0.8.6libsqlite3.so.0
ln-slibsqlite3.so.0.8.6libsqlite3.so。
这样可以使用sqlite3数据库进行程序开发了。
3.在嵌入式Linux操作系统上安装配置嵌入式Web服务器
由于嵌入式设备资源一般都比较有限,并且也不需要能同时处理很多用户的请求,因此不会使用Linux下最常用的如Apache等服务器,而需要使用一些专门为嵌入式设备设计的Web服务器,这些Web服务器在存贮空间和运行时所占有的内存空间上都会非常适合于嵌入式应用场合。最典型的嵌入式Web服务器是Boa,Boa是一个非常小巧的Web服务器,可执行代码只有约60KB。本步骤要完成的工作就是对Boa程序的移植、Boa配置,测试Boa能否正常工作。
第一步下载源码包,然后解压源码包,运行./configure命令生成makefile文件,然后对makefile文件中的关键变量进行修改,运行make命令进行编译,生成Boa可执行程序,运行arm-linux-stripboa命令可以将调试信息剥去,最后生成的程序只有60kB左右。
第二步完成Boa的配置,使其能够支持CGI程序的执行。包括修改监听端口号Port,缺省为80,一般不需修改,创建日志文件所在目录/var/log/boa,创建HTML文档的主目录/var/www,创建CGI脚本所在目录/var/www/cgi-bin/。
第三步就是测试Boa能否正常工作,静态HTML页面能否正常访问,CGI脚本能否正常运行,一般采用NFS方式来进行测试。
4.编制CGI应用程序以及制作Web页面。
本步骤的内容包括CGIC库移植、HTML模板制作和CGI程序开发。
CGI(CommonGateInterface)是一段运行在Web服务器上的程序,提供客户端Html页面的接口。客户端浏览器把客户端输入的信息传送到服务器,服务器将客户请求发给的CGI程序,于是CGI程序在服务器上按照预定的方法进行处理,将处理结果发给服务器,服务器再将处理结果发回客户端。CGI可以使用多种编程语言来实现,包括C、C++、Perl等,但在嵌入式设备的开发中,一般都不会采用Perl等解释性语言,因为这种语言还需要有解释执行的支撑模块,会占用存贮空间和内存,最常用的方法当然是用C来编写,但C并不是很适合开发象CGI这种需要大量进行字符串操作的程序,编程比较烦琐,需要一个库来支持快速高效的开发CGI程序,目前最常用的就是CGIC库。
下面介绍一下CGIC库的移植。
下载CGIC源码包,解压缩后通过修改makefile中的关键变量进行编译,最后生成静态库文件libcgic.a,将该库文件拷贝至目标板的lib目录下。
接下来是HTML模板制作。Web方式的应用开发一般都会将界面和程序逻辑脱离开来,允许在一定程度下更改界面,如改变界面文本的属性,建立多语言版本等,而无需改动程序逻辑。界面一般由美工来进行制作,而程序员负责具体功能的实现。在HTML中,表单(FORM)是最主要的传递信息的手段,它适用于任何浏览器。表单中有很多元素,包括输入文本框,单选框,多选框,按钮,等等,可以提供信息的交互。程序员可根据每个表单的具体要求进行相应的处理。
CGI程序的工作一般就是接收表单数据,进行数据处理,最后根据处理结果生成新的页面返回给浏览器。由于界面在程序开发完成后还有可能会改变,而且有些需要程序处理的地方可能没有表单元素,因此对程序来说,一般方法是采用HTML中的注释来标记。CGI程序就可以根据注释标记来判断表单元素信息并进行处理。
5.编制应用程序模块并下载至目标板运行
本步骤要完成的工作是编制各种应用进程以及各个应用模块程序,包括上行通讯进程、数据采集进程、显示进程、数据库管理模块、业务智能模块等,然后将编制好的程序下载至目标板运行调试。
这里的数据库管理模块主要是对嵌入式数据库SQLite3的应用接口API进行了封装,使得封装后的API接口更适合本发明,另外,通过数据库管理模块能够统一管理来自进程、线程、应用模块对数据库的访问请求。
商业智能是指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。将商业智能的概念引入到这里为的是利用商业智能的思想进行数据的收集和转化,通过对数据库中的数据进行深度挖掘,搭配现有的算法、分析技术、数据挖掘技术等进行测量、管理与监测,即时对关键性地衡量指标进行评估,进而发觉潜在的问题,通过这一系列合理化的数据分析,最终得到优化的环保治理解决方案。
数据源经过数据抽取、数据整合、数据集成以及数据应用四个步骤达到数据展现的目的。数据源包括各种参数数据、各种数据字典、实时数据、历史数据、系统数据、事件数据、其他数据等。
数据抽取,一般是通过操作型数据存储(OperationalDataStore,ODS)来实现。ODS是业务智能模块数据处理的第一层,ODS中存储了从各个数据源中抽取的数据,这些数据是经过清洗、转换得到的。
数据整合,用于ODS中来自各个数据源的异构数据进行整合。通过建立系统间数据映射关系表等方式,建立不同种类数据间的关联,统一数据编码,形成数据仓库,满足各种应用的需要。
数据集成,应用信息立方体,以业务主题为中心来组织数据,数据来源于数据仓库中的相关数据。信息立方体的组织方式可以保证数据应用的灵活性,又减少了数据量,从而提升查询效率。
数据应用,数据以信息立方体为基础,向上层提供数据展示。
本实施例提供的方法应用了数据挖掘理论对原始数据进行抽取、转换、分析形成数据仓库,数据内容涵盖整个运行周期。并且引入了智能思想,通过智能的思想对数据库中的数据进行抽取、转换、加工形成数据仓库,进而能够进行合理化的数据分析,最终得到优化的环保治理解决方案;引入了Web服务的概念,方便用户维护与系统升级;方便用户数据查询,只需浏览器即可查看,不需要专门的软件。
实施例2
为了便于实施例1中的方法实现,本实施例一种基于嵌入式数据库的环保数据采集系统。如图7所示,包括:采集模块21,数据库模块22,处理模块23,分析模块24。
采集模块21,用于通过对外接口采集外部信号发来的环保数据,并将所述环保数据存入数据库模块;数据库模块22,用于存储所述环保数据;
处理模块23,用于对数据库模块中的数据进行多元化处理后形成数据仓库;分析模块24,用于根据数据仓库中的数据进行决策分析。
进一步地,处理模块23,具体用于根据预设的参数信息表从原始数据表中选取相应的数据以形成多种应用数据表,所述多种应用数据表为处理后形成的数据仓库。其中,数据库中的数据为原始数据,且原始数据是以数据标的形成存在。
分析模块,具体用于:根据参数信息表中设置的各种指标的阈值从原始数据所形成的历史数据表中筛选出符合所述阈值的历史数据作为指标分析展现给用户;和/或以原始数据所形成历史数据表中带有的各个维度为统计基础,根据参数信息表中的针对各指标的参数设置信息从所述各个维度中筛选出符合参数设置信息的数据作为维度分析占线给用户。
优选地,该系统还可包括嵌入式web服务模块,用于对外部的web请求进行响应。
此外,所述数据库模块22,还用于存储所述决策分析的结果。
本发明的技术方案本质上或者说对现有技术做出贡献的部分是以软件产品的形式体现出来的功能,也即是说:本发明的装置、设备或者组成系统的各个设备其所执行的方法或实现的功能主体即便为硬件,但是实际上实现本发明上述功能的部分却是计算机软件产品的模块或单元。并且该计算机软件产品可存储在可读取的存储介质中,如计算机的软盘,硬盘或光盘等,包括若干指令用以使得一台设备执行本发明各个实施例所述的方法。
以上所述,仅为本发明的具体实施方式,但本发明能有多种不同形式的具体实施方式,上文结合附图对本发明做举例说明,这并不意味着本发明所应用的具体实施方式只能局限在这些特定的具体实施方式中,本领域的技术人员应当了解,上文所提供的具体实施方式只是多种优选实施方式中的一些示例,任何体现本发明权利要求的具体实施方式均应在本发明权利要求所要求保护的范围之内;本领域的技术人员能够对上文各具体实施方式中所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换或者改进等,均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于嵌入式数据库的环保数据采集方法,其特征在于,包括:
环保数据采集装置通过对外接口采集外部信号发来的环保数据,并将所述环保数据存入数据库;
环保数据采集装置对数据库中的数据进行多元化处理后形成数据仓库;
环保数据采集装置根据数据仓库中的数据进行决策分析。
2.根据权利要求1所述的方法,其特征在于,所述数据库中的数据为原始数据,且原始数据是以数据标的形成存在;
所述环保数据采集装置对数据库中的数据进行多元化处理后形成数据仓库,具体包括:
根据预设的参数信息表从原始数据表中选取相应的数据以形成多种应用数据表,所述多种应用数据表为处理后形成的数据仓库。
3.根据权利要求2所述的方法,其特征在于,所述环保数据采集装置根据数据仓库中的数据进行决策分析,具体包括:
根据参数信息表中设置的各种指标的阈值从原始数据所形成的历史数据表中筛选出符合所述阈值的历史数据作为指标分析展现给用户;和/或
以原始数据所形成历史数据表中带有的各个维度为统计基础,根据参数信息表中的针对各指标的参数设置信息从所述各个维度中筛选出符合参数设置信息的数据作为维度分析占线给用户。
4.根据权利要求1或2所述的方法,其特征在于,该方法还包括:
环保数据采集装置通过嵌入式web服务器对外部的web请求进行响应。
5.根据权利要求1或2所述的方法,其特征在于,该方法还包括:环保数据采集装置存储所述决策分析的结果。
6.一种基于嵌入式数据库的环保数据采集系统,其特征在于,包括:
采集模块,用于通过对外接口采集外部信号发来的环保数据,并将所述环保数据存入数据库模块;
数据库模块,用于存储所述环保数据;
处理模块,用于对数据库模块中的数据进行多元化处理后形成数据仓库;
分析模块,用于根据数据仓库中的数据进行决策分析。
7.根据权利要求6所述的系统,其特征在于,所述数据库中的数据为原始数据,且原始数据是以数据标的形成存在;
处理模块,具体用于根据预设的参数信息表从原始数据表中选取相应的数据以形成多种应用数据表,所述多种应用数据表为处理后形成的数据仓库。
8.根据权利要求7所述的系统,其特征在于,所述分析模块,具体用于:根据参数信息表中设置的各种指标的阈值从原始数据所形成的历史数据表中筛选出符合所述阈值的历史数据作为指标分析展现给用户;和/或以原始数据所形成历史数据表中带有的各个维度为统计基础,根据参数信息表中的针对各指标的参数设置信息从所述各个维度中筛选出符合参数设置信息的数据作为维度分析占线给用户。
9.根据权利要求6或7所述的系统,其特征在于,该系统还包括:嵌入式web服务模块,用于对外部的web请求进行响应。
10.根据权利要求6或7所述的系统,其特征在于,所述数据库模块,还用于存储所述决策分析的结果。
CN201410557777.8A 2014-10-20 2014-10-20 一种基于嵌入式数据库的环保数据采集方法及系统 Pending CN105512154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410557777.8A CN105512154A (zh) 2014-10-20 2014-10-20 一种基于嵌入式数据库的环保数据采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410557777.8A CN105512154A (zh) 2014-10-20 2014-10-20 一种基于嵌入式数据库的环保数据采集方法及系统

Publications (1)

Publication Number Publication Date
CN105512154A true CN105512154A (zh) 2016-04-20

Family

ID=55720138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410557777.8A Pending CN105512154A (zh) 2014-10-20 2014-10-20 一种基于嵌入式数据库的环保数据采集方法及系统

Country Status (1)

Country Link
CN (1) CN105512154A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105978716A (zh) * 2016-05-09 2016-09-28 易通远见(北京)科技有限公司 It设备及动环设备的监控信息同构化处理及三维呈现方法
CN108536056A (zh) * 2018-03-22 2018-09-14 江苏麦酷博信息科技有限公司 一种智能工业物联网传感器数据采集系统及其工作方法
CN110019483A (zh) * 2018-01-02 2019-07-16 航天信息股份有限公司 粮情数据采集方法及粮情数据采集平台

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1949226A (zh) * 2006-11-23 2007-04-18 金蝶软件(中国)有限公司 一种联机分析处理系统中多维数据读写的方法和装置
CN101290573A (zh) * 2008-05-30 2008-10-22 同济大学 跨平台嵌入式地理信息系统
CN101908191A (zh) * 2010-08-03 2010-12-08 深圳市她秀时尚电子商务有限公司 应用于电子商务的数据分析方法及系统
CN102073960A (zh) * 2010-09-15 2011-05-25 江苏仕德伟网络科技股份有限公司 一种网站营销过程中运行效果的评估方法
CN103116825A (zh) * 2013-01-29 2013-05-22 江苏省邮电规划设计院有限责任公司 智慧城市管理系统
CN103559562A (zh) * 2013-11-20 2014-02-05 贵州电网公司电力调度控制中心 电网智能运行系统及其实现方法
US20140040182A1 (en) * 2008-08-26 2014-02-06 Zeewise, Inc. Systems and methods for collection and consolidation of heterogeneous remote business data using dynamic data handling
CN103580284A (zh) * 2013-10-31 2014-02-12 广州瑞信电力科技有限公司 低压集抄系统
CN103576632A (zh) * 2012-08-07 2014-02-12 南京财经大学 基于物联网技术的生猪生长环境监测与控制系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1949226A (zh) * 2006-11-23 2007-04-18 金蝶软件(中国)有限公司 一种联机分析处理系统中多维数据读写的方法和装置
CN101290573A (zh) * 2008-05-30 2008-10-22 同济大学 跨平台嵌入式地理信息系统
US20140040182A1 (en) * 2008-08-26 2014-02-06 Zeewise, Inc. Systems and methods for collection and consolidation of heterogeneous remote business data using dynamic data handling
CN101908191A (zh) * 2010-08-03 2010-12-08 深圳市她秀时尚电子商务有限公司 应用于电子商务的数据分析方法及系统
CN102073960A (zh) * 2010-09-15 2011-05-25 江苏仕德伟网络科技股份有限公司 一种网站营销过程中运行效果的评估方法
CN103576632A (zh) * 2012-08-07 2014-02-12 南京财经大学 基于物联网技术的生猪生长环境监测与控制系统
CN103116825A (zh) * 2013-01-29 2013-05-22 江苏省邮电规划设计院有限责任公司 智慧城市管理系统
CN103580284A (zh) * 2013-10-31 2014-02-12 广州瑞信电力科技有限公司 低压集抄系统
CN103559562A (zh) * 2013-11-20 2014-02-05 贵州电网公司电力调度控制中心 电网智能运行系统及其实现方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105978716A (zh) * 2016-05-09 2016-09-28 易通远见(北京)科技有限公司 It设备及动环设备的监控信息同构化处理及三维呈现方法
CN105978716B (zh) * 2016-05-09 2019-04-26 易通远见(北京)科技有限公司 It设备及动环设备的监控信息同构化处理及三维呈现方法
CN110019483A (zh) * 2018-01-02 2019-07-16 航天信息股份有限公司 粮情数据采集方法及粮情数据采集平台
CN108536056A (zh) * 2018-03-22 2018-09-14 江苏麦酷博信息科技有限公司 一种智能工业物联网传感器数据采集系统及其工作方法

Similar Documents

Publication Publication Date Title
US11841835B2 (en) Data revision control in large-scale data analytic systems
US10162611B2 (en) Method and apparatus for business rule extraction
CN112396404A (zh) 一种数据中台系统
US10372492B2 (en) Job-processing systems and methods with inferred dependencies between jobs
US9465653B2 (en) Automated invalidation of job output data in a job-processing system
US10733209B2 (en) Smart tuple dynamic grouping of tuples
CN107103064B (zh) 数据统计方法及装置
Shahverdi et al. Big stream processing systems: an experimental evaluation
CN105843182A (zh) 一种基于oms的电力调度事故预案系统及方法
CN109683494B (zh) 物联网设备联动控制系统
CN115129736B (zh) 基于规则引擎的规则事件动态加载与更新方法及相关设备
CN102663543A (zh) 一种用于企业数据统一平台的调度系统
CN116009428A (zh) 基于流式计算引擎的工业数据监控系统和方法、介质
CN105512154A (zh) 一种基于嵌入式数据库的环保数据采集方法及系统
CN111552521A (zh) 应用数据上报方法、装置、服务器及存储介质
US10296620B2 (en) Smart tuple stream alteration
CN114528186A (zh) 一种模型管理方法、装置及模型管理服务器
CN116643950B (zh) 一种基于FaaS的云原生应用自动化运维方法
CN110750582B (zh) 数据处理方法、装置和系统
Mohr et al. Performance measurement and analysis tools for extremely scalable systems
KR20150089693A (ko) 빅 데이터 플랫폼 기반 데이터 저장 시스템 확장 장치 및 방법
US9773081B2 (en) Analytic model lifecycle maintenance and invalidation policies
CN116010452A (zh) 基于流式计算引擎的工业数据处理系统和方法、介质
CN112988695B (zh) 一种超融合混合架构计算材料平台
Pellegrini et al. An evolutionary algorithm to optimize log/restore operations within optimistic simulation platforms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160420