CN100536459C - 数据采集方法及数据采集系统 - Google Patents
数据采集方法及数据采集系统 Download PDFInfo
- Publication number
- CN100536459C CN100536459C CNB2005100734148A CN200510073414A CN100536459C CN 100536459 C CN100536459 C CN 100536459C CN B2005100734148 A CNB2005100734148 A CN B2005100734148A CN 200510073414 A CN200510073414 A CN 200510073414A CN 100536459 C CN100536459 C CN 100536459C
- Authority
- CN
- China
- Prior art keywords
- data
- generating apparatus
- acquisition unit
- data acquisition
- data generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013480 data collection Methods 0.000 title abstract 2
- 238000004891 communication Methods 0.000 claims abstract description 43
- 238000004321 preservation Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 101150118744 UPS1 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种数据采集方法，该方法在数据采集装置与各数据产生装置之间建立通讯连接，所述数据采集装置通过所述通讯连接从各数据产生装置采集数据；其中，在建立所述通讯连接后，仅在浏览数据产生装置的数据和数据产生装置产生告警两种情况中的至少一种情况出现时，所述数据采集装置才通过所述通讯连接从对应的数据产生装置采集数据。本发明还同时公开了一种数据采集系统，包括：数据产生装置，与各数据产生装置连接并用于采集数据的数据采集装置；其中，所述数据产生装置还包括在产生告警时通知所述数据采集装置采集数据的告警通知模块；所述数据采集装置还包括根据告警通知从所述数据产生装置采集数据的数据采集模块。
Description
技术领域
本发明涉及数据采集和网络通讯领域，尤其是一种数据采集方法及其数据采集系统。
背景技术
目前的数据采集系统(SCADA)在利用网络通讯进行数据采集和存储时，主要有以下三种方案：
第一种方案是等时间间隔采集和存储：数据采集系统只是单纯地每隔一定时间采集一次实时数据，并将这些数据全部保存。
第二种方案是等时间间隔采集，但仅存储超过一定阈值的数据：这种方案是对第一种方案的改进，在数据采集系统每隔一定时间采集一次实时数据后，对这些数据进行简单分析，并与事先设置的阈值进行比较，只存储超过阈值的数据。
第三种是采用简单网络管理协议(SNMP协议)进行数据的采集和存储：数据采集系统通过不停地使用基于用户数据报协议(UDP协议)的通讯包轮询每个设备来查询数据。
虽然采用上述三种方法均能采集并保存数据，但是在采集点比较多的情况下，采用第一种方案会占用大量的网络带宽，而且也会存储很多无用的数据(绝大部分数据都是一样的)；第二种方案虽然不会存储大量无用的数据，但是在采集点比较多时一样会占用大量的网络带宽；而第三种是一种面向非连接的协议，在网络繁忙时会丢失大量的数据包。
发明内容
有鉴于此，本发明提供一种数据采集方法及其数据采集系统，以解决利用现有技术采集数据时存在占用大量网络带宽的问题。
实现本发明的技术方案如下：
一种数据采集方法，该方法在数据采集装置与各数据产生装置之间建立通讯连接，所述数据采集装置通过所述通讯连接从各数据产生装置采集数据；其中，在建立所述通讯连接后，仅在浏览数据产生装置的数据和数据产生装置产生告警两种情况中的至少一种情况出现时，所述数据采集装置才通过所述通讯连接从该数据产生装置采集数据。
数据采集装置与数据产生装置建立首次通讯连接过程中，从数据产生装置采集一次数据并保存。
所述数据采集装置与各数据产生装置之间采用客户/服务器方式建立通讯连接，所述数据采集装置作服务器端，所述数据产生装置作为客户端。
所述数据产生装置通过定时向数据采集装置发送报文保持通讯连接。
在浏览数据产生装置的数据时，数据采集装置采用固定时间间隔从该数据产生装置采集数据。
数据采集装置将采集的数据与前一次采集并保存的数据进行比较，并在两次数据之差大于设定的阈值时保存该次采集的数据。
一种数据采集系统，用于获取与设备运行相关数据的数据产生装置，与各数据产生装置连接并用于从所述数据产生装置采集数据的数据采集装置；其中，所述数据产生装置还包括告警通知模块，用于在产生告警时通知所述数据采集装置采集数据；所述数据采集装置还包括数据采集模块，用于根据所述告警通知模块发出的告警通知，从所述数据产生装置采集数据，以及在浏览所述数据产生装置的数据时，从该数据产生装置采集数据。
所述数据产生装置为多个，所述数据采集装置与各数据产生装置之间采用客户/服务器(C/S)方式通讯。
本发明在数据采集装置与数据产生装置完成通讯连接后，数据采集装置仅从数据产生装置采集用户关心的数据，即被用户浏览的数据和产生告警时的数据，特别是在数据产生装置比较多的情况下，本发明不仅能够保证实时地采集关键数据，而且能够大幅度地降低对网络带宽的占用，从而提高网络的通讯质量。
附图说明
图1A、图1B为本发明的系统结构示意图；
图2为本发明的流程图；
图3为本发明的数据采集数据应用于电源监控的组网示意图。
具体实施方式
参阅图1A所示，数据采集系统(SCADA)包括数据采集装置，与数据采集装置连接的多个数据产生装置；数据采集装置与数据产生装置之间采用面向连接的协议(如TCP协议)通讯。为了在数据采集时尽可少的占用网络带宽，本发明在数据采集装置与数据产生装置之间完成通讯连接后，仅在浏览数据(该浏览包括查询、查看指定数据)产生装置的数据和数据产生装置产生告警这两种情况中的至少一种情况出现时，数据采集装置才从对应的数据产生装置(即被浏览数据或告警的数据产生装置)采集数据。本发明中的完成通讯连接后是指数据采集装置与数据产生装置之间建立了数据传输通道后，或者，在建立了数据传输通道并从数据产生装置采集了第一次数据之后。
参阅图1B所示，数据产生装置包括告警通知模块，该告警通知模块在数据产生装置出现告警时通知所述数据采集装置采集数据。告警通知模块可获取数据产生装置中的相关数据并进行数据分析，在分析过程中将数据与设置条件比较，如果数据超过设定的阈值，则认为数据有问题并产生告警通知。
所述数据采集装置包括数据采集模块，该数据采集模块根据告警通知模块上报的告警通知，从该数据产生装置采集数据，以及在用户浏览数据产生装置的数据时，从该数据产生装置采集数据。
数据采集装置与数据产生装置组成客户/服务器(C/S)结构，数据采集装置作为服务器端，数据产生装置作为客户端，客户端与服务器端构成一对多的关系。
在初始时，数据采集装置与每个数据产生装置建立一次通讯连接，这是为了在数据采集装置和每个数据产生装置之间建立一条连接通道，从而可以通过保存通讯套接字(SOCKET)等途径保持通讯历史记录信息。在首次建立通讯连接过程中，数据采集装置从数据产生装置采集并记录一次数据，该数据作为基础数据。该基础数据可以用来和以后记录的数据进行对比，描绘曲线等。
在完成首次通讯连接后，数据产生装置每隔一定的时间间隔与数据采集装置保持一次短数据包的通讯连接，将本身的状态信息通知数据采集装置。例如：由数据产生装置定时向数据采集装置发送心跳报文，数据采集装置收到该心跳报文后向数据产生装置返回心跳响应，以确认通讯连接正常。如果数据产生装置在发送报文后未收到对应的心跳响应，则可以重发报文；若重发报文的次数超过设定次数，则可以确定通讯连接已断开，此时可以主动向数据采集装置发起通讯连接请求以建立通讯连接。
当用户通过数据采集装置浏览数据产生装置的数据时，数据采集装置上的数据采集模块开始对该客户端程序进行固定时间间隔的数据采集。如果数据产生装置上提供了数据浏览等功能，当用户通过数据产生装置直接浏览数据时，数据产生装置主动通知数据采集装置进行数据采集。数据采集装置可以保存采集的所有数据，但为了避免记录过多相同或基本相同的数据，在数据采集装置上将本次采集的数据和上次采集的数据进行比较，如果数值之间的差值超过预设的阈值，则存储本次的数据，否则不保存本次采集的数据。此时，如果其它数据产生装置工作正常(即无告警产生)，数据采集装置与这数据产生装置之间只有通讯连接，不会进行数据的采集与存储，从而尽量减少网络通讯的流量，降低用户对网络带宽的占用。
当某个数据产生装置判断自身有告警时，告警通知模块主动通知数据采集装置本侧的告警状态，数据采集装置中的数据采集模块根据该告警通知，从该数据产生装置采集数据并保存。对数据的保存可以采用两种方式，一是存储若干点数据后停止存储，另一种是每次采集时都存储，一直到告警消失为止。此时，如果其它数据产生装置工作正常(即无告警产生)并且也未被浏览数据，数据采集装置与这数据产生装置之间只有通讯连接，不会进行数据的采集与存储。
参阅图2所示，实现数据采集的主要过程为：在步骤10，数据采集装置与数据产生装置建立首次通讯连接；在步骤11，在建立首次通讯连接过程中从数据产生装置采集一次数据并保存到数据库中；在步骤12，用户通过数据采集装置浏览具体数据产生装置的数据；在步骤13，数据采集装置从被查看的数据产生装置采集数据，一方面将实时数据显示给用户，另一方面将超过阈值的数据保存到数据库中；在步骤14，数据产生装置产生告警信号并通知数据采集装置；在步骤15，数据采集装置根据告警通知从数据产生装置采集数据并保存到数据库中。
通过阈值和告警条件的综合判断，可以记录发生突变的有效数据，同时也可以实现占用用户较少的网络带宽和在有限的空间内存储尽可能多的有效数据的功能。
以下以采集电源设备的数据为例进一步说明本发明：
参阅图3所示，数据采集装置为一个监控设备，数据产生装置为多个电源设备。监控设备作为服务器端，由软件来完成或由预装了软件的硬件设备来完成；电源设备作为客户端，由具有网络功能的智能电源设备或不间断电源(UPS)组成，也可以是用外挂的具有网络功能的协议转换设备和电源设备共同组成，或者是多种智能设备的混合组网。
首先，具有网络功能的智能电源设备或UPS和监控设备进行初次的通讯连接，并保持这种连接性；同时在连接过程中，监控设备向每台电源设备或UPS请求并记录一次数据。对于电源设备而言，采集的数据主要包括：输入电压、输出负载、电池电压和环境温度等。
在电源设备或UPS没有告警或数据发生突变时，电源设备或UPS每隔一定时间与监控设备保持一次通讯连接帧的通讯，通知监控设备自身的状态。此时，监控设备并不记录电源设备或UPS的输入电压、输出负载、电池电压和环境温度等数据。
当电源设备1(或UPS1)发生告警，如因过流引起告警时，电源设备1立即与监控设备主动建立告警通道连接(因为TCP的通道连接可以复用，因此，也可以利用原来已建立的通道。)，并通知监控设备自身发生了告警或数据突变，监控设备立即从电源设备1采集数据。当然，在电源设备或UPS上报告警时，也可主动将数据上送给监控设备。一般情况下，用户并不关心电源设备正常工作时的数据，但非常关心告警发生后的数据，这些数据也是进行故障分析的依据，因此，监控设备此时需要记录一些有效数据。
当用户通过监控设备浏览电源设备n或UPSn的数据时，监控设备每隔一定的时间间隔就向电源设备或UPS请求一次数据，电源设备n或UPSn在响应该请求帧时就将数据上送给监控设备，监控设备将数据显示给用户，同时对超过阈值的数据进行保存，这是为了反映用户当前关心的数据的变化状态并仅存储有效的数据。
本发明不限于对电源设备进行监控的场景，适合于其他各种采集多个数据点的数据并需要减少网络带宽占用的场景。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1、一种数据采集方法，该方法在数据采集装置与各数据产生装置之间建立通讯连接，所述数据采集装置通过所述通讯连接从各数据产生装置采集数据；其特征在于，在完成所述通讯连接后，仅在浏览数据产生装置的数据和数据产生装置产生告警两种情况中的至少一种情况出现时，所述数据采集装置才通过所述通讯连接从对应的数据产生装置采集数据。
2、如权利要求1所述的数据采集方法，其特征在于，数据采集装置与数据产生装置首次建立通讯连接过程中还从数据产生装置采集一次数据并保存。
3、如权利要求1或2所述的数据采集方法，其特征在于，所述数据采集装置与各数据产生装置之间采用客户/服务器方式建立通讯连接，所述数据采集装置作服务器端，所述数据产生装置作为客户端。
4、如权利要求3所述的数据采集方法，其特征在于，所述数据产生装置通过定时向数据采集装置发送报文保持通讯连接。
5、如权利要求3所述的数据采集方法，其特征在于，在浏览数据产生装置的数据时，数据采集装置采用固定时间间隔从该数据产生装置采集数据。
6、如权利要求5所述的数据采集方法，其特征在于，数据采集装置将采集的数据与前一次采集并保存的数据进行比较，并在两次数据之差大于设定的阈值时保存该次采集的数据。
7、如权利要求3所述的数据采集方法，其特征在于，数据产生装置产生告警时通知数据采集装置并主动上报数据；或者，数据采集装置接收到告警通知后向数据产生装置请求数据。
8、如权利要求7所述的数据采集方法，其特征在于，数据采集装置保存告警时采集的所有数据；或者，数据采集装置保存告警时采集的所有数据中的部分数据。
9、一种数据采集系统，包括：用于获取与设备运行相关数据的数据产生装置，与各数据产生装置连接并用于从所述数据产生装置采集数据的数据采集装置；其特征在于，所述数据产生装置还包括告警通知模块，用于在产生告警时通知所述数据采集装置采集数据；所述数据采集装置还包括数据采集模块，用于根据所述告警通知模块发出的告警通知，从所述数据产生装置采集数据，以及在浏览所述数据产生装置的数据时，从该数据产生装置采集数据。
10、如权利要求9所述的数据采集系统，其特征在于，所述数据产生装置为多个，所述数据采集装置与各数据产生装置之间采用客户/服务器(C/S)方式通讯。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100734148A CN100536459C (zh) | 2005-05-30 | 2005-05-30 | 数据采集方法及数据采集系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100734148A CN100536459C (zh) | 2005-05-30 | 2005-05-30 | 数据采集方法及数据采集系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1694449A CN1694449A (zh) | 2005-11-09 |
| CN100536459C true CN100536459C (zh) | 2009-09-02 |
Family
ID=35353249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100734148A Expired - Fee Related CN100536459C (zh) | 2005-05-30 | 2005-05-30 | 数据采集方法及数据采集系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100536459C (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101883131B (zh) * | 2010-03-25 | 2013-09-04 | 艾默生网络能源有限公司 | 一种环境数据采集器 |
| CN103245912B (zh) * | 2013-03-23 | 2016-09-14 | 中国水利电力物资有限公司 | 一种风电机组运行状态分析诊断方法和系统 |
| CN103218464A (zh) * | 2013-03-23 | 2013-07-24 | 中国水利电力物资有限公司 | 基于风电机组状态的风电机组数据存储方法和系统 |
| CN105373117B (zh) * | 2015-11-27 | 2018-09-11 | 北京果加智能科技有限公司 | 设备故障诊断方法、装置及系统 |
-
2005
- 2005-05-30 CN CNB2005100734148A patent/CN100536459C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1694449A (zh) | 2005-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102255761B (zh) | 基于文件的配置回滚系统及配置回滚方法 | |
| CN110445683B (zh) | 服务器、设备、监测服务器存活状态的方法及系统 | |
| CN102158875B (zh) | 一种设备信息采集方法及系统 | |
| EP2568733A1 (en) | Method and apparatus for collecting mobile communication data | |
| CN100536459C (zh) | 数据采集方法及数据采集系统 | |
| CN106357469B (zh) | 一种资源监控模式的动态调整方法和装置 | |
| CN102820993A (zh) | 网络资源监控系统和网络资源监控方法 | |
| CN106897159A (zh) | 一种用于采集自动气象站数据的系统及方法 | |
| CN110445682B (zh) | 监测联网节点存活状态的方法、服务器、设备及系统 | |
| CN101741635A (zh) | 一种同步告警信息的方法、系统及设备 | |
| CA2473467A1 (en) | Remote sensing of power supply states | |
| US8560874B2 (en) | Method and system for power saving management | |
| CN104503417B (zh) | 一种水电站监测系统 | |
| CN102075351A (zh) | 一种网管远程控制方法及系统 | |
| CN109308233A (zh) | 数据备份方法、装置及系统 | |
| CN117879177A (zh) | 变电站数据的采集与电力监控装置 | |
| CN101854263B (zh) | 网络拓扑的分析处理方法、系统和管理服务器 | |
| CN101677278A (zh) | 网络信息系统可用性的监控方法及系统 | |
| CN103840962A (zh) | 服务器告警输出方法及系统 | |
| EP1622310A2 (en) | Administration system for network management systems | |
| CN108206840A (zh) | 用于风电场的通信方法、服务器及风机 | |
| CN108064054A (zh) | 一种lte系统中的ftp文件传输监控方法及系统 | |
| CN116225843A (zh) | 基于异步消息机制的监控采集数据告警方法、系统及装置 | |
| EP4072106A1 (en) | Dynamic environment monitoring | |
| CN109120443A (zh) | 一种网络附加存储nas设备的管理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Nanshan District Xueyuan Road in Shenzhen city of Guangdong province 518055 No. 1001 Nanshan Chi Park building B2 Patentee after: Vitamin Technology Co., Ltd. Address before: 518057 Nanshan District science and Technology Industrial Park, Guangdong, Shenzhen Branch Road, No. Patentee before: Aimosheng Network Energy Source Co., Ltd. |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191122 Address after: No.6-1, chezi village, sui'an Town, Zhangpu County, Zhangzhou City, Fujian Province Patentee after: Zhangpu Mingneng Photoelectric Technology Co., Ltd. Address before: Nanshan District Xueyuan Road in Shenzhen city of Guangdong province 518055 No. 1001 Nanshan Chi Park building B2 Patentee before: Vitamin Technology Co., Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201016 Address after: Room 301, building 13, Jinshui Long Street (Internet town), high tech Zone, Zaozhuang City, Shandong Province, 277100 Patentee after: SHANDONG HUAISHU BIG DATA INDUSTRY DEVELOPMENT Co.,Ltd. Address before: No.6-1, chezi village, sui'an Town, Zhangpu County, Zhangzhou City, Fujian Province Patentee before: Zhangpu Mingneng Photoelectric Technology Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090902 Termination date: 20210530 |