CN103442003B - 面向scada系统的数据采集回填系统及其方法 - Google Patents

Abstract

本发明公开了一种面向SCADA系统的数据采集回填系统，包括相互连接的服务端和客户端。其中，服务端包括数据回填存储单元和数据回填服务端单元，客户端包括数据回填客户端单元；数据回填存储单元记录数据变化情况，并转换成用于数据回填转发的报文；数据回填服务端单元监听指定的端口、数据回填客户端的数据回填请求并完成数据转发；数据回填客户端单元接收数据回填请求者发送的数据回填报文后，为需要进行数据回填的服务端创建线程以完成数据回填采集。本发明可以解决SCADA系统因为调控中心与站场间的通信中断而导致的部分数据缺失问题，保障SCADA系统的数据完整性和可用性。

Description

面向SCADA系统的数据采集回填系统及其方法

技术领域

本发明涉及一种数据采集回填系统，尤其涉及一种面向SCADA系统的数据采集回填系统，同时也涉及该数据采集回填系统进行数据采集回填的方法，属于数据处理技术领域。

背景技术

SCADA（Supervisory Control And Data Acquisition，数据采集与监视控制）系统是以计算机为基础的生产过程控制与调度自动化系统，广泛应用于电力、水利、冶金、石油、化工、轨道交通等行业的数据采集与过程控制等领域。SCADA系统可以对各类运行环境、多种运行设备进行监视和控制，以实现数据采集、设备控制、参数调节、各类信号报警、历史数据存储等各项功能。

为了提高SCADA系统的可靠性、开放性与可扩展性，使其易于与其它系统实现互联或数据共享，基于客户端/服务器模式的网络化SCADA系统越来越普及。SCADA系统的数据来源由数据采集回填系统通过多种通信方式从场站控制设备采集而来，而采集数据往往由站控系统和中控系统完成，中控系统既可以从场站控制设备采集数据，也可以从站控系统采集数据。

从目前SCADA系统实际运行的情况来看，中控系统、站控系统和场站控制设备的通信经常会出现中断。在通信出现中断的期间，中控系统无法得到此段时间的数据信息，影响了整个SCADA系统的数据连续性、完整性和可用性。

在申请号为201210095225.0的中国专利申请中，公开了一种为了防止数据不连续而设计的数据重传机制，发送端在多个数据包内分别贴入数据编码并发送，所述多个数据编码连续；接收端接收多个数据包，并检查多个数据编码的连续性，如果连续，则继续接收，如果不连续，接收端反馈数据丢失信号给发送端，发送端接收数据丢失信号，按照丢失信号查找该数据包并重传，以保证数据的连续性。

在申请号为200480005445.3的中国专利申请中，公开了一种发射/接收系统、发射设备和方法及接收设备和方法，其采用RTP报头中的顺序号的连续性来判断数据的连续性。当数据不连续时，接收端发送重新发送请求，发送端根据该请求查找需要重发的数据，重新发送丢失数据，从而保证了数据的连续性。

发明内容

针对现有技术所存在的不足，本发明所要解决的技术问题在于提供一种面向SCADA系统的数据采集回填系统及其方法。利用该技术方案可以保障SCADA系统的数据完整性和可用性。

为实现上述的发明目的，本发明采用下述的技术方案：

一种面向SCADA系统的数据采集回填系统，包括相互连接的服务端和客户端，其中，

所述服务端包括数据回填存储单元和数据回填服务端单元，所述客户端包括数据回填客户端单元；

所述数据回填存储单元记录数据变化情况，并转换成用于数据回填转发的报文；所述数据回填服务端单元监听指定的端口、所述数据回填客户端的数据回填请求并完成数据转发；所述数据回填客户端单元接收数据回填请求者发送的数据回填报文后，为需要进行数据回填的所述服务端创建线程以完成数据回填采集。

其中较优地，所述服务端与所述客户端采用IEC60870-5-104协议进行通信。

其中较优地，所述数据回填服务端单元转发的数据是服务端实时数据转发程序记录的报文日志或所述数据回填存储单元记录的报文日志。

其中较优地，所述数据回填存储单元和所述数据回填服务端单元分别采用不同的TCP连接。

一种面向SCADA系统的数据采集回填方法，用在上述的数据采集回填系统中，包括如下步骤：

数据回填请求者向客户端发送数据回填消息，发起数据回填请求；

数据采集回填系统接收数据回填请求后，采用如下步骤响应并处理数据回填请求：客户端按照请求内容向服务端发送建立连接请求，服务端接收建立连接请求，建立通信连接；客户端向服务端发送链路初始化报文，服务端接收链路初始化报文并回复；客户端向服务端发送召唤数据回填请求，服务端接收召唤数据回填请求并回复数据回填报文；客户端接收到数据回填报文并解析处理；

数据采集回填系统根据服务端返回的结果，回复数据回填结果给所述数据回填请求者。

其中较优地，所述数据回填请求者是人机接口或基础平台。

其中较优地，所述数据回填请求包括链路标识、数据回填起始时间、数据回填结束时间。

本发明提供专门的通信协议用于传输服务端与客户端之间的命令及数据报文，可以解决SCADA系统因为调控中心与站场间的通信中断而导致的部分数据缺失问题。通过与子站进行历史数据回填，可以填补数据中断部分，保障SCADA系统的数据完整性和可用性。

附图说明

图1是本发明所提供的数据采集回填系统的整体结构示意图；

图2是数据回填请求者向数据采集回填系统发送请求的示意图；

图3是本发明所提供的数据采集回填方法的流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的详细说明。

本发明提供一种面向SCADA系统的数据采集回填系统，如图1所示，包括服务端和客户端。服务端与客户端通过网络连接，优选采用IEC60870-5-104协议进行通信。其中，服务端包括数据回填存储单元和数据回填服务端单元。数据回填存储单元记录实时数据变化情况，将实时数据转换成能用于数据回填转发的报文并存储。数据回填服务端单元监听指定的端口，接收数据回填客户端的数据回填请求并完成数据转发。客户端主要包括数据回填客户端单元。数据回填客户端单元接收数据回填请求者发送的数据回填消息后，为需要数据回填的服务端创建专用线程以完成数据回填采集。

在本发明的一个实施例中，服务端是属于子站端的站控系统，包括数据回填存储单元和数据回填服务端单元。该服务端分别采用独立的进程，通过数据回填存储单元和数据回填服务端单元完成数据回填存储和转发功能。

数据回填存储单元记录实时数据变化情况，并将这些反映实时数据变化情况的数据转换成满足IEC60870-5-104协议扩展功能要求且能够用于数据回填转发的报文。数据回填存储单元转换的报文可以作为数据回填服务端单元的数据源使用。

数据回填服务端单元负责监听指定的端口、接收数据回填客户端单元的请求并完成数据转发。数据回填服务端单元与数据回填客户端单元采用IEC60870-5-104协议的扩展功能，通过网络完成数据传输任务。数据回填服务端单元转发的数据来源有两个：第一数据源是服务端实时数据转发程序记录的报文日志，第二数据源是数据回填存储单元记录的报文日志。数据回填服务端单元优先使用第一数据源提供的数据，当第一数据源无法提供所需数据时再使用第二数据源提供的数据。

数据回填存储单元或服务端实时数据转发程序记录报文日志时，为了能快速完成查找，保存日志的命名优选为：日期+链路名称组合。按此命名规则可以省去查找数据报文所在哪个文件中的步骤。同时将链路日志内容按这种格式记录，可以优化在文件中查找数据时的操作次数，通过高效的二分查找法在log(n)的时间复杂度中完成查找。例如：“20130101_测试站.log”，日志记录的格式为：

time：2013-01-01：18：10：10.245

send：xx xx xx xx xx //数据报文

time：2013-01-01：18：10：11.245

send：xx xx xx xx xx //数据报文。

在本发明的一个实施例中，客户端是中控系统，属于主站端。客户端主要包括数据回填客户端单元。数据回填客户端单元接收到数据回填请求者发送的数据回填报文，采集回填数据后为每个需要数据回填的服务端创建专用线程以完成数据回填采集。数据回填客户端单元接收到数据回填报文并采集回填数据的过程主要包括：数据回填客户端单元解析收到的数据回填请求者发送的数据回填报文，并根据数据回填报文的内容确定数据回填链路标识、数据回填起始时间和数据回填结束时间。数据回填客户端单元解析收到的数据回填报文后，与服务端建立连接，利用IEC60870-5-104协议的扩展功能采集需要回填的数据。数据回填客户端单元将采集的回填数据按照与实时数据相同的流程发送给基础平台进行处理。数据回填请求者主要是基础平台或人机接口（Human Machine Interface）。基础平台或人机接口发送的数据回填报文发起自动触发数据回填采集和人工触发数据回填采集两种触发方式。

数据回填请求者之一的基础平台是数据采集子系统运行的平台，也是整个SCADA系统运行的平台。数据回填请求者之一的人机接口是SCADA系统中的人机交互部分。如图2所示，人机接口发起数据回填请求是通过基础平台转发的，由客户端Fes_mgr模块收到后解析并转换为客户端的内部消息。数据回填数据通过服务端的Fes_com通信模块向客户端传递采集数据。

基础平台通过分析历史数据的连续性，得出在SCADA系统中所缺数据的起始时间和结束时间，并获得该数据的通信链路。基础平台将通信链路信息、历史回填数据的起始时间和结束时间通过数据总线发送给数据回填客户端单元，再由数据回填客户端单元负责采集回填数据。

操作员通过人机接口向数据回填客户端单元下发数据回填报文，由数据回填客户端单元采集回填数据。该数据回填报文同样包含需要数据回填的站场，数据回填的起始时间、结束时间及获得该数据的通信链路。

为了提高服务端对子站端的服务响应能力，本发明采用预处理方式。具体地说，在没有发生数据回填请求时，将实时数据按照数据回填的协议转换成历史数据报文，以通信链路为单位每天生成一个历史数据文件。此种处理方式的优点是数据传输时不必进行数据查询、报文组织等工作的实时处理。当发生数据回填时，有效地减少了服务端对数据查询、报文组织的时间，大大提高了服务端对子站段的服务响应能力。

为了减少数据回填采集对实时数据采集的影响，数据回填存储单元和数据回填服务端单元分别采用不同的TCP连接。数据回填存储单元记录实时数据变化情况时，与数据回填服务端单元的数据回填采集分别采用不同的TCP连接。具体地说，在解决不影响实时数据传输问题时，分别进行两个处理：一是将实时数据传输与数据回填传输分为2个单独的TCP进行传输；二是通过使用IPC进程间通信的共享内存、信号灯技术和网络传输速率统计技术，使实时数据传输具有优先于数据回填的等级。在实时数据进行传输时，数据回填的发送速率将会减慢至不影响实时数据传输的速率。以2M带宽的网络为例，有效传输的速度是256KB/s，实时数据进程进行传输时会统计出实时流量速度，将此传输速度记录在共享内存中。数据回填进程在获得实时数据传输速率后，会更改自己的传输速率，以达到在最大限度的利用网络资源的情况下，不影响实时数据的正常传输。

在本发明中，数据回填服务端单元与数据回填客户端单元采用IEC60870-5-104协议的扩展功能完成数据传输任务。具体地说，本发明在IEC60870-5-104协议的基础上增加了数据回填功能。历史数据的传输全部采用带时标的数据格式，包括模拟量和开关量。数据格式增加历史数据召唤功能，帧格式如表1所示：

字段	说明
		同步字	一字节，0x68
后续报文长度	一字节
		发送序号低字节	一字节
发送序号高字节	一字节
		接收序号低字节	一字节
接收序号高字节	一字节
		类型标识	一字节，0x6D
可变结构限定词	一字节，01
		传送原因低字节	一字节
传送原因高字节	一字节
		站址低字节	一字节
站址高字节	一字节
		起始时间	七字节，CP56Time2a
结束时间	七字节，CP56Time2a

表1数据帧格式

为了解决通信中断导致的数据不连续问题，确保服务端和客户端的数据完整性和可用性。如图3所示，本发明还提供一种应用该系统的数据采集回填方法包括三个部分：发起数据回填请求、响应数据回填请求和回复数据回填结果。下面对此展开详细具体的说明：

1）发起数据回填请求

数据回填请求者向客户端发送数据回填报文，发起数据回填请求。这里的数据回填请求主要是基础平台自动触发回填和人机接口人工触发回填。数据回填报文主要包括链路标识、数据回填起始时间和数据回填结束时间。数据回填报文在传输过程中传输的数据结构如下：

2）响应数据回填请求

面向SCADA系统的数据采集回填系统接收数据回填请求后，按如下方法响应并处理数据回填请求，具体步骤为：

A：客户端按照请求内容的链路标识向服务端发送建立连接请求，该连接请求优选TCP连接请求。

B：服务端接收建立TCP连接请求，建立TCP通信连接。

C：客户端向服务端发送链路初始化报文。

例如实际报文为：68 04 07 00 00 00的链路初始化报文具体格式参见表2所示。

表2初始化请求报文

D：服务端接收链路初始化报文并回复报文。

例如实际报文为：68 04 0b 00 00 00的初始化回复报文具体格式参见表3所示。

表3初始化确认报文

E：客户端向服务端发送召唤数据回填请求报文。

例如实际报文为：68 1a 00 00 00 00 6d 01 06 00 01 00 00 0000 0d 03 070d e8 03 00 0e 03 07 0d 03 00的召唤数据回填请求报文具体格式参见表4所示。

表4召唤数据回填请求报文

F：服务端接收召唤数据回填请求并回复数据回填报文，服务端传输数据回填报文。

服务端传输的数据回填报文的内容包括：在正常的情况下回复该段时间内的数据；或者，在非正常的情况下用于通知客户端的不同报文类型。当服务端按照数据回填请求结束数据传送后，发送结束报文通知客户端数据回填正常结束。

例如，数据回填报文带时标CP56Time2a的遥信值（单点信息报文）的具体格式参见表5所示。

实际报文为：68 15 aa 48 00 00 1e 01 03 00 01 00 03 00 0001 42 c7 03 0503 07 0d

实际报文：68 15 20 49 00 00 1e 01 03 00 01 00 03 00 00 01b8 59 08 0503 07 0d

表5带时标CP56Time2a的遥信值（单点信息报文）

例如，数据回填报文带时标CP56Time2a的遥测值（短浮点数报文）的具体格式参见表6所示。

实际报文：68 19 56 48 00 00 24 01 03 00 01 00 03 40 00 bf cc 46 43 004f c8 00 0503 07 0d

实际报文：68 19 1e 49 00 00 24 01 03 00 01 00 03 40 00 9519 1b 43 0074 59 08 05 03 07 0d

表6带时标CP56Time2a的遥测值（短浮点数报文）

例如，实际报文为：68 1a 00 00 00 00 6d 01 0a 00 01 00 01 0003 00 04 070d 01 00 06 00 04 07 0d 03 00的回填数据结束报文具体格式参见表7所示。

表7回填数据结束报文

例如实际报文为：68 0a 01 00 02 00 6d 01 15 00 01 00的回填数据读取失败类型报文具体格式参见表8所示。

表8回填数据读取失败类型报文

G：客户端接收到数据回填报文并解析处理。

当客户端收到数据回填正常结束的报文或带有错误代码的报文时，数据回填过程结束。

3）回复数据回填结果

本发明所提供的数据采集回填系统根据服务端返回的结果（正常结束/错误信息）回复数据回填结果给数据回填请求者。

综上所述，本发明可以解决SCADA系统因为调控中心与站场间的通信中断而导致的部分数据缺失问题。通过与子站进行历史数据回填，可以填补数据中断部分，保障SCADA系统的数据完整性和可用性。本发明也可以应用到其他类似的数据采集回填系统中。

上面对本发明所提供的面向SCADA系统的数据采集回填系统及其方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (5)

1.一种面向SCADA系统的数据采集回填系统，包括相互连接的服务端和客户端，所述服务端与所述客户端采用IEC60870-5-104协议进行通信；其特征在于：

所述服务端包括数据回填存储单元和数据回填服务端单元，所述客户端包括数据回填客户端单元；

所述数据回填存储单元记录实时数据变化情况，并将反映实时数据变化情况的数据转换成满足IEC60870-5-104协议扩展功能要求且能够用于数据回填转发的报文；

所述数据回填服务端单元监听指定的端口、所述数据回填客户端的数据回填请求并完成数据转发；所述数据回填服务端单元与所述数据回填客户端单元采用IEC60870-5-104协议的扩展功能，通过网络完成数据传输任务；其中，所述数据回填服务端单元转发的数据来源有两个：第一数据源是服务端实时数据转发程序记录的报文日志，第二数据源是所述数据回填存储单元记录的报文日志；所述数据回填服务端单元优先使用第一数据源提供的数据，当第一数据源无法提供所需数据时再使用第二数据源提供的数据；

所述数据回填客户端单元接收数据回填报文并采集回填数据的过程包括如下步骤：所述数据回填客户端单元解析收到的数据回填请求者发送的数据回填报文，并根据数据回填报文的内容确定数据回填链路标识、数据回填起始时间和数据回填结束时间；所述数据回填客户端单元与服务端建立连接，利用IEC60870-5-104协议的扩展功能采集需要回填的数据。

2.如权利要求1所述的数据采集回填系统，其特征在于：

所述数据回填存储单元和所述数据回填服务端单元分别采用不同的TCP连接。

3.一种面向SCADA系统的数据采集回填方法，用在权利要求1所述的数据采集回填系统中，其特征在于包括如下步骤：

数据回填请求者向客户端发送数据回填消息，发起数据回填请求；

数据采集回填系统接收数据回填请求后，采用如下步骤响应并处理数据回填请求：

客户端按照请求内容向服务端发送建立连接请求，服务端接收建立连接请求，建立通信连接；客户端向服务端发送链路初始化报文，服务端接收链路初始化报文并回复；客户端向服务端发送召唤数据回填请求，服务端接收召唤数据回填请求并回复数据回填报文；客户端接收到数据回填报文并解析处理；

数据采集回填系统根据服务端返回的结果，回复数据回填结果给所述数据回填请求者。

4.如权利要求3所述的数据采集回填方法，其特征在于：

所述数据回填请求者是人机接口或基础平台。

5.如权利要求3所述的数据采集回填方法，其特征在于：

所述数据回填请求包括链路标识、数据回填起始时间、数据回填结束时间。