CN103399856A - 面向scada系统的爆发式数据缓存处理系统及其方法 - Google Patents

Abstract

本发明公开了一种面向SCADA系统的爆发式数据缓存处理系统及其方法。该系统包括：数据接收模块、文件缓存模块、数据预读模块、队列缓存模块、数据优化模块、线程池模块；其中，数据接收模块接收应用程序发送的数据存储请求报文，按缓存队列的状态放入文件缓存模块的磁盘缓存文件或缓存队列中；数据预读模块将文件缓存模块中存储的数据存储请求插入到缓存队列中；数据优化模块读取缓存队列中的数据存储请求，对数据存储请求优化后调用线程池中的空闲线程，执行数据存储操作。本发明能够较好地解决提交海量数据存储请求时，请求数据及SCADA系统的安全性问题。

Description

面向SCADA系统的爆发式数据缓存处理系统及其方法

技术领域

本发明涉及一种数据缓存处理系统，尤其涉及一种面向SCADA系统的爆发式数据缓存处理系统，同时还涉及该系统实现爆发式数据缓存处理的方法，属于数据处理技术领域。

背景技术

SCADA（数据采集与监视控制）系统是以计算机为基础的生产过程控制与调度自动化系统，广泛应用于电力、冶金、石油、化工等行业中。随着SCADA系统规模的不断增大，需要监控的内容和数据越来越多，SCADA系统正不断面临海量数据处理的考验。

近年来，随着计算机和网络技术的飞速发展，大量计算机和网络技术应用到SCADA系统中，使SCADA系统的应用功能越来越强大。但是，专门针对SCADA系统海量数据处理的研究并不多见。随着海量数据管理越来越复杂，海量数据的存储、查询日益成为影响SCADA系统性能的瓶颈。

现有的SCADA系统在进行海量数据处理的过程中，当遇到爆发式数据存储请求时，可能会出现以下问题：

第一，由于爆发式数据存储请求会在短时间内聚集海量数据，在内存中等待提交数据库，可能会导致内存溢出，导致大量重要数据的丢失。更甚者会致使整个SCADA系统直接崩溃，这种后果将是灾难性的。

第二，数据存储请求太多，会导致SCADA系统的响应性降低，影响其他应用进程的运行。

第三，大量的数据库连接会导致数据库负荷过高，甚至会导致数据库崩溃，直接影响其他进程对数据库的访问。

发明内容

针对现有技术所存在的不足，本发明所要解决的技术问题在于提供一种面向SCADA系统的爆发式数据缓存处理系统及其方法。该技术方案不仅改善了系统的响应性，还保证了数据库的安全性。

为实现上述的发明目的，本发明采用下述的技术方案：

一方面，本发明提供一种面向SCADA系统的爆发式数据缓存处理系统，包括：

数据接收模块、文件缓存模块、数据预读模块、队列缓存模块、数据优化模块、线程池模块；其中，所述数据接收模块分别与所述队列缓存模块和所述文件缓存模块连接，所述文件缓存模块通过所述数据预读模块连接所述队列缓存模块，所述队列缓存模块连接所述数据优化模块，所述数据优化模块连接所述线程池模块；

所述数据接收模块接收应用程序发送的数据存储请求报文，按缓存队列的状态放入文件缓存模块的磁盘缓存文件或缓存队列中，其中不能放入缓存队列中的数据存储请求存储在所述文件缓存模块中；所述数据预读模块将所述文件缓存模块中存储的数据存储请求插入到缓存队列中；所述数据优化模块读取所述缓存队列中的数据存储请求，对所述数据存储请求优化后调用线程池中的空闲线程，执行数据存储操作。

另一方面，本发明还提供一种上述系统实现爆发式数据缓存处理的方法，包括如下步骤：

接收应用程序发送的数据存储请求，并按缓存队列的状态放入磁盘缓存文件或缓存队列中；

将所述磁盘缓存文件保存的数据存储请求插入到缓存队列中；

读取数据存储请求，并对数据存储请求优化后调用空闲线程；

执行数据存储操作。

其中较优地，所述按缓存队列的状态放入磁盘缓存文件或缓存队列的步骤进一步包括：

接收数据存储请求报文后，判断缓存队列是否已满；

如果缓存队列未满，按照不同的优先级将数据存储请求放入相应的缓存队列中；

若缓存队列已满，将数据存储请求写入磁盘缓存文件中。

其中较优地，所述将磁盘缓存文件保存的数据存储请求插入到缓存队列的步骤进一步包括：

判断缓存队列是否已满；

若缓存队列不满，则将磁盘缓存文件中保存的数据存储请求读出，并按照不同的优先级将数据存储请求放入相应的缓存队列中；

若缓存队列已满，则等待，直至缓存队列有空闲。

其中较优地，所述读取数据存储请求，并对数据存储请求优化后调用空闲线程的步骤进一步包括：

按照缓存队列的不同优先级读取数据存储请求；

利用SQL语句优化策略优化数据；

根据空闲线程链表的空闲情况调用空闲线程。

其中较优地，所述按照缓存队列的不同优先级读取数据存储请求的步骤进一步包括：

判断紧急请求缓存队列是否为空，若紧急请求缓存队列不为空则读取数据存储请求；否则，

判断重要请求缓存队列是否为空，若重要请求缓存队不为空则读取数据存储请求；否则，

判断普通请求队列是否为空。若普通请求队列不为空则读取数据存储请求；否则继续等待，直至缓存队列有数据存储请求。

其中较优地，所述SQL语句优化策略包括：

SQL语句共享优化、模糊匹配避免策略、逻辑表达式等价交换策略、子查询合并策略、用where语句代替having语句策略、多个or连接的表达式转化为any表达式中的一种或多种。

其中较优地，所述根据空闲线程链表的空闲情况调用空闲线程的步骤进一步包括：

从空闲线程链表中获取空闲线程，若空闲线程链表不为空，则获取空闲线程成功建立数据库连接；

若空闲线程链表为空，判断当前线程个数是否超限；

若当前线程个数未超限，则创建新线程并建立数据库连接；

若当前线程个数超限，则等待，直至空闲线程链表不为空。

与现有技术相比较，本发明所提供的爆发式数据缓存处理系统及其方法较好地解决了提交海量数据存储请求时，请求数据及整个SCADA系统的安全性问题。该技术方案不仅改善了系统的响应性，还保证了数据库的安全性。

附图说明

图1是本发明所提供的爆发式数据缓存处理系统的结构示意图；

图2是图1所示的爆发式数据缓存处理系统的工作原理示意图；

图3是本发明所提供的爆发式数据缓存处理方法的流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细说明。

如图1所示，本发明提供一种面向SCADA系统的爆发式数据缓存处理系统，包括：数据接收模块、文件缓存模块、数据预读模块、队列缓存模块、数据优化模块、线程池模块。其中，数据接收模块分别与队列缓存模块和文件缓存模块连接，文件缓存模块通过数据预读模块连接队列缓存模块，队列缓存模块连接数据优化模块，数据优化模块连接线程池模块。

数据接收模块接收应用程序发送的数据存储请求，并按缓存队列的状态将数据存储请求放入文件缓存模块的磁盘缓存文件或缓存队列中，其中不能放入缓存队列中的数据存储请求存储在文件缓存模块中；数据预读模块将文件缓存模块中存储的数据存储请求按照不同的优先级插入到缓存队列中；数据优化模块读取缓存队列中的数据存储请求，并对该数据存储请求优化后调用线程池中的空闲线程，并执行存储数据。下面对此展开详细具体的说明。

在本爆发式数据缓存处理系统中，数据接收模块用于接收应用程序发送的、需要提交数据库的数据存储请求报文，并将该数据存储请求报文根据相应策略放入磁盘或者缓存队列中。具体地说，数据接收模块接收应用程序发送的需要提交数据库的数据存储请求报文后，判断缓存队列是否已满，如果缓存队列未满，则按照三个不同的优先级（例如紧急、重要、普通）将数据存储请求放入相应的缓存队列中；若缓存队列已满，则将其数据存储请求通过文件缓存模块写入磁盘缓存文件中。

文件缓存模块用于存储海量数据存储请求，保证请求数据的安全性。为此，文件缓存模块将不能放入缓存队列中的数据存储请求写入磁盘缓存文件中。在本发明中，应用程序向数据库发送的数据存储请求报文出现爆发式数据存储请求时，文件缓存模块才会启动。

数据预读模块主要用于将在磁盘的文件缓存模块存储的数据存储请求插入到缓存队列中。具体地说，数据预读模块首先判断缓存队列是否已满，若缓存队列不满，则将磁盘缓存文件中存储的数据存储请求读出，并按照不同的优先级（例如紧急、重要、普通）将数据存储请求放入相应的缓存队列中，否则继续等待。

队列缓存模块用于存放不用优先级的数据存储请求，保证数据存储请求被快速读取。队列缓存模块主要确保一些紧急数据存储请求可以被优先执行。队列缓存模块由紧急请求缓存队列、重要请求缓存队列、普通请求缓存队列三个队列组成。

数据优化模块主要用于从缓存队列中读取数据存储请求，并对数据存储请求中的SQL语句进行优化，保证SQL语句能被数据库高效执行。具体地说，数据优化模块首先判断紧急请求缓存队列是否为空，若紧急请求缓存队列不为空则读取数据存储请求；否则判断重要请求缓存队列是否为空。若重要请求缓存队不为空则读取数据存储请求；否则判断普通请求队列是否为空。若普通请求队列不为空则读取数据存储请求；否则继续等待。数据优化模块读取数据存储请求后，对其按相应的SQL语句优化策略优化数据。具体的SQL语句优化策略包括：SQL语句共享优化、模糊匹配避免策略、逻辑表达式等价交换策略、子查询合并策略、用where语句代替having语句策略、多个or连接的表达式转化为any表达式等。

数据优化模块优化某一数据存储请求后，调用线程池模块。线程池模块中有多个线程，空闲线程组成空闲线程链表。线程池模块先进行初始化，初始化主要工作是创建一定数量的执行线程，为每个执行线程创建数据库连接，并将执行线程的句柄插入空闲队列中。获取线程池模块中的空闲线程可以使多个数据存储请求被并行执行，提高请求的执行效率。具体地说，从空闲线程链表中获取空闲线程，若空闲线程链表不为空，则获取空闲线程成功，执行数据存储请求。请求执行完毕后，线程挂起，并将线程句柄返回空闲线程链表，存储结束。若空闲线程链表为空，判断当前线程个数是否超限，若未超限，则创建新线程并建立数据库连接，执行数据存储请求。若当前线程个数超限，则继续等待。

如图2所示，本发明提供的爆发式数据缓存处理系统启动后，先加载三种类型的线程：将数据存储请求存入磁盘缓存文件或者缓存队列的线程（简称写线程，下文用P线程代替）、将缓存在磁盘缓存文件中的数据存储请求分别读入不同的优先级队列中的线程（简称读线程，下文用R线程代替）和从缓存队列中读取数据存储请求并执行数据存储的线程（简称执行线程，下文用S线程代替）。

P线程主要用于接收应用程序发送的数据存储请求，并将数据存储请求存入磁盘缓存文件或者缓存队列中。当数据接收模块写磁盘缓存文件时，P线程首先为磁盘缓存文件加锁，再将数据存储请求写入磁盘缓存文件。P线程将数据存储请求写入磁盘缓存文件完毕后解锁磁盘缓存文件，并唤醒R线程。当P线程需要写缓存队列中的某个队列时，P线程会首先为该缓存队列加锁，将数据存储请求插入到该缓存队列中。P线程将数据存储请求插入到该缓存队列中完毕后解锁缓存队列，并唤醒S线程。若缓存队列已满，则写线程（P线程）被挂起。收到执行线程（S线程）发出的队列有空闲的信号量后才会被唤醒。若缓存队列为空则执行线程（S线程）被挂起，收到写线程（P线程）发出的缓存队列有数据的信号后才会被唤醒。R线程主要用于将缓存在磁盘缓存文件中的数据存储请求按照不同的优先级分别读入相应的缓存队列中。当数据预读模块从磁盘缓存文件读取数据存储请求时，R线程首先将磁盘缓存文件加锁，从磁盘缓存文件读取数据存储请求，判断数据存储请求优先级，并在相应的缓存队列加锁，将数据存储请求写入相应的缓存队列。R线程将数据存储请求写入相应的缓存队列完毕后，解锁磁盘缓存文件和缓存队列，并唤醒S线程。S线程从缓存队列中读取数据存储请求，并对按照预定的优化策略对数据存储请求中的SQL语句进行相应的优化。数据优化模块对SQL语句优化之后，S线程初始化线程池，将数据存储请求交给线程池中的空闲线程，并行地执行数据存储请求。当S线程向线程池中的空闲线程分配数据存储请求时，线程池首先检查空闲队列。若空闲队列不为空，则将数据存储请求分配给一个空闲线程以执行数据存储请求。若当前线程个数超限，则继续等待，直到有空闲线程后，S线程才会分配新的线程。

本发明所提供的爆发式数据缓存处理系统通过数据预读模块保证数据安全接收，利用文件缓存模块保证爆发式数据存储请求不会丢失数据，使用数据预读模块保证文件缓存数据被高效读取，利用队列缓存机制保证高优先级的请求被快速执行，通过数据优化模块对数据存储请求报文中的SQL语句进行优化以提高请求的执行效率，利用线程池机制提高数据存储请求处理的并行性，极大地提高数据处理的执行效率。

为了解决提交海量数据存储请求时，请求数据及整个SCADA系统的安全性问题，本发明还提供一种应用该系统的爆发式数据缓存处理方法，包括如下步骤：接收应用程序发送的数据存储请求，并按缓存队列的状态放入磁盘缓存文件或缓存队列中；将磁盘缓存文件保存的数据存储请求按不同的优先级插入到缓存队列中；读取缓存队列中的数据存储请求，对数据存储请求优化后调用线程池中的空闲线程；执行数据存储操作。下面对此展开详细具体的说明。

首先，介绍接收应用程序发送的数据存储请求，按缓存队列的状态放入磁盘缓存文件或缓存队列中的步骤。

数据接收模块接收应用程序发送的需要提交数据库的数据存储请求报文，并将该数据存储请求报文根据缓存队列的状态放入磁盘或者缓存队列中。具体步骤如下：数据接收模块接收应用程序发送的需要提交数据库的数据存储请求报文后，判断缓存队列是否已满；如果缓存队列未满，则按照三个不同的优先级（例如紧急、重要、普通）将数据存储请求放入相应的缓存队列中；若缓存队列已满,则将数据存储请求通过文件缓存模块写入磁盘缓存文件中。

其次，介绍将磁盘缓存文件保存的数据存储请求插入到缓存队列中的步骤。

数据预读模块将在磁盘缓存文件保存的数据存储请求插入到缓存队列中。具体步骤如下：数据预读模块首先判断缓存队列是否已满，若缓存队列不满，则将磁盘缓存文件中保存的数据存储请求读出，按照不同的优先级（例如紧急、重要、普通）将数据存储请求放入相应的缓存队列中，否则继续等待，直至缓存队列有空闲。

再次，介绍读取数据存储请求，并对数据存储请求优化后调用空闲线程的步骤。

数据优化模块从缓存队列中读取数据存储请求。具体地说，数据优化模块根据缓存队列中不同的优先级缓存队列的情况，读取数据存储请求并对数据存储请求中的SQL语句进行优化，保证SQL语句能够被数据库高效地执行。数据优化模块根据缓存队列的情况读取数据存储请求的具体步骤如下：

数据优化模块首先判断紧急请求缓存队列是否为空，若紧急请求缓存队列不为空则读取数据存储请求；否则判断重要请求缓存队列是否为空，若重要请求缓存队不为空则读取数据存储请求；否则判断普通请求队列是否为空。若普通请求队列不为空则读取数据存储请求；否则继续等待，直至缓存队列有数据存储请求。

数据优化模块读取数据存储请求后，对其按相应的SQL语句优化策略进行数据优化。具体的SQL语句优化策略有：SQL语句共享优化、模糊匹配避免策略、逻辑表达式等价交换策略、子查询合并策略、用where语句代替having语句策略、多个or连接的表达式转化为any表达式等。

数据优化模块优化某一数据存储请求后，调用线程池模块中的空闲线程。线程池模块中有多个线程，空闲线程组成空闲线程链表。调用线程池模块中的空闲线程的具体步骤包括：

从空闲线程链表中获取空闲线程，若空闲线程链表不为空，则获取空闲线程成功，建立数据库并执行数据存储请求。请求执行完毕后，线程挂起，并将线程句柄返回空闲线程链表，存储结束。若空闲线程链表为空，判断当前线程个数是否超限，若未超限，则创建新线程并建立数据库连接，执行数据存储请求。若当前线程个数超限，则继续等待，直至空闲线程链表不为空，即空闲线程链表中有线程。

最后，执行数据存储操作。

本发明提供的爆发式数据缓存处理系统及其方法通过采用高效文件缓存机制及队列缓存机制，可以确保遇到爆发式数据存储请求时系统不会丢失数据，能够较好地解决提交海量数据存储请求时，请求数据及SCADA系统的安全性问题。该技术方案不仅改善了系统的响应性，还保证了数据库的安全性。

上面对本发明所提供的爆发式数据缓存处理系统及其方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (8)

1.一种面向SCADA系统的爆发式数据缓存处理系统，其特征在于包括：

数据接收模块、文件缓存模块、数据预读模块、队列缓存模块、数据优化模块、线程池模块；其中，所述数据接收模块分别与所述队列缓存模块和所述文件缓存模块连接，所述文件缓存模块通过所述数据预读模块连接所述队列缓存模块，所述队列缓存模块连接所述数据优化模块，所述数据优化模块连接所述线程池模块；

所述数据接收模块接收应用程序发送的数据存储请求报文，按缓存队列的状态放入所述文件缓存模块的磁盘缓存文件或缓存队列中，其中不能放入缓存队列中的数据存储请求存储在所述文件缓存模块中；所述数据预读模块将所述文件缓存模块中存储的数据存储请求插入到缓存队列中；所述数据优化模块读取所述缓存队列中的数据存储请求，对所述数据存储请求优化后调用线程池中的空闲线程，执行数据存储操作。

2.一种爆发式数据缓存处理方法，用在权利要求1所述的爆发式数据缓存处理系统中，其特征在于包括如下步骤：

接收应用程序发送的数据存储请求，按缓存队列的状态放入磁盘缓存文件或缓存队列中；

将所述磁盘缓存文件保存的数据存储请求插入到缓存队列中；

读取数据存储请求，并对所述数据存储请求优化后调用空闲线程；

执行数据存储操作。

3.如权利要求2所述的爆发式数据缓存处理方法，其特征在于，所述按缓存队列的状态放入磁盘缓存文件或缓存队列的步骤进一步包括：

接收数据存储请求报文后，判断缓存队列是否已满；

如果缓存队列未满，则按照不同的优先级将数据存储请求放入相应的缓存队列中；

若缓存队列已满，则将数据存储请求写入磁盘缓存文件中。

4.如权利要求2所述的爆发式数据缓存处理方法，其特征在于，所述将磁盘缓存文件保存的数据存储请求插入到缓存队列的步骤进一步包括：

判断缓存队列是否已满；

若缓存队列不满，则将磁盘缓存文件中保存的数据存储请求读出，并按照不同的优先级将数据存储请求放入相应的缓存队列中；

若缓存队列已满，则等待，直至缓存队列有空闲。

5.如权利要求2所述的爆发式数据缓存处理方法，其特征在于，所述读取数据存储请求，并对数据存储请求优化后调用空闲线程的步骤进一步包括：

按照缓存队列的不同优先级读取数据存储请求；

利用SQL语句优化策略优化数据；

根据空闲线程链表的空闲情况调用空闲线程。

6.如权利要求5所述的爆发式数据缓存处理方法，其特征在于，所述按照缓存队列的不同优先级读取数据存储请求的步骤进一步包括：

判断紧急请求缓存队列是否为空，若紧急请求缓存队列不为空则读取数据存储请求；否则，

判断重要请求缓存队列是否为空，若重要请求缓存队不为空则读取数据存储请求；否则，

判断普通请求队列是否为空，若普通请求队列不为空则读取数据存储请求；否则继续等待，直至缓存队列有数据存储请求。

7.如权利要求5所述的爆发式数据缓存处理方法，其特征在于，所述SQL语句优化策略包括：

SQL语句共享优化、模糊匹配避免策略、逻辑表达式等价交换策略、子查询合并策略、用where语句代替having语句策略、多个or连接的表达式转化为any表达式中的一种或多种。

8.如权利要求5所述的爆发式数据缓存处理方法，其特征在于，所述根据空闲线程链表的空闲情况调用空闲线程的步骤进一步包括：

从空闲线程链表中获取空闲线程，若空闲线程链表不为空，则获取空闲线程成功建立数据库连接；

若空闲线程链表为空，判断当前线程个数是否超限；

若当前线程个数未超限，则创建新线程并建立数据库连接；

若当前线程个数超限，则等待，直至空闲线程链表不为空。

Images