CN107741984B - 用于在线监测数据采集一致性的采集服务器、系统及方法 - Google Patents
用于在线监测数据采集一致性的采集服务器、系统及方法 Download PDFInfo
- Publication number
- CN107741984B CN107741984B CN201710982377.5A CN201710982377A CN107741984B CN 107741984 B CN107741984 B CN 107741984B CN 201710982377 A CN201710982377 A CN 201710982377A CN 107741984 B CN107741984 B CN 107741984B
- Authority
- CN
- China
- Prior art keywords
- data
- server
- database unit
- acquisition
- acquisition server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1675—Temporal synchronisation or re-synchronisation of redundant processing components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/82—Solving problems relating to consistency
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种用于在线监测数据采集一致性的采集服务器、系统及方法，属于烟气在线监测数据采集技术领域。本发明的方法应用于第一采集服务器和第二采集服务器，包括：采集烟气在线实时监测数据；存储采集的烟气在线监测数据；相互同步并存储第一采集服务器和第二采集服务器的数据；合并第一采集服务器的数据和第二采集服务器的数据分别生成第一合并数据和第二合并数据；分别发送第一合并数据和第二合并数据到数据中心服务器和监控管理后台服务器。本发明的方法通过两个独立运行的采集服务器数据同步备份，合并处理两个采集服务器的数据并发送给数据中心服务器，保证数据从采集、存储到上传环节无单点故障，保证数据采集的高一致性。
Description
技术领域
本发明涉及一种用于在线监测数据采集一致性的采集服务器、系统及方法，特别涉及一种用于烟气在线监测数据采集一致性的采集服务器、系统及方法，属于烟气在线监测数据采集技术领域。
背景技术
随着信息科技的快速发展，虚拟化与云计算技术的日趋成熟，对计算机高可用性有了极大的改善，企业过程控制系统也开始选择虚拟化方案、工厂制造执行系统、企业网络数据中心系统，对虚拟化及高可用性计算机的要求也越来越高。
为保障排污企业烟气在线监测数据采集系统(简称CEMS)24h*365连续不中断运行，烟气排放监测数据实时上传至环保局监控网络。在现有高可用性CEMS系统方案设计中，数据采集处理计算机系统采用冗余链路与PLC控制器通信，同时采用RS485总线和TCP/IP以太网传输协议，但无法保证计算机和采集软件的高可用，无法保证采集数据的完整性和一致性，因此随着企业对高可用性要求越来越高，要求采集链路，计算机到采集软件都采用高可用设计，从而实现整个解决方案的容错系统设计。
发明内容
本发明的目的在于提供用于在线监测数据采集一致性的采集服务器、系统及方法，该方法通过两个独立运行的采集服务器数据同步备份，合并处理两个采集服务器的数据并发送给数据中心服务器，保证烟气在线监测数据从采集、存储到上传环节无单点故障，保证数据采集的高一致性。
本发明提供技术方案如下：
一方面，本发明提供了一种用于在线监测数据采集一致性的第一采集服务器，包括：
第一采集单元，用于采集烟气在线监测数据；
第一数据库单元，用于存储采集的所述烟气在线监测数据；
第一数据同步单元，用于将所述第一数据库单元的数据同步到第二采集服务器；
第一接收单元，用于接收第二采集服务器发送的同步数据；
第一订阅数据库单元，用于存储所述第二采集服务器发送的同步数据；
第一合并数据库单元，用于合并所述第一数据库单元的数据和所述第一订阅数据库单元的数据生成第一合并数据；
第一发送单元，用于将所述第一合并数据发送到数据中心服务器和监控管理后台服务器。
根据本发明的一实施方式，所述第一数据同步单元还用于将所述第一数据库单元和所述第一订阅数据库单元的数据同步到第一合并数据库单元；
所述第一数据库单元的数据包括：第一单元实时数据表和第一单元分钟数据表，所述第一订阅数据库单元的数据包括：第二单元实时数据表和第二单元分钟数据表。
根据本发明的另一实施方式，所述第一合并数据库单元包括：
检测子单元，用于检测同步的所述第一数据库单元和/或第一订阅数据库单元的数据的状态，所述状态包括真值、空值、缺省和/或死值；
合并子单元，用于根据所述第一数据库单元的数据的状态对所述第一数据库单元的数据和/或所述第一订阅数据库单元的数据进行合并处理生成第一合并数据；
标记子单元，用于根据所述第一数据库单元和/或第一订阅数据库单元的数据的状态标记所述第一合并数据的来源和服务器的运行状态。
根据本发明的另一实施方式，当所述第一数据库单元的数据的状态为真值，所述第一订阅数据库单元的数据的状态为真值时，所述第一合并数据为第一数据库单元的数据，标记所述第一合并数据的来源为第一采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器正常；
当所述第一数据库单元的数据的状态为真值，所述第一订阅数据库单元的数据的状态为空值或缺省时，所述第一合并数据为第一数据库单元的数据，标记所述第一合并数据的来源为第一采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器故障；
当所述第一数据库单元的数据的状态为真值，所述第一订阅数据库单元的数据的状态为死值时，所述第一合并数据为第一数据库单元的数据，标记所述第一合并数据的来源为第一采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器故障。
根据本发明的另一实施方式，当所述第一数据库单元的数据的状态为空值或缺省，所述第一订阅数据库单元的数据的状态为真值时，所述第一合并数据为第一订阅数据库单元的数据，标记所述第一合并数据的来源为第二采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器正常；
当所述第一数据库单元的数据的状态为空值或缺省，所述第一订阅数据库单元的数据的状态为空值时，所述第一合并数据为空值，标记所述第一合并数据的来源为第一采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器故障；
当所述第一数据库单元的数据的状态为空值或缺省，所述第一订阅数据库单元的数据的状态为死值或缺省时，所述第一合并数据为空值，标记所述第一合并数据的来源为第一采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器故障。
根据本发明的另一实施方式，当所述第一数据库单元的数据的状态为死值，所述第一订阅数据库单元的数据的状态为真值时，所述第一合并数据为第一订阅数据库单元的数据，标记所述第一合并数据的来源为第二采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器正常；
当所述第一数据库单元的数据的状态为死值，所述第一订阅数据库单元的数据的状态为空值时，所述第一合并数据为空值，标记所述第一合并数据的来源为第二采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器正常；
当所述第一数据库单元的数据的状态为死值，所述第一订阅数据库单元的数据的状态为死值或缺省时，所述第一合并数据为死值或缺省，标记所述第一合并数据的来源为第二采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器故障。
另一方面，本发明还提供了一种用于在线监测数据采集一致性的第二采集服务器，包括：
第二采集单元，用于采集烟气在线监测数据；
第二数据库单元，用于存储采集的所述烟气在线监测数据；
第二数据同步单元，用于将所述第二数据库单元的数据同步到第一采集服务器；
第二接收单元，用于接收第一采集服务器发送的同步数据；
第二订阅数据库单元，用于存储所述第一采集服务器发送的同步数据；
第二合并数据库单元，用于合并所述第二数据库单元的数据和所述第二订阅数据库单元的数据生成第二合并数据；
第二发送单元，用于将所述第二合并数据发送到数据中心服务器和监控管理后台服务器。
再一方面，本发明还提供了一种用于在线监测数据采集一致性的采集系统，包括：第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器，所述第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器相互之间通过以太网传输数据信息，所述第一采集服务器为主服务器，所述第二采集服务器为辅服务器，所述第一采集服务器用于向所述数据中心服务器实时传输所述第一合并数据，所述第二采集服务器在所述第一采集服务器故障时向所述数据中心服务器实时传输所述第二合并数据，所述监控管理后台服务器用于查看和显示所述第一采集服务器或第二采集服务器的数据和状态。
根据本发明的一实施方式，所述第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器的时钟同步。
又一方面，本发明还提供了一种用于在线监测数据采集一致性的方法，包括：
采集烟气在线监测数据；
存储采集的所述烟气在线监测数据；
同步所述第一采集服务器的数据到所述第二采集服务器；
接收并存储所述第二采集服务器发送的同步数据；
合并所述第一采集服务器的数据和所述第二采集服务器发送的同步数据生成第一合并数据；
发送所述第一合并数据到数据中心服务器和监控管理后台服务器。
本发明的有益效果如下：
本发明的用于在线监测数据采集一致性的方法通过第一采集服务器和第二采集服务器分别独立实时采集烟气在线监测数据，第一采集服务器作为主服务器，第二采集服务器作为辅服务器，将第一采集服务器上的数据同步到第二采集服务器，并接收第二采集服务器发送过来的同步数据，使得两个独立运行的采集服务器数据同步备份，综合第二采集服务器采集的数据和第一采集服务器同步的数据合并处理得到第一合并数据，之后发送给数据中心服务器和监控管理后台服务，保证烟气在线监测数据从采集、存储到上传环节无单点故障，保证数据采集的高一致性。
本发明的用于在线监测数据采集一致性的采集系统包括第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器，第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器相互之间通过以太网传输数据信息，该系统采用两个独立运行的服务器进行烟气在线监测数据采集，同时在两个服务器的数据库中分别把对方的数据订阅同步过来，再和本地采集的数据进行合并去重，最终上传给数据中心服务器，采用双活采集+数据库双向合并去重的系统保证整个CEMS系统从采集、存储到上传环节无单点故障，整个设计全部基于高可用设计方案，在数据采集、存储分析和数据上传等任意环节中发生单点故障时，能够保障生产数据无重复，无丢失，无中断，实现数据的完整性和一致性，并且能够定位哪一个环节出现了故障。
附图说明
图1为本发明的用于在线监测数据采集一致性的第一采集服务器的一个实施例的结构示意图；
图2为本发明的用于在线监测数据采集一致性的第二采集服务器的一个实施例的结构示意图；
图3为本发明的用于在线监测数据采集一致性的系统的一个实施例的结构示意图；
图4为本发明的用于在线监测数据采集一致性的方法的一个实施例的流程示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例的服务器是指网络中能对其它机器提供某些服务的计算机系统，为网络用户提供集中计算、信息发表及数据管理等服务，该服务器可以是实体硬件服务器也可以是云服务器，服务器上创建有操作系统和数据库，可运行应用系统，例如：CEMS数据采集系统。
一方面，如图1所示，本发明实施例提供了一种用于在线监测数据采集一致性的第一采集服务器100，包括：
第一采集单元101，用于采集烟气在线监测数据；
第一数据库单元102，用于存储采集的烟气在线监测数据；
第一数据同步单元103，用于将第一数据库单元的数据同步到第二采集服务器；
第一接收单元104，用于接收第二采集服务器发送的同步数据；
第一订阅数据库单元105，用于存储第二采集服务器发送的同步数据；
第一合并数据库单元106，用于合并第一数据库单元的数据和第一订阅数据库单元的数据生成第一合并数据；
第一发送单元107，用于将第一合并数据发送到数据中心服务器和监控管理后台服务器。
本发明实施例的第一采集服务器包括第一采集单元、第一数据库单元、第一数据同步单元、第一接收单元、第一订阅数据库单元、第一合并数据库单元和第一发送单元，其结构简单，通过第一采集服务器和第二采集服务器分别独立实时采集烟气在线监测数据，第一采集服务器作为主服务器，第二采集服务器作为辅服务器，将第一采集服务器上的数据同步到第二采集服务器，并接收第二采集服务器发送过来的同步数据，使得两个独立运行的采集服务器数据同步备份，综合第一采集服务器采集的数据和第二采集服务器同步的数据合并处理得到第一合并数据，之后发送给数据中心服务器，保证烟气在线监测数据从采集、存储到上传环节无单点故障，保证数据采集的高一致性。
作为上述实施例的一个举例说明，本发明实施例的第一数据同步单元还用于将第一数据库单元和第一订阅数据库单元的数据同步到第一合并数据库单元；
第一数据库单元的数据包括：第一单元实时数据表和第一单元分钟数据表，第一订阅数据库单元的数据包括：第二单元实时数据表和第二单元分钟数据表。
作为上述实施例的另一个举例说明，本发明实施例的第一合并数据库单元包括：
检测子单元1061(未示出)，用于检测同步的第一数据库单元和/或第一订阅数据库单元的数据的状态，状态包括真值、空值、缺省和/或死值；
合并子单元1062(未示出)，用于根据第一数据库单元的数据的状态对第一数据库单元的数据和/或第一订阅数据库单元的数据进行合并处理生成第一合并数据；
标记子单元1063(未示出)，用于根据第一数据库单元和/或第一订阅数据库单元的数据的状态标记第一合并数据的来源和服务器的运行状态。
数据的状态包括真值、空值、缺省和/或死值，其中真值是指采样记录值为真实数据且相邻采样记录值不一致，空值或缺省是指在相应采样时间戳没有记录，死值是指连续两个采样记录值完全一致。
本发明实施例的第一合并数据库单元根据相应报表生成机制形成日数据表，月数据表和年数据报表，保障数据完整性。本发明实施例的第一合并数据库单元根据根据第一数据库单元的数据的状态对第一数据库单元的数据和/或第一订阅数据库单元的数据进行合并处理得到第一合并数据，并在数据中标记数据来源和服务器运行状态，保证烟气在线监测数据在去重合并过程中的数据无重复和无丢失。
作为上述实施例的另一个举例说明，本发明实施例当第一数据库单元的数据的状态为真值，第一订阅数据库单元的数据的状态为真值时，第一合并数据为第一数据库单元的数据，标记第一合并数据的来源为第一采集服务器，并在第一合并数据中添加故障标示字段，故障标示字段用于标明所述第二采集服务器正常；
当第一数据库单元的数据的状态为真值，第一订阅数据库单元的数据的状态为空值或缺省时，第一合并数据为第一数据库单元的数据，标记第一合并数据的来源为第一采集服务器，并在第一合并数据中添加故障标示字段，故障标示字段用于标明第二采集服务器故障；
当第一数据库单元的数据的状态为真值，第一订阅数据库单元的数据的状态为死值时，第一合并数据为第一数据库单元的数据，标记第一合并数据的来源为第一采集服务器，并在第一合并数据中添加故障标示字段，故障标示字段用于标明所述第二采集服务器故障。
作为上述实施例的另一个举例说明，本发明实施例当第一数据库单元的数据的状态为空值或缺省，第一订阅数据库单元的数据的状态为真值时，第一合并数据为第一订阅数据库单元的数据，标记第一合并数据的来源为第二采集服务器，并在第一合并数据中添加故障标示字段，故障标示字段用于标明第二采集服务器正常；
当第一数据库单元的数据的状态为空值或缺省，第一订阅数据库单元的数据的状态为空值时，第一合并数据为空值，标记第一合并数据的来源为第一采集服务器，并在第一合并数据中添加故障标示字段，故障标示字段用于标明第二采集服务器故障；
当第一数据库单元的数据的状态为空值或缺省，第一订阅数据库单元的数据的状态为死值或缺省时，第一合并数据为空值，标记第一合并数据的来源为第一采集服务器，并在第一合并数据中添加故障标示字段，故障标示字段用于标明第二采集服务器故障。
作为上述实施例的另一个举例说明，本发明实施例当第一数据库单元的数据的状态为死值，第一订阅数据库单元的数据的状态为真值时，第一合并数据为第一订阅数据库单元的数据，标记第一合并数据的来源为第二采集服务器，并在第一合并数据中添加故障标示字段，故障标示字段用于标明第二采集服务器正常；
当第一数据库单元的数据的状态为死值，第一订阅数据库单元的数据的状态为空值时，第一合并数据为空值，标记第一合并数据的来源为第二采集服务器，并在第一合并数据中添加故障标示字段，故障标示字段用于标明第二采集服务器正常；
当第一数据库单元的数据的状态为死值，第一订阅数据库单元的数据的状态为死值或缺省时，第一合并数据为死值或缺省，标记第一合并数据的来源为第二采集服务器，并在第一合并数据中添加故障标示字段，故障标示字段用于标明第二采集服务器故障。
本发明实施例的第一采集服务器出现奔溃或异常，第二采集服务器随时可接管，自动上传数据导数据中心服务器，从而实现CEMS系统从采集到上传的高可用，并实现数据库在去重合并过程中的数据无重复和无丢失。
以下为本发明的烟气在线监测数据合并去重的功能和原理的一个实施例：
合并去重时，第一采集服务器(ServerA)的数据是主写，第二采集服务器(ServerB)的数据作为补充插入。合并后的数据里新加一个字段，表明合并后的数据来源于哪个服务器。
a.当两台采集服务器采集数据都为空值时，两个合并后的数据来源显示为A；
b.当ServerA采集数据为真实数据，ServerB为空值，或缺省时，两个合并后的数据库来源显示为A，
c.当切换为ServerB为真实数据，ServerA为空值时，合并后的数据库来源显示为B，ServerB的数据插入对应字段；
d.当两台服务器采集数据都为真实数据时，两个合并后的数据库来源显示为A；
e.当ServerA采集数据为死值时，用ServerB数据插入，两个合并后的数据库来源显示为B，一旦ServerA采集恢复，再次变为ServerA数据插入，合并数据库来源显示为A；
f.当ServerB遇到故障时，采集数据为死值或缺省时，要能够表明ServerB出现了故障，分别在ServerA和ServerB中的合并实时数据表、分钟数据表中增加两个字段，source和berror字段，状态值排列组合如下：
Source＝A，且berror＝NULL，完全正常。
Source＝B，且berror＝NULL，说明仅A存在故障
Source＝B，且berror＝1，说明A、B都存在故障
下面是实现数据合并和状态标识的部分代码：
其中ServerA(第一采集服务器)、UserDatabaseA(第一数据库单元)、UserDatabaseB(第二数据库单元)、UserDatabase(第一合并数据库)。
--先插入ServerA(UserDatabaseA)中时间大于之前合并过的最大时间的有效数据
insert into[UserDatabase].dbo.[实时数据A]([时间],[DUST干],[DUST折算],[SO2],[SO2折算],[NOX],[NOX折算],[CO],[CO折算],[O2],[压力],[温度],[湿度],[流速],[标干流量],[状态标识],[source])
SELECT[时间],[DUST干],[DUST折算],[SO2],[SO2折算],[NOX],[NOX折算],[CO],[CO折算],[O2],[压力],[温度],[湿度],[流速],[标干流量],[状态标识],'A'FROMcte WHERE ID NOT IN
(
select a.id from cte as a
inner join
cte1as b
on DATEADD(s,-10,a.时间)＝b.时间and a.压力＝b.压力and a.标干流量＝b.标干流量and a.流速＝b.流速
union
select id from cte where标干流量＝0and流速＝0
)
--再插入ServerB(UserDataBaseB)中时间大于之前合并过的最大时间的并且在中不存在的有效数据
insert into[UserDatabase].dbo.[实时数据A]([时间],[DUST干],[DUST折算],[SO2],[SO2折算],[NOX],[NOX折算],[CO],[CO折算],[O2],[压力],[温度],[湿度],[流速],[标干流量],[状态标识],[source])
select[时间],[DUST干],[DUST折算],[SO2],[SO2折算],[NOX],[NOX折算],[CO],[CO折算],[O2],[压力],[温度],[湿度],[流速],[标干流量],[状态标识],'B'FROM[UserDataBaseB].[dbo].[实时数据A]
where[时间]not in(
SELECT[时间]FROM[UserDatabase].[dbo].[实时数据A]where[时间]between@maxtime and@Tmaxtime
)
and[时间]between@maxtime and@Tmaxtime
；with cte as
(
select*from[UserDatabaseB].DBO.实时数据A where[时间]between@maxtimeand@Tmaxtime
),cte1as
(
select*from[UserDatabaseB].DBO.实时数据A where[时间]between DATEADD(s,-10,@maxtime)and DATEADD(s,-10,@Tmaxtime)
)
---标识berror字段
update[UserDatabase].DBO.实时数据A set berror＝1where[时间]in(
select a.[时间]from cte as a inner join
cte1as b
on DATEADD(s,-10,a.时间)＝b.时间and a.压力＝b.压力and a.标干流量＝b.标干流量and a.流速＝b.流速
union
select[时间]from cte where标干流量＝0and流速＝0)
update a set a.berror＝1from(select[时间],berror from[UserDatabase].DBO.实时数据A where[时间]between@maxtime and@Tmaxtime)as a
left join
(select id,[时间]from[UserDatabaseB].DBO.实时数据A where[时间]between@maxtime and@Tmaxtime)as b
on a.[时间]＝b.[时间]where b.id is null
另一方面，如图2所示，本发明实施例还提供了一种用于在线监测数据采集一致性的第二采集服务器200，包括：
第二采集单元201，用于采集烟气在线监测数据；
第二数据库单元202，用于存储采集的烟气在线监测数据；
第二数据同步单元203，用于将第二数据库单元的数据同步到第一采集服务器；
第二接收单元204，用于接收第一采集服务器发送的同步数据；
第二订阅数据库单元205，用于存储第一采集服务器发送的同步数据；
第二合并数据库单元206，用于合并第二数据库单元的数据和第二订阅数据库单元的数据生成第二合并数据；
第二发送单元207，用于将第二合并数据发送到数据中心服务器和监控管理后台服务器。
本发明实施例的第二采集服务器包括第二采集单元、第二数据库单元、第二数据同步单元、第二接收单元、第二订阅数据库单元、第二合并数据库单元和第二发送单元，其结构简单，通过第一采集服务器和第二采集服务器分别独立实时采集烟气在线监测数据，第一采集服务器作为主服务器，第二采集服务器作为辅服务器，将第二采集服务器上的数据同步到第一采集服务器，并接收第一采集服务器发送过来的同步数据，使得两个独立运行的采集服务器数据同步备份，综合第二采集服务器采集的数据和第一采集服务器同步的数据合并处理得到第二合并数据，之后发送给数据中心服务器，保证烟气在线监测数据从采集、存储到上传环节无单点故障，保证数据采集的高一致性。
再一方面，如图3所示，本发明实施例还提供了一种用于在线监测数据采集一致性的采集系统1，包括：第一采集服务器100、第二采集服务器200、数据中心服务器300和监控管理后台服务器400，第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器相互之间通过以太网传输数据信息，第一采集服务器为主服务器，第二采集服务器为辅服务器，第一采集服务器用于向数据中心服务器实时传输第一合并数据，第二采集服务器在第一采集服务器故障时向数据中心服务器实时传输第二合并数据，监控管理后台服务器用于查看和显示第一采集服务器或第二采集服务器的数据和状态。
本发明实施例的用于在线监测数据采集一致性的采集系统包括第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器，第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器相互之间通过以太网传输数据信息，该系统采用两个独立运行的服务器进行烟气在线监测数据采集，同时在两个服务器的数据库中分别把对方的数据订阅同步过来，再和本地采集的数据进行合并去重，最终上传给数据中心服务器(即环保部门)，采用双活采集+数据库双向合并去重的系统保证整个CEMS系统从采集、存储到上传环节无单点故障，整个设计全部基于高可用设计方案，在数据采集、存储分析和数据上传等任意环节中发生单点故障时，能够保障生产数据无重复，无丢失，无中断，实现数据的完整性和一致性，并且能够定位哪一个环节出现了故障。
作为上述实施例的一个举例说明，本发明实施例的第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器的时钟同步。
又一方面，如图4所示，本发明还提供了一种用于在线监测数据采集一致性的方法，包括：
步骤500：采集烟气在线监测数据；
步骤501：存储采集的烟气在线监测数据；
步骤502：同步第一采集服务器的数据到第二采集服务器；
步骤503：接收并存储第二采集服务器发送的同步数据；
步骤504：合并第一采集服务器的数据和第二采集服务器发送的同步数据生成第一合并数据；
步骤505：发送第一合并数据到数据中心服务器和监控管理后台服务器。
本发明实施例的用于在线监测数据采集一致性的方法通过第一采集服务器和第二采集服务器分别独立实时采集烟气在线监测数据，第一采集服务器作为主服务器，第二采集服务器作为辅服务器，将第一采集服务器上的数据同步到第二采集服务器，并接收第二采集服务器发送过来的同步数据，使得两个独立运行的采集服务器数据同步备份，综合第二采集服务器采集的数据和第一采集服务器同步的数据合并处理得到第一合并数据，之后发送给数据中心服务器和监控管理后台服务，保证烟气在线监测数据从采集、存储到上传环节无单点故障，保证数据采集的高一致性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种用于在线监测数据采集一致性的采集服务器，包括第一采集服务器和第二采集服务器，其特征在于，所述第一采集服务器包括：
第一采集单元，用于采集烟气在线监测数据；
第一数据库单元，用于存储采集的所述烟气在线监测数据；
第一数据同步单元，用于将所述第一数据库单元的数据同步到第二采集服务器；
第一接收单元，用于接收第二采集服务器发送的同步数据；
第一订阅数据库单元，用于存储所述第二采集服务器发送的同步数据；
第一合并数据库单元，用于合并所述第一数据库单元的数据和所述第一订阅数据库单元的数据生成第一合并数据；
第一发送单元，用于将所述第一合并数据发送到数据中心服务器和监控管理后台服务器；
所述第一数据同步单元还用于将所述第一数据库单元和所述第一订阅数据库单元的数据同步到第一合并数据库单元；
所述第一数据库单元的数据包括：第一单元实时数据表和第一单元分钟数据表，所述第一订阅数据库单元的数据包括：第二单元实时数据表和第二单元分钟数据表；
所述第一合并数据库单元包括：
检测子单元，用于检测同步的所述第一数据库单元和第一订阅数据库单元的数据的状态，所述状态包括真值、空值、缺省和/或死值；
合并子单元，用于根据所述第一数据库单元的数据的状态对所述第一数据库单元的数据和所述第一订阅数据库单元的数据进行合并处理生成第一合并数据；
标记子单元，用于根据所述第一数据库单元和第一订阅数据库单元的数据的状态标记所述第一合并数据的来源和服务器的运行状态；
所述第二采集服务器，包括：
第二采集单元，用于采集烟气在线监测数据；
第二数据库单元，用于存储采集的所述烟气在线监测数据；
第二数据同步单元，用于将所述第二数据库单元的数据同步到第一采集服务器；
第二接收单元，用于接收第一采集服务器发送的同步数据；
第二订阅数据库单元，用于存储所述第一采集服务器发送的同步数据；
第二合并数据库单元，用于合并所述第二数据库单元的数据和所述第二订阅数据库单元的数据生成第二合并数据；
第二发送单元，用于将所述第二合并数据发送到数据中心服务器和监控管理后台服务器。
2.根据权利要求1所述的一种用于在线监测数据采集一致性的采集服务器，其特征在于，
当所述第一数据库单元的数据的状态为真值，所述第一订阅数据库单元的数据的状态为真值时，所述第一合并数据为第一数据库单元的数据，标记所述第一合并数据的来源为第一采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器正常；
当所述第一数据库单元的数据的状态为真值，所述第一订阅数据库单元的数据的状态为空值或缺省时，所述第一合并数据为第一数据库单元的数据，标记所述第一合并数据的来源为第一采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器故障；
当所述第一数据库单元的数据的状态为真值，所述第一订阅数据库单元的数据的状态为死值时，所述第一合并数据为第一数据库单元的数据，标记所述第一合并数据的来源为第一采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器故障。
3.根据权利要求1所述的一种用于在线监测数据采集一致性的采集服务器，其特征在于，
当所述第一数据库单元的数据的状态为空值或缺省，所述第一订阅数据库单元的数据的状态为真值时，所述第一合并数据为第一订阅数据库单元的数据，标记所述第一合并数据的来源为第二采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器正常；
当所述第一数据库单元的数据的状态为空值或缺省，所述第一订阅数据库单元的数据的状态为空值时，所述第一合并数据为空值，标记所述第一合并数据的来源为第一采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器故障；
当所述第一数据库单元的数据的状态为空值或缺省，所述第一订阅数据库单元的数据的状态为死值或缺省时，所述第一合并数据为空值，标记所述第一合并数据的来源为第一采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器故障。
4.根据权利要求1所述的一种用于在线监测数据采集一致性的采集服务器，其特征在于，
当所述第一数据库单元的数据的状态为死值，所述第一订阅数据库单元的数据的状态为真值时，所述第一合并数据为第一订阅数据库单元的数据，标记所述第一合并数据的来源为第二采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器正常；
当所述第一数据库单元的数据的状态为死值，所述第一订阅数据库单元的数据的状态为空值时，所述第一合并数据为空值，标记所述第一合并数据的来源为第二采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器正常；
当所述第一数据库单元的数据的状态为死值，所述第一订阅数据库单元的数据的状态为死值或缺省时，所述第一合并数据为死值或缺省，标记所述第一合并数据的来源为第二采集服务器，并在所述第一合并数据中添加故障标示字段，所述故障标示字段用于标明所述第二采集服务器故障。
5.一种用于在线监测数据采集一致性的采集系统，其特征在于，包括：第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器，所述第一采集服务器和第二采集服务器分别对应为权利要求1-4任意一项所述第一采集服务器和第二采集服务器，所述第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器相互之间通过以太网传输数据信息，所述第一采集服务器为主服务器，所述第二采集服务器为辅服务器，所述第一采集服务器用于向所述数据中心服务器实时传输第一合并数据，所述第一合并数据为第一数据库单元的数据和第一订阅数据库单元的数据生成的第一合并数据，所述第二采集服务器在所述第一采集服务器故障时向所述数据中心服务器实时传输第二合并数据，所述第二合并数据为第二数据库单元的数据和第二订阅数据库单元的数据生成的第二合并数据，所述监控管理后台服务器用于查看和显示所述第一采集服务器或第二采集服务器的数据和状态。
6.根据权利要求5所述一种用于在线监测数据采集一致性的采集系统，其特征在于，所述第一采集服务器、第二采集服务器、数据中心服务器和监控管理后台服务器的时钟同步。
7.一种用于在线监测数据采集一致性的方法，其特征在于，包括：
采集烟气在线监测数据；
存储采集的所述烟气在线监测数据；.
同步所述第一采集服务器的数据到所述第二采集服务器；
接收并存储所述第二采集服务器发送的同步数据；
合并所述第一采集服务器的数据和所述第二采集服务器发送的同步数据生成第一合并数据；
发送所述第一合并数据到数据中心服务器和监控管理后台服务器；
所述第一采集服务器和第二采集服务器分别对应为权利要求1-4任意一项所述第一采集服务器和第二采集服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710982377.5A CN107741984B (zh) | 2017-10-20 | 2017-10-20 | 用于在线监测数据采集一致性的采集服务器、系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710982377.5A CN107741984B (zh) | 2017-10-20 | 2017-10-20 | 用于在线监测数据采集一致性的采集服务器、系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107741984A CN107741984A (zh) | 2018-02-27 |
| CN107741984B true CN107741984B (zh) | 2021-06-25 |
Family
ID=61237880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710982377.5A Active CN107741984B (zh) | 2017-10-20 | 2017-10-20 | 用于在线监测数据采集一致性的采集服务器、系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107741984B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108088916B (zh) * | 2017-12-05 | 2019-06-04 | 国网山东省电力公司电力科学研究院 | 一种油中溶解气体在线监测数据质量的提升方法及系统 |
| CN108595553B (zh) * | 2018-04-10 | 2022-02-08 | 红云红河烟草(集团)有限责任公司 | 一种基于关系型数据库的工业数采时序数据压缩存储和解压查询方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101546189A (zh) * | 2008-03-26 | 2009-09-30 | 上海宝信软件股份有限公司 | 实时数据库系统的控制方法 |
| CN101834989A (zh) * | 2010-05-25 | 2010-09-15 | 广州科易光电技术有限公司 | 直升机电力巡检实时数据采集存储系统 |
| CN103926893A (zh) * | 2014-04-14 | 2014-07-16 | 浪潮电子信息产业股份有限公司 | 一种云集装箱数据中心监控系统 |
| CN106341454A (zh) * | 2016-08-23 | 2017-01-18 | 世纪龙信息网络有限责任公司 | 跨机房多活分布式数据库管理系统和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9292568B2 (en) * | 2012-10-10 | 2016-03-22 | Dell Products L.P. | Method and system for dynamically optimizing client queries to read-mostly servers |
-
2017
- 2017-10-20 CN CN201710982377.5A patent/CN107741984B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101546189A (zh) * | 2008-03-26 | 2009-09-30 | 上海宝信软件股份有限公司 | 实时数据库系统的控制方法 |
| CN101834989A (zh) * | 2010-05-25 | 2010-09-15 | 广州科易光电技术有限公司 | 直升机电力巡检实时数据采集存储系统 |
| CN101834989B (zh) * | 2010-05-25 | 2012-05-30 | 广州科易光电技术有限公司 | 直升机电力巡检实时数据采集存储系统 |
| CN103926893A (zh) * | 2014-04-14 | 2014-07-16 | 浪潮电子信息产业股份有限公司 | 一种云集装箱数据中心监控系统 |
| CN106341454A (zh) * | 2016-08-23 | 2017-01-18 | 世纪龙信息网络有限责任公司 | 跨机房多活分布式数据库管理系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107741984A (zh) | 2018-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101706795B (zh) | 主备服务器上数据库数据同步方法 | |
| CN102624871B (zh) | 一种基于分布式企业服务总线实现的远程文件同步方法 | |
| KR20180101941A (ko) | 소스 데이터베이스 관리시스템에서 변경되는 데이터를 실시간으로 목표 데이터베이스 관리시스템에 복제하는 장치 및 그 방법 | |
| CN103077242B (zh) | 一种实现数据库服务器双机热备的方法 | |
| CN110209726A (zh) | 分布式数据库集群系统、数据同步方法及存储介质 | |
| CN104252502A (zh) | 一种数据库管理平台中数据迁移方法和装置 | |
| US10565071B2 (en) | Smart data replication recoverer | |
| CN107741984B (zh) | 用于在线监测数据采集一致性的采集服务器、系统及方法 | |
| CN102508886B (zh) | 一种基于xml的空间数据增量同步更新方法 | |
| US20140279912A1 (en) | Client object replication between a first backup server and a second backup server | |
| KR102508817B1 (ko) | 메시지 전송 버스를 이용한 고가용성 배전 지능화 시스템 | |
| CN105117382B (zh) | 一种文档协同方法及装置 | |
| CN104679614A (zh) | 一种数据库灾备系统 | |
| CN105589961A (zh) | 一种数据库实时同步系统数据一致性的检测方法及系统 | |
| CN105955836A (zh) | 一种冷热备份自动演练多功能系统 | |
| CN114048217A (zh) | 增量数据的同步方法和装置、电子设备和存储介质 | |
| CN103095837A (zh) | 一种实现lustre元数据服务器冗余的方法 | |
| CN104021200A (zh) | 一种数据库的数据同步方法和装置 | |
| WO2017122060A1 (en) | Parallel recovery for shared-disk databases | |
| CN112069264A (zh) | 异构数据源采集方法、装置、电子设备及存储介质 | |
| CN106682141B (zh) | 一种基于业务操作日志的数据同步方法 | |
| CN103744901B (zh) | 智能变电站双机同步存储历史数据的系统和装置 | |
| CN114925140A (zh) | 数据同步系统 | |
| CN111913933A (zh) | 基于统一支撑平台的电网历史数据管理方法及系统 | |
| CN114579671A (zh) | 集群间数据同步方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |