CN113742393A - 一种适用于互联网应用的时序数据处理系统 - Google Patents

Abstract

本发明涉及一种适用于互联网应用的时序数据处理系统，属于时序数据处理技术领域。该系统包括数据采集模块、实时库、时序库、实时计算模块、实时推送模块和点位管理模块等结构。本发明基于开源技术实现了时序数据的采集、运算、存储、分发以及查询统计等功能，能运行于Windows和Linux等主流操作系统，支持分布式架构，能有效降低系统建设成本，特别适合互联网应用的场景。

Description

一种适用于互联网应用的时序数据处理系统

技术领域

本发明属于时序数据处理技术领域，具体涉及一种适用于互联网应用的时序数据处理系统。

背景技术

随着互联网+和工业互联网等概念的提出和落地，互联网技术进入了新的发展阶段。互联网信息技术与传统产业的深度融合，有助于优化生产要素、更新业务体系、重构商业模式，推动经济的转型和升级。诸如生产制造和能源环保等传统产业中存在大量的时序数据需要处理，互联网信息技术与传统产业深度融合的过程中，必然面临着时序数据处理的要求。

时序数据包含实时数据和历史数据两种类型。随时间变化的实时数据通常存储在实时库中，实时数据的历史（历史数据）通常存储在时序库中。关系数据库虽然具有理论完备、标准化程度高、支持事务处理等优点，但是这种数据库主要面向事务处理类型的应用场景，并不适合作为实时库或者历史库使用。

传统的实时库和时序库主要运用于工业控制领域。此类实时库和时序库通常使用厂家的专有技术、只能运行于特定的操作系统、技术体系复杂、功能扩展比较困难、对外接口不灵活、对分布式运算环境不友好、价格比较高。互联网应用通常采用分布式架构，强调技术的开放性，注重快速创新能力。显而易见，传统的实时库和时序库并不适用于互联网应用场景。因此如何克服现有技术的不足是目前时序数据处理技术领域亟需解决的问题。

发明内容

本发明的目的是为了解决现有技术的不足，提供一种适用于互联网应用的时序数据处理系统。

为实现上述目的，本发明采用的技术方案如下：

一种适用于互联网应用的时序数据处理系统，包括数据采集模块、实时库、时序库、实时计算模块、实时推送模块和点位管理模块：

数据采集模块，分别与点位管理模块、外部设备、实时库相连，用从点位管理模块获得点位的数据采集协议和地址，按照数据采集协议和地址从外部设备采集点位的实时数据，并通过实时库的接口将实时数据发送到实时库进行存储和分发；

实时库，与实时数据推送模块相连，用于存储实时数据，还用于通过实时数据推送模块将实时数据推送到浏览器；

时序库，与实时数据推送模块、浏览器相连，用于存储历史数据并提供查询和统计接口；

实时计算模块，与实时库相连，用于周期性地由实时库读取点位的实时数据进行计算处理，并将计算结果通过实时库提供的读写接口写回实时库中。

实时推送模块，与浏览器相连，用于向浏览器推送点位的实时数据；所述实时推送模块采用基于主题的发布订阅模式进行推送；浏览器首先向所述实时推送模块订阅实时数据的主题；当实时库由数据采集模块或者实时计算模块收到点位最新的实时数据时，会将该数据发送给所述实时推送模块；所述实时推送模块从点位管理模块获取该点位对应的主题列表，然后在这些主题上通过WebSocket向浏览器推送点位最新的实时数据；

点位管理模块，用于管理实时库点位的基本信息，并将其管理的点位划分为多个主题，每个点位可以属于一个或者多个主题。

进一步，优选的是，数据采集协议包括工业控制协议、物联网协议和电力规约。

进一步，优选的是，外部设备包括PLC、DCS、电力终端设备、物联网设备和物联网网关。

进一步，优选的是，实时库采用开源的Berkeley DB JE作为存储引擎；BerkeleyDB JE采用键值存储数据，因此所述实时库在读写Berkeley DB JE时将会完成对象和键值之间的转换。

进一步，优选的是，实时库还提供点位实时数据的读写接口，接口包括本地调用接口和远程调用接口；其中远程调用接口支持RESTful和gRPC两种调用方式；其中，浏览器调用实时库采用RESTful方式接口。

进一步，优选的是，时序库采用开源的TimescaleDB作为存储引擎。

进一步，优选的是，查询和统计接口包括本地调用接口和远程调用接口，其中远程调用接口支持RESTful和gRPC两种实现方式；其中，浏览器调用时序库采用RESTful方式接口。

进一步，优选的是，计算处理包括数值运算、逻辑运算、信号处理和分析、统计推断；点位的基本信息包括点位的编号、名称、描述、数据类型、数据采集协议以及地址。

进一步，优选的是，点位管理模块可以将点位与主题的对应关系保存到缓存，实时推送模块可以从缓存中直接获取所述对应关系。

进一步，优选的是，实时库包括一个实时库主库和多个实时库从库，实时库主库可以进行读写操作，实时库从库只能进行读操作。

本发明与现有技术相比，其有益效果为：

本发明提供的一种适用于互联网应用的时序数据处理系统，基于开源技术实现了时序数据的采集、运算、存储、分发以及查询统计等功能，能运行于Windows和Linux等主流操作系统，支持分布式架构，能有效降低系统建设成本，特别适合互联网应用的场景。

与传统的由少数厂家垄断的实时库和时序库专有技术相比，本发明提供的一种适用于互联网应用的时序数据处理系统完全使用开源技术，避免了动辄几十万甚至上百万采购专有软件的费用，点位数量也不受专有软件授权的限制。更进一步，由于开源技术带来的开放性，所述系统可以进行灵活自主的扩充，具备支持快速创新的能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种适用于互联网应用的时序数据处理的系统的结构示意图；

图2为本发明提供的一种适用于互联网应用的时序数据处理的方法和系统采用主从方式部署实时库的原理图。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”到另一元件时，它可以直接连接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”可以包括无线连接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。术语“内”、“上”、“下”等指示的方位或状态关系为基于附图所示的方位或状态关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“设有”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，根据具体情况理解上述术语在本发明中的具体含义。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

如图1所示，一种适用于互联网应用的时序数据处理系统，包括数据采集模块110、实时库120、时序库130、实时计算模块140、实时推送模块150和点位管理模块160：

数据采集模块110，分别与点位管理模块160、外部设备300、实时库120相连，用从点位管理模块160获得点位的数据采集协议和地址，按照数据采集协议和地址从外部设备300采集点位的实时数据，并通过实时库120的接口将实时数据发送到实时库120进行存储和分发；

实时库120，与实时数据推送模块150相连，用于存储实时数据，还用于通过实时数据推送模块150将实时数据推送到浏览器200；

时序库130，与实时数据推送模块150、浏览器200相连，用于存储历史数据并提供查询和统计接口。浏览器200通过调用所述时序库130的查询接口，可以获取给定时间段内的时序数据；通过调用所述时序库130的统计接口，可以获取给定时间段内时序数据的统计信息，包括但不限于均值、方差、分位数、直方图等。

实时计算模块140，与实时库120相连，用于周期性地由实时库120读取点位的实时数据进行计算处理，并将计算结果通过实时库120提供的读写接口写回实时库120中。

实时推送模块150，与浏览器200相连，用于向浏览器200推送点位的实时数据；所述实时推送模块150采用基于主题的发布订阅模式进行推送；浏览器200首先向所述实时推送模块150订阅实时数据的主题；当实时库120由数据采集模块110或者实时计算模块140收到点位最新的实时数据时，会将该数据发送给所述实时推送模块150；所述实时推送模块150从点位管理模块160获取该点位对应的主题列表，然后在这些主题上通过WebSocket向浏览器200推送点位最新的实时数据前文没有相关描述；

点位管理模块160，用于管理实时库120点位的基本信息，并将其管理的点位划分为多个主题，每个点位可以属于一个或者多个主题。

优选，数据采集协议包括工业控制协议、物联网协议和电力规约。

优选，外部设备300包括PLC、DCS、电力终端设备、物联网设备和物联网网关。

优选，实时库120采用开源的Berkeley DB JE作为存储引擎；Berkeley DB JE采用键值存储数据，因此所述实时库120在读写Berkeley DB JE时将会完成对象和键值之间的转换。

优选，实时库120还提供点位实时数据的读写接口，接口包括本地调用接口和远程调用接口；其中远程调用接口支持RESTful和gRPC两种调用方式；其中，浏览器200调用实时库120采用RESTful方式接口。

优选，时序库130采用开源的TimescaleDB作为存储引擎。

优选，查询和统计接口包括本地调用接口和远程调用接口，其中远程调用接口支持RESTful和gRPC两种实现方式；其中，浏览器200调用时序库130采用RESTful方式接口。

优选，计算处理包括数值运算、逻辑运算、信号处理和分析、统计推断；点位的基本信息包括点位的编号、名称、描述、数据类型、数据采集协议以及地址。

优选，点位管理模块160可以将点位与主题的对应关系保存到缓存，实时推送模块150可以从缓存中直接获取所述对应关系。

优选，实时库120包括一个实时库主库和多个实时库从库，实时库主库可以进行读写操作，实时库从库只能进行读操作。

优选，如图1所示，该系统100至少包括如下功能模块：

数据采集模块110，用于从外部设备300采集点位的实时数据并通过实时库120的接口将实时数据发送到实时库120进行存储和分发。数据采集模块110从点位管理模块160获得点位的数据采集协议和地址，按照数据采集协议和地址采集点位的实时数据。所述数据采集协议包括但不限于工业控制协议、物联网协议、电力规约等。本发明的系统支持的外部设备300包含但不限于PLC、DCS、电力终端设备、物联网设备、物联网网关等。数据采集协议和设备类型由具体应用场景决定。譬如在工业控制领域，外部设备300可以为PLC或者DCS等，数据采集协议可以为OPC UA或者Modbus TCP等；又譬如在电力行业，外部设备300可以为FTU或RTU等电力终端设备，数据采集协议可以为电力104规约等；再譬如在物联网行业，外部设备300可以为物联网终端或者物联网网关，数据采集协议可以为LwM2M、MQTT等物联网协议。

实时库120，用于存储实时数据。所述实时库120采用开源的Berkeley DB JE作为存储引擎。Berkeley DB JE采用键值（key-value）存储数据，互联网应用通常采用对象来表示点位的实时数据，因此所述实时库120在读写Berkeley DB JE时将会完成对象和键值之间的转换。所述对象亦即Java等面向对象编程语言中所称的对象。所述实时库120还负责通过实时数据推送模块150将实时数据推送到浏览器200。所述实时库120还提供点位实时数据的读写接口，接口包括本地调用接口和远程调用接口，其中远程调用接口支持RESTful和gRPC两种调用方式。本发明的系统内部其他模块可以通过本地调用接口或者远程调用接口读写点位的实时数据，所述浏览器200以及外部系统可以通过远程接口读取点位的实时数据。

时序库130，用于存储历史数据并提供查询和统计接口。所述时序库130采用开源的TimescaleDB作为存储引擎。TimescaleDB是在开源的PostgreSQL数据库基础上通过插件实现的一种开源时序库，能够运行于Windows和Linux等主流操作系统。所述查询和统计接口包括本地调用接口和远程调用接口两种，其中远程调用接口支持RESTful和gRPC两种实现方式。RESTful方式接口供浏览器200调用，系统内其他模块可以调用RESTful或者gRPC接口。

实时计算模块140，用于周期性地由实时库120读取点位的实时数据进行计算处理，并将计算结果通过实时库120提供的读写接口写回实时库120中。所述计算处理包括但不限于数值运算、逻辑运算、信号处理和分析、统计推断等，其计算细节由系统所解决的具体问题决定，本发明不做任何限制。

实时推送模块150，用于向浏览器200推送点位的实时数据。所述实时推送模块150采用基于主题的发布订阅模式进行推送。浏览器200首先向所述实时推送模块150订阅实时数据的主题。当实时库120由数据采集模块110或者实时计算模块140收到点位最新的实时数据时，会将该数据发送给所述实时推送模块150。所述实时推送模块150从点位管理模块160获取该点位对应的主题列表，然后在这些主题上通过WebSocket向浏览器200推送点位最新的实时数据。优选地，系统可以缓存点位与主题的对应关系，所述实时推送模块150可以从缓存中直接获取所述对应关系。

点位管理模块160，用于管理实时库点位的基本信息，该信息包括但不限于点位的编号、名称、描述、数据类型、数据采集协议以及地址等。点位管理模块160将其管理的点位划分为多个主题，每个点位可以属于一个或者多个主题。优选地，点位管理模块160可以将点位与主题的对应关系保存到缓存中。

本发明的方法和系统也适用于分布式架构。在分布式架构场景中，本发明的一种适用于互联网应用的时序数据处理的系统可以部署一个实时库主库和多个实时库从库，该部署方式下实时库主库可以进行读写操作，实时库从库只能进行读操作。这是业内公知的读写分离的架构模式。图2为本发明提供的一种适用于互联网应用的时序数据处理的方法和系统采用主从方式部署实时库的原理图。为了简化描述，暂时假设只有一个实时库从库。

如图2所述，节点400上部署实时库主库420，节点500上部署实时库从库520。所述节点可以是物理机、虚拟机、容器等形式。所述节点400和节点500上分别运行了第一实时计算模块410和第二实时计算模块510。数据采集模块110采集的实时数据将发送到实时库主库420进行存储和分发。节点400上的第一实时计算模块410从实时库主库420读取实时数据并进行计算，计算结果通过本地接口发送到实时库主库420进行存储和分发。节点500上的第二实时计算模块510从实时库从库520读取实时数据并进行计算，计算结果通过远程接口发送到实时库主库420进行存储和分发。实时数据更新的时候，实时库主库420上发生更新的实时数据经由于Berkeley DB JE的主从同步机制实时同步到实时库从库520，从而保持实时库主库和实时库从库数据的一致性。

本领域内的专业技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品等多种形式。本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件的实施例的形式。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种适用于互联网应用的时序数据处理系统，其特征在于，包括数据采集模块（110）、实时库（120）、时序库（130）、实时计算模块（140）、实时推送模块（150）和点位管理模块（160）：

数据采集模块（110），分别与点位管理模块（160）、外部设备（300）、实时库（120）相连，用从点位管理模块（160）获得点位的数据采集协议和地址，按照数据采集协议和地址从外部设备（300）采集点位的实时数据，并通过实时库（120）的接口将实时数据发送到实时库（120）进行存储和分发；

实时库（120），与实时数据推送模块（150）相连，用于存储实时数据，还用于通过实时数据推送模块（150）将实时数据推送到浏览器（200）；

时序库（130），与实时数据推送模块（150）、浏览器（200）相连，用于存储历史数据并提供查询和统计接口；

实时计算模块（140），与实时库（120）相连，用于周期性地由实时库（120）读取点位的实时数据进行计算处理，并将计算结果通过实时库（120）提供的读写接口写回实时库（120）中；

实时推送模块（150），与浏览器（200）相连，用于向浏览器（200）推送点位的实时数据；所述实时推送模块（150）采用基于主题的发布订阅模式进行推送；浏览器（200）首先向所述实时推送模块（150）订阅实时数据的主题；当实时库（120）由数据采集模块（110）或者实时计算模块（140）收到点位最新的实时数据时，会将该数据发送给所述实时推送模块（150）；所述实时推送模块（150）从点位管理模块（160）获取该点位对应的主题列表，然后在这些主题上通过WebSocket向浏览器（200）推送点位最新的实时数据；

点位管理模块（160），用于管理实时库（120）点位的基本信息，并将其管理的点位划分为多个主题，每个点位可以属于一个或者多个主题。

2.根据权利要求1所述的适用于互联网应用的时序数据处理系统，其特征在于，数据采集协议包括工业控制协议、物联网协议和电力规约。

3.根据权利要求1所述的适用于互联网应用的时序数据处理系统，其特征在于，外部设备（300）包括PLC、DCS、电力终端设备、物联网设备和物联网网关。

4.根据权利要求1所述的适用于互联网应用的时序数据处理系统，其特征在于，实时库（120）采用开源的Berkeley DB JE作为存储引擎；Berkeley DB JE采用键值存储数据，因此所述实时库（120）在读写Berkeley DB JE时将会完成对象和键值之间的转换。

5.根据权利要求1所述的适用于互联网应用的时序数据处理系统，其特征在于，实时库（120）还提供点位实时数据的读写接口，接口包括本地调用接口和远程调用接口；其中远程调用接口支持RESTful和gRPC两种调用方式；其中，浏览器（200）调用实时库（120）采用RESTful方式接口。

6.根据权利要求1所述的适用于互联网应用的时序数据处理系统，其特征在于，时序库（130）采用开源的TimescaleDB作为存储引擎。

7.根据权利要求1所述的适用于互联网应用的时序数据处理系统，其特征在于，查询和统计接口包括本地调用接口和远程调用接口，其中远程调用接口支持RESTful和gRPC两种实现方式；其中，浏览器（200）调用时序库（130）采用RESTful方式接口。

8.根据权利要求1所述的适用于互联网应用的时序数据处理系统，其特征在于，计算处理包括数值运算、逻辑运算、信号处理和分析、统计推断；点位的基本信息包括点位的编号、名称、描述、数据类型、数据采集协议以及地址。

9.根据权利要求1所述的适用于互联网应用的时序数据处理系统，其特征在于，点位管理模块（160）可以将点位与主题的对应关系保存到缓存，实时推送模块（150）可以从缓存中直接获取所述对应关系。

10.根据权利要求1所述的适用于互联网应用的时序数据处理系统，其特征在于，实时库（120）包括一个实时库主库和多个实时库从库，实时库主库可以进行读写操作，实时库从库只能进行读操作。

Images