CN113590709B

CN113590709B - 工业数据库集群系统及其数据访问方法

Info

Publication number: CN113590709B
Application number: CN202110679857.0A
Authority: CN
Inventors: 严翎通; 方洪祥; 王洪原; 汪方方
Original assignee: Zhejiang Supcon Technology Co Ltd
Current assignee: Zhongkong Technology Co ltd
Priority date: 2021-06-18
Filing date: 2021-06-18
Publication date: 2023-11-14
Anticipated expiration: 2041-06-18
Also published as: WO2022262169A1; CN113590709A

Abstract

本公开实施例涉及一种工业数据库集群系统及其数据访问方法，其方法包括：S10、通过选主确定每个设备对象对应的节点数据库，建立设备对象和节点数据库的映射关系；其中，映射关系中每个设备对象对应的节点数据库是基于该设备对象的设备实例上线时间、设备实例延迟时间和设备实例所在集群节点健康值确定的；S20、集群系统获取用户端发送的访问请求；S30、集群系统基于目标设备对象，通过查找设备对象和节点数据库的映射关系，确定要访问的目标节点数据库；S40、集群系统将访问请求发送至目标节点数据库，访问目标设备对象的设备实例数据。通过本申请的访问方法，保证了要访问数据的可用性和数据的一致性。

Description

工业数据库集群系统及其数据访问方法

技术领域

本申请属于计算机技术领域，具体涉及一种工业数据库集群系统及其数据访问方法。

背景技术

在大型工业实时数据库的实际应用中，需要接入大量的采集设备数据，这些数据的提供者通常是分散在工业现场的一些硬件装置、仪器仪表等。为了保证设备数据的可靠性和稳定性，同一个设备通常需要接入到不同的集群节点中，这样做的目的是为了保证数据库集群中单点故障不会导致集群数据平台无数据可用。但由此导致系统通常通过维护多个副本来进行容错，并维护多个副本的一致性。

为了维护多个副本的一致性，通常采用Raft分布式一致性协议。Raft一致性选主方法中，系统内各个实例通过心跳包确认主实例在线，当心跳超时，各个实例认为主实例失联，开始重新选主。各实例首先推举自己为主实例，并向集群系统内其他实例广播投票，请求系统其他实例都投自己一票，如果收到过一半以上实例的认可，则当选为主实例。如果超时内没有得到超过一半以上的实例认可，当前实例会随机等待一段时间后再次发起新的一轮选举，直至有实例当选为主。

采用Raft选主算法导致每次对集群系统进行数据访问时必须已经选择出主实例，但Raft选主算法要求集群中实例的数量为奇数，在大型工业实时数据库领域，双实例冗余是非常常用的部署方式，那么采用Raft选主算法将无法选出主实例。如果在一定时间内无法选出主实例，则集群会不断的进行选主直到选出主实例，最终导致在此期间用户无法对系统进行数据访问。

发明内容

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本申请提供一种工业数据库集群系统及其数据访问方法。

(二)技术方案

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种工业数据库集群系统的数据访问方法，该数据库集群系统存储有从各工业现场设备实时采集得到的运行数据，其中，每个工业现场设备的运行数据包括分别存储于不同的集群节点上的多个设备实例数据；该方法包括：

S10、通过选主确定每个设备对象对应的节点数据库，建立设备对象和节点数据库的映射关系；其中，所述映射关系中每个设备对象对应的节点数据库是基于该设备对象的设备实例上线时间、设备实例延迟时间和设备实例所在集群节点健康值确定的；

S20、集群系统获取用户端发送的访问请求，所述访问请求用于对目标设备对象的一个设备实例数据进行访问；

S30、集群系统基于所述目标设备对象，通过查找设备对象和节点数据库的映射关系，确定要访问的目标节点数据库；

S40、集群系统将所述访问请求发送至所述目标节点数据库，访问所述目标设备对象的设备实例数据。

可选地，通过选主确定每个设备对象对应的节点数据库，包括：

针对一个设备对象，确定该设备对象对应的所有设备实例；

计算每个设备实例的权重，并在集群各个节点间同步各设备实例的权重，所述权重基于设备实例的设备实例上线时间、设备实例延迟时间和设备实例所在集群节点健康值确定的；

选择权重最大的设备实例所在的集群节点数据库作为所述设备对象的节点数据库。

可选地，所述权重的计算公式为：

w＝t_on×70％+t_delay×30％+h×10％

其中，w表示设备实例的权重,t_on表示设备实例上线时间,t_del_ay表示设备实例延迟时间，h表示设备实例所在集群节点健康值。

可选地，确定每个设备对象对应的节点数据库，还包括：

当设备实例的权重值相同时，则选择所在节点序号最小的集群节点数据库作为对应的节点数据库。

可选地，工业数据库集群系统采用基于数据库引擎的集群架构或基于数据库网关的集群架构。

第二方面，本申请提供一种工业数据库集群系统，所述工业数据库集群系统通过如上述第一方面任一项所述的方法处理用户端发送的访问请求。

第三方面，本申请提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述第一方面任一项所述的工业数据库集群系统的数据访问方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的工业数据库集群系统的数据访问方法的步骤。

(三)有益效果

本申请的有益效果是：本申请提出了一种工业数据库集群系统及其数据访问方法，通过本申请的访问方法，保证了集群系统中数据的可用性，并且不同客户端在集群中订阅到的数据是来自同一设备实例的数据，保证了集群系统中数据的一致性。

附图说明

本申请借助于以下附图进行描述：

图1为本申请一个实施例中的工业数据库集群系统的数据访问方法流程示意图；

图2为本申请另一个实施例中的工业数据库集群系统与工业现场关系示意图；

图3为本申请另一个实施例中的工业数据库集群系统选主触发条件示意图；

图4为本申请又一个实施例中的电子设备的架构示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。

针对现有技术存在的缺点，本申请提出了一种工业数据库集群系统的数据访问方法，以下通过实施例对本发明作详细描述。

图1为本申请一个实施例中的工业数据库集群系统的数据访问方法流程示意图，该数据库集群系统存储有从各工业现场设备实时采集得到的运行数据，其中，每个工业现场设备的运行数据包括分别存储于不同的集群节点上的多个设备实例数据；如图1所示，该方法包括：

S10、通过选主确定每个设备对象对应的节点数据库，建立设备对象和节点数据库的映射关系；其中，映射关系中每个设备对象对应的节点数据库是基于该设备对象的设备实例上线时间、设备实例延迟时间和设备实例所在集群节点健康值确定的；

S20、集群系统获取用户端发送的访问请求，访问请求用于对目标设备对象的一个设备实例数据进行访问；

S30、集群系统基于目标设备对象，通过查找设备对象和节点数据库的映射关系，确定要访问的目标节点数据库；

S40、集群系统将访问请求发送至目标节点数据库，访问目标设备对象的设备实例数据。

通过本实施例的工业数据库集群系统的数据访问方法，可应用在大型工业实时数据库领域中，通过从多设备实例中选择可靠性和可用性最高的设备实例数据进行访问，解决了集群中数据可用性和一致性问题，保证不同客户端在集群中订阅到的数据是来自同一个设备实例的数据。

在对各个步骤进行说明之前，先对本本实施例中所涉及的工业现场数据采集进行说明。

工业数据采集系统从各工业现场设备实时采集得到的运行数据，可采集的数据包括DCS/PLC/SCADA/RFID/条码/二维码的数据，并将采集的数据存入数据库中，这里的数据库是各种实时数据库。

本实施例中，设备实例表示集群节点中真实接入的设备，一个设备对象包括在集群不同节点上的多个不同的设备实例。此外，一个集群节点上的设备实例互不相同。集群节点上的设备实例数据表示通过采集端口采集得到、并存储于预先设定的集群节点上的工业现场设备的运行数据。

这里需要说明的是，为了提高设备运行数据采集的可靠性和可用性，将每个工业现场设备至少接入到两个集群节点上，从而实现采集得到的数据存储于不同的数据库集群节点上。这就引入了一个问题，如何保证集群中数据的一致性，即客户端订阅节点1上的设备1的数据与客户端订阅节点2上的设备1的数据一致。为此，本实施例提供了一种工业数据库集群系统的数据访问方法，以下对本实施例方法的各个步骤进行展开描述。

本实施例中，通过选主确定每个设备对象对应的节点数据库，可以包括：

S011、针对一个设备对象，确定该设备对象对应的所有设备实例；

S012、计算每个设备实例的权重，并在集群各个节点间同步各设备实例的权重，权重基于设备实例的设备实例上线时间、设备实例延迟时间和设备实例所在集群节点健康值确定的；

权重的计算公式为：

w＝t_on×70％+t_delay×30％+h×10％

其中，w表示设备实例的权重，t_on表示设备实例上线时间，t_delay表示设备实例延迟时间，h表示设备实例所在集群节点健康值；

S013、选择权重最大的设备实例所在的集群节点数据库作为设备对象的节点数据库。

需要说明的是，设备实例上线时候是指驱动连接到设备的时间；设备实例延迟是通过心跳包来实现的，即给设备发送一包心跳包，设备回复响应，回复时间与发送时间之差即为设备延迟时间；节点的健康值是指当前cpu利用率、磁盘写入io、内存利用率、磁盘空间大小等综合评价的分值结果。

本实施例中，确定每个设备对象对应的节点数据库，还包括：

对于步骤S10来说，用于计算权重的设备实例上线时间、设备实例延迟时间和设备实例所在集群节点健康值可以是一段时间内的各个指标的统计结果。相应地，集群系统也可以根据每次的统计结果定期更新映射关系。

步骤S20中，用户端发送的访问请求可以是客户端通过实时数据订阅与分发系统订阅实时数据，实时数据订阅与分发系统向集群系统发出访问请求。

步骤S30中，集群系统基于目标设备对象，通过查找预先建立的设备对象和节点数据库的映射关系，确定要访问的目标节点数据库。

步骤S40中，集群系统将访问请求发送至目标节点数据库，实时数据订阅与分发系统访问目标设备对象的设备实例数据，将设备实例数据推送至用户端。

需要说明的是，本实施例中工业数据库集群系统可采用基于数据库引擎的集群架构或基于数据库网关的集群架构，本实施例对此不作限定。

本实施例提出一种工业数据库集群系统的数据访问方法，通过多设备实例选主的方式解决集群中数据可用性和一致性问题，保证了不同客户端在集群中订阅到的数据是来自同一设备实例的数据。

实施例二

图2为本申请另一个实施例中的工业数据库集群系统与工业现场关系示意图，如图2所示，本实施例中，工业现场的设备1、设备2、设备3的数据被采集后存储于实时数据库集群中，实时数据库集群包括3个节点，对工业现场设备采用双实例采集，即设备1在节点1和节点2上采集，设备2在节点1和节点3上采集，设备3在节点2和节点3上采集。最终实现每个工业现场设备的运行数据分别存储于两个不同的集群节点数据库，即工业实时数据库集群系统采取双实例冗余的部署方式。

以下针对图2所示的工业数据库集群系统建立映射关系的过程进行展开说明。

步骤一，计算当前设备实例的权重。图3为本申请另一个实施例中的工业数据库集群系统选主触发条件示意图，如图3所示，实时数据库集群连接设备成功后，认为设备实例在集群中当前节点上线。设备实例上线后，在当前节点计算当前设备实例的权重，权重计算完成后，在集群各个节点中同步该设备实例的权重。

设备实例权重由三部分组成，分别为设备实例上线时间(占比70％)、设备实例延迟时间(占比20％)和设备实例所在节点健康值(占比10％)。设备实例上线时间占比为70％是为了保证集群中设备实例频繁上下线不会影响选主结果，减少集群中设备实例的切换，提高数据的稳定性。同时增加了设备实例延迟时间和设备实例所在节点健康值2个加权项，确保可以选择延迟最低，节点更健康的设备实例作为主设备实例。

步骤二，请继续参阅图3，当所有节点均收到上线的设备实例权重后，将触发各个节点的设备实例选主逻辑，其中权重越大代表设备实例越优秀，选主的主要思想是选择最优设备实例。

步骤三，同步结束后，此时每个节点上都有集群中该设备的所有设备实例权重信息，对当前设备的所有设备实例的权重进行从大到小的排序，权重最大的设备实例即为主设备实例。当出现权重值相同的场景时，则选择所在节点序号最小的设备实例作为主设备实例。

步骤四、选择主设备实例所在的集群节点数据库作为设备对象的节点数据库。

该系统可实现集群系统中多设备实例快速选主，选主过程无需大多数节点支持即可快速选出主实例，保证了每次选主必然能选择出主设备实例，不会出现双主也不会出现选主失败、集群无主可用的情况，不影响数据的稳定性。由于对集群中设备实例权重进行了同步，因此集群中不同节点信息是一致的，这也可以保证集群中不同节点虽然分别选主，但是选出的主节点是一致的，不会出现不同节点选主不一致的情况产生。此外，本发明中描述的选主方法无需集群中超过一半以上的实例支持，所以对集群中实例数量没有限制，更加灵活。整个过程交互少，速度快，保证了工业数据的稳定性和一致性。

实施例三

实施例四

本申请第三方面通过另一实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上实施例中任意一项所述的工业数据库集群系统的数据访问方法的步骤。

图4为本申请另一个实施例中的电子设备的架构示意图。

图4所示的电子设备可包括：至少一个处理器101、至少一个存储器102、至少一个网络接口104和其他的用户接口103。电子设备中的各个组件通过总线系统105耦合在一起。可理解，总线系统105用于实现这些组件之间的连接通信。总线系统105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统105。

其中，用户接口103可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)或者触感板等。

可以理解，本实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本文描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器102存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统1021和应用程序1022。

其中，操作系统1021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序622，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1022中。

在本发明实施例中，处理器101通过调用存储器102存储的程序或指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101用于执行第一方面所提供的方法步骤，例如包括以下步骤：

上述本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成上述方法的步骤。

另外，结合上述实施例中的工业数据库集群系统的数据访问方法，本发明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上方法实施例中的任意一种工业数据库集群系统的数据访问方法。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

在本申请公开的上述实施例中，应该理解到，所揭露的设备和方法，也可以通过其它的方式实现。以上所描述的设备和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的方法、设备和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims

1.一种工业数据库集群系统的数据访问方法，其特征在于，该数据库集群系统存储有从各工业现场设备实时采集得到的运行数据，其中，每个工业现场设备的运行数据包括分别存储于不同的集群节点上的多个设备实例数据；该方法包括：

通过选主确定每个设备对象对应的节点数据库，包括：

针对一个设备对象，确定该设备对象对应的所有设备实例；

选择权重最大的设备实例所在的集群节点数据库作为所述设备对象的节点数据库；

权重的计算公式为：w＝t_on×70％+t_delay×30％+h×10％

其中，w表示设备实例的权重,t_on表示设备实例上线时间,t_delay表示设备实例延迟时间，h表示设备实例所在集群节点健康值；

设备实例上线时间是指驱动连接到设备的时间；设备实例延迟是通过心跳包来实现的，即给设备发送一包心跳包，设备回复响应，回复时间与发送时间之差即为设备延迟时间；设备实例所在集群节点的健康值是指当前cpu利用率、磁盘写入io、内存利用率、磁盘空间大小综合评价的分值结果；

2.根据权利要求1所述的方法，其特征在于，确定每个设备对象对应的节点数据库，还包括：

3.根据权利要求1所述的方法，其特征在于，工业数据库集群系统采用基于数据库引擎的集群架构或基于数据库网关的集群架构。

4.一种工业数据库集群系统，其特征在于，所述工业数据库集群系统通过权利要求1-3中任一权利要求所述的方法处理用户端发送的访问请求。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上权利要求1至3任一项所述的工业数据库集群系统的数据访问方法的步骤。

6.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上权利要求1至3任一项所述的工业数据库集群系统的数据访问方法的步骤。