CN116126935A - 一种试验数据分布式存储系统及存储方法 - Google Patents

Abstract

本发明属于一种存储系统及存储方法，为解决随着型号试验规模增大和数据源复杂化，现有的数据管理方式难以胜任大数据量需求，也无法很好的满足高性能、高并发、长期监测存储需求的问题，提供一种试验数据分布式存储系统及存储方法，包括归档服务器、数据中转服务模块、分布式消息总线模块和分布式数据库存储服务器，其中，分布式数据库存储服务器包括测控应用服务器和数据库存储服务器，应用于发动机试验数据处理中，能够对试验过程中产生的数据进行统一管理和分析，实现了高可用、持久化的数据存储，并表现出良好的可扩展性和高并发性，降低了相关使用人员的工作难度，方便试验人员进行后续维护使用，业务数据可分析计算，历史数据源信息可查。

Description

一种试验数据分布式存储系统及存储方法

技术领域

本发明属于一种存储系统及存储方法，具体涉及一种试验数据分布式存储系统及存储方法。

背景技术

随着型号试验规模的不断增大以及数据源的复杂化，数据量会急剧上升，进而带来对海量数据的存储管理、快速查询、数据分析、数据可视化等一系列需求问题。现有的数据管理方式很难胜任这样大数据量的需求。因此，针对不同型号的试验，急需设计一种统一的数据存储系统，用于长期存储包括多媒体记录、位移监测系统数据、测控系统数据数据、工艺系统状态监测数据、产品检测系统数据等在内的一系列数据。

另外，随着试验数据存储规模的扩大以和年限的增加，现有的数据管理平台还面临着性能不足、资源消耗过多等问题，已经无法很好的满足高性能、高并发、长期监测存储的需求。

发明内容

本发明为解决随着型号试验规模增大和数据源复杂化，现有的数据管理方式难以胜任大数据量需求，也无法很好的满足高性能、高并发、长期监测存储需求的技术问题，提供一种试验数据分布式存储系统及存储方法。

为达到上述目的，本发明采用以下技术方案予以实现：

一种试验数据分布式存储系统，其特殊之处在于，包括归档服务器、数据中转服务器、分布式消息总线、测控应用服务器和数据库存储服务器；

所述归档服务器，用于接收原始试验数据源，对原始试验数据源进行存储备份；

所述数据中转服务器，用于读取归档服务器中存储的原始试验数据源中的数据，将其中的结构化数据解析为统一格式，存入测控应用服务器，以及将其中的非结构化数据存入数据库存储服务器中；并在需要调用非结构化数据时，读取数据库存储服务器中的非结构化数据，进行分类形成索引，用于外部调用；

所述分布式消息总线，用于通过数据中转服务器存储与归档服务器存储数量一致的最新数据文件索引，并在需要检索和调用时，通过数据中转服务器完成检索和调用；

所述测控应用服务器，用于读取统一格式的结构化数据中的传感器数据，生成文件系统并在数据库中进行存储，以及集成结构化数据应用，通过结构化数据应用对文件系统对应传感器数据的历史数据源信息进行查询、调用；

所述数据库存储服务器中设置有多个数据库，用于读取归档服务器中存储的非结构化数据，并在各数据库中进行存储。

进一步地，所述结构化数据包括测控系统生成的实时测控数据，工艺监测系统生成的实时工艺参数数据，产品监测系统生成的实时光纤应变监测数据；所述非结构化数据包括多媒体记录、图片、维护信息、设备及人员操作及记录信息，以及定期人工扫描的位移监测数据。

进一步地，所述归档服务器，用于实时接收原始试验数据源，通过OpcServer，临时存储备份在SqlServer数据库中，进行存储备份。

进一步地，所述数据中转服务与外部任务发布控制端相连，根据任务发布控制端发布的计划任务启动工作；

所述数据中转服务器中，需要外部调用和/或索引时，通过Socket通信完成；

所述分布式消息总线采用RabbitMQ分布式消息总线，并采用haproxy进行负载均衡。

进一步地，所述测控应用服务器中，生成系统文件具体为，对结构化数据中的传感器数据提供扫描形成索引，并提供数据分析服务，将传感器数据组织查询，形成分类组织，生成文件系统。

进一步地，所述数据库存储服务器中的数据库和测控应用服务器中的数据库，均使用磁盘冗余阵列raid5存储池所创建的逻辑卷。

进一步地，所述数据库存储服务器中的数据库和测控应用服务器中的数据库共同构成面向对象的存储数据库集群，采用四机热备的备份技术。

进一步地，所述数据库存储服务器中的数据库和测控应用服务器中的数据库共同构成可扩展型非关系型的存储数据库集群，其中，任意三台数据库为备份数据库，另一台数据库为监测数据库。

进一步地，所述数据库存储服务器中的数据库和测控应用服务器中设置有一个Minio的节点；

所述存储数据库集群上部署有监控技术栈。

本发明还提供了一种试验数据分布式存储方法，采用上述一种试验数据分布式存储系统，其特殊之处在于，包括以下步骤：

S1，通过归档服务器接收原始试验数据源，进行存储备份；通过数据中转服务器读取归档服务器中存储的原始试验数据源中的数据；将其中的结构化数据解析为统一格式，存入测控应用服务器，并将其中的非结构化数据存入数据库存储服务器中；同时，通过数据中转服务器在分布式消息总线中存储与归档服务器存储数量一致的最新数据文件索引；

S2，需要调用非结构化数据时，读取数据库存储服务器中的非结构化数据，进行分类形成索引，用于外部调用；

需要检索和调用最新数据文件索引时，通过数据中转服务器与分布式消息总线的传输，经数据中转服务器完成检索和调用；

需要查询、调用传感器数据的历史数据源信息时，通过测控应用服务器进行查询和调用。

与现有技术相比，本发明具有以下有益效果：

1.本发明提出一种试验数据分布式存储系统，应用于发动机试验数据处理中，能够对试验过程中产生的数据进行统一管理和分析，实现了高可用、持久化的数据存储，并表现出良好的可扩展性和高并发性，降低了相关使用人员的工作难度，方便试验人员进行后续维护使用，业务数据可分析计算，历史数据源信息可查。数据组织和数据查询便捷。本发明的存储系统，保证系统在现有硬件设施的基础上，能够提供高速查询和访问服务，依据分布式的存储方式，能够满足大数据量需求，可进行长期监测存储，同时兼顾高性能和高并发。另外，具有极好的可扩展性能。

2.本发明的数据中转服务器与外部任务发布控制端相连，可根据任务需要进行相应的数据分析，能够准确定位归档服务器中对应的数据。

3.本发明中数据库存储服务器中的数据库和测控应用服务器中的数据库共同构成了数据库集群，能够有效提高存储系统的安全性和可靠性，避免了因个别数据库发生故障导致存储系统无法工作。

4.本发明还提供了一种试验数据分布式存储方法，依据上述存储系统对原始试验数据源进行存储，具备上述存储系统的优势。

附图说明

图1为本发明一种试验数据分布式存储系统实施例的示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

如图1所示，本发明提供了一种试验数据分布式存储系统，包括归档服务器、数据中转服务模块、分布式消息总线模块和分布式数据库存储服务器，其中，分布式数据库存储服务器包括测控应用服务器和数据库存储服务器。

本发明的试验数据分布式存储系统用于对原始试验数据源进行存储，试验数据源中记录了试验任务中分配的试验资源信息，具体的，将原始试验数据源从类型上划分为非结构化数据和结构化数据，其中，结构化数据包含测控系统生成的实时测控数据，工艺监测系统生成的实时工艺参数数据，产品监测系统生成的实时光纤应变监测数据；非结构化数据包含多媒体记录、图片、维护信息、设备及人员操作及记录信息，以及定期人工扫描的位移监测数据。

归档服务器，用于接收原始试验数据源，实现原始数据存储备份功能。试验数据产生后通过应用程序发给同一机器上的发送代理服务。原始试验数据源来源于采集控制系统的终端。归档服务器的磁盘中实时写入原始试验数据源，通过OPCServer(UA)，临时存储备份在SqlServer数据库中，记录所有原始试验数据源，进行存储应用管理。本发明中，各部分之间通过数据传输模块进行数据传输，数据传输模块包含网络通信中间件(AMQP)，实现不同应用程序之间、不同协议之间的数据交互，并支持试验数据在网络上的实时传输。

数据中转服务模块，具体提供接口服务、数据解析服务和Socket通信，接口服务，用于读取归档服务器中存储的原始试验数据源中的数据，数据解析服务指进行数据解析，数据解析包含两部分内容：第一部分，是对结构化数据进行文件格式解析，把结构化数据解析为标准统一格式，然后存入测控应用服务器中；第二部分，是将非结构化数据直接存入数据库存储服务器，外部需要调用时，调取非结构化数据，进行索引解析，分类形成索引，再通过Socket通信供外部调用。关于接口服务，集成了多种驱动接口，位于系统的最底层，直接与具体的硬件采集设备的驱动程序进行数据交互，通过对具体采集设备的驱动程序接口、协议进行封装，屏蔽与不同的具体采集设备交互方式的差异，实现数据标准化，面向采集系统提供统一的数据和控制信息格式。数据解析服务，主要是对获取到的信号进行处理并规范化，系统可以根据不同的采集系统定义数据格式，通过统一的数据转换程序，可以将原始试验数据统一为相同格式的结构化数据。读取归档服务中存储的结构化数据，进行反序列化后通过Socket通信与分布式消息总线进行socket通信。另外，数据中转服务器可与与外部任务发布控制端相连，由计划任务唤醒启动程序，开启源服务器网络连接，连接归档服务器，进行指定标签的定位，并对标签中对应的属性中存储的数据进行解析，再与分布式消息总线采用Socket进行通信，最后使用RabbitMQ分布式消息总线传输数据。分布式消息总线，用于接收数据中转服务模块发送的结构化数据，并对该结构化数据进行缓存与传输。在本发明的一个具体实施例中，使用RabbitMQ分布式消息总线传输数据，采用了主从模式，镜像复制消息队列的消息传输，提高集群的数据可用性。另外，本实施例采用haproxy进行负载均衡，提升消息总线的资源利用率和流量吞吐。Haproxy利用每个节点的动态传输指标，计算每个节点对于传输数据的资源负载值，进而用动态加权的方式平衡负载，避免过载所出现的不良影响，提高传输效率。

归档服务器中始终存有最新的若干条实时结构化和非结构化数据，若干条数量的多少由服务器存储空间和内存大小决定，当有一条实时存储数据进来时，最早一条的存储数据会被自动删除掉，同时，每进入归档服务器一条实时存储数据，该数据会被同时经过数据中转服务器存储到分布式数据库存储服务器。并且分布式消息总线缓存队列中始终保存着与归档服务器中存储数量一致的最新数据文件索引，以便快速检索、调用。

测控应用服务器，用于结构化数据应用，读取归档服务中存储的结构化数据中的传感器数据，以附件形式上传数据，生成文件系统并在磁盘中创建存储空间，提供文件数据的单个节点的数据库集群存储。传感器数据通过文件的方式进行管理，该管理方式是把试验数据以文件(附件)形式保存到数据库中，同时在数据库中保存试验数据的描述信息，并且建立描述信息和数据文件的关联，以便于技术人员快速方便地查询使用所需的试验数据文件。管理功能主要包括文件的上传、文件解析、文件的数据提取、文件的下载、删除、文件在线查看、文件合并和拆分、以及文件检索功能，能够实现将数据文件以文件的方式进行存储，同时也可以对文件中的内容采用结构化的方式进行处理。测控应用服务器和数据库存储服务器中放置了一个Minio的节点，在同一集群内，MinIO自己会自动生成若干纠删组，用于分布存放桶数据，一个纠删组中的一定数量的磁盘发生的故障(故障磁盘的数量小于等于校验盘的数量)，通过纠删码校验算法可以恢复出正确的数据。数据进入Minio开始保存文件数据，开启异步存储，保存数据库元数据，用户返回成功，文件同步给其他用户。同时，开启异步任务，开启一个线程，构建对象文件传输任务，数据中转服务器将接收到的的结构化数据序列化，再将已序列化的消息发给RabbitMQ分布式消息总线，接收消息，根据文件的元数据获取文件，再进行反序列化。此时加入Minio，调用GRPC，进行下采样，随着时间的推移对指标粒度变得宽松。使用了压缩器，keyizai对象存储上节省字节，从而节省成本。文件本身的数据，收到命令，最后存到Minio里去，以上步骤均由Minio去动态决定，每一步都有分片传输。

数据库存储服务器，用于非结构化数据的分布式存储，读取数据中转服务器解析后的试验数据，以及测控应用服务器生成的文件系统，并依次存储在非关系型数据库与关系型数据库的存储引擎中。本发明的存储系统中，结构化数据备份采用MongoDB分片集群架构，每一个节点均代表着一个不同的物理服务器，所有节点均按照数据读写类型，划分为多各分片集群组，每个分片的多个副本分布在不同的存储节点存储节点之间是异构的。每个节点之间存储相同的数据，每一个副本集均具备一个主节点，一个副节点和一个仲裁节点。只有主节点能提供读写服务，主节点负责把数据变更同步到所有的备用节点，这种方式在某个节点故障时，不会影响其他节点的同步操作，会将数据立即转移到其他备节点。数据库存储服务器和测控应用服务器组成分布式数据库存储服务器。

存储系统具备从磁盘阵列中读取数据进行数据同步的能力。磁盘阵列是由很多磁盘组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。通过运用这项技术，可以将数据切割成许多区段，分别存放在各个硬盘上。磁盘阵列还能利用同位检查(Parity Check)的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中。有效的提高了数据的安全性和读写效率。

通过磁盘阵列的运用，可以大幅提高存储系统的数据吞吐量。在RAID中，可以让很多磁盘驱动器同时传输数据，而这些磁盘驱动器在逻辑上又是一个磁盘驱动器，所以使用RAID可以达到单个磁盘驱动器几倍、几十倍甚至上百倍的速率。同时，提供更高的安全性。在很多RAID模式中都有较为完备的相互校验/恢复的措施，甚至是直接相互的镜像备份，从而大大提高了RAID系统的容错度，提高了系统的稳定冗余性。

部署服务器节点时，本发明的实施例中，在每个集群上部署监控技术栈，具备运维中心来监控所有节点的运行状态，所有服务器的运行状态会按时上报心跳，如果配置的监控中心在一段时间未收到某个存储服务器的心跳，则会把该服务器标记为故障状态。本实施例中是一个Prometheus收集度量标准，根据查询指标向各种提供者发送警报，每两小时向一个对象存储库输出Prometheus指标，此时在Prometheus的内存中仍然保存着2个小时的度量值，所以在发生宕机的情况下，数据指标依旧可以保存下来，最后使用GraFana进行可视化仪表显示。并采用Thanos Compacter不可扩展单例进行压缩，它负责压缩和降低存储在对象存储中的指标。

因此，本发明具备很强的容灾能力，系统在发生故障的时候，系统的可用性基本不受任何影响，并且运维人员也会及时发现问题，在最短是时间内进行处理，同样系统的处理能力有一定的冗余性，可以保证在故障机器不能提供服务时，整个系统的运行不会过载。

数据库存储服务器中的数据库和测控应用服务器中的数据库共同构成可扩展型非关系型的存储数据库集群，包括三台备份数据库，三台数据库之间提供相互备份支援能力，当三台备份数据库其中之一出现问题时，另一数据库立即监测出来，并采取自动接管动作，使分布式存储系统能在最短的时间内提供消息给工作人员，使提供服务的数据库备份服务器停止服务时，不会中断结构化数据存储。

或者，也可以同时，数据库存储服务器中的数据库和测控应用服务器中的数据库共同构成面向对象存储数据库集群，采用四机热备的备份技术，每组均创建了4至16个纠错码集合，且统一分布，集群直接使用宿主机网络，这样无需端口映射，并且共享ip且可自动引用纠错码功能。在这种情况下，只要有1/2以上的机器是正常运行的，就可以保证服务正常运行，非结构化数据不丢失。

本发明的试验数据分布式存储系统存储容量巨大且持久化，满足长期安全存储的需求。

相应的，基于上述存储系统，本发明的存储方法如下：

S1，通过归档服务器接收原始试验数据源，进行存储备份；通过数据中转服务器读取归档服务器中存储的原始试验数据源中的数据；将其中的结构化数据解析为统一格式，存入测控应用服务器，并将其中的非结构化数据存入数据库存储服务器中；同时，通过数据中转服务器在分布式消息总线中存储与归档服务器存储数量一致的最新数据文件索引；

S2，需要调用非结构化数据时，读取数据库存储服务器中的非结构化数据，进行分类形成索引，用于外部调用；

需要检索和调用最新数据文件索引时，通过数据中转服务器与分布式消息总线的传输，经数据中转服务器完成检索和调用；

需要查询、调用传感器数据的历史数据源信息时，通过测控应用服务器进行查询和调用。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种试验数据分布式存储系统，其特征在于：包括归档服务器、数据中转服务器、分布式消息总线、测控应用服务器和数据库存储服务器；

所述归档服务器，用于接收原始试验数据源，对原始试验数据源进行存储备份；

所述数据中转服务器，用于读取归档服务器中存储的原始试验数据源中的数据，将其中的结构化数据解析为统一格式，存入测控应用服务器，以及将其中的非结构化数据存入数据库存储服务器中；并在需要调用非结构化数据时，读取数据库存储服务器中的非结构化数据，进行分类形成索引，用于外部调用；

所述分布式消息总线，用于通过数据中转服务器存储与归档服务器存储数量一致的最新数据文件索引，并在需要检索和调用时，通过数据中转服务器完成检索和调用；

所述测控应用服务器，用于读取统一格式的结构化数据中的传感器数据，生成文件系统并在数据库中进行存储，以及集成结构化数据应用，通过结构化数据应用对文件系统对应传感器数据的历史数据源信息进行查询、调用；

所述数据库存储服务器中设置有多个数据库，用于读取归档服务器中存储的非结构化数据，并在各数据库中进行存储。

2.根据权利要求1所述的一种试验数据分布式存储系统，其特征在于：所述结构化数据包括测控系统生成的实时测控数据，工艺监测系统生成的实时工艺参数数据，产品监测系统生成的实时光纤应变监测数据；所述非结构化数据包括多媒体记录、图片、维护信息、设备及人员操作及记录信息，以及定期人工扫描的位移监测数据。

3.根据权利要求1或2所述的一种试验数据分布式存储系统，其特征在于：所述归档服务器，用于实时接收原始试验数据源，通过OpcServer，临时存储备份在SqlServer数据库中，进行存储备份。

4.根据权利要求3所述的一种试验数据分布式存储系统，其特征在于：所述数据中转服务与外部任务发布控制端相连，根据任务发布控制端发布的计划任务启动工作；

所述数据中转服务器中，需要外部调用和/或索引时，通过Socket通信完成；

所述分布式消息总线采用RabbitMQ分布式消息总线，并采用haproxy进行负载均衡。

5.根据权利要求4所述的一种试验数据分布式存储系统，其特征在于：所述测控应用服务器中，生成系统文件具体为，对结构化数据中的传感器数据提供扫描形成索引，并提供数据分析服务，将传感器数据组织查询，形成分类组织，生成文件系统。

6.根据权利要求5所述的一种试验数据分布式存储系统，其特征在于：所述数据库存储服务器中的数据库和测控应用服务器中的数据库，均使用磁盘冗余阵列raid5存储池所创建的逻辑卷。

7.根据权利要求6所述的一种试验数据分布式存储系统，其特征在于：所述数据库存储服务器中的数据库和测控应用服务器中的数据库共同构成面向对象的存储数据库集群，采用四机热备的备份技术。

8.根据权利要求6所述的一种试验数据分布式存储系统，其特征在于：

所述数据库存储服务器中的数据库和测控应用服务器中的数据库共同构成可扩展型非关系型的存储数据库集群，其中，任意三台数据库为备份数据库，另一台数据库为监测数据库。

9.根据权利要求8所述的一种试验数据分布式存储系统，其特征在于：

所述数据库存储服务器中的数据库和测控应用服务器中设置有一个Minio的节点；

所述存储数据库集群上部署有监控技术栈。

10.一种试验数据分布式存储方法，采用权利要求1至9任一所述一种试验数据分布式存储系统，其特征在于，包括以下步骤：

S1，通过归档服务器接收原始试验数据源，进行存储备份；通过数据中转服务器读取归档服务器中存储的原始试验数据源中的数据；将其中的结构化数据解析为统一格式，存入测控应用服务器，并将其中的非结构化数据存入数据库存储服务器中；同时，通过数据中转服务器在分布式消息总线中存储与归档服务器存储数量一致的最新数据文件索引；

S2，需要调用非结构化数据时，读取数据库存储服务器中的非结构化数据，进行分类形成索引，用于外部调用；

需要检索和调用最新数据文件索引时，通过数据中转服务器与分布式消息总线的传输，经数据中转服务器完成检索和调用；

需要查询、调用传感器数据的历史数据源信息时，通过测控应用服务器进行查询和调用。

Images