CN117591495B - 一种用于核电历史数据迁移的数据存储方法及系统 - Google Patents

Abstract

一种用于核电历史数据迁移的数据存储方法及系统，本地系统中预设测点元数据标准与主数据存储标准，测点元数据标准包括测点id、测点名、数据类型、电厂与机组信息；主数据存储标准包括主数据以文件的形式分片存储在本地系统服务器指定路径的文件夹下。每个测点对应文件夹的存储与访问路径依据测点元数据标准设置为电厂/机组/测点，每个文件存储测点其中一天的主数据且每个文件在指定文件夹下以主数据对应的时间戳命名，主数据存储时，包括解析主数据获取对应的时间戳与真实数据后形成文件，文件存储对应的真实数据并以时间戳命名；S2获取测点的存储路径并存储对应文件，基于该方法可实现大量数据块的快速定位且查询时不占用过多系统内存。

Description

一种用于核电历史数据迁移的数据存储方法及系统

技术领域

本发明涉及数据存储技术领域，尤其涉及一种用于核电历史数据迁移的数据存储方法及系统。

背景技术

核电平台工作有效开展首先需要解决核电历史数据迁移工作，即将核电历史数据尤其是时序数据从电厂侧中的各设备中迁移至中心侧或本地存储，由于待迁移的核电历史数据数据量为千亿级以上的海量数据，目前在数据迁移时一般是通过数据库进行海量核电历史数据的存储，但是这样设置，存在如下难题：第一，通过数据库大批量的进行核电历史数据的读取与写入时，受限于并发处理量限制，数据库可能无法及时响应各个线程，导致容易出现数据漏写的情形的出现；第二，核电历史数据经过分析以形成数据资产时，一般都是作为分析对象的核电数据都是以年为单位进行的，对于亿级以上的海量数据跨年查询时，由于数据量过大（亿级以上），需要花费大量时间才能在数据库中找到并传输出全部的指定数据，响应时间过长，也无法满足需求；第三，由于通过数据库进行数据的写入与读取，系统内存占用高，会对系统中其中程序的正常运行造成影响；第四，从数据库中数据导出时，也面临数据量过大，导出时间慢的情形。

发明内容

有鉴于此，有必要提供一种用于核电历史数据迁移的数据存储方法及系统，用以解决上述问题。

本发明提供一种用于核电历史数据迁移的数据存储方法，本地系统中预设测点元数据标准以及主数据存储标准以用于核电历史数据的存储，所述测点元数据标准包括测点id、测点名、数据类型、电厂以及机组信息；所述主数据为核电历史数据，所述主数据存储标准基于预先搭建的存储目录进行主数据的存储，其中，从源系统数据源采集主数据以文件的形式分片存储在本地系统服务器指定路径的文件夹下，其中，每个测点对应文件夹的存储与访问路径依据所述测点元数据标准设置为电厂/机组/测点，每个文件存储所述测点其中一天的主数据且每个文件在指定文件夹下以主数据对应的时间戳命名；

当收到从源系统数据源采集主数据的请求时，则对于迁移测点范围内的各测点以天为单位获取指定迁移时间段内对应的主数据后，分别执行如下步骤进行主数据的存储：

S1解析所述主数据获取对应的时间戳与真实数据后形成文件，其中，所述文件存储对应的真实数据，并以所述时间戳命名该文件；

S2通过测点元数据标准获取该测点在所述服务器中对应的存储路径并将所述S1中形成的文件存储至指定的存储路径中。

优选的，当收到将本地系统的文件写入至目标系统数据源的请求时，执行如下步骤：

S3解析迁移测点范围获取全部的测点，基于所述测点元数据标准获取每个测点在服务器中的存储路径；

S4对于每个测点解析迁移时间段获取所述迁移时间段对应的全部时间戳，并在S3确定存储路径下依据全部时间戳分别进行查询，获取每个时间戳对应的文件后将每个所述文件写入至目标系统数据源。

优选地，当收到从所述源系统数据源采集主数据的请求时，对于迁移测点范围内的各测点以天为单位获取指定迁移时间段内对应的主数据包括如下步骤：基于所述迁移测点范围与所述迁移时间段，将一次采集任务拆分为多个采集子任务，每个采集子任务用于以天为单位，采集指定测点指定时间范围内每天的主数据。

优选地，获取全部的测点与全部时间戳后还包括如下步骤：基于所述测点与所述时间戳将一次写入任务拆分为多个写入子任务，每个写入子任务用于以天为单位，将指定测点指定时间范围内每天的主数据从本地系统中写入至目标数据源。

优选地，所述迁移测点范围确定包括如下步骤：

（A）获取源系统数据源中的待迁移的测点元数据，所述测点元数据用于表征待迁移测点的测点名称、关系信息与参数信息，所述关系信息至少包括测点对应的工厂、机组、编码，所述参数信息至少包括测点对应的数据类型;

（B）将所述测点元数据写入至所述本地系统中并与本地系统预存的测点元数据标准进行比较，所述的测点元数据标准包括测点id、测点名、数据类型、电厂、机组信息；若判断所述测点名称、所述关系信息与所述参数信息存在不同，则基于所述测点元数据更新所述测点元数据标准，并基于更新后的所述测点元数据标准确认本次数据迁移请求中的迁移测点范围。

进一步的，所述确定迁移测点范围还包括根据用户需要在测点元数据标准中添加或者删除测点的以二次确认所述迁移测点范围的步骤。

优选的，所述本地系统中，所述测点元数据标准通过mysql数据库进行存储。

进一步的，所述真实数据包括测点值、质量位。

优选的，所述文件为CSV格式。

本发明还提供了一种用于核电历史数据迁移的数据存储系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。

与现有技术相比，本发明具有的有益效果为：

本发明所示的一种用于核电历史数据迁移的数据存储方法及系统，在本地系统中预设测点元数据标准与主数据存储标准，其中主数据存储在服务器中，依据测点元数据标准确定每个测点在服务器中的存储路径（电厂/机组/测点），且主数据在指定的文件夹中按天切片式存储，每个文件以对应的时间戳进行命名，当将主数据从本地系统迁移至目标数据源时，只需要在指定存储路径下按照时间戳信息进行对应时间段的文件查找与下载，而无需进行文件中的数据验证，可实现大量数据的快速定位。同时，海量的主数据存储在服务器中，在进行核电历史数据迁移时，由于数据通过数据库进行存储，后续读取文件时，可通过文件共享的方式而不需要通过数据库的操作语言进行聚合，基本不占用系统内存，能够尽量降低对系统内存的占用，且使用磁盘进行海量数据的存储，存储成本低。

此外，在进行核电历史数据迁移时，还包括对基于源系统数据源生成的测点元数据与本地系统中预设的测点元数据标准之间的比较，确保不同源系统数据源中发送的测点元数据均包括指定的关系信息与参数信息，然后按照预设主数据存储标准进行数据采集与存储，以屏蔽底层数据在各自源系统的存储方式，统一核电历史数据在本地系统的格式，便于后续数据写入时的查找。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为主数据在服务器中的存储结构示意图；

图2为本发明提供的一种用于核电历史数据迁移的数据存储方法的一实施例的工作流程示意图；

图3为本发明提供的一种用于核电历史数据迁移的数据存储系统一实施例的硬件结构示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

请参阅图1，本实施例中的一种用于核电历史数据迁移的数据存储方法，本地系统中预设测点元数据标准以及主数据存储标准以用于核电历史数据的存储，所述测点元数据标准包括测点id、测点名、数据类型、电厂以及机组信息；所述主数据为核电历史数据，所述主数据存储标准基于预先搭建的存储目录进行主数据的存储，其中，从源系统数据源采集主数据以文件的形式分片存储在本地系统服务器指定路径的文件夹下，其中，每个测点对应文件夹的存储与访问路径依据所述测点元数据标准设置为电厂/机组/测点，每个文件存储所述测点其中一天的主数据且每个文件在指定文件夹下以主数据对应的时间戳（精度为天）命名；

请参阅图2，当收到从源系统数据源采集主数据的请求时，对于迁移测点范围内的各测点以天为单位获取指定迁移时间段内对应的主数据后，分别执行如下步骤：

S1解析所述主数据获取对应的时间戳（精度为毫秒）与真实数据（包括质量位与测点值）后形成文件，其中，所述文件存储对应的真实数据，并基于以所述时间戳命名该文件；

S2通过测点元数据标准获取该测点在所述服务器中对应的存储路径并将所述S1中形成的文件存储至指定的存储路径中。

当收到将本地系统的文件写入至目标系统数据源的请求时，执行如下步骤：

S3解析迁移测点范围获取全部的测点，基于所述测点元数据标准获取每个测点在服务器中的存储路径；

S4对于每个测点解析迁移时间段获取所述迁移时间段对应的全部时间戳，并在S3确定存储路径下依据全部时间戳分别进行查询，获取每个时间戳对应的文件后将每个所述文件写入至目标系统数据源。

考虑到待迁移的核电历史数据为千亿级别以上海量数据，故本发明所示的一种用于核电历史数据迁移的数据存储方法，通过本地系统作为桥梁实现源系统数据源与目标系统数据源之间的历史数据迁移，本地系统中预设测点元数据标准与主数据存储标准，其中主数据存储在服务器中，依据测点元数据标准确定每个测点在服务器中的存储路径（电厂/机组/测点），且主数据在指定的文件夹中按天切片式存储，每个文件以对应的时间戳进行命名，当将主数据从本地系统迁移至目标数据源时，只需要在指定存储路径下按照时间戳信息进行对应时间段的文件查找与下载，而无需进行文件中的数据验证，可实现大量数据的快速定位。同时，海量的主数据存储在服务器中，在进行核电历史数据迁移时，能够尽量降低对系统内存的占用。此外，通过本地系统作为中转进行海量核电历史数据的迁移，考虑到迁移过程中不能保证100%成功，如果中途因为网络波动导致的失败，下次可以直接从本地写到目标库，而不用重新从源系统数据源读取数据，同时，还可有效解决部分核电厂中源系统数据源与目标系统数据源之间无法直接通信，导致数据无法迁移的问题。

作为一优选方案，当收到从源系统数据源采集主数据的请求时，基于如下步骤采集获取每个测点的主数据，包括：基于所述迁移测点范围与所述迁移时间段，将一次采集任务拆分为多个采集子任务，每个采集子任务用于以天为单位，采集指定测点指定时间范围内每天的主数据。这样设置，每个采集子任务所采集的主数据可直接按照本地系统的数据存储标准转换为对应的文件，便于采集到的主数据在本地系统的存储。

本实施例中，测点元数据标准文件格式设计如下表所示，其中，FQ表示电厂名称；01表示1号机组；Float表示值的类型为浮点型；

测点元数据标准文件按照上述标准中预先注册了各个测点的信息，但是考虑不同源系统数据源的数据管理方式各异，导致测点的信息可能发生变动，例如测点改名、测点新增、测点删除或者测点数据类型发生变动，为了确保以确保迁移数据的准确性与一致性，故在进行数据迁移时，还需要与源系统数据源提供的测点元数据进行比较，以同步元数据新增或删除的变动以及同步元数据数据类型的变动，作为一优先方案，所述测点元数据与测点元数据标准文件的比较包括如下步骤：

（A）获取源系统数据源中的待迁移的测点元数据，所述测点元数据用于表征待迁移测点的测点名称、关系信息与参数信息，所述关系信息至少包括测点对应的工厂、机组、编码，所述参数信息至少包括测点对应的数据类型；

（B）将所述测点元数据写入至所述本地系统中并与本地系统预存的测点元数据标准进行比较，所述的测点元数据标准包括测点id、测点名、数据类型、电厂、机组信息；若判断所述测点名称、所述关系信息与所述参数信息存在不同，则基于所述测点元数据更新所述测点元数据标准，并基于更新后的所述测点元数据标准确认本次数据迁移请求中的迁移测点范围。

此外，不同的源系统数据源的数据存储方式各异，其生成的测点元数据包含的信息以及格式也不完全相同，故通过测点元数据与测点元数据标准之间的比较步骤，还可统一数据格式，屏蔽底层数据存储方式（pi,iotdb或其它），确保能够从不同的源系统数据源获取相同的数据信息以配合实现后续的主数据采集与本地存储工作。

当收到测点元数据后进行比较时，首先判断该测点元数据中的各测点在测点元数据标准文件是否存在，如不存在，则需要为该测点新建并在元数据标准进行注册；若全部测点均存在，则判断当前采集数据源的元数据是否变动，是否需要更新到本地？其中，若测点名称、关系信息以及参数信息中任意一项不同，则判断需要进行更新。

作为一优选方案，本发明所示的一种用于核电历史数据迁移的数据存储方法还包括二次确认确定迁移测点范围的步骤。

通过上述比较，确认更新后的测点元数据标准后，已经实现不同源系统数据源的测点元数据格式的统一，可配合实现后续的主数据的采集与写入，但是考虑到用户在创建数据迁移请求后，可能还需要针对性的调整部分测点，包括增加新的待采集测点，或者删除某些数据已采集的测点等等，故本实施例中，还包括根据用户需求，在更新后的测点元数据标准文件中新增测点或者删除测点的步骤。具体而言，本发明所示的一种基于元数据的核电历史数据跨系统迁移方法，还设有前端展示页面，测点元数据标准文件中的测点可通过前端展示页面对外展示测点列表，用户可根据需求，在测点列表中增加新的测点或者删除指定测点。

作为一优选方案，本地系统中，测点元数据标准通过mysql数据库进行存储，元数据绑定了大量的关系型查询与操作，故本实施例中使用关系型数据库存储，便于查询操作统计，且查询性能也比存储服务器更佳。

基于上述操作采集主数据后，对于采集到的每一个主数据执行如下操作，以将其存储到本地系统的服务器中，包括：

S1解析所述主数据获取对应的时间戳与真实数据后形成文件，其中，所述文件存储对应的真实数据，并基于以所述时间戳命名该文件；作为一优选方案，本实施例中，真实数据包括测点值、质量位以及采集时间戳，其中质量位用于表示测点值的可信度，文件为CSV格式。

S2通过测点元数据标准获取该测点在所述服务器中对应的存储路径并将所述S1中形成的文件存储至指定的存储路径中。文件形成后，则按照存储标准将其存储至指定的路径下即可。

主数据根据存储标准采集至本地系统后，还需要将其写入至目标数据库，方可实现数据迁移，本实施例中，当收到将本地系统的文件写入至目标系统数据源的请求时，执行如下步骤：

S3解析迁移测点范围获取全部的测点，基于所述测点元数据标准获取每个测点在服务器中的存储路径。

S4解析迁移时间段获取所述迁移时间段对应的全部时间戳，对于每个测点，在S3确定存储路径下依据全部时间戳进行查询，获取每个时间戳对应的文件后将其写入至目标系统数据源。

作为一优先方案，本实施例中，基于所述待迁移测点范围与所述迁移时间段将一次写入任务拆分为多个写入子任务，每个写入子任务用于以天为单位，将指定测点指定时间范围内每天的主数据从本地系统中写入至目标数据源，其中多个写入子任务并发进行。考虑到一个测点指定迁移时间段对应存在的文件过多，若全部查询后并一次性迁移，存在文件丢失的风险，故本实施例中，每个写入子任务负责本地系统服务中一份文件的写入，其根据时间戳依次查询获取一组文件后然后依次迁移对应的文件至目标数据库中。

各测点的主数据以文件的形式存储在服务器指定路径的文件夹下，文件夹的存储与访问路径设置为电厂/机组/测点，每个文件在该文件夹下以日期进行命名这样设置，本实施例中，主数据通过csv文件形式存储在服务器上存储格式为：电厂/机组/测点/日期.csv，在主数据采集与写入时，执行如下步骤：

首先通过测点元数据标准获取该测点在服务器中对应的存储位置；由于测点元数据标准中包括了电厂、机组以及测点名称信息，故可通过测点元数据标准获取该测点在服务器中的存储路径；然后解析数据源，找到该测点主数据对应的时间戳与值后，形成CSV文件，其中，基于时间戳命名该CSV文件，同时CSV的文件内容存储对应的值。则对于指定测点，指定时间段采集的主数据均在服务器中指定文件夹中存储，一方面不占用系统内存，同时当进行大量数据的查询时，无需进行指定文件的数据内容进行查询与读取判断，只在指定存储文件夹中读取对应的日期，打包下载即可。

例如需要将测点A在2019年1月1日至2022年12月31日三年的数据迁移到目标系统数据源时，则将2019年1月1日至2022年12月31日三年的时间分别拆分为1460个时间戳，每个时间戳的格式为年月日，如20190101，则依据测点A的测点元数据标准获取测点A在服务器上的存储路径（电厂/机组/测点）后，在该文件夹下查询并获取1460个时间戳对应的文件名，然后将写入至目标系统数据源即可，在进行数据写入时，只进行文件查找，无需进行文件中的数据验证，可实现大量数据的快速定位，在保证海量核电历史数据的迁移可靠性的前提下，还可有效提高核电历史数据的迁移速度。

本发明还提供一种用于核电历史数据迁移的数据存储系统20，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器（包括独立的服务器，或者多个服务器所组成的服务器集群）等。本实施例的用于核电历史数据迁移的数据存储系统20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图3所示。需要指出的是，图3仅示出了具有组件21-22的用于核电历史数据迁移的数据存储系统20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

本实施例中，存储器21（即可读存储介质）包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是用于核电历史数据迁移的数据存储系统20的内部存储单元，例如该用于核电历史数据迁移的数据存储系统20的硬盘或内存。在另一些实施例中，存储器21也可以是用于核电历史数据迁移的数据存储系统20的外部存储设备，例如该用于核电历史数据迁移的数据存储系统20上配备的插接式硬盘，智能存储卡（SmartMedia Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，存储器21还可以既包括用于核电历史数据迁移的数据存储系统20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于用于核电历史数据迁移的数据存储方法的操作系统和各类应用软件。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器22在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制用于核电历史数据迁移的数据存储系统20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行基于用于核电历史数据迁移的数据存储系统方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明之内。

Claims (10)

1.一种用于核电历史数据迁移的数据存储方法，其特征在于，本地系统中预设测点元数据标准以及主数据存储标准以用于核电历史数据的存储，所述测点元数据标准包括测点id、测点名、数据类型、电厂以及机组信息；所述主数据为核电历史数据，所述主数据存储标准基于预先搭建的存储目录进行主数据的存储，其中，从源系统数据源采集主数据以文件的形式分片存储在本地系统服务器指定路径的文件夹下，其中，每个测点对应文件夹的存储与访问路径依据所述测点元数据标准设置为电厂/机组/测点，每个文件存储所述测点其中一天的主数据且每个文件在指定文件夹下以主数据对应的时间戳命名；

当收到从源系统数据源采集主数据的请求时，则对于迁移测点范围内的各测点以天为单位获取指定迁移时间段内对应的主数据后，分别执行如下步骤进行主数据的存储：

S1解析所述主数据获取对应的时间戳与真实数据后形成文件，其中，所述文件存储对应的真实数据，并以所述时间戳命名该文件；

S2通过测点元数据标准获取该测点在所述服务器中对应的存储路径并将所述S1中形成的文件存储至指定的存储路径中。

2.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，当收到将本地系统的文件写入至目标系统数据源的请求时，执行如下步骤：

S3解析迁移测点范围获取全部的测点，基于所述测点元数据标准获取每个测点在服务器中的存储路径；

S4对于每个测点解析迁移时间段获取所述迁移时间段对应的全部时间戳，并在S3确定存储路径下依据全部时间戳分别进行查询，获取每个时间戳对应的文件后将每个所述文件写入至目标系统数据源。

3.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于：当收到从所述源系统数据源采集主数据的请求时，对于迁移测点范围内的各测点以天为单位获取指定迁移时间段内对应的主数据包括如下步骤：基于所述迁移测点范围与所述迁移时间段，将一次采集任务拆分为多个采集子任务，每个采集子任务用于以天为单位，采集指定测点指定时间范围内每天的主数据。

4.根据权利要求2所述的一种用于核电历史数据迁移的数据存储方法，其特征在于：获取全部的测点与全部时间戳后还包括如下步骤：基于所述测点与所述时间戳将一次写入任务拆分为多个写入子任务，每个写入子任务用于以天为单位，将指定测点指定时间范围内每天的主数据从本地系统中写入至目标数据源。

5.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，所述迁移测点范围确定包括如下步骤：

（A）获取源系统数据源中的待迁移的测点元数据，所述测点元数据用于表征待迁移测点的测点名称、关系信息与参数信息，所述关系信息至少包括测点对应的工厂、机组、编码，所述参数信息至少包括测点对应的数据类型；

（B）将所述测点元数据写入至所述本地系统中并与本地系统预存的测点元数据标准进行比较，所述的测点元数据标准包括测点id、测点名、数据类型、电厂、机组信息；若判断所述测点名称、所述关系信息与所述参数信息存在不同，则基于所述测点元数据更新所述测点元数据标准，并基于更新后的所述测点元数据标准确认本次数据迁移请求中的迁移测点范围。

6.根据权利要求5所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，确定所述迁移测点范围还包括根据用户需要在测点元数据标准中添加或者删除测点以二次确认所述迁移测点范围的步骤。

7.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，所述本地系统中，所述测点元数据标准通过mysql数据库进行存储。

8.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，所述真实数据包括测点值、质量位。

9.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，所述文件为CSV格式。

10.一种用于核电历史数据迁移的数据存储系统，其特征在于：包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述方法的步骤。