CN116340363A - 一种基于关系型数据库的数据存储、加载方法及相关装置 - Google Patents

Abstract

本发明涉及数据处理领域，公开了一种基于关系型数据库的数据存储、加载方法及相关装置，用于提高数据处理的效率。方法包括：对原始数据报文进行数据传输和报文解析，得到目标数据参数；构建目标数据参数与预置动态列之间的映射关系，得到第一映射关系；根据第一映射关系动态生成第一执行脚本，并通过第一执行脚本，将目标数据参数存储至预设的数据库；获取基础数据类型，并根据基础数据类型加载基础数据，其中，基础数据类型包括：监测点和监测因子；查询基础数据的报文参数，并对报文参数与动态列进行映射关系解析，得到第二映射关系；根据第二映射关系动态生成第二执行脚本，并根据第二执行脚本对数据库进行数据查询和数据展示。

Description

一种基于关系型数据库的数据存储、加载方法及相关装置

技术领域

本发明涉及数据处理领域，尤其涉及一种基于关系型数据库的数据存储、加载方法及相关装置。

背景技术

随着大数据技术的不断发展，越来越多的企业需要处理大规模的实时数据。传统的数据处理方式通常使用批处理模式，无法满足实时性要求，且处理效率低下。分布式消息系统作为一种高吞吐量的分布式消息队列系统，在处理大量实时数据方面表现出优异的性能。通过将数据流分成多个分区并允许并行读写，分布式消息系统可以轻松地支持高并发的实时数据传输和存储。

但是传统的数据处理流程中，参数映射和执行脚本通常需要手动创建，且缺乏灵活性。此外，由于监测点和监测因子等基础数据必须经常加载，这也会降低整体处理效率。

发明内容

本发明提供了一种基于关系型数据库的数据存储、加载方法及相关装置，用于提高数据处理的效率。

本发明第一方面提供了一种基于关系型数据库的数据存储、加载方法，所述基于关系型数据库的数据存储、加载方法包括：

基于预置的数据源获取原始数据报文，通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数；

构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系；

根据所述第一映射关系动态生成第一执行脚本，通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库；

获取基础数据类型，根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子；

查询所述基础数据的报文参数，对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系；

根据所述第二映射关系动态生成第二执行脚本，根据所述第二执行脚本对所述数据库进行数据查询和数据展示。

结合第一方面，在本发明第一方面的第一实施方式中，所述基于预置的数据源获取原始数据报文，通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数，包括：

基于预置的数据源获取原始数据报文，将所述原始数据报文传输至预置的分布式消息系统；

通过所述分布式消息系统对所述原始数据报文进行数据传输和存储，获取所述原始数据报文对应的数据格式和数据类型；

根据所述数据格式和所述数据类型匹配对应的报文解析算法；

通过所述报文解析算法，对所述原始数据报文进行数据参数解析，得到目标数据参数。

结合第一方面，在本发明第一方面的第二实施方式中，所述构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系，包括：

加载所述目标数据参数，对所述目标数据参数进行初始化配置，得到初始化配置信息；

根据所述初始化配置信息确定数据表格的结构，其中，所述数据表格的结构包括：表格名称、列名以及数据类型信息；

根据所述数据表格的结构，构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系。

结合第一方面，在本发明第一方面的第三实施方式中，所述根据所述第一映射关系动态生成第一执行脚本，通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库，包括：

根据所述目标数据参数确定数据处理需求信息，其中，所述数据处理需求信息包括：数据查询、聚合以及转换操作；

根据所述数据处理需求信息和所述第一映射关系动态生成第一执行脚本；

通过所述第一执行脚本对所述目标数据参数执行对应的数据操作，将所述目标数据参数存储至预设的数据库。

结合第一方面，在本发明第一方面的第四实施方式中，所述获取基础数据类型，根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子，包括：

获取基础数据类型，其中，所述基础数据类型包括：监测点和监测因子；

根据所述基础数据类型生成对应的清洗和转换操作；

基于所述清洗和转换操作以及预置的数据加载算法，加载所述基础数据类型对应的基础数据。

结合第一方面，在本发明第一方面的第五实施方式中，所述查询所述基础数据的报文参数，对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系，包括：

查询所述基础数据的报文参数，其中，所述报文参数用于指示所述基础数据的查询参数；

根据所述查询参数匹配所述基础数据的查询任务；

根据所述查询任务，对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系。

结合第一方面，在本发明第一方面的第六实施方式中，所述根据所述第二映射关系动态生成第二执行脚本，根据所述第二执行脚本对所述数据库进行数据查询和数据展示，包括：

根据所述第二映射关系生成对应的查询条件，根据所述查询条件动态生成第二执行脚本；

根据所述第二执行脚本对所述数据库进行数据查询，得到查询结果；

通过预置的数据推送算法，对所述查询结果进行推送和展示。

本发明第二方面提供了一种基于关系型数据库的数据存储、加载装置，包括：

获取模块，用于基于预置的数据源获取原始数据报文，通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数；

构建模块，用于构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系；

存储模块，用于根据所述第一映射关系动态生成第一执行脚本，通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库；

加载模块，用于获取基础数据类型，并根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子；

解析模块，用于查询所述基础数据的报文参数，并对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系；

查询模块，用于根据所述第二映射关系动态生成第二执行脚本，根据所述第二执行脚本对所述数据库进行数据查询和数据展示。

本发明第三方面提供了一种基于关系型数据库的数据存储、加载设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于关系型数据库的数据存储、加载设备执行上述的基于关系型数据库的数据存储、加载方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于关系型数据库的数据存储、加载方法。

与现有技术相比，本发明具有如下有益效果：

本发明提供的技术方案中，通过采用动态创建执行脚本，提高数据处理效率，并支持灵活的数据处理需求，可以更快地获取、分析和使用数据信息，提高工作效率和准确性，支持灵活的数据查询和展示：通过将报文参数与动态列进行映射，动态生成执行脚本，以及实现数据查询和展示模块，本发明支持灵活的数据查询和展示需求，更方便地查询和分析数据信息，支持实时更新。通过加载基础数据、实现数据映射管理模块，提高数据质量和可用性，实现数据的准确性和完整性，从而减少数据处理过程中出现错误和异常情况的概率。通过实现数据可视化、报表生成等操作，服务器可以增强用户体验和交互效果，提高用户满意度和使用效率。

附图说明

图1为本发明实施例中基于关系型数据库的数据存储、加载方法的一个实施例示意图；

图2为本发明实施例中构建第一映射关系的流程图；

图3为本发明实施例中生成第一执行脚本的流程图；

图4为本发明实施例中加载基础数据的流程图；

图5为本发明实施例中基于关系型数据库的数据存储、加载装置的一个实施例示意图；

图6为本发明实施例中基于关系型数据库的数据存储、加载设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种基于关系型数据库的数据存储、加载方法及相关装置，用于提高数据处理的效率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于关系型数据库的数据存储、加载方法的一个实施例包括：

S101、基于预置的数据源获取原始数据报文，并通过分布式消息系统对原始数据报文进行数据传输和报文解析，得到目标数据参数；

可以理解的是，本发明的执行主体可以为基于关系型数据库的数据存储、加载装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，服务器传输报文：获取原始数据报文，通过分布式消息系统进行高效传输，其中，解析报文：服务器对传输的报文进行解析，提取需要的数据参数，传输报文是从数据源获取原始数据，将其传输到数据处理系统中，对于大规模实时数据处理任务，分布式消息系统是一种非常有效的解决方案，因为它可以高效地进行数据传输和存储，服务器将原始数据报文通过分布式消息系统进行传输，实现数据传输的可靠性和高效性。进一步地，加载报文参数与动态列的映射关系：将从报文中提取的数据参数与预置的动态列进行映射，服务器解析报文是指将传输的数据报文进行解析，提取其中需要的数据参数，解析过程根据不同的数据格式和数据类型设计相应的解析算法，并对数据进行验证和清洗，以实现后续的数据处理和存储能够顺利进行，服务器设计报文解析算法，实现对数据的提取、验证和清洗。

S102、构建目标数据参数与预置动态列之间的映射关系，得到第一映射关系；

具体的，服务器动态创建第一执行脚本：根据第一映射关系，动态生成第一执行脚本，实现数据的处理和存储，完成数据存储：将处理后的数据存储到指定的数据库中。服务器加载报文参数与动态列的映射关系解析：在实际数据处理中，数据参数通常能够映射到数据库表格中的动态列上，并且这个映射关系需要支持动态更新。因此，服务器创建一个报文参数与动态列的映射管理模块，映射管理模块在实时数据处理过程中动态地加载和更新映射关系，以实现数据处理的准确性和灵活性。

S103、根据第一映射关系动态生成第一执行脚本，并通过第一执行脚本，将目标数据参数存储至预设的数据库；

需要说明的是，加载基础数据：服务器加载基础数据，包括监测点和监测因子，动态创建第一执行脚本：动态创建第一执行脚本是指根据数据参数和动态列的映射关系，动态生成对应的数据处理脚本。第一执行脚本通常需要支持不同的数据处理操作，如插入、更新、删除等，同时，还要考虑到数据处理的效率和安全性。服务器创建动态脚本生成器，动态脚本生成器生成的脚本可以高效地执行数据处理任务。服务器完成数据存储：完成数据存储是指将处理后的数据存储到预设的数据库中，以便进行后续的查询和分析。服务器查询数据存储方案，实现对应的数据存储模块。其中，数据存储模块支持不同的数据库类型和数据格式。

S104、获取基础数据类型，并根据基础数据类型加载基础数据，其中，基础数据类型包括：监测点和监测因子；

具体的，服务器加载基础数据：加载基础数据是指预先加载一些基础数据，包括监测点和监测因子，以便后续数据处理任务能够更加高效地进行。服务器创建基础数据加载模块，实现相应的数据加载算法。通过数据加载算法实现数据的动态更新，以实现数据的准确性和实时性。

S105、查询基础数据的报文参数，并对报文参数与动态列进行映射关系解析，得到第二映射关系；

具体的，服务器通过对报文参数与动态列的映射关系解析：将报文参数与动态列进行映射，方便后续查询。报文参数与动态列的映射关系解析，是针对查询任务进行的。在数据查询中，服务器将查询参数和动态列进行映射，实现第二映射关系可以支持动态更新。服务器重新加载报文参数和动态列之间的第二映射关系，根据查询条件生成相应的数据查询脚本。

S106、根据第二映射关系动态生成第二执行脚本，并根据第二执行脚本对数据库进行数据查询和数据展示。

具体的，服务器动态创建第二执行脚本：根据第二映射关系，动态生成第二执行脚本，实现数据查询和展示。服务器完成查询：将查询结果展示给用户，并支持实时更新。动态创建第二执行脚本，是针对数据查询操作进行的。服务器根据查询参数和动态列的映射关系，动态生成对应的数据查询脚本，实现这个脚本高效地执行数据查询任务。这个脚本需要支持不同的查询操作，如条件查询、数据聚合等，同时，还要考虑到查询的效率和安全性等因素。完成查询：完成查询是指将查询结果展示给用户，并支持实时更新。服务器创建显示模块，该显示模块将查询结果以可视化的形式展示给用户。同时，服务器匹配对应的数据推送算法，实现查询结果能够实时更新，并支持多种查询操作，如分组、排序等。本实施例中，通过结合动态生成执行脚本和基础数据的预加载、参数映射等方法，实现了对大规模实时数据的高效处理和查询，本发明具有较高的灵活性、可扩展性和可靠性，可以广泛应用于各种实时数据处理场景，提供了高效、准确的数据处理解决方案。

本发明实施例中，通过采用动态创建执行脚本，提高数据处理效率，并支持灵活的数据处理需求，可以更快地获取、分析和使用数据信息，提高工作效率和准确性，并且支持灵活的数据查询和展示：通过将报文参数与动态列进行映射，动态生成执行脚本，以及实现数据查询和展示模块，本发明支持灵活的数据查询和展示需求，可以更方便地查询和分析数据信息，并支持实时更新。通过加载基础数据、实现数据映射管理模块，提高数据质量和可用性，实现数据的准确性和完整性，从而减少数据处理过程中出现错误和异常情况的概率。通过实现数据可视化、报表生成等操作，服务器可以增强用户体验和交互效果，并提高用户满意度和使用效率

在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：

（1）基于预置的数据源获取原始数据报文，并将原始数据报文传输至预置的分布式消息系统；

（2）通过分布式消息系统对原始数据报文进行数据传输和存储，并获取原始数据报文对应的数据格式和数据类型；

（3）根据数据格式和数据类型匹配对应的报文解析算法；

（4）通过报文解析算法，对原始数据报文进行数据参数解析，得到目标数据参数。

具体的，服务器传输报文的过程包括以下步骤：获取原始数据报文：首先，服务器需要从数据源中获取原始数据报文。该原始数据报文可以是各种不同类型的数据格式，如JSON、XML等，并且可能包含多个字段和嵌套结构。在获取原始数据报文时，服务器考虑到数据源的稳定性、数据采集的效率等因素。通过Kafka（分布式消息系统）进行高效传输：服务器获取原始数据报文并通过Kafka进行高效传输。Kafka是一种高吞吐量的分布式消息队列系统，可以轻松地支持高并发的实时数据传输和存储。在使用Kafka进行数据传输时，服务器将原始数据报文封装成消息，然后将其发送到Kafka Broker节点上。实现数据传输的可靠性和高效性：最后，服务器实现数据传输的可靠性和高效性。为了保证数据传输的可靠性，服务器可以使用Kafka提供的副本机制和复制机制，以实现数据能够在不同节点之间进行备份和同步。为了保证数据传输的高效性，服务器考虑到网络带宽、消息大小等因素，并通过调整Kafka的参数来优化数据传输的性能。本实施例中，传输报文是数据处理流程中非常重要的一步。通过使用Kafka进行高效数据传输和存储，服务器可以方便地实现大规模实时数据处理任务。并且，服务器还注意到数据稳定性、可靠性和性能等问题，并采取相应的措施来保证数据传输的质量和效率。解析报文的过程包括以下步骤：确认报文格式：首先，服务器确认传输的报文格式，以便进行相应的解析操作。根据不同的报文格式，服务器可能需要使用不同的解析算法和技术来提取数据参数。例如，在处理JSON格式数据时，服务器可以使用JSON解析器来解析JSON文本并提取其中的数据参数。解析报文：一旦确认了报文格式，服务器就需要对传输的报文进行解析，提取其中需要的数据参数。在解析报文时，服务器需要考虑到报文可能包含多个字段和嵌套结构，因此需要使用适当的解析算法和技术来提取数据参数。通常情况下，服务器可以采用递归或迭代等方式来遍历报文的不同字段，并使用正则表达式、字符串匹配等方法来提取目标数据参数。数据验证和清洗：在提取数据参数之后，服务器还需要对这些数据进行验证和清洗，以实现其符合服务器的需求。例如，在处理浮点数类型的数据时，服务器需要检查其是否符合数值范围和有效位数等要求。在处理字符串类型的数据时，服务器需要检查其是否包含非法字符，并进行相应的清洗操作。数据转换和格式化：最后，在完成数据验证和清洗后，服务器还需要对数据进行转换和格式化，以便后续的数据处理和存储。例如，在处理日期时间类型的数据时，服务器可以将其转换为特定的日期时间格式，并进行格式化操作，以便支持不同的查询操作和展示需求。本实施例中，通过采用适当的解析算法和技术，服务器可以高效地提取数据参数，并实现数据的准确性和完整性。并且，服务器还需要注意到数据验证、清洗、转换和格式化等问题，并采取相应的措施来优化数据处理的质量和效率。

在一具体实施例中，如图2所示，执行步骤S102的过程可以具体包括如下步骤：

S201、加载目标数据参数，并对目标数据参数进行初始化配置，得到初始化配置信息；

S202、根据初始化配置信息确定数据表格的结构，其中，数据表格的结构包括：表格名称、列名以及数据类型信息；

S203、根据数据表格的结构，构建目标数据参数与预置动态列之间的映射关系，得到第一映射关系。

具体的，服务器加载报文参数与动态列的映射关系的过程包括以下步骤：确认数据表格结构：首先，服务器确认数据表格的结构，包括表格名称、列名、数据类型等信息。这个信息是在初始化阶段进行配置，并且需要支持动态更新，以适应不同的数据处理需求。服务器加载报文参数与动态列的第一映射关系：一旦确认了数据表格的结构，服务器加载报文参数与动态列的第一映射关系。这个第一映射关系通过配置文件或数据库等方式进行管理，并且支持动态更新。在加载第一映射关系时，服务器实现报文参数和动态列名称之间的一一对应关系，并根据数据类型进行相应的转换操作。实现数据映射管理模块：最后，服务器构建数据映射管理模块，用于对报文参数和动态列名称之间的映射关系进行动态管理。数据映射管理模块包括添加、删除、修改映射关系等操作，并且需要支持动态加载和更新。在实现数据映射管理模块时，解决了数据映射的稳定性、可靠性和安全性等问题。本实施例中，加载报文参数与动态列的映射关系是数据处理流程中非常重要的一步。通过将从报文中提取的数据参数与动态列进行映射，服务器能够对数据进行管理和操作，并且还能够支持灵活的数据处理需求。需要说明的是，动态列名称和报文参数之间的映射关系需要支持动态更新，并且需要采取相应的措施来实现数据映射的准确性和安全性。

在一具体实施例中，如图3所示，执行步骤S103的过程可以具体包括如下步骤：

S301、根据目标数据参数确定数据处理需求信息，其中，数据处理需求信息包括：数据查询、聚合以及转换操作；

S302、根据数据处理需求信息和第一映射关系动态生成第一执行脚本；

S303、通过第一执行脚本对目标数据参数执行对应的数据操作，并将目标数据参数存储至预设的数据库。

具体的，服务器动态创建执行脚本的过程包括以下步骤：确认数据处理需求：首先，服务器确认数据处理需求，包括数据查询、聚合、转换等操作。这个数据处理需求是在初始化阶段进行配置，并且能够支持动态更新，以适应不同的数据处理需求信息。加载报文参数与动态列的映射关系：服务器确认了数据处理需求，服务器加载报文参数与动态列的第一映射关系。该第一映射关系可以通过配置文件或数据库等方式进行管理，并且需要支持动态更新。在加载第一映射关系时，服务器实现报文参数和动态列名称之间的一一对应关系，并根据数据类型进行相应的转换操作。服务器生成执行脚本：根据加载的第一映射关系和数据处理需求信息，服务器动态地生成第一执行脚本。该第一执行脚本包括数据查询、聚合、转换等操作，并且服务器根据动态列名称和数据类型进行相应的语法构造。服务器还需要考虑到脚本的复杂性和执行效率等问题，并针对不同的需求进行相应的优化。第一执行脚本并实现数据处理和存储：最后，服务器将第一执行脚本应用到实际的数据处理任务中，并实现数据的处理和存储。这个过程通常会涉及到大量的数据操作，包括查询、聚合、转换、过滤、排序等操作。为了保证数据处理能够高效和准确地进行，服务器采用对应的算法和技术，并优化脚本的执行效率和稳定性。本实施例中，动态创建第一执行脚本是数据处理流程中非常重要的一步。通过根据第一映射关系动态生成第一执行脚本，实现数据的处理和存储，并支持灵活的数据处理需求。需要说明的是，在生成脚本时，需要考虑到脚本的复杂性和执行效率等问题，并采取相应的措施来优化脚本的性能和稳定性。进一步地，服务器进行数据存储的过程包括以下步骤：确认数据存储需求：首先，服务器确认数据存储需求，包括存储的数据库类型、表格结构、数据格式等信息。这个需求通常是在初始化阶段进行配置，并且需要支持动态更新，以适应不同的数据存储需求。配置数据库连接：一旦确认了数据存储需求，服务器就需要配置数据库连接，以便能够与指定数据库进行交互。这个连接通常会包括数据库名称、服务器地址、端口号、用户名、密码等信息，并且需要支持动态更新。实现数据存储模块：基于配置的数据库连接和存储需求，创建一个数据存储模块，用于将处理后的数据存储到指定的数据库中。该数据存储模块通常会包括数据插入、更新、删除等操作，并且支持事务处理、数据校验等功能。执行数据存储操作：最后，服务器将处理后的数据传递给数据存储模块，执行数据存储操作。在执行数据存储操作时，需要考虑到数据库连接的稳定性、数据存储的准确性和完整性等问题，并采取相应的措施来优化数据存储的性能和可靠性。本实施例中，服务器通过将处理后的数据存储到指定的数据库中，支持数据的查询、分析、展示等需求，并为后续的应用提供数据基础。需要说明的是，在实现数据存储模块时，需要考虑到数据存储的可靠性、安全性和性能等问题，并采取相应的措施来保证数据存储的质量和效率。

在一具体实施例中，如图4所示，执行步骤S104的过程可以具体包括如下步骤：

S401、获取基础数据类型，其中，基础数据类型包括：监测点和监测因子；

S402、根据基础数据类型生成对应的清洗和转换操作；

S403、基于清洗和转换操作以及预置的数据加载算法，加载基础数据类型对应的基础数据。

具体的，服务器加载基础数据的过程包括以下步骤：确认基础数据类型：首先，服务器确认基础数据类型，包括监测点和监测因子等。这个信息通常是在初始化阶段进行配置，并且需要支持动态更新，以适应不同的数据处理需求。加载基础数据：服务器确认基础数据类型，然后加载相应的基础数据。这个基础数据通过配置文件、数据库表格等方式进行管理，并且需要支持动态更新。在加载基础数据时，实现其准确性和完整性，并根据实际情况进行相应的清洗和转换操作。实现基础数据管理模块：最后，创建一个基础数据管理模块，用于对监测点和监测因子等基础数据进行管理。这个基础数据管理模块通常会包括添加、删除、修改基础数据等操作，并且需要支持动态加载和更新。在实现这个模块时，需要考虑到基础数据的稳定性、可靠性和安全性等问题。本实施例中，加载基础数据是数据处理流程中非常重要的一步。服务器通过提前加载监测点和监测因子等基础数据，能够方便地实现数据的分析、展示等需求，并支持灵活的数据处理和应用需求。需要说明的是，在加载基础数据时，需要实现其准确性和完整性，并采取相应的措施来优化数据处理的质量和效率。并且，在实现基础数据管理模块时，需要考虑到基础数据的稳定性、可靠性和安全性等问题，并采取相应的措施来实现基础数据的质量和可用性。

在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：

（1）查询基础数据的报文参数，其中，报文参数用于指示基础数据的查询参数；

（2）根据查询参数匹配基础数据的查询任务；

（3）根据查询任务，对报文参数与动态列进行映射关系解析，得到第二映射关系。

具体的，报文参数与动态列的第二映射关系的过程包括以下步骤：确认数据表格结构：首先，服务器需要确认数据表格的结构，包括表格名称、列名、数据类型等信息。这个信息通常是在初始化阶段进行配置，并且需要支持动态更新，以适应不同的数据处理需求。加载报文参数与动态列的第二映射关系：服务器确认数据表格的结构，服务器加载报文参数与动态列的第二映射关系。这个第二映射关系可以通过配置文件或数据库等方式进行管理，并且需要支持动态更新。在加载第二映射关系时，实现报文参数和动态列名称之间的一一对应关系，并根据数据类型进行相应的转换操作。实现数据映射管理模块：最后，创建一个数据映射管理模块，用于对报文参数和动态列名称之间的第二映射关系进行动态管理。数据映射管理模块包括添加、删除、修改映射关系等操作，并且需要支持动态加载和更新。在实现这个模块时，需要考虑到数据映射的稳定性、可靠性和安全性等问题。本实施例中，报文参数与动态列的映射关系是通过将报文参数与动态列进行映射，可以方便地查询和分析数据，并支持灵活的数据处理需求。需要说明的是，动态列名称和报文参数之间的映射关系需要支持动态更新，并且需要采取相应的措施来实现数据映射的准确性和安全性。并且，在实现数据映射管理模块时，需要考虑到映射关系的稳定性、可靠性和安全性等问题，并采取相应的措施来实现数据映射的质量和可用性。

在一具体实施例中，执行步骤S106的过程可以具体包括如下步骤：

（1）根据第二映射关系生成对应的查询条件，并根据查询条件动态生成第二执行脚本；

（2）根据第二执行脚本对数据库进行数据查询，得到查询结果；

（3）通过预置的数据推送算法，对查询结果进行推送和展示。

具体的，动态创建第二执行脚本的过程包括以下步骤：确认数据查询需求：首先，服务器需要确认数据查询需求，包括查询条件、排序方式、分组方式等操作。这个需求通常是在初始化阶段进行配置，并且需要支持动态更新，以适应不同的数据查询需求。加载报文参数与动态列的映射关系：一旦确认了数据查询需求，服务器就需要加载报文参数与动态列的映射关系。这个映射关系可以通过配置文件或数据库等方式进行管理，并且需要支持动态更新。在加载映射关系时，服务器需要实现报文参数和动态列名称之间的一一对应关系，并根据数据类型进行相应的转换操作。服务器生成第二执行脚本：根据加载的第二映射关系和数据查询需求，服务器可以动态地生成第二执行脚本。第二执行脚本包括数据查询、排序、分组、聚合等操作，并且需要根据动态列名称和数据类型进行相应的语法构造。并且，服务器还需要考虑到脚本的复杂性和执行效率等问题，并针对不同的需求进行相应的优化。执行脚本并实现数据查询和展示：最后，服务器需要将执行脚本应用到实际的数据查询任务中，并实现数据的查询和展示。这个过程通常会涉及到大量的数据操作，包括查询、排序、分组、聚合等操作。为了保证数据查询能够高效和准确地进行，服务器需要采用合适的算法和技术，并优化脚本的执行效率和稳定性。本实施例中，动态创建执行脚本是数据处理流程中非常重要的一步。通过根据第二映射关系动态生成第二执行脚本，服务器可以方便地实现数据的查询和展示，并支持灵活的数据处理需求。需要说明的是，在生成脚本时，需要考虑到脚本的复杂性和执行效率等问题，并采取相应的措施来优化脚本的性能和稳定性。并且，在实现数据查询和展示模块时，需要考虑到查询结果的准确性和完整性，并采取相应的措施来保证数据查询和展示的质量和可用性。完成查询的过程包括以下步骤：第二执行脚本获取查询结果：首先，服务器需要执行之前生成的脚本，获取查询结果。这个步骤涉及到大量的数据操作，包括查询、排序、分组、聚合等操作。在执行脚本时，服务器需要考虑到脚本的复杂性和执行效率等问题，并采取相应的措施来优化脚本的性能和稳定性。解析查询结果：一旦获取了查询结果，服务器就需要对其进行解析，并根据报文参数和动态列的第二映射关系进行转换。在解析查询结果时，服务器需要实现数据的准确性和完整性，并根据需求进行相应的加工和清洗操作。展示查询结果：最后，服务器需要将解析后的查询结果展示给用户。这个过程通常会涉及到数据可视化、报表生成等操作，以便用户能够更直观地理解和使用查询结果。并且，服务器还需要支持实时更新，以便用户能够获取最新的数据信息。本实施例中，完成查询是数据处理流程中非常重要的一步。通过将查询结果展示给用户，并支持实时更新，服务器可以方便地实现数据的查询和分析，并支持灵活的数据处理需求。需要说明的是，在完成查询时，需要考虑到数据的准确性和完整性，并采取相应的措施来保证查询结果的质量和可用性。并且，在实现查询和展示模块时，需要考虑到用户体验和交互效果等问题，并采取相应的措施来提高用户满意度和使用效率。

上面对本发明实施例中基于关系型数据库的数据存储、加载方法进行了描述，下面对本发明实施例中基于关系型数据库的数据存储、加载装置进行描述，请参阅图5，本发明实施例中基于关系型数据库的数据存储、加载装置一个实施例包括：

获取模块501，用于基于预置的数据源获取原始数据报文，并通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数；

构建模块502，用于构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系；

存储模块503，用于根据所述第一映射关系动态生成第一执行脚本，并通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库；

加载模块504，用于获取基础数据类型，并根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子；

解析模块505，用于查询所述基础数据的报文参数，并对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系；

查询模块506，用于根据所述第二映射关系动态生成第二执行脚本，并根据所述第二执行脚本对所述数据库进行数据查询和数据展示。

通过上述各个组成部分的协同合作，通过采用动态创建执行脚本，提高数据处理效率，并支持灵活的数据处理需求，可以更快地获取、分析和使用数据信息，提高工作效率和准确性，并且支持灵活的数据查询和展示：通过将报文参数与动态列进行映射，动态生成执行脚本，以及实现数据查询和展示模块，本发明支持灵活的数据查询和展示需求，并且更方便地查询和分析数据信息，并支持实时更新，通过加载基础数据、实现数据映射管理模块，提高数据质量和可用性，实现数据的准确性和完整性，从而减少数据处理过程中出现错误和异常情况的概率，通过实现数据可视化、报表生成等操作，服务器可以增强用户体验和交互效果，并提高用户满意度和使用效率

上面图5从模块化功能实体的角度对本发明实施例中的基于关系型数据库的数据存储、加载装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于关系型数据库的数据存储、加载设备进行详细描述。

图6是本发明实施例提供的一种基于关系型数据库的数据存储、加载设备的结构示意图，该基于关系型数据库的数据存储、加载设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于关系型数据库的数据存储、加载设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于关系型数据库的数据存储、加载设备600上执行存储介质630中的一系列指令操作。

基于关系型数据库的数据存储、加载设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于关系型数据库的数据存储、加载设备结构并不构成对基于关系型数据库的数据存储、加载设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种基于关系型数据库的数据存储、加载设备，所述基于关系型数据库的数据存储、加载设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于关系型数据库的数据存储、加载方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于关系型数据库的数据存储、加载方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random acceS memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于关系型数据库的数据存储、加载方法，其特征在于，所述方法包括：

基于预置的数据源获取原始数据报文，并通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数；

构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系；

根据所述第一映射关系动态生成第一执行脚本，通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库；

获取基础数据类型，并根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子；

查询所述基础数据的报文参数，对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系；

根据所述第二映射关系动态生成第二执行脚本，根据所述第二执行脚本对所述数据库进行数据查询和数据展示。

2.根据权利要求1所述的基于关系型数据库的数据存储、加载方法，其特征在于，所述基于预置的数据源获取原始数据报文，通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数，包括：

基于预置的数据源获取原始数据报文，并将所述原始数据报文传输至预置的分布式消息系统；

通过所述分布式消息系统对所述原始数据报文进行数据传输和存储，获取所述原始数据报文对应的数据格式和数据类型；

根据所述数据格式和所述数据类型匹配对应的报文解析算法；

通过所述报文解析算法，对所述原始数据报文进行数据参数解析，得到目标数据参数。

3.根据权利要求1所述的基于关系型数据库的数据存储、加载方法，其特征在于，所述构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系，包括：

加载所述目标数据参数，对所述目标数据参数进行初始化配置，得到初始化配置信息；

根据所述初始化配置信息确定数据表格的结构，其中，所述数据表格的结构包括：表格名称、列名以及数据类型信息；

根据所述数据表格的结构，构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系。

4.根据权利要求1所述的基于关系型数据库的数据存储、加载方法，其特征在于，所述根据所述第一映射关系动态生成第一执行脚本，并通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库，包括：

根据所述目标数据参数确定数据处理需求信息，其中，所述数据处理需求信息包括：数据查询、聚合以及转换操作；

根据所述数据处理需求信息和所述第一映射关系动态生成第一执行脚本；

通过所述第一执行脚本对所述目标数据参数执行对应的数据操作，并将所述目标数据参数存储至预设的数据库。

5.根据权利要求1所述的基于关系型数据库的数据存储、加载方法，其特征在于，所述获取基础数据类型，并根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子，包括：

获取基础数据类型，其中，所述基础数据类型包括：监测点和监测因子；

根据所述基础数据类型生成对应的清洗和转换操作；

基于所述清洗和转换操作以及预置的数据加载算法，加载所述基础数据类型对应的基础数据。

6.根据权利要求1所述的基于关系型数据库的数据存储、加载方法，其特征在于，所述查询所述基础数据的报文参数，并对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系，包括：

查询所述基础数据的报文参数，其中，所述报文参数用于指示所述基础数据的查询参数；

根据所述查询参数匹配所述基础数据的查询任务；

根据所述查询任务，对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系。

7.根据权利要求1所述的基于关系型数据库的数据存储、加载方法，其特征在于，所述根据所述第二映射关系动态生成第二执行脚本，并根据所述第二执行脚本对所述数据库进行数据查询和数据展示，包括：

根据所述第二映射关系生成对应的查询条件，根据所述查询条件动态生成第二执行脚本；

根据所述第二执行脚本对所述数据库进行数据查询，得到查询结果；

通过预置的数据推送算法，对所述查询结果进行推送和展示。

8.一种基于关系型数据库的数据存储、加载装置，其特征在于，包括：

获取模块，用于基于预置的数据源获取原始数据报文，通过分布式消息系统对所述原始数据报文进行数据传输和报文解析，得到目标数据参数；

构建模块，用于构建所述目标数据参数与预置动态列之间的映射关系，得到第一映射关系；

存储模块，用于根据所述第一映射关系动态生成第一执行脚本，通过所述第一执行脚本，将所述目标数据参数存储至预设的数据库；

加载模块，用于获取基础数据类型，根据所述基础数据类型加载基础数据，其中，所述基础数据类型包括：监测点和监测因子；

解析模块，用于查询所述基础数据的报文参数，对所述报文参数与所述动态列进行映射关系解析，得到第二映射关系；

查询模块，用于根据所述第二映射关系动态生成第二执行脚本，并根据所述第二执行脚本对所述数据库进行数据查询和数据展示。

9.一种基于关系型数据库的数据存储、加载设备，其特征在于，包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于关系型数据库的数据存储、加载设备执行如权利要求1-7中任一项所述的基于关系型数据库的数据存储、加载方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的基于关系型数据库的数据存储、加载方法。

Images