CN116340424A - 报表数据的分存方法、装置、设备及存储介质 - Google Patents

报表数据的分存方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116340424A
CN116340424A CN202310202502.1A CN202310202502A CN116340424A CN 116340424 A CN116340424 A CN 116340424A CN 202310202502 A CN202310202502 A CN 202310202502A CN 116340424 A CN116340424 A CN 116340424A
Authority
CN
China
Prior art keywords
data
database
stored
storage
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310202502.1A
Other languages
English (en)
Inventor
苏战营
杲先柱
罗永亮
李晓军
曾雨俊
隋立敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qianzhen Information Technology Co ltd
Original Assignee
Shanghai Qianzhen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qianzhen Information Technology Co ltd filed Critical Shanghai Qianzhen Information Technology Co ltd
Priority to CN202310202502.1A priority Critical patent/CN116340424A/zh
Publication of CN116340424A publication Critical patent/CN116340424A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及存储技术领域，公开了一种报表数据的分存方法、装置、设备及存储介质。该方法包括：获取待存储数据，并确定待存储数据对应的第一目标标识信息；基于第一目标标识信息从数据库集群中确定对应的第一目标数据库，并提取与第一目标数据库具有映射关系的入库规则；基于入库规则对待存储数据进行分存计算，得到存储数据集；将存储数据集依次写入第一目标数据库中对应的存储区域进行存储。本发明通过将数据分布存储在多个数据库中，降低磁盘占用空间，提升数据处理效率，提高系统安全性，保障系统稳定运行。

Description

报表数据的分存方法、装置、设备及存储介质
技术领域
本发明涉及存储技术领域，尤其涉及一种报表数据的分存方法、装置、设备及存储介质。
背景技术
快运报表平台目前分为操作质控报表系统、规划达成报表系统、网点报表系统和客服报表系统。现有的报表数据的存储和查询的方法不但存在效率低，易造成数据冗余的问题，而且所有的数据集中在同一数据库中，一旦数据库出现故障，将会导致所有人都无法使用数据报表。
发明内容
本发明的主要目的在于解决现有的报表数据的存储和查询的方法效率低且易出现数据库死锁的问题。
本发明第一方面提供了一种报表数据的分存方法，应用于报表平台，所述报表平台为由若干个不相同的报表系统的数据库组成的数据库集群，且每个数据库设有对应的标识，所述分存方法包括：获取待存储数据，并确定所述待存储数据对应的第一目标标识信息；基于所述第一目标标识信息从所述数据库集群中确定对应的第一目标数据库，并提取与所述第一目标数据库具有映射关系的入库规则；基于所述入库规则对所述待存储数据进行分存计算，得到存储数据集；将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储。
可选的，在本发明第一方面的第一种实现方式中，所述获取待存储数据，并确定所述待存储数据对应的第一目标标识信息，包括：获取待存储数据，利用关键词提取模型从所述待存储数据提取对应的业务字段信息，基于所述业务字段信息确定标识信息；计算所述标识信息与所述数据库集群中各数据库的标识之间的相似度；基于所述相似度对所述标识信息进行调整，得到所述待存储数据匹配的第一目标标识信息。
可选的，在本发明第一方面的第二种实现方式中，在所述获取待存储数据，并确定所述待存储数据对应的第一目标标识信息之前，还包括：在每个所述数据库中构建至少一个数据分库；对每个所述数据库设置对应的标识；对每个所述数据分库设置对应的属性标识；将所述数据库形成一个所述数据集群；将所述数据库和所述标识之间的对应关系，所述数据库和所述至少一个数据分库之间的对应关系，所述至少一个数据分库和所述属性标识之间的对应关系，所述数据库和所述数据集群之间的对应关系进行保存。
可选的，在本发明第一方面的第三种实现方式中，所述基于所述入库规则对所述待存储数据进行分存计算，得到存储数据集，包括：解析所述待存储数据，确定所述待存储数据的不同属性特征，其中，所述属性特征包括所述待存储数据的内容，待存储数据的类型；基于所述待存储数据的不同属性特征，根据分库规则，运行预设的分库脚本，将所述待存储数据进行分库计算，得到存储数据集。
可选的，在本发明第一方面的第四种实现方式中，所述将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储，包括：将所述存储数据集的属性特征与数据分库的属性标识信息匹配，确定与所述存储数据集对应的目标数据分库；获取所述目标数据分库的当前的存储状态；基于所述存储状态按照所述入库规则中配置的存储顺序确定所述存储数据集的存储区域；将所述存储数据集按照所述存储顺序依次写入所述存储区域进行存储。
可选的，在本发明第一方面的第五种实现方式中，所述获取所述目标数据分库的当前存储状态，包括：获取所述目标数据分库预设的存储数据阈值和总数据量；确定所述存储数据集对应的数据量级，判断所述数据量级是否超过所述数据阈值和所述总数据量的差值；若未超过所述数据阈值和所述总数据量的差值，则所述目标数据分库的当前存储状态为可存储状态。
可选的，在本发明第一方面的第六种实现方式中，在所述将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储之后，还包括：接收并响应数据查询请求，基于所述数据查询请求从所述标识和所述属性标识中分别确定第二目标标识信息和属性标识信息；获取与所述第二目标标识信息对应的第二目标数据库，并基于所述数据库和所述至少一个数据分库之间的对应关系确定所述第二目标数据库对应的所述至少一个数据分库；基于所述属性标识信息从所述至少一个数据分库中确定目标数据分库；调取所述目标数据分库中保存的数据并返回报表平台的显示界面。
本发明第二方面提供了一种报表数据的分存装置，包括：确定模块，用于获取待存储数据，并确定所述待存储数据对应的第一目标标识信息；提取模块，用于基于所述第一目标标识信息从所述数据库集群中确定对应的第一目标数据库，并提取与所述第一目标数据库具有映射关系的入库规则；计算模块，用于基于所述入库规则对所述待存储数据进行分存计算，得到存储数据集；存储模块，用于将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储。
可选的，在本发明第二方面的第一种实现方式中，所述确定模块包括：提取单元，用于获取待存储数据，利用关键词提取模型从所述待存储数据提取对应的业务字段信息，基于所述业务字段信息确定标识信息；计算单元，用于计算所述标识信息与所述数据库集群中各数据库的标识之间的相似度；调整单元，用于基于所述相似度对所述标识信息进行调整，得到所述待存储数据匹配的第一目标标识信息。
可选的，在本发明第二方面的第二种实现方式中，所述确定模块还用于：在每个所述数据库中构建至少一个数据分库；对每个所述数据库设置对应的标识；对每个所述数据分库设置对应的属性标识；将所述数据库形成一个所述数据集群；将所述数据库和所述标识之间的对应关系，所述数据库和所述至少一个数据分库之间的对应关系，所述至少一个数据分库和所述属性标识之间的对应关系，所述数据库和所述数据集群之间的对应关系进行保存。
可选的，在本发明第二方面的第三种实现方式中，所述计算模块包括：解析单元，用于解析所述待存储数据，确定所述待存储数据的不同属性特征，其中，所述属性特征包括所述待存储数据的内容，待存储数据的类型；运行单元，用于基于所述待存储数据的不同属性特征，根据分库规则，运行预设的分库脚本，将所述待存储数据进行分库计算，得到存储数据集。
可选的，在本发明第二方面的第四种实现方式中，所述存储模块包括：匹配单元，用于将所述存储数据集的属性特征与数据分库的属性标识信息匹配，确定与所述存储数据集对应的目标数据分库；获取单元，用于获取所述目标数据分库的当前的存储状态；确定单元，用于基于所述存储状态按照所述入库规则中配置的存储顺序确定所述存储数据集的存储区域；写入单元，用于将所述存储数据集按照所述存储顺序依次写入所述存储区域进行存储。
可选的，在本发明第二方面的第五种实现方式中，所述获取单元包括：获取子单元，用于获取所述目标数据分库预设的存储数据阈值和总数据量；判断子单元，用于确定所述存储数据集对应的数据量级，判断所述数据量级是否超过所述数据阈值和所述总数据量的差值；确定子单元，用于若未超过所述数据阈值和所述总数据量的差值，则确定所述目标数据分库的当前存储状态为可存储状态。
可选的，在本发明第二方面的第六种实现方式中，所述存储模块还用于：接收并响应数据查询请求，基于所述数据查询请求从所述标识和所述属性标识中分别确定第二目标标识信息和属性标识信息；获取与所述第二目标标识信息对应的第二目标数据库，并基于所述数据库和所述至少一个数据分库之间的对应关系确定所述第二目标数据库对应的所述至少一个数据分库；基于所述属性标识信息从所述至少一个数据分库中确定目标数据分库；调取所述目标数据分库中保存的数据并返回报表平台的显示界面。
本发明第三方面提供了一种电子设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述电子设备执行上述的报表数据的分存方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的报表数据的分存方法。
本发明的技术方案中，通过获取待存储数据确定待存储数据对应的第一目标标识信息；基于第一目标标识信息从数据库集群中确定对应的第一目标数据库，并提取与第一目标数据库具有映射关系的入库规则；基于入库规则对待存储数据进行分存计算，得到存储数据集；将存储数据集依次写入第一目标数据库中对应的存储区域进行存储，通过将数据分布出存储在多个数据库中，降低磁盘占用空间，提升数据处理效率，提高系统安全性，保障系统稳定运行。
附图说明
图1为本发明实施例中报表数据的分存方法的第一个实施例示意图；
图2为本发明实施例中报表数据的分存方法的第二个实施例示意图；
图3为本发明实施例中报表数据的分存方法的第三个实施例示意图；
图4为本发明实施例中报表数据的分存装置的一个实施例示意图；
图5为本发明实施例中报表数据的分存装置的另一个实施例示意图；
图6为本发明实施例中电子设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种报表数据的分存方法、装置、设备及存储介质。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中报表数据的分存方法的第一个实施例包括：
101、获取待存储数据，并确定待存储数据对应的第一目标标识信息；
可以理解的是，本发明的执行主体可以为报表数据的分存装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
获取待存储数据可以包括待存储数据、待存储数据的类型、待存储数据的名称、以及待存储数据产生的来源等；标识也可以有多种实现方式，例如每个数据库存储数据的类型和数据库主要数据的来源等，本实施例对此不加以限制。
响应于待存储数据的存储指令，获取待存储数据对应的配置信息，此配置信息中可以包含存储数据对应的项目信息和区域信息，基于配置信息和预设的标识确定与存储数据对应的第一目标标识信息，此标识可以是项目标识或区域标识的一种或者组合。
进一步的，基于项目信息确定项目标识，基于区域信息确定区域标识，或基于项目信息和区域信息确定对应的待存储数据库的标识。
102、基于第一目标标识信息从数据库集群中确定对应的第一目标数据库，并提取与第一目标数据库具有映射关系的入库规则；
基于第一目标标识信息在预设的标识和数据库的对应关系中确定与此第一目标标识信息具有对应关系的第一目标数据库。
根据预设的数据库和入库规则之间的对应关系，基于第一目标数据库确定对应的目标入库规则。
103、基于入库规则对待存储数据进行分存计算，得到存储数据集；
基于预设的数据库和数据分库之间的对应关系，获取第一目标数据库中包含的数据分库，基于待存储数据的类型或者内容等确定目标数据分库；判断该数据分库的存储量是否达到预设的存储阈值；若未达到预设的存储阈值，则基于待存储数据生成的时间顺序确定该待存储数据在数据分库中的存储区域，并将待存储数据生成与存储区域对应的存储数据集。若已达到预设的存储量阈值，则自动对此数据分库进行扩容。
104、将存储数据集依次写入第一目标数据库中对应的存储区域进行存储。
可以通过自定义的Python库，将存储数据集写入第一目标数据库中对应的存储区域中，或者也可以根据预设的数据接口完成对数据的写入。
本发明实施例中，通过获取待存储数据确定待存储数据对应的第一目标标识信息；基于第一目标标识信息从数据库集群中确定对应的第一目标数据库，并提取与第一目标数据库具有映射关系的入库规则；基于入库规则对待存储数据进行分存计算，得到存储数据集；将存储数据集依次写入第一目标数据库中对应的存储区域进行存储，通过将数据分布出存储在多个数据库中，降低磁盘占用空间，提升数据处理效率，提高系统安全性，保障系统稳定运行。
请参阅图2，本发明实施例中报表数据的分存方法的第二个实施例包括：
201、获取待存储数据，并确定待存储数据对应的第一目标标识信息；
在获取待存储数据，并确定待存储数据对应的第一目标标识信息之前，在每个数据库中构建至少一个数据分库；对每个数据库设置对应的标识；对每个数据分库设置对应的属性标识；将数据库形成一个数据集群；将数据库和标识之间的对应关系，数据库和至少一个数据分库之间的对应关系，至少一个数据分库和属性标识之间的对应关系，数据库和数据集群之间的对应关系进行保存。
202、基于第一目标标识信息从数据库集群中确定对应的第一目标数据库，并提取与第一目标数据库具有映射关系的入库规则；
203、解析待存储数据，确定待存储数据的不同属性特征，其中，属性特征包括待存储数据的内容，待存储数据的类型；
在解析数据之前，根据入库规则，为每一类数据定义一个用于解析处理数据的解析函数；为每一类解析函数定义一个数据解析标识符；将数据解析标识符与解析函数建立对应的映射关系；将每一类数据相对应的解析函数、数据解析标识符及映射关系进行保存；根据定义的数据解析标识符以及建立好的数据解析标识符与解析函数的映射关系，配置数据解析所需要的数据解析标识符，并根据配置的数据解析标识符信息调用解析函数，完成对数据的解析。
因此，完成对数据的解析具体是通过：根据待存储数据的类型，获取对应的数据解析标识符，基于此数据解析标识符调用对应的解析函数，基于此解析函数完成对数据的解析。
204、基于待存储数据的不同属性特征，根据分库规则，运行预设的分库脚本，将待存储数据进行分库计算，得到存储数据集；
基于存储数据的内容或者内容的类型确定待存储的目标数据库，或者根据预设的数据分库和属性标识之间的对应关系，将存储数据集的属性特征与数据分库的属性标识信息匹配，确定与存储数据集对应的目标数据分库。
205、将存储数据集依次写入第一目标数据库中对应的存储区域进行存储。
获取目标数据分库的当前的存储状态；基于存储状态按照入库规则中配置的存储顺序确定存储数据集的存储区域；将存储数据集按照存储顺序依次写入存储区域进行存储。
本发明实施例中，通过获取待存储数据确定待存储数据对应的第一目标标识信息；基于第一目标标识信息从数据库集群中确定对应的第一目标数据库，并提取与第一目标数据库具有映射关系的入库规则；基于入库规则对待存储数据进行分存计算，得到存储数据集；将存储数据集依次写入第一目标数据库中对应的存储区域进行存储，通过将数据分布出存储在多个数据库中，降低磁盘占用空间，提升数据处理效率，提高系统安全性，保障系统稳定运行。
请参阅图3，本发明实施例中报表数据的分存方法的第三个实施例包括：
301、获取待存储数据，并确定待存储数据对应的第一目标标识信息；
302、基于第一目标标识信息从数据库集群中确定对应的第一目标数据库，并提取与第一目标数据库具有映射关系的入库规则；
303、基于入库规则对待存储数据进行分存计算，得到存储数据集；
304、将存储数据集依次写入第一目标数据库中对应的存储区域进行存储；
获取目标数据分库预设的存储数据阈值和总数据量；确定存储数据集对应的数据量级，判断数据量级是否超过数据阈值和总数据量的差值；若未超过数据阈值和总数据量的差值，则目标数据分库的当前存储状态为可存储状态。
305、接收并响应数据查询请求，基于数据查询请求从标识和属性标识中分别确定第二目标标识信息和属性标识信息；
利用关键词提取模型从数据查询请求提取待查询数据的字段信息，基于字段信息计算该字段信息与数据库的标识以及数据分库的属性标识之间的相似度；基于相似度确定此数据查询请求对应的第二目标标识信息和属性标识信息。
306、获取与第二目标标识信息对应的第二目标数据库，并基于数据库和至少一个数据分库之间的对应关系确定第二目标数据库对应的至少一个数据分库；
307、基于属性标识信息从至少一个数据分库中确定目标数据分库；
基于属性标识信息确定与此属性标识信息具有对应关系的目标数据分库。
308、调取目标数据分库中保存的数据并返回报表平台的显示界面。
报表平台的显示界面设有对接后台管理系统的后端接口，该后端接口通过后台管理系统调取目标数据分库中的数据信息，显示界面通过该后端接口调取目标数据分库中的数据信息并展示。
本发明实施例，通过获取待存储数据确定待存储数据对应的第一目标标识信息；基于第一目标标识信息从数据库集群中确定对应的第一目标数据库，并提取与第一目标数据库具有映射关系的入库规则；基于入库规则对待存储数据进行分存计算，得到存储数据集；将存储数据集依次写入第一目标数据库中对应的存储区域进行存储，通过将数据分布出存储在多个数据库中，降低磁盘占用空间，提升数据处理效率，提高系统安全性，保障系统稳定运行。
上面对本发明实施例中报表数据的分存方法进行了描述，下面对本发明实施例中报表数据的分存装置进行描述，请参阅图4，本发明实施例中报表数据的分存装置一个实施例包括：
确定模块401，用于获取待存储数据，并确定所述待存储数据对应的第一目标标识信息；
提取模块402，用于基于所述第一目标标识信息从所述数据库集群中确定对应的第一目标数据库，并提取与所述第一目标数据库具有映射关系的入库规则；
计算模块403，用于基于所述入库规则对所述待存储数据进行分存计算，得到存储数据集；
存储模块404，用于将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储。
本发明实施例中，通过获取待存储数据确定待存储数据对应的第一目标标识信息；基于第一目标标识信息从数据库集群中确定对应的第一目标数据库，并提取与第一目标数据库具有映射关系的入库规则；基于入库规则对待存储数据进行分存计算，得到存储数据集；将存储数据集依次写入第一目标数据库中对应的存储区域进行存储，通过将数据分布出存储在多个数据库中，降低磁盘占用空间，提升数据处理效率，提高系统安全性，保障系统稳定运行。
请参阅图5，本发明实施例中报表数据的分存装置的另一个实施例包括：
确定模块401，用于获取待存储数据，并确定所述待存储数据对应的第一目标标识信息；
提取模块402，用于基于所述第一目标标识信息从所述数据库集群中确定对应的第一目标数据库，并提取与所述第一目标数据库具有映射关系的入库规则；
计算模块403，用于基于所述入库规则对所述待存储数据进行分存计算，得到存储数据集；
存储模块404，用于将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储。
在本实施例中，所述确定模块401包括：
提取单元4011，用于获取待存储数据，利用关键词提取模型从所述待存储数据提取对应的业务字段信息，基于所述业务字段信息确定标识信息；
计算单元4012，用于计算所述标识信息与所述数据库集群中各数据库的标识之间的相似度；
调整单元4013，用于基于所述相似度对所述标识信息进行调整，得到所述待存储数据匹配的第一目标标识信息。
在本实施例中，所述确定模块401还用于：在每个所述数据库中构建至少一个数据分库；对每个所述数据库设置对应的标识；对每个所述数据分库设置对应的属性标识；将所述数据库形成一个所述数据集群；将所述数据库和所述标识之间的对应关系，所述数据库和所述至少一个数据分库之间的对应关系，所述至少一个数据分库和所述属性标识之间的对应关系，所述数据库和所述数据集群之间的对应关系进行保存。
在本实施例中，所述计算模块403包括：
解析单元4031，用于解析所述待存储数据，确定所述待存储数据的不同属性特征，其中，所述属性特征包括所述待存储数据的内容，待存储数据的类型；
运行单元4032，用于基于所述待存储数据的不同属性特征，根据分库规则，运行预设的分库脚本，将所述待存储数据进行分库计算，得到存储数据集。
在本实施例中，所述存储模块404包括：
匹配单元4041，用于将所述存储数据集的属性特征与数据分库的属性标识信息匹配，确定与所述存储数据集对应的目标数据分库；
获取单元4042，用于获取所述目标数据分库的当前的存储状态；
确定单元4043，用于基于所述存储状态按照所述入库规则中配置的存储顺序确定所述存储数据集的存储区域；
写入单元4044，用于将所述存储数据集按照所述存储顺序依次写入所述存储区域进行存储。
在本实施例中，所述获取单元4042包括：
获取子单元40421，用于获取所述目标数据分库预设的存储数据阈值和总数据量；
判断子单元40422，用于确定所述存储数据集对应的数据量级，判断所述数据量级是否超过所述数据阈值和所述总数据量的差值；
确定子单元40423，用于若未超过所述数据阈值和所述总数据量的差值，则确定所述目标数据分库的当前存储状态为可存储状态。
在本实施例中，所述存储模块4042还用于：接收并响应数据查询请求，基于所述数据查询请求从所述标识和所述属性标识中分别确定第二目标标识信息和属性标识信息；获取与所述第二目标标识信息对应的第二目标数据库，并基于所述数据库和所述至少一个数据分库之间的对应关系确定所述第二目标数据库对应的所述至少一个数据分库；基于所述属性标识信息从所述至少一个数据分库中确定目标数据分库；调取所述目标数据分库中保存的数据并返回报表平台的显示界面。
本发明实施例中，通过获取待存储数据确定待存储数据对应的第一目标标识信息；基于第一目标标识信息从数据库集群中确定对应的第一目标数据库，并提取与第一目标数据库具有映射关系的入库规则；基于入库规则对待存储数据进行分存计算，得到存储数据集；将存储数据集依次写入第一目标数据库中对应的存储区域进行存储，通过将数据分布出存储在多个数据库中，降低磁盘占用空间，提升数据处理效率，提高系统安全性，保障系统稳定运行。
上面图4和图5从模块化功能实体的角度对本发明实施例中的报表数据的分存装置进行详细描述，下面从硬件处理的角度对本发明实施例中电子设备进行详细描述。
图6是本发明实施例提供的一种电子设备的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对电子设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在电子设备600上执行存储介质630中的一系列指令操作。
电子设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的电子设备结构并不构成对基于电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述报表数据的分存方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种报表数据的分存方法，应用于报表平台，其特征在于，所述报表平台为由若干个不相同的报表系统的数据库组成的数据库集群，且每个数据库设有对应的标识，所述分存方法包括：
获取待存储数据，并确定所述待存储数据对应的第一目标标识信息；
基于所述第一目标标识信息从所述数据库集群中确定对应的第一目标数据库，并提取与所述第一目标数据库具有映射关系的入库规则；
基于所述入库规则对所述待存储数据进行分存计算，得到存储数据集；
将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储。
2.据权利要求1所述的报表数据的分存方法，其特征在于，所述获取待存储数据，并确定所述待存储数据对应的第一目标标识信息，包括：
获取待存储数据，利用关键词提取模型从所述待存储数据提取对应的业务字段信息，基于所述业务字段信息确定标识信息；
计算所述标识信息与所述数据库集群中各数据库的标识之间的相似度；
基于所述相似度对所述标识信息进行调整，得到所述待存储数据匹配的第一目标标识信息。
3.根据权利要求1所述的报表数据的分存方法，其特征在于，在所述获取待存储数据，并确定所述待存储数据对应的第一目标标识信息之前，还包括：
在每个所述数据库中构建至少一个数据分库；
对每个所述数据库设置对应的标识；
对每个所述数据分库设置对应的属性标识；
将所述数据库形成一个所述数据集群；
将所述数据库和所述标识之间的对应关系，所述数据库和所述至少一个数据分库之间的对应关系，所述至少一个数据分库和所述属性标识之间的对应关系，所述数据库和所述数据集群之间的对应关系进行保存。
4.根据权利要求3所述的报表数据的分存方法，其特征在于，所述基于所述入库规则对所述待存储数据进行分存计算，得到存储数据集，包括：
解析所述待存储数据，确定所述待存储数据的不同属性特征，其中，所述属性特征包括所述待存储数据的内容，待存储数据的类型；
基于所述待存储数据的不同属性特征，根据分库规则，运行预设的分库脚本，将所述待存储数据进行分库计算，得到存储数据集。
5.根据权利要求4所述的报表数据的分存方法，其特征在于，所述将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储，包括：
将所述存储数据集的属性特征与数据分库的属性标识信息匹配，确定与所述存储数据集对应的目标数据分库；
获取所述目标数据分库的当前的存储状态；
基于所述存储状态按照所述入库规则中配置的存储顺序确定所述存储数据集的存储区域；
将所述存储数据集按照所述存储顺序依次写入所述存储区域进行存储。
6.根据权利要求5所述的报表数据的分存方法，其特征在于，所述获取所述目标数据分库的当前存储状态，包括：
获取所述目标数据分库预设的存储数据阈值和总数据量；
确定所述存储数据集对应的数据量级，判断所述数据量级是否超过所述数据阈值和所述总数据量的差值；
若未超过所述数据阈值和所述总数据量的差值，则所述目标数据分库的当前存储状态为可存储状态。
7.根据权利要求1-6中任一项所述的报表数据的分存方法，其特征在于，在所述将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储之后，还包括：
接收并响应数据查询请求，基于所述数据查询请求从所述标识和所述属性标识中分别确定第二目标标识信息和属性标识信息；
获取与所述第二目标标识信息对应的第二目标数据库，并基于所述数据库和所述至少一个数据分库之间的对应关系确定所述第二目标数据库对应的所述至少一个数据分库；
基于所述属性标识信息从所述至少一个数据分库中确定目标数据分库；
调取所述目标数据分库中保存的数据并返回报表平台的显示界面。
8.一种报表数据的分存装置，其特征在于，所述报表数据的分存装置包括：
确定模块，用于获取待存储数据，并确定所述待存储数据对应的第一目标标识信息；
提取模块，用于基于所述第一标标识信息从所述数据库集群中确定对应的第一目标数据库，并提取与所述第一目标数据库具有映射关系的入库规则；
计算模块，用于基于所述入库规则对所述待存储数据进行分存计算，得到存储数据集；
存储模块，用于将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储。
9.一种电子设备，其特征在于，所述电子设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述电子设备执行如权利要求1-7中任一项所述的报表数据的分存方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的报表数据的分存方法。
CN202310202502.1A 2023-03-03 2023-03-03 报表数据的分存方法、装置、设备及存储介质 Pending CN116340424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310202502.1A CN116340424A (zh) 2023-03-03 2023-03-03 报表数据的分存方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310202502.1A CN116340424A (zh) 2023-03-03 2023-03-03 报表数据的分存方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116340424A true CN116340424A (zh) 2023-06-27

Family

ID=86886930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310202502.1A Pending CN116340424A (zh) 2023-03-03 2023-03-03 报表数据的分存方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116340424A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473974A (zh) * 2023-12-26 2024-01-30 中冶南方工程技术有限公司 一种基于非标异形管道模型的多类型智慧报表生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473974A (zh) * 2023-12-26 2024-01-30 中冶南方工程技术有限公司 一种基于非标异形管道模型的多类型智慧报表生成方法
CN117473974B (zh) * 2023-12-26 2024-04-16 中冶南方工程技术有限公司 一种基于非标异形管道模型的多类型智慧报表生成方法

Similar Documents

Publication Publication Date Title
CN110502546B (zh) 一种数据处理方法及装置
US20190228008A1 (en) Method, device, server and storage apparatus of reviewing sql
CN100472518C (zh) 类别设定的支持方法和装置
CN106997431B (zh) 一种数据处理方法及装置
CN107798030B (zh) 数据表的拆分方法和装置
CN110457346B (zh) 数据查询方法、装置及计算机可读存储介质
CN110837520A (zh) 一种数据处理方法、平台及系统
CN113420537B (zh) 电子表格数据处理方法、装置、设备及存储介质
CN110659298A (zh) 财务数据处理方法、装置、计算机设备和存储介质
CN110781183A (zh) Hive数据库中增量数据的处理方法、装置以及计算机设备
CN112800197A (zh) 一种目标故障信息的确定方法和装置
CN116340424A (zh) 报表数据的分存方法、装置、设备及存储介质
CN112000692B (zh) 页面查询反馈方法、装置、计算机设备及可读存储介质
CN111710406B (zh) 医疗设备的远程维护方法、设备及可读存储介质
CN112434037A (zh) 数据处理方法、处理装置、数据处理设备和存储介质
CN111339170A (zh) 数据处理方法、装置、计算机设备及存储介质
CN112000701B (zh) 数据查询的方法、装置、设备及存储介质
CN110781375A (zh) 一种用户状态标识确定方法及装置
CN110895538A (zh) 数据检索方法、装置、存储介质和处理器
CN112214497A (zh) 一种标签的处理方法、装置及计算机系统
CN110737662A (zh) 一种数据分析方法、装置、服务器及计算机存储介质
CN116541801B (zh) 多设备信息集中处理系统、设备及存储介质
CN113535782B (zh) 一种bi报表查询响应方法、系统、电子设备及计算机可读存储介质
CN115271889B (zh) 智能化标签自动联动生成方法、装置、设备及存储介质
CN111079391B (zh) 一种报表的生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination