CN115718679A - 数据的处理方法及装置、非易失性存储介质、电子设备 - Google Patents

Abstract

本申请公开了一种数据的处理方法及装置、非易失性存储介质、电子设备。其中，该方法包括：获取第一测试表的测试数据，以及测试数据被访问的频次；根据频次将测试数据分为第一类测试数据，第二类测试数据和第三类测试数据；将第二类测试数据和第三类测试数据通过目标工具存储到目标数据库的第二测试表；对第二类测试数据和第三类测试数据进行备份，得到备份数据；对目标数据库进行备份，得到备份数据库；当第二类测试数据或第三类测试数据被误删时，通过目标数据库中的目标组件，备份数据和备份数据库对第二类测试数据或第三类测试数据进行恢复处理。

Description

数据的处理方法及装置、非易失性存储介质、电子设备

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据的处理方法及装置、非易失性存储介质、电子设备。

背景技术

随着信息建设步伐的不断加快，数据中台的数据存量上升趋势明显，数据类型和数据范围不断扩大，相关技术中，数据中台数据主要存储在大数据计算服务(MaxCompute)中，导致数据中台存储资源空间压力大，存储资源使用不合理；另外，目前数据中台仅采用“三副本”方式进行存储以对数据中台中的数据进行备份和恢复，备份及恢复方式单一，存在安全隐患。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据的处理方法及装置、非易失性存储介质、电子设备，以至少解决由于相关技术对数据中台中的数据的存储方式不合理，对数据的备份和恢复方式单一造成的数据中台存储资源利用不合理，存在数据安全隐患的技术问题。

根据本申请实施例的一个方面，提供了一种数据的处理方法，包括：获取第一测试表的测试数据，以及测试数据被访问的频次，其中，第一测试表存储在数据中台；根据频次将测试数据分为第一类测试数据，第二类测试数据和第三类测试数据，其中，第一类测试数据被访问的频次大于第二类测试数据被访问的频次，第二类测试数据被访问的频次大于第三类测试数据被访问的频次；将第二类测试数据和第三类测试数据通过目标工具存储到目标数据库的第二测试表，其中，第二测试表与第一测试表存在对应关系；对第二类测试数据和第三类测试数据进行备份，得到备份数据；对目标数据库进行备份，得到备份数据库；当第二类测试数据或第三类测试数据被误删时，通过目标数据库中的目标组件，备份数据和备份数据库对第二类测试数据或第三类测试数据进行恢复处理。

可选地，在将第二类测试数据和第三类测试数据通过目标工具存储到目标数据库的第二测试表之后，数据的处理方法包括：获取第一测试表中的第二类测试数据和第三类数据；将第二测试表中的第二类测试数据和第一测试表中的第二类测试数据进行对比，得到第一对比结果；将第二测试表中的第三类测试数据和第一测试表中的第三类测试数据进行对比，得到第二对比结果；如果第一对比结果和第二对比结果均为预设值，确定目标数据库完整存储测试数据；如果第一对比结果或者第二对比结果不是预设值，确定目标数据库未完整存储测试数据。

可选地，对第二类测试数据和第三类测试数据进行备份，得到备份数据，包括：确定备份参数，其中，备份参数包括至少以下之一：备份周期，备份时刻和备份时长；依据备份参数对第二类测试数据和第三类测试数据进行备份，得到备份数据。

可选地，对目标数据库进行备份，得到备份数据库，包括：通过目标工具，将目标数据库中的目标数据写入目标文件中，得到备份数据库，其中，目标数据为目标数据库中以二维表格形式存储的数据。

可选地，在获取第一测试表中的测试数据之前，数据的处理方法包括：运行预设脚本，得到测试数据；确定第一测试表，并将测试数据存储至第一测试表。

可选地，数据的处理方法还包括：通过预设脚本加载目标文件；解析目标文件，得到目标数据，以恢复目标数据库。

可选地，数据的处理方法还包括：通过目标工具获取第二类测试数据和第三类测试数据；确定目标链路的数量，其中，目标链路为同时传输的第二类测试数据和第三类测试数据的链路；通过目标链路将第二类测试数据和第三类测试数据传输至目标数据库，以恢复第二类测试数据和第三类测试数据。

根据本申请实施例的另一方面，还提供了一种数据的处理装置，包括：获取模块，用于获取第一测试表的测试数据，以及测试数据被访问的频次，其中，第一测试表存储在数据中台；分类模块，用于根据频次将测试数据分为第一类测试数据，第二类测试数据和第三类测试数据，其中，第一类测试数据被访问的频次大于第二类测试数据被访问的频次，第二类测试数据被访问的频次大于第三类测试数据被访问的频次；存储模块，用于将第二类测试数据和第三类测试数据通过目标工具存储到目标数据库的第二测试表，其中，第二测试表与第一测试表存在对应关系；备份模块，用于对第二类测试数据和第三类测试数据进行备份，得到备份数据；对目标数据库进行备份，得到备份数据库；恢复模块，用于在第二类测试数据或第三类测试数据被误删时，通过目标数据库中的目标组件，备份数据和备份数据库对第二类测试数据或第三类测试数据进行恢复处理。

根据本申请实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述的数据的处理方法。

根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器和处理器，该处理器用于运行存储在存储器中的程序，其中，程序运行时执行上述的数据的处理方法。

在本申请实施例中，采用获取第一测试表的测试数据，以及测试数据被访问的频次，其中，第一测试表存储在数据中台；根据频次将测试数据分为第一类测试数据，第二类测试数据和第三类测试数据，其中，第一类测试数据被访问的频次大于第二类测试数据被访问的频次，第二类测试数据被访问的频次大于第三类测试数据被访问的频次；将第二类测试数据和第三类测试数据通过目标工具存储到目标数据库的第二测试表，其中，第二测试表与第一测试表存在对应关系；对第二类测试数据和第三类测试数据进行备份，得到备份数据；对目标数据库进行备份，得到备份数据库；当第二类测试数据或第三类测试数据被误删时，通过目标数据库中的目标组件，备份数据和备份数据库对第二类测试数据或第三类测试数据进行恢复处理的方式，通过将数据中台各组件数据统一划分成冷热温数据类型，结合不同存储组件的特点和存储能力，合理规划组件的利用方式；同时，将数据的备份方式扩展为两种，将数据的恢复方式扩展为三种，达到了的存储数据，备份数据和恢复数据的目的，从而实现了提升数据中台存储资源使用效率，提高数据容灾能力，数据恢复的时效性，安全性和完整性的技术效果，进而解决了由于相关技术对数据中台中的数据的存储方式不合理，对数据的备份和恢复方式单一造成的数据中台存储资源利用不合理，存在数据安全隐患技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据相关技术的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本申请实施例的一种数据的处理方法的流程图；

图3是根据本申请实施例的一种数据的处理装置的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了更好地理解本申请实施例，以下将本申请实施例中涉及的技术术语解释如下：

数据中台：是指集企业内外部多源异构的数据采集、治理、建模、分析、应用于一体的大数据架构。

数据服务接口(Application Programming Interface，API)：一个网络服务对外提供接口级别的调用入口，返回业务需求方所需的分析数据。

云数据库/关系型数据库服务(Relational Database Service，RDS)：是一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。具有多重安全防护措施和完善的性能监控体系，并提供专业的数据库备份、恢复及优化方案。

盘古文件系统：一种分布式存储系统，是统一存储架构，采用了分布式系统先进的容错架构和柔性平台设计，具备弹性伸缩、自动负载均衡等能力，大幅提高了存储系统的可靠性和安全性，可支持块存储、对象存储、表格存储、文件存储、离线大数据处理等多种存储模式。

大数据计算服务(MaxCompute)：分布式大数据计算服务，提供千万亿字节(PB)级数据仓库解决方案，采用分布式架构，可以平行扩展数据存储规模，自动存储容错机制，保障数据高可靠性。支持多种编程模型，支持多用户协同分析数据。

数据工场(Dataworks)：一站式大数据智能研发平台，同时能满足用户对数据接入、数据治理、数据开发、质量管理的需求，从数据开发到算法开发，闭环涵盖数据业务全流程，赋予用户一站式数据开发的能力。

数据集成(Data Integration，DI)：可跨异构数据存储系统的，可弹性扩展的数据同步平台，为多种数据源提供不同网络环境下的全量/增量数据进出通道。

在相关技术中，数据中台数据主要存储在大数据计算服务(MaxCompute)的组件中，因此，存在数据中台存储资源空间压力大的问题；数据中台数据备份及恢复方式仅采用“三副本”方式进行存储，若人为原因误删数据将导致数据永久性丢失，因此，存在数据的安全隐患问题为了解决该问题，本申请实施例中提供了相关的解决方案，以下详细说明。

根据本申请实施例，提供了一种数据的处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的数据处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的数据处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

图2是根据本申请实施例提供的一种数据的处理方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取第一测试表的测试数据，以及测试数据被访问的频次，其中，第一测试表存储在数据中台。

在步骤S202中，在数据中台中创建测试表，将数据中台的测试数据存储在测试表中，同时，获取测试数据被访问的频次。

步骤S204，根据频次将测试数据分为第一类测试数据，第二类测试数据和第三类测试数据，其中，第一类测试数据被访问的频次大于第二类测试数据被访问的频次，第二类测试数据被访问的频次大于第三类测试数据被访问的频次。

在步骤S204中，根据测试数据被访问的将测试数据分类为被频繁访问的热数据(即第一类测试数据)、被访问较频繁的温数据(即第二类测试数据)和不经常被访问的冷数据(即第三类测试数据)；例如，热数据是半年以内被访问过的数据，温数据是半年到一年之间被访问过的数据，冷数据是一年之内未被访问过的数据。

步骤S206，将第二类测试数据和第三类测试数据通过目标工具存储到目标数据库的第二测试表，其中，第二测试表与第一测试表存在对应关系。

在步骤S206中，在RDS中创建测试表(即第二测试表)，将数据中台测试表(即第一测试表)中的温数据和冷数据通过Dataworks-DI工具(即目标工具)将数据同步到RDS测试表当中，存储在RDS测试表(即第二测试表)中。

步骤S208，对第二类测试数据和第三类测试数据进行备份，得到备份数据；对目标数据库进行备份，得到备份数据库。

在步骤S208中，在RDS云数据库管理页面，选择目标实例进行备份操作，例如，选择存储在RDS测试表(即第二测试表)中的温数据(即第二类测试数据)和冷数据(即第三类测试数据)进行备份，得到备份数据，或者直接对RDS数据单表备份，得到备份数据库。

步骤S210，当第二类测试数据或第三类测试数据被误删时，通过目标数据库中的目标组件，备份数据和备份数据库对第二类测试数据或第三类测试数据进行恢复处理。

在步骤S210中，当数据中台中的温数据(即第二类测试数据)和冷数据(即第三类测试数据)被误删除时，在RDS云数据库管理页面选择备份第二类测试数据和第三类测试数据，并确定数据恢复的区域，规格，网络类型等参数，系统将依据设置的参数，通过RDS自带的数据备份工具(RDSBackup)(即目标工具)对温数据和冷数据进行恢复处理。

通过上述步骤，通过全局数据存储和备份恢复方法，将数据中台各组件数据统一划分成冷热温数据类型，结合不同存储组件的特点和存储能力，合理规划组件的利用方式，制定数据存储备份策略，可以实现优化存储资源，提高数据容灾能力，提高数据恢复的时效性安全性和完整性的技术效果。

根据本申请一个可选的实施例，在将第二类测试数据和第三类测试数据通过目标工具存储到目标数据库的第二测试表之后，数据的处理方法包括：获取第一测试表中的第二类测试数据和第三类数据；将第二测试表中的第二类测试数据和第一测试表中的第二类测试数据进行对比，得到第一对比结果；将第二测试表中的第三类测试数据和第一测试表中的第三类测试数据进行对比，得到第二对比结果；如果第一对比结果和第二对比结果均为预设值，确定目标数据库完整存储测试数据；如果第一对比结果或者第二对比结果不是预设值，确定目标数据库未完整存储测试数据。

在本实施例中，在将数据中台中的测试数据(包括第二类测试数据和第三类测试数据)存储到RDS测试表(即第二测试表)中之后，通过以下方法对存储数据的完整性进行校验，将存储在RDS测试表(即第二测试表)中的测试数据与数据中台中的原始数据对比，如果根据对比结果，确定存储在RDS测试表(即第二测试表)中的测试数据与数据中台中的原始数据完全一致，则确定数据存储的完整率为100％(即预设值)，确定数据存储资源使用效率及数据完整率皆可满足存储需求。否则，如果根据对比结果，确定存储在RDS测试表(即第二测试表)中的测试数据与数据中台中的原始数据不完全一致，则确定数据存储的完整率未达到100％(即预设值)。

根据本申请另一个可选的实施例，对第二类测试数据和第三类测试数据进行备份，得到备份数据，包括以下步骤：确定备份参数，其中，备份参数包括至少以下之一：备份周期，备份时刻和备份时长；依据备份参数对第二类测试数据和第三类测试数据进行备份，得到备份数据。

本申请实施例提供了两种数据的备份方式，一种是对测试数据备份，另一种的直接对RDS数据单表(即数据库)进行备份，在本实施例中，对数据备份的方法如下：在RDS云数据库管理页面，选择目标实例进行备份操作，根据备份现状要求设置备份的数据周期(即备份周期)、备份时间(即备份时刻)，备份时长等参数然后提交，使系统依据设置的备份参数对选中的数据备份。例如，在RDS云数据库管理页面，选择目标实例为第二类测试数据和第三类测试数据，将被备份数据大小设置为1.01GB，备份周期设置为每周，备份时刻设置为星期一、星期三、星期五和星期日的凌晨四点，备份时长设置为1小时，系统即可在每周的星期一、星期三、星期五和星期日的凌晨四点到五点对第二类测试数据和第三类测试数据备份，同时系统还将显示数据备份的数据量，备份数据耗时和备份速度，例如当备份数据量为1.01GB时，耗时为101秒，约为2分钟，备份速度约为8.62MB/s。

根据本申请一些优选的实施例，对目标数据库进行备份，得到备份数据库，包括：通过目标工具，将目标数据库中的目标数据写入目标文件中，得到备份数据库，其中，目标数据为目标数据库中以二维表格形式存储的数据。

如上一实施例中提及的，本实施例提供了一种对数据库备份的方法，具体方法如下：将RDS中的以二维表格形式存储的结构化数据(即目标数据)通过编程语言(python)编写的脚本写入一个文档形式的文件中，如，写入文档文件Lineitem.txt中，将RDS的结构化数据(即目标数据)写入文本形式的文件(即目标文件)中，使得结构化数据不用被压缩就被转变为非结构化形式的数据，并且容易被查阅和编辑。在将RDS结构化数据写入文档文件Lineitem.txt之后，将其上传到云存储服务(Object Storage Service，OSS)中，完成数据的备份。另外，在系统进行数据备份时，还能够显示备份文件的大小，备份速度，备份耗时，系统备份时中央处理器的情况和内存情况的等系统参数，例如，当显示备份文件的大小为100.79MB时，显示单线程备份速度为0.9MB/s，备份总时长为19分钟。中央处理器最高达24.85％，内存最高达24.69％。

根据本申请一个可选的实施例，在获取第一测试表中的测试数据之前，数据的处理方法包括：运行预设脚本，得到测试数据；确定第一测试表，并将测试数据存储至第一测试表。

在本实施例中，数据中台中存储的测试数据通过以下方法得到：在数据中台创建测试表(即第一测试表)，通过自行创建的脚本(即预设脚本)运行生成一定数量的测试数据，经测试数据存储在创建的测试表(即第一测试表)中；例如，运行脚本得到了600万条测试数据，则将这600万条测试数据存储在测试表(即第一测试表)中。

根据本申请另一些优选的实施例，数据的处理方法还包括：通过预设脚本加载目标文件；解析目标文件，得到目标数据，以恢复目标数据库。

本申请实施例提供了三种恢复数据的方法，除上述的通过RDS自带的数据备份工具(RDSBackup)(即目标工具)能够对温数据和冷数据进行恢复处理之外，还包括本实施例中的通过编程语言(Python)编写的脚本对数据进行恢复处理，方法如下：通过在数据中下载存储了RDS的结构化数据(即目标数据)的文档类型(TXT格式)的文件，该文档类型的文件中以非结构的形式存储RDS的结构化数据(即目标数据)；利用编程语言(Python)编写的脚本解析该文档类型的文件，已将非结构化数据还原为结构化数据，铜鼓上述步骤，系统即可实现数据的恢复，另外系统还能够显示恢复数据的耗时，恢复数据的速度，恢复数据是系统处理器和内存的情况等系统恢复数据时的系统参数；例如，显示恢复数据的总耗时为16分钟，恢复速度为1.06MB/s，恢复期间系统中央处理器占比最高达20.42％，内存占比24.74％。

根据本申请另一个可选的实施例，数据的处理方法还包括：通过目标工具获取第二类测试数据和第三类测试数据；确定目标链路的数量，其中，目标链路为同时传输的第二类测试数据和第三类测试数据的链路；通过目标链路将第二类测试数据和第三类测试数据传输至目标数据库，以恢复第二类测试数据和第三类测试数据。

本实施例中利用Dataworks-DI工具对数据进行恢复处理，具体方法如下，利用Dataworks-DI工具(即目标工具)从MaxCompute分析层表中获取要恢复的数据(即第二类测试数据和第三类测试数据)，配置同时传输数据的数据链路(及目标链路)的数量，通过数据链路(即目标链路)将MaxCompute分析层表中的数据传输到RDS中，完成数据的恢复；另外，在进行数据恢复是，系统还显示配置的并发数(即同时传输数据的数据链路的数量)，恢复数据的耗时，平均数据流量以及传输数据的数目，例如，系统显示配置并发数为10，耗时为122s，平均流量5.21MB/S，数据条目数为600万条，数据无丢失。

图3是根据本申请实施例提供的一种数据的处理装置的结构图，如图3所示，该装置包括：获取模块30，用于获取第一测试表的测试数据，以及测试数据被访问的频次，其中，第一测试表存储在数据中台；分类模块32，用于根据频次将测试数据分为第一类测试数据，第二类测试数据和第三类测试数据，其中，第一类测试数据被访问的频次大于第二类测试数据被访问的频次，第二类测试数据被访问的频次大于第三类测试数据被访问的频次；存储模块34，用于将第二类测试数据和第三类测试数据通过目标工具存储到目标数据库的第二测试表，其中，第二测试表与第一测试表存在对应关系；备份模块36，用于对第二类测试数据和第三类测试数据进行备份，得到备份数据；对目标数据库进行备份，得到备份数据库；恢复模块38，用于在第二类测试数据或第三类测试数据被误删时，通过目标数据库中的目标组件，备份数据和备份数据库对第二类测试数据或第三类测试数据进行恢复处理。

本实施例提供的数据的处理装置工作时，通过获取模块30，获取数据中台中的测试数据及测试数据被访问的频次，通过分类模块32，依据测试数据被访问的频次将测试数据分类为热数据，温数据和冷数据；通过存储模块34将数据中台中的温、冷数据存储至RDS进行数据存储资源优化；通过备份模块36利用RDS组件自带工具进行数据备份；利用OSS组件对RDS数据单表备份；通过恢复模块38，利用RDS组件自带工具(RDSBackup)进行数据恢复；利用Dataworks-DI工具进行数据恢复；利用自定义脚本进行数据恢复。

需要说明的是，图3所示实施例的优选实施方式可以参见图2所示实施例的相关描述，此处不再赘述。

通过本申请实施例提供的方法，通过采用跨介质存储及备份方式，极大地提升数据存储资源的使用效率，达到了“重要数据本介质存储，其他数据跨介质存储”的目标，使数据中台存储空间资源紧张的局面得到了改善，提升了数据中台运行效率；将数据中台数据备份由单一的备份方式扩展两种备份方式，数据恢复方式由单一的数据恢复方式扩展三种数据恢复方式，扩充了数据备份和恢复渠道，运维人员可根据实际需求选择合理的备份及恢复方式，具有更多选择性，同时，保障数据备份和恢复安全性。

本申请实施例还提供了一种非易失性存储介质，该非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行以上的数据的处理方法。

上述非易失性存储介质用于存储执行以下功能的程序：获取第一测试表的测试数据，以及测试数据被访问的频次，其中，第一测试表存储在数据中台；根据频次将测试数据分为第一类测试数据，第二类测试数据和第三类测试数据，其中，第一类测试数据被访问的频次大于第二类测试数据被访问的频次，第二类测试数据被访问的频次大于第三类测试数据被访问的频次；将第二类测试数据和第三类测试数据通过目标工具存储到目标数据库的第二测试表，其中，第二测试表与第一测试表存在对应关系；对第二类测试数据和第三类测试数据进行备份，得到备份数据；对目标数据库进行备份，得到备份数据库；当第二类测试数据或第三类测试数据被误删时，通过目标数据库中的目标组件，备份数据和备份数据库对第二类测试数据或第三类测试数据进行恢复处理。

本申请实施例的还提供了一种电子设备，包括：存储器和处理器，该处理器用于运行存储在存储器中的程序，其中，程序运行时执行以上的数据的处理方法。

上述电子设备用于执行以下功能的程序：获取第一测试表的测试数据，以及测试数据被访问的频次，其中，第一测试表存储在数据中台；根据频次将测试数据分为第一类测试数据，第二类测试数据和第三类测试数据，其中，第一类测试数据被访问的频次大于第二类测试数据被访问的频次，第二类测试数据被访问的频次大于第三类测试数据被访问的频次；将第二类测试数据和第三类测试数据通过目标工具存储到目标数据库的第二测试表，其中，第二测试表与第一测试表存在对应关系；对第二类测试数据和第三类测试数据进行备份，得到备份数据；对目标数据库进行备份，得到备份数据库；当第二类测试数据或第三类测试数据被误删时，通过目标数据库中的目标组件，备份数据和备份数据库对第二类测试数据或第三类测试数据进行恢复处理。

需要说明的是，上述数据的处理装置中的各个模块可以是程序模块(例如是实现某种特定功能的程序指令集合)，也可以是硬件模块，对于后者，其可以表现为以下形式，但不限于此：上述各个模块的表现形式均为一个处理器，或者，上述各个模块的功能通过一个处理器实现。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种数据的处理方法，其特征在于，包括：

获取第一测试表的测试数据，以及所述测试数据被访问的频次，其中，所述第一测试表存储在数据中台；

根据所述频次将所述测试数据分为第一类测试数据，第二类测试数据和第三类测试数据，其中，所述第一类测试数据被访问的频次大于所述第二类测试数据被访问的频次，所述第二类测试数据被访问的频次大于所述第三类测试数据被访问的频次；

将所述第二类测试数据和所述第三类测试数据通过目标工具存储到目标数据库的第二测试表，其中，所述第二测试表与所述第一测试表存在对应关系；

对所述第二类测试数据和所述第三类测试数据进行备份，得到备份数据；对所述目标数据库进行备份，得到备份数据库；

当所述第二类测试数据或所述第三类测试数据被误删时，通过所述目标数据库中的目标组件，所述备份数据和所述备份数据库对所述第二类测试数据或所述第三类测试数据进行恢复处理。

2.根据权利要求1所述的方法，其特征在于，在将所述第二类测试数据和所述第三类测试数据通过目标工具存储到目标数据库的第二测试表之后，所述方法包括：

获取所述第一测试表中的第二类测试数据和第三类数据；

将所述第二测试表中的第二类测试数据和所述第一测试表中的第二类测试数据进行对比，得到第一对比结果；

将所述第二测试表中的第三类测试数据和所述第一测试表中的第三类测试数据进行对比，得到第二对比结果；

如果所述第一对比结果和所述第二对比结果均为预设值，确定所述目标数据库完整存储所述测试数据；

如果所述第一对比结果或者所述第二对比结果不是所述预设值，确定所述目标数据库未完整存储所述测试数据。

3.根据权利要求1所述的方法，其特征在于，对所述第二类测试数据和所述第三类测试数据进行备份，得到备份数据，包括：

确定备份参数，其中，所述备份参数包括至少以下之一：备份周期，备份时刻和备份时长；

依据所述备份参数对所述第二类测试数据和所述第三类测试数据进行备份，得到所述备份数据。

4.根据权利要求1所述的方法，其特征在于，对所述目标数据库进行备份，得到备份数据库，包括：

通过所述目标工具，将所述目标数据库中的目标数据写入目标文件中，得到所述备份数据库，其中，所述目标数据为所述目标数据库中以二维表格形式存储的数据。

5.根据权利要求4所述的方法，其特征在于，在获取第一测试表中的测试数据之前，所述方法包括：

运行预设脚本，得到所述测试数据；

确定所述第一测试表，并将所述测试数据存储至所述第一测试表。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

通过所述预设脚本加载所述目标文件；

解析所述目标文件，得到所述目标数据，以恢复所述目标数据库。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述目标工具获取所述第二类测试数据和所述第三类测试数据；

确定目标链路的数量，其中，所述目标链路为同时传输的所述第二类测试数据和所述第三类测试数据的链路；

通过所述目标链路将所述第二类测试数据和所述第三类测试数据传输至所述目标数据库，以恢复所述第二类测试数据和所述第三类测试数据。

8.一种数据的处理装置，其特征在于，包括：

获取模块，用于获取第一测试表的测试数据，以及所述测试数据被访问的频次，其中，所述第一测试表存储在数据中台；

分类模块，用于根据所述频次将所述测试数据分为第一类测试数据，第二类测试数据和第三类测试数据，其中，所述第一类测试数据被访问的频次大于所述第二类测试数据被访问的频次，所述第二类测试数据被访问的频次大于所述第三类测试数据被访问的频次；

存储模块，用于将所述第二类测试数据和所述第三类测试数据通过目标工具存储到目标数据库的第二测试表，其中，所述第二测试表与所述第一测试表存在对应关系；

备份模块，用于对所述第二类测试数据和所述第三类测试数据进行备份，得到备份数据；对所述目标数据库进行备份，得到备份数据库；

恢复模块，用于在所述第二类测试数据或所述第三类测试数据被误删时，通过所述目标数据库中的目标组件，所述备份数据和所述备份数据库对所述第二类测试数据或所述第三类测试数据进行恢复处理。

9.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述的数据的处理方法。

10.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的数据的处理方法。

Images