CN113468154A - 基于MySQL的大表减容方法、装置、电子装置和存储介质 - Google Patents
基于MySQL的大表减容方法、装置、电子装置和存储介质 Download PDFInfo
- Publication number
- CN113468154A CN113468154A CN202110714099.1A CN202110714099A CN113468154A CN 113468154 A CN113468154 A CN 113468154A CN 202110714099 A CN202110714099 A CN 202110714099A CN 113468154 A CN113468154 A CN 113468154A
- Authority
- CN
- China
- Prior art keywords
- data
- mysql
- source data
- volume reduction
- reduction method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 title claims description 43
- 238000004590 computer program Methods 0.000 claims description 16
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 241001233242 Lontra Species 0.000 claims description 9
- 238000000638 solvent extraction Methods 0.000 abstract description 41
- 238000000034 method Methods 0.000 abstract description 22
- 238000011161 development Methods 0.000 abstract description 11
- 230000018109 developmental process Effects 0.000 abstract description 11
- 230000033772 system development Effects 0.000 abstract description 6
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012217 deletion Methods 0.000 description 6
- 230000037430 deletion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 206010048669 Terminal state Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Abstract
本申请涉及一种基于MySQL的大表减容方法、装置、电子装置和存储介质，通过对MySQL中的源数据进行同步，得到全量数据；然后通过调度任务，将所述源数据中符合预设条件的数据进行删除或归档。其通过将源数据同步备份，以用于全量数据查询，然后再将源数据根据实际需要删除一部分数据实现大表减容，避免了现有技术中无法统一分库分表规则导致的应用系统开发层面复杂、分库分表之后的关联查询以及跨库跨表事务的问题，无需基于客户端分表分库，系统开发简单。
Description
技术领域
本申请涉及大数据技术领域，特别是涉及一种基于MySQL的大表减容方法、装置、电子装置和存储介质。
背景技术
随着业务的发展，产生的数据越来越多。数据库产品(例如，MySQL，Oracle，PostgreSQL，和SQLServer等)中，单表存储的数据行数或者数据大小达到一定量级就称为大表。大表给数据库本身的服务性能造成瓶颈，最终影响应用系统性能及产品体验。
要解决单表数据容量问题，只有在物理上进行切割才能达到目的。目前针对MySQL单表容量问题的主要解决方案是，采用分库分表中间件(例如Shardingsphere，TDDL，和MyCat等)，将大表拆分为多张子表，缓解单表数据容量瓶颈的问题。
分库分表中间件是一种客户端代理的解决方案，因为无法统一分库分表规则，所以应用系统开发层面复杂，技术改造成本大，并且无法彻底解决分库分表之后的关联查询以及跨库跨表事务的问题。
针对相关技术中存在无法统一分库分表规则导致应用系统开发层面复杂、分库分表之后的关联查询以及跨库跨表事务的问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种基于MySQL(关系型数据库管理系统)的大表减容方法、装置、电子装置和存储介质，以解决相关技术中存在无法统一分库分表规则导致应用系统开发层面复杂、分库分表之后的关联查询以及跨库跨表事务的问题。
第一个方面，在本实施例中提供了一种基于MySQL的大表减容方法，该方法包括：
对MySQL中的源数据进行同步，得到全量数据；
通过调度任务，将所述源数据中符合预设条件的数据进行删除或归档。
在其中的一些实施例中，所述对MySQL中的源数据进行同步，得到全量数据，包括：
将MySQL中的所述源数据同步至TiDB(分布式关系型数据库)，得到所述全量数据。
在其中的一些实施例中，利用Otter将所述源数据同步至TiDB，得到所述全量数据。
在其中的一些实施例中，所述对MySQL中的源数据进行同步，得到全量数据，包括：
利用Sqoop，将所述源数据同步至HDFS(分布式文件系统)，得到所述全量数据。
在其中的一些实施例中，所述任务通过执行pt-archive程序，删除或归档所述源数据中符合所述预设条件的数据。
在其中的一些实施例中，所述通过调度任务，将所述源数据中符合预设条件的数据进行删除或归档，包括：
将所述源数据按照业务状态进行分类，然后通过调度所述任务，将所述源数据中符合指定业务状态类别的数据进行删除或归档。
在其中的一些实施例中，所述通过调度任务，将所述源数据中符合预设条件的数据进行删除或归档，包括：
将所述源数据按照时间进行分类，然后通过调度所述任务，将所述源数据中符合指定时间类别的数据进行删除或归档。
第二个方面，在本实施例中提供了一种基于MySQL的大表减容装置，该装置包括数据同步模块和数据切割模块；
所述数据同步模块，用于对MySQL中的源数据进行同步，得到全量数据；
所述数据切割模块，用于通过调度任务，将所述源数据中符合预设条件的数据进行删除或归档。
在其中的一些实施例中，所述数据同步模块用于将MySQL中的所述源数据同步至TiDB，得到所述全量数据。
进一步地，所述数据同步模块利用Otter将所述源数据同步至TiDB，得到所述全量数据。
在其中的另一些实施例中，所述数据同步模块利用Sqoop，将所述源数据同步至HDFS，得到所述全量数据。
在其中的一些实施例中，所述任务通过执行pt-archive程序，删除或归档所述源数据中符合所述预设条件的数据。
在其中的一些实施例中，所述数据切割模块用于将所述源数据按照业务状态进行分类，然后通过调度所述任务，将所述源数据中符合指定业务状态类别的数据进行删除或归档。
在其中的一些实施例中，所述数据切割模块用于将所述源数据按照时间进行分类，然后通过调度所述任务，将所述源数据中符合指定时间类别的数据进行删除或归档。
第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的基于MySQL的大表减容方法方法。
第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的基于MySQL的大表减容方法。
与相关技术相比，本申请提供的基于MySQL的大表减容方法、装置、电子装置和存储介质，首先通过将源数据同步备份，以用于全量数据查询，然后再将源数据根据实际需要删除一部分数据实现大表减容。本申请避免了现有技术中无法统一分库分表规则导致的应用系统开发层面复杂、分库分表之后的关联查询以及跨库跨表事务的问题，无需基于客户端分表分库，系统开发简单。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例提供的基于MySQL的大表减容方法的应用服务器的硬件结构框图；
图2是本申请实施例提供的基于MySQL的大表减容方法的流程图；
图3是本申请实施例提供的基于MySQL的大表减容方法的任务调度架构示意图；
图4是本申请实施例提供的基于MySQL的大表减容装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、服务器或者类似的运算装置中执行。比如在服务器上运行，图1是本实施例的基于MySQL的大表减容方法的服务器的硬件结构框图。如图1所示，该服务器可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述服务器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述服务器的结构造成限制。例如，服务器还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的大表减容方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括服务器的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种基于MySQL的大表减容方法，图2是本实施例的大表减容方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，对MySQL中的源数据进行同步，得到全量数据。
由于在实际业务场景中，存在需要基于全量数据取数的场景，比如查询个人历史的所有账单或交易信息，就需要查询全量数据。这一步骤在对数据进行物理切割之前同步一份全量数据，以满足需要全量数据的业务场景。这个同步过程可以持续进行，保证数据的完整性。
步骤S202，通过调度任务，将源数据中符合预设条件的数据进行删除或归档。
为了解决大表容量问题，唯一的做法就是对数据进行物理删除，即将部分数据从原表中删除。大部分实际业务场景关注的都是非终态数据，比如未完成的交易订单的相关数据属于非终态数据，而已经完成的交易订单的相关数据是不再变化的数据，即终态数据。因此可以根据实际业务需要，设定合理的条件，保留线上近期活跃的非终态数据，删除不再变化的终态数据。本实施例通过调度任务，自动删除或归档符合预设条件的数据，将大表切割为小表，使表中数据永远保持在一个合理的水平。
具体地，可以根据数据的业务状态或时间，对大表中的源数据进行切割。业务状态指的是业务所处的状态，例如，针对订单场景，业务状态可以是交易中、支付成功、支付失败或已结束等状态。时间指的是与业务有关的时间，比如交易订单的创建时间。通常情况下，只有近期的订单是未完成或未关闭的，处于待支付、运输中或者没有确认收货，其它时间的订单都是已完结的，相关的数据也不再变化，因此可以将非近期的，比如1个月或者3个月以前创建的订单的数据从表中删除。具体地，可以将源数据按照业务状态或时间进行分类，然后通过调度任务将源数据中符合指定业务状态或时间的数据进行删除或归档。以上是以时间和业务状态维度为例，本申请提供的基于MySQL的大表减容方法也适用于根据其他业务维度设置预设条件，通过调度任务，将源数据中符合该预设条件的数据进行删除或归档。
现有的采用分库分表中间件的大表减容方法，将数据拆分为多个物理块，分散存储在不同的数据库或表上，在需要全量数据的业务场景中，需要将分散在不同数据库或表中的数据整合在一起形成一份完整的数据。因为分库分表中间件的操作是基于客户端的，对于不同的业务数据无法统一分库分表规则，所以系统开发层面比较复杂，需要根据分库分表规则去实现。而本实施例提供的大表减容方法，首先通过将源数据同步备份，以用于全量数据查询，然后再将源数据根据实际需要删除一部分数据实现大表减容。本申请避免了现有技术中无法统一分库分表规则导致的应用系统开发层面复杂、分库分表之后的关联查询以及跨库跨表事务的问题，无需基于客户端分表分库，系统开发简单。
在其中的一些实施例中，上述步骤S201，对MySQL中的源数据进行同步，得到全量数据，可以通过以下步骤实现：将MySQL中的源数据同步至TiDB，得到全量数据。
需要说明的是，TIDB是兼容MySQL协议的，且由于TiDB具备无限水平扩容的能力，所以，本实施例中将MySQL中的源数据同步至TiDB，可以有效解决互联网场景下的数据持续增长，数据库存储容量瓶颈的问题。此外，通过将复杂的分库分表逻辑封装在产品体系内，极大的简化了使用者的成本和复杂度。数据同步完成后，不管是大数据方案，还是基于TiDB或者同步到离线的MySQL数据库，都可以提供标准的Restful接口给应用，可以大大简化应用的接入成本。
进一步地，作为一种可实施方式，利用Otter将源数据同步至TiDB，得到全量数据。
需要说明的是，Otter是一种开源的数据同步中间件，业务上可以基于Otter做一些定制开发，脚本配置，灵活性较高。此外，如上，TIDB是兼容MySQL协议的，所以也可以基于MySQL的BinLog方式进行同步。
对MySQL中的源数据进行同步，得到全量数据，包括：
在其中的另一些实施例中，上述步骤S201，对MySQL中的源数据进行同步，得到全量数据，还可以通过以下步骤实现：利用Sqoop，将源数据同步至HDFS，得到全量数据。
为了保证数据的完整性，将数据物理删除前，利用Sqoop将源数据从MySQL同步到HDFS中。Sqoop可以提供大数据同步能力，利用大数据方案，给业务提供全量数据取数的能力。通过Sqoop同步数据到HDFS是大数据领域比较成熟的方案，此处不再冗述。
以上，主要提供了对MySQL中的源数据进行同步，得到全量数据的实现方式。在数据完成同步之后，为了解决数据容量问题，接下来就是对数据进行物理瘦身，也就是物理删除。
作为一种可实施方式，本申请通过调度任务，将源数据中符合预设条件的数据进行删除或归档，完成对数据的物理删除。其中的任务通过执行pt-archive程序，删除或归档源数据中符合预设条件的数据。
具体地，源数据可以是待切割的业务数据，预设条件的数据可以是符合实际业务场景的一个或多个和业务强相关的维度的业务数据。比如，大部分实际业务场景关注的都是非终态数据，即数据状态为在途未处理完毕的数据，可以根据实际业务需要，设定合理的时间或者状态条件，保留线上近期活跃的热数据。通过调度任务，执行pt-archive程序，将符合预设条件的数据删除或归档，实现物理切割，最终使线上数据永远保持在一个合理的水平，通常可以将数据的状态和时间等作为数据物理切割的维度。
可以将待切割的业务数据按照时间先后顺序或者状态等维度进行分类，然后通过不同的任务来执行数据的物理删除。本实施例中采用pt-archive数据归档和删除软件，利用调度任务，根据实际业务场景执行数据的归档和删除操作。这里的删除就是物理删除，将数据从源数据中清理掉，最终达到大表数据瘦身的效果。
在其中的一些实施例中，上述步骤S202，通过调度任务，将源数据中符合预设条件的数据进行删除或归档，包括：
将源数据按照业务状态进行分类，然后通过调度任务，将源数据中符合指定业务状态类别的数据进行删除或归档。例如，针对订单场景，业务状态可以是交易中、支付成功、支付失败或已结束等状态。
在其中的另一些实施例中，上述步骤S202，通过调度任务，将源数据中符合预设条件的数据进行删除或归档，包括：
将源数据按照时间进行分类，然后通过调度任务，将源数据中符合指定时间类别的数据进行删除或归档。例如，针对订单场景，时间指的是与业务有关的时间，比如交易订单的创建时间、交易订单的更新时间、交易订单的结束时间等。
可以根据实际业务场景对源数据按照不同维度进行分类，然后通过调度任务，将源数据中符合指定业务状态类别的数据进行删除或归档。
进一步地，在上述实施例提供的基于MySQL的大表减容方法的整个实施过程中，还提供了任务监控机制，监控整个数据处理过程。例如，在数据同步成功得到全量数据后，和/或将源数据中符合预设条件的数据进行删除或归档后，进行任务完成提示。在数据同步失败，和/或将源数据中符合指定业务状态类别的数据进行删除或归档失败后，发出异常告警，并进行重跑等。
进一步地，还可以通过配置管理及数据报表，确保数据切割任务的灵活性、可靠性，以及实现数据可视化呈现。例如，可以根据业务需要灵活配置管理不同的数据源、服务器、IP、端口、账号、密码、业务条件等，确保数据切割任务的灵活性和可靠性。其中，业务条件为调度任务执行时数据归档的条件，根据业务的不同，业务条件可以灵活定制。
参见图3，图3提供了上述基于MySQL的大表减容方法的任务调度架构，该任务调度架构包括处理器、源数据、业务数据、任务、数据报表、任务监控以及配置中心。其中，数据报表用于实现数据可视化呈现；任务监控用于监控整个数据处理过程，根据数据处理情况进行对应的提示、异常告警等；配置中心，可以实现根据业务需要灵活配置管理不同的数据源、服务器、IP、端口、账号、密码、业务条件等，确保数据切割任务的灵活性和可靠性。
本申请实施例提供的基于MySQL的大表减容方法，首先通过将源数据同步备份，以用于全量数据查询，然后再将源数据根据实际需要删除一部分数据实现大表减容。避免了现有技术中无法统一分库分表规则导致的应用系统开发层面复杂、分库分表之后的关联查询以及跨库跨表事务的问题，无需基于客户端分表分库，系统开发简单。而且，通过pt-archive程序和任务调度，能完成数据的自动归档和自动物理删除，将大表切割为小表，实现自动减容并保证数据永远保持在一个相对稳定的水平，确保业务平稳发展；数据同步完成后，不管是大数据方案，还是基于TiDB或者同步到离线的MySQL数据库，都可以提供标准的Restful接口给应用，提供全量数据取数的能力，业务上可以根据实际需要获取全量数据，极大简化了应用接入成本、减少了复杂度。
在本实施例中还提供了一种基于MySQL的大表减容装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是本实施例的基于MySQL的大表减容装置的结构框图，如图4所示，该装置包括：数据同步模块401和数据切割模块402；
数据同步模块401用于对MySQL中的源数据进行同步，得到全量数据；
数据切割模块402用于通过调度任务，将源数据中符合预设条件的数据进行删除或归档。
在其中的一些实施例中，数据同步模块401将MySQL中的源数据同步至TiDB，得到全量数据。
进一步地，数据同步模块401利用Otter将源数据同步至TiDB，得到全量数据。
在其中的另一些实施例中，数据同步模块401利用Sqoop，将源数据同步至HDFS，得到全量数据。
在其中的一些实施例中，任务通过执行pt-archive程序，删除或归档源数据中符合预设条件的数据。
在其中的一些实施例中，数据切割模块402将源数据按照业务状态进行分类，然后通过调度任务，将源数据中符合指定业务状态类别的数据进行删除或归档。
在其中的另一些实施例中，数据切割模块402将源数据按照时间进行分类，然后通过调度任务，将源数据中符合指定时间类别的数据进行删除或归档。
本实施例提供的基于MySQL的大表减容装置，首先通过将源数据同步备份，以用于全量数据查询，然后再将源数据根据实际需要删除一部分数据实现大表减容。本申请避免了现有技术中无法统一分库分表规则导致的应用系统开发层面复杂、分库分表之后的关联查询以及跨库跨表事务的问题，无需基于客户端分表分库，系统开发简单。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项基于MySQL的大表减容方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对MySQL中的源数据进行同步，得到全量数据；
S2，通过调度任务，将源数据中符合预设条件的数据进行删除或归档。
在其中的一些实施例中，对MySQL中的源数据进行同步，得到全量数据，包括：MySQL中的源数据同步至TiDB，得到全量数据。
进一步地，利用Otter将源数据同步至TiDB，得到全量数据。
在其中的另一些实施例中，对MySQL中的源数据进行同步，得到全量数据，包括：利用Sqoop，将源数据同步至HDFS，得到全量数据。
在其中的一些实施例中，任务通过执行pt-archive程序，删除或归档源数据中符合预设条件的数据。
在其中的一些实施例中，通过调度任务，将源数据中符合预设条件的数据进行删除或归档，包括：
将源数据按照业务状态进行分类，然后通过调度任务，将源数据中符合指定业务状态类别的数据进行删除或归档；
或，将源数据按照时间进行分类，然后通过调度任务，将源数据中符合指定时间类别的数据进行删除或归档。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的基于MySQL的大表减容方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于MySQL的大表减容方法。
上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对MySQL中的源数据进行同步，得到全量数据；
S2，通过调度任务，将源数据中符合预设条件的数据进行删除或归档。
在其中的一些实施例中，对MySQL中的源数据进行同步，得到全量数据，包括：MySQL中的源数据同步至TiDB，得到全量数据。
进一步地，利用Otter将源数据同步至TiDB，得到全量数据。
在其中的另一些实施例中，对MySQL中的源数据进行同步，得到全量数据，包括：利用Sqoop，将源数据同步至HDFS，得到全量数据。
在其中的一些实施例中，任务通过执行pt-archive程序，删除或归档源数据中符合预设条件的数据。
在其中的一些实施例中，通过调度任务，将源数据中符合预设条件的数据进行删除或归档，包括：
将源数据按照业务状态进行分类，然后通过调度任务，将源数据中符合指定业务状态类别的数据进行删除或归档；
或，将源数据按照时间进行分类，然后通过调度任务，将源数据中符合指定时间类别的数据进行删除或归档。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于MySQL的大表减容方法，其特征在于，包括：
对MySQL中的源数据进行同步，得到全量数据；
通过调度任务，将所述源数据中符合预设条件的数据进行删除或归档。
2.根据权利要求1所述的基于MySQL的大表减容方法，其特征在于，所述对MySQL中的源数据进行同步，得到全量数据，包括：
将MySQL中的所述源数据同步至TiDB，得到所述全量数据。
3.根据权利要求2所述的基于MySQL的大表减容方法，其特征在于，利用Otter将所述源数据同步至TiDB，得到所述全量数据。
4.根据权利要求1所述的基于MySQL的大表减容方法，其特征在于，所述对MySQL中的源数据进行同步，得到全量数据，包括：
利用Sqoop，将所述源数据同步至HDFS，得到所述全量数据。
5.根据权利要求1所述的基于MySQL的大表减容方法，其特征在于，所述任务通过执行pt-archive程序，删除或归档所述源数据中符合所述预设条件的数据。
6.根据权利要求1至5任一项所述的基于MySQL的大表减容方法，其特征在于，所述通过调度任务，将所述源数据中符合预设条件的数据进行删除或归档，包括：
将所述源数据按照业务状态进行分类，然后通过调度所述任务，将所述源数据中符合指定业务状态类别的数据进行删除或归档。
7.根据权利要求1至5任一项所述的基于MySQL的大表减容方法，其特征在于，所述通过调度任务，将所述源数据中符合预设条件的数据进行删除或归档，包括：
将所述源数据按照时间进行分类，然后通过调度所述任务，将所述源数据中符合指定时间类别的数据进行删除或归档。
8.一种基于MySQL的大表减容装置，其特征在于，包括数据同步模块和数据切割模块；
所述数据同步模块，用于对MySQL中的源数据进行同步，得到全量数据；
所述数据切割模块，用于通过调度任务，将所述源数据中符合预设条件的数据进行删除或归档。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于MySQL的大表减容方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于MySQL的大表减容方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110714099.1A CN113468154A (zh) | 2021-06-25 | 2021-06-25 | 基于MySQL的大表减容方法、装置、电子装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110714099.1A CN113468154A (zh) | 2021-06-25 | 2021-06-25 | 基于MySQL的大表减容方法、装置、电子装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113468154A true CN113468154A (zh) | 2021-10-01 |
Family
ID=77873131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110714099.1A Pending CN113468154A (zh) | 2021-06-25 | 2021-06-25 | 基于MySQL的大表减容方法、装置、电子装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468154A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114661687A (zh) * | 2022-03-06 | 2022-06-24 | 中电万维信息技术有限责任公司 | 一种基于ShardingSphere与Fastdfs的分布式文件存储方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107040564A (zh) * | 2016-02-04 | 2017-08-11 | 希姆通信息技术（上海）有限公司 | 云存储的数据同步方法、数据同步服务器及云存储系统 |
| CN108287772A (zh) * | 2017-01-10 | 2018-07-17 | 北京京东尚科信息技术有限公司 | 数据备份系统及方法、计算机可读存储介质及电子设备 |
| CN109460438A (zh) * | 2018-09-26 | 2019-03-12 | 中国平安人寿保险股份有限公司 | 消息数据存储方法、装置、计算机设备和存储介质 |
| CN109582736A (zh) * | 2018-11-22 | 2019-04-05 | 平安科技（深圳）有限公司 | 贷款业务名单表的同步方法、装置和计算机设备 |
| CN110334152A (zh) * | 2019-06-28 | 2019-10-15 | 浙江吉利控股集团有限公司 | 一种数据同步方法、装置及服务器 |
| CN110413690A (zh) * | 2019-07-03 | 2019-11-05 | 杭州数梦工场科技有限公司 | 数据库的数据同步方法、服务器、电子设备、存储介质 |
| CN110597891A (zh) * | 2018-06-12 | 2019-12-20 | 武汉斗鱼网络科技有限公司 | MySQL聚合为PostgreSQL数据库的设备、系统、方法、存储介质 |
| CN111127252A (zh) * | 2019-12-24 | 2020-05-08 | 华中科技大学 | 一种水资源管理决策支持系统的数据管理方法 |
-
2021
- 2021-06-25 CN CN202110714099.1A patent/CN113468154A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107040564A (zh) * | 2016-02-04 | 2017-08-11 | 希姆通信息技术（上海）有限公司 | 云存储的数据同步方法、数据同步服务器及云存储系统 |
| CN108287772A (zh) * | 2017-01-10 | 2018-07-17 | 北京京东尚科信息技术有限公司 | 数据备份系统及方法、计算机可读存储介质及电子设备 |
| CN110597891A (zh) * | 2018-06-12 | 2019-12-20 | 武汉斗鱼网络科技有限公司 | MySQL聚合为PostgreSQL数据库的设备、系统、方法、存储介质 |
| CN109460438A (zh) * | 2018-09-26 | 2019-03-12 | 中国平安人寿保险股份有限公司 | 消息数据存储方法、装置、计算机设备和存储介质 |
| CN109582736A (zh) * | 2018-11-22 | 2019-04-05 | 平安科技（深圳）有限公司 | 贷款业务名单表的同步方法、装置和计算机设备 |
| CN110334152A (zh) * | 2019-06-28 | 2019-10-15 | 浙江吉利控股集团有限公司 | 一种数据同步方法、装置及服务器 |
| CN110413690A (zh) * | 2019-07-03 | 2019-11-05 | 杭州数梦工场科技有限公司 | 数据库的数据同步方法、服务器、电子设备、存储介质 |
| CN111127252A (zh) * | 2019-12-24 | 2020-05-08 | 华中科技大学 | 一种水资源管理决策支持系统的数据管理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 祝小玲，吴碧海: "MySQL数据库应用与项目开发教程", 28 February 2019, 北京：北京理工大学出版社, pages: 236 - 238 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114661687A (zh) * | 2022-03-06 | 2022-06-24 | 中电万维信息技术有限责任公司 | 一种基于ShardingSphere与Fastdfs的分布式文件存储方法 |
| CN114661687B (zh) * | 2022-03-06 | 2024-04-09 | 中电万维信息技术有限责任公司 | 一种基于ShardingSphere与Fastdfs的分布式文件存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7090744B2 (ja) | 分散データベースクラスタシステム、及びデータ同期方法 | |
| US11301425B2 (en) | Systems and computer implemented methods for semantic data compression | |
| CN109144785B (zh) | 用于备份数据的方法和装置 | |
| CN110069495A (zh) | 数据存储方法、装置和终端设备 | |
| CN108874558A (zh) | 分布式事务的消息订阅方法、电子装置及可读存储介质 | |
| CN104584524A (zh) | 聚合中介系统中的数据 | |
| CN112506870B (zh) | 数据仓库增量更新方法、装置及计算机设备 | |
| CN104657497A (zh) | 一种基于分布式计算的海量用电信息并行计算系统及方法 | |
| CN109636304B (zh) | 业务系统的发布方法及装置、存储介质、电子装置 | |
| CN107464151A (zh) | 高并发业务的订单数据处理方法及装置 | |
| CN112685499A (zh) | 一种工作业务流的流程数据同步方法、装置及设备 | |
| CN113468154A (zh) | 基于MySQL的大表减容方法、装置、电子装置和存储介质 | |
| CN104092754B (zh) | 文件存储系统和文件存储方法 | |
| CN113486095A (zh) | 一种民航空管跨网安全数据交换管理平台 | |
| CN110008284A (zh) | 基于数据页预加载及回滚的数据库数据同步方法及设备 | |
| CN112363838A (zh) | 数据处理方法及装置、存储介质、电子装置 | |
| CN113434742A (zh) | 账号的筛选方法和装置、存储介质及电子装置 | |
| CN110716938A (zh) | 数据的汇聚方法及装置、存储介质和电子装置 | |
| CN115952050A (zh) | 机构服务埋点数据的上报方法和装置 | |
| US11727022B2 (en) | Generating a global delta in distributed databases | |
| CN110688355A (zh) | 变更容器状态的方法和装置 | |
| KR101656011B1 (ko) | 빅데이터 기반 고장 모니터링 시스템 및 방법 | |
| CN114461414A (zh) | 基于消息队列的延时消息处理方法、装置、终端和存储介质 | |
| CN112486409A (zh) | 一种自动回收集群云硬盘的方法、系统、终端及存储介质 | |
| CN111008220A (zh) | 数据源的动态识别方法及装置、存储介质和电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |