CN112765184A - 一种基于Mysql分库分表的实时采集方法 - Google Patents

一种基于Mysql分库分表的实时采集方法 Download PDF

Info

Publication number
CN112765184A
CN112765184A CN202110370305.1A CN202110370305A CN112765184A CN 112765184 A CN112765184 A CN 112765184A CN 202110370305 A CN202110370305 A CN 202110370305A CN 112765184 A CN112765184 A CN 112765184A
Authority
CN
China
Prior art keywords
database
information
sub
division
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110370305.1A
Other languages
English (en)
Inventor
田浩兵
张奎
谭巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN202110370305.1A priority Critical patent/CN112765184A/zh
Publication of CN112765184A publication Critical patent/CN112765184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明属于计算机技术领域，尤其涉及一种基于Mysql分库分表的实时采集方法，通过配置化的方式来支持实时采集分库分表数据，通过建立配置信息，填写需采集的数据库IP地址，端口、数据库名和表名，分端口，分库，分表采集；采集程序对与每一个实例通过连接池的方式建立连接；通过监听数据的Binlog日志，实时解析Binlog日志；获取数据库中建表语句的Schema信息，每个字段的数据类型信息存储起来，不同数据类型进入到不同的解析方法类；对于同一张表的分库分表，采集后进行汇总输出，在服务器上通过Shell脚本，启动程序；打印配置表中的信息，对分库分表配置信息；通过Shell脚本遍历出来和程序输出日志中采集的表信息进行对比，打印出未成功采集的表名和采集异常的表名。

Description

一种基于Mysql分库分表的实时采集方法
技术领域
本发明属于计算机技术领域，尤其涉及一种基于Mysql分库分表的实时采集方法。
背景技术
在大数据实时计算方向，数据集成是开始实时计算第一步，在企业中，由于数据量很多，导致数据存储在单库单表存在一定的查询压力；因此，企业一般都采用将同一份数据分开存储和不同库和表，在查询时，将用户路由到指定的库和表，以减轻查询的压力。这对于实时数据采集而言，也需要适应该类分库分表的方法，因此有必要提供一种基于Mysql分库分表的实时采集方法来匹配该类库分表方法。
发明内容
本发明提供了一种基于Mysql分库分表的实时采集方法，提供了一种通过配置化的方式来支持实时采集分库分表数据的方法。
为实现上述目的，本发明提供如下技术方案：
一种基于Mysql分库分表的实施采集方法，包括以下步骤：
步骤1：建立配置信息，填写需要采集的数据库IP地址，端口和数据库名，表名；
步骤2：配置表支持分IP，分端口，分库，分表采集；采集程序对与每一个实例通过连接池的方式建立连接；
步骤3：通过监听数据的Binlog日志，实时解析Binlog日志；获取数据库中建表语句的Schema信息，每个字段的数据类型信息存储起来，不同数据类型进入到不同的解析方法类；最后对于同一张表的分库分表，采集后进行汇总输出，同时通过在采集时根据Binlog日志的时间戳，保证数据的严格有序性；
步骤4：在服务器上通过Shell脚本，启动程序；打印配置表中配置的表信息，对分库分表配置信息；通过Shell脚本遍历出来，和程序输出日志中成功采集的表信息进行对比，打印出未成功采集的表名和采集异常的表名。
与现有技术相比本发明的有益效果是：1.本发明配置的采集分库分表数据，同时采集后，能将数据进行统一汇总输出。
2.通过在采集时根据Binlog日志的时间戳，保证数据的严格有序性。
3.不同数据类型进入到不同的解析方法类，从而达到针对性解析的目的。
附图说明
图1为本发明的系统流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见附图1本发明的一种基于Mysql分库分表的实施采集方法，包括以下步骤：
步骤1：建立配置信息，填写需要采集的数据库IP地址，端口和数据库名，表名；
步骤2：配置表支持分IP，分端口，分库，分表采集；采集程序对与每一个实例通过连接池的方式建立连接；
步骤3：通过监听数据的Binlog日志，实时解析Binlog日志；获取数据库中建表语句的Schema信息，每个字段的数据类型信息存储起来，不同数据类型进入到不同的解析方法类；最后对于同一张表的分库分表，采集后进行汇总输出，同时通过在采集时根据Binlog日志的时间戳，保证数据的严格有序性；
步骤4：在服务器上通过Shell脚本，启动程序；打印配置表中配置的表信息，对分库分表配置信息；通过Shell脚本遍历出来，和程序输出日志中成功采集的表信息进行对比，打印出未成功采集的表名和采集异常的表名。
所述步骤1中提到的建立配置信息，其所述配置信息以中括号扩出多IP，多库，多端口，多表展示。例如，库名为db【1-9】.table【1-9】,表示采集库名db1到db9,表名采集table1到table9。因为可以变化的位置共四位,每个位置有两种情况,因此共16中情况。分别为:
(1)分IP,分端口,分库,分表
(2)分IP,分端口,分库,不分表
(3)分IP,分端口,不分库,分表
(4)分IP,分端口,不分库,不分表
(5)分IP,不分端口,分库,分表
(6)分IP,不分端口,分库,不分表
(7)分IP,不分端口,不分库,分表
(8)分IP,不分端口,不分库,不分表
(9)不分IP,分端口,分库,分表
(10)不分IP,分端口,分库,不分表
(11)不分IP,分端口,不分库,分表
(12)不分IP,分端口,不分库,不分表
(13)不分IP,不分端口,分库,分表
(14)不分IP,不分端口,分库,不分表
(15)不分IP,不分端口,不分库,分表
(16)不分IP,不分端口,不分库,不分表。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (2)

1.一种基于Mysql分库分表的实施采集方法，其特征在于：包括以下步骤：
步骤1：建立配置信息，填写需要采集的数据库IP地址，端口和数据库名，表名；
步骤2：配置表支持分IP，分端口，分库，分表采集；采集程序对与每一个实例通过连接池的方式建立连接；
步骤3：通过监听数据的Binlog日志，实时解析Binlog日志；获取数据库中建表语句的Schema信息，每个字段的数据类型信息存储起来，不同数据类型进入到不同的解析方法类；最后对于同一张表的分库分表，采集后进行汇总输出，同时通过在采集时根据Binlog日志的时间戳，保证数据的严格有序性；
步骤4：在服务器上通过Shell脚本，启动程序；打印配置表中配置的表信息，对分库分表配置信息；通过Shell脚本遍历出来，和程序输出日志中成功采集的表信息进行对比，打印出未成功采集的表名和采集异常的表名。
2.根据权利要求1所述的一种基于Mysql分库分表的实施采集方法，其特征在于：所述步骤1中提到的建立配置信息，其所述配置信息以中括号扩出多IP，多库，多端口，多表展示。
CN202110370305.1A 2021-04-07 2021-04-07 一种基于Mysql分库分表的实时采集方法 Pending CN112765184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110370305.1A CN112765184A (zh) 2021-04-07 2021-04-07 一种基于Mysql分库分表的实时采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110370305.1A CN112765184A (zh) 2021-04-07 2021-04-07 一种基于Mysql分库分表的实时采集方法

Publications (1)

Publication Number Publication Date
CN112765184A true CN112765184A (zh) 2021-05-07

Family

ID=75691164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110370305.1A Pending CN112765184A (zh) 2021-04-07 2021-04-07 一种基于Mysql分库分表的实时采集方法

Country Status (1)

Country Link
CN (1) CN112765184A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377851A (zh) * 2021-06-11 2021-09-10 上海妙一生物科技有限公司 一种数据处理系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915414A (zh) * 2015-06-04 2015-09-16 北京京东尚科信息技术有限公司 数据抽取方法及装置
CN106649804A (zh) * 2016-12-29 2017-05-10 深圳市优必选科技有限公司 数据查询服务器的数据处理方法及装置、数据处理系统
CN106844397A (zh) * 2015-12-07 2017-06-13 阿里巴巴集团控股有限公司 基于分库分表的任务传输方法、装置及系统
CN107958057A (zh) * 2017-11-29 2018-04-24 苏宁云商集团股份有限公司 一种用于异构数据库中数据迁移的代码生成方法及装置
CN108984549A (zh) * 2017-05-31 2018-12-11 北京京东尚科信息技术有限公司 一种基于动态配置数据库的分库分表数据抽取方法和装置
CN109271358A (zh) * 2018-11-15 2019-01-25 深圳乐信软件技术有限公司 数据汇总方法、查询方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915414A (zh) * 2015-06-04 2015-09-16 北京京东尚科信息技术有限公司 数据抽取方法及装置
CN106844397A (zh) * 2015-12-07 2017-06-13 阿里巴巴集团控股有限公司 基于分库分表的任务传输方法、装置及系统
CN106649804A (zh) * 2016-12-29 2017-05-10 深圳市优必选科技有限公司 数据查询服务器的数据处理方法及装置、数据处理系统
CN108984549A (zh) * 2017-05-31 2018-12-11 北京京东尚科信息技术有限公司 一种基于动态配置数据库的分库分表数据抽取方法和装置
CN107958057A (zh) * 2017-11-29 2018-04-24 苏宁云商集团股份有限公司 一种用于异构数据库中数据迁移的代码生成方法及装置
CN109271358A (zh) * 2018-11-15 2019-01-25 深圳乐信软件技术有限公司 数据汇总方法、查询方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377851A (zh) * 2021-06-11 2021-09-10 上海妙一生物科技有限公司 一种数据处理系统及方法

Similar Documents

Publication Publication Date Title
CN111639143B (zh) 数据仓库的数据血缘关系展示方法及装置、电子设备
US8751216B2 (en) Table merging with row data reduction
CN103970902B (zh) 一种大量数据情况下的可靠即时检索方法及系统
WO2021068549A1 (zh) 一种数据处理方法、平台及系统
CN104899295B (zh) 一种异构数据源数据关联分析方法
CN106682147A (zh) 一种基于海量数据的查询方法及装置
CN111339171B (zh) 数据查询的方法、装置及设备
CN107423390A (zh) 一种基于oltp‑olap混合关系型数据库系统内部的数据实时同步算法
CN111125199B (zh) 一种数据库访问方法、装置及电子设备
CN112231407A (zh) PostgreSQL数据库的DDL同步方法、装置、设备和介质
CN112765184A (zh) 一种基于Mysql分库分表的实时采集方法
CN115333966A (zh) 一种基于拓扑的Nginx日志分析方法、系统及设备
CN112579578A (zh) 基于元数据的数据质量管理方法、装置、系统及服务器
CN107220363B (zh) 一种支持全局复杂检索的跨地域查询方法及系统
CN110209578B (zh) 一种信息在线测试平台
CN110134688B (zh) 一种在线社交网络中热点事件数据存储管理方法及系统
CN114866627A (zh) 报文核对方法、装置、处理器及电子设备
CN114925042A (zh) 一种基于图形数据库的元数据关系的构建方法
CN115033639A (zh) 一种生成集群间数据共享的关系图的方法和相关装置
CN110569243B (zh) 一种数据查询方法、数据查询插件和数据查询服务器
CN115858561A (zh) 统一sql的方法、系统、设备及介质
CN117290355B (zh) 一种元数据地图构建系统
CN112784119B (zh) 一种数据查询及同步优化方法及装置
CN117331926B (zh) 一种数据稽核方法、装置、电子设备和存储介质
CN111382170A (zh) 一种语句自动转换方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507

RJ01 Rejection of invention patent application after publication