CN109271455B - 一种数据同步时数据表索引的创建方法 - Google Patents

一种数据同步时数据表索引的创建方法 Download PDF

Info

Publication number
CN109271455B
CN109271455B CN201811338933.6A CN201811338933A CN109271455B CN 109271455 B CN109271455 B CN 109271455B CN 201811338933 A CN201811338933 A CN 201811338933A CN 109271455 B CN109271455 B CN 109271455B
Authority
CN
China
Prior art keywords
index
data
data table
column
creating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811338933.6A
Other languages
English (en)
Other versions
CN109271455A (zh
Inventor
孙峰
付铨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Dream Database Co ltd
Original Assignee
Wuhan Dameng Database Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Dameng Database Co Ltd filed Critical Wuhan Dameng Database Co Ltd
Priority to CN201811338933.6A priority Critical patent/CN109271455B/zh
Publication of CN109271455A publication Critical patent/CN109271455A/zh
Application granted granted Critical
Publication of CN109271455B publication Critical patent/CN109271455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种数据同步时数据表索引的创建方法，包括以下步骤：步骤S1、数据同步前，对待同步的数据表进行采样，获取采样数据；步骤S2、提取所述采样数据中不同值的个数最多的一列作为索引列；步骤S3、提取所述索引列中的所有不同值作为所述数据表的索引。本发明提供的数据同步时数据表索引的创建方法，在数据同步前创建数据表的简略的索引，保证了数据同步的高性能，同时索引创建流程简单方便，索引创建效率高。

Description

一种数据同步时数据表索引的创建方法
技术领域
本发明涉及数据同步技术领域，具体涉及一种数据同步时数据表索引的创建方法。
背景技术
在数据同步过程中，一些数据操作的同步需要用到数据表的索引。如果需要同步的数据表既没有索引也没有主键，则数据同步性能非常的低。这时则需要在执行端执行同步操作前，对数据表创建一个索引。现有索引创建方法需要根据同步性能进行人工判断和干预，效率低下，延迟大，不适用于数据同步免维护的实施。
发明内容
本发明的目的在于克服上述技术不足，提供一种数据同步时数据表索引的创建方法，解决现有技术中同步没有索引的数据表时同步性能低，索引创建需要人工干预的技术问题。
为达到上述技术目的，本发明的技术方案提供一种数据同步时数据表索引的创建方法，包括以下步骤：
步骤S1、数据同步前，对待同步的数据表进行采样，获取采样数据；
步骤S2、提取所述采样数据中不同值的个数最多的一列作为索引列；
步骤S3、提取所述索引列中的所有不同值作为所述数据表的索引。
与现有技术相比，本发明的有益效果包括：本发明在数据同步前，对数据表创建索引，便于后续数据表的数据同步；先对数据表进行采样，然后提取采样数据中不同值最多的一列作为索引列，得到数据表的简略的索引，一方面可以提高数据同步性能，另一方面索引创建方式简单，创建效率高，完全自动运行，不需要人工干预，不会拖慢数据同步的速度。
附图说明
图1是本发明提供的数据同步时数据表索引的创建方法。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1：
如图1所示，本发明的实施例1提供了一种数据同步时数据表索引的创建方法，包括以下步骤：
步骤S1、数据同步前，对待同步的数据表进行采样，获取采样数据；
步骤S2、提取所述采样数据中不同值的个数最多的一列作为索引列；
步骤S3、提取所述索引列中的所有不同值作为所述数据表的索引。
本发明通过对数据表进行采样，提取采样数据中不同值的个数最多的一列作为索引列，进行索引的创建，得到数据表的简略的索引，既满足了数据同步时对数据表索引的需求，保证了数据同步的高性能，同时索引创建流程简单，索引创建及时、效率高。
本发明在数据同步前进行索引的创建，保证了数据同步的高性能，同时索引创建流程简单方便，索引创建速度快。
优选的，所述步骤S1之前还包括：
判断待同步的数据操作是否需要用到数据表的索引，如果需要则转步骤S1，否则结束索引创建流程。
先判断需要同步的数据操作是否需要用到数据表的索引，如果需要再进行创建，不需要则结束流程，避免不必要的索引创建。
优选的，所述判断待同步的数据操作是否需要用到数据表的索引具体为：
判断待同步的数据操作是否为UPDATE操作或DELET操作，如果是则需要用到数据表的索引，否则不需要。
UPDATE操作和DELET操作在同步时均需要用到数据表的索引，因此通过判断数据操作是否为UPDATE操作或DELET操作判断是否需要创建索引。
优选的，所述步骤S1之前还包括：
判断所述数据表的总行数是否大于设定阈值，如果是则转步骤S1，否则结束索引创建流程。
如果数据表的总行数较少，则没必要创建索引。因为数据表的数据量较少，即使在没有索引的情况下进行数据同步时，数据同步性能仍可以保持较高水平，此时进行索引创建再进行数据同步，反而会拉低数据同步性能。
优选的，所述采样数据的总行数为所述设定阈值。
采样数据同样不宜过少，否则影响索引创建的准确性。以设定阈值为采样数据的总行数更方便，创建索引前，直接判断数据表的总行数是否大于设定阈值，如果是，则采样行数为设定阈值的采样数据，否则结束索引创建流程，即可。
优选的，所述步骤S2还包括：
判断所述索引列的不同值的个数是否达到所述采样数据的总行数的设定百分比阈值，如果是则转步骤S3，否则将所述索引列与所述采样数据中的其他列分别组合形成组合索引列，计算各所述组合索引列中不同值的个数，选取不同值的个数最多的组合索引列替代所述索引列并转步骤S3。
如果索引列的不同值的个数过少，则无法很好的起到索引的作用。因此，先判断索引列里不同值的个数是否达到采样数据的总行数的设定百分比阈值。设定百分比阈值可根据具体情况进行设置，本实施例中以设定百分比阈值为80％为例说明。如果索引列里不同值的个数达到采样数据的总行数的80％，则索引列可以很好的起到索引作用，因此直接转步骤S3以索引列为基础创建索引；如果索引列里不同值的个数没有达到采样数据的总行数的80％，说明索引列不能很好的起到索引作用，此时先将索引列与采样数据中其他列分别合并，形成多个组合索引列，然后选取组合索引列中不同值的个数最多的作为新的索引列，代替之前的索引列，然后再转步骤S3以新的索引列为基础创建索引。本实施例有效的提高了索引创建的有效性。
实施例2：
本发明的实施例2提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现以上任一实施例所述的数据同步时数据表索引的创建方法。
本发明提供的计算机存储介质，用于实现上述数据同步时数据表索引的创建方法，因此，上述数据同步时数据表索引的创建方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (4)

1.一种数据同步时数据表索引的创建方法，其特征在于，包括以下步骤：
步骤S1、数据同步前，对待同步的数据表进行采样，获取采样数据；
步骤S2、提取所述采样数据中不同值的个数最多的一列作为索引列；
步骤S3、提取所述索引列中的所有不同值作为所述数据表的索引；
其中，所述步骤S1之前还包括：
判断待同步的数据操作是否需要用到数据表的索引，如果需要则转步骤S1，否则结束索引创建流程，且所述判断待同步的数据操作是否需要用到数据表的索引具体为：判断待同步的数据操作是否为UPDATE操作或DELETE操作，如果是则需要用到数据表的索引，否则不需要；
所述步骤S2还包括：
判断所述索引列的不同值的个数是否达到所述采样数据的总行数的设定百分比阈值，如果是则转步骤S3，否则将所述索引列与所述采样数据中的其他列分别组合形成组合索引列，计算各所述组合索引列中不同值的个数，选取不同值的个数最多的组合索引列替代所述索引列并转步骤S3。
2.根据权利要求1所述的数据同步时数据表索引的创建方法，其特征在于，所述步骤S1之前还包括：
判断所述数据表的总行数是否大于设定阈值，如果是则转步骤S1，否则结束索引创建流程。
3.根据权利要求2所述的数据同步时数据表索引的创建方法，其特征在于，所述采样数据的总行数为所述设定阈值。
4.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-3任一所述的数据同步时数据表索引的创建方法。
CN201811338933.6A 2018-11-12 2018-11-12 一种数据同步时数据表索引的创建方法 Active CN109271455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811338933.6A CN109271455B (zh) 2018-11-12 2018-11-12 一种数据同步时数据表索引的创建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811338933.6A CN109271455B (zh) 2018-11-12 2018-11-12 一种数据同步时数据表索引的创建方法

Publications (2)

Publication Number Publication Date
CN109271455A CN109271455A (zh) 2019-01-25
CN109271455B true CN109271455B (zh) 2021-04-09

Family

ID=65192960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811338933.6A Active CN109271455B (zh) 2018-11-12 2018-11-12 一种数据同步时数据表索引的创建方法

Country Status (1)

Country Link
CN (1) CN109271455B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399375B (zh) * 2019-07-24 2020-06-26 南京云白信息科技有限公司 一种数据表索引创建方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810212A (zh) * 2012-11-14 2014-05-21 阿里巴巴集团控股有限公司 一种数据库索引的自动创建方法及系统
CN108255909A (zh) * 2017-07-27 2018-07-06 平安科技（深圳）有限公司 基于Oracle数据库的数据表备份方法及服务器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675180B2 (en) * 2000-06-06 2004-01-06 Matsushita Electric Industrial Co., Ltd. Data updating apparatus that performs quick restoration processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810212A (zh) * 2012-11-14 2014-05-21 阿里巴巴集团控股有限公司 一种数据库索引的自动创建方法及系统
CN108255909A (zh) * 2017-07-27 2018-07-06 平安科技（深圳）有限公司 基于Oracle数据库的数据表备份方法及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数据库索引的作用优点和缺点;李晓LOVE向阳;《https://blog.csdn.net/u013310119/article/details/52527632》;20160913;第1页 *

Also Published As

Publication number Publication date
CN109271455A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109271455B (zh) 一种数据同步时数据表索引的创建方法
CN105740410A (zh) 一种基于Hbase二级索引的数据统计方法
CN106021985B (zh) 一种基因组数据压缩方法
US8600990B2 (en) Interacting methods of data extraction
CN105447105A (zh) 基于NoSQL的分布式物联网数据的单字段区间索引查询方式
CN108762979B (zh) 一种基于匹配树的终端信息备份方法及备份设备
CN103440193B (zh) 一种快速记录选中信息的方法
CN105653654A (zh) 一种抽奖资格索引系统及方法
CN105302780A (zh) 一种优化的scd文件编辑方法
CN107943912A (zh) 一种响应式资源目录数据可视化管理方法、终端及装置
CN105956070A (zh) 一种整合重复记录的方法及系统
CN105654106A (zh) 一种决策树生成方法及系统
CN109743260A (zh) 一种基于改进的acbm算法对网络流量进行过滤的装置和方法
CN104376054B (zh) 一种持久化实例对象的处理方法及装置
CN103793398A (zh) 检测垃圾数据的方法和装置
CN105426525A (zh) 一种基于数据存储的异构数据整合方法和装置
CN110795473A (zh) 一种基于自举法的加速搜索方法
CN104504012A (zh) 一种基于逆拓扑的数据库数据迁移方法
CN102141890A (zh) 一种移动终端的文本编辑方法及移动终端
CN109460360A (zh) 一种增强ios自动化测试输入稳定性和兼容性的方法
CN110908760B (zh) 一种在web浏览器上实现窗口打开切换的方法
CN108959207A (zh) 基于相似度的数据信息储存方法及系统
CN104021225B (zh) 分组式数据查找提取方法
CN105677498B (zh) 一种安卓系统上View控件状态保存的优化方法
CN113881664A (zh) 一种大样品量核酸提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Sun Feng

Inventor after: Fu Quan

Inventor before: Sun Feng

Inventor before: Fu Quan

Inventor before: Yang Chun

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province

Patentee after: Wuhan dream database Co.,Ltd.

Address before: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province

Patentee before: WUHAN DAMENG DATABASE Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220907

Address after: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Patentee after: Wuhan dream database Co.,Ltd.

Patentee after: HUAZHONG University OF SCIENCE AND TECHNOLOGY

Address before: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province

Patentee before: Wuhan dream database Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230802

Address after: 16-19/F, Building C3, Future Science and Technology Building, No. 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430206

Patentee after: Wuhan dream database Co.,Ltd.

Address before: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Patentee before: Wuhan dream database Co.,Ltd.

Patentee before: HUAZHONG University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right