CN106294860A - 一种实时索引数据同步的系统及其实现方法 - Google Patents

一种实时索引数据同步的系统及其实现方法 Download PDF

Info

Publication number
CN106294860A
CN106294860A CN201610706249.3A CN201610706249A CN106294860A CN 106294860 A CN106294860 A CN 106294860A CN 201610706249 A CN201610706249 A CN 201610706249A CN 106294860 A CN106294860 A CN 106294860A
Authority
CN
China
Prior art keywords
data
chronization
syn
real time
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610706249.3A
Other languages
English (en)
Inventor
刘安
张烨
高传集
孙思清
张立勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201610706249.3A priority Critical patent/CN106294860A/zh
Publication of CN106294860A publication Critical patent/CN106294860A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种实时索引数据同步的系统及其实现方法，属于计算机软件应用领域，本发明要解决的技术问题为如何能够把相关的仓库索引数据同步到结构化数据库中，并保证在一定程度范围时间内的数据实时同时，提高索引性能和索引效率，采用的技术方案为：（1）、一种实时索引数据同步的系统，该系统包括数据同步模块和数据处理模块。（2）、一种实时索引数据同步的实现方法，该方法包括如下步骤：（1）、数据同步模块轮询读取仓库的索引目录；（2）、数据同步模块将读取索引目录的数据同步到数据库中。

Description

一种实时索引数据同步的系统及其实现方法
技术领域
本发明涉及计算机软件应用领域，具体地说是一种实时索引数据同步的系统及其实现方法。
背景技术
随着云计算的不断发展，各种新技术以及新兴软件也在不断产生，仓库就被我们用来存储相关的源码、程序等资源，例如git仓库、docker仓库，maven仓库等等。由于仓库的数据是实时更新的，同时仓库数据一般都是仓库名然后对应其具体位置，而且只会提供所有的仓库索引而不会提供太多的接口。如果想查找仓库的某些特定数据，就只能先获取仓库的所有数据，然后进行遍历处理，最后才能得到我们想要的结果。这样不但会大大降低性能同时效率也会大大降低。
发明内容
本发明的技术任务是提供一种实时索引数据同步的系统及其实现方法，来解决如何能够把相关的仓库索引数据同步到结构化数据库中，并保证在一定程度范围时间内的数据实时同时，提高索引性能和索引效率的问题。
本发明的技术任务是按以下方式实现的，一种实时索引数据同步的系统，该系统包括数据同步模块和数据处理模块；
其中，数据同步模块用于从仓库的索引目录中轮询读取索引数据，并将索引数据保存到数据库中；
数据处理模块用于接受客户端的业务请求，根据客户端的业务请求从数据库中读取数据，并将索引结果反馈给客户端。
一种实时索引数据同步的实现方法，该方法包括如下步骤：
（1）、数据同步模块轮询读取仓库的索引目录；
（2）、数据同步模块将读取索引目录的数据同步到数据库中；
（3）、数据库对索引目录中的每一条数据做时间标记，并记录第一条数据的时间FIRST_TIME，当更新完最后一条数据时，删除时间小于第一条数据时间标记FIRST_TIME的所有数据；
（4）、客户端向数据处理模块发送业务请求，数据处理模块对数据库中的数据作相应的数据处理操作并将索引结果反馈给客户端；
（5）、客户端获取到具体仓库地址，便可去仓库中获取资源。
作为优选，所述步骤（1）中数据同步模块采用多批次多批量读取索引目录的数据。
作为优选，所述步骤（2）中数据同步模块将索引目录的数据同步到数据库的过程中，查看索引目录中的每一条数据是否存在：
①、若存在，则对数据进行更新；
②、若不存在，则新增该条数据。
本发明的实时索引数据同步的系统及其实现方法具有以下优点：
1、本发明解决了数据的实时同步问题，通过多批次遍历数据源解决单次获取所有数据带来的性能问题，通过时间标记解决数据的一致性问题，同时保证了兼容性，在各种应用系统中使用简便、配置难度低，具有很好的推广使用价值；
2、本发明在云计算场景下索引数据同步的实现方法，把相关的仓库索引目录的数据同步到结构化数据库当中，并保证在一定程度范围时间内的数据实时同步，这样大大节省了性能同时提高了效率；
3、本发明实现了数据同步与数据处理相分离，在同步数据时轮询读取索引数据，采取多批次批量读取方式，确保了数据的实时同步，同时客户端仅仅与数据处理模块交互，操作简单易实现，而且大大提高了工作效率。
故本发明具有设计合理、结构简单、使用方便、一物多用等特点，因而，具有很好的推广使用价值。
附图说明
下面结合附图对本发明进一步说明。
附图1为实时索引数据同步系统框图。
具体实施方式
参照说明书附图和具体实施例对本发明的实时索引数据同步的系统及其实现方法作以下详细地说明。
实施例1：
如附图1所示，本发明的实时索引数据同步的系统及其实现方法, 该系统包括数据同步模块和数据处理模块；
其中，数据同步模块用于从仓库的索引目录中轮询读取索引数据，并将索引数据保存到数据库中；
数据处理模块用于接受客户端的业务请求，根据客户端的业务请求从数据库中读取数据，并将索引结果反馈给客户端。
实施例2：
本发明的实时索引数据同步的实现方法，该方法包括如下步骤：
（1）、数据同步模块轮询读取仓库的索引目录；数据同步模块采用多批次多批量读取索引目录的数据；
（2）、数据同步模块将读取索引目录的数据同步到数据库中；数据同步模块将索引目录的数据同步到数据库的过程中，查看索引目录中的每一条数据是否存在：
①、若存在，则对数据进行更新；
②、若不存在，则新增该条数据；
（3）、数据库对索引目录中的每一条数据做时间标记，并记录第一条数据的时间FIRST_TIME，当更新完最后一条数据时，删除时间小于第一条数据时间标记FIRST_TIME的所有数据；
（4）、客户端向数据处理模块发送业务请求，数据处理模块对数据库中的数据作相应的数据处理操作并将索引结果反馈给客户端；
（5）、客户端获取到具体仓库地址，便可去仓库中获取资源。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的两种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (4)

1.一种实时索引数据同步的系统，其特征在于该系统包括数据同步模块和数据处理模块；
其中，数据同步模块用于从仓库的索引目录中轮询读取索引数据，并将索引数据保存到数据库中；
数据处理模块用于接受客户端的业务请求，根据客户端的业务请求从数据库中读取数据，并将索引结果反馈给客户端。
2.一种实时索引数据同步的实现方法，其特征在于该方法包括如下步骤：
（1）、数据同步模块轮询读取仓库的索引目录；
（2）、数据同步模块将读取索引目录的数据同步到数据库中；
（3）、数据库对索引目录中的每一条数据做时间标记，并记录第一条数据的时间FIRST_TIME，当更新完最后一条数据时，删除时间小于第一条数据时间标记FIRST_TIME的所有数据；
（4）、客户端向数据处理模块发送业务请求，数据处理模块对数据库中的数据作相应的数据处理操作并将索引结果反馈给客户端；
（5）、客户端获取到具体仓库地址，便可去仓库中获取资源。
3.根据权利要求2所述的实时索引数据同步的实现方法，其特征在于所述步骤（1）中数据同步模块采用多批次多批量读取索引目录的数据。
4.根据权利要求2所述的实时索引数据同步的实现方法，其特征在于所述步骤（2）中数据同步模块将索引目录的数据同步到数据库的过程中，查看索引目录中的每一条数据是否存在：
①、若存在，则对数据进行更新；
②、若不存在，则新增该条数据。
CN201610706249.3A 2016-08-23 2016-08-23 一种实时索引数据同步的系统及其实现方法 Pending CN106294860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610706249.3A CN106294860A (zh) 2016-08-23 2016-08-23 一种实时索引数据同步的系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610706249.3A CN106294860A (zh) 2016-08-23 2016-08-23 一种实时索引数据同步的系统及其实现方法

Publications (1)

Publication Number Publication Date
CN106294860A true CN106294860A (zh) 2017-01-04

Family

ID=57615550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610706249.3A Pending CN106294860A (zh) 2016-08-23 2016-08-23 一种实时索引数据同步的系统及其实现方法

Country Status (1)

Country Link
CN (1) CN106294860A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228743A (zh) * 2017-12-18 2018-06-29 深圳供电局有限公司 一种实时大数据搜索引擎系统
CN109309551A (zh) * 2017-07-26 2019-02-05 维沃移动通信有限公司 同步信号块时间索引的指示、检测方法、网络设备及终端
WO2021253688A1 (zh) * 2020-06-18 2021-12-23 北京旷视科技有限公司 数据同步方法及装置、数据查询方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344881A (zh) * 2007-07-09 2009-01-14 中国科学院大气物理研究所 海量文件型数据的索引生成方法及装置和搜索系统
CN101702158A (zh) * 2009-10-28 2010-05-05 卓望数码技术（深圳）有限公司 一种索引文件创建同步方法和搜索系统
CN101702159A (zh) * 2009-10-28 2010-05-05 卓望数码技术（深圳）有限公司 一种索引文件同步方法、索引服务器和搜索系统
CN101876992A (zh) * 2009-11-17 2010-11-03 中国科学院自动化研究所 一种图像数据仓库管理方法
CN103548019A (zh) * 2011-02-21 2014-01-29 阿玛得斯两合公司 用于根据数据仓库提供统计信息的方法和系统
CN104123346A (zh) * 2014-07-02 2014-10-29 广东电网公司信息中心 一种结构化数据搜索方法
CN104348859A (zh) * 2013-07-30 2015-02-11 深圳市腾讯计算机系统有限公司 文件同步方法、装置、服务器、终端及系统
CN105335479A (zh) * 2015-10-12 2016-02-17 国家计算机网络与信息安全管理中心 一种基于sql的文本数据统计实现方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344881A (zh) * 2007-07-09 2009-01-14 中国科学院大气物理研究所 海量文件型数据的索引生成方法及装置和搜索系统
CN101702158A (zh) * 2009-10-28 2010-05-05 卓望数码技术（深圳）有限公司 一种索引文件创建同步方法和搜索系统
CN101702159A (zh) * 2009-10-28 2010-05-05 卓望数码技术（深圳）有限公司 一种索引文件同步方法、索引服务器和搜索系统
CN101876992A (zh) * 2009-11-17 2010-11-03 中国科学院自动化研究所 一种图像数据仓库管理方法
CN103548019A (zh) * 2011-02-21 2014-01-29 阿玛得斯两合公司 用于根据数据仓库提供统计信息的方法和系统
CN104348859A (zh) * 2013-07-30 2015-02-11 深圳市腾讯计算机系统有限公司 文件同步方法、装置、服务器、终端及系统
CN104123346A (zh) * 2014-07-02 2014-10-29 广东电网公司信息中心 一种结构化数据搜索方法
CN105335479A (zh) * 2015-10-12 2016-02-17 国家计算机网络与信息安全管理中心 一种基于sql的文本数据统计实现方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309551A (zh) * 2017-07-26 2019-02-05 维沃移动通信有限公司 同步信号块时间索引的指示、检测方法、网络设备及终端
CN109309551B (zh) * 2017-07-26 2021-01-08 维沃移动通信有限公司 同步信号块时间索引的指示、检测方法、网络设备及终端
CN108228743A (zh) * 2017-12-18 2018-06-29 深圳供电局有限公司 一种实时大数据搜索引擎系统
WO2021253688A1 (zh) * 2020-06-18 2021-12-23 北京旷视科技有限公司 数据同步方法及装置、数据查询方法及装置

Similar Documents

Publication Publication Date Title
US10558672B1 (en) System and method for executing queries on multi-graphics processing unit systems
CN103440273B (zh) 一种数据跨平台迁移方法及装置
CN105205117A (zh) 一种数据表迁移方法和装置
CN103793424A (zh) 数据库数据迁移方法及系统
CN102857570A (zh) 文件的云同步方法及云存储服务器
CN110737659A (zh) 图数据存储和查询方法、装置及计算机可读存储介质
CN105468720A (zh) 集成分布式数据处理系统的方法、相应系统及其数据处理方法
CN104599032A (zh) 一种面向资源管理的分布式内存电网构建方法及系统
CN112948427B (zh) 数据查询方法、装置、设备及存储介质
CN106294860A (zh) 一种实时索引数据同步的系统及其实现方法
CN102081656A (zh) 一种跨平台异构数据库的数据采集与分发系统
CN110674154A (zh) 一种基于Spark的对Hive中数据进行插入、更新和删除的方法
CN112507020A (zh) 数据同步方法、装置、计算机设备及存储介质
CN107798065B (zh) 一种客户号编码方法、应用服务器、系统及存储介质
CN105677763A (zh) 一种基于Hadoop的图像质量评估系统
CN102946411A (zh) 网络同步系统
CN112000649B (zh) 一种基于map reduce的增量数据同步的方法和装置
CN104715076B (zh) 一种多线程数据处理方法及装置
CN105528381A (zh) 数据库数据迁移方法及系统
CN115905628A (zh) 一种动态的资源目录构建方法、装置、设备和存储介质
CN105138638A (zh) 一种基于应用层的数据库分布方法
CN112699187B (zh) 关联数据处理方法、装置、设备、介质及产品
CN103605957A (zh) 一种图片识别方法及装置
CN111414422B (zh) 一种数据分布方法、装置、设备和存储介质
CN104714983B (zh) 分布式索引的生成方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170104