CN106446050A - 一种针对数据库的变化数据进行订阅的方法及系统 - Google Patents

Abstract

本发明提供了针对数据库的变化数据进行订阅的方法及系统，涉及数据传输领域。本发明提供的针对数据库的变化数据进行订阅的方法，采用使用标识符和中间服务器辅助订阅的方式，其具体通过在数据库和消费服务器之间增加了中间服务器，每次数据库更新后，中间服务器均会将更新后的数据存储在本地，并且，当消费服务器产生需求，并向中间服务器发起读取请求时，中间服务器再将变化的数据发送给消费服务器。由于在读取请求中增加了位置标识，使得数据库或中间服务器能够更有针对性查找对应的数据，而不是将全部数据进行反馈；同时，由于增加了中间服务器，降低了数据库的开销，整体上提高了对数据库中变化数据进行调取的便捷程度。

Description

一种针对数据库的变化数据进行订阅的方法及系统

技术领域

本发明涉及数据传输领域，具体而言，涉及针对数据库的变化数据进行订阅的方法及系统。

背景技术

数据的传递和处理是互联网技术的基础，很多服务器在对用户的所发出的访问请求进行相应之前，均需要从数据库中取得对应的数据后，才能够依据取得的消息对访问请求进行处理。

一般情况下，数据库中的数据是处在实时变化的状态(总有新数据的写入、替换和原有数据的删除)，因此，为了保证下游服务器操作的准确度，需要将数据库中变化的数据传递给下游服务器使用。

但，传统技术中，数据库通常会将存储在其内部的数据以备份的方式发送至下游服务器，但此种数据传递的方式所传递的数据不能直接被订阅用于业务处理，不满足实际使用需求。

发明内容

本发明的目的在于提供针对数据库的变化数据进行订阅的方法和系统，以提高对数据库中变化数据进行调取的便捷程度。

第一方面，本发明实施例提供了针对数据库的变化数据进行订阅的方法，包括：

中间服务器向数据库发出第一读取请求，第一读取请求中携带有第一位置标识；

数据库将第一位置标识所对应的数据集合中的第一变化数据向中间服务器发送；

中间服务器依据第一变化数据更新本地数据；

若中间服务器接收到消费服务器所发出的第二读取请求，则依据第二读取请求中所携带的第二位置标识在本地数据中读取第二变化数据；

中间服务器将第二变化数据向消费服务器发送。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，步骤中间服务器向数据库发出第一读取请求包括：

每隔预定的时间间隔，中间服务器向数据库发出第一读取请求；其中，相邻两次发送的第一读取请求中所携带的第一位置标识所对应的数据集合是顺序排列的。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，步骤中间服务器依据第一变化数据更新本地数据包括：

中间服务器将二进制的第一变化数据转换为消费服务器能够直接读取的格式；

中间服务器使用经过转换的第一变化数据更新本地数据。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，在步骤中间服务器向数据库发出第一读取请求前，还包括：

中间服务器向数据库发起长连接建立请求，长连接建立请求中携带有中间服务器的身份信息；

若数据库验证身份信息通过，则与中间服务器建立长连接。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，步骤中间服务器将二进制的第一变化数据转换为消费服务器能够直接读取的格式包括：

中间服务器将每个第一变化数据均转换为key-value类型的键值数据，并依据第一变化数据的类型将转换后的第一变化数据存储在本地文件系统的对应存储文件中，其中，不同的第一变化数据的业务类型不同。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，步骤所述中间服务器将二进制的第一变化数据转换为消费服务器能够直接读取的格式还包括：

中间服务器根据第一变化数据所存储在的存储文件，生成索引文件，所述索引文件中记录有第一变化数据的标识和对应存储文件的标识。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，若第二读取请求中携带有消费类型标识，则步骤依据第二读取请求中所携带的第二位置标识在本地数据中读取第二变化数据包括：

在所述本地文件系统中，查找与所述消费类型标识相对应的存储文件；其中，不同的存储文件中存储的数据的业务类型不同；依据第二位置标识在查找到的存储文件中读取第二变化数据。

第二方面，本发明实施例还提供了一种针对数据库的变化数据进行订阅的系统，包括：中间服务器和数据库；

中间服务器的第一请求模块，用于向数据库发出第一读取请求，第一读取请求中携带有第一位置标识；

数据库的第一发送模块，用于将第一位置标识所对应的数据集合中的第一变化数据向中间服务器发送；

中间服务器的更新模块，用于依据第一变化数据更新本地数据；

中间服务器的读取模块，用于当中间服务器接收到消费服务器所发出的第二读取请求时，依据第二读取请求中所携带的第二位置标识在本地数据中读取第二变化数据；

中间服务器的第二发送模块，用于将第二变化数据向消费服务器发送。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，第一请求模块，进一步用于每隔预定的时间间隔，向数据库发出第一读取请求；其中，相邻两次发送的第一读取请求中所携带的第一位置标识所对应的数据集合是顺序排列的。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，更新模块包括：

转换单元，用于将二进制的第一变化数据转换为消费服务器能够直接读取的格式；

存储单元，用于使用经过转换的第一变化数据存储至本地文件系统。

本发明实施例提供的针对数据库的变化数据进行订阅的方法，采用使用标识符和中间服务器辅助订阅的方式，与现有技术中的数据库无法向下游的消费数据库提供精准的变化数据相比，其通过增加了中间服务器，每次数据库更新后，中间服务器均会将更新后的数据存储在本地，并且，当消费服务器产生需求，并发起读取请求时，再将变化的数据发送给消费服务器。由于在读取请求中增加了位置标识，使得数据库或中间服务器能够更有针对性查找对应的数据，而不是将全部数据进行反馈；同时，由于增加了中间服务器，降低了数据库的开销，整体上提高了对数据库中变化数据进行调取的便捷程度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的针对数据库的变化数据进行订阅的方法的基本流程图；

图2示出了本发明实施例所提供的针对数据库的变化数据进行订阅的方法的基本网络架构示意图；

图3示出了本发明实施例所提供的针对数据库的变化数据进行订阅的方法的细化网络架构示意图；

图4示出了本发明实施例所提供的针对数据库的变化数据进行订阅的方法的网络架构示意图的细节图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对相关技术中，下游的消费服务器无法有效的获知数据库的变化情况，本申请提供了针对数据库的变化数据进行订阅的方法，如图1所示，包括：

S101，中间服务器向数据库发出第一读取请求(该请求为dump请求)，第一读取请求中携带有第一位置标识；

S102，数据库将第一位置标识所对应的数据集合中的第一变化数据向中间服务器发送；

S103，中间服务器依据第一变化数据更新本地数据；

S104，若中间服务器接收到消费服务器所发出的第二读取请求，则依据第二读取请求中所携带的第二位置标识在本地数据中读取第二变化数据；

S105，中间服务器将第二变化数据向消费服务器发送。

如图2所示，示出了上述方法所工作的网络架构。

步骤S101中的数据库201指的是存储有能够用来消费的数据的原始数据库，其存在形式如mysql数据库。为了使数据库201传输的数据更有针对性，因此，应当在第一读取请求中携带上第一位置标识，以便于数据库201能够将针对性的查找到指定位置的数据。

实际操作中，设置该标识的最终目的是指向指定的数据存储位置，第一为指标识的体现形式可以是任意一种能够将不同数据群体区分开的标识。如第一位置标识可以是直接写明存储地址的标识，也可以是预先将数据库201中的数据分为多个数据组，此时第一位置标识则可以是数据组的编号，数据库201依据该编号能够确定出数据组的地址。

数据库201在得到第一位置标识后，便可以依据该第一位置标识查找对应的数据集合，数据集合中的数据量是较为庞大的，在发送时，可以只将变化的数据发送给中间服务器202。通常情况下，中间服务器202中存储有与数据库201中数据基本相似的内容，此次的更新仅是将二者不同的数据进行更改。具体如何确定数据中不同的内容，在相关技术中已经存在相关的技术，此处不过多说明。第一位置标识通常是数据库201在将第一变化数据向中间服务器202发送前生成的，并且将生成的第一位置标识发送给中间服务器202，以便于中间服务器202下次发起读取请求时，将第一位置标识作为参考。

之后，中间服务器202依据第一读取请求，在本地相应的文件系统中存储即可。步骤S101与步骤S104的执行并无绝对的先后顺序，步骤S101-步骤S103这一过程与步骤S104-步骤S105这一过程是可以是并行执行的。

与数据库201将数据存储到中间服务器202的方式相类似的，中间服务器202只有在消费服务器203发出访问请求时，才会将指定的数据提供给消费服务器203使用。

为了保证中间服务器202的完整性和实效性，中间服务器202应当时刻保持与数据库201的链接，并实时的依据数据库201中的新数据对中间服务器202的本地数据进行更新，以确保下游的消费服务器203能够得到有效的数据。因此，在步骤S101，中间服务器202向数据库201发出第一读取请求前，还包括如下步骤：

中间服务器202向数据库201发起长连接建立请求，长连接建立请求中携带有中间服务器202的身份信息；

若数据库201验证身份信息通过，则与中间服务器202建立长连接。

由于中间服务器202要实时的对本地数据进行更新，因此，通常情况下，并不适合采用短连接的方式与数据库201保持通讯。同时，考虑到安全性，应当在建立连接前对建立请求进行验证，如果验证失败，则直接抛弃该请求。

并且，一般情况下，中间服务器202对本地数据的更新是采用顺序更新的方式。即在中间服务器202的本地数据中，按照存储顺序，对每个数据集合进行更新，对应的，中间服务器202在向服务器发出读取请求时，相邻的两次请求中的所携带的位置标识也应当是符合这一特点的。即步骤S101，中间服务器202向数据库201发出第一读取请求进一步包括如下内容：

每隔预定的时间间隔，中间服务器202向数据库201发出第一读取请求；其中，相邻两次发送的第一读取请求中所携带的第一位置标识所对应的数据集合是顺序排列的。

其中，预定的时间间隔的长度，是以中间服务器202对前一次请求得到的内容更新完毕为准。即，使用前一次得到的变化数据对本地数据完成更新后，便开始下一次更新动作。

通常，数据库201中所存储的归档日志是二进制形式的，一般的消费服务器203(直接面向用户的服务器，如报表生成服务器、查询服务器、外卖订单转送服务器)无法有效的对这些数据进行识别，因此，为了提高数据的利用效率，本申请所提供的方法中，步骤S103，中间服务器202依据第一变化数据更新本地数据包括如下步骤：

中间服务器202将二进制的第一变化数据转换为消费服务器203能够直接读取的格式；

中间服务器202使用经过转换的第一变化数据更新本地数据。

更进一步，为了将不同的数据进行有效的区分，以及便于查找(主要是消费服务器203每次发送请求时，中间服务器202需要依据请求中所携带的第二位置标识来定位数据)，应当通过建立存储文件和索引文件的方式来存储数据，以提高查找速度，并且避免查找出错。

具体的，步骤中间服务器202将二进制的第一变化数据转换为消费服务器203能够直接读取的格式包括：

中间服务器202将每个第一变化数据均转换为key-value类型的键值数据，并依据第一变化数据的类型将转换后的第一变化数据存储在本地文件系统的对应存储文件中，其中，不同的第一变化数据的业务类型不同。

相对应的，步骤所述中间服务器202将二进制的第一变化数据转换为消费服务器203能够直接读取的格式还包括：

中间服务器202根据第一变化数据所存储在的存储文件，生成索引文件，所述索引文件中记录有第一变化数据的标识和对应存储文件的标识。

也就是，中间服务器202在存储文件中查找对应的数据前，应当首先到索引文件中查找指定第一变化数据的标识，并对应的提取到存储该第一变化数据的存储文件的标识(如存储地址)，之后，依据该标识进行查找，以提高查找的速度。

优选的，考虑到不同的消费服务器203所需要的数据是不同的(即不同的消费服务器203的任务不同，所需要的数据也是有一定区别的，如虽然都是订餐功能的消费服务器203，但一个服务器是进行付款的，另一个服务器是进行订单生成的，那么这两个服务器在实现各自功能时所需要的数据也不相同)，因此，如果第二读取请求中携带有消费类型标识(说明消费服务器203的类型)，则步骤S104，依据第二读取请求中所携带的第二位置标识在本地数据中读取第二变化数据包括如下步骤：

在所述本地文件系统中，查找与所述消费类型标识相对应的存储文件；其中，不同的存储文件中存储的数据的业务类型不同；

依据所述第二位置标识在所述查找到的存储文件中读取第二变化数据。

下面提供一个具体的实例来说明本申请所提供的针对数据库的变化数据进行订阅的方法。基于如图3所示的网络架构(图3中，database是数据库，perceptor server是中间服务器，perceptor client是消费服务器)，执行订阅的过程具体由如下步骤实现：

1，connection定时向database发送请求(dump)，请求中携带有第一位置标识；

2，database根据第一位置标识，将第一位置标识所对应的数据(该数据存储在归档日志文件中)中的变化的数据发送给connection；其中，每次发送的时候均按照通讯协议中预先设置规则进行，该规则包括一次传输数据大小，数据条数等条件；

3，parse将connection接收到全部数据由二进制转换为处理成key-value类型的键值数据，并按照预定的规则，将生成的键值数据发送给对应的store(数据存储服务器)，

4，数据存储服务器，接收到parse发送过来的数据后，生成的变化数据组(包括存储文件和索引文件)按照topic存储在本地文件系统中，以及生成该文件的索引文件，其中，索引文件中存储有第二变化数据标识和对应存储文件标识；

5，中间服务器获取client(消费服务器)端指定的一个application(也可以是application中的一个server)所发出的数据调取请求，该请求中携带有第二位置标识；

6，中间服务器依据第二位置标识，在本地的索引文件中查找目标存储文件的标识，并依据该目标存储文件的标识查找到目标存储文件，再在目标存储文件中查找符合要求的变化数据组(包括变化前和变化后的数据)；

7，中间服务器将查找到的变化数据组返回给对应的application端；

8，client端对接收到的变化数据组进行处理，并且生成新的位置标识，以便下一次发送调取请求时使用。

图3中，一个database就是一个数据库，根据业务需求，不同的数据库存储中通常存储有不同业务类型的数据。比如有些数据库存储订单，有些数据库存储客户信息，主要是业务方面。

步骤2和3，Parse处理数据时，将每条变化的数据处理成key-value类型的键值数据，其中key值则根据实际业务情况生成，可能是个随机数据。处理的时候，往往是将表中的主键作为key，比如订单表的订单号。

value部分通常是数据库中每条数据格式化为json格式。例如订单

{table：order，

cols:[

{“col”:order_id,”val”:”182”,”type”:”int”,"update":"flase”"},

{“col”:order_status,”val”:1,”type”:”int”,"update":"flase”"},

{“col”:order_amount,”val”:”789.90”,”type”:”double”,"oldVal":"792.90",update":"true"},

{“col”:order_time,”val”:”14796512365”,”type”:”long”,"update":"flase”"}]

}

如图4所示，数据库A中存储有同一业务的不同数据(供应商表和订单表)，由于不同的topic所需要的数据不同，因此，需要预先设置不同业务类型所对应的数据库表，以使中间服务器能够将数据库A中的供应商表发送给topic1所属的存储服务器，和将订单表发送给topic2所属的存储服务器。

消费服务器在向中间服务器发生请求时，可以要求消费服务器携带上如业务类型标识，以获得相应业务类型对应的数据。

与前文所提供的针对数据库的变化数据进行订阅的方法相对应的，本实施例中还提供了相对应的系统，该系统包括：中间服务器和数据库；

中间服务器的第一请求模块，用于向数据库发出第一读取请求，第一读取请求中携带有第一位置标识；

数据库的第一发送模块，用于将第一位置标识所对应的数据集合中的第一变化数据向中间服务器发送；

中间服务器的更新模块，用于依据第一变化数据更新本地数据；

中间服务器的读取模块，用于当中间服务器接收到消费服务器所发出的第二读取请求时，依据第二读取请求中所携带的第二位置标识在本地数据中读取第二变化数据；

中间服务器的第二发送模块，用于将第二变化数据向消费服务器发送。

优选的，第一请求模块，进一步用于每隔预定的时间间隔，向数据库发出第一读取请求；其中，相邻两次发送的第一读取请求中所携带的第一位置标识所对应的数据集合是顺序排列的。

优选的，更新模块包括：

转换单元，用于将二进制的第一变化数据转换为消费服务器能够直接读取的格式；

存储单元，用于使用经过转换的第一变化数据存储至本地文件系统

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.针对数据库的变化数据进行订阅的方法，其特征在于，包括：

中间服务器向数据库发出第一读取请求，所述第一读取请求中携带有第一位置标识；

数据库将所述第一位置标识所对应的数据集合中的第一变化数据向中间服务器发送；

中间服务器依据所述第一变化数据更新本地数据；

若中间服务器接收到消费服务器所发出的第二读取请求，则依据所述第二读取请求中所携带的第二位置标识在本地数据中读取第二变化数据；

中间服务器将所述第二变化数据向消费服务器发送。

2.根据权利要求1所述的针对数据库的变化数据进行订阅的方法，其特征在于，步骤所述中间服务器向数据库发出第一读取请求包括：

每隔预定的时间间隔，中间服务器向数据库发出第一读取请求；其中，相邻两次发送的第一读取请求中所携带的第一位置标识所对应的数据集合是顺序排列的。

3.根据权利要求1所述的针对数据库的变化数据进行订阅的方法，其特征在于，步骤所述中间服务器依据所述第一变化数据更新本地数据包括：

中间服务器将二进制的第一变化数据转换为消费服务器能够直接读取的格式；

中间服务器使用经过所述转换的第一变化数据更新本地数据。

4.根据权利要求1所述的针对数据库的变化数据进行订阅的方法，其特征在于，在步骤所述中间服务器向数据库发出第一读取请求前，还包括：

中间服务器向所述数据库发起长连接建立请求，所述长连接建立请求中携带有所述中间服务器的身份信息；

若所述数据库验证身份信息通过，则与所述中间服务器建立长连接。

5.根据权利要求3所述的针对数据库的变化数据进行订阅的方法，其特征在于，步骤所述中间服务器将二进制的第一变化数据转换为消费服务器能够直接读取的格式包括：

中间服务器将每个第一变化数据均转换为key-value类型的键值数据，并依据第一变化数据的类型将转换后的第一变化数据存储在本地文件系统的对应存储文件中，其中，不同的第一变化数据的业务类型不同。

6.根据权利要求5所述的针对数据库的变化数据进行订阅的方法，其特征在于，步骤所述中间服务器将二进制的第一变化数据转换为消费服务器能够直接读取的格式还包括：

中间服务器根据第一变化数据所存储在的存储文件，生成索引文件，所述索引文件中记录有第一变化数据的标识和对应存储文件的标识。

7.根据权利要求6所述的针对数据库的变化数据进行订阅的方法，其特征在于，若所述第二读取请求中携带有消费类型标识，则步骤所述依据所述第二读取请求中所携带的第二位置标识在本地数据中读取第二变化数据包括：

在所述本地文件系统中，查找与所述消费类型标识相对应的存储文件；其中，不同的存储文件中存储的数据的业务类型不同；

依据所述第二位置标识在所述查找到的存储文件中读取第二变化数据。

8.针对数据库的变化数据进行订阅的系统，其特征在于，包括：中间服务器和数据库；

中间服务器的第一请求模块，用于向数据库发出第一读取请求，所述第一读取请求中携带有第一位置标识；

数据库的第一发送模块，用于将所述第一位置标识所对应的数据集合中的第一变化数据向中间服务器发送；

中间服务器的更新模块，用于依据所述第一变化数据更新本地数据；

中间服务器的读取模块，用于当中间服务器接收到消费服务器所发出的第二读取请求时，依据所述第二读取请求中所携带的第二位置标识在本地数据中读取第二变化数据；

中间服务器的第二发送模块，用于将所述第二变化数据向消费服务器发送。

9.根据权利要求8所述的针对数据库的变化数据进行订阅的系统，其特征在于，第一请求模块，进一步用于每隔预定的时间间隔，向数据库发出第一读取请求；其中，相邻两次发送的第一读取请求中所携带的第一位置标识所对应的数据集合是顺序排列的。

10.根据权利要求8所述的针对数据库的变化数据进行订阅的系统，其特征在于，所述更新模块包括：

转换单元，用于将二进制的第一变化数据转换为消费服务器能够直接读取的格式；

更新单元，用于使用经过所述转换的第一变化数据更新本地数据。