CN103577465A - 系统数据处理系统及方法 - Google Patents

Abstract

本申请提供了一种系统数据处理系统，包括：功能模块，用于实现不同功能；全局字典数据库模块，用于存储并为各功能模块提供数据，包括数据接口和查询模块；其中，所述数据接口对各功能模块的数据获取请求进行解析，并将解析后的请求发送给全局字典数据库模块的查询模块进行数据查询；所述查询模块将查询到的数据通过数据接口返回给各功能模块。本申请还提供了一种利用前述系统实现的系统数据处理方法。本申请的系统数据处理系统及方法，能够实现系统中各功能模块的数据共享，减少系统数据冗余、保证数据同步性。

Description

系统数据处理系统及方法

技术领域

本申请涉及计算机数据处理技术领域，特别是涉及一种系统数据处理系统及方法。

背景技术

在现有的高性能系统中，例如，查询系统、广告投放系统等等，通常包括多个功能模块，每个功能模块分别用于实现系统中的不同功能。例如，在广告投放系统中，功能模块可以包括业务模块、投放模块等等。又如，在购物交易系统中，功能模块可以包括商品信息模块、会员信息模块、交易信息模块等等。由于每个功能模块存在数据的使用且各模块的功能、服务对象不同，导致了不同的模块需要不同的数据，且其中形成了多对多复杂的数据依赖关系。即，每个模块都会有各自的数据。例如，模块A含有数据x、y、z，模块B含有数据x、m、z，数据x和z在模块A和B中都存在，这无疑会造成系统数据的冗余，同时不便于数据管理。另外，在现有系统的实现中，各模块均需要实现数据动态更新的功能，一旦出现数据更新时可能造成数据不一致，这样就会出现业务事故。例如，数据x分发到模块A和模块B时由于网络等的原因可能不同步等，或者模块B可能出现网络问题导致分发不成功，甚至数据x未被分发到模块B。

发明内容

本申请提供一种系统数据处理系统及方法，能够解决系统中各功能模块数据无法共享，系统数据冗余、且数据同步性不佳的问题。

为了解决上述问题，本申请公开了一种系统数据处理系统，包括：

功能模块，用于实现不同功能；

全局字典数据库模块，用于存储并为各功能模块提供数据，包括数据接口和查询模块；

其中，所述数据接口对各功能模块的数据获取请求进行解析，并将解析后的请求发送给全局字典数据库模块的查询模块进行数据查询；

所述查询模块将查询到的数据通过数据接口返回给各功能模块。

进一步地，所述系统还包括：

管理模块，用于对全局字典数据库模块中的数据进行管理。

进一步地，所述数据接口采用通用的通信协议实现。

进一步地，所述数据接口采用超文本传送协议的JavaScript对象交换格式或扩展标记语言格式实现。

进一步地，所述数据接口的数量与全局字典数据库模块中包含的数据数量相同，每一个数据接口对应一组数据。

进一步地，所述管理模块包括：

用于对全局字典数据库模块中的数据进行更新，所述更新至少包括以下一种或几种：修改、删减、新增；和/或

用于将具有共同信息的数据关联。

进一步地，所述系统还包括：

负载均衡模块，置于各功能模块和各全局字典数据库模块之间，用于将各功能模块提交的请求均衡的分发给各全局字典数据库模块。

进一步地，所述全局字典数据库模块中的数据采用哈希表的方式存储。

本申请还公开了一种系统数据处理方法，包括以下步骤：

全局字典数据库通过数据接口接收功能模块发送的数据获取请求；

数据接口对数据获取请求进行解析，并传递给查询模块进行数据查询；

将查询模块查询到的数据通过数据接口返回给提交数据获取请求的功能模块。

进一步地，在全局字典数据库通过数据接口接收功能模块发送的数据获取请求之前还包括配置数据接口，所述配置过程包括：

获取全局字典数据库中的数据数量；

为每一组数据配置一个对应的数据接口。

进一步地，所述方法还包括：

采用管理模块对全局字典数据库中的数据进行管理。

进一步地，所述管理模块对全局字典数据库中的数据进行管理包括：

对全局字典数据库中的数据进行更新，所述更新至少包括以下一种或几种：修改、删减、新增；和/或

将全局字典数据库中具有共同信息的数据关联。

进一步地，所述全局字典数据库通过数据接口接收功能模块发送的数据获取请求之前还包括：

采用负载均衡模块将各功能模块发送的数据获取请求均衡的分发给各全局字典数据库。

与现有技术相比，本申请包括以下优点：

本申请的系统数据处理系统及方法通过将各功能模块所对应的数据整合为全局字典数据库模块，可以减少系统中各模块共有字典数据的冗余，便于数据的维护和管理。通过提供数据接口的方式，可以便于各功能模块获取全局字典数据库模块中的数据。另外，通过管理模块对数据进行统一管理，可以实现数据的及时更新，简化数据维护和管理的操作过程，各功能模块所需要的数据也能够实现同步更新，从而保证数据提供的准确性。

当然，实施本申请的任一产品不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的系统数据处理系统实施例一的结构示意图；

图2是本申请的系统数据处理系统实施例二的结构示意图；

图3是本申请的系统数据处理系统实施例三的结构示意图；

图4是本申请的系统数据处理系统具体实例一的结构示意图；

图5是本申请的系统数据处理系统具体实例二的结构示意图；

图6是本申请的系统数据处理方法实施例一的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，示出本申请的一种系统数据处理系统实施例一，包括功能模块10、全局字典数据库模块20和管理模块30。

功能模块10，用于实现不同功能。

全局字典数据库模块20，用于存储并为各功能提供数据。其中，全局字典数据库模块包括数据接口21和查询模块23。各功能模块通过数据接口获取全局字典数据库模块中的数据。数据接口21对各功能模块的数据获取请求进行解析，并将解析后的请求发送给全局字典数据库模块的查询模块23进行数据查询，查询模块23查询到的数据通过数据接口21返回给各功能模块。

优选地，数据接口21采用通用的通信协议实现，例如采用http(hypertext transport protocol，超文本传送协议)协议的json(JavaScriptObject Notation，一种轻量级数据交换格式)或xml(extensible markuplanguage，扩展标记语言)格式。在接收各功能模块的数据获取请求时，数据接口21首先根据通用的通信协议对各功能模块的数据获取请求解析，在返回查询到的数据时，根据数据获取请求中定义的数据返回类型、数量等信息对查询到的数据进行转化，从而满足各功能模块的需求。当各功能模块使用不同语言时，本申请的数据接口21可以实现通用，从而避免接口的重复开发。

数据接口21可以仅为一个或者两个，供所有功能模块10共用。可以理解，数据接口21还可以根据全局字典数据库模块20中的具体数据进行设置，数据接口21的数量与全局字典数据库模块20中的数据数量相同。例如，全部字典数据库20中包括三种数据(数据A、数据B和数据C)，那么可以分别根据三种数据的特点为三种数据各设置一个数据接口21(接口x、接口y和接口z)。此时，需要将接口与数据的对应关系告知各功能模块，当各功能模块需要哪一种数据时，直接向对应的数据接口发送数据获取请求。通过此种方式，实现接口与数据对应，可以保证数据获取的准确性，并可以保证获取数据格式的准确。另外，还可以通过接口组合提供多种数据，例如，根据数据A的特点开发了对应的接口x来提供数据A，数据B也有接口y与其对应。当一个模块，如果需要数据A，则可以使用接口x，当其同时需要数据A和B，那么可以通过组合两个接口的方式，即同时调用接口x和接口y，便可以得到数据A和B。以此类推，当接口与数据一一对应时，可以对多个接口采用任意组合的方式来得到超过接口数量的数据，从而可以实现多种数据的提供。

全局字典数据库模块20中的数据可以采用Key-Value的方式，即哈希表的方式将数据存储于内存中，例如：key为字符串“IP”，value为“192.168.1.1”的配置项存储在内存哈希表中。例如，某个功能模块发送获取IP配置的请求“{‘method’:’get_ip’，’param_num’:’0’}”，可以得到回复信息“{‘ip’:’192.168.1.1’}”这样的Key-Value格式。此种方式得到的回复信息可以适用于不同的语言，从而避免接口的重复开发。

参照图2，示出本申请的系统数据处理系统实施例二，在实施例一的基础上，还包括管理模块30，用于对全局字典数据库模块20中的数据进行管理。具体包括对数据进行更新和关联等等。其中，对数据进行更新可以包括修改、删减、新增等等。具体的，管理模块30可以通过事务处理、接口数据分析等方式使数据同步更新和关联。

可以理解，管理模块30可以用于对全局字典数据库模块中的数据进行更新，例如，修改、删减或者新增等等。管理模块30也可以用于将具有共同信息的数据关联，从而实现数据更新时，实现关联更新。例如，在数据A中包含信息x，数据B中也包含信息x，通过将数据A和数据B进行关联，当修改数据A中的信息x时，数据B中的信息x可以自动关联修改，无需重复操作。采用此种方式，可以减少数据管理的操作，实现数据的有效管理和维护。

参照图3，示出本申请系统数据处理系统实施例三，该系统还包括负载均衡模块40，置于各功能模块10和全局字典数据库模块20之间。在实际部署时，为了提高系统数据处理系统的吞吐量和负载能力，通常会设置多个全局字典数据库模块，负载均衡模块40用于对各功能模块的请求根据各全局字典数据库模块的实际负载能力进行分发，从而保证各全局字典数据库模块负载均衡。同时，在某个全局字典数据库模块出现异常时，可以分发给其他全局字典数据库模块，从而避免因为单个全局字典数据库模块出现异常而导致的数据无法正常获取。

本申请的系统数据处理系统通过将各功能模块所对应的数据整合为全局字典数据库模块，可以减少系统中各模块共有字典数据的冗余，便于数据的维护和管理。通过提供数据接口的方式，可以便于各功能模块获取全局字典数据库模块中的数据。另外，通过管理模块对数据进行统一管理，可以实现数据的及时更新，简化数据维护和管理的操作过程。

其次，数据接口优选根据全局字典数据库模块中的数据数量进行设置，即每一组数据对应一个数据接口，可以保证数据获取的准确性，并可以保证获取数据格式的准确。

另外，还设置了负载均衡模块对各功能模块的数据获取请求进行均衡分发，保证各全局字典数据库模块的I/O负载均衡，避免因为超过数据库的负载而出现的系统崩溃等情况，同时可以避免因为单个全局字典数据出现异常而导致的数据无法正常获取，提高系统的稳定性。

下面结合本申请的系统数据处理系统的具体应用实例对前述系统数据处理系统进行详细说明。

参照图4，示出本申请的系统数据处理系统实例一，包括服务A、服务B、全局字典数据库(RMC DB)、负载均衡模块、管理平台(RMCUI)。其中，服务A和服务B即为前述实施例中的功能模块，管理平台即为前述实施例中的管理模块。

其中，服务A与服务B将配置信息(如IP地址、端口号等)、数据字典信息(如词表、类目信息等)存放于全局字典数据库中，通过网络进行传输。负载均衡模块对各全局字典数据库进行负载均衡和防宕机管理，以保证稳定性。

服务A在启动时以通用协议JSON格式向全局字典数据库的一个借口发送字典请求：“{‘method’：’get_word_dict’}”，通过负载均衡模块分发到其中一个全局字典数据库后，通过全局字典数据库中内存中的哈希表结构返回回应信息：“{‘num’:’4’，‘word’:[‘数码产品’，手机’，’电脑’，’计算机’]}”这样的词典信息。

管理平台在具体实现时，可以通过提供web的管理界面，从而便于用户对全局字典数据库中的数据进行管理。例如，对全局字典数据库中的服务配置、词表等字典数据进行管理，还可以定义各服务配置更新的时间和服务间依赖关系。例如：需要对服务B的IP地址进行更改，而服务A需要与服务B通信，获取其计算的数据。此时，如直接更改B服务的IP地址而不更新A的配置信息将导致A找不到B的IP地址，造成大量的失败服务，从而出现线上事故。此时，可以通过管理平台将修改B的IP地址和更新A的配置两项进行关联，发送管理操作，使两项操作同一时间同时完成，减少事故发生的可能性并减少失败的服务。

当全局字典数据库中的数据更新时，通过全局字典数据库的接口通知服务A下载数据，将新的信息通过此接口再次进行传输。当各服务均传输完毕后，由管理平台发送更新通知，各服务可以在极短的时间内同时暂停服务，开始更新至新的数据，再提供新的服务。从而保证数据的一致性。

参照图5，示出本申请的系统数据处理系统实例二，此处的系统数据处理系统为广告投放系统，包括业务模块、投放模块、全局字典数据库和管理平台。广告主通过业务模块提交广告投放单，投放模块根据广告投放单进行广告投放，展现文本、图片等不同尺寸的广告样式。

投放模块和业务模块均从全局字典数据库获取字典数据。这里以广告样式为字典数据为例进行说明。广告样式信息不仅包括文本、图片、Flash等信息，也包含广告尺寸信息。广告主通过业务模块提交广告投放单时，需要确定广告样式信息，此时广告样式信息由全局字典数据库中业务模块所对应的广告样式数据提供，假设为数据A。投放模块中会限定广告主可以投放的广告样式信息，这些广告样式信息由全局字典数据库中投放模块所对应的广告样式数据提供，假设为数据B。如果数据A和数据B中的数据不统一，那么在选择广告样式时，则可能出现错误。本实例中，通过管理平台，将数据A和数据B进行关联，当其中一个数据修改时，另一个也随之更新，从而可以保证数据同步更新。可以理解，因为业务模块和投放模块所需要的数据需要完全相同，还可以直接将数据A和数据B整合为一个数据，业务模块和投放模块共享该整合后的数据，从而实现投放模块和业务模块的数据通信，并减少数据冗余和系统维护成本，有效的实现数据管理。

参照图6，示出本申请的系统数据处理方法实施例一，包括以下步骤：

步骤601，全局字典数据库通过数据接口接收功能模块发送的数据获取请求。

优选地，该数据接口采用通用的通信协议实现。例如，采用http协议的json或xml格式实现。其中，在该步骤之前还包括配置数据接口，优选采用如下步骤：

获取全局字典数据库中的数据数量；

为每一组数据配置一个对应的数据接口。

具体的，配置数据接口可以在每次使用时都根据全局字典数据库中的数据数量实时配置。为了节省操作流程和成本，也可以在首次使用本申请的方法时进行配置。在后续使用时，直接使用该配置好的数据接口。当有新的数据增加后，相应的增加数据接口即可。可以理解，在配置数据接口时，可以采用人工设定的方式来进行配置，也可以采用自动识别的方式，即预先定义数据接口配置的方法，当系统在获取到全局字典数据库的数据数量后，便可以根据预先定义的数据接口配置方法对数据接口进行配置。

优选地，全局字典数据库中的数据通过管理模块进行管理，具体包括：

对全局字典数据库中的数据进行更新，所述更新至少包括以下一种或几种：修改、删减、新增；和/或

将全局字典数据库中具有共同信息的数据关联。

步骤602，数据接口对数据获取请求进行解析，并传递给查询模块进行数据查询。

步骤603，将查询模块查询到的数据通过数据接口返回给提交数据获取请求的功能模块。

优选地，该方法在全局字典数据库通过数据接口接收功能模块发送的数据获取请求之前还包括采用负载均衡模块将各功能模块发送的数据获取请求均衡的分发给各全局字典数据库。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于系统实施例，所以描述得比较简单，相关之处参见系统实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

以上对本申请所提供的系统数据处理系统及方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种系统数据处理系统，其特征在于，包括：

功能模块，用于实现不同功能；

全局字典数据库模块，用于存储并为各功能模块提供数据，包括数据接口和查询模块；

其中，所述数据接口对各功能模块的数据获取请求进行解析，并将解析后的请求发送给全局字典数据库模块的查询模块进行数据查询；

所述查询模块将查询到的数据通过数据接口返回给各功能模块。

2.如权利要求1所述的系统数据处理系统，其特征在于，所述系统还包括：

管理模块，用于对全局字典数据库模块中的数据进行管理。

3.如权利要求1或2所述的系统数据处理系统，其特征在于，所述数据接口采用通用的通信协议实现。

4.如权利要求3所述的系统数据处理系统，其特征在于，所述数据接口采用超文本传送协议的JavaScript对象交换格式或扩展标记语言格式实现。

5.如权利要求1或2所述的系统数据处理系统，其特征在于，所述数据接口的数量与全局字典数据库模块中包含的数据数量相同，每一个数据接口对应一组数据。

6.如权利要求2所述的系统数据处理系统，其特征在于，所述管理模块包括：

用于对全局字典数据库模块中的数据进行更新，所述更新至少包括以下一种或几种：修改、删减、新增；和/或

用于将具有共同信息的数据关联。

7.如权利要求1或2所述的系统数据处理系统，其特征在于，所述系统还包括：

负载均衡模块，置于各功能模块和各全局字典数据库模块之间，用于将各功能模块提交的请求均衡的分发给各全局字典数据库模块。

8.如权利要求1或2所述的系统数据处理系统，其特征在于，所述全局字典数据库模块中的数据采用哈希表的方式存储。

9.一种系统数据处理方法，其特征在于，包括以下步骤：

全局字典数据库通过数据接口接收功能模块发送的数据获取请求；

数据接口对数据获取请求进行解析，并传递给查询模块进行数据查询；

将查询模块查询到的数据通过数据接口返回给提交数据获取请求的功能模块。

10.如权利要求9所述的系统数据处理方法，其特征在于，在全局字典数据库通过数据接口接收功能模块发送的数据获取请求之前还包括配置数据接口，所述配置过程包括：

获取全局字典数据库中的数据数量；

为每一组数据配置一个对应的数据接口。

11.如权利要求9所述的系统数据处理方法，其特征在于，所述方法还包括：

采用管理模块对全局字典数据库中的数据进行管理。

12.如权利要求11所述的系统数据处理方法，其特征在于，所述管理模块对全局字典数据库中的数据进行管理包括：

对全局字典数据库中的数据进行更新，所述更新至少包括以下一种或几种：修改、删减、新增；和/或

将全局字典数据库中具有共同信息的数据关联。

13.如权利要求9所述的系统数据处理方法，其特征在于，所述全局字典数据库通过数据接口接收功能模块发送的数据获取请求之前还包括：

采用负载均衡模块将各功能模块发送的数据获取请求均衡的分发给各全局字典数据库。

Images