CN103678008A - 数据读取方法及相应的数据读取装置 - Google Patents

Abstract

本发明涉及一种数据读取方法及相应的数据读取装置。该数据读取装置包括业务进程，聚合进程以及接口进程；该接口进程包括业务接口子进程，用于接收第一读取请求，并发送第一读取请求至业务进程，接收业务进程的反馈数据，并发送业务进程的反馈数据中的业务数据至用户；以及聚合接口子进程，用于发送业务进程的反馈数据至聚合进程，接收第二读取请求，并发送第二读取请求至聚合进程，接收聚合进程的反馈数据，并发送聚合进程的反馈数据至用户。本发明还涉及一种数据读取装置，本发明的数据读取方法及相应的数据读取装置对负荷较大的业务进程的数据进行分流，从而减小相应的业务进程的负荷。

Description

数据读取方法及相应的数据读取装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于UGC（User Generated Content，用户生成内容）的数据读取方法及相应的数据读取装置。

背景技术

UGC是一种用户使用互联网的新方式，即由原来的以下载为主变成下载和上传并重。社区网络、视频分享以及博客等都是UGC的主要应用形式，随着智能终端的多样化以及全球互联网业务的不断发展，UGC业务正在日渐崛起，引起了业界的广泛关注。

图1为现有的基于UGC的数据读取装置的结构示意图。该数据读取装置包括一个接口进程11以及多个业务进程12。其中接口进程11用于将读取请求路由至相应的业务进程12，由于一个读取请求可能涉及多个业务进程12，因此接口进程11还负责将多个业务进程12的相应数据进行整合。每个业务进程12响应来自接口进程11的读取请求，进行相应用户数据的读取和写入。

现有的基于UGC的数据读取装置使用时，如接口进程11接收到一个微博首页的读取请求，接口进程11会将该读取请求拆分为多个子读取请求分别发送给相应的业务进程12，业务进程12接收到该子读取请求后将相应的响应数据反馈给接口进程11，接口进程11将多个响应数据整合后反馈给用户。由于每个用户的微博首页一般会有多个关注好友的微博信息，如用户在微博首页进行频繁的操作，例如上翻页以及下翻页等，为了实现微博首页的内容刷新，会使得接口进程11和多个业务进程12不断的进行数据通信，导致相应业务进程的负荷较大。

此外，某些微博用户拥有庞大的收听用户（例如明星认证用户），这样明星认证用户的业务进程12所在的服务器很容易形成热点，同样导致相应的业务进程12的负荷较大。

故，有必要提供一种数据读取方法及相应的数据读取装置，以解决现有技术所存在的问题。

发明内容

本发明的目的在于提供一种对负荷较大的业务进程的数据进行分流，从而减小相应的业务进程的负荷的数据读取方法及相应的数据读取装置。解决了现有的数据读取方法及相应的数据读取装置的某些业务进程的负荷较大的技术问题。

为解决上述问题，本发明提供的技术方案如下：

本发明涉及一种数据读取装置，其包括：

业务进程，用于存储用户的全部数据以响应第一读取请求；

聚合进程，用于存储所述业务进程的反馈数据以响应第二读取请求；以及

接口进程，包括：

业务接口子进程，用于接收所述第一读取请求，并发送所述第一读取请求至所述业务进程；接收所述业务进程的反馈数据，并发送所述业务进程的反馈数据中的业务数据至用户；以及

聚合接口子进程，用于发送所述业务进程的反馈数据至所述聚合进程；接收所述第二读取请求，并发送所述第二读取请求至所述聚合进程；接收所述聚合进程的反馈数据，并发送所述聚合进程的反馈数据至用户。

在本发明所述的数据读取装置中，所述接口进程还包括：

聚合接口更新子进程，用于在所述聚合进程的反馈数据不满足所述第二读取请求的情况下，发送所述第二读取请求至所述业务进程；接收所述业务进程的反馈数据，发送所述业务进程的反馈数据中的业务数据至用户，并发送所述业务数据的反馈数据至所述聚合进程。

在本发明所述的数据读取装置中，所述聚合进程还用于存储用户业务数据的更新时间。

在本发明所述的数据读取装置中，所述聚合接口更新子进程具体用于在所述聚合进程的反馈数据不满足所述第二读取请求的情况下，根据所述用户业务数据的更新时间以及所述第二读取请求发起时的定位时间，对所述第二读取请求进行简化，发送简化后的第二读取请求至所述业务进程；接收所述业务进程的反馈数据，发送所述业务进程的反馈数据中的业务数据至用户，并发送所述业务数据的反馈数据至所述聚合进程。

在本发明所述的数据读取装置中，所述聚合进程包括：

第一删除子进程：用于采用先进先出算法或最近最少使用算法删除所述聚合进程中的反馈数据；以及

第二删除子进程：用于删除生存时间大于设定值的所述聚合进程中的反馈数据。

本发明还涉及一种数据读取方法，其包括步骤：

接口进程接收读取请求，并使用聚合进程的反馈数据响应所述读取请求，得到所述响应结果；以及

根据所述响应结果，确定从所述聚合进程或所述业务进程中获取所述读取请求的反馈数据；

所述读取请求包括第一读取请求；

所述聚合进程的反馈数据通过以下步骤获取：

接口进程接收所述第一读取请求，并发送所述第一读取请求至所述业务进程；

所述业务进程根据存储的用户的全部数据响应所述第一读取请求，并生成反馈数据；以及

所述接口进程接收所述业务进程的反馈数据，并发送所述业务进程的反馈数据中的业务数据至用户，发送所述业务进程的反馈数据至所述聚合进程。

在本发明所述的数据读取方法中，所述读取请求还包括第二读取请求；所述根据所述响应结果，确定从所述聚合进程或所述业务进程中获取所述读取请求的反馈数据的步骤具体为：

在所述聚合进程的反馈数据满足所述第二读取请求的情况下，接收所述聚合进程的反馈数据，并发送所述聚合进程的反馈数据至用户；

在所述聚合进程的反馈数据不满足所述第二读取请求的情况下，发送所述第二读取请求至所述业务进程；接收所述业务进程的反馈数据，发送所述业务进程的反馈数据中的业务数据至用户，并发送所述业务数据的反馈数据至所述聚合进程。

在本发明所述的数据读取方法中，所述聚合进程还用于存储用户业务数据的更新时间。

在本发明所述的数据读取方法中，在所述聚合进程的反馈数据不满足第二读取请求的情况下，根据所述用户业务数据的更新时间以及所述第二读取请求发起时的定位时间，对所述第二读取请求进行简化，发送简化后的第二读取请求至所述业务进程；接收所述业务进程的反馈数据，发送所述业务进程的反馈数据中的业务数据至用户，并发送所述业务数据的反馈数据至所述聚合进程。

在本发明所述的数据读取方法中，所述数据读取方法还包括步骤：

采用先进先出算法或最近最少使用算法删除所述聚合进程中的反馈数据；以及

删除生存时间大于设定值的所述聚合进程中的反馈数据。

相较于现有技术，本发明的数据读取方法及相应的数据读取装置对负荷较大的业务进程的数据进行分流，从而减小相应的业务进程的负荷，解决了现有的数据读取方法及相应的数据读取装置的某些业务进程的负荷较大的技术问题。

为让本发明的上述内容能更明显易懂，下文特举优选实施例，并配合所附图式，作详细说明如下：

附图说明

图1为现有的基于UGC的数据读取装置的结构示意图；

图2为本发明的数据读取装置的优选实施例的结构示意图；

图3为本发明的数据读取方法的优选实施例的流程图；

图4为本发明的数据读取方法的优选实施例的聚合进程获取反馈数据的流程图；

图5为本发明的数据读取方法及相应的数据读取装置的使用过程示意图；

其中，附图标记说明如下：

21、业务进程；

22、聚合进程；

23、接口进程；

231、业务接口子进程；

232、聚合接口子进程；

233、聚合接口更新子进程。

具体实施方式

以下各实施例的说明是参考附加的图式，用以例示本发明可用以实施的特定实施例。本发明所提到的方向用语，例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「侧面」等，仅是参考附加图式的方向。因此，使用的方向用语是用以说明及理解本发明，而非用以限制本发明。

在图中，结构相似的单元是以相同标号表示。

请参照图2，图2为本发明的数据读取装置的优选实施例的结构示意图。该数据读取装置包括多个业务进程21、多个聚合进程22以及至少一个接口进程23。其中业务进程21用于存储用户的全部数据以响应第一读取请求，聚合进程22用于存储业务进程21的反馈数据以响应第二读取请求。

接口进程23包括业务接口子进程231、聚合接口子进程232以及聚合接口更新子进程233。业务接口子进程231用于接收第一读取请求，并发送第一读取请求至业务进程21；接收业务进程21的反馈数据，并发送业务进程21的反馈数据中的业务数据至用户。聚合接口子进程232用于发送业务进程21的反馈数据至聚合进程22；接收第二读取请求，并发送第二读取请求至聚合进程22；接收聚合进程22的反馈数据，并发送聚合进程22的反馈数据至用户。聚合接口更新子进程233用于在聚合进程22的反馈数据不满足第二读取请求的情况下，发送第二读取请求至业务进程21；接收业务进程21的反馈数据，发送业务进程21的反馈数据中的业务数据至用户，并发送业务数据的反馈数据至聚合进程22。

本发明的数据读取装置使用时，当数据读取装置接收到用户的读取请求时，会将该读取请求划分为第一读取请求以及第二读取请求，其中第一读取请求一般为用户在一定时期内首次访问的读取请求，第二读取请求一般为用户在一定时期内持续访问的读取请求，当数据读取装置无法对读取请求进行划分时，可将该读取请求直接定为第一读取请求或第二读取请求。

下面分别说明第一读取请求和第二读取请求的请求处理过程。

首先接口进程23的业务接口子进程231接收第一读取请求，并发送该第一读取请求至相应的业务进程21（每个业务进程21存储有特定用户的全部数据），业务进程21根据其存储的用户的数据响应第一读取请求，并将相应的反馈数据发送给接口进程23。

随后接口进程23的业务接口子进程231接收该反馈数据，并发送该反馈数据中的业务数据至用户，这里的业务数据是指用户当前需要的数据，但每次业务进程21发送的反馈数据会远远多于业务数据（如用户浏览博客首页查看别人的最新微博，博客首页的微博数据即为业务数据，而用户需要进行翻页浏览的数据即为其他的反馈数据，这里其他的反馈数据可用于缓存加快浏览速度或设定翻页页码等）。同时聚合接口子进程232将所有的反馈数据均发送给聚合进程22，聚合进程22将这些反馈数据存储起来用于响应第二读取请求。

然后用户根据业务接口子进程231反馈的业务数据进行数据浏览。这时用户可能会根据需要发出第二读取请求（如翻页操作等），聚合接口子进程232可将该第二读取请求发送至聚合进程22；聚合进程22根据其存储的反馈数据响应第二读取请求，并将反馈数据发送至聚合接口子进程232；聚合接口子进程232发送该聚合进程22的反馈数据至用户以满足用户持续访问的要求。

以上即为本发明的数据读取装置对第一读取请求和第二读取请求的请求处理过程。

进一步，在聚合进程22的反馈数据不能够满足第二读取请求的情况下（如用户刷新博客首页查看其它人的最新微博等），聚合接口更新子进程233会发送第二读取请求至业务进程21；接收业务进程21的反馈数据，发送业务进程21的反馈数据中的业务数据至用户，并发送业务数据的反馈数据至聚合进程22；聚合进程22根据该反馈数据更新其存储的反馈数据。

进一步，为了优化聚合进程22的反馈速度，聚合进程22还存储有用户业务数据的更新时间。在聚合进程22的反馈数据不能够满足第二读取请求的情况下，聚合接口更新子进程233会根据用户业务数据的更新时间以及第二读取请求发起时的定位时间，对第二读取请求进行简化。即聚合接口更新子进程233只读取用户业务数据的更新时间位于第二读取请求发起时的定位时间之后的用户的数据，这样在不影响获得反馈数据的基础上，还可大大减轻相应业务进程21的压力。此处第二读取请求发起时的定位时间是指第二读取请求发起时的聚合进程22中的与该第二读取请求相应的最新反馈数据的发布时间（如用户博客首页上好友的最新微博的发布时间）。随后聚合接口更新子进程233将简化后的第二读取请求发送至相应的业务进程21；接收业务进程21的反馈数据，发送业务进程21的反馈数据中的业务数据至用户，并发送业务数据的反馈数据至聚合进程22；聚合进程22根据该反馈数据更新其存储的反馈数据。

进一步，聚合进程22还包括第一删除子进程以及第二删除子进程。第一删除子进程用于采用先进先出算法或最近最少使用算法删除聚合进程22中的反馈数据；第二删除子进程用于删除生存时间大于设定值的聚合进程22中的反馈数据。第一删除子进程的设置保证了聚合进程22中的数据的有效性（即保存相应用户最新的反馈数据或用户访问频率最高的反馈数据）。第二删除子进程的设置保证了聚合进程22中的数据与业务进程21中的数据的同步性，如业务进程21中的数据被用户删除，聚合进程22中的数据在一定的生存时间之后也会被删除，而不会产生聚合进程22中的数据与业务进程21中的数据不一致的现象（因为聚合进程22中的数据全部来自与业务进程21）。当然这里的第一删除子进程中使用的算法以及生存时间的选择可根据用户的要求进行设置，具体的算法和生存时间的长短并不限制本发明的保护范围。

本发明还涉及一种数据读取方法，如图3所示，图3为本发明的数据读取方法的优选实施例的流程图。该数据读取方法包括：

步骤301，接口进程接收读取请求，并使用聚合进程的反馈数据响应读取请求，得到响应结果；

步骤302，根据响应结果，确定从聚合进程或业务进程中获取读取请求的反馈数据。

该数据读取方法结束于步骤302。

该读取请求包括第一读取请求。

其中聚合进程的反馈数据通过以下步骤获取，如图4所示，图4为本发明的数据读取方法的优选实施例的聚合进程获取反馈数据的流程图，包括：

步骤401，接口进程接收第一读取请求，并发送第一读取请求至业务进程；

步骤402，业务进程根据存储的用户的全部数据响应第一读取请求，并生成反馈数据；

步骤403，接口进程接收业务进程的反馈数据，并发送业务进程的反馈数据中的业务数据至用户，发送业务进程的反馈数据至聚合进程。

本发明的数据读取方法在一数据读取装置中使用，该数据读取装置包括多个业务进程、多个聚合进程以及至少一个接口进程。

该读取请求还可包括第二读取请求。

使用本发明的数据读取方法时，当接收到用户的读取请求时，会使用聚合进程的反馈数据来响应读取请求。

如该读取请求为第一读取请求，则聚合进程的反馈数据不满足该读取请求，接口进程将该第一读取请求发送至业务进程；业务进程根据其存储的用户的数据响应第一读取请求，并将相应的反馈数据发送给接口进程；接口进程接收业务进程的反馈数据后，发送业务进程的反馈数据中的业务数据至用户，并发送业务数据的反馈数据至聚合进程。聚合进程将这些反馈数据存储起来用于响应第二读取请求。

如该读取请求为第二读取请求，同时聚合进程的反馈数据能够满足该读取请求，则聚合进程根据其存储的反馈数据响应第二读取请求，并将反馈数据发送至接口进程；接口进程接收聚合进程的反馈数据，并发送聚合进程的反馈数据至用户。

在聚合进程的反馈数据不满足第二读取请求的情况下，接口进程发送第二读取请求至业务进程，接收业务进程的反馈数据，发送业务进程的反馈数据中的业务数据至用户，并发送业务数据的反馈数据至聚合进程；聚合进程根据该反馈数据更新其存储的反馈数据。

进一步，为了优化聚合进程的反馈速度，聚合进程还存储有用户业务数据的更新时间。在聚合进程的反馈数据不能够满足第二读取请求的情况下，聚合接口更新子进程会根据用户业务数据的更新时间以及第二读取请求发起时的定位时间，对第二读取请求进行简化。随后接口进程将简化后的第二读取请求发送至业务进程；接收业务进程的反馈数据，发送业务进程的反馈数据中的业务数据至用户，并发送业务数据的反馈数据至聚合进程；聚合进程根据该反馈数据更新其存储的反馈数据。

进一步，本发明的数据读取方法中，聚合进程采用先进先出算法或最近最少使用算法删除聚合进程中的反馈数据；以及删除生存时间大于设定值的聚合进程中的反馈数据。这样保证了聚合进程中的数据的有效性。同时也保证了聚合进程中的数据与业务进程中的数据的同步性，而不会产生聚合进程中的数据与业务进程中的数据不一致的现象。当然这里删除过程中使用的算法以及生存时间的选择可根据用户的要求进行设置，具体的算法和生存时间的长短并不限制本发明的保护范围。

本发明的数据读取方法的具体使用过程与上述数据读取装置的具体实施例的使用过程相同或相似，请参见上述数据读取装置的具体实施例。

下面结合图5通过一具体实施例说明本发明的数据读取方法及相应的数据读取装置的使用过程。图5为本发明的数据读取方法及相应的数据读取装置的使用过程示意图。

这里需要说明的是，业务进程负责存储特定用户的全部数据，而聚合进程仅存储特定用户的最新数据以及用户业务数据的更新时间，因此一个聚合进程负责的用户远多于一个业务进程负责的用户。

首先接口进程判断请求的类型，这里以个人的博客为例，如用户当天登陆用户博客的首页，这时接口进程需要在博客首页显示好友的最近微博。这时判断该读取请求为第一读取请求，接口进程将该第一读取请求发送给业务进程，业务进程将对应该请求的反馈数据发送给接口进程。

如后续用户进行向下翻页操作，该读取请求一般设定为第二读取请求（其与第一读取请求相关，一般响应第一读取请求时已将响应第二读取请求的反馈数据发送给了聚合进程）。这时接口进程将该第二读取请求发送给聚合进程，查看该聚合进程是否能满足该第二读取请求，如能够满足，则聚合进程响应接口进程，将相应的反馈数据发送给用户；如不能够满足（如用户翻页次数过多，查看的数据已经超过了聚合进程中存储的反馈数据），则将该第二读取请求发送给相应的业务进程，业务进程将相应的反馈数据发送给接口进程。

如后续用户进行向上翻页操作，该读取请求一般也设定为第二读取请求。这时接口进程同样将该第二读取请求发送给聚合进程，查看该聚合进程是否能满足该第二读取请求，如能够满足，则聚合进程相应接口进程，将相应的反馈数据发送给用户；如不能够满足（如用户在首页进行向上翻页操作，即对好友最新的微博进行刷新），则会对这次请求涉及到的用户进行一次简化，如用户A收听了好友B和好友C的微博，在用户A进行首页微博刷新时，用户A的博客首页上好友的最新微博发布时间之后只有好友C更新过微博，则聚合进程只会将好友C的微博数据读取请求发送给相应的业务进程，业务进程将相应的反馈数据发送给接口进程。

最后接口进程整合反馈数据中的业务数据发送给用户，同时整合所有的反馈数据发送给相应的聚合进程，即完成了整个数据读取过程。

本发明的数据读取方法及相应的数据读取装置通过增加聚合进程，对现有的业务进程的数据进行了很好的分流。一般经过一次首页读取请求，后续的读取请求就可通过聚合进程完成，大大减少了读取请求的读扩散程度。对于明星认证用户所在的业务进程的分流尤其明显，能够减少相应服务器故障的概率。并且聚合进程只需要存储特定用户的最新数据以及用户业务数据的更新时间，实现成本非常低。

本发明的数据读取方法及相应的数据读取装置对负荷较大的业务进程的数据进行分流，从而减小相应的业务进程的负荷，解决了现有的数据读取方法及相应的数据读取装置的某些业务进程的负荷较大的技术问题。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (10)

1.一种数据读取装置，其特征在于，包括：

业务进程，用于存储用户的全部数据以响应第一读取请求；

聚合进程，用于存储所述业务进程的反馈数据以响应第二读取请求；以及

接口进程，包括：

业务接口子进程，用于接收所述第一读取请求，并发送所述第一读取请求至所述业务进程；接收所述业务进程的反馈数据，并发送所述业务进程的反馈数据中的业务数据至用户；以及

聚合接口子进程，用于发送所述业务进程的反馈数据至所述聚合进程；接收所述第二读取请求，并发送所述第二读取请求至所述聚合进程；接收所述聚合进程的反馈数据，并发送所述聚合进程的反馈数据至用户。

2.根据权利要求1所述的数据读取装置，其特征在于，所述接口进程还包括：

聚合接口更新子进程，用于在所述聚合进程的反馈数据不满足所述第二读取请求的情况下，发送所述第二读取请求至所述业务进程；接收所述业务进程的反馈数据，发送所述业务进程的反馈数据中的业务数据至用户，并发送所述业务数据的反馈数据至所述聚合进程。

3.根据权利要求1或2所述的数据读取装置，其特征在于，所述聚合进程还用于存储用户业务数据的更新时间。

4.根据权利要求3所述的数据读取装置，其特征在于，所述聚合接口更新子进程具体用于在所述聚合进程的反馈数据不满足所述第二读取请求的情况下，根据所述用户业务数据的更新时间以及所述第二读取请求发起时的定位时间，对所述第二读取请求进行简化，发送简化后的第二读取请求至所述业务进程；接收所述业务进程的反馈数据，发送所述业务进程的反馈数据中的业务数据至用户，并发送所述业务数据的反馈数据至所述聚合进程。

5.根据权利要求1或2所述的数据读取装置，其特征在于，所述聚合进程包括：

第一删除子进程：用于采用先进先出算法或最近最少使用算法删除所述聚合进程中的反馈数据；以及

第二删除子进程：用于删除生存时间大于设定值的所述聚合进程中的反馈数据。

6.一种数据读取方法，其特征在于，包括步骤：

接口进程接收读取请求，并使用聚合进程的反馈数据响应所述读取请求，得到所述响应结果；以及

根据所述响应结果，确定从所述聚合进程或所述业务进程中获取所述读取请求的反馈数据；

所述读取请求包括第一读取请求；

所述聚合进程的反馈数据通过以下步骤获取：

接口进程接收所述第一读取请求，并发送所述第一读取请求至所述业务进程；

所述业务进程根据存储的用户的全部数据响应所述第一读取请求，并生成反馈数据；以及

所述接口进程接收所述业务进程的反馈数据，并发送所述业务进程的反馈数据中的业务数据至用户，发送所述业务进程的反馈数据至所述聚合进程。

7.根据权利要求6所述的数据读取方法，其特征在于，

所述读取请求还包括第二读取请求；

所述根据所述响应结果，确定从所述聚合进程或所述业务进程中获取所述读取请求的反馈数据的步骤具体为：

在所述聚合进程的反馈数据满足所述第二读取请求的情况下，接收所述聚合进程的反馈数据，并发送所述聚合进程的反馈数据至用户；

在所述聚合进程的反馈数据不满足所述第二读取请求的情况下，发送所述第二读取请求至所述业务进程；接收所述业务进程的反馈数据，发送所述业务进程的反馈数据中的业务数据至用户，并发送所述业务数据的反馈数据至所述聚合进程。

8.根据权利要求6或7所述的数据读取方法，其特征在于，所述聚合进程还用于存储用户业务数据的更新时间。

9.根据权利要求8所述的数据读取方法，其特征在于，在所述聚合进程的反馈数据不满足第二读取请求的情况下，根据所述用户业务数据的更新时间以及所述第二读取请求发起时的定位时间，对所述第二读取请求进行简化，发送简化后的第二读取请求至所述业务进程；接收所述业务进程的反馈数据，发送所述业务进程的反馈数据中的业务数据至用户，并发送所述业务数据的反馈数据至所述聚合进程。

10.根据权利要求6或7所述的数据读取方法，其特征在于，所述数据读取方法还包括步骤：

采用先进先出算法或最近最少使用算法删除所述聚合进程中的反馈数据；以及

删除生存时间大于设定值的所述聚合进程中的反馈数据。

Images