CN103810202B - 数据收集方法及数据收集系统 - Google Patents

Abstract

本发明涉及数据收集方法及数据收集装置，其中数据收集方法包括：从数据处理集群中选择一个数据处理设备；向该选择的数据处理设备发起建立长连接的请求，并判断是否连接成功；若连接成功，则将根据对网络信息的操作而获取的相应的流水数据，实时发送给该选择的数据处理设备以使该数据处理设备对该流水数据进行处理；以及若连接不成功，则从该数据处理集群中选择另一数据处理设备，再进行向选择的数据处理设备发起建立长连接的请求的步骤。本发明在数据收集装置及数据处理设备出现故障时，也不会造成流水数据丢失。

Description

数据收集方法及数据收集系统

技术领域

本发明涉及数据收集技术领域，尤其涉及数据收集方法及数据收集系统。

背景技术

在互联网的服务信息提供系统中，为了实现对客户端进行更优的服务，往往需要根据客户端对服务信息的操作而获取大量的流水数据，以对流水数据进行分析进而提供更优服务，例如音乐推荐系统就是基于客户端用户的音乐流水数据来预估用户喜爱的歌曲，其首先需要根据客户端用户对音乐操作而获取音乐流水数据，例如歌曲名、歌手姓名、歌曲类别等数据，此音乐流水数据能够对音乐推荐系统推荐给客户端的歌曲列表产生影响。

目前对流水数据的收集大都采用如下方式：首先将获得的流水数据存储，然后在一定的时间间隔（例如10-30分钟）后将存储的流水数据发送给数据接收端。数据接收端批量处理流水数据以计算出推荐的信息，例如歌曲列表，并将歌曲列表推荐给客户端。在这种数据收集方式中，数据收集存在非常大的时间延迟，实时性非常弱，因此，客户端用户的操作无法及时影响到推荐信息，例如歌曲推荐列表。此外，任意一个客户端主机或数据接收端出现故障，都会引起客户端流水数据的丢失，导致推荐信息不准确。

发明内容

因此，本发明提供数据收集方法及数据收集装置，以克服现有数据收集技术存在的问题。

具体地，本发明实施例提出的一种数据收集方法，包括步骤：从数据处理集群中选择一个数据处理设备；向该选择的数据处理设备发起建立长连接的请求，并判断是否连接成功；若连接成功，则将根据对网络信息的操作而获取的相应的流水数据，实时发送给该选择的数据处理设备以使该数据处理设备对该流水数据进行处理；以及若连接不成功，则从该数据处理集群中选择另一数据处理设备，再进行向选择的数据处理设备发起建立长连接的请求的步骤。

另外，本发明实施例提出的一种数据收集装置，包括选择模块、连接建立模块以及发送模块，选择模块，用于从数据处理集群中选择一个数据处理设备；连接建立模块，用于向该选择的数据处理设备发起建立长连接的请求，并判断是否连接成功，若否，则使该选择模块从该数据处理集群中选择另一数据处理设备，再执行该连接建立模块；发送模块，用于在连接成功后，将根据对网络信息的操作而获取的相应的流水数据，实时发送给该选择的数据处理设备以使该数据处理设备对流水数据进行处理。

由上述实施例可知，本发明通过使用长连接实时将流水数据发送至数据处理设备以对流水数据进行组织处理。若连接不成功，则再另外选取一个数据处理设备建立长连接并发送数据至此数据处理设备，如果还是连接不成功，则会再寻找数据处理设备，直到成功为止。从而使得流水数据能够实时进行收集并迅速影响到推荐信息，此外，若数据收集装置及数据处理设备出现故障，也不会造成客户端流水数据丢失。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明实施例提出的数据收集方法的步骤流程图；

图2是本发明另一实施例提出的数据收集方法的步骤流程图；

图3是本发明实施例提出的数据收集装置的主要架构框图；

图4是本发明另一实施例提出的数据收集装置的主要架构框图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的数据收集方法及数据收集装置其具体实施方式、结构、特征及功效，详细说明如后。

有关本发明的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例详细说明中将可清楚的呈现。通过具体实施方式的说明，当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本发明加以限制。

图1是本发明实施例提出的数据收集方法的步骤流程图。请参阅图1，本发明实施例的数据收集方法可包括以下步骤S100-S109：

步骤S100：从数据处理集群中选择一个数据处理设备。

本步骤中，可以根据预先存储的数据处理设备的识别信息，例如ID而任意选取一个数据处理设备以准备与此数据处理设备进行连接。数据处理集群包括若干数据处理设备，数据处理设备可以为服务器等设备。

步骤S101：向选择的数据处理设备发起建立长连接的请求，并判断是否连接成功，若是，则进行步骤S103，若否，则进行步骤S109。

本步骤中，长连接可以为Tcp长连接，即与选择的数据处理设备使用tcp协议建立连接后，将会保持连接很长的时间并持续进行数据传输，并不断开，直到数据收集装置或者数据处理设备主动关闭连接为止。向选择的数据处理设备发起建立长连接的请求后，可以通过是否收到选择的数据处理设备发送的接受连接的回复信息而判断是否连接成功，若接收到选择的数据处理设备发送的接受连接的回复信息，则判断为连接成功。反之，则判断为连接不成功。

步骤S103：将根据对网络信息的操作而获取的相应的流水数据，实时发送给选择的数据处理设备以使数据处理设备对流水数据进行处理，继续进行步骤S103。

本步骤中，网络信息可以存放于各种服务产品（如QQ音乐、优酷视频）的数据库中，网络信息的种类包括网络歌曲、视频、图片等。网络歌曲的信息内容可以包括歌曲的ID、歌曲的名称、歌曲的类型、歌手名等。对网络信息的操作包括收听、收藏、设为背景等操作。例如当用户选择收听《隐形的翅膀》歌曲1分钟，本步骤则根据用户收听的操作而获取到收听歌曲的ID、客户端账号、收听开始时间、收听结束时间、歌曲的类型等流水数据。歌曲的ID及歌曲的类型通过数据库中存放的此歌曲的信息而获得。当用户将《隐形的翅膀》设为背景音乐，则根据用户设为背景音乐的操作而获取到此歌曲的ID、客户端账号、设为背景音乐的时间、歌曲的类型等流水数据。数据处理设备对流水数据进行处理，即数据处理设备可以对流水数据按照每个客户端进行分类，并将客户端关注的信息推荐给客户端。例如客户端用户在一段时间内收听的歌曲均为乡村音乐，则可以将服务产品数据库中的乡村音乐实时推荐给客户端用户。本步骤中，若选择另一数据处理设备，则将原先发送给其它数据处理设备的数据重新发送给此数据处理设备。

步骤S109：从数据处理集群中选择另一数据处理设备，进行步骤S101。

本步骤中，可以根据预先存储的数据处理设备的识别信息，例如ID而选取另一个数据处理设备以准备与此数据处理设备进行连接。

在本发明实施例中，本发明通过使用长连接实时将流水数据发送至数据处理设备以对流水数据进行组织处理。若连接不成功，则再另外选取一个数据处理设备建立长连接并发送数据至此数据处理设备，如果还是连接不成功，则会再寻找数据处理设备，直到成功为止。从而使得流水数据能够实时进行收集并迅速影响到推荐信息，此外，若数据收集装置及数据处理设备出现故障，也不会造成客户端流水数据丢失。

图2是本发明实施例提供的数据收集方法的步骤流程图。图2是在图1的基础上改进而来的。请参阅图2，本发明实施例的数据收集方法可包括以下步骤S200-S209：

步骤S200：从数据处理集群中选择一个数据处理设备。

本步骤中，可以根据预先存储的数据处理设备的识别信息，例如ID而任意选取一个数据处理设备以准备与此数据处理设备进行连接。数据处理集群包括若干数据处理设备，数据处理设备可以为服务器等设备。

步骤S201：向选择的数据处理设备发起建立长连接的请求，并判断是否连接成功，若是，则进行步骤S203，若否，则进行步骤S209。

本步骤中，长连接可以为Tcp长连接，即与选择的数据处理设备使用tcp协议建立连接后，将会保持连接很长的时间并持续进行数据传输，并不断开，直到数据收集装置或者数据处理设备主动关闭连接为止。向选择的数据处理设备发起建立长连接的请求后，可以通过是否收到选择的数据处理设备发送的接受连接的回复信息而判断是否连接成功，若接收到选择的数据处理设备发送的接受连接的回复信息，则判断为连接成功。反之，则判断为连接不成功。

步骤S203：将根据对网络信息的操作而获取的相应的流水数据，实时发送给选择的数据处理设备以使数据处理设备对流水数据进行处理。

本步骤中，网络信息可以存放于各种服务产品（如QQ音乐、优酷视频）的数据库中，网络信息的种类包括网络歌曲、视频、图片等。网络歌曲的信息内容可以包括歌曲的ID、歌曲的名称、歌曲的类型、歌手名等。对网络信息的操作包括收听、收藏、设为背景等操作。例如当用户选择收听《隐形的翅膀》歌曲1分钟，本步骤则根据用户收听的操作而获取到收听歌曲的ID、客户端账号、收听开始时间、收听结束时间、歌曲的类型等流水数据。歌曲的ID及歌曲的类型通过数据库中存放的此歌曲的信息而获得。当用户将《隐形的翅膀》设为背景音乐，则根据用户设为背景音乐的操作而获取到此歌曲的ID、客户端账号、设为背景音乐的时间、歌曲的类型等流水数据。数据处理设备对流水数据进行处理，即数据处理设备可以对流水数据按照每个客户端进行分类，并将客户端关注的信息推荐给客户端。例如客户端用户在一段时间内收听的歌曲均为乡村音乐，则可以将服务产品数据库中的乡村音乐实时推荐给客户端用户。

步骤S205：判断流水数据是否成功发送给选择的数据处理设备，若是，则进行步骤S203，若否，则进行步骤S207。

本步骤中，可设置一定时器设定一预定时间（例如10钟），在将流水数据发送给选择的数据处理设备时开始计时，若在预定时间内接收到来自选择的数据处理设备发送的数据已成功接收的信息时，则判断为流水数据已成功发送给选择的数据处理设备，否则判断为流水数据未成功发送给选择的数据处理设备。

步骤S205中具体还可包括步骤：

接收选择的数据处理设备对流水数据进行处理后发送的推荐信息，并将推荐信息进行显示。

本步骤中，推荐信息例如可以为客户端关注的歌曲、视频、图片等信息。

步骤S207：与选择的数据处理设备之间断开连接。

本步骤中，可以通过关闭与选择的数据处理设备之间的连接而与其断开连接。

步骤S209：从数据处理集群中选取另一数据处理设备，进行步骤S201。

本步骤中，可以根据预先存储的数据处理设备的识别信息，例如ID而选取另一个数据处理设备以准备与此数据处理设备进行连接。

在本发明的实施例中，本发明通过使用长连接实时将流水数据发送至数据处理设备以对流水数据进行组织处理。若连接不成功或者是发送数据出错，则断开长连接，再另外选取一个数据处理设备建立长连接并发送数据至此数据处理设备，如果还是连接不成功或者是发送数据出错（即数据未成功发送），则会再寻找数据处理设备，直到发送数据成功为止。从而使得流水数据能够实时进行收集并迅速影响到推荐信息，此外，若数据收集装置及数据处理设备出现故障，也不会造成客户端流水数据丢失。

图3是本发明实施例提出的数据收集装置的主要架构框图。请参阅图3，数据收集装置包括：选择模块301、连接建立模块303以及发送模块305。

更具体地，选择模块301，用于从数据处理集群中选择一个数据处理设备。

连接建立模块303，向选择的数据处理设备发起建立长连接的请求，并判断是否连接成功，若是，则执行发送模块305，若否，则使选择模块301从数据处理集群中选择另一数据处理设备，并执行连接建立模块303。

发送模块305，用于将根据对网络信息的操作而获取的相应的流水数据，实时发送给选择的数据处理设备以使数据处理设备对流水数据进行处理。

在本发明实施例中，本发明通过使用长连接实时将流水数据发送至数据处理设备以对流水数据进行组织处理。若连接不成功，则再另外选取一个数据处理设备建立长连接并发送数据至此数据处理设备，如果还是连接不成功，则会再寻找数据处理设备，直到成功为止。从而使得流水数据能够实时进行收集并迅速影响到推荐信息，此外，若数据收集装置及数据处理设备出现故障，也不会造成客户端流水数据丢失。

图4是本发明另一实施例提出的数据收集装置的主要架构框图。图4是在图3的基础上改进而来的。请参阅图4，数据收集装置包括：选择模块401、连接建立模块403以及发送模块405。

更具体地，选择模块401，用于从数据处理集群中选择一个数据处理设备。

连接建立模块403，向选择的数据处理设备发起建立长连接的请求，并判断是否连接成功，若是，则执行发送模块405，若否，则使选择模块301从数据处理集群中选择另一数据处理设备，再执行连接建立模块403。

发送模块405，用于将根据对网络信息的操作而获取的相应的流水数据，实时发送给选择的数据处理设备以使数据处理设备对流水数据进行处理。

此外，数据收集装置还可以包括：判断模块409、定时器407以及接收模块411。

判断模块409，用于判断流水数据是否成功发送给选择的数据处理设备，若是，则执行发送模块405，若否，则与选择的数据处理设备之间断开连接，再执行选择模块401。

定时器407，用于设定一预定时间，在将流水数据发送给选择的数据处理设备时开始计时。

判断模块409，还用于在预定时间内接收到来自选择的数据处理设备发送的数据已成功接收的信息时，则判断为流水数据已成功发送给选择的数据处理设备，否则判断为流水数据未成功发送给选择的数据处理设备。

接收模块411，用于接收选择的数据处理设备对流水数据进行处理后发送的推荐信息，并将推荐信息进行显示。

在本发明的实施例中，本发明通过使用长连接实时将流水数据发送至数据处理设备以对流水数据进行组织处理。若连接不成功或者是发送数据出错，则断开长连接，再另外选取一个数据处理设备建立长连接并发送数据至此数据处理设备，如果还是连接不成功或者是发送数据出错（即数据未成功发送），则会再寻找数据处理设备，直到发送数据成功为止。从而使得流水数据能够实时进行收集并迅速影响到推荐信息，此外，若数据收集装置及数据处理设备出现故障，也不会造成客户端流水数据丢失。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）或随机存储记忆体（RandomAccessMemory，RAM）等。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种数据收集方法，其特征是，包括步骤：

从数据处理集群中选择一个数据处理设备；

向该选择的数据处理设备发起建立长连接的请求，并判断是否连接成功；

若连接成功，则将根据对网络信息的操作而获取的相应的流水数据，实时发送给该选择的数据处理设备以使该数据处理设备对该流水数据进行处理；以及

若连接不成功，则从该数据处理集群中选择另一数据处理设备，再进行向选择的数据处理设备发起建立长连接的请求的步骤。

2.根据权利要求1所述的数据收集方法，其特征是：在执行若连接成功的步骤后，还包括步骤：

判断该流水数据是否成功发送给该选择的数据处理设备，若是，继续执行将根据对网络信息的操作而获取的相应的流水数据，实时发送给选择的数据处理设备以使数据处理设备对流水数据进行处理的步骤。

3.根据权利要求2所述的数据收集方法，其特征是：还包括步骤：

若判断流水数据未成功发送给该选择的数据处理设备，则与该选择的数据处理设备之间断开连接。

4.根据权利要求2所述的数据收集方法，其特征是：还包括步骤：

通过一定时器设定一预定时间，在将该流水数据发送给该选择的数据处理设备时开始计时，若在该预定时间内接收到来自该选择的数据处理设备发送的数据已成功接收的信息时，则判断为该流水数据已成功发送给该选择的数据处理设备，否则判断为该流水数据未成功发送给该选择的数据处理设备。

5.根据权利要求1所述的数据收集方法，其特征是：在执行若连接成功的步骤中，还包括步骤：

接收该选择的数据处理设备对流水数据进行处理后发送的推荐信息，并将该推荐信息进行显示。

6.一种数据收集装置，其特征在于，其包括：

选择模块，用于从数据处理集群中选择一个数据处理设备；

连接建立模块，用于向该选择的数据处理设备发起建立长连接的请求，并判断是否连接成功，若否，则使该选择模块从该数据处理集群中选择另一数据处理设备，该连接建立模块再向该选择的另一数据处理设备发起建立长连接的请求；以及

发送模块，用于在连接成功后，将根据对网络信息的操作而获取的相应的流水数据，实时发送给该选择的数据处理设备以使该数据处理设备对该流水数据进行处理。

7.根据权利要求6所述的数据收集装置，其特征在于，其进一步包括：

判断模块，用于判断该流水数据是否成功发送给该选择的数据处理设备，若是，则该发送模块再将根据对网络信息的操作而获取的相应的流水数据，实时发送给该选择的数据处理设备以使该数据处理设备对流水数据进行处理，直到所有流水数据发送成功为止。

8.根据权利要求7所述的数据收集装置，其特征在于，该判断模块，还用于判断该流水数据未成功发送给该选择的数据处理设备，则与该选择的数据处理设备之间断开连接。

9.根据权利要求7所述的数据收集装置，其特征在于，其进一步包括：

定时器，用于设定一预定时间，在将该流水数据发送给该选择的数据处理设备时开始计时；该判断模块，还用于在预定时间内接收到来自该选择的数据处理设备发送的数据已成功接收的信息时，则判断为该流水数据已成功发送给该选择的数据处理设备，否则判断为该流水数据未成功发送给该选择的数据处理设备。

10.根据权利要求6所述的数据收集装置，其特征在于，其进一步包括：

接收模块，用于接收该选择的数据处理设备对该流水数据进行处理后发送的推荐信息，并将该推荐信息进行显示。