CN104780145B - 数据传输的方法、装置及系统 - Google Patents

Abstract

本发明公开了一种数据传输的方法、装置及系统，涉及互联网技术领域，为解决离线传输导致的用户数据时效性差的问题而发明。本发明的方法包括：实时获取线上环境中产生的用户数据流，对所述用户数据流进行复流分发，获得多个相同的数据复流，根据预设过滤算法对所述数据复流进行过滤，获得预处理的数据复流，将所述预处理的数据复流发送给对应的第三方运营业务。本发明主要应用与第三方进行运营环境调试的过程中。

Description

数据传输的方法、装置及系统

技术领域

本发明涉及互联网技术领域，尤其涉及一种数据传输的方法、装置及系统。

背景技术

随着信息技术的迅猛发展，互联网运营商在日常运营的过程中积累了大量的用户数据，这些数据被称作“大数据”。近年来，用户数据所蕴含的巨大价值逐渐被人们所挖掘，通过对用户数据的收集、分析、共享，可以为网络运营商及用户提供一种全新的看待世界的方式。

目前，拥有海量用户数据资源的运营商会通过建立开放平台将自身拥有的用户数据提供给第三方站点（后续简称为第三方），第三方调用与开放平台事先协定的应用程序接口（Application Program Interface，简称API）向开放平台获取用户数据，对获取的用户数据进行分析以得到兴趣标签、好友关系链等用户的网络行为特征数据数据，并根据获得的网络行为特征数据对站点的运营策略进行有的放矢的调整。

在现有提供用户数据的过程中，开放平台一般会对一个时间段内产生的用户数据进行积累，然后通过离线传输的方式发送给第三方。例如，每天晚上24:00时将当天产生的用户数据发送给第三方，或者每周一向第三方发送上一周产生的用户数据。这种数据传输的方式存在严重的滞后性问题，第三方运营人员只能根据前一阶段产生的用户数据对当前的用户线上行为进行决策，对于瞬息万变的互联网环境而言，无法满足第三方对用户数据时效性的要求。

发明内容

本发明实施例提供一种数据传输的方法、装置及系统，能够解决离线传输导致的用户数据时效性差的问题。

一方面，本发明实施例提供了一种数据传输的方法，包括：

实时获取线上环境中产生的用户数据流；

对所述用户数据流进行复流分发，获得多个相同的数据复流；

根据预设过滤算法对所述数据复流进行过滤，获得预处理的数据复流；

将所述预处理的数据复流发送给对应的第三方运营业务。

另一方面，本发明实施例提供了一种数据传输的装置，包括：

数据获取单元，用于实时获取线上环境中产生的用户数据流；

复流分发单元，用于对所述数据获取单元获取的所述用户数据流进行复流分发，获得多个相同的数据复流；

数据过滤单元，用于根据预设过滤算法对所述复流分发单元分发的所述数据复流进行过滤，获得预处理的数据复流；

数据发送单元，用于将所述数据过滤单元过滤后的所述预处理的数据复流发送给对应的第三方运营业务。

再一方面，本发明实施例提供了一种数据传输的系统，该系统包括开放平台服务器和第三方站点，其中，

所述开放平台服务器，用于实时获取线上环境中产生的用户数据流，对所述用户数据流进行复流分发，获得多个相同的数据复流，根据预设过滤算法对所述数据复流进行过滤，获得预处理的数据复流，将所述预处理的数据复流发送给对应的第三方站点；

所述第三方站点，用于接收所述开放平台服务器发送的所述预处理的数据复流，在运营环境中对所述预处理的数据复流进行实时分析。

本发明实施例提供的数据传输的方法、装置及系统，能够对开放平台线上环境中产生的用户数据流进行实时获取，并对获取的用户数据流进行复流分发，获得多个相同的数据复流，然后根据不同的预设算法分别对各个数据复流进行过滤，获得预处理的数据复流，最后将预处理的数据复流分别发送给对应的第三方运营业务，由第三方在运营环境中针对不同的运营业务对数据复流进行分析，获得需要的网络行为特征数据。与现有技术中通过离线传输的方式向第三方发送用户数据相比，可以通过实时发送数据流的方式保证用户数据分析的时效性，由此使得第三方可以依据当前用户数据对当前的用户线上行为进行决策，保障决策行为的准确性和时效性，更加适用于第三方在运营环境中的数据分析。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中数据传输的方法流程图；

图2为本发明实施例中另一个数据传输的方法流程图；

图3为本发明实施例中用户数据流复流分发及过滤的示意图；

图4为本发明实施例中数据传输的装置的结构示意图；

图5为本发明实施例中另一个数据传输的装置的结构示意图；

图6为本发明实施例中数据传输的系统示意图。

具体实施方式

下面将结合本实施例中的附图，对本实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在现有技术中，开放平台通常是在离线状态下将前一时段内产生的用户数据发送给第三方。由于用户数据存在滞后性问题，因此第三方的分析结果通常时效性较差，影响第三方决策的准确性。例如，在进行模型调试时，第三方往往是在线上环境中进行模型调试，由于用户数据的获取是分段且滞后的，因此通常需要对模型进行多次调整，但无论进行几次调整，滞后的用户数据都无法及时对用户当前的网络行为进行反映，调整后的模型无法绝对适用于当前的网络环境。

为解决数据时效性较差对第三方线上决策的影响，本实施例提供了一种数据传输的方法，能够为第三方实时提供决策所需的用户数据，帮助第三方提高运营决策的准确性。如图1所示，该方法包括：

101、开放平台实时获取线上环境中产生的用户数据流。

开放平台对网络社区、即时通讯等应用线上环境中产生的用户数据进行实时获取，得到用户数据流。该用户数据流为开放平台中所有用户的原始网络行为数据，本步骤中不对该用户数据流进行处理。

102、开放平台对用户数据流进行复流分发，获得多个相同的数据复流。

通常，开放平台会同时向多个第三方提供用户数据，而一个第三方又往往涉及多个不同的运营业务。本实施例中，开放平台以第三方运营业务作为分发粒度对用户数据流进行复流分发，得到多个相同的数据复流，且每个数据复流与步骤101中的用户数据流相同。

103、开放平台根据预设过滤算法对数据复流进行过滤，获得预处理的数据复流。

第三方根据不同运营业务的数据需求对过滤算法进行设置，开放平台根据不同运营业务的过滤算法对对应不同运营业务的数据复流进行过滤，分别获得多个预处理的数据复流。

本步骤中，开放平台根据过滤算法将对运营业务无用的用户数据进行过滤，能够减少数据传输量，以及第三方的数据处理量。所述过滤算法包括但不限于是关键字及语义分析规则，第三方可以根据不同的运营业务内容对过滤算法进行设置，但这仅为事例性说明，本实施例不对过滤算法的具体形式以及过滤算法的具体设置方式进行限制。

104、开放平台将预处理的数据复流发送给对应的第三方运营业务。

在对数据复流进行过滤后，开放平台将多条预处理的数据复流分别发送给对应的第三方运营业务，以便第三方运营人员在各自的运营环境中对预处理的数据复流进行分析决策。本实施例中涉及多个运营业务，这些运营业务可以是不同第三方的运营业务，也可以是同一个第三方的多个运营业务。

下面给出本实施例的一个应用场景：

网络环境中经常会有不法用户恶意发起木马、蠕虫等网络攻击，第三方根据开放平台提供的用户数据以及建立的数据模型查找不法用户并进行恶意行为打击。由于网络中的用户特征和行为是不断变化的，因此第三方需要对数据模型进行调试，根据获得的用户数据对数据模型的分析结果进行验证和校准。在现有技术中，第三方通常只能够在线上环境中对数据模型进行调试，通过设置“灰度”值的方式在全网用户中选择一定比例的用户进行测试。由于开放平台提供的用户数据离散并且滞后，因此数据模型调试的准确性较差，依据这种数据模型进行测试往往会对一些合法用户进行错误打击，对线上用户造成影响。

本实施例中，开放平台将实时获取的用户数据通过复流分发和过滤发送给第三方的运营业务，第三方运营人员可以在运营环境中（而非线上环境）根据开放平台提供的用户数据对数据模型进行调试。由于数据模型的调试是基于实时用户数据进行的，因此调试结果的准确性相对于现有技术而言会大幅提高，在数据模型调试完成后，第三方运营人员将数据模型迁移到线上环境中进行全网运行。由于数据模型的调试过程是在线下的运营环境中完成的，因此不会对线上用户造成任何影响。

在本实施例的另一个应用场景中，第三方根据开放平台提供的用户数据对用户的网购行为特征进行分析，通过分析用户网购的商品对象向用户客户端定向推送商品广告。在现有技术中，第三方同样是在线上环境中通过“灰度”值的设置选择全网部分用户进行数据模型调试。由于开放平台提供的用户数据时效性过差，因此数据模型的调试结果无法达到绝对准确，基于该调试结果进行的线上测试会向用户发送错误的商品广告，影响用户的使用体验。例如，某用户上周网购的主要商品对象为化妆品，而本周网购的主要商品对象则为食品。第三方在根据上周的用户数据进行线上模型调试时，分析该用户的网购商品对象为化妆品，并根据该测试结果向该用户推送化妆品广告，其分析结果出现明显偏差。

在本实施例中，第三方运营人员可以在线下的运营环境中对数据模型进行调试，其调试过程不会对线上的用户产生任何影响，在调试完毕后，运营人员将数据模型迁移到线上环境中进行全网运行，能够保证广告推送的准确性。

进一步的，作为对图1所示方法的细化及扩展，本实施例还提供了一种数据传输的方法，如图2所示，该方法包括：

201、开放平台实时获取线上环境中产生的用户数据流。

本步骤的实现方式与图1步骤101的实现方式相同时，此处不再赘述。

202、开放平台确定第三方运营环境中的运营业务数量N。

如前所述，开放平台以第三方的运营业务数量为粒度进行复流分发，因此在进行复流分发前，首先需要确定运营业务数量N，亦即数据复流的数量，其中N为正整数。

实际应用中，第三方可以通过相应的API向开放平台发送用户数据调用请求，开放平台根据接收的数据调用请求数量以及数据调用请求中携带的第三方信息确定运营业务数量N。事例性的，如图3所示，开放平台分别为第三方1的运营业务a、第三方2的运营业务b、运营业务c、运营业务d以及第三方3的运营业务e、运营业务f，提供用户数据，由此确定的运营业务数量N为6，即需要将步骤201中的用户数据流分发为6个数据复流。

203、开放平台对用户数据流进行复制，得到多个相同的数据复流。

仍如图3所示，开放平台将用户数据流复制为1、2、3、4、5、和6共6个相同的数据复流，其中，每个数据复流均与步骤201中的用户数据流相同。

204、开放平台根据预设过滤算法对数据复流进行过滤，获得预处理的数据复流。

在得到6个数据复流后，开放平台根据不同运营业务的过滤算法分别对每个数据复流进行过滤。开放平台在向第三方提供用户数据前，允许第三方针对不同运营业务设置不同的过滤算法。第三方可以将设置的过滤算法携带在步骤202中的数据调用请求中发送给开放平台，也可以在开放平台提供的交互平台上对过滤算法进行设置，本实施例不对开放平台获取过滤算法的具体实现方式进行限制。

事例性的，以关键字作为过滤算法为例，该关键字用于对运营业务所需的用户数据进行标识。对于广告推送业务的运营业务a而言，开放平台根据第三方提供的“化妆品”、“用户年龄小于25岁”、“上班族”等关键字对用户数据流进行过滤，保留上述关键字涉及的用户数据，而将无关的用户数据剔除。

205、开放平台将预处理的数据复流发送给对应的第三方运营业务。

如图3所示，在分别对6个数据复流进行过滤后，开放平台同时将6个数据复流发送给各自对应的运营业务。

本实施例提供的数据传输的方法，能够对开放平台产生的用户数据进行实时获取，并根据第三方的运营业务数量以及过滤算法对用户数据流进行复流分发及过滤。与现有技术中向第三方离线发送用户数据相比，能够同时为多个第三方运营业务提供不间断的用户数据，保证数据传输的时效性，由此提高第三方决策结果的准确性。

此外，本实施例提供的数据传输的方法，还允许第三方调用API对过滤算法进行设置，能够为第三方灵活提供个性化的数据需求服务，提高用户数据的含金量，简化第三方的数据处理复杂度。

进一步的，作为对图1或图2所示方法的实现，本实施例还提供了一种数据传输的装置，该装置位于开放平台侧，用于对图1或图2所示的方法进行实现。如图4所示，该装置包括：数据获取单元41、复流分发单元42、数据过滤单元43以及数据发送单元44，其中，

数据获取单元41，用于实时获取线上环境中产生的用户数据流；

复流分发单元42，用于对数据获取单元41获取的用户数据流进行复流分发，获得多个相同的数据复流；

数据过滤单元43，用于根据预设过滤算法对复流分发单元42分发的数据复流进行过滤，获得预处理的数据复流；

数据发送单元44，用于将数据过滤单元43过滤后的预处理的数据复流发送给对应的第三方运营业务。

进一步的，复流分发单元42，用于对用户数据流进行复制，得到多个相同的数据复流，其中每个数据复流与用户数据流相同。

进一步的，如图5所示，该装置进一步包括：

配置单元51，用于在复流分发单元42对用户数据流进行复流分发，获得多个相同的数据复流之前，确定第三方运营环境中的运营业务数量N，N为正整数；

复流分发单元42，用于根据配置单元51确定的运营业务数量N，将用户数据流复制为N个相同的数据复流。

进一步的，如图5所示，该装置进一步包括：

指令接收单元52，用于在数据过滤单元43根据预设过滤算法对数据复流进行过滤，获得预处理的数据复流之前，接收第三方根据不同运营业务设置的关键字，关键字用于标识运营业务所需的用户数据。

进一步的，数据过滤单元43，用于根据指令接收单元52接收的关键字对数据复流进行过滤，获得预处理的数据复流。

本实施例提供的数据传输的装置，能够对开放平台产生的用户数据进行实时获取，并根据第三方的运营业务数量以及过滤算法对用户数据流进行复流分发及过滤。与现有技术中向第三方离线发送用户数据相比，能够同时为多个第三方运营业务提供不间断的用户数据，保证数据传输的时效性，由此提高第三方决策结果的准确性。

此外，本实施例提供的数据传输的装置，还允许第三方调用API对过滤算法进行设置，能够为第三方灵活提供个性化的数据需求服务，提高用户数据的含金量，简化第三方的数据处理复杂度。

进一步的，作为对图1或图2所示方法的实现，本实施例还提供了一种数据传输的系统，用于对图1或图2所示的方法进行实现。如图6所示，该系统包括：开放平台服务器61和第三方站点62，其中，

开放平台服务器61，用于实时获取线上环境中产生的用户数据流，对用户数据流进行复流分发，获得多个相同的数据复流，根据预设过滤算法对数据复流进行过滤，获得预处理的数据复流，将预处理的数据复流发送给对应的第三方站点62；

第三方站点62，用于接收开放平台服务器61发送的预处理的数据复流，在运营环境中对预处理的数据复流进行实时分析。

本实施例提供的数据传输的系统，能够对开放平台产生的用户数据进行实时获取，并根据第三方的运营业务数量以及过滤算法对用户数据流进行复流分发及过滤。与现有技术中向第三方离线发送用户数据相比，能够同时为多个第三方运营业务提供不间断的用户数据，保证数据传输的时效性，由此提高第三方决策结果的准确性。

此外，本实施例提供的数据传输的系统，还允许第三方调用API对过滤算法进行设置，能够为第三方灵活提供个性化的数据需求服务，提高用户数据的含金量，简化第三方的数据处理复杂度。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种数据传输的方法，其特征在于，包括：

实时获取线上环境中产生的用户数据流；

根据接收到的数据调用请求的数量以及数据调用请求中携带的第三方信息，确定第三方运营环境中的运营业务数量N，所述N为大于1的正整数；

将所述用户数据流复制为N个相同的数据复流，其中每个数据复流与所述用户数据流相同；

获取各个第三方根据不同运营业务设置的过滤算法，其中，不同运营业务设置有不同的过滤算法；

根据各个第三方运营业务的所述过滤算法分别对所述数据复流进行过滤，获得N个预处理的数据复流；

将过滤后的所述N个预处理的数据复流分别发送给各自对应的第三方运营业务；其中，各个第三方在运营环境中对所述预处理的数据复流进行分析，获得需要的网络行为特征数据。

2.根据权利要求1所述的方法，其特征在于，所述用户数据流为线上环境中所有用户的原始网络行为数据。

3.一种数据传输的装置，其特征在于，包括：

数据获取单元，用于实时获取线上环境中产生的用户数据流；

配置单元，根据接收到的数据调用请求的数量以及数据调用请求中携带的第三方信息，确定第三方运营环境中的运营业务数量N，所述N为大于1的正整数；

复流分发单元，用于根据所述配置单元确定的运营业务数量N，将所述用户数据流复制为N个相同的数据复流，其中每个数据复流与所述用户数据流相同；

指令接收单元，用于获取各个第三方根据不同运营业务设置的过滤算法，其中，不同运营业务设置有不同的过滤算法；

数据过滤单元，用于根据各个第三方运营业务的所述指令接收单元获取的所述过滤算法分别对所述数据复流进行过滤，获得N个预处理的数据复流；

数据发送单元，用于将所述数据过滤单元过滤后的所述N个预处理的数据复流分别发送给各自对应的第三方运营业务；其中，各个第三方在运营环境中对所述预处理的数据复流进行分析，获得需要的网络行为特征数据。

4.根据权利要求3所述的装置，其特征在于，所述用户数据流为线上环境中所有用户的原始网络行为数据。

5.一种数据传输的系统，其特征在于，该系统包括开放平台服务器和第三方站点，其中，

所述开放平台服务器，用于实时获取线上环境中产生的用户数据流，

根据接收到的数据调用请求的数量以及数据调用请求中携带的第三方信息，确定第三方运营环境中的运营业务数量N，所述N为大于1的正整数，将所述用户数据流复制为N个相同的数据复流，其中每个数据复流与所述用户数据流相同，获取各个第三方根据不同运营业务设置的过滤算法，根据所述过滤算法对所述数据复流进行过滤，获得预处理的数据复流，将过滤后的所述预处理的数据复流发送给对应的第三方站点；

所述第三方站点，用于接收所述开放平台服务器发送的所述过滤后的所述预处理的数据复流，在运营环境中对所述预处理的数据复流进行实时分析，获得需要的网络行为特征数据。

6.一种存储介质，存有处理器可执行指令，所述指令由一个或一个以上处理器执行时，实现如权利要求1-2任一项所述的数据传输的方法。

Images