CN107529190A - 用户数据获取系统和方法 - Google Patents

Abstract

本发明实施例提供一种用户数据获取系统，该系统包括：一个数据汇总分析模块和至少一个数据采集模块，至少一个数据采集模块与数据汇总分析模块连接，数据采集模块与eNB一一对应连接；数据汇总分析模块用于接收互联网应用系统输入的需求逻辑信息，根据需求逻辑信息获取指向信息，确定与指向信息对应的数据采集模块，将需求逻辑信息发送给对应的数据采集模块，接收数据采集模块发送的数据，并发送至互联网应用系统；数据采集模块用于接收数据汇总分析模块发送的需求逻辑信息，根据需求逻辑信息获取数据采集要素，根据数据采集要素，从对应的eNB采集数据并发送给数据汇总分析模块。本发明实施例同时还提供一种用户数据获取方法。

Description

用户数据获取系统和方法

技术领域

本发明涉及数据收集、数据分析和数据应用的大数据领域，尤其涉及一种用户数据获取系统和方法。

背景技术

传统蜂窝网络在进行用户的网络数据的传输时，传输层只会根据数据包的目标IP地址透传网络数据，而不会对数据内容进行有针对性的解析，因此无法进行综合的分析处理。随着大数据时代的到来，运营商需要深度挖据用户的网络数据来形成完整的用户行为“画像”，以便定向地提供精细化、定制化的业务。

目前比较热门的方案是通过深度报文解析(Deep Packet Inspection，简称DPI)技术得到用户的行为画像，如现有的DPI数据挖掘平台，该平台模式类似于固网的统一部署模式，包括识别控制模块和分析统计模块，识别控制模块完成对链路流量的采集、流量中各种业务与协议的识别、各种关键信息的提取与记录以及信息的上报；分析统计模块完成消息的接收和根据识别控制模块的识别结果进行统计和分析，生成统计报表。

但是现有DPI数据挖掘平台的识别控制模块部署于SGi接口或省网的出口位置，由于位置较高，无法获得用户数据的底层传输信息，而且数据经过多个设备的传输，产生用户数据的小区位置信息会被丢失，因此无法对用户行为进行完整的“画像”。

发明内容

有鉴于此，本发明实施例期望提供一种用户数据获取系统和方法，以形成用户行为更精确的“画像”。

本发明实施例的技术方案是这样实现的：

一种用户数据获取系统，包括：一个数据汇总分析模块和至少一个数据采集模块；至少一个数据采集模块与数据汇总分析模块连接；数据采集模块与演进型基站eNB一一对应连接；

数据汇总分析模块包括第一接收模块、第一处理模块和第一发送模块，数据采集模块包括第二接收模块，第二处理模块和第二发送模块；

第一接收模块，用于接收互联网应用系统输入的需求逻辑信息，接收第二发送模块发送的数据；第一处理模块，用于根据需求逻辑信息获取指向信息，从至少一个数据采集模块中确定与指向信息对应的数据采集模块；其中，指向信息包括小区位置信息和用户标识信息；第一发送模块，用于将需求逻辑信息发送给对应的数据采集模块的第二接收模块，将接收到的数据发送至互联网应用系统；

第二接收模块，用于接收第一发送模块发送的需求逻辑信息；第二处理模块，用于根据需求逻辑信息获取数据采集要素，并根据数据采集要素，从对应的eNB采集数据；第二发送模块，用于将采集到的数据发送给第一接收模块。

如上所述的系统，需求逻辑信息包含位置信息、用户标识信息、业务标识信息和特定统一资源定位符url信息。

如上所述的系统，数据采集要素包括：业务层面数据采集要素和无线层面数据采集要素。

如上所述的系统，第二处理模块具体用于：

根据业务层面数据采集要素，对通过S1-U接口的GPRS隧道协议GTP-U报文进行数据采集，S1-U接口位于eNB上；

根据无线层面数据采集要素，向eNB发送数据采集请求进行数据采集。

如上所述的系统，业务层面数据采集要素包括用户访问业务解析画像、用户使用业务的时间画像和业务使用的位置画像；

无线层面数据采集要素包括用户业务体验画像和用户扩展信息。

一种用户数据获取方法，包括：

接收需求逻辑信息；

根据需求逻辑信息获取数据采集要素；

根据数据采集要素，从对应的eNB采集数据。

如上所述的方法，需求逻辑信息包含位置信息、用户标识信息、业务标识信息和特定统一资源定位符url信息。

如上所述的方法，数据采集要素包括：业务层面数据采集要素和无线层面数据采集要素。

如上所述的方法，根据数据采集要素，从对应的eNB采集数据，包括：

根据业务层面数据采集要素，对通过S1-U接口的GPRS隧道协议GTP-U报文进行数据采集，S1-U接口位于eNB上；

根据无线层面数据采集要素，向eNB发送数据采集请求进行数据采集。

如上所述的方法，业务层面数据采集要素包括用户访问业务解析画像、用户使用业务的时间画像和业务使用的位置画像；

无线层面数据采集要素包括用户业务体验画像和用户扩展信息。

本发明实施例提供的用户数据获取系统和方法，该系统包括：一个数据汇总分析模块和至少一个数据采集模块，至少一个数据采集模块与数据汇总分析模块连接，数据采集模块与演进型基站(evolved Node B，简称eNB)一一对应连接；数据汇总分析模块包括第一接收模块、第一处理模块和第一发送模块，数据采集模块包括第二接收模块，第二处理模块和第二发送模块；第一接收模块，用于接收互联网应用系统输入的需求逻辑信息，接收第二发送模块发送的数据；第一处理模块，用于根据需求逻辑信息获取指向信息，从至少一个数据采集模块中确定与指向信息对应的数据采集模块；其中，指向信息包括小区位置信息和用户标识信息；第一发送模块，用于将需求逻辑信息发送给对应的数据采集模块的第二接收模块，将接收到的数据发送至互联网应用系统；第二接收模块，用于接收第一发送模块发送的需求逻辑信息；第二处理模块，用于根据需求逻辑信息获取数据采集要素，并根据数据采集要素，从对应的eNB采集数据；第二发送模块，用于将采集到的数据发送给第一接收模块；如此可以获得用户数据的底层传输信息，也不会丢失产生用户数据的小区位置信息，因而可以对用户行为进行完整的“画像”。

附图说明

图1为本发明实施例提供的用户数据获取系统的结构示意图；

图2为本发明实施例提供的用户数据获取系统的另一结构示意图。

具体实施方式

图1为本发明实施例提供的用户数据获取系统的结构示意图。如图1所示，本实施例提供的系统包括：：一个数据汇总分析模块和至少一个数据采集模块；至少一个数据采集模块与数据汇总分析模块连接；数据采集模块与演进型基站eNB一一对应连接；

数据汇总分析模块包括第一接收模块、第一处理模块和第一发送模块，数据采集模块包括第二接收模块，第二处理模块和第二发送模块；

第一接收模块，用于接收互联网应用系统输入的需求逻辑信息，接收第二发送模块发送的数据；第一处理模块，用于根据需求逻辑信息获取指向信息，从至少一个数据采集模块中确定与指向信息对应的数据采集模块；其中，指向信息包括小区位置信息和用户标识信息；第一发送模块，用于将需求逻辑信息发送给对应的数据采集模块的第二接收模块，将接收到的数据发送至互联网应用系统；

第二接收模块，用于接收第一发送模块发送的需求逻辑信息；第二处理模块，用于根据需求逻辑信息获取数据采集要素，并根据数据采集要素，从对应的eNB采集数据；第二发送模块，用于将采集到的数据发送给第一接收模块。

具体的，第一接收模块接收互联网应用系统输入的需求逻辑信息，第一处理模块根据需求逻辑信息获取指向信息，从至少一个数据采集模块中确定与指向信息对应的数据采集模块，然后第一发送模块将需求逻辑信息发送给对应的数据采集模块的第二接收模块，第二接收模块接收第一发送模块发送的需求逻辑信息，第二处理模块根据需求逻辑信息获取数据采集要素，并根据数据采集要素，从对应的eNB采集数据，第二发送模块将采集到的数据发送给第一接收模块，第一接收模块接收第二发送模块发送的数据，第一发送模块将接收到的数据发送至互联网应用系统。

本实施例提供的用户数据获取系统，通过在对应的eNB一端设置数据采集点模块，可以获得用户数据的底层传输信息，也不会丢失产生用户数据的小区位置信息，因而可以对用户行为进行完整的“画像”。

进一步地，需求逻辑信息包含位置信息、用户标识信息、业务标识信息和特定统一资源定位符(Uniform Resource Locator，简称url)信息。

需要说明的是，url信息可以用来分析用户访问的应用内容，从而为形成用户行为更为精确的“画像”提供更多信息。

进一步地，数据采集要素包括：业务层面数据采集要素和无线层面数据采集要素。

进一步地，第二处理模块具体用于：

根据业务层面数据采集要素，对通过S1-U接口的GPRS隧道协议GTP-U报文进行数据采集，其中S1-U接口位于eNB上；

根据无线层面数据采集要素，向eNB发送数据采集请求进行数据采集。

本实施例提供的用户数据获取系统，根据不同层面的数据采集要素以不同的方式分别采集数据，从而可以获取更全面的信息，以形成用户行为更为精确的“画像”。

进一步地，业务层面数据采集要素包括用户访问业务解析画像、用户使用业务的时间画像和业务使用的位置画像，无线层面数据采集要素包括用户业务体验画像和用户扩展信息。

需要说明的是，业务层面数据采集要素的获取，依托于传统识别控制模块，但扩展了用户使用业务的时间画像和业务使用的位置画像。

具体的，用户访问业务解析画像不仅包含了传统的IP地址、端口号，还包含扩展解析至应用数据层的url信息；用户使用业务的时间画像指的是用户数据产生时系统的本地时间；业务使用的位置画像指的是用户数据产生的源地址归属小区；用户业务体验画像指的是通过统计丢包率、误块率、重传率，确定用户使用体验，用户扩展信息指的是通过确定数据包编码模式(MymovaCheckin System，简称MCS)等级和参考信号接收功率(Reference SignalReceiving Power，简称RSRP)等级，确定用户的无线覆盖状态。

本实施例提供的用户数据获取系统，通过获取用户访问业务解析画像、用户使用业务的时间画像和业务使用的位置画像，形成用户行为比较精确的“画像”；通过获取用户业务体验画像和用户扩展信息，形成用户体验比较精确的“画像”；从而实现了用户行为画像与用户体验画像的结合，从而为第三方的精准营销提供了更多参考信息。

在实际应用中，所述第一接收模块、第一处理模块和第一发送模块，均可由位于数据汇总分析模块的中央处理器(Central Processing Unit，CPU)、微处理器(Micro Processor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等实现；所述第二接收模块，第二处理模块和第二发送模块均可由位于数据采集模块的CPU、MPU、DSP或FPGA等实现。

图2为本发明实施例提供的用户数据获取系统的另一结构示意图。下面结合图2对本发明实施例提供的用户数据获取系统进行说明，如图2所示，在另一种可行的实现方式中，本实施例提供的用户数据获取系统按照功能，数据汇总分析模块还可以划分为业务处理模块和第一逻辑匹配模块；数据采集模块还可以划分为DPI数据处理模块、增强信息采集模块和第二逻辑匹配模块。

具体的，第一逻辑匹配模块接收互联网应用系统输入的需求逻辑信息。其中，需求逻辑信息包含对“画像”业务的具体需求，如位置、用户标识、业务标识、url类别信息；分析需求逻辑信息，数据汇总分析模块可针对各种不同的集团客户、个人客户、小区、终端提供专用模板。

第一逻辑匹配模块根据需求逻辑信息获取指向信息，其中，指向信息包括小区位置信息和用户标识信息，确定与指向信息对应的数据采集模块，并将需求逻辑信息发送至业务处理模块及与指向信息对应的数据采集模块中的第二逻辑匹配模块。

第二逻辑匹配模块接收第一逻辑匹配模块发送的需求逻辑信息，并根据该需求逻辑信息获取数据采集要素，其中，数据采集要求分为业务层面数据采集要素和无线层面数据采集要素，第二逻辑匹配模块将业务层面数据采集要素发送至DPI数据处理模块，将无线层面数据采集要素发送至增强信息采集模块。

DPI数据处理模块根据内置的DPI功能，对通过位于eNB上的S1-U接口的GTP-U报文完成7层深度报解析，从而进行业务层面的数据采集。

增强信息采集模块向eNB发送数据采集请求进行数据采集。

DPI数据处理模块和增强信息采集模块分别将采集到的数据发送至业务处理模块。

业务处理模块根据之前的需求逻辑信息将最终结果反馈至互联网应用系统。

还需要说明的是，对于数据汇总分析模块，在通过多个数据采集模块的数据汇总后，可以根据设定的规则对用户行为进行特定分析，从而形成不同的特征数据库，这样一方面，解决了单站流量样本单一性带来的特征识别不准确的问题；另一方面，也在较高的网络位置建立起了一个整体、统一、完善的特征云计算模块和资源共享模块。下面从特定用户和特定业务两个角度说明如何形成特征数据库以供需求方进行应用。

特定用户角度是指以用户标识为基础分析用户行为，下面以表1说明如何形成特征数据库：

表1

特定业务角度指的是根据需求逻辑信息，分析相关业务的传输状态，其中需求逻辑信息，如对业务的具体分析要求可通过运营商对采集数据的目标IP地址等信息进行相关设置，下面以表2说明如何形成特征数据库：

表2

在实际应用中，所述业务处理模块和第一逻辑匹配模块，均可由位于数据汇总分析模块的CPU、MPU、DSP或FPGA等实现；所述DPI数据处理模块、增强信息采集模块和第二逻辑匹配模块均可由位于数据采集模块的CPU、MPU、DSP或FPGA等实现。

本发明实施例提供的用户数据获取方法，包括：

接收需求逻辑信息；根据需求逻辑信息获取数据采集要素；根据数据采集要素，从对应的eNB采集数据。

需要说明的是，需求逻辑信息包含位置信息、用户标识信息、业务标识信息和特定url信息；数据采集要素包括：业务层面数据采集要素和无线层面数据采集要素。

进一步地，根据数据采集要素，从对应的eNB采集数据，包括：根据业务层面数据采集要素，对通过S1-U接口的GTP-U报文进行数据采集，S1-U接口位于eNB上；根据无线层面数据采集要素，向eNB发送数据采集请求进行数据采集。其中，业务层面数据采集要素包括用户访问业务解析画像、用户使用业务的时间画像和业务使用的位置画像；无线层面数据采集要素用户业务体验画像和用户扩展信息。

在实际应用中，本实施例提供的方法可以由上述实施例所提供的用户数据获取系统实现，其具体的实现过程可以是：数据汇总分析模块接收互联网应用系统输入的需求逻辑信息；根据需求逻辑信息获取指向信息，从至少一个数据采集模块中确定与指向信息对应的数据采集模块；将需求逻辑信息发送给对应的数据采集模块；其中，指向信息包括小区位置信息和用户标识信息；数据采集模块接收数据汇总分析模块发送的需求逻辑信息，根据需求逻辑信息获取数据采集要素，并根据数据采集要素，从对应的eNB采集数据并发送给数据汇总分析模块；数据汇总分析模块接收数据采集模块发送的数据，并发送至互联网应用系统。

本实施例提供的用户数据获取方法，基于上述实施例提供的用户数据获取系统实现，其实现原理和技术效果类似，此处不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种用户数据获取系统，其特征在于，所述系统包括：一个数据汇总分析模块和至少一个数据采集模块；所述至少一个数据采集模块与所述数据汇总分析模块连接；所述数据采集模块与演进型基站eNB一一对应连接；

所述数据汇总分析模块包括第一接收模块、第一处理模块和第一发送模块，所述数据采集模块包括第二接收模块，第二处理模块和第二发送模块；

所述第一接收模块，用于接收互联网应用系统输入的需求逻辑信息，接收所述第二发送模块发送的数据；所述第一处理模块，用于根据所述需求逻辑信息获取指向信息，从所述至少一个数据采集模块中确定与所述指向信息对应的数据采集模块；其中，所述指向信息包括小区位置信息和用户标识信息；所述第一发送模块，用于将所述需求逻辑信息发送给对应的数据采集模块的第二接收模块，将接收到的数据发送至所述互联网应用系统；

所述第二接收模块，用于接收所述第一发送模块发送的所述需求逻辑信息；所述第二处理模块，用于根据所述需求逻辑信息获取数据采集要素，并根据所述数据采集要素，从对应的eNB采集数据；所述第二发送模块，用于将采集到的数据发送给所述第一接收模块。

2.根据权利要求1所述的系统，其特征在于，所述需求逻辑信息包含位置信息、用户标识信息、业务标识信息和特定统一资源定位符url信息。

3.根据权利要求1所述的系统，其特征在于，所述数据采集要素包括：业务层面数据采集要素和无线层面数据采集要素。

4.根据权利要求3所述的系统，其特征在于，所述第二处理模块具体用于：

根据所述业务层面数据采集要素，对通过S1-U接口的GPRS隧道协议GTP-U报文进行数据采集，所述S1-U接口位于所述eNB上；

根据所述无线层面数据采集要素，向所述eNB发送数据采集请求进行数据采集。

5.根据权利要求4所述的系统，其特征在于，

所述业务层面数据采集要素包括用户访问业务解析画像、用户使用业务的时间画像和业务使用的位置画像；

所述无线层面数据采集要素包括用户业务体验画像和用户扩展信息。

6.一种用户数据获取方法，其特征在于，所述方法包括：

接收需求逻辑信息；

根据所述需求逻辑信息获取数据采集要素；

根据所述数据采集要素，从对应的eNB采集数据。

7.根据权利要求6所述的方法，其特征在于，所述需求逻辑信息包含位置信息、用户标识信息、业务标识信息和特定统一资源定位符url信息。

8.根据权利要求6所述的方法，其特征在于，所述数据采集要素包括：业务层面数据采集要素和无线层面数据采集要素。

9.根据权利要求8所述的方法，其特征在于，根据所述数据采集要素，从对应的eNB采集数据，包括：

根据所述业务层面数据采集要素，对通过S1-U接口的GPRS隧道协议GTP-U报文进行数据采集，所述S1-U接口位于所述eNB上；

根据所述无线层面数据采集要素，向所述eNB发送数据采集请求进行数据采集。

10.根据权利要求9所述的方法，其特征在于，

所述业务层面数据采集要素包括用户访问业务解析画像、用户使用业务的时间画像和业务使用的位置画像；

所述无线层面数据采集要素包括用户业务体验画像和用户扩展信息。