CN104917626A - 用户行为分析中的数据采集方法和装置 - Google Patents

Abstract

本发明实施例提供了一种用户行为分析中的数据采集方法和装置。所述方法包括：通过监听无线保真路由器获取移动终端的网络关联数据，其中所述网络关联数据包括广播数据和无线保真控制报文数据；按照预置格式对所述网络关联数据进行解析，获取对应的解析数据；按照时间信息对解析数据进行筛选，获取筛选数据；对筛选数据进行压缩并上传，以通过筛选数据对用户的行为进行分析。本发明可以解决现有用户行为分析中由于采集数据的局限性导致分析结果不准确的问题。

Description

用户行为分析中的数据采集方法和装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种用户行为分析中的数据采集方法和一种用户行为分析中的数据采集装置。

背景技术

用户在商场、公交等公共场所经常会使用无线保真（Wireless Fidelity，WiFi）进行上网活动，可以通过收集用户的网络浏览数据来对用户的行为进行分析，从而可以获取用户在网络中的行为数据，如通过分析浏览网址、浏览时间等网络浏览数据确定用户的网络浏览行为。

但是，上述方法仅能对用户上网的网络浏览数据进行分析，数据具有一定的局限性，导致在分析用户行为时分析结果具有一定的局限性。

发明内容

本发明实施例所要解决的技术问题是提供一种用户行为分析中的数据采集方法，以解决现有用户行为分析中由于采集数据的局限性导致分析结果不准确的问题。

相应的，本发明实施例还提供了一种用户行为分析中的数据采集装置，用以保证上述方法的实现及应用。

本发明提供了一种用户行为分析中的数据采集方法，包括：

通过监听无线保真路由器获取移动终端的网络关联数据，其中所述网络关联数据包括广播数据和无线保真控制报文数据；

按照预置格式对所述网络关联数据进行解析，获取对应的解析数据；

按照时间信息对解析数据进行筛选，获取筛选数据；

对筛选数据进行压缩并上传，以通过筛选数据对用户的行为进行分析。

优选地，所述通过监听无线保真路由器获取移动终端的网络关联数据，包括：

设置监听频点并对无线保真路由器的网卡进行监听；

获取所述无线保真路由器的网卡传输的广播数据；

收集所述无线保真路由器的网卡传输的无线保真控制报文数据，其中所述无线保真控制报文数据包括未处理的无线保真控制报文数据和处理并发送后丢弃的无线保真控制报文数据；

采用所述广播数据和无线保真控制报文数据构成网络关联数据。

优选地，所述按照预置格式对所述网络关联数据进行解析，获取对应的解析数据，包括：

按照预置格式分别对广播数据和无线保真控制报文数据进行解析，提取指定位置上的数据作为解析数据。

优选地，所述按照时间信息对解析数据进行筛选，获取筛选数据，包括：

对预设时间内的解析数据进行筛选，过滤冗余的解析数据，获取过滤后的筛选数据。

优选地，所述对筛选数据进行压缩，包括：

将所述筛选数据转换成预置业务格式的筛选数据；

对所述预置业务格式的筛选数据进行压缩，获取压缩后的筛选数据。

本发明还提供了一种用户行为分析中的数据采集装置，包括：

采集模块，用于通过监听无线保真路由器获取移动终端的网络关联数据，其中所述网络关联数据包括广播数据和无线保真控制报文数据；

解析模块，用于按照预置格式对所述网络关联数据进行解析，获取对应的解析数据；

筛选模块，用于按照时间信息对解析数据进行筛选，获取筛选数据；

压缩模块，用于对筛选数据进行压缩；

上传模块，用于对压缩后的筛选数据进行上传，以通过筛选数据对用户的行为进行分析。

优选地，所述采集模块，包括：

监听设置子模块，用于设置监听频点并对无线保真路由器的网卡进行监听；

采集子模块，用于获取所述无线保真路由器的网卡传输的广播数据；收集所述无线保真路由器的网卡传输的无线保真控制报文数据，其中所述无线保真控制报文数据包括未处理的无线保真控制报文数据和处理并发送后丢弃的无线保真控制报文数据；采用所述广播数据和无线保真控制报文数据构成网络关联数据。

优选地，所述解析模块，用于按照预置格式分别对广播数据和无线保真控制报文数据进行解析，提取指定位置上的数据作为解析数据。

优选地，所述筛选模块，用于对预设时间内的解析数据进行筛选，过滤冗余的解析数据，获取过滤后的筛选数据。

优选地，所述压缩模块，包括：

格式转换子模块，用于将所述筛选数据转换成预置业务格式的筛选数据；

压缩子模块，用于对所述预置业务格式的筛选数据进行压缩，获取压缩后的筛选数据。

与现有技术相比，本发明实施例包括以下优点：

通过监听WiFi路由器获取移动终端的网络关联数据，采集的网络关联数据中包括广播数据和无线保真控制报文数据，然后对该网络关联数据进行解析和筛选，再进行压缩后上传以通过该数据分析用户的行为。从而后续不但可以对无线保真路由器与移动终端之间交互的无线保真控制报文数据进行分析，还可以对路由器与移动终端之间传输的广播数据进行分析，能够体现用户所处位置的客观数据，使得分析的数据更加全面，从而后续的分析结果也更加全面、准确。

附图说明

图1是本发明实施例一提供的用户行为分析中的数据采集方法流程图；

图2是本发明实施例二提供的用户行为分析中的数据采集方法流程图；

图3是本发明实施例三提供的用户行为分析中的采集装置结构图；

图4是本发明实施例三提供的用户行为分析中的数据采集装置可选结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例提供一种用户行为分析中的数据采集方法，能够通过监听WiFi路由器获取移动终端的网络关联数据，采集的网络关联数据中包括广播数据和无线保真控制报文数据，然后对该网络关联数据进行解析和筛选，再进行压缩后上传以通过该数据分析用户的行为。从而后续不但可以对无线保真路由器与移动终端之间交互的无线保真控制报文数据进行分析，还可以对路由器与移动终端之间传输的广播数据进行分析，能够体现用户所处位置的客观数据，使得分析的数据更加全面，从而后续的分析结果也更加全面、准确。

实施例一

参照图1，示出了本发明的一种用户行为分析中的数据采集方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，通过监听WiFi路由器获取移动终端的网络关联数据。

对WiFi路由器进行监听，从而可以监听到WiFi路由器的数据传输状况，对该路由器传输的网络关联数据进行采集。

其中可以采集的网络关联数据包括广播数据和无线保真控制报文数据。广播数据为采用广播方式传输的数据，广播的方式指的是通过向所有站点发送分组的方式传输信息，广播数据可以包括WiFi路由器和移动终端之间传输的系统消息、校正频率和同步消息等内容。

其中，报文为网络中交换与传输的数据单元，即站点一次性要发送的数据块。报文包含了将要发送的完整的数据信息，其长短很不一致，长度不限且可变。

步骤102，按照预置格式对所述网络关联数据进行解析，获取对应的解析数据。

通常广播数据和无线保真控制报文数据都具有一定的格式，其中包括传输的数据内容和数据的描述信息等内容，从而可以依据格式对网络关联数据进行解析，按照业务需求从广播数据和无线保真控制报文数据获取数据，如获取其中的数据内容（Wifi终端唯一标识码）。其中，将分别从广播数据和无线保真控制报文数据将解析出的数据均作为解析数据

步骤103，按照时间信息对解析数据进行筛选，获取筛选数据。

由于WiFi路由器和移动终端之间在传输广播数据时，有一些消息可能会周期性传输，或者进行重传等操作，因此数据存在冗余的情况，也有一些数据可能由于传输或解析而导致出现错误等问题，因此还可以按照时间信息对解析数据进行筛选，获取筛选数据。

本实施例中并未严格限制各步骤的操作顺序，如还可以先执行步骤103的筛选步骤再执行步骤102的解析步骤，即先对网络关联数据进行筛选，再对筛选后的数据进行解析。

步骤104，对筛选数据进行压缩并上传，以通过筛选数据对用户的行为进行分析。

在完成数据筛选后，就可以对筛选数据进行压缩，以减少数据量从而节省数据流量，再将压缩后的数据进行上传，实现对要分析数据的采集，以及采集中的预处理操作。

综上所述，通过监听WiFi路由器获取移动终端的网络关联数据，采集的网络关联数据中包括广播数据和无线保真控制报文数据，然后对该网络关联数据进行解析和筛选，再进行压缩后上传以通过该数据分析用户的行为。从而后续不但可以对无线保真路由器与移动终端之间交互的无线保真控制报文数据进行分析，还可以对路由器与移动终端之间传输的广播数据进行分析，能够体现用户所处位置的客观数据，使得分析的数据更加全面，从而后续的分析结果也更加全面、准确。

实施例二

参照图2，示出了本发明实施例二提供的用户行为分析中的数据采集方法实施例的步骤流程图，具体可以包括如下步骤：

步骤201，设置监听频点并对WiFi路由器的网卡进行监听。

控制WiFi路由器的WiFi网卡进入监听模式，并控制对WiFi路由器进行监听的频点，其中，频点指的是给固定频率的编号，该频率指的是无线信号的发射频率。

步骤202，获取所述无线保真路由器的网卡传输的广播数据。

步骤203，收集所述无线保真路由器的网卡传输的无线保真控制报文数据。

步骤204，采用所述广播数据和无线保真控制报文数据构成网络关联数据。

通过上述设置步骤，可以对WiFi网卡上的该频点进行监控，当在该频点上传输网络关联数据时，采集采数据。

其中，可以采集的采集的数据包括广播数据和无线保真控制报文数据。例如，广播数据可以为WiFi路由器给移动终端发送的系统消息，从而确定移动终端与WiFi路由器连接的时间等信息。又如，无线保真控制报文数据可以对现有传输的WiFi报文数据处理中不被处理就丢弃的进行采集，也可以对经过处理后原本要被本地丢弃的WiFi报文进行采集，从而提高数据的利用率，节省系统资源。

与现有WiFi报文数据将WiFi报文数据处理过后即丢弃相比，本发明直接利用已处理的数据，无需重新传输，提高了数据的利用率，且后续可以对该数据进行进一步的分析与挖掘。

步骤205，按照预置格式分别对广播数据和无线保真控制报文数据进行解析，提取指定位置上的数据作为解析数据。

通过格式对广播数据和无线保真控制报文数据进行解析，从中提取业务所需的信息后续进行用户的行为分析。

广播数据和无线保真控制报文数据都具有各自的格式，则与之格式可以包括第一格式和第二格式，然后按照第一格式对广播数据进行解析，并依据预先根据业务需求确定的广播数据所要提取的数据所在的第一指定位置，然后从该第一指定位置进行数据的提取。则按照第二格式对无线保真控制报文数据进行解析，从一句业务需求确定的第二指定位置中提取数据。可以将于从广播数据中提取的数据和从无线保真控制报文数据中提取的数据都作为解析数据。实际处理中，按照格式对广播数据和无线保真控制报文数据进行解析时，解析方法很多，如预先设置对应的正则表达时，采用正则表达式提取其中指定位置的数据，本实施例未对解析方法进行一一列举，不应理解为是对本发明的限制。

例如，无线保真控制报文数据中往往包括报文类型，报文版本，报文长度，报文实体等信息，可以通过格式解析从指定位置中获取报文实体，如WiFi设备唯一标识信息（MAC地址）。

步骤206，对预设时间内的解析数据进行筛选，过滤冗余的解析数据，获取过滤后的筛选数据。

系统中有时会周期性的传输一些数据，有时也可能对一些数据进行重传，因此在完成对数据的解析获取到解析数据后，还可以进一步对解析数据进行筛选，从中过滤一个时间段内的冗余的解析数据。

例如，WiFi路由器在传输广播数据时，如系统消息、同步频率等可能会进行周期性的传输，如每秒传输一次，而在移动终端连接WiFi路由器的这段时间内，上述数据进行了反复的传输，则后续可以对这类数据进行过滤，删除冗余的数据，以减少对上传带宽的占用。

在完成上述对冗余数据的过滤等筛选操作后，可以获取到相应的筛选数据。

步骤207，将所述筛选数据转换成预置业务格式的筛选数据。

步骤208，对所述预置业务格式的诗选数据进行压缩，获取压缩后的筛选数据并上传。

可以按照业务需求预先配置系统所需的数据业务格式，在获取筛选数据后对其进行转换，将筛选数据转换成预置业务格式的数据，便于后续采用统一格式的数据进行分析。

进一步，为了减少系统中传输数据的数据量，还可以对预置业务格式的数据进行压缩，其中数据压缩方法可以采用通用的压缩算法，如采用rar算法或zip算法等，本实施例对此不做限定。

综上，本发明实施例对WiFi路由器进行改进，实现对WiFi上网卡的监听，从而在不影响现有上网功能的前提下，增加WiFi接入系统的数据采集能力，获取更加全面的数据，并对数据进行解析、筛选等操作，为用户的行为分析提供全面、准确的数据支持，并且将数据转换成统一的数据格式，更加便于后续的分析操作。

本实例应用广泛，如可以应用于某咖啡厅，从而对对其店内、外进行客流的统计分析，通过升级其现有WiFi无线路由器，实现不影响WiFi上网功能的前提下，进行数据采集功能，为后台分析系统提供数据。具体地，可以在其负责WiFi上网报文处理的程序Hostapd中增加WiFi报文数据采集的相关功能如增加一个独立程序，包含对WiFi数据的采集、解析、过滤、格式转换与压缩模块等，并实现数据的上传汇报。并且，本实施例对现有WiFi无线路由器进行简单地改进，不用对硬件设备进行更换，节约成本。

如通过采集数据，后续用户行为分析时可以统计各用户在该咖啡厅内连接WiFi无线路由器的时间，在该时间段内传输的数据类型和内容等，从而针对该咖啡厅和咖啡厅内的用户都进行有针对性的数据推荐，提高用户体验。

实施例三

在上述实施例的基础上，本实施例还提供了一种用户行为分析中的数据采集装置。

参照图3，示出了本发明实施例三提供的用户行为分析中的采集装置结构图。

该用户行为分析中的数据采集装置包括：采集模块301、解析模块302、筛选模块303、压缩模块304和上传模块305。

其中：采集模块301，用于通过监听无线保真路由器获取移动终端的网络关联数据，其中所述网络关联数据包括广播数据和无线保真控制报文数据。

解析模块302，用于按照预置格式对所述网络关联数据进行解析，获取对应的解析数据。

筛选模块303，用于按照时间信息对解析数据进行筛选，获取筛选数据。

压缩模块304，用于对筛选数据进行压缩。

上传模块305，用于对压缩后的筛选数据进行上传，以通过筛选数据对用户的行为进行分析。

综上所述，通过监听WiFi路由器获取移动终端的网络关联数据，采集的网络关联数据中包括广播数据和无线保真控制报文数据，然后对该网络关联数据进行解析和筛选，再进行压缩后上传以通过该数据分析用户的行为。从而后续不但可以对无线保真路由器与移动终端之间交互的无线保真控制报文数据进行分析，还可以对路由器与移动终端之间传输的广播数据进行分析，能够体现用户所处位置的客观数据，使得分析的数据更加全面，从而后续的分析结果也更加全面、准确。

参照图4，示出了本发明实施例三提供的用户行为分析中的数据采集装置可选结构图。

本发明一个可选实施例中，采集模块301，包括：监听设置子模块3011和采集子模块3012。

其中，监听设置子模块3011，用于设置监听频点并对无线保真路由器的网卡进行监听；采集子模块3012，用于获取所述无线保真路由器的网卡传输的广播数据；收集所述无线保真路由器的网卡传输的无线保真控制报文数据，其中所述无线保真控制报文数据包括未处理的无线保真控制报文数据和处理并发送后丢弃的无线保真控制报文数据；采用所述广播数据和无线保真控制报文数据构成网络关联数据。

本发明一个可选实施例中，解析模块302，用于按照预置格式分别对广播数据和无线保真控制报文数据进行解析，提取指定位置上的数据作为解析数据。

本发明一个可选实施例中，筛选模块303，用于对预设时间内的解析数据进行筛选，过滤冗余的解析数据，获取过滤后的筛选数据。

本发明一个可选实施例中，压缩模块304，包括：格式转换子模块3041和压缩子模块3042。

其中，格式转换子模块3041，用于将所述筛选数据转换成预置业务格式的筛选数据；压缩子模块3042，用于对所述预置业务格式的筛选数据进行压缩，获取压缩后的筛选数据。

综上所述，本发明实施例对WiFi路由器进行改进，实现对WiFi上网卡的监听，从而在不影响现有上网功能的前提下，增加WiFi接入系统的数据采集能力，获取更加全面的数据，并对数据进行解析、筛选等操作，为用户的行为分析提供全面、准确的数据支持，并且将数据转换成统一的数据格式，更加便于后续的分析操作。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种用户行为分析中的数据采集方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种用户行为分析中的数据采集方法，其特征在于，包括：

通过监听无线保真路由器获取移动终端的网络关联数据，其中所述网络关联数据包括广播数据和无线保真控制报文数据；

按照预置格式对所述网络关联数据进行解析，获取对应的解析数据；

按照时间信息对解析数据进行筛选，获取筛选数据；

对筛选数据进行压缩并上传，以通过筛选数据对用户的行为进行分析。

2.根据权利要求1所述的方法，其特征在于，所述通过监听无线保真路由器获取移动终端的网络关联数据，包括：

设置监听频点并对无线保真路由器的网卡进行监听；

获取所述无线保真路由器的网卡传输的广播数据；

收集所述无线保真路由器的网卡传输的无线保真控制报文数据，其中所述无线保真控制报文数据包括未处理的无线保真控制报文数据和处理并发送后丢弃的无线保真控制报文数据；

采用所述广播数据和无线保真控制报文数据构成网络关联数据。

3.根据权利要求1所述的方法，其特征在于，所述按照预置格式对所述网络关联数据进行解析，获取对应的解析数据，包括：

按照预置格式分别对广播数据和无线保真控制报文数据进行解析，提取指定位置上的数据作为解析数据。

4.根据权利要求1所述的方法，其特征在于，所述按照时间信息对解析数据进行筛选，获取筛选数据，包括：

对预设时间内的解析数据进行筛选，过滤冗余的解析数据，获取过滤后的筛选数据。

5.根据权利要求1所述的方法，其特征在于，所述对筛选数据进行压缩，包括：

将所述筛选数据转换成预置业务格式的筛选数据；

对所述预置业务格式的筛选数据进行压缩，获取压缩后的筛选数据。

6.一种用户行为分析中的数据采集装置，其特征在于，包括：

采集模块，用于通过监听无线保真路由器获取移动终端的网络关联数据，其中所述网络关联数据包括广播数据和无线保真控制报文数据；

解析模块，用于按照预置格式对所述网络关联数据进行解析，获取对应的解析数据；

筛选模块，用于按照时间信息对解析数据进行筛选，获取筛选数据；

压缩模块，用于对筛选数据进行压缩；

上传模块，用于对压缩后的筛选数据进行上传，以通过筛选数据对用户的行为进行分析。

7.根据权利要求6所述的装置，其特征在于，所述采集模块，包括：

监听设置子模块，用于设置监听频点并对无线保真路由器的网卡进行监听；

采集子模块，用于获取所述无线保真路由器的网卡传输的广播数据；收集所述无线保真路由器的网卡传输的无线保真控制报文数据，其中所述无线保真控制报文数据包括未处理的无线保真控制报文数据和处理并发送后丢弃的无线保真控制报文数据；采用所述广播数据和无线保真控制报文数据构成网络关联数据。

8.根据权利要求6所述的装置，其特征在于：

所述解析模块，用于按照预置格式分别对广播数据和无线保真控制报文数据进行解析，提取指定位置上的数据作为解析数据。

9.根据权利要求6所述的装置，其特征在于：

所述筛选模块，用于对预设时间内的解析数据进行筛选，过滤冗余的解析数据，获取过滤后的筛选数据。

10.根据权利要求6所述的装置，其特征在于，所述压缩模块，包括：

格式转换子模块，用于将所述筛选数据转换成预置业务格式的筛选数据；

压缩子模块，用于对所述预置业务格式的筛选数据进行压缩，获取压缩后的筛选数据。