CN103593376B - 一种采集用户行为数据的方法及装置 - Google Patents

Abstract

本申请公开了一种采集用户行为数据的方法及装置，该方法包括：当检测到任一操作行为发生时，生成与该操作行为对应的操作行为数据；将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；将具有相同关键词的操作行为数据存储到预设的存储空间。本申请公开的方法和装置通过实时的预计算处理，将任一操作行为发生时候，则及时的将操作行为数据按照多个条件进行分类存储使用户操作行为数据的描述更加丰富，并提升了用户行为数据的分析精度。

Description

一种采集用户行为数据的方法及装置

技术领域

本申请涉及网络技术领域，尤其涉及一种采集用户行为数据的方法及装置。

背景技术

CTU是网络加护系统中的风险控制管理核心监控系统。主要对盗用、欺诈、盗卡风险进行实时以及非实时监控，控制这些风险导致的资金损失，保障客户资金安全以及交易安全。

即用户通过计算机在互联网站上的行为，如在支付宝的登录、修改信息、支付资金等操作。

原有方案，在对用户操作行为数据进行分析时(由于性能瓶颈，只能查询到最长为当前时间起前6个小时)，再从海量数据中查询最长当前时间前6小时段的所有原始操作流水记录，获取到数据后，再进行筛选、分类、统计、汇总，即现用现计算处理。

现有技术缺点：由于现有技术中数据分析是在分析的时候，再从海量数据中查询最长当前时间前6小时段的所有原始操作流水记录，获取到数据后，再进行筛选、分类、统计、汇总，即现用现计算处理，因此性能及效率会比较差。同时，现有技术未将当前原始用户操作行为数据进行预先设好的多个条件进行筛选、分类、统计、汇总，因此在事后随着时间的推移，这些历史数据将无法获取到当时的一些数据场景快照，或者说获取到的成本非常高。

发明内容

本申请提供一种采集用户行为数据的方法及装置，本申请所提供的方法和装置解决现有技术中数据分析从海量数据中查询目标数据，因此数据查询性能及效率会比较差的问题。

本申请提供一种采集用户行为数据的方法，该方法包括：

当检测到任一操作行为发生时，生成与该操作行为对应的操作行为数据；

将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；

将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；

将具有相同关键词的操作行为数据存储到预设的存储空间。

当从存储的历史操作行为数据中获取任一用户对任一事件的历史操作行为数据，该方法还包括：

接收获取所述任一用户的历史操作行为数据的数据获取请求；

从所述数据获取请求中获取与所述任一事件对应的数据筛选统计项，并根据获取的数据筛选统计项生成筛选统计策略标识；

将生成的筛选统计策略标识与所述任一用户的唯一标识组合生成关键词；

将生成的关键词与所述数据结构中保存的关键词进行匹配，如果匹配到相同的，则获取关键词对应的历史操作行为数据。

本申请根据上述方法还提供一种采集用户行为数据的装置，该装置包括：

数据接收单元，用于当检测到任一操作行为发生时，获取与该操作行为对应的操作行为数据；

筛选统计策略标识确定单元，用于将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；

关键词生成单元，用于将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；

数据存储单元，用于将具有相同关键词的操作行为数据存储到预设的存储空间。

当从所述预设的存储空间中获取任一用户对任一事件的操作行为数据，则该装置还包括：

查询单元，用于接收获取任一用户的历史操作行为数据的数据获取请求；从所述数据获取请求中获取与所述任一事件对应的数据筛选统计项，并根据获取的数据筛选统计项生成筛选统计策略标识；将生成的筛选统计策略标识与所述任一用户的唯一标识组合生成关键词；将生成的关键词与所述数据结构中保存的关键词进行匹配，如果匹配到相同的，则获取关键词对应的历史操作行为数据。

上述技术方案中的一个或两个，至少具有如下技术效果：

本申请实施例所提供的方法和装置通过提前实时的预计算处理，将当前用户对应的历史操作行为数据进行预先设好的多个条件进行筛选、分类、统计、汇总，这样即解决了原来无法解决的对历史操作行为数据快照问题，使原始用户操作行为数据的描述更加丰富，以此大大提升用户行为分析的精度。

附图说明

图1为本申请实施例一种采集用户行为数据的方法的流程图；

图2为本申请实施例在本申请实施例中关键词的结构示意图；

图3为本申请实施例数据结构中缓存队列的结构示意图；

图4为本申请实施例中基于某一筛选策略的缓存队列结构示意图；

图5为本申请实施例一种采集用户行为数据装置的结构示意图；

图6为本申请实施例中数据存储单元的结构示意图。

具体实施方式

本申请实施例提供一种采集用户行为数据的方法，该方法包括：当检测到任一操作行为发生时，生成与该操作行为对应的操作行为数据；将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；将所述关键词相同的操作行为数据组合存储到预设的存储空间。

本申请通过实时的预计算处理，当检测到任一用户当前正在执行某一操作时，根据预先设好的多个筛选规则（多个筛选规则组成筛选统计策略）将当前执行网络操作的用户操作行为数据进行筛选、分类、统计、汇总，这样即解决了原来无法解决的对历史操作行为数据快照问题，使用户操作行为数据的描述更加丰富，以此大大提升用户行为分析的精度。

本申请实施例中所公开的用户操作行为数据是指用户通过计算机在互联网站上进行操作时，服务器针对用户的操作行为生成的描述相关操作行为的数据，如在支付宝的登录、修改信息、支付资金等操作行为时，则对应的会生成记录登录、修改信息、支付资金的操作行为数据。例如：某一用户执行了登录操作，则对应的操作行为数据可以是：用户账号、登录时间、登录设备IP、登录是否成功等等信息。

本申请所提供的方法是通过对实时的用户操作行为数据进行筛选、分类、统计、汇总等预计算加工处理，使风险行为分析系统在分析当前用户的操作行为时只需要从预计算加工处理后的数据中查询所需数据结果即可，不需要在分析的过程中再进行以上对用户操作行为的分类、统计、汇总，再加上通过使用筛选统计策略标识（Key）+采集的数据块（Value）的方式缓存到服务器，使原有的海量数据查询每次平均需要25ms，提升到获取数据只需要平均5ms，所以大大提升了风险分析的性能及效率。

如图1所示，基于上述目的本申请实施例提供一种采集用户行为数据的方法，下面结合说明书附图对本申请的具体实施方式进行详细说明：

步骤101，当检测到任一操作行为发生时，获取与该操作行为对应的操作行为数据；

在本申请实施例中，当一个用户操作行为发生时接收业务系统以消息事件的形式发送来的数据；

例如：当用户A对被监控的某一网站页面执行操作行为时，则对应会触发风险监控系统获取该用户A所执行的操作行为对应的操作行为数据。

因为业务系统的多样性以及业务系统功能的多样性，所以不同业务系统应用的数据会存在一定的差异，进而接收到的用户操作行为数据会存在不同的数据格式。为了便于数据的筛选和统计本申请实施例还在接收业务系统发送来的用户操作行为数据之后，还进一步将接收到的用户操作行为数据转为相同的数据格式。

步骤102，将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；

所述数据筛选统计项包括待采集数据的业务条件、数据采集的累积时长和待采集数据的对应事件等。

在本申请实施例中，风险监控系统可以首先设置接收数据筛选统计项的显示页面，风险监控系统的操控用户可以根据显示页面的显示内容数据选择数据筛选统计项；风险监控系统根据用户数据的这些数据筛选统计项对应的生成一个数据的项目对应的筛选统计策略标识；即当用户对被监控的某一网络内容执行操作时，则会获取用户的操作行为数据。根据前述内容风险监控系统已经生成了多个筛选统计策略，所以在风险监控系统检测到任一操作行为数据后，则会将操作行为数据中的数据项与筛选统计策略中的策略项进行匹配，从而确定当前检测到的操作行为数据符合哪一个筛选统计策略。

当执行筛选统计功能的系统接收到所述任一用户的历史操作行为数据时，则会根据已经加载好的数据筛选统计项通过规则引擎进行处理，并将处理后的结果再更新到缓存服务器上。

步骤103，将所述第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词（在本申请实施例中关键词203也可以称为KEY，具体示意如图2所示，具体由筛选统计策略标识201和用户的唯一标识202组合生成）；

因为本申请实施例所提供的方法是针对任一用户实现的，所以在进行数据的分类处理时，根据事件和用户的标识对接收到的数据进行分类处理。所以在本申请实施例中还需要将用户的唯一标识与筛选统计策略标识组合形成与分类数据对应的关键词。

所述用户的唯一标识包括多种，本申请实施例中可以选用IP地址，用户的网络注册账号、或者用户终端的MAC地址等等。

1）如果当前执行操作行为的用户，所执行的操作行为数据符合的分类条件是5分钟内用户非正常的付款：

即该分类条件所对应的数据筛选统计项包括：业务条件：非正常；累计事件：用户付款。该分类条件对应一个第一筛选统计策略标识。

其中，因为用户一般通过网络账号付款，所以在统计用户是否正常付款的操作行为数据时，则主体类型可选择网络账号，在该实施例中可以选择主体值：200802302323023

则对应的组成的KEY为：第一筛选统计策略标识200802302323023。

2）如果当前执行操作行为的用户，所执行的操作行为数据符合的分类条件是：5分钟一个电脑非正常的付款，主体：电脑；

即该分类条件所对应的数据筛选统计项包括：业务条件：非正常电脑；累计事件：用户付款该分类条件对应一个第二筛选统计策略标识。

其中，主体类型可选择MAC，并且主体值：电脑的唯一标识；

组成的KEY为：第二筛选统计策略标识电脑的唯一标识。

其中所述5分钟为存储符合该分类条件的操作行为数据的数据结构长度，即在存储符合所述筛选统计策略的数据时，只是保存5分钟范围内的数据。如果当前检测到的符合分类条件（即筛选统计策略）的数据存储到预设的数据结构中，则会导致数据中存储的数据超出5分钟的长度，则将超出5分钟范围的历史数据（原始已存的）删除或者是将一定时间段的数据进行合并（删除例如：数据结构中存储有一个数据的时间是17:00，而当前检测到的数据时间是17:06。17点检测到的数据超出了5分钟的范围，所以则会删除存储的17点的操作行为数据。），然后将当前检测到的操作行为数据存储到数据结构中。

为了使得缓存数据的信息更为全面，以及数据的分类更为合理，则本申请实施例所提供的方法中还根据数据生成的时间将收集的数据划分成多个数据块。

步骤104，将具有相同关键词的操作行为数据存储到预设的存储空间。

在本申请实施例中，关键词是根据操作行为数据的操作用户以及操作行为属性生成的，所以在该实施例中每条操作行为数据都对应一个关键词。因为用户在一定时间段内可能会多次执行某一操作行为，所以在设定时间段（该设定时间段为预设的累积时长）内符合同一筛选统计策略的操作行为数据可以包括多个。因为关键词是通过筛选统计策略和用户的唯一性标识结合生成的，所以在设定时间段内同一用户符合同一筛选统计策略的多个操作行为数据对应同一个关键词。所以在本申请实施例中将关键词相同的操作行为数据存储预设的一个数据结构中。

其中，在本申请实施例中所述数据结构按照时间片划分，在操作行为数据存储时，则按照操作行为数据的生成时间对应的存储到数据结构的不同位置。

另外，因为风险系统将采集到的操作行为数据按照一定时间段进行累积，所以在本申请中在存储所述操作行为数据时，会根据累积时长确定数据的分析精度，所以对于不同累积时长的筛选统计策略所对应的数据划分为数据块时，所根据的时间片单位会不同。所述根据预设的时间片将所述关键词相同的操作行为数据划分为多个数据块包括：

从所述第一筛选统计策略标识中获取筛选操作行为数据的累积时长值；

将所述累积时长与第一阈值（在本申请实施例中可以设置该第一阈值为两小时）进行比较，若所述累积时长大于第一阈值（即所述筛选统计策略中所设定的累积时长大于两小时），则根据第一预设时间片（本申请实施例中可以是1分钟）将所述第一历史操作行为数据划分为多个数据块；若所述累积时长值不大于第一阈值，则根据第二预设时间片（本申请实施例中可以是1秒）将所述第一历史操作行为数据划分为多个数据块；其中，所述第二预设时间片小于第一预设时间片。

因为操作行为数据的完整信息都存储在业务系统中，并且为了方便操作行为数据的存储和查询，每个操作行为数据都对应一个唯一的流水号。所以在本发明实施例中为了减小数据的存储量以及避免存储空间的浪费，将关键词和操作行为数据对应存储到数据结构时，则只是在数据结构中存储操作行为数据对应的流水号。当查询某一操作行为数据时，获取操作行为数据的流水号后，通过流水号在业务系统中获取对应的操作行为数据即可。

在本申请实施例中，缓存对象中使用了队列来存储累计值。该实施例中若第一阈值以2小时为例，则对于2小时内的累计精确到秒（该实施中如果精确度为1秒，则时间片为每一秒）来做累计，队列的最大长度N为：2*60*60=7200（该队列的格式如图3所示，每个数据结构中包括KEY301和累积时长时间段内符合条件的数据块302，在本实施例中302中存储的是在业务系统中，数据块所对应的流水号）；对于累计时长为2小时至3天的累计精确到1分钟，队列最大长度N为：3*24*60=4320。

在本申请实施例中，因为只存储满足条件的数据，所以时间片队列中的时间不是连续时间，只有满足对应业务条件的事件发生的时间点才会被累计到队列中（如图4所示，每个数据结构中包括KEY401和累积时长时间段内符合条件的数据块402，在本实施例中402中存储的是在业务系统中，数据块所对应的流水号。两分钟的队列虽然长度为120，队列并不是满的，只有三个时间片有值，而且不是连续的时间片）。

根据上述方法存储的数据，当需要查询某一数据时，从所述数据结构中获取任一用户对任一事件的历史操作行为数据还包括：

接收获取历史操作行为数据的数据获取请求；

从所述数据获取请求中获取与所述任一事件对应的数据筛选统计项，并根据获取的数据筛选统计项生成筛选统计策略标识；

将生成的筛选统计策略标识与用户的唯一标识组合生成关键词；

将生成的关键词与所述数据结构中保存的关键词进行匹配，如果匹配到相同的，则获取关键词对应的历史操作行为数据。

如图5所示，根据上述方法本申请实施例还提供一种采集用户行为数据的装置，该装置包括：

数据接收单元501，用当检测到任一操作行为发生时，获取与该操作行为对应的操作行为数据；

筛选统计策略标识确定单元502，用于将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；

关键词生成单元503，用于将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；

数据存储单元504，用于将具有相同关键词的操作行为数据存储到预设的存储空间。

如图6所示，为了使得缓存数据的信息更为全面，以及数据的分类更为合理，则本申请实施例所提供的方法中还根据数据生成的时间将收集的数据划分成多个数据块。则所述数据存储单元504包括：

数据块生成模块601，用于根据预设的时间片将所述关键词相同的操作行为数据划分为多个数据块；

另外，因为对于不同时间生成的数据所需要的分析精度不相同，所以对于不同时间生成的数据在划分数据块时，所根据的时间片单位会不同。所以所述数据块生成模块601根据预设的时间片将所述关键词相同的操作行为数据划分为多个数据块包括：

从所述第一筛选统计策略标识中获取数据采集的累积时长；

将所述累积时长与第一阈值进行比较，若所述累积时长大于第一阈值，则根据第一预设时间片将所述第一历史操作行为数据划分为多个数据块；若所述累积时长不大于第一阈值，则根据第二预设时间片将所述第一历史操作行为数据划分为多个数据块；其中，所述第二预设时间片小于第一预设时间片。

存储模块602，用于按照所述操作行为数据的生成时间将所述数据块组合存储到预设的存储空间。

根据上述方法存储的数据，当需要查询某一数据时，用户从所述数据结构中获取任一用户对任一事件的原始用户操作行为数据该装置还包括：

查询单元505，用于接收获取所述任一用户的历史操作行为数据的数据获取请求；从所述数据获取请求中获取与所述任一事件对应的数据筛选统计项，并根据获取的数据筛选统计项生成筛选统计策略标识；将生成的筛选统计策略标识与所述任一用户的唯一标识组合生成关键词；将生成的关键词与所述数据结构中保存的关键词进行匹配，如果匹配到相同的，则获取关键词对应的历史操作行为数据。

本申请实施例中的上述一个或多个技术方案，至少具有如下的技术效果：

提升用户行为分析精度，本申请通过任一用户操作行为发生时，实时的预计算处理该用户对应的设定时间段内的历史操作行为数据，所述预计算处理为将当前用户的操作行为数据进行预先设好的多个条件进行以时间片为刻度的筛选、分类、统计、汇总，这样即解决了原来无法解决的对历史操作行为数据快照问题，使历史操作行为数据的描述更加丰富，以此大大提升用户行为分析的精度。

提升性能及效率，本申请通过对实时的历史操作行为数据进行以时间片为刻度的筛选、分类、统计、汇总预计算加工处理，使风险行为分析系统在分析当前用户的操作行为时只需要查询到已经预计算加工处理好的数据结果即可，不需要在分析的过程中再进行以上对历史操作行为数据的分类、统计、汇总，再加上通过使用Key-Value缓存服务器做为存储，使原有的海量数据查询每次平均需要25ms，提升到获取数据只需要平均5ms，所以大大提升了风险分析的性能及效率。

本申请所述的方法并不限于具体实施方式中所述的实施例，本领域技术人员根据本申请的技术方案得出其它的实施方式，同样属于本申请的技术创新范围。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种采集用户行为数据的方法，其特征在于，该方法包括：

当检测到任一操作行为发生时，生成与该操作行为对应的操作行为数据；

将所述操作行为数据中的数据筛选统计项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；

将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；

根据预设的时间片将所述关键词相同的操作行为数据划分为多个数据块；按照所述操作行为数据的生成时间将所述数据块组合存储到预设的存储空间。

2.如权利要求1所述的方法，其特征在于，所述用户唯一标识包括用户终端的IP地址，用户的网络注册账号或者用户终端的MAC地址。

3.如权利要求1所述的方法，其特征在于，所述数据筛选统计项包括待采集数据的业务条件、数据采集的累积时长和待采集数据的对应事件。

4.如权利要求3所述的方法，其特征在于，所述根据预设的时间片将所述关键词相同的操作行为数据划分为多个数据块：

从所述第一筛选统计策略标识中获取数据采集的累积时长；

将所述累积时长与第一阈值进行比较，若所述累积时长大于第一阈值，则根据第一预设时间片将第一历史操作行为数据划分为多个数据块；若所述累积时长不大于第一阈值，则根据第二预设时间片将所述第一历史操作行为数据划分为多个数据块；其中，所述第二预设时间片小于第一预设时间片。

5.如权利要求1所述的方法，其特征在于，该方法还包括获取任一用户对任一事件的历史操作行为数据还包括：

接收获取所述任一用户的历史操作行为数据的数据获取请求；

从所述数据获取请求中获取与所述任一事件对应的数据筛选统计项，并根据获取的数据筛选统计项生成筛选统计策略标识；

将生成的筛选统计策略标识与所述任一用户的唯一标识组合生成关键词；

将生成的关键词与预设的数据结构中保存的关键词进行匹配，如果匹配到相同的，则获取关键词对应的历史操作行为数据。

6.一种采集用户行为数据的装置，其特征在于，该装置包括：

数据接收单元，用于当检测到任一操作行为发生时，获取与该操作行为对应的操作行为数据；

筛选统计策略标识确定单元，用于将所述操作行为数据中的数据筛选统计项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；

关键词生成单元，用于将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；

数据存储单元，用于根据预设的时间片将所述关键词相同的操作行为数据划分为多个数据块，将具有相同关键词的操作行为数据存储到预设的存储空间。

7.如权利要求6所述的装置，其特征在于，数据存储单元根据预设的时间片将所述关键词相同的操作行为数据划分为多个数据块包括：

从所述第一筛选统计策略标识中获取数据采集的累积时长；

将所述累积时长与第一阈值进行比较，若所述累积时长大于第一阈值，则根据第一预设时间片将第一历史操作行为数据划分为多个数据块；若所述累积时长不大于第一阈值，则根据第二预设时间片将所述第一历史操作行为数据划分为多个数据块；其中，所述第二预设时间片小于第一预设时间片。

8.如权利要求6所述的装置，其特征在于，当从所述预设的存储空间中获取任一用户对任一事件的操作行为数据，则该装置还包括：

查询单元，用于接收获取任一用户的历史操作行为数据的数据获取请求；从所述数据获取请求中获取与所述任一事件对应的数据筛选统计项，并根据获取的数据筛选统计项生成筛选统计策略标识；将生成的筛选统计策略标识与所述任一用户的唯一标识组合生成关键词；将生成的关键词与预设的数据结构中保存的关键词进行匹配，如果匹配到相同的，则获取关键词对应的历史操作行为数据。