CN108229976A

CN108229976A - 一种数据可视化反作弊系统数据模型维度调整处理方法

Info

Publication number: CN108229976A
Application number: CN201810024123.7A
Authority: CN
Inventors: 郭威
Original assignee: Beijing Zhang Kuo Mobile Media Science And Technology Ltd
Current assignee: Beijing Zhang Kuo Mobile Media Science And Technology Ltd
Priority date: 2018-01-10
Filing date: 2018-01-10
Publication date: 2018-06-29

Abstract

本发明公开了一种数据可视化反作弊系统数据模型维度处理方法，包括：步骤1)获取反作弊系统的数据处理结果，该数据处理结果通过可视化向用户进行展示，并显示预设的维度下的作弊数量；步骤2)判断设定时间段内的作弊数量是否在预设的阈值之内，如作弊数量小于或者大于阈值，则判断数据的某个维度发生衰减；步骤3)获取数据模型的发生衰减的维度及其设定数据，并根据外部数据和设定数据之间的对比，判断维度是否进行调整；步骤4)根据维度和外部数据的实际情况通知数据模型进行维度调整，由此形成新的数据模型。

Description

一种数据可视化反作弊系统数据模型维度调整处理方法

技术领域

本发明属于一种数据可视化反作弊系统数据模型维度调整处理方法。

背景技术

移动互联网市场数据及各项规则变化迅速，现有可视化平台的反作弊技术如一成不变，则无法适应市场需求，极可能因为作弊流量的混入而影响公司的各项业务指标进而造成经济损失。所以，为了适应业务规模及市场需求，我们需要对反作弊模型进行不定期的更新和升级。

数据可视化平台，根据业务量和市场变化，需要实时地更新反作弊的技术和规则。但是，发现现有的模型可能太老，不能满足日益变化分析数据的需求，具体来说，现有的存在下面的问题：

缺点1：:旧模型无法准确抓取出异常的作弊流量；

缺点2：旧模型无法快速得到验证----时效性；

为了尽快修正以上缺点，需要我们设计一种新的方法，能够满足日益正常的数据分析需求。

发明内容

本发明所要解决的技术问题是提供一种数据可视化反作弊系统数据模型维度调整处理方法，用于解决现有技术的问题。

本发明解决上述技术问题所采取的技术方案如下：

一种数据可视化反作弊系统数据模型维度处理方法，包括：

步骤1)获取反作弊系统的数据处理结果，该数据处理结果通过可视化向用户进行展示，并显示预设的维度下的作弊数量；

步骤2)判断设定时间段内的作弊数量是否在预设的阈值之内，如某个维度的作弊数量小于或者大于阈值，则判断数据模型的某个维度发生衰减；

步骤3)获取数据模型的发生衰减的维度及其设定数据，并根据外部数据和设定数据之间的对比，判断维度是否进行调整；

步骤4)根据维度和外部数据的实际情况通知数据模型进行维度调整，由此形成新的数据模型。

优选的是，步骤1)中，所述作弊系统的数据处理结果，通过对用户访问数据信息处理而获取；

所述用户访问数据信息，其包括：用户ID、IP地址、系统版本、浏览器或者APP版本、访问时间戳；

所述数据模型，其具有多个预设的多个维度的计算规则；

基于所述可视化反作弊系统数据模型，向用户进行展示，并显示预设的维度下的作弊数量。

优选的是，步骤3)中，所述外部数据基于向服务器中发起访问的流量日志数据的统计或者从其他数据分析平台中获取。

优选的是，步骤1)之前，包括形成数据模型过程，包括：

获取某个时间段的流量日志数据，所述流量日志数据中，具有用户ID、IP地址、系统版本、浏览器或者APP版本、访问时间戳的多个字段；

如某一个字段的统计及结果值过于异常，则判断该字段可用于反作弊，于是将其加入到数据模型中作为参考的一个维度。

优选的是，步骤4)具体包括：

确定新修改的维度数据出处；

用SQL语句或者linux命令解释该维度的计算逻辑，并修改到数据模型中，生成新的数据模型。

优选的是，步骤4)中，还包括：

如果某一维度在进行调整后，该反作弊系统的数据处理结果仍然没有发生变化，则对该维度进行二次调整；

如多次调整后，其结果仍然未变化，则可以直接删去该维度。

优选的是，步骤3)中，还包括：

基于外部数据的日志字段的数据构成，判断是否需要对数据模型中的维度进行增加。

优选的是，步骤4)中，还包括：

在数据模型中加入新的维度；

获取调整后的数据模型，并基于该数据模型进行数据处理；

基于数据处理后的结果，判断是确定该新的维度加入到所述数据模型中。

优选的是，步骤4)具体包括：

确定新增加的维度数据出处；

用SQL语句或者linux命令解释该维度的计算逻辑，并增加到数据模型中，生成新的数据模型。

优选的是，步骤4)中，所述新增加的维度数据定位到具体的服务器、数据库和日志数据中。

本发明采取了上述方案以后，能够基于外部数据的变化，对数据模型中的维度进行调整，由此实现更准确的数据处理，具有很好的效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，

图1是本发明数据可视化反作弊系统数据模型维度处理方法的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

具体来说，如图1所示，一种数据可视化反作弊系统数据模型维度处理方法，包括：

举例来说：

在已确认的作弊流量中，我们发现，独立设备(用户)一天内在各个城市之间的跳跃非常大，且人均城市数量均大于等于3个/天。而该指标并未在现有模型中体现。

为了解决这个问题，我们需新增该维度。

文字描述:计算1天内，人均城市个数：

计算逻辑为：count(distinct udid,cityid)/count(distinct udid)

取值逻辑：“计算逻辑”结果值>3且点击数>50,标记“作弊”标签

SQL：

select distinct e.app_id,e.clk,round(e.c,3)from(

select ic.app_id,ic.clk,ir.c from(select app_id,count(1)as clk fromios_click_log where dt＝'"${dt}"'

group by app_id having clk>50)ic left outer join

(select app_id,count(distinct dev_id,cityid)/count(distinct dev_id)asc from ios_request_log where dt＝'"${dt}"'and dev_id not in('0','00000000-0000-0000-0000-000000000000')group by app_id)ir on ic.app_id＝ir.app_id whereir.c>3

如果新增了运营商协议发生变化的维度，但是现有的模型是没有这个维度，则系统没法进行下一步分析。

为了解决这个问题，我们需要告诉数据平台，让数据平台在新增模型的时候，将这个维度纳入进去。

优选的是，优选的是，步骤1)中，所述作弊系统的数据处理结果，通过对用户访问数据信息处理而获取；

所述数据模型，其具有多个预设的多个维度的计算规则；

优选的是，步骤1)之前，包括形成数据模型过程，包括：

优选的是，步骤4)具体包括：

确定新修改的维度数据出处；

优选的是，步骤4)中，还包括：

优选的是，步骤3)中，还包括：

优选的是，步骤4)中，还包括：

在数据模型中加入新的维度；

获取调整后的数据模型，并基于该数据模型进行数据处理；

优选的是，步骤4)具体包括：

确定新增加的维度数据出处；

举例来说，原有的数据模型中有一个维度是“单应用iphone 5C机型流量占比达50％，标记为作弊”。

随着iphone市场更新，原维度指标及占比已不符合市场状况。

为了解决这个问题，我们分析已确认作弊流量，将该指标调整为”5s及以下机型占比>50％”标记为作弊。

SQL：

select app_id,click,round(iphone5s_rate,3)from anticheat_app wheredate_id＝'"${dt2}"'and platform_id＝2and click>50and iphone5s_rate>0.5groupby app_id

再如，修改了某一个维度的数据，如操作系统占比，原来ios8以下占比50％，则打上作弊标签；由于版本升级及市场扩充，现有的百分比不能满足要求，需要将其调整成80％。这个时候，同样需要告诉数据平台，将对应的维度进行变更。

再如，删除“展示拟合值”维度。

该维度原逻辑为“划定一条真实用户的小时级曝光行为曲线作为已知函数，把每个程序的24(小时)个点用最小二乘法与已知函数计算离散函数值。值越大，说明该程序的曝光曲线与正常用户行为差距越大”。

通过观察近半年的作弊数据发现，该指标对发现数据异常没有明显贡献。通常需>500％才会打上标记。故考虑删除该指标。

其中，步骤2中，在一个实施例中，通过外部数据，得知iphone5C以下市场占比不足10％，但是查看模型中，原有的维度为30％，接近于市场占比，所以需要参考现有的流量，将该值修正为“5S及以下流量占比＞50％”【流量数据是从服务器中的日志数据，日志数据是正常的用户流量数据】；

分析日志，从中发现那个维度需要添加进去。

比如，日志格式为：

比如：日志格式的是：用户ID、IP地址、系统版本、浏览器或者APP版本、访问时间戳。

当发现某一个字段的统计及结果值过于异常，则判断该字段可用于反作弊，于是将其加入到模型中作为参考的一个维度；

我们会定时地，如一个月会查看这个模型中的所有指标，如果是某一个指标在一个月内都没有发现新问题，对这个指标进行相应的阈值调整，或者在阈值调整后，其结果仍然没有发生太大变化，则说明该维度失效，则可以删除该维度；

步骤3)中，以“人均城市”维度为例，将计算逻辑告诉给模型：

--用户城市和越狱

--独立udid点击数

--展示越狱数，展示越狱占比，展示用户城市数，展示人均城市数

步骤4)中，还包括：

基于新模型进行数据处理，判断调整后的模型，其数据是否符合我们的预期，如果符合，则将该模型发布；如果不符合，则继续上述操作，重新调整。

具体来说，包括：

1、确定新增或修改的维度数据出处(哪台服务器，哪个库哪个日志)

2、用SQL语句或者linux命令解释该维度的计算逻辑，并增加/修改到模型中，生成新的模型

本发明采取了上述方案以后，其能够及时使得数据平台的模型与市场需求相匹配，从而提高了数据处理的准确性和效率，具体来说，具有以下的优点：

1、日粒度数据分析，可以快速发现并处理异常流量

2、数据更准确。新模型参考了市场数据，及对已知作弊流量的学习得出结论，相较于老模型，对异常的作弊流量有了更精准的判断；

3、作弊流量是公司业务经营中最无效的部分，如不能及时发现并采取措施，将会对公司的经济及名誉造成影响。

需要说明的是，对于上述方法实施例而言，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据可视化反作弊系统数据模型维度处理方法，包括：

2.根据权利要求1所述的数据可视化反作弊系统数据模型维度处理方法，其特征在于，步骤1)中，所述作弊系统的数据处理结果，通过对用户访问数据信息处理而获取；

所述数据模型，其具有多个预设的多个维度的计算规则；

3.根据权利要求1或2所述的数据可视化反作弊系统数据模型维度处理方法，其特征在于，步骤3)中，所述外部数据基于向服务器中发起访问的流量日志数据的统计或者从其他数据分析平台中获取。

4.根据权利要求1或2所述的据可视化反作弊系统数据模型维度处理方法，其特征在于，步骤1)之前，包括形成数据模型过程，包括：

5.根据权利要求1或2所述的据可视化反作弊系统数据模型维度处理方法，其特征在于，步骤4)具体包括：

确定新修改的维度数据出处；

6.根据权利要求1或2所述的数据可视化反作弊系统数据模型维度处理方法，其特征在于，步骤4)中，还包括：

7.根据权利要求3所述的数据可视化反作弊系统数据模型维度处理方法，其特征在于，步骤3)中，还包括：

8.根据权利要求7所述的数据可视化反作弊系统数据模型维度处理方法，其特征在于，步骤4)中，还包括：

在数据模型中加入新的维度；

获取调整后的数据模型，并基于该数据模型进行数据处理；

9.根据权利要求8所述的数据可视化反作弊系统数据模型维度处理方法，其特征在于，步骤4)具体包括：

确定新增加的维度数据出处；

10.根据权利要求9所述的数据可视化反作弊系统数据模型维度处理方法，其特征在于，步骤4)中，所述新增加的维度数据定位到具体的服务器、数据库和日志数据中。