CN111882367B - 一种通过用户上网行为分析进行在线广告监测跟踪的方法 - Google Patents
一种通过用户上网行为分析进行在线广告监测跟踪的方法 Download PDFInfo
- Publication number
- CN111882367B CN111882367B CN202010799066.7A CN202010799066A CN111882367B CN 111882367 B CN111882367 B CN 111882367B CN 202010799066 A CN202010799066 A CN 202010799066A CN 111882367 B CN111882367 B CN 111882367B
- Authority
- CN
- China
- Prior art keywords
- user
- data
- analysis
- behavior
- advertisement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012544 monitoring process Methods 0.000 title claims abstract description 54
- 230000006399 behavior Effects 0.000 claims abstract description 97
- 230000001680 brushing effect Effects 0.000 claims description 26
- 238000005516 engineering process Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000007405 data analysis Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 238000000586 desensitisation Methods 0.000 claims description 9
- 238000013441 quality evaluation Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 14
- 238000005094 computer simulation Methods 0.000 abstract description 8
- 230000009471 action Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 206010000117 Abnormal behaviour Diseases 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011068 loading method Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种通过用户上网行为分析进行在线广告监测跟踪的方法，该方法是在群体异常行为识别基础上提供一种可以针对广告用户个体跟踪并作为分析依据的在线广告监测方法。本发明提供的一种通过用户上网行为分析进行在线广告监测跟踪的方法可在识别广告用户个体的同时结合该用户日常互联网行为特点，来判断其是否为真实用户，而非计算机模拟；或判断其是否为广告主真正的潜在客户而非“真人水军”，通过互联网标签进行用户偏好的匹配，从而判断并最终证实了该渠道的作弊行为。本发明解决所存在的效率低，反馈滞后，同时对于机器智能作弊和真人水军作弊的情况不能及时作出反馈处理问题，作用效果显著，适于广泛推广。
Description
技术领域
本发明涉及互联网信息处理技术领域，特别涉及，一种通过用户上网行为分析进行在线广告监测跟踪的方法。
背景技术
目前移动广告虚假流量主要通过技术手段来不断变更设备信息与内存数据，实现模拟行为，批量生成想要的流量；还有通过篡改设备ID号或者使用模拟器等进行，并伪造不同的网络环境，实现设备MAC、IMEI、Android ID、系统版本号不重复、机型变换、时间分散来以假乱真，进行设备信息伪装。
传统广告监测由于技术的局限性，仅能通过对整个广告群体的异常数据行为进行识别，如：曝光、点击频次异常；留存曲线、转化率异常；广告访问时间分布异常；曝光、点击IP/地域/设备集中等等。不仅效率低，反馈滞后，同时对于机器智能作弊和真人水军作弊的情况更是捉襟见肘。作弊与反作弊是不断对抗的过程，如今除了模拟设备做机器刷量的行为(包括：换不同IP重复刷量、机器智能作弊，流量劫持等)，更是出现了人工造假刷量行为：包括真人水军作弊等。
针对这些问题，亟需提出一种解决所存在的效率低，反馈滞后，同时对于机器智能作弊和真人水军作弊的情况不能及时作出反馈处理问题的方法。
发明内容
针对上述缺陷，本发明解决的技术问题在于，提供一种通过用户上网行为分析进行在线广告监测跟踪的方法，以解决现在技术所存在的效率低，反馈滞后，同时对于机器智能作弊和真人水军作弊的情况不能及时作出反馈处理的问题。
本发明提供了一种通过用户上网行为分析进行在线广告监测跟踪的方法，具体步骤包括：
步骤1、在广告页面埋码进行全局监控，获得用户操作的统计数据；
步骤2、加密回传统计数据进行数据分析；
步骤3、结合数据分析的结果进行数据打通还原；
步骤4、结合用户行为数据，对用户行为做出概率预测，得出全量用户整体的质量度评估数据；
步骤5、根据质量度评估数据生成监测报告，将监测报告回传并作为后续跟踪反馈及优化的数据依据。
优选地，所述步骤1具体步骤包括：
步骤1.1、在广告页面中接入SDK，收集用户操作行为，其中，用户操作行为包括页面访问次数、页面停留时间、按钮点击次数；
步骤1.2、所述SDK全局监控HTML标签，用户进入广告页面进行操作时触发相应监控统计机制，获得用户的相关操作统计数据。
优选地，所述步骤1.2具体步骤包括：
步骤1.2.1、通过HTML标签获取全部DOM Tree；
步骤1.2.2、进一步遍历DOM元素，通过追踪DOM Tree元素链路获取DOM元素唯一标识；
步骤1.2.3、通过DOM元素唯一标识，监控用户所有行为，获得用户的相关操作统计数据。
优选地，所述步骤2具体步骤包括：
步骤2.1、统计每个用户对于页面的相关操作数据，将统计数据以加密方式向后台服务器进行传输；
步骤2.2、将统计数据同时进行双向加密并透传至运营商DPI解析日志；
步骤2.3、对回传的统计数据进行多维度用户广告浏览行为聚合分析，对加密透传的数据进行解析生成的多维度用户行为宽表。
优选地，所述步骤2.1具体步骤包括：
步骤2.1.1、通过操作流式记录，记录用户完整操作行为顺序；
步骤2.1.2、通过收集用户浏览行为向数据收集服务提交统计数据。
优选地，所述步骤2.2具体步骤包括：
步骤2.2.1、对于统计数据，使用非对称加密算法将重要数据进行加密；
步骤2.2.2、把一段双向加密的http字符串附加于整个网络请求之中；
步骤2.2.3、使用设备指纹技术做透传标识并透传至运营商DPI解析日志。
优选地，所述步骤2.3具体步骤包括：
步骤2.3.1、对于回传的统计数据，基于使用Flink流处理机制进行业务处理并写入Elasticsearch等OLAP解决方案，进行多维度用户广告浏览行为聚合分析；
步骤2.3.2、使用Hadoop生态圈技术对DPI进行深度清洗挖掘，解析出用户原始行为数据；
步骤2.3.3、使用Spark计算引擎，对数据基于业务分析生成多维度用户行为宽表。
优选地，所述步骤3具体步骤包括：
步骤3.1、基于设备指纹技术，通过获取相关设备信息生成设备唯一ID；
步骤3.2、结合多维度用户行为宽表与聚合分析的结果进行归并，生成跨设备指纹。
优选地，所述步骤4具体步骤包括：
步骤4.1、使用Flink流式计算引擎，实现海量多维度用户行为数据与实时用户广告浏览行为的共同计算，对用户的广告作弊、刷量等行为做出个体用户刷量概率预测；
步骤4.2、将广告批次中的全量用户概率预测值进行数据分析，得出该批次内用户整体的质量度评估数据，其中，数据分析的内容包括汇总分析、异常值剔除、历史表现对比统计。
优选地，所述步骤5具体步骤包括：
步骤5.1、在运营商内网环境生成脱敏统计报告，所述脱敏统计报告不包含任何用户个体信息；
步骤5.2、将得到的脱敏统计报告经由专线加密通道回传；
步骤5.3、获取回传的数据，将回传的数据作为后续跟踪反馈及优化的数据依据。
由上述方案可知，本发明提供的一种通过用户上网行为分析进行在线广告监测跟踪的方法是在群体异常行为识别基础上提供一种可以针对广告用户个体跟踪并作为分析依据的在线广告监测方法。此方法可在识别广告用户个体的同时结合该用户日常互联网行为特点(数据来源于电信运营商DPI日志)，来判断其是否为真实用户，而非计算机模拟，例如：是否有正常的社交、购物、娱乐等互联网行为；或判断其是否为广告主真正的潜在客户而非“真人水军”，通过互联网标签进行用户偏好的匹配，例如：我们在某高端汽车广告监测中发现来自某渠道的用户群体均为20岁左右小镇青年，从而判断并最终证实了该渠道的作弊行为。本发明解决所存在的效率低，反馈滞后，同时对于机器智能作弊和真人水军作弊的情况不能及时作出反馈处理问题，作用效果显著，适于广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种通过用户上网行为分析进行在线广告监测跟踪的方法的过程框图一；
图2为本发明实施例提供的一种通过用户上网行为分析进行在线广告监测跟踪的方法的过程框图二；
图3为本发明实施例提供的一种通过用户上网行为分析进行在线广告监测跟踪的方法的过程框图三；
图4为本发明实施例提供的一种通过用户上网行为分析进行在线广告监测跟踪的方法的过程框图四；
图5为本发明实施例提供的一种通过用户上网行为分析进行在线广告监测跟踪的方法的过程框图五；
图6为本发明实施例提供的一种通过用户上网行为分析进行在线广告监测跟踪的方法的过程框图六；
图7为本发明实施例提供的一种通过用户上网行为分析进行在线广告监测跟踪的方法的过程框图七。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请一并参阅图1至图7，现对本发明提供的一种通过用户上网行为分析进行在线广告监测跟踪的方法的一种具体实施方式进行说明。
广告监测即是将虚假流量甄别出来的反作弊技术，常见技术方法如下：1、排重：Cookie、设备号及IP排重；2、SDK加密防护：对传输激活的SDK进行加密处理，提高其破解作弊的成本；3、点击频次有效期：限制点击频次的有效期，在有效期内，后续转化归属相应平台，如超出有效期范围，则不予计算；4、异常数据黑名单：对于一些比较有周期性质点击来源，或者非客户端数据的点击记录，超过一定范围标记为黑名单，长期过滤；5、归因时间差防作弊：归因时间差即指从点击到下载激活的时间。一般作弊时，伪造点击与激活是并存的，所以往往在时间逻辑上是错误的。
本发明涉及一种在线广告的跟踪、识别方法，尤其涉及通过广告URL(UniformResource Locator，统一资源定位系统)链接埋点监测与DPI数据(电信运营商深度数据包检测日志数据)相结合进行广告点击用户的分析，从而辨别广告流量真伪的广告监测技术。该种通过用户上网行为分析进行在线广告监测跟踪的方法的具体步骤包括：
S1、在广告页面埋码进行全局监控，获得用户操作的统计数据；
本步骤具体的实现步骤可以为：
S1.1、在广告页面中接入SDK，收集用户操作行为，其中，用户操作行为包括页面访问次数、页面停留时间、按钮点击次数；
S1.1具体的步骤是在广告页面中需要监测统计的地方统一接入SDK，SDK包括N行代码，进行广告页面埋码，SDK根据客户定制(无定制则使用默认)异步下载核心代码，统一SDK体积小不影响页面加载，核心代码的更新也无需业务层面参与。需要监测统计的数据包括：页面访问次数、页面停留时间、按钮点击次数等各类用户操作行为数据。
SDK(Software DevelopmentKit，软件开发工具包)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。
S1.2、SDK全局监控HTML标签，用户进入广告页面进行操作时触发相应监控统计机制，获得用户的相关操作统计数据。
本步骤具体的实现步骤可以为：
S1.2.1、通过HTML标签中的document.getElementsByTagName('body')此类标签获取全部DOM Tree；
S1.2.2、进一步遍历各类DOM元素，通过追踪DOM Tree元素链路获取DOM元素唯一标识，其中各类DOM元素包括HEAD、TITLE、BODY；
S1.2.3、通过DOM元素唯一标识，监控用户所有行为，获得用户的相关操作统计数据。
HTML(Hyper Text Markup Language，超文本标记语言)是一种标识性的语言，它包括一系列标签.通过这些标签可以将网络上的文档格式统一，使分散的Internet资源连接为一个逻辑整体。
DOM(Document Object Model Tree，文档对象化模型)，DOM Tree是指通过DOM将HTML页面进行解析，并生成的HTML tree树状结构和对应访问方法。
S2、加密回传统计数据至运营商DPI解析日志进行数据分析，生成多维度用户行为宽表；
本步骤具体的实现步骤可以为：
S2.1、统计每个用户对于页面的相关操作数据，将统计数据以加密方式向后台服务器进行传输；
本步骤具体的实现步骤可以为：
S2.1.1、通过操作流式记录，记录用户完整操作行为顺序；
S2.1.2、通过收集用户浏览行为，通过异步GET请求向数据收集服务提交统计数据。
S2.2、在用户整个网络交互过程中，将统计数据同时进行双向加密并透传至运营商DPI解析日志；
本步骤具体的实现步骤可以为：
S2.2.1、对于统计数据，使用非对称加密算法将重要数据进行加密，其中重要数据包括为媒体-用户分组评分数据；
S2.2.2、在用户整个网络交互过程中，同步把一段双向加密的http字符串附加于整个网络请求之中；
S2.2.3、使用设备指纹技术做透传标识并透传至运营商DPI解析日志。
DPI(Deep Packet Inspection深度报文检测)是一种基于数据包的深度检测技术，针对不同的网络应用层载荷进行深度检测，通过对报文的有效载荷检测决定其合法性。
http(超文本传输协议)是一个简单的请求-响应协议，它通常运行在TCP之上，它指定了客户端可能发送给服务器通过用户上网行为分析进行在线广告监测跟踪的方法样的消息以及得到通过用户上网行为分析进行在线广告监测跟踪的方法样的响应。
设备指纹是指可以用于唯一标识出该设备的设备特征或者独特的设备标识。
S2.3、对回传的统计数据进行多维度用户广告浏览行为聚合分析，对加密透传的数据进行解析生成多维度用户行为宽表。
本步骤具体的实现步骤可以为：
S2.3.1、对于回传的统计数据，基于使用Flink流处理机制进行业务处理并写入Elasticsearch等OLAP解决方案，进行多维度用户广告浏览行为聚合分析；
Flink流处理是能够帮助用户实现有状态的流处理应用程序。
Elasticsearch是一个搜索服务器。它是一种流行的企业级搜索引擎，用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
OLAP(Online Analytical Processing，联机分析处理)是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。
S2.3.2、使用Hadoop生态圈技术对DPI进行深度清洗挖掘，解析出用户原始行为数据，其中Hadoop生态圈相关技术包括HDFS、Hive、Mapreduce、Spark等；
S2.3.3、使用Spark的迭代分布式计算引擎，对数据基于业务分析生成多维度用户行为宽表。
Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。
HDFS(Hadoop DistributedFile System，Hadoop分布式文件系统)是指被设计成适合运行在通用硬件上的分布式文件系统。
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
Mapreduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。
Spark是专为大规模数据处理而设计的快速通用的计算引擎。
S3、结合多维度用户行为宽表与聚合分析的结果进行数据打通还原；
通过在运营商数据处理平台部署的加密还原系统将服务器数据与运营商数据实现双向解密的还原打通，从而在运营商数据业务平台中实现用户的精准定向。确认用户个体后，可通过用户ID关联打通该用户在运营商DPI中的其他日志数据，即该用户的其他上网行为。这些行为已经在每日的数据处理系统中加工为互联网行为标签，并实时存储与运营商内网服务器中。
本步骤具体的实现步骤可以为：
S3.1、基于设备指纹技术，通过获取相关设备信息(操作系统、浏览器版本号、屏幕分辨率、浏览器插件等)生成设备唯一ID；
S3.2、结合多维度用户行为宽表与聚合分析的结果进行归并，按喜好习惯等进行归并，生成跨设备指纹。
ID(Identity document)是身份证标识号、账号、唯一编码、专属号码、工业设计、国家简称、法律词汇、通用账户、译码器、软件公司等各类专有词汇的缩写。
S4、结合用户行为数据，对用户行为做出概率预测，得出全量用户整体的质量度评估数据；
本步骤具体的实现步骤可以为：
S4.1、使用Flink流式计算引擎，实现海量多维度用户行为数据与实时用户广告浏览行为的共同计算，对用户(或模拟用户)的广告作弊、刷量等行为做出个体用户刷量概率预测。
S4.2、将某一广告批次(包括：媒体、频道、地域、时间、特征等维度)中的全量用户概率预测值进行数据分析，得出该批次内用户整体的质量度评估，其中，数据分析的内容包括汇总分析、异常值剔除、历史表现对比统计等。
通过数据模型针对该批次广告用户的互联网行为标签分别对其进行综合判断，包括他们的日常社交、购物、娱乐等行为特征，从而计算出该批次广告用户为机器模拟刷量或人工水军作弊的概率预测值。为确保用户信息安全，所有数据及计算过程均在运营商内网环境中进行，最终输出结果仅为该批次用户各广告监测维度的概率预测值。
S5、根据质量度评估数据生成监测报告，将监测报告回传并作为后续跟踪反馈及优化的数据依据。
本步骤具体的实现步骤可以为：
S5.1、在运营商内网环境生成脱敏统计报告，所述脱敏统计报告不包含任何用户个体信息；
S5.2、将得到的脱敏统计报告经由专线加密通道回传；
S5.3、获取回传的数据，将回传的数据作为后续跟踪反馈及优化的数据依据。
与现有技术相比，本发明方法通过双向加密的DPI透传，可在充分确保数据安全和法律法规允许的前提下实现对于广告用户个体的准确识别和跟踪，并允许在运营商数据能力开放平台中将用户数据与其他不同维度的用户上网行为标签进行打通从而进行深度的针对用户个体的状态分析，进而确保对于广告虚假流量及各种刷量行为的精准预测和分析。
示例性的：对护肤产品行业的广告进行投放及监测，实验时间为2019年11月1日—2020年12月31日，历时两个月。具体的实行步骤是，设置实验组与对照组，其中，实验组使用该种通过用户上网行为分析进行在线广告监测跟踪的方法进行用户行为监测及广告的定点投放，对照组使用现有的广告跟踪监测的方法进行用户行为监测及广告投放，在其他条件相同的情况下，观测传统计算机模拟刷量识别率、真实设备智能模拟刷量情况和真实水军用户刷量情况等评判标准，得到如下实验结果：
对同一地区的相同网络用户端进行10000次广告推送，传统计算机模拟刷量设置为2500次，真实设备智能模拟刷量为2500次，真实水军用户刷量为2500次，实验组推送统计计算得到：识别到的传统计算机模拟刷量为983次，得出传统计算机模拟刷量识别率为39.32％；识别到的真实设备智能模拟刷量为1226次；识别到的真实水军用户刷量为1054次。
对照组推送统计计算得到：识别到的传统计算机模拟刷量为935次，得出传统计算机模拟刷量识别率为37.4％；识别到的真实设备智能模拟刷量为973次；识别到的真实水军用户刷量为826次。
通过对比，最终得出结论：实验组相较于对照组对广告整体监测效果有提升明显，其中1、针对传统计算机模拟刷量识别率提升5％左右；2、针对真实设备智能模拟刷量形成有效防控；3、针对真实水军用户刷量情况形成有效防控。
由上述数据可见，应用本发明方法进行广告投放数据分析，由于可精准定向到独立用户，并且可与第三方数据做打通分析，使得广告人群定向监测可以突破传统技术瓶颈，持续得到优化和改善，对于广告投放的降本增效效果显著。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种通过用户上网行为分析进行在线广告监测跟踪的方法，其特征在于，具体步骤包括：
步骤1、在广告页面埋码进行全局监控，获得用户操作的统计数据；
步骤2、加密回传统计数据至运营商DPI解析日志进行数据分析，生成多维度用户行为宽表；
所述步骤2具体步骤包括：
步骤2.1、统计每个用户对于页面的相关操作数据，将统计数据以加密方式向后台服务器进行传输；
步骤2.2、在用户的整个网络交互过程中，将统计数据同时进行双向加密并透传至运营商DPI解析日志；
步骤2.3、对回传的统计数据进行多维度用户广告浏览行为聚合分析，对加密透传的数据进行解析生成多维度用户行为宽表；
所述步骤2.3具体步骤包括：
步骤2.3.1、对于回传的统计数据，基于使用Flink流处理机制进行业务处理并写入Elasticsearch搜索服务器OLAP解决方案，进行多维度用户广告浏览行为聚合分析；
步骤2.3.2、使用Hadoop生态圈技术对DPI进行深度清洗挖掘，解析出用户原始行为数据；
步骤2.3.3、使用Spark的迭代分布式计算引擎，对数据基于业务分析生成多维度用户行为宽表；
步骤3、结合多维度用户行为宽表与多维度用户广告浏览行为聚合分析的结果进行数据打通还原；
所述步骤3具体步骤包括：
步骤3.1、基于设备指纹技术，通过获取相关设备信息生成设备唯一ID；
步骤3.2、结合多维度用户行为宽表与多维度用户广告浏览行为聚合分析的结果进行归并，生成跨设备指纹；
步骤4、结合用户行为数据，对用户行为做出概率预测，得出全量用户整体的质量度评估数据；
所述步骤4具体步骤包括：
步骤4.1、使用Flink流式计算引擎，实现海量多维度用户行为数据与实时用户广告浏览行为的共同计算，对用户的广告作弊和刷量行为做出个体用户刷量概率预测；
步骤4.2、将广告批次中的全量用户概率预测值进行数据分析，得出该批次内用户整体的质量度评估数据，其中，数据分析的内容包括汇总分析、异常值剔除和历史表现对比统计；
步骤5、根据质量度评估数据生成监测报告，将监测报告回传并作为后续跟踪反馈及优化的数据依据。
2.根据权利要求1所述的一种通过用户上网行为分析进行在线广告监测跟踪的方法，其特征在于，所述步骤1具体步骤包括：
步骤1.1、在广告页面中接入SDK，收集用户操作行为，其中，用户操作行为包括页面访问次数、页面停留时间和按钮点击次数；
步骤1.2、所述SDK全局监控HTML标签，用户进入广告页面进行操作时触发相应监控统计机制，获得用户的相关操作统计数据。
3.根据权利要求2所述的一种通过用户上网行为分析进行在线广告监测跟踪的方法，其特征在于，所述步骤1.2具体步骤包括：
步骤1.2.1、通过HTML标签获取全部DOM Tree；
步骤1.2.2、进一步遍历DOM元素，通过追踪DOM Tree元素链路获取DOM元素唯一标识；
步骤1.2.3、通过DOM元素唯一标识，监控用户所有行为，获得用户的相关操作统计数据。
4.根据权利要求3所述的一种通过用户上网行为分析进行在线广告监测跟踪的方法，其特征在于，所述步骤2.1具体步骤包括：
步骤2.1.1、通过操作流式记录，记录用户完整操作行为顺序；
步骤2.1.2、通过收集用户浏览行为向数据收集服务提交统计数据。
5.根据权利要求4所述的一种通过用户上网行为分析进行在线广告监测跟踪的方法，其特征在于，所述步骤2.2具体步骤包括：
步骤2.2.1、对于统计数据，使用非对称加密算法将重要数据进行加密；
步骤2.2.2、在用户的整个网络交互过程中，同步把一段双向加密的http字符串附加于整个网络请求之中；
步骤2.2.3、使用设备指纹技术做透传标识并透传至运营商DPI解析日志。
6.根据权利要求5所述的一种通过用户上网行为分析进行在线广告监测跟踪的方法，其特征在于，所述步骤5具体步骤包括：
步骤5.1、在运营商内网环境生成脱敏统计报告，所述脱敏统计报告不包含任何用户个体信息；
步骤5.2、将得到的脱敏统计报告经由专线加密通道回传；
步骤5.3、获取回传的数据，将回传的数据作为后续跟踪反馈及优化的数据依据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010799066.7A CN111882367B (zh) | 2020-08-11 | 2020-08-11 | 一种通过用户上网行为分析进行在线广告监测跟踪的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010799066.7A CN111882367B (zh) | 2020-08-11 | 2020-08-11 | 一种通过用户上网行为分析进行在线广告监测跟踪的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111882367A CN111882367A (zh) | 2020-11-03 |
| CN111882367B true CN111882367B (zh) | 2023-11-21 |
Family
ID=73212005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010799066.7A Active CN111882367B (zh) | 2020-08-11 | 2020-08-11 | 一种通过用户上网行为分析进行在线广告监测跟踪的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882367B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734497A (zh) * | 2021-01-21 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 广告回流链路的数据诊断方法、装置、电子设备及介质 |
| CN113468246B (zh) * | 2021-07-20 | 2023-06-23 | 上海齐屹信息科技有限公司 | 一种基于oltp的智能数据统计及订阅系统及方法 |
| CN113590959B (zh) * | 2021-08-02 | 2023-07-28 | 北京奇艺世纪科技有限公司 | 一种用户行为数据获取方法、装置、设备及存储介质 |
| CN115866033A (zh) * | 2022-11-22 | 2023-03-28 | 中国联合网络通信集团有限公司 | 基于边缘计算的网点推送方法、装置、服务器及存储介质 |
| CN116739670B (zh) * | 2023-08-16 | 2023-10-24 | 北京三人行时代数字科技有限公司 | 一种基于大数据的广告推送营销系统及方法 |
| CN117715049B (zh) * | 2024-02-05 | 2024-04-12 | 成都一心航科技有限公司 | 一种针对手机浏览器的反作弊系统以及反作弊方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110070387A (ko) * | 2009-12-18 | 2011-06-24 | 에스케이 텔레콤주식회사 | 패킷감시장치를 이용한 광고효과측정 시스템 및 이의 제어방법 |
| CN106447383A (zh) * | 2016-08-30 | 2017-02-22 | 杭州启冠网络技术有限公司 | 跨时间、多维度异常数据监测的方法和系统 |
| CN108109011A (zh) * | 2017-12-28 | 2018-06-01 | 北京皮尔布莱尼软件有限公司 | 一种广告反作弊方法及计算设备 |
| CN108154377A (zh) * | 2016-12-06 | 2018-06-12 | 北京国双科技有限公司 | 广告作弊预测方法及装置 |
| CN108920345A (zh) * | 2018-05-24 | 2018-11-30 | 杭州探索文化传媒有限公司 | 基于大数据的流量反作弊方法和装置 |
| CN109559149A (zh) * | 2018-10-17 | 2019-04-02 | 杭州家娱互动网络科技有限公司 | 一种流量识别处理方法及装置 |
| CN110827094A (zh) * | 2019-11-15 | 2020-02-21 | 湖南快乐阳光互动娱乐传媒有限公司 | 广告投放的反作弊方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10064055B2 (en) * | 2009-01-28 | 2018-08-28 | Headwater Research Llc | Security, fraud detection, and fraud mitigation in device-assisted services systems |
-
2020
- 2020-08-11 CN CN202010799066.7A patent/CN111882367B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110070387A (ko) * | 2009-12-18 | 2011-06-24 | 에스케이 텔레콤주식회사 | 패킷감시장치를 이용한 광고효과측정 시스템 및 이의 제어방법 |
| CN106447383A (zh) * | 2016-08-30 | 2017-02-22 | 杭州启冠网络技术有限公司 | 跨时间、多维度异常数据监测的方法和系统 |
| CN108154377A (zh) * | 2016-12-06 | 2018-06-12 | 北京国双科技有限公司 | 广告作弊预测方法及装置 |
| CN108109011A (zh) * | 2017-12-28 | 2018-06-01 | 北京皮尔布莱尼软件有限公司 | 一种广告反作弊方法及计算设备 |
| CN108920345A (zh) * | 2018-05-24 | 2018-11-30 | 杭州探索文化传媒有限公司 | 基于大数据的流量反作弊方法和装置 |
| CN109559149A (zh) * | 2018-10-17 | 2019-04-02 | 杭州家娱互动网络科技有限公司 | 一种流量识别处理方法及装置 |
| CN110827094A (zh) * | 2019-11-15 | 2020-02-21 | 湖南快乐阳光互动娱乐传媒有限公司 | 广告投放的反作弊方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| A Malicious Advertising Detection Scheme Based on the Depth of URL Strategy;Tiliang Zhang et al.;《2013 Sixth International Symposium on Computational Intelligence and Design》;全文 * |
| CIC-AB: Online ad blocker for browsers;Arash Habibi Lashkari et al.;《2017 International Carnahan Conference on Security Technology (ICCST)》;全文 * |
| Hadoop based Deep Packet Inspection system for traffic analysis of e-business websites;Jiangtao Luo et al.;《2014 International Conference on Data Science and Advanced Analytics (DSAA)》;全文 * |
| 基于DPI数据的恶意URL检测方法研究;李苒;《中国秀硕士学位论文全文数据库 信息科技辑(月刊)》(第08期);全文 * |
| 基于XGBoost的网络广告作弊检测系统应用研究——以QD公司为例;刘博;《中国秀硕士学位论文全文数据库 信息科技辑(月刊)》(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111882367A (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111882367B (zh) | 一种通过用户上网行为分析进行在线广告监测跟踪的方法 | |
| Al-Qurishi et al. | Leveraging analysis of user behavior to identify malicious activities in large-scale social networks | |
| CN103218431B (zh) | 一种能识别网页信息自动采集的系统 | |
| CN107040863B (zh) | 实时业务推荐方法及系统 | |
| US20180246797A1 (en) | Identifying and monitoring normal user and user group interactions | |
| CN105718587A (zh) | 一种网络内容资源评估方法及评估系统 | |
| CN110968571A (zh) | 面向金融信息服务的大数据分析与处理平台 | |
| CN113095875B (zh) | 一种消息投放效果统计方法及相关装置 | |
| CN104298782A (zh) | 互联网用户主动访问行为轨迹的分析方法 | |
| CN111882368B (zh) | 一种在线广告dpi加密埋点及透传跟踪的方法 | |
| CN109857923A (zh) | 一种基于区域媒体的新闻智能推荐方法和系统 | |
| KR20090048998A (ko) | 키워드를 통한 부정 여론 알림 방법 및 시스템과 이를 위한기록매체 | |
| CN106844588A (zh) | 一种基于网络爬虫的用户行为数据的分析方法及系统 | |
| Ren et al. | App identification based on encrypted multi-smartphone sources traffic fingerprints | |
| CN114971714A (zh) | 一种基于大数据标签的精准客户运营方法和计算机设备 | |
| CN115426299B (zh) | 无特征数据标识方法、装置、计算机设备及存储介质 | |
| CN111080362A (zh) | 广告监测系统及方法 | |
| Wingerath et al. | Beaconnect: Continuous web performance A/B testing at scale | |
| CN114297462A (zh) | 一种基于动态自适应的网站异步序列数据智能采集方法 | |
| US20200382542A1 (en) | Systems and methods for network traffic analysis | |
| CN113688346A (zh) | 一种违法网站识别方法、装置、设备及存储介质 | |
| Kayacik et al. | Generating representative traffic for intrusion detection system benchmarking | |
| WO2019159822A1 (ja) | アクセス元分類装置、アクセス元分類方法及びプログラム | |
| KR20090049507A (ko) | 통신망을 통한 여론 분석 방법 및 시스템과 이를 위한기록매체 | |
| Gadek et al. | AI techniques to analyse a social network on text, user and group level: application on Galaxy2 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |