CN111882368A - 一种在线广告dpi加密埋点及透传跟踪的方法 - Google Patents
一种在线广告dpi加密埋点及透传跟踪的方法 Download PDFInfo
- Publication number
- CN111882368A CN111882368A CN202010799068.6A CN202010799068A CN111882368A CN 111882368 A CN111882368 A CN 111882368A CN 202010799068 A CN202010799068 A CN 202010799068A CN 111882368 A CN111882368 A CN 111882368A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- advertisement
- dpi
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000005540 biological transmission Effects 0.000 title claims abstract description 29
- 230000006399 behavior Effects 0.000 claims abstract description 62
- 238000004458 analytical method Methods 0.000 claims abstract description 38
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 12
- 238000007405 data analysis Methods 0.000 abstract description 7
- 238000007689 inspection Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种在线广告DPI加密埋点及透传跟踪的方法，该方法通过加密的DPI透传，可在充分确保数据安全和法律法规允许的前提下实现对于广告用户个体的准确识别和跟踪，并在运营商数据能力开放平台中将用户数据与其他不同维度标签打通进行深度分析，持续优化完成更加精准的用户广告定向算法。本发明提供的一种在线广告DPI加密埋点及透传跟踪的方法提供一种安全、准确的广告监测方法，可以在合法、合规的前提下针对发生特定广告浏览、点击、转化等行为的用户进行数据打通与深度分析。本发明能够大大拓展在线广告埋点及后续数据分析的应用价值和空间，解决现有技术无法针对广告行为用户进行精准定向，无法与其他用户特征数据进行打通，无法处理更加深入的分析需求的问题。
Description
技术领域
本发明涉及互联网信息处理技术领域，具体地说，是涉及一种在线广告DPI加密埋点及透传的跟踪方法，更具体地说，是涉及通过与电信运营商深度数据包检测日志数据相结合进行广告点击用户的识别与跟踪的方法。
背景技术
随着大数据和人工智能的出现，广告业也呈现出新的发展趋势，个人层面的行为改变已逐步成为广告效果的核心；广告运作也从“以媒体价值为中心”转向“以用户为中心”。而精准化的广告运作模式，需要直接面对用户数据，而媒体将逐渐成为用户数据的载体。一方是广告内容及特征数据，另一方是用户属性及行为数据，精准化广告运作的目标就是将特定的广告和特定的用户匹配起来。只有精确到每一个广告和每一位用户，利益方评价广告效果才能趋于直接而精准。
现有的在线广告埋点方法由于受到浏览器本身的限制仅能获取用户的部分IP地址、Cookie等标识信息，无法对用户进行更加准确的身份定向。这就使得后续的数据分析变的孤立，应用价值相对有限，更谈不上后续与其他数据源打通针对用户其他特征数据进行其他关联挖掘了。传统方法由于无法准确识别到用户个体，通常只能进行基础的广告数据分析，无法处理更加深入的分析需求。
针对上述问题，亟需设计一种解决现有技术无法针对广告行为用户进行精准定向，无法与其他用户特征数据进行打通，无法处理更加深入的分析需求问题的方法。
发明内容
针对上述缺陷，本发明解决的技术问题在于，提供一种在线广告DPI加密埋点及透传跟踪的方法，以解决现在技术所存在的无法针对广告行为用户进行精准定向，无法与其他用户特征数据进行打通，无法处理更加深入的分析需求的问题。
本发明提供了一种在线广告DPI加密埋点及透传跟踪的方法，具体步骤包括：
步骤1、在广告页面中接入SDK，收集用户操作行为，其中，用户操作行为包括页面访问次数、页面停留时间、按钮点击次数；
步骤2、所述核心代码全局监控HTML标签，用户进入广告页面进行各类操作时触发相应监控统计机制，获得用户的相关操作统计数据；
步骤3、加密回传统计数据，同时将统计数据加密透传至运营商DPI解析日志；
步骤4、对回传的统计数据进行多维度用户广告浏览行为聚合分析，对加密透传的数据进行解析生成的多维度用户行为宽表；
步骤5、结合多维度用户行为宽表与聚合分析的结果进行数据打通还原；
步骤6、结合用户行为数据，使用Flink流式计算引擎进行后续投放分析。
优选地，所述步骤2具体步骤包括：
步骤2.1、通过HTML标签获取全部DOMTree；
步骤2.2、进一步遍历DOM元素，通过追踪DOMTree元素链路获取DOM元素唯一标识；
步骤2.3、通过DOM元素唯一标识，监控用户所有行为，获得用户的相关操作统计数据。
优选地，所述步骤3具体步骤包括：
步骤3.1、统计每个用户对于页面的相关操作数据，将统计数据以加密方式向后台服务器进行传输；
步骤3.2、将统计数据同时进行双向加密并透传至运营商DPI解析日志。
优选地，所述步骤3.1具体步骤包括：
步骤3.1.1、通过操作流式记录，记录用户完整操作行为顺序；
步骤3.1.2、通过收集用户浏览行为向数据收集服务提交统计数据。
优选地，所述步骤3.2具体步骤包括：
步骤3.2.1、对于统计数据，使用非对称加密算法将重要数据进行加密；
步骤3.2.2、把一段双向加密的http字符串附加于整个网络请求之中；
步骤3.2.3、使用设备指纹技术做透传标识并透传至运营商DPI解析日志。
优选地，所述步骤4具体步骤包括：
步骤4.1、对于回传的统计数据，基于使用Flink流处理机制进行业务处理并写入Elasticsearch等OLAP解决方案，进行多维度用户广告浏览行为聚合分析；
步骤4.2、对透传数据进行解析，获得多维度用户行为宽表。
优选地，所述步骤4.2具体步骤包括：
步骤4.2.1、使用Hadoop生态圈技术对DPI进行深度清洗挖掘，解析出用户原始行为数据；
步骤4.2.2、使用Spark计算引擎，对数据基于业务分析生成多维度用户行为宽表。
优选地，所述步骤5具体步骤包括：
步骤5.1、基于设备指纹技术，通过获取相关设备信息生成设备唯一ID；
步骤5.2、结合多维度用户行为宽表与聚合分析的结果进行归并，生成跨设备指纹。
优选地，所述步骤6具体的是使用Flink流式计算引擎进行海量多维度用户行为数据与实时用户广告浏览行为的共同计算，进而进行系统大数据用户行为的定向广告投放。
由上述方案可知，本发明提供的一种在线广告DPI加密埋点及透传跟踪的方法能够大大拓展在线广告埋点及后续数据分析的应用价值和空间，提供一种安全、准确的广告监测方法，可以在合法、合规的前提下针对发生特定广告浏览、点击、转化等行为的用户进行数据打通与深度分析。本发明解决现有技术无法针对广告行为用户进行精准定向，无法与其他用户特征数据进行打通，无法处理更加深入的分析需求的问题，作用效果显著，适于广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种在线广告DPI加密埋点及透传跟踪的方法的过程框图一；
图2为本发明实施例提供的一种在线广告DPI加密埋点及透传跟踪的方法的过程框图二；
图3为本发明实施例提供的一种在线广告DPI加密埋点及透传跟踪的方法的过程框图三；
图4为本发明实施例提供的一种在线广告DPI加密埋点及透传跟踪的方法的过程框图四；
图5为本发明实施例提供的一种在线广告DPI加密埋点及透传跟踪的方法的过程框图五；
图6为本发明实施例提供的一种在线广告DPI加密埋点及透传跟踪的方法的过程框图六。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请一并参阅图1至图6，现对本发明提供的一种在线广告DPI加密埋点及透传跟踪的方法的一种具体实施方式进行说明。
数据埋点是数据采集的一种重要方式，主要用来记录和收集终端用户的操作行为，其基本原理是在终端部署采集的SDK代码，当用户的行为满足某种条件的时候，比如进入某个页面、点击某个按钮等，会自动触发记录和存储，然后这些数据会被收集并被传输到终端提供商，或者是通过后端采集用户使用服务过程中的请求数据。
终端提供商在收集到埋点数据之后，通过大数据处理、数据统计、数据分析、数据挖掘等加工处理，可以得到衡量产品状态的一些基本指标，比如活跃、留存、新增等大盘数据，从而洞察产品的状态。
在线广告埋点是数据埋点技术最重要的应用场景之一，是指通过在广告页面中嵌入数据采集代码对用户广告访问的相关数据进行采集的方法。比如用户点了哪个按钮、在广告页面之间的跳转次序、停留时长等，这些数据是后面进行数据分析的主要来源。
该种在线广告DPI加密埋点及透传跟踪的方法具体步骤包括：
S1、在广告页面中接入SDK，收集用户操作行为，其中，用户操作行为包括页面访问次数、页面停留时间、按钮点击次数；
S1具体的步骤是在广告页面中需要监测统计的地方统一接入SDK，SDK包括N行代码，进行广告页面埋码，SDK根据客户定制(无定制则使用默认)异步下载核心代码，统一SDK体积小不影响页面加载，核心代码的更新也无需业务层面参与。需要监测统计的数据包括：页面访问次数、页面停留时间、按钮点击次数等各类用户操作行为数据。
SDK(SoftwareDevelopmentKit，软件开发工具包)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。
S2、SDK全局监控HTML标签，用户进入广告页面进行各类操作时触发相应监控统计机制，获得用户的相关操作统计数据；
S2具体步骤包括：
S2.1、通过HTML标签中的document.getElementsByTagName('body')此类标签获取全部DOMTree；
S2.2、进一步遍历各类DOM元素，通过追踪DOMTree元素链路获取DOM元素唯一标识，其中各类DOM元素包括HEAD、TITLE、BODY；
S2.3、通过DOM元素唯一标识，监控用户所有行为。
HTML(HyperTextMarkupLanguage，超文本标记语言)是一种标识性的语言，它包括一系列标签.通过这些标签可以将网络上的文档格式统一，使分散的Internet资源连接为一个逻辑整体。
DOM(DocumentObjectModelTree，文档对象化模型)，DOMTree是指通过DOM将HTML页面进行解析，并生成的HTMLtree树状结构和对应访问方法。
S3、加密回传统计数据，同时将统计数据加密透传至运营商DPI解析日志；
S3.1、统计每个用户对于页面的相关操作数据，将统计数据以加密方式向后台服务器进行传输。
S3.1具体步骤包括：
S3.1.1、通过操作流式记录，记录用户完整操作行为顺序；
S3.1.2、通过收集用户浏览行为，通过异步GET请求向数据收集服务提交统计数据。
S3.2、在用户整个网络交互过程中，将统计数据同时进行双向加密并透传至运营商DPI解析日志；
S3.2具体步骤包括：
S3.2.1、对于统计数据，使用非对称加密算法将重要数据进行加密，其中重要数据包括为媒体-用户分组评分数据；
S3.2.2、在用户整个网络交互过程中，同步把一段双向加密的http字符串附加于整个网络请求之中；
S3.2.3、使用设备指纹技术做透传标识并透传至运营商DPI解析日志。
DPI(DeepPacketInspection深度报文检测)是一种基于数据包的深度检测技术，针对不同的网络应用层载荷进行深度检测，通过对报文的有效载荷检测决定其合法性。
http(超文本传输协议)是一个简单的请求-响应协议，它通常运行在TCP之上，它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。
设备指纹是指可以用于唯一标识出该设备的设备特征或者独特的设备标识。
S4、对回传的统计数据进行多维度用户广告浏览行为聚合分析，对加密透传的数据进行解析生成的多维度用户行为宽表；
S4具体步骤包括：
S4.1、对于回传的统计数据，基于使用Flink流处理机制进行业务处理并写入Elasticsearch等OLAP解决方案，进行多维度用户广告浏览行为聚合分析；
Flink流处理是能够帮助用户实现有状态的流处理应用程序。
Elasticsearch是一个搜索服务器。它是一种流行的企业级搜索引擎，用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
OLAP(OnlineAnalyticalProcessing，联机分析处理)是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。
S4.2、对透传数据进行解析，获得多维度用户行为宽表。
S4.2具体步骤包括：
S4.2.1、使用Hadoop生态圈相关技术对DPI进行深度清洗挖掘，解析出用户原始行为数据，其中Hadoop生态圈相关技术包括HDFS、Hive、Mapreduce、Spark等；
S4.2.2、使用Spark的迭代分布式计算引擎，对数据基于业务分析生成多维度用户行为宽表。
Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。
HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)是指被设计成适合运行在通用硬件上的分布式文件系统。
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
Mapreduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。
Spark是专为大规模数据处理而设计的快速通用的计算引擎。
S5、结合多维度用户行为宽表与聚合分析的结果进行数据打通还原；
通过在运营商数据处理平台部署的加密还原系统将服务器数据与运营商数据实现双向解密的还原打通，从而在运营商数据业务平台中实现用户的精准定向，为后续基于运营商各类标签对广告效果及人群分析奠定基础。
S5具体步骤包括：
S5.1、基于设备指纹技术，通过获取相关设备信息(操作系统、浏览器版本号、屏幕分辨率、浏览器插件等)生成设备唯一ID；
S5.2、结合多维度用户行为宽表与聚合分析的结果进行归并，按喜好习惯等进行归并，生成跨设备指纹。
ID(Identitydocument)是身份证标识号、账号、唯一编码、专属号码、工业设计、国家简称、法律词汇、通用账户、译码器、软件公司等各类专有词汇的缩写。
S6、结合用户行为数据，使用Flink流式计算引擎进行后续投放分析。
具体的是使用Flink流式计算引擎，进行海量多维度用户行为数据与实时用户广告浏览行为的共同计算，进而进行系统大数据用户行为的定向广告投放。
该种在线广告DPI加密埋点及透传跟踪的方法通过双向加密的DPI透传，可在充分确保数据安全和法律法规允许的前提下实现对于广告用户个体的准确识别和跟踪，并允许在运营商数据能力开放平台中将用户数据与其他不同维度标签进行打通从而进行深度的广告归因分析，进而通过持续优化完成更加精准的用户广告定向算法。通过与DPI数据(电信运营商深度数据包检测日志数据)相结合进行广告点击用户的识别与跟踪，该方法的应用对广告整体转化效果提升明显。
示例性的：对汽车行业的广告进行投放及监测，实验时间为2019年9月1日—2019年10月31日，历时两个月。具体的实行步骤是，设置实验组与对照组，其中，实验组使用该种在线广告DPI加密埋点及透传跟踪的方法进行用户行为监测及广告的定点投放，对照组使用现有的广告埋点监测方法进行用户行为监测及广告投放，在其他条件相同的情况下，观测广告跳出率、点击率和综合转化率等评判标准，得到如下实验结果：
对同一地区的相同网络用户端将进行1000万次广告推送，实验组推送得到广告页面产生的总访问量为745.1万次，只访问了广告页面就离开的访问量为291.4万次，得出广告跳出率为39.1％；广告页面上某一内容被显示次数为286.3万次，该内容被点击的次数为17.1万次，得出点击率为6％；广告页面的任务被完成的次数为10.5万次，得出综合转化率为1.41％。
对照组推送得到广告页面产生的总访问量为697.8万次，只访问了广告页面就离开的访问量为287.3万次，得出广告跳出率约为41.2％；广告页面上某一内容被显示次数为257.4万次，该内容被点击的次数为13.4万次，得出点击率为5.21％；广告页面的任务被完成的次数为7.6万次，得出综合转化率为1.09％。
通过对比，最终得出结论：实验组相较于对照组广告跳出率优化提升约5％；点击率优化提升约15％；综合转化率提升约30％。
由上述数据可见，应用该方法进行广告投放数据分析，可精准定向到独立用户，并且与第三方数据进行打通分析，使得广告人群定向可以持续进行优化和改善，广告投放过程的降本增效效果十分显著。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种在线广告DPI加密埋点及透传跟踪的方法，其特征在于，具体步骤包括：
步骤1、在广告页面中接入SDK，收集用户操作行为，其中，用户操作行为包括页面访问次数、页面停留时间、按钮点击次数；
步骤2、所述SDK全局监控HTML标签，用户进入广告页面进行操作时触发相应监控统计机制，获得用户的相关操作统计数据；
步骤3、加密回传统计数据，同时将统计数据加密透传至运营商DPI解析日志；
步骤4、对回传的统计数据进行多维度用户广告浏览行为聚合分析，对加密透传的数据进行解析生成的多维度用户行为宽表；
步骤5、结合多维度用户行为宽表与聚合分析的结果进行数据打通还原；
步骤6、结合用户行为数据，使用Flink流式计算引擎进行后续投放分析。
2.根据权利要求1所述的一种在线广告DPI加密埋点及透传跟踪的方法，其特征在于，所述步骤2具体步骤包括：
步骤2.1、通过HTML标签获取全部DOM Tree；
步骤2.2、进一步遍历DOM元素，通过追踪DOM Tree元素链路获取DOM元素唯一标识；
步骤2.3、通过DOM元素唯一标识，监控用户所有行为，获得用户的相关操作统计数据。
3.根据权利要求2所述的一种在线广告DPI加密埋点及透传跟踪的方法，其特征在于，所述步骤3具体步骤包括：
步骤3.1、统计每个用户对于页面的相关操作数据，将统计数据以加密方式向后台服务器进行传输；
步骤3.2、将统计数据同时进行双向加密并透传至运营商DPI解析日志。
4.根据权利要求3所述的一种在线广告DPI加密埋点及透传跟踪的方法，其特征在于，所述步骤3.1具体步骤包括：
步骤3.1.1、通过操作流式记录，记录用户完整操作行为顺序；
步骤3.1.2、通过收集用户浏览行为向数据收集服务提交统计数据。
5.根据权利要求4所述的一种在线广告DPI加密埋点及透传跟踪的方法，其特征在于，所述步骤3.2具体步骤包括：
步骤3.2.1、对于统计数据，使用非对称加密算法将重要数据进行加密；
步骤3.2.2、把一段双向加密的http字符串附加于整个网络请求之中；
步骤3.2.3、使用设备指纹技术做透传标识并透传至运营商DPI解析日志。
6.根据权利要求5所述的一种在线广告DPI加密埋点及透传跟踪的方法，其特征在于，所述步骤4具体步骤包括：
步骤4.1、对于回传的统计数据，基于使用Flink流处理机制进行业务处理并写入Elasticsearch等OLAP解决方案，进行多维度用户广告浏览行为聚合分析；
步骤4.2、对透传数据进行解析，获得多维度用户行为宽表。
7.根据权利要求6所述的一种在线广告DPI加密埋点及透传跟踪的方法，其特征在于，所述步骤4.2具体步骤包括：
步骤4.2.1、使用Hadoop生态圈技术对DPI进行深度清洗挖掘，解析出用户原始行为数据；
步骤4.2.2、使用Spark计算引擎，对数据基于业务分析生成多维度用户行为宽表。
8.根据权利要求7所述的一种在线广告DPI加密埋点及透传跟踪的方法，其特征在于，所述步骤5具体步骤包括：
步骤5.1、基于设备指纹技术，通过获取相关设备信息生成设备唯一ID；
步骤5.2、结合多维度用户行为宽表与聚合分析的结果进行归并，生成跨设备指纹。
9.根据权利要求8所述的一种在线广告DPI加密埋点及透传跟踪的方法，其特征在于，所述步骤6具体的是使用Flink流式计算引擎进行海量多维度用户行为数据与实时用户广告浏览行为的共同计算，进而进行系统大数据用户行为的定向广告投放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010799068.6A CN111882368B (zh) | 2020-08-11 | 2020-08-11 | 一种在线广告dpi加密埋点及透传跟踪的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010799068.6A CN111882368B (zh) | 2020-08-11 | 2020-08-11 | 一种在线广告dpi加密埋点及透传跟踪的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111882368A true CN111882368A (zh) | 2020-11-03 |
| CN111882368B CN111882368B (zh) | 2023-12-05 |
Family
ID=73211208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010799068.6A Active CN111882368B (zh) | 2020-08-11 | 2020-08-11 | 一种在线广告dpi加密埋点及透传跟踪的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882368B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113807880A (zh) * | 2021-04-21 | 2021-12-17 | 北京沃东天骏信息技术有限公司 | 用于数据监测的方法、装置、电子设备及存储介质 |
| CN114579584A (zh) * | 2022-05-06 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 数据表处理方法、装置、计算机设备和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060212350A1 (en) * | 2005-03-07 | 2006-09-21 | Ellis John R | Enhanced online advertising system |
| US20100312706A1 (en) * | 2009-06-09 | 2010-12-09 | Jacques Combet | Network centric system and method to enable tracking of consumer behavior and activity |
| KR20110070387A (ko) * | 2009-12-18 | 2011-06-24 | 에스케이 텔레콤주식회사 | 패킷감시장치를 이용한 광고효과측정 시스템 및 이의 제어방법 |
| CN103916293A (zh) * | 2014-04-15 | 2014-07-09 | 浪潮软件股份有限公司 | 一种监控分析网站用户行为的方法 |
| CN105553940A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于大数据处理平台的安全防护方法 |
| CN106161015A (zh) * | 2016-09-29 | 2016-11-23 | 长春大学 | 一种基于dpi的量子秘钥分发方法 |
| CN106228391A (zh) * | 2016-07-14 | 2016-12-14 | 精硕世纪科技（北京）有限公司 | 广告监测的方法及系统 |
| US20180047048A1 (en) * | 2016-08-15 | 2018-02-15 | Gemius S.A. | Digital advertising campaign monitoring system, apparatus, and method |
| CN108416620A (zh) * | 2018-02-08 | 2018-08-17 | 杭州浮云网络科技有限公司 | 一种基于大数据的画像数据的智能社交广告投放平台 |
| CN109903068A (zh) * | 2017-12-11 | 2019-06-18 | 杭州掌优科技有限公司 | 一种精确量化及准确统计投放效果的广告发布系统及方法 |
-
2020
- 2020-08-11 CN CN202010799068.6A patent/CN111882368B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060212350A1 (en) * | 2005-03-07 | 2006-09-21 | Ellis John R | Enhanced online advertising system |
| US20100312706A1 (en) * | 2009-06-09 | 2010-12-09 | Jacques Combet | Network centric system and method to enable tracking of consumer behavior and activity |
| KR20110070387A (ko) * | 2009-12-18 | 2011-06-24 | 에스케이 텔레콤주식회사 | 패킷감시장치를 이용한 광고효과측정 시스템 및 이의 제어방법 |
| CN103916293A (zh) * | 2014-04-15 | 2014-07-09 | 浪潮软件股份有限公司 | 一种监控分析网站用户行为的方法 |
| CN105553940A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于大数据处理平台的安全防护方法 |
| CN106228391A (zh) * | 2016-07-14 | 2016-12-14 | 精硕世纪科技（北京）有限公司 | 广告监测的方法及系统 |
| US20180047048A1 (en) * | 2016-08-15 | 2018-02-15 | Gemius S.A. | Digital advertising campaign monitoring system, apparatus, and method |
| CN106161015A (zh) * | 2016-09-29 | 2016-11-23 | 长春大学 | 一种基于dpi的量子秘钥分发方法 |
| CN109903068A (zh) * | 2017-12-11 | 2019-06-18 | 杭州掌优科技有限公司 | 一种精确量化及准确统计投放效果的广告发布系统及方法 |
| CN108416620A (zh) * | 2018-02-08 | 2018-08-17 | 杭州浮云网络科技有限公司 | 一种基于大数据的画像数据的智能社交广告投放平台 |
Non-Patent Citations (3)
| Title |
|---|
| 石路遥: "广告投放数据管理平台的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 09, pages 1 - 74 * |
| 蒋鹏飞: "浏览器用户行为识别技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 04, pages 1 - 63 * |
| 郑国英 等: "互联网广告流式处理系统的设计与实现", 《微型电脑应用》, vol. 35, no. 06, pages 85 - 88 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113807880A (zh) * | 2021-04-21 | 2021-12-17 | 北京沃东天骏信息技术有限公司 | 用于数据监测的方法、装置、电子设备及存储介质 |
| CN114579584A (zh) * | 2022-05-06 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 数据表处理方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111882368B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111882367B (zh) | 一种通过用户上网行为分析进行在线广告监测跟踪的方法 | |
| CN103218431B (zh) | 一种能识别网页信息自动采集的系统 | |
| CN104850546B (zh) | 移动媒介信息的展示方法和系统 | |
| CN106469185A (zh) | 一种网站统计中进行数据收集的方法 | |
| CN109905288B (zh) | 一种应用服务分类方法及装置 | |
| WO2017071179A1 (zh) | 基于流量分析识别用户行为对象的方法和装置 | |
| CN105321108A (zh) | 一种用于在对等网络上创建共享信息列表的系统和方法 | |
| CN104869009A (zh) | 网站数据统计的系统和方法 | |
| CN103729479A (zh) | 基于分布式文件存储的网站页面内容统计的方法和系统 | |
| KR20120007889A (ko) | 광고효과를 검증하는 방법, 시스템 및 그 기록매체 | |
| CN110968571A (zh) | 面向金融信息服务的大数据分析与处理平台 | |
| CN111882368B (zh) | 一种在线广告dpi加密埋点及透传跟踪的方法 | |
| CN111859234A (zh) | 一种非法内容识别方法、装置、电子设备及存储介质 | |
| CN105721578A (zh) | 一种用户行为数据采集方法和系统 | |
| CN107835132A (zh) | 一种流量来源跟踪的方法及装置 | |
| CN106713950A (zh) | 一种基于用户行为预测分析的视频服务系统 | |
| CN109857923A (zh) | 一种基于区域媒体的新闻智能推荐方法和系统 | |
| CN106844588A (zh) | 一种基于网络爬虫的用户行为数据的分析方法及系统 | |
| CN108932640B (zh) | 用于处理订单的方法和装置 | |
| Ren et al. | App identification based on encrypted multi-smartphone sources traffic fingerprints | |
| CN114971714A (zh) | 一种基于大数据标签的精准客户运营方法和计算机设备 | |
| Singh et al. | A survey on different phases of web usage mining for anomaly user behavior investigation | |
| CN110245314A (zh) | 一种网页指纹生成方法 | |
| CN112000866B (zh) | 互联网数据分析方法、装置、电子装置及介质 | |
| CN105491136B (zh) | 消息发送方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |