CN111124858B - 无埋点插码数据处理方法、系统、终端设备及存储介质 - Google Patents
无埋点插码数据处理方法、系统、终端设备及存储介质 Download PDFInfo
- Publication number
- CN111124858B CN111124858B CN201911279055.XA CN201911279055A CN111124858B CN 111124858 B CN111124858 B CN 111124858B CN 201911279055 A CN201911279055 A CN 201911279055A CN 111124858 B CN111124858 B CN 111124858B
- Authority
- CN
- China
- Prior art keywords
- information
- data
- user
- code
- domain name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000037431 insertion Effects 0.000 title claims abstract description 128
- 238000003780 insertion Methods 0.000 title claims abstract description 108
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 abstract description 16
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000012966 insertion method Methods 0.000 abstract 1
- 238000012795 verification Methods 0.000 description 14
- 235000014510 cooky Nutrition 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/875—Monitoring of systems including the internet
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种无埋点插码数据处理方法、系统、终端设备和存储介质。其中方法包括获取第一数据用户提供的惟一性参数信息；将基础程序代码中的设定参数信息替换为惟一性参数信息，生成定制包括插码js的插码程序；将插码js安装嵌入与域名信息对应的网站源代码中；与域名信息对应的网站的数据用户通过第一终端访问域名时，获取域名对应网站所采集到的插码数据；根据插码数据实时统计与域名信息对应的网页中各个点位的指标数据，优选地将个指标数据通过浮层的方式展示在对应的点位上。本申请实现了无埋点插码，减少了获取数据的中间环境、降低了人工成本和出错概率；保证了统计数据的实时性；浮层数据展示使得统计数据和点位可以直接关联，提供了数据的直观性和分析的便利性。
Description
技术领域
本公开一般计算机技术领域，具体涉及一种无埋点插码数据处理方法、系统、终端设备及存储介质。
背景技术
随着业务的不断拓展和数据分析场景的应用，各种场景均需要进行埋点采集数据。而大部分的埋点操作均需要开发人员手动将埋点代码插入到业务代码中，费时费力，人工成本过高。而且，后续维修人员不敢轻易修改或删除已经埋号的代码；
埋点获得的数据需要人工查询，成本高效率低容易产生错误；数据不能直观的和点位关联，不易于理解；数据的实时性差，查询的数据往往具有滞后性；数据流量来源分布不清晰，不利于营销运营；多个指标的数据对比不明显，不利于对数据的多方面分析；用户需要打开其他网站看数据不能直观的在自己的网站上看到实时数据。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种无埋点插码数据处理方法、系统、终端设备和存储介质。
第一方面，本申请提供的无埋点插码数据处理方法，包括以下步骤：
获取第一数据用户提供的惟一性参数信息；所述惟一性参数信息包括域名信息和采集渠道标识信息；
将基础程序代码中的设定参数信息替换为所述惟一性参数信息，生成定制插码程序；所述定制插码程序包括插码js；所述第一数据用户将所述插码js安装嵌入与所述域名信息对应的网站源代码中；所述数据用户包括第一数据用户；
与所述域名信息对应的网站的数据用户通过第一终端访问域名时，获取域名信息对应网站所采集到的插码数据；所述第一终端为所述域名信息的访问端；
根据所述插码数据实时统计与所述域名信息对应的网页中各个点位的指标数据，所述指标数据包括所述网页中点位的点击次数、点击人数、点击频率、网页来源、网页来源占比。
根据本申请实施例提供的技术方案，所述惟一性参数信息通过以下步骤获取：
接收所述第一数据用户在第二终端发送的访问服务网站请求；
将所述服务网站界面返回至至所述第二终端显示；
接收所述第一数据用户在第二终端发送的插码程序定制请求，所述插码程序定制请求中包含所述惟一性参数信息。
根据本申请实施例提供的技术方案，与域名信息对应的网站的数据用户通过第一终端访问域名时，获取域名信息对应网站所采集到的插码数据具体包括：
响应于网页用户访问网站或点击所述网站的网页要素时，获取域名信息对应网站所采集到的插码数据，所述插码数据包括网页用户ID信息、网页要素信息、请求来源信息；
将所述网页用户ID信息、网页要素信息、请求来源信息存储在消息队列中；
实时读取消息队列中的网页用户ID信息、网页要素信息、请求来源信息并统计得出各个点位的指标数据。
根据本申请实施例提供的技术方案，所述插码程序还包括浮层js，所述数据处理方法还包括以下步骤：
验证所述第一数据用户通过所述第一终端在所述服务网站登录时；
加载所述浮层js，将所述指标数据在所述第一终端的网站页面显示，所述指标数据对应每个点位显示。
根据本申请实施例提供的技术方案，还包括以下步骤：
接收第一数据用户在第二终端发送的用户注册请求，所述用户注册请求包括用户ID信息及域名信息；
遍历所述用户ID信息表，判断所述域名信息是否存在，若不存在则将用户注册请求内的用户ID信息及域名信息对应存入所述用户ID信息表中。
第二方面，本申请还提供一种无埋点插码数据处理系统，包括：
插码服务端，配置用于：
获取第一数据用户提供的惟一性参数信息；所述惟一性参数信息包括域名信息和采集渠道标识信息；
将基础程序代码中的设定参数信息替换为所述惟一性参数信息，生成定制插码程序；所述定制插码程序包括插码js；
第二服务端，配置用于所述第一数据用户将所述插码js安装嵌入与所述域名信息对应的网站源代码中；
所述插码服务端还配置用于：与所述域名信息对应的网站的数据用户通过第一终端访问域名时，获取与域名信息对应网站所采集到的插码数据；所述第一终端为所述域名信息的访问端；
所述插码服务端还配置用于：根据所述插码数据实时统计与所述域名信息对应的网页中各个点位的指标数据，所述指标数据包括所述网页中点位的点击次数、点击人数、点击频率、网页来源、网页来源占比。
根据本申请实施例提供的技术方案，
所述第一终端具体配置用于，在网页用户访问网站或点击所述网站的网页要素时，通过与域名信息对应的网站所采集插码数据；所述插码数据包括网页用户ID信息、网页要素信息、请求来源信息；
所述插码服务端配置用于将所述网页用户ID信息、网页要素信息、请求来源信息存储在消息队列中；
实时读取消息队列中的网页用户ID信息、网页要素信息、请求来源信息并统计得出各个点位的指标数据。
根据本申请实施例提供的技术方案，所述插码程序还包括浮层js，所述插码服务端还配置用于：
验证所述第一数据用户通过所述第一终端在所述服务网站登录时；
加载所述浮层js，将所述指标数据在所述第一终端的网站页面显示，所述指标数据对应每个点位显示。
第三方面，本申请还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述述无埋点插码数据处理方法的步骤。
第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述无埋点插码数据处理方法的步骤。
本申请提供的上述技术方案，通过获取惟一性参数信息，将基础程序代码中的设定参数信息替换为惟一性参数信息来生成定制插码程序，，通过第一数据用户将插码程序嵌入第一数据用户需要监管的网站的网站源代码中采集数据，实现了无埋点插码，减少了获取数据的中间环境、降低了人工成本和出错概率；本申请的技术方案中，插码程序采集的插码数据实时传输至插码服务端，并通过消息队列的方式实时统计，保证了统计数据的实时性；本申请的技术方案中，通过结合浮层js将统计得到的指标数据实时展示在第一数据用户的网页界面，实现了直观地在自己的网站上看到实时数据，通过将指标数据对应展示在各个点位上，提供了数据的直观性和分析的便利性；本申请的技术方案中，浮层js直接将指标数据对应网页元素(点位)展示，即每个点位都对应展示该点位的统计数据，使得统计数据和点位可以直接关联，易于理解；本申请的技术方案中，插码程序采集的插码数据还包括了请求来源信息，实现了对数据来源分布的清晰的统计分析，利于营销运营；本申请的技术方案中，点数数据多样化，实现了数据的多方面分析。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例一的原理框图；
图2为本申请中指标数据在第二终端(第一数据用户)的显示图；
图3为本申请实施例一种的数据流向图；
图4为本申请第三种实施例中用户注册的流程图；
图5为本申请第三种实施例中指标数据获取的流程图；
图6为本申请第四种实施例的流程图；
图7为本申请第五种实施例的原理框图。
图中：10、插码服务端；20、第一终端；30、第二终端。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一：
如图1所示为本申请提供的第一种实施例的原理框图，本实施例提供的无埋点插码数据处理系统包括以下组成部分：第一终端20、插码服务端10和第二终端30；在本实施例中，A网站为需要监控其网页的指标数据的网站，用于访问该网站并显示该网站的网页的终端即为本实施例中的第一终端20，A网站的数据用户包括第一数据用户和第二数据用户，第一数据用户为可看见A网站的插码数据的数据用户，第二数据用户为不可看见A网站的插码数据的数据用户；B网站为提供插码服务的服务网站，用于访问该网站并显示该网站的网页的即为即为本实施例中的第二终端30，B网站的服务器所在的终端即为插码服务端10；A网站的第一数据用户需要插码服务的时候，可通过第二终端30进入到B网站。
在本实施例中，第一终端20，配置用于获取第一数据用户提供的惟一性参数信息；所述惟一性参数信息包括域名信息和采集渠道标识信息；采集渠道标识信息在本实施例中简称为dcsid，其对应每一个采集目标而设置，例如第一数据用户的采集目标为网站的测试阶段的插码数据和生产阶段的插码数据，则对应测试阶段的插码数据采集渠道自动生成一个dcsid，对应生产阶段的插码数据的采集渠道自动生成一个dcsid；惟一性信息的获取可以是线下第一数据用户与服务网站的维护人员沟通获得，也可以是通过以下步骤获得：
插码服务端接收所述第一数据用户在第二终端30发送的访问服务网站请求；
插码服务端将所述服务网站界面返回至所述第一数据用户，也即第一数据用户在第二终端30上将可以看见服务网站的页面；B网站的网页上有“下载定制插码程序”的点击处，A网站的第一数据用户触发该点击处后即发出了插码程序下载请求，当A网站的第一数据用户为B网站的注册用户且处于登录状态的时候，插码程序下载请求中就包含了A网站的第一数据用户在B网站的用户ID信息；当A网站的第一数据用户没有登录时，其发出插码程序请求中的用户ID信息将为空，此时插码服务端10将返回提示注册或登录的提示信息；
插码服务端将接收所述第一数据用户发送的插码程序定制请求，所述插码程序定制请求中包含所述惟一性参数信息。
插码服务端内存储有一段基础程序代码，在接收到插码程序定制请求后，插码服务端将基础程序代码中的设定参数信息替换为所述惟一性参数信息，生成定制插码程序；所述定制插码程序包括插码js；
第二服务端，配置用于所述第一数据用户将所述插码js安装嵌入与所述域名信息对应的网站源代码中；
所述插码服务端还配置用于：与所述域名信息对应的网站的数据用户(包括第一数据用户和第二数据用户)通过第一终端访问域名时，获取插码程序与域名信息对应的网站所采集的插码数据；所述第一终端为所述域名信息的访问端；插码服务端采用私有化部署模式，与域名信息对应网站处于同一网域；因此插码服务端可直接获取与域名信息对应的网站所采集到的插码数据。
所述插码服务端还配置用于：根据所述插码数据实时统计与所述域名信息对应的网页中各个点位的指标数据，所述指标数据包括所述网页中点位的点击次数、点击人数、点击频率、网页来源、网页来源占比。
插码服务端10，配置用于接收所述插码程序下载请求，从所述用户ID信息表中查询与所述用户ID信息对应的域名信息；所述用户ID信息表中存储有用户ID信息及对应的域名信息；用户ID信息表例如如下表1所示：
| 用户ID信息 | 域名信息 |
| Wert_001 | www.dfmehg.com |
| Wert_002 | http://www.ttfn.cn/ |
| Wert_003 | http://zscq.tj.gov.cn/ |
表1
所述插码服务端10还配置用于接收所述插码程序下载请求，从所述用户ID信息表中查询与所述用户ID信息对应的域名信息；将与所述域名信息对应的插码程序发送至所述第一数据用户的第二终端30；所述第一数据用户将插码程序中的插码js安装嵌入与域名信息对应的网站源代码中；js为JavaScript的简称，插码js即为一段用JavaScript编写的用户获取点位的访问或者点击数据的程序，在现有技术中，该段程序一般由编程人员手动加入到需要跟踪的点位的网页程序的对应位置上，而本实施例中，该段程序可以自动嵌入到需要跟踪的点位的网页程序的对应位置上。
第一终端20为域名信息的访问端，配置用于对应所述域名信息的网页用户(数据用户)访问网站；这里的数据用户与上面例子对应的，是指A网站的用户，可以是A网站的第一数据用户，也可以是A网站的第二数据用户，例如A网站是购物网站，则其第二数据用户即为一般的消费者。
插码服务端10，还配置用于在第二数据用户访问A网站时，获取域名信息对应网站所采集到的插码数据。具体的，当A网站的数据用户通过浏览器请求访问A网站的时候，其请求得到的页面将是插入了插码js的网页，当A网站的数据用户在第一终端20打开A网站的网页或者点击A网站网页上的可点击的网页要素的时候，嵌入在网页内的插码js将在每一次访问和点击都形成插码数据；网页要素是指网页上的图片、文字、视频、动画等要素，可点击形成新的链接的要素即为可点击的网页要素，比如，销售手机的网页，每一展示所销售的手机的图片且点击该图片就可链接进入该图片上手机的销售界面的图片即为本实施例中的可点击的网页要素。
每一条插码数据包括网页用户ID信息、网页要素信息、请求来源信息；网页用户ID信息例如可以用该访问用户所使用的第一终端20的IP地址信息表示，也可以是该数据用户在A网站的注册ID，例如手机号，网页要素信息即为所点击的网页要素的代码信息、请求来源信息为该访问用户本次点击的来源，例如是通过C媒体网站链接进来，则该请求来源信息即为C媒体；
插码js可实时将上述插码数据发送到插码服务端10，插码服务端10将插码数据按时间顺序存储在消息队列中；插码服务端10实时读取消息队列中的插码数据即可计算得到指标数据；插码数据在消息队列中的存储方式例如如下表2所示，前四个分隔内表示数据用户的用户ID信息，第五个分隔表示点击的网页要素的代码，第六个分隔表示请求信息来源，则可以通过第五个分隔内的内容进行分类统计，统计各个网页要素(点位)的累计点击次数，再通过各个点位的点击次数统计各个点位的点击率，通过数据用户的IP和网页要素(点位)的结合，统计每个网页要素(点位)的点击人数；第六个分隔为请求来源信息，比如下表中的第一条插码数据显示网页来源为爱奇艺，第二条插码数据显示网页来源为新浪，第三条插码数据显示网页来源为无......，通过对网页来源进行归类，例如分为社交媒体、付费媒体、合作媒体，则可以统计出各种类型媒体的点击数量和占比，也可以看出同一点位下来源最多的媒体类型。在本实施例中，插码服务端10的实时计算框架是基于flume+kafka+flink+redis构建的流式计算框架，可以及时的大量地吞吐数据，第二终端30与插码服务端10之间的插码数据的传输基于轮询请求,轮询请求，轮询(Polling)是一种CPU决策如何提供周边设备服务的方式，又称“程控输入输出”(ProgrammedI/O)t为一种基于TCP的网络协议。
| 时间 | 插码数据 |
| 02：30：31：02 | 15423565421.001.aiqiyi |
| 02：30：31：50 | 16158985476.003.xinlang |
| 03：10：12：10 | 13363547895.000.0 |
| 03：10：13：90 | 13265478547.001.other |
| ...... | ...... |
表2
本实施例中，通过采用用户申请下载的方式，通过第一数据用户将插码程序嵌入到了A网站的网站源代码中，避免了人工埋点，实现了无埋点插码；通过消息阵列的方式实时采集、统计分析数据，保证了统计的指标数据的实时性。
实施例二：
在实施例一的基础上，本实施例提供的技术方案中，所述插码程序还包括浮层js，浮层js存储在插码服务端，所述插码服务端还配置用于：
验证所述第一数据用户通过所述第一终端在所述服务网站登录；加载所述浮层js，将所述指标数据在所述第一终端的网站页面显示，所述指标数据对应每个点位显示；此时，第一终端和第二终端为同一个终端。
在本实施例中，验证的方法为先获取第一数据用户的用户ID信息，例如手机号，进行白名单验证验证通过后，如无Cookie或Cookie超期则进行手机验证码行验证，验证成功后，生成Cookie；如有Cookie则进行Cookie验证。
也即，第一数据用户只有在访问A网站的同时访问B网站，并且在B网站处于登录状态的时候，插码服务端才会将指标数据在第一数据用户访问A网站的时候显示在网站的网页上；A网站的第二数据用户由于不可能开启B网站或者不可能登录B网站，所以其在浏览A网站时不可能获得具有指标数据的网页。
对于第一数据用户，插码服务端10将通过浮层js将所述指标数据展示在第一终端20对应的网页要素上，例如如图2所示为通过浮层js展现在第一数据用户的第一终端20上的画面；
如图3所示，为本实施例中第一终端20与插码服务端10之间的数据流向图；本实施例提供的技术方案实现了统计的指标数据(比如点击次数、点击率、点击人数、媒体来源等数据)直观地和点位关联起来，便于理解；本实施例中，将统计的数据直接和点位关联并通过浮层的方式展示在第一数据用户的网站界面上，实现了多个指标的数据的明显对比，利于多方面分析和理解，实现了用户直接在自己的网站上观看统计数据，不用到其他的网站去查看，带来了方便。
实施例三
请参考图4，与实施例一对应的，本实施例提供了一种无埋点插码数据处理方法，所述方法包括以下步骤：以下步骤为在插码服务端10内执行的步骤：
A网站的第一数据用户登录B网站后，可通过点击“插码程序下载”的点击处发起插码程序下载请求，但是此时，该第一数据用户可能有三种状态:未注册未登录、注册未登录和登录；当第一数据用户的状态为未登录时，B网站的插码服务端10会返回提示登录或者注册的提示，第一数据用户可通过以下步骤进行信息注册：
s110、接收第一数据用户在第二终端30发送的用户注册请求，所述用户注册请求包括用户ID信息及域名信息；优选地，在第一数据用户注册的过程中，插码服务端10还向第一终端20返回信息采集页面，用于采集该用户需要插码的用户网站的域名信息、dcsid这两种基本信息外，还可采集用户定制的一些统计信息，例如合作媒体信息、付费媒体信息、社交媒体信息等。
s120、遍历所述用户ID信息表，判断所述域名信息是否存在，若不存在则将用户注册请求内的用户ID信息及域名信息对应存入所述用户ID信息表中。
当A网站的第一数据用户提交注册信息完成注册并登录后再点击插码程序下载，即可下载插码服务端10的定制插码程序，如图5所示，通过以下步骤实现：
s210、接收第一数据用户在第二终端30发送的插码程序下载请求；所述插码程序下载请求包括用户ID信息；
s220、获取第一数据用户提供的惟一性参数信息；所述惟一性参数信息包括域名信息和采集渠道标识信息；所述惟一性参数信息可以是第一数据用户与插码服务端的后台人员沟通获取，也可以包含在插码程序下载请求中；
例如具体通过以下步骤获得：
s221、接收所述第一数据用户在第二终端发送的访问服务网站请求；
s222、将所述服务网站界面返回至所述第二终端显示；
s223、接收所述第一数据用户在第二终端发送发送的插码程序定制请求，所述插码程序定制请求中包含所述惟一性参数信息。
s230、将基础程序代码中的设定参数信息替换为所述惟一性参数信息，生成定制插码程序；所述定制插码程序包括插码js；所述第一数据用户将所述插码js安装嵌入与所述域名信息对应的网站源代码中；
s240、响应于网页用户访问网站或点击所述网站的网页要素时，获取域名信息对应网站所采集到的插码数据；所述第一终端为所述域名信息的访问端；
s250、根据所述插码数据实时统计与所述域名信息对应的网页中各个点位的指标数据，所述指标数据包括所述网页中点位的点击次数、点击人数、点击频率、网页来源、网页来源占比。
本实施例中步骤s240具体包括以下步骤：
s241、响应于所述域名信息对应的网页用户打开网页或点击网页要素时，获取域名信息对应网站所采集到的插码数据，所述插码数据包括网页用户ID信息、网页要素信息、请求来源信息；
s242、将所述网页用户ID信息、网页要素信息、请求来源信息存储在消息队列中；
s243、实时读取消息队列中的网页用户ID信息、网页要素信息、请求来源信息并统计得出各个点位的指标数据。指标数据的计算采用采用构建在插码服务端10内的实时计算框架，该实时计算框架是基于flume+kafka+flink+redis构建的流式计算框架。
实施例四
在实施例三的基础上，所述插码程序还包括浮层js，所述浮层js存储在服务端。
如图6所示，本实施例提供的无埋点插码数据处理方法还包括：
所述插码程序还包括浮层js，所述插码服务端还配置用于：
验证所述第一数据用户通过所述第一终端在所述服务网站登录时；
加载所述浮层js，将所述指标数据在所述第一终端的网站页面显示，所述指标数据对应每个点位显示。
s260、验证所述第一数据用户是否通过所述第一终端在所述服务网站登录若是则执行步骤s270；第一终端为A网站的访问终端，如第一数据用户在访问A网站的同时访问B网站并在B网站登录；在本实施例中，验证的方法为先获取第一数据用户的用户ID信息，例如手机号，进行白名单验证验证通过后，如无Cookie或Cookie超期则进行手机验证码行验证，验证成功后，生成Cookie；如有Cookie则进行Cookie验证。cookie是网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。若否则执行步骤s280；
s270、将所述指数据发送至所述第一终端20并加载浮层js展示；所述指标数据对应每个点位显示。
s280、不返回指标数据，使得用户正常显示A网站的内容；
实施例五：
本实施例提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项目所述的无埋点插码数据处理方法的步骤。如图7所示，终端设备例如为计算机，计算机系统包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有系统操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本发明的实施例，上文参考流程图1至图2描述的过程可以被实现为计算机软件程序。例如，本发明的实施例一包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例二的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一生成模块、获取模块、查找模块、第二生成模块及合并模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，输入模块还可以被描述为“用于在该基础表中获取多个待探测实例的获取模块”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的无埋点插码数据处理方法。
例如，所述电子设备可以实现如图6中所示的：s210、接收第一数据用户在第一终端发送的插码程序下载请求；所述插码程序下载请求包括用户ID信息；s220、从所述用户ID信息表中查询与所述用户ID信息对应的域名信息；所述用户ID信息表中存储有用户ID信息及对应的域名信息；s230、将与所述域名信息对应的插码程序发送至所述第一数据用户的第一终端，所述第一数据用户将插码程序中的插码js安装嵌入与域名信息对应的网站源代码中；s240、与域名信息对应的网站的用户通过第二终端访问域名时，获取插码程序在第二终端生成的插数据；所述第二终端为所述域名信息的访问端；s250、根据所述插码数据实时统计与所述域名信息对应的网页中各个点位的指标数据，所述指标数据包括所述网页中点位的点击次数、点击人数、点击频率、网页来源、网页来源占比，以实时获取并统计出各点位的指标数据。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。
Claims (8)
1.一种无埋点插码数据处理方法，其特征在于，所述方法包括以下步骤：
获取第一数据用户提供的惟一性参数信息；所述惟一性参数信息包括域名信息和采集渠道标识信息；
将基础程序代码中的设定参数信息替换为所述惟一性参数信息，生成定制插码程序；所述定制插码程序包括插码js；所述第一数据用户将所述插码js安装嵌入与所述域名信息对应的网站源代码中；
与所述域名信息对应的网站的数据用户通过第一终端访问域名时，获取域名信息对应网站所采集到的插码数据；所述第一终端为所述域名信息的访问端；所述数据用户包括第一数据用户；
根据所述插码数据实时统计与所述域名信息对应的网页中各个点位的指标数据，所述指标数据包括所述网页中点位的点击次数、点击人数、点击频率、网页来源、网页来源占比；
与域名信息对应的网站的数据用户通过第一终端访问域名时，获取域名信息对应网站所采集到的插码数据具体包括：
响应于网页用户访问网站或点击所述网站的网页要素时，获取所述域名信息对应网站所采集到的插码数据，所述插码数据包括网页用户ID信息、网页要素信息、请求来源信息；
将所述网页用户ID信息、网页要素信息、请求来源信息存储在消息队列中；
实时读取消息队列中的网页用户ID信息、网页要素信息、请求来源信息并统计得出各个点位的指标数据。
2.根据权利要求1所述的无埋点插码数据处理方法，其特征在于，所述惟一性参数信息通过以下步骤获取：
接收所述第一数据用户在第二终端发送的访问服务网站请求；
将所述服务网站界面返回至所述第二终端显示；
接收所述第一数据用户在第二终端发送的插码程序定制请求，所述插码程序定制请求中包含所述惟一性参数信息。
3.根据权利要求2所述的无埋点插码数据处理方法，其特征在于，所述插码程序还包括浮层js，所述数据处理方法还包括以下步骤：
验证所述第一数据用户通过所述第一终端在所述服务网站登录时；
加载所述浮层js，将所述指标数据在所述第一终端的网站页面显示，所述指标数据对应每个点位显示。
4.根据权利要求1至3任意一项所述的无埋点插码数据处理方法，其特征在于，还包括以下步骤：
接收第一数据用户在第二终端发送的用户注册请求，所述用户注册请求包括用户ID信息及域名信息；
遍历所述用户ID信息表，判断所述域名信息是否存在，若不存在则将用户注册请求内的用户ID信息及域名信息对应存入所述用户ID信息表中。
5.一种无埋点插码数据处理系统，其特征在于，包括：
插码服务端，配置用于：
获取第一数据用户提供的惟一性参数信息；所述惟一性参数信息包括域名信息和采集渠道标识信息；
将基础程序代码中的设定参数信息替换为所述惟一性参数信息，生成定制插码程序；所述定制插码程序包括插码js；
第二服务端，配置用于所述第一数据用户将所述插码js安装嵌入与所述域名信息对应的网站源代码中；
所述插码服务端还配置用于：与所述域名信息对应的网站的数据用户通过第一终端访问域名时，获取与域名信息对应网站所采集到的插码数据；所述第一终端为所述域名信息的访问端；
所述插码服务端还配置用于：根据所述插码数据实时统计与所述域名信息对应的网页中各个点位的指标数据，所述指标数据包括所述网页中点位的点击次数、点击人数、点击频率、网页来源、网页来源占比；
所述第一终端具体配置用于，在网页用户访问网站或点击所述网站的网页要素时，通过与域名信息对应的网站所采集插码数据；所述插码数据包括网页用户ID信息、网页要素信息、请求来源信息；
所述插码服务端配置用于将所述网页用户ID信息、网页要素信息、请求来源信息存储在消息队列中；
实时读取消息队列中的网页用户ID信息、网页要素信息、请求来源信息并统计得出各个点位的指标数据。
6.根据权利要求5所述的无埋点插码数据处理系统，其特征在于，所述插码程序还包括浮层js；
所述插码服务端还配置用于：
验证所述第一数据用户通过所述第一终端在所述服务网站登录时；
加载所述浮层js，将所述指标数据在所述第一终端的网站页面显示，所述指标数据对应每个点位显示。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任意一项目所述无埋点插码数据处理方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述无埋点插码数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911279055.XA CN111124858B (zh) | 2019-12-13 | 2019-12-13 | 无埋点插码数据处理方法、系统、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911279055.XA CN111124858B (zh) | 2019-12-13 | 2019-12-13 | 无埋点插码数据处理方法、系统、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111124858A CN111124858A (zh) | 2020-05-08 |
| CN111124858B true CN111124858B (zh) | 2023-07-04 |
Family
ID=70499122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911279055.XA Active CN111124858B (zh) | 2019-12-13 | 2019-12-13 | 无埋点插码数据处理方法、系统、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111124858B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112148574B (zh) * | 2020-09-21 | 2021-04-23 | 北京基调网络股份有限公司 | 一种性能数据采集方法、计算机设备及存储介质 |
| CN117290256A (zh) * | 2023-11-24 | 2023-12-26 | 北京中指实证数据信息技术有限公司 | 一种统计用户行为的埋码方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1949259A (zh) * | 2006-01-28 | 2007-04-18 | 商助科技(北京)有限公司 | 通过在网页中嵌入代码来采集网页的点击信息的方法 |
| CN101075909A (zh) * | 2006-09-18 | 2007-11-21 | 腾讯科技（深圳）有限公司 | 网站访问信息统计系统以及网站访问信息统计方法 |
| CN104657360A (zh) * | 2013-11-18 | 2015-05-27 | 中国移动通信集团公司 | 一种网页内容的显示监测方法及设备 |
| CN104683407A (zh) * | 2013-11-29 | 2015-06-03 | 中国移动通信集团公司 | 一种页面数据和应用数据的传输方法和设备 |
| CN108459845A (zh) * | 2018-03-14 | 2018-08-28 | 北京思特奇信息技术股份有限公司 | 一种监控标签属性的埋点方法及装置 |
| CN110286898A (zh) * | 2019-05-31 | 2019-09-27 | 福建新大陆软件工程有限公司 | 无埋点的数据采集方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7502994B2 (en) * | 2001-02-05 | 2009-03-10 | Omniture, Inc. | Web page link-tracking system |
| CN107766402A (zh) * | 2017-06-27 | 2018-03-06 | 深圳市云房网络科技有限公司 | 一种楼盘字典云房源大数据平台 |
| CN107733703A (zh) * | 2017-09-29 | 2018-02-23 | 郑州云海信息技术有限公司 | 一种存储网络环境告警数据监控方法及系统 |
| CN108183974B (zh) * | 2017-11-27 | 2021-10-15 | 深圳市丰巢网络技术有限公司 | 一种智能终端应用程序的域名动态切换方法及智能终端 |
-
2019
- 2019-12-13 CN CN201911279055.XA patent/CN111124858B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1949259A (zh) * | 2006-01-28 | 2007-04-18 | 商助科技(北京)有限公司 | 通过在网页中嵌入代码来采集网页的点击信息的方法 |
| CN101075909A (zh) * | 2006-09-18 | 2007-11-21 | 腾讯科技（深圳）有限公司 | 网站访问信息统计系统以及网站访问信息统计方法 |
| CN104657360A (zh) * | 2013-11-18 | 2015-05-27 | 中国移动通信集团公司 | 一种网页内容的显示监测方法及设备 |
| CN104683407A (zh) * | 2013-11-29 | 2015-06-03 | 中国移动通信集团公司 | 一种页面数据和应用数据的传输方法和设备 |
| CN108459845A (zh) * | 2018-03-14 | 2018-08-28 | 北京思特奇信息技术股份有限公司 | 一种监控标签属性的埋点方法及装置 |
| CN110286898A (zh) * | 2019-05-31 | 2019-09-27 | 福建新大陆软件工程有限公司 | 无埋点的数据采集方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于JS插码数据的互联网用户行为技术;刘晓斌;;通讯世界(第04期) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111124858A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108334641B (zh) | 采集用户行为数据的方法、系统、电子设备、存储介质 | |
| CN110866040B (zh) | 用户画像生成方法、装置和系统 | |
| CN110300084B (zh) | 基于ip地址的画像方法和装置，电子设备，可读介质 | |
| CN108810047B (zh) | 用于确定信息推送准确率的方法、装置及服务器 | |
| CN107977678B (zh) | 用于输出信息的方法和装置 | |
| CN111124858B (zh) | 无埋点插码数据处理方法、系统、终端设备及存储介质 | |
| CN108600780B (zh) | 用于推送信息的方法、电子设备、计算机可读介质 | |
| CN109902726B (zh) | 简历信息处理方法及装置 | |
| CN108011936B (zh) | 用于推送信息的方法和装置 | |
| CN113190558A (zh) | 一种数据加工方法和系统 | |
| CN111125503B (zh) | 用于生成信息的方法和装置 | |
| CN111131359B (zh) | 用于生成信息的方法和装置 | |
| CN114465919B (zh) | 一种网络服务测试方法、系统、电子设备及存储介质 | |
| CN109542743B (zh) | 日志校验方法、装置、电子设备及计算机可读存储介质 | |
| CN113378346A (zh) | 模型仿真的方法和装置 | |
| CN113590985B (zh) | 页面跳转配置方法、装置、电子设备和计算机可读介质 | |
| CN110909237A (zh) | 推荐内容的方法、装置、设备和计算机可读介质 | |
| CN116109374A (zh) | 资源位展示方法、装置、电子设备和计算机可读介质 | |
| CN115496544A (zh) | 一种数据处理的方法和装置 | |
| CN107920100B (zh) | 信息推送方法和装置 | |
| CN110569424A (zh) | 一种信息推介的方法和装置 | |
| CN110633182B (zh) | 用于监控服务器稳定性的系统、方法和装置 | |
| CN109408716B (zh) | 用于推送信息的方法和设备 | |
| CN113760315A (zh) | 测试系统的方法和装置 | |
| CN113434754A (zh) | 确定推荐api服务的方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240204 Address after: Building 3, 2nd Floor, No. 1 Sanlihe Road, Haidian District, Beijing, RMB 100000, 5338 Patentee after: Beijing Boxin Chuangyi Technology Co.,Ltd. Country or region after: China Address before: Room 709-26, Building 7, Jingbin Ruicheng, Jingbin Industrial Park, Wuqing District, Tianjin 301700 (centralized office area) Patentee before: Tianjin cool code data Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |