CN113886200B - 基于埋点的页面分组识别及统计系统及方法 - Google Patents

基于埋点的页面分组识别及统计系统及方法 Download PDF

Info

Publication number
CN113886200B
CN113886200B CN202111046680.7A CN202111046680A CN113886200B CN 113886200 B CN113886200 B CN 113886200B CN 202111046680 A CN202111046680 A CN 202111046680A CN 113886200 B CN113886200 B CN 113886200B
Authority
CN
China
Prior art keywords
page
data acquisition
configuration
data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111046680.7A
Other languages
English (en)
Other versions
CN113886200A (zh
Inventor
朱家兵
李强
谭祥
赵勇
孙浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Technology Co Ltd
Original Assignee
Inspur Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Technology Co Ltd filed Critical Inspur Software Technology Co Ltd
Priority to CN202111046680.7A priority Critical patent/CN113886200B/zh
Publication of CN113886200A publication Critical patent/CN113886200A/zh
Application granted granted Critical
Publication of CN113886200B publication Critical patent/CN113886200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G06F9/4451—User profiles; Roaming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于埋点的页面分组识别及统计方法及系统，属于页面识别统计技术领域，要解决的技术问题为如何能正确的将当前页面地址识别到正确页面配置。系统，包括：站点管理模块，用于对需要统计的站点进行管理，用于新增统计站点、编辑站点配置、删除站点、开启及停止采集数据、以及获取接入代码；页面管理配置模块，用于对需要统计的页面进行配置管理；数据采集开发模块，用于基于数据采集脚本采集用户浏览统计站点时产生的数据以及展示至用户的页面信息；数据采集接口，用于获取数据采集脚本以及获取页面识别和页面配置信息；数据分析模块，用于对数据采集接口采集的数据进行聚合统计分析。

Description

基于埋点的页面分组识别及统计系统及方法
技术领域
本发明涉及页面识别统计技术领域，具体地说是基于埋点的页面分组识别及统计方法及系统。
背景技术
在运营人员想要了解网站运营情况时，需要借助网站统计系统。目前市面上的统计分析工具只能针对单一页面进行简单统计分析。随着网站的扩大及用户的增加，简单的统计分析已将不能满足运营人员快速分析网站运营情况及用户喜好。而且在传统的统计分析过程中，运营人员需要将想要做的统计需求告诉开发人员，通过开发人员开发及发布后才能统计，这种方法不仅周期长、维护成本高。现在网站中，很多页面是根据参数不一样展示不同页面信息，还有越来越多网站的将参数放到路径中，照成单一url没有意义，运营人员想要根据一定规则做分组进行聚合统计识别。但是传统的统计系统中，却也无法根据页面路径、参数等做区分和合并进行聚合统计分析，想要获得页面上给用户展示的信息很复杂，也不能获取到页面上的相关信息进行聚合统计。在根据页面地址进行识别过程中，可能会存在好多能匹配当前页面地址的页面配置，基于上述分析，如何能正确的将当前页面地址识别到正确页面配置是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供基于埋点的页面分组识别及统计方法及系统，来解决如何能正确的将当前页面地址识别到正确页面配置的问题。
第一方面本发明的基于埋点的页面分组识别及统计系统，包括：
站点管理模块，所述站点管理模块用于对需要统计的站点进行管理，用于新增统计站点、编辑站点配置、删除站点、开启及停止采集数据、以及获取接入代码，所述代码用于在统计站点被访问时从服务器获取数据采集脚本；
页面管理配置模块，所述页面管理配置模块用于对需要统计的页面进行配置管理，包括编辑配置页面信息、开启页面同组、配置页面同组地址、配置权重分、删除页面、对页面进行可视化的页面埋点、对页面进行可视化的元素埋点、以及查看页面的访问统计热力图；
数据采集开发模块，所述数据采集开发模块用于基于数据采集脚本采集用户浏览统计站点时产生的数据以及展示至用户的页面信息；
数据采集接口，所述数据采集接口用于获取数据采集脚本以及获取页面识别和页面配置信息；所述数据采集开发模块通过发送给数据采集接口当前站点ID和页面路径获取页面对应的页面信息，所述页面信息包括页面配置的路径、页面埋点信息、元素埋点信息，用于将数据采集开发模块采集的数据上报至搜索引擎进行存储；
数据分析模块，所述数据分析模块用于对数据采集接口采集的数据进行聚合统计分析。
作为优选，所述数据采集接口用于通过如下方式将数据采集开发模块采集的数据上报至搜索引擎进行存储：
所述数据采集接口将数据发送至消息队列，通过消息队列将数据存储至搜素引擎服务器。
作为优选，所述搜索引擎为Elasticsearch。
作为优选，所述数据分析模块用于对对数据采集接口采集的数据进行聚合统计分析时，以配置页面的地址作为分组进行聚合统计分析。
第二方面本发明的基于埋点的页面分组识别及统计方法，基于第一方面任一项所述的基于埋点的页面分组识别及统计系统进行页面分组识别和统计，所述方法包括如下步骤：
基于站点管理模块新增一个统计站点并获取一段代码，将所述代码嵌入需要需要统计的页面中；
基于页面管理配置模块新增一个页面，对于需要统计分析的页面开启同组，选择性地设置页面对应的权重分，并选择性地配置页面通用属性；
基于页面管理配置模块，通过可视化配置页面级埋点，并选择性地配置元素级埋点；
页面被访问时，被访问的页面加载数据采集开发模块，通过数据采集开发模块将页面访问路径发送至数据采集接口，通过数据采集接口匹配到所有页面配置中路径匹配的配置，并选择权重最高的作为聚合路径地址，并获取相应页面配置和埋点配置返回页面；
页面中数据采集开发模块根据页面配置的页面级埋点获取页面的信息，整合后发送数据至数据采集接口；
通过数据采集接口将接受的数据发送至搜索引擎服务器；
通过数据分析模块对数据采集接口采集的数据进行聚合统计分析。
作为优选，基于站点管理模块新增一个统计站点，并分配一个站点标识，以所述站点标识作为页面配置、页面识别、数据存储和数据统计分析的隔离条件；
所述代码包含的信息包括站点标识，并选择性的配置页面识别通用参数，所述页面识别通用参数包括网站页面模式以及路径区分大小。
作为优选，基于页面管理配置模块新增一个页面，对于需要统计分析的页面开启同组，选择性地设置页面对应的权重分，并选择性地配置页面通用属性，包括：
新增一个页面配置，维护一个实例化页面地址作为页面的入口；
选择性地开启分组操作，开启分组后，设置分组页面地址，并选择性地维护权重分值；
选择性地查看冲突页面，根据冲突页面进行参考已经更新的配置页面或权重。
作为优选，基于页面管理配置模块，通过可视化配置页面级埋点，并选择性地配置元素级埋点，包块如下步骤：
通过页面配置模块进入埋点操作，通过浏览器加载可视化埋点操作界面，所述操作界面包括操作导航区域和对应页面配置中页面地址的页面；
选择性地维护页面埋点，通过弹出的对话框对埋点进行定义，选择性地维护属性和属性值，所述属性为数据采集的标识，所述属性值为数据采集的值，所述属性值为自定义的固定值或者为页面访问时页面上某一个元素的展示内容；
选择性地进行元素级埋点，通过打开元素埋点开关进行埋点操作，可进行埋点的元素具有突出标识，对于可进行埋点的元素进行埋点定义，并维护属性和属性值，所述属性为数据采集的标识，所述属性值为数据采集的值，所述属性值为自定义的固定值或者页面访问时页面上某一个元素的展示内容；
选择性地通过页面标识出已经埋点的元素，查看相应的埋点信息，并进行埋点定义。
作为优选，页面被访问时，被访问的页面加载数据采集开发模块，通过数据采集开发模块将页面访问路径发送至数据采集接口，通过数据采集接口匹配到所有页面配置中路径匹配的配置，并选择权重最高的作为聚合路径地址，并获取相应页面配置和埋点配置返回页面，包括如下步骤：
页面访问过程中，打开需要统计的页面，所述页面中包含所述代码，页面加载时执行所述代码，通过所述代码加载数据采集开发模块，加载方式为访问数采集开发模块获取一个脚本文件，加载完数据采集开发模块后，进行页面识别和加载页面配置；
数据采集开发模块通过访问数据采集接口获取页面配置，数据采集开发模块访问数据采集接口时，携带页面路径匹配到所有页面配置地址匹配的页面配置，将所有页面配置按照所述权重分进行排序，选在在第一位的作为页面识别的结果，并根据页面配置获取对应的页面埋点配置、元素埋点配置返回页面。
作为优选，页面中数据采集开发模块根据页面配置的页面级埋点获取页面的信息，整合后发送数据至数据采集接口，包括如下步骤：
数据采集开发模块根据页面配置地址，结合页面埋点配置，根据页面埋点配置中的属性列表，逐一进行属性值的获取，如果属性值为固定值，直接使用对应的属性和属性值，如果属性值为页面上一元素路径，并且页面上存在所述元素路径，将获取所述元素路径对应的信息，当数据采集开发模块采集所有的数据后，将访问数据采集接口并上传所述数据；
通过数据采集接口将接受的数据发送至搜索引擎服务器，包括如下步骤：
数据采集接口将接收到的数据封装为json，并格式化为字符串后发送至消息队列；
通过订阅消息队列消息，将字符串格式化为json写入搜索引擎服务器。
作为优选，对数据采集接口采集的数据进行聚合统计分析时，通过根据页面的配置地址字段作为统计的分组，来聚合统计页面分组的访问情况。
本发明的基于埋点的页面分组识别及统计系统及方法具有以下优点：
1、解决了传统页面统计只能根据访问地址统计，不能按运营需求有效的识别页面地址，不能按页面地址分组统计的问题，同时也解决页面埋点复杂、访问统计数据采集中不能携带页面信息等问题；
2、使得网站运营人员更好的根据网站架构来了解用户喜好来做出决策。同时也解决了传统网站统计页面埋点复杂，是普通运营人员能更快速的调整统计的部署。同时也解决了网站统计不能采集到页面展示给用户看到的信息的问题，有效的提升了网站统计的价值。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例2基于埋点的页面分组识别及统计方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例中的“多个”，是指两个或两个以上。
本发明实施例提供基于埋点的页面分组识别及统计系统及方法，用于解决如何能正确的将当前页面地址识别到正确页面配置的技术问题。
实施例1：
本发明的基于埋点的页面分组识别及统计系统，包括站点管理模块、页面管理配置模块、数据采集开发模块、数据采集开发模块、数据采集接口以及数据分析模块，站点管理模块用于对需要统计的站点进行管理，用于新增统计站点、编辑站点配置、删除站点、开启及停止采集数据、以及获取接入代码，所述代码用于在统计站点被访问时从服务器获取数据采集脚本；页面管理配置模块用于对需要统计的页面进行配置管理，包括编辑配置页面信息、开启页面同组、配置页面同组地址、配置权重分、删除页面、对页面进行可视化的页面埋点、对页面进行可视化的元素埋点、以及查看页面的访问统计热力图；数据采集开发模块用于基于数据采集脚本采集用户浏览统计站点时产生的数据以及展示至用户的页面信息；数据采集接口用于获取数据采集脚本以及获取页面识别和页面配置信息；数据采集开发模块通过发送给数据采集接口当前站点ID和页面路径获取页面对应的页面信息，页面信息包括页面配置的路径、页面埋点信息、元素埋点信息，用于将数据采集开发模块采集的数据上报至搜索引擎进行存储；数据分析模块用于对数据采集接口采集的数据进行聚合统计分析。
其中，数据采集接口用于通过如下方式将数据采集开发模块采集的数据上报至搜索引擎进行存储，数据采集接口将数据发送至消息队列，通过消息队列将数据存储至搜素引擎服务器，搜索引擎为Elasticsearch。
数据分析模块用于对对数据采集接口采集的数据进行聚合统计分析时，以配置页面的地址作为分组进行聚合统计分析。
本实施例基于埋点的页面分组识别及统计系统的工作流程为：
在站点管理模块中新增一统计站点并获取一段代码，此网站开发人员将此代码嵌入到需要统计页面中；
运营人员根据需要在页面配置管理模块中新增一页面，对于需要聚合统计分析的页面开启同组，可选设置页面对应的权重分，配置页面通用属性；
通过可视化配置页面级埋点，可选配置元素级埋点；
当页面被访问时，页面会加载数据采集开发模块sdk，sdk先将页面访问路径发送给数据采集接口，数据采集接口先匹配到所有页面配置中路径匹配的配置，然后选其中权重分最高的作为聚合路径地址，并获取其相应页面配置、埋点配置返回给页面；
页面中数据采集开发模块将根据页面配置的页面级埋点获取页面上的信息，整合后发送数据至数据采集接口；
数据采集接口将接收到的数据存储至搜索引擎服务器；
页面聚合统计分析时会根据页面的配置地址来聚合统计。
实施例2：
本发明的基于埋点的页面分组识别及统计方法，基于实施例1公开的基于埋点的页面分组识别及统计系统进行页面分组识别和统计，该方法包括如下步骤：
S100、基于站点管理模块新增一个统计站点并获取一段代码，将代码嵌入需要需要统计的页面中；
S200、基于页面管理配置模块新增一个页面，对于需要统计分析的页面开启同组，选择性地设置页面对应的权重分，并选择性地配置页面通用属性；
S300、基于页面管理配置模块，通过可视化配置页面级埋点，并选择性地配置元素级埋点；
S400、页面被访问时，被访问的页面加载数据采集开发模块，通过数据采集开发模块将页面访问路径发送至数据采集接口，通过数据采集接口匹配到所有页面配置中路径匹配的配置，并选择权重最高的作为聚合路径地址，并获取相应页面配置和埋点配置返回页面；
S500、页面中数据采集开发模块根据页面配置的页面级埋点获取页面的信息，整合后发送数据至数据采集接口；
S600、通过数据采集接口将接受的数据发送至搜索引擎服务器；
S700、通过数据分析模块对数据采集接口采集的数据进行聚合统计分析。
本实施例步骤S100是一个网站统计的初始化操作，本步骤的具体实现如下：新增一个统计站点，首先会分配一个站点标识，后续配置、识别、存储、统计等以此站点标识为隔离条件；网站开发人员将一段代码嵌入到需要的统计页面，这是后续数据采集和统计操作的前提，此段代码中包含站点标识等信息；可选的，在网站配置可维护一些页面识别通用参数，比如网站页面模式，路径区分大小写等。
步骤S200中同组的概念或定义理解为一些路径相似或者有规律或有关系的，同理同组页面地址理解为可以识别到这一些路径相似或者有规律或有关系的页面地址。
权重分值的概念或定义理解为定义一数值，代表在页面识别中如果匹配到多个页面配置时，如何对页面配置进行排序。
页面配置地址是指当关闭同组时，为页面路径，即页面的实例化地址，开启同组时，为同组页面地址。
冲突页面理解为两者之前存在相同、相似、包含、父子等关系的页面。
本步骤是页面识别和分组统计的初始化操作，本步骤的具体实现如下：新增一个页面配置，维护一个实例化页面地址作为页面的入口；可选开启分组操作，开启分组后，将设置分组页面地址，可选的维护权重分值；可选的查看冲突页面，根据冲突页面进行参考已更更好的配置页面或权重。
具体实现时，同组页面地址中可以使用通配符代替部分路径、参数、参数值等，比如路径中的*代表任意长度路径，比如参数中*代码任意参数，参数值中的*代码任意参数值等。
具体实现时，页面配置的权重分值可以由系统自动计算，也可由手工设置。
具体实现时，系统自动计算分值是可选的。
具体实现时，系统自动计算分值，可选基于页面配置地址来计算。
步骤S300中页面级埋点是后续数据采集中可以获取到页面展示信息的初始化操作，元数级埋点是页面点级一元素是可以获取页面展示相关信息的初始化操作；
本步骤的具体实现如下：
通过页面配置进入埋点操作，将通过浏览器加载可视化埋点操作页面，此操作页面中包含操作导航区域和对应页面配置中页面地址的页面；
可选的维护页面埋点，弹出一对话框，对页面埋点进行定义，也可维护一些属性和属性值，属性即为数据采集的标识，属性值即为数据采集的值，属性值可以为自己定义的固定值，也可以是页面访问时页面上某一元素的展示内容。
可选的进行元数级埋点，通过打开元素埋点开关来进行埋点操作，在鼠标经过某一可进行埋点的元素是，此元素将有突出标识，如外框、浮层、变色等方式标记，此时点击鼠标右键，填出对此元素的埋点信息对话框，可以对元素进行埋点定义，也可维护一些属性和属性值，属性即为数据采集的标识，属性值即为数据采集的值，属性值可以为自己定义的固定值，也可以是页面访问时页面上某一元素的展示内容。
可选的，页面将标识出已经埋点的元素，点击右键即可查看相应的埋点信息，也可进行埋点定义。
步骤S400是页面访问时，数据采集sdk加载和初始化配置的过程，本步骤的具体实现如下：
页面访问过程中，打开一个需要统计的页面，此页面中包含在步骤S100中生成的一段代码，当页面加载时会执行此段代码，此段代码会加载数据采集开发模块sdk，典型的加载方式为访问数据采集接口获取一脚本文件，加载完数据采集开发模块sdk后，需要进行页面识别和加载页面配置，典型的，数据采集开发模块sdk通过访问数据采集接口来获取页面配置，具体的，当访问数据采集接口时，会携带页面访问路径和网站标识等参数，数据采集先通过网站标识获取此站点下所有页面配置，在根据页面路径匹配到所有页面配置地址匹配的页面配置，此时可能会有多个页面配置匹配，为了能正确的识别，将所有页面配置按照前述权重分进行排序，选择排在第一位的作为此页面识别的结果，并根据此页面配置获取其相应页面埋点配置、元素埋点配置等相关信息返回给页面。
步骤S500是扩展数据采集时的信息，并将信息发送至数据采集接口的过程，本步骤的其中一种实现如下：
数据采集开发模块sdk根据步骤S500获取到了页面配置地址，结合页面埋点配置，将根据页面埋点配置中的属性列表，逐一进行属性值的获取，典型的，如果属性值为固定值，直接使用此属性及属性值，如果属性值为页面上一元素路径，并且页面上存在此元素路径，将获取此元素路径对应的信息，当数据采集sdk采集完所有的信息后，将访问数据采集接口来上报这些数据。
步骤S600是访问数据存储到系统的过程，存储方式包括但不限于内存、文件、数据库、消息队列等。本步骤的其中一种实现如下：数据采集接口将接收到的一条数据，组装为json，将其格式化为字符串后发送至消息队列；通过订阅消息队列消息，将字符串格式化为json写入搜索引擎elasticsearch。
步骤S700页面聚合统计分析时会根据页面的配置地址来聚合统计。
此步骤是对访问数据进行统计分析的过程，本步骤的其中一种实现如下：通过根据页面的配置地址字段作为统计的分组，来聚合统计页面分组的访问情况。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (8)

1.基于埋点的页面分组识别及统计系统，其特征在于包括：
站点管理模块，所述站点管理模块用于对需要统计的站点进行管理，用于新增统计站点、编辑站点配置、删除站点、开启及停止采集数据、以及获取接入代码，所述代码用于在统计站点被访问时从服务器获取数据采集脚本；
页面管理配置模块，所述页面管理配置模块用于对需要统计的页面进行配置管理，包括编辑配置页面信息、开启页面同组、配置页面同组地址、配置权重分、删除页面、对页面进行可视化的页面埋点、对页面进行可视化的元素埋点、以及查看页面的访问统计热力图；
数据采集开发模块，所述数据采集开发模块用于基于数据采集脚本采集用户浏览统计站点时产生的数据以及展示至用户的页面信息；
数据采集接口，所述数据采集接口用于获取数据采集脚本以及获取页面识别和页面配置信息；所述数据采集开发模块通过发送给数据采集接口当前站点ID和页面路径获取页面对应的页面信息，所述页面信息包括页面配置的路径、页面埋点信息、元素埋点信息，用于将数据采集开发模块采集的数据上报至搜索引擎进行存储；
数据分析模块，所述数据分析模块用于对数据采集接口采集的数据进行聚合统计分析；
所述数据分析模块用于对数据采集接口采集的数据进行聚合统计分析时，以配置页面的地址作为分组进行聚合统计分析；
基于页面管理配置模块新增一个页面，对于需要统计分析的页面开启同组，选择性地设置页面对应的权重分，并选择性地配置页面通用属性，包括：
新增一个页面配置，维护一个实例化页面地址作为页面的入口；
选择性地开启分组操作，开启分组后，设置分组页面地址，并选择性地维护权重分值；
选择性地查看冲突页面，根据冲突页面进行参考已经更新的配置页面或权重。
2.根据权利要求1所述的基于埋点的页面分组识别及统计系统，其特征在于所述数据采集接口用于通过如下方式将数据采集开发模块采集的数据上报至搜索引擎进行存储：
所述数据采集接口将数据发送至消息队列，通过消息队列将数据存储至搜素引擎服务器。
3.根据权利要求1或2所述的基于埋点的页面分组识别及统计系统，其特征在于所述搜索引擎为Elasticsearch。
4.基于埋点的页面分组识别及统计方法，其特征在于基于如权利要求1-3任一项所述的基于埋点的页面分组识别及统计系统进行页面分组识别和统计，所述方法包括如下步骤：
基于站点管理模块新增一个统计站点并获取一段代码，将所述代码嵌入需要统计的页面中；
基于页面管理配置模块新增一个页面，对于需要统计分析的页面开启同组，选择性地设置页面对应的权重分，并选择性地配置页面通用属性；
基于页面管理配置模块，通过可视化配置页面级埋点，并选择性地配置元素级埋点；
页面被访问时，被访问的页面加载数据采集开发模块，通过数据采集开发模块将页面访问路径发送至数据采集接口，通过数据采集接口匹配到所有页面配置中路径匹配的配置，并选择权重最高的作为聚合路径地址，并获取相应页面配置和埋点配置返回页面；
页面中数据采集开发模块根据页面配置的页面级埋点获取页面的信息，整合后发送数据至数据采集接口；
通过数据采集接口将接受的数据发送至搜索引擎服务器；
通过数据分析模块对数据采集接口采集的数据进行聚合统计分析。
5.根据权利要求4所述的基于埋点的页面分组识别及统计方法，其特征在于基于站点管理模块新增一个统计站点，并分配一个站点标识，以所述站点标识作为页面配置、页面识别、数据存储和数据统计分析的隔离条件；
所述代码包含的信息包括站点标识，并选择性的配置页面识别通用参数，所述页面识别通用参数包括网站页面模式以及路径区分大小。
6.根据权利要求4所述的基于埋点的页面分组识别及统计方法，其特征在于基于页面管理配置模块，通过可视化配置页面级埋点，并选择性地配置元素级埋点，包块如下步骤：
通过页面配置模块进入埋点操作，通过浏览器加载可视化埋点操作界面，所述操作界面包括操作导航区域和对应页面配置中页面地址的页面；
选择性地维护页面埋点，通过弹出的对话框对埋点进行定义，选择性地维护属性和属性值，所述属性为数据采集的标识，所述属性值为数据采集的值，所述属性值为自定义的固定值或者为页面访问时页面上某一个元素的展示内容；
选择性地进行元素级埋点，通过打开元素埋点开关进行埋点操作，可进行埋点的元素具有突出标识，对于可进行埋点的元素进行埋点定义，并维护属性和属性值，所述属性为数据采集的标识，所述属性值为数据采集的值，所述属性值为自定义的固定值或者页面访问时页面上某一个元素的展示内容；
选择性地通过页面标识出已经埋点的元素，查看相应的埋点信息，并进行埋点定义。
7.根据权利要求4所述的基于埋点的页面分组识别及统计方法，其特征在于页面被访问时，被访问的页面加载数据采集开发模块，通过数据采集开发模块将页面访问路径发送至数据采集接口，通过数据采集接口匹配到所有页面配置中路径匹配的配置，并选择权重最高的作为聚合路径地址，并获取相应页面配置和埋点配置返回页面，包括如下步骤：
页面访问过程中，打开需要统计的页面，所述页面中包含所述代码，页面加载时执行所述代码，通过所述代码加载数据采集开发模块，加载方式为访问数采集开发模块获取一个脚本文件，加载完数据采集开发模块后，进行页面识别和加载页面配置；
数据采集开发模块通过访问数据采集接口获取页面配置，数据采集开发模块访问数据采集接口时，携带页面路径匹配到所有页面配置地址匹配的页面配置，将所有页面配置按照所述权重分进行排序，选在在第一位的作为页面识别的结果，并根据页面配置获取对应的页面埋点配置、元素埋点配置返回页面。
8.根据权利要求4所述的基于埋点的页面分组识别及统计方法，其特征在于页面中数据采集开发模块根据页面配置的页面级埋点获取页面的信息，整合后发送数据至数据采集接口，包括如下步骤：
数据采集开发模块根据页面配置地址，结合页面埋点配置，根据页面埋点配置中的属性列表，逐一进行属性值的获取，如果属性值为固定值，直接使用对应的属性和属性值，如果属性值为页面上一元素路径，并且页面上存在所述元素路径，将获取所述元素路径对应的信息，当数据采集开发模块采集所有的数据后，将访问数据采集接口并上传所述数据；
通过数据采集接口将接受的数据发送至搜索引擎服务器，包括如下步骤：
数据采集接口将接收到的数据封装为json，并格式化为字符串后发送至消息队列；
通过订阅消息队列消息，将字符串格式化为json写入搜索引擎服务器；
对数据采集接口采集的数据进行聚合统计分析时，通过根据页面的配置地址字段作为统计的分组，来聚合统计页面分组的访问情况。
CN202111046680.7A 2021-09-06 2021-09-06 基于埋点的页面分组识别及统计系统及方法 Active CN113886200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111046680.7A CN113886200B (zh) 2021-09-06 2021-09-06 基于埋点的页面分组识别及统计系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111046680.7A CN113886200B (zh) 2021-09-06 2021-09-06 基于埋点的页面分组识别及统计系统及方法

Publications (2)

Publication Number Publication Date
CN113886200A CN113886200A (zh) 2022-01-04
CN113886200B true CN113886200B (zh) 2024-01-30

Family

ID=79008422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111046680.7A Active CN113886200B (zh) 2021-09-06 2021-09-06 基于埋点的页面分组识别及统计系统及方法

Country Status (1)

Country Link
CN (1) CN113886200B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1494147A1 (fr) * 2003-07-01 2005-01-05 France Telecom Procédé de visualisation d'informations accessibles par l'intermédiaire d'un réseau de télécommunications, serveur et programme pour sa mise en oeuvre
WO2017113677A1 (zh) * 2015-12-28 2017-07-06 乐视控股（北京）有限公司 处理用户行为数据的方法和系统
CN106933722A (zh) * 2017-03-06 2017-07-07 腾云天宇科技（北京）有限公司 一种网页应用监控方法、服务器和系统
CN109101406A (zh) * 2018-07-05 2018-12-28 北京西普阳光教育科技股份有限公司 基于前端埋点的响应式页面热力图的生成方法和装置
CN110059282A (zh) * 2019-04-23 2019-07-26 北京奇艺世纪科技有限公司 一种交互类数据的获取方法及系统
CN112486708A (zh) * 2020-12-16 2021-03-12 中国联合网络通信集团有限公司 页面操作数据的处理方法和处理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1494147A1 (fr) * 2003-07-01 2005-01-05 France Telecom Procédé de visualisation d'informations accessibles par l'intermédiaire d'un réseau de télécommunications, serveur et programme pour sa mise en oeuvre
WO2017113677A1 (zh) * 2015-12-28 2017-07-06 乐视控股（北京）有限公司 处理用户行为数据的方法和系统
CN106933722A (zh) * 2017-03-06 2017-07-07 腾云天宇科技（北京）有限公司 一种网页应用监控方法、服务器和系统
CN109101406A (zh) * 2018-07-05 2018-12-28 北京西普阳光教育科技股份有限公司 基于前端埋点的响应式页面热力图的生成方法和装置
CN110059282A (zh) * 2019-04-23 2019-07-26 北京奇艺世纪科技有限公司 一种交互类数据的获取方法及系统
CN112486708A (zh) * 2020-12-16 2021-03-12 中国联合网络通信集团有限公司 页面操作数据的处理方法和处理系统

Also Published As

Publication number Publication date
CN113886200A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
US8620849B2 (en) Systems and methods for facilitating open source intelligence gathering
WO2020232879A1 (zh) 风险传导关联图谱优化方法、装置、计算机设备和存储介质
US9122995B2 (en) Classification of stream-based data using machine learning
CN107908606A (zh) 基于不同信息源自动生成报表的方法和系统
CN106649063A (zh) 用于监测程序运行时耗时数据的方法及系统
US8504558B2 (en) Framework to evaluate content display policies
KR20140050217A (ko) 키워드 연관 관계 시각화 제공 시스템 및 방법과, 이를 지원하는 장치
CN106445977A (zh) 图片推送方法及装置
JP2002032773A (ja) 地図データの処理装置及び方法
CN114139210A (zh) 一种基于智慧业务的大数据安全威胁处理方法及系统
CN114511353A (zh) 数据分析方法和装置
CN117294727A (zh) 一种基于云原生和容器技术的云边端协同管理方法
CN111369294A (zh) 软件造价估算方法及装置
CN114547077A (zh) 基层政务表格数据智能处理系统及方法
CN108153661A (zh) 执行测试用例的方法和装置
CN113886200B (zh) 基于埋点的页面分组识别及统计系统及方法
CN109816004A (zh) 房源图片分类方法、装置、设备及存储介质
CN116484109B (zh) 基于人工智能的客户画像分析系统及方法
CN107800556A (zh) 界面生成系统、钻取服务层装置、数据发送方法
JP5206268B2 (ja) ルール作成プログラム、ルール作成方法及びルール作成装置
CN111414404A (zh) 一种数据可视化装置和方法
CN109684844A (zh) 一种webshell检测方法及装置
CN113988226B (zh) 数据脱敏有效性验证方法、装置、计算机设备及存储介质
CN108075918B (zh) 互联网业务变更检测方法及系统
CN113157847B (zh) 森林植物调查数据快速检核方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant