CN107870860B - 埋点验证系统及方法 - Google Patents

埋点验证系统及方法 Download PDF

Info

Publication number
CN107870860B
CN107870860B CN201710312809.1A CN201710312809A CN107870860B CN 107870860 B CN107870860 B CN 107870860B CN 201710312809 A CN201710312809 A CN 201710312809A CN 107870860 B CN107870860 B CN 107870860B
Authority
CN
China
Prior art keywords
buried point
data
point data
buried
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710312809.1A
Other languages
English (en)
Other versions
CN107870860A (zh
Inventor
黄华
陈志平
唐洵
张冲
陈灯霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201710312809.1A priority Critical patent/CN107870860B/zh
Publication of CN107870860A publication Critical patent/CN107870860A/zh
Priority to PCT/CN2018/085722 priority patent/WO2018202171A1/zh
Application granted granted Critical
Publication of CN107870860B publication Critical patent/CN107870860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3676—Test management for coverage analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种埋点验证系统，该系统应用于服务器。该系统包括一系列功能模块。通过这些功能模块，服务器通过网络接收客户端实时传送的埋点数据及埋点数据概要信息，对埋点数据进行实时分析，将埋点数据从非结构化数据转换为结构化数据，将结构化的埋点数据与埋点数据概要信息进行对比，判断客户端的应用软件是否发生埋点数据丢失的情况，还可以计算客户端回传的埋点覆盖率。

Description

埋点验证系统及方法
技术领域
本发明涉及一种数据分析系统及方法，尤其涉及一种埋点验证系统及方法。
背景技术
随着移动互联网的快速发展，移动客户端的各种应用软件层出不穷。为了研究用户行为和应用软件的功能效果，通常会在应用软件中设置许多埋点。用户使用应用软件触发埋点对应的功能时，客户端会将埋点相关的数据传回服务器端。由于网络环境影响或终端应用软件可能存在代码缺失的情况，服务器端收到的埋点数据可能不准确，故需要对埋点数据进行校验。目前埋点校验采用的是人工校验方式。由于埋点数据众多，人工校验效率低，且很容易出错。
发明内容
鉴于以上内容，有必要提供一种埋点验证系统及方法，可以对客户端回传的埋点数据进行实时、自动获取及分析，提高埋点数据验证的效率及准确性。
首先，为实现上述目的，本发明提供一种埋点验证系统，运行于服务器。该系统包括：
数据接收模块，用于通过网络接收客户端实时传送的埋点数据及埋点数据概要信息；
数据处理模块，用于对埋点数据进行实时分析，将埋点数据从非结构化数据转换为结构化数据；及
数据校验模块，用于将结构化的埋点数据与埋点数据概要信息进行对比，判断埋点数据是否丢失。
可选地，本发明提供的埋点验证系统还包括计算模块，该计算模块用于：
将结构化的埋点数据与服务器端存储的完整埋点规范文件进行比对，计算客户端回传的埋点覆盖率。
可选地，本发明提供的埋点验证系统还包括报告生成模块，该报告生成模块用于生成埋点校验报告。
可选地，本发明提供的埋点验证系统还包括提醒模块，该提醒模块用于将埋点覆盖率及/或埋点校验报告发送至预设的客户端。
此外，本发明还提供一种埋点验证方法，运行于服务器。该方法包括：
数据接收步骤：通过网络接收客户端实时传送的埋点数据及埋点数据概要信息；
数据处理步骤：对埋点数据进行实时分析，将埋点数据从非结构化数据转换为结构化数据；及
数据校验步骤：将结构化的埋点数据与埋点数据概要信息进行对比，判断埋点数据是否丢失。
可选地，本发明提供的埋点验证方法还包括计算步骤：
将结构化的埋点数据与服务器端存储的完整埋点规范文件进行比对，计算客户端回传的埋点覆盖率。
可选地，本发明提供的埋点验证方法还包括报告生成步骤：
生成埋点校验报告。
可选地，本发明提供的埋点验证方法还包括提醒步骤：
将埋点覆盖率及/或埋点校验报告发送至预设的客户端。
相较现有技术，本发明提供的埋点验证系统及方法可以使服务器在接收客户端传送的埋点数据及埋点数据概要信息后，实时对埋点数据进行分析、处理，将埋点数据从非结构化数据转换为结构化数据后，判断客户端的应用软件是否发生埋点数据丢失的情况，还可以计算客户端回传的埋点覆盖率。
附图说明
图1为本发明埋点验证系统较佳实施例的应用环境图。
图2为本发明埋点验证系统较佳实施例的运行环境图。
图3为本发明埋点验证系统较佳实施例的功能模块图。
图4为本发明埋点验证方法较佳实施例的流程图。
具体实施方式
如图1所示，是本发明埋点验证系统10较佳实施例的应用环境图。该埋点验证系统10应用于服务器1。服务器1通过网络2连接多个客户端3。网络2可以为局域网，广域网，城域网，个人局域网等等类型的网络；可以为有线网络，也可以为无线网络。客户端3可以为桌上型计算机、笔记本、平板电脑、手机，或其它安装有应用软件，可以通过网络2与服务器1进行通信的终端装置。
如图2所示，是本发明埋点验证系统10较佳实施例的运行环境图。服务器1包括，但不仅限于，存储器11、处理器12及显示器13。
存储器11存储埋点验证系统10的程序代码，该存储器11可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。
处理器12从存储器11读取并执行埋点验证系统10的程序代码，提供埋点验证系统10的下述功能。显示器13显示埋点验证系统10的执行结果。
图2仅示出了具有组件11-13的服务器1，应当理解的是，服务器1可以包括更多或者更少的组件。每个客户端3(图2仅示出一个)安装有一个或多个应用软件30(图2仅示出一个)。本实施例以一个应用软件30为例说明。该应用软件30的发布方在该应用软件30中设置了许多埋点，用于分析客户端3的用户对该应用软件30的操作行为及/或测试该应用软件30的功能效果。当用户使用该应用软件30时，埋点被触发，客户端3记录被用户触发的埋点数据及包含用户完整操作行为的埋点数据概要信息，并通过网络2将埋点数据及埋点数据概要信息传送至服务器1。服务器1的埋点验证系统10对接收到的埋点数据及埋点数据概要信息进行处理、分析，判断客户端3的应用软件30是否发生埋点数据丢失的情况。
进一步地，埋点测试系统10还可以将接收到的埋点数据与服务器1的存储器11中存储的有关应用软件30的完整埋点规范文件中的埋点数据进行比对，计算客户端3回传的埋点覆盖率。之后，埋点测试系统10还可以生成埋点校验报告，并通过网络2将埋点覆盖率及埋点校验报告发送至预设的客户端3。在本实施例中，客户端3可以是应用软件30的用户，也可以是应用软件30的开发方。
如图3所示，是本发明埋点验证系统10较佳实施例的功能模块图。
在一个实施例中，该埋点验证系统10包括数据接收模块110、数据处理模块120及数据校验模块130。
数据接收模块110，用于通过网络2接收客户端3实时传送的应用软件30的埋点数据及埋点数据概要信息。埋点数据概要信息记录了用户操作应用软件30的完整行为，例如用户在使用该应用软件30时执行了5项操作、触发了30个埋点，这些信息都会完整地记录在埋点数据概要信息中。受网络2的影响，或者是客户端3的应用软件30存在代码缺失的情况，客户端3传回的埋点数据可能发生缺失或丢失的情况。
数据处理模块120，用于对埋点数据进行实时分析，将埋点数据从非结构化数据转换为结构化数据。在本实施例中，埋点验证系统10利用搜索引擎，例如，开源搜索引擎Elasticsearch，自动、实时获取客户端3回传的埋点数据，确保埋点数据一经到达服务器1，即可被搜索到，避免了时间上的延迟。
客户端3回传的埋点数据为非结构化数据，例如，埋点数据可能是一个包括一长串字符的文本文件：
2017-02-2320:57:21
423|3010026410614|248c382809043ba84a8312ac1ce302085|865199028189698|460013950475581||5.0.0|Android4.4.4|Android|HMNOTE1LTE|61.158.152.208|scmiui.com|00:00:00:00:00:00|20009|3(action_id和process_id，两个组成了这个埋点的唯一标识)|{"ssid":"CMCC-EDU","bssid":"00:26:7a:2b:43:bb","appid":"10013","signal":-60,"openid":"4100026420614","msg":0}|PA1000_WIFI
进一步地，数据处理模块120利用搜索引擎Elasticsearch将非结构化的埋点数据转化为结构化数据，以一个预定义的模型或预先定义好的方式进行组织，存储于数据库。例如，Elasticsearch从非结构化的埋点数据中提取埋点信息，例如埋点的标识信息"process_id：3"、"action_id：40001"，埋点对应的用户操作类型及时间等信息，写入结构化数据的相应数组。搜索引擎Elasticsearch将非结构化的埋点数据中的其他信息，例如客户端IP地址、MAC地址等，客户端应用软件的版本等信息，也写入结构化数据的相应数组。
以下为数据处理模块120处理后的结构化的数据示例：
Figure BDA0001287627000000041
Figure BDA0001287627000000051
数据校验模块130，用于将结构化的埋点数据与埋点数据概要信息进行对比，判断应用软件30是否发生埋点数据丢失的情况。例如，埋点数据概要信息中记录了用户在使用应用软件30时触发了30个埋点，而结构化的埋点数据中只有该30个埋点中的26个埋点信息，那么就有4个埋点数据丢失了。
在另一个实施例中，该埋点验证系统10包括数据接收模块110、数据处理模块120、数据校验模块130及计算模块140。
数据接收模块110，用于通过网络2接收客户端3实时传送的应用软件30的埋点数据及埋点数据概要信息。埋点数据概要信息记录了用户操作应用软件30的完整行为，例如用户在使用该应用软件30时执行了5项操作、触发了30个埋点，这些信息都会完整地记录在埋点数据概要信息中。受网络2的影响，或者是客户端3的应用软件30存在代码缺失的情况，客户端3传回的埋点数据可能发生缺失或丢失的情况。
数据处理模块120，用于对埋点数据进行实时分析，将埋点数据从非结构化数据转换为结构化数据。在本实施例中，埋点验证系统10利用搜索引擎，例如，开源搜索引擎Elasticsearch，自动、实时获取客户端3回传的埋点数据，确保埋点数据一经到达服务器1，即可被搜索到，避免了时间上的延迟。
客户端3回传的埋点数据为非结构化数据。例如，埋点数据可能是一个包括一长串字符的文本文件(请参上文中的例子)。数据处理模块120利用搜索引擎Elasticsearch将非结构化的埋点数据转化为结构化数据，以一个预定义的模型或预先定义好的方式进行组织，存储于数据库。例如，Elasticsearch从非结构化的埋点数据中提取埋点信息，例如埋点的标识信息"process_id：3"、"action_id：40001"，埋点对应的用户操作类型及时间等信息，写入结构化数据的相应数组。搜索引擎Elasticsearch将非结构化的埋点数据中的其他信息，例如客户端IP地址、MAC地址等，客户端应用软件的版本等信息，也写入结构化数据的相应数组。
数据校验模块130，用于将结构化的埋点数据与埋点数据概要信息进行对比，判断应用软件30是否发生埋点数据丢失的情况。例如，埋点数据概要信息中记录了用户在使用应用软件30时触发了30个埋点，而结构化的埋点数据中只有该30个埋点中的26个埋点信息，那么就有4个埋点数据丢失了。
计算模块140，用于将结构化的埋点数据与服务器端1的存储器11中存储的完整埋点规范文件进行比对，计算客户端3回传的埋点覆盖率，例如，26/30＝86.7％。
在另一个实施例中，该埋点验证系统10包括数据接收模块110、数据处理模块120、数据校验模块130、计算模块140及报告生成模块150。
数据接收模块110，用于通过网络2接收客户端3实时传送的应用软件30的埋点数据及埋点数据概要信息。埋点数据概要信息记录了用户操作应用软件30的完整行为，例如用户在使用该应用软件30时执行了5项操作、触发了30个埋点，这些信息都会完整地记录在埋点数据概要信息中。受网络2的影响，或者是客户端3的应用软件30存在代码缺失的情况，客户端3传回的埋点数据可能发生缺失或丢失的情况。
数据处理模块120，用于对埋点数据进行实时分析，将埋点数据从非结构化数据转换为结构化数据。在本实施例中，埋点验证系统10利用搜索引擎，例如，开源搜索引擎Elasticsearch，自动、实时获取客户端3回传的埋点数据，确保埋点数据一经到达服务器1，即可被搜索到，避免了时间上的延迟。
客户端3回传的埋点数据为非结构化数据。例如，埋点数据可能是一个包括一长串字符的文本文件(请参上文中的例子)。数据处理模块120利用搜索引擎Elasticsearch将非结构化的埋点数据转化为结构化数据，以一个预定义的模型或预先定义好的方式进行组织，存储于数据库。例如，Elasticsearch从非结构化的埋点数据中提取埋点信息，例如埋点的标识信息"process_id：3"、"action_id：40001"，埋点对应的用户操作类型及时间等信息，写入结构化数据的相应数组。搜索引擎Elasticsearch将非结构化的埋点数据中的其他信息，例如客户端IP地址、MAC地址等，客户端应用软件的版本等信息，也写入结构化数据的相应数组。
数据校验模块130，用于将结构化的埋点数据与埋点数据概要信息进行对比，判断应用软件30是否发生埋点数据丢失的情况。例如，埋点数据概要信息中记录了用户在使用应用软件30时触发了30个埋点，而结构化的埋点数据中只有该30个埋点中的26个埋点信息，那么就有4个埋点数据丢失了。
计算模块140，用于将结构化的埋点数据与服务器端1的存储器11中存储的完整埋点规范文件进行比对，计算客户端3回传的埋点覆盖率，例如，26/30＝86.7％。
报告生成模块150用于生成埋点校验报告。所述埋点校验报告包括，但不限于，埋点校验对应的应用软件30的相关信息，例如应用软件名称、版本等信息，校验发生的时间及服务器1的相关信息，校验结果数据等信息。报告生成模块150将该埋点校验报告存储于服务器1的存储器11。
在另一个实施例中，该埋点验证系统10除了包括数据接收模块110、数据处理模块120、数据校验模块130、计算模块140及报告生成模块150，还包括提醒模块160。数据接收模块110、数据处理模块120、数据校验模块130、计算模块140及报告生成模块150的功能请参上文中的实施例所述。提醒模块160，则用于将埋点覆盖率及/或埋点校验报告发送至预设的客户端3。
所述提醒模块160可以是将每次埋点验证计算得到的埋点覆盖率及埋点校验报告发送至预设的客户端3，例如埋点工程师的工作电脑。
也可以是，当计算得到的埋点覆盖率低于预设阀值(例如85％)时，发送埋点校验报告及预设格式的提醒信息，例如“软件标识为***、版本号为***的软件的埋点覆盖率为###，埋点数据缺失率过大，请检查并调整埋点方案”，至预设的埋点工程师的工作电脑。
如图4所示，本发明埋点验证方法较佳实施例的流程图。
在一个实施例中，该埋点验证系统方法可以只包括步骤S110、S120及S130。
步骤S110，数据接收模块110通过网络2接收客户端3实时传送的应用软件30的埋点数据及埋点数据概要信息。埋点数据概要信息记录了用户操作应用软件30的完整行为，例如用户在使用该应用软件30时执行了5项操作、触发了30个埋点，这些信息都会完整地记录在埋点数据概要信息中。受网络2的影响，或者是客户端3的应用软件30存在代码缺失的情况，客户端3传回的埋点数据可能发生缺失或丢失的情况。
步骤S120，数据处理模块120对埋点数据进行实时分析，将埋点数据从非结构化数据转换为结构化数据。在本实施例中，埋点验证系统10利用搜索引擎，例如，开源搜索引擎Elasticsearch，自动、实时获取客户端3回传的埋点数据，确保埋点数据一到达服务器1，即可被搜索到，避免了时间上的延迟。
客户端3回传的埋点数据为非结构化数据，例如，埋点数据可能是一个包括一长串字符的文本文件：
2017-02-2320:57:21
423|3010026410614|248c382809043ba84a8312ac1ce302085|865199028189698|460013950475581||5.0.0|Android4.4.4|Android|HMNOTE1LTE|61.158.152.208|scmiui.com|00:00:00:00:00:00|20009|3(action_id和process_id，两个组成了这个埋点的唯一标识)|{"ssid":"CMCC-EDU","bssid":"00:26:7a:2b:43:bb","appid":"10013","signal":-60,"openid":"4100026420614","msg":0}|PA1000_WIFI
数据处理模块120利用搜索引擎Elasticsearch将非结构化的埋点数据转化为结构化数据，以一个预定义的模型或预先定义好的方式进行组织，存储于数据库。例如，Elasticsearch从非结构化的埋点数据中提取埋点信息，例如埋点的标识信息"process_id：3"、"action_id：40001"，埋点对应的用户操作类型及时间等信息，写入结构化数据的相应数组。搜索引擎Elasticsearch将非结构化的埋点数据中的其他信息，例如客户端IP地址、MAC地址等，客户端应用软件的版本等信息，也写入结构化数据的相应数组。
以下为步骤S120中数据处理模块120处理后的结构化的数据示例：
Figure BDA0001287627000000081
Figure BDA0001287627000000091
步骤S130，数据校验模块130将结构化的埋点数据与埋点数据概要信息进行对比，判断应用软件30是否发生埋点数据丢失的情况。例如，埋点数据概要信息中记录了用户在使用应用软件30时触发了30个埋点，而结构化的埋点数据中只有该30个埋点中的26个埋点信息，那么就有4个埋点数据丢失了。
在另一个实施例中，该埋点验证方法包括步骤S110、S120、S130及S140。
步骤S110，数据接收模块110通过网络2接收客户端3实时传送的应用软件30的埋点数据及埋点数据概要信息。埋点数据概要信息记录了用户操作应用软件30的完整行为，例如用户在使用该应用软件30时执行了5项操作、触发了30个埋点，这些信息都会完整地记录在埋点数据概要信息中。受网络2的影响，或者是客户端3的应用软件30存在代码缺失的情况，客户端3传回的埋点数据可能发生缺失或丢失的情况。
步骤S120，数据处理模块120对埋点数据进行实时分析，将埋点数据从非结构化数据转换为结构化数据。在本实施例中，埋点验证系统10利用搜索引擎，例如，开源搜索引擎Elasticsearch，自动、实时获取客户端3回传的埋点数据，确保埋点数据一到达服务器1，即可被搜索到，避免了时间上的延迟。
客户端3回传的埋点数据为非结构化数据。例如，埋点数据可能是一个包括一长串字符的文本文件(请参上文中的例子)。数据处理模块120利用搜索引擎Elasticsearch将非结构化的埋点数据转化为结构化数据，以一个预定义的模型或预先定义好的方式进行组织，存储于数据库。例如，Elasticsearch从非结构化的埋点数据中提取埋点信息，例如埋点的标识信息"process_id：3"、"action_id：40001"，埋点对应的用户操作类型及时间等信息，写入结构化数据的相应数组。搜索引擎Elasticsearch将非结构化的埋点数据中的其他信息，例如客户端IP地址、MAC地址等，客户端应用软件的版本等信息，也写入结构化数据的相应数组。
步骤S130，数据校验模块130将结构化的埋点数据与埋点数据概要信息进行对比，判断应用软件30是否发生埋点数据丢失的情况。例如，埋点数据概要信息中记录了用户在使用应用软件30时触发了30个埋点，而结构化的埋点数据中只有该30个埋点中的26个埋点信息，那么就有4个埋点数据丢失了。
步骤S140：计算模块140将结构化的埋点数据与服务器端1的存储器11中存储的完整埋点规范文件进行比对，计算客户端3回传的埋点覆盖率，例如，26/30＝86.7％。
在另一个实施例中，该埋点验证方法包括步骤S110、S120、S130、S140及S150。
步骤S110，数据接收模块110通过网络2接收客户端3实时传送的应用软件30的埋点数据及埋点数据概要信息。埋点数据概要信息记录了用户操作应用软件30的完整行为，例如用户在使用该应用软件30时执行了5项操作、触发了30个埋点，这些信息都会完整地记录在埋点数据概要信息中。受网络2的影响，或者是客户端3的应用软件30存在代码缺失的情况，客户端3传回的埋点数据可能发生缺失或丢失的情况。
步骤S120，数据处理模块120对埋点数据进行实时分析，将埋点数据从非结构化数据转换为结构化数据。在本实施例中，埋点验证系统10利用搜索引擎，例如，开源搜索引擎Elasticsearch，自动、实时获取客户端3回传的埋点数据，确保埋点数据一到达服务器1，即可被搜索到，避免了时间上的延迟。
客户端3回传的埋点数据为非结构化数据。例如，埋点数据可能是一个包括一长串字符的文本文件(请参上文中的例子)。数据处理模块120利用搜索引擎Elasticsearch将非结构化的埋点数据转化为结构化数据，以一个预定义的模型或预先定义好的方式进行组织，存储于数据库。例如，Elasticsearch从非结构化的埋点数据中提取埋点信息，例如埋点的标识信息"process_id：3"、"action_id：40001"，埋点对应的用户操作类型及时间等信息，写入结构化数据的相应数组。搜索引擎Elasticsearch将非结构化的埋点数据中的其他信息，例如客户端IP地址、MAC地址等，客户端应用软件的版本等信息，也写入结构化数据的相应数组。
步骤S130，数据校验模块130将结构化的埋点数据与埋点数据概要信息进行对比，判断应用软件30是否发生埋点数据丢失的情况。例如，埋点数据概要信息中记录了用户在使用应用软件30时触发了30个埋点，而结构化的埋点数据中只有该30个埋点中的26个埋点信息，那么就有4个埋点数据丢失了。
步骤S140：计算模块140将结构化的埋点数据与服务器端1的存储器11中存储的完整埋点规范文件进行比对，计算客户端3回传的埋点覆盖率，例如，26/30＝86.7％。
步骤S150：报告生成模块150生成埋点校验报告。所述埋点校验报告包括，但不限于，埋点校验对应的应用软件30的相关信息，例如应用软件名称、版本等信息，校验发生的时间及服务器1的相关信息，校验结果数据等信息。报告生成模块150将该埋点校验报告存储于服务器1的存储器11。
在另一个实施例中，该埋点验证系统方法除了包括步骤S110、S120、S130、S140及S150，还可以包括步骤S160。步骤S110、S120、S130、S140及S150执行的操作请参上文中的实施例所述。在步骤S160，提醒模块16将埋点覆盖率及/或埋点校验报告发送至预设的客户端3。
所述提醒模块160可以是将每次埋点验证计算得到的埋点覆盖率及埋点校验报告发送至预设的客户端3，例如埋点工程师的工作电脑。也可以是，当计算得到的埋点覆盖率低于预设阀值(例如85％)时，发送埋点校验报告及预设格式的提醒信息，例如“软件标识为***、版本号为***的软件的埋点覆盖率为###，埋点数据缺失率过大，请检查并调整埋点方案”，至预设的埋点工程师的工作电脑。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (6)

1.一种埋点验证系统，运行于服务器，其特征在于，该系统包括：
数据接收模块，用于通过网络接收客户端实时传送的埋点数据及埋点数据概要信息，所述埋点数据概要信息记录了用户操作客户端应用软件的完整行为；
数据处理模块，用于利用搜索引擎自动、实时获取所述客户端回传的埋点数据，并对埋点数据进行实时分析，将埋点数据从非结构化数据转换为结构化数据；及
数据校验模块，用于将结构化的埋点数据与埋点数据概要信息进行对比，判断埋点数据是否丢失；
计算模块，用于将结构化的埋点数据与服务器端存储的完整埋点规范文件进行比对，计算客户端回传的埋点覆盖率。
2.如权利要求1所述的埋点验证系统，其特征在于，该系统还包括：
报告生成模块，用于生成埋点校验报告。
3.如权利要求1所述的埋点验证系统，其特征在于，该系统还包括：
提醒模块，用于将埋点覆盖率及/或埋点校验报告发送至预设的客户端。
4.如权利要求1所述的埋点验证系统，其特征在于，所述结构化数据以一个预定义的模型或预先定义好的方式存储埋点信息。
5.一种埋点验证方法，运行于服务器，其特征在于，该方法包括：
数据接收步骤：通过网络接收客户端实时传送的埋点数据及埋点数据概要信息，所述埋点数据概要信息记录了用户操作客户端应用软件的完整行为；
数据处理步骤：利用搜索引擎自动、实时获取所述客户端回传的埋点数据，并对埋点数据进行实时分析，将埋点数据从非结构化数据转换为结构化数据；
数据校验步骤：将结构化的埋点数据与埋点数据概要信息进行对比，判断埋点数据是否丢失；
该方法还包括：
计算步骤：将结构化的埋点数据与服务器端存储的完整埋点规范文件进行比对，计算客户端回传的埋点覆盖率。
6.如权利要求5所述的埋点验证方法，其特征在于，所述结构化数据以一个预定义的模型或预先定义好的方式存储埋点信息。
CN201710312809.1A 2017-05-05 2017-05-05 埋点验证系统及方法 Active CN107870860B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710312809.1A CN107870860B (zh) 2017-05-05 2017-05-05 埋点验证系统及方法
PCT/CN2018/085722 WO2018202171A1 (zh) 2017-05-05 2018-05-04 埋点验证系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710312809.1A CN107870860B (zh) 2017-05-05 2017-05-05 埋点验证系统及方法

Publications (2)

Publication Number Publication Date
CN107870860A CN107870860A (zh) 2018-04-03
CN107870860B true CN107870860B (zh) 2020-12-15

Family

ID=61761481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710312809.1A Active CN107870860B (zh) 2017-05-05 2017-05-05 埋点验证系统及方法

Country Status (2)

Country Link
CN (1) CN107870860B (zh)
WO (1) WO2018202171A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107870860B (zh) * 2017-05-05 2020-12-15 平安科技（深圳）有限公司 埋点验证系统及方法
CN108664401B (zh) * 2018-05-11 2021-10-12 创新先进技术有限公司 埋点合理性的评估方法及装置
CN111190807B (zh) * 2018-11-14 2023-08-18 杭州萤石软件有限公司 一种埋点测试方法及设备
CN111506489B (zh) * 2019-01-30 2023-05-30 斑马智行网络(香港)有限公司 测试方法、系统、设备、服务器及存储介质
CN112749078B (zh) * 2019-10-31 2024-06-18 北京沃东天骏信息技术有限公司 一种埋点测试方法和装置
CN111338933A (zh) * 2020-02-07 2020-06-26 北京每日优鲜电子商务有限公司 埋点验证方法、装置、设备及存储介质
CN111522900B (zh) * 2020-03-18 2023-09-01 携程计算机技术（上海）有限公司 非结构化数据的自动解析方法、系统、设备及存储介质
CN111459811B (zh) * 2020-03-26 2023-07-18 广州虎牙科技有限公司 埋点数据校验方法和装置
CN111611140B (zh) * 2020-04-30 2023-05-16 广州华多网络科技有限公司 埋点数据的上报验证方法、装置、电子设备及存储介质
CN113254335B (zh) * 2021-05-20 2024-04-16 北京达佳互联信息技术有限公司 测试数据的处理方法、装置、服务器及存储介质
CN113642047A (zh) * 2021-08-13 2021-11-12 上海哔哩哔哩科技有限公司 埋点数据验证方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158890A (zh) * 2011-02-16 2011-08-17 中国联合网络通信集团有限公司 测试数据的发送、接收方法、设备和系统
CN106156212A (zh) * 2015-04-22 2016-11-23 阿里巴巴集团控股有限公司 一种数据采集方法和系统、及其终端和服务器
CN106294101A (zh) * 2015-05-19 2017-01-04 阿里巴巴集团控股有限公司 页面打点测试方法和装置
CN106469185A (zh) * 2016-08-29 2017-03-01 浪潮电子信息产业股份有限公司 一种网站统计中进行数据收集的方法
CN106528432A (zh) * 2016-12-12 2017-03-22 北京三快在线科技有限公司 测试场景数据的构建方法及装置、埋点测试方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561777A (zh) * 2008-04-14 2009-10-21 中兴通讯股份有限公司 一种实现覆盖率测试的系统和方法
CN104915296B (zh) * 2015-06-29 2018-07-10 北京金山安全软件有限公司 埋点测试方法、数据的查询方法及装置
CN105046601A (zh) * 2015-07-09 2015-11-11 传成文化传媒（上海）有限公司 用户数据处理方法和系统
CN106571949A (zh) * 2016-09-23 2017-04-19 北京五八信息技术有限公司 埋点处理方法及装置
CN107870860B (zh) * 2017-05-05 2020-12-15 平安科技（深圳）有限公司 埋点验证系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158890A (zh) * 2011-02-16 2011-08-17 中国联合网络通信集团有限公司 测试数据的发送、接收方法、设备和系统
CN106156212A (zh) * 2015-04-22 2016-11-23 阿里巴巴集团控股有限公司 一种数据采集方法和系统、及其终端和服务器
CN106294101A (zh) * 2015-05-19 2017-01-04 阿里巴巴集团控股有限公司 页面打点测试方法和装置
CN106469185A (zh) * 2016-08-29 2017-03-01 浪潮电子信息产业股份有限公司 一种网站统计中进行数据收集的方法
CN106528432A (zh) * 2016-12-12 2017-03-22 北京三快在线科技有限公司 测试场景数据的构建方法及装置、埋点测试方法

Also Published As

Publication number Publication date
WO2018202171A1 (zh) 2018-11-08
CN107870860A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN107870860B (zh) 埋点验证系统及方法
CN110221982B (zh) 业务系统的性能测试方法、装置、设备及可读存储介质
JP6609047B2 (ja) アプリケーション情報リスクマネジメントのための方法及びデバイス
US20170337292A1 (en) Text address processing method and apparatus
US10698797B2 (en) Mobile application program testing method, server, terminal, and storage medium
CN112491602B (zh) 行为数据的监控方法、装置、计算机设备及介质
CN106878108B (zh) 网络流量回放测试方法及装置
CN105099811A (zh) 一种接口测试方法和装置
CN110647471B (zh) 接口测试用例生成方法、电子装置及存储介质
US10614223B2 (en) Security vulnerability detection
CN110866258B (zh) 快速定位漏洞方法、电子装置及存储介质
CN111338693B (zh) 基于模型构建的目标文件生成方法、服务器及存储介质
CN104579830A (zh) 服务监控方法及装置
US9811447B2 (en) Generating a fingerprint representing a response of an application to a simulation of a fault of an external service
CN114218110A (zh) 财务数据的对账测试方法、装置、计算机设备及存储介质
CN113938408B (zh) 一种数据流量测试方法、装置、服务器及存储介质
CN109543409B (zh) 用于检测恶意应用及训练检测模型的方法、装置及设备
CN107294981B (zh) 一种认证的方法和设备
CN110930193B (zh) 广告转化率评估方法、装置、计算机设备和存储介质
CN112416648A (zh) 数据校验方法及装置
CN113535578B (zh) 一种cts测试方法、装置及测试设备
CN112817816B (zh) 埋点处理方法、装置、计算机设备和存储介质
CN105162799A (zh) 检验客户端是否为合法移动终端的方法以及服务器
CN110532186B (zh) 利用验证码进行测试的方法、装置、电子设备和存储介质
CN114637672A (zh) 自动化数据测试方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant