CN110750740A - 网页请求中的采集数据校验方法及装置 - Google Patents
网页请求中的采集数据校验方法及装置 Download PDFInfo
- Publication number
- CN110750740A CN110750740A CN201910871572.XA CN201910871572A CN110750740A CN 110750740 A CN110750740 A CN 110750740A CN 201910871572 A CN201910871572 A CN 201910871572A CN 110750740 A CN110750740 A CN 110750740A
- Authority
- CN
- China
- Prior art keywords
- log
- verification
- rule
- data
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012795 verification Methods 0.000 claims abstract description 125
- 238000012544 monitoring process Methods 0.000 claims abstract description 35
- 239000012634 fragment Substances 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000013524 data verification Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 6
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
- G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开一种网页请求中的采集数据校验方法及装置，涉及数据处理技术领域，解决了采集数据校验依赖准实时计算任务，在非生产环境中不适用的问题。该方法包括：监测用户的页面请求，基于采集请求生成采集数据并保存于数据库；配置采集数据的校验分类规则，校验分类规则包括访问日志校验规则、点击日志校验规则、搜索日志校验规则和自定义日志校验规则；截取采集数据获取至少一个日志片段，日志片段为访问日志、点击日志、搜索日志或自定义日志；根据日志片段的类型匹配对应的校验分类规则，校验后输出各日志片段的校验结果。该装置应用于上述方案所提的方法。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种网页请求中的采集数据校验方法及装置。
背景技术
随着行为采集业务越来越多、场景越来越复杂，针对采集数据的测试工作日益增加，现有的采集数据校验流程为：首先将从网页端过滤的采集数据上报至服务器，准实时计算任务从kafka将采集数据落至ElasticSearch，再由自动化测试脚本调用日志查询模块从ElasticSearch中获取上报的日志字段，规则校验后输出校验结果，然而在非生产环境中，准实时计算任务处于未启动的状态，这将导致采集数据无法及时同步ElasticSearch，此种情况下自动化测试脚本无法再通过日志查询模块从ElasticSearch中获取实时上报的日志字段，可见，传统的采集数据校验模式依赖准实时计算任务，并不适用于非生产环境。
发明内容
本发明的目的在于提供一种网页请求中的采集数据校验方法及装置，解决了采集数据校验依赖准实时计算任务，在非生产环境中不适用的问题。
为了实现上述目的，本发明的一方面提供一种网页请求中的采集数据校验方法，包括：
监测用户的页面请求，基于采集请求生成采集数据并保存于数据库；
配置所述采集数据的校验分类规则，所述校验分类规则包括访问日志校验规则、点击日志校验规则、搜索日志校验规则、自定义日志中的一种或多种；
截取所述采集数据获取至少一个日志片段，所述日志片段为访问日志、点击日志、搜索日志或自定义日志；
根据所述日志片段的类型匹配对应的校验分类规则，校验后输出各所述日志片段的校验结果。
示例性地，校验规则包括长度校验、时间格式校验、值校验、编码校验、比对校验中的任一种或多种。
优选地，监测用户的页面请求，基于采集请求生成采集数据并保存于数据库的方法包括：
通过浏览器插件监测首页URL及后续页面产生的所有页面请求；
过滤行为采集接口的采集请求以生成采集数据，同时将所述采集数据上传数据库保存。
较佳地，所述浏览器插件包括：
权限配置文件，用于添加页面请求的监听权限；
内容抓取工具，用于抓取监听权限内的首页URL及后续页面中产生的页面请求；
数据发送工具，用于将抓取的页面请求通过ajax发送至数据库，同时请求数据库保存所述页面请求的数据。
可选地，所述权限配置文件为manifest.json，所述内容抓取工具为content_script.js，所述数据发送工具为background.js。
优选地，根据所述日志片段类型匹配对应的校验分类规则，校验后输出各所述日志片段的校验结果的方法包括：
通过识别所述日志片段中的字段匹配访问日志校验规则、点击日志校验规则、搜索日志校验规则或自定义日志校验规则；
基于匹配的校验分类规则采用对应的校验规则对各所述日志片段实施校验，并输出与所述日志片段一一对应的校验结果。
与现有技术相比，本发明提供的网页请求中的采集数据校验方法具有以下有益效果：
本发明提供的网页请求中的采集数据校验方法，通过监测用户，也即业务测试人员访问测试地址的页面请求，过滤其中的采集请求后生成采集数据并上传数据库保存，由于数据库中配置有多种校验规则，数据库通过对采集数据采取分割或截取处理可以得到至少一个日志片段，如访问日志、点击日志、搜索日志或自定义日志，之后数据库自动根据日志片段匹配对应的日志片段校验规则，同时采用多线程方式自动校验并输出各日志片段的校验结果，最终能够实现一边浏览测试地址一边查看校验结果的测试体验，显著提高了测试效率。
另外，由于本发明提供的采集数据校验方法不依赖准实时计算任务和ElasticSearch，因此不会产生非生产环境中不适用的问题。
本发明的另一方面提供一种网页请求中的采集数据校验装置，应用有上述技术方案提到的网页请求中的采集数据校验方法，该装置包括:
监测单元，用于监测用户的页面请求，基于采集请求生成采集数据并保存于数据库；
配置单元，用于配置所述采集数据的校验分类规则，所述校验分类规则包括访问日志校验规则、点击日志校验规则、搜索日志校验规则和自定义日志校验规则；
片段截取单元，用于截取所述采集数据获取至少一个日志片段，所述日志片段为访问日志、点击日志、搜索日志、自定义日志中的一种或多种；
校验输出单元，用于根据所述日志片段的类型匹配对应的校验分类规则，校验后输出各所述日志片段的校验结果。
优选地，所述监测单元包括：
页面请求监测模块，用于通过浏览器插件监测首页URL及后续页面产生的所有页面请求；
接口过滤模块，用于过滤行为采集接口的采集请求以生成采集数据，同时将所述采集数据上传数据库保存。
优选地，所述校验输出单元包括：
规则匹配模块，用于数据库通过识别所述日志片段中的字段对应匹配请求日志校验规则、访问日志校验规则、点击日志校验规则、搜索日志校验规则或自定义日志校验规则；
结果输出模块，用于基于匹配的校验分类规则采用对应的校验规则对各所述日志片段实施校验，并输出与所述日志片段一一对应的校验结果。
与现有技术相比，本发明提供的网页请求中的采集数据校验装置的有益效果与上述技术方案提供的网页请求中的采集数据校验方法的有益效果相同，在此不做赘述。
本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述网页请求中的采集数据校验方法的步骤。
与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的网页请求中的采集数据校验方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为实施例一中网页请求中的采集数据校验方法的一种流程示意图；
图2为实施例一中网页请求中的采集数据校验方法的另一种流程示意图；
图3为实施例一中校验结果报告的示例图；
图4为实施例一中校验结果的详情示例图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
请参阅图1和图2，本实施例提供一种网页请求中的采集数据校验方法，包括：
监测用户的页面请求，基于采集请求生成采集数据并保存于数据库；配置采集数据的校验分类规则，校验分类规则包括访问日志校验规则、点击日志校验规则、搜索日志校验规则和自定义日志校验规则；截取采集数据获取至少一个日志片段，日志片段为访问日志、点击日志、搜索日志、自定义日志中的一种或多种；根据日志片段的类型匹配对应的校验分类规则，校验后输出各日志片段的校验结果。
本实施例提供的网页请求中的采集数据校验方法中，通过监测用户，也即业务测试人员访问测试地址的页面请求，过滤其中的采集请求(也即SSA请求)后生成采集数据并上传数据库保存，由于数据库中配置有多种校验规则，数据库通过对采集数据采取分割或截取处理可以得到至少一个日志片段，如访问日志、点击日志、搜索日志或自定义日志，之后数据库自动根据日志片段匹配对应的日志片段校验规则，同时采用多线程方式自动校验并输出各日志片段的校验结果，最终能够实现一边浏览测试地址一边查看校验结果的测试体验，示例性地，上述数据库优选Mysql。
可见，由于本实施例提供的采集数据校验方法不依赖准实时计算任务和ElasticSearch，因此不会产生非生产环境中不适用的问题。此外，还能够解决人工测试面临的校验点多、校验繁琐、验证耗时长等问题，构建了监测+校验的全流程自动化测试方案。
上述实施例中的校验规则包括长度校验、时间格式校验、值校验、编码校验、比对校验中的任一种或多种，示例性地，访问日志校验规则和点击日志校验规则均包括长度校验和时间格式校验，自定义日志校验规则包括值校验和编码校验，搜索日志校验规则包括比对校验，具体实施时，用户可通过管理平台增减、修改相应的日志校验规则，以调整本实施例的适用场景。
上述实施例中监测用户的页面请求，基于采集请求生成采集数据并保存于数据库的方法包括：
通过浏览器插件监测首页URL及后续页面产生的所有页面请求；过滤行为采集接口的采集请求以生成采集数据，同时将采集数据上传数据库保存。
示例性地，浏览器插件可以为Chrome插件，其主要由以下三部分组成：权限配置文件，用于添加页面请求的监听权限；内容抓取工具，用于抓取监听权限内的首页URL及后续页面中产生的页面请求；数据发送工具，用于将抓取的页面请求通过ajax发送至数据库，同时请求数据库保存所述页面请求的数据。可选地，上述权限配置文件为manifest.json，上述内容抓取工具为content_script.js，上述数据发送工具为background.js。
具体实施时，通过manifest.json添加监听权限，用于监听指定的URL地址访问请求，如监听发往http://xxx.xxx.xxx/sa/的所有请求，利用content_script.js抓取网页的请求内容，通过sendMessage/onMessage进行数据交换，调用background.js将URL相关信息通过ajax(XMLHttpRequest)发送给数据库，也即将采集数据存储于数据库。
为便于理解，以下对采集数据做示例性说明：
http://click.suning.cn/sa/salog.gif？t＝1&id＝156766320979837704&i＝d488778a&type＝web&v＝SA-2.19.08.29.1&ct＝1567663210537&ids＝{"vid":"156766321017319729","sid":"156766321053492654","uid":"","euid":"","ln":"","lt":"G","ls":""}&curl＝http://www.suning.com/？safp＝d488778a.8tLoX.0.93eddc25e7&furl＝&ua＝Mozilla/5.0(Windows NT 6.1；Win64；x64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/76.0.3809.132
Safari/537.36&pn＝pageid＝homepage1；pgcate＝10001；pgtitle＝首页
&utm＝direct|direct|||&clnt_info＝{"ter":"PC","os":"Win7","br":"chrome
76.0.3809.132","sr":"1366x768","col":"24bit","flash":0,"java":0}&snma＝1|156766321017319729|1567663210173|1567663210173|1567663210526|1|1&title＝{"ftitle":"","ctitle":"6IuP5a6B5piT6LStKFN1bmluZy5jb20pLemAgei0p+abtOWHhuaXtuOAgeS7t+agvOabtOi2heWAvOOAgeS4iuaWsOi0p+abtOW/qw＝＝"}&ft＝{"fit":"","fot":"1567663210534"}&ext＝{"err":"","clid":"","clickDots":"","ab_test":"","ad_sp":"","item_Id":"","urlPattern":"www.suning.com/homepage1.html","adtype":"","adid":"","ad_clickid":"","safp":"d488778a.8tLoX.0.93eddc25e7"}&sec＝1&_snvd＝1565619534907in1QZKtNrKi。
将上述采集数据以&符号进行分割，分割后得到的日志片段为：
t＝1
id＝156766320979837704
i＝d488778a
type＝web
v＝SA-2.19.08.29.1
ct＝1567663210537
ids＝{"vid":"156766321017319729","sid":"156766321053492654","uid":"","euid":"","ln":"","lt":"G","ls":""}
curl＝http://www.suning.com/？safp＝d488778a.8tLoX.0.93eddc25e7
furl＝
ua＝Mozilla/5.0(Windows NT 6.1；Win64；x64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/76.0.3809.132Safari/537.36
pn＝pageid＝homepage1；pgcate＝10001；pgtitle＝首页
utm＝direct|direct|||
clnt_info＝{"ter":"PC","os":"Win7","br":"chrome76.0.3809.132","sr":"1366x768","col":"24bit","flash":0,"java":0}
snma＝1|156766321017319729|1567663210173|1567663210173|1567663210526|1|1
title＝{"ftitle":"","ctitle":"6IuP5a6B5piT6LStKFN1bmluZy5jb20pLemAgei0p+abtOWHhuaXtuOAgeS7t+agvOabtOi2heWAvOOAgeS4iuaWsOi0p+abtOW/qw＝＝"}
ft＝{"fit":"","fot":"1567663210534"}
ext＝{"err":"","clid":"","clickDots":"","ab_test":"","ad_sp":"","item_Id":"","urlPattern":"www.suning.com/homepage1.html","adtype":"","adid":"","ad_clickid":"","safp":"d488778a.8tLoX.0.93eddc25e7"}
sec＝1
snvd＝1565619534907in1QZKtNrKi。
上述实施例中根据日志片段类型匹配对应的校验分类规则，校验后输出各日志片段的校验结果的方法包括：
数据库通过识别日志片段中的字段匹配访问日志校验规则、点击日志校验规则、搜索日志校验规则或自定义日志校验规则；基于匹配的校验分类规则采用对应的校验规则对各日志片段实施校验，并输出与日志片段一一对应的校验结果。
通过各片段的采集字段来匹配相应的日志校验规则，例如，字段“t”代表日志类型，“t＝1”表示访问日志，“t＝2”表示点击日志，“t＝3”表示搜索日志，“t＝4”表示自定义日志，字段“i”代表网站ID，字段“ct”代表客户端时间戳，字段“event_type”代表事件类型，字段“evdl”代表自定义信息，字段“curl”代表搜索页面url，字段“keyword”代表搜索关键字。当数据库截取的日志片段为访问日志和/或点击日志时，校验该访问日志的长度和时间格式是否符合预设模板要求，若符合则校验通过，若不符合则校验不通过，当数据库截取的日志片段为自定义日志时，校验该自定义日志的值和/或编码是否等于预设模板的值和/或编码，若等于则校验通过，若不等于则校验不通过，当数据库截取的日志片段为搜索日志时，将该搜索日志与预设模板比对，若比对成功则校验通过，若不成功则校验不通过。
例如，截取的日志片段为“t＝1&id＝156766320979837704”，“t＝1”表示该日志片段为访问日志，对应的id值为156766320979837704，长度为18位，若访问日志校验规则中id值的预设模板长度也为18位则校验通过，若访问日志校验规则中id值的预设模板长度不是18位则校验不通过。以此类推，分别对截取的多个日志片段执行匹配校验，最终将多个访问日志的校验结果以滚屏方式动态展示，如图3所示，同时将校验不通过的访问日志突出标记，每条校验结果都可点击查看详情，详情展示了日志每个字段的校验情况，如图4所示。
实施例二
本实施例提供一种网页请求中的采集数据校验装置，包括：
监测单元，用于监测用户的页面请求，基于采集请求生成采集数据并保存于数据库；
配置单元，用于配置采集数据的校验分类规则，校验分类规则包括访问日志校验规则、点击日志校验规则、搜索日志校验规则和自定义日志校验规则；
片段截取单元，用于截取采集数据获取至少一个日志片段，日志片段为访问日志、点击日志、搜索日志、自定义日志中的一种或多种；
校验输出单元，用于根据日志片段的类型匹配对应的校验分类规则，校验后输出各日志片段的校验结果。
优选地，监测单元包括：
页面请求监测模块，用于通过浏览器插件监测首页URL及后续页面产生的所有页面请求；
接口过滤模块，用于过滤行为采集接口的采集请求以生成采集数据，同时将采集数据上传数据库保存。
优选地，校验输出单元包括：
规则匹配模块，用于数据库通过识别日志片段中的字段匹配访问日志校验规则、点击日志校验规则、搜索日志校验规则或自定义日志校验规则；
结果输出模块，用于基于匹配的校验分类规则采用对应的校验规则对各日志片段实施校验，并输出与日志片段一一对应的校验结果。
与现有技术相比，本实施例提供的网页请求中的采集数据校验装置的有益效果与上述实施例提供的网页请求中的采集数据校验方法的有益效果相同，在此不做赘述。
实施例三
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述网页请求中的采集数据校验方法的步骤。
与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的网页请求中的采集数据校验方法的有益效果相同，在此不做赘述。
本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，上述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种网页请求中的采集数据校验方法，其特征在于，包括：
监测用户的页面请求，基于采集请求生成采集数据并保存于数据库；
配置所述采集数据的校验分类规则，所述校验分类规则包括访问日志校验规则、点击日志校验规则、搜索日志校验规则和自定义日志校验规则；
截取所述采集数据获取至少一个日志片段，所述日志片段为访问日志、点击日志、搜索日志、自定义日志中的一种或多种；
根据所述日志片段的类型匹配对应的校验分类规则，校验后输出各所述日志片段的校验结果。
2.根据权利要求1所述的方法，其特征在于，所述校验的校验规则包括长度校验、时间格式校验、值校验、编码校验、比对校验中的任一种或多种。
3.根据权利要求2所述的方法，其特征在于，监测用户的页面请求，基于采集请求生成采集数据并保存于数据库的方法包括：
通过浏览器插件监测首页URL及后续页面产生的所有页面请求；
过滤行为采集接口的采集请求以生成采集数据，同时将所述采集数据上传数据库保存。
4.根据权利要求3所述的方法，其特征在于，所述浏览器插件包括：
权限配置文件，用于添加页面请求的监听权限；
内容抓取工具，用于抓取监听权限内的首页URL及后续页面中产生的页面请求；
数据发送工具，用于将抓取的页面请求通过ajax发送至数据库，同时请求数据库保存所述页面请求的数据。
5.根据权利要求4所述的方法，其特征在于，所述权限配置文件为manifest.json，所述内容抓取工具为content_script.js，所述数据发送工具为background.js。
6.根据权利要求1至5任一项所述的方法，其特征在于，根据所述日志片段类型匹配对应的校验分类规则，校验后输出各所述日志片段的校验结果的方法包括：
通过识别所述日志片段中的字段匹配访问日志校验规则、点击日志校验规则、搜索日志校验规则或自定义日志校验规则；
基于匹配的校验分类规则采用对应的校验规则对各所述日志片段实施校验，并输出与所述日志片段一一对应的校验结果。
7.一种网页请求中的采集数据校验装置，其特征在于，包括：
监测单元，用于监测用户的页面请求，基于采集请求生成采集数据并保存于数据库；
配置单元，用于配置所述采集数据的校验分类规则，所述校验分类规则包括访问日志校验规则、点击日志校验规则、搜索日志校验规则和自定义日志校验规则；
片段截取单元，用于截取所述采集数据获取至少一个日志片段，所述日志片段为访问日志、点击日志、搜索日志、自定义日志中的一种或多种；
校验输出单元，用于根据所述日志片段的类型匹配对应的校验分类规则，校验后输出各所述日志片段的校验结果。
8.根据权利要求7所述的装置，其特征在于，所述监测单元包括：
页面请求监测模块，用于通过浏览器插件监测首页URL及后续页面产生的所有页面请求；
接口过滤模块，用于过滤行为采集接口的采集请求以生成采集数据，同时将所述采集数据上传数据库保存。
9.根据权利要求7所述的装置，其特征在于，所述校验输出单元包括：
规则匹配模块，用于通过识别所述日志片段中的字段匹配访问日志校验规则、点击日志校验规则、搜索日志校验规则或自定义日志校验规则；
结果输出模块，用于基于匹配的校验分类规则采用对应的校验规则对各所述日志片段实施校验，并输出与所述日志片段一一对应的校验结果。
10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910871572.XA CN110750740A (zh) | 2019-09-16 | 2019-09-16 | 网页请求中的采集数据校验方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910871572.XA CN110750740A (zh) | 2019-09-16 | 2019-09-16 | 网页请求中的采集数据校验方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110750740A true CN110750740A (zh) | 2020-02-04 |
Family
ID=69276477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910871572.XA Pending CN110750740A (zh) | 2019-09-16 | 2019-09-16 | 网页请求中的采集数据校验方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110750740A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111832072A (zh) * | 2020-07-02 | 2020-10-27 | 上海识装信息科技有限公司 | 一种日志平台防非法操作的方法及系统 |
| CN113821829A (zh) * | 2021-01-07 | 2021-12-21 | 北京沃东天骏信息技术有限公司 | 一种数据校验的方法、装置和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103401704A (zh) * | 2013-07-24 | 2013-11-20 | 佳都新太科技股份有限公司 | 一种分布式日志采集服务器的实现方案 |
| CN105843941A (zh) * | 2016-04-01 | 2016-08-10 | 北京小米移动软件有限公司 | 日志校验方法及装置 |
| US20180025071A1 (en) * | 2016-07-20 | 2018-01-25 | LogsHero Ltd. | Automatic event classification |
| CN107844400A (zh) * | 2017-10-16 | 2018-03-27 | 阿里巴巴集团控股有限公司 | 一种日志数据的校验方法及装置 |
-
2019
- 2019-09-16 CN CN201910871572.XA patent/CN110750740A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103401704A (zh) * | 2013-07-24 | 2013-11-20 | 佳都新太科技股份有限公司 | 一种分布式日志采集服务器的实现方案 |
| CN105843941A (zh) * | 2016-04-01 | 2016-08-10 | 北京小米移动软件有限公司 | 日志校验方法及装置 |
| US20180025071A1 (en) * | 2016-07-20 | 2018-01-25 | LogsHero Ltd. | Automatic event classification |
| CN107844400A (zh) * | 2017-10-16 | 2018-03-27 | 阿里巴巴集团控股有限公司 | 一种日志数据的校验方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111832072A (zh) * | 2020-07-02 | 2020-10-27 | 上海识装信息科技有限公司 | 一种日志平台防非法操作的方法及系统 |
| CN111832072B (zh) * | 2020-07-02 | 2021-06-04 | 上海识装信息科技有限公司 | 一种日志平台防非法操作的方法及系统 |
| CN113821829A (zh) * | 2021-01-07 | 2021-12-21 | 北京沃东天骏信息技术有限公司 | 一种数据校验的方法、装置和存储介质 |
| CN113821829B (zh) * | 2021-01-07 | 2024-04-16 | 北京沃东天骏信息技术有限公司 | 一种数据校验的方法、装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107562620B (zh) | 一种埋点自动设置方法和装置 | |
| US10362050B2 (en) | System and methods for scalably identifying and characterizing structural differences between document object models | |
| WO2022117063A1 (zh) | 孤立森林的训练方法，网络爬虫的识别方法及装置 | |
| US9614862B2 (en) | System and method for webpage analysis | |
| CN107204960B (zh) | 网页识别方法及装置、服务器 | |
| WO2017113677A1 (zh) | 处理用户行为数据的方法和系统 | |
| CN109376291B (zh) | 一种基于网络爬虫的网站指纹信息扫描的方法及装置 | |
| CN107085549B (zh) | 故障信息生成的方法和装置 | |
| CN103237094B (zh) | 一种识别用户的方法及装置 | |
| CN108763274B (zh) | 访问请求的识别方法、装置、电子设备及存储介质 | |
| CN108334641B (zh) | 采集用户行为数据的方法、系统、电子设备、存储介质 | |
| CN107508809B (zh) | 识别网址类型的方法及装置 | |
| Roy Choudhary et al. | X-PERT: a web application testing tool for cross-browser inconsistency detection | |
| CN106294101A (zh) | 页面打点测试方法和装置 | |
| CN103618696B (zh) | 对cookie信息进行处理的方法和服务器 | |
| US11423096B2 (en) | Method and apparatus for outputting information | |
| CN104935601B (zh) | 基于云的网站日志安全分析方法、装置及系统 | |
| CN104202291A (zh) | 基于多因素综合评定方法的反钓鱼方法 | |
| CN102663052A (zh) | 一种提供搜索引擎搜索结果的方法及装置 | |
| CN114528457A (zh) | Web指纹检测方法及相关设备 | |
| CN110750740A (zh) | 网页请求中的采集数据校验方法及装置 | |
| Hess | Discovering digital library user behavior with google analytics | |
| CN109862074B (zh) | 一种数据采集方法、装置、可读介质及电子设备 | |
| CN114157568B (zh) | 一种浏览器安全访问方法、装置、设备及存储介质 | |
| US20150113383A1 (en) | Analysis of web application state |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200204 |
|
| RJ01 | Rejection of invention patent application after publication |