CN113821423B - 数据采集方法、装置、存储介质和计算设备 - Google Patents
数据采集方法、装置、存储介质和计算设备 Download PDFInfo
- Publication number
- CN113821423B CN113821423B CN202111136061.7A CN202111136061A CN113821423B CN 113821423 B CN113821423 B CN 113821423B CN 202111136061 A CN202111136061 A CN 202111136061A CN 113821423 B CN113821423 B CN 113821423B
- Authority
- CN
- China
- Prior art keywords
- component
- data
- event
- index
- sdk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开的实施方式提供了一种数据采集方法、装置、存储介质和计算设备。包括：为目标网页配置对应于数据采集SDK的shell模块，使所述shell模块嵌套所述目标网页中的表单组件；基于所述shell模块遍历所述表单组件和所述表单组件下的表单项子组件，检测与所述表单组件和表单项子组件相关的操作事件；根据由所述数据采集SDK提供的与所述操作事件对应的事件计算模块，计算与所述表单组件和表单项子组件相关的操作事件的事件数据；将所述事件数据存储到所述数据采集SDK的事件存储模块中，并由与所述数据采集SDK关联的日志SDK将事件存储模块中存储的事件数据上传到指定数据源。如此可以提高数据采集效率。
Description
技术领域
本公开的实施方式涉及计算机技术领域，更具体地，本公开的实施方式涉及一种数据采集方法、装置、存储介质和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
针对数据采集，一般可以采用埋点技术，即在页面中植入用于采集数据的代码，由该代码自动采集并上传页面中产生的数据。
现有的埋点技术可以分为手动埋点和自动埋点两大类型。手动埋点需要开发人员手动编写埋点代码并写到页面中，由于是人工操作因此存在埋点时间长、易出错、成本高等问题。而自动埋点无需手动编写代码程序会自动将全量采集代码植入页面，以实现自动化的埋点；但是，由于植入的代码是通用代码，其采集到的数据不一定是采集者实际需要的数据，因此自动埋点存在无法满足个性化采集的需求。
发明内容
在本公开提供了一种数据采集及数据处理的方法、装置、存储介质和计算设备。
在本公开实施方式的第一方面中，提供了一种数据采集方法包括：
为目标网页配置对应于数据采集SDK的shell模块，使所述shell模块嵌套所述目标网页中的表单组件；
基于所述shell模块遍历所述表单组件和所述表单组件下的表单项子组件，检测与所述表单组件和表单项子组件相关的操作事件；
根据由所述数据采集SDK提供的与所述操作事件对应的事件计算模块，计算与所述表单组件和表单项子组件相关的操作事件的事件数据；
将所述事件数据存储到所述数据采集SDK的事件存储模块中，并由与所述数据采集SDK关联的日志SDK将事件存储模块中存储的事件数据上传到指定数据源。
可选的，还包括：
利用所述数据采集SDK提供的事件封装接口，封装与所述表单组件和表单项子组件相关的操作事件。
可选的，所述日志SDK将事件存储模块中存储的事件数据上传到指定数据源，包括：
日志SDK根据指定数据源的数据标准，将所述事件存储模块中存储的事件数据转换为符合所述数据标准的标准事件数据后上传到所述数据源。
可选的，所述计算与所述表单组件和表单项子组件相关的操作事件的事件数据，包括：
计算与所述表单组件相关的操作事件的表单指标，和计算与所述表单项子组件相关的操作事件的表单项指标。
可选的，所述将所述事件数据存储到所述数据采集SDK的事件存储模块中，包括：
将表单指标存储到所述数据采集SDK的事件存储模块中的第一字段下；
将表单项指标存储到所述数据采集SDK的事件存储模块中的第二字段下。
可选的，还包括：
接收所述指定数据源返回的指令；其中，所述指令为与基于所述事件数据进行操作行为分析的分析结果对应的指令；
根据所述指令对表单组件进行调整。
可选的，所述对表单组件进行调整包括显示针对所述表单组件的提示信息；所述提示信息包括以下至少一种：
填写说明、跳转链接。
可选的，所述目标网页包括中后台系统的网页，所述表单组件包括中后台系统的网页中的表单组件。
在本公开实施方式的第二方面中，提供了一种数据处理方法包括：
获取目标网页中的与表单组件和表单项子组件相关的操作事件的事件数据；其中，所述事件数据由上述任一数据采集的实施例执行得到；
基于目标网页中的与表单组件和表单项子组件相关的操作事件的事件数据，计算所述表单组件的第一类体验指标；
基于操作所述表单组件的表单使用方针对所述表单组件的用户反馈数据，计算所述表单组件的第二类体验指标；
针对所述第一类体验指标和第二类型体验指标进行加权计算，得到与所述表单组件对应的综合体验指标。
可选的，所述第一类体验指标的加权系数大于所述第二类体验指标。
可选的，所述与表单组件和表单项子组件相关的操作事件的事件数据，包括：
与所述表单组件相关的操作事件的表单指标和与所述表单组件下的表单项子组件相关的操作事件的表单项指标。
可选的，所述基于目标网页中的与表单组件和表单项子组件相关操作事件的事件数据，计算所述表单组件的第一类体验指标，包括：
对所述表单指标和所述表单项指标进行加权计算，得到与所述表单组件的第一类体验指标。
可选的，所述加权计算时还包括填写时间因子和/或错误纠正时间因子。
可选的，所述表单指标包括表单操作时长、所述表单项指标包括表单项数，所述填写时间因子通过以下方式确定：
在平均单项操作时长小于第一预设时长时，确定填写时间因子为1；
在平均单项操作时长大于或者等于第一预设时长时，确定填写时间因子为0；
其中，所述平均单项操作时长等于表单操作时长与表单项数的比值。
可选的，所述表单指标包括表单错误解决时长、所述表单项指标包括表单项数，所述错误纠正时间因子通过以下方式确定：
在平均错误解决时长小于第二预设时长时，确定错误纠正时间因子为1；
在平均错误解决时长大于或者等于第二预设时长时，确定错误纠正时间因子为0；
其中，所述平均错误解决时长等于表单错误解决时长与表单项数的比值。
可选的，所述目标网页包括中后台系统的网页，所述表单组件包括中后台系统的网页中的表单组件。
在本公开实施方式的第三方面中，提供了一种数据采集装置，所述装置包括：
配置单元，为目标网页配置对应于数据采集SDK的shell模块，使所述shell模块嵌套所述目标网页中的表单组件；
检测单元，基于所述shell模块遍历所述表单组件和所述表单组件下的表单项子组件，检测与所述表单组件和表单项子组件相关的操作事件；
计算单元，根据由所述数据采集SDK提供的与所述操作事件对应的事件计算模块计算与所述表单组件和表单项子组件相关的操作事件的事件数据；
采集单元，将所述事件数据存储到所述数据采集SDK的事件存储模块中，并由与所述数据采集SDK关联的日志SDK将事件存储模块中存储的事件数据上传到指定数据源。
可选的，还包括：
封装单元，利用所述数据采集SDK提供的事件封装接口，封装与所述表单组件和表单项子组件相关的操作事件。
可选的，所述采集单元还包括：
日志SDK根据指定数据源的数据标准，将所述事件存储模块中存储的事件数据转换为符合所述数据标准的标准事件数据后上传到所述数据源。
可选的，所述计算单元还包括：
计算与所述表单组件相关的操作事件的表单指标，和计算与所述表单项子组件相关的操作事件的表单项指标。
可选的，所述采集单元还包括：
将表单指标存储到所述数据采集SDK的事件存储模块中的第一字段下；将表单项指标存储到所述数据采集SDK的事件存储模块中的第二字段下。
可选的，还包括：
调整单元，接收所述指定数据源返回的指令；其中，所述指令为与基于所述事件数据进行操作行为分析的分析结果对应的指令；根据所述指令对表单组件进行调整。
可选的，所述对表单组件进行调整包括显示针对所述表单组件的提示信息；所述提示信息包括以下至少一种：
填写说明、跳转链接。
可选的，所述目标网页包括中后台系统的网页，所述表单组件包括中后台系统的网页中的表单组件。
在本公开实施方式的第四方面中，提供了一种数据处理装置，所述装置包括：
获取单元，获取目标网页中的与表单组件和表单项子组件相关的操作事件的事件数据；其中，所述事件数据由上述任一数据采集的实施例执行得到；
第一计算单元，基于目标网页中的与表单组件和表单项子组件相关的操作事件的事件数据，计算所述表单组件的第一类体验指标；
第二计算单元，基于操作所述表单组件的表单使用方针对所述表单组件的用户反馈数据，计算所述表单组件的第二类体验指标；
第三计算单元，针对所述第一类体验指标和第二类型体验指标进行加权计算，得到与所述表单组件对应的综合体验指标。
可选的，所述第一类体验指标的加权系数大于所述第二类体验指标。
可选的，所述与表单组件和表单项子组件相关的操作事件的事件数据，包括：
与所述表单组件相关的操作事件的表单指标和与所述表单组件下的表单项子组件相关的操作事件的表单项指标。
可选的，所述第一计算单元，包括：
对所述表单指标和所述表单项指标进行加权计算，得到与所述表单组件的第一类体验指标。
可选的，所述加权计算时还包括填写时间因子和/或错误纠正时间因子。
可选的，所述表单指标包括表单操作时长、所述表单项指标包括表单项数，所述填写时间因子通过以下方式确定：
在平均单项操作时长小于第一预设时长时，确定填写时间因子为1；
在平均单项操作时长大于或者等于第一预设时长时，确定填写时间因子为0；
其中，所述平均单项操作时长等于表单操作时长与表单项数的比值。
可选的，所述表单指标包括表单错误解决时长、所述表单项指标包括表单项数，所述错误纠正时间因子通过以下方式确定：
在平均错误解决时长小于第二预设时长时，确定错误纠正时间因子为1；
在平均错误解决时长大于或者等于第二预设时长时，确定错误纠正时间因子为0；
其中，所述平均错误解决时长等于表单错误解决时长与表单项数的比值。
可选的，所述目标网页包括中后台系统的网页，所述表单组件包括中后台系统的网页中的表单组件。
在本公开实施方式的第五方面中，提供了一种计算机可读存储介质，包括：
当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如前任一项所述的数据采集和/或数据处理方法。
在本公开实施方式的第六方面中，提供了一种计算设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令，以实现如前任一项所述的数据采集和/或数据处理方法。
根据本公开实施方式提供的数据采集方案，通过shell模块嵌套目标网页中的表单组件，无需对表单组件进行改造就可以实现对表单组件的数据采集。从而实现数据采集的快速部署，且部署成本低。
根据本公开实施方式提供的数据处理方案，通过结合反映表单组件客观体验的第一类体验指标和反映表单组件主观体验的第二类体验指标，确定用于评价表单组件的综合体验分。这样确定的综合体验分兼顾客观数据和主观数据，可以更为精准的体现表单组件的真实体验效果。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
图1示意性地示出了本公开提供的数据采集及数据处理的整体的系统架构图；
图2示意性地示出了本公开提供的数据采集方法示意图；
图3示意性地示出了本公开提供的表单的示意图；
图4示意性地示出了本公开提供的数据处理方法示意图；
图5示意性地示出了本公开提供的问卷内容的示意图；
图6示意性地示出了本公开提供的介质示意图；
图7示意性地示出了本公开提供的数据采集装置示意图；
图8示意性地示出了本公开提供的数据采集装置示意图；
图9示意性地示出了本公开提供的计算设备示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本公开的实施方式，提出了一种数据采集以及数据处理的方法、计算机可读存储介质、装置和计算设备。
在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。
发明概述
本公开人发现，手动埋点需要开发人员手动编写埋点代码并写到页面中，由于是人工操作因此存在埋点时间长、易出错、成本高等问题。而自动埋点无需手动编写代码程序会自动将全量采集代码植入页面，以实现自动化的埋点；但是，由于植入的代码是通用代码，其采集到的数据不一定是采集者实际需要的数据，因此自动埋点存在无法满足个性化采集的需求。
为此，本公开旨在提供一种数据采集方案，通过shell模块嵌套目标网页中的表单组件，无需对表单组件进行改造就可以实现对表单组件的数据采集。一方面可以实现数据采集的快速部署，且部署成本低。另一方面由于数据采集代码在数据采集SDK中，因此可以在数据采集SDK中自定义采集的数据类型，而无需在网页中部署自定义采集代码。
本公开还提供一种数据处理方案，通过结合反映表单组件客观体验的第一类体验指标和反映表单组件主观体验的第二类体验指标，确定用于评价表单组件的综合体验分。这样确定的综合体验分兼顾客观数据和主观数据，可以更为精准的体现表单组件的真实体验效果。
在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。
应用场景总览
首先参考图1所示的一种数据采集及数据处理的整体的系统架构图。在该系统架构图中，包括数据采集子系统和数据处理子系统。
其中，数据采集子系统与数据处理子系统对应的可以是相互独立的不同设备。例如，数据采集子系统对应的是客户端设备(Client)，所述客户端设备可以是指被采集数据的对象；而数据处理子系统对应的是服务端设备(Server)，所述服务端设备可以是指处理采集数据的对象。
在有的实施例中，上述数据采集子系统和数据处理子系统可以是集成在一个设备中。例如某些对数据时效性要求较高的场景中，通过将数据处理子系统集成在数据采集子系统所在的设备中，由于数据采集和数据处理是在同一设备中进行的，因此在采集到数据后可以直接进行数据处理，从而可以避免数据传输造成的数据延时问题。
在图1中，数据采集子系统中还包括若干功能模块，如数据采集、数据计算和数据上报模块。
其中，数据采集模块用于采集上述客户端设备上的预设类型的数据；例如针对客户端设备打开的网页，可以采集该网页中与表单组件相关的操作事件，进一步的还可以采集更为细粒度的如所述表单组件下的表单项子组件相关的操作事件。
数据计算模块用于对数据采集模块采集到的操作事件进行计算，以得到上述操作事件的事件数据。
数据上报模块用于将数据计算模块输出的事件数据发送给上述服务端。
在图1中，数据处理子系统中包括若干功能模块，如数据处理、数据展示、操作行为分析和优化改进模块。
其中，数据处理模块用于对上述数据采集子系统中的数据上报模块上传的事件数据进行处理，以得到各种指标值。
数据展示模块用于将数据处理模块计算出的指标值展示给对应的角色对象。所述展示方式可以按需展示。例如针对不同的角色对象，可以展示不同的指标值。以针对网页的数据采集和数据处理为例，数据处理模块计算出的各种指标值中即可以包括网页前端的指标值，也可以包括网页后端的指标值，相应的，可向不同类型的数据接收者展示不同类型的指标值，例如，数据展示模块可以向前端工程师展示上述网页前端的指标值，而向后端工程师展示上述网页后端的指标值。
操作行为分析模块用于对上述事件数据或者上述指标进行操作行为分析，以得到分析结果。
优化改进模块用于针对操作行为分析模块分析得到的分析结果，对被采集对象进行改进或调整。例如检测到用户在某个表单项(比如填写姓名的表单项)上停留了很长的时间都没有开始写，则可以在页面上给出提示信息，例如提示：“啊哦，卡住了？点击这里可以帮您更好的填写哦”。
再例如检测到某个表单项的错误率比较高，则可以在表单项旁边给出提示信息，以帮助用户更准确填写。举例说明，如果检测到用户填写身份证号码这个表单项时填写错误率比较高，则可以及时对该表单项进行调整，在页面的预设位置如该表单项右侧加上一个问号或者引导语(比如提示身份证号的位数和基本的组成格式等)帮助用户更准确的填写身份证号。另外，还可以通过邮件或者即时消息的方式通知开发或维护该页面的工程师，以使工程师了解错误率高的表单项，并进行针对性的优化设计。
需要说明的是，上述各模块还可以根据实际需要进行调整，例如上述数据计算模块也可以配置在数据处理子系统中，从而可以降低数据采集子系统对计算性能的要求。
示例性方法
下面结合图1所示的应用场景，参考图2和图4来描述根据本公开示例性实施方式的数据采集以数据处理的方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
如图2所示，所述数据采集方法，可以包括以下步骤：
步骤110，为目标网页配置对应于数据采集SDK的shell模块，使所述shell模块嵌套所述目标网页中的表单组件；
步骤120，基于所述shell模块遍历所述表单组件和所述表单组件下的表单项子组件，检测与所述表单组件和表单项子组件相关的操作事件；
步骤130，根据由所述数据采集SDK提供的与所述操作事件对应的事件计算模块，计算与所述表单组件和表单项子组件相关的操作事件的事件数据；
步骤140，将所述事件数据存储到所述数据采集SDK的事件存储模块中，并由与所述数据采集SDK关联的日志SDK将事件存储模块中存储的事件数据上传到指定数据源。
该实施例可以应用在前述客户端设备。所述客户端设备中可以预先配置由用于进行数据采集的数据采集SDK(Software Development Kit，软件开发工具包)；该数据采集SDK可以监控用户在客户端设备上的操作并采集用户操作相关的数据。
在一示例性的实施例中，可以在数据采集的表单组件的代码之上，嵌套一个shell模块。然后，为该shell模块配置对应的数据采集SDK，通过数据采集SDK调用shell模块，进而关联shell模块嵌套的表单组件，以实现数据采集SDK检测与所述表单组件和表单项子组件相关的操作事件。
应用该实施例，通过shell模块嵌套目标网页中的表单组件，无需对表单组件进行改造就可以实现对表单组件的数据采集。从而实现数据采集的快速部署，且部署成本低。
并且，数据采集SDK可以提供自定义的数据采集需求，采集者可以根据实际需求预先在数据采集SDK中写入代码程序。由于SDK指示调用shell模块，而如前所示的通过shell模块嵌套目标网页中的表单组件，无需要改造表单组件，因此本实施例兼顾了数据采集的快速部署和个性化采集的需求。
在一示例性的实施例中，上述目标网页可以包括中后台系统的网页，所述中后台系统可以指面向管理平台的系统。例如软件运维人员使用的运维系统，客服人员使用的客服系统等等。相应的，上述表单组件包括中后台系统的网页中的表单组件。
通常，针对网页的数据采集，主要是通过表单实现的。即可以采集与表单组件相关的数据。
一般的，表单可以有三个基本组成部分，分别是表单标签、表单域和表单按钮。
其中，表单标签包含有处理表单数据时所用的CGI(公共网关接口，CommonGateway Interface)程序的URL以及提交表单数据的方法。
表单域用于指定表单的样式。表单的样式可以包括文本框、密码框、隐藏域、多行文本框、复选框、单选框、下拉选择框和文件上传框等。
表单按钮包括提交按钮、复位按钮和一般按钮等。其中，提交按钮用于上传表单数据，复位按钮用于取消输入(清空表单数据)，一般按钮可以通过自定义处理脚本实现相应功能。
表单项是指组成表单的一个项，包含了表单标签和表单域。如图3示意性地示出了本公开提供的表单的示意图。
图3中表单包括4个表单项以及提交按钮“登录”。
其中，4个表单项分别是：
第一表单项：用于选取手机的国际区号“+86”的下拉选择框；
第二表单项：用于填写账号的“请输入手机号”的文本框；
第三表单项：用于填写密码的“请输入密码”的密码框；
第四表单项：用于点选“自动登录”的单选框。
在一示例性的实施例中，上述步骤120，基于所述shell模块遍历所述表单组件和所述表单组件下的表单项子组件，检测与所述表单组件和表单项子组件相关的操作事件。
继续以上述图3示例为例加以说明，基于shell模块遍历图3所示表单组件以及4个表单项子组件，进而检测表单组件、4个表单项子组件相关的操作事件。
在一示例性的实施例中，在上述步骤120之外，还可以包括：
利用所述数据采集SDK提供的事件封装接口，封装与所述表单组件和表单项子组件相关的操作事件。
在实现时，可以利用数据采集SDK提供的事件封装接口(如React.cloneElementAPI)，对表单组件和表单项子组件相关的操作事件进行封装，以得到符合数据标准的操作事件，从而便于后续步骤的处理。
在一示例性的实施例中，上述步骤130，根据由所述数据采集SDK提供的与所述操作事件对应的事件计算模块，计算与所述表单组件和表单项子组件相关的操作事件的事件数据。
通常，一个表单项的操作事件可以包括onFocus事件、onChange事件和onBlur事件。onFocus事件表示表单聚集(通常是以用户点击表单项为触发条件)，onChange事件表示表单内容变更(用户修改表单项中输入的表单数据)，onBlur事件表示表单失焦(从当前表单项离开)。
在获取到的操作事件后，还可以根据由所述数据采集SDK提供的与所述操作事件对应的事件计算模块action，计算与所述表单组件和表单项子组件相关的操作事件的事件数据eventData。
比如针对一个表单项的“填写时长”这个事件数据，action可以获取该表单项的触发onFocus事件的时间和触发onBlur事件的时间，然后将两个时间做差值，这个计算出的差值表示的就是“填写时长”。
在一示例性的实施例中，所述计算与所述表单组件和表单项子组件相关的操作事件的事件数据，包括：
计算与所述表单组件相关的操作事件的表单指标，和计算与所述表单项子组件相关的操作事件的表单项指标。
其中，上述事件数据可以是预先配置的指标，包括与所述表单组件相关的操作事件的表单指标和与所述表单项子组件相关的操作事件的表单项指标。相应的，每个指标都可以由对应的事件计算模块action基于对应的操作事件计算得到。
本说明书中通过检测粗粒度的表单组件的操作事件和细粒度的表单项子组件的操作事件，可以分别计算出粗粒度的针对表单组件的事件数据和细粒度的针对表单项子组件的事件数据。
在一示例性的实施例中，上述步骤140，将所述事件数据存储到所述数据采集SDK的事件存储模块中，并由与所述数据采集SDK关联的日志SDK将事件存储模块中存储的事件数据上传到指定数据源。
其中，所述事件存储模块可以是用于存储上述事件数据eventData的eventStore。
所述指定数据源可以是指前述图1中的数据处理子系统，例如服务端设备。
在一示例性的实施例中，所述将所述事件数据存储到所述数据采集SDK的事件存储模块中，包括：
将表单指标存储到所述数据采集SDK的事件存储模块中的第一字段下；
将表单项指标存储到所述数据采集SDK的事件存储模块中的第二字段下。
该示例中，由于表单组件和表单项子组件的事件数据差异较大，因此可以分开进行存储，具体的，表单组件的事件数据存储在eventStore的第一字段如form字段下；表单项子组件的事件数据存储在eventStore的第二字段如field字段下。
其中，form字段和field字段仅为一种示例，在实际应用中可以根据实际需要灵活配置。
应该上述实施例，可以将表单指标和表单项指标分开存储，从而避免这两种差异较大的数据混淆在一起。
在一示例性的实施例中，所述日志SDK将事件存储模块中存储的事件数据上传到指定数据源，包括：
日志SDK根据指定数据源的数据标准，将所述事件存储模块中存储的事件数据转换为符合所述数据标准的标准事件数据后上传到所述数据源。
在实际应用中，不同设备或系统存在不同的数据标准；为了使上传的事件数据可以被数据源正确识别，可以在上传数据前，先将事件数据转换为符合数据源的数据标准的标准事件数据。如此，可以提高数据源后续进行数据处理的处理效率。
在将事件数据上传到指定数据源后，上述数据源可以基于事件数据进行数据处理，该数据处理的过程在后续数据处理的实施例中再进行详细描述。
在一示例性的实施例中，所述方法还包括：
接收所述指定数据源返回的指令；其中，所述指令为与基于所述事件数据进行操作行为分析的分析结果对应的指令；
根据所述指令对表单组件进行调整。
接着上述实施例所示的，上述数据源可以基于事件数据进行数据处理，所述数据处理可以包括对事件数据进行操作行为分析；然后，返回与该操作行为分析的分析结果对应的指令。所述指令用于控制客户端设备对表单组件进行调整。
其中，所述对表单组件进行调整包括显示针对所述表单组件的提示信息；所述提示信息包括以下至少一种：
填写说明、跳转链接。
举例说明，例如采集到的事件数据为某个表单项(比如填写身份证的表单项)上停留的时长；通过操作行为分析发现该停留的时长超过预设时长，则说明用户在填写该表单项时碰到困难，进而可以返回针对该表单项的提示信息。相应的，客户端设备这边在接收到该指令后，可以在页面上(如该表单项附件的空白处)给出提示信息，例如显示填写说明：提示身份证号的位数和基本的组成格式等。或者显示跳转链接“点击这里可以帮您更好的填写哦”，当用户点击该跳转链接后可以跳转到用于帮助用户正确填写表单项内容的帮助页面。
应用上述实施例，通过对表单组件和表单项子组件的数据采集，以及结合操作行为分析，可以及时发现用户的异常操作并实时提供解决方案，有效做到体验前置，大大提高了用户的使用体验。
以上介绍了数据采集方案，相对应的还有可以与之配合的数据处理方法。如图4所示，所述数据处理方法，可以包括以下步骤：
步骤210，获取目标网页中的与表单组件和表单项子组件相关的操作事件的事件数据；其中，所述事件数据由上述任一数据采集的实施例执行得到；
步骤220，基于目标网页中的与表单组件和表单项子组件相关的操作事件的事件数据，计算所述表单组件的第一类体验指标；
步骤230，基于操作所述表单组件的表单使用方针对所述表单组件的用户反馈数据，计算所述表单组件的第二类体验指标；
步骤240，针对所述第一类体验指标和第二类型体验指标进行加权计算，得到与所述表单组件对应的综合体验指标。
该实施例可以应用在前述的数据源。进一步的，该数据源可以包括前述图1中的数据处理子系统，具体可以包括服务端设备。
与前述数据采集方法相同，所述目标网页可以包括中后台系统的网页，相应的，所述表单组件可以包括中后台系统的网页中的表单组件。
应用上述实施例，通过结合反映表单组件客观体验的第一类体验指标和反映表单组件主观体验的第二类体验指标，确定用于评价表单组件的综合体验分。这样确定的综合体验分兼顾客观数据和主观数据，可以更为精准的体现表单组件的真实体验效果。
在一示例性的实施例中，所述与表单组件和表单项子组件相关的操作事件的事件数据，包括：
与所述表单组件相关的操作事件的表单指标和与所述表单组件下的表单项子组件相关的操作事件的表单项指标。
其中，所述表单指标可以包括以下一种或几种的组合：
表单操作时长，表单整体流程操作的时长；
首次操作间隔，用户从刚进入表单页面(或弹窗)到第一次填写表单之间的时间间隔；
表单错误解决时长，表单出现错误后纠正的时长；
访问表单次数，pv(page view)；
访问表单人数，uv(Unique Visitor)；
表单填写次数，pv中填写表单的次数；
点击提交次数，点击提交按钮的次数(不需要确定是否提交成功，只需统计点击提交的次数)；
首次提交次数，用户第一次点击提交的次数；
提交成功次数，点击提交按钮并且提交成功的次数；
表单出错次数，表单出错的次数；
表单跳失次数，表单还没有完成完整流程就跳出的次数；
表单出错率，表单出错的比例，其值为表单出错次数除以点击提交次数；
表单填写率，表单填写的比例，其值为表单填写次数除以访问表单次数；
表单尝试提交率，用户尝试提交的比例，其值为首次提交次数除以访问表单次数；
表单转化率，表单成功提交的比例，其值为提交成功次数除以访问表单次数；
表单跳失率，表单跳失的比例，其值为表单跳失次数除以访问表单次数；
无操作跳失率，没有任何操作就跳失的比例。
其中，所述表单项指标可以包括以下一种或几种的组合：
单项填写时长，表单项的填写时长；
单项开始操作时间间隔，开始操作表单项的时间；
单项错误纠正时间，表单项出现错误后纠正的时长；
表单项填写成功次数，表单内填写成功的表单项数量；
单项点击帮助次数，表单项对应的帮助按钮被点击的次数；
单项报错次数，表单项出错的次数；
平均单人单项点击次数，用户平均点击表单项的次数；
表单项空白次数，表单项未填写内容的次数；
表单项修改次数，表单项修改的次数；
单项成功率，表单项的提交成功率；
表单项平均帮助点击次数，表单项对应的帮助按钮平均被点击的次数；
表单提交成功空白率和表单项跳失空白率。
在一示例性的实施例中，所述步骤220，基于目标网页中的与表单组件和表单项子组件相关操作事件的事件数据，计算所述表单组件的第一类体验指标，可以包括：
对所述表单指标和所述表单项指标进行加权计算，得到与所述表单组件的第一类体验指标。
该示例中，表单指标和所述表单项指标都是前述数据采集方案上传的事件数据，其客观反映了表单组件和表单项子组件的实际操作。因此，基于这些客观数据计算出的第一类体验指标也可以称为客观指标。
在一示例性的实施例中，所述加权计算时还包括填写时间因子和/或错误纠正时间因子。
以下示例性的提供一种第一类体验指标的计算公式：
第一类体验指标＝表单转化率*4+表单填写率*4+填写时间因子+错误纠正时间因子-出错率*2–跳失率*2
由于表单组件的最终目标是填写正确的表单内容，因此能否成功转化就成了表单组件的第一目标。基于此，表单指标中的表单转化率就显得尤为重要，如果一个表单组件的表单转化率很低，一方面可能和业务相关，另一方面就有可能是这个表单组件给人的体验感太差，用户不想完成这个表单。如果一个表单转化率很高，说明这个表单组件给人的整体的感觉就很好，所以人们才愿意去完成这个表单。
其中，所述填写时间因子通过以下方式确定：
在平均单项操作时长小于第一预设时长时，确定填写时间因子为1；
在平均单项操作时长大于或者等于第一预设时长时，确定填写时间因子为0；
其中，所述平均单项操作时长等于表单操作时长与表单项数的比值。
对于一个体验较好的表单项，其单项操作时长不会很长。同样的，一个体验较好的表单，其平均单项操作时长也不会很长。一个较长的平均单项操作时长就说明表单中存在体验较差的表单项。
因此，可以设置第一预设时长如10s，如果平均单项操作时长在10s内属于体验良好，而大于10s则可能用户填写存在障碍。基于此设计的填写时间因子为：如果平均单项操作时长小于10s等于1，大于或者等于10s等于0。
其中，所述错误纠正时间因子通过以下方式确定：
在平均错误解决时长小于第二预设时长时，确定错误纠正时间因子为1；
在平均错误解决时长大于或者等于第二预设时长时，确定错误纠正时间因子为0；
其中，所述平均错误解决时长等于表单错误解决时长与表单项数的比值。
该示例中，错误纠正时间因子是影响表单项错误解决时长的时间因子。对于一个体验较好的表单项，其错误解决时长不会很长。同样的，一个体验较好的表单，其平均错误解决时长也不会很长。一个较长的平均错误解决时长就说明表单中存在体验较差的表单项。
因此，可以设置第二预设时长如20s，如果平均错误解决时长在20s内属于体验良好，而大于20s则可能用户解决填写错误时存在障碍。基于此设计的错误纠正时间因子为：如果平均错误解决时长小于20s等于1，大于或者等于20s等于0。
上述表单转化率、表单填写率、填写时间因子和错误纠正时间因子都是给表单体验的加分项；而出错率和跳失率是给表单体验的一个扣分项，出错率越高说明整个表单的体验就越差，跳失率越高也是如此。
在一示例中，如果给第一类体验指标设计为满分10分，根据权重可以为表单转化率和表单填写率分配4的权重。出错率和跳失率由于用户可能是无意识跳失或者出错，所以给了它一个较低的权重2。
由于这样的分数设计有可能导致计算结果为负数，对此可以在计算结果小于0时，将0作为最终的第一类体验指标。
在一示例性的实施例中，所述步骤230，基于操作所述表单组件的表单使用方针对所述表单组件的用户反馈数据，计算所述表单组件的第二类体验指标；
其中，用户反馈数据是一种满意度的主观指标，通常可以以问卷调查的形式收集，进而计算第二类体验指标。
由于问卷调查主要反映的是被调查用户的主观评价，因此可以将第二类体验指标称为主观指标。
主观指标大致可以有：满意度、任务效率、易用性、参与度和完整性等几个方面。主观指标一般都是通过问卷调查的形式，围绕这几个指标设计的一些问卷问题，并给出打分选项让用户填写。问卷调查表可以通过问卷系统下发到用户侧，然后将用户侧的数据做一层统计与计算。由于是主观的一些问题可能会因为场景不同，问题也不同，所以本说明书中不对具体的问卷内容一一赘述。
以图5所示一种示例性的问卷调查表的示意图为例，在获取到用户填写的问卷调查表后，根据每个问题的答案确定对应的分值。一般设计非常满意10分，满意8分，一般6分，不满意3分，非常不满意0分。
在此基础上，可以综合各个得分，计算出第二类体验指标。
其中，第二类体验指标计算方式可以多种多样，例如可以计算均值，计算方差值等等。
应用上述实施例，可以基于用户主观的体验感觉，确定出表单组件对应的主观分(第二类体验指标)。
在一示例性的实施例中，步骤240，针对所述第一类体验指标和第二类型体验指标进行加权计算，得到与所述表单组件对应的综合体验指标。
以下示例性的提供一种综合体验指标的计算公式：
合体验指标＝第一类体验指标*0.6+第二类体验指标*0.4
由此可见，所述第一类体验指标的加权系数大于所述第二类体验指标。之所以给第一类体验指标更高的权重，是因为第一类体验指标属于客观指标，客观指标更能反映真实的用户体验。而第二类体验指标属于主观指标，容易受被调查用户主观因素影响，使得结果偏离真实用户体验。
此外，上述数据处理方法还可以，帮助度量中后台系统中表单的体验。帮助产品、运营等更好的做出决策与改进。
所述数据处理还可以包括对事件数据进行操作行为分析；然后，向前述客户端设备返回与该操作行为分析的分析结果对应的指令。所述指令用于控制客户端设备对表单组件进行调整。
其中，所述对表单组件进行调整包括显示针对所述表单组件的提示信息；所述提示信息包括以下至少一种：
填写说明、跳转链接。
举例说明，例如采集到的事件数据为某个表单项(比如填写身份证的表单项)上停留的时长；通过操作行为分析发现该停留的时长超过预设时长，则说明用户在填写该表单项时碰到困难，进而可以返回针对该表单项的提示信息。相应的，客户端设备这边在接收到该指令后，可以在页面上(如该表单项附件的空白处)给出提示信息，例如显示填写说明：提示身份证号的位数和基本的组成格式等。或者显示跳转链接“点击这里可以帮您更好的填写哦”，当用户点击该跳转链接后可以跳转到用于帮助用户正确填写表单项内容的帮助页面。
应用上述实施例，通过对表单组件和表单项子组件的数据采集，以及结合操作行为分析，可以及时发现用户的异常操作并实时提供解决方案，有效做到体验前置，大大提高了用户的使用体验。
示例性介质
在介绍了本公开示例性实施方式的方法之后，接下来，参考图6对本公开示例性实施方式的介质进行说明。
本示例性实施方式中，可以通过程序产品实现上述方法，如可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
该程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RE等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性装置
在介绍了本公开示例性实施方式的介质之后，接下来，参考图7、图8对本公开示例性实施方式的装置进行说明。
图7示意性地示出了根据本公开实施方式的一种数据采集装置的框图，对应于前述图2所示的方法实施例。该数据采集装置可以包括：
配置单元410，为目标网页配置对应于数据采集SDK的shell模块，使所述shell模块嵌套所述目标网页中的表单组件；
检测单元420，基于所述shell模块遍历所述表单组件和所述表单组件下的表单项子组件，检测与所述表单组件和表单项子组件相关的操作事件；
计算单元430，根据由所述数据采集SDK提供的与所述操作事件对应的事件计算模块计算与所述表单组件和表单项子组件相关的操作事件的事件数据；
采集单元440，将所述事件数据存储到所述数据采集SDK的事件存储模块中，并由与所述数据采集SDK关联的日志SDK将事件存储模块中存储的事件数据上传到指定数据源。
可选的，还包括：
封装单元，利用所述数据采集SDK提供的事件封装接口，封装与所述表单组件和表单项子组件相关的操作事件。
可选的，所述采集单元440还包括：
日志SDK根据指定数据源的数据标准，将所述事件存储模块中存储的事件数据转换为符合所述数据标准的标准事件数据后上传到所述数据源。
可选的，所述计算单元430还包括：
计算与所述表单组件相关的操作事件的表单指标，和计算与所述表单项子组件相关的操作事件的表单项指标。
可选的，所述采集单元440还包括：
将表单指标存储到所述数据采集SDK的事件存储模块中的第一字段下；将表单项指标存储到所述数据采集SDK的事件存储模块中的第二字段下。
可选的，还包括：
调整单元，接收所述指定数据源返回的指令；其中，所述指令为与基于所述事件数据进行操作行为分析的分析结果对应的指令；根据所述指令对表单组件进行调整。
可选的，所述对表单组件进行调整包括显示针对所述表单组件的提示信息；所述提示信息包括以下至少一种：
填写说明、跳转链接。
可选的，所述目标网页包括中后台系统的网页，所述表单组件包括中后台系统的网页中的表单组件。
图8示意性地示出了根据本公开实施方式的一种数据处理装置的框图，对应于前述图4所示的方法实施例。该数据采集装置可以包括：
获取单元510，获取目标网页中的与表单组件和表单项子组件相关的操作事件的事件数据；其中，所述事件数据由上述任一数据采集的实施例执行得到；
第一计算单元520，基于目标网页中的与表单组件和表单项子组件相关的操作事件的事件数据，计算所述表单组件的第一类体验指标；
第二计算单元530，基于操作所述表单组件的表单使用方针对所述表单组件的用户反馈数据，计算所述表单组件的第二类体验指标；
第三计算单元540，针对所述第一类体验指标和第二类型体验指标进行加权计算，得到与所述表单组件对应的综合体验指标。
可选的，所述第一类体验指标的加权系数大于所述第二类体验指标。
可选的，所述与表单组件和表单项子组件相关的操作事件的事件数据，包括：
与所述表单组件相关的操作事件的表单指标和与所述表单组件下的表单项子组件相关的操作事件的表单项指标。
可选的，所述第一计算单元520，包括：
对所述表单指标和所述表单项指标进行加权计算，得到与所述表单组件的第一类体验指标。
可选的，所述加权计算时还包括填写时间因子和/或错误纠正时间因子。
可选的，所述表单指标包括表单操作时长、所述表单项指标包括表单项数，所述填写时间因子通过以下方式确定：
在平均单项操作时长小于第一预设时长时，确定填写时间因子为1；
在平均单项操作时长大于或者等于第一预设时长时，确定填写时间因子为0；
其中，所述平均单项操作时长等于表单操作时长与表单项数的比值。
可选的，所述表单指标包括表单错误解决时长、所述表单项指标包括表单项数，所述错误纠正时间因子通过以下方式确定：
在平均错误解决时长小于第二预设时长时，确定错误纠正时间因子为1；
在平均错误解决时长大于或者等于第二预设时长时，确定错误纠正时间因子为0；
其中，所述平均错误解决时长等于表单错误解决时长与表单项数的比值。
可选的，所述目标网页包括中后台系统的网页，所述表单组件包括中后台系统的网页中的表单组件。
示例性计算设备
在介绍了本公开示例性实施方式的方法、介质和装置之后，接下来，参考图9对本公开示例性实施方式的计算设备进行说明。
图9显示的计算设备1500仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，计算设备1500以通用计算设备的形式表现。计算设备1500的组件可以包括但不限于：上述至少一个处理单元1501、上述至少一个存储单元1502，连接不同系统组件(包括处理单元1501和存储单元1502)的总线1503。
总线1503包括数据总线、控制总线和地址总线。
存储单元1502可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)15021和/或高速缓存存储器15022，可以进一步包括非易失性存储器形式的可读介质，例如只读存储器(ROM)15023。
存储单元1502还可以包括具有一组(至少一个)程序模块15024的程序/实用工具15025，这样的程序模块15024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备1500也可以与一个或多个外部设备1504(例如键盘、指向设备等)通信。
这种通信可以通过输入/输出(I/O)接口1505进行。并且，计算设备1500还可以通过网络适配器1506与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器1506通过总线1503与计算设备1500的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备1500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了数据采集和数据处理装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (30)
1.一种数据采集方法，包括：
为目标网页配置对应于数据采集SDK的shell模块，使所述shell模块嵌套所述目标网页中的表单组件；
基于所述shell模块遍历所述表单组件和所述表单组件下的表单项子组件，检测与所述表单组件和表单项子组件相关的操作事件；
根据由所述数据采集SDK提供的与所述操作事件对应的事件计算模块，计算与所述表单组件和表单项子组件相关的操作事件的事件数据；
将所述事件数据存储到所述数据采集SDK的事件存储模块中，并由与所述数据采集SDK关联的日志SDK将事件存储模块中存储的事件数据上传到指定数据源；
基于目标网页中的与表单组件和表单项子组件相关的操作事件的事件数据，计算所述表单组件的第一类体验指标；
基于操作所述表单组件的表单使用方针对所述表单组件的用户反馈数据，计算所述表单组件的第二类体验指标；
针对所述第一类体验指标和第二类型体验指标进行加权计算，得到与所述表单组件对应的综合体验指标。
2.根据权利要求1所述的方法，还包括：
利用所述数据采集SDK提供的事件封装接口，封装与所述表单组件和表单项子组件相关的操作事件。
3.根据权利要求1所述的方法，所述日志SDK将事件存储模块中存储的事件数据上传到指定数据源，包括：
日志SDK根据指定数据源的数据标准，将所述事件存储模块中存储的事件数据转换为符合所述数据标准的标准事件数据后上传到所述数据源。
4.根据权利要求1所述的方法，所述计算与所述表单组件和表单项子组件相关的操作事件的事件数据，包括：
计算与所述表单组件相关的操作事件的表单指标，和计算与所述表单项子组件相关的操作事件的表单项指标。
5.根据权利要求1所述的方法，所述将所述事件数据存储到所述数据采集SDK的事件存储模块中，包括：
将表单指标存储到所述数据采集SDK的事件存储模块中的第一字段下；
将表单项指标存储到所述数据采集SDK的事件存储模块中的第二字段下。
6.根据权利要求1所述的方法，还包括：
接收所述指定数据源返回的指令；其中，所述指令为与基于所述事件数据进行操作行为分析的分析结果对应的指令；
根据所述指令对表单组件进行调整。
7.根据权利要求6所述的方法，所述对表单组件进行调整包括显示针对所述表单组件的提示信息；所述提示信息包括以下至少一种：
填写说明、跳转链接。
8.根据权利要求1所述的方法，所述目标网页包括中后台系统的网页，所述表单组件包括中后台系统的网页中的表单组件。
9.根据权利要求1所述的方法，所述第一类体验指标的加权系数大于所述第二类体验指标。
10.根据权利要求1所述的方法，所述与表单组件和表单项子组件相关的操作事件的事件数据，包括：
与所述表单组件相关的操作事件的表单指标和与所述表单组件下的表单项子组件相关的操作事件的表单项指标。
11.根据权利要求10所述的方法，所述基于目标网页中的与表单组件和表单项子组件相关操作事件的事件数据，计算所述表单组件的第一类体验指标，包括：
对所述表单指标和所述表单项指标进行加权计算，得到与所述表单组件的第一类体验指标。
12.根据权利要求11所述的方法，所述加权计算时还包括填写时间因子和/或错误纠正时间因子。
13.根据权利要求12所述的方法，所述表单指标包括表单操作时长、所述表单项指标包括表单项数，所述填写时间因子通过以下方式确定：
在平均单项操作时长小于第一预设时长时，确定填写时间因子为1；
在平均单项操作时长大于或者等于第一预设时长时，确定填写时间因子为0；
其中，所述平均单项操作时长等于表单操作时长与表单项数的比值。
14.根据权利要求12所述的方法，所述表单指标包括表单错误解决时长、所述表单项指标包括表单项数，所述错误纠正时间因子通过以下方式确定：
在平均错误解决时长小于第二预设时长时，确定错误纠正时间因子为1；
在平均错误解决时长大于或者等于第二预设时长时，确定错误纠正时间因子为0；
其中，所述平均错误解决时长等于表单错误解决时长与表单项数的比值。
15.一种数据采集装置，包括：
配置单元，为目标网页配置对应于数据采集SDK的shell模块，使所述shell模块嵌套所述目标网页中的表单组件；
检测单元，基于所述shell模块遍历所述表单组件和所述表单组件下的表单项子组件，检测与所述表单组件和表单项子组件相关的操作事件；
计算单元，根据由所述数据采集SDK提供的与所述操作事件对应的事件计算模块计算与所述表单组件和表单项子组件相关的操作事件的事件数据；
采集单元，将所述事件数据存储到所述数据采集SDK的事件存储模块中，并由与所述数据采集SDK关联的日志SDK将事件存储模块中存储的事件数据上传到指定数据源；
第一计算单元，基于目标网页中的与表单组件和表单项子组件相关的操作事件的事件数据，计算所述表单组件的第一类体验指标；
第二计算单元，基于操作所述表单组件的表单使用方针对所述表单组件的用户反馈数据，计算所述表单组件的第二类体验指标；
第三计算单元，针对所述第一类体验指标和第二类型体验指标进行加权计算，得到与所述表单组件对应的综合体验指标。
16.根据权利要求15所述的装置，还包括：
封装单元，利用所述数据采集SDK提供的事件封装接口，封装与所述表单组件和表单项子组件相关的操作事件。
17.根据权利要求15所述的装置，所述采集单元还包括：
日志SDK根据指定数据源的数据标准，将所述事件存储模块中存储的事件数据转换为符合所述数据标准的标准事件数据后上传到所述数据源。
18.根据权利要求15所述的装置，所述计算单元还包括：
计算与所述表单组件相关的操作事件的表单指标，和计算与所述表单项子组件相关的操作事件的表单项指标。
19.根据权利要求18所述的装置，所述采集单元还包括：
将表单指标存储到所述数据采集SDK的事件存储模块中的第一字段下；将表单项指标存储到所述数据采集SDK的事件存储模块中的第二字段下。
20.根据权利要求15所述的装置，还包括：
调整单元，接收所述指定数据源返回的指令；其中，所述指令为与基于所述事件数据进行操作行为分析的分析结果对应的指令；根据所述指令对表单组件进行调整。
21.根据权利要求20所述的装置，所述对表单组件进行调整包括显示针对所述表单组件的提示信息；所述提示信息包括以下至少一种：
填写说明、跳转链接。
22.根据权利要求15所述的装置，所述目标网页包括中后台系统的网页，所述表单组件包括中后台系统的网页中的表单组件。
23.根据权利要求15所述的装置，所述第一类体验指标的加权系数大于所述第二类体验指标。
24.根据权利要求23所述的装置，所述与表单组件和表单项子组件相关的操作事件的事件数据，包括：
与所述表单组件相关的操作事件的表单指标和与所述表单组件下的表单项子组件相关的操作事件的表单项指标。
25.根据权利要求24所述的装置，所述第一计算单元，包括：
对所述表单指标和所述表单项指标进行加权计算，得到与所述表单组件的第一类体验指标。
26.根据权利要求25所述的装置，所述加权计算时还包括填写时间因子和/或错误纠正时间因子。
27.根据权利要求26所述的装置，所述表单指标包括表单操作时长、所述表单项指标包括表单项数，所述填写时间因子通过以下方式确定：
在平均单项操作时长小于第一预设时长时，确定填写时间因子为1；
在平均单项操作时长大于或者等于第一预设时长时，确定填写时间因子为0；
其中，所述平均单项操作时长等于表单操作时长与表单项数的比值。
28.根据权利要求26所述的装置，所述表单指标包括表单错误解决时长、所述表单项指标包括表单项数，所述错误纠正时间因子通过以下方式确定：
在平均错误解决时长小于第二预设时长时，确定错误纠正时间因子为1；
在平均错误解决时长大于或者等于第二预设时长时，确定错误纠正时间因子为0；
其中，所述平均错误解决时长等于表单错误解决时长与表单项数的比值。
29.一种计算机可读存储介质，包括：
当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-14中任一项所述的方法。
30.一种计算设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令，以实现如权利要求1-14中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111136061.7A CN113821423B (zh) | 2021-09-27 | 2021-09-27 | 数据采集方法、装置、存储介质和计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111136061.7A CN113821423B (zh) | 2021-09-27 | 2021-09-27 | 数据采集方法、装置、存储介质和计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113821423A CN113821423A (zh) | 2021-12-21 |
| CN113821423B true CN113821423B (zh) | 2023-08-11 |
Family
ID=78915621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111136061.7A Active CN113821423B (zh) | 2021-09-27 | 2021-09-27 | 数据采集方法、装置、存储介质和计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113821423B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101632076A (zh) * | 2007-01-26 | 2010-01-20 | 三星Sds株式会社 | 实时统一管理信息数据转换和监测设备及其方法 |
| CN101808237A (zh) * | 2010-03-09 | 2010-08-18 | 西安科技大学 | 嵌入式系统Web服务器的图像采集终端及图像采集方法 |
| US8572602B1 (en) * | 2008-06-05 | 2013-10-29 | Appcelerator, Inc. | System and method for synchronization of a web application to a cloud provider |
| US9158656B1 (en) * | 2014-07-15 | 2015-10-13 | American Express Travel Related Services Company, Inc. | Systems and methods for progressively launching websites |
| CN108984375A (zh) * | 2018-05-31 | 2018-12-11 | 腾讯科技（深圳）有限公司 | 一种内容抓取方法、装置、系统以及存储介质 |
| EP3457295A2 (en) * | 2017-09-19 | 2019-03-20 | Screenshare Technology Ltd. | Method for recording, editing and reproduction of computer session |
| CN110825985A (zh) * | 2018-08-06 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 数据采集系统、方法、装置、控制设备及代理设备 |
| CN112256677A (zh) * | 2020-11-18 | 2021-01-22 | 北京明略软件系统有限公司 | 信息保存方法、装置、电子设备及计算机可读存储介质 |
| CN112346944A (zh) * | 2020-10-22 | 2021-02-09 | 北京基调网络股份有限公司 | 一种监控网页用户操作体验的方法、设备及存储介质 |
| CN112860251A (zh) * | 2019-11-12 | 2021-05-28 | 中科曙光南京研究院有限公司 | 一种网站前端构建的方法与系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004097643A2 (en) * | 2003-04-29 | 2004-11-11 | University Of Strathclyde | Monitoring software |
| US20090164564A1 (en) * | 2005-07-01 | 2009-06-25 | Michael John Willis | System and methods for mobilizing web content |
| US9934320B2 (en) * | 2009-03-31 | 2018-04-03 | International Business Machines Corporation | Method and apparatus for using proxy objects on webpage overlays to provide alternative webpage actions |
| US8311776B2 (en) * | 2009-12-01 | 2012-11-13 | Verizon Patent And Licensing Inc. | Methods, systems and computer program products for throughput-testing of electronic data systems |
| US20120102414A1 (en) * | 2010-10-21 | 2012-04-26 | Hilmar Demant | Distributed controller of a user interface framework for web applications |
| WO2012115981A1 (en) * | 2011-02-22 | 2012-08-30 | Tealeaf Technology, Inc. | On-page manipulation and real-time replacement of content |
| US9501378B2 (en) * | 2014-01-01 | 2016-11-22 | Bank Of America Corporation | Client events monitoring |
| US9424156B2 (en) * | 2014-05-13 | 2016-08-23 | Netapp, Inc. | Identifying a potential failure event for a data storage device |
| US9769157B2 (en) * | 2015-09-21 | 2017-09-19 | American Express Travel Related Services Company, Inc. | Systems and methods for secure one-time password validation |
| US10635659B2 (en) * | 2016-09-19 | 2020-04-28 | Salesforce.Com, Inc. | Mobile application bundled with metadata database |
-
2021
- 2021-09-27 CN CN202111136061.7A patent/CN113821423B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101632076A (zh) * | 2007-01-26 | 2010-01-20 | 三星Sds株式会社 | 实时统一管理信息数据转换和监测设备及其方法 |
| US8572602B1 (en) * | 2008-06-05 | 2013-10-29 | Appcelerator, Inc. | System and method for synchronization of a web application to a cloud provider |
| CN101808237A (zh) * | 2010-03-09 | 2010-08-18 | 西安科技大学 | 嵌入式系统Web服务器的图像采集终端及图像采集方法 |
| US9158656B1 (en) * | 2014-07-15 | 2015-10-13 | American Express Travel Related Services Company, Inc. | Systems and methods for progressively launching websites |
| EP3457295A2 (en) * | 2017-09-19 | 2019-03-20 | Screenshare Technology Ltd. | Method for recording, editing and reproduction of computer session |
| CN108984375A (zh) * | 2018-05-31 | 2018-12-11 | 腾讯科技（深圳）有限公司 | 一种内容抓取方法、装置、系统以及存储介质 |
| CN110825985A (zh) * | 2018-08-06 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 数据采集系统、方法、装置、控制设备及代理设备 |
| CN112860251A (zh) * | 2019-11-12 | 2021-05-28 | 中科曙光南京研究院有限公司 | 一种网站前端构建的方法与系统 |
| CN112346944A (zh) * | 2020-10-22 | 2021-02-09 | 北京基调网络股份有限公司 | 一种监控网页用户操作体验的方法、设备及存储介质 |
| CN112256677A (zh) * | 2020-11-18 | 2021-01-22 | 北京明略软件系统有限公司 | 信息保存方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于ARM_Linux的嵌入式Web服务器的设计与实现;王先春;郭杰荣;胡惟文;樊希平;;微计算机信息(第14期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113821423A (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11489934B2 (en) | Method and system for monitoring and tracking browsing activity on handled devices | |
| US9130975B2 (en) | Generation of macros | |
| CN107239389B (zh) | 一种在混合app中确定用户操作记录的方法及装置 | |
| US20130263023A1 (en) | Graphical Overlay Related To Data Mining and Analytics | |
| US20070088579A1 (en) | Systems and methods for automated processing and assessment of an insurance disclosure via a network | |
| CN113010395B (zh) | 数据采集方法、装置、设备、介质和程序产品 | |
| Madder et al. | e-Surveillance in Animal Health: use and evaluation of mobile tools | |
| US20220121337A1 (en) | Acquisition process of gui elements using user input | |
| CN104348658A (zh) | 故障报告生成方法及相关的系统 | |
| WO2014209263A1 (en) | Contextual-based localization based on manual testing | |
| US20100146414A1 (en) | Method and system for dynamic insurance quotes | |
| CN110674048B (zh) | 一种埋点测试特征获取方法及相关装置 | |
| EP3230867B1 (en) | Browser provided website statistics | |
| US20190163499A1 (en) | Simulating human interface interaction resilient to user interface changes | |
| CN104133618A (zh) | 进行终端设备推荐页面展示的方法及系统 | |
| CN109634579A (zh) | 代码生成方法、装置、计算机装置及存储介质 | |
| US10140377B2 (en) | Data processing, data collection | |
| US9396003B2 (en) | Information provision system, information provision method, and information provision program | |
| CN110020344A (zh) | 一种网页页面元素标注方法及系统 | |
| CN110795651A (zh) | 用于保存前端数据的方法、装置及电子设备 | |
| CN113821423B (zh) | 数据采集方法、装置、存储介质和计算设备 | |
| CN110674045B (zh) | 信息追踪检测方法、装置以及电子设备、存储介质 | |
| Kaczmirek | Internet survey software tools | |
| US20140129615A1 (en) | System for automated data measurement and analysis | |
| CN111767111B (zh) | 页面数据处理方法及装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |