CN113987393A - 一种网页操作记录器、系统、装置及方法 - Google Patents
一种网页操作记录器、系统、装置及方法 Download PDFInfo
- Publication number
- CN113987393A CN113987393A CN202111176503.0A CN202111176503A CN113987393A CN 113987393 A CN113987393 A CN 113987393A CN 202111176503 A CN202111176503 A CN 202111176503A CN 113987393 A CN113987393 A CN 113987393A
- Authority
- CN
- China
- Prior art keywords
- user
- page
- dom
- acquiring
- browser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9027—Trees
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了网页监控技术领域的一种网页操作记录器、系统、装置及方法，包括：响应于浏览器被打开时，获取用户ID；响应于网页被打开时，获取标签页ID，以及，向当前网页DOM树中插入安装DOM监控器并传入用户ID和标签页ID；响应于插入安装DOM监控器时获取DOM树整体结点信息后发送给后台服务器；响应于网页内容有变化时获取DOM树结点变化信息后发送给后台服务器；响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID后发送至后台服务器进行关联储存。本发明能够完整记录用户的操作过程及网页DOM树变化，便于操作还原。
Description
技术领域
本发明涉及一种网页操作记录器、系统、装置及方法，属于网页监控技术领域。
背景技术
在流程挖掘技术领域，为了记录用户在浏览器的操作记录，一般的方法是构建一个浏览器插件，通过浏览器的API接口，记录每个操作及事件。这种方式非常可靠，而且可以记录非常详细的信息，所以得到了广泛应用。
使用浏览器API记录的信息虽然全面，但是仅仅记录了当前操作本身的信息，而操作的上下文则丢失了；另外，为了方便用户确认每一个操作对应的页面，需要保存操作截图，由于操作数量很大，图片数据对网络带宽和存储都造成了压力。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种网页操作记录器、系统、装置及方法，能够完整记录用户的操作过程及网页DOM树变化，便于操作还原。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了网页操作记录方法，包括：
响应于浏览器被打开时，获取用户ID；
响应于网页被打开时，获取标签页ID，以及，向当前网页DOM树中插入安装DOM监控器并传入用户ID和标签页ID；
响应于插入安装DOM监控器时获取DOM树整体结点信息后发送给后台服务器；
响应于网页内容有变化时获取DOM树结点变化信息后发送给后台服务器；
响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID后发送至后台服务器进行关联储存。
进一步的，响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID发送至后台服务器进行关联储存，包括：
响应于用户执行任意一个操作时，接收浏览器反馈的事件通知；
基于事件通知，获取用户操作事件和标签页ID。
进一步的，所述DOM树整体结点信息和DOM树结点变化信息均包括时间戳、用户ID和标签页ID。
第二方面，本发明提供了一种网页操作记录器，包括：
浏览器插件：响应于浏览器被打开时，获取用户ID；响应于网页被打开时，获取标签页ID，以及，向当前网页DOM树中插入安装DOM监控器并传入用户ID和标签页ID；响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID后发送至后台服务器进行关联储存；
DOM监控器：响应于插入网页DOM树时获取DOM树整体结点信息后发送给后台服务器；响应于网页内容有变化时获取DOM树结点变化信息后发送给后台服务器。
进一步的，所述浏览器插件基于浏览器所反馈的事件通知获取用户操作事件和标签页ID。
进一步的，所述浏览器插件和DOM监控器均实时向后台服务器发送信息。
第三方面，本发明提供了一种网页操作记录系统，包括上述的网页操作记录器，还包括后台服务器，所述后台服务器基于DOM监控器和浏览器插件发送的信息进行关联存储，以及，基于DOM树结点变化信息对浏览器插件发送的用户操作事件进行补全后存储。
进一步的，所述后台服务器提取相同用户ID和标签页ID所对应的DOM树结点变化信息，补全对应用户操作事件的上下文信息后存储。
第四方面，本发明提供了一种网页操作记录装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
第五方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
一、使用浏览器插件记录浏览器操作事件，DOM监控器监控网页的变化；所有事件发往后台服务器，两者合并起来可以覆盖浏览器内的所有事件，以及每个网页内的所有变化，达到完整记录用户的操作过程及网页DOM树变化，便于操作还原的目的；另外，由于DOM树信息是以纯文本方式保存的，在保证准确还原页面显示的同时，网络传输和存储数据量大大降低。
二、本发明中，由于后台服务器可以计算出页面DOM树的实时快照，获得了网页的全部内容，可根据此快照扩充浏览器插件发送的事件消息，增加任何相关的上下文信息，使得用户操作事件记录变得更加丰富，方便后续进一步的处理。
附图说明
图1是本发明实施例一提供的网页操作记录方法流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。其中：浏览器API：大部分浏览器都提供了API，以访问、控制浏览器的各种行为和属性；DOM树：每个网页是一个多级DOM树，每个节点可以有子结点。所有的页面元素都对应一个DOM树上的节点。
实施例一：
一种网页操作记录器，包括浏览器插件和DOM监控器，具体网页操作记录方法如下：
用户安装浏览器插件，本实施例以chrome浏览器为例进行说明，浏览器打开后，插件自动运行，它首先连接服务器，获得当前用户ID。
在用户执行任意一个操作时，浏览器插件都会接收到chrome浏览器的事件通知。比如，打开网页时，可以收到navigateTo事件，表示当前要转向指定的URL。当用户在页面执行操作时，浏览器插件也会收到相应的事件通知。比如点击一个按钮，此时发送一个click事件，内容还包含对应组件的xpath，以及当前页面的完整url等信息；浏览器插件只需要监控相关的事件，忽略不相关的事情，比如这里就不需要关注下载事件startDownload、stopDownload。插件收到相关的消息后，会通过POST方式发送给后台服务器。每条消息都要包含当前时间、用户ID和标签页ID，标签页ID(一般是数字表示)是由浏览器提供的，每个浏览器可能会同时打开多个标签页。
在用户打开一个网页时，插件除了发送消息外，还要自动向当前网页DOM树中插入DOM监控器引入模块的代码(任意位置，一般选择head结点)，同时传入用户ID和标签页ID；插入后执行这段代码，安装DOM监控器。DOM监控器通过标准函数MutationServer(即页面内监控函数)创建，可以对DOM树上任意结点(默认为body结点)上的变化进行监视。这个DOM结点内的所有变化都会生成一条消息，通过POST发给后台服务器。比如，当鼠标在网页内移动时，移动到某些结点，对应的内容会高亮显示，这个时候虽然用户未执行任何操作，但DOM树的内容其实是发生了变化；或者页面上有些内容根据时间自动更新。这些变化是无法通过浏览器插件获得，只能通过页面内监控函数来获得。
在DOM监控器开始工作后，它首先将整个结点都用POST方式发送给服务器；然后只在页面内容发生变化时发送变化的部分；每条消息中都包含有当前时间、用户ID和标签页ID，可以有效地标识这一条消息对应哪个用户、哪个标签页。这样，当有多个用户或同一个用户打开多个标签页时，能够方便地根据时间、用户ID和标签页来区分不同页面上的内容。
服务器收到DOM事件后，将为每一对<用户ID，标签页ID>按时间顺序存为一个会话文件，每一条包含<时间戳，DOM结点变化事件>。同时，为每一对<用户ID，标签页ID>维护一个DOM树快照，它的内容为初始DOM树叠加DOM结点变化事件，与当前网页的内容保持对应。
服务器收到浏览器插件事件后，首先根据<用户ID，标签页ID>找到对应的DOM树快照，再根据它的内容对用户操作事件进行补全，比如用户点击编辑框时，将对应的标签(它们可能不属于同一级DOM结点)从对应的DOM树快照中提取出来，作为附加信息，与操作事件一起保存为用户操作事件会话文件。每一对<用户ID，标签页ID>生成一个会话文件，其中每一条记录包含<时间戳，操作事件，附加信息>。
使用这种方式，在记录用户的每一次操作时，既可以记录浏览器应用上的所有操作，又可以记录每个标签页内网页内容的所有内容及变化记录，并且可以根据DOM树快照补充浏览器插件消息的内容。同时，还能够以文本形式表示网页的实时画面，在保证准确率的情况下，相比较于截屏方式，文件大小要小得多。
若是只有浏览器插件，虽然可以记录用户的所有操作，但无法记录每个网页内的所有变化，比如鼠标滑过时某些内容会高亮显示。若是只有DOM监控模块，则只能准确记录网页的内容及所有变化，但用户的大部分操作，比如打开网页，关闭标签页，这是DOM树之外的内容，就无法获取。为了准确还原用户完整的操作过程，不仅要记录用户在浏览器上的操作，还要记录在每个页面上的操作及页面的所有变化。这样，才能够100％记录并还原用户的操作过程，若是使用机器人来重复这个操作流程，也可以通过这些数据来对比两者是否完全一致。将浏览器插件与DOM监控器结合使用，就可以将浏览器上发生的所有事件，以及每个网页内的所有变化全都记录下来，达到了完全还原操作的目的。
实施例二：
一种网页操作记录系统，包括网页操作记录器和后台服务器，其中：
网页操作记录器包括：
浏览器插件：响应于浏览器被打开时，获取用户ID；响应于网页被打开时，获取标签页ID，以及，向当前网页DOM树中插入安装DOM监控器并传入用户ID和标签页ID；响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID后发送至后台服务器进行关联储存；
DOM监控器：响应于插入网页DOM树时获取DOM树整体结点信息后发送给后台服务器；响应于网页内容有变化时获取DOM树结点变化信息后发送给后台服务器；
其中，浏览器插件基于浏览器所反馈的事件通知获取用户操作事件和标签页ID，浏览器插件和DOM监控器均实时向后台服务器发送信息。
后台服务器基于DOM监控器和浏览器插件发送的信息进行关联存储，以及，基于DOM树结点变化信息对浏览器插件发送的用户操作事件进行补全后存储。其中，后台服务器提取相同用户ID和标签页ID所对应的DOM树结点变化信息，补全对应用户操作事件的上下文信息后存储。
实施例三：
一种网页操作记录装置，包括处理器及存储介质；
存储介质用于存储指令；
处理器用于根据指令进行操作以执行根据下述任一项方法的步骤：
响应于浏览器被打开时，获取用户ID；
响应于网页被打开时，获取标签页ID，以及，向当前网页DOM树中插入安装DOM监控器并传入用户ID和标签页ID；
响应于插入安装DOM监控器时获取DOM树整体结点信息后发送给后台服务器；
响应于网页内容有变化时获取DOM树结点变化信息后发送给后台服务器；
响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID后发送至后台服务器进行关联储存。
其中，响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID发送至后台服务器进行关联储存，包括：
响应于用户执行任意一个操作时，接收浏览器反馈的事件通知；
基于事件通知，获取用户操作事件和标签页ID。
其中，DOM树整体结点信息和DOM树结点变化信息均包括时间戳、用户ID和标签页ID。
实施例四：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述任一项方法的步骤：
响应于浏览器被打开时，获取用户ID；
响应于网页被打开时，获取标签页ID，以及，向当前网页DOM树中插入安装DOM监控器并传入用户ID和标签页ID；
响应于插入安装DOM监控器时获取DOM树整体结点信息后发送给后台服务器；
响应于网页内容有变化时获取DOM树结点变化信息后发送给后台服务器；
响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID后发送至后台服务器进行关联储存。
其中，响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID发送至后台服务器进行关联储存，包括：
响应于用户执行任意一个操作时，接收浏览器反馈的事件通知；
基于事件通知，获取用户操作事件和标签页ID。
其中，DOM树整体结点信息和DOM树结点变化信息均包括时间戳、用户ID和标签页ID。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种网页操作记录方法，其特征是，包括：
响应于浏览器被打开时，获取用户ID；
响应于网页被打开时，获取标签页ID，以及，向当前网页DOM树中插入安装DOM监控器并传入用户ID和标签页ID；
响应于插入安装DOM监控器时获取DOM树整体结点信息后发送给后台服务器；
响应于网页内容有变化时获取DOM树结点变化信息后发送给后台服务器；
响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID后发送至后台服务器进行关联储存。
2.根据权利要求1所述的网页操作记录方法，其特征是，响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID发送至后台服务器进行关联储存，包括：
响应于用户执行任意一个操作时，接收浏览器反馈的事件通知；
基于事件通知，获取用户操作事件和标签页ID。
3.根据权利要求1所述的网页操作记录方法，其特征是，所述DOM树整体结点信息和DOM树结点变化信息均包括时间戳、用户ID和标签页ID。
4.一种网页操作记录器，其特征是，包括：
浏览器插件：响应于浏览器被打开时，获取用户ID；响应于网页被打开时，获取标签页ID，以及，向当前网页DOM树中插入安装DOM监控器并传入用户ID和标签页ID；响应于浏览器内有用户操作时，获取时间戳、用户操作事件和标签页ID后发送至后台服务器进行关联储存；
DOM监控器：响应于插入网页DOM树时获取DOM树整体结点信息后发送给后台服务器；响应于网页内容有变化时获取DOM树结点变化信息后发送给后台服务器。
5.根据权利要求4所述的网页操作记录器，其特征是，所述浏览器插件基于浏览器所反馈的事件通知获取用户操作事件和标签页ID。
6.根据权利要求4所述的网页操作记录器，其特征是，所述浏览器插件和DOM监控器均实时向后台服务器发送信息。
7.一种网页操作记录系统，其特征是，包括如权利要求4-6任一所述的网页操作记录器，还包括后台服务器，所述后台服务器基于DOM监控器和浏览器插件发送的信息进行关联存储，以及，基于DOM树结点变化信息对浏览器插件发送的用户操作事件进行补全后存储。
8.根据权利要求7所述的网页操作记录系统，其特征是，所述后台服务器提取相同用户ID和标签页ID所对应的DOM树结点变化信息，补全对应用户操作事件的上下文信息后存储。
9.一种网页操作记录装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～3任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～3任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111176503.0A CN113987393A (zh) | 2021-10-09 | 2021-10-09 | 一种网页操作记录器、系统、装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111176503.0A CN113987393A (zh) | 2021-10-09 | 2021-10-09 | 一种网页操作记录器、系统、装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113987393A true CN113987393A (zh) | 2022-01-28 |
Family
ID=79737872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111176503.0A Pending CN113987393A (zh) | 2021-10-09 | 2021-10-09 | 一种网页操作记录器、系统、装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113987393A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114780164A (zh) * | 2022-02-28 | 2022-07-22 | 深圳开源互联网安全技术有限公司 | 基于浏览器插件筛选网页信息的方法及系统 |
| CN115145800A (zh) * | 2022-08-29 | 2022-10-04 | 北京微吼时代科技有限公司 | 用于采集终端应用中用户操作行为的方法和装置 |
-
2021
- 2021-10-09 CN CN202111176503.0A patent/CN113987393A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114780164A (zh) * | 2022-02-28 | 2022-07-22 | 深圳开源互联网安全技术有限公司 | 基于浏览器插件筛选网页信息的方法及系统 |
| CN114780164B (zh) * | 2022-02-28 | 2023-04-25 | 深圳开源互联网安全技术有限公司 | 基于浏览器插件筛选网页信息的方法及系统 |
| CN115145800A (zh) * | 2022-08-29 | 2022-10-04 | 北京微吼时代科技有限公司 | 用于采集终端应用中用户操作行为的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11822919B2 (en) | Auto-generation of API documentation via implementation-neutral analysis of API traffic | |
| US11068323B2 (en) | Automatic registration of empty pointers | |
| WO2021088724A1 (zh) | 一种测试方法及装置 | |
| US8589876B1 (en) | Detection of central-registry events influencing dynamic pointers and app feature dependencies | |
| US20130318514A1 (en) | Map generator for representing interrelationships between app features forged by dynamic pointers | |
| CN107562556B (zh) | 故障的恢复方法、恢复装置及存储介质 | |
| CN110955428A (zh) | 一种页面显示方法、装置、电子设备及介质 | |
| CN113987393A (zh) | 一种网页操作记录器、系统、装置及方法 | |
| CN110659256A (zh) | 多机房同步方法、计算设备及计算机存储介质 | |
| CN111796809A (zh) | 接口文档生成方法、装置、电子设备及介质 | |
| US20200310952A1 (en) | Comparable user interface object identifications | |
| CN111949607B (zh) | 一种udt文件的监控方法、系统和装置 | |
| WO2021142771A1 (zh) | 服务工单生成方法、装置及系统 | |
| CN110716804A (zh) | 无用资源的自动删除方法、装置、存储介质及电子设备 | |
| CN111857932A (zh) | 一种基于puppeteer用于运维审计系统的web代填方法 | |
| CN116521552A (zh) | 一种测试缺陷的获取方法、装置、设备及可读存储介质 | |
| US20160323399A1 (en) | Method of and a system for monitoring web site consistency | |
| CN112988776B (zh) | 文本解析规则的更新方法、装置、设备及可读存储介质 | |
| CN113467867B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| US20080313603A1 (en) | User interface archive | |
| CN113204445B (zh) | 用于崩溃定位的信息传送方法、装置、设备及存储介质 | |
| CN111782998B (zh) | 一种基于chrome的网页镜像、回放及本地映射地图生成方法 | |
| CN115033410A (zh) | 异常链路的跟踪方法、系统、网关及存储介质 | |
| CN114327592A (zh) | 页面埋点方法、装置、电子设备及存储介质 | |
| CN117614818A (zh) | 一种处理客户端问题的方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |