CN113010825A - 一种数据处理方法和相关装置 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法，所述方法包括：获取第一网页中的元素信息和所述元素信息对应的元素属性，第一网页为在第一时刻向目标用户展示的目标网页；获取目标网页对应的页面变化信息，该页面变化信息用于标识第二网页相对所述第一网页的页面变化，该第二网页为在第二时刻向该目标用户展示的目标网页，所述第二时刻晚于第一时刻；处理设备可以通过区块链等技术保存上述多种信息，在应用时，可以根据所述元素信息和所述元素属性，生成第一展示页面；根据所述第一展示页面和所述页面变化信息，生成第二展示页面。处理设备可以基于网页的元素信息和元素属性来生成模拟的展示页面，无需目标网页的代码，提高了网页回溯过程中网页的安全性。

Description

一种数据处理方法和相关装置

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据处理方法和相关装 置。

背景技术

网络页面(Web Page，简称Web页面或网页)回溯是指对用户使用网页 的过程进行回放，可应用于信息监管、网页升级等多种场景。例如，排查导 致网页无法正常使用的非预期用户行为、预操作，回溯用户使用网页所呈现 的历史网页。

在相关技术中，可以采用截图的方式实现网页回溯，即对用户每个关键 操作页面进行截图，对每个截图设置一个帧号，并以视频帧的方式存储在数 据库，以及存储每张视频帧的时间戳和位置。以关键帧位置为回放起始时刻， 按照每张视频帧的时间戳分别对读取的视频帧进行回放，以重现与待回放视 频帧对应的关键操作页面。

但是上述采用截图的方式实现网页回溯，需要依赖原始页面及网页代码， 容易存在源码泄露的安全隐患。

发明内容

为了解决上述技术问题，本申请实施例提供了一种数据处理方法和相关 装置，处理设备可以基于网页的元素信息和元素属性来生成模拟的展示页面， 无需目标网页的代码，提高了网页回溯过程中网页的安全性。

有鉴于此，本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

获取第一网页中的元素信息和所述元素信息对应的元素属性，所述第一 网页为在第一时刻向目标用户展示的目标网页；

获取所述目标网页对应的页面变化信息，所述页面变化信息用于标识第 二网页相对所述第一网页的页面变化，所述第二网页为在第二时刻向所述目 标用户展示的目标网页，所述第二时刻晚于第一时刻；

根据所述元素信息和所述元素属性，生成第一展示页面；

根据所述第一展示页面和所述页面变化信息，生成第二展示页面。

第二方面，本申请实施例提供了一种数据处理装置，所述装置包括:

第一获取单元、第二获取单元、第一生成单元和第二生成单元：

所述第一获取单元，用于获取第一网页中的元素信息和所述元素信息对 应的元素属性，所述第一网页为在第一时刻向目标用户展示的目标网页；

所述第二获取单元，用于获取所述目标网页对应的页面变化信息，所述 页面变化信息用于标识第二网页相对所述第一网页的页面变化，所述第二网 页为在第二时刻向所述目标用户展示的目标网页，所述第二时刻晚于第一时 刻；

所述第一生成单元，用于根据所述元素信息和所述元素属性，生成第一 展示页面；

所述第二生成单元，用于根据所述第一展示页面和所述页面变化信息， 生成第二展示页面。

第三方面，本申请实施例提供了一种计算机设备，所述设备包括处理器 以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面中所述的数据 处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机 可读存储介质用于存储计算机程序，所述计算机程序用于执行第一方面中所 述的数据处理方法。

由上述技术方案可以看出，针对目标网页，获取其在第一时刻对应的第 一网页所包括的元素信息、元素属性以及在第二时刻对应的页面变化信息。 由于元素信息和元素属性标识了第一网页所包括的展示内容以及展示内容对 应的展示方式，因此可以根据该元素信息和元素属性，而不需要依赖目标网 页的源代码，生成用于模拟该第一网页的第一展示页面。由于页面变化信息 标识了目标网页在第二时刻对应的第二网页相对第一网页的页面变化，因此 可以根据页面变化信息，直接对第一网页进行修改，而不需要依赖目标网页 的源代码，生成用于模拟第二网页的第二展示页面，解决了在目标网页升级 或改版等场景中无法实现网页回溯的问题，避免了由于网页回溯需要依赖网 页源代码造成信息泄露的风险，提升了网页的安全性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的应用场景示意图；

图2为本申请实施例提供的一种数据处理方法的流程示意图；

图3为本申请实施例提供的一种数据处理方法的示意图；

图4为本申请实施例提供的一种数据处理方法的示意图；

图5为本申请实施例提供的一种数据处理方法的示意图；

图6为本申请实施例提供的一种数据处理方法的示意图；

图7为本申请实施例提供的一种数据处理方法的示意图；

图8为本申请实施例提供的一种数据处理方法的示意图；

图9为本申请实施例提供的一种数据处理方法的示意图；

图10为本申请实施例提供的一种数据处理方法的示意图；

图11为本申请实施例提供的一种数据处理方法的示意图；

图12为本申请实施例提供的一种数据处理方法的应用场景示意图；

图13为本申请实施例提供的一种实际应用场景中数据处理方法的流程示 意图；

图14为本申请实施例提供的一种实际应用场景中数据处理方法的示意图；

图15为本申请实施例提供的一种数据处理装置的结构框图；

图16为本申请实施例提供的一种计算机设备的结构图；

图17为本申请实施例提供的一种服务器的结构图。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

在相关技术中，由于实现网页回溯需要依赖网页的源代码重新生成网页， 存在源代码泄漏的安全隐患。鉴于此，本申请实施例提供了一种数据处理方 法和相关装置，处理设备可以基于网页的元素信息和元素属性来生成模拟的 展示页面，无需目标网页的代码，提高了网页回溯过程中网页的安全性。

本申请实施例提供的数据处理方法是基于人工智能实现的，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模 拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的 理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综 合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方 式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实 现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也 有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯 片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等 技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语 言处理技术以及机器学习/深度学习等几大方向。

在本申请实施例中，主要涉及的人工智能软件技术包括上述机器学习/深 度学习等方向。例如可以涉及机器学习(Machine learning，ML)中的深度学 习(Deep Learning)，包括各类人工神经网络(Artificial Neural Network,ANN)。

为了便于理解本申请的技术方案，下面结合实际应用场景对本申请实施 例提供的内容推送方法进行介绍。

本申请提供的内容推送方法可以应用于具有数据处理能力的内容推送设 备，如终端设备、服务器。其中，终端设备具体可以为智能手机、计算机、 个人数字助理(PersonalDigital Assistant，PDA)、平板电脑等；服务器可以是 独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式 系统，还可以是提供云计算服务的云服务器。终端设备以及服务器可以通过 有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

上述云计算(cloud computing)指IT基础设施的交付和使用模式，指通过网 络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模 式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和 软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、 分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计 算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化 (Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合 的产物。

随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社 会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于 以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企 业管理模式发生革命性的变革。

本申请实施例中的内容处理设备具备机器学习能力。机器学习是一门多 领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等 多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知 识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是 人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的 各个领域。机器学习和深度学习通常包括人工神经网络等技术。本申请实施 例提供的内容推送方法主要涉及对各类人工神经网络的应用。

此外，本申请实施例还涉及区块链技术，例如本申请所公开的数据处理 方法中，元素信息、元素属性和页面变化信息这些数据可保存在区块链上； 同时，当本申请所涉及的处理设备为具有数据处理能力的服务器时，该服务 器可以为组成一个区块链的多个服务器，每一个服务器为该区块链上的一个 节点。

下面以服务器作为执行主体，对本申请实施例进行介绍。

参见图1，图1为本申请实施例提供的数据处理方法的应用场景示意图。 在图1所示的应用场景中，包括目标用户使用的终端设备101和服务器102， 其中目标用户可以通过终端设备101使用目标网页，服务器102能够为目标 用户提供目标网页相关服务，并用于对目标网页进行网页回溯。

相关技术在网页回溯时，需要依赖网页的源代码重新生成网页，源代码 容易泄露导致网页安全风险较高。为了解决上述技术问题，本申请实施例提 供的数据处理方法，实现了在不依赖目标网页原始代码的条件下对于目标网 页的回溯。

服务器102首先获取第一网页中的元素信息和该元素信息对应的元素属 性，其中第一网页为在第一时刻向目标用户展示的目标网页，元素信息可以 包括文本、图片、控件等任意一种或多种信息。在图1所示的场景中，目标 用户通过终端设备101在第一时刻打开搜索网页，终端设备101向目标用户 展示的搜索网页103所包括的元素信息及其对应的元素属性，其中元素信息 包括搜索输入框和搜索按钮。

在第一时刻之后，目标用户可以通过终端设备101操作目标网页，使用 目标网页所提供的服务。相应的，服务器102获取目标用户操作目标网页对 应的页面变化信息，该页面变化信息标识了第二网页相对第一网页的页面变 化，第二网页为在第二时刻向目标用户展示的目标网页，第二时刻晚于第一 时刻，其中页面变化信息包括页面新增信息、页面移除信息等。

在图1所示的场景中，目标用户在第一时刻之后通过终端设备101在搜 索网页103搜索输入框中输入“今天天气”，终端设备102响应于该输入操作， 并在第二时刻向目标用户展示搜索网页104。基于搜索网页103和搜索网页 104，服务器102获取该输入操作对应的网页变化信息，即在搜索输入框中新 增“今天天气”。

基于上述可知，服务器102获取了第一网页向用户展示的元素信息和元 素属性，因此能够直接基于该元素信息和元素属性生成第一网页在第一时刻 向目标用户展示的第一展示页面，实现了对于第一网页对应的展示界面的重 现，而不需要依赖源代码生成目标网页，并依据网页状态等相关信息生成目 标网页在第一时刻对应的第一网页，其中第一展示页面与第一网页的展示内 容相同，第一网页能够为目标用户提供服务，第一展示页面无法为目标用户 提供服务。

在图1所示的场景中，服务器102根据获取的搜索输入框、搜索按钮和 对应的元素属性，生成搜索网页103对应的第一展示页面，该第一展示页面 与搜索网页103的展示内容相同，搜索网页103能够为目标用户提供搜索服 务，第一展示页面无法为目标用户提供搜索服务。

继而，服务器102可以根据上述页面变化信息，对第一展示页面进行修 改，生成第二网页在第二时刻向目标用户展示的第二展示页面，该第二展示 页面与第二网页的展示内容相同，第二网页能够为目标用户提供服务，第二 展示页面无法为目标用户提供服务。

在图1所示的场景中，服务器102根据页面变化信息，在第一展示页面 的搜索输入框中新增“今天天气”，得到搜索网页104在第二时刻向目标用户 展示的第二展示页面，搜索网页104能够为目标用户提供搜索服务，第二展 示页面无法为目标用户提供搜索服务。

上述根据页面变化信息，直接对第一展示页面进行修改，实现了对于由 用户操作使得第一网页变为第二网页对应的展示界面的重现，而不需要依赖 目标网页源码生成目标网页，并根据记录的用户操作对目标网页再次操作一 次生成对应的第二网页，如此解决了在目标网页升级或改版等场景中由于需 要依赖源代码导致网页回溯的问题，降低了源码泄露的可能性，提高了网页 的安全性。

为了更好的理解，下面结合图2对本申请实施例提供的数据处理方法进 行介绍。

参见图2，图2为本申请实施例提供的数据处理方法的流程示意图。如图 2所示，该数据处理方法包括以下步骤：

S201：获取第一网页中的元素信息和所述元素信息对应的元素属性。

针对目标网页在第一时刻对应的第一网页，获取其中的元素信息和该元 素信息对应的元素属性，其中元素信息包括至少一种展示内容和该展示内容 对应的属性，展示内容是指网页浏览器能够识别的对象，包括但不限于文本、 图片、控件等，展示内容对应的属性用于标识所述对象在网页中的展示方式， 包括但不限于尺寸、颜色等。

可以理解的是，网页所包括的元素信息及其元素属性一般为文档对象模 型(DOM)节点的形式，而DOM节点无法直接存储在数据库中。为此，在 本申请实施例中，可以先通过遍历第一网页所包括的所有DOM节点，然后将 其转换为虚拟DOM数据，该虚拟DOM数据包括对应的样式信息，以便对元 素信息及其元素属性进行存储和还原。在实际应用中，可以将上述元素信息 和元素属性作为第一网页对应的初始页面快照进行存储，具体可以根据实际 应用场景设定，在此不作任何限定。

其中，该元素信息可以是网页中能够向用户进行展示的内容，通过这些 用户能够看到的内容进行回溯，即可实现让用户获知网页在特定时间段内变 化的效果，因此并不需要处理设备了解网页的运行逻辑，即不需要获取该网 页的代码，实现了对网页安全的保护。例如，当目标网页中存在一个按钮时， 该元素信息只包括该按钮的图片信息，无需保存该按钮的功能或触发方式。

在应用过程中，触发S101的方式可以是多种，例如，目标用户使用终端 设备在网络浏览器中打开目标网页时，触发获取网络浏览器打开的初始网页 中的元素信息及其元素属性。又如根据获取指令，触发获取用户使用网页过 程中对应某一时刻的元素信息及其元素属性。具体应用过程中，可以根据实 际场景设定S101的触发时机，在此不做任何限定。

S202：获取所述目标网页对应的页面变化信息。

在第一时刻之后，目标用户通过操作目标网页，使用目标网页提供的服 务。在此过程中，获取目标用户操作目标网页对应的页面变化信息，该页面 变化信息用于标识第二网页相对上述第一网页的页面变化，第二网页为在第 二时刻向目标用户展示的目标网页，且第二时刻晚于第一时刻。

在实际应用过程中，可以预先在目标网页中接入日志采集软件开发工具 包(Software Development Kit,SDK)。在用户操作目标网页过程中，通过日志 采集SDK获取上述页面变化信息。其中，SDK是指由软件工程师为特定的软 件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。 在本申请实施例中，上述日志采集SDK是指为待回溯的网页建立日志采集应 用软件的开发工具的集合。

在本申请实施例中，上述网页变化信息可以包括页面元素变化数据和/或 页面视口变化数据，其中页面元素变化数据是指网页中发生改变的元素，包 括但不限于页面新增元素、页面移除元素和页面元素属性变化，其中页面元 素属性是指网页所包括的元素的特性，例如颜色、形状、位置等，在此不做 任何限定。页面视口变化数据是指呈现给用户的网页窗口发生的变化，包括 但不限于页面滚动、页面尺寸变化。在实际应用中，页面元素变化数据可以 采用标准Web API中的MutationObserver对网页进行监听和采集。页面视口 变化数据可以采用标准Web API中的addEventListener对网页进行监听和采集。

S203：根据所述元素信息和元素属性，生成第一展示页面。

通过元素信息，处理设备可以确定目标用户在第一时刻所看到的目标网 页上的元素内容，通过元素属性，处理设备可以确定这些元素内容对应的属 性信息，例如颜色、位置、大小等。从而，通过元素信息和元素属性，处理 设备可以生成第一展示页面，该第一展示页面为用于模拟第一时刻的第一网 页的展示页面。

S204：根据第一展示页面和页面变化信息，生成第二展示页面。

上已述及，页面变化信息能够体现出第二网页相对第一网页的页面变化， 而第一展示页面中包括能够体现出第一网页的元素，因此，基于该第一展示 页面和页面变化信息，处理设备可以生成第二展示页面，该第二展示页面用 于模拟第二时刻的第二网页。由于第一展示页面和第二展示页面中包括第一 网页和第二网页中用于向用户展示的所有元素信息对应的元素属性，因此， 从用户角度来看，该第一展示页面和第二展示页面能够清晰的体现出在第一 时刻至第二时刻间，目标网页发生的变化，从而能够通过该第一展示页面和 第二展示页面实现对第一时刻至第二时刻之间，目标网页的回溯。由于该回 溯过程不需要依赖目标网页原始代码，因此解决了在目标网页升级或改版等 场景中无法实现网页回溯的问题，降低了网页回溯因为依赖网页原始代码容 易造成信息泄露的安全隐患，提升了网页的安全性。

由上述技术方案可以看出，针对目标网页，获取其在第一时刻对应的第 一网页所包括的元素信息、元素属性以及在第二时刻对应的页面变化信息。 由于元素信息和元素属性标识了第一网页所包括的展示内容以及展示内容对 应的展示方式，因此可以根据该元素信息和元素属性，而不需要依赖目标网 页的源代码，生成用于模拟该第一网页的第一展示页面。由于页面变化信息 标识了目标网页在第二时刻对应的第二网页相对第一网页的页面变化，因此 可以根据页面变化信息，直接对第一网页进行修改，而不需要依赖目标网页 的源代码，生成用于模拟第二网页的第二展示页面，解决了在目标网页升级 或改版等场景中无法实现网页回溯的问题，避免了由于网页回溯需要依赖网 页源代码造成信息泄露的风险，提升了网页的安全性。

可以理解的是，仅仅对网页进行回溯可能无法确定用户做了什么操作， 使得网页发生了变化。为此，在获取页面变化信息的基础上，还可以获取目 标用户在目标时刻操作目标网页对应的用户行为，其中目标时刻为第一时刻 至第二时刻的任一时刻。处理设备可以根据该第一展示页面和用户行为，生 成用户展示界面，该用户展示界面包括用户行为标注，该用户行为标注用于 标识该用户行为，从而能够使用户获知在该目标时刻所做的用户行为，从而 能够更加清楚的了解网页变化的具体情况。

需要说明的是，用户行为与页面变化信息可以具有对应关系，即由用户 行为导致页面发生了变化。在本申请实施例中，目标时刻与第二时刻可以相 同，也可以不相同。若目标时刻与第二时刻相同，表明用户操作目标页面的 时间与目标页面发生变化的时间基本一致，即是同步的。若目标时刻与第二 时刻不同，表明用户操作目标页面的时间与目标页面发生变化的时间有一定 的时间间隔，即是异步的。其中，用户行为用于标识目标用户对于目标网页 的操作，包括但不限于鼠标操作、键盘操作或触屏操作等。在一种可能的实 现方式中，可以采用标准网络应用程序编程接口(Web Application ProgrammingInterface,Web API)中的addEventListener对目标用户操作目标 网页的相应事件进行监听和采集。

在实际应用过程中，当用户使用Web浏览器打开目标网页时，目标网页 所接入的日志采集SDK开始初始化。然后，通过监听目标用户对于目标网页 的一系列行为用于触发生成对应的交互日志，即将用户行为以及页面变化信 息存储在日志队列中。需要说明的是，获取交互日志的应用过程中可以根据 实际应用场景确定，在此不作任何限定。

本申请实施例在采集交互日志过程中，采集目标用户在第一时刻至第二 时刻内对于目标网页的所有用户行为和所有页面变化信息，且每个用户行为 和每个页面变化信息通过各自对应的时刻进行标识。

如图3所示，本申请实施例中的交互日志300所能包括的所有内容具体 有：初始页面快照301，用户行为302、页面元素变化数据303和页面视口变 化数据304，其中初始页面快照301包括第一网页的元素信息和元素属性，用 户行为302可以包括鼠标操作3021、键盘操作3022和触屏操作3033，页面 元素变化数据303包括页面新增元素3031、页面移除元素3032页面元素属性 变化3033，页面视口变化数据304包括页面滚动和页面尺寸变化。在实际应 用中，交互日志所包括的内容可以根据具体场景确定，在此仅给出一种可能 的方式，并不对交互日志做出任何限定。

在实际应用中，当目标用户使用完目标网页时，触发日志采集SDK的上 报方法，将日志队列中的交互日志上报至服务器进行存储。在本申请实施例 中可以选择数据库如MongoDB或者日志文件的方式对交互日志进行存储，其 中MongDB是一种基于分布式文件存储的数据库。触发交互日志上报的时机 可以是目标用户在目标网页完成了页面的业务流程或者目标用户退出目标网 页，如小明在信息采集网页中录入自己的身份信息，点击“提交”，页面显示 “完成”，即信息采集网页完成了当前对于小明的信息采集流程。需要说明的是，实际可以根据具体的应用场景确定上述过程，在此不做任何限定。

如图4所示，图4为本申请实施例提供的一种数据处理方法的示意图， 在回溯过程中，处理设备可以在用户展示界面中展示鼠标移动位置、鼠标点 击位置等；又或者如图5所示，若目标用户在目标时刻在搜索输入框输入了 “深圳去德州”这段文字，则处理设备可以在用户展示界面中，在搜索输入 框内添加这些文字，以模拟键盘输入操作。

可以理解的是，除了进行纯页面回溯之外，为了使回溯效果更加形象， 处理设备还可以引入视频回溯的方式进行回溯展示。在一种可能的实现方式 中，处理设备可以根据该第一展示页面和第二展示页面，获取该目标网页在 第一时刻至第二时刻对应的媒体流数据，并根据该媒体流数据生成该目标网 页在第一时刻至第二时刻对应的回溯视频。通过观看该回溯视频，用户可以 更加清楚的了解目标网页在第一时刻至第二时刻发生的变化。

在该回溯视频中，除了能够对页面进行展示外，为了进一步丰富视频内 容，提高回溯的完整性，该回溯视频中还可以包括该目标网页在该第一时刻 至第二时刻对应的音频信息和/或视频信息。例如，在第一网页的元素信息中 可以包括音频元素和视频元素，元素属性中可以包括该音频元素和视频元素 对应的元素属性，在页面变化信息中可以包括音频元素变化信息和视频元素 变化信息，从而在生成回溯视频时，可以将音频信息和视频信息一同在该回 溯视频中进行展示。

其中，处理设备根据第一展示页面和第二展示页面生成媒体流数据的方 式可以包括多种，例如可以基于WebRTC API进行转换、基于Chrome扩展 API进行转换、利用Chrome提供的desktopCapture进行转换等。接下来，将 以基于WebRTC API进行转换的方式进行详细介绍。

如图6所示，图6为一种数据处理方法的示意图，在打开页面后，处理 设备可以先将页面转化为媒体流数据MediaStream，如图7和图8所示，图7 展示了一种通过WebRTC API将页面转化为MediaStream的代码示意图，图8 展示了一种通过Chrome扩展API将页面转化为MediaStream的代码示意图。

随后，处理设备可以对媒体流数据进行监听并捕获生成的媒体流数据。 在本申请实施例中，处理设备可以通过标准媒体流记录器Web API MediaRecorder来捕获并记录媒体流数据。当用户对目标网页进行操作或目标 网页发生了变化时，目标网页就会不断向媒体流记录器中推送数据。处理设 备可以将该媒体流记录器中的媒体流数据缓存下来，用来生成回溯视频。如 图9所示，图9展示了一种通过媒体流记录器记录媒体流数据的代码示意图。

最后，处理设备可以基于获取到的MediaStream生成回溯视频。在本申请 实施例中，处理设备可以通过标准Web API Blob对象将捕获到的MediaStream 转换为视频数据，最后将该视频数据通过浏览器等方式下载，落地为视频文 件，从而生成回溯视频。如图10所示，图10展示了一种基于MediaStream生 成视频数据的代码示意图。

可以理解的是，在第二时刻时，目标用户可能已经在网页中完成了想要 进行的业务，因此如果将第一时刻至第二时刻的所有媒体流数据都用于生成 回溯视频时，可能会导致该回溯视频中只有部分视频内容是与观看该视频的 用户的回溯需求相关的。基于此，为了进一步提高回溯视频的视频质量，节 省用户时间，在一种可能的实现方式中，处理设备可以根据第一网页和第二 网页，确定目标业务，该目标业务是指目标用户在第一时刻至第二时刻这段 时间中，通过目标网页想要进行的业务。处理设备可以分析该页面变化信息，确定是否存在第三时刻，该第三时刻为该目标业务对应的完成时刻，即处理 设备可以通过该页面变化信息，判断在第一时刻至第二时刻中，用户是否已 经完成了该目标业务。例如，处理设备可以通过判断该页面变化信息中是否 具有某一特定的页面变化信息，如某一元素信息中的文字发生了改变等，来 判断是否存在第三时刻。

若处理设备根据该页面变化信息确定出第三时刻，可以删除该媒体流数 据中处于该第三时刻至第二时刻的媒体流数据，从而将与该目标业务无关的 媒体流数据剔除。处理设备可以根据经过删除处理后的媒体流数据，生成该 目标网页在第一时刻至第二时刻对应的回溯视频。从而，在该回溯视频中可 以只包括与目标业务相关的视频内容，用户可以通过较短的视频来实现相同 的回溯效果。

进一步的，为了提高回溯视频的生成效率，处理设备可以通过自动生成 回溯视频的方式来替代人工生成的方式。在一种可能的实现方式中，处理设 备可以通过Puppeteer来实现回溯视频生成的自动化。如图11所示，处理设 备可以向转视频服务推送一条转视频任务，转视频服务接到任务后，可以通 过puppeteer打开处理设备生成的回溯页面，该回溯页面即处理设备生成的用 于进行回溯展示的第一展示页面和第二展示页面，然后通过MediaStream的技 术手段，根据该第一展示页面和第二展示页面生成回溯视频，实现传视频服 务的自动化。处理设备可以将该回溯视频进行存储，当用户想要观看回溯视 频时，从视频存储中提取出对应的回溯视频播放给用户。

为了便于理解本申请技术方案，接下来将结合一种实际应用场景，对本 申请实施例提供的一种数据处理方法进行介绍。

参见图12，图12为本申请实施例提供的一种实际应用场景中数据处理方 法的示意图，在该实际应用场景中，处理设备为具有回溯功能的服务器。

如图13所示，在业务界面，用户可以进行用户操作，服务器可以通过交 互日志采集SDK采集交互日志，该交互日志包括用户行为、页面元素变化数 据、页面视口变化数据和初始页面快照，该初始页面快照包括初始页面的元 素信息和元素属性。

处理设备可以将交互日志采集SDK采集到的交互日志进行上报，并存储 该交互日志。在进行回溯时，处理设备可以从日志存储中读取交互日志，然 后通过交互日志还原SDK生成回溯页面，该回溯页面包括上述第一展示页面 和第二展示页面。用户可以通过该回溯页面查看回溯。

同时，如图13所示，处理设备可以向转视频服务发送转视频任务，传视 频服务可以通过Puppeteer打开回溯页面，然后将该回溯页面转为MdiaStream， 并缓存得到的MediaStream数据。处理设备可以判断回溯是否结束，若没结束， 则不断进行数据转换，若结束，则将MediaStream数据转为视频数据，生成视 频文件进行存储，在用户想要观看回溯视频时从视频存储中提取出回溯视频 进行播放。

此外，为了实现更加强大的服务，处理设备还可以在架构层进行一些额 外的补充。如图14所示，图14展示了一种用户进行回溯的服务架构示意图， 该服务架构包括终端设备、SDK、代理、网关、服务中心、中间件、存储和 CICD和容器技术。

此外，在生成回溯视频时，处理设备还可以直接对第一展示页面和第二 展示页面进行录屏来生成该回溯视频，或者对该第一展示页面和第二展示页 面进行截图，然后利用FFmpeg等软件将图片合成回溯视频。

基于上述实施例提供的一种数据处理方法，本申请实施例还提供了一种 数据处理装置，参见图15，图15为本申请实施例提供的一种数据处理装置 1500的结构框图，该装置1500包括第一获取单元1501、第二获取单元1502、 第一生成单元1503和第二生成单元1504：

第一获取单元1501，用于获取第一网页中的元素信息和所述元素信息对 应的元素属性，所述第一网页为在第一时刻向目标用户展示的目标网页；

第二获取单元1502，用于获取所述目标网页对应的页面变化信息，所述 页面变化信息用于标识第二网页相对所述第一网页的页面变化，所述第二网 页为在第二时刻向所述目标用户展示的目标网页，所述第二时刻晚于第一时 刻；

第一生成单元1503，用于根据所述元素信息和所述元素属性，生成第一 展示页面；

第二生成单元1504，用于根据所述第一展示页面和所述页面变化信息， 生成第二展示页面。

在一种可能的实现方式中，装置1500还包括第三获取单元和第三生成单 元：

第三获取单元，用于根据所述第一展示页面和所述第二展示页面，获取 所述目标网页在所述第一时刻至所述第二时刻对应的媒体流数据；

第三生成单元，用于根据所述媒体流数据，生成所述目标网页在所述第 一时刻至所述第二时刻对应的回溯视频。

在一种可能的实现方式中，所述回溯视频还包括所述目标网页在所述第 一时刻至所述第二时刻对应的音频信息和/或视频信息。

在一种可能的实现方式中，装置1500还包括第四获取单元和第四生成单 元：

第四获取单元，用于获取所述目标用户在目标时刻操作所述目标网页对 应的用户行为，所述目标时刻为所述第一时刻至所述第二时刻的任一时刻；

第四生成单元，用于根据所述第一展示页面和所述用户行为，生成用户 展示界面，所述用户展示界面包括用户行为标注，所述用户行为标注用于标 识所述用户行为。

在一种可能的实现方式中，第三生成单元具体用于：

根据所述第一网页和所述第二网页，确定目标业务；

若根据所述页面变化信息确定出第三时刻，删除所述媒体流数据中处于 所述第三时刻至所述第二时刻的媒体流数据，所述第三时刻为所述目标业务 对应的完成时刻；

根据经过删除处理后的媒体流数据，生成所述目标网页在所述第一时刻 至所述第二时刻对应的回溯视频。

在一种可能的实现方式中，所述页面变化信息包括页面元素变化数据和/ 或页面视口变化数据。

本申请实施例还提供了一种计算机设备，下面结合附图对该设备进行介 绍。请参见图8所示，本申请实施例提供了一种设备，该设备还可以是终端 设备，该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，简称PDA)、销售终端(Point of Sales，简称POS)、车载电脑等任 意智能终端，以终端设备为手机为例：

图16示出的是与本申请实施例提供的终端设备相关的手机的部分结构的 框图。参考图16，手机包括：射频(Radio Frequency，简称RF)电路1610、 存储器1620、输入单元1630、显示单元1640、传感器1650、音频电路1660、 无线保真(wireless fidelity，简称WiFi)模块1670、处理器1680、以及电源 1690等部件。本领域技术人员可以理解，图16中示出的手机结构并不构成对 手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者 不同的部件布置。

下面结合图16对手机的各个构成部件进行具体的介绍：

RF电路1610可用于收发信息或通话过程中，信号的接收和发送，特别 地，将基站的下行信息接收后，给处理器1680处理；另外，将设计上行的数 据发送给基站。通常，RF电路1610包括但不限于天线、至少一个放大器、 收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工 器等。此外，RF电路1610还可以通过无线通信与网络和其他设备通信。上 述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，简称GSM)、通用分组无线服务 (GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access， 简称WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短 消息服务(Short Messaging Service，简称SMS)等。

存储器1620可用于存储软件程序以及模块，处理器1680通过运行存储 在存储器1620的软件程序以及模块，从而执行手机的各种功能应用以及数据 处理。存储器1620可主要包括存储程序区和存储数据区，其中，存储程序区 可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像 播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音 频数据、电话本等)等。此外，存储器1620可以包括高速随机存取存储器， 还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其 他易失性固态存储器件。

输入单元1630可用于接收输入的数字或字符信息，以及产生与手机的用 户设置以及功能控制有关的键信号输入。具体地，输入单元1630可包括触控 面板1631以及其他输入设备1632。触控面板1631，也称为触摸屏，可收集 用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体 或附件在触控面板1631上或在触控面板1631附近的操作)，并根据预先设定 的程式驱动相应的连接装置。可选的，触控面板1631可包括触摸检测装置和 触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触 摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置 上接收触摸信息，并将它转换成触点坐标，再送给处理器1680，并能接收处 理器1680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线 以及表面声波等多种类型实现触控面板1631。除了触控面板1631，输入单元 1630还可以包括其他输入设备1632。具体地，其他输入设备1632可以包括 但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1640可用于显示由用户输入的信息或提供给用户的信息以及手 机的各种菜单。显示单元1640可包括显示面板1641，可选的，可以采用液晶 显示器(LiquidCrystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板1641。进一步的， 触控面板1631可覆盖显示面板1641，当触控面板1631检测到在其上或附近 的触摸操作后，传送给处理器1680以确定触摸事件的类型，随后处理器1680 根据触摸事件的类型在显示面板1641上提供相应的视觉输出。虽然在图16 中，触控面板1631与显示面板1641是作为两个独立的部件来实现手机的输 入和输入功能，但是在某些实施例中，可以将触控面板1631与显示面板1641 集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1650，比如光传感器、运动传感器以及其 他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环 境光传感器可根据环境光线的明暗来调节显示面板1641的亮度，接近传感器 可在手机移动到耳边时，关闭显示面板1641和/或背光。作为运动传感器的一 种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时 可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、 相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他 传感器，在此不再赘述。

音频电路1660、扬声器1661，传声器1662可提供用户与手机之间的音 频接口。音频电路1660可将接收到的音频数据转换后的电信号，传输到扬声 器1661，由扬声器1661转换为声音信号输出；另一方面，传声器1662将收 集的声音信号转换为电信号，由音频电路1660接收后转换为音频数据，再将 音频数据输出处理器1680处理后，经RF电路1610以发送给比如另一手机， 或者将音频数据输出至存储器1620以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1670可以帮助用户 收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互 联网访问。虽然图16示出了WiFi模块1670，但是可以理解的是，其并不属 于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1680是手机的控制中心，利用各种接口和线路连接整个手机的各 个部分，通过运行或执行存储在存储器1620内的软件程序和/或模块，以及调 用存储在存储器1620内的数据，执行手机的各种功能和处理数据，从而对手 机进行整体监控。可选的，处理器1680可包括一个或多个处理单元；优选的， 处理器1680可集成应用处理器和调制解调处理器，其中，应用处理器主要处 理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。 可以理解的是，上述调制解调处理器也可以不集成到处理器1680中。

手机还包括给各个部件供电的电源1690(比如电池)，优选的，电源可以 通过电源管理系统与处理器1680逻辑相连，从而通过电源管理系统实现管理 充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本实施例中，该终端设备所包括的处理器1680还具有以下功能：

获取第一网页中的元素信息和所述元素信息对应的元素属性，所述第一 网页为在第一时刻向目标用户展示的目标网页；

获取所述目标网页对应的页面变化信息，所述页面变化信息用于标识第 二网页相对所述第一网页的页面变化，所述第二网页为在第二时刻向所述目 标用户展示的目标网页，所述第二时刻晚于第一时刻；

根据所述元素信息和所述元素属性，生成第一展示页面；

根据所述第一展示页面和所述页面变化信息，生成第二展示页面。

本申请实施例还提供一种服务器，请参见图17所示，图17为本申请实 施例提供的服务器1700的结构图，服务器1700可因配置或性能不同而产生 比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units， 简称CPU)1722(例如，一个或一个以上处理器)和存储器1732，一个或一 个以上存储应用程序1742或数据1744的存储介质1730(例如一个或一个以 上海量存储设备)。其中，存储器1732和存储介质1730可以是短暂存储或持 久存储。存储在存储介质1730的程序可以包括一个或一个以上模块(图示没 标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央 处理器1722可以设置为与存储介质1730通信，在服务器1700上执行存储介 质1730中的一系列指令操作。

服务器1700还可以包括一个或一个以上电源1726，一个或一个以上有线 或无线网络接口1750，一个或一个以上输入输出接口1758，和/或，一个或一 个以上操作系统1741，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于图17所示的服务器结构。

本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序， 该计算机程序用于执行前述各个实施例所述的数据处理方法中的任意一种实 施方式。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取 存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的 存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory， 缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个 实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其 他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似 于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明 即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件 说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以 是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实 施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可 以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不 局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可 轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请 的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取第一网页中的元素信息和所述元素信息对应的元素属性，所述第一网页为在第一时刻向目标用户展示的目标网页；

获取所述目标网页对应的页面变化信息，所述页面变化信息用于标识第二网页相对所述第一网页的页面变化，所述第二网页为在第二时刻向所述目标用户展示的目标网页，所述第二时刻晚于第一时刻；

根据所述元素信息和所述元素属性，生成第一展示页面；

根据所述第一展示页面和所述页面变化信息，生成第二展示页面。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述第一展示页面和所述第二展示页面，获取所述目标网页在所述第一时刻至所述第二时刻对应的媒体流数据；

根据所述媒体流数据，生成所述目标网页在所述第一时刻至所述第二时刻对应的回溯视频。

3.根据权利要求2所述的方法，其特征在于，所述回溯视频还包括所述目标网页在所述第一时刻至所述第二时刻对应的音频信息和/或视频信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标用户在目标时刻操作所述目标网页对应的用户行为，所述目标时刻为所述第一时刻至所述第二时刻的任一时刻；

根据所述第一展示页面和所述用户行为，生成用户展示界面，所述用户展示界面包括用户行为标注，所述用户行为标注用于标识所述用户行为。

5.根据权利要求2所述的方法，其特征在于，所述根据所述媒体流数据，生成所述目标网页在所述第一时刻至所述第二时刻对应的回溯视频，包括：

根据所述第一网页和所述第二网页，确定目标业务；

若根据所述页面变化信息确定出第三时刻，删除所述媒体流数据中处于所述第三时刻至所述第二时刻的媒体流数据，所述第三时刻为所述目标业务对应的完成时刻；

根据经过删除处理后的媒体流数据，生成所述目标网页在所述第一时刻至所述第二时刻对应的回溯视频。

6.根据权利要求1所述的方法，其特征在于，所述页面变化信息包括页面元素变化数据和/或页面视口变化数据。

7.一种数据处理装置，其特征在于，所述装置包括第一获取单元、第二获取单元、第一生成单元和第二生成单元：

所述第一获取单元，用于获取第一网页中的元素信息和所述元素信息对应的元素属性，所述第一网页为在第一时刻向目标用户展示的目标网页；

所述第二获取单元，用于获取所述目标网页对应的页面变化信息，所述页面变化信息用于标识第二网页相对所述第一网页的页面变化，所述第二网页为在第二时刻向所述目标用户展示的目标网页，所述第二时刻晚于第一时刻；

所述第一生成单元，用于根据所述元素信息和所述元素属性，生成第一展示页面；

所述第二生成单元，用于根据所述第一展示页面和所述页面变化信息，生成第二展示页面。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括第三获取单元和第三生成单元：

所述第三获取单元，用于根据所述第一展示页面和所述第二展示页面，获取所述目标网页在所述第一时刻至所述第二时刻对应的媒体流数据；

所述第三生成单元，用于所述根据所述媒体流数据，生成所述目标网页在所述第一时刻至所述第二时刻对应的回溯视频。

9.一种计算机设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-6中任意一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-6中任意一项所述的数据处理方法。

Images