CN109710224B

CN109710224B - 页面处理方法、装置、设备及存储介质

Info

Publication number: CN109710224B
Application number: CN201910046110.4A
Authority: CN
Inventors: 宜博; 黄江涛
Original assignee: Yichuang Beijing Technology Co ltd
Current assignee: Yichuang Beijing Technology Co ltd
Priority date: 2019-01-17
Filing date: 2019-01-17
Publication date: 2022-06-14
Anticipated expiration: 2039-01-17
Also published as: CN109710224A

Abstract

本发明提供的页面处理方法、装置、设备及存储介质，属于网页处理技术领域。该页面处理方法包括：爬取目标页面；获取所述目标页面中的目标数据；将所述目标数据转换为目标格式的多个数据单元；根据多个所述数据单元生成新页面。本发明通过爬取目标页面；获取所述目标页面中的目标数据；将所述目标数据转换为目标格式的多个数据单元；根据多个所述数据单元生成新页面使得用户无需从无到有的进行开发，而是通过先爬取到相关的网页后，得到网页的数据单元，进而可以有效缩短了开发页面的时间，提高了页面开发效率，同时有效节约了开发成本。

Description

页面处理方法、装置、设备及存储介质

技术领域

本发明涉及网页处理技术领域，具体而言，涉及页面处理方法、装置、设备及存储介质。

背景技术

随着web(WorldWideWeb，万维网)发展从web1.0时代到web2.0时代，直至今天的技术框架百花齐放，web开发的效率逐渐提升。但是目前网页都是通过工程师开发成对应的界面，从而导致开发成本较高，另外开发周期长，时间成本也比较高。

发明内容

本发明实施例提供的页面处理方法、装置、设备及存储介质，可以解决现有技术中的无法提高页面处理的精度的技术问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供的一种页面处理方法，包括：爬取目标页面；获取所述目标页面中的目标数据；将所述目标数据转换为目标格式的多个数据单元；根据多个所述数据单元生成新页面。在本发明实施例中，通过爬取目标页面；获取所述目标页面中的目标数据；将所述目标数据转换为目标格式的多个数据单元；根据多个所述数据单元生成新页面。使得用户无需从无到有的进行开发，而是通过先爬取到相关的网页后，得到网页的数据单元，进而可以有效缩短了开发页面的时间，提高了页面开发效率，同时有效节约了开发成本。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，所述获取所述目标页面中的目标数据，包括：提取所述目标页面所对应的页面布局信息；根据所述页面布局信息从所述目标页面中确定出目标数据。在本发明实施例中，通过提取目标页面所对应的页面布局信息，从而根据所述页面布局信息从所述目标页面中确定出目标数据，可以快速抓取目标页面的相关信息，可以降低人工开发时间，进而有效节约开发成本。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，所述提取所述目标页面所对应的页面布局信息，包括：提取所述目标页面所对应的页面结构和页面样式；将所述页面结构和所述页面样式作为页面布局信息。在本发明实施例中，通过提取所述目标页面所对应的页面结构和页面样式，从而使得能够基于所提取的页面结构和页面样式快速生成新页面，进而缩短人工开发时间，进而有效节约开发成本。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，所述根据所述页面布局信息从所述目标页面中确定出目标数据，包括：根据所述页面布局信息提取所述页面中的页面元素；提取所述页面元素所对应的页面数据；过滤所述页面数据中与预设参数匹配的数据，得到目标数据。在本发明实施例中，通过根据所述页面布局信息提取所述页面中的页面元素；提取所述页面元素所对应的页面数据；过滤所述页面数据中与预设参数匹配的数据，得到目标数据，从而得到用户需要的数据(即目标数据)，进而使得用户只需要对所爬取到的网页进行适应性修改，即可生成新的页面，进而有效缩短了开发页面的时间，提高了页面开发效率，同时有效节约了开发成本。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，所述将所述目标数据转换为目标格式的多个数据单元，包括：将所述目标数据按照页面标签属性拆分为目标格式的多个数据单元。在本发明实施例中，通过将目标数据拆分为同一目标格式的多个数据单元，从而使得用户在使用时，只需要通过找到需要的数据单元，进而组合后便可以生成新页面，进而有效缩短了开发页面的时间，提高了页面开发效率，同时有效节约了开发成本。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，所述根据多个所述数据单元生成新页面，包括：获取用户输入的配置参数；从多个所述数据单元中确定与所述配置参数所匹配的待配置数据单元；根据所述配置参数配置所述待配置数据单元，得到配置数据单元；根据所述配置单元和多个所述数据单元生成新页面。在本发明实施例中，通过获取用户输入的配置参数；从多个所述数据单元中确定与所述配置参数所匹配的待配置数据单元；根据所述配置参数配置所述待配置数据单元，得到配置数据单元；从而通过重新配置数据单元，使得根据所述配置单元和多个所述数据单元生成用户所需要的新页面，使得用户无需从无到有的进行开发，而是通过先爬取到相关的网页后，得到网页的数据单元，进而可以有效缩短了开发页面的时间，提高了页面开发效率，同时有效节约了开发成本。

第二方面，本发明实施例提供的一种页面处理装置，包括：页面爬取单元，用于爬取目标页面；数据获取单元，用于获取所述目标页面中的目标数据；数据处理单元，用于将所述目标数据转换为目标格式的多个数据单元；页面生成单元，用于根据多个所述数据单元生成新页面。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，所述数据获取单元还用于：提取所述目标页面所对应的页面布局信息；根据所述页面布局信息从所述目标页面中确定出目标数据。

第三方面，本发明实施例提供的一种终端设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述页面处理方法的步骤。

第四方面，本发明实施例提供的一种存储介质，所述存储介质用于存储指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的页面处理方法。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明第一实施例提供的页面处理方法的流程图；

图2为本发明第二实施例提供的页面处理装置的功能模块示意图；

图3为本发明第三实施例提供的一种终端设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

第一实施例

由于现有的网页都是通过工程师开发成对应的界面，为了降低开发成本以及缩短开发周期，本实施例首先提供了一种页面处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。

请参阅图1，是本发明实施例提供的页面处理方法的流程图。下面将对图1所示的具体流程进行详细阐述。

步骤S101，爬取目标页面。

可选地，基于网络爬虫爬取目标页面。例如，在网页中植入一段javascript脚本，从而爬取目标页面。

当然，在实际使用中，还可以使用iframe爬虫、chrome插件(即谷歌插件)、headless chrome爬虫等爬取目标页面。在此，不作具体限定。

可选地，根据用户输入的参数爬取目标页面。例如，用户需要爬取某个管理系统的页面，则可以先输入该管理系统相关的参数，从而进入该管理系统，再通过本地植入的网络爬虫爬取目标页面。

可选地，上述参数可以是IP(Internet Protocol，网络协议)地址，也可以是目前页面的名称或类型等。

可选地，所述目标页面可以是一个页面，也可以是多个页面。

步骤S102，获取所述目标页面中的目标数据。

作为一种实施方式，步骤S102包括：提取所述目标页面所对应的页面布局信息；根据所述页面布局信息从所述目标页面中确定出目标数据。

在本发明实施例中，通过提取目标页面所对应的页面布局信息，从而根据所述页面布局信息从所述目标页面中确定出目标数据，可以快速抓取目标页面的相关信息，可以降低人工开发时间，进而有效节约开发成本。

可选地，所述提取所述目标页面所对应的页面布局信息，包括：提取所述目标页面所对应的页面结构和页面样式；将所述页面结构和所述页面样式作为页面布局信息。

可选地，页面结构可以是页面中的HTML(Hyper Text Markup Language，超文本标记语言)标签。

可选地，页面样式可以是页面中的CSS(Cascading Style Sheets，层叠样式表)标签。

可选地，通过JavaScript获取页面中所有的页面样式。例如，基于JavaScript中的document.styleSheets方法获取页面中所有的页面样式。

可选地，对所述页面样式进行过滤。例如，获取过滤参数，根据所述过滤参数对所述页面样式进行过滤。

其中，过滤参数可以是用户实时输入的，也可以是预先设置的。

在本发明实施例中，通过提取所述目标页面所对应的页面结构和页面样式，从而使得能够基于所提取的页面结构和页面样式快速生成新页面，进而缩短人工开发时间，进而有效节约开发成本。

可选地，所述根据所述页面布局信息从所述目标页面中确定出目标数据，包括：根据所述页面布局信息提取所述页面中的页面元素；提取所述页面元素所对应的页面数据；过滤所述页面数据中与预设参数匹配的数据，得到目标数据。

可选地，页面元素包括页面结构和页面样式。例如，HTML页面中的＜head＞标签、＜link＞标签、＜body＞标签等元素。

可选地，页面数据可以是但不限于文本、图片、视频、音频等媒体信息，以及子元素之间的关系等。其中，子元素是指诸如＜body＞标签中的子标签。又例如，＜body＞元素是＜html＞元素的子元素。

可选地，可以通过节点查询方法获取页面中的所有的页面元素。即通过逐一获取页面中的每个节点，从而来获取页面中的所有的页面元素。

可选地，页面数据可以通过正则表达式从页面元素中提取出页面数据。

可选地，预设参数可以根据用户需求进行设置，例如，预设参数可以是隐藏标签(例如，＜input style＝＂display：none＂type＝＂text＂name＝＂customer＿area＿id＂＞)，也可以是特殊标签(例如，border－top－left－radius标签)。

在本发明实施例中，通过根据所述页面布局信息提取所述页面中的页面元素；提取所述页面元素所对应的页面数据；过滤所述页面数据中与预设参数匹配的数据，得到目标数据，从而得到用户需要的数据(即目标数据)，进而使得用户只需要对所爬取到的网页进行适应性修改，即可生成新的页面，进而有效缩短了开发页面的时间，提高了页面开发效率，同时有效节约了开发成本。

步骤S103，将所述目标数据转换为目标格式的多个数据单元。

其中，目标格式的设定可以根据用户需求进行设置。在此，不作具体限定。

可选地，数据单元为目标数据中的最小单元，如页面中的某一按钮。又例如，数据单元可以是如下代码块：{

作为一种实施方式，步骤S103包括：将所述目标数据按照页面标签属性拆分为目标格式的多个数据单元。

可选地，页面标签属性是指标签的类型或表达的含义。例如，标签可以分为＜head＞标签、＜link＞标签、＜body＞标签或样式标签等。根据开始标签和结束标签，将该标签对中的数据作为数据单元。例如，＜body＞与＜/body＞为一标签对。

当然，也可以是将表达图片或视频或按钮的标签所对应的数据作为数据单元。在此，不作具体限定。

在本发明实施例中，通过将目标数据拆分为同一目标格式的多个数据单元，从而使得用户在使用时，只需要通过找到需要的数据单元，进而组合后便可以生成新页面，进而有效缩短了开发页面的时间，提高了页面开发效率，同时有效节约了开发成本。

可选地，将多个数据单元存储至数据库中，以便后期需要使用时，可以直接通过从数据库中获取，无需在去爬取相关网页。进而可以有效缩短开发时间。

步骤S104，根据多个所述数据单元生成新页面。

可选地，新页面的生成可以是在服务端生成，也可以是在客户端生成。例如，直接通过在用户终端上根据多个所述数据单元生成新页面。当然，也可以是将多个所述数据单元发送至服务器后，服务器根据多个所述数据单元生成新页面。在此，不作具体限定。

可选地，新页面即为用户需要的页面。

在实际使用中，可以直接根据多个所述数据单元生成新页面，当然，也可以是根据用户的需求删除或增加一些页面元素后，生成新页面。

作为一种实施方式，步骤S104包括：获取用户输入的配置参数；从多个所述数据单元中确定与所述配置参数所匹配的待配置数据单元；根据所述配置参数配置所述待配置数据单元，得到配置数据单元；根据所述配置单元和多个所述数据单元生成新页面。

可选地，所述配置参数可以是对图片属性的修改(如图片的地址)，也可以是对页面宽度或高度的修改。在此，不作具体限定。

可选地，所述配置参数包括参数信息以及待配置的数据单元的标识信息。其中，参数信息用于具体的修改或编辑。标识信息用于识别待配置的数据单元。

在实际使用中，可以对某一个数据单元进行配置(修改或编辑)，也可以是对所有数据单元中的多个数据单元进行配置。在此，不作具体限定。

可选地，根据所述配置单元和多个所述数据单元生成新页面，包括：根据所述配置单元以及每个所述数据单元所对应的代码逻辑生成新页面。

在本发明实施例中，通过获取用户输入的配置参数；从多个所述数据单元中确定与所述配置参数所匹配的待配置数据单元；根据所述配置参数配置所述待配置数据单元，得到配置数据单元；从而通过重新配置数据单元，使得根据所述配置单元和多个所述数据单元生成用户所需要的新页面，使得用户无需从无到有的进行开发，而是通过先爬取到相关的网页后，得到网页的数据单元，进而可以有效缩短了开发页面的时间，提高了页面开发效率，同时有效节约了开发成本。

本发明实施例所提供的页面处理方法，通过爬取目标页面；获取所述目标页面中的目标数据；将所述目标数据转换为目标格式的多个数据单元；根据多个所述数据单元生成新页面。使得用户无需从无到有的进行开发，而是通过先爬取到相关的网页后，得到网页的数据单元，进而可以有效缩短了开发页面的时间，提高了页面开发效率，同时有效节约了开发成本。

第二实施例

对应于第一实施例中的页面处理方法，图2示出了采用第一实施例所示的页面处理方法一一对应的页面处理装置。如图2所示，所述页面处理装置400包括页面爬取单元410、数据获取单元420、数据处理单元430和页面生成单元440。其中，页面爬取单元410、数据获取单元420、数据处理单元430和页面生成单元440的实现功能与第一实施例中对应的步聚一一对应，为避免赘述，本实施例不一一详述。

页面爬取单元410，用于爬取目标页面。

数据获取单元420，用于获取所述目标页面中的目标数据。

可选地，数据获取单元420，还用于：提取所述目标页面所对应的页面布局信息；根据所述页面布局信息从所述目标页面中确定出目标数据。

数据处理单元430，用于将所述目标数据转换为目标格式的多个数据单元。

可选地，数据处理单元430，还用于将所述目标数据按照页面标签属性拆分为目标格式的多个数据单元。

页面生成单元440，用于根据多个所述数据单元生成新页面。

可选地，页面生成单元440，还用于获取用户输入的配置参数；从多个所述数据单元中确定与所述配置参数所匹配的待配置数据单元；根据所述配置参数配置所述待配置数据单元，得到配置数据单元；根据所述配置单元和多个所述数据单元生成新页面。

第三实施例

如图3所示，是终端设备500的示意图。所述终端设备500包括存储器502、处理器504以及存储在所述存储器502中并可在所述处理器504上运行的计算机程序503，所述计算机程序503被处理器504执行时实现第一实施例中的所述页面处理方法，为避免重复，此处不再赘述。或者，所述计算机程序503被处理器504执行时实现第二实施例所述页面处理装置中各模块/单元的功能，为避免重复，此处不再赘述。

示例性的，计算机程序503可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器502中，并由处理器504执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序503在终端设备500中的执行过程。例如，计算机程序503可以被分割成页面爬取单元410、数据获取单元420、数据处理单元430和页面生成单元440，各模块的具体功能如第一实施例或第二实施例所述，在此不一一赘述。

终端设备500可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。

其中，存储器502可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。其中，存储器502用于存储程序，所述处理器504在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器504中，或者由处理器504实现。

处理器504可能是一种集成电路芯片，具有信号的处理能力。上述的处理器504可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是，图3所示的结构仅为终端设备500的一种结构示意图，终端设备500还可以包括比图3所示更多或更少的组件。图3中所示的各组件可以采用硬件、软件或其组合实现。

第四实施例

本发明实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现第一实施例中的所述页面处理方法，为避免重复，此处不再赘述。或者，所述计算机程序被处理器执行时实现第二实施例所述页面处理装置中各模块/单元的功能，为避免重复，此处不再赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD－ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景的方法。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims

1.一种页面处理方法，其特征在于，包括：

爬取目标页面，其中爬取目标页面是根据用户输入的参数来爬取的，所述用户输入的参数包括网络协议地址、页面的名称或者类型；

获取所述目标页面中的目标数据；

将所述目标数据转换为目标格式的多个数据单元；

根据多个所述数据单元生成新页面，其中所述根据多个所述数据单元生成新页面包括：获取用户输入的配置参数；从多个所述数据单元中确定与所述配置参数所匹配的待配置数据单元；根据所述配置参数配置所述待配置数据单元，得到配置数据单元；根据所述配置数据单元和未配置的数据单元生成新页面。

2.根据权利要求1所述的方法，其特征在于，所述获取所述目标页面中的目标数据，包括：

提取所述目标页面所对应的页面布局信息；

根据所述页面布局信息从所述目标页面中确定出目标数据。

3.根据权利要求2所述的方法，其特征在于，所述提取所述目标页面所对应的页面布局信息，包括：

提取所述目标页面所对应的页面结构和页面样式；

将所述页面结构和所述页面样式作为页面布局信息。

4.根据权利要求2所述的方法，其特征在于，所述根据所述页面布局信息从所述目标页面中确定出目标数据，包括：

根据所述页面布局信息提取所述页面中的页面元素；

提取所述页面元素所对应的页面数据；

过滤所述页面数据中与预设参数匹配的数据，得到目标数据。

5.根据权利要求1所述的方法，其特征在于，所述将所述目标数据转换为目标格式的多个数据单元，包括：

将所述目标数据按照页面标签属性拆分为目标格式的多个数据单元。

6.一种页面处理装置，其特征在于，包括：

页面爬取单元，用于爬取目标页面，其中爬取目标页面是根据用户输入的参数来爬取的，所述用户输入的参数包括网络协议地址、页面的名称或者类型；

数据获取单元，用于获取所述目标页面中的目标数据；

数据处理单元，用于将所述目标数据转换为目标格式的多个数据单元；

页面生成单元，用于根据多个所述数据单元生成新页面，其中所述根据多个所述数据单元生成新页面包括：获取用户输入的配置参数；从多个所述数据单元中确定与所述配置参数所匹配的待配置数据单元；根据所述配置参数配置所述待配置数据单元，得到配置数据单元；根据所述配置数据单元和未配置的数据单元生成新页面。

7.根据权利要求6所述的装置，其特征在于，所述数据获取单元还用于：

提取所述目标页面所对应的页面布局信息；

根据所述页面布局信息从所述目标页面中确定出目标数据。

8.一种终端设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的页面处理方法的步骤。

9.一种存储介质，其特征在于，所述存储介质用于存储指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至5任一项所述的页面处理方法。