CN110737861A - 一种网页数据处理方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种网页数据处理方法、装置、设备和存储介质，其中该方法包括：获取网页地址的状态参数，网页地址的数量为至少一个；若状态参数为未处理，则根据网页地址加载对应的网页，并对网页进行截图，得到截图文件；将截图文件与网页地址关联存储。本发明实施例的技术方案，整个网页数据的获取过程不需要人工操作，在用户无感知的状况下可以直接得到网页数据，优化了网页数据的获取过程，减少了工作量，进而提高了数据访问效率。

Description

一种网页数据处理方法、装置、设备和存储介质

技术领域

本发明实施例涉及终端软件技术领域，尤其涉及一种网页数据处理方法、装置、设备和存储介质。

背景技术

随着互联网技术的发展，互联网中每日交互的数据量巨大，数据类型复杂。在数据传输集成时，通常采用附件方式，但附件传输存在数据传输慢、使用流量大、附件数据不安全等问题。

现在通常是将数据附件以网页地址，即URL(Uniform Resource Locator)地址来代替。在使用时，接收方通过手动点击每条数据的附件网页地址访问网页，对网页内容通过手动或截图程序进行截图和保存。但是，当数据量巨大时，每天几万或几十万的数据，如全部通过手动方式去访问网页地址下载附件，工作量巨大且效率低，会造成很大的人员浪费，还容易造成数据关联错误。而当通过截图程序进行截图时，通常也需要用户手动启动截图，并输入网页地址，也存在人员浪费及效率低的问题。

发明内容

本发明实施例提供一种网页数据处理方法、装置、设备和存储介质，以优化网页数据的获取过程，减少工作量，提高数据访问效率。

第一方面，本发明实施例提供了一种网页数据处理方法，包括：

获取网页地址的状态参数，所述网页地址的数量为至少一个；

若所述状态参数为未处理，则根据所述网页地址加载对应的网页，并对所述网页进行截图，得到截图文件；

将所述截图文件与所述网页地址关联存储。

第二方面，本发明实施例还提供了一种网页数据处理装置，包括：

状态模块，用于获取网页地址的状态参数，所述网页地址的数量为至少一个；

截图模块，用于若所述状态参数为未处理，则根据所述网页地址加载对应的网页，并对所述网页进行截图，得到截图文件；

存储模块，用于将所述截图文件与所述网页地址关联存储。

进一步的，所述状态模块具体用于：

按照设定时间间隔获取网页地址的状态参数。

进一步的，所述截图模块包括网页加载单元，所述网页加载单元具体用于：

根据所述网页地址调用设定进程创建程序，以通过浏览器访问所述网页地址对应的网页。

进一步的，所述截图模块包括登录单元，所述登录单元具体用于：

在根据所述网页地址加载对应的网页之后，通过设定文本文件登录所述网页，其中所述设定文本文件中包括预先设定的所述网页的账号和密码。

进一步的，所述截图模块包括截图文件单元，所述截图文件单元具体用于：

调用设定截图程序对所述网页进行截图，得到所述截图文件。

进一步的，所述存储模块具体用于：

将所述截图文件存储在文件服务器中；

将所述截图文件在所述文件服务器中的存储地址与所述网页地址相关联，并返回至所述网页地址所在的业务数据库中。

进一步的，所述装置还包括：

网页数据显示模块，用于所述获取网页地址的状态参数之后，若所述状态参数为已处理，则当检测到用户点击所述网页地址时，获取所述网页地址关联的截图文件并显示。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的网页数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的网页数据处理方法。

本发明实施例通过获取网页地址的状态参数，若状态参数为未处理，则根据网页地址加载对应的网页，并对网页进行截图，得到截图文件，将截图文件与网页地址关联存储。本发明实施例的技术方案，通过对网页地址的状态参数的判断，在网页地址对应的网页数据未处理时，自动获取截图文件并关联存储，整个网页数据的获取过程不需要人工操作，在用户无感知的状况下可以直接得到网页数据，优化了网页数据的获取过程，减少了工作量，进而提高了数据访问效率。

附图说明

图1为本发明实施例一中提供的一种网页数据处理方法的流程图；

图2为本发明实施例二中提供的一种网页数据处理方法的流程图；

图3为本发明实施例三中提供的一种网页数据处理装置的结构示意图；

图4为本发明实施例四中提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一中提供的一种网页数据处理方法的流程图，本实施例可适用于对网页数据进行处理的情况，该方法可以由网页数据处理装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于设备中，该设备可以为终端设备，典型的终端设备为移动终端，例如手机、电脑或平板电脑等。如图1所示，该方法具体可以包括：

S110、获取网页地址的状态参数，网页地址的数量为至少一个。

其中，网页地址即为URL(Uniform Resource Locator，统一资源定位符)地址，UR是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址，互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它，基本的URL包含模式(或称协议)、服务器名称(或IP地址)、路径和文件名，例如“协议://授权/路径？查询”。本实施例中对网页地址的数量不作限定，数量可以较大。

状态参数为用于对网页地址对应的网页数据是否处理的状态进行表示的参数，状态参数对应的状态可以包括未处理和已处理两种。本实施例中对状态参数的具体数据类型不作限定，例如状态参数可以通过字母或数字进行表示，状态参数为1时，对应的状态表示已处理，状态参数为0时，对应的状态表示未处理。

具体的，如果接收到网页数据获取命令，则可以基于预设程序或算法获取业务数据库中包括的各个网页地址的状态参数。具体可以按照设定时间间隔获取网页地址的状态参数，其中设定时间间隔可以根据实际情况进行设定，例如设定时间间隔可以设置为5分钟。进一步的，本实施例中对网页数据获取命令的接收方式不作限定，例如若检测到用户点击设定按键，则可以确定接收到网页数据获取命令。

S120、若状态参数为未处理，则根据网页地址加载对应的网页，并对网页进行截图，得到截图文件。

具体的，获取各个网页地址的状态参数之后，判断状态参数是否为未处理，若是，则根据网页地址加载对应的网页，并对网页进行截图，得到截图文件。其中，根据网页地址加载对应的网页，可以包括：根据网页地址调用设定进程创建程序，以通过浏览器访问网页地址对应的网页。其中设定进程创建程序为Javascript脚本中的ProcessBuilder类，该类用于创建操作系统进程，提供一种启动和管理进程(即应用程序)的方法，把网页地址作为参数输入，可以实现浏览器自动访问网页地址对应的网页。

进一步的，在根据网页地址加载对应的网页之后，还包括：通过设定文本文件登录网页，其中设定文本文件中包括预先设定的网页的账号和密码。其中，设定文本文件(Cookie)是一个保存在设备中的简单的文本文件，该文本文件可以与特定网站关联在一起，保存了设备访问这个特定网站时的信息，当设备再次访问这个特定网站时这些信息可供该特定网站使用。本实施例中的设定文本文件中可以包括预先设定的网页的账号和密码，通过该设定文本文件可以自动登录该网页。设定文本文件中可以存储多个网页的账号和密码，具体可以根据实际情况进行设定。

进一步的，对网页进行截图，得到截图文件，可以包括：调用设定截图程序对网页进行截图，得到截图文件。其中，设定截图程序可以为Javascript脚本中awt包中的图像类，通过该类可以实现对网页的截图。本实施例中对具体截图的方式不作限定，例如可以对网页的整个页面截图，也可以对部分页面截图，具体可以根据实际情况进行设定。

S130、将截图文件与网页地址关联存储。

具体的，对网页进行截图，得到截图文件之后，可以将截图文件存储在文件服务器中，将截图文件在文件服务器中的存储地址与网页地址相关联，并返回至网页地址所在的业务数据库中，以备后续用户根据网页地址实现截图文件的访问和下载。

本实施例的技术方案，通过获取网页地址的状态参数，若状态参数为未处理，则根据网页地址加载对应的网页，并对网页进行截图，得到截图文件，将截图文件与网页地址关联存储。本发明实施例的技术方案，通过对网页地址的状态参数的判断，在网页地址对应的网页数据未处理时，自动获取截图文件并关联存储，整个网页数据的获取过程不需要人工操作，在用户无感知的状况下可以直接得到网页数据，优化了网页数据的获取过程，减少了工作量，进而提高了数据访问效率。

实施例二

图2为本发明实施例二中提供的一种网页数据处理方法的流程图。本实施例在上述实施例的基础上，进一步对上述网页数据处理方法进行具体说明。相应的，如图2所示，本实施例的方法具体包括：

S210、获取网页地址的状态参数。

其中，网页地址的数量为至少一个。

具体的，如果接收到网页数据获取命令，则可以基于预设程序或算法按照设定时间间隔获取业务数据库中包括的各个网页地址的状态参数。

S220、状态参数是否为未处理。

判断状态参数是否为未处理，若是，则执行S230，否则，执行S250。

S230、根据网页地址加载对应的网页，并对网页进行截图，得到截图文件。

具体的，获取各个网页地址的状态参数之后，判断状态参数是否为未处理，若是，则根据网页地址加载对应的网页，并对网页进行截图，得到截图文件。其中，根据网页地址加载对应的网页，可以包括：根据网页地址调用设定进程创建程序，以通过浏览器访问网页地址对应的网页。进一步的，在根据网页地址加载对应的网页之后，还包括：通过设定文本文件登录网页，其中设定文本文件中包括预先设定的网页的账号和密码。进一步的，对网页进行截图，得到截图文件，可以包括：调用设定截图程序对网页进行截图，得到截图文件。

S240、将截图文件与网页地址关联存储。

具体的，对网页进行截图，得到截图文件之后，可以将截图文件存储在文件服务器中，将截图文件在文件服务器中的存储地址与网页地址相关联，并返回至网页地址所在的业务数据库。

S250、当检测到用户点击网页地址时，获取网页地址关联的截图文件并显示。

若网页地址的状态参数为已处理时，则当检测到用户点击该网页地址时，可以根据网页地址与截图文件的存储地址之间的关联关系，确定对应的截图文件在文件服务器中的存储地址，并从该存储地址中获取截图文件并显示给用户。

本发明实施例的技术方案，通过获取网页地址的状态参数，若状态参数为未处理，则根据网页地址加载对应的网页，并对网页进行截图，得到截图文件，将截图文件与网页地址关联存储；若状态参数为已处理，当检测到用户点击网页地址时，获取网页地址关联的截图文件并显示。本发明实施例的技术方案，通过对网页地址的状态参数的判断，在网页地址对应的网页数据未处理时，自动获取截图文件并关联存储，整个网页数据的获取过程不需要人工操作，在用户无感知的状况下可以直接得到网页数据，优化了网页数据的获取过程，减少了工作量，进而提高了数据访问效率。

实施例三

图3为本发明实施例三中提供的一种网页数据处理装置的结构示意图，本实施例可适用于对网页数据进行处理的情况。本发明实施例所提供的网页数据处理装置可执行本发明任意实施例所提供的网页数据处理方法，具备执行方法相应的功能模块和有益效果。

该装置具体包括状态模块310、截图模块320和存储模块330，其中：

状态模块310，用于获取网页地址的状态参数，所述网页地址的数量为至少一个；

截图模块320，用于若所述状态参数为未处理，则根据所述网页地址加载对应的网页，并对所述网页进行截图，得到截图文件；

存储模块330，用于将所述截图文件与所述网页地址关联存储。

本发明实施例通过获取网页地址的状态参数，若状态参数为未处理，则根据网页地址加载对应的网页，并对网页进行截图，得到截图文件，将截图文件与网页地址关联存储。本发明实施例的技术方案，通过对网页地址的状态参数的判断，在网页地址对应的网页数据未处理时，自动获取截图文件并关联存储，整个网页数据的获取过程不需要人工操作，在用户无感知的状况下可以直接得到网页数据，优化了网页数据的获取过程，减少了工作量，进而提高了数据访问效率。

进一步的，所述状态模块310具体用于：

按照设定时间间隔获取网页地址的状态参数。

进一步的，所述截图模块320包括网页加载单元，所述网页加载单元具体用于：

根据所述网页地址调用设定进程创建程序，以通过浏览器访问所述网页地址对应的网页。

进一步的，所述截图模块320包括登录单元，所述登录单元具体用于：

在根据所述网页地址加载对应的网页之后，通过设定文本文件登录所述网页，其中所述设定文本文件中包括预先设定的所述网页的账号和密码。

进一步的，所述截图模块320包括截图文件单元，所述截图文件单元具体用于：

调用设定截图程序对所述网页进行截图，得到所述截图文件。

进一步的，所述存储模块330具体用于：

将所述截图文件存储在文件服务器中；

将所述截图文件在所述文件服务器中的存储地址与所述网页地址相关联，并返回至所述网页地址所在的业务数据库中。

进一步的，所述装置还包括：

网页数据显示模块，用于所述获取网页地址的状态参数之后，若所述状态参数为已处理，则当检测到用户点击所述网页地址时，获取所述网页地址关联的截图文件并显示。

本发明实施例所提供的网页数据处理装置可执行本发明任意实施例所提供的网页数据处理方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四中提供的一种设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性设备412的框图。图4显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，设备412以通用设备的形式表现。设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。

总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。

设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。

设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该设备412交互的终端通信，和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。

处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的网页数据处理方法，该方法包括：

获取网页地址的状态参数，所述网页地址的数量为至少一个；

若所述状态参数为未处理，则根据所述网页地址加载对应的网页，并对所述网页进行截图，得到截图文件；

将所述截图文件与所述网页地址关联存储。

实施例五

本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的网页数据处理方法，该方法包括：

获取网页地址的状态参数，所述网页地址的数量为至少一个；

若所述状态参数为未处理，则根据所述网页地址加载对应的网页，并对所述网页进行截图，得到截图文件；

将所述截图文件与所述网页地址关联存储。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种网页数据处理方法，其特征在于，包括：

获取网页地址的状态参数，所述网页地址的数量为至少一个；

若所述状态参数为未处理，则根据所述网页地址加载对应的网页，并对所述网页进行截图，得到截图文件；

将所述截图文件与所述网页地址关联存储。

2.根据权利要求1所述的方法，其特征在于，所述获取网页地址的状态参数，包括：

按照设定时间间隔获取网页地址的状态参数。

3.根据权利要求1所述的方法，其特征在于，根据所述网页地址加载对应的网页，包括：

根据所述网页地址调用设定进程创建程序，以通过浏览器访问所述网页地址对应的网页。

4.根据权利要求1所述的方法，其特征在于，在根据所述网页地址加载对应的网页之后，还包括：

通过设定文本文件登录所述网页，其中所述设定文本文件中包括预先设定的所述网页的账号和密码。

5.根据权利要求1所述的方法，其特征在于，对所述网页进行截图，得到截图文件，包括：

调用设定截图程序对所述网页进行截图，得到所述截图文件。

6.根据权利要求1所述的方法，其特征在于，将所述截图文件与所述网页地址关联存储，包括：

将所述截图文件存储在文件服务器中；

将所述截图文件在所述文件服务器中的存储地址与所述网页地址相关联，并返回至所述网页地址所在的业务数据库中。

7.根据权利要求1所述的方法，其特征在于，所述获取网页地址的状态参数之后，还包括：

若所述状态参数为已处理，则当检测到用户点击所述网页地址时，获取所述网页地址关联的截图文件并显示。

8.一种网页数据处理装置，其特征在于，包括：

状态模块，用于获取网页地址的状态参数，所述网页地址的数量为至少一个；

截图模块，用于若所述状态参数为未处理，则根据所述网页地址加载对应的网页，并对所述网页进行截图，得到截图文件；

存储模块，用于将所述截图文件与所述网页地址关联存储。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的网页数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的网页数据处理方法。

Images