CN112035733A - 一种网页数据获取方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种网页数据获取方法、装置、电子设备和存储介质，其中，所述方法包括：触发操作系统通知栏中的推送消息，得到相应的网页页面；触发所述网页页面中的目标控件，复制所述网页页面的第一类网页数据到操作系统的剪切板中；从所述剪切板取出所述第一类网页数据并将其写入本地文件。本发明首先触发推送消息，并且获得相应的网页页面，然后根据该网页页面的目标控件，复制得到网页的第一类网页数据，并且将其写入到本地文件，使得该第一类网页数据得以保存，从而克服了现有技术无法提取相关网页数据的技术难题，方便了后续对该网页消息的分析和处理。

Description

一种网页数据获取方法、装置、电子设备和存储介质

技术领域

本发明涉及数据处理领域，具体涉及一种网页数据获取方法、装置、电子设备和存储介质。

背景技术

推送消息中包含了关注度较高的内容，是搜索引擎等内容获取工具的重要信息来源之一。例如，对新闻APP推送消息(如push新闻)的实时监控有利于第一时间了解热点及突发事件，获取的推送消息可以用于聚类分析等数据挖掘，或者用于消息推荐等运营服务。然而，如何准确有效地获取上述推送消息成为当前的一个技术难题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种网页数据获取方法、装置、电子设备和存储介质。

依据本发明的一个方面，提供了一种网页数据获取方法，包括：

触发操作系统通知栏中的推送消息，得到相应的网页页面；

触发所述网页页面中的目标控件，复制所述网页页面的第一类网页数据到操作系统的剪切板中；

从所述剪切板取出所述第一类网页数据并将其写入本地文件。

可选的，所述方法还包括：

基于操作系统的API获取所述推送消息的来源、标题、摘要和时间中的一种或多种作为第二类网页数据。

可选的，该方法还包括：

校验所述第一类网页数据与所述第二类网页数据是否匹配。

可选的，所述第一类网页数据为URL，所述校验所述第一类网页数据与所述第二类网页数据是否匹配包括：

将所述URL作为浏览命令的参数，基于校验应用的包名打开所述校验应用，抓取所述校验应用中展示的网页页面的内容；

判断抓取的内容和所述第二类网页数据是否匹配。

可选的，该方法还包括：

将所述网页数据上传至云平台，以使所述云平台在被访问时通过前端页面展示所述网页数据。

可选的，从所述剪切板取出所述第一类网页数据并将其写入本地文件包括：

通过adb shell命令获取剪贴板内容，通过Intent方式将获取的剪贴板内容写入本地文件。

可选的，所述触发所述网页页面中的目标控件包括：

利用光学字符识别网页中的目标控件所在的位置，所述目标控件包括native类控件和/或webview类控件。

可选的，所述利用光学字符识别网页中的目标控件包括：

对所述网页页面进行截图，基于光学字符识别确定一组或多组识别文本和对应的坐标点；

查找出与目标控件的预设文本相匹配的识别文本，根据匹配的识别文本的坐标点确定相应的目标控件位置。

可选的，所述触发操作系统通知栏中的推送消息包括：

在达到预设时间间隔时，触发操作系统通知栏中的推送消息；

和/或，

当目标应用的推送消息出现在操作系统通知栏中，触发操作系统通知栏中的推送消息。

依据本发明的另一个方面，提供了一种网页数据获取装置，包括：

页面获取单元，适于触发操作系统通知栏中的推送消息，得到相应的网页页面；

第一类网页数据获取单元，适于触发所述网页页面中的目标控件，复制所述网页页面的第一类网页数据到操作系统的剪切板中；

第一类网页数据写入单元，适于从所述剪切板取出所述第一类网页数据并将其写入本地文件。

可选的，所述装置还包括：

第二类网页数据获取单元，适于基于操作系统的API获取所述推送消息的来源、标题、摘要和时间中的一种或多种作为第二类网页数据。

可选的，该装置还包括：

校验单元，适于校验所述第一类网页数据与所述第二类网页数据是否匹配。

可选的，所述第一类网页数据为URL；所述校验单元，适于将所述URL作为浏览命令的参数，基于校验应用的包名打开所述校验应用，抓取所述校验应用中展示的网页页面的内容；判断抓取的内容和所述第二类网页数据是否匹配。

可选的，该装置还包括：

上传单元，适于将所述网页数据上传至云平台，以使所述云平台在被访问时通过前端页面展示所述网页数据。

可选的，所述第一类网页数据写入单元，适于通过adb shell命令获取剪贴板内容，通过Intent方式将获取的剪贴板内容写入本地文件。

可选的，所述第一类网页数据获取单元，适于利用光学字符识别网页中的目标控件所在的位置，所述目标控件包括native类控件和/或webview类控件。

可选的，所述第一类网页数据获取单元，适于对所述网页页面进行截图，基于光学字符识别确定一组或多组识别文本和对应的坐标点；查找出与目标控件的预设文本相匹配的识别文本，根据匹配的识别文本的坐标点确定相应的目标控件位置。

可选的，所述页面获取单元，适于在达到预设时间间隔时，触发操作系统通知栏中的推送消息；和/或，当目标应用的推送消息出现在操作系统通知栏中，触发操作系统通知栏中的推送消息。

依据本发明的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。

依据本发明的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。

由上述可知，本发明的技术方案，触发操作系统通知栏中的推送消息，得到相应的网页页面；触发所述网页页面中的目标控件，复制所述网页页面的第一类网页数据到操作系统的剪切板中；从所述剪切板取出所述第一类网页数据并将其写入本地文件。本发明首先触发推送消息，并且获得相应的网页页面，然后根据该网页页面的目标控件，复制得到网页的第一类网页数据，并且将其写入到本地文件，使得该第一类网页数据得以保存，从而克服了现有技术无法提取相关网页数据的技术难题，方便了后续对该网页消息的分析和处理。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的网页数据获取方法的流程示意图；

图2示出了根据本发明一个实施例的网页数据获取装置的结构示意图；

图3示出了根据本发明一个实施例的电子设备的结构示意图；

图4示出了根据本发明一个实施例的计算机可读存储介质的结构示意图；

图5示出了根据本发明一个实施例的获取第一类网页数据的示例图；

图6示出了根据本发明一个实施例的前端页面展现获取数据的示例图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明中的网页数据主要是指网页的著录项目，包括网页来源、标题、摘要、发布时间、以及URL等。用户通过点击一条推送消息可以到达相应的网页页面，因此本发明提供了一种基于推送消息抓取网页数据的思路，例如可以通过在Android系统监控新闻类APP并获取上述网页的著录项目进行保存，进而可以获得网页的详情页，便于后续在搜索等各类业务场景上的应用。

然而，随着操作系统对API的限制越来越严格，加上网页的展示方式各种各样，网页数据获取的挑战也越来越大，直接对推送消息进行分析，很难获得全面准确的网页数据。本发明针对目前推送消息的特点，提供了一种全面获取网页数据的全新方案。

图1示出了根据本发明一个实施例的网页数据获取方法的流程示意图。如图1所示，该方法包括：

步骤S110，触发操作系统通知栏中的推送消息，得到相应的网页页面。

以新闻类APP为例，推送消息为时下的热点新闻，当用户点击推送消息时，会打开相应的APP，在其中浏览相应的网页页面。该步骤具体可以通过自动化代码模拟点击推送消息、或是调用相应操作系统API的方式触发操作系统通知栏中的推送消息，从而得到网页页面。

步骤S120，触发网页页面中的目标控件，复制网页页面的第一类网页数据到操作系统的剪切板中。

通过触发网页页面中的目标控件，其中目标控件包括互动按钮、搜索栏等，通过复制的方式获得第一类网页数据，并将第一类网页数据复制到操作系统的剪切板中。比如，通过模拟人工操作的方式，自动化代码依次点击网页页面中的分享和复制链接两个控件，将该网页页面的URL复制到Android系统的剪切板中，如图5所示。

步骤S130，从剪切板取出第一类网页数据并将其写入本地文件。

可见，图1所示的方法，首先触发推送消息，并且获得相应的网页页面，然后根据该网页页面的目标控件，复制得到网页的第一类网页数据，并且将其写入到本地文件，使得该第一类网页数据得以保存，从而克服了现有技术无法提取相关网页数据的技术难题，方便了后续对该网页消息的分析和处理。

在本发明的一个实施例中，方法还包括：基于操作系统的API获取推送消息的来源、标题、摘要和时间中的一种或多种作为第二类网页数据。

推送消息在呈现给用户时，包含来源、标题、摘要和时间中的一种或多种内容。这些信息目前可以基于操作系统的API的方式获取，而对于以这种方式无法获取的第一类网页数据，则可以采用前述实施例的方式来获取。

在本发明的一个实施例中，该方法还包括：校验第一类网页数据与第二类网页数据是否匹配。

在采集多条新闻消息的情况下，由于采用两类网页数据分别进行获取的方案，可能会出现两类数据不对应的情况，比如，某条第一类网页数据发生了延迟，使得该第一类网页数据与第二类网页数据的下一条数据一同存入到了同一个网页的著录项目下，从而出现了两条数据不匹配的情况。为了避免此类情况的发生，本发明的实施例设置了校验的步骤，来验证上述两类网页数据是否匹配。

在本发明的一个实施例中，第一类网页数据为URL，校验第一类网页数据与第二类网页数据是否匹配包括：将URL作为浏览命令的参数，基于校验应用的包名打开校验应用，抓取校验应用中展示的网页页面的内容；判断抓取的内容和第二类网页数据是否匹配。

为了对两类数据匹配与否进行校验，在URL为第一类数据的情况下，本发明采用将该URL作为浏览命令的参数，自动化代码打开校验应用，然后获得该URL对应的网页页面，然后抓取该页面的标题、摘要以及时间等著录项目，进而判断上述第二类网页数据项目是否与之前获取的数据是否相同。例如基于adb shell命令，根据包名以及“-view url”的方式调起校验应用打开相应的网页页面，这种方式要比调起校验应用后，再在校验应用中打开网页页面的方式速度更快，效率更高。具体地，校验应用可以是浏览器，或是基于浏览器内核实现的APP。

在本发明的一个实施例中，该方法还包括：将网页数据上传至云平台，以使云平台在被访问时通过前端页面展示网页数据。

为了实现获取网页数据的目的，将网页数据上传到云平台进行保存，以方便以后的数据处理应用，作为一个具体的实现方式，可以将最终的第一类和第二类的网页数据通过curl方式写入云平台接口，然后使得在云平台上通过前端页面列表展示的新闻网页项目数据，方便观察判断。其中curl是一个利用URL语法在命令行下工作的文件传输工具，它支持文件上传和下载，是一种综合传输工具。通过前端页面，例如运营人员可以便利地浏览获取的各网页数据，也可以进行人工校验，获得的数据展示如图6所示。

在本发明的一个实施例中，从剪切板取出第一类网页数据并将其写入本地文件包括：通过adb shell命令获取剪贴板内容，通过Intent方式将获取的剪贴板内容写入本地文件。

作为一个具体实施方式，可以在第一类网页数据提取之前，后台运行例如clipper这样能够与操作系统的剪贴板进行交互的APP，以实现复制剪贴，在数据到达剪贴板之后，通过调用adb shell命令获取剪贴板内容，通过Intent方式将获取的剪贴板内容写入本地文件，从而实现了第一类网页数据在本地比如手机上的存储。其中，Intent负责对应用中一次操作的动作、动作涉及数据、附加数据进行描述，Android则根据此Intent的描述，负责找到对应的组件，将Intent传递给被调用的组件，并完成组件的调用。因此，Intent在这里起着一个媒体中介的作用，专门提供组件互相调用的相关消息，实现调用者与被调用者之间的解耦。

在本发明的一个实施例中，触发网页页面中的目标控件包括：利用光学字符识别网页中的目标控件所在的位置，目标控件包括native类控件和/或webview类控件。

作为一个可选的实现方式，本发明触发网页页面目标控件的方式是通过图像识别的方式进行的，比如采用光学字符识别技术来识别网页中的目标控件的位置。native类控件表示的是Android系统自带控件；webview类控件是网页上的控件，由网页设计制作产生。

通过控件的属性也可以进行目标控件的触发，但是这种方式往往只对native类控件有着较好的效果，而对于很多webview类控件无法取得预期的效果。因此本发明的实施例提出了通过OCR等方式识别目标控件的方式。

在本发明的一个实施例中，利用光学字符识别网页中的目标控件包括：对网页页面进行截图，基于光学字符识别确定一组或多组识别文本和对应的坐标点；查找出与目标控件的预设文本相匹配的识别文本，根据匹配的识别文本的坐标点确定相应的目标控件位置。

每个推送消息的网页界面设计千差万别，如何识别出网页的控件是当前的一个难题，本发明通过采用光学字符识别技术解决，并将其应用到网页页面控件的识别中。首先，需要实现对网页页面的截图，然后预设文本或特定的图形，基于光学字符识别确定控件的文本和对应的坐标点，根据匹配的识别文本的坐标点确定相应的目标控件的位置。

在一个具体的实现方式中，通过光学字符识别通用的识别接口获取控件元素的文字和坐标点，以截图的左上角为原点，获取控件具体的坐标点数值包括距离截图左端的左侧距离left，顶部距离top，控件的宽度width以及高度height。

在获得控件的坐标点之后，可以自动化代码实现对上述坐标点的点击、长按或滑动等操作，点击的位置可以选择在控件宽度和高度范围内的任一点。

在本发明的一个实施例中，触发操作系统通知栏中的推送消息包括：在达到预设时间间隔时，触发操作系统通知栏中的推送消息；和/或，当目标应用的推送消息出现在操作系统通知栏中，触发操作系统通知栏中的推送消息。

上面示出的两种时机可以择一使用，也可以组合使用，实现对推送新闻等消息的获取，一种方式是设置一定的时间间隔，比如每隔一刻钟时间对推送的新闻集中采集一次，另一种方式则是当目标应用推送消息到通知栏是就触发操作系统进行采集。第一种方式的优点是代码一旦触发可以依次处理多条消息，触发次数较少，占用系统的计算不大，因此对系统产生的负担小；而第二种方式则可以快速的获取最新消息。

图2示出了根据本发明一个实施例的网页数据获取装置的结构示意图。如图2所示，网页数据获取装置200包括：

页面获取单元210，适于触发操作系统通知栏中的推送消息，得到相应的网页页面。

以新闻类APP为例，推送消息为时下的热点新闻，当用户点击推送消息时，会打开相应的APP，在其中浏览相应的网页页面。该步骤具体可以通过自动化代码模拟点击推送消息、或是调用相应操作系统API的方式触发操作系统通知栏中的推送消息，从而得到网页页面。

第一类网页数据获取单元220，适于触发网页页面中的目标控件，复制网页页面的第一类网页数据到操作系统的剪切板中。

通过触发网页页面中的目标控件，其中目标控件包括互动按钮、搜索栏等，通过复制的方式获得第一类的网页数据，并将第一类网页数据复制到操作系统的剪切板中。比如，通过模拟人工操作的方式，点击网页页面中的分享和复制链接两个操作，将该网页页面的URL复制到Android系统的剪切板中。

装置还包括第一类网页数据写入单元230，从剪切板取出第一类网页数据并将其写入本地文件。

可见，图2所示的装置，通过各单元的相互配合，首先触发推送消息，并且获得相应的网页页面，然后根据该网页页面的目标控件，复制得到网页的第一类网页数据，并且将其写入到本地文件，使得该第一类网页数据得以保存，从而克服了现有技术无法提取相关网页数据的技术难题，方便了后续对该网页消息的分析和处理。

在本发明的一个实施例中，上述装置还包括：第二类网页数据获取单元，适于基于操作系统的API获取推送消息的来源、标题、摘要和时间中的一种或多种作为第二类网页数据。

推送消息在呈现给用户时，包含来源、标题、摘要和时间中的一种或多种内容。这些信息目前可以基于操作系统的API的方式获取，而对于以这种方式无法获取的第一类网页数据，则可以采用前述实施例的方式来获取。

在本发明的一个实施例中，该装置还包括：校验单元，适于校验第一类网页数据与第二类网页数据是否匹配。

在采集多条新闻消息的情况下，由于采用两类网页数据分别进行的方案，可能会出现两类数据不对应的情况，比如，某条第一类网页数据发生了延迟，是第二类网页数据的头条数据，为了避免此类情况的发生，本发明的实施例设置了校验的方式，来验证上述两类网页数据是否匹配。

在本发明的一个实施例中，第一类网页数据为URL，校验单元，适于将URL作为浏览命令的参数，基于校验应用的包名打开校验应用，抓取校验应用中展示的网页页面的内容；判断抓取的内容和第二类网页数据是否匹配。

正如该实施例的，为了对两类数据匹配与否进行校验，在URL为第一类数据的情况下，本发明采用将该URL作为浏览命令的参数，打开新闻APP应用，然后获得该URL对应的网页页面，然后抓取该页面的标题、摘要以及时间等著录项目，进而判断上述第二类网页数据项目是否与之前获取的数据是否相同。例如基于adb shell命令，根据包名以及“-viewurl”的方式调起校验应用打开相应的网页页面，这种方式要比调起校验应用后，再在校验应用中打开网页页面的方式速度更快，效率更高。具体地，校验应用可以是浏览器，或是基于浏览器内核实现的APP。

在本发明的一个实施例中，该装置还包括：上传单元，适于将网页数据上传至云平台，以使云平台在被访问时通过前端页面展示网页数据。

为了实现获取网页数据的目的，将网页数据上传到云平台进行保存，以方便以后的数据处理应用，作为一个具体的实现方式，可以将最终的第一类和第二类的网页数据通过curl方式写入云平台接口，然后使得在云平台上通过前端页面列表展示的新闻网页项目数据，方便观察判断。其中curl是一个利用URL语法在命令行下工作的文件传输工具，它支持文件上传和下载，是一种综合传输工具，通过前端页面，例如运营人员可以便利地浏览获取的各网页数据，也可以进行人工校验。

在本发明的一个实施例中，第一类网页数据写入单元230，适于通过adb shell命令获取剪贴板内容，通过Intent方式将获取的剪贴板内容写入本地文件。

作为一个具体实施方式，可以在第一类网页数据提取之前，后台运行例如clipper这样能够与操作系统的剪贴板进行交互的APP，以实现复制剪贴，在数据到达剪贴板之后，通过调用adb shell命令获取剪贴板内容，通过Intent方式将获取的剪贴板内容写入本地文件，从而实现了第一类网页数据在本地比如手机上的存储。其中，Intent负责对应用中一次操作的动作、动作涉及数据、附加数据进行描述，Android则根据此Intent的描述，负责找到对应的组件，将Intent传递给被调用的组件，并完成组件的调用。因此，Intent在这里起着一个媒体中介的作用，专门提供组件互相调用的相关消息，实现调用者与被调用者之间的解耦。

在本发明的一个实施例中，第一类网页数据获取单元220，适于利用光学字符识别网页中的目标控件所在的位置，目标控件包括native类控件和/或webview类控件。

作为一个可选的实现方式，本发明触发网页页面目标控件的方式是通过图像识别的方式进行的，比如采用光学字符识别技术来识别网页中的目标控件的位置。

native类控件表示的是Android系统自带控件；webview类控件是网页上的控件，由网页设计制作产生。

通过控件的属性也可以进行目标控件的触发，但是这种方式往往只对native类控件有着较好的效果，而对于很多webview类控件无法取得预期的效果。因此本发明的实施例提出了通过OCR等方式识别目标控件的方式。

在本发明的一个实施例中，第一类网页数据获取单元220，适于对网页页面进行截图，基于光学字符识别确定一组或多组识别文本和对应的坐标点。查找出与目标控件的预设文本相匹配的识别文本，根据匹配的识别文本的坐标点确定相应的目标控件位置。

每个推送消息的网页界面设计千差万别，如何识别出网页的控件是当前的一个难题，本发明通过采用光学字符识别技术解决了这一难题，并将其应用到网页页面控件的识别中。首先，需要实现对网页页面的截图，然后预设文本或特定的图形，并且基于光学字符识别确定控件的文本和对应的坐标点，根据匹配的识别文本的坐标点确定相应的目标控件的位置。

在一个具体的实现方式中，通过光学字符识别通用的识别接口获取控件元素的文字和坐标点，以截图的左上角为原点，获取控件具体的坐标点数值包括距离截图左端的左侧距离left，顶部距离top，控件的宽度width以及高度height。

在获得控件的坐标点之后，可以自动化代码实现对上述坐标点的点击、长按或滑动等操作，点击的位置可以选择在控件宽度和高度范围内的任一点。

在本发明的一个实施例中，页面获取单元210，适于在达到预设时间间隔时，触发操作系统通知栏中的推送消息。和/或，当目标应用的推送消息出现在操作系统通知栏中，触发操作系统通知栏中的推送消息。

上面示出的两种时机可以择一使用，也可以组合使用，实现对推送新闻等消息的获取，一种方式是设置一定的时间间隔，比如每隔一刻钟时间对推送的新闻集中采集一次，另一种方式则是当目标应用推送消息到通知栏是就触发操作系统进行采集。第一种方式的优点是代码一旦触发可以依次处理多条消息，触发次数较少，占用系统的计算不大，因此对系统产生的负担小；而第二种方式则可以快速的获取最新消息。

综上所述，本发明的技术方案，触发操作系统通知栏中的推送消息，得到相应的网页页面；触发网页页面中的目标控件，复制网页页面的第一类网页数据到操作系统的剪切板中；从剪切板取出第一类网页数据并将其写入本地文件。本发明首先触发推送消息，并且获得相应的网页页面，然后根据该网页页面的目标控件，复制得到网页的第一类网页数据，并且将其写入到本地文件，使得该第一类网页数据得以保存，从而克服了现有技术无法提取相关网页数据的技术难题，方便了后续对该网页消息的分析和处理。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网页数据获取装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本发明一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本发明一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本发明的方法步骤的计算机可读程序代码331，可以被电子设备300的处理器310读取，当计算机可读程序代码331由电子设备300运行时，导致该电子设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明实施例公开了A1、一种网页数据获取方法，其中，所述方法包括：

触发操作系统通知栏中的推送消息，得到相应的网页页面；

触发所述网页页面中的目标控件，复制所述网页页面的第一类网页数据到操作系统的剪切板中；

从所述剪切板取出所述第一类网页数据并将其写入本地文件。

A2、根据A1所述的方法，其中，所述方法还包括：

基于操作系统的API获取所述推送消息的来源、标题、摘要和时间中的一种或多种作为第二类网页数据。

A3、根据A2所述的方法，其中，该方法还包括：

校验所述第一类网页数据与所述第二类网页数据是否匹配。

A4、如A3所述的方法，其中，所述第一类网页数据为URL，所述校验所述第一类网页数据与所述第二类网页数据是否匹配包括：

将所述URL作为浏览命令的参数，基于校验应用的包名打开所述校验应用，抓取所述校验应用中展示的网页页面的内容；

判断抓取的内容和所述第二类网页数据是否匹配。

A5、根据A1所述的方法，其中，该方法还包括：

将所述网页数据上传至云平台，以使所述云平台在被访问时通过前端页面展示所述网页数据。

A6、根据A1所述的方法，其中，从所述剪切板取出所述第一类网页数据并将其写入本地文件包括：

通过adb shell命令获取剪贴板内容，通过Intent方式将获取的剪贴板内容写入本地文件。

A7、根据A1所述的方法，其中，所述触发所述网页页面中的目标控件包括：

利用光学字符识别网页中的目标控件所在的位置，所述目标控件包括native类控件和/或webview类控件。

A8、根据A7所述的方法，其中，所述利用光学字符识别网页中的目标控件包括：

对所述网页页面进行截图，基于光学字符识别确定一组或多组识别文本和对应的坐标点；

查找出与目标控件的预设文本相匹配的识别文本，根据匹配的识别文本的坐标点确定相应的目标控件位置。

A9、根据A1所述的方法，其中，所述触发操作系统通知栏中的推送消息包括：

在达到预设时间间隔时，触发操作系统通知栏中的推送消息；

和/或，

当目标应用的推送消息出现在操作系统通知栏中，触发操作系统通知栏中的推送消息。

本发明的实施例还公开了B 10、一种网页数据获取装置，其中，所述装置包括：

页面获取单元，适于触发操作系统通知栏中的推送消息，得到相应的网页页面；

第一类网页数据获取单元，适于触发所述网页页面中的目标控件，复制所述网页页面的第一类网页数据到操作系统的剪切板中；

第一类网页数据写入单元，适于从所述剪切板取出所述第一类网页数据并将其写入本地文件。

B11、根据B10所述的装置，其中，所述装置还包括：

第二类网页数据获取单元，适于基于操作系统的API获取所述推送消息的来源、标题、摘要和时间中的一种或多种作为第二类网页数据。

B12、根据B10所述的装置，其中，该装置还包括：

校验单元，适于校验所述第一类网页数据与所述第二类网页数据是否匹配。

B13、如B11所述的装置，其中，所述第一类网页数据为URL；所述校验单元，适于将所述URL作为浏览命令的参数，基于校验应用的包名打开所述校验应用，抓取所述校验应用中展示的网页页面的内容；判断抓取的内容和所述第二类网页数据是否匹配。

B14、根据B10所述的装置，其中，该装置还包括：

上传单元，适于将所述网页数据上传至云平台，以使所述云平台在被访问时通过前端页面展示所述网页数据。

B15、根据B10所述的装置，其中，

所述第一类网页数据写入单元，适于通过adb shell命令获取剪贴板内容，通过Intent方式将获取的剪贴板内容写入本地文件。

B16、根据B10所述的装置，其中，

所述第一类网页数据获取单元，适于利用光学字符识别网页中的目标控件所在的位置，所述目标控件包括native类控件和/或webview类控件。

B17、根据B16所述的装置，其中，

所述第一类网页数据获取单元，适于对所述网页页面进行截图，基于光学字符识别确定一组或多组识别文本和对应的坐标点；查找出与目标控件的预设文本相匹配的识别文本，根据匹配的识别文本的坐标点确定相应的目标控件位置。

B18、根据B10所述的装置，其中，

所述页面获取单元，适于在达到预设时间间隔时，触发操作系统通知栏中的推送消息；和/或，当目标应用的推送消息出现在操作系统通知栏中，触发操作系统通知栏中的推送消息。

本发明的实施例还公开了C 19、一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如A1-A9中任一项所述的方法。

本发明的实施例还公开了D 20、一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如A1-A9中任一项所述的方法。

Claims (10)

1.一种网页数据获取方法，其中，所述方法包括：

触发操作系统通知栏中的推送消息，得到相应的网页页面；

触发所述网页页面中的目标控件，复制所述网页页面的第一类网页数据到操作系统的剪切板中；

从所述剪切板取出所述第一类网页数据并将其写入本地文件。

2.根据权利要求1所述的方法，其中，所述方法还包括：

基于操作系统的API获取所述推送消息的来源、标题、摘要和时间中的一种或多种作为第二类网页数据。

3.根据权利要求2所述的方法，其中，该方法还包括：

校验所述第一类网页数据与所述第二类网页数据是否匹配。

4.如权利要求3所述的方法，其中，所述第一类网页数据为URL，所述校验所述第一类网页数据与所述第二类网页数据是否匹配包括：

将所述URL作为浏览命令的参数，基于校验应用的包名打开所述校验应用，抓取所述校验应用中展示的网页页面的内容；

判断抓取的内容和所述第二类网页数据是否匹配。

5.根据权利要求1所述的方法，其中，该方法还包括：

将所述网页数据上传至云平台，以使所述云平台在被访问时通过前端页面展示所述网页数据。

6.根据权利要求1所述的方法，其中，从所述剪切板取出所述第一类网页数据并将其写入本地文件包括：

通过adb shell命令获取剪贴板内容，通过Intent方式将获取的剪贴板内容写入本地文件。

7.根据权利要求1所述的方法，其中，所述触发所述网页页面中的目标控件包括：

利用光学字符识别网页中的目标控件所在的位置，所述目标控件包括native类控件和/或webview类控件。

8.一种网页数据获取装置，其中，所述装置包括：

页面获取单元，适于触发操作系统通知栏中的推送消息，得到相应的网页页面；

第一类网页数据获取单元，适于触发所述网页页面中的目标控件，复制所述网页页面的第一类网页数据到操作系统的剪切板中；

第一类网页数据写入单元，适于从所述剪切板取出所述第一类网页数据并将其写入本地文件。

9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-7中任一项所述的方法。

Images