CN110516174A - 基于简易信息聚合获取正文的方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种基于简易信息聚合RSS获取正文的方法、装置及存储介质，涉及互联网技术领域。具体实现方案为：根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；根据预设的对应关系，确定所述第一地址标识是否具有对应的第一正文解析规则；若所述第一地址标识具有对应的第一正文解析规则，则根据所述第一正文解析规则，在所述RSS对应的网页内容中获取正文，该方案提高了获取正文的效率，以及正文匹配的准确率。

Description

基于简易信息聚合获取正文的方法、装置及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及互联网技术中基于简易信息聚合获取正文的方法、装置及存储介质。

背景技术

简易信息聚合(Really Simple Syndication，简称RSS)，也称为聚合内容，是一种描述和同步网站内容的形式，目前广泛应用于网上新闻频道等。其应用形式如：新闻网站作为发布源将时效性较强的新闻内容以RSS的标准信息出口Feed的形式推送给订阅者，而在订阅者一端，通过RSS订阅器将新闻内容以摘要的形式显示出来，若订阅者在阅读完摘要后希望阅读更为详细的新闻内容，则点击该摘要对应的链接即可查看详细的新闻内容，当新闻网站的内容更新时，RSS订阅器的相应摘要也会同步更新。上述RSS技术有利于用户有针对性地简单快捷地获取网站的内容，并且可以应用在各种终端设备中。

目前，在RSS订阅系统上只能看到网站的内容摘要，如果希望查看摘要对应的正文内容则必须点击该摘要的链接，进入对应的统一资源定位符(Uniform Resource Locator，简称URL)页面中查看。在一些自媒体中通常与其他网站合作，转载其他网站内容，向用户显示，但通常直接获取到的是摘要，而如何根据摘要内容获取到正文内容是本领域技术人员亟需解决的技术问题。

发明内容

本申请提供一种基于简易信息聚合获取正文的方法、装置及存储介质，提升了获取正文的效率。

本申请第一方面提供一种基于简易信息聚合RSS获取正文的方法，包括：

根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；

根据预设的对应关系，确定所述第一地址标识是否具有对应的第一正文解析规则；

若所述第一地址标识具有对应的第一正文解析规则，则根据所述第一正文解析规则，在所述RSS对应的网页内容中获取正文。

在本方案中，根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；根据预设的对应关系，确定所述第一地址标识是否具有对应的第一正文解析规则；若所述第一地址标识具有对应的第一正文解析规则，则根据所述第一正文解析规则，在所述RSS对应的网页内容中获取正文，实现自动获取正文，并提高了获取效率。

在一种可能的实现方式中，所述根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识，包括：

获取所述URL中的至少两个域名；

对所述URL中的至少两个域名按照域名级别进行降序排列，得到所述第一地址标识。

在一种可能的实现方式中，所述根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识，包括：

获取所述URL中的各个域名和N层目录，N为大于0的整数；

对所述URL中的各个域名按照域名级别进行降序排列，得到处理后的域名序列；

对所述处理后的域名序列和所述N层目录进行组合，得到所述第一地址标识。

在一种可能的实现方式中，还包括：

若所述第一地址标识不具有对应的第一正文解析规则，则获取所述URL中N+1层目录；

对所述处理后的域名序列和所述N+1层目录进行组合，得到第二地址标识；

若所述第二地址标识具有对应的第二正文解析规则，则根据所述第二正文解析规则，在所述RSS对应的网页内容中获取所述正文。

在一种可能的实现方式中，还包括：

若所述第一地址标识不具有对应的第一正文解析规则，则获取所述RSS对应的网页内容的文档对象模型DOM节点树；

根据所述RSS中的正文摘要，确定所述DOM节点树中至少一个候选节点的标签，所述候选节点包括所述正文；

根据所述至少一个候选节点的标签，确定第三正文解析规则；

建立所述第三正文解析规则与所述第一地址标识的对应关系。

上述具体实施方式中，若查找不到对应的第一正文解析规则，则建立新的第三正文解析规则，并建立该第三正文解析规则与第一地址标识的对应关系，实现了自动生成正文解析规则，提升获取正文的准确性和效率。

在一种可能的实现方式中，所述根据所述RSS中的正文摘要，确定所述DOM节点树中至少一个候选节点的标签，包括：

确定所述正文摘要在所述DOM节点树中的位置；

根据所述正文摘要在所述DOM节点树中的位置，确定所述至少一个候选节点；

确定所述至少一个候选节点的标签。

在一种可能的实现方式中，所述根据所述正文摘要在所述DOM节点树中的位置，确定所述至少一个候选节点，包括：

以所述正文摘要在所述DOM节点树中的位置为起点，逐层依次确定所述DOM节点树中各个节点是否包括所述正文摘要；

将所述各个节点中包括所述正文摘要的节点作为所述至少一个候选节点。

在一种可能的实现方式中，所述根据所述至少一个候选节点的标签，确定第三正文解析规则，包括：

根据所述至少一个候选节点的标签中属性的优先级，确定所述第三正文解析规则。

在一种可能的实现方式中，所述根据所述至少一个候选节点的标签中属性的优先级，确定所述第三正文解析规则，包括：

在所述至少一个候选节点的标签中查找是否存在第一优先级的属性；

若存在第一优先级的属性，则将所述第一优先级的属性对应的候选节点的标签作为所述第三正文解析规则。

在一种可能的实现方式中，还包括：

若不存在第一优先级的属性，则在所述至少一个候选节点的标签中查找是否存在第二优先级的属性；

若存在包括第二优先级的属性的候选节点，则将所述第二优先级的属性对应的候选节点的标签作为所述第三正文解析规则。

在一种可能的实现方式中，若存在至少两个第二优先级的属性，则所述将所述第二优先级的属性对应的候选节点的标签作为所述第三正文解析规则，包括：

确定第二优先级的不同属性在所述DOM节点树中各自对应的节点数量；

将节点数量最少的第二优先级的属性对应的候选节点的标签以及所述候选节点的索引位置，作为所述第三正文解析规则；所述索引位置为所述候选节点在所述节点数量最少的第二优先级的属性对应的至少一个节点中所在的位置。

在一种可能的实现方式中，还包括：

若所述至少一个候选节点的标签中均未包括属性，则根据所述至少一个候选节点的父节点的标签中的属性的优先级，确定所述第三正文解析规则。

在一种可能的实现方式中，所述在所述RSS对应的网页内容中获取正文之后，还包括：

确定所述正文是否包括所述RSS中的正文摘要，若否，则标记所述第一正文解析规则为错误。

在一种可能的实现方式中，还包括：

若所述第一正文解析规则标记为错误的次数大于第一预设阈值，或所述第一正文解析规则连续标记为错误的次数大于第二预设阈值，则删除所述第一正文解析规则与所述第一地址标识的对应关系。

上述具体实施方式中，对预设的对应关系中的正文解析规则进行更新，提升获取正文的准确性和效率。

本申请第二方面提供一种基于简易信息聚合RSS获取正文装置，包括：

第一确定模块，用于根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；

第二确定模块，用于根据预设的对应关系，确定所述第一地址标识是否具有对应的第一正文解析规则；

处理模块，用于若所述第一地址标识具有对应的第一正文解析规则，则根据所述第一正文解析规则，在所述RSS对应的网页内容中获取正文。

在一种可能的实现方式中，所述第一确定模块，具体用于：

获取所述URL中的至少两个域名；

对所述URL中的至少两个域名按照域名级别进行降序排列，得到所述第一地址标识。

在一种可能的实现方式中，所述第一确定模块，具体用于：

获取所述URL中的各个域名和N层目录，N为大于0的整数；

对所述URL中的各个域名按照域名级别进行降序排列，得到处理后的域名序列；

对所述处理后的域名序列和所述N层目录进行组合，得到所述第一地址标识。

在一种可能的实现方式中，所述第一确定模块，还用于：

若所述第一地址标识不具有对应的第一正文解析规则，则获取所述URL中N+1层目录；

对所述处理后的域名序列和所述N+1层目录进行组合，得到第二地址标识；

若所述第二地址标识具有对应的第二正文解析规则，则根据所述第二正文解析规则，在所述RSS对应的网页内容中获取所述正文。

在一种可能的实现方式中，所述处理模块，具体用于：

若所述第一地址标识不具有对应的第一正文解析规则，则获取所述RSS对应的网页内容的文档对象模型DOM节点树；

根据所述RSS中的正文摘要，确定所述DOM节点树中至少一个候选节点的标签，所述候选节点包括所述正文；

根据所述至少一个候选节点的标签，确定第三正文解析规则；

建立所述第三正文解析规则与所述第一地址标识的对应关系。

在一种可能的实现方式中，所述处理模块，具体用于：

确定所述正文摘要在所述DOM节点树中的位置；

根据所述正文摘要在所述DOM节点树中的位置，确定所述至少一个候选节点；

确定所述至少一个候选节点的标签。

在一种可能的实现方式中，所述处理模块，具体用于：

以所述正文摘要在所述DOM节点树中的位置为起点，逐层依次确定所述DOM节点树中各个节点是否包括所述正文摘要；

将所述各个节点中包括所述正文摘要的节点作为所述至少一个候选节点。

在一种可能的实现方式中，所述处理模块，具体用于：

根据所述至少一个候选节点的标签中属性的优先级，确定所述第三正文解析规则。

在一种可能的实现方式中，所述处理模块，具体用于：

在所述至少一个候选节点的标签中查找是否存在第一优先级的属性；

若存在第一优先级的属性，则将所述第一优先级的属性对应的候选节点的标签作为所述第三正文解析规则。

在一种可能的实现方式中，所述处理模块，还用于：

若不存在第一优先级的属性，则在所述至少一个候选节点的标签中查找是否存在第二优先级的属性；

若存在包括第二优先级的属性的候选节点，则将所述第二优先级的属性对应的候选节点的标签作为所述第三正文解析规则。

在一种可能的实现方式中，若存在至少两个第二优先级的属性，则所述处理模块，具体用于：

确定第二优先级的不同属性在所述DOM节点树中各自对应的节点数量；

将节点数量最少的第二优先级的属性对应的候选节点的标签以及所述候选节点的索引位置，作为所述第三正文解析规则；所述索引位置为所述候选节点在所述节点数量最少的第二优先级的属性对应的至少一个节点中所在的位置。

在一种可能的实现方式中，所述处理模块，还用于：

若所述至少一个候选节点的标签中均未包括属性，则根据所述至少一个候选节点的父节点的标签中的属性的优先级，确定所述第三正文解析规则。

在一种可能的实现方式中，所述处理模块，还用于：

在所述RSS对应的网页内容中获取正文之后，确定所述正文是否包括所述RSS中的正文摘要，若否，则标记所述第一正文解析规则为错误。

在一种可能的实现方式中，所述处理模块，还用于：

若所述第一正文解析规则标记为错误的次数大于第一预设阈值，或所述第一正文解析规则连续标记为错误的次数大于第二预设阈值，则删除所述第一正文解析规则与所述第一地址标识的对应关系。

本申请第三方面提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面中任一项所述的方法。

本申请第四方面提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面中任一项所述的方法。

本申请第五方面提供一种基于简易信息聚合RSS获取正文的方法，包括：

根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；

根据所述第一地址标识对应的第一正文解析规则，在所述RSS对应的网页内容中获取正文。

上述申请中的一个实施例具有如下优点或有益效果：根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；根据预设的对应关系，确定所述第一地址标识是否具有对应的第一正文解析规则；若所述第一地址标识具有对应的第一正文解析规则，则根据所述第一正文解析规则，在所述RSS对应的网页内容中获取正文，实现自动获取正文，并提高了获取效率。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例提供的应用场景架构图；

图2为本申请一实施例提供的基于简易信息聚合RSS获取正文的方法的流程示意图；

图3A为本申请一实施例提供的DOM节点树示意图；

图3B为本申请一实施例提供的DOM节点树示意图；

图3C为本申请一实施例提供的DOM节点树示意图；

图4为本申请另一实施例提供的DOM节点树示意图；

图5为本申请又一实施例提供的DOM节点树示意图；

图6为本申请一实施例提供的基于简易信息聚合RSS获取正文的装置的结构示意图；

图7为本申请一实施例提供的电子设备的硬件结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在介绍本申请提供的获取正文的方法之前，首先结合附图1对本申请实施例的应用场景进行介绍。图1为本申请实施例提供的应用场景架构图。可选的，如图1所示，该应用场景中包括电子设备11和用户设备12；该用户设备12例如可以包括手机、平板电脑、可穿戴设备等。用户设备可以用于显示网页内容，或获取到的正文。

其中，电子设备可以为服务器或终端设备，电子设备11和用户设备12之间可以通过网络连接。

本发明提供的方法可由一个电子设备如处理器执行相应的软件代码实现，也可由一个电子设备在执行相应的软件代码的同时，通过和其他电子设备进行数据交互来实现。

下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。为了方便理解，下面实施例中的具体实例以互联网信息领域为例进行说明，但并不限于该应用场景。

图2为本申请一实施例提供的基于简易信息聚合RSS获取正文的方法的流程示意图。如图2所示，本实施例提供的方法，包括以下步骤：S101、根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识。

具体的，获取到RSS中的URL，对RSS中URL地址进行处理，得到该RSS对应的第一地址标识，例如将URL中域名按域名级别进行降序排列得到，或者将降序排列后的域名序列加上URL的目录。例如，URL为https://blog.csdn.net/weixin_42825609/article/details/91464676？device＝ios，第一地址标识为net.csdn.blog/weixin_42825609/article/。

S102、根据预设的对应关系，确定所述第一地址标识是否具有对应的第一正文解析规则。

具体的，可以预先在一个数据库中存储一些对应关系，对应关系可以表示地址标识与其对应的正文解析规则的对应关系。

在对应关系中查找第一地址标识是否存在对应的第一正文解析规则。

S103、若所述第一地址标识具有对应的第一正文解析规则，则根据所述第一正文解析规则，在所述RSS对应的网页内容中获取正文。

具体的，若第一地址标识具有对应的第一正文解析规则，则根据第一正文解析规则，在RSS对应的网页内容中获取正文。第一正文解析规则可以表示获取正文的路径。

获取到正文之后可以在用户设备的操作界面显示该正文。

进一步的，获取到正文之后可以进行校验，确认该正文是否为RSS对应的正文，例如通过如下方式：

确定所述正文是否包括所述RSS中的正文摘要，若否，则标记所述第一正文解析规则为错误。

若是，则标记所述第一正文解析规则为正确，则说明获取到的该正文确实是想要获取的正文。

进一步的，还可以对预设的对应关系进行更新，例如网站页面结构更新或正文解析规则建立有误等情况下，若所述第一正文解析规则标记为错误的次数大于第一预设阈值，或所述第一正文解析规则连续标记为错误的次数大于第二预设阈值，则删除所述第一正文解析规则与所述第一地址标识的对应关系。

其中，第一预设阈值与第二预设阈值可以相同或不同，若不同，例如第一预设阈值可以大于第二预设阈值，若多次根据第一正文解析规则获取的正文均不是想要的正文，则说明该第一正文解析规则可能不准确，可以删除第一正文解析规则与第一地址标识的对应关系。进一步，还可以重新建立该第一地址标识对应的正文解析规则，具体可以参照下面实施例中第三正文解析规则的确定方式。

例如，最近10次根据第一正文解析规则获取正文中，7次错误，或连续5次错误，则可以删除该第一正文解析规则与第一地址标识的对应关系。

上述对正文解析规则的对应关系进行更新，提升了正文获取的准确性。

在本实施例中，根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；根据预设的对应关系，确定所述第一地址标识是否具有对应的第一正文解析规则；若所述第一地址标识具有对应的第一正文解析规则，则根据所述第一正文解析规则，在所述RSS对应的网页内容中获取正文，实现自动获取正文，并提高了获取效率。

在上述实施例的基础上，进一步的，S101可以通过如下几种方式实现：

一种可能的实现方式：

获取所述URL中的至少两个域名；

对所述URL中的至少两个域名按照域名级别进行降序排列，得到所述第一地址标识。

具体的，将URL中删除协议名、URL参数等，提取出至少两个域名，并对各个域名按照域名级别进行降序排列，得到第一地址标识。例如，URL为https://blog.csdn.net/weixin_42825609/article/details/91464676？device＝ios，第一地址标识为net.csdn.blog。

进一步的，若查找对应关系确定第一地址标识不具有对应的第一正文解析规则，则获取所述URL中N层目录；

对所述处理后的域名序列和所述N层目录进行组合，得到第二地址标识a1；

若所述第二地址标识a1具有对应的第二正文解析规则b1，则根据所述第二正文解析规则b1，在所述RSS对应的网页内容中获取所述正文。

例如，第一地址标识为net.csdn.blog。若net.csdn.blog不具有对应的第一正文解析规则，则得到第二地址标识a1为net.csdn.blog/weixin_42825609，确定该net.csdn.blog/weixin_42825609对应的第二正文解析规则b1。

在一种可选的实施例中，若第一地址标识为处理后的域名序列，例如net.csdn，若该net.csdn不具有对应的第一正文解析规则，则获取新的域名序列net.csdn.blog，若该net.csdn.blog不具有对应的第一正文解析规则，则对域名序列net.csdn.blog和N层目录进行组合，得到第二地址标识a1，例如net.csdn.blog/weixin_42825609。

另一种可能的实现方式：

获取所述URL中的各个域名和N层目录，N为大于0的整数；

对所述URL中的各个域名按照域名级别进行降序排列，得到处理后的域名序列；

对所述处理后的域名序列和所述N层目录进行组合，得到所述第一地址标识。

具体的，将URL中删除协议名、URL参数等，提取出各个域名，以及至少一层目录，并对各个域名按照域名级别进行降序排列，得到处理后的域名序列，对处理后的域名序列和至少一层目录中的N层目录进行组合，得到第一地址标识。例如，URL为https://blog.csdn.net/weixin_42825609/article/details/91464676？device＝ios，第一地址标识为net.csdn.blog/weixin_42825609。

进一步的，若查找对应关系确定第一地址标识不具有对应的第一正文解析规则，则获取所述URL中N+1层目录；

对所述处理后的域名序列和所述N+1层目录进行组合，得到第二地址标识a2；

若所述第二地址标识a2具有对应的第二正文解析规则b2，则根据所述第二正文解析规则b2，在所述RSS对应的网页内容中获取所述正文。

具体的，若将处理后的域名序列和N层目录进行组合得到的第一地址标识，不具有对应的第一正文解析规则，则重新获取一个第二地址标识a2，即将处理后的域名序列和N+1层目录进行组合得到第二地址标识a2；根据该第二地址标识a2对应的第二正文解析规则b2，在所述RSS对应的网页内容中获取所述正文。例如第一地址标识为net.csdn.blog/weixin_42825609不具有对应的第一正文解析规则，则得到第二地址标识a2为net.csdn.blog/weixin_42825609/article/，确定该net.csdn.blog/weixin_42825609/article/对应的第二正文解析规则b2。

在上述实施例的基础上，进一步的，若第一地址标识不具有对应的第一正文解析规则，则可以根据RSS对应的网页内容确定新的正文解析规则，建立第一地址标识与新的正文解析规则之间的对应关系，下次再使用该第一地址标识获取正文时可以直接获取该对应关系中与第一地址标识对应的新的正文解析规则，利用该新的正文解析规则获取正文，具体可以采用如下方式实现：

获取所述RSS对应的网页内容的文档对象模型DOM节点树；

根据所述RSS中的正文摘要，确定所述DOM节点树中至少一个候选节点的标签，所述候选节点包括所述正文；

根据所述至少一个候选节点的标签，确定第三正文解析规则；

建立所述第三正文解析规则与所述第一地址标识的对应关系。

具体的，将RSS对应的网页内容解析为DOM节点树，查找RSS中正文摘要在DOM树中的位置，使用层次遍历方法找到包括正文的至少一个候选节点。随着层次递增，直到定位到该正文摘要不是DOM节点树中节点内容的前缀结束，即知道定位到DOM节点树中节点内容不包含正文摘要结束，则该不包含正文摘要的节点之前的节点为候选节点，例如图3A示出了正文摘要在DOM节点树中的位置，图3B中粗线黑框示出了包括正文摘要的第一个候选节点，图3C中粗虚线黑框示出了包括正文摘要的第二个候选节点。如果正文摘要只匹配到一个候选节点，则该候选节点包括正文内容，则第三正文解析规则可以直接用该DOM节点的标签；如果正文摘要匹配到多个候选节点，则进一步根据所述至少一个候选节点各自对应的标签，确定第三正文解析规则，进而建立第三正文解析规则与第一地址标识的对应关系。

进一步的，在建立对应关系时，例如第一地址标识为对所述URL中的至少两个(例如M个，M为大于1的整数)域名按照域名级别进行降序排列得到的，则先确定预设的对应关系中是否存在该第一地址标识，若存在则获取新的域名序列(包括M+1个)，例如net.csdn.blog，若该net.csdn.blog在预设的对应关系中存在，则对域名序列net.csdn.blog和N层目录进行组合，得到第二地址标识a1，例如net.csdn.blog/weixin_42825609，若该第二地址标识a1在预设的对应关系中存在，则对域名序列net.csdn.blog和N+1层目录进行组合，得到第二地址标识a2，若该第二地址标识a2net.csdn.blog/weixin_42825609/article/在预设的对应关系中不存在，则建立该第二地址标识a2net.csdn.blog/weixin_42825609/article/与第三正文解析规则的对应关系，并存储在预设的对应关系所在的库中。

在一个可选的实施例中，加入库中的地址标识的最大范围为二级域名，比如net.csdn，例如net则不能加入库中，但如果是顶级域名为cn，则cn.com、cn.net、cn.gov也不能加入库。

进一步的，根据所述RSS中的正文摘要，确定所述DOM节点树中至少一个候选节点的标签，具体可以通过如下方式实现：

确定所述正文摘要在所述DOM节点树中的位置；

根据所述正文摘要在所述DOM节点树中的位置，确定所述至少一个候选节点；

确定所述至少一个候选节点各自对应的标签。

进一步的，以所述正文摘要在所述DOM节点树中的位置为起点，逐层依次确定所述DOM节点树中各个节点是否包括所述正文摘要；

将所述各个节点中包括所述正文摘要的节点作为所述至少一个候选节点。

具体的，首先在DOM节点树中找到正文摘要所在的位置，即正文摘要在DOM节点树中所在的最小节点，例如图3A所示的粗线黑框表示的正文摘要所在的位置，以该正文摘要所在的DOM节点树中的最小节点为起点，然后逐层递增遍历查找包括正文摘要的至少一个候选节点，例如候选节点包括的正文内容以该正文摘要为开头，并确定至少一个候选节点各自对应的标签。标签例如可以包括标签名称、属性等，属性例如包括id属性和class属性，其中id属性在一个网页页面中是唯一的，class属性可以有一个或多个。

进一步的，以上得到至少一个候选节点各自对应的标签后，可以根据至少一个候选节点的标签中属性的优先级，确定第三正文解析规则。

例如，如图4所示，图4示出的是图3C中粗虚线黑框内包括的候选节点，例如根据标签div中属性id、属性类别class的优先级，确定该第三正文解析规则，例如属性id的优先级高，可以将该属性id所在的标签，作为第三正文解析规则，即<div id＝’内容content’>。图4中包括四个候选节点。四个候选节点的内容均包括正文内容。

在一个可选的实施例中，根据标签中属性的优先级，确定第三正文解析规则具体可以通过如下方式实现：

在所述至少一个候选节点的标签中查找是否存在第一优先级的属性；

若存在第一优先级的属性，则将所述第一优先级的属性对应的候选节点的标签作为所述第三正文解析规则。

进一步的，若不存在第一优先级的属性，则在所述至少一个候选节点的标签中查找是否存在第二优先级的属性；

若存在包括第二优先级的属性的候选节点，则将所述第二优先级的属性对应的候选节点的标签作为所述第三正文解析规则。

具体的，可以首先找优先级最高的属性，即第一优先级的属性，若存在第一优先级的属性，则将第一优先级的属性对应的候选节点的标签作为第三正文解析规则，例如将图4中从内到外的第三个候选节点的标签<div id＝’content’>作为第三正文解析规则。

若存在第一优先级的属性，则查找是否存在第二优先级的属性，即比第一优先级的优先级低的属性，例如class属性；若存在，则将第二优先级的属性对应的候选节点的标签作为第三正文解析规则，例如将图4中从内到外的第二个候选节点的标签<div class＝’文章article’>或第一个候选节点的标签<div class＝’dl’>作为第三正文解析规则。

在一个可选的实施例中，若存在至少两种第二优先级的属性，则进一步可以进行如下操作：

确定第二优先级的不同属性在所述DOM节点树中各自对应的节点数量；

将节点数量最少的第二优先级的属性对应的候选节点的标签以及所述候选节点的索引位置，作为所述第三正文解析规则；索引位置为该候选节点在节点数量最少的第二优先级的属性对应的至少一个节点中所在的位置。

具体的，例如图4中具有两个class属性，class属性为内容content，以及class属性为dl，则可以选择其中一个class属性对应的候选节点的标签，作为该第三正文解析规则，例如，在页面中查找class属性为content的节点，若有3个class属性为content的节点，在页面中查找class属性为dl的节点，若有2个class属性为dl的节点，则可以class属性为dl的候选节点的标签作为第三正文解析规则，进一步还可以将该候选节点的索引位置包括在第三正文解析规则中，例如第三正文解析规则为<div class＝’dl’>[1],[1]表示该候选节点在该页面下具有class属性为dl的至少一个节点中的索引位置。

进一步的，若所述至少一个候选节点的标签中均未包括属性，则根据所述至少一个候选节点的父节点的标签中的属性的优先级，确定所述第三正文解析规则。

具体的，如果至少一个候选节点中都没有id属性和class属性，则以最上层的候选节点为起点，向上层遍历父节点，并记录父节点的标签名称、id属性和class属性，然后根据父节点的标签中的属性确定第三正文解析规则，例如图5所示，虚线框表示图4中各个候选节点，各个候选节点均没有属性，则向上遍历父节点，找到父节点的标签<div id＝’文章article’>，则第三正文解析规则可以表示为div[@id＝"article"][1]/div/div，其中[1]表示属性id所在父节点的索引位置。

进一步，如果父节点都没有id属性和class属性，则基于根路径确定该第三正文解析规则，例如为//html/body/div/div。

例如，正文解析规则可以使用xpath语言描述。

上述实施例中，通过RSS的正文摘要，建立正文解析规则，进而可以根据正文解析规则识别并获取正文内容，可以节省人工解析获取正文的成本。

图6为本申请一实施例提供的基于简易信息聚合RSS获取正文的装置的结构示意图。如图6所示，本实施例提供的基于简易信息聚合RSS获取正文的装置600，包括：

第一确定模块601，用于根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；

第二确定模块602，用于根据预设的对应关系，确定所述第一地址标识是否具有对应的第一正文解析规则；

处理模块603，用于若所述第一地址标识具有对应的第一正文解析规则，则根据所述第一正文解析规则，在所述RSS对应的网页内容中获取正文。

在一种可能的实现方式中，所述第一确定模块601，具体用于：

获取所述URL中的至少两个域名；

对所述URL中的至少两个域名按照域名级别进行降序排列，得到所述第一地址标识。

在一种可能的实现方式中，所述第一确定模块601，具体用于：

获取所述URL中的各个域名和N层目录，N为大于0的整数；

对所述URL中的各个域名按照域名级别进行降序排列，得到处理后的域名序列；

对所述处理后的域名序列和所述N层目录进行组合，得到所述第一地址标识。

在一种可能的实现方式中，所述第一确定模块601，还用于：

若所述第一地址标识不具有对应的第一正文解析规则，则获取所述URL中N+1层目录；

对所述处理后的域名序列和所述N+1层目录进行组合，得到第二地址标识；

若所述第二地址标识具有对应的第二正文解析规则，则根据所述第二正文解析规则，在所述RSS对应的网页内容中获取所述正文。

在一种可能的实现方式中，所述处理模块603，具体用于：

若所述第一地址标识不具有对应的第一正文解析规则，则获取所述RSS对应的网页内容的文档对象模型DOM节点树；

根据所述RSS中的正文摘要，确定所述DOM节点树中至少一个候选节点的标签，所述候选节点包括所述正文；

根据所述至少一个候选节点的标签，确定第三正文解析规则；

建立所述第三正文解析规则与所述第一地址标识的对应关系。

在一种可能的实现方式中，所述处理模块603，具体用于：

确定所述正文摘要在所述DOM节点树中的位置；

根据所述正文摘要在所述DOM节点树中的位置，确定所述至少一个候选节点；

确定所述至少一个候选节点的标签。

在一种可能的实现方式中，所述处理模块603，具体用于：

以所述正文摘要在所述DOM节点树中的位置为起点，逐层依次确定所述DOM节点树中各个节点是否包括所述正文摘要；

将所述各个节点中包括所述正文摘要的节点作为所述至少一个候选节点。

在一种可能的实现方式中，所述处理模块603，具体用于：

根据所述至少一个候选节点的标签中属性的优先级，确定所述第三正文解析规则。

在一种可能的实现方式中，所述处理模块603，具体用于：

在所述至少一个候选节点的标签中查找是否存在第一优先级的属性；

若存在第一优先级的属性，则将所述第一优先级的属性对应的候选节点的标签作为所述第三正文解析规则。

在一种可能的实现方式中，所述处理模块603，还用于：

若不存在第一优先级的属性，则在所述至少一个候选节点的标签中查找是否存在第二优先级的属性；

若存在包括第二优先级的属性的候选节点，则将所述第二优先级的属性对应的候选节点的标签作为所述第三正文解析规则。

在一种可能的实现方式中，若存在至少两个第二优先级的属性，则所述处理模块603，具体用于：

确定第二优先级的不同属性在所述DOM节点树中各自对应的节点数量；

将节点数量最少的第二优先级的属性对应的候选节点的标签以及所述候选节点的索引位置，作为所述第三正文解析规则；所述索引位置为所述候选节点在所述节点数量最少的第二优先级的属性对应的至少一个节点中所在的位置。

在一种可能的实现方式中，所述处理模块603，还用于：

若所述至少一个候选节点的标签中均未包括属性，则根据所述至少一个候选节点的父节点的标签中的属性的优先级，确定所述第三正文解析规则。

在一种可能的实现方式中，所述处理模块603，还用于：

在所述RSS对应的网页内容中获取正文之后，确定所述正文是否包括所述RSS中的正文摘要，若否，则标记所述第一正文解析规则为错误。

在一种可能的实现方式中，所述处理模块603，还用于：

若所述第一正文解析规则标记为错误的次数大于第一预设阈值，或所述第一正文解析规则连续标记为错误的次数大于第二预设阈值，则删除所述第一正文解析规则与所述第一地址标识的对应关系。

本申请实施例提供的基于简易信息聚合RSS获取正文的装置，可以执行上述方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

图7为本申请一实施例提供的电子设备的硬件结构示意图。如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的获取正文的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的获取正文的方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的获取正文的方法对应的程序指令/模块(例如，附图6所示的第一确定模块601、第二确定模块602和处理模块603)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的获取正文的方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

本申请实施例还提供一种获取正文的方法，包括如下步骤：

根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；

根据第一地址标识对应的第一正文解析规则，在所述RSS对应的网页内容中获取正文。

本实施例提供的方法，其实现原理和技术效果可以参见图2至图5所示任一实施例，此处不再赘述。

综上所述，本申请实施例提供的技术方案具有以下技术效果：根据所述第一正文解析规则，在所述RSS对应的网页内容中获取正文，实现自动获取正文，并提高了获取效率。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种基于简易信息聚合RSS获取正文的方法，其特征在于，包括：

根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；

根据预设的对应关系，确定所述第一地址标识是否具有对应的第一正文解析规则；所述对应关系用于表示地址标识与正文解析规则之间的对应关系；

若所述第一地址标识具有对应的第一正文解析规则，则根据所述第一正文解析规则，在所述RSS对应的网页内容中获取正文。

2.根据权利要求1所述的方法，其特征在于，所述根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识，包括：

获取所述URL中的至少两个域名；

对所述URL中的至少两个域名按照域名级别进行降序排列，得到所述第一地址标识。

3.根据权利要求1所述的方法，其特征在于，所述根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识，包括：

获取所述URL中的各个域名和N层目录，N为大于0的整数；

对所述URL中的各个域名按照域名级别进行降序排列，得到处理后的域名序列；

对所述处理后的域名序列和所述N层目录进行组合，得到所述第一地址标识。

4.根据权利要求3所述的方法，其特征在于，还包括：

若所述第一地址标识不具有对应的第一正文解析规则，则获取所述URL中N+1层目录；

对所述处理后的域名序列和所述N+1层目录进行组合，得到第二地址标识；

若所述第二地址标识具有对应的第二正文解析规则，则根据所述第二正文解析规则，在所述RSS对应的网页内容中获取所述正文。

5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：

若所述第一地址标识不具有对应的第一正文解析规则，则获取所述RSS对应的网页内容的文档对象模型DOM节点树；

根据所述RSS中的正文摘要，确定所述DOM节点树中至少一个候选节点的标签，所述候选节点包括所述正文；

根据所述至少一个候选节点的标签，确定第三正文解析规则；

建立所述第三正文解析规则与所述第一地址标识的对应关系。

6.根据权利要求5所述的方法，其特征在于，所述根据所述RSS中的正文摘要，确定所述DOM节点树中至少一个候选节点的标签，包括：

确定所述正文摘要在所述DOM节点树中的位置；

根据所述正文摘要在所述DOM节点树中的位置，确定所述至少一个候选节点；

确定所述至少一个候选节点的标签。

7.根据权利要求6所述的方法，其特征在于，所述根据所述正文摘要在所述DOM节点树中的位置，确定所述至少一个候选节点，包括：

以所述正文摘要在所述DOM节点树中的位置为起点，逐层依次确定所述DOM节点树中各个节点是否包括所述正文摘要；

将所述各个节点中包括所述正文摘要的节点作为所述至少一个候选节点。

8.根据权利要求5所述的方法，其特征在于，所述根据所述至少一个候选节点的标签，确定第三正文解析规则，包括：

根据所述至少一个候选节点的标签中属性的优先级，确定所述第三正文解析规则。

9.根据权利要求8所述的方法，其特征在于，所述根据所述至少一个候选节点的标签中属性的优先级，确定所述第三正文解析规则，包括：

在所述至少一个候选节点的标签中查找是否存在第一优先级的属性；

若存在第一优先级的属性，则将所述第一优先级的属性对应的候选节点的标签作为所述第三正文解析规则。

10.根据权利要求9所述的方法，其特征在于，还包括：

若不存在第一优先级的属性，则在所述至少一个候选节点的标签中查找是否存在第二优先级的属性；

若存在包括第二优先级的属性的候选节点，则将所述第二优先级的属性对应的候选节点的标签作为所述第三正文解析规则。

11.根据权利要求10所述的方法，其特征在于，若存在至少两个第二优先级的属性，则所述将所述第二优先级的属性对应的候选节点的标签作为所述第三正文解析规则，包括：

确定第二优先级的不同属性在所述DOM节点树中各自对应的节点数量；

将节点数量最少的第二优先级的属性对应的候选节点的标签以及所述候选节点的索引位置，作为所述第三正文解析规则；所述索引位置为所述候选节点在所述节点数量最少的第二优先级的属性对应的至少一个节点中所在的位置。

12.根据权利要求9-11任一项所述的方法，其特征在于，还包括：

若所述至少一个候选节点的标签中均未包括属性，则根据所述至少一个候选节点的父节点的标签中的属性的优先级，确定所述第三正文解析规则。

13.根据权利要求1-4任一项所述的方法，其特征在于，所述在所述RSS对应的网页内容中获取正文之后，还包括：

确定所述正文是否包括所述RSS中的正文摘要，若否，则标记所述第一正文解析规则为错误。

14.根据权利要求1-4任一项所述的方法，其特征在于，还包括：

若所述第一正文解析规则标记为错误的次数大于第一预设阈值，或所述第一正文解析规则连续标记为错误的次数大于第二预设阈值，则删除所述第一正文解析规则与所述第一地址标识的对应关系。

15.一种基于简易信息聚合RSS获取正文的装置，其特征在于，包括：

第一确定模块，用于根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；

第二确定模块，用于根据预设的对应关系，确定所述第一地址标识是否具有对应的第一正文解析规则；

处理模块，用于若所述第一地址标识具有对应的第一正文解析规则，则根据所述第一正文解析规则，在所述RSS对应的网页内容中获取正文。

16.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

17.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

18.一种基于简易信息聚合RSS获取正文的方法，其特征在于，包括：

根据所述RSS中统一资源定位符URL，确定所述RSS对应的第一地址标识；

根据所述第一地址标识对应的第一正文解析规则，在所述RSS对应的网页内容中获取正文。