CN111723265A - 一种可扩展的新闻网站通用爬虫方法及系统 - Google Patents
一种可扩展的新闻网站通用爬虫方法及系统 Download PDFInfo
- Publication number
- CN111723265A CN111723265A CN202010617010.5A CN202010617010A CN111723265A CN 111723265 A CN111723265 A CN 111723265A CN 202010617010 A CN202010617010 A CN 202010617010A CN 111723265 A CN111723265 A CN 111723265A
- Authority
- CN
- China
- Prior art keywords
- website
- node
- analysis
- news
- websites
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 74
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000013515 script Methods 0.000 claims description 15
- 230000009193 crawling Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及及计算机领域，尤其涉及一种可扩展的新闻网站通用爬虫方法及系统，方法包括：添加需要爬取的网站url以及相关配置；获取需要爬取的网站以及相关配置；对网址使用通用解析规则解析并返回解析效果，如果解析错误，则加入网站相应的xpath解析规则；对加入xpath解析规则的网站使用配置解析，其它网站使用默认解析规则；对解析结果进行存储。本发明对网址使用通用解析规则解析并返回解析效果，如果解析错误，则加入网站相应的xpath解析规则；对加入xpath解析规则的网站使用配置解析，其它网站使用默认解析规则，以实现对所有网站的爬取新闻解析都具有很高的正确率。
Description
技术领域
本发明涉及及计算机领域，尤其涉及一种可扩展的新闻网站通用爬虫方法及系统。
背景技术
新闻网站爬虫系统是一种从网络中自动抓取新闻并解析新闻详情的系统，抓取的内容可供下游任务使用。
随着大数据时代的到来，已经有一些通用新闻网站的爬虫方法，但是这些新闻解析方式只针对部分网站效果很好，难以做到所有网站获取的新闻解析正确率达到百分之百，而且增大爬取新闻网站数量，正确率会随之下降。
发明内容
为解决上述问题，本发明提出一种可扩展的新闻网站通用爬虫方法及系统，以提高爬取新闻解析的正确率。
一方面，本发明提出一种可扩展的新闻网站通用爬虫方法，包括：
添加需要爬取的网站url以及相关配置；
获取需要爬取的网站以及相关配置；
对网址使用通用解析规则解析并返回解析效果，如果解析错误，则加入网站相应的xpath解析规则；
对加入xpath解析规则的网站使用配置解析，其它网站使用默认解析规则；
对解析结果进行存储。
优选的，在所述添加需要爬取的网站url以及相关配置之前包括：
判断各网站url是否在指纹文件，若无则添加指纹文件。
优选的，所述对网址使用通用解析规则解析包括：
使用scrapy框架下载网页源码；
去除网站中的脚本以及样式；
构建dom树，计算每个节点要求的变量；
根据c计算每个节点的分数，找出分数最大的节点，提取网页正文，并格式化输出。
优选的，所述构建dom树，计算每个节点要求的变量包括：
计算该节点的文本密度；
计算符号密度为文字数量与符号数量的比值；
计算Dom树标签分数score，score越大，则该结点属于正文内容的可能性较大。
优选的，所述计算该节点的文本密度包括：
设定i 为 Dom 树的一个结点，则该节点的文本密度 TDi 为：
其中，Ti表示结点 i的字符串字数；LTi表示结点 i的带链接的字符串字数；TGi表示结点 i的标签数；LTGi表示结点 i带链接的标签数。
优选的，所述计算符号密度为文字数量与符号数量的比值的计算公式为：
其中，Ti 表示结点 i的字符串字数； LTi 表示结点 i的带链接的字符串字数；Sbi 表示符号数量。
优选的，所述计算Dom树标签分数score包括：
建立模型为：
score = log(SD)*NDi* log10(PNumi + 2)* log(SbDi)，
其中，SD表示节点文本密度的标准差； NDi表示节点i的文本密度； PNumi 表示节点 i的 p标签数。
优选的，所述默认解析规则包括：
使用scrapy框架获取网站某模块源码；
移除网页中的无用的部分；
提取剩余内容中所有a标签下href链接和标签文字；
过滤标签文字字数小于某一阈值的href链接；
去除长度不一致的链接。
优选的，所述使用scrapy框架获取网站某模块源码包括：
使用Scrapy框架中提供的url指纹对爬取的网站url进行过滤，每次爬取前将该网站url转换为url指纹，在指纹文件中比对，若出现重复指纹，则跳过该页面。
另一方面，本发明还提出一种可扩展的新闻网站爬虫系统，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述一种可扩展的新闻网站通用爬虫方法的步骤。
本发明具备以下有益效果：
对网址使用通用解析规则解析并返回解析效果，如果解析错误，则加入网站相应的xpath解析规则；对加入xpath解析规则的网站使用配置解析，其它网站使用默认解析规则，以实现对所有网站的爬取新闻解析都具有很高的正确率。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明一实施例一种可扩展的新闻网站通用爬虫方法的流程示意图；
图2是本发明一实施例一种可扩展的新闻网站通用爬虫方法中步骤S3的流程示意图；
图3是本发明一实施例一种可扩展的新闻网站通用爬虫方法中步骤S4的流程示意图；
图4是本发明一实施例一种可扩展的新闻网站通用爬虫系统的硬件示意图。
具体实施方式
以下结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
本发明的基本思想是对网址使用通用解析规则解析并返回解析效果，如果解析错误，则加入网站相应的xpath解析规则；对加入xpath解析规则的网站使用配置解析，其它网站使用默认解析规则，以实现对所有网站的爬取新闻解析都具有很高的正确率。
基于以上基本思想，本发明实施例提出一种可扩展的新闻网站通用爬虫方法，能够有效准确地将各网站新闻信息收集起来，以便后续进行下游任务，如数据分析，自然语言处理、以及舆情监测等，如图1所示，包括以下步骤：
S1：添加需要爬取的网站url以及相关配置。
本发明基于Scrapy爬虫框架，首先构建新闻网站需爬取的网站url集合：如只需要娱乐新闻，则添加一些新闻网站中的娱乐新闻模块即可，一般新闻网站各模块中新闻首页会显示最新的新闻，所以只需定期爬取网站相关模块首页新闻的新闻并且去重即可。为避免重复爬取，使用Scrapy框架中提供的url指纹对爬取的网站url进行过滤，每次爬取前将该网站url转换为url指纹，在指纹文件中比对，若出现重复指纹，则跳过该页面。
具体的，添加需要爬取新闻网站url，将网站url以及相关配置记录至数据库配置表中。配置包括但不限于新闻列表、内容、时间以及标题的xpath解析规则。
每次将网站url加入任务队列之前，需要判断url指纹是否在指纹文件，有则跳过，无则添加进指纹文件，这样可以防止爬虫在多次运行中，对已经爬取过的页面进行重复爬取。
S2：获取需要爬取的网站以及相关配置。
具体的，获取需要爬取新闻网站的url集合，爬取或预览网页需要从数据库中读取网页的相关配置项，其中预览结果不正确需要修改或添加网站url的相关配置。
S3：对网址使用通用解析规则解析并返回解析效果，如果解析错误，则加入网站相应的xpath解析规则。
对需要爬取的网站url使用通用解析规则解析，并返回解析效果，如果某项解析出的内容有误，则在网站url的配置中加入其相对应的xpath解析规则。例如某网页根据默认的解析规则返回的标题和时间正确，但是内容有偏差，则在网页的配置项中加入新闻内容的xpath解析规则即可。
新闻内容解析基于文本密度提取，即将网页解析为dom树，判断每个节点属于正文内容的可能性。在本实施例中，使用通用解析规则解析新闻的标题、内容以及发布时间，如图2所示，具体包括以下步骤：
S31：使用scrapy框架下载网页源码。
S32：去除网站中的脚本以及样式。即移除 JavaScript脚本，CSS样式，IFrame 等。
S33：构建dom树，计算每个节点要求的变量。每个网页都可以被解析成一颗Dom树，所有的标签都是节点，而文字和图片等都是叶子节点。
第一点，计算该节点的文本密度。TDi是衡量一个网页的每个结点文本密度，如果一个结点的纯文本字数比带链接的文本字数明显多很多，则该结点属于正文内容的可能性较大。如果 i 为 Dom 树的一个结点，那么该节点的文本密度 TDi 为：
其中，Ti表示结点 i的字符串字数；LTi表示结点 i的带链接的字符串字数；TGi表示结点 i的标签数；LTGi表示结点 i带链接的标签数。
第二点，计算符号密度为文字数量与符号数量的比值。如果 i 为 Dom 树的一个结点，那么该节点的SbDi 为一段文字的符号密度：符号密度为文字数量与符号数量的比值，通常正文的 SbDi 会比非正文要大。非正文可能没有符号，而且由于非正文通常会比较少字，可能就是一些导航的信息之类的，所以，在相同字数下它的 SbDi 相对正文来说就会比较小。
其中，Ti 表示结点 i的字符串字数； LTi 表示结点 i的带链接的字符串字数；Sbi 表示符号数量。
第三点，计算Dom树标签分数score，score越大，该结点属于正文内容的可能性较大。
因为繁多的网页采用的布局各不相同，所以如果想要一个算法可以通用提取不同的网页，我们需要考虑的因素还有很多，于是我们建立了一个数学模型，该公式为：
score = log(SD)*NDi* log10(PNumi + 2)* log(SbDi)
其中，SD表示节点文本密度的标准差； NDi表示节点i的文本密度； PNumi 表示节点 i的 p标签数。
第四点，根据c计算每个节点的分数，找出分数最大的节点，提取网页正文，并格式化输出。
S34：根据c计算每个节点的分数，找出分数最大的节点，提取网页正文，并格式化输出.
一些很规范的新闻网站，会把新闻的发布时间放在 META 中，因此可以优先检查 META数据，可以配置一些新闻网站标题的获取方式，从html中的meta数据中获取发布时间以及新闻标题。如果没有检测到标题，则根据一个网页中，正文标题通常会用<h*></h>（*:1-6）标签包含原则，提取此标签中标签文字即可。如果没有检测到时间，时间可以从正文中采用正则匹配的方式进行获取。
每个网站中的模块url先使用以上通用解析方法进行解析，如果返回结果与原网页新闻标题、时间等不一致，则添加网页的相关xpath解析规则，使用scrapy中的xpath方法加载相关解析规则进行解析即可。
规则如：列表xpath：//div[@class='xxx']，通过此xpath可以获取一定范围中的html内容，解析时直接获取此内容下所有a标签下的href链接即可。标题xpath://div[@class='xxx']/.../text()调用后可以直接获取到新闻标题。
S4：对加入xpath解析规则的网站使用配置解析，其它网站使用默认解析规则。
通用解析规则包括解析模块url中新闻列表和解析具体新闻网页中的新闻内容、新闻发布时间、新闻标题。如图3所示，其它网站使用默认解析规则的步骤如下：
S41：使用scrapy框架获取网站某模块源码。
S42：移除网页中的无用的部分。
一个网页中头部、页脚、导航等部分是非所需内容，所以需要移除网页中的一些无用的部分。例如去除标签<div>下class或id属性为footer的部分。
S43：提取剩余内容中所有a标签下href链接和标签文字。
提取剩余内容中所有a标签下href链接和标签文字。其中标签文字与herf链接一一对应。
S44：过滤标签文字字数小于某一阈值的href链接。
过滤标签文字字数小于某一阈值的href链接，阈值可以提取一些网站中所有的href链接和标签文字，对其是新闻链接的字数进行统计，再根据字数分布进行取值。如若标签文字是新闻的字数一般大于7，则阈值设置为7即可。
S45：去除长度不一致的链接。
有一部分网站的标签文字字数大于阈值，但不是指向具体的新闻但被误认为是新闻链接，此时去除长度不一致的链接即可，因为列表中的新闻链接一般是统一长度。
使用scrapy对已配置的网站进行爬取，解析步骤如图2新闻网站解析流程图，大规模爬取网站之前，先读取网站相关配置，如果有xpath相关解析配置，则使用scrapy中的xpath方法调用解析配置解析网页相关项，如无解析配置，则使用默认的解析规则。
S5：对解析结果进行存储.
在本实施例中，对解析出的新闻内容、来源、标题、时间等进行存储。
如需加入新的新闻网站，只需使用上述步骤预览新闻网站，即获取其具体新闻列表、列表中某个链接中新闻的标题、时间、内容。如某项返回有误则添加其xpath规则至数据库即可。爬虫框架检测到有新配置的网站，加载配置项重启爬虫即可。
基于一种可扩展的新闻网站通用爬虫方法，在硬件方面，本实施例还提出一种可扩展的新闻网站爬虫系统，如图4所示，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述一种可扩展的新闻网站通用爬虫方法的步骤。
需要说明的是，上述处理器及存储器的具体功能实现已在方法实施例中详细说明，本实施例中不再赘述。
本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种可扩展的新闻网站通用爬虫方法，其特征在于，包括：
添加需要爬取的网站url以及相关配置；
获取需要爬取的网站以及相关配置；
对网址使用通用解析规则解析并返回解析效果，如果解析错误，则加入网站相应的xpath解析规则；
对加入xpath解析规则的网站使用配置解析，其它网站使用默认解析规则；
对解析结果进行存储。
2.根据权利要求1所述的一种可扩展的新闻网站通用爬虫方法，其特征在于，在所述添加需要爬取的网站url以及相关配置之前包括：
判断各网站url是否在指纹文件，若无则添加指纹文件。
3.根据权利要求1所述的一种可扩展的新闻网站通用爬虫方法，其特征在于，所述对网址使用通用解析规则解析包括：
使用scrapy框架下载网页源码；
去除网站中的脚本以及样式；
构建dom树，计算每个节点要求的变量；
根据c计算每个节点的分数，找出分数最大的节点，提取网页正文，并格式化输出。
4.根据权利要求3所述的一种可扩展的新闻网站通用爬虫方法，其特征在于，所述构建dom树，计算每个节点要求的变量包括：
计算该节点的文本密度；
计算符号密度为文字数量与符号数量的比值；
计算Dom树标签分数score，score越大，则该结点属于正文内容的可能性较大。
5.根据权利要求4所述的一种可扩展的新闻网站通用爬虫方法，其特征在于，所述计算该节点的文本密度包括：
设定i 为 Dom 树的一个结点，则该节点的文本密度 TDi 为：
其中，Ti 表示结点 i的字符串字数；LTi 表示结点 i的带链接的字符串字数；TGi 表示结点 i的标签数；LTGi 表示结点 i带链接的标签数。
6.根据权利要求4所述的一种可扩展的新闻网站通用爬虫方法，其特征在于，所述计算符号密度为文字数量与符号数量的比值的计算公式为：
其中，Ti 表示结点 i的字符串字数； LTi 表示结点 i的带链接的字符串字数；Sbi 表示符号数量。
7.根据权利要求4所述的一种可扩展的新闻网站通用爬虫方法，其特征在于，所述计算Dom树标签分数score包括：
建立模型为：
score = log(SD)*NDi* log10(PNumi + 2)* log(SbDi)，
其中，SD表示节点文本密度的标准差； NDi表示节点i的文本密度； PNumi 表示节点 i的 p标签数。
8.根据权利要求1所述的一种可扩展的新闻网站通用爬虫方法，其特征在于，所述默认解析规则包括：
使用scrapy框架获取网站某模块源码；
移除网页中的无用的部分；
提取剩余内容中所有a标签下href链接和标签文字；
过滤标签文字字数小于某一阈值的href链接；
去除长度不一致的链接。
9.根据权利要求8所述的一种可扩展的新闻网站通用爬虫方法，其特征在于，所述使用scrapy框架获取网站某模块源码包括：
使用Scrapy框架中提供的url指纹对爬取的网站url进行过滤，每次爬取前将该网站url转换为url指纹，在指纹文件中比对，若出现重复指纹，则跳过该页面。
10.一种可扩展的新闻网站爬虫系统，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述一种可扩展的新闻网站通用爬虫方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010617010.5A CN111723265A (zh) | 2020-07-01 | 2020-07-01 | 一种可扩展的新闻网站通用爬虫方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010617010.5A CN111723265A (zh) | 2020-07-01 | 2020-07-01 | 一种可扩展的新闻网站通用爬虫方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111723265A true CN111723265A (zh) | 2020-09-29 |
Family
ID=72570636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010617010.5A Pending CN111723265A (zh) | 2020-07-01 | 2020-07-01 | 一种可扩展的新闻网站通用爬虫方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723265A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486279A (zh) * | 2021-06-29 | 2021-10-08 | 平安信托有限责任公司 | 新闻自动生成方法、装置、设备及存储介质 |
| CN114491206A (zh) * | 2022-01-04 | 2022-05-13 | 电子科技大学 | 一种用于新闻博客类网站的通用低代码爬虫方法及系统 |
| CN115688740A (zh) * | 2022-10-27 | 2023-02-03 | 杭州袋鼠云科技有限公司 | 一种银行流水数据自动解析方法及系统 |
| CN117573959A (zh) * | 2023-10-17 | 2024-02-20 | 北京国科众安科技有限公司 | 一种基于网页xpath获取新闻正文的通用方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108388614A (zh) * | 2018-02-08 | 2018-08-10 | 金蝶软件（中国）有限公司 | 新闻数据爬取处理方法、装置、计算机设备和存储介质 |
| CN108875091A (zh) * | 2018-08-14 | 2018-11-23 | 杭州费尔斯通科技有限公司 | 一种统一管理的分布式网络爬虫系统 |
| CN110110182A (zh) * | 2019-05-15 | 2019-08-09 | 八戒科技服务有限公司 | 一种适用于批量爬取的数据采集方法及系统 |
| CN110532452A (zh) * | 2019-07-12 | 2019-12-03 | 西安交通大学 | 一种基于gru神经网络的新闻网站通用爬虫设计方法 |
-
2020
- 2020-07-01 CN CN202010617010.5A patent/CN111723265A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108388614A (zh) * | 2018-02-08 | 2018-08-10 | 金蝶软件（中国）有限公司 | 新闻数据爬取处理方法、装置、计算机设备和存储介质 |
| CN108875091A (zh) * | 2018-08-14 | 2018-11-23 | 杭州费尔斯通科技有限公司 | 一种统一管理的分布式网络爬虫系统 |
| CN110110182A (zh) * | 2019-05-15 | 2019-08-09 | 八戒科技服务有限公司 | 一种适用于批量爬取的数据采集方法及系统 |
| CN110532452A (zh) * | 2019-07-12 | 2019-12-03 | 西安交通大学 | 一种基于gru神经网络的新闻网站通用爬虫设计方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨胜刚 等: "公共信用信息采集技术及其应用研究", 中国金融出版社中国金融出版社, pages: 143 - 144 * |
| 洪鸿辉 等: "《基于文本及符号密度的网页正文提取方法》", vol. 27, no. 27, pages 133 - 137 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486279A (zh) * | 2021-06-29 | 2021-10-08 | 平安信托有限责任公司 | 新闻自动生成方法、装置、设备及存储介质 |
| CN114491206A (zh) * | 2022-01-04 | 2022-05-13 | 电子科技大学 | 一种用于新闻博客类网站的通用低代码爬虫方法及系统 |
| CN115688740A (zh) * | 2022-10-27 | 2023-02-03 | 杭州袋鼠云科技有限公司 | 一种银行流水数据自动解析方法及系统 |
| CN115688740B (zh) * | 2022-10-27 | 2023-09-15 | 杭州袋鼠云科技有限公司 | 一种银行流水数据自动解析方法及系统 |
| CN117573959A (zh) * | 2023-10-17 | 2024-02-20 | 北京国科众安科技有限公司 | 一种基于网页xpath获取新闻正文的通用方法 |
| CN117573959B (zh) * | 2023-10-17 | 2024-04-05 | 北京国科众安科技有限公司 | 一种基于网页xpath获取新闻正文的通用方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723265A (zh) | 一种可扩展的新闻网站通用爬虫方法及系统 | |
| CN109543126B (zh) | 基于块文字占比的网页正文信息提取方法 | |
| US8051372B1 (en) | System and method for automatically detecting and extracting semantically significant text from a HTML document associated with a plurality of HTML documents | |
| CN103577466B (zh) | 一种在浏览器中显示网页内容的方法和装置 | |
| US20110302486A1 (en) | Method and apparatus for obtaining the effective contents of web page | |
| CN108366058B (zh) | 防止广告运营商流量劫持的方法、装置、设备及存储介质 | |
| US20100082626A1 (en) | Method for filtering out identical or similar documents | |
| CN108090104B (zh) | 用于获取网页信息的方法和装置 | |
| CN103559235A (zh) | 一种在线社交网络恶意网页检测识别方法 | |
| US10146749B2 (en) | Tracking JavaScript actions | |
| CN105550359B (zh) | 一种基于垂直搜索的网页排序方法、装置及服务器 | |
| WO2022179128A1 (zh) | 基于爬虫的数据抓取方法、装置、计算机设备及存储介质 | |
| CN108874934B (zh) | 页面正文提取方法和装置 | |
| CN101895517B (zh) | 一种脚本语义提取方法和提取装置 | |
| CN114443928B (zh) | 一种网络文本数据爬虫方法与系统 | |
| US10042827B2 (en) | System and method for recognizing non-body text in webpage | |
| US20040261009A1 (en) | Electronic document significant updating detection apparatus, electronic document significant updating detection method; electronic document significant updating detection program, and recording medium on which electronic document significant updating detection program is recording | |
| CN113868568A (zh) | 一种网页关键字高亮方法、装置、设备及存储介质 | |
| CN106372232B (zh) | 基于人工智能的信息挖掘方法和装置 | |
| CN107145591B (zh) | 一种基于标题的网页有效元数据内容提取方法 | |
| CN113918794B (zh) | 企业网络舆情效益分析方法、系统、电子设备及存储介质 | |
| CN104778232B (zh) | 一种基于长查询的搜索结果的优化方法和装置 | |
| CN102768661B (zh) | 从多个网页中抽取对象和网页的方法和设备 | |
| CN115391711B (zh) | 网页正文信息提取方法、装置、设备及介质 | |
| CN115269923A (zh) | 网页正文区域及正文信息处理方法、系统、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200929 |