CN111966901B - 政策类网页正文提取方法、系统、设备及存储介质 - Google Patents

政策类网页正文提取方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN111966901B
CN111966901B CN202010825873.1A CN202010825873A CN111966901B CN 111966901 B CN111966901 B CN 111966901B CN 202010825873 A CN202010825873 A CN 202010825873A CN 111966901 B CN111966901 B CN 111966901B
Authority
CN
China
Prior art keywords
text
webpage
node
acquiring
policy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010825873.1A
Other languages
English (en)
Other versions
CN111966901A (zh
Inventor
李钊
卢凤
陈通
王瑞霜
胡传会
魏静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Ecloud Information Technology Co ltd
Original Assignee
Shandong Ecloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Ecloud Information Technology Co ltd filed Critical Shandong Ecloud Information Technology Co ltd
Priority to CN202010825873.1A priority Critical patent/CN111966901B/zh
Publication of CN111966901A publication Critical patent/CN111966901A/zh
Application granted granted Critical
Publication of CN111966901B publication Critical patent/CN111966901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986—Document structures and storage, e.g. HTML extensions

Abstract

本发明公开了政策类网页正文提取方法、系统、设备及存储介质，包括：获取政策网页HTML源代码；根据政策网页HTML源代码，获取网页正文所在的位置；根据网页正文所在的位置，获取正文所对应的HTML源代码，输出正文所对应的HTML源代码。过分析政策网页的页面组织结构规则，构建网页组织结构和网页正文位置的关系，获取网页正文内容。从而实现对政策类网页正文的快速、有效提取。本发明的实施使得政策类网页正文的提取实现了快速、高效获取，大大提高了工作效率，节省公司的人力成本，同时经验证，该发明也取得较高的准确率。

Description

政策类网页正文提取方法、系统、设备及存储介质
技术领域
本申请涉及网页正文提取技术领域，特别是涉及政策类网页正文提取方法、系统、设备及存储介质。
背景技术
本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。
如今有大量的通知、公告、政策都通过网页形式进行公布，现有网页内容解析系统主要关注新闻等文章类网页，大多通过HTML源码结构定位主体内容的方法。但是，政策网页具有不同的网页源码结构，且网页内容布局也和普通新闻类网页有较大差异。因此，现有网页内容解析方法无法准确定位政策网页正文位置，提取效果较差。
发明内容
为了解决现有技术的不足，本申请提供了政策类网页正文提取方法、系统、设备及存储介质；
第一方面，本申请提供了政策类网页正文提取方法；
政策类网页正文提取方法，包括：
获取政策网页HTML源代码；
根据政策网页HTML源代码，获取网页正文所在的位置；
根据网页正文所在的位置，获取正文所对应的HTML源代码，输出正文所对应的HTML源代码。
第二方面，本申请提供了政策类网页正文提取系统；
政策类网页正文提取系统，包括：
源代码获取模块，其被配置为：获取政策网页HTML源代码；
网页正文位置获取模块，其被配置为：根据政策网页HTML源代码，获取网页正文所在的位置；
输出模块，其被配置为：根据网页正文所在的位置，获取正文所对应的HTML源代码，输出正文所对应的HTML源代码。
第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。
第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
第五方面，本申请还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。
与现有技术相比，本申请的有益效果是：
通过分析政策网页的页面组织结构规则，构建网页组织结构和网页正文位置的关系，获取网页正文内容。从而实现对政策类网页正文的快速、有效提取。
本发明的实施使得政策类网页正文的提取实现了快速、高效获取，大大提高了工作效率，节省公司的人力成本，同时经验证，该发明也取得较高的准确率。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为第一个实施例的方法流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请本实施例中，“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请的描述中，“多个”是指两个或多于两个。
另外，为了便于清楚描述本申请实施例的技术方案，在本申请实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了政策类网页正文提取方法；
如图1所示，政策类网页正文提取方法，包括：
S101：获取政策网页HTML源代码；
S102：根据政策网页HTML源代码，获取网页正文所在的位置；
S103：根据网页正文所在的位置，获取正文所对应的HTML源代码，输出正文所对应的HTML源代码。
作为一个或多个实施例，所述S101：获取政策网页HTML源代码；所述政策网页HTML源代码，包括但不限于：正文、图片、附件下载链接等。
通过访问URL获取网页HTML源码，包含对网页URL进行转义，访问转义后的URL。
作为一个或多个实施例，所述S101的获取政策网页HTML源代码步骤之后，所述S102的根据政策网页HTML源代码，获取网页正文所在的位置步骤之前还包括：S101-2：政策网页HTML源代码清洗步骤。
进一步地，所述政策网页HTML源代码清洗步骤，包括：
S101-21：判断政策网页HTML源代码编码类型，并根据网页编码类型对获取到的HTML源码进行编码；
S101-22：通过调用lxml包的Cleaner类，构建HTML网页清洗规则类；
S101-23：定义Cleaner.clean_html()清洗方法，对包含在SCRIPT、JAVASCRIPT、STYLE标签内的代码进行删除；
S101-24：获取清洗后的完整正文HTML代码。
示例性的，所述政策网页HTML源代码编码类型，包括：UTF-8、GB2312、GBK等。HTML网页清洗规则，包括：SCRIPT清洗规则、样式清洗规则等。
作为一个或多个实施例，所述S102：根据政策网页HTML源代码，获取网页正文所在的位置；具体步骤包括：
根据政策网页HTML源码并自动构建页面组织结构；
根据页面组织结构匹配该结构各部分对应的正文内容，通过对各部分正文内容基于文本分布密度和文本长度，获取最长正文内容所在位置，即为网页正文所在的位置。
作为一个或多个实施例，所述S102：根据政策网页HTML源代码，获取网页正文所在的位置；详细步骤包括：
S1021：采用etree.ElementTree()分析政策类网页的页面组织结构，并将政策类网页的DOM TREE结构中<div>或<p>节点下的<a>、<strong>或<span>标签合并到<a>、<strong>或<span>的父节点，保持正文的完整性；
S1022：根据政策类网页的页面组织结构逐层获取各节点对应的正文内容；根据网页无效字符及有效正文长度，对正文内容进行过滤；将正文里非文字内容替换为空串，得到只包含文字的正文内容；
S1023：定义节点正文内容存储变量；
S1024：根据各节点对应的正文内容，获取正文长度，通过append方法对存储变量逐一追加获取到的正文长度；并根据追加的最大正文长度，获取网页组织结构中相同索引的DOMTREE元素信息，输出最大正文长度节点；
S1025：分别获取存储变量中的每个长度值和最大正文长度的差值，构建网页正文文本密度列表；根据网页正文文本密度列表，获取value大于设定阈值的索引index，取最小新索引值和最大索引值输出网页正文区间；
S1026：判断最大正文长度节点是否在网页正文所在区间内；
如果最大正文长度节点在网页正文区间内，则获取最大正文长度节点的父节点，判断父节点的位置信息与网页正文区间是否相同；如果最大正文长度节点不在网页正文区间内，则输出正文区间的节点；
如果父节点的位置信息与正文区间相同，输出最大正文长度节点的父节点；
如果父节点的位置信息与正文区间不同，获取最大正文长度节点的父节点的父节点；
判断正文区间的所有正文长度与最大正文长度节点的父节点的父节点的文本长度是否相同，如果相同输出最大正文长度节点的父节点的父节点，如果不同，则输出正文区间的节点；
S1027：根据得到的符合步骤S1026的节点的XPATH输出，获取网页正文所在位置。
示例性的，定义网页无效字符，包括网页页脚字符如：“网站标识码”、“公网安备”等字符。
应理解的，有效正文长度是指对当前节点下的text文本去除空格、tab、换行后的文本长度。
示例性的，将正文里非文字内容如空格、tab、换行等字符替换为空，得到只包含文字的正文内容。
作为一个或多个实施例，所述S103：根据网页正文所在的位置，获取正文所对应的HTML源代码，输出正文所对应的HTML源代码；具体步骤包括：
S1031：根据S101获取的HTML代码和S102获取的网页正文所在位置，获取正文对应的HTML代码；
S1032：对获取的网页正文HTML代码进行UTF-8编码；
S1033：将编码后的网页正文HTML代码输出并保存。
实施例二
本实施例提供了政策类网页正文提取系统；
政策类网页正文提取系统，包括：
源代码获取模块，其被配置为：获取政策网页HTML源代码；
网页正文位置获取模块，其被配置为：根据政策网页HTML源代码，获取网页正文所在的位置；
输出模块，其被配置为：根据网页正文所在的位置，获取正文所对应的HTML源代码，输出正文所对应的HTML源代码。
此处需要说明的是，上述源代码获取模块、网页正文位置获取模块和输出模块对应于实施例一中的步骤S101至S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.政策类网页正文提取方法，其特征是，包括：
获取政策网页HTML源代码；
根据政策网页HTML源代码，获取网页正文所在的位置；
根据网页正文所在的位置，获取正文所对应的HTML源代码，输出正文所对应的HTML源代码；
根据政策网页HTML源代码，获取网页正文所在的位置；详细步骤包括：
(1)：采用etree.ElementTree()分析政策类网页的页面组织结构，并将政策类网页的DOM TREE结构中<div>或<p>节点下的<a>、<strong>或<span>标签合并到<a>、<strong>或<span>的父节点，保持正文的完整性；
(2)：根据政策类网页的页面组织结构逐层获取各节点对应的正文内容；根据网页无效字符及有效正文长度，对正文内容进行过滤；将正文里非文字内容替换为空串，得到只包含文字的正文内容；
(3)：定义节点正文内容存储变量；
(4)：根据各节点对应的正文内容，获取正文长度，通过append方法对存储变量逐一追加获取到的正文长度；并根据追加的最大正文长度，获取网页组织结构中相同索引的DOMTREE元素信息，输出最大正文长度节点；
(5)：分别获取存储变量中的每个长度值和最大正文长度的差值，构建网页正文文本密度列表；根据网页正文文本密度列表，获取value大于设定阈值的索引index，取最小新索引值和最大索引值输出网页正文区间；
(6)：判断最大正文长度节点是否在网页正文所在区间内；
如果最大正文长度节点在网页正文区间内，则获取最大正文长度节点的父节点，判断父节点的位置信息与网页正文区间是否相同；如果最大正文长度节点不在网页正文区间内，则输出正文区间的节点；
如果父节点的位置信息与正文区间相同，输出最大正文长度节点的父节点；
如果父节点的位置信息与正文区间不同，获取最大正文长度节点的父节点的父节点；
判断正文区间的所有正文长度与最大正文长度节点的父节点的父节点的文本长度是否相同，如果相同输出最大正文长度节点的父节点的父节点，如果不同，则输出正文区间的节点；
(7)：根据得到的符合步骤(6)的节点的XPATH输出，获取网页正文所在位置。
2.如权利要求1所述的方法，其特征是，获取政策网页HTML源代码；所述政策网页HTML源代码，包括但不限于：正文、图片、附件下载链接。
3.如权利要求1所述的方法，其特征是，所述获取政策网页HTML源代码步骤之后，所述根据政策网页HTML源代码，获取网页正文所在的位置步骤之前还包括：政策网页HTML源代码清洗步骤。
4.如权利要求3所述的方法，其特征是，所述政策网页HTML源代码清洗步骤，包括：
判断政策网页HTML源代码编码类型，并根据网页编码类型对获取到的HTML源码进行编码；
通过调用lxml包的Cleaner类，构建HTML网页清洗规则类；
定义Cleaner.clean_html()清洗方法，对包含在SCRIPT、JAVASCRIPT、STYLE标签内的代码进行删除；
获取清洗后的完整正文HTML代码。
5.如权利要求1所述的方法，其特征是，根据政策网页HTML源代码，获取网页正文所在的位置；具体步骤包括：
根据政策网页HTML源码并自动构建页面组织结构；
根据页面组织结构匹配该结构各部分对应的正文内容，通过对各部分正文内容基于文本分布密度和文本长度，获取最长正文内容所在位置，即为网页正文所在的位置。
6.如权利要求1所述的方法，其特征是，根据网页正文所在的位置，获取正文所对应的HTML源代码，输出正文所对应的HTML源代码；具体步骤包括：
(a)：根据获取的HTML代码和获取的网页正文所在位置，获取正文对应的HTML代码；
(b)：对获取的网页正文HTML代码进行UTF-8编码；
(c)：将编码后的网页正文HTML代码输出并保存。
7.政策类网页正文提取系统，其特征是，包括：
源代码获取模块，其被配置为：获取政策网页HTML源代码；
根据政策网页HTML源代码，获取网页正文所在的位置；详细步骤包括：
(1)：采用etree.ElementTree()分析政策类网页的页面组织结构，并将政策类网页的DOM TREE结构中<div>或<p>节点下的<a>、<strong>或<span>标签合并到<a>、<strong>或<span>的父节点，保持正文的完整性；
(2)：根据政策类网页的页面组织结构逐层获取各节点对应的正文内容；根据网页无效字符及有效正文长度，对正文内容进行过滤；将正文里非文字内容替换为空串，得到只包含文字的正文内容；
(3)：定义节点正文内容存储变量；
(4)：根据各节点对应的正文内容，获取正文长度，通过append方法对存储变量逐一追加获取到的正文长度；并根据追加的最大正文长度，获取网页组织结构中相同索引的DOMTREE元素信息，输出最大正文长度节点；
(5)：分别获取存储变量中的每个长度值和最大正文长度的差值，构建网页正文文本密度列表；根据网页正文文本密度列表，获取value大于设定阈值的索引index，取最小新索引值和最大索引值输出网页正文区间；
(6)：判断最大正文长度节点是否在网页正文所在区间内；
如果最大正文长度节点在网页正文区间内，则获取最大正文长度节点的父节点，判断父节点的位置信息与网页正文区间是否相同；如果最大正文长度节点不在网页正文区间内，则输出正文区间的节点；
如果父节点的位置信息与正文区间相同，输出最大正文长度节点的父节点；
如果父节点的位置信息与正文区间不同，获取最大正文长度节点的父节点的父节点；
判断正文区间的所有正文长度与最大正文长度节点的父节点的父节点的文本长度是否相同，如果相同输出最大正文长度节点的父节点的父节点，如果不同，则输出正文区间的节点；
(7)：根据得到的符合步骤(6)的节点的XPATH输出，获取网页正文所在位置；
网页正文位置获取模块，其被配置为：根据政策网页HTML源代码，获取网页正文所在的位置；
输出模块，其被配置为：根据网页正文所在的位置，获取正文所对应的HTML源代码，输出正文所对应的HTML源代码。
8.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。
CN202010825873.1A 2020-08-17 2020-08-17 政策类网页正文提取方法、系统、设备及存储介质 Active CN111966901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010825873.1A CN111966901B (zh) 2020-08-17 2020-08-17 政策类网页正文提取方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010825873.1A CN111966901B (zh) 2020-08-17 2020-08-17 政策类网页正文提取方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111966901A CN111966901A (zh) 2020-11-20
CN111966901B true CN111966901B (zh) 2021-04-20

Family

ID=73389552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010825873.1A Active CN111966901B (zh) 2020-08-17 2020-08-17 政策类网页正文提取方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111966901B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115203604A (zh) * 2022-09-15 2022-10-18 成都数之联科技股份有限公司 一种网页正文提取方法及系统及装置及介质
CN117574009A (zh) * 2023-10-31 2024-02-20 灵犀科技有限公司 结构化政策数据生成方法、装置、电子设备和可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136358A (zh) * 2013-03-07 2013-06-05 宁波成电泰克电子信息技术发展有限公司 一种自动抽取论坛数据的方法
CN103714176A (zh) * 2014-01-08 2014-04-09 同济大学 基于最大文本密度的网页正文抽取方法
CN103853760A (zh) * 2012-12-03 2014-06-11 中国移动通信集团公司 一种网页正文内容提取方法和装置
CN108334508A (zh) * 2017-01-19 2018-07-27 阿里巴巴集团控股有限公司 网页信息的提取方法和装置
CN108763591A (zh) * 2018-06-21 2018-11-06 湖南星汉数智科技有限公司 一种网页正文提取方法、装置、计算机装置及计算机可读存储介质
CN109543126A (zh) * 2018-11-19 2019-03-29 四川长虹电器股份有限公司 基于块文字占比的网页正文信息提取方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270206A (zh) * 2010-06-03 2011-12-07 北京迅捷英翔网络科技有限公司 一种有效网页内容的抓取方法及装置
CN103853770B (zh) * 2012-12-03 2018-08-14 北大方正集团有限公司 一种抽取论坛网页中帖子内容的方法及系统
CN104268148B (zh) * 2014-08-27 2018-02-06 中国科学院计算技术研究所 一种基于时间串的论坛页面信息自动抽取方法及系统
US9912768B1 (en) * 2015-04-30 2018-03-06 Nativo, Inc. Measuring content consumption
US9386037B1 (en) * 2015-09-16 2016-07-05 RiskIQ Inc. Using hash signatures of DOM objects to identify website similarity
CN107153647B (zh) * 2016-03-02 2021-12-07 北京字节跳动网络技术有限公司 进行数据压缩的方法、装置、系统和计算机程序产品
CN107894974A (zh) * 2017-11-02 2018-04-10 华南农业大学 基于标签路径和文本标点比特征融合的网页正文提取方法
CN110837614A (zh) * 2019-11-05 2020-02-25 上海嘉道信息技术有限公司 一种高效地生成网页信息抽取规则的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853760A (zh) * 2012-12-03 2014-06-11 中国移动通信集团公司 一种网页正文内容提取方法和装置
CN103136358A (zh) * 2013-03-07 2013-06-05 宁波成电泰克电子信息技术发展有限公司 一种自动抽取论坛数据的方法
CN103714176A (zh) * 2014-01-08 2014-04-09 同济大学 基于最大文本密度的网页正文抽取方法
CN108334508A (zh) * 2017-01-19 2018-07-27 阿里巴巴集团控股有限公司 网页信息的提取方法和装置
CN108763591A (zh) * 2018-06-21 2018-11-06 湖南星汉数智科技有限公司 一种网页正文提取方法、装置、计算机装置及计算机可读存储介质
CN109543126A (zh) * 2018-11-19 2019-03-29 四川长虹电器股份有限公司 基于块文字占比的网页正文信息提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A novel approach for content extraction from web pages;Aanshi Bhardwaj 等;《2014 Recent Advances in Engineering and Computational Sciences (RAECS)》;20140308;1-4 *
一种基于标点密度的网页正文提取方法;杨钦 等;《智能计算机与应用》;20150831;第5卷(第4期);42-44 *
基于节点属性与正文内容的海量Web信息抽取方法;王海艳 等;《通信学报》;20161031;第37卷(第10期);9-17 *

Also Published As

Publication number Publication date
CN111966901A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111966901B (zh) 政策类网页正文提取方法、系统、设备及存储介质
US10620945B2 (en) API specification generation
CN110390038B (zh) 基于dom树的页面分块方法、装置、设备及存储介质
CN109829096B (zh) 一种数据采集方法、装置、电子设备及存储介质
CN111045678A (zh) 页面执行动态代码的方法、装置、设备及存储介质
CN111737289B (zh) Sql注入攻击的检测方法、装置
US20210064453A1 (en) Automated application programming interface (api) specification construction
CN103714116A (zh) 网页信息提取方法及设备
CN112328732A (zh) 敏感词检测、敏感词树构建方法及装置
CN109189395B (zh) 一种数据解析方法及装置
CN103034622A (zh) 富文本内容的处理方法和服务器
CN108710670A (zh) 一种日志分析方法、装置、电子设备及可读存储介质
JP2020126641A (ja) Ａｐｉマッシュアップ探査及びリコメンデーション
CN103034700A (zh) 富文本内容的处理方法及系统
CN110851136A (zh) 数据获取方法、装置、电子设备及存储介质
CN112069305B (zh) 数据筛选方法、装置及电子设备
CN110309364B (zh) 一种信息抽取方法及装置
CN106897287B (zh) 网页发布时间抽取方法和用于网页发布时间抽取的装置
CN111966930B (zh) 基于XPath序列的网页列表解析方法及系统
CN111767161A (zh) 远程调用深度识别方法、装置、计算机设备及可读存储介质
CN105183730A (zh) 网页信息的处理方法和装置
JP6763433B2 (ja) 情報収集システム、情報収集方法、及び、プログラム
CN105426500A (zh) 网页脚本动态生成的链接的提取方法及装置
CN114662109A (zh) 一种Webshell检测方法及装置
CN109067726B (zh) 建站系统识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant