CN111639250B - 企业描述信息获取方法、装置、电子设备及存储介质 - Google Patents

Abstract

一种企业描述信息获取方法，包括：确定待提取企业网页；根据预设的多个标签，提取所述待提取企业网页中的多个段落文本；根据多个所述段落文本的文本长度，对多个所述段落文本进行排序，获得排序文本；根据预先训练好的语言模型，从所述排序文本中获取企业描述信息，其中，所述语言模型用于输出所述排序文本为企业描述信息的概率。本发明还提供一种企业描述信息获取装置、电子设备及存储介质。本发明能提高企业描述信息获取的有效性。

Description

企业描述信息获取方法、装置、电子设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种企业描述信息获取方法、装置、电子设备及存储介质。

背景技术

目前，为了确定与业务匹配的企业，可以通过爬虫技术获取各个企业的官网公开的企业描述信息，但在实践中发现，爬虫技术能通过简单的正则表达式来过滤一部分不需要的信息，但剩下的信息还是存在很多没有用处或者冗余的信息，导致获取到的企业描述信息的有效性不高。

发明内容

鉴于以上内容，有必要提供一种企业描述信息获取方法、装置、电子设备及存储介质，能够提高企业描述信息获取的有效性。

本发明的第一方面提供一种企业描述信息获取方法，所述方法包括：

确定待提取企业网页；

根据预设的多个标签，提取所述待提取企业网页中的多个段落文本；

根据多个所述段落文本的文本长度，对多个所述段落文本进行排序，获得排序文本；

根据预先训练好的语言模型，从所述排序文本中获取企业描述信息，其中，所述语言模型用于输出所述排序文本为企业描述信息的概率。

在一种可能的实现方式中，所述确定待提取企业网页之前，所述企业描述信息获取方法还包括：

获取预设企业网页；

提取所述预设企业网页的主体文本以及描述文本，其中，所述主体文本为所述预设企业网页中的主体标签中的文本内容，所述描述文本为所述预设企业网页中的元数据标签中的网页描述部分的文本内容；

获取所述主体文本的标注信息，其中，所述标注信息用于标注所述主体文本为企业描述信息或用于标注所述主体文本不为企业描述信息；

根据预设规则，对所述描述文本进行过滤，获得过滤文本；

将所述主体文本以及所述标注信息确定为第一样本；

将所述过滤文本确定为第二样本；

根据预设的权重，使用所述第一样本以及所述第二样本，对预设的预训练模型进行再训练，获得训练好的语言模型，其中，所述权重用于调整损失函数的损失值，所述第一样本对应的权重大于所述第二样本对应的权重。

在一种可能的实现方式中，所述根据预设规则，对所述描述文本进行过滤，获得过滤文本包括：

针对每个所述描述文本，判断所述描述文本的长度是否在预设长度阈值范围内；

若所述描述文本的长度在预设长度阈值范围内，判断所述描述文本的语义是否完整；

若所述描述文本的语义完整，确定所述描述文本为过滤文本。

在一种可能的实现方式中，所述排序文本按照文本长度从长到短的排列顺序进行排序，所述根据预先训练好的语言模型，从所述排序文本中获取企业描述信息包括：

从所有所述排序文本中，按照所述排列顺序，依次将排序文本输入至所述语言模型中，获得所述排序文本为企业描述信息的概率，并在所述概率大于预设概率阈值时，确定所述排序文本为目标文本；

实时统计所述目标文本的数量；

判断所述目标文本的数量是否大于第一预设数量阈值；

若所述目标文本的数量大于第一预设数量阈值，输出为企业描述信息的概率最大的目标文本作为企业描述信息。

在一种可能的实现方式中，所述企业描述信息获取方法还包括：

若所述目标文本的数量大于第一预设数量阈值，判断输入至所述语言模型的排序文本是否为所有所述排序文本；

若输入至所述语言模型的排序文本不为所有所述排序文本，停止将所有所述排序文本中除了所述输入至所述语言模型的排序文本之外的剩余排序文本输入值所述语言模型。

在一种可能的实现方式中，所述多个标签包括页面描述标签、段落标签、行内标签以及区块标签，其中，所述页面描述标签为类名为网页描述的元数据标签，所述段落标签用于定义段落，所述行内标签用于将文本的一部分或者文档的一部分独立出来，所述区块标签用于定义网页文档中的一个分隔区块或者一个区域部分。

在一种可能的实现方式中，所述根据预设的多个标签，提取所述待提取企业网页中的多个段落文本包括：

从所述待提取企业网页中，获取页面描述标签对应的段落文本、段落标签对应的段落文本以及行内标签对应的段落文本；

判断所有段落文本的总数量是否大于或等于第二预设数量阈值；

若所有段落文本的总数量小于第二预设数量阈值，从所述待提取企业网页中，获取区块标签对应的段落文本。

本发明的第二方面提供一种企业描述信息获取装置，所述企业描述信息获取装置包括：

确定模块，用于确定待提取企业网页；

提取模块，用于根据预设的多个标签，提取所述待提取企业网页中的多个段落文本；

排序模块，用于根据多个所述段落文本的文本长度，对多个所述段落文本进行排序，获得排序文本；

获取模块，用于根据预先训练好的语言模型，从所述排序文本中获取企业描述信息，其中，所述语言模型用于输出所述排序文本为企业描述信息的概率。

本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的企业描述信息获取方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的企业描述信息获取方法。

由以上技术方案，本发明中，可以通过预设的多个标签，提取待提取企业网页中的段落文本，不需要提取所述企业网页中的所有段落文本，提高信息获取效率，将提取出来的段落文本进行排序再使用语言模型获取企业描述信息，能够提高企业描述信息获取的有效性，且经过排序，可以优先对长度较长的段落文本进行处理，由于长度较长的段落文本的描述内容较详细，可以较快速获得详细的企业描述信息。

附图说明

图1是本发明公开的一种企业描述信息获取方法的较佳实施例的流程图。

图2是本发明公开的一种企业描述信息获取装置的较佳实施例的功能模块图。

图3是本发明实现企业描述信息获取方法的较佳实施例的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

本发明实施例的企业描述信息获取方法应用在电子设备中，也可以应用在电子设备和通过网络与所述电子设备进行连接的服务器所构成的硬件环境中，由服务器和电子设备共同执行。网络包括但不限于：广域网、城域网或局域网。

其中，服务器可以是指能对网络中其它设备(如电子设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol，简称FTP)服务，也可以叫服务器。从狭义范围上讲，服务器专指某些高性能计算机，能通过网络，对外提供服务，其相对于普通的个人电脑来说，稳定性、安全性、性能等方面都要求更高，因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。

所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络设备、多个网络设备组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络设备构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理PDA等。

请参见图1，图1是本发明公开的一种企业描述信息获取方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。其中，所述企业描述信息获取方法的执行主体可以为电子设备。

S11、确定待提取企业网页。

其中，所述待提取企业网页可以是某个企业的官网，企业的官网会有相关的企业描述信息。

作为一种可选的实施方式，所述步骤S11之前，所述企业描述信息获取方法还包括：

获取预设企业网页；

提取所述预设企业网页的主体文本以及描述文本，其中，所述主体文本为所述预设企业网页中的主体标签中的文本内容，所述描述文本为所述预设企业网页中的元数据标签中的网页描述部分的文本内容；

获取所述主体文本的标注信息，其中，所述标注信息用于标注所述主体文本为企业描述信息或用于标注所述主体文本不为企业描述信息；

根据预设规则，对所述描述文本进行过滤，获得过滤文本；

将所述主体文本以及所述标注信息确定为第一样本；

将所述过滤文本确定为第二样本；

根据预设的权重，使用所述第一样本以及所述第二样本，对预设的预训练模型进行再训练，获得训练好的语言模型，其中，所述权重用于调整损失函数的损失值，所述第一样本对应的权重大于所述第二样本对应的权重。

其中，所述预训练模型可以是已经经过大量数据进行训练，由研究人员分享出来供其他人使用，对所述预训练模型进行参数的调整可以快速获得我们想要的模型，所述预训练模型可以是multilingual BERT模型，是一个开源的用于训练语言模型的预训练模型。

在该可选的实施方式中，可以预先搜集多个企业官网，通过爬虫技术，提取这些企业官网的<body>标签(所述主体标签)中的所有文本，并可以按照段落分开，获得多个主体文本，然后可以通过人工对所述多个主体文本进行标注，使用不同的标记标记含有企业描述信息的主体文本和不含有企业描述信息的主体文本(比如将含有企业描述信息的主体文本标记为“1”，将不含有企业描述信息的主体文本标记为“0”)，形成第一样本。提取这些企业官网的<head>标签中<meta class＝“description”>标签的描述文本(<meta>标签为元数据标签,<meta class＝“description”>标签内的文本内容为网页描述部分的内容)，因为<head>标签中<meta class＝“description”>中的文本内容就是对网站进行相关描述的内容，可以认为<head>标签中<meta class＝“description”>标签的描述文本包含有企业描述信息，不需要进行人工标注，提高样本数据处理效率，但仍需要根据预设的规则(比如语义完整、字数)进行过滤，确保所述描述文本包含有企业描述信息。将所述描述文本确定为第二样本。在训练的过程中，可以根据第一样本对应的权重以及第二样本对应的权重来调整损失函数的损失值，比如第一样本对应的权重为3，第二样本对应的权重为2，则可以将第一样本对应的损失值乘3，将第二样本对应的损失值乘2，这样可以进一步提高语言模型的训练速度。

具体的，所述根据预设规则，对所述描述文本进行过滤，获得过滤文本包括：

针对每个所述描述文本，判断所述描述文本的长度是否在预设长度阈值范围内；

若所述描述文本的长度在预设长度阈值范围内，判断所述描述文本的语义是否完整；

若所述描述文本的语义完整，确定所述描述文本为过滤文本。

在该可选的实施方式中，可以针对每个所述描述文本，判断所述描述文本的长度是否在预设长度阈值范围内(所述长度阈值范围可以是字数5到字数15之间)；若所述描述文本的长度小于字数5，认为所述描述文本中没有企业描述信息，若所述描述文本的长度大于15，则不符合后续的模型使用要求。若所述描述文本的长度在预设长度阈值范围内，判断所述描述文本的语义是否完整；若所述描述文本的语义完整，确定所述描述文本为过滤文本。其中，可以通过循环神经网络模型来确定所述描述文本的语义是否完整。

S12、根据预设的多个标签，提取所述待提取企业网页中的多个段落文本。

其中，所述多个标签包括页面描述标签(<meta class＝“description”>)、段落标签(<p>)、行内标签(<span>)以及区块标签(<div>)，其中，所述页面描述标签为类名为网页描述的元数据标签，所述段落标签用于定义段落，所述行内标签用于将文本的一部分或者文档的一部分独立出来，所述区块标签用于定义网页文档中的一个分隔区块或者一个区域部分。

具体的，所述根据预设的多个标签，提取所述待提取企业网页中的多个段落文本包括：

从所述待提取企业网页中，获取页面描述标签对应的段落文本、段落标签对应的段落文本以及行内标签对应的段落文本；

判断所有段落文本的总数量是否大于或等于第二预设数量阈值；

若所有段落文本的总数量小于第二预设数量阈值，从所述待提取企业网页中，获取区块标签对应的段落文本。

在该可选的实施方式中，可以优先从所述待提取企业网页中，获取页面描述标签对应的段落文本、段落标签对应的段落文本以及行内标签对应的段落文本，因为页面描述标签对应的段落文本、段落标签对应的段落文本以及行内标签对应的段落文本有很大的可能包含有企业描述信息，而且段落文本不多，若能从这些段落文本中获取企业描述信息，可以减少后续处理的数据量，提高效率，且能够减少出现没用的信息或冗余信息的情况。但是，如果这些段落文本的总数量小于第二预设数量阈值(比如10)，为了确保能够获取企业描述信息，还需要从所述待提取企业网页中，获取区块标签对应的段落文本。

S13、根据多个所述段落文本的文本长度，对多个所述段落文本进行排序，获得排序文本。

本发明实施例中，可以根据所述段落文本的文本长度，将所述段落文本按照文本长度从长到短的排列顺序进行排序，获得排序文本。

S14、根据预先训练好的语言模型，从所述排序文本中获取企业描述信息，其中，所述语言模型用于输出所述排序文本为企业描述信息的概率。

具体的，所述排序文本按照文本长度从长到短的排列顺序进行排序，所述根据预先训练好的语言模型，从所述排序文本中获取企业描述信息包括：

从所有所述排序文本中，按照所述排列顺序，依次将排序文本输入至所述语言模型中，获得所述排序文本为企业描述信息的概率，并在所述概率大于预设概率阈值时，确定所述排序文本为目标文本；

实时统计所述目标文本的数量；

判断所述目标文本的数量是否大于第一预设数量阈值；

若所述目标文本的数量大于第一预设数量阈值，输出为企业描述信息的概率最大的目标文本作为企业描述信息。

在该可选的实施方式中，可以从所有所述排序文本中，按照所述排列顺序，依次将所述排序文本输入至所述语言模型中，首先，将文本长度最长的第一排序文本输入至所述语言模型中，获得所述第一排序文本为企业描述信息的概率；若所述第一排序文本为企业描述信息的概率大于预设概率阈值(比如0.6)，确定所述第一排序文本为目标文本；每次获得新的目标文本时，需要判断所有所述目标文本的数量是否大于第一预设数量阈值(比如3)；当所有所述目标文本的数量大于第一预设数量阈值时，从所有所述目标文本中，将为企业描述信息的概率最大的目标文本确定为企业描述信息。其余的目标文本可以存储起来，可以用作后续的错误排查或分析等用途。可选的，若所有所述目标文本的数量小于或等于第一预设数量阈值时，需要继续将所述排序文本输入至所述语言模型中，按照所述排列顺序，将与所述第一排序文本相邻的第二排序文本输入至所述语言模型中，获得所述第二排序文本为企业描述信息的概率；若所述第二排序文本为企业描述信息的概率大于预设概率阈值，确定所述第二排序文本为目标文本；或者，若所述第二排序文本为企业描述信息的概率小于或等于预设概率阈值，确定所述第二排序文本不为目标文本。

作为一种可选的实施方式，所述企业描述信息获取方法还包括：

若所述目标文本的数量大于第一预设数量阈值，判断输入至所述语言模型的排序文本是否为所有所述排序文本；

若输入至所述语言模型的排序文本不为所有所述排序文本，停止将所有所述排序文本中除了所述输入至所述语言模型的排序文本之外的剩余排序文本输入值所述语言模型。

在该可选的实施方式中，每次获得新的目标文本时，需要判断所有所述目标文本的数量是否大于第一预设数量阈值(比如3)；当所有所述目标文本的数量大于第一预设数量阈值时，停止将所述排序文本输入至所述语言模型中。

在图1所描述的方法流程中，可以通过预设的多个标签，提取待提取企业网页中的段落文本，不需要提取所述企业网页中的所有段落文本，提高信息获取效率，将提取出来的段落文本进行排序再使用语言模型获取企业描述信息，能够提高企业描述信息获取的有效性，且经过排序，可以优先对长度较长的段落文本进行处理，由于长度较长的段落文本的描述内容较详细，可以较快速获得详细的企业描述信息。

请参见图2，图2是本发明公开的一种企业描述信息获取装置的较佳实施例的功能模块图。

在一些实施例中，所述企业描述信息获取装置运行于电子设备中。所述可以包括多个由程序代码段所组成的功能模块。所述企业描述信息获取装置中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的企业描述信息获取方法中的部分或全部步骤。

本实施例中，所述企业描述信息获取装置根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：确定模块201、提取模块202、排序模块203及获取模块204。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。

确定模块201，用于确定待提取企业网页。

其中，所述待提取企业网页可以是某个企业的官网，企业的官网会有相关的企业描述信息。

提取模块202，用于根据预设的多个标签，提取所述待提取企业网页中的多个段落文本。

其中，所述多个标签包括页面描述标签(<meta class＝“description”>)、段落标签(<p>)、行内标签(<span>)以及区块标签(<div>)，其中，所述页面描述标签为类名为网页描述的元数据标签，所述段落标签用于定义段落，所述行内标签用于将文本的一部分或者文档的一部分独立出来，所述区块标签用于定义网页文档中的一个分隔区块或者一个区域部分。

排序模块203，用于根据多个所述段落文本的文本长度，对多个所述段落文本进行排序，获得排序文本。

本发明实施例中，可以根据所述段落文本的文本长度，将所述段落文本按照文本长度从长到短的排列顺序进行排序，获得排序文本。

获取模块204，用于根据预先训练好的语言模型，从所述排序文本中获取企业描述信息，其中，所述语言模型用于输出所述排序文本为企业描述信息的概率。

作为一种可选的实施方式，所述获取模块204，还用于所述确定模块201确定待提取企业网页之前，获取预设企业网页；

所述提取模块202，还用于提取所述预设企业网页的主体文本以及描述文本，其中，所述主体文本为所述预设企业网页中的主体标签中的文本内容，所述描述文本为所述预设企业网页中的元数据标签中的网页描述部分的文本内容；

所述获取模块204，还用于获取所述主体文本的标注信息，其中，所述标注信息用于标注所述主体文本为企业描述信息或用于标注所述主体文本不为企业描述信息；

所述企业描述信息获取装置还可以包括：

过滤模块，用于根据预设规则，对所述描述文本进行过滤，获得过滤文本；

所述确定模块201，还用于将所述主体文本以及所述标注信息确定为第一样本；

所述确定模块201，还用于将所述过滤文本确定为第二样本；

训练模块，用于根据预设的权重，使用所述第一样本以及所述第二样本，对预设的预训练模型进行再训练，获得训练好的语言模型，其中，所述权重用于调整损失函数的损失值，所述第一样本对应的权重大于所述第二样本对应的权重。

其中，所述预训练模型可以是已经经过大量数据进行训练，由研究人员分享出来供其他人使用，对所述预训练模型进行参数的调整可以快速获得我们想要的模型，所述预训练模型可以是multilingual BERT模型，是一个开源的用于训练语言模型的预训练模型。

在该可选的实施方式中，可以预先搜集多个企业官网，通过爬虫技术，提取这些企业官网的<body>标签(所述主体标签)中的所有文本，并可以按照段落分开，获得多个主体文本，然后可以通过人工对所述多个主体文本进行标注，使用不同的标记标记含有企业描述信息的主体文本和不含有企业描述信息的主体文本(比如将含有企业描述信息的主体文本标记为“1”，将不含有企业描述信息的主体文本标记为“0”)，形成第一样本。提取这些企业官网的<head>标签中<meta class＝“description”>标签的描述文本(<meta>标签为元数据标签,<meta class＝“description”>标签内的文本内容为网页描述部分的内容)，因为<head>标签中<meta class＝“description”>中的文本内容就是对网站进行相关描述的内容，可以认为<head>标签中<meta class＝“description”>标签的描述文本包含有企业描述信息，不需要进行人工标注，提高样本数据处理效率，但仍需要根据预设的规则(比如语义完整、字数)进行过滤，确保所述描述文本包含有企业描述信息。将所述描述文本确定为第二样本。在训练的过程中，可以根据第一样本对应的权重以及第二样本对应的权重来调整损失函数的损失值，比如第一样本对应的权重为3，第二样本对应的权重为2，则可以将第一样本对应的损失值乘3，将第二样本对应的损失值乘2，这样可以进一步提高语言模型的训练速度。

作为一种可选的实施方式，所述过滤模块根据预设规则，对所述描述文本进行过滤，获得过滤文本的方式具体为：

针对每个所述描述文本，判断所述描述文本的长度是否在预设长度阈值范围内；

若所述描述文本的长度在预设长度阈值范围内，判断所述描述文本的语义是否完整；

若所述描述文本的语义完整，确定所述描述文本为过滤文本。

在该可选的实施方式中，可以针对每个所述描述文本，判断所述描述文本的长度是否在预设长度阈值范围内(所述长度阈值范围可以是字数5到字数15之间)；若所述描述文本的长度小于字数5，认为所述描述文本中没有企业描述信息，若所述描述文本的长度大于15，则不符合后续的模型使用要求。若所述描述文本的长度在预设长度阈值范围内，判断所述描述文本的语义是否完整；若所述描述文本的语义完整，确定所述描述文本为过滤文本。其中，可以通过循环神经网络模型来确定所述描述文本的语义是否完整。

作为一种可选的实施方式，所述排序文本按照文本长度从长到短的排列顺序进行排序，所述获取模块204根据预先训练好的语言模型，从所述排序文本中获取企业描述信息的方式具体为：

从所有所述排序文本中，按照所述排列顺序，依次将排序文本输入至所述语言模型中，获得所述排序文本为企业描述信息的概率，并在所述概率大于预设概率阈值时，确定所述排序文本为目标文本；

实时统计所述目标文本的数量；

判断所述目标文本的数量是否大于第一预设数量阈值；

若所述目标文本的数量大于第一预设数量阈值，输出为企业描述信息的概率最大的目标文本作为企业描述信息。

在该可选的实施方式中，可以从所有所述排序文本中，按照所述排列顺序，依次将所述排序文本输入至所述语言模型中，首先，将文本长度最长的第一排序文本输入至所述语言模型中，获得所述第一排序文本为企业描述信息的概率；若所述第一排序文本为企业描述信息的概率大于预设概率阈值(比如0.6)，确定所述第一排序文本为目标文本；每次获得新的目标文本时，需要判断所有所述目标文本的数量是否大于第一预设数量阈值(比如3)；当所有所述目标文本的数量大于第一预设数量阈值时，从所有所述目标文本中，将为企业描述信息的概率最大的目标文本确定为企业描述信息。其余的目标文本可以存储起来，可以用作后续的错误排查或分析等用途。可选的，若所有所述目标文本的数量小于或等于第一预设数量阈值时，需要继续将所述排序文本输入至所述语言模型中，按照所述排列顺序，将与所述第一排序文本相邻的第二排序文本输入至所述语言模型中，获得所述第二排序文本为企业描述信息的概率；若所述第二排序文本为企业描述信息的概率大于预设概率阈值，确定所述第二排序文本为目标文本；或者，若所述第二排序文本为企业描述信息的概率小于或等于预设概率阈值，确定所述第二排序文本不为目标文本。

作为一种可选的实施方式，所述企业描述信息获取装置还可以包括：

判断模块，用于若所述目标文本的数量大于第一预设数量阈值，判断输入至所述语言模型的排序文本是否为所有所述排序文本；

停止模块，用于若输入至所述语言模型的排序文本不为所有所述排序文本，停止将所有所述排序文本中除了所述输入至所述语言模型的排序文本之外的剩余排序文本输入值所述语言模型。

在该可选的实施方式中，每次获得新的目标文本时，需要判断所有所述目标文本的数量是否大于第一预设数量阈值(比如3)；当所有所述目标文本的数量大于第一预设数量阈值时，停止将所述排序文本输入至所述语言模型中。

作为一种可选的实施方式，所述提取模块202根据预设的多个标签，提取所述待提取企业网页中的多个段落文本的方式具体为：

从所述待提取企业网页中，获取页面描述标签对应的段落文本、段落标签对应的段落文本以及行内标签对应的段落文本；

判断所有段落文本的总数量是否大于或等于第二预设数量阈值；

若所有段落文本的总数量小于第二预设数量阈值，从所述待提取企业网页中，获取区块标签对应的段落文本。

在该可选的实施方式中，可以优先从所述待提取企业网页中，获取页面描述标签对应的段落文本、段落标签对应的段落文本以及行内标签对应的段落文本，因为页面描述标签对应的段落文本、段落标签对应的段落文本以及行内标签对应的段落文本有很大的可能包含有企业描述信息，而且段落文本不多，若能从这些段落文本中获取企业描述信息，可以减少后续处理的数据量，提高效率，且能够减少出现没用的信息或冗余信息的情况。但是，如果这些段落文本的总数量小于第二预设数量阈值(比如10)，为了确保能够获取企业描述信息，还需要从所述待提取企业网页中，获取区块标签对应的段落文本。

在图2所描述的企业描述信息获取装置中，可以通过预设的多个标签，提取待提取企业网页中的段落文本，不需要提取所述企业网页中的所有段落文本，提高信息获取效率，将提取出来的段落文本进行排序再使用语言模型获取企业描述信息，能够提高企业描述信息获取的有效性，且经过排序，可以优先对长度较长的段落文本进行处理，由于长度较长的段落文本的描述内容较详细，可以较快速获得详细的企业描述信息。

如图3所示，图3是本发明实现企业描述信息获取方法的较佳实施例的电子设备的结构示意图。所述电子设备3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。

本领域技术人员可以理解，图3所示的示意图仅仅是所述电子设备3的示例，并不构成对所述电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备3还可以包括输入输出设备、网络接入设备等。

所述电子设备3还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(InternetProtocol Television，IPTV)、智能式穿戴式设备等。所述电子设备3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述电子设备3的控制中心，利用各种接口和线路连接整个电子设备3的各个部分。

所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备3的使用所创建的数据等。此外，存储器31可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件等。

结合图1，所述电子设备3中的所述存储器31存储多个指令以实现一种企业描述信息获取方法，所述处理器32可执行所述多个指令从而实现：

确定待提取企业网页；

根据预设的多个标签，提取所述待提取企业网页中的多个段落文本；

根据多个所述段落文本的文本长度，对多个所述段落文本进行排序，获得排序文本；

根据预先训练好的语言模型，从所述排序文本中获取企业描述信息，其中，所述语言模型用于输出所述排序文本为企业描述信息的概率。

作为一种可选的实施方式，所述确定待提取企业网页之前，所述处理器32可执行所述多个指令从而实现：

获取预设企业网页；

提取所述预设企业网页的主体文本以及描述文本，其中，所述主体文本为所述预设企业网页中的主体标签中的文本内容，所述描述文本为所述预设企业网页中的元数据标签中的网页描述部分的文本内容；

获取所述主体文本的标注信息，其中，所述标注信息用于标注所述主体文本为企业描述信息或用于标注所述主体文本不为企业描述信息；

根据预设规则，对所述描述文本进行过滤，获得过滤文本；

将所述主体文本以及所述标注信息确定为第一样本；

将所述过滤文本确定为第二样本；

根据预设的权重，使用所述第一样本以及所述第二样本，对预设的预训练模型进行再训练，获得训练好的语言模型，其中，所述权重用于调整损失函数的损失值，所述第一样本对应的权重大于所述第二样本对应的权重。

作为一种可选的实施方式，所述根据预设规则，对所述描述文本进行过滤，获得过滤文本包括：

针对每个所述描述文本，判断所述描述文本的长度是否在预设长度阈值范围内；

若所述描述文本的长度在预设长度阈值范围内，判断所述描述文本的语义是否完整；

若所述描述文本的语义完整，确定所述描述文本为过滤文本。

作为一种可选的实施方式，所述排序文本按照文本长度从长到短的排列顺序进行排序，所述根据预先训练好的语言模型，从所述排序文本中获取企业描述信息包括：

从所有所述排序文本中，按照所述排列顺序，依次将排序文本输入至所述语言模型中，获得所述排序文本为企业描述信息的概率，并在所述概率大于预设概率阈值时，确定所述排序文本为目标文本；

实时统计所述目标文本的数量；

判断所述目标文本的数量是否大于第一预设数量阈值；

若所述目标文本的数量大于第一预设数量阈值，输出为企业描述信息的概率最大的目标文本作为企业描述信息。

作为一种可选的实施方式，所述处理器32可执行所述多个指令从而实现：

若所述目标文本的数量大于第一预设数量阈值，判断输入至所述语言模型的排序文本是否为所有所述排序文本；

若输入至所述语言模型的排序文本不为所有所述排序文本，停止将所有所述排序文本中除了所述输入至所述语言模型的排序文本之外的剩余排序文本输入值所述语言模型。

作为一种可选的实施方式，所述多个标签包括页面描述标签、段落标签、行内标签以及区块标签，其中，所述页面描述标签为类名为网页描述的元数据标签，所述段落标签用于定义段落，所述行内标签用于将文本的一部分或者文档的一部分独立出来，所述区块标签用于定义网页文档中的一个分隔区块或者一个区域部分。

作为一种可选的实施方式，所述根据预设的多个标签，提取所述待提取企业网页中的多个段落文本包括：

从所述待提取企业网页中，获取页面描述标签对应的段落文本、段落标签对应的段落文本以及行内标签对应的段落文本；

判断所有段落文本的总数量是否大于或等于第二预设数量阈值；

若所有段落文本的总数量小于第二预设数量阈值，从所述待提取企业网页中，获取区块标签对应的段落文本。

具体地，所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

在图3所描述的电子设备3中，可以通过预设的多个标签，提取待提取企业网页中的段落文本，不需要提取所述企业网页中的所有段落文本，提高信息获取效率，将提取出来的段落文本进行排序再使用语言模型获取企业描述信息，能够提高企业描述信息获取的有效性，且经过排序，可以优先对长度较长的段落文本进行处理，由于长度较长的段落文本的描述内容较详细，可以较快速获得详细的企业描述信息。

所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种企业描述信息获取方法，其特征在于，所述企业描述信息获取方法包括：

确定待提取企业网页；

根据预设的多个标签，提取所述待提取企业网页中的多个段落文本；

根据多个所述段落文本的文本长度，对多个所述段落文本进行排序，获得排序文本；

根据预先训练好的语言模型，从所述排序文本中获取企业描述信息，其中，所述语言模型用于输出所述排序文本为企业描述信息的概率，

所述确定待提取企业网页之前，所述企业描述信息获取方法还包括：

获取预设企业网页；

提取所述预设企业网页的主体文本以及描述文本，其中，所述主体文本为所述预设企业网页中的主体标签中的文本内容，所述描述文本为所述预设企业网页中的元数据标签中的网页描述部分的文本内容；

获取所述主体文本的标注信息，其中，所述标注信息用于标注所述主体文本为企业描述信息或用于标注所述主体文本不为企业描述信息；

根据预设规则，对所述描述文本进行过滤，获得过滤文本，其中，针对每个所述描述文本，判断所述描述文本的长度是否在预设长度阈值范围内，若所述描述文本的长度在预设长度阈值范围内，判断所述描述文本的语义是否完整，若所述描述文本的语义完整，确定所述描述文本为过滤文本；

将所述主体文本以及所述标注信息确定为第一样本；

将所述过滤文本确定为第二样本；

根据预设的权重，使用所述第一样本以及所述第二样本，对预设的预训练模型进行再训练，获得训练好的语言模型，其中，所述权重用于调整损失函数的损失值，所述第一样本对应的权重大于所述第二样本对应的权重。

2.根据权利要求1所述的企业描述信息获取方法，其特征在于，所述排序文本按照文本长度从长到短的排列顺序进行排序，所述根据预先训练好的语言模型，从所述排序文本中获取企业描述信息包括：

从所有所述排序文本中，按照所述排列顺序，依次将排序文本输入至所述语言模型中，获得所述排序文本为企业描述信息的概率，并在所述概率大于预设概率阈值时，确定所述排序文本为目标文本；

实时统计所述目标文本的数量；

判断所述目标文本的数量是否大于第一预设数量阈值；

若所述目标文本的数量大于第一预设数量阈值，输出为企业描述信息的概率最大的目标文本作为企业描述信息。

3.根据权利要求2所述的企业描述信息获取方法，其特征在于，所述企业描述信息获取方法还包括：

若所述目标文本的数量大于第一预设数量阈值，判断输入至所述语言模型的排序文本是否为所有所述排序文本；

若输入至所述语言模型的排序文本不为所有所述排序文本，停止将所有所述排序文本中除了所述输入至所述语言模型的排序文本之外的剩余排序文本输入值所述语言模型。

4.根据权利要求1所述的企业描述信息获取方法，其特征在于，所述多个标签包括页面描述标签、段落标签、行内标签以及区块标签,其中，所述页面描述标签为类名为网页描述的元数据标签，所述段落标签用于定义段落，所述行内标签用于将文本的一部分或者文档的一部分独立出来，所述区块标签用于定义网页文档中的一个分隔区块或者一个区域部分。

5.根据权利要求4所述的企业描述信息获取方法，其特征在于，所述根据预设的多个标签，提取所述待提取企业网页中的多个段落文本包括：

从所述待提取企业网页中，获取页面描述标签对应的段落文本、段落标签对应的段落文本以及行内标签对应的段落文本；

判断所有段落文本的总数量是否大于或等于第二预设数量阈值；

若所有段落文本的总数量小于第二预设数量阈值，从所述待提取企业网页中，获取区块标签对应的段落文本。

6.一种企业描述信息获取装置，其特征在于，所述企业描述信息获取装置包括：

确定模块，用于确定待提取企业网页；

提取模块，用于根据预设的多个标签，提取所述待提取企业网页中的多个段落文本；

排序模块，用于根据多个所述段落文本的文本长度，对多个所述段落文本进行排序，获得排序文本；

获取模块，用于根据预先训练好的语言模型，从所述排序文本中获取企业描述信息，其中，所述语言模型用于输出所述排序文本为企业描述信息的概率，

所述获取模块还用于所述确定模块确定待提取企业网页之前，获取预设企业网页；

所述提取模块还用于提取所述预设企业网页的主体文本以及描述文本，其中，所述主体文本为所述预设企业网页中的主体标签中的文本内容，所述描述文本为所述预设企业网页中的元数据标签中的网页描述部分的文本内容；

所述获取模块还用于获取所述主体文本的标注信息，其中，所述标注信息用于标注所述主体文本为企业描述信息或用于标注所述主体文本不为企业描述信息，

所述企业描述信息获取装置还包括：

过滤模块，根据预设规则，对所述描述文本进行过滤，获得过滤文本，其中，针对每个所述描述文本，判断所述描述文本的长度是否在预设长度阈值范围内，若所述描述文本的长度在预设长度阈值范围内，判断所述描述文本的语义是否完整，若所述描述文本的语义完整，确定所述描述文本为过滤文本；

所述确定模块还用于将所述主体文本以及所述标注信息确定为第一样本；

所述确定模块还用于将所述过滤文本确定为第二样本；

训练模块，根据预设的权重，使用所述第一样本以及所述第二样本，对预设的预训练模型进行再训练，获得训练好的语言模型，其中，所述权重用于调整损失函数的损失值，所述第一样本对应的权重大于所述第二样本对应的权重。

7.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至5中任意一项所述的企业描述信息获取方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至5中任意一项所述的企业描述信息获取方法。

Images