CN115730581A - 用于投标文档中项目和公司基础信息提取方法和装置 - Google Patents

Abstract

本申请提出了一种用于投标文档中项目和公司基础信息提取方法，涉及智能招标技术领域，其中，该方法包括：获取投标文件；根据投标文件确定投标基础信息，并对投标基础信息进行符号化处理；根据投标基础信息，通过关键词筛选方法对投标文件进行筛选，得到关键词所在段落；基于BI‑GRU和CRF构建信息提取模型，并对信息提取模型进行训练，得到训练好的信息提取模型；通过训练好的信息提取模型对关键词所在段落进行信息提取，得到投标基础信息的提取结果。本申请通过提取基础信息，形成结构化信息，从而能够快速提取文本数据信息。

Description

用于投标文档中项目和公司基础信息提取方法和装置

技术领域

本申请涉及智能招标技术领域，尤其涉及一种用于投标文档中项目和公司基础信息提取方法和装置。

背景技术

第一代电子招投标系统运行期间积累了大量的非结构化招投标文件，文件中包含了大量有价值信息，需要将文档中的主要指标数据提取出来，存入结构化数仓中，支撑后续分析、建模使用。但是由于非结构化文档的局限性，无法直接对其进行大数据分析及应用。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种用于投标文档中项目和公司基础信息提取方法，解决了由于非结构化文档的局限性，无法直接对非结构化文档进行大数据分析及应用的技术问题，通过关键字对投档文件进行筛选，并使用信息提取模型提取基础信息，形成结构化信息，从而能够快速提取文本数据信息。

本申请的第二个目的在于提出一种用于投标文档中项目和公司基础信息提取装置。

本申请的第三个目的在于提出一种计算机设备。

本申请的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种用于投标文档中项目和公司基础信息提取方法，包括：获取投标文件；根据投标文件确定投标基础信息，并对投标基础信息进行符号化处理；根据投标基础信息，通过关键词筛选方法对投标文件进行筛选，得到关键词所在段落；基于BI-GRU和CRF构建信息提取模型，并对信息提取模型进行训练，得到训练好的信息提取模型；通过训练好的信息提取模型对关键词所在段落进行信息提取，得到投标基础信息的提取结果。

可选地，在本申请的一个实施例中，投标基础信息至少包括项目名称、项目编号、主设备名称、总价、设备数量、投标人名称、投标时间中的一种。

可选地，在本申请的一个实施例中，根据投标基础信息，通过关键词筛选方法对投标文件进行筛选，得到关键词所在段落，包括：

根据投标基础信息得到关键词，其中，关键词至少包括名称、总价、数量、文件、项目、设备、投标、公司、编号、年、月、日、日期、时间中的一种；

根据关键词对投标文件进行筛选，得到关键词所在段落。

可选地，在本申请的一个实施例中，对信息提取模型进行训练，得到训练好的信息提取模型，包括：

对投标基础信息进行序列化标注，得到标注结果；

获取训练集，并对训练集进行预处理；

将标注结果作为标签，基于训练集对信息提取模型进行训练，得到训练好的信息提取模型。

可选地，在本申请的一个实施例中，对训练集进行预处理，包括：

获取文本词典和标签词典，其中，文本词典包括所有中英文文字、数字和符号，标签词典包括序列化标注结果；

根据信息提取模型输入要求，将训练集中的特殊字符进行转换，并依据文本词典和标签词典，得到训练集中每个字符对应的id索引。

可选地，在本申请的一个实施例中，将标注结果作为标签，基于训练集对信息提取模型进行训练，得到训练好的信息提取模型，包括：

将id索引输入信息提取模型，得到信息提取模型输出的预测结果，将预测结果与标注结果输入损失函数，反向迭代更新模型参数，直到获得训练好的信息提取模型。

为达上述目的，本申请第二方面实施例提出了一种用于投标文档中项目和公司基础信息提取装置，包括：

获取模块，用于获取投标文件；

确定模块，用于根据投标文件确定投标基础信息，并对投标基础信息进行符号化处理；

筛选模块，用于根据投标基础信息，通过关键词筛选方法对投标文件进行筛选，得到关键词所在段落；

训练模块，用于基于BI-GRU和CRF构建信息提取模型，并对信息提取模型进行训练，得到训练好的信息提取模型；

提取模块，用于通过训练好的信息提取模型对关键词所在段落进行信息提取，得到投标基础信息的提取结果。

可选地，在本申请的一个实施例中，筛选模块，具体用于：

根据投标基础信息得到关键词，其中，关键词至少包括名称、总价、数量、文件、项目、设备、投标、公司、编号、年、月、日、日期、时间中的一种；

根据关键词对投标文件进行筛选，得到关键词所在段落。

为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述施例所述的用于投标文档中项目和公司基础信息提取方法。

为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，能够执行一种用于投标文档中项目和公司基础信息提取方法。

本申请用于投标文档中项目和公司基础信息提取方法、装置、计算机设备和非临时性计算机可读存储介质，解决了由于非结构化文档的局限性，无法直接对非结构化文档进行大数据分析及应用的技术问题，通过关键字对投档文件进行筛选，并使用信息提取模型提取基础信息，形成结构化信息，从而能够快速提取文本数据信息。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的一种用于投标文档中项目和公司基础信息提取方法的流程图；

图2为本申请实施例的用于投标文档中项目和公司基础信息提取方法的信息提取模型的结构示例图；

图3为本申请实施例的用于投标文档中项目和公司基础信息提取方法的信息提取模型的训练流程示意图；

图4为本申请实施例二所提供的一种用于投标文档中项目和公司基础信息提取装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

在供应商投标文件一般分为商务文档、技术文档和报价文档。在每种文档中都包含项目名称、招标编号、项目编号、项目主要货物名称数量、投标单位、投标日期等等项目基础信息和供应商基础信息。这些信息散布在文档的各个地方，需要设计一种用于投标文档中项目和公司基础信息提取方法，将基础信息提取出来，形成结构化信息。

本申请提出了一种用于投标文档中项目和公司基础信息提取方法，其中，针对投标文档，首先通过关键字进行初步筛选，再通过训练BI-GRU+CRF模型得到信息提取模型，并通过信息提取模型将基础信息提取出来，形成结构化信息，实现快速提取文本数据信息。

下面参考附图描述本申请实施例的用于投标文档中项目和公司基础信息提取方法和装置。

图1为本申请实施例一所提供的一种用于投标文档中项目和公司基础信息提取方法的流程图。

如图1所示，该用于投标文档中项目和公司基础信息提取方法包括以下步骤：

步骤101，获取投标文件；

步骤102，根据投标文件确定投标基础信息，并对投标基础信息进行符号化处理；

步骤103，根据投标基础信息，通过关键词筛选方法对投标文件进行筛选，得到关键词所在段落；

步骤104，基于BI-GRU和CRF构建信息提取模型，并对信息提取模型进行训练，得到训练好的信息提取模型；

步骤105，通过训练好的信息提取模型对关键词所在段落进行信息提取，得到投标基础信息的提取结果。

本申请实施例的用于投标文档中项目和公司基础信息提取方法，通过获取投标文件；根据投标文件确定投标基础信息，并对投标基础信息进行符号化处理；根据投标基础信息，通过关键词筛选方法对投标文件进行筛选，得到关键词所在段落；基于BI-GRU和CRF构建信息提取模型，并对信息提取模型进行训练，得到训练好的信息提取模型；通过训练好的信息提取模型对关键词所在段落进行信息提取，得到投标基础信息的提取结果。由此，能够解决由于非结构化文档的局限性，无法直接对非结构化文档进行大数据分析及应用的技术问题，通过关键字对投档文件进行筛选，并使用信息提取模型提取基础信息，形成结构化信息，从而能够快速提取文本数据信息。

本申请首先对提取内容(即投标基础信息)进行分类及符号化处理，其次进行数据收集并进行有效信息初步筛选，再调用信息提取模型进行核心信息提取及结构化处理。其中，在信息提取模型训练过程中，需要依次进行进行序列化标注，模型设计，模型训练。

进一步地，在本申请实施例中，投标基础信息至少包括项目名称、项目编号、主设备名称、总价、设备数量、投标人名称、投标时间中的一种。

本申请首先对需要提取的内容进行分类，得到需要提取的投标基础信息，再对投标基础信息进行符号化处理。例如，如表一所示，分别为需要提取的投标基础信息、投标基础信息对应的符号以及投标基础信息提取的结果。

投标基础信息	符号	提取结果
			项目名称	F	庆元双苗尖风机塔筒招标文件
项目编号	D	XXZB2016-07-01009
			主设备名称	S	风电设备
总价	P	20765600.00
			设备数量	N	30
投标人名称	C	江苏XX风电设备制造有限公司
			投标时间	T	2016年08月21日
...

表一

进一步地，在本申请实施例中，根据投标基础信息，通过关键词筛选方法对投标文件进行筛选，得到关键词所在段落，包括：

根据投标基础信息得到关键词，其中，关键词至少包括名称、总价、数量、文件、项目、设备、投标、公司、编号、年、月、日、日期、时间中的一种；

根据关键词对投标文件进行筛选，得到关键词所在段落。

由于投标文档中尤其是商务文档，存在大量无效信息段落。因此，首先提取文档中所有段落信息，通过关键词筛选方法提取有效信息所在段落。

本申请中关键词设置为["名称","总价","数量","文件","项目","设备",'投标','公司','编号','年月日','日期','时间',]。在根据关键词提取得到的段落中，至少包含1个关键词的段落，均归属于有效信息可能存在段落。本申请通过简单筛选有效去除了大量无效信息段落，节省信息提取时间。

进一步地，在本申请实施例中，对信息提取模型进行训练，得到训练好的信息提取模型，包括：

对投标基础信息进行序列化标注，得到标注结果；

获取训练集，并对训练集进行预处理；

将标注结果作为标签，基于训练集对信息提取模型进行训练，得到训练好的信息提取模型。

本申请定义标签集合用来表示可能取到的预测结果，对于投标基础信息进行如下标签定义：

LABLE＝{F-B,F-I,D-B,D-I,S-B,S-I,P-B,P-I,N-B,N-I,C-B,C-I,T-B,T-I,O}

其中，每个标签的定义如表二所示：

表二

本申请使用BI-GRU和CRF(Conditional Random Field，条件随机场)构建信息提取模型。其中，BI-GRU是一种双向循环神经网络，使用GRU为了解决长期记忆和反向传播中梯度问题且训练效率更高。CRF表示条件随机场，是一种无向图，可以分成两部分，一部分是h与y之间的连线，表示其相关性；另一部分是相邻时刻的y之间的相关性。在预测某时刻y时，同时考虑相邻的标签。解决标签不匹配问题。

本申请获取数据集，并对数据集进行切分，得到三个数据集：训练集、验证集、测试集。

其中，训练集，用来训练模型参数数据集，模型通过训练调整自身参数以获得更好的效果。验证集，用于在训练过程中检验模型的状态，收敛情况。测试集，用来计算模型的各项评估指标，验证模型泛化能力。分别对训练集、验证集和测试集进行预处理，并利用训练集、验证集和测试集对模型进行训练及验证。

进一步地，在本申请实施例中，对训练集进行预处理，包括：

获取文本词典和标签词典，其中，文本词典包括所有中英文文字、数字和符号，标签词典包括序列化标注结果；

根据信息提取模型输入要求，将训练集中的特殊字符进行转换，并依据文本词典和标签词典，得到训练集中每个字符对应的id索引。

本申请根据所有中英文文字、数字、符号等字符获得文本词典，并根据投标基础信息的序列化标注结果得到标签词典数据。

根据信息提取模型的输入要求，将训练集中的特殊字符进行转换，并依据文本词典和标签词典，得到训练集中每个字符对应的id索引。

进一步地，在本申请实施例中，将标注结果作为标签，基于训练集对信息提取模型进行训练，得到训练好的信息提取模型，包括：

将id索引输入信息提取模型，得到信息提取模型输出的预测结果，将预测结果与标注结果输入损失函数，反向迭代更新模型参数，直到获得训练好的信息提取模型。

本申请通过将预测结果与标注结果输入损失函数，反向指导模型训练。

图2为本申请实施例的用于投标文档中项目和公司基础信息提取方法的信息提取模型的结构示例图。

如图2所示，使用BI-GRU和CRF构建信息提取模型。其中，BI-GRU是一种双向循环神经网络，使用GRU为了解决长期记忆和反向传播中梯度问题且训练效率更高。CRF表示条件随机场，是一种无向图，可以分成两部分，一部分是h与y之间的连线，表示其相关性；另一部分是相邻时刻的y之间的相关性。在预测某时刻y时，同时考虑相邻的标签，解决标签不匹配问题。

图3为本申请实施例的用于投标文档中项目和公司基础信息提取方法的信息提取模型的训练流程示意图。

如图3所示，首先对数据集进行切分得到训练集、验证集、测试集，再根据所有中英文文字、数字、符号等字符和投标基础信息的序列化标注结果准备文本词典和标签词典，根据文本词典和标签词典对原始数据进行预处理，使用预处理后的训练集对信息提取模型进行训练，得到模型预测结果，将预测结果与标注结果输入损失函数，反向指导模型训练。

图4为本申请实施例二所提供的一种用于投标文档中项目和公司基础信息提取装置的结构示意图。

如图4所示，该用于投标文档中项目和公司基础信息提取装置，包括：

获取模块10，用于获取投标文件；

确定模块20，用于根据投标文件确定投标基础信息，并对投标基础信息进行符号化处理；

筛选模块30，用于根据投标基础信息，通过关键词筛选方法对投标文件进行筛选，得到关键词所在段落；

训练模块40，用于基于BI-GRU和CRF构建信息提取模型，并对信息提取模型进行训练，得到训练好的信息提取模型；

提取模块50，用于通过训练好的信息提取模型对关键词所在段落进行信息提取，得到投标基础信息的提取结果。

本申请实施例的用于投标文档中项目和公司基础信息提取装置，包括获取模块，用于获取投标文件；确定模块，用于根据投标文件确定投标基础信息，并对投标基础信息进行符号化处理；筛选模块，用于根据投标基础信息，通过关键词筛选方法对投标文件进行筛选，得到关键词所在段落；训练模块，用于基于BI-GRU和CRF构建信息提取模型，并对信息提取模型进行训练，得到训练好的信息提取模型；提取模块，用于通过训练好的信息提取模型对关键词所在段落进行信息提取，得到投标基础信息的提取结果。

进一步地，在本申请实施例中，筛选模块，具体用于：

根据投标基础信息得到关键词，其中，关键词至少包括名称、总价、数量、文件、项目、设备、投标、公司、编号、年、月、日、日期、时间中的一种；

根据关键词对投标文件进行筛选，得到关键词所在段落。

为了实现上述实施例，本申请还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述施例所述的用于投标文档中项目和公司基础信息提取方法。

为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的用于投标文档中项目和公司基础信息提取方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种用于投标文档中项目和公司基础信息提取方法，其特征在于，包括以下步骤：

获取投标文件；

根据所述投标文件确定投标基础信息，并对所述投标基础信息进行符号化处理；

根据所述投标基础信息，通过关键词筛选方法对所述投标文件进行筛选，得到关键词所在段落；

基于BI-GRU和CRF构建信息提取模型，并对所述信息提取模型进行训练，得到训练好的信息提取模型；

通过训练好的信息提取模型对所述关键词所在段落进行信息提取，得到投标基础信息的提取结果。

2.如权利要求1所述的方法，其特征在于，所述投标基础信息至少包括项目名称、项目编号、主设备名称、总价、设备数量、投标人名称、投标时间中的一种。

3.如权利要求1所述的方法，其特征在于，所述根据所述投标基础信息，通过关键词筛选方法对所述投标文件进行筛选，得到关键词所在段落，包括：

根据所述投标基础信息得到关键词，其中，所述关键词至少包括名称、总价、数量、文件、项目、设备、投标、公司、编号、年、月、日、日期、时间中的一种；

根据所述关键词对所述投标文件进行筛选，得到关键词所在段落。

4.如权利要求1所述的方法，其特征在于，所述对所述信息提取模型进行训练，得到训练好的信息提取模型，包括：

对所述投标基础信息进行序列化标注，得到标注结果；

获取训练集，并对所述训练集进行预处理；

将所述标注结果作为标签，基于训练集对所述信息提取模型进行训练，得到训练好的信息提取模型。

5.如权利要求4所述的方法，其特征在于，所述对所述训练集进行预处理，包括：

获取文本词典和标签词典，其中，所述文本词典包括所有中英文文字、数字和符号，标签词典包括序列化标注结果；

根据所述信息提取模型输入要求，将所述训练集中的特殊字符进行转换，并依据所述文本词典和标签词典，得到所述训练集中每个字符对应的id索引。

6.如权利要求5所述的方法，其特征在于，所述将所述标注结果作为标签，基于训练集对所述信息提取模型进行训练，得到训练好的信息提取模型，包括：

将所述id索引输入所述信息提取模型，得到所述信息提取模型输出的预测结果，将所述预测结果与所述标注结果输入损失函数，反向迭代更新模型参数，直到获得训练好的信息提取模型。

7.一种用于投标文档中项目和公司基础信息提取装置，其特征在于，包括：

获取模块，用于获取投标文件；

确定模块，用于根据所述投标文件确定投标基础信息，并对所述投标基础信息进行符号化处理；

筛选模块，用于根据所述投标基础信息，通过关键词筛选方法对所述投标文件进行筛选，得到关键词所在段落；

训练模块，用于基于BI-GRU和CRF构建信息提取模型，并对所述信息提取模型进行训练，得到训练好的信息提取模型；

提取模块，用于通过训练好的信息提取模型对所述关键词所在段落进行信息提取，得到投标基础信息的提取结果。

8.如权利要求7所述的装置，其特征在于，筛选模块，具体用于：

根据所述投标基础信息得到关键词，其中，所述关键词至少包括名称、总价、数量、文件、项目、设备、投标、公司、编号、年、月、日、日期、时间中的一种；

根据所述关键词对所述投标文件进行筛选，得到关键词所在段落。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6中任一所述的方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。

Images