CN117151100A - 文件评审方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种文件评审方法、装置、电子设备及存储介质，涉及信息处理技术领域，该方法包括：获取非结构化的待评审文件；基于实体要素库中实体与要素的对应关系，确定所述待评审文件中的目标实体对应的目标要素的要素值；所述实体与要素的对应关系为基于非结构化的历史评审文件确定的；将所述目标要素的要素值和所述目标要素对应的评审规则进行匹配，得到所述待评审文件的评审结果。该方法利用实体要素库中实体与要素的对应关系，能高效确定待评审文件中的要素值，并能将确定出的要素值与评审规则进行匹配，无需人工确定要素值，也无需人工匹配要素值和评审规则，即可得到待评审文件的评审结果，能提高文件评审的效率。

Description

文件评审方法、装置、电子设备及存储介质

技术领域

本发明涉及信息处理技术领域，尤其涉及一种文件评审方法、装置、电子设备及存储介质。

背景技术

文件评审是指对待评审文件进行评估和审核，以得出该文件是否符合评审规则的评审结果。待评审文件可以按照其内容结构的规范化程度划分为结构化的待评审文件和非结构化的待评审文件。其中，非结构化的待评审文件相较于结构化的待评审文件，其内容结构规范化程度较低，其内容格式的标准度较差且内容中各实体的统一度较低。

对非结构化的待评审文件实施文件评审时，通常采用人工评审的方式。即，通过具有评审能力的评审人员，依据评审规则对非结构化的待评审文件进行人工评估审核，以得出评审结果。

人工评审的方式对评审人员的评审能力要求较高，在对一定数量规模的待评审文件采用人工评审的方式评审时，需要评审人员耗费大量的时间和精力，人工评审的效率较低。因此，如何提高非结构化文件的评审效率成为亟待解决的问题。

发明内容

本发明提供一种文件评审方法、装置、电子设备及存储介质，用以解决现有技术中文件评审效率较低的缺陷，实现提高文件评审效率的目的。

本发明提供一种文件评审方法，包括：

获取非结构化的待评审文件；

基于实体要素库中实体与要素的对应关系，确定所述待评审文件中的目标实体对应的目标要素的要素值；所述实体与要素的对应关系为基于非结构化的历史评审文件确定的；

将所述目标要素的要素值和所述目标要素对应的评审规则进行匹配，得到所述待评审文件的评审结果。

根据本发明提供的一种文件评审方法，所述基于实体要素库中实体与要素的对应关系，确定所述待评审文件中的目标实体对应的目标要素的要素值，包括：

基于标准模板对所述待评审文件进行排版，得到排版后的待评审文件；

基于实体要素库中实体与要素的对应关系，确定所述排版后的待评审文件中的所述目标实体对应的所述目标要素的要素值。

根据本发明提供的一种文件评审方法，所述基于实体要素库中实体与要素的对应关系，确定所述排版后的待评审文件中的所述目标实体对应的所述目标要素的要素值，包括：

在确定所述排版后的待评审文件中包括所述实体要素库中的目标实体的情况下，基于实体与要素的对应关系，确定与所述目标实体对应的至少一个第一要素；

针对各第一要素，在所述排版后的待评审文件中包括所述第一要素的情况下，将所述排版后的待评审文件中所述第一要素的要素值确定为所述目标要素的要素值。

根据本发明提供的一种文件评审方法，所述将所述目标要素的要素值和所述目标要素对应的评审规则进行匹配，得到所述待评审文件的评审结果，包括：

获取评审指令；所述评审指令用于表征评审规则的优先级；

在所述评审规则中的资质评审规则的优先级大于产品评审规则的优先级的情况下，将所述目标要素中资质要素的要素值和所述资质要素对应的资质评审规则进行匹配，得到第一匹配结果；

在所述第一匹配结果为匹配成功的情况下，将所述目标要素中产品要素的要素值与所述产品要素对应的产品评审规则进行匹配，得到所述评审结果。

根据本发明提供的一种文件评审方法，所述方法还包括：

在所述产品评审规则的优先级大于所述资质评审规则的优先级的情况下，在所述产品要素中确定与预设要素匹配的目标产品要素；

将所述目标产品要素与所述目标产品要素对应的产品评审规则进行匹配，得到第二匹配结果；

在所述第二匹配结果为匹配成功的情况下，输出评审选项；所述评审选项用于指示是否对除所述目标产品要素之外的其他产品要素，和/或资质要素进行评审；

获取用户基于所述评审选项选择的选择指令，对所述选择指令对应的要素进行评审。

根据本发明提供的一种文件评审方法，所述方法还包括：

在所述历史评审文件中提取与文件主题关联的实体；

对所述历史评审文件进行语义分析，得到与所述实体对应的要素；

将所述实体与所述要素的对应关系存储在所述实体要素库中。

根据本发明提供的一种文件评审方法，所述方法还包括：

在所述评审结果为审核合格的待评审文件的数量大于预设数量的情况下，将审核合格的各待评审文件的目标要素的要素值进行对比，得到对比结果；

输出所述对比结果。

本发明还提供一种文件评审装置，包括：

获取单元，用于获取非结构化的待评审文件；

确定单元，用于基于实体要素库中实体与要素的对应关系，确定所述待评审文件中的目标实体对应的目标要素的要素值；所述实体与要素的对应关系为基于非结构化的历史评审文件确定的；

匹配单元，用于将所述目标要素的要素值和所述目标要素对应的评审规则进行匹配，得到所述待评审文件的评审结果。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述文件评审方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述文件评审方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述文件评审方法。

本发明提供的文件评审方法、装置、电子设备及存储介质，该方法利用基于非结构化的历史评审文件确定的实体与要素的对应关系，针对获取的非结构化的待评审文件，基于实体与要素的对应关系能快速准确地确定待评审文件中的目标实体对应的目标要素的要素值，无需人工确定要素值；并可以将确定出的目标要素的要素值和目标要素对应的评审规则进行匹配，无需人工匹配要素值和评审规则，即可得到待评审文件的评审结果，提高了文件评审的效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的文件评审方法的流程示意图；

图2a是本发明实施例提供的资质评审子模型的准确率示意图；

图2b是本发明实施例提供的资质评审子模型的损失示意图；

图3是本发明实施例提供的资质评审子模型的性能实验对比图；

图4是本发明实施例提供的文件评审装置的结构示意图；

图5是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明中为描述的对象所编序号本身，例如“第一”，“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。

不同于结构化的待评审文件，非结构化的待评审文件其内容的规范化程度较低，内容格式的标准度较差且内容中各实体的统一度较低，不易利用机器进行识别和评审，因此非结构化的待评审文件通常采用人工评审的方式进行文件评审。

以非招标采购活动为例，在非招标采购中，不采用公开招标的形式进行采购，而是由采购方直接与供应方达成协议，使用非结构化的采购文件和非结构化的报价文件实施采购。对非招标采购的报价文件进行评审时，由于非结构化待评审文件的特殊性，通常需要采用人工评审的方式对报价文件的内容进行评审，以得出是否满足采购需求的评审结果，即由专业的采购人员对报价文件和供应方资料进行逐一审核和评估。人工评审的方式耗时费力，且容易出现漏审或误审等情况，同时，人工评审受限于评审人员的业务素质和评审速度等制约，导致人工评审时的效率较低。因此，如何提高文件评审的效率，成为采购方和供应方关注的焦点问题。

基于以上存在的问题，发明人发现相关技术中在对非结构化的待评审文件进行文件评审的过程中，没有利用命名实体识别技术对非结构化的待评审文件进行非人工评审的方法。相关技术中大多是基于数学模型或规则引擎进行非人工评审，而数学模型需要大量数据和深入的分析，评审的效率较低；规则引擎需要人工编写规则，并且无法发现隐藏在文本中的信息，评审的效率也较低。而将命名实体识别技术应用到非招标采购文件评审等文件评审的场景时，可以利用实体要素库中实体与要素的对应关系，自动确定待评审文件中目标要素的要素值，实现高效率的非人工文件评审，提高文件评审的效率。

基于此，本发明实施例提供一种文件评审方法，该方法利用实体与要素的对应关系，对获取的非结构化的待评审文件进行识别和解析，并将确定出的目标要素的要素值和目标要素对应的评审规则进行自动匹配，得到待评审文件的评审结果，提高了文件评审的效率。

本发明实施例可适用于包括要素与实体的非结构化的待评审文件的文件评审场景，下文示例性的以非招标采购文件的文件评审场景为例对本发明方法进行描述。本方法的执行主体可以是手机、计算机或服务器等电子设备，或者是专门设计的智能设备，也可以是设置在该电子设备或智能设备中的文件评审装置，该文件评审装置可以通过软件、硬件或两者的结合来实现。下面结合图1至图3对本发明实施例提供的文件评审方法进行描述。

图1是本发明实施例提供的文件评审方法的流程示意图，如图1所示，该文件评审方法包括步骤110～步骤130。

步骤110、获取非结构化的待评审文件。

具体地，待评审文件可以是需要进行评审的文件，非结构化的待评审文件可以是非标准制式的待评审文件。例如，非结构化的待评审文件可以是文件内容的格式不同于标准格式的待评审文件；或者，文件内容中的命名实体与标准命名实体不统一的待评审文件等。

示例性的，获取非结构化的待评审文件时，可以通过文件输入或文件识别等方式获取非结构化的待评审文件。例如，通过电子设备的文件接收接口获取非结构化的待评审文件；或者，通过电子设备的图文识别装置对非结构化的待评审文件进行识别获取。

举例来说，在非招标采购活动中，采购文件的内容和报价文件的内容标准化不够、结构化不足，采购文件和报价文件自由度高且文档格式多样性强，很难抽取评审指标，尤其针对一些非定量和非定性的要素，不能直接抽取到评审指标，需要通过深度语义理解才能获取评审指标。非招标采购的采购文件和报价文件均可以是非结构化的待评审文件。

步骤120、基于实体要素库中实体与要素的对应关系，确定待评审文件中的目标实体对应的目标要素的要素值；实体与要素的对应关系为基于非结构化的历史评审文件确定的。

具体地，历史评审文件可以包括已经完成人工评审或非人工评审的评审文件以及文件评审时与评审规则相关的各类文件。基于非结构化的历史评审文件，提取历史评审文件中的实体以及要素，并确定实体与要素的对应关系。可以将确定的实体与要素的对应关系存储在实体要素库中。

示例性的，基于实体要素库中实体与要素的对应关系，利用命名实体识别的方法对待评审文件中的内容进行文本解析和识别，可以确定待评审文件中的目标实体对应的目标要素的要素值。其中，目标实体可以是在待评审文件中识别出的、需要进行评审的实体，目标要素可以是识别出的目标实体所对应的要素，要素值即为该待评审文件中目标要素的具体参数、具体值或具体内容等。例如，电子设备中可以包括命名实体识别模型，通过命名实体识别模型可以确定待评审文件中的目标实体对应的目标要素的要素值。

举例来说，对非招标采购的历史文件内容进行关键词分词、语义理解与匹配及专家知识挖掘，可以形成经典采购文件实例库。通过对经典采购文件实例进行抽象范本构建，可以构建出范本模板。根据范本模板通过自然语言处理、文本分析、语义分析、实体链接等技术对模板进行解析并结合特定专家知识构建实体要素库，形成实体与要素的对应关系，电子设备中的命名实体识别模型可以自动关联评审要素和评审要素对应的指标，提高非招投标采购的质量控制。可选地，可以通过人工录入的方式对历史评审要素或命名实体识别有误、缺失的评审要素进行补充，构建起完备的实体要素库。

步骤130、将目标要素的要素值和目标要素对应的评审规则进行匹配，得到待评审文件的评审结果。

具体地，评审规则可以是针对评审的要素而预先确定的准则，通过将目标要素的要素值与目标要素对应的评审规则进行匹配，可以确定目标要素是否满足评审规则，若满足评审规则可以理解为匹配成功；若不满足评审规则可以理解为匹配失败。

进一步地，将待评审文件中各目标要素的要素值与各目标要素各自对应的评审规则进行比较，确定各目标要素是否满足各自对应的评审规则，根据各目标要素的匹配结果可以得到待评审文件的评审结果。评审结果例如可以是待评审文件中各目标要素的匹配情况、待评审文件是否符合评审规则的结论、针对评审规则评审待评审文件后得出的得分或其他评审结果中的至少之一。例如，电子设备中还可以包括评审模型，通过评审模型可以将目标要素的要素值和目标要素对应的评审规则进行匹配，得到待评审文件的评审结果。

以非招标采购文件评审为例，可以制定一系列评审规则，基于评审规则对非招标采购的待评审文件进行评估和审核。例如，根据采购申请书上的信息，如供应商信誉度、交货时间等，制定相应的评分标准进行评审。示例性的，本发明实施例通过命名实体识别与人工辅助修订相结合的方式，抽取物资类非招标采购文件的检查项、举证项等多种原子级评审要素，实现评审要素的结构化、规范化，便于历史数据的沉淀与使用，为评审规则的设计提供原子级知识点支撑。

针对评审规则设计过程中存在的规则匹配度低、规则不清晰、耦合度高难复用问题，利用评审文件命名实体识别的结果，将原子级的要素属性进行指标转化，例如温度属性需要评判温度在某个临界值之上或之下，根据具体的非招标物资采购需求对评审指标进行灵活组合形成评审规则，同时，基于专家经验对各指标与评审要素之间的关系进行总结、归纳，对评审规则库进行补充，实现目标要素的指标化与评审规则解耦，为评审模型的构建奠定基础。

针对人工评审过程中存在的过程不透明、流程不规范，以及评审人员业务能力不均等问题，围绕模块化、高复用性、通用性原则，利用评审规则库中的数据设计对应的评审模型。

例如，评审模型可以包括资质评审子模型，以报价人的有效性、资质等为评审要素，组合评审规则构建资质评审子模型，对各类资质评审子模型进行分组形成初评模块。初评模块在评审时分步进行评审并输出相应评审结果，通过智能化方式减少人为主观评判环节，保障了评审过程公开透明，提高了评审结果的公平性与文件评审的效率。初评模块可以包括报价有效性评审子模块、企业资质评审子模块以及人员资质评审子模块。

报价有效性评审子模块，用于判断报价人的营业执照，事业单位法人证书，法人身份证，报价授权书，报价人承诺函，报价人代理授权书等文件是否满足采购文件对报价主体的要求。企业资质评审子模块，用于判断报价人的安全生产许可证、工程勘察资质证书、特种设备生产许可证(制造)、工程监理资质证书等证照是否满足采购人的要求。人员资质评审子模块，用于判断报价企业人员的律师证、注册建造工程师证、危化品安全管理人员证书等是否满足采购人的要求。

报价有效性评审子模块、企业资质评审子模块以及人员资质评审子模块可以通过OCR(Optical Character Recognition，光学字符识别)文字识别与命名实体识别相结合，对报价人上传的各类资质证书、人员证照进行文字识别与实体抽取，结合评审规则库中的证照评审规则，判断证照的编号、有效期、企业名称、人员名称等信息是否正确。

建立评审模型后，在文件评审时需要根据采购文件的要求确定是否调用某一子模型，即评审模型根据采购文件要求动态调用子模型或子模块，保障了评审过程公开透明，提高了评审结果的公平性与评审工作效率。子模型或各子模块执行完毕后输出各自的评审结果，最终可以汇总为待评审文件的评审结果。

通过命名实体识别对非招标采购文件和报价文件进行深度特征结构化解析，抽取定量定性指标和理解并归纳非定量定性指标，实现智能化的文件评审。基于命名实体识别技术的非招标采购文件评审方法，可广泛应用于各类采购系统中，具有较高的通用性和可复制性。且文件评审的效率较高。

本发明实施例提供的文件评审方法，该方法利用基于非结构化的历史评审文件确定的实体与要素的对应关系，针对获取的非结构化的待评审文件，基于实体与要素的对应关系能快速准确地确定待评审文件中的目标实体对应的目标要素的要素值，无需人工确定要素值；并可以将确定出的目标要素的要素值和目标要素对应的评审规则进行匹配，无需人工匹配要素值和评审规则，即可得到待评审文件的评审结果，提高了文件评审的效率。

为了能进一步提高文件评审的效率，在一实施例中，在基于实体要素库中实体与要素的对应关系，确定待评审文件中的目标实体对应的目标要素的要素值时，可以基于标准模板对待评审文件进行排版，得到排版后的待评审文件；并基于实体要素库中实体与要素的对应关系，确定排版后的待评审文件中的目标实体对应的目标要素的要素值。

具体地，标准模板可以是针对待评审文件的内容进行排版而制定的标准化模板，通过标准模板可以对待评审文件的内容进行重新排版，使非结构化的待评审文件在内容排版方面提升版面的标准程度。

举例来说，可以基于结构化的待评审文件的版面进行版面数据积累，以及基于非结构化的历史评审文件的版面进行版面数据积累，可以确定出标准模板。利用确定出的标准模板对待评审文件的内容进行重新排版，使非结构化的待评审文件的版面更整齐、更标准、更统一，能更准确地在排版后的待评审文件中确定出目标实体对应的目标要素的要素值。

示例性的，电子设备中可以包括跨模态数据的命名实体识别模型，该模型可以对文件中的图片类、文档类数据进行命名实体识别。该模型的结构可以包括OCR识别层和文本排版处理层。

其中，OCR识别层可以是基于CV(Computer Vision，计算机视觉)V3模型的识别层，可以识别图片与文档中的文字数据。考虑到非结构化的历史评审文件和待评审文件可能存在的排版不一致、文字内容错位等问题，可以利用文本排版处理层对非结构化的待评审文件设置字符的边界，形成不同的字符序列并对其排序等，使其与标准模板的排版一致，可以得到排版后的待评审文件。

得到排版后的待评审文件后，基于实体要素库中实体与要素的对应关系，通过命名实体识别模型可以确定排版后的待评审文件中的目标实体对应的目标要素的要素值。

命名实体识别模型还可以包括嵌入层、双向长短期记忆网络层、全连接层、条件随机场层和输出层。其中，嵌入层可以将文本序列中的词向量化。双向长短期记忆网络层可以获取上下文信息的语义特征，计算命名实体类别的状态分数矩阵。全连接层可以将高维向量映射为符合标签数量的维度。条件随机场层可以对字符序列的预测结果进行约束。输出层可以输出命名实体标签序列预测结果，实现跨模态的图片与文档的命名实体识别。基于命名实体识别模型，可以实现对待评审文件中的目标要素及目标要素的要素值进行确定。

在本实施例中，基于标准模板对待评审文件进行排版，可以提高待评审文件版面的整齐度和标准度，基于排版后的待评审文件确定目标实体对应的目标要素的要素值，可以提高确定要素值的效率，进一步提高文件评审的效率。

为了进一步提高目标要素的要素值的确定效率，可以基于实体与要素的对应关系确定目标实体对应的第一要素，针对第一要素在排版后的待评审文件中确定目标要素的要素值。

在一实施例中，基于实体要素库中实体与要素的对应关系，确定排版后的待评审文件中的目标实体对应的目标要素的要素值时，可以通过如下方式实现：

在确定排版后的待评审文件中包括实体要素库中的目标实体的情况下，基于实体与要素的对应关系，确定与目标实体对应的至少一个第一要素；针对各第一要素，在排版后的待评审文件中包括第一要素的情况下，将排版后的待评审文件中第一要素的要素值确定为目标要素的要素值。

具体地，第一要素可以是实体与要素的各对应关系中目标实体对应的要素。在排版后的待评审文件中，确定是否包括实体要素库中的目标实体，在排版后的待评审文件中包括实体要素库中的目标实体时，可以将实体要素库中的目标实体对应的要素均确定为第一要素。

在确定出第一要素后，基于各第一要素，确定在排版后的待评审文件中，确定是否包括第一要素，将排版后的待评审文件中包括第一要素时，将该第一要素的要素值确定为目标要素的要素值。

举例来说，在非招标采购文件的文件评审场景中，基于非招标采购历史文件内容建立了实体要素库，实体要素库中存储有实体“电脑”以及与实体“电脑”对应的“处理器运算速度”“硬盘容量”和“显示器尺寸”三个要素，即存储有三个对应关系分别为“电脑-处理器运算速度”“电脑-硬盘容量”“电脑-显示器尺寸”。

若通过命名实体识别模型在确定排版后的待评审文件中识别出目标实体“电脑”，则基于实体与要素的对应关系，可以确定出第一要素“处理器运算速度”“硬盘容量”和“显示器尺寸”。若针对上述三个第一要素，在排版后的待评审文件中包括“硬盘容量”和“显示器尺寸”两个第一要素，则可以将排版后的待评审文件中第一要素“硬盘容量”的要素值“10TB”，以及第一要素“显示器尺寸”的要素值“24英寸”确定为目标要素的要素值。将“10TB”与“硬盘容量”对应的评审规则进行匹配，将“24英寸”与“显示器尺寸”对应的评审规则进行匹配，根据各自匹配的结果可以得到待评审文件的评审结果。

在本实施例中，基于实体与要素的对应关系，确定目标实体对应的第一要素，再针对第一要素在排版后的待评审文件中确定目标要素的要素值，可以缩减确定目标要素的要素值的时间，提高要素值的确定效率，进而提高文件评审的效率。

示例性的，针对不同的目标要素，是通过各自对应的评审规则进行匹配而得到该目标要素的匹配结果。因此，在各评审规则的优先级不相同的情况下，可以基于评审指令优先对优先级相对较高的评审规则对应的目标要素进行匹配，以提高文件评审的效率和本方法的适用性。

在一实施例中，将目标要素的要素值和目标要素对应的评审规则进行匹配，得到待评审文件的评审结果，具体可以通过以下方式实现：

获取评审指令；评审指令用于表征评审规则的优先级；在评审规则中的资质评审规则的优先级大于产品评审规则的优先级的情况下，将目标要素中资质要素的要素值和资质要素对应的资质评审规则进行匹配，得到第一匹配结果；在第一匹配结果为匹配成功的情况下，将目标要素中产品要素的要素值与产品要素对应的产品评审规则进行匹配，得到评审结果。

具体地，评审指令可以是用于表征评审规则的优先级的指令，不同的评审规则对应的优先级可以不相同。评审指令可以是根据评审的需求，在评审时预先设置的指令，评审指令可以是任意形式的指令程序，例如可以是语音形式的指令、选择框确认形式的指令或文本输入形式的指令等。评审规则中可以包括资质评审规则和产品评审规则，资质评审规则是用于对资质要素进行评审的规则；产品评审规则是用于对产品要素进行评审的规则。

资质要素即要素所属的类型为资质类型的要素，例如，资质要素可以是“企业资质”“人员资质”或“生产资质”等要素。“企业资质”的要素值可以是“营业执照”“工程勘察资质证书”或“工程监理资质证书”等表明企业资质的证照内容；“人员资质”的要素值可以是“职业技能等级证书”“执业资格证”或“安全管理资格证”等表明人员资质的证照内容；“生产资质”的要素值可以是“安全生产许可证”“特种设备生产许可证”“采矿许可证”等表明生产资质的证照内容。产品要素即要素所属的类型为产品类型的要素，例如，产品要素可以是“产品证书”等要素。“产品证书”的要素值可以是“产品合格证”“产品等级证书”或“产品质量认证标识”等表明产品性能或属性的证书内容。

第一匹配结果可以是针对目标要素中资质要素的要素值，与资质要素对应的资质评审规则进行匹配后得出的匹配结果。匹配资质评审规则成功时，即第一匹配结果为匹配成功的情况下，将目标要素中产品要素的要素值与产品要素对应的产品评审规则进行匹配，可以得到待评审文件的评审结果。

举例来说，在优先考虑资质的非招标采购活动中，对待评审的招标文件进行评审时，可以通过选择框确认形式的指令向电子设备输入评审指令，该评审指令用于表征资质评审规则的优先级大于产品评审规则的优先级。电子设备中的评审模型在获取评审指令后，将目标要素中“企业资质”资质要素的“营业执照”和“工程勘察资质证书”的具体内容作为要素值，与评审规则中对应的资质评审规则进行匹配，在“营业执照”和“工程勘察资质证书”的具体内容符合资质评审规则中的具体要求时，得到匹配成功的第一匹配结果。并将目标要素中“产品证书”产品要素的“产品合格证”的具体内容作为要素值，与评审规则中对应的产品评审规则进行匹配，得到匹配结果后，将该匹配结果与第一匹配结果进行综合，可以得到待评审文件的评审结果。

在一实施例中，该方法还包括：在产品评审规则的优先级大于资质评审规则的优先级的情况下，在产品要素中确定与预设要素匹配的目标产品要素；将目标产品要素与目标产品要素对应的产品评审规则进行匹配，得到第二匹配结果；在第二匹配结果为匹配成功的情况下，输出评审选项；评审选项用于指示是否对除目标产品要素之外的其他产品要素，和/或资质要素进行评审；获取用户基于评审选项选择的选择指令，对选择指令对应的要素进行评审。

具体地，预设要素可以是针对产品要素中的各要素而预先设置的要素。可选地，可以根据产品要素中各要素的重要性或匹配频率设置预设要素。例如，根据“处理器运算速度”“硬盘容量”和“显示器尺寸”三个产品要素的重要性，将“处理器运算速度”设置为预设要素。

在产品评审规则的优先级大于资质评审规则的优先级的情况下，优先对产品要素进行匹配。在待评审文件中的产品要素中包括预设要素时，将与预设要素匹配的要素确定为目标产品要素后，将目标产品要素与目标产品要素对应的产品评审规则进行匹配后即可得到第二匹配结果。

评审选项可以是用于指示是否对除目标产品要素之外的其他产品要素，和/或资质要素进行评审的选项，评审选项可以是任意形式的选项程序，可以由用户通过评审选项对其他的评审内容进行选择。

进一步地，在第二匹配结果为匹配成功的情况下，输出评审选项，用户基于评审选项选择的选择指令，对选择指令对应的要素进行评审。通过评审选项以及选择指令，可以基于用户需求确定需要进一步评审的要素，能提高本发明方法的灵活度和自由度。

在本实施例中，通过评审指令可以区别各评审规则的优先级，实现灵活调整对目标要素的优先评审，提高文件评审的灵活度和效率。进一步地，通过输出评审选项，基于用户对评审选项选择的选择指令，可以进一步提高本发明方法的灵活度以及文件评审的效率。

在基于实体与要素的对应关系构建实体要素库时，可以针对历史评审文件的文件主题进行针对性更高的对应关系确定，由于文件主题中包含的实体相对文件内容中包含的实体关注度更高，因此，该确定对应关系的方式可以提高确定的准确度和确定的效率。

在一实施例中，该方法还包括：在历史评审文件中提取与文件主题关联的实体；对历史评审文件进行语义分析，得到与实体对应的要素；将实体与要素的对应关系存储在实体要素库中。

具体地，文件主题可以是文件的标题、文件的名称或文件中的关键词等。例如，文件的标题为“关于电脑等办公用品的采购申请”其中的“电脑”即为文件主题关联的实体。

通过命名实体识别模型可以提取历史评审文件中与文件主题关联的实体。针对历史评审文件的整体内容进行语义分析，即可确定出与该实体对应的要素，将该实体与确定出的要素建立对应关系并存储在实体要素库中，可以构建起内容完备的实体要素库。

在本实施例中，通过提取历史评审文件中与文件主题关联的实体，并针对该实体确定实体与要素的对应关系，将确定的实体与要素的对应关系存储在实体要素库中，可以高效、准确地确定出实体与要素的对应关系，并能提升实体要素库的全面性。

对一定数量规模的待评审文件进行文件评审时，可能有多个待评审文件均能满足评审规则的要求。为了有效判断审核合格的待评审文件之间的质量高低，可以针对目标要素的要素值对各审核合格的待评审文件进行对比，基于对比结果便于后续应用。

在一实施例中，该方法还包括：在评审结果为审核合格的待评审文件的数量大于预设数量的情况下，将审核合格的各待评审文件的目标要素的要素值进行对比，得到对比结果；输出对比结果。

具体地，预设数量可以是基于文件评审的应用需求、历史数据统计或经验值等预先设置的任意数值。在评审结果为审核合格的待评审文件的数量大于预设数量时，将审核合格的各待评审文件的目标要素的要素值进行对比，可以得到对比结果。对要素值进行对比，可以是比较要素值的参数大小、具体内容优劣或等级高低等，可根据要素值的具体情况确定。

以预设数量是2为例，在非招标采购电脑的活动中，有10份报价文件需要进行文件评审。利用电子设备对该10份报价文件进行文件评审后，其中的3份报价文件均通过审核，即3份报价文件的评审结果为审核合格。因审核合格的待评审文件的数量3大于预设数量2，则将审核合格的各待评审文件的目标要素的要素值进行对比。例如，目标要素为“硬盘容量”，则提取3份报价文件中各目标要素“硬盘容量”的要素值，各要素值分别为“15TB”“20TB”以及“10TB”，对比各要素值，依据各要素值的大小进行排序，得到对比结果为：排序为1的报价文件，其硬盘容量为20TB；排序为2的报价文件，其硬盘容量为15TB；排序为3的报价文件，其硬盘容量为10TB。输出该对比结果，以帮助用户确定符合其需求的报价文件。

在本实施例中，基于预设数量对审核合格的待评审文件的数量进行判断，当该数量大于预设数量时，对审核合格的待评审文件进行对比，基于目标要素的要素值对各待评审文件内容进行横向对比，得到对比结果，输出该对比结果，以便于文件评审的后续应用，提高本发明方法的可用性。

将本发明实施例提供的初评模块中的资质评审子模型与HMM模型、CRF模型这两种统计概率学习方法，以及Bert-Bi-LSTM-CRF算法进行比较，使用准确率、召回率和F1值三种指标来评价初评模块的性能。

在非招标采购中收集报价人提交的企业营业执照、安全生产许可证等各类企业资质证照与工程师资格证、安全员证等人员资质证照，共631张图片构建数据集，按照80％训练集和20％测试集的方式来划分数据集。

首先，使用CV V3模型识别各类证照的文字内容，利用文本排版层对识别出的文本进行排序处理，然后采用YEDDA标注文本。其次构建双向长短期记忆网络与条件随机场，具体的模型参数设置为：词嵌入大小设置为128，LSTM模型的隐向量的维数为128，批处理大小为64，迭代次数为30。设置网络的损失函数为交叉熵损失函数，利用Adam优化方法更新参数，使损失函数最小化，提高模型的泛化能力。图2a是本发明实施例提供的资质评审子模型的准确率示意图，图2b是本发明实施例提供的资质评审子模型的损失示意图。如图2a所示，随着训练时期的增大，模型的准确率也在不断增大，而且该模型的准确率较高。如图2b所示，随着训练时期的增大，模型的损失会不断减小。

在得到资质评审子模型后，基于HMM模型、CRF模型以及Bert-Bi-LSTM-CRF模型对资质评审子模型的性能进行实验对比。图3是本发明实施例提供的资质评审子模型的性能实验对比图。如图3所示，性能实验采用了准确率、召回率以及F1值三个指标进行对比，第一组柱状图表示HMM模型的上述指标的值；第二组柱状图表示CRF模型的上述指标的值；第三组柱状图表示Bert-Bi-LSTM-CRF模型的上述指标的值；第四组柱状图表示Bi-LSTM-CRF模型的上述指标的值，Bi-LSTM-CRF模型即评审模型。

从实验验证结果可以看出，本发明实施例提供的评审模型利用双向长短期记忆网络，提高了条件随机场模型的准确率，达到97.93％；评审模型的F1值为0.9794，比其他三种对比模型的平均F1值提升了0.0488；评审模型的召回率比CRF模型提升了0.0113，比Bert-Bi-LSTM-CRF模型提升了0.0598，比HMM模型提升了0.1202。实验结果充分证明本发明实施例提供的评审模型判断准确率高，能够精准地完成文件评审过程中各类资质评审任务。

本发明实施例提供的文件评审方法应用在非招标文件的文件评审场景时，可基于命名实体识别对不同格式、不同语言、不同习惯用语的非结构化采购文件和非结构化报价文件，进行深度特征结构化解析，自动识别潜在的实体，并提取定量定性指标和理解并归纳非定量定性指标，减少了人工审核的工作量。利用评审模型对采购相关文件进行全面评估，提高了评审的准确性和客观性；结合自然语言处理技术，能够适应各种类型的文本数据，提高了系统的普适性。

本方法从构建实体要素库、目标要素智能提取、评审规则规范化设计、评审结果自动化生成等方面对文件评审过程进行智能化改造，以智能、高效、低成本的采购评审管控提高非招投标采购质量，从而为非招标采购评审提供有力的支持。

下面对本发明实施例提供的文件评审装置进行描述，下文描述的文件评审装置与上文描述的文件评审方法可相互对应参照。

图4是本发明实施例提供的文件评审装置的结构示意图，参照图4所示，文件评审装置400包括：

获取单元410，用于获取非结构化的待评审文件；

确定单元420，用于基于实体要素库中实体与要素的对应关系，确定待评审文件中的目标实体对应的目标要素的要素值；实体与要素的对应关系为基于非结构化的历史评审文件确定的；

匹配单元430，用于将目标要素的要素值和目标要素对应的评审规则进行匹配，得到待评审文件的评审结果。

在一种示例实施例中，确定单元420具体用于：

基于标准模板对待评审文件进行排版，得到排版后的待评审文件；

基于实体要素库中实体与要素的对应关系，确定排版后的待评审文件中的目标实体对应的目标要素的要素值。

在一种示例实施例中，确定单元420具体用于：

在确定排版后的待评审文件中包括实体要素库中的目标实体的情况下，基于实体与要素的对应关系，确定与目标实体对应的至少一个第一要素；

针对各第一要素，在排版后的待评审文件中包括第一要素的情况下，将排版后的待评审文件中第一要素的要素值确定为目标要素的要素值。

在一种示例实施例中，匹配单元430具体用于：

获取评审指令；评审指令用于表征评审规则的优先级；

在评审规则中的资质评审规则的优先级大于产品评审规则的优先级的情况下，将目标要素中资质要素的要素值和资质要素对应的资质评审规则进行匹配，得到第一匹配结果；

在第一匹配结果为匹配成功的情况下，将目标要素中产品要素的要素值与产品要素对应的产品评审规则进行匹配，得到评审结果。

在一种示例实施例中，匹配单元430还用于：

在产品评审规则的优先级大于资质评审规则的优先级的情况下，在产品要素中确定与预设要素匹配的目标产品要素；

将目标产品要素与目标产品要素对应的产品评审规则进行匹配，得到第二匹配结果；

在第二匹配结果为匹配成功的情况下，输出评审选项；评审选项用于指示是否对除目标产品要素之外的其他产品要素，和/或资质要素进行评审；

获取用户基于评审选项选择的选择指令，对选择指令对应的要素进行评审。

在一种示例实施例中，文件评审装置400还包括存储单元，存储单元用于：

在历史评审文件中提取与文件主题关联的实体；

对历史评审文件进行语义分析，得到与实体对应的要素；

将实体与要素的对应关系存储在实体要素库中。

在一种示例实施例中，文件评审装置400还包括对比单元，对比单元用于：

在评审结果为审核合格的待评审文件的数量大于预设数量的情况下，将审核合格的各待评审文件的目标要素的要素值进行对比，得到对比结果；

输出对比结果。

本实施例的装置，可以用于执行文件评审方法侧实施例中任一实施例的方法，其具体实现过程与技术效果与文件评审方法侧实施例中类似，具体可以参见前述方法侧实施例中的详细介绍，此处不再赘述。

图5是本发明实施例提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行文件评审方法，该方法包括：获取非结构化的待评审文件；基于实体要素库中实体与要素的对应关系，确定待评审文件中的目标实体对应的目标要素的要素值；实体与要素的对应关系为基于非结构化的历史评审文件确定的；将目标要素的要素值和目标要素对应的评审规则进行匹配，得到待评审文件的评审结果。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的文件评审方法，该方法包括：获取非结构化的待评审文件；基于实体要素库中实体与要素的对应关系，确定待评审文件中的目标实体对应的目标要素的要素值；实体与要素的对应关系为基于非结构化的历史评审文件确定的；将目标要素的要素值和目标要素对应的评审规则进行匹配，得到待评审文件的评审结果。

又一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的文件评审方法，该方法包括：获取非结构化的待评审文件；基于实体要素库中实体与要素的对应关系，确定待评审文件中的目标实体对应的目标要素的要素值；实体与要素的对应关系为基于非结构化的历史评审文件确定的；将目标要素的要素值和目标要素对应的评审规则进行匹配，得到待评审文件的评审结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种文件评审方法，其特征在于，包括：

获取非结构化的待评审文件；

基于实体要素库中实体与要素的对应关系，确定所述待评审文件中的目标实体对应的目标要素的要素值；所述实体与要素的对应关系为基于非结构化的历史评审文件确定的；

将所述目标要素的要素值和所述目标要素对应的评审规则进行匹配，得到所述待评审文件的评审结果。

2.根据权利要求1所述的文件评审方法，其特征在于，所述基于实体要素库中实体与要素的对应关系，确定所述待评审文件中的目标实体对应的目标要素的要素值，包括：

基于标准模板对所述待评审文件进行排版，得到排版后的待评审文件；

基于实体要素库中实体与要素的对应关系，确定所述排版后的待评审文件中的所述目标实体对应的所述目标要素的要素值。

3.根据权利要求2所述的文件评审方法，其特征在于，所述基于实体要素库中实体与要素的对应关系，确定所述排版后的待评审文件中的所述目标实体对应的所述目标要素的要素值，包括：

在确定所述排版后的待评审文件中包括所述实体要素库中的目标实体的情况下，基于实体与要素的对应关系，确定与所述目标实体对应的至少一个第一要素；

针对各第一要素，在所述排版后的待评审文件中包括所述第一要素的情况下，将所述排版后的待评审文件中所述第一要素的要素值确定为所述目标要素的要素值。

4.根据权利要求1-3任一项所述的文件评审方法，其特征在于，所述将所述目标要素的要素值和所述目标要素对应的评审规则进行匹配，得到所述待评审文件的评审结果，包括：

获取评审指令；所述评审指令用于表征评审规则的优先级；

在所述评审规则中的资质评审规则的优先级大于产品评审规则的优先级的情况下，将所述目标要素中资质要素的要素值和所述资质要素对应的资质评审规则进行匹配，得到第一匹配结果；

在所述第一匹配结果为匹配成功的情况下，将所述目标要素中产品要素的要素值与所述产品要素对应的产品评审规则进行匹配，得到所述评审结果。

5.根据权利要求4所述的文件评审方法，其特征在于，所述方法还包括：

在所述产品评审规则的优先级大于所述资质评审规则的优先级的情况下，在所述产品要素中确定与预设要素匹配的目标产品要素；

将所述目标产品要素与所述目标产品要素对应的产品评审规则进行匹配，得到第二匹配结果；

在所述第二匹配结果为匹配成功的情况下，输出评审选项；所述评审选项用于指示是否对除所述目标产品要素之外的其他产品要素，和/或资质要素进行评审；

获取用户基于所述评审选项选择的选择指令，对所述选择指令对应的要素进行评审。

6.根据权利要求1-3任一项所述的文件评审方法，其特征在于，所述方法还包括：

在所述历史评审文件中提取与文件主题关联的实体；

对所述历史评审文件进行语义分析，得到与所述实体对应的要素；

将所述实体与所述要素的对应关系存储在所述实体要素库中。

7.根据权利要求1-3任一项所述的文件评审方法，其特征在于，所述方法还包括：

在所述评审结果为审核合格的待评审文件的数量大于预设数量的情况下，将审核合格的各待评审文件的目标要素的要素值进行对比，得到对比结果；

输出所述对比结果。

8.一种文件评审装置，其特征在于，包括：

获取单元，用于获取非结构化的待评审文件；

确定单元，用于基于实体要素库中实体与要素的对应关系，确定所述待评审文件中的目标实体对应的目标要素的要素值；所述实体与要素的对应关系为基于非结构化的历史评审文件确定的；

匹配单元，用于将所述目标要素的要素值和所述目标要素对应的评审规则进行匹配，得到所述待评审文件的评审结果。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述文件评审方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述文件评审方法。