CN116777400B - 一种基于深度学习的工程咨询信息全流程管理系统及方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于深度学习的工程咨询信息全流程管理方法及系统，包括：确定文件处理范围，且在范围内对文件进行初级分类；获得文件的预处理方式集合，且基于预处理方式集合确定针对各分类结果统一的预处理方案和深度学习模型；获得对应每种分类结果的预处理结果；对各种分类结果对应的预处理结果进行综合评价；获得文件预处理评价结果；依据文件预处理评价结果确定最终的一种文件分类方式，根据所提取的分类结果对预处理方案进行调整，获得文件处理结果。本发明能够有效地解决工程文件管理中的分类和处理难题，提高管理效率和数据应用价值，所采用的灵活的预处理和分类选择机制确保了方法的适应性和持续优化能力。

Description

一种基于深度学习的工程咨询信息全流程管理系统及方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于深度学习的工程咨询信息全流程管理系统及方法。

背景技术

目前，工程招投标及工程造价等事宜的管理中，常常涉及到大量的文字文件和图像文件，包括投标文件、竞争对手文件、设计文件、施工图纸、合同文件、验收文件等文本文件和图像文件。上述文件形式多样，数量庞大，给文件的分类及管理带来了难度；管理者需要花费大量时间和精力进行多种处理操作，同时经常面临着文件遗失、误删、泄密等问题。

如何对上述各类型的文件进行有效的分类及处理，从而降低管理者对于数据的管理及应用难度，成本了本领域需要解决的技术问题之一。

发明内容

本发明中提供了一种基于深度学习的工程咨询信息全流程管理系统及方法，从而有效解决背景技术中所指出的问题。

为了达到上述目的，本发明所采用的技术方案是：

一种基于深度学习的工程咨询信息全流程管理方法，包括：

确定文件处理范围，且在范围内对文件进行初级分类，初级分类的方式至少包括两种，且对应获得至少两种分类结果；

获得文件的预处理方式集合，且基于所述预处理方式集合确定针对各所述分类结果统一的预处理方案和深度学习模型；

依据所述预处理方案对每种分类结果中的所有文件进行处理，以及通过所述深度学习模型对预处理后的所有文件进行深度学习，获得对应每种分类结果的预处理结果；

对各种分类结果对应的所述预处理结果进行综合评价，获得文件预处理评价结果；

依据所述文件预处理评价结果确定最终的一种文件分类方式，且提取分类结果；

根据所提取的分类结果对所述预处理方案进行调整，基于调整后的最终处理方案对所提取的分类结果进行处理，获得文件处理结果。

进一步地，确定文件处理范围，且在范围内对文件进行初级分类，初级分类的方式至少包括两种，且对应获得至少两种分类结果，包括：

收集所有相关的文件；

设计至少两种初级分类方式，且对应获得至少两种分类结果；

整理和记录分类结果，将各类文件分别放入相应的文件夹。

进一步地，依据所述预处理方案对每种分类结果中的所有文件进行处理，以及通过所述深度学习模型对预处理后的所有文件进行深度学习，获得对应每种分类结果的预处理结果，包括：

将输入数据的每个元素均转换为一个高维向量，并包含位置信息，作为Transformer模型的输入序列；

输入的所述高维向量通过Transformer模型的自注意力层，使得每个元素与其他元素进行关联，得到新的表示；

将所述新的表示作为输入传递给Transformer模型的前馈神经网络层而进行线性变换，并应用激活函数引入非线性，而输出生成序列；

在Transformer模型的解码器层中，模型通过自注意力层关注生成序列中的每个位置，并通过编码器-解码器注意力层关注所述输入序列，并输出生成序列的特征表示；

建立监督学习任务，采用所述特征表示计算预测结果，并与真实标签进行比较来度量模型的所述输出结果与目标的差异，并基于比较结果对所述模型进行训练及优化，而完成Transformer模型搭建；

将新的未知数据输入所述Transformer模型，获得对应每种分类结果的预处理结果。

进一步地，输入的所述高维向量通过Transformer模型的自注意力层，使得每个元素与其他元素进行关联，得到新的表示，包括：

对于输入的每个所述高维向量，通过线性变换分别得到Query向量、Key向量、Value向量，用于计算每个元素与其他元素的关联；

通过计算所述Query向量和每个所述Key向量之间的相似度得分，得到一个得分矩阵，用于表示每个元素与其他元素的关联程度；

对所述得分矩阵进行softmax操作，得到注意力权重矩阵，用于表示了每个元素对其他元素的关注程度，权重与每个元素与其他元素关联程度的权重成正比；

将所述Value向量按照所述注意力权重进行加权求和，得到所述新的表示。

进一步地，依据所述预处理方案对每种分类结果中的所有文件进行处理，包括：

判断各类文件相应的文件夹中是否包括文本数据和图像数据，若是，则执行以下步骤；

将各类文件相应文件夹中的文本数据和图像数据整理为独立的数据集，且每个所述数据集具有相应的标签；

对各类所述文本数据和图像数据进行相同的数据增强操作；

将经过所述数据增强操作的文本数据和图像数据合并成一个新的平衡数据集。

进一步地，所述数据增强操作包括：

在所述文本数据和图像数据中确定应用数据增强操作的概率阈值p；

确定所述数据增强操作的增强技术包括随机删除、随机交换、随机插入、随机替换、随机旋转、随机裁剪、随机翻转、随机添加噪声中的至少一种；

在应用每种所述增强技术前，生成一个0到1之间的随机数r，且比较所述随机数r与所述概率阈值p的大小；

若所述随机数r小于等于所述概率阈值p，则应用所述增强技术；若所述随机数r大于所述概率阈值p，则跳过所述增强技术。

进一步地，对各种分类结果对应的所述预处理结果进行综合评价，获得文件预处理评价结果，包括：

确定用于评价文件预处理结果的评价指标；

对于不同的预处理结果，根据定义的所述评价指标设定评价规则；

针对每种分类结果的所述预处理结果，根据设定的所述评价规则进行综合评价，得到一个综合评价分数；

对于不同的分类结果，对所述综合评价分数进行比较，确定分数更优的分类结果为最终的文件分类方式。

一种基于深度学习的工程咨询信息全流程管理系统，包括：

初级分类模块，确定文件处理范围，且在范围内对文件进行初级分类，初级分类的方式至少包括两种，且对应获得至少两种分类结果；

预处理模块，获得文件的预处理方式集合，且针对各所述分类结果确定统一的预处理方案和深度学习模型；

深度学习处理模块，依据所述预处理方案对每种分类结果中的所有文件进行处理，以及通过所述深度学习模型对预处理后的所有文件进行深度学习，获得对应每种分类结果的预处理结果；

综合评价模块，对各种分类结果对应的所述预处理结果进行综合评价，获得文件预处理评价结果；

分类选择模块，依据所述文件预处理评价结果确定最终的一种文件分类方式，且提取分类结果；

预处理调整模块，根据所提取的分类结果对所述预处理方案进行调整，基于调整后的最终处理方案对所提取的分类结果进行处理，获得文件处理结果。

进一步地，深度学习处理模块包括：

数据向量化单元，将输入数据的每个元素转换为高维向量，并添加位置信息，作为Transformer模型的输入序列；

自注意力单元，将输入的高维向量通过Transformer模型的自注意力层，实现每个元素与其他元素的关联，并得到新的表示；

线性变换与激活单元，将新的表示传递给Transformer模型的前馈神经网络层，进行线性变换并应用激活函数引入非线性，输出生成序列；

解码器，通过Transformer模型的解码器层，使得模型通过自注意力层关注生成序列中的每个位置，并通过编码器-解码器注意力层关注输入序列，输出生成序列的特征表示；

监督学习任务单元，建立监督学习任务，采用特征表示计算预测结果，并与真实标签进行比较来度量模型的输出结果与目标的差异，基于比较结果对模型进行训练和优化；

预测单元，将新的未知数据输入Transformer模型，获得对应每种分类结果的预处理结果。

进一步地，所述深度学习处理模块包括：

数据准备单元，判断各类文件相应的文件夹中是否包括文本数据和图像数据，若是，则输出所述文本数据和图像数据；

数据集整理单元，将各类文件相应文件夹中的文本数据和图像数据整理为独立的数据集，且为每个所述数据集赋予相应的标签；

数据增强单元，对各类所述文本数据和图像数据进行相同的数据增强操作；

数据合并单元，将经过所述数据增强操作的文本数据和图像数据合并成一个新的平衡数据集。

通过本发明的技术方案，可实现以下技术效果：

本发明中基于深度学习的工程咨询信息全流程管理方法和系统能够有效地解决工程文件管理中的分类和处理难题，提高管理效率和数据应用价值；所采用的灵活的预处理和分类选择机制确保了方法的适应性和持续优化能力，使得文件处理过程更加智能化和精确，通过方法及系统的采用对于工程招投标及工程造价等管理中的大量文本和图像文件的分类和处理将具有积极的影响，并有助于提升管理者的工作效率和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于深度学习的工程咨询信息全流程管理方法的流程图；

图2为步骤S100的优化流程图；

图3为步骤S300的一种优化流程图；

图4为步骤A20的优化流程图；

图5为步骤S300的另一种优化流程图；

图6为步骤S330的优化流程图；

图7为步骤S400的优化流程图；

图8为基于深度学习的工程咨询信息全流程管理系统的框架图；

图9为深度学习处理模块的一种优化框架图；

图10为深度学习处理模块的另一种优化框架图；

附图标记：100、初级分类模块；200、预处理模块；300、深度学习处理模块；400、综合评价模块；500、分类选择模块；600、预处理调整模块；010、数据向量化单元；020、自注意力单元；030、线性变换与激活单元；040、解码器；050、监督学习任务单元；060、预测单元；001、数据准备单元；002、数据集整理单元；003、数据增强单元；004、数据合并单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

实施例一

如图1所示，一种基于深度学习的工程咨询信息全流程管理方法，包括：

S100：确定文件处理范围，且在范围内对文件进行初级分类，初级分类的方式至少包括两种，且对应获得至少两种分类结果；在本步骤中，明确文件处理的范围可以帮助聚焦于特定类型的工程文件，避免处理无关的文件，从而节省计算资源和时间，通过至少两种初级分类方式可以多角度地对文件进行初步划分，提高文件分类的准确性和覆盖范围；

S200：获得文件的预处理方式集合，且基于预处理方式集合确定针对各分类结果统一的预处理方案和深度学习模型；获得预处理方式集合可以将多种数据处理方法整合在一起，便于管理和复用，提高工作效率，统一的预处理方案可以简化整个文件处理流程，减少了针对不同分类结果进行个别预处理的复杂性；

S300：依据预处理方案对每种分类结果中的所有文件进行处理，以及通过深度学习模型对预处理后的所有文件进行深度学习，获得对应每种分类结果的预处理结果；深度学习在数据处理中有较强的表征学习能力，可以自动学习文件的高级特征，从而提高文件分类的准确性，深度学习预处理可以处理各种类型的文件，包括文本、图像等，适用性广泛；

S400：对各种分类结果对应的预处理结果进行综合评价，获得文件预处理评价结果；

S500：依据文件预处理评价结果确定最终的一种文件分类方式，且提取分类结果；

S600：根据所提取的分类结果对预处理方案进行调整，基于调整后的最终处理方案对所提取的分类结果进行处理，获得文件处理结果。

在步骤S400~S600中，通过预处理评价结果去对分类结果进行选择，而最终根据选择的分类结果再来对预处理方案进行调整，当然，此处的调整具体是针对性的微调，例如调整深度学习模型中的超参数，例如学习率、批量大小、隐藏层大小等，以优化模型的性能和训练效率；或者，调整数据增强技术的应用概率或增强技术的种类，以找到最适合数据集的增强策略；再或者，调整特征提取的方式和方法，例如调整Transformer模型的层数、注意力机制的权重等等。

通过上述过程可实现综合评价和分类结果的反馈，从而可以持续优化和改进文件处理流程，不断提高文件分类和处理的质量和效率。

在上述实施方式中，综合评价和根据评价结果选择分类方式，使得文件分类方式可以根据实际情况动态选择，进一步优化文件处理结果；通过根据分类结果调整预处理方案，使得文件处理方式可以根据实际情况动态适应需求的变化，增强了方法的灵活性；基于综合评价的分类选择和预处理方案调整，能够确保最终的文件分类和处理更为准确和可靠。

综上，本发明中，基于深度学习的工程咨询信息全流程管理方法可以有效地解决工程文件管理中的分类与处理难题，提高管理效率和数据应用价值。同时，灵活的预处理和分类选择机制保证了方法的适应性和持续优化能力，使得文件处理过程更加智能化和精确。

针对步骤S100，确定文件处理范围，且在范围内对文件进行初级分类，初级分类的方式至少包括两种，且对应获得至少两种分类结果，如图2所示，包括：

S110：收集所有相关的文件，包括投标文件、竞争对手文件、设计文件、施工图纸、合同文件、验收文件等；

S120：设计至少两种初级分类方式，且对应获得至少两种分类结果，其中，部分可采用的分类方式如下：

（1）将文件根据扩展名（如.txt、.pdf、.jpg等）划分为不同的类别；

（2）定义一组关键词，如"招标"、"验收"、"报告"等，然后对文件内容进行关键词匹配，将包含相应关键词的文件归为对应的类别；

（3）设置适当的阈值，将文件按照大小进行分类；

S130：整理和记录分类结果，将各类文件分别放入相应的文件夹，从而方便后续处理，记录分类结果，以备后续步骤使用和参考。

而针对步骤S200，可首先调研现有的文件预处理方法和技术，包括文本预处理、图像处理等各种数据处理方法，随后记录和整理收集到的预处理方式，建立一个预处理方式集合，包括不同类型文件的处理方法。随后，针对初级的分类结果，选择统一的预处理方案，即适用于所有分类结果的预处理方案。最后，将针对每个分类结果确定的统一预处理方案并记录下来，包括具体的预处理方法、参数设置等信息，整理各个分类结果对应的统一预处理方案。

在实施过程中，投标文件、竞争对手文件、设计文件等可能包含大量的文字或图像信息，形成较长的序列数据，Transformer模型在处理文本和图像数据上表现出色，并且适用于不同类型的文件，Transformer模型是一个基于注意力机制的深度学习模型，特别适用于处理长序列数据和捕捉全局上下文信息，作为上述实施例的优选，针对步骤S300，依据预处理方案对每种分类结果中的所有文件进行处理，以及通过深度学习模型对预处理后的所有文件进行深度学习，获得对应每种分类结果的预处理结果，如图3所示，包括：

A10：将输入数据的每个元素均转换为一个高维向量，并包含位置信息，作为Transformer模型的输入序列；其中，所指的元素指进行分类或处理的原始数据的最小单元，输入数据是包括文本文件和图像文件在内的一系列文件，每个文件可以被看作是一个输入数据元素，对于文本文件，一个元素可以是一篇文章、一段文本或一行文字，对于图像文件，一个元素可以是一张图片。对于文本文件，可使用词嵌入（WordEmbedding）技术，将每个单词转换为一个高维向量，同时使用位置编码为每个单词引入位置信息，并按照位置信息将这些单词组织成输入序列；而对于图像文件，可使用卷积神经网络（CNN）等技术，同时使用位置编码为每个像素点引入位置信息，并按照位置信息将这些向量组织成输入序列。

A20：输入的高维向量通过Transformer模型的自注意力层，使得每个元素与其他元素进行关联，得到新的表示；Transformer模型的自注意力层能够计算输入序列中每个元素与其他元素之间的相关性得分，从而捕捉元素之间的关联信息；对于文本文件，通过自注意力层，每个单词都能关注整个句子中的其他单词，从而得到每个单词更丰富的语义表示；对于图像文件，通过自注意力层，每个像素点都能关注图像中的其他像素点，从而得到每个像素点更准确的特征表示；

A30：将新的表示作为输入传递给Transformer模型的前馈神经网络层而进行线性变换，并应用激活函数引入非线性，而输出生成序列；Transformer模型的前馈神经网络层对自注意力层的输出进行线性变换，得到更复杂的特征表示；对于文本文件，前馈神经网络层能够对每个单词的向量表示进行线性变换，引入非线性激活函数，从而得到更抽象和高级的特征表示；而对于图像文件，前馈神经网络层能够对每个像素点的向量表示进行线性变换，引入非线性激活函数，从而得到更抽象和高级的特征表示。

A40：在Transformer模型的解码器层中，模型通过自注意力层关注生成序列中的每个位置，并通过编码器-解码器注意力层关注输入序列，并输出生成序列的特征表示；解码器层使用自注意力层关注生成序列中的每个位置，从而使得生成序列的每个元素能够与其他元素之间建立关联，捕捉上下文信息，编码器-解码器注意力层关注输入序列，使得生成序列能够融合输入序列的信息，生成更准确的输出。

在本发明中，针对文本数据和图像数据采用相同的编码器-解码器处理方式，可以统一化处理流程，简化模型设计和实现，在不同任务中使用相同的处理方式，可以降低开发和维护成本，减少代码冗余，提高代码复用性。文本数据和图像数据虽然类型不同，但其中都蕴含着丰富的特征信息，采用相同的编码器-解码器处理方式，可以使得模型共享学习到的通用特征表示，这种共享可以增强模型对于数据的理解能力，提高模型泛化能力，从而在处理不同类型的数据时表现更加稳定和可靠。

在编码器-解码器模型中，编码器部分负责提取输入数据的特征表示，而解码器部分负责生成输出结果，由于文本数据和图像数据都可以通过相同的编码器进行特征提取，因此可以共享编码器的参数，减少模型的参数量，降低模型的复杂度，提高模型的训练效率。

A50：建立监督学习任务，采用特征表示计算预测结果，并与真实标签进行比较来度量模型的输出结果与目标的差异，基于比较结果对模型进行训练及优化，而完成Transformer模型搭建；

具体实施过程中，建立监督学习任务，例如分类任务或回归任务，利用生成序列的特征表示计算预测结果；将预测结果与真实标签进行比较，计算模型的输出与目标之间的差异，可使用损失函数衡量模型的性能；基于比较结果，可通过反向传播算法对模型进行优化，更新模型参数，从而使得模型能够更准确地预测目标。

A60：将新的未知数据输入Transformer模型，获得对应每种分类结果的预处理结果；本步骤中，将新的未知文本文件和图像文件输入到已经训练好的Transformer模型中，获得对应每种分类结果的预处理结果。

通过以上步骤，可以实现对大量文本文件和图像文件的智能化处理和分类，Transformer模型能够从输入数据中学习到复杂的特征表示，从而在解决工程咨询信息全流程管理中的问题中具有较佳的应用潜力。在每种分类结果的预处理结果中，都会包含对应输入数据的向量表示和分类结果，这些结果可以用于进一步的数据管理、决策分析、分类任务等，例如，可以根据分类结果进行文件归档、项目管理、数据可视化等工作。

作为上述实施例的优选，步骤A20中，输入的高维向量通过Transformer模型的自注意力层，使得每个元素与其他元素进行关联，得到新的表示，如图4所示，包括：

A21：对于输入的每个高维向量，通过线性变换分别得到Query向量、Key向量、Value向量，用于计算每个元素与其他元素的关联；

A22：通过计算Query向量和每个Key向量之间的相似度得分，得到一个得分矩阵，用于表示每个元素与其他元素的关联程度；这使得模型能够捕捉输入数据中元素之间的关联信息，特别是在处理大量文件时，文件之间可能存在复杂的关联关系，通过注意力机制可以更好地理解文件之间的相互影响，有助于进行有效的数据管理和决策分析；

A23：对得分矩阵进行softmax操作，得到注意力权重矩阵，用于表示了每个元素对其他元素的关注程度，权重与每个元素与其他元素关联程度的权重成正比，即权重越大则关联程度越强；这样的注意力权重在计算时考虑了元素之间的相对重要性，引入了非线性关系，使得模型能够处理复杂的文件关联情况，并对不同文件之间的影响程度进行区分，从而更好地提取有意义的特征表示；

A24：将Value向量按照注意力权重进行加权求和，得到新的表示；上述新的表示是通过自注意力层计算得到的，它蕴含了每个元素与其他元素关联的信息。在具体实现时，可以使用矩阵运算来高效地计算注意力权重和加权求和，从而加速模型的训练和推理过程，通过这样的自注意力机制，Transformer模型能够捕捉输入序列中每个元素与其他元素之间的关联信息，进而得到更丰富和准确的表示，这种能力使得Transformer模型在处理文本数据和图像数据时都能取得较佳的效果。

在上述优化方案中，注意力权重矩阵中的每个元素代表了对应元素与其他元素的关注程度，这些关注程度与每个元素与其他元素关联程度的权重成正比。因此，可以将每个元素的Value向量乘以对应的注意力权重，然后对所有元素的加权结果进行求和，从而得到新的表示。

在实际应用中，可能会遇到文本数据和图像数据数量不平衡的情况，采用相同的处理方式可以方便地进行数据增强，通过对文本数据和图像数据进行相同的变换和扩增操作，模型可以在处理不同类型的数据时进行交叉学习，从而更好地挖掘数据之间的关联关系，进一步提高模型的性能。为了实现上述目的，作为优选地，依据预处理方案对每种分类结果中的所有文件进行处理，如图5所示，包括：

S310：判断各类文件相应的文件夹中是否包括文本数据和图像数据，若是，则执行以下步骤；该步骤是为了确认每个文件夹中是否包含文本数据和图像数据，将在后续步骤对这两类数据进行处理；

S320：将各类文件相应文件夹中的文本数据和图像数据整理为独立的数据集，且每个数据集具有相应的标签，确保每个数据集中的样本属于同一类别，为后续的数据增强和训练提供了准备；

S330：对各类文本数据和图像数据进行相同的数据增强操作；将相同的数据增强操作应用于文本数据和图像数据，可以简化数据处理流程，同时提高模型的泛化能力，通过相同的数据增强方式，文本数据和图像数据可以共享相同的特征变换和扩增操作，增加数据集的多样性和泛化性，使得模型能够更好地处理不同类型的数据；

S340：将经过数据增强操作的文本数据和图像数据合并成一个新的平衡数据集，通过本步骤可以确保每个类别的数据样本数量大致相等，从而避免模型对某些类别的过度拟合或欠拟合，这样的平衡数据集能够更好地训练出具有较好泛化性能的模型。

在步骤S330中，如图6所示，数据增强操作包括：

S331：在文本数据和图像数据中确定应用数据增强操作的概率阈值p；

S332：确定数据增强操作的增强技术包括随机删除、随机交换、随机插入、随机替换、随机旋转、随机裁剪、随机翻转、随机添加噪声中的至少一种；

S333：在应用每种增强技术前，生成一个0到1之间的随机数r，且比较随机数r与概率阈值p的大小；

S334：若随机数r小于等于概率阈值p，则应用增强技术；若随机数r大于概率阈值p，则跳过增强技术。

通过按照上述逻辑步骤增加随机选择增强技术的概率，可以在数据增强过程中控制每种增强技术的应用概率，从而增加数据集的多样性，提高模型的泛化能力，通过设置合理的概率阈值p，可以灵活调整增强技术的应用，使得模型可以在不同概率下学习到不同的数据特征，增强模型的鲁棒性和适应性。

在数据合并成一个新的平衡数据集后，将平衡数据集按照一定比例划分为训练集、验证集和测试集，其中常见的划分方式是将数据集分为训练集、验证集和测试集，比例通常为70-15-15或80-10-10，训练集用于模型的训练，验证集用于调整模型的超参数和验证模型性能，测试集用于最终评估模型的性能。

作为上述实施例的优选，针对步骤S400，对各种分类结果对应的预处理结果进行综合评价，获得文件预处理评价结果，如图7所示，包括：

S410：确定用于评价文件预处理结果的评价指标，例如分类准确率、召回率、F1分数等，这些指标可以用于衡量模型在每种分类结果上的性能；

S420：对于不同的预处理结果，根据定义的评价指标设定评价规则；在设定评价规则时，除了考虑评价指标外，还应该考虑到业务需求和实际应用情况；例如，对于不同分类结果的综合评价，可能需要根据业务的重要性，设置不同分类结果的权重，以反映不同分类结果的重要程度，评价规则的设计需要综合考虑多方面因素，确保评价结果符合实际需求；

S430：针对每种分类结果的预处理结果，根据设定的评价规则进行综合评价，得到一个综合评价分数；

S440：对于不同的分类结果，对综合评价分数进行比较，确定分数更优的分类结果为最终的文件分类方式。

在比较综合评价分数时，应该结合实际需求和评价规则，确定最终的文件分类方式，可能会出现综合评价分数相近的情况，这时需要综合考虑其他因素，例如模型的复杂度、训练和推理速度等，从而做出综合决策。

通过上述优选方案，有助于选择最优的文件分类方式，使得模型能够更准确地识别和分类不同类型的文件，通过设定合适的评价指标和评价规则，可以量化评估模型性能，并在实际应用中根据评价结果做出合理的决策，综合评价分数的比较可以确保选择最优的分类方式，从而提高文件处理的效率和准确性。

实施例二

一种基于深度学习的工程咨询信息全流程管理系统，如图8所示，包括：

初级分类模块100，确定文件处理范围，且在范围内对文件进行初级分类，初级分类的方式至少包括两种，且对应获得至少两种分类结果；

预处理模块200，获得文件的预处理方式集合，且针对各分类结果确定统一的预处理方案和深度学习模型；

深度学习处理模块300，依据预处理方案对每种分类结果中的所有文件进行处理，以及通过深度学习模型对预处理后的所有文件进行深度学习，获得对应每种分类结果的预处理结果；

综合评价模块400，对各种分类结果对应的预处理结果进行综合评价，获得文件预处理评价结果；

分类选择模块500，依据文件预处理评价结果确定最终的一种文件分类方式，且提取分类结果；

预处理调整模块600，根据所提取的分类结果对预处理方案进行调整，基于调整后的最终处理方案对所提取的分类结果进行处理，获得文件处理结果。

作为深度学习处理模块300的一种优化方式，如图9所示，包括：

数据向量化单元010，将输入数据的每个元素转换为高维向量，并添加位置信息，作为Transformer模型的输入序列；自注意力单元020，将输入的高维向量通过Transformer模型的自注意力层，实现每个元素与其他元素的关联，并得到新的表示；线性变换与激活单元030，将新的表示传递给Transformer模型的前馈神经网络层，进行线性变换并应用激活函数引入非线性，输出生成序列；解码器040，通过Transformer模型的解码器040层，使得模型通过自注意力层关注生成序列中的每个位置，并通过编码器-解码器040注意力层关注输入序列，输出生成序列的特征表示；监督学习任务单元050，建立监督学习任务，采用特征表示计算预测结果，并与真实标签进行比较来度量模型的输出结果与目标的差异，基于比较结果对模型进行训练和优化；预测单元060，将新的未知数据输入Transformer模型，获得对应每种分类结果的预处理结果。

作为深度学习处理模块300的另一种优化方式，如图10所示，深度学习处理模块300包括：

数据准备单元001，判断各类文件相应的文件夹中是否包括文本数据和图像数据，若是，则输出文本数据和图像数据；数据集整理单元002，将各类文件相应文件夹中的文本数据和图像数据整理为独立的数据集，且为每个数据集赋予相应的标签；数据增强单元003，对各类文本数据和图像数据进行相同的数据增强操作；数据合并单元004，将经过数据增强操作的文本数据和图像数据合并成一个新的平衡数据集。

在实施过程中，数据增强单元003具体包括数据增强操作选择单元，对各类文本数据和图像数据应用相同的数据增强操作前，生成一个0到1之间的随机数r，并比较随机数r与预设概率阈值p的大小，以决定是否应用数据增强操作；还包括数据增强操作单元，对文本数据和图像数据分别应用随机删除、随机交换、随机插入、随机替换、随机旋转、随机裁剪、随机翻转、随机添加噪声等数据增强技术。

本实施例中所能够实现的技术效果与上述实施例中相同，此处不再赘述。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于深度学习的工程咨询信息全流程管理方法，其特征在于，包括：

确定文件处理范围，且在范围内对文件进行初级分类，初级分类的方式至少包括两种，且对应获得至少两种分类结果；

获得文件的预处理方式集合，且基于所述预处理方式集合确定针对各所述分类结果统一的预处理方案和深度学习模型；

依据所述预处理方案对每种分类结果中的所有文件进行处理，以及通过所述深度学习模型对预处理后的所有文件进行深度学习，获得对应每种分类结果的预处理结果；

对各种分类结果对应的所述预处理结果进行综合评价，获得文件预处理评价结果；

依据所述文件预处理评价结果确定最终的一种文件分类方式，且提取分类结果；

根据所提取的分类结果对所述预处理方案进行调整，基于调整后的最终处理方案对所提取的分类结果进行处理，获得文件处理结果；

确定文件处理范围，且在范围内对文件进行初级分类，初级分类的方式至少包括两种，且对应获得至少两种分类结果，包括：

收集所有相关的文件；

设计至少两种初级分类方式，且对应获得至少两种分类结果；

整理和记录分类结果，将各类文件分别放入相应的文件夹；

依据所述预处理方案对每种分类结果中的所有文件进行处理，以及通过所述深度学习模型对预处理后的所有文件进行深度学习，获得对应每种分类结果的预处理结果，包括：

将输入数据的每个元素均转换为一个高维向量，并包含位置信息，作为Transformer模型的输入序列；

输入的所述高维向量通过Transformer模型的自注意力层，使得每个元素与其他元素进行关联，得到新的表示；

将所述新的表示作为输入传递给Transformer模型的前馈神经网络层而进行线性变换，并应用激活函数引入非线性，而输出生成序列；

在Transformer模型的解码器层中，模型通过自注意力层关注生成序列中的每个位置，并通过编码器-解码器注意力层关注所述输入序列，并输出生成序列的特征表示；

建立监督学习任务，采用所述特征表示计算预测结果，并与真实标签进行比较来度量模型的输出结果与目标的差异，并基于比较结果对所述模型进行训练及优化，而完成Transformer模型搭建；

将新的未知数据输入所述Transformer模型，获得对应每种分类结果的预处理结果；

依据所述预处理方案对每种分类结果中的所有文件进行处理，包括：

判断各类文件相应的文件夹中是否包括文本数据和图像数据，若是，则执行以下步骤；

将各类文件相应文件夹中的文本数据和图像数据整理为独立的数据集，且每个所述数据集具有相应的标签；

对各类所述文本数据和图像数据进行相同的数据增强操作；

将经过所述数据增强操作的文本数据和图像数据合并成一个新的平衡数据集；

对各种分类结果对应的所述预处理结果进行综合评价，获得文件预处理评价结果，包括：

确定用于评价文件预处理结果的评价指标；

对于不同的预处理结果，根据定义的所述评价指标设定评价规则；

针对每种分类结果的所述预处理结果，根据设定的所述评价规则进行综合评价，得到一个综合评价分数；

对于不同的分类结果，对所述综合评价分数进行比较，确定分数更优的分类结果为最终的文件分类方式。

2.根据权利要求1所述的基于深度学习的工程咨询信息全流程管理方法，其特征在于，输入的所述高维向量通过Transformer模型的自注意力层，使得每个元素与其他元素进行关联，得到新的表示，包括：

对于输入的每个所述高维向量，通过线性变换分别得到Query向量、Key向量、Value向量，用于计算每个元素与其他元素的关联；

通过计算所述Query向量和每个所述Key向量之间的相似度得分，得到一个得分矩阵，用于表示每个元素与其他元素的关联程度；

对所述得分矩阵进行softmax操作，得到注意力权重矩阵，用于表示了每个元素对其他元素的关注程度，权重与每个元素与其他元素关联程度的权重成正比；

将所述Value向量按照所述注意力权重进行加权求和，得到所述新的表示。

3.根据权利要求1所述的基于深度学习的工程咨询信息全流程管理方法，其特征在于，所述数据增强操作包括：

在所述文本数据和图像数据中确定应用数据增强操作的概率阈值p；

确定所述数据增强操作的增强技术包括随机删除、随机交换、随机插入、随机替换、随机旋转、随机裁剪、随机翻转、随机添加噪声中的至少一种；

在应用每种所述增强技术前，生成一个0到1之间的随机数r，且比较所述随机数r与所述概率阈值p的大小；

若所述随机数r小于等于所述概率阈值p，则应用所述增强技术；若所述随机数r大于所述概率阈值p，则跳过所述增强技术。

4.一种基于深度学习的工程咨询信息全流程管理系统，采用如权利要求1所述的基于深度学习的工程咨询信息全流程管理方法，其特征在于，包括：

初级分类模块，确定文件处理范围，且在范围内对文件进行初级分类，初级分类的方式至少包括两种，且对应获得至少两种分类结果；

预处理模块，获得文件的预处理方式集合，且针对各所述分类结果确定统一的预处理方案和深度学习模型；

深度学习处理模块，依据所述预处理方案对每种分类结果中的所有文件进行处理，以及通过所述深度学习模型对预处理后的所有文件进行深度学习，获得对应每种分类结果的预处理结果；

综合评价模块，对各种分类结果对应的所述预处理结果进行综合评价，获得文件预处理评价结果；

分类选择模块，依据所述文件预处理评价结果确定最终的一种文件分类方式，且提取分类结果；

预处理调整模块，根据所提取的分类结果对所述预处理方案进行调整，基于调整后的最终处理方案对所提取的分类结果进行处理，获得文件处理结果。

5.根据权利要求4所述的基于深度学习的工程咨询信息全流程管理系统，其特征在于，深度学习处理模块包括：

数据向量化单元，将输入数据的每个元素转换为高维向量，并添加位置信息，作为Transformer模型的输入序列；

自注意力单元，将输入的高维向量通过Transformer模型的自注意力层，实现每个元素与其他元素的关联，并得到新的表示；

线性变换与激活单元，将新的表示传递给Transformer模型的前馈神经网络层，进行线性变换并应用激活函数引入非线性，输出生成序列；

解码器，通过Transformer模型的解码器层，使得模型通过自注意力层关注生成序列中的每个位置，并通过编码器-解码器注意力层关注输入序列，输出生成序列的特征表示；

监督学习任务单元，建立监督学习任务，采用特征表示计算预测结果，并与真实标签进行比较来度量模型的输出结果与目标的差异，基于比较结果对模型进行训练和优化；

预测单元，将新的未知数据输入Transformer模型，获得对应每种分类结果的预处理结果。

6.根据权利要求4所述的基于深度学习的工程咨询信息全流程管理系统，其特征在于，所述深度学习处理模块包括：

数据准备单元，判断各类文件相应的文件夹中是否包括文本数据和图像数据，若是，则输出所述文本数据和图像数据；

数据集整理单元，将各类文件相应文件夹中的文本数据和图像数据整理为独立的数据集，且为每个所述数据集赋予相应的标签；

数据增强单元，对各类所述文本数据和图像数据进行相同的数据增强操作；

数据合并单元，将经过所述数据增强操作的文本数据和图像数据合并成一个新的平衡数据集。