CN117592458B - 基于人工智能的数字化投标文件盲盒解析方法及系统 - Google Patents

基于人工智能的数字化投标文件盲盒解析方法及系统 Download PDF

Info

Publication number
CN117592458B
CN117592458B CN202410079357.7A CN202410079357A CN117592458B CN 117592458 B CN117592458 B CN 117592458B CN 202410079357 A CN202410079357 A CN 202410079357A CN 117592458 B CN117592458 B CN 117592458B
Authority
CN
China
Prior art keywords
data
blind box
bidding
model
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410079357.7A
Other languages
English (en)
Other versions
CN117592458A (zh
Inventor
张汪洋
陈洪岭
金萍
张晨曦
罗欣桐
孟鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Netcom Digital Technology Industry Co ltd
Original Assignee
Liaoning Netcom Digital Technology Industry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Netcom Digital Technology Industry Co ltd filed Critical Liaoning Netcom Digital Technology Industry Co ltd
Priority to CN202410079357.7A priority Critical patent/CN117592458B/zh
Publication of CN117592458A publication Critical patent/CN117592458A/zh
Application granted granted Critical
Publication of CN117592458B publication Critical patent/CN117592458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/226—Validation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Economics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Analysis (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)

Abstract

本发明涉及人工智能技术领域，具体是指基于人工智能的数字化投标文件盲盒解析方法及系统，所述方法包括数据采集和处理、盲盒解析、数据验证和格式化、报价计算和安全性和隐私保护，本方案通过使用基于模糊的饥饿游戏搜索算法，引入了模糊适应度值和模糊选择机制，增强了算法的全局搜索能力，从而提高算法的收敛速度，增强了算法的鲁棒性，更好的处理不确定性和模糊信息；同时使用可扩展多目标优化的可学习进化算法，通过学习超参数空间的结构来指导超参数的搜索，使该算法快速找到最优的超参数组合，增强鲁棒性；所述系统包括数据采集和处理模块、盲盒解析模块、数据验证和格式化模块、报价计算标注模块和安全隐私保护模块。

Description

基于人工智能的数字化投标文件盲盒解析方法及系统
技术领域
本发明涉及人工智能技术领域，具体是指基于人工智能的数字化投标文件盲盒解析方法及系统。
背景技术
现有的投标文件解析通常基于规则和模板，容易受到投标文件格式和结构变化的影响，导致解析准确率低，传统的特征提取方法，使用普通的搜索算法容易陷入局部最优解，同时存在收敛速度慢、鲁棒性差的问题；一般寻找超参数组合的算法存在寻找速度慢、鲁棒性差和通用性差的问题，导致非常耗时，可能会错过一些好的超参数组合。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了基于人工智能的数字化投标文件盲盒解析方法及系统，针对传统的特征提取方法，使用普通的搜索算法容易陷入局部最优解，同时存在收敛速度慢、鲁棒性差的问题，本方案通过使用基于模糊的饥饿游戏搜索算法，引入了模糊适应度值和模糊选择机制，增强了算法的全局搜索能力，更好的跳出局部最优解，生成更多样化的候选解，从而提高算法的收敛速度，增强了算法的鲁棒性，更好的处理不确定性和模糊信息；针对一般寻找超参数组合的算法存在寻找速度慢、鲁棒性差和通用性差的问题，导致非常耗时，可能会错过一些好的超参数组合，本方案通过使用可扩展多目标优化的可学习进化算法，通过学习超参数空间的结构来指导超参数的搜索，使该算法快速找到最优的超参数组合，增强鲁棒性，使结构更准确可靠。
本发明采取的技术方案如下：本发明提供的基于人工智能的数字化投标文件盲盒解析方法，该方法包括以下步骤：
步骤S1：数据采集和处理，获取数字化投标文件盲盒数据，对数字化投标文件盲盒数据进行预处理，包括数据清洗、去除噪声和格式转换，得到预处理后的数字化投标文件盲盒数据；
步骤S2：盲盒解析，使用自然语言处理和机器学习对预处理后的数字化投标文件盲盒数据进行解析，包括招标要求、招标规格、招标条件和截止日期，得到解析后的数字化投标文件盲盒数据；
步骤S3：数据验证和格式化，对数字化投标文件盲盒数据进行验证和格式化，使用数据验证算法检查数字化投标文件盲盒数据完整性和合法性，并对数字化投标文件盲盒数据进行标准化和格式化；
步骤S4：报价计算，根据 解析后的数字化投标文件盲盒数据，进行报价计算；
步骤S5：安全性和隐私保护，在整个过程中，使用数据加密和访问控制保护数据隐私。
进一步地，在步骤S2中，使用自然语言处理和机器学习对预处理后的数字化投标文件盲盒数据进行解析，具体包括以下步骤：
步骤S21：文本分类，建立文本分类模型，使用文本分类模型对投标文件进行分类，将文本内容分为不同的类别，包括招标要求、招标规格和招标条件，得到文本分类结果；
进一步的，在步骤S21中，建立文本分类模型，使用文本分类模型对投标文件进行分类，具体包括以下步骤：
步骤S211：收集数据与预处理，从预处理后的数字化投标文件盲盒数据提取投标文件中的文本内容，同时进行清洗和处理，得到处理后的文本内容；
步骤S212：特征提取，将处理后的文本内容作为数据集，将数据集的80%作为训练集，数据集的20%作为验证集，使用基于模糊的饥饿游戏搜索算法对数据集进行特征提取；
进一步的，在步骤S212中，使用基于模糊的饥饿游戏搜索算法对数据集进行特征提取，具体包括以下步骤：
步骤S2121：使用模糊逻辑，定义模糊集，使用隶属度函数表示，所用公式如下：
；
其中，为模糊集，为模糊集定义的范围，为模糊集的隶属度函数，为隶属 度函数的取值范围，为[0,1]；
步骤S2122：使用试错法，确定模糊集形式，包括三角形、梯形和高斯形，确定模糊集的间隔和数量；
步骤S2123：初始化，设置最大隶属度函数评估次数，使用均匀随机分布随机初始化代理种群，所用公式如下：
；
其中，是随机初始化的解向量，、是解向量的上限和下限，表示每个 代理，为随机数函数，取值为[0,1]；
步骤S2124：使用线性种群缩减方法，所用公式如下：
；
其中，为下一代代理种群的大小，为最大代理种群大小，为最 小代理种群大小，为最大隶属度函数评估次数，为当前隶属度函数评估次数，表示四舍五入函数；
步骤S2125：更新当前隶属度函数评估次数，所用公式如下：
；
步骤S2126：特征提取，使用饥饿游戏搜索算法进行特征提取；
步骤S2127：迭代步骤，重复步骤S2124至步骤S2126，直至达到最大隶属度函数评估次数；
步骤S213：模型选择与训练，选择RNN-CNN-LSTM建立文本分类模型，使用训练集进行训练；
进一步的，在步骤S213中，选择RNN-CNN-LSTM建立文本分类模型，使用训练集进行训练，具体包括以下步骤：
步骤S2131：设置模型架构，定义输入层、卷积层、LSTM层、全连接层和输出层；
进一步的，在步骤S2131中，定义输入层、卷积层、LSTM层、全连接层和输出层，具体包括以下内容：
输入层：将训练集转换为词嵌入向量，采用预训练的词向量模型Word2Vec训练词嵌入向量；
卷积层：提取训练集中的局部特征，定义卷积核大小和卷积核数量；
LSTM层：定义LSTM层中LSTM单元的数量，添加Dropout层；
全连接层：在文本分类模型的顶部添加全连接层，整合局部特征并输出分类结果，定义神经元数量和激活函数ReLU；
输出层：定义分类数，分类数的数量与神经元数量保持一致，定义激活函数softmax；
步骤S2132：模型训练，使用训练集对文本分类模型进行训练，通过反向传播和优化算法更新文本分类模型的参数；
步骤S2133：模型预测，使用验证集评估模型的性能，并使用可扩展多目标优化的可学习进化算法自动调整超参数；
进一步的，在步骤S2133中，使用验证集评估模型的性能，并使用可扩展多目标优化的可学习进化算法自动调整超参数，具体包括以下步骤：
步骤S21331：初始化超参数空间；
步骤S21332：初始化进化算法种群，在超参数空间中随机生成个体，所有个体作为初始种群；
步骤S21333：个体评估，对种群的每个个体进行评估，计算每个个体的适应度值，选择适应度值高的个体；
步骤S21334：对适应度最高的个体进行交叉和变异操作，产生新的个体；
步骤S21335：重复步骤，重复步骤S21333至步骤S21334，直至找到最优超参数组合；
步骤S21336：返回最优超参数组合，返回适应度值最高的超参数组合，作为最优的超参数组合；
步骤S214：模型评估，使用测试集对训练好的文本分类模型进行评估，计算分类准确率、精确率和召回率，得到评估结果；
步骤S215：模型优化，根据评估结果对文本分类模型进行调优，优化完成后得到文本分类模型；
步骤S22：实体识别，建立实体识别模型，使用实体识别模型对投标文件的实体进行识别，包括公司名称、产品名称和产品类别，得到实体识别结果；
步骤S23：关系提取，建立关系抽取模型，使用关系抽取模型识别投标文件中的关系，包括供应商和产品之间的关系、供应商和交货时间之间的关系、产品之间的关系、产品和规格之间的关系、产品和技术特性之间的关系，得到关系提取结果；
步骤S24：结果整合，将文本分类结果、实体识别结果和关系提取结果进行整合，形成结构化的数据表示。
本发明提供的基于人工智能的数字化投标文件盲盒解析系统，包括数据采集和处理模块、盲盒解析模块、数据验证和格式化模块、报价计算标注模块和安全隐私保护模块；
所述数据采集和处理模块从招标平台获取数字化投标文件盲盒数据，对数字化投标文件盲盒数据进行预处理，包括数据清洗、去除噪声和格式转换；
所述盲盒解析模块使用人工智能算法对投标文件进行解析，得到解析数据，识别和提取关键信息，包括投标人信息、项目要求和报价，自动识别和解析各种格式的投标文件；
所述数据验证和格式化模块对解析数据进行验证，检查解析数据的完整性、正确性和一致性，并进行修正和格式化；
所述报价计算标注模块根据解析数据，进行报价计算和分析，根据设定的规则和算法，自动计算出最终的报价，并生成相应的报价文档；
所述安全隐私保护模块保护投标文件的安全性和投标人的隐私，采用加密技术、访问控制和身份验证方法。
采用上述方案本发明取得的有益效果如下：
（1）针对传统的特征提取方法，使用普通的搜索算法容易陷入局部最优解，同时存在收敛速度慢、鲁棒性差的问题，本方案通过使用基于模糊的饥饿游戏搜索算法，引入了模糊适应度值和模糊选择机制，增强了算法的全局搜索能力，则更好的跳出局部最优解，生成更多样化的候选解，从而提高算法的收敛速度，增强了算法的鲁棒性，更好的处理不确定性和模糊信息。
（2）针对一般寻找超参数组合的算法存在寻找速度慢、鲁棒性差和通用性差的问题，导致非常耗时，可能会错过一些好的超参数组合，本方案通过使用可扩展多目标优化的可学习进化算法，通过学习超参数空间的结构来指导超参数的搜索，使该算法快速找到最优的超参数组合，增强鲁棒性，使结构更准确可靠。
附图说明
图1为本发明提供的基于人工智能的数字化投标文件盲盒解析方法的流程示意图；
图2为步骤S2的流程示意图；
图3为步骤S21的流程示意图；
图4为步骤S212的流程示意图；
图5为步骤S213的流程示意图；
图6为步骤S2133的流程示意图；
图7为本发明提供的基于人工智能的数字化投标文件盲盒解析系统的示意图。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例一，参阅图1，本发明提供的基于人工智能的数字化投标文件盲盒解析方法，该方法包括以下步骤：
步骤S1：数据采集和处理，获取数字化投标文件盲盒数据，对数字化投标文件盲盒数据进行预处理，包括数据清洗、去除噪声和格式转换，得到预处理后的数字化投标文件盲盒数据；
步骤S2：盲盒解析，使用自然语言处理和机器学习对预处理后的数字化投标文件盲盒数据进行解析，包括招标要求、招标规格、招标条件和截止日期，得到解析后的数字化投标文件盲盒数据；
步骤S3：数据验证和格式化，对数字化投标文件盲盒数据进行验证和格式化，使用数据验证算法检查数字化投标文件盲盒数据完整性和合法性，并对数字化投标文件盲盒数据进行标准化和格式化；
步骤S4：报价计算，根据解析后的数字化投标文件盲盒数据，进行报价计算；
步骤S5：安全性和隐私保护，在整个过程中，使用数据加密和访问控制保护数据隐私。
实施例二，参阅图2至图6，该实施例基于上述实施例，在步骤S2中，使用自然语言处理和机器学习对预处理后的数字化投标文件盲盒数据进行解析，具体包括以下步骤：
步骤S21：文本分类，建立文本分类模型，使用文本分类模型对投标文件进行分类，将文本内容分为不同的类别，包括招标要求、招标规格和招标条件，得到文本分类结果；
在步骤S21中，建立文本分类模型，使用文本分类模型对投标文件进行分类，具体包括以下步骤：
步骤S211：收集数据与预处理，从预处理后的数字化投标文件盲盒数据提取投标文件中的文本内容，同时进行清洗和处理，得到处理后的文本内容；
步骤S212：特征提取，将处理后的文本内容作为数据集，将数据集的80%作为训练集，数据集的20%作为验证集，使用基于模糊的饥饿游戏搜索算法对数据集进行特征提取；
在步骤S212中，使用基于模糊的饥饿游戏搜索算法对数据集进行特征提取，具体包括以下步骤：
步骤S2121：使用模糊逻辑，定义模糊集，使用隶属度函数表示，所用公式如下：
；
其中，为模糊集，为模糊集定义的范围，为模糊集的隶属度函数，为隶属 度函数的取值范围，为[0,1]；
步骤S2122：使用试错法，确定模糊集形式，包括三角形、梯形和高斯形，确定模糊集的间隔和数量；
步骤S2123：初始化，设置最大隶属度函数评估次数，使用均匀随机分布随机初始化代理种群，所用公式如下：
；
其中，是随机初始化的解向量，、是解向量的上限和下限，表示每个 代理，为随机数函数，取值为[0,1]；
步骤S2124：使用线性种群缩减方法，所用公式如下：
；
其中，为下一代代理种群的大小，为最大代理种群大小，为最 小代理种群大小，为最大隶属度函数评估次数，为当前隶属度函数评估次数，表示四舍五入函数；
步骤S2125：更新当前隶属度函数评估次数，所用公式如下：
；
步骤S2126：特征提取，使用饥饿游戏搜索算法进行特征提取；
步骤S2127：迭代步骤，重复步骤S2124至步骤S2126，直至达到最大隶属度函数评估次数；
步骤S213：模型选择与训练，选择RNN-CNN-LSTM建立文本分类模型，使用训练集进行训练；
在步骤S213中，选择RNN-CNN-LSTM建立文本分类模型，使用训练集进行训练，具体包括以下步骤：
步骤S2131：设置模型架构，定义输入层、卷积层、LSTM层、全连接层和输出层；
在步骤S2131中，定义输入层、卷积层、LSTM层、全连接层和输出层，具体包括以下内容：
输入层：将训练集转换为词嵌入向量，采用预训练的词向量模型Word2Vec训练词嵌入向量；
卷积层：提取训练集中的局部特征，定义卷积核大小和卷积核数量；
LSTM层：定义LSTM层中LSTM单元的数量，添加Dropout层；
全连接层：在文本分类模型的顶部添加全连接层，整合局部特征并输出分类结果，定义神经元数量和激活函数ReLU；
输出层：定义分类数，分类数的数量与神经元数量保持一致，定义激活函数softmax；
步骤S2132：模型训练，使用训练集对文本分类模型进行训练，通过反向传播和优化算法更新文本分类模型的参数；
步骤S2133：模型预测，使用验证集评估模型的性能，并使用可扩展多目标优化的可学习进化算法自动调整超参数；
在步骤S2133中，使用验证集评估模型的性能，并使用可扩展多目标优化的可学习进化算法自动调整超参数，具体包括以下步骤：
步骤S21331：初始化超参数空间；
步骤S21332：初始化进化算法种群，在超参数空间中随机生成个体，所有个体作为初始种群；
步骤S21333：个体评估，对种群的每个个体进行评估，计算每个个体的适应度值，选择适应度值高的个体；
步骤S21334：对适应度最高的个体进行交叉和变异操作，产生新的个体；
步骤S21335：重复步骤，重复步骤S21333至步骤S21334，直至找到最优超参数组合；
步骤S21336：返回最优超参数组合，返回适应度值最高的超参数组合，作为最优的超参数组合；
步骤S214：模型评估，使用测试集对训练好的文本分类模型进行评估，计算分类准确率、精确率和召回率，得到评估结果；
步骤S215：模型优化，根据评估结果对文本分类模型进行调优，优化完成后得到文本分类模型；
步骤S22：实体识别，建立实体识别模型，使用实体识别模型对投标文件的实体进行识别，包括公司名称、产品名称和产品类别，得到实体识别结果；
步骤S23：关系提取，建立关系抽取模型，使用关系抽取模型识别投标文件中的关系，包括供应商和产品之间的关系、供应商和交货时间之间的关系、产品之间的关系、产品和规格之间的关系、产品和技术特性之间的关系，得到关系提取结果；
步骤S24：结果整合，将文本分类结果、实体识别结果和关系提取结果进行整合，形成结构化的数据表示。
通过执行上述操作，针对传统的特征提取方法，使用普通的搜索算法容易陷入局部最优解，同时存在收敛速度慢、鲁棒性差的问题，本方案通过使用基于模糊的饥饿游戏搜索算法，引入了模糊适应度值和模糊选择机制，增强了算法的全局搜索能力，则更好的跳出局部最优解，生成更多样化的候选解，从而提高算法的收敛速度，增强了算法的鲁棒性，更好的处理不确定性和模糊信息；针对一般寻找超参数组合的算法存在寻找速度慢、鲁棒性差和通用性差的问题，导致非常耗时，可能会错过一些好的超参数组合，本方案通过使用可扩展多目标优化的可学习进化算法，通过学习超参数空间的结构来指导超参数的搜索，使该算法快速找到最优的超参数组合，增强鲁棒性，使结构更准确可靠。
实施例三，参阅图7，该实施例基于上述实施例，本发明提供的基于人工智能的数字化投标文件盲盒解析系统，包括数据采集和处理模块、盲盒解析模块、数据验证和格式化模块、报价计算标注模块和安全隐私保护模块；
所述数据采集和处理模块从招标平台获取数字化投标文件盲盒数据，对数字化投标文件盲盒数据进行预处理，包括数据清洗、去除噪声和格式转换；
所述盲盒解析模块使用人工智能算法对投标文件进行解析，得到解析数据，识别和提取关键信息，包括投标人信息、项目要求和报价，自动识别和解析各种格式的投标文件；
所述数据验证和格式化模块对解析数据进行验证，检查解析数据的完整性、正确性和一致性，并进行修正和格式化；
所述报价计算标注模块根据解析数据，进行报价计算和分析，根据设定的规则和算法，自动计算出最终的报价，并生成相应的报价文档；
所述安全隐私保护模块保护投标文件的安全性和投标人的隐私，采用加密技术、访问控制和身份验证方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (2)

1.基于人工智能的数字化投标文件盲盒解析方法，其特征在于：该方法包括以下步骤：
步骤S1：数据采集和处理，获取数字化投标文件盲盒数据，对数字化投标文件盲盒数据进行预处理，包括数据清洗、去除噪声和格式转换，得到预处理后的数字化投标文件盲盒数据；
步骤S2：盲盒解析，使用自然语言处理和机器学习对预处理后的数字化投标文件盲盒数据进行解析，包括招标要求、招标规格、招标条件和截止日期，得到解析后的数字化投标文件盲盒数据；
步骤S3：数据验证和格式化，对数字化投标文件盲盒数据进行验证和格式化，使用数据验证算法检查数字化投标文件盲盒数据完整性和合法性，并对数字化投标文件盲盒数据进行标准化和格式化；
步骤S4：报价计算，根据解析后的数字化投标文件盲盒数据，进行报价计算；
步骤S5：安全性和隐私保护，在整个过程中，使用数据加密和访问控制保护数据隐私；
在步骤S2中，使用自然语言处理和机器学习对预处理后的数字化投标文件盲盒数据进行解析，具体包括以下步骤：
步骤S21：文本分类，建立文本分类模型，使用文本分类模型对投标文件进行分类，将文本内容分为不同的类别，包括招标要求、招标规格和招标条件，得到文本分类结果；
步骤S22：实体识别，建立实体识别模型，使用实体识别模型对投标文件的实体进行识别，包括公司名称、产品名称和产品类别，得到实体识别结果；
步骤S23：关系提取，建立关系抽取模型，使用关系抽取模型识别投标文件中的关系，包括供应商和产品之间的关系、供应商和交货时间之间的关系、产品之间的关系、产品和规格之间的关系、产品和技术特性之间的关系，得到关系提取结果；
步骤S24：结果整合，将文本分类结果、实体识别结果和关系提取结果进行整合，形成结构化的数据表示；
在步骤S21中，建立文本分类模型，使用文本分类模型对投标文件进行分类，具体包括以下步骤：
步骤S211：收集数据与预处理，从预处理后的数字化投标文件盲盒数据提取投标文件中的文本内容，同时进行清洗和处理，得到处理后的文本内容；
步骤S212：特征提取，将处理后的文本内容作为数据集，将数据集的80%作为训练集，数据集的20%作为验证集，使用基于模糊的饥饿游戏搜索算法对数据集进行特征提取；
步骤S213：模型选择与训练，选择RNN-CNN-LSTM建立文本分类模型，使用训练集进行训练；
步骤S214：模型评估，使用测试集对训练好的文本分类模型进行评估，计算分类准确率、精确率和召回率，得到评估结果；
步骤S215：模型优化，根据评估结果对文本分类模型进行调优，优化完成后得到文本分类模型；
在步骤S212中，使用基于模糊的饥饿游戏搜索算法对数据集进行特征提取，具体包括以下步骤：
步骤S2121：使用模糊逻辑，定义模糊集，使用隶属度函数表示，所用公式如下：
；
其中，为模糊集，/>为模糊集定义的范围，/>为模糊集的隶属度函数，/>为隶属度函数的取值范围，为[0,1]；
步骤S2122：使用试错法，确定模糊集形式，包括三角形、梯形和高斯形，确定模糊集的间隔和数量；
步骤S2123：初始化，设置最大隶属度函数评估次数，使用均匀随机分布随机初始化代理种群，所用公式如下：
；
其中，是随机初始化的解向量，/>、/>是解向量的上限和下限，/>表示每个代理，为随机数函数，取值为[0,1]；
步骤S2124：使用线性种群缩减方法，所用公式如下：
；
其中，为下一代代理种群的大小，/>为最大代理种群大小，/>为最小代理种群大小，/>为最大隶属度函数评估次数，/>为当前隶属度函数评估次数，表示四舍五入函数；
步骤S2125：更新当前隶属度函数评估次数，所用公式如下：
；
步骤S2126：特征提取，使用饥饿游戏搜索算法进行特征提取；
步骤S2127：迭代步骤，重复步骤S2124至步骤S2126，直至达到最大隶属度函数评估次数；
在步骤S213中，选择RNN-CNN-LSTM建立文本分类模型，使用训练集进行训练，具体包括以下步骤：
步骤S2131：设置模型架构，定义输入层、卷积层、LSTM层、全连接层和输出层；
步骤S2132：模型训练，使用训练集对文本分类模型进行训练，通过反向传播和优化算法更新文本分类模型的参数；
步骤S2133：模型预测，使用验证集评估模型的性能，并使用可扩展多目标优化的可学习进化算法自动调整超参数；
在步骤S2131中，定义输入层、卷积层、LSTM层、全连接层和输出层，具体包括以下内容：
输入层：将训练集转换为词嵌入向量，采用预训练的词向量模型Word2Vec训练词嵌入向量；
卷积层：提取训练集中的局部特征，定义卷积核大小和卷积核数量；
LSTM层：定义LSTM层中LSTM单元的数量，添加Dropout层；
全连接层：在文本分类模型的顶部添加全连接层，整合局部特征并输出分类结果，定义神经元数量和激活函数ReLU；
输出层：定义分类数，分类数的数量与神经元数量保持一致，定义激活函数softmax；
在步骤S2133中，使用验证集评估模型的性能，并使用可扩展多目标优化的可学习进化算法自动调整超参数，具体包括以下步骤：
步骤S21331：初始化超参数空间；
步骤S21332：初始化进化算法种群，在超参数空间中随机生成个体，所有个体作为初始种群；
步骤S21333：个体评估，对种群的每个个体进行评估，计算每个个体的适应度值，选择适应度值高的个体；
步骤S21334：交叉和变异操作，对适应度最高的个体进行交叉和变异操作，产生新的个体；
步骤S21335：重复步骤，重复步骤S21333至步骤S21334，直至找到最优超参数组合；
步骤S21336：返回最优超参数组合，返回适应度值最高的超参数组合，作为最优的超参数组合。
2.基于人工智能的数字化投标文件盲盒解析系统，用于实现权利要求1所述的基于人工智能的数字化投标文件盲盒解析方法，其特征在于：包括数据采集和处理模块、盲盒解析模块、数据验证和格式化模块、报价计算标注模块和安全隐私保护模块；
所述数据采集和处理模块从招标平台获取数字化投标文件盲盒数据，对数字化投标文件盲盒数据进行预处理，包括数据清洗、去除噪声和格式转换；
所述盲盒解析模块使用人工智能算法对投标文件进行解析，得到解析数据，识别和提取关键信息，包括投标人信息、项目要求和报价，自动识别和解析各种格式的投标文件；
所述数据验证和格式化模块对解析数据进行验证，检查解析数据的完整性、正确性和一致性，并进行修正和格式化；
所述报价计算标注模块根据解析数据，进行报价计算和分析，根据设定的规则和算法，自动计算出最终的报价，并生成相应的报价文档；
所述安全隐私保护模块保护投标文件的安全性和投标人的隐私，采用加密技术、访问控制和身份验证方法。
CN202410079357.7A 2024-01-19 2024-01-19 基于人工智能的数字化投标文件盲盒解析方法及系统 Active CN117592458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410079357.7A CN117592458B (zh) 2024-01-19 2024-01-19 基于人工智能的数字化投标文件盲盒解析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410079357.7A CN117592458B (zh) 2024-01-19 2024-01-19 基于人工智能的数字化投标文件盲盒解析方法及系统

Publications (2)

Publication Number Publication Date
CN117592458A CN117592458A (zh) 2024-02-23
CN117592458B true CN117592458B (zh) 2024-04-05

Family

ID=89917060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410079357.7A Active CN117592458B (zh) 2024-01-19 2024-01-19 基于人工智能的数字化投标文件盲盒解析方法及系统

Country Status (1)

Country Link
CN (1) CN117592458B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108496195A (zh) * 2016-02-19 2018-09-04 凯文·孙林·王 密封式投标拍卖的方法和系统
CN111461851A (zh) * 2020-05-22 2020-07-28 烟台大学 一种基于区块链的双盲招投标系统和招投标方法
CN112734541A (zh) * 2021-01-29 2021-04-30 重庆第二师范学院 支持隐私保护的秘密投标和专家评估安全采购寻源系统
CN112767091A (zh) * 2021-01-29 2021-05-07 湖南大学 基于区块链的可监管招投标与隐私处理方法、设备及介质
CN116757808A (zh) * 2023-08-18 2023-09-15 江西省精彩纵横采购咨询有限公司 一种基于大数据的投标文件自动生成方法及系统
CN116805261A (zh) * 2023-08-24 2023-09-26 天天向上(北京)网络科技有限公司 一种公共采购数字化交易管理系统
CN116862431A (zh) * 2023-07-07 2023-10-10 甘肃文锐电子交易网络有限公司 基于区块链和隐私计算的企业采购SaaS平台
CN117112782A (zh) * 2023-06-06 2023-11-24 四川文渊阁科技有限公司 一种招标公告信息提取方法
CN117408650A (zh) * 2023-12-15 2024-01-16 辽宁省网联数字科技产业有限公司 基于人工智能的数字化招标文件制作和评估系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108496195A (zh) * 2016-02-19 2018-09-04 凯文·孙林·王 密封式投标拍卖的方法和系统
CN111461851A (zh) * 2020-05-22 2020-07-28 烟台大学 一种基于区块链的双盲招投标系统和招投标方法
CN112734541A (zh) * 2021-01-29 2021-04-30 重庆第二师范学院 支持隐私保护的秘密投标和专家评估安全采购寻源系统
CN112767091A (zh) * 2021-01-29 2021-05-07 湖南大学 基于区块链的可监管招投标与隐私处理方法、设备及介质
CN117112782A (zh) * 2023-06-06 2023-11-24 四川文渊阁科技有限公司 一种招标公告信息提取方法
CN116862431A (zh) * 2023-07-07 2023-10-10 甘肃文锐电子交易网络有限公司 基于区块链和隐私计算的企业采购SaaS平台
CN116757808A (zh) * 2023-08-18 2023-09-15 江西省精彩纵横采购咨询有限公司 一种基于大数据的投标文件自动生成方法及系统
CN116805261A (zh) * 2023-08-24 2023-09-26 天天向上(北京)网络科技有限公司 一种公共采购数字化交易管理系统
CN117408650A (zh) * 2023-12-15 2024-01-16 辽宁省网联数字科技产业有限公司 基于人工智能的数字化招标文件制作和评估系统

Also Published As

Publication number Publication date
CN117592458A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN110532542B (zh) 一种基于正例与未标注学习的发票虚开识别方法及系统
CN110069709B (zh) 意图识别方法、装置、计算机可读介质及电子设备
US20210382937A1 (en) Image processing method and apparatus, and storage medium
CN112732916B (zh) 一种基于bert的多特征融合模糊文本分类系统
CN110502626B (zh) 一种基于卷积神经网络的方面级情感分析方法
CN112269868B (zh) 一种基于多任务联合训练的机器阅读理解模型的使用方法
Chang et al. Research on detection methods based on Doc2vec abnormal comments
CN110807324A (zh) 一种基于IDCNN-crf与知识图谱的影视实体识别方法
CN111597340A (zh) 一种文本分类方法及装置、可读存储介质
CN114579430A (zh) 一种基于预训练语言模型的测试用例推荐系统及方法
CN116361815B (zh) 基于机器学习的代码敏感信息及硬编码检测方法及装置
CN109710760A (zh) 短文本的聚类方法、装置、介质及电子设备
CN114064117A (zh) 一种基于字节码和神经网络的代码克隆检测方法及系统
US20240078384A1 (en) Method of training sentiment preference recognition model for comment information, recognition method, and device thereof
CN111538846A (zh) 基于混合协同过滤的第三方库推荐方法
CN113886562A (zh) 一种ai简历筛选方法、系统、设备和存储介质
CN113627151B (zh) 跨模态数据的匹配方法、装置、设备及介质
CN112966507A (zh) 构建识别模型及攻击识别方法、装置、设备及存储介质
CN113704393A (zh) 关键词提取方法、装置、设备及介质
CN117592458B (zh) 基于人工智能的数字化投标文件盲盒解析方法及系统
CN109284392B (zh) 一种文本分类方法、装置、终端及存储介质
Al-Tameemi et al. Multi-model fusion framework using deep learning for visual-textual sentiment classification
CN116663539A (zh) 基于RoBERTa和指针网络的中文实体与关系联合抽取方法及系统
CN114610882A (zh) 一种基于电力短文本分类的异常设备编码检测方法和系统
CN114330350A (zh) 一种命名实体识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant