CN112464635B - 投标文件自动打分的方法及其系统 - Google Patents
投标文件自动打分的方法及其系统 Download PDFInfo
- Publication number
- CN112464635B CN112464635B CN202010731728.7A CN202010731728A CN112464635B CN 112464635 B CN112464635 B CN 112464635B CN 202010731728 A CN202010731728 A CN 202010731728A CN 112464635 B CN112464635 B CN 112464635B
- Authority
- CN
- China
- Prior art keywords
- data
- score
- scoring
- model
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000010801 machine learning Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种投标文件自动打分的方法及其系统，包括如下步骤：数据处理：获取历史投标文件的文本数据以及与文本数据对应的得分数据，并对文本数据和得分数据进行预处理，对经处理的文本数据进行分词以形成若干词条，将若干词条储存并作为特征数据；模型训练：利用有监督的机器学习模型对特征数据和得分数据进行学习，从而将机器学习模型训练形成自动打分模型；自动打分：将待打分的投标文件的文本输入自动打分模型，自动打分模型输出相应的分数。本发明有效地解决了投标文件评分中主观因素影响较大的问题，减少主观因素对评分的影响，同时也能够节省人工成本，并且提高评分速度。
Description
技术领域
本发明涉及网络模型领域，特指一种投标文件自动打分的方法及其系统。
背景技术
随着电子招标采购系统的规范化、规模化，使得线下招标采购活动逐步转向线上进行，传统的招标采用中专家根据招标文件设置的条款阅读投标文件中的相应文字内容以对投标文件进行判分，线上招标采购中也无法避免专家在线评审这一环节。
然而在评审环节中，虽然招标文件对于打分方式进行了明确规定，但是专家的判分评价仍旧具有较大的主观性，从而导致同一投标文件不同专家的评分结果差异较大，虽然可以通过对多名专家的评分取平均值处理，但这样依然无法从根本问题上消除专家主观性导致的评分误差，且多名专家对同一投标文件进行评分，人工成本较高，且评分速度较慢。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种投标文件自动打分的方法及其系统，解决了投标文件评分中主观因素影响较大的问题，减少主观因素对评分的影响，同时也能够节省人工成本，并且提高评分速度。
实现上述目的的技术方案是：
本发明提供了一种投标文件自动打分的方法，包括如下步骤：
S11.数据处理：获取历史投标文件的文本数据以及与文本数据对应的得分数据，并对文本数据和得分数据进行预处理，对经处理的文本数据进行分词以形成若干词条，将若干词条储存并作为特征数据；
S12.模型训练：利用有监督的机器学习模型对特征数据和得分数据进行学习，从而将机器学习模型训练形成自动打分模型；
S13.自动打分：将待打分的投标文件的文本输入自动打分模型，自动打分模型输出相应的分数。
本发明提出了一种投标文件自动打分的方法，通过获取历史投标文件的数据，经处理后形成特征数据，利用有监督的机器学习模型对特征数据和得分数据进行学习，从而形成自动打分模型，利用形成的自动打分模型对输入的投标文件的文本进行打分，避免了主观因素的影响，解决了投标文件评分中主观因素影响较大的问题，减少主观因素对评分的影响，同时也能够节省人工成本，并且提高评分速度。
本发明投标文件自动打分的方法的进一步改进在于，文本数据进行分词后，还包括：
计算每个词条的逆文档词频，并根据停用词库设置词条的词频临界值；
将逆文档词频大于词频临界值的词条删除，并将剩余的词条储存并作为特征数据。
本发明投标文件自动打分的方法的进一步改进在于，形成自动打分模型后，还包括：
提供若干测试文本，将测试文本输入自动打分模型并对应得出若干预测分数，将若干预测分数与对应的测试文本的实际分数进行比较并得出比较结果；
根据比较结果调整特征数据和机器学习模型的超参数，利用该机器学习模型对调整后的特征数据和得分数据进行学习，以优化形成新的自动打分模型。
本发明投标文件自动打分的方法的进一步改进在于，将预测分数与实际分数进行比较时，还包括：
计算预测分数与对应的实际分数的均方根误差、平均绝对误差和均方误差，以得出比较结果。
本发明投标文件自动打分的方法的进一步改进在于，将预测分数与实际分数进行比较时，还包括：
根据若干预测分数画出预测曲线，根据实际分数画出对应的真实曲线；
将预测曲线和真实曲线进行皮尔逊相关系数衡量，以得出比较结果。
本发明投标文件自动打分的方法的进一步改进在于，对文本数据预处理时，还包括：
将文本数据转化为设定格式，并对文本数据进行清洗。
本发明投标文件自动打分的方法的进一步改进在于，对得分数据预处理时，还包括：
对得分数据进行清洗，并对清洗后的得分数据进行归一化处理。
本发明投标文件自动打分的方法及其系统的进一步改进在于，该机器学习模型采用岭回归模型。
本发明还提供了一种投标文件自动打分的系统，包括：
数据获取模块，以获取投标文件的文本数据；
数据处理模块，以对文本数据进行预处理和分词处理；以及
自动打分模型，该自动打分模型由有监督的机器学习模型对历史投标文件的文本数据和得分数据学习形成的，以对经处理的文本数据进行打分。
附图说明
图1为本发明投标文件自动打分的方法及其系统的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
参阅图1，本发明提供了一种基于云的远程控制方法及其系统，通过获取历史投标文件的数据，经处理后形成特征数据，利用有监督的机器学习模型对特征数据和得分数据进行学习，从而形成自动打分模型，利用形成的自动打分模型对输入的投标文件的文本进行打分，避免了主观因素的影响，解决了投标文件评分中主观因素影响较大的问题，减少主观因素对评分的影响，同时也能够节省人工成本，并且提高评分速度。下面结合附图对本发明基于云的远程控制方法及其系统进行说明。
参阅图1为本发明投标文件自动打分的方法及其系统的流程图。下面结合图1，对本发明投标文件自动打分的方法及其系统进行说明。
如图1所示，本发明提供了一种投标文件自动打分的方法及其系统，包括如下步骤：
执行步骤S11.数据处理：获取历史投标文件的文本数据以及与文本数据对应的得分数据，并对文本数据和得分数据进行预处理，对经处理的文本数据进行分词以形成若干词条，将若干词条储存并作为特征数据；接着执行步骤S12
执行步骤S12.模型训练：利用有监督的机器学习模型对特征数据和得分数据进行学习，从而将机器学习模型训练形成自动打分模型；接着执行步骤S13
执行步骤S13.自动打分：将待打分的投标文件的文本输入自动打分模型，该自动打分模型输出相应的分数。
较佳地，该机器学习模型采用岭回归模型。
进一步的，对文本数据预处理时，还包括：
将文本数据转化为设定格式，并对文本数据进行清洗，以过滤文本格式等。
具体的，对得分数据预处理时，还包括：
对得分数据进行清洗，并对清洗后的得分数据进行归一化处理，由于历史投标文件中的总分设定不同，因此需要归一化处理以消除得分的差异性。
作为本发明的一较佳实施方式，文本数据进行分词后，还包括：
计算每个词条的逆文档词频，并根据停用词库设置词条的词频临界值；
将逆文档词频大于词频临界值的词条删除，并将剩余的词条储存并作为特征数据。
进一步的，形成自动打分模型后，还包括：
提供历史投标文件以外的若干测试文本，将测试文本输入自动打分模型，并对应得出若干预测分数，将若干预测分数与对应的测试文本的实际分数进行比较并得出比较结果；
根据比较结果调整特征数据和机器学习模型的超参数，可以增加或删去词条，也可以改变机器学习模型的超参数的数值，利用该机器学习模型对调整后的特征数据和得分数据进行学习，以优化形成新的自动打分模型。
具体的，将预测分数与实际分数进行比较时，还包括：
计算预测分数与对应的实际分数的均方根误差、平均绝对误差和均方误差，以得出比较结果。
具体的，将预测分数与实际分数进行比较时，还包括：
根据若干预测分数画出预测曲线，根据实际分数画出对应的真实曲线；
将预测曲线和真实曲线进行皮尔逊相关系数衡量，以得出比较结果。
本发明的具体实施方式如下：
本实施例中的历史投标文件可从招采进宝平台中近三年的交易数据中获取，选取某一类的标段若干，将文本数据转化为指定格式，可根据常用词库将转化好的文本数据进行错误词语清理，并进行清洗，以过滤文字格式、检查数据一致性、处理无效值和缺失值等；
对清洗的文本数据进行中文分词，该中文分词算法采用基于统计的分词方法，在分词过程中结合行业专用词库，以提高分词准确率，可根据每次分词的结果进行人工干预核对，以提高分词的准确性；
计算每个词条的逆文档词频，并根据停用词库设置词条的词频临界值，将逆文档词频大于词频临界值的词条删除，将剩余的词条储存并作为特征数据；
将得分数据清洗后进行归一化操作，以消除因总分设定不同而出现的得分差异；
构件有监督的机器学习模型，可以利用岭回归模型，该机器学习模型对特征数据和对应的得分数据进行学习，并构件形成自动打分模型；
将历史投标文件以外的测试文本输入自动打分模型并得出预测分数，将预测分数与该测试文本对应的实际分数进行比较，可以计算预测分数和实际分数的均方根误差、平均绝对误差和均方误差，也可以根据预测分数画出预测曲线以及与实际分数对应的真实曲线，将预测曲线和真实曲线进行皮尔逊相关系数衡量，来调整机器学习模型的超参数并对应优化特征数据；
在利用机器学习模型对优化好的特征数据再次学习，以优化得到新的自动打分模型，再次测试并优化，可循环多次；
可以保存生成的若干自动打分模型，将一个真实的投标文本输入若干自动打分模型中，若干自动打分模型给出不同的得分，同时人工也对该投标文本进行打分，将自动打分模型得出的分数与人工得出的分数相比较，选择最为接近的自动打分模型作为最终模型，该自动打分模型可应用于投标文件的自动打分。
本发明还提供了一种投标文件自动打分的系统，包括：
数据获取模块，以获取投标文件的文本数据；
数据处理模块，以对文本数据进行预处理和分词处理；以及
自动打分模型，该自动打分模型由有监督的机器学习模型对历史投标文件的文本数据和得分数据学习形成的，以对经处理的文本数据进行打分。
以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。
Claims (8)
1.一种投标文件自动打分的方法，其特征在于，包括如下步骤：
S11.数据处理：获取历史投标文件的文本数据以及与所述文本数据对应的得分数据，并对所述文本数据和所述得分数据进行预处理，对经处理的所述文本数据进行分词以形成若干词条，计算每个所述词条的逆文档词频，并根据停用词库设置所述词条的词频临界值，将所述逆文档词频大于所述词频临界值的词条删除，并将剩余的所述词条储存并作为特征数据；
S12.模型训练：利用有监督的机器学习模型对所述特征数据和所述得分数据进行学习，从而将所述机器学习模型训练形成自动打分模型；
S13.自动打分：将待打分的投标文件的文本输入所述自动打分模型，所述自动打分模型输出相应的分数。
2.如权利要求1所述的投标文件自动打分的方法，其特征在于，形成所述自动打分模型后，还包括：
提供若干测试文本，将所述测试文本输入所述自动打分模型并对应得出若干预测分数，将若干所述预测分数与对应的所述测试文本的实际分数进行比较并得出比较结果；
根据所述比较结果调整所述特征数据和所述机器学习模型的超参数，利用所述机器学习模型对调整后的所述特征数据和所述得分数据进行学习，以优化形成新的自动打分模型。
3.如权利要求2所述的投标文件自动打分的方法，其特征在于，将所述预测分数与所述实际分数进行比较时，还包括：
计算所述预测分数与对应的所述实际分数的均方根误差、平均绝对误差和均方误差，以得出所述比较结果。
4.如权利要求2所述的投标文件自动打分的方法，其特征在于，将所述预测分数与所述实际分数进行比较时，还包括：
根据若干所述预测分数画出预测曲线，根据所述实际分数画出对应的真实曲线；
将所述预测曲线和所述真实曲线进行皮尔逊相关系数衡量，以得出所述比较结果。
5.如权利要求1所述的投标文件自动打分的方法，其特征在于，对所述文本数据预处理时，还包括：
将所述文本数据转化为设定格式，并对所述文本数据进行清洗。
6.如权利要求1所述的投标文件自动打分的方法，其特征在于，对所述得分数据预处理时，还包括：
对所述得分数据进行清洗，并对清洗后的所述得分数据进行归一化处理。
7.如权利要求1所述的投标文件自动打分的方法，其特征在于，所述机器学习模型采用岭回归模型。
8.一种如权利要求1所述方法的投标文件自动打分系统，其特征在于，包括：
数据获取模块，以获取投标文件的文本数据；
数据处理模块，以对所述文本数据进行预处理和分词处理；以及
自动打分模型，所述自动打分模型由有监督的机器学习模型对历史投标文件的文本数据和得分数据学习形成的，以对经处理的所述文本数据进行打分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010731728.7A CN112464635B (zh) | 2020-07-27 | 2020-07-27 | 投标文件自动打分的方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010731728.7A CN112464635B (zh) | 2020-07-27 | 2020-07-27 | 投标文件自动打分的方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112464635A CN112464635A (zh) | 2021-03-09 |
| CN112464635B true CN112464635B (zh) | 2023-02-10 |
Family
ID=74834043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010731728.7A Active CN112464635B (zh) | 2020-07-27 | 2020-07-27 | 投标文件自动打分的方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112464635B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781188B (zh) * | 2021-08-13 | 2024-02-23 | 百威投资(中国)有限公司 | 一种计算机实施的竞标方法、计算机设备及存储介质 |
| CN114782122A (zh) * | 2022-03-15 | 2022-07-22 | 福建亿力电力科技有限责任公司 | 一种投标材料中竞标者信息自动化分析方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451139A (zh) * | 2016-05-30 | 2017-12-08 | 北京三星通信技术研究有限公司 | 文件资源展示方法、装置及相应智能设备 |
| CN111274783A (zh) * | 2020-01-14 | 2020-06-12 | 广州供电局有限公司 | 一种基于语义相似分析的围串标智能识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108763213A (zh) * | 2018-05-25 | 2018-11-06 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 主题特征文本关键词提取方法 |
| CN111177365B (zh) * | 2019-12-20 | 2022-08-02 | 山东科技大学 | 一种基于图模型的无监督自动文摘提取方法 |
-
2020
- 2020-07-27 CN CN202010731728.7A patent/CN112464635B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451139A (zh) * | 2016-05-30 | 2017-12-08 | 北京三星通信技术研究有限公司 | 文件资源展示方法、装置及相应智能设备 |
| CN111274783A (zh) * | 2020-01-14 | 2020-06-12 | 广州供电局有限公司 | 一种基于语义相似分析的围串标智能识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112464635A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112464635B (zh) | 投标文件自动打分的方法及其系统 | |
| CN110216319B (zh) | 一种基于表面质量在线评估的中厚板优化剪切控制方法 | |
| CN110895565A (zh) | 一种电力设备故障缺陷文本分类方法与系统 | |
| CN108399434B (zh) | 基于特征提取的高维时间序列数据的分析预测方法 | |
| CN112307130B (zh) | 一种文档级远程监督关系抽取方法及系统 | |
| CN114754973A (zh) | 基于机器学习的风洞测力试验数据智能诊断与分析方法 | |
| CN108376293B (zh) | 一种基于模糊数学改进的层次分析法的zj17卷烟设备维修智能预测方法 | |
| CN114492926A (zh) | 一种煤矿安全隐患文本分析预测方法和系统 | |
| CN115659823A (zh) | 基于属性约简的翼型气动力系数预测方法、电子设备及存储介质 | |
| CN115358301A (zh) | 配电网电压数据清洗平台及其清洗方法 | |
| CN114896735A (zh) | 改进偏最小二乘的热轧带钢头部浪形缺陷原因识别方法 | |
| CN116748352B (zh) | 一种金属弯管机加工参数监测控制方法、系统及存储介质 | |
| CN110910528B (zh) | 纸页抗张强度的预测方法及装置 | |
| CN117436815A (zh) | 基于自然语言大模型的流程智能审批方法 | |
| CN113177578A (zh) | 一种基于lstm的农产品品质分类方法 | |
| CN115456693A (zh) | 一种大数据驱动的汽车外造型设计的自动评估方法 | |
| CN115310517A (zh) | 一种基于改进分段线性表示的航空发动机在线异常检测方法 | |
| CN111798262B (zh) | 用户关注点识别方法、系统和存储介质 | |
| Sallehuddin et al. | Forecasting small data set using hybrid cooperative feature selection | |
| CN111523580A (zh) | 一种风控模型入模变量降维方法 | |
| CN117399435B (zh) | 一种铜管轧制过程自适应补偿调整方法及系统 | |
| CN118229154A (zh) | 基于区域综合特征的农产品加工质量安全管理方法及系统 | |
| CN117933058A (zh) | 连铸工艺参数的调整方法、系统及模型生成方法、系统 | |
| CN118297471A (zh) | 基于pdca实现红曲益生菌产品质量控制方法及系统 | |
| CN116612369A (zh) | 一种自适应的深度学习自动标注方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201206 room 1101, floor 11, building 6, No. 1599, Xinjinqiao Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai Applicant after: SHANGHAI HUIZHAO INFORMATION TECHNOLOGY Co.,Ltd. Address before: 200433 room 1203-12, No.6 Weide Road, Yangpu District, Shanghai Applicant before: SHANGHAI HUIZHAO INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Fan Inventor after: Zhang Lijiang Inventor after: Zhao Jingyi Inventor after: Fan Zhenhua Inventor before: Liu Fan Inventor before: Zhang Lijiang Inventor before: Zhao Jingyi Inventor before: Fan Zhenhua |
|
| CB03 | Change of inventor or designer information | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: The method and system for automatic scoring of bidding documents Effective date of registration: 20231213 Granted publication date: 20230210 Pledgee: Pudong Shanghai technology financing Company limited by guarantee Pledgor: SHANGHAI HUIZHAO INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2023310000846 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |