CN112464635A - 投标文件自动打分的方法及其系统 - Google Patents

投标文件自动打分的方法及其系统 Download PDF

Info

Publication number
CN112464635A
CN112464635A CN202010731728.7A CN202010731728A CN112464635A CN 112464635 A CN112464635 A CN 112464635A CN 202010731728 A CN202010731728 A CN 202010731728A CN 112464635 A CN112464635 A CN 112464635A
Authority
CN
China
Prior art keywords
data
score
model
scoring
text data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010731728.7A
Other languages
English (en)
Other versions
CN112464635B (zh
Inventor
刘凡
张利江
赵婧依
范振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huizhao Information Technology Co ltd
Original Assignee
Shanghai Huizhao Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huizhao Information Technology Co ltd filed Critical Shanghai Huizhao Information Technology Co ltd
Priority to CN202010731728.7A priority Critical patent/CN112464635B/zh
Publication of CN112464635A publication Critical patent/CN112464635A/zh
Application granted granted Critical
Publication of CN112464635B publication Critical patent/CN112464635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/194Calculation of difference between files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种投标文件自动打分的方法及其系统,包括如下步骤:数据处理:获取历史投标文件的文本数据以及与文本数据对应的得分数据,并对文本数据和得分数据进行预处理,对经处理的文本数据进行分词以形成若干词条,将若干词条储存并作为特征数据;模型训练:利用有监督的机器学习模型对特征数据和得分数据进行学习,从而将机器学习模型训练形成自动打分模型;自动打分:将待打分的投标文件的文本输入自动打分模型,自动打分模型输出相应的分数。本发明有效地解决了投标文件评分中主观因素影响较大的问题,减少主观因素对评分的影响,同时也能够节省人工成本,并且提高评分速度。

Description

投标文件自动打分的方法及其系统
技术领域
本发明涉及网络模型领域,特指一种投标文件自动打分的方法及其系统。
背景技术
随着电子招标采购系统的规范化、规模化,使得线下招标采购活动逐步转向线上进行,传统的招标采用中专家根据招标文件设置的条款阅读投标文件中的相应文字内容以对投标文件进行判分,线上招标采购中也无法避免专家在线评审这一环节。
然而在评审环节中,虽然招标文件对于打分方式进行了明确规定,但是专家的判分评价仍旧具有较大的主观性,从而导致同一投标文件不同专家的评分结果差异较大,虽然可以通过对多名专家的评分取平均值处理,但这样依然无法从根本问题上消除专家主观性导致的评分误差,且多名专家对同一投标文件进行评分,人工成本较高,且评分速度较慢。
发明内容
本发明的目的在于克服现有技术的缺陷,提供一种投标文件自动打分的方法及其系统,解决了投标文件评分中主观因素影响较大的问题,减少主观因素对评分的影响,同时也能够节省人工成本,并且提高评分速度。
实现上述目的的技术方案是:
本发明提供了一种投标文件自动打分的方法,包括如下步骤:
S11.数据处理:获取历史投标文件的文本数据以及与文本数据对应的得分数据,并对文本数据和得分数据进行预处理,对经处理的文本数据进行分词以形成若干词条,将若干词条储存并作为特征数据;
S12.模型训练:利用有监督的机器学习模型对特征数据和得分数据进行学习,从而将机器学习模型训练形成自动打分模型;
S13.自动打分:将待打分的投标文件的文本输入自动打分模型,自动打分模型输出相应的分数。
本发明提出了一种投标文件自动打分的方法,通过获取历史投标文件的数据,经处理后形成特征数据,利用有监督的机器学习模型对特征数据和得分数据进行学习,从而形成自动打分模型,利用形成的自动打分模型对输入的投标文件的文本进行打分,避免了主观因素的影响,解决了投标文件评分中主观因素影响较大的问题,减少主观因素对评分的影响,同时也能够节省人工成本,并且提高评分速度。
本发明投标文件自动打分的方法的进一步改进在于,文本数据进行分词后,还包括:
计算每个词条的逆文档词频,并根据停用词库设置词条的词频临界值;
将逆文档词频大于词频临界值的词条删除,并将剩余的词条储存并作为特征数据。
本发明投标文件自动打分的方法的进一步改进在于,形成自动打分模型后,还包括:
提供若干测试文本,将测试文本输入自动打分模型并对应得出若干预测分数,将若干预测分数与对应的测试文本的实际分数进行比较并得出比较结果;
根据比较结果调整特征数据和机器学习模型的超参数,利用该机器学习模型对调整后的特征数据和得分数据进行学习,以优化形成新的自动打分模型。
本发明投标文件自动打分的方法的进一步改进在于,将预测分数与实际分数进行比较时,还包括:
计算预测分数与对应的实际分数的均方根误差、平均绝对误差和均方误差,以得出比较结果。
本发明投标文件自动打分的方法的进一步改进在于,将预测分数与实际分数进行比较时,还包括:
根据若干预测分数画出预测曲线,根据实际分数画出对应的真实曲线;
将预测曲线和真实曲线进行皮尔逊相关系数衡量,以得出比较结果。
本发明投标文件自动打分的方法的进一步改进在于,对文本数据预处理时,还包括:
将文本数据转化为设定格式,并对文本数据进行清洗。
本发明投标文件自动打分的方法的进一步改进在于,对得分数据预处理时,还包括:
对得分数据进行清洗,并对清洗后的得分数据进行归一化处理。
本发明投标文件自动打分的方法及其系统的进一步改进在于,该机器学习模型采用岭回归模型。
本发明还提供了一种投标文件自动打分的系统,包括:
数据获取模块,以获取投标文件的文本数据;
数据处理模块,以对文本数据进行预处理和分词处理;以及
自动打分模型,该自动打分模型由有监督的机器学习模型对历史投标文件的文本数据和得分数据学习形成的,以对经处理的文本数据进行打分。
附图说明
图1为本发明投标文件自动打分的方法及其系统的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
参阅图1,本发明提供了一种基于云的远程控制方法及其系统,通过获取历史投标文件的数据,经处理后形成特征数据,利用有监督的机器学习模型对特征数据和得分数据进行学习,从而形成自动打分模型,利用形成的自动打分模型对输入的投标文件的文本进行打分,避免了主观因素的影响,解决了投标文件评分中主观因素影响较大的问题,减少主观因素对评分的影响,同时也能够节省人工成本,并且提高评分速度。下面结合附图对本发明基于云的远程控制方法及其系统进行说明。
参阅图1为本发明投标文件自动打分的方法及其系统的流程图。下面结合图1,对本发明投标文件自动打分的方法及其系统进行说明。
如图1所示,本发明提供了一种投标文件自动打分的方法及其系统,包括如下步骤:
执行步骤S11.数据处理:获取历史投标文件的文本数据以及与文本数据对应的得分数据,并对文本数据和得分数据进行预处理,对经处理的文本数据进行分词以形成若干词条,将若干词条储存并作为特征数据;接着执行步骤S12
执行步骤S12.模型训练:利用有监督的机器学习模型对特征数据和得分数据进行学习,从而将机器学习模型训练形成自动打分模型;接着执行步骤S13
执行步骤S13.自动打分:将待打分的投标文件的文本输入自动打分模型,该自动打分模型输出相应的分数。
较佳地,该机器学习模型采用岭回归模型。
进一步的,对文本数据预处理时,还包括:
将文本数据转化为设定格式,并对文本数据进行清洗,以过滤文本格式等。
具体的,对得分数据预处理时,还包括:
对得分数据进行清洗,并对清洗后的得分数据进行归一化处理,由于历史投标文件中的总分设定不同,因此需要归一化处理以消除得分的差异性。
作为本发明的一较佳实施方式,文本数据进行分词后,还包括:
计算每个词条的逆文档词频,并根据停用词库设置词条的词频临界值;
将逆文档词频大于词频临界值的词条删除,并将剩余的词条储存并作为特征数据。
进一步的,形成自动打分模型后,还包括:
提供历史投标文件以外的若干测试文本,将测试文本输入自动打分模型,并对应得出若干预测分数,将若干预测分数与对应的测试文本的实际分数进行比较并得出比较结果;
根据比较结果调整特征数据和机器学习模型的超参数,可以增加或删去词条,也可以改变机器学习模型的超参数的数值,利用该机器学习模型对调整后的特征数据和得分数据进行学习,以优化形成新的自动打分模型。
具体的,将预测分数与实际分数进行比较时,还包括:
计算预测分数与对应的实际分数的均方根误差、平均绝对误差和均方误差,以得出比较结果。
具体的,将预测分数与实际分数进行比较时,还包括:
根据若干预测分数画出预测曲线,根据实际分数画出对应的真实曲线;
将预测曲线和真实曲线进行皮尔逊相关系数衡量,以得出比较结果。
本发明的具体实施方式如下:
本实施例中的历史投标文件可从招采进宝平台中近三年的交易数据中获取,选取某一类的标段若干,将文本数据转化为指定格式,可根据常用词库将转化好的文本数据进行错误词语清理,并进行清洗,以过滤文字格式、检查数据一致性、处理无效值和缺失值等;
对清洗的文本数据进行中文分词,该中文分词算法采用基于统计的分词方法,在分词过程中结合行业专用词库,以提高分词准确率,可根据每次分词的结果进行人工干预核对,以提高分词的准确性;
计算每个词条的逆文档词频,并根据停用词库设置词条的词频临界值,将逆文档词频大于词频临界值的词条删除,将剩余的词条储存并作为特征数据;
将得分数据清洗后进行归一化操作,以消除因总分设定不同而出现的得分差异;
构件有监督的机器学习模型,可以利用岭回归模型,该机器学习模型对特征数据和对应的得分数据进行学习,并构件形成自动打分模型;
将历史投标文件以外的测试文本输入自动打分模型并得出预测分数,将预测分数与该测试文本对应的实际分数进行比较,可以计算预测分数和实际分数的均方根误差、平均绝对误差和均方误差,也可以根据预测分数画出预测曲线以及与实际分数对应的真实曲线,将预测曲线和真实曲线进行皮尔逊相关系数衡量,来调整机器学习模型的超参数并对应优化特征数据;
在利用机器学习模型对优化好的特征数据再次学习,以优化得到新的自动打分模型,再次测试并优化,可循环多次;
可以保存生成的若干自动打分模型,将一个真实的投标文本输入若干自动打分模型中,若干自动打分模型给出不同的得分,同时人工也对该投标文本进行打分,将自动打分模型得出的分数与人工得出的分数相比较,选择最为接近的自动打分模型作为最终模型,该自动打分模型可应用于投标文件的自动打分。
本发明还提供了一种投标文件自动打分的系统,包括:
数据获取模块,以获取投标文件的文本数据;
数据处理模块,以对文本数据进行预处理和分词处理;以及
自动打分模型,该自动打分模型由有监督的机器学习模型对历史投标文件的文本数据和得分数据学习形成的,以对经处理的文本数据进行打分。
以上结合附图实施例对本发明进行了详细说明,本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而,实施例中的某些细节不应构成对本发明的限定,本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (9)

1.一种投标文件自动打分的方法,其特征在于,包括如下步骤:
S11.数据处理:获取历史投标文件的文本数据以及与所述文本数据对应的得分数据,并对所述文本数据和所述得分数据进行预处理,对经处理的所述文本数据进行分词以形成若干词条,将若干所述词条储存并作为特征数据;
S12.模型训练:利用有监督的机器学习模型对所述特征数据和所述得分数据进行学习,从而将所述机器学习模型训练形成自动打分模型;
S13.自动打分:将待打分的投标文件的文本输入所述自动打分模型,所述自动打分模型输出相应的分数。
2.如权利要求1所述的投标文件自动打分的方法,其特征在于,所述文本数据进行分词后,还包括:
计算每个所述词条的逆文档词频,并根据停用词库设置所述词条的词频临界值;
将所述逆文档词频大于所述词频临界值的词条删除,并将剩余的所述词条储存并作为所述特征数据。
3.如权利要求1所述的投标文件自动打分的方法,其特征在于,形成所述自动打分模型后,还包括:
提供若干测试文本,将所述测试文本输入所述自动打分模型并对应得出若干预测分数,将若干所述预测分数与对应的所述测试文本的实际分数进行比较并得出比较结果;
根据所述比较结果调整所述特征数据和所述机器学习模型的超参数,利用所述机器学习模型对调整后的所述特征数据和所述得分数据进行学习,以优化形成新的自动打分模型。
4.如权利要求3所述的投标文件自动打分的方法,其特征在于,将所述预测分数与所述实际分数进行比较时,还包括:
计算所述预测分数与对应的所述实际分数的均方根误差、平均绝对误差和均方误差,以得出所述比较结果。
5.如权利要求3所述的投标文件自动打分的方法,其特征在于,将所述预测分数与所述实际分数进行比较时,还包括:
根据若干所述预测分数画出预测曲线,根据所述实际分数画出对应的真实曲线;
将所述预测曲线和所述真实曲线进行皮尔逊相关系数衡量,以得出所述比较结果。
6.如权利要求1所述的投标文件自动打分的方法,其特征在于,对所述文本数据预处理时,还包括:
将所述文本数据转化为设定格式,并对所述文本数据进行清洗。
7.如权利要求1所述的投标文件自动打分的方法,其特征在于,对所述得分数据预处理时,还包括:
对所述得分数据进行清洗,并对清洗后的所述得分数据进行归一化处理。
8.如权利要求1所述的投标文件自动打分的方法,其特征在于,所述机器学习模型采用岭回归模型。
9.一种如权利要求1所述的投标文件自动打分的系统,其特征在于,包括:
数据获取模块,以获取投标文件的文本数据;
数据处理模块,以对所述文本数据进行预处理和分词处理;以及
自动打分模型,所述自动打分模型由有监督的机器学习模型对历史投标文件的文本数据和得分数据学习形成的,以对经处理的所述文本数据进行打分。
CN202010731728.7A 2020-07-27 2020-07-27 投标文件自动打分的方法及其系统 Active CN112464635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010731728.7A CN112464635B (zh) 2020-07-27 2020-07-27 投标文件自动打分的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010731728.7A CN112464635B (zh) 2020-07-27 2020-07-27 投标文件自动打分的方法及其系统

Publications (2)

Publication Number Publication Date
CN112464635A true CN112464635A (zh) 2021-03-09
CN112464635B CN112464635B (zh) 2023-02-10

Family

ID=74834043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010731728.7A Active CN112464635B (zh) 2020-07-27 2020-07-27 投标文件自动打分的方法及其系统

Country Status (1)

Country Link
CN (1) CN112464635B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781188A (zh) * 2021-08-13 2021-12-10 百威投资(中国)有限公司 一种计算机实施的竞标方法、计算机设备及存储介质
CN114782122A (zh) * 2022-03-15 2022-07-22 福建亿力电力科技有限责任公司 一种投标材料中竞标者信息自动化分析方法和系统
CN117455396A (zh) * 2023-10-25 2024-01-26 南通市公共资源交易中心 建设工程投标技术方案自动评审方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451139A (zh) * 2016-05-30 2017-12-08 北京三星通信技术研究有限公司 文件资源展示方法、装置及相应智能设备
CN108763213A (zh) * 2018-05-25 2018-11-06 西南电子技术研究所(中国电子科技集团公司第十研究所) 主题特征文本关键词提取方法
CN111177365A (zh) * 2019-12-20 2020-05-19 山东科技大学 一种基于图模型的无监督自动文摘提取方法
CN111274783A (zh) * 2020-01-14 2020-06-12 广州供电局有限公司 一种基于语义相似分析的围串标智能识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451139A (zh) * 2016-05-30 2017-12-08 北京三星通信技术研究有限公司 文件资源展示方法、装置及相应智能设备
CN108763213A (zh) * 2018-05-25 2018-11-06 西南电子技术研究所(中国电子科技集团公司第十研究所) 主题特征文本关键词提取方法
CN111177365A (zh) * 2019-12-20 2020-05-19 山东科技大学 一种基于图模型的无监督自动文摘提取方法
CN111274783A (zh) * 2020-01-14 2020-06-12 广州供电局有限公司 一种基于语义相似分析的围串标智能识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘明杨: ""高考作文自动评分关键技术研究"", 《中国优秀博硕士学位论文全文数据库(硕士)(信息科技辑)》, no. 2, 15 February 2016 (2016-02-15), pages 2 - 4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781188A (zh) * 2021-08-13 2021-12-10 百威投资(中国)有限公司 一种计算机实施的竞标方法、计算机设备及存储介质
WO2023015679A1 (zh) * 2021-08-13 2023-02-16 百威投资(中国)有限公司 一种计算机实施的竞标方法、计算机设备及存储介质
CN113781188B (zh) * 2021-08-13 2024-02-23 百威投资(中国)有限公司 一种计算机实施的竞标方法、计算机设备及存储介质
CN114782122A (zh) * 2022-03-15 2022-07-22 福建亿力电力科技有限责任公司 一种投标材料中竞标者信息自动化分析方法和系统
CN117455396A (zh) * 2023-10-25 2024-01-26 南通市公共资源交易中心 建设工程投标技术方案自动评审方法

Also Published As

Publication number Publication date
CN112464635B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN112464635B (zh) 投标文件自动打分的方法及其系统
CN112069787B (zh) 一种基于词嵌入的日志参数异常检测方法
CN112486111B (zh) 一种基于数据分析的食用油碱炼工艺智能调节方法
CN112307130B (zh) 一种文档级远程监督关系抽取方法及系统
CN110895565A (zh) 一种电力设备故障缺陷文本分类方法与系统
CN110245620A (zh) 一种基于注意力的非最大化抑制方法
CN114754973A (zh) 基于机器学习的风洞测力试验数据智能诊断与分析方法
CN108376293B (zh) 一种基于模糊数学改进的层次分析法的zj17卷烟设备维修智能预测方法
CN115659823A (zh) 基于属性约简的翼型气动力系数预测方法、电子设备及存储介质
CN117933058A (zh) 连铸工艺参数的调整方法、系统及模型生成方法、系统
CN110910528B (zh) 纸页抗张强度的预测方法及装置
CN113177578A (zh) 一种基于lstm的农产品品质分类方法
CN116203891B (zh) 一种基于plc的自动化控制决策优化方法及系统
CN109829115B (zh) 搜索引擎关键词优化方法
CN115469614A (zh) 一种基于多元线性回归烟草加工控制方法
CN111798262B (zh) 用户关注点识别方法、系统和存储介质
Sallehuddin et al. Forecasting small data set using hybrid cooperative feature selection
CN112420132A (zh) 一种汽油催化裂化过程产品质量优化控制方法
CN111325272A (zh) 古画检测模型训练方法、古画检测方法、设备及存储介质
CN114818929B (zh) 一种基于自学习标注的标注模型训练方法及标注方法
CN117435981B (zh) 机泵设备运行故障诊断方法、装置、存储介质及电子设备
CN117282687B (zh) 印刷品视觉检测自动剔补标控制系统
CN117732886B (zh) 一种基于级联智能诊断的热轧质量预控制方法
CN118229154A (zh) 基于区域综合特征的农产品加工质量安全管理方法及系统
CN118351082A (zh) 基于反向传播的图像主体背景变换质量评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201206 room 1101, floor 11, building 6, No. 1599, Xinjinqiao Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant after: SHANGHAI HUIZHAO INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 200433 room 1203-12, No.6 Weide Road, Yangpu District, Shanghai

Applicant before: SHANGHAI HUIZHAO INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Fan

Inventor after: Zhang Lijiang

Inventor after: Zhao Jingyi

Inventor after: Fan Zhenhua

Inventor before: Liu Fan

Inventor before: Zhang Lijiang

Inventor before: Zhao Jingyi

Inventor before: Fan Zhenhua

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: The method and system for automatic scoring of bidding documents

Effective date of registration: 20231213

Granted publication date: 20230210

Pledgee: Pudong Shanghai technology financing Company limited by guarantee

Pledgor: SHANGHAI HUIZHAO INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2023310000846