CN111028050B - 一种基于数据驱动的异常投标行为检测评估方法及系统 - Google Patents
一种基于数据驱动的异常投标行为检测评估方法及系统 Download PDFInfo
- Publication number
- CN111028050B CN111028050B CN201911154843.6A CN201911154843A CN111028050B CN 111028050 B CN111028050 B CN 111028050B CN 201911154843 A CN201911154843 A CN 201911154843A CN 111028050 B CN111028050 B CN 111028050B
- Authority
- CN
- China
- Prior art keywords
- bidding
- abnormal
- provider
- supplier
- quotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 132
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000011156 evaluation Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000012098 association analyses Methods 0.000 claims description 17
- 230000008901 benefit Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000002596 correlated effect Effects 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 6
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 229910052711 selenium Inorganic materials 0.000 claims description 3
- 239000011669 selenium Substances 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims 1
- 230000006399 behavior Effects 0.000 abstract description 28
- 238000007405 data analysis Methods 0.000 abstract description 5
- 238000010801 machine learning Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 5
- 238000010276 construction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036963 noncompetitive effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0611—Request for offers or quotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于数据驱动的异常投标行为检测评估方法及系统，涉及招投标管理技术领域，其中一种基于数据驱动的异常投标行为检测评估方法包括以下步骤：S1：获取当前批次的所有投标事件及相关数据，存成csv文件；S2：得到报价策略高度相关的供应商群体；S3：得到报价排名波动较大的供应商个体；S4：得到异常投标供应商集合；S5：得到算法检测异常投标供应商的有效性。本发明一种基于数据驱动的异常投标行为检测评估方法及系统数据获取便捷，处理方便，有效检测投标供应商是否参与异常投标，结合先进数据分析方法与机器学习方法，用算法减少高昂的收集信息的成本和提高识别异常投标供应商的准确率。
Description
技术领域
本发明涉及招投标管理技术领域，
尤其是，本发明涉及一种基于数据驱动的异常投标行为检测评估方法及系统。
背景技术
招标采购管理工作是企业良性发展的重要环节，企业招标采购的主要对象为供应商，供应商不正当的竞投标会严重影响招标商的正常工作开展且给招标采购企业带来极大的经营和维护风险。供应商异常投标行为主要有3种：企业挂靠经营、转包行为和串通行为，企业挂靠经营指的是他人借用其他施工单位的名义来进行工程的承接，这就会导致很多的工程被不具备投标条件的施工企业所承接；转包现象是指在施工企业中标后，将所中标的工程通过分包的方式转手给其他企业，且接手的企业并不具备投标标准；业主在招标的过程中内定施工企业，进而将公开招标转变为邀请招标，在低价中标阶段还存在施工企业与设计单位串通等现象。有三种异常投标行为的供应商通常表现在抱团拉低价格或者抱团哄抬价格、参与不属于主营范围的投标，投出不符合历史投标行为的报价等，所以投标事件能反映供应商的异常投标行为。
目前应对非竞争性的异常投标行为，一方面采用限制高价和低价的阻止供应商合谋，另一方面通过研究投标者的成本和边际效益模型来判断投标行为是否符合供应商资质。前者如何合理设定上限价和下限价上需要花费较大功夫，后者需要很大的理论来建立合理的机理模型且供应商纷繁复杂需要建立所有投标商的模型的成本较高。在公共和私人招标采购中，非竞争性投标已成为一个主要问题，并且已经开发了几个模型来帮助识别合谋投标人。公共和私人采购拍卖，以及一些模式已被开发出来，以帮助确定串谋投标人。然而，这些模型大多需要复杂的计算和广泛的信息，而在现实生活中很难获得这些信息，且实际生活中没有确切证据确定异常投标商的标签，所以也很难验证模型准确性。
所以，如何设计一种基于数据驱动的异常投标行为检测评估方法或者系统，成为我们当前急需要解决的问题。
发明内容
本发明的目的在于提供一种数据获取便捷，处理方便，有效检测投标供应商是否参与异常投标，结合先进数据分析方法与机器学习方法，用算法减少高昂的收集信息的成本和提高识别异常投标供应商的准确率的异常投标行为检测评估方法。
为达到上述目的，本发明采用如下技术方案得以实现的：
一种基于数据驱动的异常投标行为检测评估方法，该方法包括以下步骤：
S1：获取当前批次的所有投标事件、当前批次的所有供应商的标的报价序列、当前批次的所有供应商的参与投标品类序列以及所有供应商在同一个品类的历史投标报价排名序列，存储成csv文件；
S2：对当前批次的所有投标事件做Apriori关联分析得到经常抱团的供应商群体，对报价序列做相关性分析和聚类得到报价策略高度相关的供应商群体；
S3：对当前批次的所有供应商的参与投标品类序列做Apriori关联分析得到非主营投标的供应商个体，对所有供应商的历史报价排名进行波动分析得到报价排名波动较大的供应商个体；
S4：合并经常抱团的供应商群体、报价策略高度相关的供应商群体、非主营投标的供应商个体和报价排名波动较大的供应商个体得到异常投标供应商集合；
S5：建立供应商利益关联图数据，评估异常投标供应商集合在关联图数据库中的召回率，通过对比剔除异常投标供应商集合前后的平均报价B值曲线的显著差异，与随机剔除同等数量供应商对比，得到算法检测异常投标供应商的有效性。
作为本发明的优选，执行步骤S1时，获取的数据为历年的公开投标数据，其中包括每年多个批次，每个批次下按照品类分成多个标号，每个标号下分成多个包，且供应商以包为单位进行投标。
作为本发明的优选，执行步骤S2时，先计算标内每个投标供应商和标内所有其他供应商的相关性系数向量，计算相关性系数的方法是Pearson相关系数，然后将所有供应商的相关性系数向量接近的聚成簇，寻找簇内供应商之间相似且和簇外供应商相差较大的供应商组合作为投标策略高度相关的供应商群体。
作为本发明的优选，执行步骤S3时，投标品类Apriori关联分析为，输入为每个批次每个供应商的投标品类序列，从所有投标批次中找出支持度较高的投标组合，即大概率的主营投标组合，若供应商的投标组合不在大概率的主营投标组合内，即该供应商属于疑似非主营投标。
作为本发明的优选，执行步骤S3时，对所有供应商的历史报价排名进行波动分析具体为，输入为每个供应商的最近5个批次的同一品类的排名，输出为每个供应商在某个品类的报价排名标准差，将标准差从大到小排列。
作为本发明的优选，执行步骤S4时，使用异常投标供应商群体和异常投标供应商个体取并集的方法输出最后的异常投标供应商集合。
作为本发明的优选，执行步骤S5时，供应商利益关联图数据具体为用selenium的模拟浏览器库建立的框架获取工商信息，并用Neo4j数据库搭建工商利益关联的图数据库。
作为本发明的优选，执行步骤S5时，剔除异常投标供应商集合前后的平均报价B值曲线为当前批次每个包的所有投标供应商的平均报价。
另一方面，本发明中另外还提供一种基于数据驱动的异常投标行为检测评估系统，该系统包括：
投标事件数据预处理模块；
异常投标供应商群体识别模块；
异常投标供应商个体识别模块；
输出检测模块；
算法评估模块；
投标事件数据预处理模块获取当前批次的所有投标事件、当前批次的所有供应商的标的报价序列、当前批次的所有供应商的参与投标品类序列以及所有供应商在同一个品类的历史投标报价排名序列，存储成csv文件；异常投标供应商群体识别模块对当前批次的所有投标事件做Apriori关联分析得到经常抱团的供应商群体，对报价序列做相关性分析和聚类得到报价策略高度相关的供应商群体；异常投标供应商个体识别模块对当前批次的所有供应商的参与投标品类序列做Apriori关联分析得到非主营投标的供应商个体，对所有供应商的历史报价排名进行波动分析得到报价排名波动较大的供应商个体；输出检测模块合并经常抱团的供应商群体、报价策略高度相关的供应商群体、非主营投标的供应商个体和报价排名波动较大的供应商个体得到异常投标供应商集合；算法评估模块建立供应商利益关联图数据，评估异常投标供应商集合在关联图数据库中的召回率，通过对比剔除异常投标供应商集合前后的平均报价B值曲线的显著差异，与随机剔除同等数量供应商对比，得到算法检测异常投标供应商的有效性
作为本发明的优选，本发明一种基于数据驱动的异常投标行为检测评估系统中，投标事件数据预处理模块、异常投标供应商群体识别模块、异常投标供应商个体识别模块、输出检测模块以及算法评估模块均在同一个系统框架下，数据内部连通使用。
本发明一种基于数据驱动的异常投标行为检测评估方法及系统有益效果在于：数据获取便捷，处理方便，有效检测投标供应商是否参与异常投标，结合先进数据分析方法与机器学习方法，用算法减少高昂的收集信息的成本和提高识别异常投标供应商的准确率。
附图说明
图1为本发明一种基于数据驱动的异常投标行为检测评估方法的流程示意图；
图2为本发明一种基于数据驱动的异常投标行为检测评估方法的B值曲线示意图；
图3为本发明一种基于数据驱动的异常投标行为检测评估方法的B值变化率曲线示意图；
图4为本发明一种基于数据驱动的异常投标行为检测评估系统的模块连接示意图。
具体实施方式
以下是本发明的具体实施例，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的模块和步骤的相对布置和步骤不限制本发明的范围。
同时，应当明白，为了便于描述，附图中的流程并不仅仅是单独进行，而是多个步骤相互交叉进行。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法及系统可能不作详细讨论，但在适当情况下，技术、方法及系统应当被视为授权说明书的一部分。
实施例一
如图1至3所示，仅为本发明的其中一个实施例，本发明提供一种基于数据驱动的异常投标行为检测评估方法，该方法包括以下步骤：
S1：获取当前批次的所有投标事件、当前批次的所有供应商的标的报价序列、当前批次的所有供应商的参与投标品类序列以及所有供应商在同一个品类的历史投标报价排名序列，存储成csv文件；
这里执行操作的是投标事件数据预处理模块，投标事件数据预处理模块收集当前批次的所有供应商的投标报价和投标品类信息，剔除异常值，填充缺失值，按批次-标-包输出到csv文件中。
S2：对当前批次的所有投标事件做Apriori关联分析得到经常抱团的供应商群体，对报价序列做相关性分析和聚类得到报价策略高度相关的供应商群体；
在步骤S2中，具体分为两步，S21：得到经常抱团的供应商群体，S22：得到报价策略高度相关的供应商群体。
S21：投标事件数据预处理模块构造当前批次的投标事件，定义投标事件为当前批次每个标号的每个包的所有参与投标的供应商，将投标事件输入到异常投标群体识别模块的基于Apriori的关联模型中做频繁项集挖掘，输出的供应商频繁项集即为经常抱团投标的群体；
S22：投标事件数据预处理模块构造当前批次所有投标供应商在一个标的报价序列，异常投标群体识别模块的报价相关性部分计算在一个标内投标供应商和标内所有其他供应商报价序列之间相关性系数并组成每个供应商的特征向量，最后异常投标群体识别模块的聚类算法对特征向量进行K-means聚类得到报价策略高度相关的投标供应商群体。
S3：对当前批次的所有供应商的参与投标品类序列做Apriori关联分析得到非主营投标的供应商个体，对所有供应商的历史报价排名进行波动分析得到报价排名波动较大的供应商个体；
同样的，步骤S3也具体分为两步，S31：得到非主营投标的供应商个体，S32：得到报价排名波动较大的供应商个体。
S31：投标事件数据预处理模块构造每个供应商在当前批次投标的所有品类序列，输入到异常投标供应商个体识别模块的Apriori关联分析，输出支持度较小的投标品类组合，即支持度较小的投标组合的供应商是疑似非主营范围投标的供应商；
S32：投标事件数据预处理模块构造每个供应商在同一品类的投标报价排名序列，输入到异常投标供应商个体识别模块的历史投标报价排名波动异常分析部分，输出排名波动较大的供应商个体。
S4：合并经常抱团的供应商群体、报价策略高度相关的供应商群体、非主营投标的供应商个体和报价排名波动较大的供应商个体得到异常投标供应商集合；
经过步骤S1至S4的算法计算之后，输出检测模块合并算法发现的经常抱团投标的供应商群体、报价策略高度相关的投标供应商群体、非主营范围投标的异常个体供应商和历史报价排名波动较大的异常个体供应商，输出最后的异常投标供应商集合。
S5：建立供应商利益关联图数据，评估异常投标供应商集合在关联图数据库中的召回率，通过对比剔除异常投标供应商集合前后的平均报价的B值曲线的显著差异，与随机剔除同等数量供应商对比，得到算法检测异常投标供应商的有效性。
最后，剔除异常投标供应商集合前后的平均报价曲线是当前批次每个包的所有投标供应商的平均报价，又叫B值，绘制如图2、3所示的B值曲线，进行评估检测异常投标供应商的有效性。
本发明一种基于数据驱动的异常投标行为检测评估方法中，数据获取便捷，处理方便，有效检测投标供应商是否参与异常投标，结合先进数据分析方法与机器学习方法，用算法减少高昂的收集信息的成本和提高识别异常投标供应商的准确率。
实施例二
仍如图1至3所示，依然为本发明的其中一个实施例，为了使得本发明一种基于数据驱动的异常投标行为检测评估方法更加的安全稳定，控制更加合理，本发明中还具有以下几个设计：
首先，执行步骤S1时，获取的数据为历年的公开投标数据，其中包括每年多个批次，每个批次下按照品类分成多个标号，每个标号下分成多个包，且供应商以包为单位进行投标。
还有，执行步骤S2时，先计算标内每个投标供应商和标内所有其他供应商的相关性系数向量，计算相关性系数的方法是Pearson相关系数，然后将所有供应商的相关性系数向量接近的聚成簇，寻找簇内供应商之间相似且和簇外供应商相差较大的供应商组合作为投标策略高度相关的供应商群体。
以及，执行步骤S3时，投标品类Apriori关联分析为，输入为每个批次每个供应商的投标品类序列，从所有投标批次中找出支持度较高的投标组合，即大概率的主营投标组合，若供应商的投标组合不在大概率的主营投标组合内，即该供应商属于疑似非主营投标。
而且，执行步骤S3时，对所有供应商的历史报价排名进行波动分析具体为，输入为每个供应商的最近5个批次的同一品类的排名，输出为每个供应商在某个品类的报价排名标准差，将标准差从大到小排列。
另外，执行步骤S4时，使用异常投标供应商群体和异常投标供应商个体取并集的方法输出最后的异常投标供应商集合。
当然，执行步骤S5时，从企查查上爬取参与所有投标供应商的工商信息，建立投标供应商的工商利益关联的图数据库，算法评估模块从图数据库中抽取有直接利益关联的供应商集合，考察输出检测模块输出的异常投标供应商集合在直接利益关联的供应商集合中的召回率是否达标，算法评估模块比较剔除异常投标供应商集合前后的投标平均报价曲线，若剔除后的投标平均报价曲线明显低于或者高于剔除前的投标平均报价曲线，则说明算法找到的异常供应商确实抬高了报价或拉低了报价，算法评估模块比较随机剔除跟异常投标供应商集合同等数量的异常供应商和剔除异常投标供应商集合后的投标平均报价曲线是否显著低于或者显著高于随机剔除集合后的平均报价曲线。
在这里需要注意的是，算法评估模块的工商信息爬取的爬虫是用selenium的模拟浏览器库建立的框架，且算法评估模块的工商利益关联的图数据库用Neo4j数据库搭建。
实施例三
本发明还提供一种基于数据驱动的异常投标行为检测评估系统，且该系统包括：
投标事件数据预处理模块；
异常投标供应商群体识别模块；
异常投标供应商个体识别模块；
输出检测模块；
算法评估模块；
投标事件数据预处理模块获取当前批次的所有投标事件、当前批次的所有供应商的标的报价序列、当前批次的所有供应商的参与投标品类序列以及所有供应商在同一个品类的历史投标报价排名序列，存储成csv文件；异常投标供应商群体识别模块对当前批次的所有投标事件做Apriori关联分析得到经常抱团的供应商群体，对报价序列做相关性分析和聚类得到报价策略高度相关的供应商群体；异常投标供应商个体识别模块对当前批次的所有供应商的参与投标品类序列做Apriori关联分析得到非主营投标的供应商个体，对所有供应商的历史报价排名进行波动分析得到报价排名波动较大的供应商个体；输出检测模块合并经常抱团的供应商群体、报价策略高度相关的供应商群体、非主营投标的供应商个体和报价排名波动较大的供应商个体得到异常投标供应商集合；算法评估模块建立供应商利益关联图数据，评估异常投标供应商集合在关联图数据库中的召回率，通过对比剔除异常投标供应商集合前后的平均报价B值曲线的显著差异，与随机剔除同等数量供应商对比，得到算法检测异常投标供应商的有效性。
当然，本发明一种基于数据驱动的异常投标行为检测评估系统中，投标事件数据预处理模块、异常投标供应商群体识别模块、异常投标供应商个体识别模块、输出检测模块以及算法评估模块均在同一个系统框架下，数据均在系统内部各模块间连通使用。
本发明一种基于数据驱动的异常投标行为检测评估方法及系统数据获取便捷，处理方便，有效检测投标供应商是否参与异常投标，结合先进数据分析方法与机器学习方法，用算法减少高昂的收集信息的成本和提高识别异常投标供应商的准确率。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围，本发明所属技术领域的技术人员可以对所描述的具体实施例来做出各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的方向或者超越所附权利要求书所定义的范围。本领域的技术人员应该理解，凡是依据本发明的技术实质对以上实施方式所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。
Claims (3)
1.一种基于数据驱动的异常投标行为检测评估方法，其特征在于，包括以下步骤：
S1：获取当前批次的所有投标事件、当前批次的所有供应商的标的报价序列、当前批次的所有供应商的参与投标品类序列以及所有供应商在同一个品类的历史投标报价排名序列，存储成csv文件；
S2：对当前批次的所有投标事件做Apriori关联分析得到经常抱团的供应商群体，对报价序列做相关性分析和聚类得到报价策略高度相关的供应商群体；
S3：对当前批次的所有供应商的参与投标品类序列做Apriori关联分析得到非主营投标的供应商个体，对所有供应商的历史报价排名进行波动分析得到报价排名波动较大的供应商个体；
S4：合并经常抱团的供应商群体、报价策略高度相关的供应商群体、非主营投标的供应商个体和报价排名波动较大的供应商个体得到异常投标供应商集合；
S5：建立供应商利益关联图数据，评估异常投标供应商集合在关联图数据库中的召回率，算法评估模块比较剔除异常投标供应商集合前后的投标平均报价曲线，若剔除后的投标平均报价曲线明显低于或者高于剔除前的投标平均报价曲线，则说明算法找到的异常供应商确实抬高了报价或拉低了报价，算法评估模块比较随机剔除跟异常投标供应商集合同等数量的异常供应商和剔除异常投标供应商集合前的投标平均报价曲线是否显著低于或者显著高于随机剔除集合后的平均报价曲线，得到算法检测异常投标供应商的有效性；
其中，执行步骤S5时，评估异常投标供应商集合在关联图数据库中的召回率，具体为：算法评估模块从关联图数据库中抽取有直接利益关联的供应商集合，考察输出检测模块输出的异常投标供应商集合在直接利益关联的供应商集合中的召回率是否达标；
在步骤S2中，具体分为两步，S21：得到经常抱团的供应商群体，S22：得到报价策略高度相关的供应商群体；
S21：投标事件数据预处理模块构造当前批次的投标事件，定义投标事件为当前批次每个标号的每个包的所有参与投标的供应商，将投标事件输入到异常投标群体识别模块的基于Apriori的关联模型中做频繁项集挖掘，输出的供应商频繁项集即为经常抱团投标的群体；
S22：投标事件数据预处理模块构造当前批次所有投标供应商在一个标的报价序列，异常投标群体识别模块的报价相关性部分计算在一个标内投标供应商和标内所有其他供应商报价序列之间相关性系数并组成每个供应商的特征向量，最后异常投标群体识别模块的聚类算法对特征向量进行K-means聚类得到报价策略高度相关的投标供应商群体；
执行步骤S3时，对所有供应商的历史报价排名进行波动分析具体为，输入为每个供应商的最近5个批次的同一品类的排名，输出为每个供应商在某个品类的报价排名标准差，将标准差从大到小排列；
执行步骤S1时，获取的数据为历年的公开投标数据，其中包括每年多个批次，每个批次下按照品类分成多个标号，每个标号下分成多个包，且供应商以包为单位进行投标；
执行步骤S2时，先计算标内每个投标供应商和标内所有其他供应商的相关性系数向量，计算相关性系数的方法是Pearson相关系数，然后将所有供应商的相关性系数向量接近的聚成簇，寻找簇内供应商之间相似且和簇外供应商相差较大的供应商组合作为投标策略高度相关的供应商群体；
执行步骤S3时，投标品类Apriori关联分析为，输入为每个批次每个供应商的投标品类序列，从所有投标批次中找出支持度较高的投标组合，即大概率的主营投标组合，若供应商的投标组合不在大概率的主营投标组合内，即该供应商属于疑似非主营投标；
执行步骤S5时，剔除异常投标供应商集合前后的平均报价B值曲线为当前批次每个包的所有投标供应商的平均报价。
2.根据权利要求1所述的一种基于数据驱动的异常投标行为检测评估方法，其特征在于：
执行步骤S5时，供应商利益关联图数据具体为用selenium的模拟浏览器库建立的框架获取工商信息，并用Neo4j数据库搭建工商利益关联图数据库。
3.一种基于数据驱动的异常投标行为检测评估系统，其特征在于，包括：
投标事件数据预处理模块；
异常投标供应商群体识别模块；
异常投标供应商个体识别模块；
输出检测模块；
算法评估模块；
投标事件数据预处理模块获取当前批次的所有投标事件、当前批次的所有供应商的标的报价序列、当前批次的所有供应商的参与投标品类序列以及所有供应商在同一个品类的历史投标报价排名序列，存储成csv文件；异常投标供应商群体识别模块对当前批次的所有投标事件做Apriori关联分析得到经常抱团的供应商群体，对报价序列做相关性分析和聚类得到报价策略高度相关的供应商群体；异常投标供应商个体识别模块对当前批次的所有供应商的参与投标品类序列做Apriori关联分析得到非主营投标的供应商个体，对所有供应商的历史报价排名进行波动分析得到报价排名波动较大的供应商个体；输出检测模块合并经常抱团的供应商群体、报价策略高度相关的供应商群体、非主营投标的供应商个体和报价排名波动较大的供应商个体得到异常投标供应商集合；算法评估模块建立供应商利益关联图数据，评估异常投标供应商集合在关联图数据库中的召回率，算法评估模块比较剔除异常投标供应商集合前后的投标平均报价曲线，若剔除后的投标平均报价曲线明显低于或者高于剔除前的投标平均报价曲线，则说明算法找到的异常供应商确实抬高了报价或拉低了报价，算法评估模块比较随机剔除跟异常投标供应商集合同等数量的异常供应商和剔除异常投标供应商集合前的投标平均报价曲线是否显著低于或者显著高于随机剔除集合后的平均报价曲线，得到算法检测异常投标供应商的有效性；
其中，算法评估模块评估异常投标供应商集合在关联图数据库中的召回率，具体为：算法评估模块从图数据库中抽取有直接利益关联的供应商集合，考察输出检测模块输出的异常投标供应商集合在直接利益关联的供应商集合中的召回率是否达标；
异常投标供应商群体识别模块具体识别包括两步，第一步：得到经常抱团的供应商群体，投标事件数据预处理模块构造当前批次的投标事件，定义投标事件为当前批次每个标号的每个包的所有参与投标的供应商，将投标事件输入到异常投标群体识别模块的基于Apriori的关联模型中做频繁项集挖掘，输出的供应商频繁项集即为经常抱团投标的群体；第二步：得到报价策略高度相关的供应商群体，投标事件数据预处理模块构造当前批次所有投标供应商在一个标的报价序列，异常投标群体识别模块的报价相关性部分计算在一个标内投标供应商和标内所有其他供应商报价序列之间相关性系数并组成每个供应商的特征向量，最后异常投标群体识别模块的聚类算法对特征向量进行K-means聚类得到报价策略高度相关的投标供应商群体；
异常投标供应商个体识别模块工作时，对所有供应商的历史报价排名进行波动分析具体为，输入为每个供应商的最近5个批次的同一品类的排名，输出为每个供应商在某个品类的报价排名标准差，将标准差从大到小排列；
投标事件数据预处理模块工作时，获取的数据为历年的公开投标数据，其中包括每年多个批次，每个批次下按照品类分成多个标号，每个标号下分成多个包，且供应商以包为单位进行投标；
异常投标供应商群体识别模块工作时，先计算标内每个投标供应商和标内所有其他供应商的相关性系数向量，计算相关性系数的方法是Pearson相关系数，然后将所有供应商的相关性系数向量接近的聚成簇，寻找簇内供应商之间相似且和簇外供应商相差较大的供应商组合作为投标策略高度相关的供应商群体；
异常投标供应商个体识别模块工作时，投标品类Apriori关联分析为，输入为每个批次每个供应商的投标品类序列，从所有投标批次中找出支持度较高的投标组合，即大概率的主营投标组合，若供应商的投标组合不在大概率的主营投标组合内，即该供应商属于疑似非主营投标；
算法评估模块工作时，剔除异常投标供应商集合前后的平均报价B值曲线为当前批次每个包的所有投标供应商的平均报价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911154843.6A CN111028050B (zh) | 2019-11-22 | 2019-11-22 | 一种基于数据驱动的异常投标行为检测评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911154843.6A CN111028050B (zh) | 2019-11-22 | 2019-11-22 | 一种基于数据驱动的异常投标行为检测评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111028050A CN111028050A (zh) | 2020-04-17 |
| CN111028050B true CN111028050B (zh) | 2024-02-27 |
Family
ID=70206846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911154843.6A Active CN111028050B (zh) | 2019-11-22 | 2019-11-22 | 一种基于数据驱动的异常投标行为检测评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111028050B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102049A (zh) * | 2020-09-23 | 2020-12-18 | 中国建设银行股份有限公司 | 一种模型训练方法、业务处理方法、装置及设备 |
| CN113313337A (zh) * | 2020-10-10 | 2021-08-27 | 国网冀北电力有限公司物资分公司 | 物资管理智能风控系统及管理方法 |
| CN112884559A (zh) * | 2021-03-30 | 2021-06-01 | 政采云有限公司 | 一种围标检测方法、装置、设备及存储介质 |
| CN114782151A (zh) * | 2022-04-22 | 2022-07-22 | 广州中曜招标代理有限公司 | 一种智能化的招标管理平台 |
| CN115423578B (zh) * | 2022-09-01 | 2023-12-05 | 广东博成网络科技有限公司 | 基于微服务容器化云平台的招投标方法和系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030025703A (ko) * | 2001-09-22 | 2003-03-29 | 주식회사 포스코 | 전자 입찰 시스템 및 전자 입찰 방법 |
| KR20070069701A (ko) * | 2005-12-28 | 2007-07-03 | 연세대학교 산학협력단 | 건설공사용 입찰의사결정방법 및 장치 |
| CN101263520A (zh) * | 2005-09-15 | 2008-09-10 | 微软公司 | 拍卖中预算相关的伪投标 |
| KR100944117B1 (ko) * | 2009-05-13 | 2010-03-02 | 주식회사 예람 | 예정가격의 발생 확률을 이용한 입찰 분석 방법 |
| CN102682340A (zh) * | 2011-03-18 | 2012-09-19 | 林光柱 | 一种投标报价信息合理性评估方法 |
| CN106503929A (zh) * | 2016-11-14 | 2017-03-15 | 西安交通大学 | 一种智能分析围标与串标行为的方法 |
| CN107730282A (zh) * | 2017-10-31 | 2018-02-23 | 江苏国泰新点软件有限公司 | 一种围标确定的方法、装置、电子设备及存储介质 |
| CN108647993A (zh) * | 2018-04-09 | 2018-10-12 | 西南民族大学 | 一种识别招投标过程中投标者之间关系的方法 |
| CN109165337A (zh) * | 2018-10-17 | 2019-01-08 | 珠海市智图数研信息技术有限公司 | 一种基于知识图谱构建招投标领域关联分析的方法及系统 |
| CN110046740A (zh) * | 2019-02-21 | 2019-07-23 | 国网福建省电力有限公司 | 基于大数据的供应商投标行为分析预测方法 |
| CN110046973A (zh) * | 2019-04-17 | 2019-07-23 | 成都市审计局 | 一种基于关联关系大数据分析的围标串标检测方法 |
| CN110223083A (zh) * | 2019-05-28 | 2019-09-10 | 苏州国泰新点软件有限公司 | 串通投标行为检测方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090240628A1 (en) * | 2008-03-20 | 2009-09-24 | Co-Exprise, Inc. | Method and System for Facilitating a Negotiation |
| US20100121752A1 (en) * | 2008-11-12 | 2010-05-13 | Banigan Michael H | Web-Based Bid Analysis, Award, and Contract Management System |
-
2019
- 2019-11-22 CN CN201911154843.6A patent/CN111028050B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030025703A (ko) * | 2001-09-22 | 2003-03-29 | 주식회사 포스코 | 전자 입찰 시스템 및 전자 입찰 방법 |
| CN101263520A (zh) * | 2005-09-15 | 2008-09-10 | 微软公司 | 拍卖中预算相关的伪投标 |
| KR20070069701A (ko) * | 2005-12-28 | 2007-07-03 | 연세대학교 산학협력단 | 건설공사용 입찰의사결정방법 및 장치 |
| KR100944117B1 (ko) * | 2009-05-13 | 2010-03-02 | 주식회사 예람 | 예정가격의 발생 확률을 이용한 입찰 분석 방법 |
| CN102682340A (zh) * | 2011-03-18 | 2012-09-19 | 林光柱 | 一种投标报价信息合理性评估方法 |
| CN106503929A (zh) * | 2016-11-14 | 2017-03-15 | 西安交通大学 | 一种智能分析围标与串标行为的方法 |
| CN107730282A (zh) * | 2017-10-31 | 2018-02-23 | 江苏国泰新点软件有限公司 | 一种围标确定的方法、装置、电子设备及存储介质 |
| CN108647993A (zh) * | 2018-04-09 | 2018-10-12 | 西南民族大学 | 一种识别招投标过程中投标者之间关系的方法 |
| CN109165337A (zh) * | 2018-10-17 | 2019-01-08 | 珠海市智图数研信息技术有限公司 | 一种基于知识图谱构建招投标领域关联分析的方法及系统 |
| CN110046740A (zh) * | 2019-02-21 | 2019-07-23 | 国网福建省电力有限公司 | 基于大数据的供应商投标行为分析预测方法 |
| CN110046973A (zh) * | 2019-04-17 | 2019-07-23 | 成都市审计局 | 一种基于关联关系大数据分析的围标串标检测方法 |
| CN110223083A (zh) * | 2019-05-28 | 2019-09-10 | 苏州国泰新点软件有限公司 | 串通投标行为检测方法、装置、设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| "最低价中标法"的异常现象调查与分析;方雪珠;《山西建筑》;第第42卷卷(第第14期期);第218-219页 * |
| Detecting abnormal and collusive bids in capped tendering;Ballesteros-Pérez 等;《Automation in Construction》;第215–229页 * |
| 公路工程招标过程中报价评分方法的探讨;黄正;尚锐;章征;;华东公路(第05期);第87-89页 * |
| 投标报价合理性分析;顾艳梅;;现代商业(第05期);第70-72页 * |
| 电力企业供应商疑似围标串标行为分析;王俊芳;王中龙;刘建;耿建;李艳;王蕾;秦宾;;经营与管理(第05期);第122-125页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111028050A (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028050B (zh) | 一种基于数据驱动的异常投标行为检测评估方法及系统 | |
| CN110097297B (zh) | 一种多维度窃电态势智能感知方法、系统、设备及介质 | |
| US11676087B2 (en) | Systems and methods for vulnerability assessment and remedy identification | |
| Khajvand et al. | Estimating customer future value of different customer segments based on adapted RFM model in retail banking context | |
| Chang et al. | An effective early fraud detection method for online auctions | |
| CN108573432B (zh) | 用于电子商务的交易监管系统和方法 | |
| Gavronski et al. | ISO 14001 certified plants in Brazil–taxonomy and practices | |
| CN102081774A (zh) | 养卡识别方法及系统 | |
| CN112766550A (zh) | 基于随机森林的停电敏感用户预测方法、系统、存储介质及计算机设备 | |
| CN108090712B (zh) | 一种分析业务异常的方法及装置 | |
| CN112801498A (zh) | 风险识别模型的训练方法、风险识别方法、装置及设备 | |
| CN113869722A (zh) | 基于工业互联网的家电供应链风险预警系统、方法及设备 | |
| CN115082153A (zh) | 一种商家质量评价方法、装置、电子设备及存储介质 | |
| CN114912510B (zh) | 一种线上调研样本质量评估系统 | |
| CN103309885B (zh) | 一种在电子交易平台中识别特征用户的方法及装置和搜索方法及装置 | |
| Almazroi et al. | A novel method CNN-LSTM ensembler based on Black Widow and Blue Monkey Optimizer for electricity theft detection | |
| CN112990989B (zh) | 价值预测模型输入数据生成方法、装置、设备和介质 | |
| CN117151882B (zh) | 一种基于多品种电力交易的风险评估方法及系统 | |
| CN114118793A (zh) | 一种地方交易所风险预警方法、装置及设备 | |
| Majadi et al. | Real-time detection of shill bidding in online auctions: A literature review | |
| CN114202179A (zh) | 目标企业的识别方法以及装置 | |
| Fu et al. | Trimming outliers using trees: winning solution of the large-scale energy anomaly detection (LEAD) competition | |
| CN110223104B (zh) | 一种基于大数据的客户模型构建系统 | |
| CN107480703A (zh) | 交易故障检测方法及装置 | |
| CN113744024B (zh) | 一种商家匹配方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Qian Zhongwen Inventor after: Yang Jiandang Inventor after: Shen Likai Inventor after: Ma Xinqiang Inventor after: Shen Qi Inventor after: Fu Xin Inventor after: Liu Yong Inventor after: Yuan Xiao Inventor after: Chen Tianmei Inventor after: Huang Yi Inventor after: Zhong Baoquan Inventor before: Ma Xinqiang Inventor before: Liu Yong Inventor before: Zhong Baoquan Inventor before: Yang Jiandang Inventor before: Shen Likai Inventor before: Huang Yi |
|
| CB03 | Change of inventor or designer information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200628 Address after: 310006 5-6 Floor 378 Fengqi Road, Xiacheng District, Hangzhou City, Zhejiang Province Applicant after: MATERIAL BRANCH, STATE GRID ZHEJIANG ELECTRIC POWER Co.,Ltd. Applicant after: ZHEJIANG University Address before: 310013 No. 866 Tong Road, Xihu District, Zhejiang, Hangzhou, Yuhang Applicant before: ZHEJIANG University |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |