CN110826900A - 一种基于众包的群智贡献评审方法 - Google Patents

一种基于众包的群智贡献评审方法 Download PDF

Info

Publication number
CN110826900A
CN110826900A CN201911058172.3A CN201911058172A CN110826900A CN 110826900 A CN110826900 A CN 110826900A CN 201911058172 A CN201911058172 A CN 201911058172A CN 110826900 A CN110826900 A CN 110826900A
Authority
CN
China
Prior art keywords
task
review
crowd
evaluation
expert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911058172.3A
Other languages
English (en)
Other versions
CN110826900B (zh
Inventor
唐艺
唐剑
张翔
易比一
何焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN201911058172.3A priority Critical patent/CN110826900B/zh
Publication of CN110826900A publication Critical patent/CN110826900A/zh
Application granted granted Critical
Publication of CN110826900B publication Critical patent/CN110826900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于众包的群智评审方法，任何任务的参与者和平台用户都可以作为评审专家，充分利用大众智慧资源。首先基于众包用户的能力与待评价的任务的需求匹配，选择评审专家，再根据评审专家的确定步长的历史数据信息来动态校正本次评审中该专家评分的权重因子，进而计算出所有评审专家基于权重因子的打分结果。本发明充分利用了互联网的在线群智资源，保证了在线评审活动的高效便捷以及科学公正。

Description

一种基于众包的群智贡献评审方法
技术领域
本发明涉及互联网技术领域，特别涉及一种基于众包的群智贡献评审方法。
背景技术
在科技项目评审中，传统的专家评审模式一般为发信函评审和会议评审两种方式，第一种方式时间周期较长，信息流通不够顺畅；第二种方式必须所有专家在同一时间同一地点进行评审，时间和空间上受限较大。以上均存在邀请专家困难，组织过程繁琐，以及面临支付较多评审费的问题，造成了人力物力上的过多支出。而随着互联网技术的日新月异，科研项目管理朝着网络化、智能化发展，出现了在线专家项目评审，解决了时间空间上的制约，节约了管理成本，而且评审工作可以在线上系统制定的规则下公正科学、高效便捷的开展。目前，国家自然科学基金已采取网上评审的方式，但其本质上还是业内专家进行评审，也面临着专家资源有限，基本处于同一个学术圈子的问题，没有能充分发动大众资源。
科技任务在线众包招募网站能够发动大众资源，定期面向互联网开放空间，发布科技任务，从社会大众智慧中征集任务成果和解决方案。但是众包招募网站利用传统的评审方式或者目前的网上评审方法，都会面临很多问题，组织管理工作繁重，评审质量难以控制。
发明内容
针对上述问题，本发明的目的在于针对现有在线评审技术的不足，提出一种基于众包的群智评审方法，任何任务的参与者和平台用户都可以作为评审专家，充分利用大众智慧资源。首先基于众包用户的能力与待评价的任务的需求匹配，选择评审专家，设计评分规则，再根据评审专家的历史数据信息，校正其打分权重因子，消除恶意打分，鼓励优秀评分，保证评价活动的科学公正以及高效便捷，极大的减轻科技项目管理中的评审工作。
为实现上述目的，本发明采取以下技术方案：
一种基于众包的群智评审方法，包括评审系统和众包平台，其特征在于，众包平台的注册用户既可以作为众包任务的参与者，也可以作为评审系统的评审专家，众包平台存储了注册用户的历史数据并对注册用户建立刻画模型，评审系统对每个待评审的众包任务建立任务需求模型，评审系统工作过程包括以下步骤：
1)对众包平台的注册用户的用户刻画模型与待评审众包任务的任务需求模型进行匹配，选取符合匹配要求的注册用户向推送评审任务，接受邀请的则被选为评审专家，如果评审专家人数满足数量要求，则进入下一步骤，否则重新进行本步骤；
2)确定每个评审专家的权重因子，设定历史信息步长数值为l，对于当选评审专家次数小于l的注册用户权重因子为1，即所有评审专家的初始权重因子为1；
对于当选评审专家次数大于等于l的注册用户权重因子则可以通过对以往历史评审得分的偏差进行权重因子修正得出：
设众包任务为M，选取了N个评审专家，mn为第n个评审专家的第m次任务，
Figure BDA0002257116110000021
为第n个评审专家的权重因子，
Figure BDA0002257116110000022
为第n个评审专家的第m次任务评审给出的实际分值；
根据其前l次评选行为来校正当前权重因子，设第n个评审专家的第mn-l次评选行为的实际评分为权重因子为
Figure BDA0002257116110000024
而该次评选活动的总评分为则该次评选活动的理想权重因子
Figure BDA0002257116110000026
第n个评审专家在该次评选活动中的权重因子偏差程度为：
Figure BDA0002257116110000027
则第n个评审专家前l次评分的权重因子偏差程度的均值为：
Figure BDA0002257116110000028
得到第n个评审专家l次评分的权重因子偏差程度的标准差为
则用下面公式对第n个评审专家当前任务的权重因子
Figure BDA0002257116110000031
进行校正：
评审专家每次打分越接近最终评分，其偏离值越小，则权重因子越大，如果本次任务选取的评审专家的权重因子全部确定，则进入下一步骤，否则重新进行本步骤；
3)每个评审专家n对任务成果进行独立评分，并在评分时限内在线提交分数
Figure BDA0002257116110000033
4)通过归一化使得所有用户的权重因子之和为1，该次众包评审任务给出的总体分值为SM，由公式
Figure BDA0002257116110000034
计算得出。
5)记录所有参与任务评审专家的评选数据信息，更新众包平台的数据存储。
优选的，所述步骤1)中匹配要求为：剔除连续3次评分与最终结果相差30％以上的人员。
优选的，所述步骤1)中的用户刻画模型的指标包括开发工具偏好、技术领域偏好、完成任务难度分布、用户活跃度、完成任务数。
优选的，所述步骤1)中的任务需求模型的指标包括开发工具偏好、技术领域偏好、完成任务难度分布。
优选的，所述步骤5)中的评分结束后计算该次评分分值偏差程度，并反馈给评审专家，对于偏差达到30％以上的人员，进行信息推送提示。
本发明由于采取上述技术方案，其具有以下技术优点：采用众包招募的思想，从参与任务的潜在成果提供者中挑选评审专家，拓展评审专家人选资源。评审专家的选取包含参与过相关专业方向任务成果提供者以及当前参与任务的竞选者。这种任务成果的评审方法便于在众多用户中找到需要的智慧资源，具有开放、共享的特点，而且可操作性强，流程简单。同时，基于评审专家历史打分数据信息的权重因子校正方法，可以有消除恶意评分，并增强优秀评审智慧资源的贡献，为系统发现优秀评审专家资源，保证在线评审工作的公正科学。
附图说明
图1为本发明的系统流程图。
具体实施方式
下面结合附图和实施例对本发明的进行详细的描述。
本发明思路是将对众包任务进行众包评审，通过参与任务的竞争者以及平台其他注册用户进行打分评比。传统的专家评审每次打分具有独立性和偶然性，则需要设计打分规则，防止恶意打分。
基本的打分规则设计如下：
1)用户的历史数据信息包括：用户的专业方向、参与过的任务、参与过的评分活动以及相关评分纪录(历次评分、权重系数、任务最终评分)，用户活跃度等；
2)根据评选人员历史评分数据信息生成权重因子，对用户每次实际评分进行加权；
3)所有新参加评选的人员前l次评分活动的权重因子均为1；
4)剔除连续3次评分与实际得分背离值大于30％的评选人员，停止评选一次；
5)任务成果提供者可参与当前任务的评选，但不能对自己进行打分；
6)所有在线评价全是定量评价，任务最终得分为所有评选人员评分归一化加权。
基于以上规则，本发明的具体实施技术方案包括以下步骤：
步骤1、基于能力和贡献度匹配，选取评议参与人员，推送任务
1)建立用户刻画模型，包括“开发工具偏好”、“技术领域偏好”、“完成任务难度分布”、“用户活跃度”、“完成任务数”等指标；设计数据库存储用户数据。
2)设计任务需求模型，包括“开发工具偏好”、“技术领域偏好”、“完成任务难度分布”等指标，发布当前任务。
3)基于“开发工具偏好”、“技术领域偏好”、“完成任务难度分布”等能力匹配，“用户活跃度”、“完成任务数”等贡献度匹配，以及用户历史信息等，匹配潜在任务评审专家。
4)根据当前匹配人员的历史评价信息，剔除连续3次评分与最终结果相差30％以上的人员，本次标记为暂停一次，下次可继续作为评议人员。
5)可选评议人员推送给管理人员，管理人员确定评选人数，从推送人员中选择相应数量，进行任务推送，邀请参与任务评价。
6)被邀请人员应答，拒绝或者接受。
7)若人数不满足要求，则继续从推送人员中邀请，满足则进入下一步。步骤2、计算每个评分人员的权重因子
设定历史信息步长数值为l，对于当选评审专家参与评审次数小于l的注册用户权重因子为1；
对于当选评审专家参与评审次数大于等于l的注册用户权重因子则可以通过对以往历史评审得分的偏差进行权重因子修正得出：
设众包任务为M，选取了N个评审专家，mn为第n个评审专家的第m次任务，
Figure BDA0002257116110000051
为第n个评审专家的权重因子，
Figure BDA0002257116110000052
为第n个评审专家的第m次任务评审给出的实际分值；
根据其前l次评选行为来校正当前权重因子，设第n个评审专家的第mn-l次评选行为的实际评分为
Figure BDA0002257116110000053
权重因子为
Figure BDA0002257116110000054
而该次评选活动的总评分为
Figure BDA0002257116110000055
则该次评选活动的理想权重因子
Figure BDA0002257116110000056
第n个评审专家在该次评选活动中的权重因子偏差程度为：
Figure BDA0002257116110000057
则第n个评审专家前l次评分的权重因子偏差程度的均值为：
Figure BDA0002257116110000058
得到第n个评审专家l次评分的权重因子偏差程度的标准差为
Figure BDA0002257116110000059
则用下面公式对第n个评审专家当前任务的权重因子
Figure BDA00022571161100000512
进行校正：
Figure BDA00022571161100000510
步骤3、评审专家打分
每个评分人员，基于自己的专业知识，对任务成果进行独立评分，并在评分时限内在线提交分数
Figure BDA00022571161100000511
步骤4、计算最终得分
判断当前用户是否参与了任务，并给自己的任务成果评分了，若是剔除该用户对自己的评分结果。该次众包评审任务最终得分为SM，由公式
Figure BDA0002257116110000061
Figure BDA0002257116110000062
计算得出，并进行公示。
步骤5、评分反馈
评分结束后，计算分值偏差程度，并反馈给评分人员。对于偏差达到30％以上的人员，进行信息推送，提示评分存在较大偏差，助于下次改进。
步骤6、用户数据更新
记录所有参与任务评选人员的评选数据信息，更新数据库并进行存储。

Claims (5)

1.一种基于众包的群智评审方法，包括评审系统和众包平台，其特征在于，众包平台的注册用户既可以作为众包任务的参与者，也可以作为评审系统的评审专家，众包平台存储了注册用户的历史数据并对注册用户建立刻画模型，评审系统对每个待评审的众包任务建立任务需求模型，评审系统工作过程包括以下步骤：
1)对众包平台的注册用户的用户刻画模型与待评审众包任务的任务需求模型进行匹配，选取符合匹配要求的注册用户向推送评审任务，接受邀请的则被选为评审专家，如果评审专家人数满足数量要求，则进入下一步骤，否则重新进行本步骤；
2)确定每个评审专家的权重因子，设定历史信息步长数值为l，对于当选评审专家次数小于l的注册用户权重因子为1；
对于当选评审专家次数大于等于l的注册用户权重因子则可以通过对以往历史评审得分的偏差进行权重因子修正得出：
设众包任务为M，选取了N个评审专家，mn为第n个评审专家的第m次任务，
Figure FDA0002257116100000011
为第n个评审专家的权重因子，
Figure FDA0002257116100000012
为第n个评审专家的第m次任务评审给出的实际分值；
根据其前l次评选行为来校正当前权重因子，设第n个评审专家的第mn-l次评选行为的实际评分为
Figure FDA0002257116100000013
权重因子为
Figure FDA0002257116100000014
而该次评选活动的总评分为
Figure FDA0002257116100000015
则该次评选活动的理想权重因子
Figure FDA0002257116100000016
第n个评审专家在该次评选活动中的权重因子偏差程度为：
Figure FDA0002257116100000017
则第n个评审专家前l次评分的权重因子偏差程度的均值为：
Figure FDA0002257116100000018
得到第n个评审专家l次评分的权重因子偏差程度的标准差为
则用下面公式对第n个评审专家当前任务的权重因子
Figure FDA0002257116100000022
进行校正：
Figure FDA0002257116100000023
如果本次任务选取的评审专家的权重因子全部确定，则进入下一步骤，否则重新进行本步骤；
3)每个评审专家对任务成果进行独立评分，并在评分时限内在线提交分数
Figure FDA0002257116100000024
4)该次众包评审任务给出的总体分值为SM，由公式
计算得出；
5)记录所有参与任务评审专家的评审数据信息，更新众包平台的数据存储。
2.根据权利要求1所述的基于众包的群智评审方法，其特征在于所述步骤1)中匹配要求为：剔除连续3次评分与最终结果相差30％以上的人员。
3.根据权利要求1所述的基于众包的群智评审方法，其特征在于所述步骤1)中的用户刻画模型的指标包括开发工具偏好、技术领域偏好、完成任务难度分布、用户活跃度、完成任务数。
4.根据权利要求1所述的基于众包的群智评审方法，其特征在于所述步骤1)中的任务需求模型的指标包括开发工具偏好、技术领域偏好、完成任务难度分布。
5.根据权利要求1所述的基于众包任务的群智评审方法，其特征在于所述步骤5)中的评分结束后计算该次评分分值偏差程度，并反馈给评审专家，对于偏差达到30％以上的人员，进行信息推送提示。
CN201911058172.3A 2019-11-01 2019-11-01 一种基于众包的群智贡献评审方法 Active CN110826900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911058172.3A CN110826900B (zh) 2019-11-01 2019-11-01 一种基于众包的群智贡献评审方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911058172.3A CN110826900B (zh) 2019-11-01 2019-11-01 一种基于众包的群智贡献评审方法

Publications (2)

Publication Number Publication Date
CN110826900A true CN110826900A (zh) 2020-02-21
CN110826900B CN110826900B (zh) 2020-09-01

Family

ID=69552165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911058172.3A Active CN110826900B (zh) 2019-11-01 2019-11-01 一种基于众包的群智贡献评审方法

Country Status (1)

Country Link
CN (1) CN110826900B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597535A (zh) * 2020-12-21 2021-04-02 中国科学院计算技术研究所 支持评审专家隐私保护的评审能力计算方法及系统
CN113869023A (zh) * 2021-09-27 2021-12-31 北京金山云网络技术有限公司 质控数据的处理方法、装置和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597535A (zh) * 2020-12-21 2021-04-02 中国科学院计算技术研究所 支持评审专家隐私保护的评审能力计算方法及系统
CN112597535B (zh) * 2020-12-21 2023-09-12 中国科学院计算技术研究所 支持评审专家隐私保护的评审能力计算方法及系统
CN113869023A (zh) * 2021-09-27 2021-12-31 北京金山云网络技术有限公司 质控数据的处理方法、装置和存储介质

Also Published As

Publication number Publication date
CN110826900B (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
US20060031087A1 (en) Mentor-protege matching system and method
Alptekin et al. Analysis of criteria influencing contractor selection using TOPSIS method
CN109068288B (zh) 一种基于多属性用户选择移动群智感知激励机制的方法及系统
CN110826900B (zh) 一种基于众包的群智贡献评审方法
US20230083846A1 (en) Artificial intelligence decision modeling processes using analytics and data shapely for multiple stakeholders
Franz et al. The transition from apprenticeship training to work
Kwok et al. Improving group decision making: a fuzzy GSS approach
Larionova G20: Engaging with International Organizations to Generate Growth
CN107545376A (zh) 一种下发任务的方法、装置及系统
CN110322149B (zh) 时间银行中基于多指标评价的一对多双边匹配方法
CN115271466A (zh) 一种对基于软件众包平台的众包工人综合评估方法
Jacquet et al. On the segmentation of markets
Guo et al. Enabling Team of Teams: A Trust Inference and Propagation (TIP) Model in Multi-Human Multi-Robot Teams
Alibeigi et al. Evaluating ASEAN E-commerce laws using fuzzy multi-criteria decision making
Velázquez et al. A neutrosophic model for the evaluation of the formative development of investigative competences
CN107784512A (zh) 一种基于人工智能的服务商推荐系统的算法
Asfiah et al. Islamic social entrepreneurship model of business women in pandemic era: Evidence from Indonesia
Daud¹ et al. The participation of women managers in managing sport: Challenges and reality
CN108764756A (zh) 一种企业管理方法及装置
Awangga et al. Collaboration FMADM And K-Means Clustering To Determine The Activity Proposal In Operational Management Activity
Saskara et al. Women’s cooperative development strategy to improve their welfare: Case study in Gianyar Regency, Bali Province, Indonesia
US20240169285A1 (en) Contribution degree estimation system, contribution degree estimation method, and program
Prabowo Strategic Business Decision-Making On Talent Management Scenarios To Support The Vision Of Growing Into A Large-Scale Company (Case Study Of G Communications Agency)
Sutiyo Roles of Neighborhood Group to Promote Participatory Development in Indonesia: Case of Three Villages in Purbalingga District, Central Java Province
Haryono et al. Implementation of sustainable business strategy change and entrepreneurial capacity building through SMEs empowerment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant