CN111709604A - 专家评审行为的评价方法、装置及计算机存储介质 - Google Patents

专家评审行为的评价方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN111709604A
CN111709604A CN202010424374.1A CN202010424374A CN111709604A CN 111709604 A CN111709604 A CN 111709604A CN 202010424374 A CN202010424374 A CN 202010424374A CN 111709604 A CN111709604 A CN 111709604A
Authority
CN
China
Prior art keywords
evaluation
expert
project
evaluation index
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010424374.1A
Other languages
English (en)
Inventor
李颖
刘馨阳
丁春光
聂国健
葛智君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronic Product Reliability and Environmental Testing Research Institute
Original Assignee
China Electronic Product Reliability and Environmental Testing Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronic Product Reliability and Environmental Testing Research Institute filed Critical China Electronic Product Reliability and Environmental Testing Research Institute
Priority to CN202010424374.1A priority Critical patent/CN111709604A/zh
Publication of CN111709604A publication Critical patent/CN111709604A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种专家评审行为的评价方法、装置及计算机存储介质，评价方法包括：获取待评价专家对参与的多个项目中每个项目的评审结果；获取每个项目的真实水平；根据评审结果和真实水平获取待评价专家对每个项目的评审偏差值；根据评审偏差值和预先建立的专家评价指标体系获取待评价专家的评价指标；根据评价指标对待评价专家进行打分，以对待评价专家的评审行为进行评价。由此，通过基于评审结果对待评价专家进行定量评价，解决了对专家进行反向评价的难题，为项目评审公平公正提供了有力保证，具有很大的社会效益。

Description

专家评审行为的评价方法、装置及计算机存储介质
技术领域
本发明涉及人员管理技术领域，特别是涉及一种专家评审行为的评价方法、装置及计算机存储介质。
背景技术
由于科研本身的创新性与独创性，目前科研项目的评审主要采取同行评议形式，即同领域的专家依据事先确定的评审规则，从科研项目的必要性、可行性、预期成果、经费安排等方面进行评判。在评审过程中，专家的判断难免会受主观因素干扰，影响评审结果，而科研项目评审结果是否客观公正，直接关系到科研资源能否合理分配，因此如何保证专家在评审过程中是否尽职尽责，从而维持一支高素质的评审专家团队，是项目管理部门必须面对的问题。
相关技术中，通过建立相应的专家评价指标体系来分析专家在评审过程中是否尽职尽责，但是其评价方法与评审结果无法形成系统性的评价指标体系，难以直接应用于评审专家的分析，不具备对评审专家评价工作的实操性。
发明内容
基于此，有必要针对目前的专家评价指标体系难以直接应用于评审专家分析的问题，提供一种专家评审行为的评价方法、装置及计算机存储介质。
一种专家评审行为的评价方法，包括：
获取待评价专家对参与的多个项目中每个项目的评审结果；
获取每个项目的真实水平；
根据评审结果和真实水平获取待评价专家对每个项目的评审偏差值；
根据评审偏差值和预先建立的专家评价指标体系获取待评价专家的评价指标；
根据评价指标对待评价专家进行打分，以对待评价专家的评审行为进行评价。
在其中一个实施例中，评审结果包括评分评审结果、经费评审结果和通过与否评审结果中的一种或多种。
在其中一个实施例中，获取每个项目的真实水平，包括：
分别计算每个项目对应的所有专家的评审结果的平均值，以获得每个项目的真实水平；或者，
分别去除每个项目对应的所有专家的评审结果的最大值和最小值，并计算相应剩余评审结果的平均值，以获得每个项目的真实水平；或者，
分别获取每个项目对应的所有专家的评审结果的中间值，以获得每个项目的真实水平。
在其中一个实施例中，专家评价指标体系包括个性评价指标、随机性评价指标和倾向性评价指标中的一种或多种。
在其中一个实施例中，个性评价指标通过以下公式进行表达：
Figure BDA0002498135970000021
其中，
Figure BDA0002498135970000022
为专家i的个性评价指标，Δij为专家i对项目j的评审偏差值。
在其中一个实施例中，随机性评价指标通过以下公式进行表达：
Figure BDA0002498135970000023
其中，Si为专家i的随机性评价指标，Δij为专家i对项目j的评审偏差值，
Figure BDA0002498135970000031
为专家i的个性评价指标。
在其中一个实施例中，倾向性评价指标包括项目倾向性评价指标、单位倾向性评价指标和倾向正确率评价指标中的一种或多种，其中，
项目倾向性评价指标通过以下公式进行表达：
Figure BDA0002498135970000032
Figure BDA0002498135970000033
其中，Pi为专家i的项目倾向性评价指标，Pi,j为专家i对项目j的项目倾向值，Δij为专家i对项目j的评审偏差值，
Figure BDA0002498135970000034
为专家i的个性评价指标，Si为专家i的随机性评价指标，x为积分变量；
单位倾向性评价指标通过以下公式进行表达：
Figure BDA0002498135970000035
Figure BDA0002498135970000036
其中，Li为专家i的单位倾向性评价指标，Li,u为专家i对单位u的单位倾向值，Pi,j为专家i对项目j的项目倾向值；
倾向正确率评价指标通过以下公式进行表达：
Figure BDA0002498135970000037
其中，Rpki为专家i的倾向正确率评价指标，
Figure BDA0002498135970000038
为专家i对竞争项目中评审得分最高的项目jmax的评审结果，
Figure BDA0002498135970000039
为专家i对竞争项目中评审得分最低的项目jmin的评审结果。
在其中一个实施例中，根据评价指标对待评价专家进行打分，包括：
从历史数据库中获取同类评审结果中多位专家的评价指标，并对多位专家的评价指标进行排序；获取待评价专家在序列中的序号，根据序号获取待评价专家的分项得分；根据分项得分按照预设权重计算获得待评价专家的综合评分；
或者，
根据待评价专家的评价指标从预设表格中获取待评价专家的分项得分；根据分项得分按照预设权重计算获得待评价专家的综合评分。
一种专家评审行为的评价装置，包括：
评审结果获取模块，用于获取待评价专家对参与的多个项目中每个项目的评审结果；
真实水平获取模块，用于获取每个项目的真实水平；
评审偏差获取模块，用于根据评审结果和真实水平获取待评价专家对每个项目的评审偏差值；
评价指标获取模块，用于根据评审偏差值和预先建立的专家评价指标体系获取待评价专家的评价指标；
打分模块，用于根据评价指标对待评价专家进行打分，以对待评价专家的评审行为进行评价。
一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。
上述专家评审行为的评价方法、装置及计算机存储介质，通过获取待评价专家对参与的多个项目中每个项目的评审结果，并获取每个项目的真实水平，以及根据评审结果和真实水平获取待评价专家对每个项目的评审偏差值，并根据评审偏差值和预先建立的专家评价指标体系获取待评价专家的评价指标，以及根据评价指标对待评价专家进行打分，以对待评价专家的评审行为进行评价。由此，通过基于评审结果对待评价专家进行定量评价，解决了对专家进行反向评价的难题，为项目评审公平公正提供了有力保证，具有很大的社会效益。
附图说明
图1为一个实施例中专家评审行为的评价方法的流程图；
图2为一个实施例中专家评审行为的评价装置的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
图1为一个实施例中专家评审行为的评价方法的流程图，参考图1所示，专家评审行为的评价方法包括：
步骤S102，获取待评价专家对参与的多个项目中每个项目的评审结果。
具体地，在对项目进行评审时，通常会有多个专家从多方面对同一项目进行评审，例如多个专家中的每个专家分别从项目的必要性、可行性、预期成果、经费等多方面进行评审，并给出相应评审结果，其中，评审结果可包括评分评审结果、经费评审结果以及通过与否评审结果等。在评审完成后，可将每位专家的标识号(如姓名、身份证号等)以及每位专家对相应项目的评审结果对应存储至数据库中，以便于后续对相应专家进行反向评价。
其中，可将一位专家对单个项目的评审结果如(α评分,α经费,α是否通过)记为α，那么m位专家对n个项目的评审结果可记为：
Figure BDA0002498135970000061
其中，αij为专家i对项目j的评审结果，该评审结果可包括评分评审结果、经费评审结果以及通过与否评审结果等，对于评分评审，α的数值为评审得分；对于经费评审，α的数值为建议经费；对于通过与否评审，通过时，α的数值为1，不通过时α的数值为0。
在一个实施例中，当评审结果包括多个时，还对评审结果进行归一化处理。例如，当评审结果包括评分评审结果、经费评审结果和通过与否评审结果时，还对多个评审结果进行归一化处理，以在不同数值体系之间建立统一的比较标准，归一化处理后的评审结果如公式(2)所示：
Figure BDA0002498135970000062
其中，βij为归一化处理后专家i对项目j的评审结果，ρ的数值根据实际需要进行设置，例如对于评分评审，ρ的数值为评分满分；对于经费评审，ρ的数值为评审建议经费；对于通过与否评审，ρ的数值为1。而对于使用单一数值体系进行的评审，可不进行归一化处理，即ρ的数值为1。
当需要对待评价专家进行反向评价时，可从数据库中获取待评价专家对参与的多个项目中每个项目的评审结果，基于评审结果对待评价专家进行反向评价。需要说明的是，对评审结果的归一化处理可在评审结果存储时执行，也可以在对待评价专家进行反向评价时执行，具体这里不做限制。
步骤S104，获取每个项目的真实水平。
具体而言，项目的真实水平通常是难以直接评估的，因此可以采用间接方式进行评估。例如，假设对项目评审的每位专家具有专业性、公正性以及专家个体之间的评审结果是相互独立的，那么可认为项目j的平均评审结果接近该项目的真实水平，因此可将项目j的平均评审结果作为该项目的真实水平。即，在一个实施例中，获取每个项目的真实水平，包括：分别计算每个项目对应的所有专家的评审结果的平均值，以获得每个项目的真实水平，如公式(3)所示：
Figure BDA0002498135970000071
其中，γj为项目j的真实水平，βij为专家i对项目j的评审结果。
而对于评审专家人数较少(一般可取m的值在30以下)的评审，可选取去除最高评价和最低评价之后的平均值作为真实水平，以提升结果的稳健性。即，在一个实施例中，获取每个项目的真实水平，包括：分别去除每个项目对应的所有专家的评审结果的最大值和最小值，并计算相应剩余评审结果的平均值，以获得每个项目的真实水平，如公式(4)所示：
Figure BDA0002498135970000072
其中，γj为项目j的真实水平，βij为专家i对项目j的评审结果，Max(βij)为项目j对应的所有专家的评审结果的最大值，即项目j的最高评价，Min(βij)为项目j对应的所有专家的评审结果的最小值，即项目j的最低评价。
另外，对于评审专家人数较少的评审，也可以选取评分中位数作为真实水平。即，在一个实施例中，获取每个项目的真实水平，包括：分别获取每个项目对应的所有专家的评审结果的中间值，以获得每个项目的真实水平，如公式(5)所示：
γj＝mid(βij) (5)
其中，γj为项目j的真实水平，mid(βij)为项目j对应的所有专家的评审结果的中间值，即项目j的评分中位数。
在获取待评价专家参与的多个项目中每个项目的真实水平时，可先从数据库中获取每个项目对应的专家总数，根据专家总数确定每个项目对应的评估方法，如上述公式(3)-(5)所示，然后从数据库中获取每个项目对应的所有专家的评审结果，根据评审结果和对应评估方法估算获得每个项目的真实水平。
由此，基于评审结果采用间接方式实现对项目真实水平的获取，方法简单可靠，当然，也可以采用其它方式来获取项目的真实水平，具体这里不做限制。
步骤S106，根据评审结果和真实水平获取待评价专家对每个项目的评审偏差值。其中，评审偏差值是特定专家特定评审结果与对应项目真实水平之差，如公式(6)所示：
Δij＝βij-γj (6)
其中，Δij为专家i对项目j的评审偏差值，βij为专家i对项目j的评审结果，γj为项目j的真实水平。
在一个实施例中，根据评审结果和真实水平获取待评价专家对每个项目的评审偏差值，包括：计算待评价专家对每个项目的评审结果与相应项目的真实水平之间的差值，以获得待评价专家对每个项目的评审偏差值。即，按照上述公式(6)依次计算待评价专家对参与的多个项目中每个项目的评审结果与相应项目的真实水平之间的差值，以获得待评价专家对每个项目的评审偏差值。
步骤S108，根据评审偏差值和预先建立的专家评价指标体系获取待评价专家的评价指标。
具体而言，通常评审偏差值是受多方面因素影响产生的，例如专家个性化因素、专家偶然因素以及专家主观因素等，因此上述评审偏差值可进一步分解为多个因素中每个因素产生的偏差之和，例如，上述评审偏差值Δij可进一步分解为个性偏差、随机偏差和倾向性偏差之和，如公式(7)所示：
Figure BDA0002498135970000091
其中，Δij为专家i对项目j的评审偏差值；
Figure BDA0002498135970000092
为专家i的个性偏差，表征专家对评审标准的理解存在个性化差异，评审结果整体偏高或偏低；
Figure BDA0002498135970000093
为随机偏差，表征专家受偶然因素影响，在对主观影响较强的评审项评分时，评审结果无意识的波动；
Figure BDA0002498135970000094
为倾向性偏差，表征专家受主观因素影响，对特定的项目或承接单位等，主动的提升或降低评审结果。
相应的，预先建立的专家评价指标体系可包括多个评价指标，例如可包括个性评价指标、随机性评价指标以及倾向性评价指标等，其中，通过个性评价指标反映专家的个性化差异，即评审习惯；通过随机性评价指标反映专家评审结果的波动性；通过倾向性评价指标反映专家对特定项目或承接单位等的倾向。
在一个实施例中，个性评价指标可通过公式(8)进行表达：
Figure BDA0002498135970000095
其中，
Figure BDA0002498135970000096
为专家i的个性评价指标，也即个性偏差，反映专家i的评审习惯，
Figure BDA0002498135970000097
越大越容易给出高评价，越小越容易给出低评价；Δij为专家i对项目j的评审偏差值。
在一个实施例中，随机性评价指标可通过公式(9)进行表达：
Figure BDA0002498135970000101
其中，Si为专家i的随机性评价指标，也即随机偏差标准方差，反映专家i评审结果的波动性，Si越大，评审结果越容易偏离其他专家集体评审结果；Δij为专家i对项目j的评审偏差值；
Figure BDA0002498135970000102
为专家i的个性评价指标。
在一个实施例中，倾向性评价指标可包括项目倾向性评价指标、单位倾向性评价指标以及倾向正确率评价指标等，其中，项目倾向性评价指标可通过公式(10)和(11)进行表达：
Figure BDA0002498135970000103
Figure BDA0002498135970000104
其中，Pi,j为专家i对项目j的项目倾向值，反映专家i对项目j的倾向，|Pi,j|越大，专家i对项目j的评审结果主观性越强，当Pi,j＞0时，呈正面倾向，当Pi,j＜0时，呈负面倾向；Pi为专家i的项目倾向性评价指标，也即平均项目倾向度，反映专家i评审时对项目的主观程度，Pi越大，专家i在评审中面向项目的主观性越强；Δij为专家i对项目j的评审偏差值；
Figure BDA0002498135970000105
为专家i的个性评价指标；Si为专家i的随机性评价指标；x为积分变量。
单位倾向性评价指标可通过公式(12)和(13)进行表达：
Figure BDA0002498135970000106
Figure BDA0002498135970000111
其中，Li,u为专家i对单位u的单位倾向值，反映专家i对单位u的整体倾向，|Li,u|越大，专家i对单位u的评审结果主观性越强，当Li,u＞0时，呈正面倾向，当Li,u＜0时，呈负面倾向；Li为专家i的单位倾向性评价指标，也即平均单位倾向度，反映专家i对各单位主观程度，Li越大，专家i在评审中面向单位的主观性越强；Pi,j为专家i对项目j的项目倾向值，且这里的项目j属于单位u。
倾向正确率评价指标可通过公式(14)进行表达：
Figure BDA0002498135970000112
其中，Rpki为专家i的倾向正确率评价指标，是通过专家i对竞争项目(PK项目)中评审得分最高的项目jmax的评审结果
Figure BDA0002498135970000113
与评审得分最低的项目jmin的评审结果
Figure BDA0002498135970000114
获得，反映专家正确判断项目得分的能力。
当然，专家评价指标体系除了包括上述提到的个性评价指标、随机性评价指标、项目倾向性评价指标、单位倾向性评价指标和倾向正确率评价指标，还可以包括其它评价指标，具体可根据评审结果确定，这里不做限制。
在获取待评价专家的评价指标时，可将计算获得的待评审专家对每个项目的评审偏差值代入上述公式(8)-(14)计算获得待评价专家的评价指标。
由此，通过研究分析评审结果的表述形式如公式(1)-(2)所示、评审专家评价偏差来源如公式(7)所示、评价偏差与评审外因素的关联性、评价偏差的分布模式的基础上，针对专家评价工作定量分析的需要，依据数理统计理论，建立了基于评审结果的专家评价指标体系如公式(8)-(14)，基于该评价体系分析专家在评审过程中的表现，得到待评价专家的评价指标，进而根据评价指标对待评价专家进行打分。由于该评价指标基于评审结果获得，因而更贴近专家评价工作需求，满足对评审过程中专家的专业性、公正性的分析需要。
步骤S110，根据评价指标对待评价专家进行打分，以对待评价专家的评审行为进行评价。
具体而言，在获得待评价专家的评价指标后，可根据评价指标对待评价专家进行打分，以通过量化数据对待评价专家的评审行为进行评价，使得评价更直观。并且，通过前述分析，一般评价指标包括多个，以从多方面对待评价专家的评审行为进行评价，保证评价具有较高的可信度。
在一个实施例中，根据评价指标对待评价专家进行打分，包括：从历史数据库中获取同类评审结果中多位专家的评价指标，并对多位专家的评价指标进行排序；获取待评价专家在序列中的序号，根据序号获取待评价专家的分项得分；根据分项得分按照预设权重计算获得待评价专家的综合评分。其中，同类评审结果是指同一个打分体系下所获得的评审结果。
具体而言，每个评价指标对应一个分项得分，将分项得分加权求和即可获得待评价专家的综合评分。由于各个评价指标的计算方式不同，各个评价指标具有各自的分布特点，因此选用以下方法将评价指标转换为分项得分，转换过程保证排序不失真，转换后分项得分具有实际意义，将直接对应排名。
以待评价专家的评价指标包括个性评价指标
Figure BDA0002498135970000121
随机性评价指标Si、项目倾向性评价指标Pi、单位倾向性评价指标Li和倾向正确率评价指标Rpki为例。
在获取个性评价指标
Figure BDA0002498135970000122
对应的分项得分，即个性偏差分项得分时，可先从历史数据库中获取同类评审结果中M位专家的个性评价指标，取绝对值后，由小到大排序，构成M位序列
Figure BDA0002498135970000123
然后将待评价专家的
Figure BDA0002498135970000124
与序列中的值进行比较，并将最接近的值对应的序号作为待评价专家在序列中的序号记为di1，那么待评价专家的该项分项得分为100×(M+1-di1)/M。
在获取随机性评价指标Si对应的分项得分，即随机偏差标准方差分项得分时，可先从历史数据库中获取同类评审结果中M位专家的随机性评价指标，由小到大排序，构成M位序列(S1,S2,…,SM)，然后将待评价专家的Si与序列中的值进行比较，并将最接近的值对应的序号作为待评价专家在序列中的序号记为di2，那么待评价专家的该项分项得分为100×(M+1-di2)/M。
在获取项目倾向性评价指标Pi对应的分项得分，即平均项目倾向度分项得分时，先从历史数据库中获取同类评审结果中M位专家的项目倾向性评价指标，取绝对值后，由小到大排序，构成M位序列(|P1|,|P2|,…,|PM|)，然后将待评价专家的|Pi|与序列中的值进行比较，并将最接近的值对应的序号作为待评价专家在序列中的序号记为di3，那么待评价专家的分项得分为100×(M+1-di3)/M。
在获取单位倾向性评价指标Li对应的分项得分，即平均单位倾向度分项得分时，可先从历史数据库中获取同类评审结果中M位专家的单位倾向性评价指标，取绝对值后，由小到大排序，构成M位序列(|L1|,|L2|,…,|LM|)，然后将待评价专家的|Li|与序列中的值进行比较，并将最接近的值对应的序号作为待评价专家在序列中的序号记为di4，那么待评价专家的该项分项得分为100×(M+1-di4)/M。
在获取倾向正确率评价指标Rpki对应的分项得分时，该项分项得分为100*Rpki。特别的，如果待评价专家未参与竞争项目的评审，那么待评价专家的该项分项得分为M位专家该项分项得分的平均值。
在获得待评价专家的各项分项得分后，可根据分项得分采用加权求和方式计算获得待评价专家的综合评分，以实现对待评价专家的评审行为的评价。
在一个实施例中，根据评价指标对待评价专家进行打分，包括：根据待评价专家的评价指标从预设表格中获取待评价专家的分项得分；根据分项得分按照预设权重计算获得待评价专家的综合评分。例如，当历史数据库中的同类评审结果数据积累较少时，可采用查表方式获得相应的分项得分。
更为具体的，对于评分评审评分满分为100分的评审结果评价，个性评价指标
Figure BDA0002498135970000141
对应的分项得分，即个性偏差分项得分可参考表1确定。在表1中，个性偏差绝对值下限也即个性评价指标绝对值下限，个性偏差绝对值上限也即个性评价指标绝对值上限。
表1
Figure BDA0002498135970000142
Figure BDA0002498135970000151
对于评分评审评分满分为100分的评审结果评价，随机性评价指标Si对应的分项得分，即随机偏差标准方差分项得分可参考表2确定。在表2中，随机偏差标准方差下限也即随机性评价指标下限，随机偏差标准方差上限也即随机性评价指标上限。
表2
Figure BDA0002498135970000152
Figure BDA0002498135970000161
Figure BDA0002498135970000171
对于评分评审评分满分为100分的评审结果评价，项目倾向性评价指标Pi对应的分项得分，即平均项目倾向度分项得分可参考表3确定。在表3中，平均项目倾向度下限也即项目倾向性评价指标下限，平均项目倾向度上限也即项目倾向性评价指标上限。
表3
Figure BDA0002498135970000172
Figure BDA0002498135970000181
对于评分评审评分满分为100分的评审结果评价，单位倾向性评价指标Li对应的分项得分，即平均单位倾向度分项得分可参考表4确定。在表4中，平均单位倾向度下限也即单位倾向性评价指标下限，平均单位倾向度上限也即单位倾向性评价指标上限。
表4
Figure BDA0002498135970000191
Figure BDA0002498135970000201
在获得待评价专家的各项分项得分后，可根据分项得分采用加权求和方式计算获得待评价专家的综合评分，以实现对待评价专家的评审行为的评价，如：综合评分＝个性偏差分项得分×K1+随机偏差标准方差分项得分×K2+平均项目倾向度分项得分×K3+平均单位倾向度分项得分×K4+倾向正确率分项得分×K5
其中，K1、K2、K3、K4和K5为权重，即比例系数，可根据需要进行调整，但需满足K1+K2+K3+K4+K5＝1且K1≥0,K2≥0,K3≥0,K4≥0,K5≥0。在以上条件的约束下，专家得分范围在0到100分之间。
综上所述，本申请的专家评审行为的评价方法，通过基于评审结果对待评价专家进行定量评价，能够为专家管理提供量化依据，弥补了当前专家管理工作缺乏对评审结果分析的遗憾，解决了对专家进行反向评价的难题，填补了国内空白。并且，该方法能够很好的应用于评审专家与淘汰工作中，确保项目的评审工作由责任心强、纪律性强、技术过硬的专家团队完成，为项目评审公平公正提供了有力保证，具有很大的社会效益。同时，该方法具有适用性强，即同时适用于评分评价、经费评价、通过与否评价等多种数值体系的评审结果；表征性强，即能够定量的反映专家打分习惯、专家对特定项目及特定承接单位等的倾向性；实用性强，即贴近专家评价工作需求，满足对评审过程中的专家的专业性、公正性的分析需要等的优点。
本申请还提供一种专家评审行为的评价装置，参考图2所示，专家评审行为的评价装置包括：评审结果获取模块10、真实水平获取模块20、评审偏差获取模块30、评价指标获取模块40和打分模块50。其中，评审结果获取模块10用于获取待评价专家对参与的多个项目中每个项目的评审结果；真实水平获取模块20用于获取每个项目的真实水平；评审偏差获取模块30用于根据评审结果和真实水平获取待评价专家对每个项目的评审偏差值；评价指标获取模块40用于根据评审偏差值和预先建立的专家评价指标体系获取待评价专家的评价指标；打分模块50用于根据评价指标对待评价专家进行打分，以对待评价专家的评审行为进行评价。
在一个实施例中，评审结果包括评分评审结果、经费评审结果和通过与否评审结果中的一种或多种。
在一个实施例中，获取每个项目的真实水平，包括：分别计算每个项目对应的所有专家的评审结果的平均值，以获得每个项目的真实水平；或者，分别去除每个项目对应的所有专家的评审结果的最大值和最小值，并计算相应剩余评审结果的平均值，以获得每个项目的真实水平；或者，分别获取每个项目对应的所有专家的评审结果的中间值，以获得每个项目的真实水平。
在一个实施例中，专家评价指标体系包括个性评价指标、随机性评价指标和倾向性评价指标中的一种或多种。
在一个实施例中，个性评价指标通过以下公式进行表达：
Figure BDA0002498135970000221
其中，
Figure BDA0002498135970000222
为专家i的个性评价指标，Δij为专家i对项目j的评审偏差值。
在一个实施例中，随机性评价指标通过以下公式进行表达：
Figure BDA0002498135970000223
其中，Si为专家i的随机性评价指标，Δij为专家i对项目j的评审偏差值，
Figure BDA0002498135970000224
为专家i的个性评价指标。
在一个实施例中，倾向性评价指标包括项目倾向性评价指标、单位倾向性评价指标和倾向正确率评价指标中的一种或多种，其中，项目倾向性评价指标通过以下公式进行表达：
Figure BDA0002498135970000225
Figure BDA0002498135970000226
其中，Pi为专家i的项目倾向性评价指标，Pi,j为专家i对项目j的项目倾向值，Δij为专家i对项目j的评审偏差值，
Figure BDA0002498135970000227
为专家i的个性评价指标，Si为专家i的随机性评价指标，x为积分变量；
单位倾向性评价指标通过以下公式进行表达：
Figure BDA0002498135970000228
Figure BDA0002498135970000229
其中，Li为专家i的单位倾向性评价指标，Li,u为专家i对单位u的单位倾向值，Pi,j为专家i对项目j的项目倾向值；
倾向正确率评价指标通过以下公式进行表达：
Figure BDA0002498135970000231
其中，Rpki为专家i的倾向正确率评价指标，
Figure BDA0002498135970000232
为专家i对竞争项目中评审得分最高的项目jmax的评审结果，
Figure BDA0002498135970000233
为专家i对竞争项目中评审得分最低的项目jmin的评审结果。
在一个实施例中，根据评价指标对待评价专家进行打分，包括：从历史数据库中获取同类评审结果中多位专家的评价指标，并对多位专家的评价指标进行排序；获取待评价专家在序列中的序号，根据序号获取待评价专家的分项得分；根据分项得分按照预设权重计算获得待评价专家的综合评分；或者，根据待评价专家的评价指标从预设表格中获取待评价专家的分项得分；根据分项得分按照预设权重计算获得待评价专家的综合评分。
本申请还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的专家评审行为的评价方法的步骤。
需要说明的是，关于本申请的专家评审行为的评价装置和计算机存储介质的描述请参考本申请关于专家评审行为的评价方法的描述，这里不再详述。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种专家评审行为的评价方法，其特征在于，包括：
获取待评价专家对参与的多个项目中每个项目的评审结果；
获取所述每个项目的真实水平；
根据所述评审结果和所述真实水平获取所述待评价专家对所述每个项目的评审偏差值；
根据所述评审偏差值和预先建立的专家评价指标体系获取所述待评价专家的评价指标；
根据所述评价指标对所述待评价专家进行打分，以对所述待评价专家的评审行为进行评价。
2.根据权利要求1所述的专家评审行为的评价方法，其特征在于，所述评审结果包括评分评审结果、经费评审结果和通过与否评审结果中的一种或多种。
3.根据权利要求1所述的专家评审行为的评价方法，其特征在于，所述获取所述每个项目的真实水平，包括：
分别计算所述每个项目对应的所有专家的评审结果的平均值，以获得所述每个项目的真实水平；或者，
分别去除所述每个项目对应的所有专家的评审结果的最大值和最小值，并计算相应剩余评审结果的平均值，以获得所述每个项目的真实水平；或者，
分别获取所述每个项目对应的所有专家的评审结果的中间值，以获得所述每个项目的真实水平。
4.根据权利要求1所述的专家评审行为的评价方法，其特征在于，所述专家评价指标体系包括个性评价指标、随机性评价指标和倾向性评价指标中的一种或多种。
5.根据权利要求4所述的专家评审行为的评价方法，其特征在于，所述个性评价指标通过以下公式进行表达：
Figure FDA0002498135960000021
其中，
Figure FDA0002498135960000022
为专家i的个性评价指标，Δij为专家i对项目j的评审偏差值；
所述随机性评价指标通过以下公式进行表达：
Figure FDA0002498135960000023
其中，Si为专家i的随机性评价指标，Δij为专家i对项目j的评审偏差值，
Figure FDA0002498135960000024
为专家i的个性评价指标。
6.根据权利要求4所述的专家评审行为的评价方法，其特征在于，所述倾向性评价指标包括项目倾向性评价指标、单位倾向性评价指标和倾向正确率评价指标中的一种或多种，其中，
所述项目倾向性评价指标通过以下公式进行表达：
Figure FDA0002498135960000025
Figure FDA0002498135960000026
其中，Pi为专家i的项目倾向性评价指标，Pi,j为专家i对项目j的项目倾向值，Δij为专家i对项目j的评审偏差值，
Figure FDA0002498135960000027
为专家i的个性评价指标，Si为专家i的随机性评价指标，x为积分变量；
所述单位倾向性评价指标通过以下公式进行表达：
Figure FDA0002498135960000028
Figure FDA0002498135960000031
其中，Li为专家i的单位倾向性评价指标，Li,u为专家i对单位u的单位倾向值，Pi,j为专家i对项目j的项目倾向值；
所述倾向正确率评价指标通过以下公式进行表达：
Figure FDA0002498135960000032
其中，Rpki为专家i的倾向正确率评价指标，
Figure FDA0002498135960000033
为专家i对竞争项目中评审得分最高的项目jmax的评审结果，
Figure FDA0002498135960000034
为专家i对竞争项目中评审得分最低的项目jmin的评审结果。
7.根据权利要求1所述的专家评审行为的评价方法，其特征在于，所述根据所述评价指标对所述待评价专家进行打分，包括：
从历史数据库中获取同类评审结果中多位专家的评价指标，并对所述多位专家的评价指标进行排序；获取所述待评价专家在序列中的序号，根据序号获取所述待评价专家的分项得分；根据所述分项得分按照预设权重计算获得所述待评价专家的综合评分；
或者，
根据所述待评价专家的评价指标从预设表格中获取所述待评价专家的分项得分；根据所述分项得分按照预设权重计算获得所述待评价专家的综合评分。
8.根据权利要求7所述的专家评审行为的评价方法，其特征在于，所述预设表格包括：
对于评分评审评分满分为100分的评审结果评价，个性评价指标对应的分项得分表格：
Figure FDA0002498135960000035
Figure FDA0002498135960000041
Figure FDA0002498135960000051
对于评分评审评分满分为100分的评审结果评价，随机性评价指标对应的分项得分表格：
Figure FDA0002498135960000052
Figure FDA0002498135960000061
对于评分评审评分满分为100分的评审结果评价，项目倾向性评价指标对应的分项得分表格：
Figure FDA0002498135960000062
Figure FDA0002498135960000071
Figure FDA0002498135960000081
对于评分评审评分满分为100分的评审结果评价，单位倾向性评价指标对应的分项得分表格：
Figure FDA0002498135960000082
Figure FDA0002498135960000091
9.一种专家评审行为的评价装置，其特征在于，包括：
评审结果获取模块，用于获取待评价专家对参与的多个项目中每个项目的评审结果；
真实水平获取模块，用于获取所述每个项目的真实水平；
评审偏差获取模块，用于根据所述评审结果和所述真实水平获取所述待评价专家对所述每个项目的评审偏差值；
评价指标获取模块，用于根据所述评审偏差值和预先建立的专家评价指标体系获取所述待评价专家的评价指标；
打分模块，用于根据所述评价指标对所述待评价专家进行打分，以对所述待评价专家的评审行为进行评价。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现权利要求1至8中任一项的方法的步骤。
CN202010424374.1A 2020-05-19 2020-05-19 专家评审行为的评价方法、装置及计算机存储介质 Pending CN111709604A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010424374.1A CN111709604A (zh) 2020-05-19 2020-05-19 专家评审行为的评价方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010424374.1A CN111709604A (zh) 2020-05-19 2020-05-19 专家评审行为的评价方法、装置及计算机存储介质

Publications (1)

Publication Number Publication Date
CN111709604A true CN111709604A (zh) 2020-09-25

Family

ID=72537611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010424374.1A Pending CN111709604A (zh) 2020-05-19 2020-05-19 专家评审行为的评价方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111709604A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465388A (zh) * 2020-12-11 2021-03-09 广东电网有限责任公司 一种基于标准分的评标专家打分偏离度评价方法、装置
CN112488556A (zh) * 2020-12-11 2021-03-12 广东电网有限责任公司 一种评标专家打分一致性评价方法、装置及终端
CN112633720A (zh) * 2020-12-29 2021-04-09 国家电网有限公司信息通信分公司 对象的筛选方法及装置、电子设备及计算机可读存储介质
CN113254642A (zh) * 2021-05-28 2021-08-13 华斌 基于多维特征均衡的电子政务项目评价专家组推荐方法
CN113554304A (zh) * 2021-07-20 2021-10-26 广东信德资产评估与房地产土地估价有限公司 一种评估报告审核分析处理方法、系统及计算机设备
CN113689202A (zh) * 2021-09-08 2021-11-23 贵州省科技信息中心 一种在线审评异常检测方法及系统
WO2023046045A1 (zh) * 2021-09-23 2023-03-30 马山河 公平评议系统及其方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465388A (zh) * 2020-12-11 2021-03-09 广东电网有限责任公司 一种基于标准分的评标专家打分偏离度评价方法、装置
CN112488556A (zh) * 2020-12-11 2021-03-12 广东电网有限责任公司 一种评标专家打分一致性评价方法、装置及终端
CN112633720A (zh) * 2020-12-29 2021-04-09 国家电网有限公司信息通信分公司 对象的筛选方法及装置、电子设备及计算机可读存储介质
CN112633720B (zh) * 2020-12-29 2023-09-26 国家电网有限公司信息通信分公司 对象的筛选方法及装置、电子设备及计算机可读存储介质
CN113254642A (zh) * 2021-05-28 2021-08-13 华斌 基于多维特征均衡的电子政务项目评价专家组推荐方法
CN113554304A (zh) * 2021-07-20 2021-10-26 广东信德资产评估与房地产土地估价有限公司 一种评估报告审核分析处理方法、系统及计算机设备
CN113689202A (zh) * 2021-09-08 2021-11-23 贵州省科技信息中心 一种在线审评异常检测方法及系统
WO2023046045A1 (zh) * 2021-09-23 2023-03-30 马山河 公平评议系统及其方法

Similar Documents

Publication Publication Date Title
CN111709604A (zh) 专家评审行为的评价方法、装置及计算机存储介质
Engida et al. Measuring corporate sustainability performance–the case of European food and beverage companies
US11397955B2 (en) System and method for estimating CO2 emission
Roszkowska Rank ordering criteria weighting methods–a comparative overview
US20180181882A1 (en) Compensation data prediction
Shepperd Software project economics: a roadmap
Jones et al. Measurement and explanation of socioeconomic inequality in health with longitudinal data
Ranger et al. A flexible latent trait model for response times in tests
US20140297548A1 (en) Method and computer for matching candidates to tasks
Hogenboom et al. Adaptive tactical pricing in multi‐agent supply chain markets using economic regimes
Hou Investigating factors influencing the adoption of business intelligence systems: An empirical examination of two competing models
CN102096633A (zh) 一种面向应用领域的软件质量基准测评方法
Kim et al. Strategy for Improving Efficiency of Supply Chain Quality Management in Buyer‐Supplier Dyads: The Suppliers’ Perspective
KR20140080773A (ko) 다중 의사 결정 문제 해결을 위한 구간 회색수 및 엔트로피 기반 해법 연산 방법
Nedjati et al. Evaluating the intellectual capital by ANP method in a dairy company
EP2880601A2 (en) Asymmetrical multilateral decision support system
CN112381422A (zh) 光伏电站性能的确定方法和装置
Datta et al. Comparative study on application of utility concept and VIKOR method for vendor selection
Martin et al. Efficient method of moments estimators for integer time series models
Jeffery Preserving the Presumption of Patent Validity: An Alternative to Outsourcing the US Patent Examiner's Prior Art Search
Caughey et al. Bayesian population interpolation and lasso-based target selection in survey weighting
WO2022153624A1 (ja) 施策決定支援装置および施策決定支援方法
Engida et al. Measuring corporate sustainability performance-the case of European food and beverage industry
Besharati et al. An integrated robust design and marketing approach for product design selection process
Chaurasia et al. Fuzzy Based Multi Criteria Decision-Making

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination