CN115713270B - 一种同行互评异常评分检测及修正方法和装置 - Google Patents
一种同行互评异常评分检测及修正方法和装置 Download PDFInfo
- Publication number
- CN115713270B CN115713270B CN202211505028.1A CN202211505028A CN115713270B CN 115713270 B CN115713270 B CN 115713270B CN 202211505028 A CN202211505028 A CN 202211505028A CN 115713270 B CN115713270 B CN 115713270B
- Authority
- CN
- China
- Prior art keywords
- data
- scoring
- abnormal
- detection
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000011156 evaluation Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 88
- 238000012937 correction Methods 0.000 claims abstract description 46
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 14
- 230000005856 abnormality Effects 0.000 claims abstract description 9
- 238000012552 review Methods 0.000 claims description 29
- 238000004140 cleaning Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000001174 ascending effect Effects 0.000 claims description 6
- 230000008713 feedback mechanism Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 4
- 238000012847 principal component analysis method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000011425 standardization method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
Abstract
本发明公开了一种同行互评异常评分检测及修正方法和装置，该方法包括以下步骤：首先将收集到的评分数据转化为二维矩阵并进行数据预处理；其次利用单向异常检测法、一致性检验法及双向异常检测法对处理后的结构化数据进行异常判断，并将检测出的异常数据归入异常数据集中；然后利用信息熵修正法对异常数据集进行异常数据修复；最后结合异常数据集生成能力评价报告，并结合能力评价报告中评审人的评分权重对修正后的评分数据进行加权平均得到最终评分结果，并生成异常评分修正报告。本发明能够有效检测企业人员绩效考核中同行互评分数异常现象，并通过能力评估报告对评审人进行约束，保证同行互评结果的公平、公正及客观性。
Description
技术领域
本发明涉及企业人员考核管理制度，尤其涉及一种同行互评异常评分检测及修正方法和装置。
背景技术
同行互评机制已被越来越多的企业应用于内部人员考核管理中。一方面，企业管理者可以通过互评结果直观的了解到不同员工在其他同事眼中的工作能力及工作状态；另一方面，企业管理者可以通过互评结果了解日常管理中不曾看到的一面，有助于企业的发展。然而，受奖金、晋级等超额利益的名额限制，评分者出于自身利益考虑会出现“故意压分”、“抱团取暖”等舞弊形式，使得评分结果出现异常偏差。因此，如何判断同行评分中的异常行为将是保证同行互评结果的公平、公正及客观性的关键所在。
当前针对评分异常的判断主要包括以下三种方法，一是基于统计的异常数据检测，即预先假定数据集的分布符合某种分布，然后通过假设检验方法判断数据分布是否在置信区间范围内，如基于正态分布3倍标准差检测、基于Grubbs检测方法、基于t统计检测法等；二是基于距离的异常数据检测，通过距离函数计算数据对象之间的距离，如超过距离阈值则判断异常数据点；三是关于密度的异常检测方法，即通过聚类算法思想，寻找空间中密度相对稀疏的对象。
除此之外，受评审人自身偏好、专业能力与外界环境等因素影响，使得评审人在面对相似的评审对象时表现出不一致性。当前度量该现象的指标包括肯德尔和谐系数、最大绝对值偏差、变异系数及平均离差等。
然而针对同行互评机制，上述方法均存在或多或少的缺陷。如基于统计的异常数据检测需要预先知道数据的分布形态、参数个数及异常值个数。在现实情况下，数据分布形态往往并不符合标准分布，且对研究的数据维度要求较高。因此如何在未知分布的情况下对多维评分数据进行异常检测与修正是本发明将要解决的的技术难题。
发明内容
本发明的目的在于针对现有技术的不足，提供一种同行互评异常评分检测及修正方法和装置。
本发明的目的是通过以下技术方案来实现的：本发明实施例第一方面提供了一种同行互评异常评分检测及修正方法，包括以下步骤：
(1)获取评分数据：从企业人员绩效考核数据库中收集同行互评数据集，以获取评分数据，并对评分数据的原始数据信息进行结构化转换，以获取结构化评分数据；
(2)清洗评分数据：采用数据清洗方法对所述步骤(1)得到的结构化评分数据进行数据清洗，数据清洗的流程包括数据缺失值填充与数据归一化处理；
(3)单向异常检测：对结构化评分数据中的每一列单向评分结果进行单向异常检测，并将检测出的异常数据对象加入第一异常数据集中；
(4)一致性检测：采用离散率进行一致性检测，并将检测出的异常数据对象加入第二异常数据集中；
(5)双向异常检测：对结构化评分数据进行双向异常检测，并将检测出的异常数据对象加入第三异常数据集中；
(6)异常数据集修复：对所述第一异常数据集、第二异常数据集和第三异常数据集进行异常数据修复；
(7)生成评价报告：所述评价报告包括评审人能力评价报告和异常评分修正报告。
进一步地，所述原始数据信息包括评审时间、评审人编号、被评审人编号和评分结果。
进一步地，所述缺失值填充具体为：利用历史评分数据计算平均值替代当期缺失值进行填充；
所述数据归一化处理具体为：利用最大-最小标准化法或Z-score法，将评分数据统一映射到[0，1]区间上，并对评分数据按列进行升序排列。
进一步地，所述步骤(3)包括以下子步骤：
(3.1)根据结构化评分数据的数据集构建索引结构，所述索引结构为Kd-树；
(3.2)异常点挖掘：首先建立查询路径，通过计算查询节点与当前最近节点的距离，判断是否对当前节点进行回溯，若当前距离小于等于设定的距离阈值D，则对当前节点进行回溯，直至回溯节点与查询节点的距离大于设定的距离阈值D；其次，进行异常点判断，统计当前查询节点D-邻域内包含的数据对象的个数m1，若所包含的数据对象的个数m1小于阈值M，则判断该查询点为异常点；其中，阈值M为异常点在其D-邻域内允许包含数据对象的最多个数；
(3.3)重复所述步骤(3.2)，依次完成对结构化评分数据中的每一列中每一个数据对象的单向异常检测，并将检测出的异常数据对象加入第一异常数据集中。
进一步地，所述步骤(3.1)包括以下子步骤：
(3.1.1)确定分割域S：计算数据集在每个维度上的方差，并选取方差最大的维度作为分割域S；
(3.1.2)确定分割节点A：将数据集按照分割域S上的值进行升序排序，并将中位数做为分割节点A；
(3.1.3)确定左右子树：根据分割节点A进行数据切分，将所有小于等于分割节点A的数据对象划分至左子树中，将所有大于分割节点A的数据对象划分至右子树中；
(3.1.4)重复所述步骤(3.1.2)-步骤(3.1.3)，直至将所有数据对象划分完成为止。
进一步地，所述离散率代表评审人对不同评审对象的评分值与各评审对象的平均评分值之间的偏差，其计算公式为：
其中，ci为评审人i的离散率；xi′j为评审人i在被评审人j上的差异程度，xi′j＝xij-xj(mid)；是xi′j的平均值，/>m代表参与评审的人数。
进一步地，所述步骤(5)包括以下子步骤：
(5.1)从结构化评分数据的数据集中提取特征值，并生成结构化矩阵；其中，特征值包括相关系数、差异一致性和离散率；结构化矩阵中的每一行代表一个样本，每一列代表一个特征值变量；
(5.2)根据结构化矩阵计算特征变量协方差矩阵，以对特征值进行相关性检测，若检测到的相关性超过相关性阈值，则利用主成分分析方法消除特征值变量之间的相关性；
(5.3)利用特征值进行聚类并计算不同数据对象与它最近邻局部可达密度比率的平均值，以判断数据对象的异常程度，并将异常的数据对象加入第三异常数据集中。
进一步地，所述步骤(6)包括以下子步骤：
(6.1)从第一异常数据集、第二异常数据集和第三异常数据集中获取待修正的数据；
(6.2)利用历史评分数据计算信息熵，并结合异常评分数据对最终评分结果进行修正。
进一步地，所述步骤(7)包括以下子步骤：
(7.1)生成评审人能力评价报告：结合第二异常数据集，计算不同评审人的变异系数，并利用因子权重法对不同评审人生成相应的评分权重，结合不同评审人的评分权重，利用加权平均法获得不同评审对象的最终评分结果，并建立反馈机制以实现评分权重的动态调整；
(7.2)生成异常评分修正报告：结合异常数据集修正结果与评审人能力评价报告中的评审人评分权重，计算不同评审对象的加权平均分作为最终评分结果，并以报告的形式展示异常评分数据修正前后评分结果。
本发明实施例第二方面提供了一种同行互评异常评分检测及修正装置，用于实现上述的同行互评异常评分检测及修正方法，包括：
数据获取单元，用于从企业人员绩效考核数据库获取特定时间段内同行互评数据集，其中，数据集中包括至少一个评审人信息；
数据清洗单元，用于将原始评分数据转化为结构化评分数据，并对结构化评分数据进行数据缺失值填充与数据归一化处理；
异常数据检测单元，用于对清洗好的结构化评分数据进行单向异常检测、一致性检测与双向异常检测；
异常数据集获取单元，用于存储单向异常检测、一致性检测与双向异常检测的异常检测结果；
异常数据集修正单元，用于修正第一异常数据集、第二异常数据集和第三异常数据集中获取的异常数据；和
报告生成单元，用于生成评审人能力评价报告与异常评分修正报告。
本发明的有益效果是，本发明首次将基于距离的异常数据检测与基于密度的异常数据检测方法有机结合，通过特征值提取将异常数据特征最大程度的表达，同时利用索引结构实现异常数据的快速检索；在进行异常数据修复时，本发明利用信息熵对异常数据进行修正，并建立循环反馈机制，动态调整评审人的评分权重得到最终加权评分结果；本发明能够在同行互评过程中针对异常评分现象进行检测及修正，一方面实现了异常评分结果的修正，另一方面，对评审人的评分行为进行有效约束，保证同行互评结果的公平、公正及客观性。
附图说明
图1为本发明实施例的总框架图；
图2为本发明实施例的总体流程图；
图3为本发明实施例的单向异常检测索引结构流程图；
图4为本发明实施例的双向异常检测效果图；
图5为本发明实施例的同行互评异常评分检测及修正装置的一种结构示意图；
图6为本发明实施例中的检测及修正装置在终端设备的可视化界面。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的同行互评异常评分检测及修正方法，通过基于距离的单向异常值检测法与基于聚类分析的双向异常点检测法获得异常数据集，并利用信息熵参数对异常数据进行修正，如图1所示，以确保评审环节的公正、公平及客观性。
本实施例中，如图2所示，该检测及修正方法包括以下步骤：
(1)获取评分数据：从企业人员绩效考核数据库中收集同行互评数据集，以获取评分数据，并对评分数据的原始数据信息进行结构化转换，以获取结构化评分数据。
其中，原始数据信息包括评审时间、评审人编号、被评审人编号和评分结果等信息。
具体地，将收集到的评分数据的原始数据信息转化为二维结构化数据形式。其中，行标签与列标签分别对应参与本次的被评审人与评审人。假设本次评审共有m人参与，其中，xi,j代表评审人i对被评审人j的评分值。因在考核过程中，自评分数不参与互评环节，因此当i＝j时，xi,＝0。最终得到的结构化评分数据形式如下：
应当理解的是，当有多次评审时，还可将评审时间加入，按照评审时间及其他原始数据信息对评分数据进行结构化处理。
(2)清洗评分数据：采用数据清洗方法对步骤(1)得到的结构化评分数据进行数据清洗，数据清洗的流程包括数据缺失值填充与数据归一化处理。
本实施例中，对结构化评分数据进行缺失值填充，具体方法为：利用历史评分数据计算平均值替代当期缺失值进行填充。例如，提取最近一次同行互评数据，评审人2对被评审人1的评分值数据缺失，即步骤(1)中的x2,＝NAN，则提取最近5次同行互评数据，并计算评审人2对被评审人1的历史5次评分值的平均值，即以此替换缺失值x2,1。应当理解的是，可以根据实际情况选择最近的历史评分数据的次数。
本实施例中，对结构化评分数据进行数据归一化处理，具体方法为：利用最大-最小标准化法或Z-score法等，将评分数据统一映射到[0，1]区间上，并对评分数据按列进行升序排列。例如，若评分范围在1-10分之间，即0i,j≤10(当i＝j时，xi,j＝0)，则利用最大-最小标准化法将xi,统一映射到[0，1]区间上，即其中xj代表结构化矩阵中第j列。应当理解的是，最大-最小标准化法和Z-score法都是将数据标准化的一种方法，还可以采用其它的方法，例如Decimal scaling小数定标标准化。
其中，最大-最小标准化法是将数据进行线性变换，使之落入一个小的特定区间，为了数据处理方便，可以把数变为[0，1]之间的小数，这是数据标准化常用的一种方法，在此不再进行赘述。
Z-score法是基于原始数据的均值和标准差进行数据的标准化，Z-score法适用于最大值和最小值未知的情况，或有超出取值范围的离群数据的情况，这是数据标准化常用的一种方法，在此不再进行赘述。
(3)单向异常检测：对结构化评分数据中的每一列单向评分结果进行单向异常检测，并将检测出的异常数据对象加入第一异常数据集中。
在结构化评分数据中，每一列对应着其他评审人对同一评审对象即被评审人的评分结果，即单向评分结果。为了判断单向评分结果是否异常，可利用索引结构搜索每一列中每个数据对象xi,j在D范围内的相邻点。设阈值M为异常点在其D-邻域内允许包含数据对象的最多个数，即若发现某个数据对象xi,j的D-邻域内出现M+1甚至更多相邻点，则判断xi,j不是异常值。
(3.1)根据结构化评分数据的数据集构建索引结构，索引结构为Kd-树。索引结构采用k-d树对每一列进行搜索。具体步骤如图3所示。
(3.1.1)确定分割域S：计算数据集在每个维度上的方差，并选取方差最大的维度作为分割域S。在本实施例中，数据集共包含三个维度：评审人i，被评审人j和评分结果xi,j，即dim(i,j,xi,j)，计算每个维度的方差，并筛选出方差最大的维度作为分割域S，使得在此方向上进行数据分割将获得较高的分辨效果。
(3.1.2)确定分割节点A：将数据集按照分割域S上的值进行升序排序，并将中位数做为分割节点A。
(3.1.3)确定左右子树：根据分割节点A进行数据切分，将所有小于等于分割节点A的数据对象划分至左子树中，将所有大于分割节点A的数据对象划分至右子树中。
(3.1.4)重复步骤(3.1.2)-步骤(3.1.3)，直至将所有数据对象划分完成为止。应当理解的是，Kd-树构建完成后，会有多级Kd-子树。
(3.2)异常点挖掘：首先建立查询路径，通过计算查询节点与当前最近节点的距离，判断是否对当前节点进行回溯，若当前距离小于等于设定的距离阈值D，即curr_dist≤D，则对当前节点进行回溯，直至回溯节点与查询节点的距离大于设定的距离阈值D。其次，进行异常点判断，统计当前查询节点D-邻域内包含的数据对象的个数m1，若所包含的数据对象的个数m1小于阈值M，则判断该查询点为异常点。其中，阈值M为异常点在其D-邻域内允许包含数据对象的最多个数。
本实施例中，距离阈值D可通过以下公式计算：
其中，xj(max代表第j列的最大值，xj(mid代表第j列的中位数，m表示本次评审共有m人参与。
(3.3)重复步骤(3.2)，依次完成对每一列中每一个数据对象的单向异常检测，并将检测出的异常数据对象加入第一异常数据集中。
需要说明的是，距离阈值D的分母中的m随检测列数的增加而减少，当前的m＝m-n，n为已检测列数。
(4)一致性检测：采用离散率进行一致性检测，并将检测出的异常数据对象加入第二异常数据集中。
离散率代表评审人对不同评审对象的评分值与各评审对象的平均评分值之间的偏差。离散率越大，说明主观波动性越大，则越可能存在不公平性。
计算评审人i的离散率，计算公式如下：
其中，ci为评审人i的离散率；xi′j为评审人i在被评审人j上的差异程度，xi′j＝xij-xj(mid)；是xi′j的平均值，/>m代表参与评审的人数。
需要说明的是，依据3sigma原则将离散率过高的数据对象作为异常数据对象，将检测出来的异常数据对象加入第二异常数据集中。
应当理解的是，3sigma原则又叫做经验法则，用于对离散率的平均值和离散率的标准差的正态分布数据进行推算，进而判断离散率是否过高，这是一种常用的概率统计方法，在此不再赘述。
(5)双向异常检测：对结构化评分数据进行双向异常检测，并将检测出的异常数据对象加入第三异常数据集中。
同行互评数据集不仅包括不同评审人对同一评审对象的评分结果，还包括同一评审人面对不同评审对象的评分结果，是一个双向评分的行为。
(5.1)从结构化评分数据的数据集中提取特征值，并生成结构化矩阵；其中，特征值包括相关系数、差异一致性和离散率；结构化矩阵中的每一行代表一个样本，每一列代表一个特征值变量。
具体地，可以根据特征值的相关公式提取特征值，相关表达式如下：
离散率的表达式为：
其中，ci为评审人i的离散率；xi′j为评审人i在被评审人j上的差异程度，xi′j＝xij-xj(mid)；是xi′j的平均值，/>m代表参与评审的人数。
秩相关系数的表达式为：
其中，ri为评审人i的秩相关系数，di代表排序等级的差值，n为已检测列数，m代表参与评审的人数。
差异一致性的表达式为：
其中，δi为评审人i的差异一致性；xij为评审人i对被评审人j的评分值，/>为所有评分人对被评审人j的评分值均值，n为已检测列数。
(5.2)根据结构化矩阵计算特征变量协方差矩阵，以对特征值进行相关性检测，若检测到的相关性超过相关性阈值，则利用主成分分析方法消除特征值变量之间的相关性。
应当理解的是，变量之间如果存在较强的相关性，则不利于最终的分类效果，所以需要消除特征值变量之间的相关性。
本实施例中，相关性阈值V＝0.2。
本实施例中，利用主成分分析方法消除特征值变量之间的相关性，具体为：借助正交变换，将原始特征变量映射到低纬空间，以保证不同特征变量相互正交，从而去除原始特征变相关性影响。
(5.3)利用特征值进行聚类并计算不同数据对象与它最近邻局部可达密度比率的平均值，以判断数据对象的异常程度，并将异常的数据对象加入第三异常数据集中。
离群点挖掘：在基于密度的异常检测方法中，局部异常因子(LOF)通过计算数据对象与它最近邻的局部可达密度的比率的平均值，来判断对象的异常程度。局部异常因子(LOF)越接近1，则数据对象的异常程度越大，反之，数据对象的异常程度越低。
最终通过可视化的形式展示异常点，如图4所示，其中X轴和Y轴分别代表排名前两位的特征向量，被圈起来的对象则为离群点。
(6)异常数据集修复：对第一异常数据集、第二异常数据集和第三异常数据集进行异常数据修复。
(6.1)从第一异常数据集、第二异常数据集和第三异常数据集中获取待修正的数据。
(6.2)利用历史评分数据计算信息熵，并结合异常评分数据对最终评分结果进行修正。
应当理解的是，信息熵通常被用来衡量随机变量出现的期望值。系统信息越为混乱，信息熵值越大。
针对异常数据集，采用信息熵修正法对异常数据集进行修复，在当前异常评分的基础上，添加以历史平均偏差为基础的信息熵，对结果进行补偿和修正，修正公式如下：
其中，X为异常评分，H为历史偏差信息熵，为本次评审人异常评分与评审人评分平均值的差值，/>为评审人的历史平均偏差。
(7)生成评价报告：评价报告包括两个部分，分别为评审人能力评价报告和异常评分修正报告。
(7.1)生成评审人能力评价报告：结合第二异常数据集，计算不同评审人的变异系数，并利用因子权重法对不同评审人生成相应的评分权重，结合不同评审人的评分权重，利用加权平均法获得不同评审对象的最终评分结果，并建立反馈机制以实现评分权重的动态调整。
其中，评审人能力评价报告包括评审人编号、评审次数、历史平均偏差、能力等级和评分权重等，如表1所示。
表1：评审人能力评价报告
| 评审人编号 | 评审次数 | 历史平均偏差 | 能力等级 | 评分权重 |
| P001 | 5 | 1.68 | 1 | 0.08 |
| P001 | 6 | 0.85 | 2 | 0.15 |
| ... | ... | ... | ... | ... |
| P010 | 4 | 0.92 | 2 | 0.15 |
(7.2)生成异常评分修正报告：结合异常数据集修正结果与评审人能力评价报告中的评审人评分权重，计算不同评审对象的加权平均分作为最终评分结果，并以报告的形式展示异常评分数据修正前后评分结果。如表2所示，其中评审人P001对被评审人P002的评分结果0.65为检测出的异常分数。
表2：异常评分修正前后对比表格
| 评审人编号 | P001 | P002 | P003 | ... | P010 | 评分结果 |
| P001 | 0.85 | 0.65 | 0.86 | 0.90 | 0.88 | 0.84 |
| P001-修正后 | 0.85 | 0.78 | 0.86 | 0.90 | 0.88 | 0.86 |
| ... | ... | ... | ... | ... | ... | ... |
值得一提的是，本发明还提供了一种同行互评异常评分检测及修正装置，用于实现上述的同行互评异常评分检测及修正方法。
如图5所示，该检测及修正装置包括数据获取单元、数据清洗单元、异常数据检测单元、异常数据集获取单元、异常数据集修正单元和报告生成单元。
本实施例中，数据获取单元用于从企业人员绩效考核数据库获取特定时间段内同行互评数据集，其中，数据集中包括至少一个评审人信息。
本实施例中，数据清洗单元用于将原始评分数据转化为结构化评分数据，并对结构化评分数据进行数据缺失值填充与数据归一化处理。
本实施例中，异常数据检测单元用于对清洗好的结构化评分数据进行单向异常检测、一致性检测与双向异常检测。
本实施例中，异常数据集获取单元用于存储单向异常检测、一致性检测与双向异常检测的异常检测结果。
本实施例中，异常数据集修正单元用于修正第一异常数据集、第二异常数据集和第三异常数据集中获取的异常数据。
本实施例中，报告生成单元用于生成评审人能力评价报告与异常评分修正报告。
本发明实施例的同行互评异常评分检测及修正装置可在计算机终端通过可视化界面实施，包括以下功能：
①数据提取，用于从企业人员绩效考核数据库获取特定时间段内同行互评数据集，其中，数据集中包括至少一个评审人信息。提取的数据集可通过计算机终端可视化界面以表格的形式展示如图6所示。
②数据清洗，用于将原始评分数据转化为结构化数据，并对结构化评分数据进行数据缺失值填充与数据归一化处理。
③异常数据检测，用于对清洗好的结构化数据进行单向异常检测、一致性检测与双向异常检测。
④异常数据集获取，用于存储单向异常检测、一致性检测与双向异常检测的异常检测结果。
⑤异常数据集修正，用于修正第一异常数据集、第二异常数据集和第三异常数据集中获取的异常数据集。
⑥生成评审报告，评审报告包括评审人能力评价报告与异常评分修正报告。
应当理解的是，除了可以在计算机终端上可视化外，还可以在其它的终端设备上可视化，例如平板电脑、笔记本等。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种同行互评异常评分检测及修正方法，其特征在于，包括以下步骤：
(1)获取评分数据：从企业人员绩效考核数据库中收集同行互评数据集，以获取评分数据，并对评分数据的原始数据信息进行结构化转换，以获取结构化评分数据；
(2)清洗评分数据：采用数据清洗方法对所述步骤(1)得到的结构化评分数据进行数据清洗，数据清洗的流程包括数据缺失值填充与数据归一化处理；
(3)单向异常检测：对结构化评分数据中的每一列单向评分结果进行单向异常检测，并将检测出的异常数据对象加入第一异常数据集中；
所述步骤(3)包括以下子步骤：
(3.1)根据结构化评分数据的数据集构建索引结构，所述索引结构为Kd-树；
(3.2)异常点挖掘：首先建立查询路径，通过计算查询节点与当前最近节点的距离，判断是否对当前节点进行回溯，若当前距离小于等于设定的距离阈值D，则对当前节点进行回溯，直至回溯节点与查询节点的距离大于设定的距离阈值D；其次，进行异常点判断，统计当前查询节点D-邻域内包含的数据对象的个数m1，若所包含的数据对象的个数m1小于阈值M，则判断该查询点为异常点；其中，阈值M为异常点在其D-邻域内允许包含数据对象的最多个数；
(3.3)重复所述步骤(3.2)，依次完成对结构化评分数据中的每一列中每一个数据对象的单向异常检测，并将检测出的异常数据对象加入第一异常数据集中；
(4)一致性检测：采用离散率进行一致性检测，并将检测出的异常数据对象加入第二异常数据集中；所述离散率代表评审人对不同评审对象的评分值与各评审对象的平均评分值之间的偏差，其计算公式为：
其中，ci为评审人i的离散率；xi′j为评审人i在被评审人j上的差异程度，xi′j＝xij-xj(mid)；是xi′j的平均值，/>m代表参与评审的人数；
(5)双向异常检测：对结构化评分数据进行双向异常检测，并将检测出的异常数据对象加入第三异常数据集中；
所述步骤(5)包括以下子步骤：
(5.1)从结构化评分数据的数据集中提取特征值，并生成结构化矩阵；其中，特征值包括相关系数、差异一致性和离散率；结构化矩阵中的每一行代表一个样本，每一列代表一个特征值变量；
(5.2)根据结构化矩阵计算特征变量协方差矩阵，以对特征值进行相关性检测，若检测到的相关性超过相关性阈值，则利用主成分分析方法消除特征值变量之间的相关性；
(5.3)利用特征值进行聚类并计算不同数据对象与它最近邻局部可达密度比率的平均值，以判断数据对象的异常程度，并将异常的数据对象加入第三异常数据集中；
(6)异常数据集修复：对所述第一异常数据集、第二异常数据集和第三异常数据集进行异常数据修复；
(7)生成评价报告：所述评价报告包括评审人能力评价报告和异常评分修正报告。
2.根据权利要求1所述的同行互评异常评分检测及修正方法，其特征在于，所述原始数据信息包括评审时间、评审人编号、被评审人编号和评分结果。
3.根据权利要求1所述的同行互评异常评分检测及修正方法，其特征在于，所述缺失值填充具体为：利用历史评分数据计算平均值替代当期缺失值进行填充；
所述数据归一化处理具体为：利用最大-最小标准化法或Z-score法，将评分数据统一映射到[0，1]区间上，并对评分数据按列进行升序排列。
4.根据权利要求1所述的同行互评异常评分检测及修正方法，其特征在于，所述步骤(3.1)包括以下子步骤：
(3.1.1)确定分割域S：计算数据集在每个维度上的方差，并选取方差最大的维度作为分割域S；
(3.1.2)确定分割节点A：将数据集按照分割域S上的值进行升序排序，并将中位数做为分割节点A；
(3.1.3)确定左右子树：根据分割节点A进行数据切分，将所有小于等于分割节点A的数据对象划分至左子树中，将所有大于分割节点A的数据对象划分至右子树中；
(3.1.4)重复所述步骤(3.1.2)-步骤(3.1.3)，直至将所有数据对象划分完成为止。
5.根据权利要求1所述的同行互评异常评分检测及修正方法，其特征在于，所述步骤(6)包括以下子步骤：
(6.1)从第一异常数据集、第二异常数据集和第三异常数据集中获取待修正的数据；
(6.2)利用历史评分数据计算信息熵，并结合异常评分数据对最终评分结果进行修正。
6.根据权利要求1所述的同行互评异常评分检测及修正方法，其特征在于，所述步骤(7)包括以下子步骤：
(7.1)生成评审人能力评价报告：结合第二异常数据集，计算不同评审人的变异系数，并利用因子权重法对不同评审人生成相应的评分权重，结合不同评审人的评分权重，利用加权平均法获得不同评审对象的最终评分结果，并建立反馈机制以实现评分权重的动态调整；
(7.2)生成异常评分修正报告：结合异常数据集修正结果与评审人能力评价报告中的评审人评分权重，计算不同评审对象的加权平均分作为最终评分结果，并以报告的形式展示异常评分数据修正前后评分结果。
7.一种同行互评异常评分检测及修正装置，其特征在于，用于实现权利要求1-6中任一项所述的同行互评异常评分检测及修正方法，包括：
数据获取单元，用于从企业人员绩效考核数据库获取特定时间段内同行互评数据集，其中，数据集中包括至少一个评审人信息；
数据清洗单元，用于将原始评分数据转化为结构化评分数据，并对结构化评分数据进行数据缺失值填充与数据归一化处理；
异常数据检测单元，用于对清洗好的结构化评分数据进行单向异常检测、一致性检测与双向异常检测；
异常数据集获取单元，用于存储单向异常检测、一致性检测与双向异常检测的异常检测结果；
异常数据集修正单元，用于修正第一异常数据集、第二异常数据集和第三异常数据集中获取的异常数据；和
报告生成单元，用于生成评审人能力评价报告与异常评分修正报告。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211505028.1A CN115713270B (zh) | 2022-11-28 | 2022-11-28 | 一种同行互评异常评分检测及修正方法和装置 |
| US18/489,879 US11989167B1 (en) | 2022-11-28 | 2023-10-19 | Method and device for detecting and correcting abnormal scoring of peer reviews |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211505028.1A CN115713270B (zh) | 2022-11-28 | 2022-11-28 | 一种同行互评异常评分检测及修正方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115713270A CN115713270A (zh) | 2023-02-24 |
| CN115713270B true CN115713270B (zh) | 2023-07-21 |
Family
ID=85235129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211505028.1A Active CN115713270B (zh) | 2022-11-28 | 2022-11-28 | 一种同行互评异常评分检测及修正方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11989167B1 (zh) |
| CN (1) | CN115713270B (zh) |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8997229B1 (en) * | 2012-02-29 | 2015-03-31 | Google Inc. | Anomaly detection for online endorsement event |
| CN105243508A (zh) * | 2015-10-29 | 2016-01-13 | 刘永芳 | 一种餐饮服务人员绩效管理的数据处理方法及系统 |
| CN108564286B (zh) * | 2018-04-19 | 2021-01-22 | 天合泽泰（厦门）征信服务有限公司 | 一种基于大数据征信的人工智能金融风控授信评定方法和系统 |
| CN108777873B (zh) * | 2018-06-04 | 2021-03-02 | 江南大学 | 基于加权混合孤立森林的无线传感网络异常数据检测方法 |
| US11310141B2 (en) * | 2019-12-11 | 2022-04-19 | Cisco Technology, Inc. | Anomaly detection of model performance in an MLOps platform |
| US11374953B2 (en) * | 2020-03-06 | 2022-06-28 | International Business Machines Corporation | Hybrid machine learning to detect anomalies |
| CN111652514A (zh) * | 2020-06-05 | 2020-09-11 | 王海 | 一种基于工作大数据和数学模型构建绩效管理考核系统 |
| CN112836921A (zh) * | 2020-12-02 | 2021-05-25 | 国网浙江省电力有限公司 | 一种基于电网微数据融合的数据监测分析及优化方法 |
| CN114281809B (zh) * | 2021-12-22 | 2023-03-28 | 杭州电子科技大学 | 一种多源异构数据清洗方法及装置 |
| CN114240230A (zh) * | 2021-12-24 | 2022-03-25 | 重庆易可通科技有限公司 | 一种基于员工互评的定向群体识别及其可视化方法 |
| US20230282316A1 (en) * | 2022-03-01 | 2023-09-07 | Microsoft Technology Licensing, Llc | Systems and methods for emission source attribution |
| CN114781840A (zh) * | 2022-04-11 | 2022-07-22 | 南京莱斯信息技术股份有限公司 | 基于平衡计分-层次分析的警员绩效评估方法及系统 |
| US20240054211A1 (en) * | 2022-08-10 | 2024-02-15 | International Business Machines Corporation | Detecting anomalous data |
-
2022
- 2022-11-28 CN CN202211505028.1A patent/CN115713270B/zh active Active
-
2023
- 2023-10-19 US US18/489,879 patent/US11989167B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115713270A (zh) | 2023-02-24 |
| US11989167B1 (en) | 2024-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Talagala et al. | Meta-learning how to forecast time series | |
| CN110196814B (zh) | 一种软件质量评价方法 | |
| Schoonhoven et al. | The X̅ control chart under non‐normality | |
| US20150220868A1 (en) | Evaluating Data Quality of Clinical Trials | |
| CN108399434B (zh) | 基于特征提取的高维时间序列数据的分析预测方法 | |
| CN111126865B (zh) | 一种基于科技大数据的技术成熟度判断方法和系统 | |
| CN110321493A (zh) | 一种社交网络的异常检测与优化方法、系统及计算机设备 | |
| Dufour et al. | Exact inference and optimal invariant estimation for the stability parameter of symmetric α-stable distributions | |
| CN111125186B (zh) | 一种基于调查问卷的数据处理方法及系统 | |
| CN115713270B (zh) | 一种同行互评异常评分检测及修正方法和装置 | |
| CN116579503B (zh) | 一种5g智慧医院基础数据处理方法及数据库平台 | |
| JP5401885B2 (ja) | モデルの構築方法、構築システム及び構築用プログラム | |
| CN110990383A (zh) | 一种基于工业大数据集的相似度计算方法 | |
| CN116383645A (zh) | 一种基于异常检测的系统健康度智能监测评估方法 | |
| McCulloch et al. | On comparing and selecting approaches to model interval-valued data as fuzzy sets | |
| CN114820074A (zh) | 基于机器学习的目标用户群体预测模型构建方法 | |
| CN115935285A (zh) | 基于掩码图神经网络模型的多元时间序列异常检测方法和系统 | |
| Liu et al. | Improved time-variant fuzzy time series forecast | |
| US20240176768A1 (en) | Method and device for detecting and correcting abnormal scoring of peer reviews | |
| Shah et al. | Analyzing data complexity using metafeatures for classification algorithm selection | |
| CN112070336A (zh) | 一种基于层次分析法的制造业信息量化分析方法及装置 | |
| Rahayu et al. | Comparison Of Lasso And Adaptive Lasso Methods In Identifying Variables Affecting Population Expenditure | |
| CN117370448B (zh) | 品牌数字资产洞察分析方法 | |
| CN117371861A (zh) | 基于数字化的家政服务质量智能分析方法及系统 | |
| Ndung'u | Data Preparation for Machine Learning Modelling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |