CN114386525B - 一种评估标准的自适应调整方法、装置、设备和存储介质 - Google Patents

一种评估标准的自适应调整方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114386525B
CN114386525B CN202210049758.9A CN202210049758A CN114386525B CN 114386525 B CN114386525 B CN 114386525B CN 202210049758 A CN202210049758 A CN 202210049758A CN 114386525 B CN114386525 B CN 114386525B
Authority
CN
China
Prior art keywords
evaluation index
evaluation
samples
result
historical test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210049758.9A
Other languages
English (en)
Other versions
CN114386525A (zh
Inventor
郭强
沈阳
李修和
张逸
冉金和
桂树
石倩倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210049758.9A priority Critical patent/CN114386525B/zh
Publication of CN114386525A publication Critical patent/CN114386525A/zh
Application granted granted Critical
Publication of CN114386525B publication Critical patent/CN114386525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)

Abstract

本申请涉及一种评估标准的自适应调整方法、装置、计算机设备和存储介质。所述方法包括：在对评估指标结果进行归一化处理后，通过绘制抽取的评估指标样本分数的频数分布曲线图，由人机交互的方式标定分数是否合理，根据标定后的评估指标样本训练得到一个分类器，用于根据评估指标的特征值判定评估指标结果是否需要进行自适应调整，通过训练好的分类器对评估指标结果进行判定，若需要进行自适应调整，则根据预设的拟合曲线，将待分析的评估指标数据拟合到拟合曲线，实现待分析的评估指标数据的自适应调整。本发明基于历史评估结果挖掘分析，分析结果用于支撑该指标评估标准的调整，可完成评估标准自动调整或生成评估标准调整建议。

Description

一种评估标准的自适应调整方法、装置、设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种评估标准的自适应调整方法、装置、计算机设备和存储介质。
背景技术
在工程以及工业生产领域，对装备或仪器等进行性能试验是保证装备或仪器性能稳定性的有效途径。在进行装备或仪器试验时，为了进行客观的试验评估，需要以多维度评估指标体系为基础建立评估指标体系，以多维度评估指标的数据进行试验记录，可以客观呈现评估过程细节。但现在很多的评估标准都是凭借经验建立的，使用场景受限，根据这些评估标准建立评估模型进行评估时，可能存在模型不够准确的情况。
发明内容
基于此，有必要针对上述技术问题，提供一种能够对基于评估指标的试验对象结果数据进行合理化调整的评估标准的自适应调整方法、装置、计算机设备和存储介质。
一种评估标准的自适应调整方法，所述方法包括：
获取试验对象的历史试验结果；所述历史试验结果包括多轮试验评估中每轮试验的总分、每轮试验中每项评估指标的分数，每轮试验中每项评估指标的权重；所述历史试验结果为数据表形式；
根据所述历史试验结果对所述评估指标的分数进行归一化处理，得到所述评估指标的标准评估结果；
从所述历史试验结果中抽取若干个评估指标样本，将所述评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图，通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定，得到所述评估指标样本的标定数据；
根据所述标准评估结果计算所述评估指标样本的特征量，通过所述评估指标样本的特征量和对应的标定数据对预设的分类器进行训练，得到训练好的分类器；所述分类器用于根据评估指标的特征量判定所述评估指标的分数是否需要进行自适应调整；
从所述历史试验结果中依次选取待分析的评估指标数据并计算对应的特征值，将所述待分析的评估指标数据的特征值输入所述训练好的分类器中进行判定；
当所述分类器判定所述待分析的评估指标数据需要进行自适应调整时，根据预设的拟合曲线，将所述待分析的评估指标数据拟合到所述拟合曲线，实现所述待分析的评估指标数据的自适应调整。
在其中一个实施例中，还包括：当所述评估指标为扣分型时，根据所述历史试验结果对所述评估指标的分数进行归一化处理，得到所述评估指标的标准评估结果为：
Figure BDA0003473963270000021
其中，Evaj为所述评估指标在历史试验结果中第j次出现并经过归一处理后的标准评估结果；Dsj为所述评估指标在历史试验结果中第j次出现时对该评估指标的扣分；Tsj为所述评估指标在历史试验结果中第j次出现时该评估指标所属试验的总分；Wgj为所述评估指标在历史试验结果中第j次出现时该评估指标的权重；
当所述评估指标为得分型时，根据所述历史试验结果对所述评估指标的分数进行归一化处理，得到所述评估指标的标准评估结果为：
Figure BDA0003473963270000022
其中，Esj为所述评估指标在历史试验结果中第j次出现时的得分。
在其中一个实施例中，还包括：从所述历史试验结果中抽取若干个评估指标样本，将所述评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图；
通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定；
若不合理的评估指标个数不超过两个则重复抽取，直到有两个不合理的评估指标样本，得到所述评估指标样本的标定数据。
在其中一个实施例中，还包括：通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定；
若频数分布曲线图中频数分布较接近高斯分布，则判定所述评估指标样本的分数合理；
若频数分布曲线图中频数分布与高斯分布偏离较大，则判定所述评估指标样本的分数不合理。
在其中一个实施例中，还包括：所述特征量包括所述评估指标的最小值，最大值，平均值和标准差。
在其中一个实施例中，还包括：随机抽取新的评估指标样本；
通过所述新的评估指标样本抽查所述分类器的判定是否准确，若不准确，利用所述新的评估指标样本对所述分类器进行更新。
在其中一个实施例中，还包括：所述预设的拟合曲线为高斯分布曲线，或者通过人机交互界面获取的用户手绘曲线，或者用户自定义了关键节点的拟合曲线。
一种评估标准的自适应调整装置，所述装置包括：
历史试验结果获取模块，用于获取试验对象的历史试验结果；所述历史试验结果包括多轮试验评估中每轮试验的总分、每轮试验中每项评估指标的分数，每轮试验中每项评估指标的权重；所述历史试验结果为数据表形式；
数据归一化模块，用于根据所述历史试验结果对所述评估指标的分数进行归一化处理，得到所述评估指标的标准评估结果；
样本标定模块，用于从所述历史试验结果中抽取若干个评估指标样本，将所述评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图，通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定，得到所述评估指标样本的标定数据；
分类器训练模块，用于根据所述标准评估结果计算所述评估指标样本的特征量，通过所述评估指标样本的特征量和对应的标定数据对预设的分类器进行训练，得到训练好的分类器；所述分类器用于根据评估指标的特征量判定所述评估指标的分数是否需要进行自适应调整；
自适应判定模块，用于从所述历史试验结果中依次选取待分析的评估指标数据并计算对应的特征值，将所述待分析的评估指标数据的特征值输入所述训练好的分类器中进行判定；
自适应调整模块，用于当所述分类器判定所述待分析的评估指标数据需要进行自适应调整时，根据预设的拟合曲线，将所述待分析的评估指标数据拟合到所述拟合曲线，实现所述待分析的评估指标数据的自适应调整。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取试验对象的历史试验结果；所述历史试验结果包括多轮试验评估中每轮试验的总分、每轮试验中每项评估指标的分数，每轮试验中每项评估指标的权重；所述历史试验结果为数据表形式；
根据所述历史试验结果对所述评估指标的分数进行归一化处理，得到所述评估指标的标准评估结果；
从所述历史试验结果中抽取若干个评估指标样本，将所述评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图，通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定，得到所述评估指标样本的标定数据；
根据所述标准评估结果计算所述评估指标样本的特征量，通过所述评估指标样本的特征量和对应的标定数据对预设的分类器进行训练，得到训练好的分类器；所述分类器用于根据评估指标的特征量判定所述评估指标的分数是否需要进行自适应调整；
从所述历史试验结果中依次选取待分析的评估指标数据并计算对应的特征值，将所述待分析的评估指标数据的特征值输入所述训练好的分类器中进行判定；
当所述分类器判定所述待分析的评估指标数据需要进行自适应调整时，根据预设的拟合曲线，将所述待分析的评估指标数据拟合到所述拟合曲线，实现所述待分析的评估指标数据的自适应调整。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取试验对象的历史试验结果；所述历史试验结果包括多轮试验评估中每轮试验的总分、每轮试验中每项评估指标的分数，每轮试验中每项评估指标的权重；所述历史试验结果为数据表形式；
根据所述历史试验结果对所述评估指标的分数进行归一化处理，得到所述评估指标的标准评估结果；
从所述历史试验结果中抽取若干个评估指标样本，将所述评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图，通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定，得到所述评估指标样本的标定数据；
根据所述标准评估结果计算所述评估指标样本的特征量，通过所述评估指标样本的特征量和对应的标定数据对预设的分类器进行训练，得到训练好的分类器；所述分类器用于根据评估指标的特征量判定所述评估指标的分数是否需要进行自适应调整；
从所述历史试验结果中依次选取待分析的评估指标数据并计算对应的特征值，将所述待分析的评估指标数据的特征值输入所述训练好的分类器中进行判定；
当所述分类器判定所述待分析的评估指标数据需要进行自适应调整时，根据预设的拟合曲线，将所述待分析的评估指标数据拟合到所述拟合曲线，实现所述待分析的评估指标数据的自适应调整。
上述评估标准的自适应调整方法、装置、计算机设备和存储介质，以多维度评估指标体系为基础建立评估指标，完成多次试验后，依据多次试验中出现的相同的末级评估指标结果，展开历史评估结果挖掘分析，在对评估指标结果进行归一化处理后，通过绘制抽取的评估指标样本分数的频数分布曲线图，由人机交互的方式标定分数是否合理，根据标定后的评估指标样本训练得到一个分类器，用于根据评估指标的特征值判定评估指标结果是否需要进行自适应调整，通过训练好的分类器对评估指标结果进行判定，若需要进行自适应调整，则根据预设的拟合曲线，将待分析的评估指标数据拟合到拟合曲线，实现待分析的评估指标数据的自适应调整。本发明基于历史评估结果挖掘分析，分析结果用于支撑该指标评估标准的调整，可完成评估标准自动调整或生成评估标准调整建议。
附图说明
图1为一个实施例中评估标准的自适应调整方法的流程示意图；
图2为一个实施例中评估标准的自适应调整装置的结构框图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的评估标准的自适应调整方法，可以应用于如下应用环境中。其中，终端执行一种评估标准的自适应调整方法，包括：在对评估指标结果进行归一化处理后，通过绘制抽取的评估指标样本分数的频数分布曲线图，由人机交互的方式标定分数是否合理，根据标定后的评估指标样本训练得到一个分类器，用于根据评估指标的特征值判定评估指标结果是否需要进行自适应调整，通过训练好的分类器对评估指标结果进行判定，若需要进行自适应调整，则根据预设的拟合曲线，将待分析的评估指标数据拟合到拟合曲线，实现待分析的评估指标数据的自适应调整。其中，终端可以但不限于是各种个人计算机、笔记本电脑和平板电脑。
在一个实施例中，如图1所示，提供了一种评估标准的自适应调整方法，包括以下步骤：
步骤102，获取试验对象的历史试验结果。
在进行装备或仪器的性能试验时，为了进行客观的试验评估，需要以多维度评估指标体系为基础建立评估指标体系，以多维度评估指标的数据进行试验记录，可以客观呈现评估过程细节。但由根据现有评估标准建立的自动化评估模型进行评估，可能存在模型不够准确的情况，或者由人工进行主观评估，可能存在标准不一致的问题，导致评估结果可能会存在不合理的情形。本发明就是基于评估指标数据进行挖掘分析，分析结果用于支撑该指标评估标准的调整，可完成评估标准自动调整或生成评估标准调整建议。
试验对象为待评估的仪器或装备。
首先，构建评估体系，每轮试验记录包括试验评估中每轮试验的总分、每轮试验中每项评估指标的分数，每轮试验中每项评估指标的权重；依据评估指标和评估标准实施试验评估，并记录评估结果，具体地，
(1)实施第1次试验评估，记录结果；
(2)实施第2次试验评估，记录结果；
(3)实施第3次试验评估，记录结果；
……
(n)实施第n次试验评估，记录结果。
将记录的实验结果作为历史试验结果数据。历史历史试验结果为数据表形式。
步骤104，根据历史试验结果对评估指标的分数进行归一化处理，得到评估指标的标准评估结果。
归一化处理是根据该评估指标的实际扣分或得分，以及所属试验总分和评估指标权重进行计算的。
步骤106，从历史试验结果中抽取若干个评估指标样本，将评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图，通过人机交互的方式根据评估指标样本的频数分布曲线图对评估指标样本的分数是否合理进行标定，得到评估指标样本的标定数据。
评估指标的分数分布应当符合某种规律，如高斯分布。通过人机交互的方式根据频数分布曲线图进行评判，若偏离较多，则认为该项评估指标的试验结果不够合理。人工标定的目的是形成用于分类器训练的正样本和负样本，具体地，随机抽取10个评估指标，画出频数分布曲线图，用户标定这些指标是否合理。如果不合理的指标个数不超过2则重复此步，直到有两个不合理的评估指标，如果所有指标抽完没有2个不合理则由人工判断所有待评估指标是否合理。
步骤108，根据标准评估结果计算评估指标样本的特征量，通过评估指标样本的特征量和对应的标定数据对预设的分类器进行训练，得到训练好的分类器。
分类器用于根据评估指标的特征量判定评估指标的分数是否需要进行自适应调整。
步骤110，从历史试验结果中依次选取待分析的评估指标数据并计算对应的特征值，将待分析的评估指标数据的特征值输入训练好的分类器中进行判定。
步骤112，当分类器判定待分析的评估指标数据需要进行自适应调整时，根据预设的拟合曲线，将待分析的评估指标数据拟合到拟合曲线，实现待分析的评估指标数据的自适应调整。
基于历史数据将评估结果自适应到一个合适的区间：
Figure BDA0003473963270000081
其中，f(·)为拟合出来的函数，可以从以下几个方面产生：
1)将归一化之后的结果拟合到一个高斯分布G(75,15)。
2)用户自己画一个曲线，将归一化之后的历史结果拟合到此曲线。
3)用户自己定关键节点(最大值，最小值，平均值)拟合成曲线，将归一化之后的历史结果拟合到此曲线。
对试验结果进行了拟合调整，相当于根据要求调整了评价标准。
输出分析结果fitRes，可选择将fitRes自动替换原有评估标准t，也可将fitRes作为建议调整参数输出。
上述评估标准的自适应调整方法中，以多维度评估指标体系为基础建立评估指标，完成多次试验后，依据多次试验中出现的相同的末级评估指标结果，展开历史评估结果挖掘分析，在对评估指标结果进行归一化处理后，通过绘制抽取的评估指标样本分数的频数分布曲线图，由人机交互的方式标定分数是否合理，根据标定后的评估指标样本训练得到一个分类器，用于根据评估指标的特征值判定评估指标结果是否需要进行自适应调整，通过训练好的分类器对评估指标结果进行判定，若需要进行自适应调整，则根据预设的拟合曲线，将待分析的评估指标数据拟合到拟合曲线，实现待分析的评估指标数据的自适应调整。本发明基于历史评估结果挖掘分析，分析结果用于支撑该指标评估标准的调整，可完成评估标准自动调整或生成评估标准调整建议。
在其中一个实施例中，还包括：当评估指标为扣分型时，根据历史试验结果对评估指标的分数进行归一化处理，得到评估指标的标准评估结果为：
Figure BDA0003473963270000091
其中，Evaj为评估指标在历史试验结果中第j次出现并经过归一处理后的标准评估结果；Dsj为评估指标在历史试验结果中第j次出现时对该评估指标的扣分；Tsj为评估指标在历史试验结果中第j次出现时该评估指标所属试验的总分；Wgj为评估指标在历史试验结果中第j次出现时该评估指标的权重；
当评估指标为得分型时，根据历史试验结果对评估指标的分数进行归一化处理，得到评估指标的标准评估结果为：
Figure BDA0003473963270000092
其中，Esj为评估指标在历史试验结果中第j次出现时的得分。
在其中一个实施例中，还包括：从历史试验结果中抽取若干个评估指标样本，将评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图；通过人机交互的方式根据评估指标样本的频数分布曲线图对评估指标样本的分数是否合理进行标定；若不合理的评估指标个数不超过两个则重复抽取，直到有两个不合理的评估指标样本，得到评估指标样本的标定数据。
在其中一个实施例中，还包括：通过人机交互的方式根据评估指标样本的频数分布曲线图对评估指标样本的分数是否合理进行标定；若频数分布曲线图中频数分布较接近高斯分布，则判定评估指标样本的分数合理；若频数分布曲线图中频数分布与高斯分布偏离较大，则判定评估指标样本的分数不合理。
在其中一个实施例中，还包括：特征量包括评估指标的最小值，最大值，平均值和标准差。
在其中一个实施例中，还包括：随机抽取新的评估指标样本；通过新的评估指标样本抽查分类器的判定是否准确，若不准确，利用新的评估指标样本对分类器进行更新。
在其中一个实施例中，还包括：预设的拟合曲线为高斯分布曲线，或者通过人机交互界面获取的用户手绘曲线，或者用户自定义了关键节点的拟合曲线。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，提供了一种评估标准的自适应调整装置，包括：历史试验结果获取模块202、数据归一化模块204、样本标定模块206、分类器训练模块208、自适应判定模块210和自适应调整模块212，其中：
历史试验结果获取模块202，用于获取试验对象的历史试验结果；历史试验结果包括多轮试验评估中每轮试验的总分、每轮试验中每项评估指标的分数，每轮试验中每项评估指标的权重；历史试验结果为数据表形式；
数据归一化模块204，用于根据历史试验结果对评估指标的分数进行归一化处理，得到评估指标的标准评估结果；
样本标定模块206，用于从历史试验结果中抽取若干个评估指标样本，将评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图，通过人机交互的方式根据评估指标样本的频数分布曲线图对评估指标样本的分数是否合理进行标定，得到评估指标样本的标定数据；
分类器训练模块208，用于根据标准评估结果计算评估指标样本的特征量，通过评估指标样本的特征量和对应的标定数据对预设的分类器进行训练，得到训练好的分类器；分类器用于根据评估指标的特征量判定评估指标的分数是否需要进行自适应调整；
自适应判定模块210，用于从历史试验结果中依次选取待分析的评估指标数据并计算对应的特征值，将待分析的评估指标数据的特征值输入训练好的分类器中进行判定；
自适应调整模块212，用于当分类器判定待分析的评估指标数据需要进行自适应调整时，根据预设的拟合曲线，将待分析的评估指标数据拟合到拟合曲线，实现待分析的评估指标数据的自适应调整。
数据归一化模块204还用于当评估指标为扣分型时，根据历史试验结果对评估指标的分数进行归一化处理，得到评估指标的标准评估结果为：
Figure BDA0003473963270000111
其中，Evaj为评估指标在历史试验结果中第j次出现并经过归一处理后的标准评估结果；Dsj为评估指标在历史试验结果中第j次出现时对该评估指标的扣分；Tsj为评估指标在历史试验结果中第j次出现时该评估指标所属试验的总分；Wgj为评估指标在历史试验结果中第j次出现时该评估指标的权重；
当评估指标为得分型时，根据历史试验结果对评估指标的分数进行归一化处理，得到评估指标的标准评估结果为：
Figure BDA0003473963270000112
其中，Esj为评估指标在历史试验结果中第j次出现时的得分。
样本标定模块206还用于从历史试验结果中抽取若干个评估指标样本，将评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图；通过人机交互的方式根据评估指标样本的频数分布曲线图对评估指标样本的分数是否合理进行标定；若不合理的评估指标个数不超过两个则重复抽取，直到有两个不合理的评估指标样本，得到评估指标样本的标定数据。
样本标定模块206还用于通过人机交互的方式根据评估指标样本的频数分布曲线图对评估指标样本的分数是否合理进行标定；若频数分布曲线图中频数分布较接近高斯分布，则判定评估指标样本的分数合理；若频数分布曲线图中频数分布与高斯分布偏离较大，则判定评估指标样本的分数不合理。
分类器训练模块208还用于随机抽取新的评估指标样本；通过新的评估指标样本抽查分类器的判定是否准确，若不准确，利用新的评估指标样本对分类器进行更新。
关于评估标准的自适应调整装置的具体限定可以参见上文中对于评估标准的自适应调整方法的限定，在此不再赘述。上述评估标准的自适应调整装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种评估标准的自适应调整方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种评估标准的自适应调整方法，其特征在于，所述方法包括：
获取试验对象的历史试验结果；所述历史试验结果包括多轮试验评估中每轮试验的总分、每轮试验中每项评估指标的分数，每轮试验中每项评估指标的权重；所述历史试验结果为数据表形式；
根据所述历史试验结果对所述评估指标的分数进行归一化处理，得到所述评估指标的标准评估结果；
从所述历史试验结果中抽取若干个评估指标样本，将所述评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图，通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定，得到所述评估指标样本的标定数据；
根据所述标准评估结果计算所述评估指标样本的特征量，通过所述评估指标样本的特征量和对应的标定数据对预设的分类器进行训练，得到训练好的分类器；所述分类器用于根据评估指标的特征量判定所述评估指标的分数是否需要进行自适应调整；
从所述历史试验结果中依次选取待分析的评估指标数据并计算对应的特征值，将所述待分析的评估指标数据的特征值输入所述训练好的分类器中进行判定；
当所述分类器判定所述待分析的评估指标数据需要进行自适应调整时，根据预设的拟合曲线，将所述待分析的评估指标数据拟合到所述拟合曲线，实现所述待分析的评估指标数据的自适应调整。
2.根据权利要求1所述的方法，其特征在于，根据所述历史试验结果对所述评估指标的分数进行归一化处理，得到所述评估指标的标准评估结果，包括：
当所述评估指标为扣分型时，根据所述历史试验结果对所述评估指标的分数进行归一化处理，得到所述评估指标的标准评估结果为：
Figure FDA0003473963260000011
其中，Evaj为所述评估指标在历史试验结果中第j次出现并经过归一处理后的标准评估结果；Dsj为所述评估指标在历史试验结果中第j次出现时对该评估指标的扣分；Tsj为所述评估指标在历史试验结果中第j次出现时该评估指标所属试验的总分；Wgj为所述评估指标在历史试验结果中第j次出现时该评估指标的权重；
当所述评估指标为得分型时，根据所述历史试验结果对所述评估指标的分数进行归一化处理，得到所述评估指标的标准评估结果为：
Figure FDA0003473963260000021
其中，Esj为所述评估指标在历史试验结果中第j次出现时的得分。
3.根据权利要求1所述的方法，其特征在于，从所述历史试验结果中抽取若干个评估指标样本，将所述评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图，通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定，得到所述评估指标样本的标定数据，包括：
从所述历史试验结果中抽取若干个评估指标样本，将所述评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图；
通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定；
若不合理的评估指标个数不超过两个则重复抽取，直到有两个不合理的评估指标样本，得到所述评估指标样本的标定数据。
4.根据权利要求1所述的方法，其特征在于，通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定，包括：
通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定；
若频数分布曲线图中频数分布较接近高斯分布，则判定所述评估指标样本的分数合理；
若频数分布曲线图中频数分布与高斯分布偏离较大，则判定所述评估指标样本的分数不合理。
5.根据权利要求1所述的方法，其特征在于，所述特征量包括所述评估指标的最小值，最大值，平均值和标准差。
6.根据权利要求5所述的方法，其特征在于，在根据所述标准评估结果计算所述评估指标样本的特征量，通过所述评估指标样本的特征量和对应的标定数据对预设的分类器进行训练，得到训练好的分类器之后，还包括：
随机抽取新的评估指标样本；
通过所述新的评估指标样本抽查所述分类器的判定是否准确，若不准确，利用所述新的评估指标样本对所述分类器进行更新。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述预设的拟合曲线为高斯分布曲线，或者通过人机交互界面获取的用户手绘曲线，或者用户自定义了关键节点的拟合曲线。
8.一种评估标准的自适应调整装置，其特征在于，所述装置包括：
历史试验结果获取模块，用于获取试验对象的历史试验结果；所述历史试验结果包括多轮试验评估中每轮试验的总分、每轮试验中每项评估指标的分数，每轮试验中每项评估指标的权重；所述历史试验结果为数据表形式；
数据归一化模块，用于根据所述历史试验结果对所述评估指标的分数进行归一化处理，得到所述评估指标的标准评估结果；
样本标定模块，用于从所述历史试验结果中抽取若干个评估指标样本，将所述评估指标样本对应的标准评估结果按照分数出现的次数进行统计，绘制频数分布曲线图，通过人机交互的方式根据所述评估指标样本的频数分布曲线图对所述评估指标样本的分数是否合理进行标定，得到所述评估指标样本的标定数据；
分类器训练模块，用于根据所述标准评估结果计算所述评估指标样本的特征量，通过所述评估指标样本的特征量和对应的标定数据对预设的分类器进行训练，得到训练好的分类器；所述分类器用于根据评估指标的特征量判定所述评估指标的分数是否需要进行自适应调整；
自适应判定模块，用于从所述历史试验结果中依次选取待分析的评估指标数据并计算对应的特征值，将所述待分析的评估指标数据的特征值输入所述训练好的分类器中进行判定；
自适应调整模块，用于当所述分类器判定所述待分析的评估指标数据需要进行自适应调整时，根据预设的拟合曲线，将所述待分析的评估指标数据拟合到所述拟合曲线，实现所述待分析的评估指标数据的自适应调整。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210049758.9A 2022-01-17 2022-01-17 一种评估标准的自适应调整方法、装置、设备和存储介质 Active CN114386525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210049758.9A CN114386525B (zh) 2022-01-17 2022-01-17 一种评估标准的自适应调整方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210049758.9A CN114386525B (zh) 2022-01-17 2022-01-17 一种评估标准的自适应调整方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114386525A CN114386525A (zh) 2022-04-22
CN114386525B true CN114386525B (zh) 2022-09-23

Family

ID=81201649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210049758.9A Active CN114386525B (zh) 2022-01-17 2022-01-17 一种评估标准的自适应调整方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114386525B (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503206A (zh) * 2019-08-09 2019-11-26 阿里巴巴集团控股有限公司 一种预测模型更新方法、装置、设备及可读介质
CN112348226A (zh) * 2020-09-27 2021-02-09 广西斯达市场信息咨询有限公司 预测数据生成方法、系统、计算机设备及存储介质

Also Published As

Publication number Publication date
CN114386525A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
WO2017143921A1 (zh) 一种多重抽样模型训练方法及装置
CN111625516B (zh) 检测数据状态的方法、装置、计算机设备和存储介质
CN113687250B (zh) 电芯容量预测方法、装置、电子设备及介质
CN109783785B (zh) 生成实验检测报告的方法、装置和计算机设备
CN106982196A (zh) 一种异常访问检测方法及设备
CN111667010A (zh) 基于人工智能的样本评估方法、装置、设备及存储介质
CN110888625B (zh) 基于需求变更和项目风险对代码质量进行控制的方法
CN109712716B (zh) 疾病影响因素确定方法、系统和计算机设备
CN110751175A (zh) 损失函数的优化方法、装置、计算机设备和存储介质
CN112948823A (zh) 一种数据泄露风险评估方法
Nguyen et al. Determining relevant training data for effort estimation using Window-based COCOMO calibration
CN109509549B (zh) 诊疗服务提供方评价方法、装置、计算机设备和存储介质
CN114549154A (zh) 一种金融数据预警方法及系统
CN109308660B (zh) 一种征信评分模型评估方法、装置、设备及存储介质
CN114386525B (zh) 一种评估标准的自适应调整方法、装置、设备和存储介质
CN109493975B (zh) 基于xgboost模型的慢性病复发预测方法、装置和计算机设备
WO2022222230A1 (zh) 基于机器学习的指标预测方法、装置、设备及存储介质
CN110991641B (zh) 一种油藏类型分析方法、装置及电子设备
CN114282834A (zh) 一种评估结果溯源分析方法、装置、设备和存储介质
CN113344469A (zh) 欺诈识别方法、装置、计算机设备及存储介质
CN111026661B (zh) 一种软件易用性全面测试方法及系统
KR20130086083A (ko) 리스크-프로파일 생성 장치
CN114398228A (zh) 一种设备资源使用情况的预测方法、装置及电子设备
CN113011748A (zh) 推荐效果的评估方法、装置、电子设备及可读存储介质
Lavaud et al. Goodness-of-fit tests and selection methods for operational risk

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant