CN106066935A - 损伤等级模型的性能分析方法及系统 - Google Patents

Abstract

损伤等级模型的性能分析方法及系统，包括：对分类模型性能指标进行分析的步骤和对测试数据结果进行分析的步骤。在分类模型训练后，针对每个零件的分类模型都有其相对应的模型参数，对每个零件下的等级分别做出分析。通过对多个性能指标的综合评价，可以避免只根据准确率来判断模型性能而产生的错误判断。

Description

损伤等级模型的性能分析方法及系统

技术领域

本发明属于数据处理领域，具体说是损伤等级模型的性能分析方法及系统。

背景技术

目前汽车的保有量每年在逐渐的增加，道路交通的不断规划使车辆的行驶速度有所提升，交通事故的发生率也在增加，汽车再发生碰撞后主要的理赔流程为：出险--报案--查勘--定损--核价--核损--核赔--支付，其中定损是根据保险公司所派的专业人员到现场进行勘察之后，根据损失的部位痕迹及程度进行现场初步定损，或者直接到修理厂、4S店、定损中心去定损。这不但耗费了大量的人力物力，而且在定损的过程中对定损员的专业要求较高，所以利用目前较为成熟的机器学习方法对汽车碰撞进行远程定损，不但可以解决人力物力的资源浪费，而且也可更快速更全面的对车辆零件损坏进行判定，所以对车辆低速碰撞远程定损具有重要的意义。

怎样选择适合的模型及数据处理方法，提高对损伤等级判定的准确性是车辆远程定损技术中重要的步骤。分类模型的好坏是根据已训练好的模型进行测试而得到的结果来反映的，传统对模型好坏的分析主要是针对在测试后模型的准确率的观察，但是由于训练及测试样本分布的不均匀等诸多因素的影响，单纯依靠测试结果的准确率已经不能反映模型的好坏了。

发明内容

本发明是针对在损伤等级判断模型性能分析过程中单一性能指标不具有客观性而设计，采用多种性能指标对模型的性能进行分析。

一方面，本发明提供了损伤等级模型的性能分析方法，包括：对分类模型性能指标进行分析的步骤和对测试数据结果进行分析的步骤。

具体的，在分类模型训练后，针对每个零件的分类模型都有其相对应的模型参数，将当前等级作为正样例，其他等级作为负样例，具体为：

零件的整体准确度：Accuracy＝(TP+TN)/(TP+FN+FP+TN)，其中TN为真负类，FP为假正类，FN为假负类，TP为真正类；反映了分类模型对整体样本的判断能力；在正负样例均衡的情况下，该项指标越高证明分类模型对整体数据的分类能力越好，如果正负样例不均衡，该项指标无法正确反映分类模型的性能；

精准度Precision＝TP/(TP+FP),其中TP为真正类，FP为假正类；该项指标也称为命中率，反映了被分类模型预测为正样例中真实的正样例所占的比重；

召回率Recall＝TP/(TP+FN)，其中FN为假负类，TP为真正类；反映了被分类模型预测为正样例的正样例与实际正样例数的比值。

转移性Specificity＝TN/(TN+FP)，其中TN为真负类，FP为假正类，反映了被分类模型预测为负样例的负样例与实际负样例数的比值，是与召回率相对应的指标。

所述的精准度、召回率、转移性越高，分类模型的分类能力越好；准确度是针对一个零件进行分析，其他评价指标是对零件下的每个等级进行分析。

具体的，该方法还包括F1-Score＝2*召回率*准确率/(召 回率+准确率)；该值越大，说明分类模型的分类效果越好。

具体的，该方法还包括：预测提升值Lift＝精准度/k，该评价指标体现了使用分类模型对样例进行分类比传统的统计方法性能提高了多少倍，Lift值越大，表明在该等级下使用分类模型的效果越好。

具体的，所述的k＝(FN+TP)/(TN+FN+FP+TP)，其中TN为真负类，FP为假正类，FN为假负类，TP为真正类。

具体的，ROC曲线的横坐标是假正类率FPR，纵坐标为真正类率TPR，其中FPR＝FP/(TN+FP)，TPR＝TP/(FN+TP)，其中TN为真负类，FP为假正类，FN为假负类，TP为真正类；ROC曲线越接近左上角，该分类模型的性能越好。

更具体的，AUC被定义为ROC曲线下的面积，AUC值越大的分类模型效果更好。

更具体的，分类模型训练时，若是有两个模型精准度相同，召回率越高，分类模型性能越好；若是有两个模型召回率相同，精准度越高，分类模型性能越好。

另一方面，本发明还提供了一种损伤等级模型的性能分析系统，包括：分类模型性能分析系统和测试数据结果分析系统；

所述分类模型性能分析系统对零件的整体准确度、精准度、召回率和转移性进行求值；

所述测试数据结果分析系统对求值结果进行分析。

本发明由于采用以上技术方法，能够取得如下的技术效果：通过对多个性能指标的综合评价，可以避免只根据准确率来判断模型性能 而产生的错误判断。根据观察性能指标，可以观察到样例数据中存在的问题，如不同损伤等级的样例数不均衡等。

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚完整的描述：

实施例1

损伤等级模型的性能分析方法，包括：对分类模型性能指标进行分析的步骤和对测试数据结果进行分析的步骤。

本分析中准确度是针对一个零件进行计算，其他评价指标是对零件下的每个等级进行分析，在分析过程中将分类视为二分类，即把当前等级视为正样例——Positive，其他等级视为负样例——Negative，混淆矩阵如下：

具体为：

零件的整体准确度：Accuracy＝(TP+TN)/(TP+FN+FP+TN)，其中TN为真负类，FP为假正类，FN为假负类，TP为真正类；反 映了分类模型对整体样本的判断能力；在正负样例均衡的情况下，该项指标越高证明分类模型对整体数据的分类能力越好，如果正负样例不均衡，该项指标无法正确反映分类模型的性能；

精准度Precision＝TP/(TP+FP),其中TP为真正类，FP为假正类；该项指标也称为命中率，反映了被分类模型预测为正样例中真实的正样例所占的比重；

召回率Recall＝TP/(TP+FN)，其中FN为假负类，TP为真正类；也称为TruePositive Rate，反映了被分类模型预测为正样例的正样例与实际正样例数的比值；

分类模型训练时，若是有两个模型精准度相同，召回率越高，分类模型性能越好；若是有两个模型召回率相同，精准度越高，分类模型性能越好。

转移性Specificity＝TN/(TN+FP)，其中TN为真负类，FP为假正类，也称为TrueNegative Rate，反映了被分类模型预测为负样例的负样例与实际负样例数的比值，是与召回率相对应的指标；用来衡量负样例的判断能力；

所述的精准度、召回率、转移性越高，分类模型的分类能力越好。

F1-Score＝2*召回率*准确率/(召回率+准确率)；该项指标将召回率和准确率的重要权重的比值设定为1：1，该值越大，说明分类模型的分类效果越好；

预测提升值Lift＝精准度/k，在不使用模型的情况下，估计正例的比例；其中k＝(FN+TP)/(TN+FN+FP+TP)，其中TN为真负类，FP为 假正类，FN为假负类，TP为真正类；该评价指标体现了使用分类模型对样例进行分类比传统的统计方法性能提高了多少倍，Lift值越大，表明在该等级下使用分类模型的效果越好。

ROC曲线的横坐标是假正类率False Positive Rate(FPR)，纵坐标为真正类率True Positive Rate(TPR)，其中FPR＝FP/(TN+FP)，TPR＝TP/(FN+TP)，TN为真负类，FP为假正类，FN为假负类，TP为真正类；ROC曲线越接近左上角，该分类模型的性能越好。ROC曲线有个很好的特性：当测试集中的正负样例的分布变化时，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡现象，即负样本比正样本多很多或者负样本比正样本少很多，而且测试数据中的正负样本的分布也可能随着时间变化。

AUC(Area Under Curve)被定义为ROC曲线下的面积，这个面积的取值范围在0—1之间，又由于ROC曲线一般都处于y＝x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类模型的效果更好，AUC值越大的分类模型效果更好。

另一方面，本发明还提供了一种损伤等级模型的性能分析系统，包括：分类模型性能分析系统和测试数据结果分析系统；

所述分类模型性能分析系统对零件的整体准确度、精准度、召回率和转移性进行求值；

所述测试数据结果分析系统对求值结果进行分析。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.损伤等级模型的性能分析方法，其特征在于，包括：对分类模型性能指标进行分析的步骤和对测试数据结果进行分析的步骤。

2.根据权利要求1所述的损伤等级模型的性能分析方法，其特征在于，在分类模型训练后，针对每个零件的分类模型都有其相对应的模型参数，将当前等级作为正样例，其他等级作为负样例，具体为：

零件的整体准确度：Accuracy＝(TP+TN)/(TP+FN+FP+TN)，其中TN为真负类，FP为假正类，FN为假负类，TP为真正类；反映了分类模型对整体样本的判断能力；在正负样例均衡的情况下，该项指标越高证明分类模型对整体数据的分类能力越好，如果正负样例不均衡，该项指标无法正确反映分类模型的性能；

精准度Precision＝TP/(TP+FP),其中TP为真正类，FP为假正类；反映了被分类模型预测为正样例中真实的正样例所占的比重；

召回率Recall＝TP/(TP+FN)，其中FN为假负类，TP为真正类；反映了被分类模型预测为正样例的正样例与实际正样例数的比值；

转移性Specificity＝TN/(TN+FP)，其中TN为真负类，FP为假正类，反映了被分类模型预测为负样例的负样例与实际负样例数的比值，是与召回率相对应的指标；

所述的精准度、召回率、转移性越高，分类模型的分类能力越好；准确度是针对一个零件进行分析，其他评价指标是对零件下的每个等级进行分析。

3.根据权利要求2所述的损伤等级模型的性能分析方法，其特征在于，该方法还包括F1-Score＝2*召回率*准确率/(召回率+准确率)；该值越大，说明分类模型的分类效果越好。

4.根据权利要求2所述的损伤等级模型的性能分析方法，其特征在于，该方法还包括：预测提升值Lift＝精准度/k，该评价指标体现了使用分类模型对样例进行分类比传统的统计方法性能提高了多少倍，Lift值越大，表明在该等级下使用分类模型的效果越好。

5.根据权利要求4所述的损伤等级模型的性能分析方法，其特征在于，所述的k＝(FN+TP)/(TN+FN+FP+TP)，其中TN为真负类，FP为假正类，FN为假负类，TP为真正类。

6.根据权利要求2所述的损伤等级模型的性能分析方法，其特征在于，ROC曲线的横坐标是假正类率FPR，，纵坐标为真正类率TPR，ROC曲线越接近左上角，该分类模型的性能越好。

7.根据权利要求6所述的损伤等级模型的性能分析方法，其特征在于，FPR＝FP/(TN+FP)，TPR＝TP/(FN+TP)，其中TN为真负类，FP为假正类，FN为假负类，TP为真正类。

8.根据权利要求6所述的损伤等级模型的性能分析方法，其特征在于，AUC被定义为ROC曲线下的面积，AUC值越大的分类模型效果更好。

9.根据权利要求2所述的损伤等级模型的性能分析方法，其特征在于，分类模型训练时，若是有两个模型精准度相同，召回率越高，分类模型性能越好；若是有两个模型召回率相同，精准度越高，分类模型性能越好。

10.一种损伤等级模型的性能分析系统，其特征在于，包括：分类模型性能分析系统和测试数据结果分析系统；

所述分类模型性能分析系统对零件的整体准确度、精准度、召回率和转移性进行求值；

所述测试数据结果分析系统对求值结果进行分析。