CN114529152A - 计算机视觉模型成熟度评估方法、装置、设备及存储介质 - Google Patents

计算机视觉模型成熟度评估方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114529152A
CN114529152A CN202210030513.1A CN202210030513A CN114529152A CN 114529152 A CN114529152 A CN 114529152A CN 202210030513 A CN202210030513 A CN 202210030513A CN 114529152 A CN114529152 A CN 114529152A
Authority
CN
China
Prior art keywords
algorithm model
dimensionality
data
evaluation value
index value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210030513.1A
Other languages
English (en)
Inventor
高岩
徐欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronic Product Reliability and Environmental Testing Research Institute
Original Assignee
China Electronic Product Reliability and Environmental Testing Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronic Product Reliability and Environmental Testing Research Institute filed Critical China Electronic Product Reliability and Environmental Testing Research Institute
Priority to CN202210030513.1A priority Critical patent/CN114529152A/zh
Publication of CN114529152A publication Critical patent/CN114529152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种计算机视觉模型成熟度评估方法、装置、设备及存储介质，属于深度学习领域，本申请提供的技术方案包括：从数据的维度、算法模型的维度以及运行框架的维度对计算机视觉领域中的机器算法模型进行评估处理，得到数据的维度对应的第一评估值、算法模型的维度对应的第二评估值以及运行框架的维度对应的第三评估值；获取数据的维度、算法模型的维度以及运行框架的维度所分别对应的权重值；根据获取到的权重值对第一评估值、第二评估值和第三评估值进行加权求和处理，得到机器算法模型对应的成熟度得分。本申请实施例提供的技术方案能够对计算机视觉领域中的机器算法模型进行评估。

Description

计算机视觉模型成熟度评估方法、装置、设备及存储介质
技术领域
本申请涉及深度学习领域，特别是涉及一种计算机视觉模型成熟度评估方法、装置、设备及存储介质。
背景技术
随着深度学习算法的不断发展，深度学习算法中计算机视觉领域的技术也不断落地，如人脸识别、医疗影像识别、无人驾驶、智能机器人等，并且相应的产业规模不断增长，因此，如何衡量计算机视觉算法的成熟度对于未来计算机视觉算法的发展具有十分重要的意义。
当前，如何对计算机视觉领域中的机器算法模型进行评估已经成为了一个亟待解决的问题。
发明内容
基于此，本申请实施例提供了一种计算机视觉模型成熟度评估方法、装置、设备及存储介质，能够对计算机视觉领域中的机器算法模型进行评估。
第一方面，提供了一种计算机视觉模型成熟度评估方法，该方法包括：
从数据的维度、算法模型的维度以及运行框架的维度对计算机视觉领域中的机器算法模型进行评估处理，得到所述数据的维度对应的第一评估值、所述算法模型的维度对应的第二评估值以及所述运行框架的维度对应的第三评估值；获取所述数据的维度、所述算法模型的维度以及所述运行框架的维度所分别对应的权重值；根据获取到的权重值对所述第一评估值、所述第二评估值和所述第三评估值进行加权求和处理，得到所述机器算法模型对应的成熟度得分；其中，所述数据包括所述机器算法模型的训练集，所述算法模型包括所述机器算法模型的网络结构和网络参数，所述运行框架包括所述机器算法模型运行依赖的软硬件设施。
在其中一个实施例中，所述第一评估值包括数据真实性度量指标值、数据规范性度量指标值和数据均衡性度量指标值；所述数据真实性度量指标值用于指示所述训练集是否具备真实性；所述数据规范性度量指标值用于指示所述训练集是否符合规范；所述数据均衡性度量指标值用于指示所述训练集是否具有代表性。
在其中一个实施例中，所述第二评估值包括泛化能力度量指标值、鲁棒性度量指标值和性能效率度量指标值；其中，所述泛化能力度量指标值用于表征所述机器算法模型对未知数据的预测能力；所述鲁棒性度量指标值用于表征所述机器算法模型对非正常数据的健壮性；所述用于表征所述机器算法模型的运行速度。
在其中一个实施例中，所述第三评估值包括可用性度量指标值、可移植性度量指标值和信息安全性度量指标值；其中，所述可用性度量指标值用于表征计算资源在需要使用时能够进行操作或维持功能的能力；所述可移植性度量指标值用于表征从当前运行环境迁移到另一种运行环境所需要的工作量和有效性；所述信息安全性度量指标值用于表征所述机器算法模型在运行过程中信息和数据被保护的程度。
在其中一个实施例中，根据获取到的权重值对所述第一评估值、所述第二评估值和所述第三评估值进行加权求和处理，得到所述机器算法模型对应的成熟度得分，包括：
根据所述第一评估值中的各指标值计算得到所述数据的维度对应的最终评估值；根据所述第二评估值中的各指标值计算得到所述算法模型的维度对应的最终评估值；根据所述第三评估值中的各指标值计算得到所述运行框架的维度对应的最终评估值；根据获取到的权重值对所述数据的维度对应的最终评估值、所述算法模型的维度对应的最终评估值以及所述运行框架的维度对应的最终评估值进行加权求和处理，得到所述机器算法模型对应的成熟度得分。
在其中一个实施例中，所述方法还包括：
根据所述机器算法模型对应的成熟度得分查询评级表，所述评级表中包括成熟度得分与机器算法模型等级的多个对应关系；根据查询结果确定所述机器算法模型对应的机器算法模型等级。
第二方面，提供了一种计算机视觉模型成熟度评估装置，该计算机视觉模型成熟度评估装置包括：
评估模块，用于从数据的维度、算法模型的维度以及运行框架的维度对计算机视觉领域中的机器算法模型进行评估处理，得到所述数据的维度对应的第一评估值、所述算法模型的维度对应的第二评估值以及所述运行框架的维度对应的第三评估值；
第一获取模块，用于获取所述数据的维度、所述算法模型的维度以及所述运行框架的维度所分别对应的权重值；
第二获取模块，用于根据获取到的权重值对所述第一评估值、所述第二评估值和所述第三评估值进行加权求和处理，得到所述机器算法模型对应的成熟度得分；
其中，所述数据包括所述机器算法模型的训练集，所述算法模型包括所述机器算法模型的网络结构和网络参数，所述运行框架包括所述机器算法模型运行依赖的软硬件设施。
在其中一个实施例中，所述第一评估值包括数据真实性度量指标值、数据规范性度量指标值和数据均衡性度量指标值；所述数据真实性度量指标值用于指示所述训练集是否具备真实性；所述数据规范性度量指标值用于指示所述训练集是否符合规范；所述数据均衡性度量指标值用于指示所述训练集是否具有代表性。
在其中一个实施例中，所述第二评估值包括泛化能力度量指标值、鲁棒性度量指标值和性能效率度量指标值；其中，所述泛化能力度量指标值用于表征所述机器算法模型对未知数据的预测能力；所述鲁棒性度量指标值用于表征所述机器算法模型对非正常数据的健壮性；所述用于表征所述机器算法模型的运行速度。
在其中一个实施例中，所述第三评估值包括可用性度量指标值、可移植性度量指标值和信息安全性度量指标值；其中，所述可用性度量指标值用于表征计算资源在需要使用时能够进行操作或维持功能的能力；所述可移植性度量指标值用于表征从当前运行环境迁移到另一种运行环境所需要的工作量和有效性；所述信息安全性度量指标值用于表征所述机器算法模型在运行过程中信息和数据被保护的程度。
在其中一个实施例中，所述第二获取模块，具体用于：
根据所述第一评估值中的各指标值计算得到所述数据的维度对应的最终评估值；根据所述第二评估值中的各指标值计算得到所述算法模型的维度对应的最终评估值；根据所述第三评估值中的各指标值计算得到所述运行框架的维度对应的最终评估值；根据获取到的权重值对所述数据的维度对应的最终评估值、所述算法模型的维度对应的最终评估值以及所述运行框架的维度对应的最终评估值进行加权求和处理，得到所述机器算法模型对应的成熟度得分。
在其中一个实施例中，所述装置还包括查询模块和确定模块；
所述查询模块，用于根据所述机器算法模型对应的成熟度得分查询评级表，所述评级表中包括成熟度得分与机器算法模型等级的多个对应关系；
确定模块，用于根据查询结果确定所述机器算法模型对应的机器算法模型等级。
第三方面，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面任一所述的计算机视觉模型成熟度评估方法。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一所述的计算机视觉模型成熟度评估方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供的技术方案中，从数据的维度、算法模型的维度以及运行框架的维度对计算机视觉领域中的机器算法模型进行评估处理，得到数据的维度对应的第一评估值、算法模型的维度对应的第二评估值以及运行框架的维度对应的第三评估值，获取数据的维度、算法模型的维度以及运行框架的维度所分别对应的权重值，根据获取到的权重值对第一评估值、第二评估值和第三评估值进行加权求和处理，得到机器算法模型对应的成熟度得分，本申请实施例提供的技术方案针对计算机视觉领域提出一套全面的机器学习算法成熟度评价体系，来保证算法足够成熟，进一步保障应用机器学习算法的软件的质量，为机器学习算法的持续发展和落地应用提供了重要的参考。
附图说明
图1为本申请实施例提供的一种计算机视觉模型成熟度评估方法的流程图；
图2为本申请实施例提供的一种计算机视觉模型成熟度评估方法的流程图；
图3为本申请实施例提供的一种计算机视觉模型成熟度评估方法的流程图
图4为本申请实施例提供的一种计算机视觉模型成熟度评估装置的框图；
图5为本申请实施例提供的一种计算机视觉模型成熟度评估装置的框图；
图6为本申请实施例提供的一种计算机设备的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
随着机器算法模型精度的不断提升和软硬件基础设施的不断完善，机器算法模型在计算机视觉领域已经广泛落地，如人脸识别、医疗影像识别、无人驾驶、智能机器人等，并且相应的产业规模不断增长。
目前对于机器算法模型的研究停留在算法和前景展望的层面，学术领域仅通过在测试集上的准确率高低来评价一个机器算法模型的表现。其次，机器算法模型所涉及到的软件应用大多数由经验丰富的数据科学家使用开源框架来构建，很少人关注软件工程原理。机器算法模型与传统的为解决特定任务、硬编码的软件程序不同，它根据包含输入和对应输出示例的训练数据，通过构建复杂网络进行学习，使得传统的成熟度评价方法和度量指标无法直接移植使用。在实际应用中，机器算法模型将面临一系列的针对性的攻击，这些攻击将对机器算法模型的输出结果产生影响，而环境变化也可能产生数据噪声，出现预料之外的情况。因此，如何衡量机器算法模型，特别是计算机视觉领域中机器算法模型的成熟度对于未来机器算法模型的广泛应用具有十分重要的意义。
有鉴于此，本申请实施例提供了一种专门针对计算机视觉领域中的机器算法模型的成熟度进行评估的方法。其中，本申请实施例提供的方法可以应用于计算机视觉模型成熟度评估装置中，该计算机视觉模型成熟度评估装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部，该计算机设备可以为服务器或者终端，其中，上文所述的服务器指的可以是一台服务器，也可以是由多台服务器组成的服务器集群，上文所述的终端可以为台式电脑、平板电脑、笔记本电脑或者智能手机等，本申请实施例不对终端的具体类型进行限定。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。
请参考图1，其示出了本申请实施例提供的一种计算机视觉模型成熟度评估方法的流程图，如图1所示，该计算机视觉模型成熟度评估方法包括以下步骤：
步骤101、计算机设备从数据的维度、算法模型的维度以及运行框架的维度对计算机视觉领域中的机器算法模型进行评估处理，得到数据的维度对应的第一评估值、算法模型的维度对应的第二评估值以及运行框架的维度对应的第三评估值。
其中，数据包括机器算法模型的训练集，算法模型包括机器算法模型的网络结构和网络参数，运行框架包括机器算法模型运行依赖的软硬件设施。
需要指出的是，该运行框架可以包括机器学习算法框架、计算力资源、智能传感器。
步骤102、计算机设备获取数据的维度、算法模型的维度以及运行框架的维度所分别对应的权重值。
步骤103、计算机设备根据获取到的权重值对第一评估值、第二评估值和第三评估值进行加权求和处理，得到机器算法模型对应的成熟度得分。
在本申请的可选实施例中，第一评估值包括数据真实性度量指标值、数据规范性度量指标值和数据均衡性度量指标值。
其中，数据真实性度量指标值用于指示训练集是否具备真实性，数据规范性度量指标值用于指示训练集是否符合规范，数据均衡性度量指标值用于指示训练集是否具有代表性。
下面，本申请实施例将对数据真实性度量指标值、数据规范性度量指标值和数据均衡性度量指标值的计算方式进行说明：
1、数据真实性度量指标值：
真实性是指需要确保数据具有真实意义，符合真实应用场景中的数据分布。
其中，数据真实性度量指标值可以采用如下公式计算：
Figure BDA0003466268580000061
Figure BDA0003466268580000062
其中，Rd1为数据真实性度量指标值，TP为由二分类器针对训练集和真实场景下的数据集得到的真正例(True positives)的数量，TN为由二分类器针对训练集和真实场景下的数据集得到的真反例(True negatives)的数量，FP为由二分类器针对训练集和真实场景下的数据集得到的假正例(False positives)的数量，FN为由二分类器针对训练集和真实场景下的数据集得到的假反例(False negatives)的数量，如果MCC系数大于0.2，说明训练集和真实场景下的数据集分布不一致，数据真实性较低，如果MCC系数小于等于0.2，说明训练集和真实场景下的数据集分布一致，数据具备真实性。
2、数据规范性度量指标值：
规范性是指数据集中的数据在数据采集、数据标注等数据处理过程中符合相应的规范。
A、对于图像分类任务，数据规范性度量指标值的计算公式为：
Figure BDA0003466268580000071
Rd2为数据规范性度量指标值，通过对比两个版本的标注结果来评价数据集的数据质量，将A版本作为数据标注的标准，评价B版本是否符合规范。CA(i)和CB(i)分别表示A版本和B版本对数据集中第i个图像分类标注的类别，N为数据集中包括的图像的数量。
B、对于目标检测任务，数据规范性度量指标值的计算公式为：
Figure BDA0003466268580000072
bboxA(i)、bboxB(i)表示A、B版本中对于数据集中第i个图像的目标进行标注的包围框，IOU计算两个包围框的交并比，大于0.9为符合规范。
C、对于图像分割任务，数据规范性度量指标值的计算公式为：
Figure BDA0003466268580000073
MaskA(i)和MaskB(i)表示A、B版本中对于数据集中第i个图像得到掩膜图，IOU计算两个掩膜图的交并比，大于0.9为符合规范。
需要指出的是，最终得到的数据规范性度量指标值为百分比值。
3、数据均衡性度量指标值：
均衡性确保数据集中的数据具有代表性，避免结果出现偏见。可以将均衡性定义为：
Figure BDA0003466268580000074
其中，Rd3为数据均衡性度量指标值，对于N个训练集中样本的数量，ni为训练集中第i个样本的数据量，nmin为训练集中样本的最小数据量，
Figure BDA0003466268580000075
为训练集中样本数据量的凭据你。
对于图像分类任务来说，数据量指图片的数据量，对于目标检测任务来说，数据量指包围框的个数；对于图像分割任务来说，数据量是指掩膜个数。
在本申请的可选实施例中，第二评估值包括泛化能力度量指标值、鲁棒性度量指标值和性能效率度量指标值。
其中，泛化能力度量指标值用于表征机器算法模型对未知数据的预测能力，鲁棒性度量指标值用于表征机器算法模型对非正常数据的健壮性，性能效率度量指标值用于表征机器算法模型的运行速度。
下面，本申请实施例将对泛化能力度量指标值、鲁棒性度量指标值和性能效率度量指标值的计算方式进行说明：
1、泛化能力度量指标值：
泛化能力指的是机器算法模型对未知数据的预测能力，是机器算法模型的基础需求。
泛化能力度量指标值可以通过F1分数计算：
Figure BDA0003466268580000081
Figure BDA0003466268580000082
Figure BDA0003466268580000083
其中，Ra1为泛化能力度量指标值，Precision(精确率)为真正例TP在所有机器算法模型识别出的正例中所占的比率，Recall(召回率)为真正例TP在测试集所有正例中所占的比率。
2、鲁棒性度量指标值：
鲁棒性指的是机器算法模型面对非正常数据的健壮性，不会受到影响的能力。
Ra2＝1-max(ASRw,ASRb)
Figure BDA0003466268580000084
Figure BDA0003466268580000085
其中，Ra2为鲁棒性度量指标值，f()为给定的模型，对于该模型使用白盒攻击算法生成N个对抗样本xw，再通过黑盒攻击算法生成N个对抗攻击样本xb，yi为设定值，分别计算对抗成功率ASRw和ASRb，最终取两者中的最大值，对抗攻击成功率越低，则说明机器算法模型的鲁棒性越高，对抗攻击成功率越高，则说明机器算法模型的鲁棒性越低。
3、性能效率度量指标值：
其中，性能效率度量指标值的计算公式如下：
Figure BDA0003466268580000091
Figure BDA0003466268580000092
其中，Ra3为性能效率度量指标值，通过连续运行多次取平均，从tstart时刻到tend时刻，机器算法模型一共处理完成了N张图像，计算机器算法模型的帧率fps，一般认为机器算法模型的帧率大于30可以满足实时图像处理的需求。
在本申请的可选实施例中，第三评估值包括可用性度量指标值、可移植性度量指标值和信息安全性度量指标值。
其中，可用性度量指标值用于表征计算资源在需要使用时能够进行操作或维持功能的能力，可移植性度量指标值用于表征从当前运行环境迁移到另一种运行环境所需要的工作量和有效性，信息安全性度量指标值用于表征机器算法模型在运行过程中信息和数据被保护的程度。
下面，本申请实施例将对可用性度量指标值、可移植性度量指标值和信息安全性度量指标值的计算方式进行说明：
1、可用性度量指标值：
可用性指计算资源在需要使用时能够进行操作或维持其功能的能力。
Figure BDA0003466268580000093
其中，Rf1为可用性度量指标值，MTBF为平均无故障时间(Mean Time BetweenFailure)，MTTR为平均修复时间(Mean Time To Repair)。
2、可移植性度量指标值：
可移植性是指从当前运行环境迁移到另一种环境所需要的工作量和有效性。
Figure BDA0003466268580000094
其中，Rf2为可用性度量指标值，评价是否具备可移植性的衡量标准是在于当进行整个算法的移植时，需要付出多少工作量T作为代价，同时需要保证算法的有效。
3、信息安全性度量指标值：
信息安全性度量指标值用于表征机器算法模型在运行过程中信息和数据被保护的程度。其中，数据保护方法可以为差分隐私方法，同态加密方法等，本申请实施例对此不作具体限定。
Figure BDA0003466268580000101
请参考图2，在上述实施例的基础上，可选的，上文中的步骤103可以包括以下内容：
步骤201、计算机设备根据第一评估值中的各指标值计算得到数据的维度对应的最终评估值。
其中，计算数据的维度对应的最终评估值的公式可以为：
Figure BDA0003466268580000102
其中，Rd为数据的维度对应的最终评估值，Rdi为第一评估值中的第i个指标值，ωdi为第一评估值中的第i个指标值对应的权重值。
步骤202、计算机设备根据第二评估值中的各指标值计算得到算法模型的维度对应的最终评估值。
其中，计算算法模型的维度对应的最终评估值的公式可以为：
Figure BDA0003466268580000103
其中，Ra为算法模型的维度对应的最终评估值，Rai为第二评估值中的第i个指标值，ωai为第二评估值中的第i个指标值对应的权重值。
步骤203、计算机设备根据第三评估值中的各指标值计算得到运行框架的维度对应的最终评估值。
其中，计算运行框架的维度对应的最终评估值的公式可以为：
Figure BDA0003466268580000104
其中，Rf为运行框架的维度对应的最终评估值，Rfi为第三评估值中的第i个指标值，ωfi为第三评估值中的第i个指标值对应的权重值。
步骤204、计算机设备根据获取到的权重值对数据的维度对应的最终评估值、算法模型的维度对应的最终评估值以及运行框架的维度对应的最终评估值进行加权求和处理，得到机器算法模型对应的成熟度得分。
其中，计算机器算法模型对应的成熟度得分的公式可以为：
Figure BDA0003466268580000111
其中，R为机器算法模型对应的成熟度得分，ωd为数据的维度对应的最终评估值对应的权重值，ωa为算法模型的维度对应的最终评估值对应的权重值，ωf为运行框架的维度对应的最终评估值对应的权重值。
请参考图3，在上述实施例的基础上，可选的，在计算得到机器算法模型对应的成熟度得分之后，本申请实施例提供的计算机视觉模型成熟度评估方法还包括以下步骤：
步骤301、计算机设备根据机器算法模型对应的成熟度得分查询评级表，评级表中包括成熟度得分与机器算法模型等级的多个对应关系。
请参考表1，其示出了本申请实施例提供的一种示例性的评级表。
表1
序号 等级 说明
1 A 0.9＜R，算法成熟度很高，评级等级为A
2 B 0.75＜R≤0.9，算法成熟度较高，评级等级为B
3 C 0.5＜R≤0.75，算法成熟度较低，评级等级为C
4 D 0＜R≤0.5，算法成熟度很低，评级等级为D
步骤302、计算机设备根据查询结果确定机器算法模型对应的机器算法模型等级。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的计算机视觉模型成熟度评估方法的计算机视觉模型成熟度评估装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个计算机视觉模型成熟度评估装置实施例中的具体限定可以参见上文中对于计算机视觉模型成熟度评估方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种计算机视觉模型成熟度评估装置400，包括：评估模块401、第一获取模块402以及第二获取模块403。
其中，该评估模块401，用于从数据的维度、算法模型的维度以及运行框架的维度对计算机视觉领域中的机器算法模型进行评估处理，得到该数据的维度对应的第一评估值、该算法模型的维度对应的第二评估值以及该运行框架的维度对应的第三评估值。
该第一获取模块402，用于获取该数据的维度、该算法模型的维度以及该运行框架的维度所分别对应的权重值。
该第二获取模块403，用于根据获取到的权重值对该第一评估值、该第二评估值和该第三评估值进行加权求和处理，得到该机器算法模型对应的成熟度得分。
其中，该数据包括该机器算法模型的训练集，该算法模型包括该机器算法模型的网络结构和网络参数，该运行框架包括该机器算法模型运行依赖的软硬件设施。
在本申请的可选实施例中，该第一评估值包括数据真实性度量指标值、数据规范性度量指标值和数据均衡性度量指标值；该数据真实性度量指标值用于指示该训练集是否具备真实性；该数据规范性度量指标值用于指示该训练集是否符合规范；该数据均衡性度量指标值用于指示该训练集是否具有代表性。
在本申请的可选实施例中，该第二评估值包括泛化能力度量指标值、鲁棒性度量指标值和性能效率度量指标值；其中，该泛化能力度量指标值用于表征该机器算法模型对未知数据的预测能力；该鲁棒性度量指标值用于表征该机器算法模型对非正常数据的健壮性；该用于表征该机器算法模型的运行速度。
在本申请的可选实施例中，该第三评估值包括可用性度量指标值、可移植性度量指标值和信息安全性度量指标值；其中，该可用性度量指标值用于表征计算资源在需要使用时能够进行操作或维持功能的能力；该可移植性度量指标值用于表征从当前运行环境迁移到另一种运行环境所需要的工作量和有效性；该信息安全性度量指标值用于表征该机器算法模型在运行过程中信息和数据被保护的程度。
在本申请的可选实施例中，该第二获取模块403，具体用于：
根据该第一评估值中的各指标值计算得到该数据的维度对应的最终评估值；根据该第二评估值中的各指标值计算得到该算法模型的维度对应的最终评估值；根据该第三评估值中的各指标值计算得到该运行框架的维度对应的最终评估值；根据获取到的权重值对该数据的维度对应的最终评估值、该算法模型的维度对应的最终评估值以及该运行框架的维度对应的最终评估值进行加权求和处理，得到该机器算法模型对应的成熟度得分。
请参考图5，本申请实施例还提供了另一种计算机视觉模型成熟度评估装置500，该计算机视觉模型成熟度评估装置500除了包括计算机视觉模型成熟度评估装置400的各模块外，还包括查询模块404和确定模块405。
其中，该查询模块404，用于根据该机器算法模型对应的成熟度得分查询评级表，该评级表中包括成熟度得分与机器算法模型等级的多个对应关系。
该确定模块405，用于根据查询结果确定该机器算法模型对应的机器算法模型等级。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或者终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现一种计算机视觉模型成熟度评估方法。
本领域技术人员可以理解，如图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
从数据的维度、算法模型的维度以及运行框架的维度对计算机视觉领域中的机器算法模型进行评估处理，得到该数据的维度对应的第一评估值、该算法模型的维度对应的第二评估值以及该运行框架的维度对应的第三评估值；获取该数据的维度、该算法模型的维度以及该运行框架的维度所分别对应的权重值；根据获取到的权重值对该第一评估值、该第二评估值和该第三评估值进行加权求和处理，得到该机器算法模型对应的成熟度得分；其中，该数据包括该机器算法模型的训练集，该算法模型包括该机器算法模型的网络结构和网络参数，该运行框架包括该机器算法模型运行依赖的软硬件设施。
在本申请一个实施例中，该第一评估值包括数据真实性度量指标值、数据规范性度量指标值和数据均衡性度量指标值；该数据真实性度量指标值用于指示该训练集是否具备真实性；该数据规范性度量指标值用于指示该训练集是否符合规范；该数据均衡性度量指标值用于指示该训练集是否具有代表性。
在本申请一个实施例中，该第二评估值包括泛化能力度量指标值、鲁棒性度量指标值和性能效率度量指标值；其中，该泛化能力度量指标值用于表征该机器算法模型对未知数据的预测能力；该鲁棒性度量指标值用于表征该机器算法模型对非正常数据的健壮性；该用于表征该机器算法模型的运行速度。
在本申请一个实施例中，该第三评估值包括可用性度量指标值、可移植性度量指标值和信息安全性度量指标值；其中，该可用性度量指标值用于表征计算资源在需要使用时能够进行操作或维持功能的能力；该可移植性度量指标值用于表征从当前运行环境迁移到另一种运行环境所需要的工作量和有效性；该信息安全性度量指标值用于表征该机器算法模型在运行过程中信息和数据被保护的程度。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：根据该第一评估值中的各指标值计算得到该数据的维度对应的最终评估值；根据该第二评估值中的各指标值计算得到该算法模型的维度对应的最终评估值；根据该第三评估值中的各指标值计算得到该运行框架的维度对应的最终评估值；根据获取到的权重值对该数据的维度对应的最终评估值、该算法模型的维度对应的最终评估值以及该运行框架的维度对应的最终评估值进行加权求和处理，得到该机器算法模型对应的成熟度得分。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：根据该机器算法模型对应的成熟度得分查询评级表，该评级表中包括成熟度得分与机器算法模型等级的多个对应关系；根据查询结果确定该机器算法模型对应的机器算法模型等级。
在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
从数据的维度、算法模型的维度以及运行框架的维度对计算机视觉领域中的机器算法模型进行评估处理，得到该数据的维度对应的第一评估值、该算法模型的维度对应的第二评估值以及该运行框架的维度对应的第三评估值；获取该数据的维度、该算法模型的维度以及该运行框架的维度所分别对应的权重值；根据获取到的权重值对该第一评估值、该第二评估值和该第三评估值进行加权求和处理，得到该机器算法模型对应的成熟度得分；其中，该数据包括该机器算法模型的训练集，该算法模型包括该机器算法模型的网络结构和网络参数，该运行框架包括该机器算法模型运行依赖的软硬件设施。
在本申请一个实施例中，该第一评估值包括数据真实性度量指标值、数据规范性度量指标值和数据均衡性度量指标值；该数据真实性度量指标值用于指示该训练集是否具备真实性；该数据规范性度量指标值用于指示该训练集是否符合规范；该数据均衡性度量指标值用于指示该训练集是否具有代表性。
在本申请一个实施例中，该第二评估值包括泛化能力度量指标值、鲁棒性度量指标值和性能效率度量指标值；其中，该泛化能力度量指标值用于表征该机器算法模型对未知数据的预测能力；该鲁棒性度量指标值用于表征该机器算法模型对非正常数据的健壮性；该用于表征该机器算法模型的运行速度。
在本申请一个实施例中，该第三评估值包括可用性度量指标值、可移植性度量指标值和信息安全性度量指标值；其中，该可用性度量指标值用于表征计算资源在需要使用时能够进行操作或维持功能的能力；该可移植性度量指标值用于表征从当前运行环境迁移到另一种运行环境所需要的工作量和有效性；该信息安全性度量指标值用于表征该机器算法模型在运行过程中信息和数据被保护的程度。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据该第一评估值中的各指标值计算得到该数据的维度对应的最终评估值；根据该第二评估值中的各指标值计算得到该算法模型的维度对应的最终评估值；根据该第三评估值中的各指标值计算得到该运行框架的维度对应的最终评估值；根据获取到的权重值对该数据的维度对应的最终评估值、该算法模型的维度对应的最终评估值以及该运行框架的维度对应的最终评估值进行加权求和处理，得到该机器算法模型对应的成熟度得分。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据该机器算法模型对应的成熟度得分查询评级表，该评级表中包括成熟度得分与机器算法模型等级的多个对应关系；根据查询结果确定该机器算法模型对应的机器算法模型等级。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以M种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(SyMchliMk)DRAM(SLDRAM)、存储器总线(RaMbus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种计算机视觉模型成熟度评估方法，其特征在于，所述方法包括：
从数据的维度、算法模型的维度以及运行框架的维度对计算机视觉领域中的机器算法模型进行评估处理，得到所述数据的维度对应的第一评估值、所述算法模型的维度对应的第二评估值以及所述运行框架的维度对应的第三评估值；
获取所述数据的维度、所述算法模型的维度以及所述运行框架的维度所分别对应的权重值；
根据获取到的权重值对所述第一评估值、所述第二评估值和所述第三评估值进行加权求和处理，得到所述机器算法模型对应的成熟度得分；
其中，所述数据包括所述机器算法模型的训练集，所述算法模型包括所述机器算法模型的网络结构和网络参数，所述运行框架包括所述机器算法模型运行依赖的软硬件设施。
2.根据权利要求1所述的方法，其特征在于，所述第一评估值包括数据真实性度量指标值、数据规范性度量指标值和数据均衡性度量指标值；
所述数据真实性度量指标值用于指示所述训练集是否具备真实性；
所述数据规范性度量指标值用于指示所述训练集是否符合规范；
所述数据均衡性度量指标值用于指示所述训练集是否具有代表性。
3.根据权利要求1所述的方法，其特征在于，所述第二评估值包括泛化能力度量指标值、鲁棒性度量指标值和性能效率度量指标值；
其中，所述泛化能力度量指标值用于表征所述机器算法模型对未知数据的预测能力；
所述鲁棒性度量指标值用于表征所述机器算法模型对非正常数据的健壮性；
所述性能效率度量指标值用于表征所述机器算法模型的运行速度。
4.根据权利要求1所述的方法，其特征在于，所述第三评估值包括可用性度量指标值、可移植性度量指标值和信息安全性度量指标值；
其中，所述可用性度量指标值用于表征计算资源在需要使用时能够进行操作或维持功能的能力；
所述可移植性度量指标值用于表征从当前运行环境迁移到另一种运行环境所需要的工作量和有效性；
所述信息安全性度量指标值用于表征所述机器算法模型在运行过程中信息和数据被保护的程度。
5.根据权利要求1至4任一所述的方法，其特征在于，所述根据获取到的权重值对所述第一评估值、所述第二评估值和所述第三评估值进行加权求和处理，得到所述机器算法模型对应的成熟度得分，包括：
根据所述第一评估值中的各指标值计算得到所述数据的维度对应的最终评估值；
根据所述第二评估值中的各指标值计算得到所述算法模型的维度对应的最终评估值；
根据所述第三评估值中的各指标值计算得到所述运行框架的维度对应的最终评估值；
根据获取到的权重值对所述数据的维度对应的最终评估值、所述算法模型的维度对应的最终评估值以及所述运行框架的维度对应的最终评估值进行加权求和处理，得到所述机器算法模型对应的成熟度得分。
6.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：
根据所述机器算法模型对应的成熟度得分查询评级表，所述评级表中包括成熟度得分与机器算法模型等级的多个对应关系；
根据查询结果确定所述机器算法模型对应的机器算法模型等级。
7.一种计算机视觉模型成熟度评估装置，其特征在于，所述装置包括：
评估模块，用于从数据的维度、算法模型的维度以及运行框架的维度对计算机视觉领域中的机器算法模型进行评估处理，得到所述数据的维度对应的第一评估值、所述算法模型的维度对应的第二评估值以及所述运行框架的维度对应的第三评估值；
第一获取模块，用于获取所述数据的维度、所述算法模型的维度以及所述运行框架的维度所分别对应的权重值；
第二获取模块，用于根据获取到的权重值对所述第一评估值、所述第二评估值和所述第三评估值进行加权求和处理，得到所述机器算法模型对应的成熟度得分；
其中，所述数据包括所述机器算法模型的训练集，所述算法模型包括所述机器算法模型的网络结构和网络参数，所述运行框架包括所述机器算法模型运行依赖的软硬件设施。
8.根据权利要求7所述的装置，其特征在于，所述第一评估值包括数据真实性度量指标值、数据规范性度量指标值和数据均衡性度量指标值；
所述数据真实性度量指标值用于指示所述训练集是否具备真实性；
所述数据规范性度量指标值用于指示所述训练集是否符合规范；
所述数据均衡性度量指标值用于指示所述训练集是否具有代表性。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6任一所述的计算机视觉模型成熟度评估方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一所述的计算机视觉模型成熟度评估方法。
CN202210030513.1A 2022-01-12 2022-01-12 计算机视觉模型成熟度评估方法、装置、设备及存储介质 Pending CN114529152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210030513.1A CN114529152A (zh) 2022-01-12 2022-01-12 计算机视觉模型成熟度评估方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210030513.1A CN114529152A (zh) 2022-01-12 2022-01-12 计算机视觉模型成熟度评估方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114529152A true CN114529152A (zh) 2022-05-24

Family

ID=81620826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210030513.1A Pending CN114529152A (zh) 2022-01-12 2022-01-12 计算机视觉模型成熟度评估方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114529152A (zh)

Similar Documents

Publication Publication Date Title
CN109063921B (zh) 客户风险预警的优化处理方法、装置、计算机设备和介质
US20200065664A1 (en) System and method of measuring the robustness of a deep neural network
CN112232426A (zh) 目标检测模型的训练方法、装置、设备及可读存储介质
CN110751641A (zh) 锚栓信息检测的方法及存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
Zounemat-Kermani Investigating chaos and nonlinear forecasting in short term and mid-term river discharge
CN113553577B (zh) 基于超球面变分自动编码器的未知用户恶意行为检测方法及系统
CN115296984A (zh) 异常网络节点的检测方法及装置、设备、存储介质
CN113110961B (zh) 设备异常检测方法、装置、计算机设备及可读存储介质
Bielecki et al. Estimation of execution time for computing tasks
CN111753729B (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN113469111A (zh) 图像关键点检测方法及系统、电子设备、存储介质
Tian et al. Random sampling-arithmetic mean: A simple method of meteorological data quality control based on random observation thought
CN116707859A (zh) 特征规则提取方法和装置、网络入侵检测方法和装置
CN114529152A (zh) 计算机视觉模型成熟度评估方法、装置、设备及存储介质
Mori et al. The inadequacy of discrete scenarios in assessing deep neural networks
Wu et al. A novel fractional implicit polynomial approach for stable representation of complex shapes
CN113902959A (zh) 图像识别方法、装置、计算机设备和存储介质
Ward et al. A constant-per-iteration likelihood ratio test for online changepoint detection for exponential family models
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质
CN113779116A (zh) 对象排序方法、相关设备及介质
CN112488528A (zh) 数据集的处理方法、装置、设备和存储介质
CN112528500A (zh) 一种场景图构造模型的评估方法及评估设备
CN116362628B (zh) 电力系统运行状态分析评估方法和装置
CN117671507B (zh) 一种结合气象数据的河流水质预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination