CN112700158B - 基于多维度模型的算法效能评估方法 - Google Patents

基于多维度模型的算法效能评估方法 Download PDF

Info

Publication number
CN112700158B
CN112700158B CN202110020794.8A CN202110020794A CN112700158B CN 112700158 B CN112700158 B CN 112700158B CN 202110020794 A CN202110020794 A CN 202110020794A CN 112700158 B CN112700158 B CN 112700158B
Authority
CN
China
Prior art keywords
performance evaluation
core
index
evaluation
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110020794.8A
Other languages
English (en)
Other versions
CN112700158A (zh
Inventor
孙显
刁文辉
付琨
杨怡冉
赵良瑾
张文凯
吴有明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202110020794.8A priority Critical patent/CN112700158B/zh
Publication of CN112700158A publication Critical patent/CN112700158A/zh
Application granted granted Critical
Publication of CN112700158B publication Critical patent/CN112700158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Game Theory and Decision Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供一种基于多维度模型的智能算法效能评估方法，包括：建立SAR图像舰船目标识别模型的效能评估模型，该效能评估模型包括基本能力效能评估指标和核心能力效能评估指标；采集各项基本能力效能评估二级指标的数据以及各项核心能力效能评估二级指标的数据；设定各项基本能力效能评估指标和核心能力效能评估指标的权重系数；根据各项基本能力效能评估二级指标的数据和各级指标对应的权重系数计算基本能力效能评估得分；根据各项核心能力效能评估二级指标的数据及各级指标对应的权重系数计算核心能力效能评估得分；根据基本能力效能评估得分与核心能力效能评估得分计算综合效能评估得分；根据综合效能评估得分确定模型的软件综合成熟度。

Description

基于多维度模型的算法效能评估方法
技术领域
本公开涉及计算机技术领域与模型测评领域，具体涉及一种基于多维度模型的算法效能评估方法。
背景技术
针对SAR图像舰船目标识别模型的评估，传统的评估方法只能衡量该模型最主要性能的好坏，例如准确率、召回率等。但是仅针对这些最主要的性能进行评估无法全面的评估SAR图像舰船目标识别模型在各个方面上的优劣。随着将模型部署到实际应用中，如何全面对SAR图像舰船目标识别模型效能评估成为一个急需解决的问题。
发明内容
有鉴于此，本公开提供一种基于多维度模型的算法效能评估方法，以解决现有技术中存在的技术问题。
本公开提出一种基于多维度模型的算法效能评估方法，包括：建立SAR图像舰船目标识别模型的效能评估模型，SAR图像舰船目标识别模型的效能评估模型包括基本能力效能评估指标和核心能力效能评估指标；其中，基本能力效能评估指标包括基本能力效能评估一级指标和基本能力效能评估二级指标；核心能力效能评估指标包括核心能力效能评估一级指标和核心能力效能评估二级指标；采集各项基本能力效能评估二级指标的数据以及各项核心能力效能评估二级指标的数据；设定各项基本能力效能评估指标、核心能力效能评估指标的权重系数；根据各项基本能力效能评估二级指标的数据和各级指标对应的权重系数计算出基本能力效能评估得分；根据各项核心能力效能评估二级指标的数据及各级指标对应的权重系数计算出核心能力效能评估得分；根据基本能力效能评估得分与核心能力效能评估得分进行综合分析，得到综合效能评估得分；根据综合效能评估得分确定SAR图像舰船目标识别模型的软件综合成熟度。
可选地，基本能力效能评估一级指标包括：可用性、可靠性、实时性、可维护性和安全性，其中，可用性包括的基本能力效能评估二级指标有：数据处理能力、类型/场景覆盖率、资源占用率、平台兼容性、易操作性、易理解性；可靠性包括的基本能力效能评估二级指标有：并发用户数、异常处理能力、异常处理能力、故障率、可恢复性；实时性包括的基本能力效能评估二级指标有：响应时间；可维护性包括的基本能力效能评估二级指标有：易诊断性、易测试性、软件迭代；安全性包括的基本能力效能评估二级指标有：机密性、可审查性；核心能力效能评估一级指标包括：数据分辨率优于第一预设值、数据分辨率优于第二预设值；其中，各项核心能力效能评估一级指标包含的核心能力效能评估二级指标有：检测率、虚警率、分类正确率和处理时间。
可选地，数据处理能力的计算公式为：
Figure BDA0002888039340000021
其中，X1为数据处理能力的评估得分，A1为SAR图像舰船目标识别模型正常处理数据的数量，B1为SAR图像舰船目标识别模型测试数据总数量；其中，正常处理指SAR图像舰船目标识别模型在加载处理过程中不出现故障，单幅数据处理时间小于或等于第一预设时间；
类型/场景覆盖率的计算公式为：
Figure BDA0002888039340000022
其中，X2为类型/场景覆盖率的评估得分，A2为SAR图像舰船目标识别模型实际覆盖所有特定目标类型/场景的数量，B2为SAR图像舰船目标识别模型需要覆盖所有特定目标类型/场景的数量；
资源占用率的计算公式为：Y3＝0.5·A3+0.5·B3，其中，Y3为资源占用率，A3为CPU占用率，B3为内存占用率，资源占用率的评估得分X3＝1-Y3；
平台兼容性的计算公式为：
Figure BDA0002888039340000023
其中，X4为平台兼容性的评估得分，A4为SAR图像舰船目标识别模型实际兼容的平台数，B4为SAR图像舰船目标识别模型需要兼容的平台数；
易操作性的计算公式为：
Figure BDA0002888039340000031
其中，X5为易操作性的评估得分，A5为用户发现不易操作的功能数，B5为被评估的功能总数；其中，不易操作指SAR图像舰船目标识别模型实现某个功能的操作步数大于第三预设值；
易理解性的计算公式为：
Figure BDA0002888039340000032
其中，X6为易理解性的评估得分，A6为不能被理解的功能数，B6为被评估的功能总数；其中，不能被理解的功能指SAR图像舰船目标识别模型的命名存在缩写、歧义或与实际功能存在偏差；
并发用户数的计算公式为：
Figure BDA0002888039340000033
其中，X7为并发用户数的评估得分，A7为实际能够达到的最大并发用户数量，B7为真实环境下要求的最大并发用户数量；
异常处理能力的计算公式为：
Figure BDA0002888039340000034
其中，X8为异常处理能力的评估得分，A8为SAR图像舰船目标识别模型对异常数据或参数进行检测并处理的数量，B8为输入异常数据或参数的数量；
故障率的计算公式为：
Figure BDA0002888039340000035
其中，X9为故障率的评估得分，崩溃次数指在第二预设时间内连续使用SAR图像舰船目标识别模型崩溃的次数；
可恢复性的计算公式为：
Figure BDA0002888039340000036
其中，X10为可恢复性的评估得分，可恢复功能包括对模型、参数数据实现手动备份、自动备份、手动恢复、自动恢复功能；
响应时间的计算公式为：
Figure BDA0002888039340000041
其中，X11为响应时间的评估得分，响应时间指用户提出请求到SAR图像舰船目标识别模型对请求进行处理的时间；
易诊断性的计算公式为：
Figure BDA0002888039340000042
其中，X12为易诊断性的评估得分，错误诊断功能包括错误弹窗提醒、错误日志记录、打印出错信息功能；
易测试性的计算公式为：
Figure BDA0002888039340000043
其中，X13为易测试性的评估得分，A13为实际测试中使用了内置测试方法或数据的测试用例数，B13为实际测试使用的测试用例数；
软件更新的计算公式为：
Figure BDA0002888039340000044
其中，X14为软件更新的评估得分，t为更新过程中SAR图像舰船目标识别模型无法提供正常业务服务的时间；
机密性的计算公式为：
Figure BDA0002888039340000045
其中，X15为机密性的评估得分，保障数据机密性方法包括实体隔离、身份验证、数据加密、访问控制；
可审查性的计算公式为：
Figure BDA0002888039340000051
其中，X16为可审查性的评估得分，日志信息包括操作日志、访问日志。
可选地，根据各项基本能力效能评估二级指标的数据和各级指标对应的权重系数计算出基本能力效能评估得分，包括：根据各项基本能力效能评估二级指标的数据和各项基本能力效能评估二级指标对应的权重系数计算各项基本能力效能评估一级指标的评估得分；根据各项基本能力效能评估一级指标的评估得分和各项基本能力效能评估一级指标对应的权重系数计算基本能力效能评估得分。
可选地，根据各项基本能力效能评估二级指标的数据和各项基本能力效能评估二级指标对应的权重系数计算各项基本能力效能评估一级指标的评估得分，满足：
Figure BDA0002888039340000052
其中，P1j为第j个基本能力效能评估一级指标的评估得分；n为第j个基本能力效能评估一级指标包含的基本能力效能评估二级指标的个数；P2i为第i个基本能力效能评估二级指标的评估得分；ωi为第i个基本能力效能评估二级指标的权重系数。
可选地，根据各项基本能力效能评估一级指标的评估得分和各项基本能力效能评估一级指标对应的权重系数计算基本能力效能评估得分，满足：
Figure BDA0002888039340000053
其中，Ecomm为基本能力效能评估得分；m为基本能力效能评估一级指标的种类数量；P1j为第j个基本能力效能评估一级指标的评估得分；βj为第j个基本能力效能评估一级指标的权重系数。
可选地，根据各项核心能力效能评估二级指标的数据及各级指标对应的权重系数计算出核心能力效能评估得分，包括：对各项核心能力效能评估二级指标进行无量纲化和归一化处理，得到各项核心能力效能评估二级指标的评估得分；根据各项核心能力效能评估二级指标的评估得分以及各项核心能力效能评估二级指标对应的权重系数计算各项核心能力效能评估一级指标的评估得分；根据各项核心能力效能评估一级指标的评估得分以及各项核心能力效能评估一级指标对应的权重系数计算核心能力效能评估得分。
可选地，对各项核心能力效能评估二级指标进行无量纲化和归一化处理，得到各项核心能力效能评估二级指标的评估得分，包括：对于量纲不统一的各项核心能力效能评估二级指标进行无量纲化处理，满足：
Figure BDA0002888039340000061
其中，Λk为第k个核心能力效能评估二级指标的无量纲化结果，Rk，Tk，xk分别为第k个核心能力效能评估二级指标的基准值、容忍值和实测值，基准值、容忍值、实测值从采集的核心能力效能评估二级指标的数据中获取；对第k个核心能力效能评估二级指标的无量纲化结果进行归一化处理，得到第k个核心能力效能评估二级指标的评估得分，满足：Pk＝Λk/Λk，max，其中，Pk为第k个核心能力效能评估二级指标的评估得分，Λk为第k个核心能力效能评估二级指标的无量纲化结果，Λk，max为Λk的最大值。
可选地，根据各项核心能力效能评估二级指标的评估得分以及各项核心能力效能评估二级指标对应的权重系数计算各项核心能力效能评估一级指标的评估得分，包括：
Figure BDA0002888039340000062
其中，P1l为第l个核心能力效能评估一级指标的评估得分，N为第l个核心能力效能评估一级指标包含的核心能力效能评估二级指标的个数，Pk为第k个核心能力效能评估二级指标的评估得分，
Figure BDA0002888039340000063
为第k个核心能力效能评估二级指标的权重系数；
根据各项核心能力效能评估一级指标的评估得分以及各项核心能力效能评估一级指标对应的权重系数计算核心能力效能评估得分，包括：
Figure BDA0002888039340000071
其中，Eown为核心能力效能评估得分，M为核心能力效能评估一级指标的种类数量，P1l为第l个核心能力效能评估一级指标的评估得分；δl为第l个核心能力效能评估一级指标的权重系数。
可选地，根据基本能力效能评估得分与核心能力效能评估得分进行综合分析，得到综合效能评估得分，包括：综合效能评估得分满足：
E＝αEcomm+γEown，
其中，E为SAR图像舰船目标识别模型的综合效能评估得分，Ecomm为基本能力效能评估得分，Eown为核心能力效能评估得分，α、γ分别为基本能力效能评估指标与核心能力效能评估指标的权重系数，其中，α+γ＝1。
与现有技术相比，本公开的有益效果为：
(1)本公开中的效能评估方法从基本能力效能评估指标和核心能力效能评估指标对SAR图像舰船目标识别模型进行效能评估，对模型的效能评估维度更丰富，也更为全面，在实践应用中，本公开中的方法有利于筛选出性能更可靠、更符合用户需求的模型。
(2)本公开中效能评估指标体系由基本能力效能评估指标与核心能力评估指标的一级指标和二级指标构成，基于本公开中的效能评估指标体系，可以全面地评估模型的基本能力与核心能力的优劣。
(3)通过对基本能力效能评估和核心能力效能评估进行综合分析，然后根据综合效能评估得分确定了模型的综合成熟度，根据模型的综合成熟度得分可以让用户更直观地了解模型的可靠度，进而选择符合用户需求的模型。
附图说明
图1示意性示出了本公开实施例中基于多维度模型的智能算法效能评估方法的流程图；
图2示意性示出了本公开实施例中用于评估SAR图像舰船目标识别模型综合效能的效能评估指标体系；
图3示意性示出了本公开实施例中获取基本能力效能评估得分的方法流程图；
图4示意性示出了本公开实施例中获取核心能力效能评估得分的方法流程图；
图5示意性示出了检测率指标无量纲化的结果；
图6示意性示出了虚警率指标无量纲化的结果。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的保护范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
针对SAR图像舰船目标识别模型的评估，现有的评估方法只能衡量该模型最主要性能的好坏。但是仅仅评估这些最主要的性能无法全面地评估SAR图像舰船目标识别模型在各个方面上的优劣。在实际应用中，仅利用现有的评估方法来评估模型的效能可能无法满足用户的多样化需求。
为了解决上述问题，本公开提出一种基于多维度模型的智能算法效能评估方法。
图1示意性示出了本公开实施例中基于多维度模型的智能算法效能评估方法的流程图。
如图1所示，该方法包括步骤S101～S107。
在步骤S101，建立SAR图像舰船目标识别模型的效能评估模型，SAR图像舰船目标识别模型的效能评估模型包括基本能力效能评估指标和核心能力效能评估指标。其中，基本能力效能评估指标包括基本能力效能评估一级指标和基本能力效能评估二级指标；核心能力效能评估指标包括核心能力效能评估一级指标和核心能力效能评估二级指标。
在步骤S102，采集各基本能力效能评估二级指标的数据以及各核心能力效能评估二级指标的数据。
具体地，根据本公开中SAR图像舰船目标识别模型的效能评估模型，采集适用于评估SAR图像舰船目标识别模型的综合效能的运行数据，具体包括所有基本能力效能评估二级指标的数据和所有核心能力效能评估二级指标的数据。
在步骤S103，设定各基本能力效能评估指标、核心能力效能评估指标的权重系数。
具体地，根据SAR图像舰船目标识别模型的实际状况以及评价目的，综合运用专家判断法、相似模型类比方法以及管理者经验等进行基本能力效能评估指标、核心能力效能评估指标以及各一级指标和各二级指标的权重系数设置。其中，各权重系数的取值范围在0～1之间。
在步骤S104，根据各基本能力效能评估二级指标的数据和各级指标对应的权重系数计算出基本能力效能评估得分。
具体地，根据各项基本能力效能评估二级指标的数据和各项级指标对应的权重系数计算出基本能力效能评估得分，然后结合工作实际(例如实践经验、专家经验等等)，将每项基本能力效能评估一级指标划分为5个等级，并深入分析影响各等级的关键要素，逐项开展研时，细化每项指标的考核内容和考核形式，最终形成基本能力效能评估指标的评分等级标准。
在步骤S105，根据各核心能力效能评估二级指标的数据及各级指标对应的权重系数计算出核心能力效能评估得分。
具体地，根据各项核心能力效能评估二级指标的数据和各项级指标对应的权重系数计算出核心能力效能评估得分，然后结合工作实际(例如实践经验、专家经验等等)，将每项核心能力效能评估一级指标划分为5个等级，并深入分析影响各等级的关键要素，逐项开展研讨，细化每项指标的考核内容和考核形式，最终形成核心能力效能评估指标的评分等级标准。
在步骤S106，根据基本能力效能评估得分与核心能力效能评估得分进行综合分析，得到综合效能评估得分。
具体地，根据基本能力效能评估得分、核心能力效能评估得分以及两者对应的权重系数可以得到综合效能评估得分。
在步骤S107，根据综合效能评估得分确定SAR图像舰船目标识别模型的软件综合成熟度。
具体地，在获取综合效能评估得分后，结合工作实际(例如专家经验或者管理经验等)将软件成熟度划分为7个等级。结合综合效能评估计算结果以及各项基本能力效能评估一级指标的评分等级和各项核心能力效能评估一级指标的评分等级确定SAR图像舰船目标识别模型的软件综合成熟度。
与现有技术相比，本公开中的SAR图像舰船目标识别模型的效能评估方法具有以下优势：第一，本公开中的方法从基本能力效能评估指标和核心能力效能评估指标对SAR图像舰船目标识别模型进行效能评估，对模型的效能评估维度更丰富，也更为全面，在实践应用中，本公开中的方法有利于筛选出性能更可靠、更符合用户需求的模型。第二，本公开中效能评估指标体系由基本能力效能评估指标与核心能力评估指标的一级指标和二级指标构成，基于本公开中的效能评估指标体系，可以全面地评估模型的基本能力与核心能力的优劣。第三，本公开中的方法通过对基本能力效能评估和核心能力效能评估进行综合分析，然后根据综合效能评估得分确定了模型的综合成熟度，根据模型的综合成熟度得分可以让用户更直观地了解模型的可靠度，进而选择符合用户需求的模型。
图2示意性示出了本公开实施例中用于评估SAR图像舰船目标识别模型综合效能的效能评估指标体系。
如图2所示，本公开中的SAR图像舰船目标识别模型综合效能的效能评估指标体系包括基本能力效能评估指标体系和核心能力效能评估指标体系。其中，基本能力效能评估指标体系包括基本能力效能评估一级指标和基本能力效能评估二级指标，核心能力效能评估指标体系包括核心能力效能评估一级指标和核心能力效能评估二级指标。
在本公开实施例中，为了提高综合效能评估的合理性，SAR图像舰船目标识别模型的基本能力效能评估指标、核心能力效能评估指标以及各一级指标和各二级指标的权重系数专家判断法、相似模型类比方法以及管理者经验等得出。指标权重反映了基本(或核心)能力效能评估指标在基本(或核心)能力效能评估指标体系中的重要程度，权重较高的指标为影响基本(或核心)能力指标效能评估的关键要素。其中，各权重系数的取值范围在0～1之间。
请参考图2，根据本公开实施例，核心能力效能评估指标体系中的核心能力效能评估一级指标和核心能力效能评估二级指标可以根据具体地目标类型进行设定，例如SAR图像舰船目标识别模型，依据指标集，其核心能力效能评估一级指标包括：数据分辨率优于第一预设值、数据分辨率优于第二预设值，各项核心能力效能评估一级指标包含的核心能力效能评估二级指标有：检测率、虚警率、分类正确率和处理时间。在本公开实施例中，例如该第一预设值可以为1m，该第二预设值可以为0.5m。
请继续参考图2，根据本公开实施例，基本能力效能评估一级指标包括：可用性、可靠性、实时性、可维护性和安全性，其中，可用性包括的基本能力效能评估二级指标有：数据处理能力、类型/场景覆盖率、资源占用率、平台兼容性、易操作性、易理解性；可靠性包括的基本能力效能评估二级指标有：并发用户数、异常处理能力、异常处理能力、故障率、可恢复性；实时性包括的基本能力效能评估二级指标有：响应时间；可维护性包括的基本能力效能评估二级指标有：易诊断性、易测试性、软件迭代；安全性包括的基本能力效能评估二级指标有：机密性、可审查性。
在本公开实施例中，表一和表二分别示例性给出了基本能力效能评估指标体系和核心能力效能评估指标体系中各项一级指标和二级指标的对应关系以及权重系数的参考值。应当理解的是，表一和表二中给出的各项权重系数的数值仅为示例性的，以便本领域技术人员理解本公开的技术方案，并非用于限制本公开的保护范围。本公开中的各项权重系数的数值具体可以根据评价目的以及SAR图像舰船目标识别模型的实际状况，综合运用专家判断法、相似模型类比方法以及管理者经验等等方法进行设定，在此不做限定。
表一 基本能力效能评估指标体系及权重系数
Figure BDA0002888039340000111
Figure BDA0002888039340000121
表二 核心能力效能评估指标体系及权重系数
Figure BDA0002888039340000122
由表一中的基本能力效能评估一级指标的权重数值可以知道，在基本能力效能评估指标体系的各项一级指标中，相比于其他基本能力效能评估一级指标，可用性和可靠性这两个基本能力效能评估一级指标可以视为评估SAR图像舰船目标识别模型的基本能力效能评估指标体系中的关键指标。由表二中的核心能力效能评估二级指标的权重数值可知，检测率、虚警率和分类正确率等指标可以视为评估核心能力效能评估一级指标的关键指标。
根据本公开实施例，各项基本能力效能评估二级指标的评估得分的计算方式如下：
数据处理能力的计算公式为：
Figure BDA0002888039340000131
其中，X1为数据处理能力的评估得分，A1为SAR图像舰船目标识别模型正常处理数据的数量，B1为SAR图像舰船目标识别模型测试数据总数量；其中，正常处理指SAR图像舰船目标识别模型在加载处理过程中不出现故障(例如不死机、不出错等等)，单幅数据处理时间小于或等于第一预设时间。其中，第一预设之间可以根据需求进行设置，在此不做限定。例如，要求单幅数据处理时间不大于30分钟，也即第一预设时间可以设置为30分钟。
类型/场景覆盖率的计算公式为：
Figure BDA0002888039340000132
其中，X2为类型/场景覆盖率的评估得分，A2为SAR图像舰船目标识别模型实际覆盖所有特定目标类型/场景的数量，B2为SAR图像舰船目标识别模型需要覆盖所有特定目标类型/场景的数量。如果对SAR图像舰船目标识别模型的覆盖目标类型/场景能力不作要求，那么，取X＝1。
资源占用率的计算公式为：Y3＝0.5·A3+0.5·B3。其中，Y3为资源占用率，A3为CPU占用率，B3为内存占用率，资源占用率的评估得分X3＝1-Y3。
平台兼容性的计算公式为：
Figure BDA0002888039340000133
其中，X4为平台兼容性的评估得分，A4为SAR图像舰船目标识别模型实际兼容的平台数，B4为SAR图像舰船目标识别模型需要兼容的平台数。
易操作性的计算公式为：
Figure BDA0002888039340000134
其中，X5为易操作性的评估得分，A5为用户发现不易操作的功能数，B5为被评估的功能总数；其中，不易操作指SAR图像舰船目标识别模型实现某个功能的操作步数大于第三预设值。例如第三预设值可以为5或6，或者其他合适的数值，具体根据实际评估需求进行设置，在此不做限制。
易理解性的计算公式为：
Figure BDA0002888039340000141
其中，X6为易理解性的评估得分，A6为不能被理解的功能数，B6为被评估的功能总数；其中，不能被理解的功能指SAR图像舰船目标识别模型的命名存在缩写、歧义或与实际功能存在偏差。
并发用户数的计算公式为：
Figure BDA0002888039340000142
其中，X7为并发用户数的评估得分，A7为实际能够达到的最大并发用户数量，B7为真实环境下要求的最大并发用户数量。该指标是指SAR图像舰船目标识别模型能最多为多少用户同时提供正常服务的能力。
异常处理能力的计算公式为：
Figure BDA0002888039340000143
其中，X8为异常处理能力的评估得分，A8为SAR图像舰船目标识别模型对异常数据或参数进行检测并处理的数量，B8为输入异常数据或参数的数量。
故障率的计算公式为：
Figure BDA0002888039340000144
其中，X9为故障率的评估得分，崩溃次数指在第二预设时间内连续使用SAR图像舰船目标识别模型崩溃的次数。例如第二预设时间可以为5小时或者8小时，或者其他合适的数值，具体根据实际评估需求进行设置，在此不做限制。
可恢复性的计算公式为：
Figure BDA0002888039340000145
其中，X10为可恢复性的评估得分，可恢复功能包括但不限于对模型、参数数据实现手动备份、自动备份、手动恢复、自动恢复等功能。
响应时间的计算公式为：
Figure BDA0002888039340000151
其中，X11为响应时间的评估得分，响应时间指用户提出请求到SAR图像舰船目标识别模型对请求进行处理的时间。
易诊断性的计算公式为：
Figure BDA0002888039340000152
其中，X12为易诊断性的评估得分，错误诊断功能包括但不限于错误弹窗提醒、错误日志记录、打印出错信息等功能。
易测试性的计算公式为：
Figure BDA0002888039340000153
其中，X13为易测试性的评估得分，A13为实际测试中使用了内置测试方法或数据的测试用例数，B13为实际测试使用的测试用例数。
软件更新的计算公式为：
Figure BDA0002888039340000154
其中，X14为软件更新的评估得分，t为更新过程中SAR图像舰船目标识别模型无法提供正常业务服务的时间。
机密性的计算公式为：
Figure BDA0002888039340000155
其中，X15为机密性的评估得分，保障数据机密性方法包括但不限于实体隔离、身份验证、数据加密、访问控制等。
可审查性的计算公式为：
Figure BDA0002888039340000156
其中，X16为可审查性的评估得分，日志信息包括操作日志、访问日志等。
图3示意性示出了本公开实施例中获取基本能力效能评估得分的方法流程图。
如图3所示，根据各项基本能力效能评估二级指标的数据和各级指标对应的权重系数计算出基本能力效能评估得分，包括步骤S301～S302。
在步骤S301，根据各项基本能力效能评估二级指标的数据和各项基本能力效能评估二级指标对应的权重系数计算各项基本能力效能评估一级指标的评估得分。
在步骤S302，根据各项基本能力效能评估一级指标的评估得分和各项基本能力效能评估一级指标对应的权重系数计算基本能力效能评估得分。
具体地，根据本公开实施例，在步骤S301中，根据各项基本能力效能评估二级指标的数据和各项基本能力效能评估二级指标对应的权重系数计算各项基本能力效能评估一级指标的评估得分，满足如下关系：
Figure BDA0002888039340000161
其中，P1j为第j个基本能力效能评估一级指标的评估得分；n为第j个基本能力效能评估一级指标包含的基本能力效能评估二级指标的个数，针对不同种类的基本能力效能评估一级指标，n的取值不同；P2i为第i个基本能力效能评估二级指标的评估得分，P2i∈[0，1]；ωi(ωi＞0)为第i个基本能力效能评估二级指标的权重系数(权重系数的取值可以参考表一，也可以根据实际情况进行设定)，其满足
Figure BDA0002888039340000162
根据本公开实施例，在步骤S302中，根据各项基本能力效能评估一级指标的评估得分和各项基本能力效能评估一级指标对应的权重系数计算基本能力效能评估得分，满足如下关系：
Figure BDA0002888039340000163
其中，Ecomm为基本能力效能评估得分，采用百分制；m为基本能力效能评估一级指标的种类数量；P1j为第j个基本能力效能评估一级指标的评估得分，其体现了模型某类基本要素性能优劣，P1j∈[0，100]；βj(βj＞0)为第j个基本能力效能评估一级指标的权重系数，其满足
Figure BDA0002888039340000171
基于上述基本能力效能评估二级指标的评估得分的计算公式，可以获得各项基本能力效能评估二级指标，通过各项基本能力效能评估二级指标及其对应的权重系数可以计算出基本能力效能评估一级指标的评估得分，进而根据基本能力效能评估一级指标的评估得分及其对应的权重系数计算得出基本能力效能评估得分。
在获取基本能力效能评估得分之后，然后结合工作实际(例如实践经验、专家经验等等)，将每项基本能力效能评估一级指标(例如表一中的5个基本能力效能评估一级指标)划分为5个等级，并深入分析影响各等级的关键要素，逐项开展研讨，细化每项指标的考核内容和考核形式，最终形成基本能力效能评估指标的评分等级标准。表三示意性示出了本公开实施例中的基本能力效能评估指标分级评价表。
表三 基本能力效能评估指标分级评价表
Figure BDA0002888039340000172
在计算得出基本能力效能评估得分之后，结合表三中的评分等级可以得到各项基本能力效能评估一级指标对应的标准。以可用性为例，当可用性指标达到92分，则其对应的评分等级为“好”。在本公开实施例中，将上述基本能力效能评估一级指标的得分转化为评分等级，可以更直观地让用户了解模型软件的基本能力效能的优劣。
图4示意性示出了本公开实施例中获取核心能力效能评估得分的方法流程图。
如图4所示，根据各项核心能力效能评估二级指标的数据及各级指标对应的权重系数计算出核心能力效能评估得分，包括步骤S401～S403。
在步骤S401，对各项核心能力效能评估二级指标进行无量纲化和归一化处理，得到各项核心能力效能评估二级指标的评估得分。
在步骤S402，根据各项核心能力效能评估二级指标的评估得分以及各项核心能力效能评估二级指标对应的权重系数计算各项核心能力效能评估一级指标的评估得分；
在步骤S403，根据各项核心能力效能评估一级指标的评估得分以及各项核心能力效能评估一级指标对应的权重系数计算核心能力效能评估得分。
根据本公开实施例，在上述步骤S401中，对各项核心能力效能评估二级指标进行无量纲化和归一化处理，得到各项核心能力效能评估二级指标的评估得分，还包括：
对于量纲不统一的各项核心能力效能评估二级指标进行无量纲化处理，其满足：
Figure BDA0002888039340000181
其中，Λk为第k个核心能力效能评估二级指标的无量纲化结果，Λk∈[0，1]；Rk，Tk，xk分别为第k个核心能力效能评估二级指标的基准值、容忍值和实测值，基准值、容忍值、实测值从采集的核心能力效能评估二级指标的数据中获取。
具体地，对于量纲不统一的核心能力效能评估二级指标(如检测率的单位为1％且无量纲，处理时间的单位是s)，需要进行无量纲化处理。无量纲化按上述公式计算，上述公式能较好地表述和刻画某一核心能力效能评估指标的实测值与其对应的基准值和容忍值关系，它适用于所有性能指标。例如，对于检测率指标(如图5所示)，希望实测值越大越好，此时基准值大于容忍值，上述公式刻画出的是一个随实测值的增大而单调递增的函数。也就是说，实测值越大，其对应的无量纲化结果越大。对虚警率指标(如图6所示)，则希望实测值越小越好，此时基准值小于容忍值，上述公式刻画出的是一个随实测值的增大而单调递减的函数。也就是说，实测值越小，其对应的无量纲化结果越大。
对第k个核心能力效能评估二级指标的无量纲化结果进行归一化处理，得到第k个核心能力效能评估二级指标的评估得分，其满足：
Pk＝Λk/Λk，max，
其中，Pk为第k个核心能力效能评估二级指标的评估得分，Λk为第k个核心能力效能评估二级指标的无量纲化结果，Λk，max为Λk的最大值。
在步骤S402，根据各项核心能力效能评估二级指标的评估得分以及各项核心能力效能评估二级指标对应的权重系数计算各项核心能力效能评估一级指标的评估得分，包括：
Figure BDA0002888039340000191
其中，P1l为第l个核心能力效能评估一级指标的评估得分，N为第l个核心能力效能评估一级指标对应的核心能力效能评估二级指标的个数，对于不同的目标类型，N的取值不同；Pk为第k个核心能力效能评估二级指标的评估得分，
Figure BDA0002888039340000192
为第k个核心能力效能评估二级指标的权重系数，其满足：
Figure BDA0002888039340000193
根据本公开实施例，在上述步骤S403中，根据各项核心能力效能评估一级指标的评估得分以及各项核心能力效能评估一级指标对应的权重系数计算核心能力效能评估得分，其满足：
Figure BDA0002888039340000194
其中，Eown为核心能力效能评估得分，采用百分制；M为核心能力效能评估一级指标的种类数量，对于不同的目标类型，M的取值不同；P1l为第l个核心能力效能评估一级指标的评估得分，其体现了模型某个要素性能的优劣，P1l∈[0，100]；δl为第l个核心能力效能评估一级指标的权重系数，其满足
Figure BDA0002888039340000201
基于上述核心能力效能评估二级指标的评估得分的计算公式，可以获得各项核心能力效能评估二级指标，通过各项核心能力效能评估二级指标及其对应的权重系数可以计算出核心能力效能评估一级指标的评估得分，进而根据核心能力效能评估一级指标的评估得分及其对应的权重系数计算得出核心能力效能评估得分。
在获取核心能力效能评估得分之后，然后结合工作实际(例如实践经验、专家经验等等)，将每项核心能力效能评估一级指标(例如表二中的2个核心能力效能评估一级指标)划分为5个等级，并深入分析影响各等级的关键要素，逐项开展研讨，细化每项指标的考核内容和考核形式，最终形成核心能力效能评估指标的评分等级标准。表四示意性示出了本公开实施例中的核心能力效能评估指标分级评价表。
表四 核心能力效能评估指标分级评价表
Figure BDA0002888039340000202
在计算得出核心能力效能评估得分之后，结合表四中的评分等级可以得到各项核心能力效能评估一级指标对应的标准。以检测率为例，当检测率指标达到95分，则其对应的评分等级为“好”。在本公开实施例中，将上述核心能力效能评估一级指标的得分转化为评分等级，可以更直观地让用户了解模型软件的核心能力效能的优劣。
根据本公开实施例，根据基本能力效能评估得分与核心能力效能评估得分进行综合分析，得到综合效能评估得分，包括：
综合效能评估得分满足：
E＝αEcomm+γEown，
其中，E为SAR图像舰船目标识别模型的综合效能评估得分，采用百分制；Ecomm为基本能力效能评估得分，Ecomm∈[0，100]，Eown为核心能力效能评估得分，Eown∈[0，100]，α、γ(α＞0、γ＞0)分别为基本能力效能评估指标与核心能力效能评估指标的权重系数，其中，α+γ＝1。
具体地，根据基本能力效能评估得分和核心能力效能评估得分以及两者对应的权重系数计算得出SAR图像舰船目标识别模型的综合效能评估得分。其中，基本能力效能评估指标的权重系数α与核心能力效能评估指标的权重系数γ可以根据评价目的和实际情况进行设定，例如，α＝0.7，γ＝0.3。
在本公开实施例中，从基本能力效能和核心能力效能综合地对SAR图像舰船目标识别模型的效能进行评估，不仅可以评估模型的主要性能的优劣，也可以衡量该模型基本性能的好坏，也即可以对模型的效能进行全面地评价，通过上述方式筛选出的模型在实际应用中会更贴切用户的真实需求。
根据SAR图像舰船目标识别模型的工作实际，参考综合效能评估得分以及各项基本能力效能评估一级指标和核心能力效能评估一级指标的评分等级(例如表三及表四中所示内容)确定SAR图像舰船目标识别模型软件综合成熟度。具体地，将SAR图像舰船目标识别模型软件成熟度划分为7个等级，具体等级划分标准见表五所示。
表五 软件成熟度分级评价表
Figure BDA0002888039340000211
Figure BDA0002888039340000221
在本公开实施例中，根据综合效能评估得分确定模型的综合成熟度，可以让用户更直观地了解模型的可靠度，进而选择合适的模型进行目标识别。
以下将结合具体实施例对本公开的技术方案进行详细说明。需要注意的是，本公开实施例中的示例，仅为帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于评估其他软件模型。针对其他不同的软件模型，例如SAR图像飞机目标识别模型，也可以采用本公开中的方法进行效能评估，最终输出软件的成熟度等级，用于帮助用户选择更为符合需求的模型。在对其他软件模型进行成熟度评估时，对于核心能力效能评估指标体系需结合具体的评价目的进行相应的调整，本公开中的基本能力效能评估指标体系可以使用于所有的模型效能评估。对于基本能力效能评估和核心能力效能评估的具体方式与本公开实施中的方法相同，在此不再赘述。
实施例
1、效能评估模型构建
构建如图2所示的效能评估模型对SAR图像舰船目标识别模型的效能进行评估。其中，核心能力效能评估一级指标取：数据分辨率优于1m和数据分辨率优于0.5m。
2、数据采集
采集适用于本实施例中SAR舰船目标识别模型的相关数据，具体包括采集各基本能力效能评估二级指标的数据以及各核心能力效能评估二级指标的数据。
3、参数设定
在本实施例中，根据评价目的和SAR图像舰船目标识别模型的实际状况，综合运用专家判断法、相似模型类比方法以及管理者经验进行二级指标的权重参数设置，具体地，基本能力效能评估指标体系中各级权重系数具体如表一所示，核心能力效能评估指标体系中各级权重系数具体如表二所示。基本能力效能评估指标α与核心能力效能评估指标的权重系数γ分别取值0.7和0.3。
4、指标计算
根据基本能力效能评估二级指标的数据及各级指标对应的权重系数、核心能力效能评估二级指标的数据及各级指标对应的权重系数分别计算出相应的得分，具体计算结果见表六和表七。
表六 SAR图像舰船目标识别模型的效能评估模型中各二级指标得分
Figure BDA0002888039340000231
Figure BDA0002888039340000241
表七 SAR图像舰船目标识别模型的效能评估模型中各一级指标得分
Figure BDA0002888039340000242
通过对SAR图像舰船目标识别模型的模拟，查询表三和表四中的评分等级可知，上述基本能力效能评估指标和核心能力效能评估指标的各项一级指标都能达到“好”的标准。
5、SAR图像舰船目标识别模型的综合效能评估及软件成熟度确定
根据基本能力效能评估得分与核心能力效能评估得分计算得到综合效能评估得分，结果见表八。
表八 SAR图像舰船目标识别模型的综合效能评估得分
效能评估 得分
基本能力效能评估 92.9
核心能力效能评估 94.7
综合效能评估 93.44
根据表八中综合效能评估得分查询表五中软件成熟度的评价等级可知，SAR图像舰船目标识别模型对应的软件成熟度为七级，也即该SAR图像舰船目标识别模型完全成熟，性能可靠，可直接交付用户使用。
以上的实施例仅仅是对本公开的优选实施方式进行描述，并非对本公开的范围进行限定，在不脱离本公开设计精神的前提下，本领域普通技术人员对本公开的技术方案作出的各种变形和改进，均应落入本公开权利要求书确定的保护范围内。

Claims (6)

1.一种基于多维度模型的智能算法效能评估方法，其特征在于，包括：
建立SAR图像舰船目标识别模型的效能评估模型，所述SAR图像舰船目标识别模型的效能评估模型包括基本能力效能评估指标和核心能力效能评估指标；其中，所述基本能力效能评估指标包括基本能力效能评估一级指标和基本能力效能评估二级指标；所述核心能力效能评估指标包括核心能力效能评估一级指标和核心能力效能评估二级指标；
采集各项所述基本能力效能评估二级指标的数据以及各项所述核心能力效能评估二级指标的数据；
设定各项所述基本能力效能评估指标、所述核心能力效能评估指标的权重系数，包括：综合运用专家判断法、相似模型类比方法以及管理者经验设定所述基本能力效能评估指标和所述核心能力效能评估指标的权重系数；
根据各项所述基本能力效能评估二级指标的数据和各级指标对应的权重系数计算出基本能力效能评估得分，包括：根据各项所述基本能力效能评估二级指标的数据和各项所述基本能力效能评估二级指标对应的权重系数计算各项所述基本能力效能评估一级指标的评估得分；根据各项所述基本能力效能评估一级指标的评估得分和各项所述基本能力效能评估一级指标对应的权重系数计算所述基本能力效能评估得分；
根据各项所述核心能力效能评估二级指标的数据及各级指标对应的权重系数计算出核心能力效能评估得分，包括：对各项所述核心能力效能评估二级指标进行无量纲化和归一化处理，得到各项所述核心能力效能评估二级指标的评估得分；根据各项所述核心能力效能评估二级指标的评估得分以及各项核心能力效能评估二级指标对应的权重系数计算各项所述核心能力效能评估一级指标的评估得分；根据各项所述核心能力效能评估一级指标的评估得分以及各项所述核心能力效能评估一级指标对应的权重系数计算所述核心能力效能评估得分；
根据所述基本能力效能评估得分与所述核心能力效能评估得分进行综合分析，得到综合效能评估得分；
根据所述综合效能评估得分确定所述SAR图像舰船目标识别模型的软件综合成熟度；
所述基本能力效能评估一级指标包括：可用性、可靠性、实时性、可维护性和安全性；其中，所述可用性包括的基本能力效能评估二级指标有：数据处理能力、类型/场景覆盖率、资源占用率、平台兼容性、易操作性、易理解性；所述可靠性包括的基本能力效能评估二级指标有：并发用户数、、异常处理能力、故障率、可恢复性；所述实时性包括的基本能力效能评估二级指标有：响应时间；所述可维护性包括的基本能力效能评估二级指标有：易诊断性、易测试性、软件迭代；所述安全性包括的基本能力效能评估二级指标有：机密性、可审查性；
所述核心能力效能评估一级指标包括：数据分辨率优于第一预设值、数据分辨率优于第二预设值；其中，各项所述核心能力效能评估一级指标包含的核心能力效能评估二级指标有：检测率、虚警率、分类正常率和处理时间；
其中，所述类型/场景覆盖率的计算公式为：
Figure FDA0003571951940000021
其中，X2为所述类型/场景覆盖率的评估得分，A2为所述SAR图像舰船目标识别模型实际覆盖所有特定目标类型/场景的数量，B2为所述SAR图像舰船目标识别模型需要覆盖所有特定目标类型/场景的数量；
所述数据处理能力的计算公式为：
Figure FDA0003571951940000022
其中，X1为所述数据处理能力的评估得分，A1为所述SAR图像舰船目标识别模型正常处理数据的数量，B1为所述SAR图像舰船目标识别模型测试数据总数量；其中，所述正常处理指所述SAR图像舰船目标识别模型在加载处理过程中不出现故障，单幅数据处理时间小于或等于第一预设时间；
所述资源占用率的计算公式为：
Y3＝0.5·A3+0.5·B3，
其中，Y3为所述资源占用率，A3为CPU占用率，B3为内存占用率，所述资源占用率的评估得分X3＝1-Y3；
所述平台兼容性的计算公式为：
Figure FDA0003571951940000031
其中，X4为所述平台兼容性的评估得分，A4为所述SAR图像舰船目标识别模型实际兼容的平台数，B4为所述SAR图像舰船目标识别模型需要兼容的平台数；
所述易操作性的计算公式为：
Figure FDA0003571951940000032
其中，X5为所述易操作性的评估得分，A5为用户发现不易操作的功能数，B5为被评估的功能总数；其中，所述不易操作指所述SAR图像舰船目标识别模型实现某个功能的操作步数大于第三预设值；
所述易理解性的计算公式为：
Figure FDA0003571951940000033
其中，X6为所述易理解性的评估得分，A6为不能被理解的功能数，B6为被评估的功能总数；其中，所述不能被理解的功能指所述SAR图像舰船目标识别模型的命名存在缩写、歧义或与实际功能存在偏差；
所述并发用户数的计算公式为：
Figure FDA0003571951940000034
其中，X7为所述并发用户数的评估得分，A7为实际能够达到的最大并发用户数量，B7为真实环境下要求的最大并发用户数量；
所述异常处理能力的计算公式为：
Figure FDA0003571951940000035
其中，X8为所述异常处理能力的评估得分，A8为所述SAR图像舰船目标识别模型对异常数据或参数进行检测并处理的数量，B8为输入异常数据或参数的数量；
所述故障率的计算公式为：
Figure FDA0003571951940000041
其中，X9为所述故障率的评估得分，所述崩溃次数指在第二预设时间内连续使用所述SAR图像舰船目标识别模型崩溃的次数；
所述可恢复性的计算公式为：
Figure FDA0003571951940000042
其中，X10为所述可恢复性的评估得分，所述可恢复功能包括对模型、参数数据实现手动备份、自动备份、手动恢复、自动恢复功能；
所述响应时间的计算公式为：
Figure FDA0003571951940000043
其中，X11为所述响应时间的评估得分，所述响应时间指用户提出请求到所述SAR图像舰船目标识别模型对所述请求进行处理的时间；
所述易诊断性的计算公式为：
Figure FDA0003571951940000044
其中，X12为所述易诊断性的评估得分，所述错误诊断功能包括错误弹窗提醒、错误日志记录、打印出错信息功能；
所述易测试性的计算公式为：
Figure FDA0003571951940000045
其中，X13为所述易测试性的评估得分，A13为实际测试中使用了内置测试方法或数据的测试用例数，B13为实际测试使用的测试用例数；
所述软件更新的计算公式为：
Figure FDA0003571951940000046
其中，X14为所述软件更新的评估得分，t为更新过程中所述SAR图像舰船目标识别模型无法提供正常业务服务的时间；
所述机密性的计算公式为：
Figure FDA0003571951940000051
其中，X15为所述机密性的评估得分，所述保障数据机密性方法包括实体隔离、身份验证、数据加密、访问控制；
所述可审查性的计算公式为：
Figure FDA0003571951940000052
其中，X16为所述可审查性的评估得分，所述日志信息包括操作日志、访问日志。
2.根据权利要求1所述的方法，其特征在于，所述根据各项所述基本能力效能评估二级指标的数据和各项所述基本能力效能评估二级指标对应的权重系数计算各项所述基本能力效能评估一级指标的评估得分，满足：
Figure FDA0003571951940000053
其中，P1j为第j个基本能力效能评估一级指标的评估得分；n为所述第j个基本能力效能评估一级指标包含的基本能力效能评估二级指标的个数；P2i为第i个基本能力效能评估二级指标的评估得分；ωi为所述第i个基本能力效能评估二级指标的权重系数。
3.根据权利要求1所述的方法，其特征在于，所述根据各项所述基本能力效能评估一级指标的评估得分和各项所述基本能力效能评估一级指标对应的权重系数计算所述基本能力效能评估得分，满足：
Figure FDA0003571951940000054
其中，Ecomm为所述基本能力效能评估得分；m为基本能力效能评估一级指标的种类数量；P1j为第j个基本能力效能评估一级指标的评估得分；βj为所述第j个基本能力效能评估一级指标的权重系数。
4.根据权利要求1所述的方法，其特征在于，所述对各项所述核心能力效能评估二级指标进行无量纲化和归一化处理，得到各项所述核心能力效能评估二级指标的评估得分，包括：
对于量纲不统一的各项所述核心能力效能评估二级指标进行无量纲化处理，满足：
Figure FDA0003571951940000061
其中，Λk为第k个核心能力效能评估二级指标的无量纲化结果，Rk，Tk，xk分别为所述第k个核心能力效能评估二级指标的基准值、容忍值和实测值，所述基准值、容忍值、实测值从采集的所述核心能力效能评估二级指标的数据中获取；
对所述第k个核心能力效能评估二级指标的无量纲化结果进行归一化处理，得到所述第k个核心能力效能评估二级指标的评估得分，满足：
Pk＝Λk/Λk，max，
其中，Pk为所述第k个核心能力效能评估二级指标的评估得分，Λk为所述第k个核心能力效能评估二级指标的无量纲化结果，Λk，max为Λk的最大值。
5.根据权利要求1所述的方法，其特征在于，所述根据各项所述核心能力效能评估二级指标的评估得分以及各项核心能力效能评估二级指标对应的权重系数计算各项所述核心能力效能评估一级指标的评估得分，包括：
Figure FDA0003571951940000062
其中，P1l为第l个核心能力效能评估一级指标的评估得分，N为所述第l个核心能力效能评估一级指标包含的核心能力效能评估二级指标的个数，Pk为第k个核心能力效能评估二级指标的评估得分，
Figure FDA0003571951940000063
为所述第k个核心能力效能评估二级指标的权重系数；
所述根据各所述核心能力效能评估一级指标的评估得分以及各所述核心能力效能评估一级指标对应的权重系数计算所述核心能力效能评估得分，包括：
Figure FDA0003571951940000071
其中，Eown为所述核心能力效能评估得分，M为所述核心能力效能评估一级指标的种类数量，P1l为所述第l个核心能力效能评估一级指标的评估得分；δl为所述第l个核心能力效能评估一级指标的权重系数。
6.根据权利要求1所述的方法，其特征在于，所述根据所述基本能力效能评估得分与所述核心能力效能评估得分进行综合分析，得到综合效能评估得分，包括：
所述综合效能评估得分满足：
E＝αEcomm+γEown，
其中，E为所述SAR图像舰船目标识别模型的综合效能评估得分，Ecomm为所述基本能力效能评估得分，Eown为所述核心能力效能评估得分，α、γ分别为所述基本能力效能评估指标与所述核心能力效能评估指标的权重系数，其中，α+γ＝1。
CN202110020794.8A 2021-01-07 2021-01-07 基于多维度模型的算法效能评估方法 Active CN112700158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110020794.8A CN112700158B (zh) 2021-01-07 2021-01-07 基于多维度模型的算法效能评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110020794.8A CN112700158B (zh) 2021-01-07 2021-01-07 基于多维度模型的算法效能评估方法

Publications (2)

Publication Number Publication Date
CN112700158A CN112700158A (zh) 2021-04-23
CN112700158B true CN112700158B (zh) 2022-06-10

Family

ID=75513262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110020794.8A Active CN112700158B (zh) 2021-01-07 2021-01-07 基于多维度模型的算法效能评估方法

Country Status (1)

Country Link
CN (1) CN112700158B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762359B (zh) * 2021-08-18 2024-02-13 北京临近空间飞行器系统工程研究所 一种面向rd时频数据的深度学习模型评测系统及方法
CN114493089A (zh) * 2021-12-13 2022-05-13 中国科学院空天信息创新研究院 航空遥感载荷综合效能的评估方法及装置
CN117591815B (zh) * 2023-10-31 2024-09-03 中国科学院空天信息创新研究院 面向多模态生成数据的综合质量评估方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699811A (zh) * 2014-01-20 2014-04-02 江苏亨鑫科技有限公司 一种自适应调零天线综合效能评估方法
CN105005878A (zh) * 2015-08-12 2015-10-28 国家电网公司 一种坚强智能电网的综合评估方法
CN110473183A (zh) * 2019-10-08 2019-11-19 中国人民解放军61646部队 一种面向可见光全链路仿真图像的评价方法、装置、电子设备和介质
CN111241689A (zh) * 2020-01-15 2020-06-05 北京航空航天大学 模型成熟度的评估方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101705247B1 (ko) * 2015-02-02 2017-02-13 한국건설기술연구원 사회기반시설물의 성능 평가 시스템 및 그 방법
US20200410301A1 (en) * 2019-06-27 2020-12-31 Eagle Technology, Llc System and methods for monitoring marine vessels using topic model to determine probabilistic maritime scenarios
CN111985812A (zh) * 2020-08-20 2020-11-24 北京华如科技股份有限公司 一种基于关联结构分析的情报体系效能评估方法
CN112001654B (zh) * 2020-08-31 2024-04-30 上海市园林科学规划研究院 一种城市搬迁地绿化树种地下生物量模型的构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699811A (zh) * 2014-01-20 2014-04-02 江苏亨鑫科技有限公司 一种自适应调零天线综合效能评估方法
CN105005878A (zh) * 2015-08-12 2015-10-28 国家电网公司 一种坚强智能电网的综合评估方法
CN110473183A (zh) * 2019-10-08 2019-11-19 中国人民解放军61646部队 一种面向可见光全链路仿真图像的评价方法、装置、电子设备和介质
CN111241689A (zh) * 2020-01-15 2020-06-05 北京航空航天大学 模型成熟度的评估方法及装置

Also Published As

Publication number Publication date
CN112700158A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN112700158B (zh) 基于多维度模型的算法效能评估方法
CN104756106B (zh) 表征数据存储系统中的数据源
CN112258303B (zh) 围串标预警分析方法、装置、电子设备及存储介质
WO2021143268A1 (zh) 基于模糊推理理论的电力信息系统健康评估方法及系统
CN113780443B (zh) 一种面向威胁检测的网络安全态势评估方法
CN111756687B (zh) 一种应对网络攻击的防御措施配置方法及系统
CN111898647A (zh) 一种基于聚类分析的低压配电设备误告警识别方法
CN114971345B (zh) 一种建成环境品质测度方法、设备及存储介质
CN113837578B (zh) 一种电力监理企业网格化监督管理评价方法
CN110889440A (zh) 基于主成分分析和bp神经网络的岩爆等级预测方法及系统
CN113807004A (zh) 基于数据挖掘的刀具寿命预测方法、装置及系统
CN115796373A (zh) 风险预测方法、设备及存储介质
CN114444910A (zh) 一种面向电力物联网的边缘网络系统健康度评估方法
CN114037283A (zh) 一种商业综合体的火灾动态风险评估方法
CN108509340B (zh) 一种舰艇指控系统软件质量要素的确定与量化评估方法
CN116725501A (zh) 一种地下及遮蔽空间救援人员状态监测系统效能评估方法
Sethi et al. Multi-attribute group decision-making problem of medical consumption products based on extended TODIM–VIKOR approach with Fermatean fuzzy information measure
CN114418410A (zh) 一种陆军主战分队装备作战效能评估分析方法
Bajgier et al. Powers of goodness-of-fit tests in detecting balanced mixed normal distributions
CN114218290A (zh) 装备人机交互界面可用性评估的选择方法
CN107491576B (zh) 基于性能退化数据的导弹部件可靠性分析方法
US6468208B1 (en) Computer system and computer-implemented process for analyzing results of cytology tests for performance evaluation of cytologists
CN111897907B (zh) 地表覆盖数据伪变化信息过滤方法、装置及存储介质
CN116702521B (zh) 一种自动驾驶场景一致性对比方法、装置及电子设备
CN117933832B (zh) 航天器地面等效性试验的指标权重评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant