CN112416753A - 一种城市大脑应用场景数据规范化管理方法、系统及设备 - Google Patents

Abstract

本发明涉及一种城市大脑应用场景数据规范化管理方法、系统及设备，该方法包括：响应于接收到第三方厂商的上传请求，对第三方厂商上传的AI模型进行自动校验，确定所述AI模型的分类属性；采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测；根据评测结果生成评测报告。本发明对AI模型提供了规范化、标准化的管理方法，提高了AI评测流程的执行效率。

Description

一种城市大脑应用场景数据规范化管理方法、系统及设备

技术领域

本发明涉及数据管理和人工智能领域，具体涉及一种城市大脑应用场景数据规范化管理方法、系统及设备。

背景技术

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程，其目的是充分有效地发挥数据的作用。随着计算机技术的发展，数据管理经历了人工管理、文件系统、数据库系统三个发展阶段。用数据库系统来管理数据比文件系统具有明显的优点，在数据库系统中所建立的数据结构，便于数据修改、更新与扩充，同时保证了数据的独立性、可靠、安全性与完整性。但是，随着人工智能时代的到来，数据应用范围越来越广泛，传统的数据管理方法在AI模型相关的评测标注数据、评测指标、AI模型评测规则等的规范化管理上还没有形成统一的标准。

发明内容

为克服相关技术中存在的问题，本公开提供一种城市大脑应用场景数据规范化管理方法、系统及设备，面向三方厂商，要接入新的AI算法时，对其提供的模型进行自动校验，并利用其对应的评测数据，实现AI模型的标准化评测，解决了AI模型相关数据管理不规范的问题，达到了AI模型相关的评测标注数据、评测指标、AI模型评测规则等的标准化管理。。

根据本公开实施例的第一方面，提供一种城市大脑应用场景数据规范化管理方法，包括：

响应于接收到第三方厂商的上传请求，对第三方厂商上传的AI模型进行自动校验，确定所述AI模型的分类属性；

采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测；

根据评测结果生成评测报告。

根据本公开实施例的第二方面，提供一种城市大脑应用场景数据规范化管理系统，包括：

模型校验模块，用于响应于接收到第三方厂商的上传请求，对第三方厂商上传的AI模型进行自动校验，确定所述AI模型的分类属性；

模型评测模块，用于采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测；

报告生成模块，用于根据评测结果生成评测报告。

根据本公开实施例的第三方面，提供一种终端设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

根据本公开实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：对AI模型提供了规范化、标准化的管理方法，提高了AI评测流程的执行效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1是根据本公开一示例性实施例示出的一种城市大脑应用场景数据规范化管理方法的流程示意图；

图2是根据本公开一示例性实施例示出的一种城市大脑应用场景数据规范化管理方法的另一流程示意图；

图3是根据本公开一示例性实施例示出的一种城市大脑应用场景数据规范化管理方系统的结构示意图；

图4是根据本公开一示例性实施例示出的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以下结合附图详细描述本公开实施例的技术方案。

图1是根据本公开一示例性实施例示出的一种城市大脑应用场景数据规范化管理方法的流程示意图。

本公开实施例可应用于AI评测系统，在执行本方法之前，为了实现不同厂商AI模型的快速接入，制定标准化的模型接入说明文档，并依据说明文档制定相关校验规则，并将自动校验的规则存储到和AI模型分类对应的关联配置文件中，通过对第三方厂商提供标准化的模型接入说明文档，可以确保模型接入时的标准化。

参见图1，该方法包括：

S11、响应于接收到第三方厂商的上传请求，对第三方厂商上传的AI模型进行自动校验，确定所述AI模型的分类属性；

具体的，各待接入厂商按标准文档对AI模型进行封装后，即可登陆AI评测系统的模型上传界面，提交AI模型上传的请求。

AI评测系统接到上传请求后，读取关联配置文件，然后对第三方厂商上传的AI模型进行自动校验；校验内容包括分类属性和有效性等，然后根据模型的分类属性，自动把上传的模型存储到对应的文件目录。

若AI模型校验未通过，返回错误提示。

S12、采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测；

具体的，评测数据是依据分类属性上传并存储在AI评测系统中的，AI评测系统支持不同类型的评测数据文件的上传，如图像文件、视频文件和音频文件等，其中的图像文件格式可以是BMP格式、PNG格式或JPG格式等，其中的视频文件格式可以是MOV格式、AVI格式或MP4格式等，其中的音频文件格式可以是WAV格式、PCM格式或MP3格式等；AI评测系统接到评测数据的上传请求后，读取关联配置文件，然后对评测数据集的分类属性和文件完整性等进行自动校验，校验通过后，自动存储到对应的文件目录。

评测指标包括业务指标和技术指标，其中，所述业务指标包括综合指标，综合指标结合了硬件能力、算法效率和建设成本三方面的因素，便于对算法整体效能进行评估，技术指标包括精确率、精准率和召回率等。

在模型评测过程，读取关联配置文件，对面向相同业务需求的模型会采用相同的评测数据和评测指标进行评测，保证了评测的公平性。

S13、根据评测结果生成评测报告。

具体的，根据各项评测指标的评测结果，即可生成详细的评测报告。依据关联配置文件，把评测报告存储到规定的目录，并在web界面提供下载链接，供用户查询和调阅。

一个具体的实施例如下，如图2所示：

实例1：

厂商A提供模型D，我们对第三方厂商A提供的模型按照定义的校验规则进行评测数据校验，根据模型分类属性，通过自动校验，确定模型D是二分类，然后按照对应的二分类模型分类，调取相应的评测数据和对应的评测指标进行评测，评测结束后，自动生成相应的评测报告。

实例2：

厂商B提供模型E，我们对第三方厂商B提供的模型按照定义的校验规则进行评测数据校验，根据模型分类属性，通过自动校验，确定模型E是多分类，然后按照对应的多分类模型分类，调取相应的评测数据和对应的评测指标进行评测，评测结束后，自动生成相应的评测报告。

实例3：

厂商C提供模型F，我们对第三方厂商C提供的模型按照定义的校验规则进行评测数据校验，根据模型分类属性，通过自动校验，确定模型F是回归类，然后按照对应的回归类模型分类，调取相应的评测数据和对应的评测指标进行评测，评测结束后，自动生成相应的评测报告。

本公开实施例提供的一种城市大脑应用场景数据规范化方法，通过对AI模型评测数据、评测指标、AI模型评测规则进行规范化管理，确保评测流程规范化，通过对模型和评测数据等，依据自动校验规则，进行自动校验，实现管理更加规范化和智能化。

与前述应用功能实现方法实施例相对应，本公开还提供了一种城市大脑应用场景数据规范化管理系统、终端设备及相应的实施例。

图3是根据本公开一示例性实施例示出的一种城市大脑应用场景数据规范化管理系统的结构示意图。

参见图3，该系统包括：

模型校验模块，用于响应于接收到第三方厂商的上传请求，对第三方厂商上传的AI模型进行自动校验，确定所述AI模型的分类属性；

模型评测模块，用于采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测；

报告生成模块，用于根据评测结果生成评测报告。

可选地，在该实施例中，该系统还包括：

数据接收模块，用于在所述模型评测模块采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测之前，接收上传的评测数据；

数据校验模块，用于对所述数据接收模块接收的评测数据的分类属性和文件完整性进行自动校验。

链接模块，用于在所述报告生成模块根据评测结果生成评测报告之后，在web界面提供所述评测报告的下载链接，供用户查询和调阅。

关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

图4是根据本公开一示例性实施例示出的一种计算设备的结构示意图。

参见图4，计算设备400包括存储器410和处理器420。

处理器420可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器410可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器420或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器410可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器410可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器410上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器420执行上文述及的方法中的部分或全部。

上文中已经参考附图详细描述了本公开的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本公开实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本公开实施例装置中的模块可以根据实际需要进行合并、划分和删减。

此外，根据本公开的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本公开的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本公开的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本公开的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种城市大脑应用场景数据规范化管理方法，其特征在于，包括：

响应于接收到第三方厂商的上传请求，对第三方厂商上传的AI模型进行自动校验，确定所述AI模型的分类属性；

采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测；

根据评测结果生成评测报告。

2.根据权利要求1所述的一种城市大脑应用场景数据规范化管理方法，其特征在于，在采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测之前，还包括：

接收上传的评测数据；

对所述评测数据的分类属性和文件完整性进行自动校验。

3.根据权利要求1所述的一种城市大脑应用场景数据规范化管理方法，其特征在于，所述评测指标包括业务指标和技术指标，其中，所述业务指标包括综合指标，所述综合指标结合了硬件能力、算法效率和建设成本三方面的因素，所述技术指标包括精确率、精准率和召回率。

4.根据权利要求1至3任一项所述的一种城市大脑应用场景数据规范化管理方法，其特征在于，在根据评测结果生成评测报告之后，还包括：

在web界面提供所述评测报告的下载链接，供用户查询和调阅。

5.一种城市大脑应用场景数据规范化管理系统，其特征在于，包括：

模型校验模块，用于响应于接收到第三方厂商的上传请求，对第三方厂商上传的AI模型进行自动校验，确定所述AI模型的分类属性；

模型评测模块，用于采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测；

报告生成模块，用于根据评测结果生成评测报告。

6.根据权利要求5所述的一种城市大脑应用场景数据规范化管理系统，其特征在于，还包括：

数据接收模块，用于在所述模型评测模块采用所述分类属性对应的评测数据和评测指标对所述AI模型进行评测之前，接收上传的评测数据；

数据校验模块，用于对所述数据接收模块接收的评测数据的分类属性和文件完整性进行自动校验。

7.根据权利要求5所述的一种城市大脑应用场景数据规范化管理系统，其特征在于，所述评测指标包括业务指标和技术指标，其中，所述业务指标包括综合指标，所述综合指标结合了硬件能力、算法效率和建设成本三方面的因素，所述技术指标包括精确率、精准率和召回率。

8.根据权利要求5至7任一项所述的一种城市大脑应用场景数据规范化管理系统，其特征在于，还包括：

链接模块，用于在所述报告生成模块根据评测结果生成评测报告之后，在web界面提供所述评测报告的下载链接，供用户查询和调阅。

9.一种终端设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-4中任一项所述的方法。

10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-4中任一项所述的方法。

Images