CN111897731A - 应用于城市大脑的人工智能模型评测发布系统及方法 - Google Patents

Abstract

本发明公开了一种应用于城市大脑的人工智能模型评测发布系统，包括：算法训练模块，用于将供应商提供的人工智能算法训练成针对设定业务的人工智能模型；评测模块，用于分类评测算法训练模块训练出的人工智能模型；发布模块，用于当评测模块对人工智能模型的评测结果为合格时，发布人工智能模型。本发明还公开了一种应用于城市大脑的人工智能模型评测发布方法。该应用于城市大脑的人工智能模型评测发布系统目的是解决城市大脑中的人工智能模型的测评效果不准确的问题。

Description

应用于城市大脑的人工智能模型评测发布系统及方法

技术领域

本发明属于人工智能技术领域，具体涉及一种应用于城市大脑的人工智能模型评测发布系统及方法。

背景技术

智慧城市是把新一代信息技术充分运用在城市中各行各业基于知识社会下一代创新(创新2.0)的城市信息化高级形态，实现信息化、工业化与城镇化深度融合，有助于缓解“大城市病”，提高城镇化质量，实现精细化和动态管理，并提升城市管理成效和改善市民生活质量。

城市大脑是支撑未来城市可持续发展的全新基础设施,其核心是利用实时全量的城市数据资源全局优化城市公共资源，即时修正城市运行缺陷，实现城市治理模式突破、城市服务模式突破、城市产业发展突破。

人工智能计算处理中心是城市大脑的重要组成部分，是支撑“城市大脑”长期高效运行的基础，是“城市大脑”的基础算法分析平台，同时也是“城市大脑”持续演进的核心引擎。

在城市大脑中使用的系统，城市大脑需要人工智能算法作为业务的支撑，需要搭建公共的人工智能平台，平台允许第三方厂商上传模型，然而模型的好坏难以知晓，评测均为指标评测，与实际使用相差很大，不知道模型使用的好坏，往往会对相关业务造成恶劣影响，进而影响城市大脑的作用和口碑。

有鉴于此，本领域技术人员亟待提供一种应用于城市大脑的人工智能模型评测发布系统用于解决城市大脑中的人工智能模型的测评结果不准确的问题。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是城市大脑中的人工智能模型的测评结果不准确。

(二)技术方案

本发明的第一方面提供了一种应用于城市大脑的人工智能模型评测发布系统，包括：

算法训练模块，用于将供应商提供的人工智能算法训练成针对设定业务的人工智能模型；

评测模块，用于分类评测所述算法训练模块训练出的所述人工智能模型；

发布模块，用于当所述评测模块对所述人工智能模型的评测结果为合格时，发布所述人工智能模型。

进一步地，所述应用于城市大脑的人工智能模型评测发布系统还包括算法模块，用于存储供应商提供的人工智能算法；

进一步地，所述应用于城市大脑的人工智能模型评测发布系统还包括训练数据模块，用于为所述算法训练模块提供相应的训练数据。

进一步地，所述应用于城市大脑的人工智能模型评测发布系统还包括模型模块，用于存储所述算法训练模块训练出的所述人工智能模型。

进一步地，所述应用于城市大脑的人工智能模型评测发布系统还包括评测数据模块，用于为所述评测模块提供相应的评测数据。

进一步地，所述评测模块具体包括：

模型分类子模块，用于将所述人工智能模型划分为视频图像分析模型、自然语言处理模型、语音处理模型、光学字符识别模型和知识图谱模型中的一类；

评测方法和指标子模块，用于依据所述模型分类子模块对所述人工智能模型的分类结果进行相应的评测。

进一步地，所述发布模块具体包括：

模型标准线子模块，用于为评测后的所述人工智能模型提供合格的标准线，当所述人工智能模型的评测分数达到所述合格的标准线，则发布所述人工智能模型；

文字描述映射子模块，用于提供与所述人工智能模型的评测分数相对应的文字描述的映射。

本发明的第二方面提供了一种基于上述的应用于城市大脑的人工智能模型评测发布系统的人工智能评测发布方法，包括以下步骤：

训练供应商提供的人工智能算法为针对设定业务的人工智能模型；

分类评测所述人工智能模型；

当所述人工智能模型的评测结果为合格时，发布所述人工智能模型。

进一步地，所述分类评测所述人工智能模型具体包括如下步骤：

划分所述人工智能模型为视频图像分析模型、自然语言处理模型、语音处理模型、光学字符识别模型和知识图谱模型中的一类；

依据所述人工智能模型的分类结果进行相应的评测。

进一步地，所述当所述人工智能模型的评测结果为合格时，发布所述人工智能模型的同时，还包括：

提供与所述人工智能模型的评测分数相对应的文字描述的映射。

(三)有益效果

本发明的上述技术方案具有如下优点：

本发明提供的应用于城市大脑的人工智能模型评测发布系统，包括：算法训练模块，用于将供应商提供的人工智能算法训练成针对设定业务的人工智能模型；评测模块，用于分类评测算法训练模块训练出的人工智能模型；发布模块，用于当评测模块对人工智能模型的评测结果为合格时，发布人工智能模型。该人工智能模型评测发布系统主要用于人工智能发布平台进行评测人工智能模型，给出相应的评测得分，没有达到标准线的人工智能模型不会发布，可以预先避免使用者使用后，效果不好造成的损失。

附图说明

图1为本发明实施例提供的一种应用于城市大脑的人工智能模型评测发布系统的结构框图；

图2为本发明实施例提供的另一应用于城市大脑的人工智能模型评测发布系统的结构框图；

图3为本发明实施例提供的一种应用于城市大脑的人工智能模型评测发布方法的流程示意图；

图4为本发明实施例提供的另一应用于城市大脑的人工智能模型评测发布方法的流程示意图。

图中：

100、算法训练模块；200、评测模块；201、模型分类子模块；202、评测方法和指标模块；300、发布模块；301、模型标准线模块；302、文字描述映射模块；400、算法模块；500、训练数据模块；600、模型模块；700、评测数据模块。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。

自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。

机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自定驾驶技术有着广泛的应用前景。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

根据本发明实施例的第一方面提供了一种应用于城市大脑的人工智能模型评测发布系统，如图1所示，包括：

算法训练模块100，用于将供应商提供的人工智能算法训练成针对设定业务的人工智能模型；

评测模块200，用于分类评测算法训练模块100训练出的人工智能模型；

发布模块300，用于当评测模块200对人工智能模型的评测结果为合格时，发布人工智能模型。

在该实施方式中，供应商提供的AI算法经过算法训练模块100，将AI算法训练成为针对某项业务的AI模型，在评测模块200中对该AI模型进行评测。

进一步地，应用于城市大脑的人工智能模型评测发布系统还包括算法模块400，用于存储供应商提供的人工智能算法；

进一步地，应用于城市大脑的人工智能模型评测发布系统还包括训练数据模块500，用于为算法训练模块100提供相应的训练数据。

进一步地，应用于城市大脑的人工智能模型评测发布系统还包括模型模块600，用于存储算法训练模块训练出的人工智能模型。

进一步地，应用于城市大脑的人工智能模型评测发布系统还包括评测数据模块700，用于为评测模块600提供相应的评测数据。

进一步地，评测模块200具体包括：

模型分类子模块201，用于将人工智能模型划分为视频图像分析模型、自然语言处理模型、语音处理模型、光学字符识别模型和知识图谱模型中的一类；

评测方法和指标子模块202，用于依据模型分类子模块201对人工智能模型的分类结果进行相应的评测。

进一步地，发布模块300具体包括：

模型标准线子模块301，用于为评测后的人工智能模型提供合格的标准线，当人工智能模型的评测分数达到合格的标准线，则发布人工智能模型；

文字描述映射子模块302，用于提供与人工智能模型的评测分数相对应的文字描述的映射。

具体地，为每个人工智能模型都给出各自评测合格的标准线。

根据本发明实施例的第一方面提供了另一应用于城市大脑的人工智能模型评测发布系统，如图2所示，包括：

算法训练模块100，用于将供应商提供的人工智能算法训练成针对设定业务的人工智能模型；

模型分类子模块201，用于将人工智能模型划分为视频图像分析模型、自然语言处理模型、语音处理模型、光学字符识别模型和知识图谱模型中的一类；

评测方法和指标子模块202，用于依据人工智能模型分类子模块201对人工智能模型的分类结果进行相应的评测；

模型标准线子模块301，用于为评测后的人工智能模型提供合格的标准线，当人工智能模型的评测分数达到合格的标准线，则发布人工智能模型；

文字描述映射子模块302，用于提供与人工智能模型的评测分数相对应的文字描述的映射；

算法模块400，用于存储供应商提供的人工智能算法；

训练数据模块500，用于为算法训练模块100提供相应的训练数据；

模型模块600，用于存储算法训练模块训练出的人工智能模型；

评测数据模块700，用于为评测方法和指标子模块202提供相应的评测数据。

在城市大脑中，建立人工智能模型评测发布系统，汇集了众多第三方厂商，他们可以上传自己的算法和模型。该评测发布系统首先进行评测，根据本发明实施例中提供的的评测模块200，得出参考的分数和文字描述的映射，根据每个人工智能模型的评测标准线得出相应的人工智能模型是否合格；合格的人工智能模型发布到平台，不合格的通知相关厂商，进行优化。城市大脑的用户根据评测结果，选择自己想要使用的人工智能模型，达到为城市大脑服务的目的，同时为人工智能算法和人工智能模型提供商提供了展示和参与城市大脑的平台。

根据本发明实施例的第二方面提供了一种基于上述的应用于城市大脑的人工智能模型评测发布系统的人工智能评测发布方法，如图3所示，包括以下步骤：

S1、训练供应商提供的人工智能算法为针对设定业务的人工智能模型；

S2、分类评测人工智能模型；

S3、当人工智能模型的评测结果为合格时，发布人工智能模型。

进一步地，分类评测人工智能模型具体包括如下步骤：

划分人工智能模型为视频图像分析模型、自然语言处理模型、语音处理模型、光学字符识别模型和知识图谱模型中的一类；

依据人工智能模型的分类结果进行相应的评测。

在该实施方式中，每个分类使用不同的评测方法，得出相对来说比较贴近使用的综合分数。

进一步地，当人工智能模型的评测结果为合格时，发布人工智能模型的同时，还包括：

提供与人工智能模型的评测分数相对应的文字描述的映射。

在该实施方式中，为了非人工智能从业人员理解，给出了评测分数和文字描述的映射，方便非人工智能从业人员理解作出的评测。

根据本发明实施例的第二方面提供了另一基于上述的应用于城市大脑的人工智能模型评测发布系统的人工智能评测发布方法，如图4所示，包括以下步骤：

S201、存储供应商提供的人工智能算法；

S202、依据训练数据，训练人工智能算法为针对设定业务的人工智能模型；

S203、存储人工智能模型；

S204、依据评测数据，分类评测人工智能模型；

S205、当人工智能模型的评测结果为合格时，发布人工智能模型并提供与人工智能模型的评测分数相对应的文字描述的映射。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (10)

1.一种应用于城市大脑的人工智能模型评测发布系统，其特征在于，包括：

算法训练模块，用于将供应商提供的人工智能算法训练成针对设定业务的人工智能模型；

评测模块，用于分类评测所述算法训练模块训练出的所述人工智能模型；

发布模块，用于当所述评测模块对所述人工智能模型的评测结果为合格时，发布所述人工智能模型。

2.根据权利要求1所述的应用于城市大脑的人工智能模型评测发布系统，其特征在于，还包括算法模块，用于存储供应商提供的人工智能算法。

3.根据权利要求1所述的应用于城市大脑的人工智能模型评测发布系统，其特征在于，还包括训练数据模块，用于为所述算法训练模块提供相应的训练数据。

4.根据权利要求1所述的应用于城市大脑的人工智能模型评测发布系统，其特征在于，还包括模型模块，用于存储所述算法训练模块训练出的所述人工智能模型。

5.根据权利要求1所述的应用于城市大脑的人工智能模型评测发布系统，其特征在于，还包括评测数据模块，用于为所述评测模块提供相应的评测数据。

6.根据权利要求1所述的应用于城市大脑的人工智能模型评测发布系统，其特征在于，所述评测模块具体包括：

模型分类子模块，用于将所述人工智能模型划分为视频图像分析模型、自然语言处理模型、语音处理模型、光学字符识别模型和知识图谱模型中的一类；

评测方法和指标子模块，用于依据所述模型分类子模块对所述人工智能模型的分类结果进行相应的评测。

7.根据权利要求1所述的应用于城市大脑的人工智能模型评测发布系统，其特征在于，所述发布模块具体包括：

模型标准线子模块，用于为评测后的所述人工智能模型提供合格的标准线，当所述人工智能模型的评测分数达到所述合格的标准线，则发布所述人工智能模型；

文字描述映射子模块，用于提供与所述人工智能模型的评测分数相对应的文字描述的映射。

8.一种基于权利要求1-7中任一项所述的应用于城市大脑的人工智能模型评测发布系统的人工智能评测发布方法，其特征在于，包括以下步骤：

训练供应商提供的人工智能算法为针对设定业务的人工智能模型；

分类评测所述人工智能模型；

当所述人工智能模型的评测结果为合格时，发布所述人工智能模型。

9.根据权利要求8所述的人工智能评测发布方法，其特征在于，所述分类评测所述人工智能模型具体包括如下步骤：

划分所述人工智能模型为视频图像分析模型、自然语言处理模型、语音处理模型、光学字符识别模型和知识图谱模型中的一类；

依据所述人工智能模型的分类结果进行相应的评测。

10.根据权利要求8所述的人工智能评测发布方法，其特征在于，所述当所述人工智能模型的评测结果为合格时，发布所述人工智能模型的同时，还包括：

提供与所述人工智能模型的评测分数相对应的文字描述的映射。

Images