CN116029678A - 一种基于人工智能开放算力平台实现人工智能竞赛评测的系统及方法 - Google Patents

Abstract

本发明提供了一种基于人工智能开放算力平台实现人工智能竞赛评测的系统及方法，系统，包含赛事举办方、人工智能竞赛平台和人工智能算力开放平台，其中赛事举办方是指开展人工智能竞赛活动的机构，负责在人工智能竞赛平台发布赛事并进行赛事管理，确定如何进行竞赛结果评测；人工智能竞赛平台包括赛事管理模块和竞赛评测模块：人工智能算力开放平台包括：用户管理模块、环境配置模块和评测任务模块。本发明基于人工智能算力开放平台为人工智能竞赛的竞赛评测环节提供环境和算力支持，只有在评测任务运行时，才使用算力资源，提高了算力资源利用率，降低了用户成本。

Description

一种基于人工智能开放算力平台实现人工智能竞赛评测的系统及方法

技术领域

本发明涉及人工智能竞赛领域，特别地，涉及一种基于人工智能开放算力平台实现人工智能竞赛评测的系统及方法。

背景技术

人工智能竞赛是人工智能领域举办的一类创新活动。随着人工智能技术的发展，人工智能竞赛活动也逐步丰富。竞赛活动促进了业内人员间的交流，激励技术创新，同时也推动了前沿科研技术落地到实际应用中。

人工智能竞赛评测是指竞赛平台对参赛选手提交赛题的结果进行评测，并给出评测打分。由于人工智能领域的特色，在进行赛题评测任务时为实现选手结果的复现和验证，通常会需要用到人工智能加速卡，包括GPU、NPU、MLU等。目前的赛事举办方通常需要自行准备相关硬件并搭建评测任务运行环境，这通常面临着较复杂的工作以及较多的设备费用投入。

业务需求是为人工智能竞赛评测环节提供评测任务运行环境，可以支持多类型人工智能加速卡和多类型开发框架，实现算力资源的弹性申请和高效利用。

人工智能竞赛平台的竞赛评测模块的完成，通常需要使用特殊的运行环境，如指定的人工智能加速卡，指定的开发框架等，以支持相关算法或模型的运行。平台提供方对该模块的支持，通常采用以下几种方式：1)自行购买硬件设备；2)租用云服务器。第一种方式需要花费较多资金购置设备，并且自行安装系统、驱动、框架等一系列的软件；第二种方式比第一种方式灵活一些，无需自行安装底层操作系统并维护硬件设施。但云服务器通常为单一环境，如果需要多环境则需要购买多台云服务器；同时云服务器按指定时间段租赁，受限于竞赛时间，在没有评测任务的阶段也是需要为资源付费的。

已有的使用方式存在如下问题：赛事举办方受限于自有的硬件环境，只能开展硬件设备支持的相关竞赛活动；受限于已有硬件设备可提供的算力规模，只能开展有限规模的竞赛活动；除了竞赛评测任务运行期间，其他时间资源闲置，导致资源利用率不高。

竞赛所需算力资源利用率低的问题在实际中较难解决，赛事举办方通常在成本足以覆盖的情况下，默认牺牲了资源利用率。另一方面，具备较强实力的赛事举办方在此方面会有优势，一方面可以储备较大的算力资源池，另一方面有丰富的赛事资源，才能在算力资源储备和资源使用之间寻求平衡。

因此，解决上述问题具有重要意义：为人工智能竞赛平台的评测模块提供一种可以提供兼容多类型人工智能加速卡和多类型开发框架的人工智能开放算力平台，并基于此开放算力平台，为人工智能竞赛评测提供便捷工具支持，降低赛事举办方的成本，同时提高资源利用率。

发明内容

本发明提供了一种基于人工智能开放算力平台实现人工智能竞赛评测的方法，本发明基于人工智能算力开放平台为人工智能竞赛的竞赛评测环节提供环境和算力支持，只有在评测任务运行时，才使用算力资源，提高了算力资源利用率，降低了用户成本。

本发明的技术方案如下：

根据本发明的一个方面，提供了一种基于人工智能开放算力平台实现人工智能竞赛评测的系统，包含赛事举办方、人工智能竞赛平台和人工智能算力开放平台，其中：赛事举办方是开展人工智能竞赛活动的机构，负责在人工智能竞赛平台发布赛事并进行赛事管理，确定如何进行竞赛结果评测；人工智能竞赛平台包括赛事管理模块和竞赛评测模块：人工智能算力开放平台包括：用户管理模块、环境配置模块和评测任务模块。

可选地，在上述基于人工智能开放算力平台实现人工智能竞赛评测的系统中，赛事管理模块包括传统竞赛平台的功能；竞赛评测模块包括参赛队伍的赛题结果提交，发起竞赛评测任务，获取并保存评测结果。

可选地，在上述基于人工智能开放算力平台实现人工智能竞赛评测的系统中，用户管理模块包括根据用户提供的用户名、密码、实名认证信息完成用户账号注册、用户登录认证、获取用户授权密钥功能；环境配置模块包括在线配置环境、保存环境；评测任务包括新建评测任务、查询评测任务状态、查询评测任务日志、获取评测任务结果。

根据本发明的另一个方面，提供了一种基于人工智能开放算力平台实现人工智能竞赛评测的方法，其整体流程分为两个阶段：评测准备阶段和竞赛评测阶段，其中，评测准备阶段的工作需要在比赛正式开始前完成，以及评测流程在竞赛进行过程中开展，当一个参赛用户提交竞赛结果后，人工智能竞赛平台即可以开始评测流程。

可选地，在上述基于人工智能开放算力平台实现人工智能竞赛评测的方法中，评测准备阶段，包括：确定赛题以及确定评测方法：赛事举办方确定赛题，并基于赛题确定竞赛结果评测方法；赛事举办方在人工智能算力开放平台注册账号，并获得应用编程接口(API)授权访问的令牌信息；同时将该信息配置并保存在人工智能竞赛平台；赛事举办方在人工智能算力开放平台上，使用其提供的环境配置功能，根据赛题评测要求，配置评测环境；在配置完成后，保存评测所需环境信息，并返回镜像的名称或地址给用户；赛事举办方在人工智能竞赛平台上配置并保存人工智能算力开放平台的信息，包括：已注册账号的认证令牌应用编程接口(API)和评测环境镜像信息；

赛事举办方正式发布赛题，完成准备阶段工作，开始竞赛流程。

可选地，在上述基于人工智能开放算力平台实现人工智能竞赛评测的方法中，评测阶段，包括：人工智能竞赛平台基于参赛用户的提交结果发起评测；创建评测任务，人工智能竞赛平台通过创建评测任务的应用编程接口(API)向人工智能算力开放平台发起创建评测任务的请求，该请求返回评测任务ID，用于区分不同的评测任务；人工智能竞赛平台根据返回的任务ID，向人工智能算力开放平台发起查询评测任务信息的请求；评测任务ID，该请求返回评测任务基本信息、评测任务状态及评测任务运行日志；如果评测任务状态为已失败，则需要重新发起评测；如果评测任务状态为运行中，则继续等待，并在指定间隔时间后，再次发起查询评测任务信息的请求；如果评测任务状态为已完成，则可进入获取评测任务结果环节；人工智能竞赛平台将获取到的评测结果进行保存。

据本发明的技术方案，产生的有益效果是：

本发明基于人工智能算力开放平台为人工智能竞赛的竞赛评测环节提供环境和算力支持，只有在评测任务运行时，才使用算力资源，提高了算力资源利用率，降低了赛事举办方的成本，同时提高资源利用率；人工智能算力开放平台可以提供多种算力加速芯片(即，多类型人工智能加速卡)和多类型开发框架，拓宽了人工智能竞赛赛事举办方可以承接的比赛内容；人工智能竞赛平台基于人工智能算力开放平台的算力资源，可以不受限于资源规模，可灵活开展各种规模的赛事活动。

为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明的基于人工智能开放算力平台实现人工智能竞赛评测的系统的示意图；

图2是本发明方法的评测准备阶段的流程图；

图3是本发明方法的评测阶段的流程图。

具体实施方式

为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。

本发明为人工智能竞赛平台提供评测任务执行环境，即人工智能开放算力平台。人工智能算力开放平台提供两项基本功能：一是提供交互式窗口，供用户配置任务执行环境；二是提供应用编程接口API供用户提交并执行评测任务。人工智能竞赛赛事举办方在竞赛开始前，在人工智能开放算力平台配置评测任务执行环境。在竞赛过程中，需要对参赛选手提交的结果进行评测时，通过调用API的方式提交评测任务，并获取评测任务结果，人工智能竞赛平台依据该评测结果完成后续工作

如图1所示，本发明的人工智能竞赛评测系统，包含赛事举办方、人工智能竞赛平台和人工智能算力开放平台，其中：

赛事举办方是指开展人工智能竞赛活动的机构，负责在人工智能竞赛平台发布赛事并进行赛事管理，确定如何进行竞赛结果评测。

人工智能竞赛平台包括两大模块：赛事管理模块和竞赛评测模块。其中，赛事管理模块包括传统竞赛平台的功能，如用户注册、赛事管理、比赛报名、排行榜等；竞赛评测模块包括参赛队伍的赛题结果提交，发起竞赛评测任务，获取并保存评测结果。

人工智能算力开放平台包括三大模块：用户管理模块、环境配置模块和评测任务模块。用户管理模块包括根据用户提供的用户名、密码、实名认证信息等完成用户账号注册、用户登录认证、获取用户授权密钥等功能；环境配置模块包括在线配置环境、保存环境；评测任务包括新建评测任务、查询评测任务状态、查询评测任务日志、获取评测任务结果。

本发明的基于人工智能开放算力平台实现人工智能竞赛评测的方法的整体流程分为两个阶段：评测准备阶段和竞赛评测阶段。

1.评测准备阶段

该阶段的工作需要在比赛正式开始前完成，如图2所示，该阶段从开始到结束，包括：

1)确定赛题以及确定评测方法：赛事举办方确定赛题，并基于赛题确定竞赛结果评测方法；

2)保存授权令牌Token：赛事举办方在人工智能算力开放平台注册账号，并获得API授权访问的令牌Token信息；同时将该信息配置并保存在人工智能竞赛平台，用于后续调用评测任务API的认证；

3)保存评测所需环境信息：赛事举办方在人工智能算力开放平台上，使用其提供的环境配置功能，根据赛题评测要求，配置评测环境，即配置相应的评测任务运行环境。在配置完成后，保存评测所需环境信息，(环境信息是指的评测任务运行的环境，即通过镜像定义的内容，通常为一个镜像)，并返回镜像的名称或地址给用户。

4)赛事举办方在人工智能竞赛平台上配置并保存人工智能算力开放平台的信息，包括：已注册账号的认证令牌Token，用于后续调用评测任务API的认证；评测环境镜像信息，通常为一个完整的镜像地址或者人工智能算力开放平台提供的镜像信息。

5)发布赛题：完成上述两个步骤后，赛事举办方可以正式发布赛题，完成准备阶段工作，开始竞赛流程。

2.评测阶段

评测流程在竞赛进行过程中开展，当一个参赛用户提交竞赛结果后，人工智能竞赛平台即可以开始评测流程。根据具体的任务安排，竞赛平台可以定时开始评测流程，也可以在用户上传结果后立即进行评测。

如图3所示，评测阶段，包括：

1)人工智能竞赛平台基于参赛用户的提交结果发起评测；

2)创建评测任务，该步骤人工智能竞赛平台通过创建评测任务的API向人工智能算力开放平台发起创建评测任务的请求，请求参数包括：人工智能算力开放平台的用户认证令牌Token；使用的评测环境信息；用户提交的结果；开启评测任务的脚本。该请求返回评测任务ID，用于区分不同的评测任务。

3)人工智能竞赛平台根据返回的任务ID，向人工智能算力开放平台发起查询评测任务信息的请求，请求参数包括：人工智能算力开放平台的用户认证令牌Token；评测任务ID。该请求返回评测任务基本信息、评测任务状态及评测任务运行日志。

4)评测任务状态

4-1)如果评测任务状态为已失败，则需要重新发起评测；

4-2)如果评测任务状态为运行中，则继续等待，并在指定间隔时间后，再次发起查询评测任务信息的请求；

4-3)如果评测任务状态为已完成，则可进入获取评测任务结果环节。人工智能竞赛平台通过下载任务结果API向人工智能算力开放平台发起请求，请求参数为任务ID。该请求返回评测结果。

4-4)人工智能竞赛平台将获取到的评测结果进行保存。基于该数据，平台可以继续后续的竞赛相关工作，如通知用户或刷新排行榜等。

本发明为人工智能竞赛评测提供便捷工具支持，即提供兼容多类型人工智能加速卡和多类型开发框架的人工智能开放算力平台，人工智能竞赛平台只需将评测任务发送至该开放算力平台，即可获得评测结果。

对支持人工智能竞赛评测所使用的不同算力资源方式进行了对比，如表1所示，可以看出使用人工智能开放算力平台，对用户更加友好，支持多芯片类型，支持多开发框架，可灵活扩展算力，并且只需按照实际评测任务运行时长对资源付费。总体上降低了赛事举办成本，提高了算力资源利用率。

表1

以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。

Claims (6)

1.一种基于人工智能开放算力平台实现人工智能竞赛评测的系统，其特征在于，包含赛事举办方、人工智能竞赛平台和人工智能算力开放平台，其中：

所述赛事举办方是开展人工智能竞赛活动的机构，负责在人工智能竞赛平台发布赛事并进行赛事管理，确定如何进行竞赛结果评测；

所述人工智能竞赛平台包括赛事管理模块和竞赛评测模块：

所述人工智能算力开放平台包括：用户管理模块、环境配置模块和评测任务模块。

2.根据权利要求1所述的基于人工智能开放算力平台实现人工智能竞赛评测的系统，其特征在于，所述赛事管理模块包括传统竞赛平台的功能；所述竞赛评测模块包括参赛队伍的赛题结果提交，发起竞赛评测任务，获取并保存评测结果。

3.根据权利要求1所述的基于人工智能开放算力平台实现人工智能竞赛评测的系统，其特征在于，所述用户管理模块包括根据用户提供的用户名、密码、实名认证信息完成用户账号注册、用户登录认证、获取用户授权密钥功能；所述环境配置模块包括在线配置环境、保存环境；所述评测任务包括新建评测任务、查询评测任务状态、查询评测任务日志、获取评测任务结果。

4.一种基于人工智能开放算力平台实现人工智能竞赛评测的方法，其特征在于，其整体流程分为两个阶段：评测准备阶段和竞赛评测阶段，其中，所述评测准备阶段的工作需要在比赛正式开始前完成，以及所述评测流程在竞赛进行过程中开展，当一个参赛用户提交竞赛结果后，人工智能竞赛平台即可以开始评测流程。

5.根据权利要求4所述的基于人工智能开放算力平台实现人工智能竞赛评测的方法，其特征在于，所述评测准备阶段，包括：

确定赛题以及确定评测方法：赛事举办方确定赛题，并基于赛题确定竞赛结果评测方法；

所述赛事举办方在所述人工智能算力开放平台注册账号，并获得应用编程接口(API)授权访问的令牌信息；同时将该信息配置并保存在所述人工智能竞赛平台；

所述赛事举办方在所述人工智能算力开放平台上，使用其提供的环境配置功能，根据赛题评测要求，配置评测环境；在配置完成后，保存评测所需环境信息，并返回镜像的名称或地址给用户；

所述赛事举办方在所述人工智能竞赛平台上配置并保存所述人工智能算力开放平台的信息，包括已注册账号的认证令牌应用编程接口(API)和评测环境镜像信息；

所述赛事举办方正式发布赛题，完成准备阶段工作，开始竞赛流程。

6.根据权利要求4所述的基于人工智能开放算力平台实现人工智能竞赛评测的方法，其特征在于，所述评测阶段，包括：

所述人工智能竞赛平台基于参赛用户的提交结果发起评测；

创建评测任务，所述人工智能竞赛平台通过创建评测任务的应用编程接口(API)向所述人工智能算力开放平台发起创建评测任务的请求，所述该请求返回评测任务ID，用于区分不同的评测任务；

所述人工智能竞赛平台根据返回的任务ID，向所述人工智能算力开放平台发起查询评测任务信息的请求；评测任务ID，该请求返回评测任务基本信息、评测任务状态及评测任务运行日志；

如果评测任务状态为已失败，则需要重新发起评测；如果评测任务状态为运行中，则继续等待，并在指定间隔时间后，再次发起查询评测任务信息的请求；如果评测任务状态为已完成，则可进入获取评测任务结果环节；所述人工智能竞赛平台将获取到的评测结果进行保存。

Images