CN110213345A - 一种ai算法管理系统 - Google Patents

Abstract

本发明提供了一种AI算法管理系统，用于集中管理各业务系统，实现各业务系统的相互关联和兼容。本发明包括：算法管理模块、数据集管理模块、服务器资源管理模块和开发者管理模块；算法管理模块用于接收开发者在数据开发系统提交的算法或者管理员在后台上传的算法，还用于接收算法需求信息，并对算法进行测试、标记和发布；数据集管理模块用于对数据集进行第一指定操作，并发送给数据开发系统进行实例训练，数据集包括训练集、测试集和样例集，第一指定操作包括上传、更新或者发布至推理系统；服务器资源管理模块用于查看资源使用信息和发布资源，服务器资源包括专属资源和共享资源；开发者管理模块用于管理数据开发系统的注册用户。

Description

一种AI算法管理系统

技术领域

本发明涉及数据处理领域，尤其涉及一种AI算法管理系统。

背景技术

随着计算机技术的快速发展，在全球信息化快速发展的大背景下，人工智能(artificial intelligence，AI)已成为国家重要的基础性战略资源，正引领新一轮科技创新。目前，人工智能的水平建立在机器学习的基础上，除了先进的算法和硬件运算能力，大数据是机器学习的关键。大数据可以帮助训练机器，提高机器的智能水平。数据越丰富完整，机器辨识精准度越高，因此大数据将是各企业竞争的真正资本，基于大数据的各大业务系统也应运而生。

现有技术中，各大业务系统可以相对独立运行，如何更好的管理各业务系统，实现不同业务系统例如开发系统、数据系统和推理系统的相互结偶，以满足不同的应用场景，成为一个急需解决的问题。

发明内容

本发明提供了一种AI算法管理系统，用于集中管理各业务系统，实现各业务系统的相互关联，提高了软件产品的开发效率和兼容性。

本发明实施例的第一方面提供一种AI算法管理系统，包括：算法管理模块、数据集管理模块、服务器资源管理模块和开发者管理模块；所述算法管理模块用于接收开发者在数据开发系统提交的算法或者管理员在后台上传的算法，还用于接收算法需求信息，并对所述算法进行测试、标记和发布；所述数据集管理模块用于对数据集进行第一指定操作，并发送给所述数据开发系统进行实例训练，所述数据集包括训练集、测试集和样例集，所述第一指定操作包括上传、更新或者发布至推理系统；所述服务器资源管理模块用于查看资源使用信息和发布资源，所述服务器资源包括专属资源和共享资源；所述开发者管理模块用于管理所述数据开发系统的注册用户。

可选的，在本发明实施例第一方面的第一种实现方式中，所述开发者管理模块具体包括认证子模块和角色管理子模块；所述认证子模块用于判断用户是否进行实名认证，还用于确定用户是否成功完成实名认证；所述角色管理子模块用于对用户的角色身份进行第二指定操作，所述角色身份包括但不限于以下身份中的一种或者多种：管理员admin、子管理员、在线标注人员或测试人员，所述第二指定操作包括新增、删除或者编辑。

可选的，在本发明实施例第一方面的第二种实现方式中，所述算法管理模块具体用于：向数据系统发送数据标记任务，并接收所述数据系统提交的数据标记结果，所述数据标记任务用于指示所述数据系统对所述数据集进行在线标记。

可选的，在本发明实施例第一方面的第三种实现方式中，所述服务器资源管理模块具体用于：向推理系统发送使用情况查询请求，并接收所述推理系统提交的使用情况结果，所述使用情况查询请求用于指示所述推理系统对所述服务器资源的使用信息进行统计。

可选的，在本发明实施例第一方面的第四种实现方式中，所述专属资源为所述开发者在有效期内的独享资源，所述共享资源为所述开发者在有效期内的共享资源。

可选的，在本发明实施例第一方面的第五种实现方式中，所述算法管理模块包括：模型管理子模块、软件开发工具包SDK管理子模块和算法发布子模块；

所述模型管理子模块用于接收所述数据开发系统发送的模型并进行上传和测试操作，提供所述模型的下载链接和封装SDK；所述SDK管理子模块用于查看所述SDK，并获取所述SDK的下载链接和配置网络通信引擎ICE服务；所述算法发布子模块用于将所述算法发布至算法市场，并向所述推理系统发送授权请求，所述授权请求用于指示对所述算法进行授权。

可选的，在本发明实施例第一方面的第六种实现方式中，所述算法管理模块具体用于：接收所述算法需求信息，所述算法需求信息用于指示新增需求；响应于所述算法需求信息，获取接收需求编辑信息，所述需求编辑信息包括算法类型、开发者信息、资源分配信息、待选择数据集和所述需求的有效期；根据所述需求编辑信息发布所述需求。

可选的，在本发明实施例第一方面的第七种实现方式中，所述算法管理模块具体用于：接收所述算法需求信息，所述算法需求信息用于指示发布所述需求；响应于所述算法需求信息，判断是否到达所述需求的开始时间；若已到达，则运行所述需求并在到达所述需求的结束时间时完结所述需求，或者，在运行所述需求时，接收需求作废指令，响应于所述需求作废指令，停止运行所述需求，并回收所述需求对应的资源。

可选的，在本发明实施例第一方面的第八种实现方式中，所述算法管理模块具体用于：接收所述算法需求信息，所述算法需求信息用于指示查看已发布的需求；响应于所述算法需求信息，获取所述已发布的需求的使用信息，所述使用信息包括数据集使用情况、资源使用情况和算法使用情况；显示所述已发布的需求的使用信息、所述已发布的需求对应的开发者信息、所述已发布的需求的描述信息和所述已发布的需求的有效期。

可选的，在本发明实施例第一方面的第九种实现方式中，所述算法管理模块具体用于：接收所述算法需求信息，所述算法需求信息用于指示编辑已发布的需求；响应于所述算法需求信息，显示所述已发布的需求的编辑按钮，所述编辑按钮用于变更所述已发布的需求对应的开发者信息、更新所述已发布的需求对应的数据集、修改所述已发布的需求对应的分配资源或者变更所述已发布的需求的有效期。

本发明实施例提供的AI算法管理系统，包括：算法管理模块、数据集管理模块、服务器资源管理模块和开发者管理模块；所述算法管理模块用于接收开发者在数据开发系统提交的算法或者管理员在后台上传的算法，还用于接收算法需求信息，并对所述算法进行测试、标记和发布；所述数据集管理模块用于对数据集进行第一指定操作，并发送给所述数据开发系统进行实例训练，所述数据集包括训练集、测试集和样例集，所述第一指定操作包括上传、更新或者发布至推理系统；所述服务器资源管理模块用于查看资源使用信息和发布资源，所述服务器资源包括专属资源和共享资源；所述开发者管理模块用于管理所述数据开发系统的注册用户。本发明实施例，通过该AI算法管理系统，可集中管理各业务系统，实现各业务系统的相互关联，提高了软件产品的开发效率和兼容性。

附图说明

图1为本发明实施例提供的一种可能的AI算法管理系统的实施例示意图；

图2为本发明实施例提供的一种可能的算法管理示意图；

图3为本发明提供的一种可能的发布需求流程图；

图4为本发明实施例提供的一种可能的编辑已发布的需求的流程示意图。

具体实施方式

本发明提供了一种AI算法管理系统，用于集中管理各业务系统，实现各业务系统的相互关联，提高了软件产品的开发效率和兼容性。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例进行描述。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供的一种AI算法管理系统，需要说明的是，该AI算法管理系统是整个云图平台的业务枢纽，包括基础资源管理和整体业务调度两大功能；基础资源管理，包括算力资源、数据集的管理；整体业务调度，包括开发者管理、需求发布、算法发布等业务。以下将对该AI算法管理系统进行详细说明，该AI算法管理系统具体包括：算法管理模块、数据集管理模块、服务器资源管理模块和开发者管理模块；

所述算法管理模块用于接收开发者在数据开发系统提交的算法或者管理员在后台上传的算法，还用于接收算法需求信息，并对所述算法进行测试、标记和发布；

所述数据集管理模块用于对数据集进行第一指定操作，并发送给所述数据开发系统进行实例训练，所述数据集包括训练集、测试集和样例集，所述第一指定操作包括上传、更新或者发布至推理系统；

所述服务器资源管理模块用于查看资源使用信息和发布资源，所述服务器资源包括专属资源和共享资源；

所述开发者管理模块用于管理所述数据开发系统的注册用户。

所述开发者管理模块可以包括认证子模块和角色管理子模块，所述认证子模块用于判断数据开发系统的注册用户是否进行实名认证，还用于确定注册用户是否成功完成实名认证；所述角色管理子模块用于对注册用户的角色身份进行第二指定操作，所述角色身份包括但不限于以下身份中的一种或者多种：管理员admin、子管理员、在线标注人员或测试人员，所述第二指定操作包括新增、删除或者编辑。即该AI算法管理系统可以理解为是面向企业管理者的平台，包括企业的主管理员admin，以及子管理员。其中子管理员可以根据业务需求划分不同的权限，如分管发布功能，包括需求发布、资源发布、数据集发布等；分管算法管理，如算法模型、软件开发工具包(software development kit，SDK)、自动测试、算法发布等。需要说明的是，主管理员admin是系统默认的，为root账户，拥有系统的最高权限；子管理员可以通过后台添加，其由root账户或者拥有系统管理权限的子管理员创建，并根据分配的权限进行操作。可以理解的是，角色身份根据角色限定权限，且仅限在特定网络内使用。

所述算法管理模块接收开发者在数据开发系统提交的算法，或者管理员在后台直接上传的算法，并以模型、SDK或者开发者自定义镜像来呈现，其中，算法可由数据开发系统进行自动测试并将测试结果发送给算法管理模块，并由算法管理模块向数据系统发送数据标记任务，并接收数据系统提交的数据标记结果，其中数据标记任务用于指示数据系统对数据集进行在线标记。若该算法标记为可发布时，则将该算法发布至算法市场。具体地，请参阅图2，为本发明实施例提供的一种可能的算法管理示意图，其中，算法管理包括模型管理、SDK管理和算法发布，具体地，模型管理包括上传模型、模型测试、封装SDK和获取下载链接，即获取模型的下载链接；SDK管理包括查看SDK、获取下载链接即获取该SDK的下载链接，和网络通信引擎ICE服务配置；算法发布包括将算法发布至算法市场并授权，即向推理系统发送授权请求，该授权请求用于指示对算法进行授权。

另外，算法管理模块还用于接收算法需求信息，该算法需求信息用于新增、发布或者查看与编辑各需求。具体地，当算法需求信息用于指示新增需求时，接收需求编辑信息，所述需求编辑信息包括算法需求如算法类型(由系统设置确定)，可选的还可添加需求的描述信息、开发者信息(全部、指定类型、指定某个单位开发者，是否需要审核)、资源分配信息(选择项目配额，如GPU的个数、CPU的个数和内存的个数等)、待选择数据集(选择关联数据集/数据集为空，也可以自定义上传)和所述需求的有效期，其中，该有效期的开始时间不晚于当前时间，结束时间不早于开始时间。

当算法需求信息用于指示发布需求时，请参阅图3，为本发明提供的一种可能的发布需求流程图，其中，在发布需求时，判断是否到达需求的开始时间，若已到达开始时间，则表示该需求正在运行中，开发者可以手动完结该需求，也可以在到达需求的结束时间时，自动完结该需求，还可以在运行该需求时，接收对该需求的作废指令，并对该需求进行作废操作，并回收该需求对应的资源。另外，若未到达需求的开始时间，则等待到达开始时间以运行该需求，或者在等待的过程中，修改任务期限，以重新计算时间来判断是否到达需求的开始时间，还可以在等待到达开始时间的过程中，接收对该需求的作废指令，并对该需求进行作废操作，并回收该需求对应的资源。需要说明的是，在需求完结后，会释放相应的资源、数据集等，以进行资源回收。

当算法需求信息用于指示查看已发布的需求时，请参阅图4，为本发明实施例提供的一种可能的编辑已发布的需求的流程示意图，包括：响应于该算法需求信息，获取并显示该已发布的需求的需求类型、描述等(该部分的属性为只读)，该已发布的需求的开发者信息、数据集使用情况、资源使用情况、算法提交情况、需求有效期等。另外，当算法需求信息还用于指示编辑已发布的需求时，显示已发布的需求的编辑按钮，编辑按钮用于变更已发布的需求对应的开发者信息、更新已发布的需求对应的数据集、修改已发布的需求对应的分配资源或者变更已发布的需求的有效期，具体地，对于已发布的需求对应的开发者信息，可以变更开发者范围并保存变更记录，还可以接收开发者列表中各开发者的申请，并进行实名认证审核，审核的结果包括通过或者不通过；对于已发布的需求对应的数据集使用情况，包括更新数据集，如数据集版本更新、删除数据集或者增加数据集等，并保存数据集更新的修改记录；对于已发布的需求对应的资源使用情况，可以修改分配规则，例如修改内存的个数或者CPU的个数等，并保存修改记录；对于已发布的需求对应的算法提交情况，其算法提交概况的详细信息可至算法列表中查看；对于于已发布的需求对应的需求有效期，可以变更有效期的开始时间和/或结束时间，并保存有效期的变更记录。

另外，数据集管理模块，用于接收指定开发者在数据开发系统上传或者平台开发的数据集，同一数据集包括训练集、测试集和样例集，需要说明的是，当数据集为指定开发者在数据开发系统上传时，数据集管理模块可用于存储该数据集，暂时不做使用。通过该数据集管理模块，可以对数据集进行第一指定操作，该第一指定操作包括上传、更新或者发布数据集。

服务器资源管理模块，可用于管理训练资源，其中，该训练资源包括专属资源和共享资源，专属资源为在分配资源时，指定开发者在有效期内可独享的资源，共享资源为在分配资源时，指定开发者在有效期内可共同使用该部分的资源，其中，资源不足时需要等待。服务器资源管理模块可向推理系统发送使用情况查询请求，并接收推理系统提交的使用情况结果，使用情况查询请求用于指示推理系统对服务器资源的使用信息进行统计。服务器资源管理模块在得到使用情况结果，可根据该使用情况结果分配或发布服务器资源，以提高资源的使用效率。

综上所述，本发明实施例提供的AI算法管理系统，包括：算法管理模块、数据集管理模块、服务器资源管理模块和开发者管理模块；所述算法管理模块用于接收开发者在数据开发系统提交的算法或者管理员在后台上传的算法，还用于接收算法需求信息，并对所述算法进行测试、标记和发布；所述数据集管理模块用于对数据集进行第一指定操作，并发送给所述数据开发系统进行实例训练，所述数据集包括训练集、测试集和样例集，所述第一指定操作包括上传、更新或者发布至推理系统；所述服务器资源管理模块用于查看资源使用信息和发布资源，所述服务器资源包括专属资源和共享资源；所述开发者管理模块用于管理所述数据开发系统的注册用户。本发明实施例，通过该AI算法管理系统，可集中管理各业务系统，实现各业务系统的相互关联，提高了软件产品的开发效率和兼容性。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程设备。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人工智能AI算法管理系统，其特征在于，包括：

算法管理模块、数据集管理模块、服务器资源管理模块和开发者管理模块；

所述算法管理模块用于接收开发者在数据开发系统提交的算法或者管理员在后台上传的算法，还用于接收算法需求信息，并对所述算法进行测试、标记和发布；

所述数据集管理模块用于对数据集进行第一指定操作，并发送给所述数据开发系统进行实例训练，所述数据集包括训练集、测试集和样例集，所述第一指定操作包括上传、更新或者发布至推理系统；

所述服务器资源管理模块用于查看资源使用信息和发布资源，所述服务器资源包括专属资源和共享资源；

所述开发者管理模块用于管理所述数据开发系统的注册用户。

2.根据权利要求1所述的AI算法管理系统，其特征在于，所述开发者管理模块具体包括认证子模块和角色管理子模块；

所述认证子模块用于判断所述注册用户是否进行实名认证，还用于确定所述注册用户是否成功完成实名认证；

所述角色管理子模块用于对注册用户的角色身份进行第二指定操作，所述角色身份包括但不限于以下身份中的一种或者多种：管理员admin、子管理员、在线标注人员或测试人员，所述第二指定操作包括新增、删除或者编辑。

3.根据权利要求1所述的AI算法管理系统，其特征在于，所述算法管理模块具体用于：

向数据系统发送数据标记任务，并接收所述数据系统提交的数据标记结果，所述数据标记任务用于指示所述数据系统对所述数据集进行在线标记。

4.根据权利要求1所述的AI算法管理系统，其特征在于，所述服务器资源管理模块具体用于：

向推理系统发送使用情况查询请求，并接收所述推理系统提交的使用情况结果，所述使用情况查询请求用于指示所述推理系统对所述服务器资源的使用信息进行统计。

5.根据权利要求1所述的AI算法管理系统，其特征在于，所述专属资源为所述开发者在有效期内的独享资源，所述共享资源为所述开发者在有效期内的共享资源。

6.根据权利要求1所述的AI算法管理系统，其特征在于，所述算法管理模块包括：模型管理子模块、软件开发工具包SDK管理子模块和算法发布子模块；

所述模型管理子模块用于接收所述数据开发系统发送的模型并进行上传和测试操作，提供所述模型的下载链接和封装SDK；

所述SDK管理子模块用于查看所述SDK，并获取所述SDK的下载链接和配置网络通信引擎ICE服务；

所述算法发布子模块用于将所述算法发布至算法市场，并向所述推理系统发送授权请求，所述授权请求用于指示对所述算法进行授权。

7.根据权利要求1所述的AI算法管理系统，其特征在于，所述算法管理模块具体用于：

接收所述算法需求信息，所述算法需求信息用于指示新增需求；

响应于所述算法需求信息，获取接收需求编辑信息，所述需求编辑信息包括算法类型、开发者信息、资源分配信息、待选择数据集和所述需求的有效期；

根据所述需求编辑信息发布所述需求。

8.根据权利要求7所述的AI算法管理系统，其特征在于，所述算法管理模块具体用于：

接收所述算法需求信息，所述算法需求信息用于指示发布所述需求；

响应于所述算法需求信息，判断是否到达所述需求的开始时间；

若已到达，则运行所述需求并在到达所述需求的结束时间时完结所述需求，或者，

在运行所述需求时，接收需求作废指令，响应于所述需求作废指令，停止运行所述需求，并回收所述需求对应的资源。

9.根据权利要求1所述的AI算法管理系统，其特征在于，所述算法管理模块具体用于：

接收所述算法需求信息，所述算法需求信息用于指示查看已发布的需求；

响应于所述算法需求信息，获取所述已发布的需求的使用信息，所述使用信息包括数据集使用情况、资源使用情况和算法使用情况；

显示所述已发布的需求的使用信息、所述已发布的需求对应的开发者信息、所述已发布的需求的描述信息和所述已发布的需求的有效期。

10.根据权利要求9所述的AI算法管理系统，其特征在于，所述算法管理模块具体用于：

接收所述算法需求信息，所述算法需求信息用于指示编辑已发布的需求；

响应于所述算法需求信息，显示所述已发布的需求的编辑按钮，所述编辑按钮用于变更所述已发布的需求对应的开发者信息、更新所述已发布的需求对应的数据集、修改所述已发布的需求对应的分配资源或者变更所述已发布的需求的有效期。