CN116679907B - 人工智能信息的处理方法、装置、电子设备和存储介质 - Google Patents
人工智能信息的处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116679907B CN116679907B CN202310362410.XA CN202310362410A CN116679907B CN 116679907 B CN116679907 B CN 116679907B CN 202310362410 A CN202310362410 A CN 202310362410A CN 116679907 B CN116679907 B CN 116679907B
- Authority
- CN
- China
- Prior art keywords
- entity
- storage
- development platform
- entities
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 39
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 230000010365 information processing Effects 0.000 title claims description 18
- 238000011161 development Methods 0.000 claims abstract description 130
- 238000000034 method Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 36
- 238000012549 training Methods 0.000 description 23
- 230000006978 adaptation Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012356 Product development Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了人工智能信息的处理方法、装置、电子设备和存储介质，涉及人工智能、信息存储和云平台领域。具体实现方案为：接收来自人工智能AI开发平台的实体存储请求；其中，实体存储请求包括AI实体；在实体存储请求包括存储地址的情况下，根据存储地址，确定对应的存储系统；将AI实体存储在存储系统中。本申请实施例可以实现对多个AI开发平台的AI实体进行统一的存储管理。
Description
本申请为2020年7月15日提交中国专利局、申请号为202010679383.5发明名称为“人工智能信息的处理方法、装置、电子设备和存储介质”的中国专利申请的分案申请。
技术领域
本申请涉及数据处理领域，尤其涉及人工智能、信息存储和云平台领域。
背景技术
随着人工智能(Artificial Intelligence，AI)技术的高速发展，越来越多的企业、个人加入到AI的开发过程中。在此背景下，业内出现了大量服务于AI开发者的AI开发平台，旨在为AI开发者提供专业、便捷的AI开发环境，满足AI产品研发流程化、自动化、组件化的需求。各AI开发平台的功能、适用领域存在差异，因此，AI开发者会应用多种AI开发平台。
发明内容
本申请提供了一种人工智能信息的处理方法、装置、电子设备和存储介质。
根据本申请的一方面，提供了一种人工智能信息的处理方法，包括：
接收来自人工智能AI开发平台的实体存储请求；其中，实体存储请求包括AI实体；
在实体存储请求包括存储地址的情况下，根据存储地址，确定对应的存储系统；
将AI实体存储在存储系统中。
根据本申请的另一方面，提供了一种人工智能信息的处理装置，包括：
第一接收模块，用于接收来自人工智能AI开发平台的实体存储请求；其中，实体存储请求包括AI实体；
第一确定模块，用于在实体存储请求包括存储地址的情况下，根据存储地址，确定对应的存储系统；
第一存储模块，用于将AI实体存储在存储系统中。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意实施例提供的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请任意实施例提供的方法。
根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
根据本申请的技术方案，由于接收AI开发平台的实体存储请求后，会将AI实体存储到AI开发平台指定的存储系统，因此，通过对接多个AI开发平台和存储系统，可以实现对多个AI开发平台的AI实体进行统一的存储管理，减少各AI开发平台在AI实体存储管理上的重复模块开发。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请示例性实施例的人工智能信息的处理方法的示意图；
图2是根据本申请示例性实施例的人工智能信息的处理方法的示意图；
图3是根据本申请示例性实施例的人工智能信息的处理方法的示意图；
图4是根据本申请示例性实施例的人工智能信息的处理方法的示意图；
图5是本申请一应用示例的示意图；
图6是根据本申请示例性实施例的人工智能信息的处理装置的示意图；
图7是根据本申请示例性实施例的人工智能信息的处理装置的示意图；
图8是用来实现本申请实施例的人工智能信息的处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了本申请示例性实施例的人工智能信息的处理方法的示意图。如图1，该方法可以包括：
步骤S11，接收来自人工智能AI开发平台的实体存储请求；其中，实体存储请求包括AI实体；
步骤S12，在实体存储请求包括存储地址的情况下，根据存储地址，确定对应的存储系统；
步骤S13，将AI实体存储在存储系统中。
示例性地，上述方法可以由AI信息的处理装置例如AI生命周期管理(Developmentand Operations，DevOps)系统执行，该装置可以部署在云端。该装置可以与至少一个AI开发平台和至少一个存储系统交互。其中，AI开发平台可以包括专用于AI产品开发的平台例如Easy DL、ModelArts等，也可以包括能够用于AI产品开发的通用软件开发平台。存储系统可以包括分布式存储文件系统例如AFS(The Andrew File System，安德鲁文件系统)、HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)等，也可以包括代码托管仓库例如iCode、GitHub、GitLab等。
示例性地，AI实体包括模型、数据集和代码中的至少一种。其中，模型可以包括AI开发过程中用到的预训练模型、经训练得到的收敛模型等，可应用于图像处理、自然语言处理、语音识别等领域。数据集可以包括训练集、测试集、验证集、未经处理的源数据集合等。代码可以包括数据数据预处理代码、训练代码等。
示例性地，存储地址可以指存储系统的位置的标识信息，可以是存储系统的通信地址，也可以是存储系统的编码标识。
本申请实施例中，AI开发平台在有AI实体的存储需求时例如模型、数据集和代码的版本更新时发起实体存储请求，如果该请求包括存储地址，即AI开发平台指定了存储系统，则将该请求对应的AI实体存储在AI开发平台指定的存储系统中。在AI信息的处理装置对接多个AI开发平台和多个存储系统的情况下，多个AI开发平台将各自的模型、数据集和代码交由该装置管理，无需在每个开发平台上登录各个存储系统，也无需针对每个开发平台上分别开发模型、数据集和代码的版本管理模块，并且解决模型在多个AI开发平台和多个存储系统流转时造成的冗余数据存储和业务模块耦合问题，实现对多个AI开发平台的AI实体进行统一的存储管理。
作为一种示例性的实施方式，实体存储请求还可以包括鉴权信息。即AI信息的处理方法还包括：根据鉴权信息，验证AI开发平台是否具备使用存储系统的权限。相应地，步骤S13，将AI实体存储在存储系统中，包括：在验证通过的情况下，将AI实体存储在存储系统中。
该实施方式中，鉴权信息可用于验证AI开发平台使用存储系统的权限。鉴权信息例如是存储系统的准入Token(令牌)。
根据该示例性的实施方式，在验证AI开发平台具备使用其指定的存储系统的权限的情况下，将AI实体存储在该存储系统中，可以提高存储系统的数据安全性。
作为一种示例性的实施方式，AI信息的处理方法还包括：
在实体存储请求不包括存储地址的情况下，将AI实体存储在公用存储空间中。
例如，发起实体存储请求的AI开发平台不具备使用各存储系统的权限，则AI信息的处理装置为其提供公用存储空间。该示例性实施方式可以妥善保存AI开发过程中的各AI实体，避免AI实体的丢失。
作为一种示例性的实施方式，实体存储请求还可以包括元数据信息。实体存储请求中的元数据信息与AI实体关联。如图2所示，AI信息的处理方法还包括：
步骤S21，在接收到来自AI开发平台的包括元数据信息的处理请求时，查找元数据信息关联的AI实体，以对AI实体进行处理。
示例性地，元数据信息用于描述其所关联的AI实体的版本属性。元数据信息可以包括多个维度的信息，AI开发者在AI开发平台上为体现AI实体的版本特性所标注的注释或选择的标签、AI实体的特征信息、用户信息例如开发者ID(Identity Document，身份标识号)等。
举例而言，当AI开发平台发出处理请求例如调用请求或删除请求，指示需要处理某个模型时，该请求中会携带元数据信息例如某个标签，则查找该标签关联的模型，对其进行处理。如果该处理请求是调用请求，则向发起请求的AI开发平台返回该模型；如果该处理请求是删除请求，则从AI信息的处理装置中删除该模型。
由于AI开发相比普通软件开发更具实验性，AI开发者需要试用不同的数据集、代码、模型，在开发过程中，需要管理这些AI实体并创建可复用的结果，因此，根据该示例性的实施方式，利用元数据信息标识AI实体，方便查找和复用AI实体，有利于提高AI开发的效率。
示例性地，已存储的AI实体的元数据信息可以被修改。一种实现方式是，在接收到来自AI开发平台的修改请求时，根据该修改请求修改对应的元数据信息。例如，开发者在迭代更新模型的过程中，可以根据新的模型的性能修改对之前存储的模型的注释或为之前存储的模型增加新的标签。如此，可以利用元数据信息的多个维度，跟踪AI实体生命周期的资源和属性，方便对AI实体进行溯源和效果复现。
作为一种示例性的实施方式，实体存储请求中的AI实体包括代码；实体存储请求还包括已存储的其他AI实体的标识；其他AI实体与代码关联。如图3所示，AI信息的处理方法还可以包括：
步骤S31，在AI开发平台调用代码时，确定代码关联的其他AI实体，向AI开发平台提供其他AI实体的调用接口。
该实施方式中，实体存储请求是针对代码存储发起的，例如在开发者每次提交代码时，生成一个代码版本，触发实体存储请求，以记录代码提交所做的修改。根据该示例性的实施方式，可以将特定版本的代码与其他AI实体例如模型和数据集关联起来。当AI开发平台调用代码时，可以向AI开发平台提供关联的AI实体的调用接口。例如开发者在AI开发平台上读取代码时，可以提供代码对应的模型和数据集的调用接口，方便用户查看关联的模型和数据集。
根据该示例性的实施方式，对代码进行了版本记录，开发者可以对代码进行回溯、比对。该实施方式还可提供关联AI实体的调用接口，便于开发者查看关联AI实体，分析代码的改动对训练效果的影响，提高AI开发效率。
作为一种示例性的实施方式，如图4所示，AI信息的处理方法还包括：
步骤S41，接收来自AI开发平台的实体关系包；其中，实体关系包包括已存储的至少两个AI实体间的关联关系；至少两个AI实体包括模型、数据集和代码中的至少一种；
步骤S42，在AI开发平台调用目标AI实体时，根据实体关系包，确定目标AI实体关联的其他AI实体，向AI开发平台提供其他AI实体的调用接口。
该示例性实施方式中，支持AI开发平台以实体关系包的形式指示已存储的AI实体间的关联关系。
示例性地，AI开发平台或AI信息的处理装置可指定一个中心实体，该装置可以为实体关系包对应的至少两个AI实体中除中心实体外的其他实体，标记其与中心实体的关联关系。
例如，实体关系包对应于收敛模型、训练数据集和训练代码，其中收敛模型是根据训练数据集和训练代码生成的，则以收敛模型为中心实体，标记训练数据集和收敛模型的关联关系以及训练代码和收敛模型的关联关系。
又如，实体关系包对应于源数据、训练集数据和预处理代码，其中，训练集数据是根据源数据和预处理代码生成的，则以训练集数据为中心实体，标记源数据和训练集数据的关联关系以及预处理代码和训练集数据的关联关系。
根据该示例性的实施方式，开发者可在AI开发平台上将若干模型、数据集和代码打包为可执行的完整程序，例如训练、预测和预处理等，并生成对应的实体关系包。AI信息的处理装置利用该实体关系包建立其中各AI实体间的关联关系。在AI开发平台调用目标实体例如收敛模型时，可以向AI开发平台提供目标实体关联的其他AI实体例如训练集数据和训练代码。
通过该示例性的实施方式，方便开发者回溯关联AI实体，对各AI实体之间的影响进行分析，对模型效果差异进行原因定位和排查，提高AI开发效率。
实际应用时，上述装置还可以处理来自AI开发平台的其他请求，并且提供更多的高效、的版本管理或者说存储管理服务。以下以一具体的应用示例，介绍本申请实施例在实际应用中更多的可实现方式：
在本应用示例中，AI信息的处理装置为面向AI开发平台的DevOps服务组件，其可以将AI开发过程中涉及的开发流程管理进行抽象，以组件化的方式赋能各AI开发平台，避免各AI开发平台重复的模块开发。并提供稳健灵活的模型、数据集、代码版本控制系统。同时，基于模型、数据集、代码的包版本管理模块可跟踪、快照和管理用于创建模型的资产例如各AI实体。还可以快速定位并获取特定版本模型的源数据，方便模型的快速部署；模型、数据集、代码支持在各种AI开发平台上的移植。利用DevOps服务组件提供的统一、规范的开发生命周期管理，将会使用户的AI开发流程更加规范、高效，免去了用户在开发过程中大部分非AI类的劳动，使开发者更加专注AI相关技术的开发。
图5是本应用示例的示意图，如图5所示，面向AI开发平台的DevOps服务组件主要包含4个层级：接入层、业务层、适配层、存储层。其中，接入层作为AI DevOps服务的入口。业务层主要处理与模型、数据集、代码等AI实体的版本管理相关的请求，以及建立各AI实体间的关联关系。适配层是对存储服务进行接口的抽象，抽象出模型、数据集、代码以及相关元数据(meta)信息的存储接口，可以根据底层的存储系统进行扩展；存储层主要存放模型、数据集、代码以及相关meta信息的内容，存储层中的存储系统可扩展。
下面详细介绍基于AI开发平台的DevOps组件中的各个模块：
1)接入层：
接入层是AI DevOps服务的调用入口，服务的各项功能以API(ApplicationProgramming Interface，应用程序接口)和SDK(Software Development Kit，软件开发工具包)的形式开放给上层的应用即AI开发平台。
2)业务层：
如图5所示，业务层包括6个子模块：应用认证模块、模型管理模块、数据管理模块、代码管理模块、包版本管理模块和异步分析任务模块。
a.应用认证模块(Application Identity and Access Management，APP IAM)：提供应用粒度的权限控制，每个AI开发平台可被授予/解除其ID对应的访问权限，保障AI开发平台在调用AI DevOps服务时的安全性，并且有效保护了AI DevOps服务自身的安全性，避免不合法用户的恶意调用。AI开发平台通过相关申请后可以获得平台分配的AK(AccessKey，访问秘钥)和SK(Secret Key，秘钥)，通过AK+SK的方式获取服务调用的准入token，AI服务开放平台的接入层会验证token的合法性来进行鉴权，通过鉴权就可以正常调用平台的服务，而不合法的调用(无token或者token无效)会在接入层就被屏蔽，不会影响下游的其他模块。
b.模型管理模块(Model VC):利用模型存储系统统一管理各AI开发平台的模型迭代版本，提供模型迭代流程生命周期的一站式、全覆盖追踪服务。具体而言，模型管理模块将模型的meta信息与模型实体分开存储并关联。其中，meta信息包括该模型的注释、特征信息、用户信息、标签等内容。AI DevOps服务允许自定义模型的元数据信息。模型管理模块基于AI开发平台的模型存储请求，将模型实体存储在平台指定的存储系统中。对于AI开发平台已存储的模型，AI DevOps服务可以利用模型管理模块托管模型存储地址。对于以生成的各版本的模型，AI开发平台可自由读取、删除模型实体或修改模型meta信息。模型管理模块可以根据meta信息的各个维度跟踪模型生命周期的资源和meta信息，方便对模型进行溯源和效果复现。AI DevOps服务支持自动识别并可视化模型网络结构，能够有效降低算法研发成本。
c.数据管理模块(Data VC)：数据管理模块与模型管理模块在架构上类似，利用数据存储系统统一管理各AI开发平台的各迭代版本的数据集。数据管理模块与模型管理模块的区别在于meta信息的各字段为数据集特征相关的信息，并以快照的形式存储数据集实体。
d.代码管理模块(Code VC)：支持用户级的训练代码模板的发布、获取、筛选等操作，方便用户快速匹配到所需的训练代码并导入。在开发过程中，用户每一次的代码提交会生成一个版本的代码，该代码记录了此次代码提交所做的修改，后续能够查询用户的代码历史提交记录，并可以对代码进行回溯、比对。代码管理模块可以将特定版本的代码关联到特定版本的数据集、模型，提升开发与部署效率。内部存储分别对接了GitHub、GitLab等代码存储系统。用户无需登录上述代码存储系统，即可直接在AI开发平台上对上述代码管理系统中的代码进行操作。对于没有对接上述代码管理系统的权限或不需要使用上述代码管理系统的用户，可以将其代码存储在内部代码数据库，该内部代码数据库以DB的方式建立。可见，代码管理模块的代码管理灵活度较高。
e.包版本管理模块(Package VC)：包(Package)是一组由若干AI实体(模型、数据集、代码等)组成的集合，可以指定一个中心实体，中心实体依赖其他关联实体。AI开发平台可以将若干模型、数据集、代码打包为可执行的完整程序，例如训练、预测、预处理等，也可以获取模型、数据集、代码之间的关联关系，例如模型(中心实体)由数据和训练代码生成、数据(中心实体)由数据和预处理代码生成等。包版本管理模块用于管理AI开发平台所获取的各AI实体间的关联关系，在AI开发平台调用AI实体时，提供关联AI实体的调用接口。
f.异步分析任务模块(Async Task)：为用户提供插件化、可定制的异步任务分析。可根据不同框架(framework)及版本解析模型的网络结构，生成数据集的概览信息。异步分析人物模块可分析数据集的格式例如各种数据格式对应的数据量、标注信息或统计AI开发平台提交代码的频率、行数，评估代码质量等，并生成报表供AI开发平台参考。
3)适配层：
适配层提供底层存储系统的抽象接口规范，分为元数据信息适配模块(DAO)、实体信息适配模块(Storage Adapter)和实体文件中转模块。
元数据信息适配模块将数据集、模型、代码、包版本的meta信息提取出来，存储在分布式数据库中，同时，将使用频率较高的meta信息存入检索数据库(Search DB)，方便AI开发平台快速检索相关字段。
实体信息适配模块提供模型实体存储适配(Model Adapter)、数据实体存储适配(Data Adapter)、代码实体存储适配(Code Adapter)，将模型、数据集、代码实体按照各自的特征提取后存入对应的存储系统。实体信息的存储分为2个等级：应用级和组件级，对于AI开发平台提供了存储信息(包含存储地址、鉴权信息等)的请求，将AI实体存入平台指定的存储系统中，否则，将AI实体存入公用存储空间，该公用存储空间有一定的容量限制。
实体文件中转模块(Storage Hub)用于管理临时存储，负责内存与本地存储之间的数据交换，实现大文件的本地磁盘缓存，一方面可以支持AI开发平台通过分片上传的方式实现断点续传并增加传输速度，另一方面可以增加获取数据集实体的速度。
4)存储层
存储层是模型、数据集、代码各个版本实体数据的存储系统层。模型和数据支持存储在iRepo、AFS、BCE CFS、AWS S3(Amazon Simple Storage Service)、HDFS等存储系统中，提供稳定、安全、高可扩展的存储服务；代码支持存储在iCode、GitHub等存储系统中，提供专业的代码版本管理；AI开发平台与存储系统相互独立，用户可跨平台访问存储系统中的私有数据。随着AI开发平台的发展，在有新的存储系统需求时，可以通过与适配层的交互，可快速扩展新的存储系统。
可见，本申请实施例提供的方法，由于接收AI开发平台的实体存储请求后，会将AI实体存储到AI开发平台指定的存储系统，因此，通过对接多个AI开发平台和存储系统，可以实现对多个AI开发平台的AI实体进行统一、规范的存储管理，减少各AI开发平台在AI实体存储管理上的重复模块开发。
图6示出了本申请示例性实施例提供的人工智能信息的处理装置，如图6所示，该装置包括：
第一接收模块610，用于接收来自人工智能AI开发平台的实体存储请求；其中，实体存储请求包括AI实体；
第一确定模块620，用于在实体存储请求包括存储地址的情况下，根据存储地址，确定对应的存储系统；
第一存储模块630，用于将AI实体存储在存储系统中。
示例性地，实体存储请求还包括元数据信息；元数据信息与AI实体关联；
如图7所示，该装置还包括：
查找模块710，用于在接收到来自AI开发平台的包括元数据信息的处理请求时，查找元数据信息关联的AI实体，以对AI实体进行处理。
示例性地，实体存储请求中的AI实体包括代码；实体存储请求还包括已存储的其他AI实体的标识；上述其他AI实体与代码关联；
如图7所示，该装置还包括：
第一调用模块720，用于在AI开发平台调用代码时，确定代码关联的其他AI实体，向AI开发平台提供其他AI实体的调用接口。
示例性地，如图7所示，该装置还包括：
第二接收模块730，用于接收来自AI开发平台的实体关系包；其中，实体关系包包括已存储的至少两个AI实体间的关联关系；至少两个AI实体包括模型、数据集和代码中的至少一种；
第二调用模块740，用于在AI开发平台调用目标AI实体时，根据实体关系包，确定目标AI实体关联的其他AI实体，向AI开发平台提供其他AI实体的调用接口。
示例性地，实体存储请求还包括鉴权信息；
如图7所示，该装置还包括：
验证模块750，用于根据鉴权信息，验证AI开发平台是否具备使用存储系统的权限；
第一存储模块630用于在验证通过的情况下，将AI实体存储在存储系统中。
示例性地，如图7所示该装置还包括：
第二存储模块760，用于在实体存储请求不包括存储地址的情况下，将AI实体存储在公用存储空间中。
本申请实施例提供的装置，可以执行本申请任意实施例提供的方法，具备相应的有益效果。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图8所示，是根据本申请实施例的人工智能信息的处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的人工智能信息的处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人工智能信息的处理方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人工智能信息的处理方法对应的程序指令/模块(例如，附图6所示的第一接收模块610、第一确定模块620和第一存储模块630)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人工智能信息的处理方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人工智能信息的处理方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至人工智能信息的处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
人工智能信息的处理方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与人工智能信息的处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。
根据本申请实施例的技术方案，由于接收AI开发平台的实体存储请求后，会将AI实体存储到AI开发平台指定的存储系统，因此，通过对接多个AI开发平台和存储系统，可以实现对多个AI开发平台的AI实体进行统一、规范的存储管理，减少各AI开发平台在AI实体存储管理上的重复模块开发。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (10)
1.一种人工智能信息的处理方法，应用于人工智能信息的处理装置，所述人工智能信息的处理装置与至少一个人工智能AI开发平台和至少一个存储系统交互，包括：
接收来自AI开发平台的实体存储请求；其中，所述实体存储请求包括AI实体；
在所述实体存储请求包括存储地址的情况下，根据所述存储地址，确定对应的存储系统；
将所述AI实体存储在所述存储系统中；
所述方法还包括：
接收来自AI开发平台的实体关系包；其中，所述实体关系包包括已存储的至少两个AI实体间的关联关系；所述至少两个AI实体包括模型、数据集和代码中的至少一种；
在所述AI开发平台调用目标AI实体时，根据所述实体关系包，确定所述目标AI实体关联的其他AI实体，向所述AI开发平台提供所述其他AI实体的调用接口，以使所述AI开发平台利用所述其他AI实体的调用接口，调用所述其他AI实体。
2.根据权利要求1所述的方法，其中，所述实体存储请求还包括元数据信息；所述元数据信息与所述AI实体关联；
所述方法还包括：
在接收到来自所述AI开发平台的包括所述元数据信息的处理请求时，查找所述元数据信息关联的所述AI实体，以对所述AI实体进行处理。
3.根据权利要求2所述的方法，其中，所述实体存储请求还包括鉴权信息；
所述方法还包括：
根据所述鉴权信息，验证所述AI开发平台是否具备使用所述存储系统的权限；
所述将所述AI实体存储在所述存储系统中，包括：
在验证通过的情况下，将所述AI实体存储在所述存储系统中。
4.根据权利要求2所述的方法，还包括：
在所述实体存储请求不包括所述存储地址的情况下，将所述AI实体存储在公用存储空间中。
5.一种人工智能信息的处理装置，所述人工智能信息的处理装置与至少一个人工智能AI开发平台和至少一个存储系统交互，包括：
第一接收模块，用于接收来自AI开发平台的实体存储请求；其中，所述实体存储请求包括AI实体；
第一确定模块，用于在所述实体存储请求包括存储地址的情况下，根据所述存储地址，确定对应的存储系统；
第一存储模块，用于将所述AI实体存储在所述存储系统中；
所述装置，还包括：
第二接收模块，用于接收来自AI开发平台的实体关系包；其中，所述实体关系包包括已存储的至少两个AI实体间的关联关系；所述至少两个AI实体包括模型、数据集和代码中的至少一种；
第二调用模块，用于在所述AI开发平台调用目标AI实体时，根据所述实体关系包，确定所述目标AI实体关联的其他AI实体，向所述AI开发平台提供所述其他AI实体的调用接口，以使所述AI开发平台利用所述其他AI实体的调用接口，调用所述其他AI实体。
6.根据权利要求5所述的装置，其中，所述实体存储请求还包括元数据信息；所述元数据信息与所述AI实体关联；
所述装置还包括：
查找模块，用于在接收到来自所述AI开发平台的包括所述元数据信息的处理请求时，查找所述元数据信息关联的所述AI实体，以对所述AI实体进行处理。
7.根据权利要求6所述的装置，其中，所述实体存储请求还包括鉴权信息；
所述装置还包括：
验证模块，用于根据所述鉴权信息，验证所述AI开发平台是否具备使用所述存储系统的权限；
所述第一存储模块用于在验证通过的情况下，将所述AI实体存储在所述存储系统中。
8.根据权利要求6所述的装置，还包括：
第二存储模块，用于在所述实体存储请求不包括所述存储地址的情况下，将所述AI实体存储在公用存储空间中。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310362410.XA CN116679907B (zh) | 2020-07-15 | 2020-07-15 | 人工智能信息的处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010679383.5A CN111930346B (zh) | 2020-07-15 | 2020-07-15 | 人工智能信息的处理方法、装置、电子设备和存储介质 |
| CN202310362410.XA CN116679907B (zh) | 2020-07-15 | 2020-07-15 | 人工智能信息的处理方法、装置、电子设备和存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010679383.5A Division CN111930346B (zh) | 2020-07-15 | 2020-07-15 | 人工智能信息的处理方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116679907A CN116679907A (zh) | 2023-09-01 |
| CN116679907B true CN116679907B (zh) | 2024-02-27 |
Family
ID=73313002
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310362410.XA Active CN116679907B (zh) | 2020-07-15 | 2020-07-15 | 人工智能信息的处理方法、装置、电子设备和存储介质 |
| CN202010679383.5A Active CN111930346B (zh) | 2020-07-15 | 2020-07-15 | 人工智能信息的处理方法、装置、电子设备和存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010679383.5A Active CN111930346B (zh) | 2020-07-15 | 2020-07-15 | 人工智能信息的处理方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN116679907B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116679907B (zh) * | 2020-07-15 | 2024-02-27 | 北京百度网讯科技有限公司 | 人工智能信息的处理方法、装置、电子设备和存储介质 |
| CN118487952A (zh) * | 2023-02-13 | 2024-08-13 | 维沃移动通信有限公司 | Ai模型指示方法及通信设备 |
| CN116341633B (zh) * | 2023-05-29 | 2023-09-01 | 山东浪潮科学研究院有限公司 | 一种模型部署方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102075381A (zh) * | 2010-12-14 | 2011-05-25 | 云海创想信息技术（北京）有限公司 | 一种应用于云存储的自动化测试平台服务器及系统 |
| CN104579709A (zh) * | 2014-12-30 | 2015-04-29 | 北京奇虎科技有限公司 | 数据对象共享的方法和系统、及电子设备 |
| CN106911770A (zh) * | 2017-02-20 | 2017-06-30 | 北京古盘创世科技发展有限公司 | 一种基于多云存储的数据共享方法及系统 |
| CN110134373A (zh) * | 2019-04-04 | 2019-08-16 | 口碑(上海)信息技术有限公司 | 一种函数信息获取的方法以及装置 |
| CN110750206A (zh) * | 2018-07-24 | 2020-02-04 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
| CN110855772A (zh) * | 2019-11-08 | 2020-02-28 | 北京奇艺世纪科技有限公司 | 跨设备数据存储方法、系统、装置、设备、服务器及介质 |
| CN111930346B (zh) * | 2020-07-15 | 2023-04-25 | 北京百度网讯科技有限公司 | 人工智能信息的处理方法、装置、电子设备和存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9405840B2 (en) * | 2012-12-28 | 2016-08-02 | Microsoft Technology Licensing, Llc | Using social signals to rank search results |
| US11080616B2 (en) * | 2016-09-27 | 2021-08-03 | Clarifai, Inc. | Artificial intelligence model and data collection/development platform |
| CN107943486B (zh) * | 2017-12-19 | 2020-12-18 | 北京微网通联股份有限公司 | 一种多语言代码编译方法、分发方法、装置和系统 |
| US11334571B2 (en) * | 2018-07-31 | 2022-05-17 | Marvell Asia Pte, Ltd. | Artificial intelligence-enabled search for a storage system |
| CN110825370B (zh) * | 2018-08-08 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 移动端应用开发方法、装置及系统 |
| CN109597919B (zh) * | 2018-10-18 | 2021-11-09 | 中国科学院计算机网络信息中心 | 一种融合图数据库和人工智能算法的数据管理方法及系统 |
-
2020
- 2020-07-15 CN CN202310362410.XA patent/CN116679907B/zh active Active
- 2020-07-15 CN CN202010679383.5A patent/CN111930346B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102075381A (zh) * | 2010-12-14 | 2011-05-25 | 云海创想信息技术（北京）有限公司 | 一种应用于云存储的自动化测试平台服务器及系统 |
| CN104579709A (zh) * | 2014-12-30 | 2015-04-29 | 北京奇虎科技有限公司 | 数据对象共享的方法和系统、及电子设备 |
| CN106911770A (zh) * | 2017-02-20 | 2017-06-30 | 北京古盘创世科技发展有限公司 | 一种基于多云存储的数据共享方法及系统 |
| CN110750206A (zh) * | 2018-07-24 | 2020-02-04 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
| CN110134373A (zh) * | 2019-04-04 | 2019-08-16 | 口碑(上海)信息技术有限公司 | 一种函数信息获取的方法以及装置 |
| CN110855772A (zh) * | 2019-11-08 | 2020-02-28 | 北京奇艺世纪科技有限公司 | 跨设备数据存储方法、系统、装置、设备、服务器及介质 |
| CN111930346B (zh) * | 2020-07-15 | 2023-04-25 | 北京百度网讯科技有限公司 | 人工智能信息的处理方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116679907A (zh) | 2023-09-01 |
| CN111930346B (zh) | 2023-04-25 |
| CN111930346A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10565077B2 (en) | Using cognitive technologies to identify and resolve issues in a distributed infrastructure | |
| US10942708B2 (en) | Generating web API specification from online documentation | |
| CN116679907B (zh) | 人工智能信息的处理方法、装置、电子设备和存储介质 | |
| US11062022B1 (en) | Container packaging device | |
| US11663110B2 (en) | Analysis to check web API code usage and specification | |
| US11888855B2 (en) | Website verification platform | |
| US11288375B2 (en) | Automatic detection of an incomplete static analysis security assessment | |
| US12045151B2 (en) | Graph-based impact analysis of misconfigured or compromised cloud resources | |
| WO2018114366A1 (en) | Automatic ontology generation | |
| US20160026968A1 (en) | Pattern-based product identification with feedback | |
| US10832164B2 (en) | Generating streaming analytics applications using a glossary | |
| US20200117427A1 (en) | Relevance of a source code change to compliance requirements | |
| US11216482B2 (en) | Systems and methods for access to multi-tenant heterogeneous databases | |
| US12112155B2 (en) | Software application container hosting | |
| US20190220456A1 (en) | Query driven data collection on parallel processing architecture for license metrics software | |
| US10540157B2 (en) | Systems to remove object relational mappings from a software project | |
| WO2023078078A1 (en) | Unified data security labeling framework | |
| US10620946B1 (en) | Dynamic modeling for opaque code during static analysis | |
| Srivastava | Learning Elasticsearch 7. x: Index, Analyze, Search and Aggregate Your Data Using Elasticsearch (English Edition) | |
| US10719500B2 (en) | Method for capturing evolving data | |
| US11922181B2 (en) | Configuration discovery of computer applications | |
| US20240338306A1 (en) | Automatic generation of test scenarios from specification files | |
| US20240354213A1 (en) | Graph-based impact analysis of misconfigured or compromised cloud resources | |
| US20240202466A1 (en) | Adapting prompts selected from prompt task collections | |
| CN118170848A (zh) | 车辆自动驾驶的数据管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |