CN111427549A - 一种人工智能强化学习服务平台 - Google Patents

一种人工智能强化学习服务平台 Download PDF

Info

Publication number
CN111427549A
CN111427549A CN202010239371.0A CN202010239371A CN111427549A CN 111427549 A CN111427549 A CN 111427549A CN 202010239371 A CN202010239371 A CN 202010239371A CN 111427549 A CN111427549 A CN 111427549A
Authority
CN
China
Prior art keywords
platform
cloud
environment
service
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010239371.0A
Other languages
English (en)
Other versions
CN111427549B (zh
Inventor
王晓光
曹荣强
王珏
周纯葆
张博尧
王彦棡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Computer Network Information Center of CAS
Original Assignee
Computer Network Information Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computer Network Information Center of CAS filed Critical Computer Network Information Center of CAS
Priority to CN202010239371.0A priority Critical patent/CN111427549B/zh
Publication of CN111427549A publication Critical patent/CN111427549A/zh
Application granted granted Critical
Publication of CN111427549B publication Critical patent/CN111427549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G06F8/24—Object-oriented
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/362—Software debugging
    • G06F11/3624—Software debugging by performing operations on the source code, e.g. via a compiler
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/31—Programming languages or programming paradigms
    • G06F8/315—Object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G06N3/105—Shells for specifying net layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Stored Programmes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种人工智能强化学习服务平台，从结构上划分为基础设施层、应用服务层以及接口访问层，基础设施层提供强化学习服务平台所须的网络资源、计算资源、存储资源和虚拟化服务资源，并通过虚拟化、负载均衡、容灾备份以及弹性计算技术提供云存储、云处理相关的IT基础设施服务；应用服务层包括基于Project的封装和管理模块、云端开发及调试环境模块、虚拟开发环境接口模块三部分；三者自上而下为领域研究者提供各种通用或者自定义的云端研究环境；平台将强化学习研究涉及的数据、算法以及研究环境以Project的形式，封装在虚拟化容器中，为每个使用平台的用户开辟独立的试验环境；接口访问层能够让强化学习研究者自助式的管理其云计算环境。

Description

一种人工智能强化学习服务平台
技术领域
本发明涉及前强化学习开发平台技术，特别涉及一种人工智能强化学习服务平台。
背景技术
机器学习是以研究模拟人类学习行为，在获取知识后经过学习产生新的知识为研究目标，是人工智能的核心问题之一。基于数据的机器学习是现代智能技术中的重要方法之一，研究从观测数据(样本)出发寻找规律获取知识，利用这些规律与知识，通过一定的学习模式对未来数据或无法观测的数据进行预测。机器学习根据学习模式可以分类为监督学习、无监督学习和强化学习等。强化学习的目标是学习从环境状态到行为的映射，使得智能体选择的行为能够获得环境最大的奖赏，使得外部环境对学习系统在某种意义下的评价为最佳。
近年来，强化学习已经广泛应用于工业制造、仿真模拟、机器人控制、优化与调度、游戏博弈、机器视觉等领域，并被认为是迈向通用人工智能的重要途径。但是，由于强化学习任务难度不一，任务种类难以统一集成，结果难以复现，缺少标准化环境，各研究机构纷纷推出了自己的强化学习环境。OpenAI在2016年推出了OpenAI Gym环境，旨在发展和对比不同的强化学习算法，并经过几年的发展逐渐纳入了一系列Atari游戏、经典控制、机器人控制、文字游戏等难易不同的强化学习环境；DeepMind在2018年和2019年分别发布了面向机器人控制领域的DeepMind Control Suite强化学习环境和面向博弈游戏领域的OpenSpiel强化学习环境等。虽然这些环境一定程度上在特定领域提供了标准化研究环境，但基于这些强化学习环境做开发和研究还面临着以下几个问题：训练强化学习算法需要大量计算资源，缺少可以调用大规模集群的一站式的科研环境；部署相应的强化学习开发环境耗费大量时间，由于软件版本、超参等不同，算法复现难度较大；服务器端缺少可视化的开发工具，无法实时观测到强化学习智能体环境模拟，难以快速开发和验证代码。
发明内容
本发明目的在于，提供一站式的强化学习开发平台，为快速复现、开发人工智能算法提供可视化工具，并配备数据、项目管理模块，从而促进建成强化学习统一标准化科研环境。
为实现上述目的，本发明提供了一种人工智能强化学习服务平台，该平台从结构上划分为基础设施层、应用服务层以及接口访问层，其中：
基础设施层用于提供强化学习服务平台所须的网络资源、计算资源、存储资源和虚拟化服务资源，并通过虚拟化、负载均衡、容灾备份以及弹性计算技术提供云存储、云处理相关的IT基础设施服务。
应用服务层，包括基于Project的封装和管理模块、云端开发及调试环境模块、虚拟开发环境接口模块三部分；三者自上而下为领域研究者提供各种通用或者自定义的云端研究环境；平台将强化学习研究涉及的数据、算法以及研究环境以Project的形式，封装在虚拟化容器中，为每个使用平台的用户开辟独立的试验环境。
接口访问层，是云服务消费者的接入层，能够让强化学习研究者自助式的管理其云计算环境。
进行一步地，基于Project的封装和管理模块主要完成Project的创建、Project复制、Project编辑、Project删除以及Project分享。
进行一步地，云端开发及调试环境模块包括开发工具和交互工具，所述开发工具包括在线IDE、Jupyter Notebook、云主机在线Shell工具；所述交互工具包括Tensorboard、视频播放器和云端模拟器。
进行一步地，在线IDE为基于浏览器的集成式开发环境，内置了Python的语言环境，边写代码边调试预览，实时查看效果；用户通过所述在线IDE创建Project的代码程序，进行在线开发、调试操作；
Jupyter Notebook采用容器化部署，为用户提供交互式的强化学习编程环境；客户端部分负责笔记代码的运行、存储和输出等功能,并通过markdown语法进行标记,以JSON格式发送给容器存储,容器负责存取笔记代码、调用编译内核功能。
Tensorboard采用容器化部署，实现展示Tensorflow在运行过程中的计算图、各种指标随着时间的变化趋势以及训练中使用到的数据信息的功能；平台提供TensorBoard作为在训练大规模神经网络时将复杂的运算过程可视化的工具，方便用户展示训练过程中绘制的图像、网络结构。
视频播放器采用基于OSS服务的视频播放服务器，实现将物理引擎渲染生成的视频的点播服务；平台将算法输出的视频输出至前端集成开发环境中，供研究者分析、验证算法；
在线模拟器提供了可视化和交互功能，体现在智能体环境的渲染显示、训练损失函数曲线的展示以及基于web端的实时交互功能。
进行一步地，虚拟开发环境接口模块包括工具后台管理接口、虚拟机服务心跳接口和数据同步接口。
进行一步地，接口访问层的应用包括用户注册模块、用户登录模块以及用户认证模块。
进行一步地，应用服务层还包括：
Web后台模块，其包括后端框架、Web服务器、数据库、web接口的设计和开发；
Web前端模块，其包括前端框架、前端UI、前端编程采用bootstrap、jquery和ajax技术；
数据库模块，采用mysql，Redis。
进行一步地，平台还包括后台管理模块，台管理模块包括用户管理、机时管理、权限管理、OSS服务管理、安全管理和日志管理。
本发明采用目前较为成熟的虚拟化方案，面向强化学习研究领域的计算、分析与共享的综合云服务环境。平台在基础设施之上构建包含云平台软硬件基础设施的按需、弹性、集约、可靠、安全的云端集成开发环境，达到下列目标：
1)实现算法、强化学习环境共享，达到模拟环境的高可用性；
2)实现已有的异构GPU计算资源、存储系统资源的有效整合，降低强化学习研究门槛，减少算法共享的开销，提升模拟、验证的便捷水平；
3)实现面向Project的强化学习模拟和共享典型应用，提高资源利用率和算法可靠性，为强化学习研究者提供方便、高效的支持服务。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明实施例提供的一种人工智能强化学习服务平台结构示意图；
图2为中间文件的协作渲染模式示意图。
具体实施方式
图1为本发明实施例提供的一种人工智能强化学习服务平台结构示意图。如图1所示，本发明实施例提供的人工智能强化学习服务平台从结构上划分为基础设施层、应用服务层以及接口访问层，其中：
基础设施层用于提供强化学习服务平台所须的网络资源、计算资源、存储资源和虚拟化服务资源，并通过虚拟化、负载均衡、容灾备份以及弹性计算技术提供云存储、云处理相关的IT基础设施服务。
基础设施层采用OpenStack云计算管理平台,并通过Python语言调用OpenStack服务，如Nova、Keystone、Glance、Neutron,Horizon。
应用服务层，包括基于Project的封装和管理模块、云端开发及调试环境模块、虚拟开发环境接口模块三部分；三者自上而下为领域研究者提供各种通用或者自定义的云端研究环境；平台将强化学习研究涉及的数据、算法以及研究环境以Project的形式，封装在虚拟化容器中，为每个使用平台的用户开辟独立的试验环境。
基于Project的封装和管理模块主要完成Project的创建、Project复制、Project编辑、Project删除以及Project分享。
云端开发及调试环境模块包括开发工具和交互工具，开发工具包括在线IDE、Jupyter Notebook、云主机在线Shell工具；交互工具包括Tensorboard、视频播放器和云端模拟器。
在线IDE为基于浏览器的集成式开发环境，内置了Python的语言环境，边写代码边调试预览，实时查看效果；用户通过在线IDE创建Project的代码程序，进行在线开发、调试操作；
Jupyter Notebook采用容器化部署，为用户提供交互式的强化学习编程环境；客户端部分负责笔记代码的运行、存储和输出等功能,并通过markdown语法进行标记,以JSON格式发送给容器存储,容器负责存取笔记代码、调用编译内核功能。
Tensorboard采用容器化部署，实现展示Tensorflow在运行过程中的计算图、各种指标随着时间的变化趋势以及训练中使用到的数据信息的功能；平台提供TensorBoard作为在训练大规模神经网络时将复杂的运算过程可视化的工具，方便用户展示训练过程中绘制的图像、网络结构。
平台采用Xterm，实现云端在线Shell，满足用户的跨设备访问计算环境的需求；
视频播放器采用基于OSS服务的视频播放服务器，实现将物理引擎渲染生成的视频的点播服务；平台将算法输出的视频输出至前端集成开发环境中，供研究者分析、验证算法；在线模拟器采用基于中间文件的协作渲染模式，通过Node和WebGL技术实现可交互模拟器。中间文件的协作渲染模式示意图如图2所示，中间文件的协作渲染模式通过分析物理引擎和渲染引擎运作方式，抽象物理引擎与Web渲染引擎的统一接口，设计基础文件和交互文件两种中间文件标准。物理引擎按照接口标准产生基础文件并推向公共节点，渲染引擎从公共节点拉取基础文件并解析渲染，感知用户操作并生成交互文件推向公共节点；物理引擎从公共节点拉取交互文件并解析模拟。
在线模拟器通过可视化和交互功能，体现在智能体环境的渲染显示、训练损失函数曲线的展示以及基于web端的实时交互功能。
虚拟开发环境接口模块包括工具后台管理接口、虚拟机服务心跳接口和数据同步接口。
接口访问层，是云服务消费者的接入层，能够让强化学习研究者自助式的管理其云计算环境。接口访问层的应用包括用户注册模块、用户登录模块以及用户认证模块。还包括：Web后台模块，其包括后端框架、Web服务器、数据库、web接口的设计和开发；Web前端模块，其包括前端框架、前端UI、前端编程采用bootstrap、jquery和ajax技术；数据库模块，采用mysql，Redis。
本发明实施例还包括后台管理模块，后台管理模块包括用户管理、机时管理、权限管理、OSS服务管理、安全管理和日志管理功能。
本发明实施例采用目前较为成熟的虚拟化方案，面向强化学习研究领域的计算、分析与共享的综合云服务环境。平台在基础设施之上构建包含云平台软硬件基础设施的按需、弹性、集约、可靠、安全的云端集成开发环境，达到下列目标：
1)实现算法、强化学习环境共享，达到模拟环境的高可用性；
2)实现已有的异构GPU计算资源、存储系统资源的有效整合，降低强化学习研究门槛，减少算法共享的开销，提升模拟、验证的便捷水平；
3)实现面向Project的强化学习模拟和共享典型应用，提高资源利用率和算法可靠性，为强化学习研究者提供方便、高效的支持服务。
显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。

Claims (8)

1.一种人工智能强化学习服务平台，其特征在于，结构上划分为基础设施层、应用服务层以及接口访问层，其中：
所述基础设施层，用于提供强化学习服务平台所须的网络资源、计算资源、存储资源和虚拟化服务资源，并通过虚拟化、负载均衡、容灾备份以及弹性计算技术提供云存储、云处理相关的IT基础设施服务；
所述应用服务层，包括基于Project的封装和管理模块、云端开发及调试环境模块、虚拟开发环境接口模块三部分；三者自上而下为领域研究者提供各种通用或者自定义的云端研究环境；平台将强化学习研究涉及的数据、算法以及研究环境以Project的形式，封装在虚拟化容器中，为每个使用平台的用户开辟独立的试验环境；
所述接口访问层，是云服务消费者的接入层，能够让强化学习研究者自助式的管理其云计算环境。
2.根据权利要求1所述的平台，其特征在于，所述基于Project的封装和管理模块主要完成Project的创建、Project复制、Project编辑、Project删除以及Project分享。
3.根据权利要求1所述的平台，其特征在于，所述云端开发及调试环境模块包括开发工具和交互工具，所述开发工具包括在线IDE、Jupyter Notebook、云主机在线Shell工具；所述交互工具包括Tensorboard、视频播放器和云端模拟器。
4.根据权利要求3所述的平台，其特征在于，
所述在线IDE为基于浏览器的集成式开发环境，内置了Python的语言环境，边写代码边调试预览，实时查看效果；用户通过所述在线IDE创建Project的代码程序，进行在线开发、调试操作；
所述Jupyter Notebook采用容器化部署，为用户提供交互式的强化学习编程环境；客户端部分负责笔记代码的运行、存储和输出等功能,并通过markdown语法进行标记,以JSON格式发送给容器存储,容器负责存取笔记代码、调用编译内核功能。
所述Tensorboard采用容器化部署，实现展示Tensorflow在运行过程中的计算图、各种指标随着时间的变化趋势以及训练中使用到的数据信息的功能；平台提供TensorBoard作为在训练大规模神经网络时将复杂的运算过程可视化的工具，方便用户展示训练过程中绘制的图像、网络结构。
所述视频播放器采用基于OSS服务的视频播放服务器，实现将物理引擎渲染生成的视频的点播服务；平台将算法输出的视频输出至前端集成开发环境中，供研究者分析、验证算法；
在线模拟器提供了可视化和交互功能，体现在智能体环境的渲染显示、训练损失函数曲线的展示以及基于web端的实时交互功能。
5.根据权利要求1所述的平台，其特征在于，所述虚拟开发环境接口模块包括工具后台管理接口、虚拟机服务心跳接口和数据同步接口。
6.根据权利要求1所述的平台，其特征在于，所述接口访问层的应用包括用户注册模块、用户登录模块以及用户认证模块。
7.根据权利要求1所述的平台，其特征在于，所述应用服务层还包括：
Web后台模块，其包括后端框架、Web服务器、数据库、web接口的设计和开发；
Web前端模块，其包括前端框架、前端UI、前端编程采用bootstrap、jquery和ajax技术；
数据库模块，采用mysql，Redis。
8.根据权利要求1所述的平台，其特征在于，还包括后台管理模块，后台管理模块包括用户管理、机时管理、权限管理、OSS服务管理、安全管理和日志管理。
CN202010239371.0A 2020-03-30 2020-03-30 一种人工智能强化学习服务平台 Active CN111427549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010239371.0A CN111427549B (zh) 2020-03-30 2020-03-30 一种人工智能强化学习服务平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010239371.0A CN111427549B (zh) 2020-03-30 2020-03-30 一种人工智能强化学习服务平台

Publications (2)

Publication Number Publication Date
CN111427549A true CN111427549A (zh) 2020-07-17
CN111427549B CN111427549B (zh) 2022-04-26

Family

ID=71549224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010239371.0A Active CN111427549B (zh) 2020-03-30 2020-03-30 一种人工智能强化学习服务平台

Country Status (1)

Country Link
CN (1) CN111427549B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181644A (zh) * 2020-09-21 2021-01-05 上海微亿智造科技有限公司 用于机器学习组件Jupyter跨域的方法、系统及装置
CN112667594A (zh) * 2021-01-14 2021-04-16 北京智源人工智能研究院 一种基于混合云资源的异构计算平台及模型训练方法
CN112947903A (zh) * 2021-02-26 2021-06-11 复旦大学 面向教育无人机的基于Scratch的图形化编程系统、平台及方法
CN113377355A (zh) * 2021-06-07 2021-09-10 深圳市优服网技术服务有限公司 一种人工智能强化学习服务系统
CN113379054A (zh) * 2021-05-28 2021-09-10 中国科学院自动化研究所 开放式智能博弈生态平台
CN113626003A (zh) * 2021-08-16 2021-11-09 杭州群核信息技术有限公司 云端机器人解决方案系统
CN114841298A (zh) * 2022-07-06 2022-08-02 山东极视角科技有限公司 一种训练算法模型的方法、装置、电子设备和存储介质
CN117114088A (zh) * 2023-10-17 2023-11-24 安徽大学 一种基于统一ai框架的深度强化学习智能决策平台
CN117555593A (zh) * 2024-01-11 2024-02-13 麒麟软件有限公司 一种多端自适应的Web桌面环境

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971257A (zh) * 2017-02-20 2017-07-21 管斌彬 一种基于云平台的智慧学习系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971257A (zh) * 2017-02-20 2017-07-21 管斌彬 一种基于云平台的智慧学习系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
林伟: "阿里重磅发布机器学习平台PAI3.0", 《HTTPS://WWW.INFOQ.CN/ARTICLE/JJ4PJKF8HUF-WVLE7XW7》 *
滴滴机器学习平台技术团队: "滴滴机器学习平台架构演进之路", 《INFOQ.CN/ARTICLE/JJ4PJKF8HUF-WVIE7XW7》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181644A (zh) * 2020-09-21 2021-01-05 上海微亿智造科技有限公司 用于机器学习组件Jupyter跨域的方法、系统及装置
CN112181644B (zh) * 2020-09-21 2021-08-06 上海微亿智造科技有限公司 用于机器学习组件Jupyter跨域的方法、系统及装置
CN112667594A (zh) * 2021-01-14 2021-04-16 北京智源人工智能研究院 一种基于混合云资源的异构计算平台及模型训练方法
CN112947903A (zh) * 2021-02-26 2021-06-11 复旦大学 面向教育无人机的基于Scratch的图形化编程系统、平台及方法
CN112947903B (zh) * 2021-02-26 2024-07-05 复旦大学 面向教育无人机的基于Scratch的图形化编程系统、平台及方法
CN113379054B (zh) * 2021-05-28 2022-09-27 中国科学院自动化研究所 开放式智能博弈生态平台
CN113379054A (zh) * 2021-05-28 2021-09-10 中国科学院自动化研究所 开放式智能博弈生态平台
CN113377355A (zh) * 2021-06-07 2021-09-10 深圳市优服网技术服务有限公司 一种人工智能强化学习服务系统
CN113626003A (zh) * 2021-08-16 2021-11-09 杭州群核信息技术有限公司 云端机器人解决方案系统
CN114841298A (zh) * 2022-07-06 2022-08-02 山东极视角科技有限公司 一种训练算法模型的方法、装置、电子设备和存储介质
CN114841298B (zh) * 2022-07-06 2022-09-27 山东极视角科技有限公司 一种训练算法模型的方法、装置、电子设备和存储介质
CN117114088A (zh) * 2023-10-17 2023-11-24 安徽大学 一种基于统一ai框架的深度强化学习智能决策平台
CN117114088B (zh) * 2023-10-17 2024-01-19 安徽大学 一种基于统一ai框架的深度强化学习智能决策平台
CN117555593A (zh) * 2024-01-11 2024-02-13 麒麟软件有限公司 一种多端自适应的Web桌面环境
CN117555593B (zh) * 2024-01-11 2024-04-09 麒麟软件有限公司 一种多端自适应的Web桌面环境

Also Published As

Publication number Publication date
CN111427549B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN111427549B (zh) 一种人工智能强化学习服务平台
Coronado et al. Visual programming environments for end-user development of intelligent and social robots, a systematic review
Fingerhuth et al. Open source software in quantum computing
US11113585B1 (en) Artificially intelligent systems, devices, and methods for learning and/or using visual surrounding for autonomous object operation
US10664766B2 (en) Graphical user interface to an artificial intelligence engine utilized to generate one or more trained artificial intelligence models
US20220172633A1 (en) Augmented reality and virtual reality systems
CN112199086B (zh) 自动编程控制系统、方法、装置、电子设备及存储介质
TW200919310A (en) Software factory specification and execution model
CN113069769B (zh) 云游戏界面显示方法、装置、电子设备以及存储介质
Wielemaker et al. Using SWISH to realize interactive web-based tutorials for logic-based languages
CN112755534B (zh) 一种数据处理方法、装置和存储介质
Nardone et al. Video game bad smells: What they are and how developers perceive them
KR20140021389A (ko) 모델 제작 및 실행 분리형 시뮬레이션 장치 및 그 방법
Tang et al. Towards a domain specific modelling language for serious game design
Feng et al. How Far Are We From AGI
Shoulson et al. Paste: A platform for adaptive storytelling with events
Lerchner et al. An open S-BPM runtime environment based on abstract state machines
Manske et al. Learner modeling and learning analytics in computational thinking games for education
CN113377355A (zh) 一种人工智能强化学习服务系统
Vieth et al. PymoNNto: a flexible modular toolbox for designing brain-inspired neural networks
Jacquet et al. Scan: A Simple Coordination Workbench
Lachaume et al. Task model simulators: a review
Masood et al. Machine Learning on Kubernetes: A practical handbook for building and using a complete open source machine learning platform on Kubernetes
Yang JavelinaCode: A Web-Based Object-Oriented Programming Environment with Static and Dynamic Visualization
Seo et al. Pvot: An interactive authoring tool for virtual reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant