CN116402157A - 一种拖拽式机器学习节点可视化调度平台及其方法 - Google Patents

一种拖拽式机器学习节点可视化调度平台及其方法 Download PDF

Info

Publication number
CN116402157A
CN116402157A CN202310301164.7A CN202310301164A CN116402157A CN 116402157 A CN116402157 A CN 116402157A CN 202310301164 A CN202310301164 A CN 202310301164A CN 116402157 A CN116402157 A CN 116402157A
Authority
CN
China
Prior art keywords
node
module
machine learning
nodes
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310301164.7A
Other languages
English (en)
Inventor
魏玉良
卢佳星
李昊天
刘轩毓
俞斌
侯晓辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weihai Weilai Data Technology Co ltd
Original Assignee
Weihai Weilai Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weihai Weilai Data Technology Co ltd filed Critical Weihai Weilai Data Technology Co ltd
Priority to CN202310301164.7A priority Critical patent/CN116402157A/zh
Publication of CN116402157A publication Critical patent/CN116402157A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/31—Programming languages or programming paradigms
    • G06F8/315—Object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)

Abstract

本申请提供了一种拖拽式机器学习节点可视化调度平台，包括基础设施层、平台服务层和应用层，基础设施层用于提供底层支持，平台服务层按照所需解决方案的设计流程，提供操作开发及运行阶段的服务；应用层用于提供面向各种场景的预定义节点算子。本申请还提供一种拖拽式机器学习节点可视化调度方法。本申请解决了当前拖拽式机器学习平台节点固定、执行流程不灵活以及基于Spark构建所带来的大数据计算效率低的问题，实现灵活且用户自由配置的节点调度流程，大大提高深度学习模型训练的自主性，提升模型的部署效率；大幅提高了数据计算效率；为多场景、多领域模型部署提供完整的技术支撑；应用前景十分广泛。

Description

一种拖拽式机器学习节点可视化调度平台及其方法
技术领域
本申请属于人工智能技术领域，更具体地说，是涉及一种拖拽式机器学习节点可视化调度平台及其方法。
背景技术
随着人工智能算法席卷整个社会生产、生活的方方面面，机器学习、深度学习算法也受到越来越多人的关注。随着深度学习算法学术研究的增长点趋于饱和，人们开始将更多的注意力投向算法可视化落地应用、与生产实践相结合的方式，因此近年来涌现了一批基于拖拽式的机器学习快速部署平台，例如阿里的PAI平台、中科院计算所的EasyML平台等，具备一定的可视化、交互式模型搭建、操作简便、无代码等特性。然而目前该类机器学习平台普遍存在因过于强调拖拽式节点构建、减少用户直接使用代码开发，所导致的节点功能单一、二次开发困难、调度流程不灵活等问题，且该类平台普遍基于Spark引擎构建大数据计算平台，运算的中间结果需要存储到硬盘等外部存储设备上而无法在内存中停留，导致运算过程中需要频繁与硬盘交互数据，由此带来的计算效率低等问题。
申请内容
为实现上述目的，本申请采用的技术方案是：提供一种拖拽式机器学习节点可视化调度平台，包括基础设施层、平台服务层和应用层；
所述基础设施层，用于提供底层支持，为平台服务层和应用层提供应用开发接口；
所述平台服务层，按照所需解决方案的设计流程，提供操作开发及运行阶段的服务；
所述应用层，用于提供面向各种场景的预定义节点算子。
可选地，所述平台服务层包括节点管理模块，所述节点管理模块包括节点选区、节点代码编辑区，画布区和参数配置区；
所述节点选区包括预先配置的各种场景的预定义节点；
所述节点代码编辑区用于对节点的代码进行编辑；
所述画布区用于拖拽所需节点以及连线；
所述参数配置区用于修改各节点及各节点之间连线的参数。
可选地，所述平台服务层还包括可视化建模模块、交互式建模模块、智能生态市场模块、用户工作空间模块；
所述可视化建模模块，通过拖拽方式构建所需解决方案，提供多种组件、算子；自定义Python/自定义SQL建模和拖拽构建Pipeline；
所述交互式建模模块，用于开发和调试所需的模型代码，提供Jupyter notebook交互式编程、多框架兼容API服务、自定义Image镜像；
所述智能生态市场模块，用于提供算法、模型及解决方案，实现相关业务和技术的对接；
所述用户工作空间模块，用于提供运行所需的所有数据。
可选地，所述平台服务层还包括项目管理模块和用户管理模块；
所述项目管理模块，用于组织与管理不同的项目，包括新建项目、删除项目、移动项目；
所述用户管理模块，用于管理不同平台用户，包括为系统管理员提供的用户添加功能、用户删除功能和用户权限设置功能。
可选地，所述基础设施层包括硬件设施模块、机器学习模块、镜像与容器服务模块以及计算引擎模块；
所述硬件设施模块，用于为用户提供多种不同的硬件计算环境，包括CPU、GPU以及各类并行计算单元；
所述机器学习模块，支持机器学习与深度学习、数据分析算法框架，包括TensorFlow、PyTorch、Scikit-Learn、Numpy或用户自主扩展学习框架；
所述镜像与容器服务模块，支持虚拟化引擎，提供虚拟化服务，包括Docker、Kubernetes；
所述计算引擎，为用户提供场景计算服务，包括Spark或Hadoop大数据计算引擎、NumPy数据分析引擎、CUDA toolkit并行计算引擎以及实时计算引擎。
可选地，所述并行计算单元包括TPU，所述实时计算引擎为Flink。
可选地，所述应用层包括数据采集/数据融合模块、数据处理模块、数据分析模块、结果展示模块；
所述数据采集/数据融合模块，用于提供数据采集与融合算子；包括网络爬虫算子；数据库接入算子以及多源数据融合算子；
所述数据处理模块，用于提供数据处理的算子；包括数据过滤算子、数据采样算子以及特征提取算子；
所述数据分析模块，用于提供数据分析的算子，包括自然语言处理算子、视觉图像多模态算子、数据分析算子；
所述结果展示模块，用于提供可视化结果展示的算子，包括二维绘图模块算子和三维绘图模块算子。
本申请还提供一种拖拽式机器学习节点可视化调度方法，包括以下步骤：
步骤1，创建项目；
步骤2，创建节点，从节点选区选取所需的节点，并拖拽至画布区，根据流程要求为节点连线；
步骤3，根据场景需求，修改节点代码和配置参数；
步骤4，根据代码运行流程，确定节点之间的连线；
步骤5，运行项目。
可选地，步骤3中，双击画布区中任意节点，节点代码编辑区展示该节点的代码，修改该节点的代码并保存，即可改变该节点的执行逻辑；
单击任意节点，参数配置区展示该节点的可配置参数，可根据场景需求进行修改。
可选地，步骤4中，双击两节点之间的连线，双击两节点之间的连线，在数配置区展示出“node_inputs”和“node_outputs”两个变量，分别代表输入侧节点的变量名以及输出侧节点的变量名，通过配置每一条连线的输入与输出内容，定义节点之间数据的交互内容，实现两节点之间传递的结构体的修改。
本申请解决了当前拖拽式机器学习平台节点固定、执行流程不灵活以及基于Spark构建所带来的大数据计算效率低的问题，本申请采用交互式Python编程环境JupyterNotebook为内核，将Notebook的一个代码单元格(cell)作为可拖拽地最小调度单元，封装为可视化平台中的一个节点，并基于Jupyter内核解释器开发一套可编程的节点运行调度系统，实现灵活且用户自由配置的节点调度流程，大大提高深度学习模型训练的自主性，提升模型的部署效率。同时由于该平台底层使用Jupyter Notebook作为内核，全部计算数据在运行时均被存储在内存而不经由硬盘等外部设备，以此大幅提高了数据计算效率。此外，本系统兼容GPU/CPU等常见计算单元，支持PyTorch、TensorFlow、Scikit-Learn等常见数据分析与计算框架，为多场景、多领域模型部署提供完整的技术支撑。
本申请致力于让开发者更高效、简洁、标准地使用人工智能技术，在使用平台的预设功能节点的基础上添加个性化需求进行数据采集、融合以及分析等，让深度学习算法的训练与部署更简便、更高效、更实用。该申请具备按需配置分析算子、灵活丰富的结果展示等功能。
本申请可广泛应用于金融、医疗、教育、交通以及安全等各个领域，如智能问答、搜索引擎、推荐系统、金融服务系统等，为各行各业提供强大的数据分析、数据挖掘等人工智能算法服务，应用前景十分广泛。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请拖拽式机器学习节点可视化调度平台的软件架构图；
图2为本申请拖拽式机器学习节点可视化调度方法的流程图；
图3为本申请实际应用中的节点调度流程图；
图4为采用本申请拖拽式机器学习节点可视化调度方法展示的可视化数据。
具体实施方式
为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
现对本申请实施例提供的拖拽式机器学习节点可视化调度平台进行说明。参见图1，一种拖拽式机器学习节点可视化调度平台，包括基础设施层、平台服务层和应用层。
基础设施层用于提供底层支持，整合并适配多种软、硬件环境，为平台服务层和应用层提供应用开发接口。
基础设施层包括硬件设施模块、机器学习模块、镜像与容器服务模块以及计算引擎模块。
其中，硬件设施模块包括CPU、GPU以及其他各类并行计算单元，
CPU的架构为x86或ARM；
其他各类并行计算单元包括TPU；
CPU、GPU以及其他各类并行计算单元均采用市售方式取得。
硬件设施模块用于为用户提供多种不同的硬件计算环境。
机器学习模块包括TensorFlow、PyTorch、Scikit-Learn、Numpy或用户自主扩展学习框架，支持多种机器学习与深度学习、数据分析算法框架。
镜像与容器服务模块包括Docker、Kubernetes等，支持多种虚拟化引擎，提供虚拟化服务。
计算引擎包括Spark或Hadoop等大数据计算引擎、NumPy等数据分析引擎、CUDAtoolkit等并行计算引擎以及实时计算引擎，实时计算引擎为Flink。为用户提供多种场景计算服务。
平台服务层，按照所需解决方案的设计流程，提供方便操作的开发及运行阶段的产品。
平台服务层包括可视化建模模块、交互式建模模块、智能生态市场模块、用户工作空间模块、项目管理模块、节点管理模块、用户管理模块。
其中，可视化建模模块，用于开发人员通过拖拽方式快速构建所需解决方案，提供多种组件、算子；自定义Python/自定义SQL建模；拖拽构建Pipeline。
交互式建模模块，用于开发人员快速开发和调试所需的模型代码，提供Jupyternotebook交互式编程、多框架兼容API服务、自定义Image镜像等。
智能生态市场模块，用于为开发人员提供丰富的算法、模型及解决方案，实现相关业务和技术的高效对接，提供算法、模型和智能解决方案。智能解决方案包括预设的多种解决方案。
用户工作空间模块，用于提供运行所需的所有数据，包括代码、数据集、存储的结果数据、解决方案节点树(节点结构)、节点配置等。
项目管理模块，用于组织与管理不同的项目，包括新建项目、删除项目、移动项目等管理功能。
节点管理模块，用于选择与编辑节点，提供节点选择拖拽、新建节点、删除节点、修改节点代码、配置节点结构等管理功能。
包括节点选区、节点代码编辑区，画布区和参数配置区。
其中，节点选区包括预先配置的各种场景的预定义节点；节点代码编辑区用于对节点的代码进行编辑；画布区用于拖拽所需节点以及连线；参数配置区用于修改各节点及各节点之间连线的参数。
用户管理模块，用于管理不同平台用户，包括为系统管理员提供用户添加、用户删除、用户权限设置等管理功能。
应用层用于提供面向各种场景的预定义节点算子。
包括数据采集/数据融合模块、数据处理模块、数据分析模块、结果展示模块。
其中，数据采集/数据融合模块提供常见的数据采集与融合算子，如微博爬虫、新闻爬虫等各种网络爬虫算子、MySQL、MongoDB等数据库接入算子以及多源数据融合算子等。
数据处理模块，用于提供数据处理的算子；
数据处理模块包括数据清洗、去噪等数据过滤算子；随机采样、规则采样的数据采样算子；数据分析算子。
所述结果展示模块，用于提供可视化结果展示的算子，包括二维绘图模块算子和三维绘图模块算子。
本申请还提供一种拖拽式机器学习节点可视化调度方法，包括以下步骤：
步骤1，创建项目。登陆平台，在导航栏选择项目管理并新建项目。
步骤2，创建节点。从节点选区选取所需的节点，并拖拽至画布区，
根据流程要求为节点连线。节点选区预先配置各种场景的预定义节点。
步骤3，根据场景需求，修改节点代码和配置参数。
双击任意节点，修改代码。具体的，双击画布区中任意节点，节点代码编辑区展示该节点的代码。修改该节点的代码并保存，即可改变该节点的执行逻辑。
此外，单击任意节点，参数配置区展示该节点的可配置参数，可根据场景需求进行修改。
步骤4，根据代码运行流程，确定节点之间连线。
双击两节点之间的连线，修改两节点之间传递的结构体。具体的，参见图3，双击两节点之间的连线，在数配置区展示出“node_inputs”以及“node_outputs”两个变量，分别代表输入侧节点的变量名以及输出侧节点的变量名，通过配置每一条连线的输入与输出内容，定义节点之间数据的交互内容。
步骤5，运行项目。通过点击运行按钮，即可运行整个项目。此外，还可以通过右键任意节点并选择“运行到此处”的方式沿着部分节点轨迹，依次运行项目部分节点。
实际应用示例：
参见图2，所示以调度逻辑较为复杂的机器学习任务为例。
步骤1，创建项目。登陆平台，在导航栏选择项目管理并新建项目，为项目起名为“深度学习示例”。
步骤2，创建节点。从节点选区选取预定义的节点，并拖拽至画布区，例如图中“Embedding”、“LSTM”、“全连接层”等节点。此外，根据该项目需求，自主添加其他功能节点，并编辑代码，如“训练数据”、“MPLR模型输入”、“逻辑规则推理”、“模型训练”等节点。
步骤3，根据场景需求，修改节点代码。
双击任意节点，修改代码。对于自主添加的节点，如“训练数据”等节点，或需要修改的节点，如“全连接层”等节点，双击画布区中该节点，在节点代码编辑区修改该节点的代码。修改完成后保存，即可改变该节点的执行逻辑。此外，根据每一个节点的具体功能，单击该节点，在参数配置区配置该节点的参数，例如修改“全连接层”节点的所代表神经网络层的参数，修改完成后点击保存。
步骤4，根据代码运行流程，确定节点之间连线，参见图2中实线所示。
双击两节点之间的连线，修改两节点之间传递的结构体。具体的，双击两节点之间的连线，在参数配置区展示出输入以及输出两个变量。例如，点击“训练数据”与“模型训练”节点之间的连线，将“node_inputs”参数修改为“模型训练”节点输入的变量名；将“node_outputs”参数修改为“训练数据”节点输出的变量名。
步骤5，组织项目运行逻辑。该场景涉及三个彼此串行的任务组，即训练流、验证流以及测试流，同时，在每一个任务组中也以串行的方式执行组内的任务流程。针对此类复杂的任务流程，需要使用平台内置的流程调度语句来组织不同任务组之间的执行顺序，如图3所示。
步骤6，运行项目。通过点击运行按钮，即可运行整个项目。此外，还可以通过右键“模型训练”节点并选择“运行到此处”，即可运行以“模型训练”节点为终点的项目流程。最终，该项目输出以图表的形式展示出模型的预测性能，如图4所示。
本申请能够实现调度流程，在机器学习领域进行模型训练时，一般会将数据集划分为三种数据集合，分别是训练集、验证集和测试集，通过利用这三种数据集合进行如下训练过程：根据训练集来调整模型内参数获取更好的分类效果，当完成几个epoch后，使用验证集检验模型的状态、收敛效果，然后继续使用训练集对模型进行训练，循环执行上述过程，直到实际训练次数到达设置的训练次数，或者模型在验证集上性能不再有显著提升，然后使用测试集对模型进行测试，评价模型泛化能力。
本申请解决了当前拖拽式机器学习平台节点固定、执行流程不灵活以及基于Spark构建所带来的大数据计算效率低的问题，本申请采用交互式Python编程环境JupyterNotebook为内核，将Notebook的一个代码单元格(cell)作为可拖拽地最小调度单元，封装为可视化平台中的一个节点，并基于Jupyter内核解释器开发一套可编程的节点运行调度系统，实现灵活且用户自由配置的节点调度流程，大大提高深度学习模型训练的自主性，提升模型的部署效率。同时由于该平台底层使用Jupyter Notebook作为内核，全部计算数据在运行时均被存储在内存而不经由硬盘等外部设备，以此大幅提高了数据计算效率。此外，本系统兼容GPU/CPU等常见计算单元，支持PyTorch、TensorFlow、Scikit-Learn等常见数据分析与计算框架，为多场景、多领域模型部署提供完整的技术支撑。
本申请致力于让开发者更高效、简洁、标准地使用人工智能技术，在使用平台的预设功能节点的基础上添加个性化需求进行数据采集、融合以及分析等，让深度学习算法的训练与部署更简便、更高效、更实用。该申请具备按需配置分析算子(按需提供机器学习、深度学习算子定制，预置多种机器学习分析算法)、灵活丰富的结果展示(支持多种以上结果可视化展示)等功能。
本申请可广泛应用于金融、医疗、教育、交通以及安全等各个领域，如智能问答、搜索引擎、推荐系统、金融服务系统等，为各行各业提供强大的数据分析、数据挖掘等人工智能算法服务，应用前景十分广泛。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种拖拽式机器学习节点可视化调度平台，其特征在于：包括基础设施层、平台服务层和应用层；
所述基础设施层，用于提供底层支持，为平台服务层和应用层提供应用开发接口；
所述平台服务层，按照所需解决方案的设计流程，提供操作开发及运行阶段的服务；
所述应用层，用于提供面向各种场景的预定义节点算子。
2.如权利要求1所述的一种拖拽式机器学习节点可视化调度平台，其特征在于：所述平台服务层包括节点管理模块，所述节点管理模块包括节点选区、节点代码编辑区，画布区和参数配置区；
所述节点选区包括面向各种场景的预定义节点；
所述节点代码编辑区用于对节点的代码进行编辑；
所述画布区用于拖拽所需节点以及连线；
所述参数配置区用于修改各节点及各节点之间连线的参数。
3.如权利要求2所述的一种拖拽式机器学习节点可视化调度平台，其特征在于：所述平台服务层还包括可视化建模模块、交互式建模模块、智能生态市场模块、用户工作空间模块；
所述可视化建模模块，通过拖拽方式构建所需解决方案，提供多种组件、算子；自定义Python/自定义SQL建模和拖拽构建Pipeline；
所述交互式建模模块，用于开发和调试所需的模型代码，提供Jupyter notebook交互式编程、多框架兼容API服务、自定义Image镜像；
所述智能生态市场模块，用于提供算法、模型及解决方案，实现相关业务和技术的对接；
所述用户工作空间模块，用于提供运行所需的所有数据。
4.如权利要求3所述的一种拖拽式机器学习节点可视化调度平台，其特征在于：所述平台服务层还包括项目管理模块和用户管理模块；
所述项目管理模块，用于组织与管理不同的项目，包括新建项目、删除项目、移动项目；
所述用户管理模块，用于管理不同平台用户，包括为系统管理员提供的用户添加功能、用户删除功能和用户权限设置功能。
5.如权利要求1所述的一种拖拽式机器学习节点可视化调度平台，其特征在于：所述基础设施层包括硬件设施模块、机器学习模块、镜像与容器服务模块以及计算引擎模块；
所述硬件设施模块，用于为用户提供多种不同的硬件计算环境，包括CPU、GPU以及各类并行计算单元；
所述机器学习模块，支持机器学习与深度学习、数据分析算法框架，包括TensorFlow、PyTorch、Scikit-Learn、Numpy或用户自主扩展学习框架；
所述镜像与容器服务模块，支持虚拟化引擎，提供虚拟化服务，包括Docker、Kubernetes；
所述计算引擎，为用户提供场景计算服务，包括Spark或Hadoop大数据计算引擎、NumPy数据分析引擎、CUDA toolkit并行计算引擎以及实时计算引擎。
6.如权利要求5所述的一种拖拽式机器学习节点可视化调度平台，其特征在于：所述并行计算单元包括TPU，所述实时计算引擎为Flink。
7.如权利要求1所述的一种拖拽式机器学习节点可视化调度平台，其特征在于：所述应用层包括数据采集/数据融合模块、数据处理模块、数据分析模块、结果展示模块；
所述数据采集/数据融合模块，用于提供数据采集与融合算子；包括网络爬虫算子；数据库接入算子以及多源数据融合算子；
所述数据处理模块，用于提供数据处理的算子；包括数据过滤算子、数据采样算子以及特征提取算子；
所述数据分析模块，用于提供数据分析的算子，包括自然语言处理算子、视觉图像多模态算子、数据分析算子；
所述结果展示模块，用于提供可视化结果展示的算子，包括二维绘图模块算子和三维绘图模块算子。
8.一种拖拽式机器学习节点可视化调度方法，其特征在于：包括以下步骤：
步骤1，创建项目；
步骤2，创建节点，从节点选区选取所需的节点，并拖拽至画布区，根据流程要求为节点连线；
步骤3，根据场景需求，修改节点代码和配置参数；
步骤4，根据代码运行流程，确定节点之间的连线；
步骤5，运行项目。
9.如权利要求8所述的一种拖拽式机器学习节点可视化调度方法，其特征在于：步骤3中，双击画布区中任意节点，节点代码编辑区展示该节点的代码，修改该节点的代码并保存，即可改变该节点的执行逻辑；
单击任意节点，参数配置区展示该节点的可配置参数，可根据场景需求进行修改。
10.如权利要求8所述的一种拖拽式机器学习节点可视化调度方法，其特征在于：步骤4中，双击两节点之间的连线，双击两节点之间的连线，在数配置区展示出“node_inputs”和“node_outputs”两个变量，分别代表输入侧节点的变量名以及输出侧节点的变量名，通过配置每一条连线的输入与输出内容，定义节点之间数据的交互内容，实现两节点之间传递的结构体的修改。
CN202310301164.7A 2023-03-22 2023-03-22 一种拖拽式机器学习节点可视化调度平台及其方法 Pending CN116402157A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310301164.7A CN116402157A (zh) 2023-03-22 2023-03-22 一种拖拽式机器学习节点可视化调度平台及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310301164.7A CN116402157A (zh) 2023-03-22 2023-03-22 一种拖拽式机器学习节点可视化调度平台及其方法

Publications (1)

Publication Number Publication Date
CN116402157A true CN116402157A (zh) 2023-07-07

Family

ID=87015313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310301164.7A Pending CN116402157A (zh) 2023-03-22 2023-03-22 一种拖拽式机器学习节点可视化调度平台及其方法

Country Status (1)

Country Link
CN (1) CN116402157A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578300A (zh) * 2023-07-13 2023-08-11 江西云眼视界科技股份有限公司 一种基于可视化组件的应用创建方法、设备及存储介质
CN117932972A (zh) * 2024-03-15 2024-04-26 南京凯奥思数据技术有限公司 基于web应用于设备状态算法模型的可视化建模平台及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578300A (zh) * 2023-07-13 2023-08-11 江西云眼视界科技股份有限公司 一种基于可视化组件的应用创建方法、设备及存储介质
CN116578300B (zh) * 2023-07-13 2023-11-10 江西云眼视界科技股份有限公司 一种基于可视化组件的应用创建方法、设备及存储介质
CN117932972A (zh) * 2024-03-15 2024-04-26 南京凯奥思数据技术有限公司 基于web应用于设备状态算法模型的可视化建模平台及方法
CN117932972B (zh) * 2024-03-15 2024-05-28 南京凯奥思数据技术有限公司 基于web应用于设备状态算法模型的可视化建模平台及方法

Similar Documents

Publication Publication Date Title
CN116402157A (zh) 一种拖拽式机器学习节点可视化调度平台及其方法
CN112199086A (zh) 自动编程控制系统、方法、装置、电子设备及存储介质
WO2021155686A1 (zh) 一种制作动画的方法、装置、计算设备及存储介质
Balmer et al. CASM—the right environment for simulation
CN103984818B (zh) 基于Flex技术的AUV设计流程可视化建模方法
CN110119271A (zh) 一种跨机器学习平台的模型定义协议及适配系统
CN109976735A (zh) 一种基于web可视化的知识图谱算法应用平台
CN107678790A (zh) 流计算方法、装置及系统
CN109543067A (zh) 基于人工智能的企业生产状况实时监控分析系统
CN104268695A (zh) 一种多中心流域水环境分布式集群管理系统及方法
CN101083019A (zh) 基于空间态势感知的快速评估系统
CN109784708A (zh) 水行业多模型耦合计算的云服务系统
CN106294439A (zh) 一种数据推荐系统及其数据推荐方法
CN102982209A (zh) 基于hla的空间网络可视化仿真系统及仿真方法
CN113222170B (zh) 一种用于物联网ai协同服务平台的智能算法和模型
Coronado et al. Towards a modular and distributed end-user development framework for human-robot interaction
CN111159427B (zh) 一种基于众包的知识图谱构建方法及系统
CN114238662A (zh) 一种面向银行业的全栈式金融知识图谱平台
CN106096159B (zh) 一种云平台下的分布式系统行为仿真分析系统的实现方法
Larsen Going beyond BDI for agent-based simulation
Khalajzadeh et al. Visual languages for supporting big data analytics development
CN114386615A (zh) 基于可视化拖拉的机器学习分析方法、系统、设备及介质
CN106777092A (zh) 移动云计算环境下动态Skyline查询的智能医疗呼叫查询方法
CN106647411A (zh) 信息物理融合系统CPS的Agent构造方法及装置
Christiansson Dynamic Knowledge Nets in a changing building process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination