CN112966439A - 机器学习模型训练方法、装置以及虚拟实验箱 - Google Patents
机器学习模型训练方法、装置以及虚拟实验箱 Download PDFInfo
- Publication number
- CN112966439A CN112966439A CN202110248976.0A CN202110248976A CN112966439A CN 112966439 A CN112966439 A CN 112966439A CN 202110248976 A CN202110248976 A CN 202110248976A CN 112966439 A CN112966439 A CN 112966439A
- Authority
- CN
- China
- Prior art keywords
- hyper
- control
- experiment box
- parameter
- packaged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例涉及一种机器学习模型训练方法、装置以及虚拟实验箱,方法包括:从多个虚拟实验箱中确定目标实验箱,其中,不同的虚拟实验箱封装有不同的初始模型;输出所述目标实验箱对应的可视化配置界面,所述可视化配置界面上包括至少一个可供用户设置的超参数控件,每一所述超参数控件封装至少一项超参数;基于用户对至少一个所述超参数控件的设置初始化所述目标实验箱封装的初始模型的超参数;控制所述目标实验箱对封装的初始模型进行训练。由此,可以减少用户构建模型时的工作量,使得一些非专业人员和初学入门人员也能够方便地进行机器学习建模。
Description
技术领域
本发明实施例涉及机器学习技术领域,尤其涉及一种机器学习模型训练方法、装置以及虚拟实验箱。
背景技术
近年来,随着人工智能技术的飞速发展,其技术成果已应用到多个领域,比如,应用人工智能技术,通过对人脸的检测实现无人检票的火车站进站系统,通过对图像的检测实现汽车的无人驾驶,通过自然语言处理算法实现语音识别与翻译等。基于此,越来越多的用户致力于数据挖掘以及机器学习模型建模。
然而,人工智能技术是一门多学科交叉的专业,其涵盖概率论知识、统计学知识、近似理论知识以及其他复杂的算法知识,因此,进行机器学习模型建模不但需要具备一定的编程技术,还需要精通大量的数据公式,这就加大了非专业人员和一些初学入门人员进行机器学习建模的难度。
发明内容
鉴于此,为解决上述技术问题或部分技术问题,本发明实施例提供一种
第一方面,本发明实施例提供一种机器学习模型训练方法,所述方法包括:
从多个虚拟实验箱中确定目标实验箱,其中,不同的虚拟实验箱封装有不同的初始模型;
输出所述目标实验箱对应的可视化配置界面,所述可视化配置界面上包括至少一个可供用户设置的超参数控件,每一所述超参数控件封装至少一项超参数;
基于用户对至少一个所述超参数控件的设置初始化所述目标实验箱封装的初始模型的超参数;
控制所述目标实验箱对封装的初始模型进行训练。
在一个可能的实施方式中,所述超参数控件包括输入控件、可选择控件、和/或可调节控件;
所述基于用户对至少一个所述超参数控件的设置初始化所述目标实验箱封装的初始模型的超参数,包括:
通过所述输入控件接收用户输入的超参数,基于所述用户输入的超参数初始化所述目标实验箱封装的初始模型的超参数;
和/或,确定用户选择的可选择控件,利用所述用户选择的可选择控件封装的超参数初始化所述目标实验箱封装的初始模型的超参数;
和/或,基于用户对所述可调节控件的调节操作确定目标超参数,利用所述目标超参数初始化所述目标实验箱封装的初始模型的超参数。
在一个可能的实施方式中,所述可视化配置界面上还包括多个功能按钮,每一所述功能按钮封装一项控制功能;
所述控制所述目标实验箱对封装的初始模型进行训练,包括:
当检测到任一所述功能按钮被触发时,生成与任一所述功能按钮封装的控制功能对应的控制指令,向所述目标实验箱发送所述控制指令,以使所述目标实验箱根据所述控制指令对封装的初始模型进行训练。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示开始进行模型训练的控制功能的第一功能按钮;
所述当检测到任一所述功能按钮被触发时,生成与任一所述功能按钮封装的控制功能对应的控制指令,向所述目标实验箱发送所述控制指令,以使所述目标实验箱根据所述控制指令对封装的初始模型进行训练,包括:
当检测到所述第一功能按钮被触发时,生成用于指示开始进行模型训练的第一控制指令;
向所述目标实验箱发送所述第一控制指令,以使所述目标实验箱根据所述第一控制指令从外部加载样本数据并申请计算资源,以及利用已加载的所述样本数据对封装的初始模型进行训练。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示重新进行模型训练的控制功能的第二功能按钮;
所述当检测到任一所述功能按钮被触发时,生成与任一所述功能按钮封装的控制功能对应的控制指令,向所述目标实验箱发送所述控制指令,以使所述目标实验箱根据所述控制指令对封装的初始模型进行训练,包括:
当检测到所述第二功能按钮被触发时,生成用于指示重新进行模型训练的第二控制指令;
向所述目标实验箱发送所述第二控制指令,以使所述目标实验箱利用已加载的样本数据对封装的初始模型进行重训练。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示停止模型训练的控制功能的第三功能按钮;
所述当检测到任一所述功能按钮被触发时,生成与任一所述功能按钮封装的控制功能对应的控制指令,向所述目标实验箱发送所述控制指令,以使所述目标实验箱根据所述控制指令对封装的初始模型进行训练,包括:
当检测到所述第三功能按钮被触发时,生成用于指示停止模型训练的第三控制指令;
向所述目标实验箱发送所述第三控制指令,以使所述目标实验箱停止当前的模型训练过程。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示使用训练好的模型进行预测的控制功能的第四功能按钮;
所述方法还包括:
当检测到所述第四功能按钮被触发时,生成用于指示使用训练好的模型进行预测的第四控制指令;
向所述目标实验箱发送所述第四控制指令,以使所述目标实验箱从外部加载待预测数据,将所述待预测数据输入至训练好的模型,得到预测结果。
在一个可能的实施方式中,所述可视化配置界面上还包括至少一个输出控件,所述输出控件用于输出模型评价指标值;
所述方法还包括:
控制所述目标实验箱在完成模型训练后,利用已加载的样本数据对训练好的模型进行测试,得到至少一项模型评价指标值;
通过至少一个所述输出控件输出至少一项所述模型评价指标值。
第二方面,本发明实施例提供一种虚拟实验箱,包括:
初始模型;
网络通信模块,用于从外部加载样本数据;
显示模块,用于输出所述虚拟实验箱对应的可视化配置界面,所述可视化配置界面上包括至少一个可供用户设置的超参数控件,每一所述超参数控件封装一项超参数;以及基于用户对至少一个所述超参数控件的设置初始化所述初始模型的超参数;
计算模块,用于利用所述样本数据对所述初始模型进行训练;
所述网络通信模块,还用于将训练好的模型发送至外部;
存储模块,用于存储所述样本数据以及训练好的模型。
第三方面,本发明实施例提供一种机器学习模型训练装置,所述装置包括:
确定模块,用于从多个虚拟实验箱中确定目标实验箱,其中,不同的虚拟实验箱封装有不同的初始模型;
输出模块,用于输出所述目标实验箱对应的可视化配置界面,所述可视化配置界面上包括至少一个可供用户设置的超参数控件,每一所述超参数控件封装至少一项超参数;
设置模块,用于基于用户对至少一个所述超参数控件的设置初始化所述目标实验箱封装的初始模型的超参数;
控制模块,用于控制所述目标实验箱对封装的初始模型进行训练。
在一个可能的实施方式中,所述超参数控件包括输入控件、可选择控件、和/或可调节控件;
所述设置模块具体用于:
通过所述输入控件接收用户输入的超参数,基于所述用户输入的超参数初始化所述目标实验箱封装的初始模型的超参数;
和/或,确定用户选择的可选择控件,利用所述用户选择的可选择控件封装的超参数初始化所述目标实验箱封装的初始模型的超参数;
和/或,基于用户对所述可调节控件的调节操作确定目标超参数,利用所述目标超参数初始化所述目标实验箱封装的初始模型的超参数。
在一个可能的实施方式中,所述可视化配置界面上还包括多个功能按钮,每一所述功能按钮封装一项控制功能;
所述控制模块具体用于:当检测到任一所述功能按钮被触发时,生成与任一所述功能按钮封装的控制功能对应的控制指令,向所述目标实验箱发送所述控制指令,以使所述目标实验箱根据所述控制指令对封装的初始模型进行训练。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示开始进行模型训练的控制功能的第一功能按钮;
所述控制模块具体用于:
当检测到所述第一功能按钮被触发时,生成用于指示开始进行模型训练的第一控制指令;
向所述目标实验箱发送所述第一控制指令,以使所述目标实验箱根据所述第一控制指令从外部加载样本数据并申请计算资源,以及利用已加载的所述样本数据对封装的初始模型进行训练。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示重新进行模型训练的控制功能的第二功能按钮;
所述控制模块具体用于:
当检测到所述第二功能按钮被触发时,生成用于指示重新进行模型训练的第二控制指令;
向所述目标实验箱发送所述第二控制指令,以使所述目标实验箱利用已加载的样本数据对封装的初始模型进行重训练。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示停止模型训练的控制功能的第三功能按钮;
所述控制模块具体用于:当检测到所述第三功能按钮被触发时,生成用于指示停止模型训练的第三控制指令;
向所述目标实验箱发送所述第三控制指令,以使所述目标实验箱停止当前的模型训练过程。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示使用训练好的模型进行预测的控制功能的第四功能按钮;
所述装置还包括:
预测模块,用于当检测到所述第四功能按钮被触发时,生成用于指示使用训练好的模型进行预测的第四控制指令;向所述目标实验箱发送所述第四控制指令,以使所述目标实验箱从外部加载待预测数据,将所述待预测数据输入至训练好的模型,得到预测结果。
在一个可能的实施方式中,所述可视化配置界面上还包括至少一个输出控件,所述输出控件用于输出模型评价指标值;
所述装置还包括:
测试模块,用于控制所述目标实验箱在完成模型训练后,利用已加载的样本数据对训练好的模型进行测试,得到至少一项模型评价指标值;通过至少一个所述输出控件输出至少一项所述模型评价指标值。
第四方面,本发明实施例提供一种电子设备,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的机器学习模型训练程序,以实现第一方面中任一项所述的机器学习模型训练方法。
第五方面,本发明实施例提供一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现第一方面中任一项所述的机器学习模型训练方法。
本发明实施例提供的技术方案,通过从多个虚拟实验箱中确定目标实验箱,输出目标实验箱对应的可视化配置界面,可视化配置界面上包括至少一个可供用户设置的超参数控件,每一超参数控件封装至少一项超参数,可以实现将模型超参数直观地展示给用户,进而使得用户能够基于可视化配置界面灵活、便捷地设置模型的超参数,而无需进行复杂的代码编写、数学公式推导等工作,大大减少了用户构建模型时的工作量,使得一些非专业人员和初学入门人员也能够方便地进行机器学习建模。
进一步的,通过在可视化配置界面上提供功能按钮,可以使得用户能够灵活、便捷地控制模型训练过程的启停以及重训练,并在重训练时能够灵活地调整模型的超参数,这大大简化了用户的操作,提升用户体验。
附图说明
图1为本发明实施例提供的一种虚拟实验箱的结构示意图;
图2为封装有支持向量机模型的虚拟实验箱对应的可视化配置界面的一种示例;
图3为本发明实施例提供的一种机器学习模型训练方法的实施例流程图;
图4为本发明实施例提供的一种机器学习模型训练装置的实施例框图;
图5为本发明实施例提供的一种的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为便于理解本发明实施例,下面首先对本发明提供的虚拟实验箱做示例性说明:
参见图1,为本发明实施例提供的一种虚拟实验箱的结构示意图。如图1所示例的虚拟实验箱100包括:网络通信模块101、存储模块102、显示模块103、以及计算模块104。
其中,网络通信模块101,用于虚拟实验箱100和外部进行通信,这里所说的外部可以指外部设备,或者是外部系统/应用。作为一个实施例,网络通信模块101用于从外部加载样本数据。作为另一个实施例,网络通信模块101还用于将训练好的模型发送至外部。
存储模块102,用于虚拟实验箱100的本地存储。作为一个实施例,存储模块102可用于存储上述样本数据。作为另一个实施例,存储模块102可用于存储训练好的模型。
显示模块103,用于输出虚拟实验箱对应的可视化配置界面,在应用中,用户可基于该可视化配置界面对虚拟实验箱进行配置,包括但不限于:配置虚拟实验箱封装的初始模型的超参数,训练参数(比如训练迭代次数、数据划分比例等),基于此,显示模块103还用于基于用户对至少一个超参数控件的设置初始化初始模型的超参数。在应用中,用户还可基于该可视化配置界面对虚拟实验箱进行模型训练的过程进行控制。上述初始模型包括但不限于:随机森林模型、XGBoost模型、支持向量机模型、隐马尔可夫模型等。需要说明的是,通常情况下,不同的虚拟实验箱封装有不同的初始模型。
计算模块104,用于利用上述样本数据对初始模型进行训练,这里所说的训练包括一次训练,或者是按照设定的迭代次数进行迭代训练。
以下对显示模块103输出的可视化配置界面进行进一步解释说明:
作为一个实施例,上述可视化配置界面上包括至少一个可供用户设置的超参数控件,每一超参数控件封装一项超参数,基于此,用户可基于该可视化配置界面配置虚拟实验箱封装的初始模型的超参数。
作为一个可选的实现方式,在应用中,上述超参数控件可包括输入控件、可选择控件、和/或可调节控件。当上述超参数控件包括输入控件时,用户可直接在输入控件中输入超参数,比如树的数量或树的深度、叶子的最小样本数、深层神经网络隐藏层数等,基于此,则可通过输入控件接收用户输入的超参数,基于用户输入的超参数初始化虚拟实验箱封装的初始模型的超参数。当上述超参数控件包括可选择控件时,用户可根据实际需求选择或不选择超参数控件,当用户选择任意超参数控件时,则可利用用户选择的超参数控件封装的超参数初始化虚拟实验箱封装的初始模型的超参数。当上述超参数控件包括可调节控件时,用户可调节超参数控件上的调节按钮,如此则可基于用户对超参数控件的调节操作确定目标超参数,利用目标超参数初始化虚拟实验箱封装的初始模型的超参数。可选的,上述调节操作可为滑动操作。
作为另一个实施例,上述可视化配置界面上还可包括多个功能按钮,每一功能按钮封装一项控制功能。作为一个可选的实现方式,上述可视化配置界面上包括四个功能按钮,为描述方便,分别称为第一功能按钮、第二功能按钮、第三功能按钮以及第四功能按钮。其中,第一功能按钮封装有用于指示开始进行模型训练的控制功能,第二功能按钮封装有用于指示重新进行模型训练的控制功能,第三功能按钮封装有用于指示停止模型训练的控制功能,第四功能按钮封装有用于指示停止模型训练的控制功能。
作为又一个实施例,上述可视化配置界面上还可包括至少一个训练参数控件,每一训练参数控件封装有一项训练参数,比如数据划分比例、迭代次数等。上述数据划分比例是指训练数据占样本数据的比例,比如数据划分比例为80%,则意味着将样本数据中的80%划分为训练数据,剩余的20%划分为测试数据。
作为再一个实施例,上述可视化配置界面上还可包括至少一个输出控件,每一输出控件用于输出至少一项模型评价指标值,比如Loss值、准确率等。
作为再一个实施例,上述可视化配置界面上还可包括至少一个输入控件,该输入控件可用于输入存储地址,比如上述样本数据的存储地址、用于存储训练好的模型的存储地址、待预测数据的存储地址、预测结果的存储地址等。在应用中,上述存储地址可以为本地磁盘地址,也可以网络云盘地址等,本发明对此不做限制。
为加深对上述可视化配置界面的理解,以下示出一个具体例子:
以初始模型为支持向量机模型为例,参见图2,为封装有支持向量机模型的虚拟实验箱对应的可视化配置界面的一种示例。如图2所示例的可视化配置界面200中包括:两个输入控件,三个可选择控件,三个可调节控件,四个功能按钮,一个输出控件,以及进度条。
具体的,上述两个输入控件分别用于输入样本数据/待预测数据的存储地址,比如C:\Users\Data\iris.csv、训练好的模型/预测结果的存储地址,比如C:\Users\Model\Model.pkl。
上述三个可选择控件分别封装一项超参数,依次为Linear核函数、Poly核函数、RBF核函数。其中,不同的核函数具有不同的功能,对于模型训练的作用也各不相同,在应用中选择其一即可,因此,将不同的超参数以可选择控件的形式进行封装。
按照从左到右的顺序,上述两个可调节控件分别封装一项超参数,依次为Gamma值、惩罚系数,另外一个可调节控件封装一项训练参数,具体为数据划分比例。在应用中,Gamma值和惩罚系数可选择0~1区间的数,数据划分比例则可选择0~100%区间的数,因此,将具有多个可选值的超参数/训练参数以可调节控件的形式进行封装。在应用中,用户则可通过滑动控件上的调节按钮实现设置参数的具体值,使用非常灵活。以封装有数据划分比例的可调节控件为例,当用户向上滑动按钮时,则增大训练数据所占比例,相应地减少测试数据所占比例;当用户向下滑动按钮时,则表示减少训练数据所占比例,相应地增大测试数据所占比例。
上述四个功能按钮按照从左到右的顺序,依次为第一功能按钮、第三功能按钮、第二功能按钮,第四功能按钮。
上述一个输出控件用于输出训练好的模型的准确率。
上述进度条用于在模型训练过程中实时地输出训练用时。
至此,完成图1所示例的虚拟实验箱的结构描述。
在应用中,作为一个实施例,可将多个虚拟实验箱安装在终端设备上,该终端设备可以为支持具有显示屏的各种电子设备,包括但不限于:智能手机、平板电脑、膝上型便携计算机、台式计算机等。
作为另一个实施例,可将多个虚拟实验箱安装在服务器(包括云服务器)上。在该种情况下,用户可基于网络远程调用虚拟实验箱进行模型训练。
作为又一个实施例,还可以将多个虚拟实验箱单独集成在计算芯片上实现为一套硬件设备,可选的,计算芯片为微处理器、可编程门阵列、数字信号处理器等。在该种情况下,虚拟实验箱的上述各模块也可为软/硬件结合而成,进一步的,虚拟实验箱还可包括电源模块,以向虚拟实验箱进行供电。
下面基于图1所示例的虚拟实验箱,结合附图以具体实施例对本发明提供的机器学习模型训练方法进行说明,实施例不构成本发明限定。
参见图3,为本发明实施例提供的一种机器学习模型训练方法的实施例流程图。作为一个实施例,该方法可应用于安装有多个虚拟实验箱的终端设备上,如图3所示,该流程可包括以下步骤:
步骤301、从多个虚拟实验箱中确定目标实验箱,其中,不同的虚拟实验箱封装有不同的初始模型。
由上述描述可知,作为一个实施例,多个虚拟实验箱可安装于一台终端设备上。基于此,在应用中,用户可首先从多个虚拟实验箱中确定本次要使用的虚拟实验箱(以下称目标实验箱)。
作为一个可选的实现方式,终端设备可输出一个可视化界面,该可视化界面上可包括终端设备上安装的多个虚拟实验箱的标识或图标,用户可通过点选其中一个标识或图标来选择目标实验箱。基于此,当检测到虚拟实验箱的标识或图标被触发时,则可将被触发的虚拟实验箱确定为目标实验箱。
步骤302、输出目标实验箱对应的可视化配置界面,可视化配置界面上包括至少一个可供用户设置的超参数控件,每一超参数控件封装至少一项超参数。
在应用中,由于不同的模型使用的超参数不同,训练参数也有所不同,因此,不同的虚拟实验箱对应的可视化配置界面有所不同。基于此,在本步骤302中,输出的是目标实验箱对应的可视化配置界面。
步骤303、基于用户对至少一个超参数控件的设置初始化目标实验箱封装的初始模型的超参数。
步骤304、控制目标实验箱对封装的初始模型进行训练。
以下结合具体应用过程,对步骤303~304进行说明:
以图2所示例的可视化界面为例,在应用中,用户可首先在相应的输入控件中输入样本数据的存储地址和训练好模型的存储地址,之后,用户可设置超参数控件,比如如图2所示,用户选择的是封装有RBF核函数的超参数控件,以及调节封装有Gamma值、惩罚系数的超参数控件,实现初始化目标实验箱封装的初始模型。可选的,用户还可调节封装有数据划分比例的训练参数控件,以设置训练数据占样本数据的比例。
在完成上述设置后,用户可点击第一功能按钮,即图2中按照从左往右顺序的第一个功能按钮,当检测到第一功能按钮被触发时,则可生成用于指示开始进行模型训练的控制指令(以下称第一控制指令),向目标实验箱发送该第一控制指令。目标实验箱响应于该第一控制指令,则根据用户输入的样本数据的存储地址加载样本数据,并申请计算资源,比如申请内存,锁定CPU等,在加载完样本数据之后,目标实验箱按照用户设置的数据划分比例将已加载的样本数据划分为训练数据和测试数据,之后,则可利用训练数据对初始模型进行训练,在训练完成后,还可利用测试数据对训练好的模型进行测试,得到模型评价指标值。如此则可通过图2所示例的可视化配置界面输出该模型评价指标值,以使用户直观了解训练好的模型性能。
假设在一次训练结束后,用户对训练好的模型性能不满意,此时,用户可通过图2所示例的可视化配置界面重新初始化超参数,和/或重新设置数据划分比例,之后,点击第二功能按钮,即图2中按照从左往右顺序的第三个功能按钮。当检测到第二功能按钮被触发时,可生成用于指示重新进行模型训练的控制指令(以下称第二控制指令),向目标实验箱发送该第二控制指令。目标实验箱响应于该第二控制指令,利用已加载的样本数据对已重置超参数的初始模型进行重训练。进一步,在训练完成后,还可利用测试数据对训练好的模型进行测试,得到模型评价指标值,以通过图2所示例的可视化配置界面输出该模型评价指标值,使用户直观了解训练好的模型性能。
假设在一次训练结束后,用户对训练好的模型性能满意,则可点击可视化配置界面中保存按钮(图2中未示出)。当检测到保存按钮被触发时,可生成用于指示保存训练好的模型的控制指令,向目标实验箱发送该控制指令。目标实验箱响应于该控制指令,将训练好的模型保存在用户输入的模型存储地址中。
此外,在模型训练过程中,若用户想要停止模型训练过程,可点击第三功能按钮,即图2中按照从左往右顺序的第二个功能按钮。当检测到第三功能按钮被触发时,可生成用于指示停止模型训练的控制指令(以下称第三控制指令),向目标实验箱发送该第三控制指令。目标实验箱响应于该第三控制指令,停止当前的模型训练过程。
由此可见,在本发明实施例中,用户可通过点击可视化配置界面上的功能按钮控制目标实验箱对封装的初始模型进行训练,具体的,当检测到任一功能按钮被触发时,生成与任一功能按钮封装的控制功能对应的控制指令,向目标实验箱发送所述控制指令,以使目标实验箱根据控制指令对封装的初始模型进行训练。
此外,由上述描述可知,可视化配置界面上还包括一个第四功能按钮。在应用中,用户想要使用训练好的模型进行预测时,可在相应的输入控件中输入待预测数据的存储地址和预测结果存储地址,之后,用户可点击第四功能按钮。当检测到第四功能按钮被触发时,可生成用于指示使用训练好的模型进行预测的控制指令(以下称第四控制指令),向目标实验箱发送第四控制指令。目标实验箱响应于第四控制指令,则根据用户输入的待测试数据的存储地址加载待测试数据,并根据用户输入的训练好的模型的存储地址加载训练好的模型,以及申请计算资源,比如申请内存,锁定CPU等,在加载完待测试数据和训练好的模型之后,将待预测数据输入至训练好的模型中,得到预测结果。进一步将预测结果保存在用户输入的预测结果存储地址中。
本发明实施例提供的技术方案,通过从多个虚拟实验箱中确定目标实验箱,输出目标实验箱对应的可视化配置界面,可视化配置界面上包括至少一个可供用户设置的超参数控件,每一超参数控件封装至少一项超参数,可以实现将模型超参数直观地展示给用户,进而使得用户能够基于可视化配置界面灵活、便捷地设置模型的超参数,而无需进行复杂的代码编写、数学公式推导等工作,大大减少了用户构建模型时的工作量,使得一些非专业人员和初学入门人员也能够方便地进行机器学习建模。
进一步的,通过在可视化配置界面上提供功能按钮,可以使得用户能够灵活、便捷地控制模型训练过程的启停以及重训练,并在重训练时能够灵活地调整模型的超参数,这大大简化了用户的操作,提升用户体验。
此外,作为一个实施例,本发明提供的机器学习模型训练方法及虚拟实验箱可应用于教学领域,使得学生能够对所学的机器学习模型进行实验,分析不同模型对数据建模的差异,对比不同的模型建模结果,这对于学生这类初学者快速掌握人工智能技术的理论知识具有重要意义。
参见图4,为本发明实施例提供的一种机器学习模型训练装置的实施例框图。如图4所示,该装置包括:确定模块41、输出模块42、设置模块43,以及控制模块44。
其中,确定模块41,用于从多个虚拟实验箱中确定目标实验箱,其中,不同的虚拟实验箱封装有不同的初始模型;
输出模块42,用于输出所述目标实验箱对应的可视化配置界面,所述可视化配置界面上包括至少一个可供用户设置的超参数控件,每一所述超参数控件封装至少一项超参数;
设置模块43,用于基于用户对至少一个所述超参数控件的设置初始化所述目标实验箱封装的初始模型的超参数;
控制模块44,用于控制所述目标实验箱对封装的初始模型进行训练。
在一个可能的实施方式中,所述超参数控件包括输入控件、可选择控件、和/或可调节控件;
所述设置模块43具体用于:
通过所述输入控件接收用户输入的超参数,基于所述用户输入的超参数初始化所述目标实验箱封装的初始模型的超参数;
和/或,确定用户选择的可选择控件,利用所述用户选择的可选择控件封装的超参数初始化所述目标实验箱封装的初始模型的超参数;
和/或,基于用户对所述可调节控件的调节操作确定目标超参数,利用所述目标超参数初始化所述目标实验箱封装的初始模型的超参数。
在一个可能的实施方式中,所述可视化配置界面上还包括多个功能按钮,每一所述功能按钮封装一项控制功能;
所述控制模块44具体用于:当检测到任一所述功能按钮被触发时,生成与任一所述功能按钮封装的控制功能对应的控制指令,向所述目标实验箱发送所述控制指令,以使所述目标实验箱根据所述控制指令对封装的初始模型进行训练。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示开始进行模型训练的控制功能的第一功能按钮;
所述控制模块44具体用于:
当检测到所述第一功能按钮被触发时,生成用于指示开始进行模型训练的第一控制指令;
向所述目标实验箱发送所述第一控制指令,以使所述目标实验箱根据所述第一控制指令从外部加载样本数据并申请计算资源,以及利用已加载的所述样本数据对封装的初始模型进行训练。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示重新进行模型训练的控制功能的第二功能按钮;
所述控制模块44具体用于:
当检测到所述第二功能按钮被触发时,生成用于指示重新进行模型训练的第二控制指令;
向所述目标实验箱发送所述第二控制指令,以使所述目标实验箱利用已加载的样本数据对封装的初始模型进行重训练。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示停止模型训练的控制功能的第三功能按钮;
所述控制模块44具体用于:当检测到所述第三功能按钮被触发时,生成用于指示停止模型训练的第三控制指令;
向所述目标实验箱发送所述第三控制指令,以使所述目标实验箱停止当前的模型训练过程。
在一个可能的实施方式中,所述功能按钮包括封装有用于指示使用训练好的模型进行预测的控制功能的第四功能按钮;
所述装置还包括(图4中未示出):
预测模块,用于当检测到所述第四功能按钮被触发时,生成用于指示使用训练好的模型进行预测的第四控制指令;向所述目标实验箱发送所述第四控制指令,以使所述目标实验箱从外部加载待预测数据,将所述待预测数据输入至训练好的模型,得到预测结果。
在一个可能的实施方式中,所述可视化配置界面上还包括至少一个输出控件,所述输出控件用于输出模型评价指标值;
所述装置还包括(图4中未示出):
测试模块,用于控制所述目标实验箱在完成模型训练后,利用已加载的样本数据对训练好的模型进行测试,得到至少一项模型评价指标值;通过至少一个所述输出控件输出至少一项所述模型评价指标值。
图5为本发明实施例提供的一种的电子设备的结构示意图,图5所示的电子设备500包括:至少一个处理器501、存储器502、至少一个网络接口504和其他用户接口503。电子设备500中的各个组件通过总线系统505耦合在一起。可理解,总线系统505用于实现这些组件之间的连接通信。总线系统505除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统505。
其中,用户接口503可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器502可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-OnlyMemory,ROM)、可编程只读存储器(ProgrammableROM,PROM)、可擦除可编程只读存储器(ErasablePROM,EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(StaticRAM,SRAM)、动态随机存取存储器(DynamicRAM,DRAM)、同步动态随机存取存储器(SynchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM,DRRAM)。本文描述的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器502存储了如下的元素,可执行单元或者数据结构,或者他们的子集,或者他们的扩展集:操作系统5021和应用程序5022。
其中,操作系统5021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序5022,包含各种应用程序,例如媒体播放器(MediaPlayer)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序5022中。
在本发明实施例中,通过调用存储器502存储的程序或指令,具体的,可以是应用程序5022中存储的程序或指令,处理器501用于执行各方法实施例所提供的方法步骤,例如包括:
从多个虚拟实验箱中确定目标实验箱,其中,不同的虚拟实验箱封装有不同的初始模型;
输出所述目标实验箱对应的可视化配置界面,所述可视化配置界面上包括至少一个可供用户设置的超参数控件,每一所述超参数控件封装至少一项超参数;
基于用户对至少一个所述超参数控件的设置初始化所述目标实验箱封装的初始模型的超参数;
控制所述目标实验箱对封装的初始模型进行训练。
上述本发明实施例揭示的方法可以应用于处理器501中,或者由处理器501实现。处理器501可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit,ASIC)、现成可编程门阵列(FieldProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502,处理器501读取存储器502中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits,ASIC)、数字信号处理器(DigitalSignalProcessing,DSP)、数字信号处理设备(DSPDevice,DSPD)、可编程逻辑设备(ProgrammableLogicDevice,PLD)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本实施例提供的电子设备可以是如图5中所示的电子设备,可执行如图3中机器学习模型训练方法的所有步骤,进而实现图3所示机器学习模型训练方法的技术效果,具体请参照图3相关描述,为简洁描述,在此不作赘述。
本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中,存储介质可以包括易失性存储器,例如随机存取存储器;存储器也可以包括非易失性存储器,例如只读存储器、快闪存储器、硬盘或固态硬盘;存储器还可以包括上述种类的存储器的组合。
当存储介质中一个或者多个程序可被一个或者多个处理器执行,以实现上述在电子设备侧执行的机器学习模型训练方法。
所述处理器用于执行存储器中存储的机器学习模型训练程序,以实现以下在电子设备侧执行的机器学习模型训练方法的步骤:
从多个虚拟实验箱中确定目标实验箱,其中,不同的虚拟实验箱封装有不同的初始模型;
输出所述目标实验箱对应的可视化配置界面,所述可视化配置界面上包括至少一个可供用户设置的超参数控件,每一所述超参数控件封装至少一项超参数;
基于用户对至少一个所述超参数控件的设置初始化所述目标实验箱封装的初始模型的超参数;
控制所述目标实验箱对封装的初始模型进行训练。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种机器学习模型训练方法,其特征在于,所述方法包括:
从多个虚拟实验箱中确定目标实验箱,其中,不同的虚拟实验箱封装有不同的初始模型;
输出所述目标实验箱对应的可视化配置界面,所述可视化配置界面上包括至少一个可供用户设置的超参数控件,每一所述超参数控件封装至少一项超参数;
基于用户对至少一个所述超参数控件的设置初始化所述目标实验箱封装的初始模型的超参数;
控制所述目标实验箱对封装的初始模型进行训练。
2.根据权利要求1所述的方法,其特征在于,所述超参数控件包括输入控件、可选择控件、和/或可调节控件;
所述基于用户对至少一个所述超参数控件的设置初始化所述目标实验箱封装的初始模型的超参数,包括:
通过所述输入控件接收用户输入的超参数,基于所述用户输入的超参数初始化所述目标实验箱封装的初始模型的超参数;
和/或,确定用户选择的可选择控件,利用所述用户选择的可选择控件封装的超参数初始化所述目标实验箱封装的初始模型的超参数;
和/或,基于用户对所述可调节控件的调节操作确定目标超参数,利用所述目标超参数初始化所述目标实验箱封装的初始模型的超参数。
3.根据权利要求1所述的方法,其特征在于,所述可视化配置界面上还包括多个功能按钮,每一所述功能按钮封装一项控制功能;
所述控制所述目标实验箱对封装的初始模型进行训练,包括:
当检测到任一所述功能按钮被触发时,生成与任一所述功能按钮封装的控制功能对应的控制指令,向所述目标实验箱发送所述控制指令,以使所述目标实验箱根据所述控制指令对封装的初始模型进行训练。
4.根据权利要求3所述的方法,其特征在于,所述功能按钮包括封装有用于指示开始进行模型训练的控制功能的第一功能按钮;
所述当检测到任一所述功能按钮被触发时,生成与任一所述功能按钮封装的控制功能对应的控制指令,向所述目标实验箱发送所述控制指令,以使所述目标实验箱根据所述控制指令对封装的初始模型进行训练,包括:
当检测到所述第一功能按钮被触发时,生成用于指示开始进行模型训练的第一控制指令;
向所述目标实验箱发送所述第一控制指令,以使所述目标实验箱根据所述第一控制指令从外部加载样本数据并申请计算资源,以及利用已加载的所述样本数据对封装的初始模型进行训练。
5.根据权利要求3所述的方法,其特征在于,所述功能按钮包括封装有用于指示重新进行模型训练的控制功能的第二功能按钮;
所述当检测到任一所述功能按钮被触发时,生成与任一所述功能按钮封装的控制功能对应的控制指令,向所述目标实验箱发送所述控制指令,以使所述目标实验箱根据所述控制指令对封装的初始模型进行训练,包括:
当检测到所述第二功能按钮被触发时,生成用于指示重新进行模型训练的第二控制指令;
向所述目标实验箱发送所述第二控制指令,以使所述目标实验箱利用已加载的样本数据对封装的初始模型进行重训练。
6.根据权利要求3所述的方法,其特征在于,所述功能按钮包括封装有用于指示停止模型训练的控制功能的第三功能按钮;
所述当检测到任一所述功能按钮被触发时,生成与任一所述功能按钮封装的控制功能对应的控制指令,向所述目标实验箱发送所述控制指令,以使所述目标实验箱根据所述控制指令对封装的初始模型进行训练,包括:
当检测到所述第三功能按钮被触发时,生成用于指示停止模型训练的第三控制指令;
向所述目标实验箱发送所述第三控制指令,以使所述目标实验箱停止当前的模型训练过程。
7.根据权利要求3所述的方法,其特征在于,所述功能按钮包括封装有用于指示使用训练好的模型进行预测的控制功能的第四功能按钮;
所述方法还包括:
当检测到所述第四功能按钮被触发时,生成用于指示使用训练好的模型进行预测的第四控制指令;
向所述目标实验箱发送所述第四控制指令,以使所述目标实验箱从外部加载待预测数据,将所述待预测数据输入至训练好的模型,得到预测结果。
8.根据权利要求1所述的方法,其特征在于,所述可视化配置界面上还包括至少一个输出控件,所述输出控件用于输出模型评价指标值;
所述方法还包括:
控制所述目标实验箱在完成模型训练后,利用已加载的样本数据对训练好的模型进行测试,得到至少一项模型评价指标值;
通过至少一个所述输出控件输出至少一项所述模型评价指标值。
9.一种虚拟实验箱,其特征在于,包括:
初始模型;
网络通信模块,用于从外部加载样本数据;
显示模块,用于输出所述虚拟实验箱对应的可视化配置界面,所述可视化配置界面上包括至少一个可供用户设置的超参数控件,每一所述超参数控件封装至少一项超参数;以及基于用户对至少一个所述超参数控件的设置初始化所述初始模型的超参数;
计算模块,用于利用所述样本数据对所述初始模型进行训练;
所述网络通信模块,还用于将训练好的模型发送至外部;
存储模块,用于存储所述样本数据以及训练好的模型。
10.一种机器学习模型训练装置,其特征在于,所述装置包括:
确定模块,用于从多个虚拟实验箱中确定目标实验箱,其中,不同的虚拟实验箱封装有不同的初始模型;
输出模块,用于输出所述目标实验箱对应的可视化配置界面,所述可视化配置界面上包括至少一个可供用户设置的超参数控件,每一所述超参数控件封装至少一项超参数;
设置模块,用于基于用户对至少一个所述超参数控件的设置初始化所述目标实验箱封装的初始模型的超参数;
控制模块,用于控制所述目标实验箱对封装的初始模型进行训练。
11.一种电子设备,其特征在于,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的机器学习模型训练程序,以实现权利要求1~8中任一项所述的机器学习模型训练方法。
12.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1~8中任一项所述的机器学习模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110248976.0A CN112966439A (zh) | 2021-03-05 | 2021-03-05 | 机器学习模型训练方法、装置以及虚拟实验箱 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110248976.0A CN112966439A (zh) | 2021-03-05 | 2021-03-05 | 机器学习模型训练方法、装置以及虚拟实验箱 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112966439A true CN112966439A (zh) | 2021-06-15 |
Family
ID=76277447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110248976.0A Pending CN112966439A (zh) | 2021-03-05 | 2021-03-05 | 机器学习模型训练方法、装置以及虚拟实验箱 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112966439A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021986A (zh) * | 2017-10-27 | 2018-05-11 | 平安科技(深圳)有限公司 | 电子装置、多模型样本训练方法和计算机可读存储介质 |
CN109409533A (zh) * | 2018-09-28 | 2019-03-01 | 深圳乐信软件技术有限公司 | 一种机器学习模型的生成方法、装置、设备及存储介质 |
CN111160569A (zh) * | 2019-12-30 | 2020-05-15 | 第四范式(北京)技术有限公司 | 基于机器学习模型的应用开发方法、装置及电子设备 |
CN111310934A (zh) * | 2020-02-14 | 2020-06-19 | 北京百度网讯科技有限公司 | 一种模型生成方法、装置、电子设备和存储介质 |
CN111401567A (zh) * | 2020-03-20 | 2020-07-10 | 厦门渊亭信息科技有限公司 | 一种通用的深度学习超参优化方法及装置 |
-
2021
- 2021-03-05 CN CN202110248976.0A patent/CN112966439A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021986A (zh) * | 2017-10-27 | 2018-05-11 | 平安科技(深圳)有限公司 | 电子装置、多模型样本训练方法和计算机可读存储介质 |
CN109409533A (zh) * | 2018-09-28 | 2019-03-01 | 深圳乐信软件技术有限公司 | 一种机器学习模型的生成方法、装置、设备及存储介质 |
CN111160569A (zh) * | 2019-12-30 | 2020-05-15 | 第四范式(北京)技术有限公司 | 基于机器学习模型的应用开发方法、装置及电子设备 |
CN111310934A (zh) * | 2020-02-14 | 2020-06-19 | 北京百度网讯科技有限公司 | 一种模型生成方法、装置、电子设备和存储介质 |
CN111401567A (zh) * | 2020-03-20 | 2020-07-10 | 厦门渊亭信息科技有限公司 | 一种通用的深度学习超参优化方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230035451A1 (en) | Resource usage prediction for deep learning model | |
US20180157386A1 (en) | System and Method for detection, exploration, and interaction of graphic application interface | |
CN110991649A (zh) | 深度学习模型搭建方法、装置、设备和存储介质 | |
US7900188B2 (en) | Specifying implementations of code for code generation from a model | |
US9665348B1 (en) | Customizable, dual-format presentation of information about an object in an interactive programming enviornment | |
US20220222507A1 (en) | Quantum neural network training method and apparatus, electronic device and medium | |
WO2013188540A1 (en) | Practical natural-language human-machine interfaces | |
Guzik et al. | Models of a quantum computer, their characteristics and analysis | |
CN113449877B (zh) | 用于展示机器学习建模过程的方法及系统 | |
CN112214210A (zh) | 后勤业务规则引擎及其配置方法、装置、设备和存储介质 | |
US20220222049A1 (en) | Visual Programming for Deep Learning | |
CN114764296A (zh) | 机器学习模型训练方法、装置、电子设备及存储介质 | |
Leino et al. | RL-KLM: Automating keystroke-level modeling with reinforcement learning | |
CN108898229B (zh) | 用于构建机器学习建模过程的方法及系统 | |
CN113505895A (zh) | 一种机器学习引擎服务系统及模型训练方法和配置方法 | |
CN112417463A (zh) | 软件漏洞预测方法、装置、计算机设备及存储介质 | |
CN112966439A (zh) | 机器学习模型训练方法、装置以及虚拟实验箱 | |
US20170357489A1 (en) | System and method for developing applications | |
CN108681426B (zh) | 用于针对数据执行特征处理的方法及系统 | |
Barros et al. | TurtleUI: A generic graphical user interface for robot control | |
CN116841838A (zh) | 非易失性存储器存储装置仿真平台 | |
Chen et al. | A gui-based automated test system for android applications | |
Ghiduk et al. | Design and implementation of the user interfaces and the applications for mobile devices | |
CN112162743A (zh) | 驱动程序生成方法、装置、计算机设备和存储介质 | |
CN112541311A (zh) | 仿真测试方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |