CN112256537A - 模型运行状态的展示方法、装置、计算机设备和存储介质 - Google Patents

模型运行状态的展示方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112256537A
CN112256537A CN202011258336.XA CN202011258336A CN112256537A CN 112256537 A CN112256537 A CN 112256537A CN 202011258336 A CN202011258336 A CN 202011258336A CN 112256537 A CN112256537 A CN 112256537A
Authority
CN
China
Prior art keywords
model
target
running
training
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011258336.XA
Other languages
English (en)
Other versions
CN112256537B (zh
Inventor
于璇
钟星汉
苏晓辉
郑华丽
代希刚
李晓鹏
王静
崔立鹏
滕达
孙朝旭
柯宇
于鹏飞
朱亚娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011258336.XA priority Critical patent/CN112256537B/zh
Publication of CN112256537A publication Critical patent/CN112256537A/zh
Application granted granted Critical
Publication of CN112256537B publication Critical patent/CN112256537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本申请涉及一种模型运行状态的展示方法、装置、计算机设备和存储介质。所述方法可以通过云服务器实现,包括:确定目标机器学习模型;目标机器学习模型用于在至少一个模型运行阶段下运行;各个模型运行阶段包括至少一个运行任务,各个模型运行阶段的运行任务对应有任务状态数据;获取目标机器学习模型的目标待展示阶段,获取与目标待展示阶段匹配的目标模型运行阶段;确定与目标模型运行阶段的运行任务对应的目标任务状态数据;根据目标任务状态数据对目标模型运行阶段的运行任务进行运行状态的展示。上述方案能够在获取到目标模型运行阶段时确定对应的目标任务状态数据,进而直观地对机器学习模型的各个运行任务进行运行状态的展示。

Description

模型运行状态的展示方法、装置、计算机设备和存储介质
技术领域
本申请涉及网络技术领域,特别是涉及一种模型运行状态的展示方法、装置、计算机设备和存储介质。
背景技术
随着网络技术的发展,出现了AI(Artificial Intelligence,人工智能)技术,例如,基于机器学习模型等自动对花草的种类进行识别。在日常的对AI技术进行教学的场景中,往往需要对机器学习模型的整个运行过程进行讲解。
传统对模型运行过程进行的讲解,要么是单纯以小游戏的方式来进行,要么是以课件展示的方式来进行。然而,这种方式涉及到的是单纯的知识点讲解或展示,所讲解或展示的机器学习模型的信息较为抽象,导致对机器学习模型运行状态的展示不够直观,教学效果较差。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
基于此,有必要针对上述技术问题,提供一种能够直观地对机器学习模型运行状态进行展示的模型运行状态的展示方法、装置、计算机设备和存储介质。
一种模型运行状态的展示方法,所述方法包括:确定目标机器学习模型;所述目标机器学习模型用于在至少一个模型运行阶段下运行;各个模型运行阶段包括至少一个运行任务,各个模型运行阶段的运行任务对应有任务状态数据;获取所述目标机器学习模型的目标待展示阶段,获取与所述目标待展示阶段匹配的目标模型运行阶段;确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据;根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示。
一种模型运行状态的展示装置,所述装置包括:模型确定模块,用于确定目标机器学习模型;所述目标机器学习模型用于在至少一个模型运行阶段下运行;各个模型运行阶段包括至少一个运行任务,各个模型运行阶段的运行任务对应有任务状态数据;运行阶段获取模块,用于获取所述目标机器学习模型的目标待展示阶段,获取与所述目标待展示阶段匹配的目标模型运行阶段;状态数据确定模块,用于确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据;运行状态展示模块,用于根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:确定目标机器学习模型;所述目标机器学习模型用于在至少一个模型运行阶段下运行;各个模型运行阶段包括至少一个运行任务,各个模型运行阶段的运行任务对应有任务状态数据;获取所述目标机器学习模型的目标待展示阶段,获取与所述目标待展示阶段匹配的目标模型运行阶段;确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据;根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:确定目标机器学习模型;所述目标机器学习模型用于在至少一个模型运行阶段下运行;各个模型运行阶段包括至少一个运行任务,各个模型运行阶段的运行任务对应有任务状态数据;获取所述目标机器学习模型的目标待展示阶段,获取与所述目标待展示阶段匹配的目标模型运行阶段;确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据;根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示。
上述模型运行状态的展示方法、装置、计算机设备和存储介质,确定用于在至少一个模型运行阶段下运行的目标机器学习模型,获取该目标机器学习模型的目标待展示阶段,获取与目标待展示阶段匹配的目标模型运行阶段,确定与目标模型运行阶段的运行任务对应的目标任务状态数据,进而根据目标任务状态数据对目标模型运行阶段的各个运行任务进行运行状态的直观展示。
附图说明
图1为一个实施例中模型运行状态的展示方法的应用环境图;
图2为一个实施例中模型运行状态的展示方法的流程示意图;
图3为一个实施例中待展示阶段的显示示意图;
图4为一个实施例中对模型训练阶段进行状态展示的示意图;
图5为一个实施例中某个epoch中的运行状态展示示意图;
图6为一个实施例中模型训练阶段的运行过程示意图;
图7为一个实施例中模型训练阶段的运行状态展示的过程示意图;
图8为一个实施例中模型训练阶段的运行状态展示示意图;
图9为一个实施例中模型评估阶段的运行状态展示示意图;
图10为一个实施例中模型评估阶段的运行过程示意图;
图11为一个实施例中模型评估阶段的运行状态展示的过程示意图;
图12为一个实施例中模型预测阶段的运行状态展示示意图;
图13为一个实施例中模型预测阶段的运行过程示意图;
图14为一个实施例中模型预测阶段的运行状态展示的过程示意图;
图15为一个实施例中结束模型训练阶段的过程示意图;
图16为一个实施例中结束模型评估阶段的过程示意图;
图17为一个实施例中结束模型预测阶段的过程示意图;
图18为一个实施例中模型参数的设置界面示意图;
图19为另一个实施例中模型运行状态的展示方法的应用环境图;
图20为再一个实施例中模型运行状态的展示方法的应用环境图;
图21为一个实施例中实验内容的显示示意图;
图22为一个实施例中实验训练与评估的显示示意图;
图23为一个实施例中运行模型训练的状态显示示意图;
图24为一个实施例中运行模型评估的状态显示示意图;
图25为一个实施例中运行模型预测的状态显示示意图;
图26为一个实施例中模型运行状态的展示装置的结构框图;
图27为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本发明实施例提供的模型运行状态的展示方法、装置、计算机设备和计算机可读存储介质可以基于云技术(Cloud technology)实现。云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
云计算(cloud computing)指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
随着互联网、实时数据流、连接设备多样化的发展,以及搜索服务、社会网络、移动商务和开放协作等需求的推动,云计算迅速发展起来。不同于以往的并行分布式计算,云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
本发明实施例提供的模型运行状态的展示方法、装置、计算机设备和计算机可读存储介质还可以基于人工智能(Artificial Intelligence,AI)实现。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
在本发明的某些实施例中,可以通过云服务器实现机器学习,例如:通过云服务器执行以下步骤:对机器学习模型进行训练、评估以及基于已训练的机器学习模型进行结果预测等。
本发明实施例提供的方案涉及人工智能的机器学习等技术,具体通过如下实施例进行说明:
本发明实施例提供的模型运行状态的展示方法,可以应用于如图1所示的应用环境中。该应用环境中包含有终端101和服务器102,其中,终端101通过网络与服务器102进行通信。终端101向服务器102发送指令,以触发服务器102进行模型运行状态展示。服务器102获取与指令对应的任务状态数据并根据任务状态数据对模型运行阶段的运行任务进行运行状态的展示。其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一个实施例中,如图2所示,提供了一种模型运行状态的展示方法,本实施例以该方法应用于后台服务器(也可以简称为后台)进行举例说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。后台服务器是相对于前端而言的。其中,前端可以是用户在使用的手机、电脑等终端设备,也可以是连接于用户终端和后台服务器之间的设备,其上可以配置应用程序、web(WorldWide Web,全球广域网)网站等。前端通过启动应用程序、web网站等来访问后台服务器。
本实施例中,该方法包括以下步骤:
S201,确定目标机器学习模型;所述目标机器学习模型用于在至少一个模型运行阶段下运行;各个模型运行阶段包括至少一个运行任务,各个模型运行阶段的运行任务对应有任务状态数据。
其中,机器学习模型指的是基于机器学习技术所构建的网络模型,可以是神经网络模型、卷积神经网络模型、深度学习模型、支持向量机模型等。在一个实施例中,机器学习模型可以是具有分类、识别等功能的模型,例如为图像分类模型、图像识别模型等。在本发明实施例中,机器学习模型可以简称为模型。在一个实施例中,在获取到设定的网络结构、超参数等后,后台服务器可以构建得到机器学习模型,之后可以对该机器学习模型进行训练、评估、预测等场景下的处理。在另一个实施例中,在获取到设定的网络结构、超参数等后,后台服务器可以控制算法服务器来构建机器学习模型,之后可以在算法服务器中对该机器学习模型进行训练、评估、预测等场景下的处理。其中,算法服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。进一步的,算法服务器与后台服务器通过网络进行通信。后台服务器用于进行业务逻辑的控制,算法服务器用于在后台服务器的控制下执行特定的算法。
模型运行阶段指的是模型可能涉及到的各种运行阶段,可以包括数据集选择、数据增强、模型设计、模型训练、模型评估、模型预测等。
其中,数据集是一种由数据构成的组合,是机器“学习”知识的来源。数据集的大小和指令对模型最终的效果有重要的影响。一般情况下,数据集建设需要收集数据,并由人工对数据进行标注,也即,数据集指的是包含有标注的数据所构成的集合。以识别花草为例,数据集可以是花草图片,每个花草图片已经标注好了对应的类别。这种通过标注好的数据训练得到的模型称为监督学习模型。在模型运行前,可以对数据集进行划分,以得到训练集和验证集。其中训练集用来训练模型;验证集用来调整模型参数和最终优化,防止模型过拟合,辅助判断训练过程何时终止。在一个实施例中,数据集选择可以仅包括选择标注图片的过程,也可以包括选择标注图片以及对训练集和验证集进行划分的过程。
数据增强是为了减少网络的过拟合现象,通过对训练集中的数据进行处理得到泛化能力更强的网络,以更好地适应应用场景。以图片为例,通过对训练集中的图片进行镜像(可以包括水平镜像、垂直镜像、对角镜像等)、旋转、裁剪等变换得到泛化能力更强的网络。在一个实施例中,可以根据预先设定的数据增强比例,在训练集随机选择图片以进行镜像、旋转、裁剪等数据增强处理,之后将经过数据增强处理的图片与训练集中的原始图片一起作为模型的输入,以对模型进行训练。
模型设计指的是对模型的网络结构进行选择,对学习率、batch size(批大小)、epoch(轮次)次数等超参数进行设定。其中,可选择的网络结构可以是神经网络模型(例如:VGG16)、卷积神经网络模型、深度学习模型、支持向量机模型等。
模型训练指的是通过向模型输入训练样本以调整模型的网络参数,使得模型具有特定的分类预测功能。其中,训练是一个反复迭代的优化过程。整个数据集的一次完整遍历,称为一个周期(epoch)。整个训练过程一般会经历多轮epoch。全量数据集的完整遍历往往需要分成小份多次处理,每一次称为一个batch。每次batch处理结束后,会使用损失函数来判断预测标签和真实标签之间的损失(也可以称为损失率),根据损失更新网络权重,然后开始下一个batch。直到模型达到一定的阈值,可以终止训练输出模型。具体地,执行多次epoch,每轮epoch结束后,可以基于损失函数来求得预测标签和真实类别标签之间的loss(损失),根据所计算的loss反向传播以更新网络权重,然后开始下一个epoch,直到loss小于某个值或者验证集精度大于一定阈值(如99%),可以终止训练,得到已训练模型。
模型训练好之后,需要通过测试集评估其各项指标,检验深度学习的效果。模型评估是基于测试集来检验模型深度学习效果的过程,评估已训练模型的精度、性能和泛化能力等。
模型预测指的是模型对没有类别标签的数据自动预测其类别的过程。
在一个实施例中,所述确定目标机器学习模型,包括:当接收到用于对机器学习模型的网络结构、学习率、批大小和轮次次数进行配置的模型配置信息时,确定与所述模型配置信息对应的目标机器学习模型。此时的目标机器学习模型可以理解为初步构建的网络框架,之后可以对该目标机器学习模型运行模型训练、评估和预测等阶段。
在一个实施例中,目标机器学习模型可以是预先运行好的模型,即预先执行了数据集选择、数据增强、模型设计、模型训练、模型评估、模型预测等模型运行阶段;目标机器学习模型也可以是并未预先运行的模型,例如,是根据网络结构、超参数等构建的网络框架,此时可以对该模型执行模型训练、模型评估、模型预测等模型运行阶段;目标机器学习模型还可以是运行了部分模型运行阶段的模型,例如:可以是预先运行了模型训练的模型,此时可以对该模型执行模型评估、模型预测等模型运行阶段,也可以是预先运行了模型训练和模型评估的模型,此时可以对该模型执行模型预测等模型运行阶段。
各个模型运行阶段包括至少一个运行任务。运行任务指的是模型运行阶段在执行过程中所需完成的子任务。
对于模型训练阶段,运行任务可以包括确定数据集、数据增强、计算概率、确定预测结果以及生成状态展示波形图等任务,其中,计算概率可以指模型对输入数据进行分析后确定的与各种类别相匹配的概率;确定预测结果可以指根据各个类别对应的概率确定分类结果,可以是将概率值最高的类别确定为最终的预测结果;生成状态展示波形图可以指确定各个轮次各个批次的准确率、损失等对应的波形图。
对于模型评估阶段,运行任务可以包括确定准确率、确定召回率、确定混淆矩阵、确定典型错误示例、对评估状态进行展示等任务。准确率和召回率是用于信息检索和统计学领域的两个度量值,用来评价分类结果的质量。以二分类为例,通常以关注的类为正类,其他类为负类,分类器在数据集上的预测或者正确或者不正确。具体地,真实值是positive,模型认为是positive的数量(True Positive=TP);真实值是positive,模型认为是negative的数量(False negative=FN),这就是统计学上的第一类错误(Type IError);真实值是negative,模型认为是positive的数量(False positive=FP),这就是统计学上的第二类错误(Type II Error)。
对于模型预测阶段,运行任务可以包括确定预测结果、对预测状态进行展示等任务。
各个模型运行阶段的运行任务对应有任务状态数据。该任务状态数据指的是各个运行任务在执行过程中所产生的状态数据。对于模型训练阶段,任务状态数据可以指所选择的数据集、数据增强处理后的数据、所计算的概率值、预测结果以及波形图等。对于模型评估阶段,任务状态数据可以指准确率、召回率、混淆矩阵、典型错误示例等。对于模型预测阶段,任务状态数据可以指预测结果等。
S202,获取所述目标机器学习模型的目标待展示阶段,获取与所述目标待展示阶段匹配的目标模型运行阶段。
待展示阶段指的是等待展示的阶段,可以与模型运行阶段对应(可以是一对一、一对多、多对一的关系)。具体的,待展示阶段可以指数据集选择、数据增强、模型设计、模型训练、模型评估、模型预测中的至少一个。另外,待展示阶段也可以是供用户选择的阶段标识,图3为待展示阶段的显示示意图。如图3所示,“数据集选择”、“数据增强”、“模型设计”、“训练”和“评估”分别对应以下模型运行阶段:数据集选择、数据增强、模型设计、模型训练、模型评估、模型预测。
目标待展示阶段指的是被选择或者被触发的等待展示的待展示阶段。在一个实施例中,可以由用户在待展示阶段中选择,后台服务器将用户所选择的待展示阶段确定为目标待展示阶段。也可以是后台服务器触发目标机器学习模型自动运行,将当前运行到的阶段确定为目标待展示阶段。
目标待展示阶段也可以是还未被执行的模型运行阶段,当某一个(或某些)未被执行的模型运行阶段被选择时,其对应的模型运行阶段即为目标模型运行阶段。具体的,在如图3所示的界面上显示待展示阶段,如图3所示,数据集选择、数据增强和模型设计为已经运行的阶段,而模型训练和模型评估为未运行的阶段,此时用户可以在模型训练和模型评估这两个目标待展示阶段中选择,当用户点击对应的控件时判定对应的目标待展示阶段被触发,将该目标待展示阶段对应的模型运行阶段确定更为确定为目标模型运行阶段,例如,当用户点击“模型训练”时,确定与之匹配的目标模型运行阶段为模型训练阶段。
S203,确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据。
各个模型运行阶段的各个运行任务可以均对应有任务状态数据。S203中,可以在确定目标模型运行阶段时确定该目标模型运行阶段对应的所有或部分运行任务(此时可以称为目标运行任务),将这些运行任务对应的任务状态数据确定为目标任务状态数据。
S204,根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示。
在确定目标任务状态数据后,S204根据目标任务状态数据对目标模型运行阶段对应的目标运行任务进行运行状态的展示。
在一个实施例中,可以将各个目标任务状态数据转换为数值、图表、视频等形式,并按照各个目标运行任务的执行顺序对这些数值、图片、视频等进行顺序展示,以实现对该目标模型运行阶段的运行状态展示。
在一个实施例中,后台服务器在获取到目标任务状态数据后,也可以将目标任务状态数据发送至前端,以控制前端根据目标任务状态数据在界面上对目标模型运行阶段的运行任务进行运行状态的展示。
上述模型运行状态的展示方法中,获取与目标机器学习模型的目标待展示阶段匹配的目标模型运行阶段;确定与目标模型运行阶段的运行任务对应的目标任务状态数据;根据目标任务状态数据对目标模型运行阶段的运行任务进行运行状态的展示。能够在获取到目标模型运行阶段时确定对应的目标任务状态数据,进而根据目标任务状态数据直观细化地对机器学习模型的各个运行任务进行运行状态的展示。
在一个实施例中,目标机器学习模型可以为预先运行好的模型,也可以是未运行的模型。对于未运行的目标机器学习模型,可以触发该目标机器学习模型在各个模型运行阶段下运行,并在运行过程中逐步展示各个模型运行阶段中各个运行任务的运行状态。通过这样的方式,能逐步展示各个模型运行阶段并细化地展示各个模型运行阶段的各个运行任务的运行状态,实现对模型运行状态的直观展示。
在一个实施例中,所述获取所述目标机器学习模型的目标待展示阶段,获取与所述目标待展示阶段匹配的目标模型运行阶段,包括:当接收到针对待展示阶段的触发指令时,确定与所述触发指令对应的目标待展示阶段;获取与所述目标待展示阶段匹配的目标模型运行阶段。
其中,触发指令可以是由前端发送的对待展示阶段的选择指令,该指令中携带有所选择的待展示阶段的标识。后台服务器在接收到触发指令时,根据指令中携带的标识确定前端选择的目标待展示阶段,进而确定相匹配的目标模型运行阶段。
上述实施例根据前端的选择来确定目标模型运行阶段,进而对该目标模型运行阶段进行运行状态的展示,例如:根据用户的选择来针对性地展示运行状态,能实现与用户的智能化交互,有效保证机器学习模型运行状态的输出效果,进而保证学生的学习效率。
在一个实施例中,后台服务器也可以确定当前已运行的模型运行阶段。根据模型运行阶段的执行顺序,将下一待运行的模型运行阶段确定为目标模型运行阶段,进而对该目标模型运行阶段的运行状态进行展示。通过这样的方式,在不需要用户操作的情况下能实现对模型运行状态的自动展示。
在一个实施例中,所述确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据,包括:控制所述目标机器学习模型在所述目标模型运行阶段下运行,以执行所述目标模型运行阶段的运行任务,得到所述目标模型运行阶段的运行任务对应的目标任务状态数据。
后台服务器可以获取目标机器学习模型的模型数据,并在目标模型运行阶段下运行该目标机器学习模型;也可以向算法服务器发送运行控制指令,以使算法服务器在目标模型运行阶段下运行该目标机器学习模型。
上述实施例,在确定目标模型运行阶段后,后台服务器控制该目标机器学习模型在目标模型运行阶段中实际运行各个运行任务,并得到对应的任务状态数据,作为目标任务状态数据。能够通过实际运行机器学习模型的方式来生成对应的任务状态数据并在界面中展示,在实际运行机器学习模型的同时展示该机器学习所运行的各个步骤,使得在教学或者实验场景中,用户能够更为直观地体验到模型实际运行的各个状态。
在一个实施例中,所述目标模型运行阶段为模型训练阶段;所述模型训练阶段包括至少一个训练轮次,各个训练轮次分别包括至少一个训练批次;所述控制所述目标机器学习模型在所述目标模型运行阶段下运行,以执行所述目标模型运行阶段的运行任务,得到所述目标模型运行阶段的运行任务对应的目标任务状态数据,包括:控制所述目标机器学习模型在所述模型训练阶段下运行,以执行所述模型训练阶段的各个训练轮次的各个训练批次;依次获取各个训练轮次的各个训练批次的训练任务状态数据,作为所述目标任务状态数据;所述根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示,包括:依次根据各个训练轮次中的各个训练批次的训练任务状态数据进行运行状态的动态展示,以对所述模型训练阶段进行状态展示。
对于目标机器学习模型,训练轮次(epoch次数)和训练批次(batch size)的大小可以预先设定。在一个实施例中,后台服务器获取所设置的epoch和batch size,据此对目标机器学习模型进行训练,并对各个epoch和batch的运行状态进行展示。
在一个实施例中,数据集被划分为训练集和验证集。在每个epoch中,后台服务器会基于训练集执行该epoch中的每个batch,计算各个batch对应的准确率和损失,以对目标机器学习模型进行训练和参数调优。每个epoch结束时,后台服务器用验证集来验证模型好坏,基于损失函数来求得验证集中预测标签和真实类别标签之间的loss,并将loss传递给下一个epoch,以在下一个epoch中根据该loss通过反向传播的方式更新网络权重。
图4为对模型训练阶段进行状态展示的示意图。如图4所示,通过波动图的方式分别对各个epoch和各个batch的准确率和损失进行动态展示,在epoch变化时,batch对应的波动图会跟着调整,例如:在执行到第一个epoch时,在界面的batch-准确率图(左上图)中逐个展示第一个epoch中各个batch的准确率,在界面的batch-损失图(右上图)中逐个展示各个batch的损失,在界面的epoch-准确率图(左下图)中展示第一个epoch在训练集和验证集下的准确率,在界面的epoch-损失图(右下图)中展示第一个epoch在训练集和验证集下的损失;在执行到第二个epoch时,在界面的batch-准确率图中逐个展示第二个epoch中各个batch的准确率,在界面的batch-损失图中逐个展示各个batch的损失,在界面的epoch-准确率图中展示第一个和第二个epoch在训练集和验证集下的准确率(即在第一个epoch对应的图上分别对训练集和验证集增加一个数据点),在界面的epoch-损失图中展示第一个和第二个epoch在训练集和验证集下的损失(即在第一个epoch对应的图上分别对训练集和验证集增加一个数据点);其他epoch以此类推。
在一个实施例中,还可以在界面中展示各个epoch中进行数据集、数据增强对比图、概率以及预测值的状态展示。如图5所示,以对花草图片进行分类的场景为例,展示了某个epoch中的运行状态。具体的,数据集部分中展示出了训练集和验证集的划分比例为8:2,数据增强对比图部分展示出了原始图片501和经过数据增强处理的对比图片502,概率部分展示了目标机器学习模型将输入的图片判定为小雏菊、蒲公英、玫瑰、向日葵和郁金香的概率,预测值部分展示了目标机器学习模型最终输出的预测结果,如图5所示,输出的结果为蒲公英。
另外,图4和图5中的状态展示可以结合起来显示,即在执行到对应的epoch时,对其数据增强对比图、概率预测结果、预测值、batch-准确率图、batch-损失图、epoch-准确率图和epoch-损失图进行展示,在下一个epoch到达时针对性地替换上述运行状态。
上述实施例,在需要对模型训练阶段进行运行状态展示时,后台服务器将AI训练部分的知识点按步骤拆解并且按流程串联,根据预先设置的epoch次数和batch size执行模型训练阶段,逐步展示各个epoch中各个batch的运行状态,能有效减少学习内容展示的复杂度,有效降低教学场景或者实验场景中的学习成本。
在一个实施例中,后台服务器在运行目标机器学习模型的目标模型运行阶段时,可以将所生成到的数据存储至存储空间中,例如:关系型数据库、基于文件存储的存储空间、基于对象存储的存储空间、缓存等。以下对本发明涉及到的存储空间进行说明:
对于关系型数据库(可以简称为关系型DB),主要存储结构化数据,例如:AI训练/评估/预测任务状态数据,存储这些任务执行过程/状态的数据。关系型数据库检索快速、方便,因此可以实现对训练/评估/预测运行过程中涉及的数据进行快速检索。其中,关系型数据库可以通过MySQL(关系型数据库管理系统)等实现。
对于基于文件存储的存储空间,该存储空间用于存储非结构化数据、二进制数据,可以存储对检索速度要求没那么高的数据,例如:AI训练/评估/预测所需要的输入数据和执行过程的输出数据。其中,基于文件存储的存储空间可以通过CFS(Cloud File System,智能云文件存储)等实现。
对于基于对象存储的存储空间:可以存储AI训练/评估/预测执行过程/状态数据,这些数据可以通过web页面、H5(Hyper Text Markup Language 5,超文本5.0)页面等展示,方便网络访问,前端页面下载数据可以就近获取,比如利用CDN(Content DeliveryNetwork,内容分发网络)加速。理论上这部分数据也可以存放在基于文件存储的存储空间中,由后台服务器提供文件数据。其中,基于对象存储的存储空间可以通过COS(CloudObject Service,对象存储服务)等实现。
在一个实施例中,所述控制所述目标机器学习模型在所述模型训练阶段下运行,以执行所述模型训练阶段的各个训练轮次的各个训练批次,包括:获取训练图片存储路径信息并将所述训练图片存储路径信息存储至关系型数据库中;所述训练图片存储路径信息用于表征训练样本图片在第一存储空间中的存储路径,所述第一存储空间为基于文件存储的存储空间,所述第一存储空间中还存储有所述目标机器学习模型的模型配置数据;从服务器集群中通过负载均衡的方式确定第一算法服务器;触发所述第一算法服务器执行以下步骤:从所述关系型数据库中读取训练图片存储路径信息,根据所述训练图片存储路径信息从所述第一存储空间中读取所述训练样本图片并读取所述模型配置数据,基于所述训练样本图片和所述模型配置数据对所述目标机器学习模型进行训练,以执行各个训练轮次的各个训练批次,将各个训练轮次的各个训练批次的任务状态表征图片存储至第二存储空间中,根据训练结果将已训练的目标机器学习模型的模型数据写入所述第一存储空间中,并根据训练结果在所述关系型数据库中生成各个训练轮次的各个训练批次对应的训练任务状态数据;所述第二存储空间为基于对象存储的存储空间。
其中,服务器集群可以指由至少一个算法服务器构成的服务器集群。后台服务器通过负载均衡的方式从这些算法服务器中进行选择负载较少的算法服务器,作为第一算法服务器,以执行模型训练阶段。
训练样本图片可以包括训练集和验证集。训练集和验证集的比例可以预先设置,例如为8:2。
模型配置数据可以指用于控制模型运行的数据,可以是能够构建出初始的机器学习模型的数据。可以包括模型的网络结构、学习率、batch size、epoch大小等参数。
已训练的目标机器学习模型的模型数据可以指已训练模型的网络结构、学习率、batch size、epoch大小、已调整的网络参数等。基于模型数据,后台服务器可以直接运行已训练的目标机器学习模型。训练任务状态数据可以指各个epoch中各个batch的准确率、损失、所得到的概率值以及所预测的结果等。
任务状态表征图片指的是用于表征运行任务的任务状态的图片。在界面中展示任务状态表征图片能够让用户更为直观地知晓模型的运行状态。图5中展示的蒲公英图片以及数据增强处理前后的图片就是任务状态表征图片。
在一个实施例中,可以任意选取某张能够表征训练批次的运行状态的图片,作为某一训练轮次下所有训练批次的任务状态表征图片,还可以选取某张能够表征训练轮次的运行状态的图片作为所有训练轮次下的任务状态表征图片而不对各个训练批次的运行状态进行区分表征。
另外,第二存储空间中除了存储图片,还可以存储与训练任务状态相关其他资源数据。
在一个实施例中,当关系型数据库中未存储训练任务状态数据时,可以生成训练任务状态数据;当关系型数据库中已经存储训练任务状态数据时,也可以更新训练任务状态数据。
上述实施例,在执行模型训练阶段时,将训练样本图片、运行状态数据、任务状态表征图片等针对性地存储至不同的存储空间中,以便于后续快速地进行任务状态的展示,能有效保证运行状态展示的效率。
在一个实施例中,后台服务器可以获取训练参数,将该训练参数存储至第一存储空间中。训练参数可以包括训练图片存储路径信息,也可以包括数据集设置比例、数据增强设置信息等。
在一个实施例中,在执行各个训练轮次的各个训练批次的过程中,可以向第一存储空间中写入过程数据、日志等。
在一个实施例中,在通过负载均衡的方式确定算法服务器(包括第一算法服务器以及后续实施例中的第二算法服务器和第三算法服务器)后,可以设置超时释放时间,当该时间到达且未确定该算法服务器是否能执行对应的模型运行阶段时,释放已分配的算法服务器。该超时释放时间可以根据实际情况确定,一般设定为5分钟,在某些情况下也可以进行调整。
在一个实施例中,可以在接收到终端发送的目标模型运行阶段的触发指令时,分配对应的算法服务器,并启动超时释放,将所述图片存储路径信息存储至关系型数据库中,启动目标模型运行阶段并在完成目标模型运行阶段的启动时对所分配的算法服务器进行确认,如果所分配的算法服务空闲且能够运行对应的目标模型运行阶段则取消超时释放,将目标模型运行阶段启动成功的信息返回给终端。此时可以启动所分配的算法服务器,以使该算法服务器运行对应的目标模型运行阶段。
上述实施例,设置超时释放功能,能及时释放并未实际使用的算法服务器,有效提高服务器集群的管理效率,提高整个系统的运行效率。另外,通过目标模型运行阶段的启动和反馈来实现各个模型运行阶段的有序触发,保证模型运行状态展示的效率。
在一个实施例中,算法服务器在向存储空间中写入各类数据之后,可以接收这个存储空间返回的写入成功指示信息。算法服务器在接收到写入成功指示信息后可以执行下一步操作。
在一个实施例中,如图6所示,模型训练阶段(也称为AI训练)的运行过程可以如下:
1、前端在接收到用户(可以指学生在使用的用户终端,在某些场景中,也可以将该用户去除)触发的启动AI训练的指令时,将启动AI训练的指令发送至后台服务器中。
2、后台服务器在计算集群(也即算法服务器集群)中分配算法服务器,设置超时释放。
3、后台服务器将训练参数存储至关系型数据库中。
4、后台服务器向关系型数据库发送启动AI训练的指令,以启动AI训练。
5、后台服务器在启动成功时获取到关系型数据库返回的训练任务ID,确认所分配的算法服务器并取消超时释放,将训练任务ID通过前端输出至用户。
6、算法服务器在关系型数据库中读取训练参数。
7、算法服务器基于训练参数执行AI训练算法(此时可以认为是开始运行AI训练阶段)。
8、算法服务器从基于文件存储的存储空间(图中简称为文件存储,其他图也采用同样的简称,不再赘述)中读取模型配置数据,并基于模型配置数据对目标机器学习模型进行训练,以执行各个训练轮次的各个训练批次,生成对应的训练过程日志。
9、算法服务器向基于文件存储的存储空间中写入训练过程日志。
10、算法服务器向基于对象存储的存储空间(图中简称为对象存储,其他图也采用同样的简称,不再赘述)中写入与训练任务状态相关的资源数据。
11、算法服务器向基于文件存储的存储空间中写入模型数据。
12、算法服务器更新关系型数据库中的AI训练任务状态数据(此时可以认为是结束运行AI训练阶段)。
上述实施例,在执行模型训练阶段时,通过前端、后台服务器、算法服务器、对象关系型数据库、基于文件的存储空间和基于对象的存储空间的配合,快速地进行任务状态的展示,能有效保证运行状态展示的效率。
在一个实施例中,如图7所示,模型训练阶段(也称为AI训练)的运行状态展示过程可以如下:
1、前端在接收到用户触发的获取AI训练任务状态数据的指令时,将AI训练任务状态数据的指令发送至后台服务器中。
2、后台服务器从关系型数据库中读取AI训练任务状态数据,并通过前端向用户输出AI训练任务状态,即,对模型训练阶段进行状态展示。
3、用户从基于对象存储的存储空间中读取与训练任务状态相关的资源数据并在接收到基于对象存储空间返回的资源数据时进行对应的状态展示。
上述实施例,在需要对AI训练任务状态进行展示时,从关系型数据库和基于对象存储的存储空间中获取对应的数据并进行任务状态的展示,能与用户进行交互并对用户的请求进行快速响应,保证教学过程的效率。
在一个实施例中,所述依次根据各个训练轮次中的各个训练批次的训练任务状态数据进行运行状态的动态展示,包括:从所述第二存储空间中读取所述任务状态表征图片;依次展示各个训练轮次中的各个训练批次对应的任务状态表征图片,并对各个训练轮次中的各个训练批次的训练任务状态数据进行运行状态的动态展示。
可以通过图8所示的界面在前端界面上展示模型训练阶段的运行状态。如图8所示,在最上方展示了当前所执行到的epoch、训练时长、预计剩余时间、已训练的百分比。还显示有停止训练的控件,用户可以通过点击该控件来停止模型训练阶段。在中间展示了数据集、数据增强、概率以及预测值的状态。在下方展示了epoch和batch的动态波动图。通过这样的界面展示方式,用户能够直观地感受到模型训练阶段各个运行任务的变化,提高模型运行状态的展示效率。
在一个实施例中,界面中还可以展示模型运行阶段的切换控件。具体的,前端可以在图8界面中的“上一步”控件被触发时,控制后台服务器返回模型设计等前序模型运行阶段,也可以在“保存,然后评估”控件被触发时,控制后台服务器运行模型评估阶段并根据评估任务状态数据在界面中对模型评估阶段进行运行状态的展示。
在一个实施例中,所述依次获取各个训练轮次的各个训练批次的训练任务状态数据,作为所述目标任务状态数据,包括:从关系型数据库中依次获取各个训练轮次中各个训练批次的数据集分配信息、分类概率变化信息、预测结果变化信息、准确率变化信息和损失变化信息,作为所述目标任务状态数据。
在一个实施例中,所述根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示,包括:从基于对象的存储空间中获取各个训练轮次中各个训练批次对应的任务状态表征图片;根据所述任务状态表征图片对各个训练轮次中的各个训练批次进行状态展示;根据数据集分配信息、分类概率变化信息、预测结果变化信息、准确率变化信息和损失变化信息,依次对各个训练轮次中的各个训练批次的数据集分配比例、分类概率值、预测结果、准确率和损失进行动态展示。
上述实施例结合图片和文本等形式来进行训练运行状态的展示,能通过细化显示训练任务来提高运行状态展示的直观性。
在一个实施例中,所述目标模型运行阶段为模型评估阶段,所述目标机器学习模型为对图片进行分类预测的分类预测模型;所述控制所述目标机器学习模型在所述目标模型运行阶段下运行,以执行所述目标模型运行阶段的运行任务,得到所述目标模型运行阶段的运行任务对应的目标任务状态数据,包括:控制所述目标机器学习模型在所述模型评估阶段下运行,以执行所述模型评估阶段的评估任务,得到对应的评估任务状态数据,作为所述目标任务状态数据。
在一个实施例中,所述评估任务状态数据包括以下至少一项:模型评估准确率、模型评估召回率、分类混淆信息以及分类错误信息;所述根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示,包括:根据所述模型评估准确率、所述模型评估召回率、分类混淆矩阵以及分类错误示意图中的至少一项对所述模型评估阶段进行状态展示;所述分类混淆矩阵根据所述分类混淆信息生成,所述分类错误示意图根据所述分类错误信息生成。
其中,模型评估准确率指的是基于测试集确定的目标机器学习模型的准确率。模型评估召回率指的是基于测试集确定的目标机器学习模型的召回率。具体的,可以将测试集作为目标机器学习模型的输入,获取该目标机器学习模型的输出,将输出的分类结果与标签进行比对得到对应的准确率和召回率。分类混淆信息指的是目标机器学习模型对测试集出现混淆识别的信次数,例如:将雏菊识别为蒲公英就可以认为是一次混淆。分类错误信息指的是对测试集进行错误分类的信息,例如错把雏菊识别为蒲公英就可以是一次错误。
在进行状态展示时,可以通过图表的形式来进行。具体的,模型评估准确率和模型评估召回率可以直接通过数值文本的形式来显示。而分类混淆信息以及分类错误信息通过图表的形式展示更为直观,因此,后台服务器根据分类混淆信息生成分类混淆矩阵,根据分类错误信息生成分类错误示意图,并根据分类混淆矩阵以及分类错误示意图(也可以称为典型错误示例)进行状态展示。如图9所示,展示了目标机器学习模型的评估状态,这样的展示方式能直观清晰地展示出目标机器学习模型的评估结果。在一个实施例中,还可以在界面中展示出评估的进度,如图9所示,评估进度为100%,表示已完成模型评估阶段的运行。
在一个实施例中,可以在模型评估阶段的运行过程中动态展示评估结果,例如,在评估进度为20%时,展示目前的评估结果,在评估进度为50%时,在之前评估结果的基础上进行更新,在评估进度为100%时,完整展示评估结果。
在一个实施例中,界面中还可以展示模型运行阶段的切换控件。具体的,前端可以在图9界面中的“上一步”控件被触发时控制后台服务器返回模型训练等前序模型运行阶段,也可以在“下一步,在线预测”控件被触发时控制后台服务器运行模型预测阶段并根据预测任务状态数据在界面中对模型预测阶段进行运行状态的展示。
上述实施例结合图片和文本等形式来进行评估运行状态的展示,能通过直观的显示有效提高运行状态展示的效果。
在一个实施例中,所述控制所述目标机器学习模型在所述模型评估阶段下运行,以执行所述模型评估阶段的评估任务,得到对应的评估任务状态数据,包括:获取评估图片存储路径信息并将所述评估图片存储路径信息存储至关系型数据库中;所述评估图片存储路径信息用于表征评估样本图片在第三存储空间中的存储路径,所述第三存储空间为基于文件存储的存储空间,所述第三存储空间中还存储有已训练的目标机器学习模型的模型数据;从服务器集群中通过负载均衡的方式确定第二算法服务器;触发所述第二算法服务器执行以下步骤:从所述关系型数据库中读取评估图片存储路径信息,根据所述评估图片存储路径信息从所述第三存储空间中读取评估样本图片并读取所述模型数据,基于所述评估样本图片和所述模型数据对所述目标机器学习模型执行对应的评估任务,并根据评估任务的执行结果在所述关系型数据库中生成评估任务状态数据。
模型评估图片指的是用于对完成某一训练阶段的目标机器学习模型进行评估的图片,可以指预先构建的预测集中的图片。具体的,模型评估图片可以是预先标记好的图片。
在一个实施例中,基于已训练的目标机器学习模型的模型数据,算法服务器可以直接运行已训练的目标机器学习模型,并执行对应的评估任务并生成评估任务状态数据。
上述实施例,在执行模型评估阶段时,将评估样本图片、运行状态数据、任务状态表征图片等针对性地存储至不同的存储空间中,以便于后续快速地进行评估任务状态的展示,能有效保证运行状态展示的效率。
在一个实施例中,如图10所示,模型评估阶段(也称为AI评估)的运行过程可以如下:
1、前端在接收到用户触发的启动AI评估的指令时,将启动AI评估的指令发送至后台服务器中。
2、后台服务器在计算集群中分配算法服务器,设置超时释放。
3、后台服务器将评估参数存储至关系型数据库中。
4、后台服务器向关系型数据库发送启动AI评估的指令,以启动AI评估。
5、后台服务器在启动成功时获取到关系型数据库返回的评估任务ID,确认所分配的算法服务器并取消超时释放,将评估任务ID通过前端输出至用户。
6、算法服务器在关系型数据库中读取评估参数。
7、算法服务器基于评估参数执行AI评估算法。
8、算法服务器从基于文件存储的存储空间中读取模型数据。
9、算法服务器从基于文件存储的存储空间中读取评估样本图片等评估资源数据,基于模型数据和评估资源数据对目标机器学习模型进行评估。
10、算法服务器向基于文件存储的存储空间中写入评估过程日志。
11、算法服务器更新关系型数据库中的AI评估任务状态数据。
上述实施例,在执行模型评估阶段时,通过前端、后台服务器、算法服务器、对象关系型数据库和基于文件的存储空间的配合,快速地进行任务状态的展示,能有效保证评估运行状态展示的效率。
在一个实施例中,如图11所示,模型评估阶段(也称为AI评估)的运行状态展示过程可以如下:
1、前端在接收到用户触发的获取AI评估任务状态数据的指令时,将AI评估任务状态数据的指令发送至后台服务器中,以轮询AI评估任务状态。
2、后台服务器从关系型数据库中读取AI评估任务状态数据,并通过前端向用户输出AI评估任务状态,即,对模型评估阶段进行状态展示。
上述实施例,在需要对AI评估任务状态进行展示时,从关系型数据库中获取对应的数据并进行任务状态的展示,能与用户进行交互并对用户的请求进行快速响应,保证教学过程的效率。
在一个实施例中,所述目标模型运行阶段为模型预测阶段,所述目标机器学习模型为对图片进行分类预测的分类预测模型;所述控制所述目标机器学习模型在所述目标模型运行阶段下运行,以执行所述目标模型运行阶段的运行任务,得到所述目标模型运行阶段的运行任务对应的目标任务状态数据,包括:向所述目标机器学习模型输入待分类图片,并控制所述目标机器学习模型在所述模型预测阶段下运行,以对所述待分类图片进行分类预测,得到对应的分类预测结果,作为所述目标任务状态数据;所述根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示,包括:根据所述分类预测结果对所述模型预测阶段进行状态展示。
其中,待分类图片可以指未进行标记的图片,即预测集中的图片。已经训练的目标机器学习模型可以对该待分类图片进行分类,得到对应的分类预测结果。
在一个实施例中,前端可以通过图12所示的界面接收对待分类图片的选择。可以通过选择已有图片或者上传本地图片的方式。在“开始预测”的控件被触发时触发后台服务器执行模型预测阶段,并在模型预测阶段执行结束时显示对应的预测结果。
如图12所示,展示了目标机器学习模型的预测步骤并能直观地展示出目标机器学习模型的预测结果。
在一个实施例中,在图12界面中的“上一步”控件被触发时后台服务器可以返回模型评估等前序模型运行阶段。
上述实施例结合图片和文本等形式来进行预测运行状态的展示,能通过直观的显示有效提高运行状态展示的效果。
在一个实施例中,所述控制所述目标机器学习模型在所述模型预测阶段下运行,以对所述待分类图片进行分类预测,得到对应的分类预测结果,包括:获取待分类图片,将所述待分类图片存储至第四存储空间中;所述第四存储空间为基于文件存储的存储空间,所述第四存储空间中存储有已训练的目标机器学习模型的模型数据;获取待分类图片存储路径信息,将所述待分类图片存储路径信息存储至关系型数据库中;所述待分类图片存储路径信息用于表征待分类图片在所述第四存储空间中的存储路径;从服务器集群中通过负载均衡的方式确定第三算法服务器;触发所述第三算法服务器执行以下步骤:从所述关系型数据库中读取待分类图片存储路径信息,根据所述待分类图片存储路径信息从所述第四存储空间中读取所述待分类图片并读取所述模型数据,基于所述待分类图片和所述模型数据对所述目标机器学习模型执行对应的预测任务,以对所述待分类图片进行分类预测,并根据分类预测的执行结果在所述关系型数据库中生成分类预测结果。
在一个实施例中,基于已训练的目标机器学习模型的模型数据,算法服务器可以直接运行已训练的目标机器学习模型,并执行对应的预测任务,来对未分类的图片进行分类。
上述实施例,在执行模型预测阶段时,将待分类图片、运行状态数据、任务状态表征图片等针对性地存储至不同的存储空间中,以便于后续快速地进行预测任务状态的展示,能有效保证运行状态展示的效率。
在一个实施例中,对于基于文件存储的存储空间,第一存储空间、第三存储空间和第四存储空间可以是同一基于文件存储的存储空间。模型训练阶段将已训练的目标机器学习模型的模型数据写入该基于文件存储的存储空间中,之后的模型评估阶段和模型预测阶段则可以直接从该基于文件存储的存储空间中读取对应的模型数据,进而直接运行已训练的目标机器学习模型,能有效保证不同模型运行阶段下数据的同步。
在一个实施例中,由算法服务器(包括第一、第二和第三算法服务器)执行的步骤也可以直接由后台服务器执行。
在一个实施例中,后台服务器也可以是通过负载均衡的方式选择得到。具体的,系统中有至少一个后台服务器。在接收到模型运行状态的展示触发指令时,系统在这些后台服务器中通过负载均衡的方式来选择目标后台服务器,进而由该目标后台服务器执行模型运行状态的展示方法。
在一个实施例中,如图13所示,模型预测阶段(也称为AI预测)的运行过程可以如下:
1、前端在接收到用户触发的启动AI预测的指令时,将启动AI预测的指令发送至后台服务器中。
2、后台服务器在计算集群中分配算法服务器,设置超时释放。
3、后台服务器将预测参数存储至关系型数据库中。
4、后台服务器将待分类图片(也可以称为预测资源数据)存储至基于文件存储的存储空间中。
5、后台服务器向关系型数据库发送启动AI预测的指令,以启动AI预测。
6、后台服务器在启动成功时获取到关系型数据库返回的预测任务ID,确认所分配的算法服务器并取消超时释放,将预测任务ID通过前端输出至用户。
7、算法服务器在关系型数据库中读取预测参数。
8、算法服务器基于预测参数执行AI预测算法。
9、算法服务器从基于文件存储的存储空间中读取模型数据。
10、算法服务器从基于文件存储的存储空间中读取待分类图片,基于模型数据和待分类图片对目标机器学习模型进行预测。
11、算法服务器向基于文件存储的存储空间中写入预测过程日志。
12、算法服务器更新关系型数据库中的AI预测任务状态数据。
上述实施例,在执行模型预测阶段时,通过前端、后台服务器、算法服务器、对象关系型数据库和基于文件的存储空间的配合,快速地进行任务状态的展示,能有效保证预测运行状态展示的效率。
在一个实施例中,如图14所示,模型预测阶段(也称为AI预测)的运行状态展示过程可以如下:
1、前端在接收到用户触发的获取AI预测任务状态数据的指令时,将AI预测任务状态数据的指令发送至后台服务器中,以轮询AI预测任务状态数据。
2、后台服务器从关系型数据库中读取AI预测任务状态数据,并通过前端向用户输出AI预测任务状态,即,对模型预测阶段进行状态展示。
上述实施例,在需要对AI预测任务状态进行展示时,从关系型数据库中获取对应的数据并进行任务状态的展示,能与用户进行交互并对用户的请求进行快速响应,保证教学过程的效率。
在一个实施例中,所述控制所述目标机器学习模型在所述目标模型运行阶段下运行之后,还包括:当接收到运行停止指令时,控制所述目标机器学习模型停止运行所述目标模型运行阶段,并对所述目标模型运行阶段进行任务状态数据的更新。
进一步地,如果当前运行的模型训练阶段,则在接收到运行停止指令时,控制目标机器学习模型停止运行模型训练阶段;如果当前运行的模型评估阶段,则在接收到运行停止指令时,控制目标机器学习模型停止运行模型评估阶段;如果当前运行的模型预测阶段,则在接收到运行停止指令时,控制目标机器学习模型停止运行模型预测阶段。
在一个实施例中,如图15所示,结束模型训练阶段的过程可以如下:
1、前端在接收到用户触发的停止AI训练任务状态数据的指令时,将停止AI训练任务状态数据的指令发送至后台服务器。
2、后台服务器将停止AI训练任务状态数据的指令发送至算法服务器中。
3、算法服务器更新关系型数据库中的训练任务状态数据。
4、后台服务器将模型AI训练停止成功的信息逐步返回至用户。
在一个实施例中,如图16所示,结束模型评估阶段的过程可以如下:
1、前端在接收到用户触发的停止AI评估任务状态数据的指令时,将停止AI评估任务状态数据的指令发送至后台服务器。
2、后台服务器将停止AI评估任务状态数据的指令发送至算法服务器中。
3、算法服务器更新关系型数据库中的评估任务状态数据。
4、后台服务器将模型AI评估停止成功的信息逐步返回至用户。
在一个实施例中,如图17所示,结束模型预测阶段的过程可以如下:
1、前端在接收到用户触发的停止AI预测任务状态数据的指令时,将停止AI预测任务状态数据的指令发送至后台服务器。
2、后台服务器将停止AI预测任务状态数据的指令发送至算法服务器中。
3、算法服务器更新关系型数据库中的预测任务状态数据。
4、后台服务器将模型AI预测停止成功的信息逐步返回至用户。
有时候模型运行时间过长,用户不想等待,可以主动停止。后台服务器在接收到运行停止指令时,控制目标机器学习模型停止运行对应的目标模型运行阶段,能有效提高与用户的交互性,提高模型运行状态的展示方法的智能性。
在一个实施例中,运行停止指令也可以是运行阶段切换指令,例如,假设当前运行的模型训练阶段,则在接收到运行阶段切换指令时,控制目标机器学习模型停止运行模型训练阶段,并开始运行模型评估阶段。
在一个实施例中,所述目标机器学习模型为预先在至少一个模型运行阶段下运行的机器学习模型;所述确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据,包括:确定所述目标机器学习模型在预先运行过程生成的各个模型运行阶段的运行任务的任务状态数据;根据各个模型运行阶段的运行任务的任务状态数据确定所述目标模型运行阶段的运行任务对应的目标任务状态数据。
某些模型训练、评估和预测过程可能需要较长时间,因此,也可以预先运行目标机器学习模型,生成对应的任务状态数据,并在需要进行运行状态展示时调用时展示预置数据,这样的处理方式能极大地提高模型运行状态展示的效率,可支持高并发的访问量,对于学生和老师教学都有良好体验。
在一个实施例中,可以根据教学要求预先训练典型的机器学习模型。这些典型的机器学习模型可以是效果很好和很差的模型。在模型类型确定之后,逐步展示运行状态。
在一个实施例中,图18为模型参数的设置界面示意图。如图18所示,前端可以在“模型选择”的窗口接收用户触发的准确率选择指令,在接收到准确率选择指令时,展示相匹配的机器学习模型在数据集、数据增强和模型设计上的信息。在之后的训练、评估和预测阶段对与所选择的准确率对应的模型进行运行状态的展示。通过这样的方式,能够让学生获知怎样的模型设置方式能够实现良好的模型效果,有效提高学生后续的实际操作能力。
在一个实施例中,界面中还可以展示模型运行阶段的切换控件。具体的,前端可以在图18界面中的“上一步”控件被触发时返回实验目的展示等前序模型运行阶段,也可以在“开始训练”控件被触发时触发后台服务器运行模型训练阶段并根据训练任务状态数据在界面中对模型训练阶段进行运行状态的展示。
在一个实施例中,本发明实施例提供的模型运行状态的展示方法可以应用于如图19所示的应用场景中。在该应用场景中,用户通过终端设备上的浏览器访问AI实验平台。该AI实验平台包含有前端、后台服务器以及与后台服务器连接的算法服务器。AI实验平台在接收到实验启动指令时,通过负载均衡的方式分配对应的前端和后台服务器。由所分配的前端来与交互进行交互并将用户输入的数据发送至后台服务器中,后台服务器据此控制算法服务器执行对应的模型运行阶段并生成任务状态数据,由后台服务器将任务状态数据发送至前端,前端根据任务状态数据向用户展示对应的运行状态。
在一个实施例中,本发明实施例提供的模型运行状态的展示方法还可以应用于如图20所示的应用场景中。在该应用场景中,用户通过终端设备上的浏览器访问AI实验平台中的前端模块和后台模块,该后台模块连接有存储模块和算法模块。
在一个实施例中,前端模块包含有N(N为大于或等于1的自然数,其大小可以根据实际情况确定,本发明实施例对N的大小不做限制)个服务器,这N个服务器与存储模块连接,该存储模块可以是基于对象存储的存储空间也可以是基于文件存储的存储空间。进一步的,前端中的服务器能够提供WEB服务,这些服务器中可以存储前端代码以及静态资源。其中,静态资源指的是前端会用到的一些固定的资源数据,比如WEB页面上不会变化的图片、图标数据等。在一个实施例中,前端模块通过服务器与终端设备进行交互,获取对应的用户指令、输入的数据等,进而与后台模块进行交互。在一个实施例中,前端模块可以通过负载均衡的方式来从多个服务器中进行选择,提高前端模块的可扩展性和可靠性。
在一个实施例中,后台模块包含有M(M为大于或等于1的自然数,其大小可以根据实际情况确定,本发明实施例对M的大小不做限制)个服务器,这M个服务器与存储模块连接,该存储模块可以是关系型数据库、缓存、基于对象存储的存储空间、基于文件存储的存储空间等。
在一个实施例中,后台模块中的服务器可以实现逻辑的控制,具体可以包括基础逻辑控制、业务逻辑控制、计算集群调度。其中,基础逻辑控制包括C端/B端鉴权、服务路由、负载均衡、频率限制、熔断保护等。
以下对这些基础逻辑控制的内容进行说明:C端/B端鉴权指的是对个人终端或者企业终端进行权限鉴定,例如:进行密码验证等;服务路由可以指服务实例的定位,即通过一定的路径定位到具体的服务实例;负载均衡可以指在服务集群或者计算集群中选择,以减少服务或者计算服务器的压力;频率限制可以指对终端访问频率等的限制;而对于熔断保护,说明如下:服务实例的运行过程可以为:上游服务实例→调用访问→下游服务实例,下游后台服务的某个或某些实例发生异常时,上游的后台服务实例暂时不会访问这些有问题的后台服务实例,这就是熔断保护。业务逻辑控制包括在多个业务功能模块中进行选择,这些业务功能可以进行花草种类的识别、决策树生成、对食物进行聚类、自动写诗等。计算集群调度可以包括计算任务调度、计算任务管理、计算资源管理等。其中,计算任务调度的规则可以是保障优先客户等。计算任务管理的任务可以是维护任务状态等。计算资源管理的任务可以是监控计算集群等。
在一个实施例中,后台模块还可以与外部算法服务连接,以提高整个系统的功能多样性。其中,外部算法服务可以包括腾讯云、优图等。
在一个实施例中,算法模块包含有P(P为大于或等于1的自然数,其大小可以根据实际情况确定,本发明实施例对P的大小不做限制)个计算集群,这P个计算引擎能够实现以下功能:计算任务调度、计算任务管理、计算资源管理以及算法。其中,计算任务调度可以包括调度训练、评估、预测等任务;计算任务管理可以指对创建、执行中、成功、失败等任务进行管理;计算资源管理可以指对CPU、内存、磁盘等资源进行管理;算法可以指对多种类型的算法进行调度和管理,具体可以包括:花草种类的识别、决策树生成、对食物进行聚类、自动写诗等算法。
上述实施例,通过前端模块、后台模块、存储模块和算法模块等结合,实现模型运行状态的展示方法,通过负载均衡的方式进行服务器和计算集群的分配,并基于各个模块内部所能提供的众多功能针对性地完成机器学习模型的各个模型运行阶段并实现模型运行状态的展示,整个系统具有高度的可靠性和可扩展性。
在一个实施例中,提供了一种模型运行状态的展示方法,以该方法应用于对花草图片的种类识别场景为例,具体实现过程如下:
1、后台服务器按照要求收集5类花草图片,经过清洗后构建数据集并对数据集中的图片进行标记。
2、前端在接收到实验启动指令时,启动AI实验平台,并在界面展示实验内容,实验内容包括以下3项:实验目标、实验训练与评估、在线预测和报告。如图21所示,界面左侧显示了实验内容的主要流程,右侧显示了实验目标,该实验目标包括实验名称、实验目的、实验环境、实验原理和实验内容。
3、在接收到用户触发的显示“实验训练与评估”的指令时,可以显示如图22所示的界面。如图22所示,左侧显示了实验训练与评估的主要流程,该流程可以设置有对应的触发控件,前端在接收到对触发控件的触发指令时可以触发后台服务器运行对应的模型运行阶段。右侧显示了对数据集、数据增强的设置窗口以及模型设计的窗口。前端可以通过数据集设置窗口接收用户对数据集中训练集比例的设置以及对图片标准化的选择,并据此从原始数据中针对性地从数据集中获取训练集和验证集。前端可以通过数据增强设置窗口接收用户对数据增强方式的选择信息,具体的,接收用户对训练集中占比多少的图片进行随机剪裁、水平镜像、垂直镜像和对角镜像处理。前端可以通过模型设计窗口接收用户对模型进行设计的信息,可以包括对模型类型的选择、循环次数的设置、学习率的设置和批量大小的设置。同时,前端可以在“上一步”控件被触发时返回实验目标的显示界面,在“开始训练”控件被触发时进入到模型训练状态显示的界面。
4、在接收到用户触发的显示“训练”的指令时,可以触发服务器按照以下步骤运行模型训练阶段并进行模型训练阶段的状态显示:
4.1、后台服务器获取训练图片存储路径信息并将训练图片存储路径信息存储至关系型数据库中。
4.2、后台服务器从服务器集群中通过负载均衡的方式确定第一算法服务器。
4.3、第一算法服务器从关系型数据库中读取训练图片存储路径信息,根据训练图片存储路径信息从第一存储空间中读取训练样本图片并读取模型配置数据,基于训练样本图片和模型配置数据对目标机器学习模型进行训练,以执行各个训练轮次的各个训练批次,将各个训练轮次的各个训练批次的任务状态表征图片存储至第二存储空间中,根据训练结果将已训练的目标机器学习模型的模型数据写入第一存储空间中,并根据训练结果在关系型数据库中生成各个训练轮次的各个训练批次对应的训练任务状态数据;第二存储空间为基于对象存储的存储空间。
4.4、后台服务器依次获取各个训练轮次的各个训练批次的训练任务状态数据。
4.5、后台服务器依次根据各个训练轮次中的各个训练批次的训练任务状态数据控制前端在界面对运行状态进行动态展示,以对模型训练阶段进行状态展示。
在运行模型训练阶段的过程中前端可以显示如图23所示的界面。如图23所示,按照模型训练的运行过程分别显示数据集、数据增强、概率、预测值等状态,并实时对各个epoch中各个batch的准确率和损失变化状态进行展示。同时,前端可以在“上一步”控件被触发时返回图22所示模型设置界面,在“保存,然后评估”控件被触发时进入到模型评估状态显示的界面。
5、在接收到用户触发的显示“评估”的指令(用户可以通过图23左侧的“评估”控件或者右下角的“保存,然后评估”控件来触发)时,可以触发服务器按照以下步骤运行模型评估阶段并进行模型评估阶段的状态显示:
5.1、后台服务器获取评估图片存储路径信息并将评估图片存储路径信息存储至关系型数据库中。
5.2、后台服务器从服务器集群中通过负载均衡的方式确定第二算法服务器。
5.3、第二算法服务器从关系型数据库中读取评估图片存储路径信息,根据评估图片存储路径信息从第三存储空间中读取评估样本图片并读取模型数据,基于评估样本图片和模型数据对目标机器学习模型执行对应的评估任务,并根据评估任务的执行结果在关系型数据库中生成模型评估准确率、模型评估召回率、分类混淆信息以及分类错误信息等评估任务状态数据。
5.4、后台服务器根据分类混淆信息生成分类混淆矩阵;根据分类错误信息生成分类错误示意图;根据模型评估准确率、模型评估召回率、分类混淆矩阵以及分类错误示意图控制前端在界面上对模型评估阶段进行状态展示。
所展示的界面可以如图24所示,图24中展示有评估模型的信息并通过图表的方式展示了评估结果。同时,前端可以在“上一步”控件被触发时返回模型训练阶段的显示界面,在“下一步,在线预测”控件被触发时进入到模型预测状态显示的界面。
6、在接收到用户触发的显示“预测”的指令(用户可以通过图24左侧的“在线预测”控件或者右下角的“下一步,在线预测”控件来触发)时,可以触发服务器按照以下步骤运行模型预测阶段并进行模型预测阶段的状态显示:
6.1、前端通过如图25所示的界面(该界面中预测结果可以为空)引导用户进行待分类图片的选择。将待分类图片发送至后台服务器。后台服务器获取待分类图片,将待分类图片存储至第四存储空间中。
6.2、后台服务器获取待分类图片存储路径信息,将待分类图片存储路径信息存储至关系型数据库中。
6.3、后台服务器从服务器集群中通过负载均衡的方式确定第三算法服务器。
6.4、第三算法服务器从关系型数据库中读取待分类图片存储路径信息,根据待分类图片存储路径信息从第四存储空间中读取待分类图片并读取模型数据,基于待分类图片和模型数据对目标机器学习模型执行对应的预测任务,以对待分类图片进行分类预测,并根据分类预测的执行结果在关系型数据库中生成分类预测结果。
6.5、后台服务器根据分类预测结果控制前端在界面对运行状态进行动态展示,以对模型预测阶段进行状态展示。
所展示的界面可以如图25所示,此时,预测结果显示为蒲公英。同时,前端可以在“上一步”控件被触发时返回模型评估阶段的显示界面。
7、在接收到用户触发的显示“报告”的指令(用户可以通过各个实验内容显示界面图左侧的“报告”控件来触发)时,可以触发后台服务器根据当前已运行的模型运行状态生成报告,以指导学生对AI实验进行总结。
上述实施例,用真实数据跑算法模型,将图像识别的AI运行过程进行教学化剖析,从实验的数据集采集到训练、评估、预测阶段,按步骤拆解并且按流程串联之后以流程化的方式展示出来,同时,将模型的数据进行图像展示,让学生能够直观的看到每一个batch和epoch的图像,以达到教学目的。学生可调整实验参数,进行实验模型的训练,训练好的模型还可以传给腾讯扣叮等编程平台进行积木块封装和调用,以达到动手实践的目的,有效提高教学效果。
在一个实施例中,提供了一种模型运行状态的展示方法,以该方法应用于对花草图片的种类识别场景为例,具体实现过程如下:
预先运行有教学意义的机器学习模型若干个,比如:效果特别好的模型5个,效果特别差的模型5个,效果一般的模型5个,这些模型的网络结构、超参数等存在差异,且可以对应不同的准确率。
在教学场景中,前端在界面显示不同准确率的模型,当接收到学生所选择的准确率之后,在界面上展示与该准确率对应的目标机器学习模型m的多个场景:
场景1训练
【任务目标】
在界面中展示目标机器学习模型m对应的数据集比例、数据增强设置信息和模型设计信息。
【任务步骤】
在界面上逐步显示以下过程的状态:
第一步,数据集选择及预处理;
前端在界面显示目标机器学习模型m对应的数据集、训练集和验证集的组成结构。
第二步,数据增强;
前端在界面显示目标机器学习模型m对应的数据增强配置,查看随机裁剪和镜像翻转两种处理方式下的训练集数量变化情况。
场景2训练
在前端接收的训练阶段的触发指令时,后台服务器返回训练运行状态数据。前端根据训练运行状态数据展示出训练每一个batch和epoch的完整过程。界面上方用四个步骤来直观的展示出一张图片在一个epoch中的处理和分析过程,这张图片的选取是随机的,这个过程包含了其被进行数据增强处理后的效果,在模型中进行预测的结果,最终的预测值是什么。页面下方展示出了batch-准确率、batch-损失率、epoch-准确率和epoch-损失率对应的波动图;辅助用户学习和理解每个模型的训练过程。
场景3评估
【任务目标】
基于测试集,评估最优模型的分类精度和混淆矩阵,分析分类错误的原因及相应提升策略。
【任务步骤】
在前端接收的评估阶段的触发指令时,后台服务器返回评估运行状态数据,根据评估运行状态数据得到评估结果,计算出准确率和召回率,并且给出混淆矩阵和典型错误示例。前端据此在界面展示对应的评估结果。
场景4预测
【任务目标】
上传没有类别标签的图片,使用模型预测其所属类别。
【任务步骤】
第一步,前端在界面上显示图片选择控件,并接收所上传的没有类别标签的图片;
第二步,前端在界面上显示模型选择控件,并接收所选择的模型;
第三步,前端通过后台服务器获取对该图片的预测结果并在界面上显示。
上述实施例,从0到1搭建了一整套服务,纯自研底层架构和算法架构,服务于老师和学生课堂AI教学。并且该技术方案采用的预先跑好模型,在调用时展示预置数据,可支持高并发的访问量,对于学生和老师教学都有良好体验。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于与上述实施例中的模型运行状态的展示方法相同的思想,本发明还提供模型运行状态的展示装置,该装置可用于执行上述模型运行状态的展示方法。为了便于说明,模型运行状态的展示装置实施例的结构示意图中,仅仅示出了与本发明实施例相关的部分,本领域技术人员可以理解,图示结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
在一个实施例中,如图26所示,提供了一种模型运行状态的展示装置2600,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:模型确定模块2601、运行阶段获取模块2602、状态数据确定模块2603和运行状态展示模块2604,其中:
模型确定模块2601,用于确定目标机器学习模型;所述目标机器学习模型用于在至少一个模型运行阶段下运行;各个模型运行阶段包括至少一个运行任务,各个模型运行阶段的运行任务对应有任务状态数据。
运行阶段获取模块2602,用于获取所述目标机器学习模型的目标待展示阶段,获取与所述目标待展示阶段匹配的目标模型运行阶段。
状态数据确定模块2603,用于确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据。
运行状态展示模块2604,用于根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示。
上述模型运行状态的展示装置中,能够在获取到目标模型运行阶段时确定对应的目标任务状态数据,进而根据目标任务状态数据直观地对机器学习模型的各个运行任务进行运行状态的展示。
在一个实施例中,状态数据确定模块,还用于控制所述目标机器学习模型在所述目标模型运行阶段下运行,以执行所述目标模型运行阶段的运行任务,得到所述目标模型运行阶段的运行任务对应的目标任务状态数据。
在一个实施例中,所述目标模型运行阶段为模型训练阶段;所述模型训练阶段包括至少一个训练轮次,各个训练轮次分别包括至少一个训练批次;状态数据确定模块,包括:训练任务执行子模块,用于控制所述目标机器学习模型在所述模型训练阶段下运行,以执行所述模型训练阶段的各个训练轮次的各个训练批次;训练状态数据获取子模块,用于依次获取各个训练轮次的各个训练批次的训练任务状态数据,作为所述目标任务状态数据;运行状态展示模块,还用于依次根据各个训练轮次中的各个训练批次的训练任务状态数据进行运行状态的动态展示,以对所述模型训练阶段进行状态展示。
在一个实施例中,轮次执行子模块,包括:训练图片路径存储单元,用于获取训练图片存储路径信息并将所述训练图片存储路径信息存储至关系型数据库中;所述训练图片存储路径信息用于表征训练样本图片在第一存储空间中的存储路径,所述第一存储空间为基于文件存储的存储空间,所述第一存储空间中还存储有所述目标机器学习模型的模型配置数据;第一服务器确定单元,用于从服务器集群中通过负载均衡的方式确定第一算法服务器;第一服务器执行单元,用于触发所述第一算法服务器执行以下步骤:从所述关系型数据库中读取训练图片存储路径信息,根据所述训练图片存储路径信息从所述第一存储空间中读取所述训练样本图片并读取所述模型配置数据,基于所述训练样本图片和所述模型配置数据对所述目标机器学习模型进行训练,以执行各个训练轮次的各个训练批次,将各个训练轮次的各个训练批次的任务状态表征图片存储至第二存储空间中,根据训练结果将已训练的目标机器学习模型的模型数据写入所述第一存储空间中,并根据训练结果在所述关系型数据库中生成各个训练轮次的各个训练批次对应的训练任务状态数据;所述第二存储空间为基于对象存储的存储空间。
在一个实施例中,运行状态展示模块,包括:图片读取子模块,用于从所述第二存储空间中读取所述任务状态表征图片;训练运行状态展示子模块,用于依次展示各个训练轮次中的各个训练批次对应的任务状态表征图片,并对各个训练轮次中的各个训练批次的训练任务状态数据进行运行状态的动态展示。
在一个实施例中,所述目标模型运行阶段为模型评估阶段,所述目标机器学习模型为对图片进行分类预测的分类预测模型;状态数据确定模块,还用于控制所述目标机器学习模型在所述模型评估阶段下运行,以执行所述模型评估阶段的评估任务,得到对应的评估任务状态数据,作为所述目标任务状态数据;所述评估任务状态数据包括以下至少一项:模型评估准确率、模型评估召回率、分类混淆信息以及分类错误信息;运行状态展示模块,还用于根据所述模型评估准确率、所述模型评估召回率、分类混淆矩阵以及分类错误示意图中的至少一项对所述模型评估阶段进行状态展示;所述分类混淆矩阵根据所述分类混淆信息生成,所述分类错误示意图根据所述分类错误信息生成。
在一个实施例中,状态数据确定模块,包括:评估图片路径存储子模块,用于获取评估图片存储路径信息并将所述评估图片存储路径信息存储至关系型数据库中;所述评估图片存储路径信息用于表征评估样本图片在第三存储空间中的存储路径,所述第三存储空间为基于文件存储的存储空间,所述第三存储空间中还存储有已训练的目标机器学习模型的模型数据;第二服务器确定子模块,用于从服务器集群中通过负载均衡的方式确定第二算法服务器;第二服务器执行子模块,用于触发所述第二算法服务器执行以下步骤:从所述关系型数据库中读取评估图片存储路径信息,根据所述评估图片存储路径信息从所述第三存储空间中读取评估样本图片并读取所述模型数据,基于所述评估样本图片和所述模型数据对所述目标机器学习模型执行对应的评估任务,并根据评估任务的执行结果在所述关系型数据库中生成评估任务状态数据。
在一个实施例中,所述目标模型运行阶段为模型预测阶段,所述目标机器学习模型为对图片进行分类预测的分类预测模型;状态数据确定模块,还用于向所述目标机器学习模型输入待分类图片,并控制所述目标机器学习模型在所述模型预测阶段下运行,以对所述待分类图片进行分类预测,得到对应的分类预测结果,作为所述目标任务状态数据;运行状态展示模块,还用于根据所述分类预测结果对所述模型预测阶段进行状态展示。
在一个实施例中,状态数据确定模块,包括:待分类图片存储子模块,用于获取待分类图片,将所述待分类图片存储至第四存储空间中;所述第四存储空间为基于文件存储的存储空间,所述第四存储空间中存储有已训练的目标机器学习模型的模型数据;分类图片路径存储子模块,用于获取待分类图片存储路径信息,将所述待分类图片存储路径信息存储至关系型数据库中;所述待分类图片存储路径信息用于表征待分类图片在所述第四存储空间中的存储路径;第三服务器确定子模块,用于从服务器集群中通过负载均衡的方式确定第三算法服务器;第三服务器执行子模块,用于触发所述第三算法服务器执行以下步骤:从所述关系型数据库中读取待分类图片存储路径信息,根据所述待分类图片存储路径信息从所述第四存储空间中读取所述待分类图片并读取所述模型数据,基于所述待分类图片和所述模型数据对所述目标机器学习模型执行对应的预测任务,以对所述待分类图片进行分类预测,并根据分类预测的执行结果在所述关系型数据库中生成分类预测结果。
在一个实施例中,所述装置,还包括:阶段运行停止模块,用于当接收到运行停止指令时,控制所述目标机器学习模型停止运行所述目标模型运行阶段,并对所述目标模型运行阶段进行任务状态数据的更新。
在一个实施例中,所述目标机器学习模型为预先在至少一个模型运行阶段下运行的机器学习模型;状态数据确定模块:预运行状态数据确定子模块,用于确定所述目标机器学习模型在预先运行过程生成的各个模型运行阶段的运行任务的任务状态数据;状态任务数据确定子模块,用于根据各个模型运行阶段的运行任务的任务状态数据确定所述目标模型运行阶段的运行任务对应的目标任务状态数据。
在一个实施例中,运行阶段获取模块,包括:展示阶段确定子模块,用于当接收到针对待展示阶段的触发指令时,确定与所述触发指令对应的目标待展示阶段;阶段匹配子模块,用于获取与所述目标待展示阶段匹配的目标模型运行阶段。
关于模型运行状态的展示装置的具体限定可以参见上文中对于模型运行状态的展示方法的限定,在此不再赘述。上述模型运行状态的展示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图27所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储任务状态数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型运行状态的展示方法。
本领域技术人员可以理解,图27中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种模型运行状态的展示方法,其特征在于,所述方法包括:
确定目标机器学习模型;所述目标机器学习模型用于在至少一个模型运行阶段下运行;各个模型运行阶段包括至少一个运行任务,各个模型运行阶段的运行任务对应有任务状态数据;
获取所述目标机器学习模型的目标待展示阶段,获取与所述目标待展示阶段匹配的目标模型运行阶段;
确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据;
根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示。
2.根据权利要求1所述的方法,其特征在于,所述确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据,包括:
控制所述目标机器学习模型在所述目标模型运行阶段下运行,以执行所述目标模型运行阶段的运行任务,得到所述目标模型运行阶段的运行任务对应的目标任务状态数据。
3.根据权利要求2所述的方法,其特征在于,所述目标模型运行阶段为模型训练阶段;所述模型训练阶段包括至少一个训练轮次,各个训练轮次分别包括至少一个训练批次;
所述控制所述目标机器学习模型在所述目标模型运行阶段下运行,以执行所述目标模型运行阶段的运行任务,得到所述目标模型运行阶段的运行任务对应的目标任务状态数据,包括:
控制所述目标机器学习模型在所述模型训练阶段下运行,以执行所述模型训练阶段的各个训练轮次的各个训练批次;
依次获取各个训练轮次的各个训练批次的训练任务状态数据,作为所述目标任务状态数据;
所述根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示,包括:
依次根据各个训练轮次中的各个训练批次的训练任务状态数据进行运行状态的动态展示,以对所述模型训练阶段进行状态展示。
4.根据权利要求3所述的方法,其特征在于,所述控制所述目标机器学习模型在所述模型训练阶段下运行,以执行所述模型训练阶段的各个训练轮次的各个训练批次,包括:
获取训练图片存储路径信息并将所述训练图片存储路径信息存储至关系型数据库中;所述训练图片存储路径信息用于表征训练样本图片在第一存储空间中的存储路径,所述第一存储空间为基于文件存储的存储空间,所述第一存储空间中还存储有所述目标机器学习模型的模型配置数据;
从服务器集群中通过负载均衡的方式确定第一算法服务器;
触发所述第一算法服务器执行以下步骤:从所述关系型数据库中读取训练图片存储路径信息,根据所述训练图片存储路径信息从所述第一存储空间中读取所述训练样本图片并读取所述模型配置数据,基于所述训练样本图片和所述模型配置数据对所述目标机器学习模型进行训练,以执行各个训练轮次的各个训练批次,将各个训练轮次的各个训练批次的任务状态表征图片存储至第二存储空间中,根据训练结果将已训练的目标机器学习模型的模型数据写入所述第一存储空间中,并根据训练结果在所述关系型数据库中生成各个训练轮次的各个训练批次对应的训练任务状态数据;所述第二存储空间为基于对象存储的存储空间。
5.根据权利要求4所述的方法,其特征在于,所述依次根据各个训练轮次中的各个训练批次的训练任务状态数据进行运行状态的动态展示,包括:
从所述第二存储空间中读取所述任务状态表征图片;
依次展示各个训练轮次中的各个训练批次对应的任务状态表征图片,并对各个训练轮次中的各个训练批次的训练任务状态数据进行运行状态的动态展示。
6.根据权利要求2所述的方法,其特征在于,所述目标模型运行阶段为模型评估阶段,所述目标机器学习模型为对图片进行分类预测的分类预测模型;
所述控制所述目标机器学习模型在所述目标模型运行阶段下运行,以执行所述目标模型运行阶段的运行任务,得到所述目标模型运行阶段的运行任务对应的目标任务状态数据,包括:
控制所述目标机器学习模型在所述模型评估阶段下运行,以执行所述模型评估阶段的评估任务,得到对应的评估任务状态数据,作为所述目标任务状态数据;所述评估任务状态数据包括以下至少一项:模型评估准确率、模型评估召回率、分类混淆信息以及分类错误信息;
所述根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示,包括:
根据所述模型评估准确率、所述模型评估召回率、分类混淆矩阵以及分类错误示意图中的至少一项对所述模型评估阶段进行状态展示;所述分类混淆矩阵根据所述分类混淆信息生成,所述分类错误示意图根据所述分类错误信息生成。
7.根据权利要求6所述的方法,其特征在于,所述控制所述目标机器学习模型在所述模型评估阶段下运行,以执行所述模型评估阶段的评估任务,得到对应的评估任务状态数据,包括:
获取评估图片存储路径信息并将所述评估图片存储路径信息存储至关系型数据库中;所述评估图片存储路径信息用于表征评估样本图片在第三存储空间中的存储路径,所述第三存储空间为基于文件存储的存储空间,所述第三存储空间中还存储有已训练的目标机器学习模型的模型数据;
从服务器集群中通过负载均衡的方式确定第二算法服务器;
触发所述第二算法服务器执行以下步骤:从所述关系型数据库中读取评估图片存储路径信息,根据所述评估图片存储路径信息从所述第三存储空间中读取评估样本图片并读取所述模型数据,基于所述评估样本图片和所述模型数据对所述目标机器学习模型执行对应的评估任务,并根据评估任务的执行结果在所述关系型数据库中生成评估任务状态数据。
8.根据权利要求2所述的方法,其特征在于,所述目标模型运行阶段为模型预测阶段,所述目标机器学习模型为对图片进行分类预测的分类预测模型;
所述控制所述目标机器学习模型在所述目标模型运行阶段下运行,以执行所述目标模型运行阶段的运行任务,得到所述目标模型运行阶段的运行任务对应的目标任务状态数据,包括:
向所述目标机器学习模型输入待分类图片,并控制所述目标机器学习模型在所述模型预测阶段下运行,以对所述待分类图片进行分类预测,得到对应的分类预测结果,作为所述目标任务状态数据;
所述根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示,包括:
根据所述分类预测结果对所述模型预测阶段进行状态展示。
9.根据权利要求8所述的方法,其特征在于,所述控制所述目标机器学习模型在所述模型预测阶段下运行,以对所述待分类图片进行分类预测,得到对应的分类预测结果,包括:
获取待分类图片,将所述待分类图片存储至第四存储空间中;所述第四存储空间为基于文件存储的存储空间,所述第四存储空间中存储有已训练的目标机器学习模型的模型数据;
获取待分类图片存储路径信息,将所述待分类图片存储路径信息存储至关系型数据库中;所述待分类图片存储路径信息用于表征待分类图片在所述第四存储空间中的存储路径;
从服务器集群中通过负载均衡的方式确定第三算法服务器;
触发所述第三算法服务器执行以下步骤:从所述关系型数据库中读取待分类图片存储路径信息,根据所述待分类图片存储路径信息从所述第四存储空间中读取所述待分类图片并读取所述模型数据,基于所述待分类图片和所述模型数据对所述目标机器学习模型执行对应的预测任务,以对所述待分类图片进行分类预测,并根据分类预测的执行结果在所述关系型数据库中生成分类预测结果。
10.根据权利要求2至9任一项所述的方法,其特征在于,所述控制所述目标机器学习模型在所述目标模型运行阶段下运行之后,还包括:
当接收到运行停止指令时,控制所述目标机器学习模型停止运行所述目标模型运行阶段,并对所述目标模型运行阶段进行任务状态数据的更新。
11.根据权利要求1至9任一项所述的方法,其特征在于,所述目标机器学习模型为预先在至少一个模型运行阶段下运行的机器学习模型;
所述确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据,包括:
确定所述目标机器学习模型在预先运行过程生成的各个模型运行阶段的运行任务的任务状态数据;
根据各个模型运行阶段的运行任务的任务状态数据确定所述目标模型运行阶段的运行任务对应的目标任务状态数据。
12.根据权利要求1至9任一项所述的方法,其特征在于,所述获取所述目标机器学习模型的目标待展示阶段,获取与所述目标待展示阶段匹配的目标模型运行阶段,包括:
当接收到针对待展示阶段的触发指令时,确定与所述触发指令对应的目标待展示阶段;
获取与所述目标待展示阶段匹配的目标模型运行阶段。
13.一种模型运行状态的展示装置,其特征在于,所述装置包括:
模型确定模块,用于确定目标机器学习模型;所述目标机器学习模型用于在至少一个模型运行阶段下运行;各个模型运行阶段包括至少一个运行任务,各个模型运行阶段的运行任务对应有任务状态数据;
运行阶段获取模块,用于获取所述目标机器学习模型的目标待展示阶段,获取与所述目标待展示阶段匹配的目标模型运行阶段;
状态数据确定模块,用于确定与所述目标模型运行阶段的运行任务对应的目标任务状态数据;
运行状态展示模块,用于根据所述目标任务状态数据对所述目标模型运行阶段的运行任务进行运行状态的展示。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述方法的步骤。
CN202011258336.XA 2020-11-12 2020-11-12 模型运行状态的展示方法、装置、计算机设备和存储介质 Active CN112256537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011258336.XA CN112256537B (zh) 2020-11-12 2020-11-12 模型运行状态的展示方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011258336.XA CN112256537B (zh) 2020-11-12 2020-11-12 模型运行状态的展示方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112256537A true CN112256537A (zh) 2021-01-22
CN112256537B CN112256537B (zh) 2024-03-29

Family

ID=74265570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011258336.XA Active CN112256537B (zh) 2020-11-12 2020-11-12 模型运行状态的展示方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112256537B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065843A (zh) * 2021-03-15 2021-07-02 腾讯科技(深圳)有限公司 一种模型处理方法、装置、电子设备和存储介质
CN113297415A (zh) * 2021-04-27 2021-08-24 安徽继远软件有限公司 面向电力边缘侧的边缘视频分析智能服务方法及系统
CN113569158A (zh) * 2021-07-28 2021-10-29 深圳市酷开网络科技股份有限公司 人群圈定任务状态展示方法、装置、设备及存储介质
CN114418456A (zh) * 2022-03-11 2022-04-29 希望知舟技术(深圳)有限公司 一种基于工况的机器学习进度管控方法及相关装置
CN114550545A (zh) * 2022-02-21 2022-05-27 上海商汤智能科技有限公司 一种课程生成、课程展示方法以及装置
WO2024113120A1 (en) * 2022-11-28 2024-06-06 Beijing Baidu Netcom Science Technology Co., Ltd. Artificial intelligence enabled vehicle operating system

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930934A (zh) * 2016-04-27 2016-09-07 北京物思创想科技有限公司 展示预测模型的方法、装置及调整预测模型的方法、装置
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技(深圳)有限公司 增强现实数据处理方法、装置、计算机设备和存储介质
CN108830383A (zh) * 2018-05-30 2018-11-16 第四范式(北京)技术有限公司 用于展示机器学习建模过程的方法及系统
CN110209902A (zh) * 2018-08-17 2019-09-06 第四范式(北京)技术有限公司 对机器学习过程中的特征生成过程可视化的方法和系统
CN110263939A (zh) * 2019-06-24 2019-09-20 腾讯科技(深圳)有限公司 一种表示学习模型的评估方法、装置、设备及介质
CN110362494A (zh) * 2019-07-18 2019-10-22 腾讯科技(深圳)有限公司 微服务状态信息展示的方法、模型训练方法以及相关装置
CN110489240A (zh) * 2019-08-22 2019-11-22 Oppo广东移动通信有限公司 图像识别方法、装置、云平台及存储介质
CN110766164A (zh) * 2018-07-10 2020-02-07 第四范式(北京)技术有限公司 用于执行机器学习过程的方法和系统
CN110991649A (zh) * 2019-10-28 2020-04-10 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 深度学习模型搭建方法、装置、设备和存储介质
CN111191795A (zh) * 2019-12-31 2020-05-22 第四范式(北京)技术有限公司 一种训练机器学习模型的方法、装置及系统
CN111310934A (zh) * 2020-02-14 2020-06-19 北京百度网讯科技有限公司 一种模型生成方法、装置、电子设备和存储介质
CN111310936A (zh) * 2020-04-15 2020-06-19 光际科技(上海)有限公司 机器学习训练的构建方法、平台、装置、设备及存储介质
WO2020134571A1 (zh) * 2018-12-27 2020-07-02 北京字节跳动网络技术有限公司 页面展示方法、装置、终端设备及存储介质
CN111783840A (zh) * 2020-06-09 2020-10-16 苏宁金融科技(南京)有限公司 一种随机森林模型的可视化方法、装置及存储介质
CN111861020A (zh) * 2020-07-27 2020-10-30 深圳壹账通智能科技有限公司 模型部署方法、装置、设备及存储介质
CN111898742A (zh) * 2020-08-05 2020-11-06 上海眼控科技股份有限公司 一种用于监控神经网络模型训练状态的方法与设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960514A (zh) * 2016-04-27 2018-12-07 第四范式(北京)技术有限公司 展示预测模型的方法、装置及调整预测模型的方法、装置
CN105930934A (zh) * 2016-04-27 2016-09-07 北京物思创想科技有限公司 展示预测模型的方法、装置及调整预测模型的方法、装置
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技(深圳)有限公司 增强现实数据处理方法、装置、计算机设备和存储介质
CN108830383A (zh) * 2018-05-30 2018-11-16 第四范式(北京)技术有限公司 用于展示机器学习建模过程的方法及系统
CN110766164A (zh) * 2018-07-10 2020-02-07 第四范式(北京)技术有限公司 用于执行机器学习过程的方法和系统
CN110209902A (zh) * 2018-08-17 2019-09-06 第四范式(北京)技术有限公司 对机器学习过程中的特征生成过程可视化的方法和系统
WO2020134571A1 (zh) * 2018-12-27 2020-07-02 北京字节跳动网络技术有限公司 页面展示方法、装置、终端设备及存储介质
CN110263939A (zh) * 2019-06-24 2019-09-20 腾讯科技(深圳)有限公司 一种表示学习模型的评估方法、装置、设备及介质
CN110362494A (zh) * 2019-07-18 2019-10-22 腾讯科技(深圳)有限公司 微服务状态信息展示的方法、模型训练方法以及相关装置
CN110489240A (zh) * 2019-08-22 2019-11-22 Oppo广东移动通信有限公司 图像识别方法、装置、云平台及存储介质
CN110991649A (zh) * 2019-10-28 2020-04-10 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 深度学习模型搭建方法、装置、设备和存储介质
CN111191795A (zh) * 2019-12-31 2020-05-22 第四范式(北京)技术有限公司 一种训练机器学习模型的方法、装置及系统
CN111310934A (zh) * 2020-02-14 2020-06-19 北京百度网讯科技有限公司 一种模型生成方法、装置、电子设备和存储介质
CN111310936A (zh) * 2020-04-15 2020-06-19 光际科技(上海)有限公司 机器学习训练的构建方法、平台、装置、设备及存储介质
CN111783840A (zh) * 2020-06-09 2020-10-16 苏宁金融科技(南京)有限公司 一种随机森林模型的可视化方法、装置及存储介质
CN111861020A (zh) * 2020-07-27 2020-10-30 深圳壹账通智能科技有限公司 模型部署方法、装置、设备及存储介质
CN111898742A (zh) * 2020-08-05 2020-11-06 上海眼控科技股份有限公司 一种用于监控神经网络模型训练状态的方法与设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
夏齐鸣;刘晓强;: "AI算法可视化辅助教学系统的设计和实现", 电脑知识与技术, vol. 16, no. 14, pages 41 - 43 *
杨海龙;田莹;王澧冰;: "目标检测模型的优化训练方法研究", 辽宁科技大学学报, vol. 43, no. 02, 15 April 2020 (2020-04-15), pages 129 - 134 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065843A (zh) * 2021-03-15 2021-07-02 腾讯科技(深圳)有限公司 一种模型处理方法、装置、电子设备和存储介质
CN113065843B (zh) * 2021-03-15 2024-05-14 腾讯科技(深圳)有限公司 一种模型处理方法、装置、电子设备和存储介质
CN113297415A (zh) * 2021-04-27 2021-08-24 安徽继远软件有限公司 面向电力边缘侧的边缘视频分析智能服务方法及系统
CN113297415B (zh) * 2021-04-27 2023-09-15 安徽继远软件有限公司 面向电力边缘侧的边缘视频分析智能服务方法及系统
CN113569158A (zh) * 2021-07-28 2021-10-29 深圳市酷开网络科技股份有限公司 人群圈定任务状态展示方法、装置、设备及存储介质
CN113569158B (zh) * 2021-07-28 2024-05-24 深圳市酷开网络科技股份有限公司 人群圈定任务状态展示方法、装置、设备及存储介质
CN114550545A (zh) * 2022-02-21 2022-05-27 上海商汤智能科技有限公司 一种课程生成、课程展示方法以及装置
CN114418456A (zh) * 2022-03-11 2022-04-29 希望知舟技术(深圳)有限公司 一种基于工况的机器学习进度管控方法及相关装置
WO2024113120A1 (en) * 2022-11-28 2024-06-06 Beijing Baidu Netcom Science Technology Co., Ltd. Artificial intelligence enabled vehicle operating system

Also Published As

Publication number Publication date
CN112256537B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN112256537B (zh) 模型运行状态的展示方法、装置、计算机设备和存储介质
CN113626719B (zh) 信息推荐方法、装置、设备、存储介质及计算机程序产品
Li Reinforcement learning applications
CN109791642B (zh) 工作流的自动生成
US11416754B1 (en) Automated cloud data and technology solution delivery using machine learning and artificial intelligence modeling
CN109529338B (zh) 对象控制方法、装置、电子设计及计算机可读介质
Kőrösi et al. MOOC performance prediction by deep learning from raw clickstream data
CN113010702A (zh) 多媒体信息的互动处理方法、装置、电子设备及存储介质
US11561950B2 (en) System and method for facilitating an objective-oriented data structure and an objective via the data structure
CN112182362A (zh) 训练用于在线预测点击率的模型的方法、设备及推荐系统
Wang et al. Learning performance prediction via convolutional GRU and explainable neural networks in e-learning environments
Vannuccini et al. Artificial intelligence’s new clothes? From general purpose technology to large technical system
CN114048024A (zh) 任务部署方法、装置、设备、存储介质及产品
US20220366244A1 (en) Modeling Human Behavior in Work Environment Using Neural Networks
Darias et al. Using case-based reasoning for capturing expert knowledge on explanation methods
CN116910567B (zh) 推荐业务的在线训练样本构建方法及相关装置
KR102624135B1 (ko) 인공지능 기반 기업용 비대면 프로그래밍 교육 자동화플랫폼 서비스 제공 방법, 장치 및 시스템
US11620550B2 (en) Automated data table discovery for automated machine learning
CN114741583A (zh) 基于人工智能的信息推荐方法、装置及电子设备
CN117312979A (zh) 对象分类方法、分类模型训练方法及电子设备
WO2023051678A1 (zh) 一种推荐方法及相关装置
CN116308640A (zh) 一种推荐方法及相关装置
CN116204709A (zh) 一种数据处理方法及相关装置
US20230117893A1 (en) Machine learning techniques for environmental discovery, environmental validation, and automated knowledge repository generation
Shrestha et al. Determining learning style preferences of learners

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant