CN116594733B - 流程可视化建模方法、计算机设备及计算机可读存储介质 - Google Patents

流程可视化建模方法、计算机设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116594733B
CN116594733B CN202310875958.4A CN202310875958A CN116594733B CN 116594733 B CN116594733 B CN 116594733B CN 202310875958 A CN202310875958 A CN 202310875958A CN 116594733 B CN116594733 B CN 116594733B
Authority
CN
China
Prior art keywords
component
display
flow
parameter
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310875958.4A
Other languages
English (en)
Other versions
CN116594733A (zh
Inventor
时培昕
郭潇茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Neucloud Dingcheng Technology Co ltd
Original Assignee
Beijing Neucloud Dingcheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Neucloud Dingcheng Technology Co ltd filed Critical Beijing Neucloud Dingcheng Technology Co ltd
Priority to CN202310875958.4A priority Critical patent/CN116594733B/zh
Publication of CN116594733A publication Critical patent/CN116594733A/zh
Application granted granted Critical
Publication of CN116594733B publication Critical patent/CN116594733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及人工智能技术领域,具体提供一种流程可视化建模方法、计算机设备及计算机可读存储介质,旨在解决便捷且准确地完成机器学习模型构建的问题。本发明提供的方法包括响应于用户在可视化交互界面对组件区中组件的操作,在设计区显示相应的组件并在组件上分别形成输入锚点和输出锚点;响应于用户对设计区显示组件的操作,在设计区内对每两个显示组件的输入锚点与输出锚点之间建立连接线以及在配置区内配置显示组件的输入锚点参数,以使显示组件能够基于参数接收前序组件的运行结果,并基于此形成可视化建模流程;运行可视化建模流程,以构建机器学习模型。基于上述方法,极大地降低了机器学习模型的构建难度,能够便捷且准确地完成模型构建。

Description

流程可视化建模方法、计算机设备及计算机可读存储介质
技术领域
本发明涉及人工智能技术领域,具体涉及一种流程可视化建模方法、计算机设备及计算机可读存储介质。
背景技术
在人工智能领域中通常会通过模型训练的方法构建机器学习模型,再利用机器学习模型执行相应的任务。例如,利用人脸图像训练得到人脸识别模型,再利用人脸识别模型对相机采集的图像进行人脸识别。由于机器学习模型的构建通常会涉及数据加载、数据特征提取、训练、测试和验证等多个步骤,且各步骤的操作方法均较为复杂,需要技术人员具备比较丰富的专业知识才能完成,这给机器学习模型的构建与应用带来了较大影响,如何便捷且准确地完成机器学习模型的构建,正日益成为人工智能技术领域亟待解决的技术问题。
相应地,本领域需要一种新的模型构建方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决上述问题的流程可视化建模方法、计算机设备及计算机可读存储介质。
在第一方面,提供一种流程可视化建模方法,所述方法包括:
响应于用户在可视化交互界面对组件区中组件的操作,在设计区显示相应的组件并在所述组件上分别形成预设数量的输入锚点和输出锚点;
响应于用户对设计区显示组件的操作,在设计区内对每两个所述显示组件的输入锚点与输出锚点之间建立连接线,以及
在配置区内配置所述显示组件的输入锚点参数,以使所述显示组件能够基于所述参数接收前序组件的运行结果,并基于此形成由所有显示组件与相应的连接线组成的且数据结构为有向无环图的可视化建模流程;
运行所述可视化建模流程,以构建机器学习模型;
其中,所述显示组件的输入锚点参数的类型取决于其前序组件的输出锚点参数的类型,所述前序组件为通过所述连接线直接与所述显示组件的输入锚点连接的其他显示组件。
在上述流程可视化建模方法的一个技术方案中,在所述组件上形成预设数量的输入锚点包括:形成一个输入锚点;
所述在配置区内配置所述显示组件的输入锚点参数包括:
根据所述显示组件的前序组件数量,在配置区内设定并显示相同数量的待配置的输入锚点参数;
响应于用户对各待配置的输入锚点参数的数据类型的选择,将各输入锚点参数的数据类型配置成所述选择的数据类型,以使所述显示组件能够基于各数据类型接收与各数据类型对应的前序组件的运行结果。
在上述流程可视化建模方法的一个技术方案中,在所述组件上形成预设数量的输出锚点包括:形成一个输出锚点;
所述方法还包括:
响应于用户对设计区显示组件的操作,根据所述显示组件的功能,在配置区内显示所述显示组件的输出锚点参数;
其中,所述输出锚点参数的数量为一个或多个,所述输出锚点参数的数据类型与所述显示组件的运行结果的数据类型一一对应。
在上述流程可视化建模方法的一个技术方案中,在形成可视化建模流程之前,所述方法还包括:
响应于用户对设计区显示组件的操作,根据所述显示组件的功能,在配置区内显示并配置所述显示组件的功能参数,以使所述显示组件能够基于所述功能参数并根据接收到的前序组件的运行结果进行运行。
在上述流程可视化建模方法的一个技术方案中,所述功能参数包括具有多个下级参数的第一功能参数;
所述配置所述显示组件的功能参数包括:
针对各第一功能参数,响应于用户对第一功能参数的下级参数的选择,将所述第一功能参数配置成所述选择的下级参数。
在上述流程可视化建模方法的一个技术方案中,所述功能参数还包括不具有下级参数的第二功能参数,且所述第二功能参数的配置方式包括固定配置和/或非固定配置;
所述配置所述显示组件的功能参数还包括:
针对各第二功能参数,响应于用户对第二功能参数配置方式的选择,根据所述选择的配置方式对所述第二功能参数的参数值进行配置;
若配置方式为固定配置,则响应于用户对所述参数值的设定,将所述参数值配置成所述设定的参数值;
若配置方式为非固定配置,则在形成所述可视化建模流程之前不再配置所述第二功能参数的参数值,而是在形成所述可视化建模流程之后且在运行所述可视化建模流程之前再响应于用户对所述第二功能参数的参数值的设定,将所述参数值配置成所述设定的参数值。
在上述流程可视化建模方法的一个技术方案中,在形成可视化建模流程之前,所述方法还包括:
响应于用户对设计区显示组件的操作,在配置区内配置所述显示组件的后序组件能够采用的获取所述显示组件的运行结果的方式;
其中,所述后序组件为通过所述连接线直接与所述显示组件的输出锚点连接的其他显示组件;
所述方式包括从缓存获取结果和不从缓存获取结果,所述从缓存获取结果为从缓存中获取所述显示组件的历史运行结果,所述不从缓存获取结果为获取对所述显示组件进行实时运行得到的实时运行结果。
在上述流程可视化建模方法的一个技术方案中,在运行所述可视化建模流程之前,所述方法还包括:
根据所述可视化建模流程,获取流程草稿;
响应于用户对流程版本的设定,根据所述流程版本与所述流程草稿,生成正式的可视化建模流程,以便能够运行所述正式的可视化建模流程,构建机器学习模型。
在上述流程可视化建模方法的一个技术方案中,所述根据所述可视化建模流程,获取流程草稿包括:
将所述可视化建模流程作为流程草稿,或
根据所述可视化建模流程生成yaml文件并将所述yaml文件作为流程草稿,或
从notebook服务器中获取流程草稿,其中,notebook服务器中的流程草稿为所述可视化建模流程或由所述可视化建模流程生成的yaml文件。
在上述流程可视化建模方法的一个技术方案中,在运行所述正式的可视化建模流程之后,所述方法还包括:
将所述流程版本作为构建得到的机器学习模型的模型版本,以便能够根据所述模型版本对属于同一种模型的机器学习模型进行版本管理。
在上述流程可视化建模方法的一个技术方案中,所述显示组件包括数据集加载组件,在形成可视化建模流程之前,所述方法还包括:响应于用户对数据集版本的设定,将所述数据集加载组件能够加载的数据集的版本配置成所述设定的版本;
在运行所述可视化建模流程之后,所述方法还包括:对构建得到的机器学习模型的模型版本与所述数据集的版本进行关联。
在上述流程可视化建模方法的一个技术方案中,所述方法还包括:
响应于用户对属于同一种模型的机器学习模型且模型版本不同的多个机器学习模型的选定,对所述选定的多个机器学习模型进行模型比对并输出比对结果。
在上述流程可视化建模方法的一个技术方案中,所述显示组件还包括模型部署组件,所述方法还包括:
运行所述可视化建模流程,以构建机器学习模型并对所述机器学习模型进行模型部署。
在上述流程可视化建模方法的一个技术方案中,所述方法还包括:
响应于用户对数据集的操作,创建不同版本的数据集并管理不同版本的数据集之间的血缘关系;
其中,所述血缘关系记录了当前版本的数据集相比于历史版本的数据集的数据变更情况。
在上述流程可视化建模方法的一个技术方案中,所述创建不同版本的数据集包括:
响应于用户对数据集版本的选择和数据变更信息的设定,根据所述数据变更信息对所述版本的数据集进行数据变更,以形成新的数据集;
响应于用户对所述新的数据集的版本设定,将所述新的数据集的版本配置为所述设定的版本。
在第二方面,提供一种计算机设备,该计算机设备包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述流程可视化建模方法的技术方案中任一项技术方案所述的方法。
在第三方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述流程可视化建模方法的技术方案中任一项技术方案所述的方法。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本发明提供的流程可视化建模方法的一个技术方案中,用户只需要确定好构建机器学习模型所需要的各步骤(如数据加载、数据特征提取、训练、测试和验证等),然后在可视化交互界面中对能够实现不同步骤的一个或多个组件进行操作,就可以形成一个数据结构为有向无环图的可视化建模流程,进而通过运行这个可视化建模流程,就可以构建得到机器学习模型。在此过程中,无需对各步骤进行编程等复杂处理,操作简单,易于实现,极大地降低了机器学习模型的构建难度,从而能够便捷且准确地完成机器学习模型的构建。
在实施本发明提供的流程可视化建模方法的另一个技术方案中,在响应于用户在可视化交互界面对组件区中组件的操作,在组件上分别形成预设数量的输入锚点时可以形成一个输入锚点,同时在配置组件的输入锚点参数时可以根据显示组件的前序组件数量,在配置区内设定并显示相同数量的待配置的输入锚点参数,以及响应于用户对各待配置的输入锚点参数的数据类型的选择,将各输入锚点参数的数据类型配置成所述选择的数据类型,以使显示组件能够基于各数据类型接收与各数据类型对应的前序组件的运行结果。基于上述方法,利用一个输入锚点就可以接收多个前序组件的运行结果,使得一个显示组件可以同时与多个前序组件连接,且前序组件的数量也可以根据实际需求灵活改变。相比于将组件的输入锚点设置成固定数量且一个输入锚点只能接收一个前序组件的运行结果而言,本发明可以极大地减少对组件数量的需求,从而可以有效避免在进行可视化过程中由于组件数量较多导致可视化渲染消耗的计算资源较大,进而致使可视化建模流程运行时发生卡顿的问题。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。其中:
图1是根据本发明的一个实施例的流程可视化建模方法的主要步骤流程示意图;
图2是根据本发明的一个实施例的可视化交互界面的示意图;
图3是根据本发明的一个实施例的显示组件的连接示意图;
图4是根据本发明的另一个实施例的显示组件的连接示意图;
图5是根据本发明的一个实施例的配置输入锚点参数的方法的主要步骤流程示意图;
图6是根据本发明的一个实施例的配置输入锚点参数的示意图;
图7是根据本发明的一个实施例的前序组件a的输出锚点参数与后序组件b的输入锚点参数的类型对应关系示意图;
图8是根据本发明的一个实施例的配置功能参数的示意图;
图9是根据本发明的一个实施例的创建运行界面的示意图;
图10是根据本发明的一个实施例的配置后序组件能够采用的获取前序组件运行结果的方式的示意图;
图11是根据本发明的一个实施例的运行可视化建模流程的方法的主要步骤流程示意图;
图12是根据本发明的一个实施例的数据集血缘关系的示意图;
图13是根据本发明的一个实施例的计算机设备的主要结构示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。
下面对本发明提供的流程可视化建模方法实施例进行说明。
参阅附图1,图1是根据本发明的一个实施例的流程可视化建模方法的主要步骤流程示意图。如图1所示,本发明实施例中的流程可视化建模方法主要包括下列步骤S101至步骤S104。
步骤S101:响应于用户在可视化交互界面对组件区中组件的操作,在设计区显示相应的组件并在组件上分别形成预设数量的输入锚点和输出锚点。
如图2所示,可视化交互界面包括组件区、设计区和配置区。组件区中设置有多个图形化的组件,组件表示能够实现预设功能的算子。例如,组件可以是数据集加载组件,运行该组件可以加载指定的数据集。用户对组件区中组件的操作包括但不限于点击、拖拽、选中等操作。用户在组件区中对一个组件执行上述操作之后,设计区会显示这个组件。例如,用户将组件区中的组件a拖拽到设计区进行显示。在配置区中可以对设计区显示的组件进行参数配置。
输入锚点是对组件输入端口的可视化呈现,输出锚点是对组件输出端口的可视化呈现,有多少个输入锚点就表示有多少个输入端口,同样有多少个输出锚点就表示有多少个输出端口。
组件上形成的输入锚点和输出锚点的数量是预先设置好的,不同功能的组件可能具有不同数量的输入锚点和/或输出锚点。用户在组件区对组件进行上述操作时不会改变组件上形成的输入锚点和输出锚点的数量。如图3所示,显示组件1至9均是设计区显示的组件,显示组件3、5、7、9的功能相同,它们都具有两个输入锚点(输入锚点1、2)和一个输出锚点。
需要说明的是,用户可以对组件区中同一功能的组件进行多次操作,每次操作之后都会在设计区显示一个组件。如图3所示,用户对组件区中的组件a进行4次拖拽,设计区会显示组件3、5、7、9这四个组件。
步骤S102:响应于用户对设计区显示组件的操作,在设计区内对每两个显示组件的输入锚点与输出锚点之间建立连接线。
如图3所示,若用户对显示组件3和5进行了操作,会在二者之间形成一条连接线,这条连接线表示数据流的流向为由显示组件3到显示组件5,即显示组件3的运行结果会输入到显示组件5。
在此步骤中,对显示组件的操作包括但不限于点击和连线等。例如,用户可以分别点击显示组件3的输出锚点和显示组件5的一个输入锚点,在设计区中就会在上述输出锚点与输入锚点之间形成连接线;又例如,用户可以从显示组件3的输出锚点出发向着显示组件5的一个输入锚点进行连线,也可以在上述输出锚点与输入锚点之间形成连接线。
在本实施例中用户每进行一次操作就会对每两个显示组件建立一条连接线,例如在图3中用户进行一次操作在显示组件1和3之间建立连接线,进行一次操作在显示组件2和3之间建立连接线,以此类推,需要进行8次操作才能完成图3所示的8条连接线。
步骤S103:响应于用户对设计区显示组件的操作,在配置区内配置显示组件的输入锚点参数,以使显示组件能够基于参数接收前序组件的运行结果,并基于此形成由所有显示组件与相应的连接线组成的且数据结构为有向无环图(Directed Acyclic Graph)的可视化建模流程。
在此步骤中,对显示组件的操作包括但不限于点击和选中等。例如,用户可以在设计区点击一个显示组件,在配置区中就会显示这个组件需要配置的输入锚点参数,用户可以在配置区进行参数配置。
前序组件为通过连接线直接与显示组件的输入锚点连接的其他显示组件,相应的后序组件为通过连接线直接与显示组件的输出锚点连接的其他显示组件。如图3所示,对于显示组件3而言,前序组件包括显示组件1和2,后序组件为显示组件5。
显示组件的输入锚点参数的类型取决于其前序组件的输出锚点参数的类型,可以根据前序组件输出锚点参数的类型设置当前显示组件输入锚点参数的类型。例如,若前序组件输出锚点参数的类型是数据集data,即表明前序组件的运行结果或前序组件能够输出的数据是数据集中的数据,那么也需要将当前显示组件输入锚点参数的类型设置成数据集data,这样当前显示组件就可以与前序组件实现真正的连接,能够接收前序组件的运行结果。
下面以图3为例,对形成可视化建模流程的过程进行简单说明。首先,用户在组件区中将具有数据加载功能的组件a拖拽到设计区进行显示,并在配置区对其进行参数配置,使其能够加载数据集data1的数据。然后,用户再次在组件区中将组件a拖拽到设计区进行显示,并在配置区对其进行参数配置,使其能够加载数据集data2的数据。为了便于区分,将能够加载data1和data2的组件a和b分别描述成显示组件1和2。进一步,用户在组件区中将具有数据合并功能的组件b拖拽到设计区进行显示,用户在显示组件1和3之间建立连接线,在显示组件2和3之间建立连接线,由于此时还未对显示组件3进行参数配置,可以将上述连接线显示成虚线。再进一步,用户在配置区对显示组件3进行参数配置,使其能够接收显示组件1和2加载的数据,此时可以将上述连接线显示成实线。以此类推,用户在组件区中再将组件a分3次拖拽到设计区形成显示组件4、6、8并进行参数配置,使三者分别能够加载数据集data3、data4和data5的数据,以及用户在组件区中再将组件b分3次拖拽到设计区形成显示组件5、7、9并进行参数配置,最终形成由9个显示组件和8条连接线形成的有向无环图。
步骤S104:运行可视化建模流程,以构建机器学习模型。
在本实施例中若显示组件还包括模型部署组件,那么通过运行可视化建模流程,不仅可以构建机器学习模型,还可以对机器学习模型进行模型部署。本领域技术人员可以根据实际需求灵活地设定是否添加模型部署组件以及进行相关的组件参数配置。
基于上述步骤S101至步骤S104所述的方法,用户只需要确定好构建机器学习模型所需要的各步骤,然后在可视化交互界面中对能够实现不同步骤的一个或多个组件进行操作,就可以形成一个可视化建模流程,进而通过运行这个可视化建模流程,就可以构建得到机器学习模型。在此过程中,无需对各步骤进行编程等复杂处理,操作简单,易于实现,极大地降低了机器学习模型的构建难度,从而能够便捷且准确地完成机器学习模型的构建。
下面分别对上述步骤S101、步骤S103和步骤S104进行说明。
一、对步骤S101和步骤S103进行说明。
在上述步骤S101的一些实施方式中,针对各组件都形成一个输入锚点,通过一个输入锚点与所有前序组件连接。如图4所示,显示组件3具有两个前序组件(显示组件1、2),显示组件3通过同一个输入锚点,分别与显示组件1、2的输出锚点连接。
在此情况下,在通过执行步骤S103配置显示组件的输入锚点参数时可以通过图5所示的下列步骤S1031至步骤S1032进行配置。
步骤S1031:根据显示组件的前序组件数量,在配置区内设定并显示相同数量的待配置的输入锚点参数。如图4所示,显示组件3具有两个前序组件,则在配置区内显示2个待配置的输入锚点参数。
步骤S1032:响应于用户对各待配置的输入锚点参数的数据类型的选择,将各输入锚点参数的数据类型配置成选择的数据类型,以使显示组件能够基于各数据类型接收与各数据类型对应的前序组件的运行结果。
根据前述实施例可知,显示组件的输入锚点参数的类型取决于其前序组件的输出锚点参数的类型,因此,在配置区内可以根据前序组件输出锚点参数的类型显示可以选择的数据类型。假设图3中的显示组件1用于加载数据集data1,显示组件2用于加载数据集data2,显示组件3用于提取数据集data1和data2中数据的特征。如图6所示,在配置区中会显示两个输入锚点参数(图3中的X_train和Y_train),X_train的数据类型为显示组件1的运行结果的类型,即数据加载1(output_dataset),Y_train的数据类型为显示组件2的运行结果的类型,即数据加载2(output_dataset)。通过这样的配置,显示组件3可以基于X_train接收显示组件1的运行结果,基于Y_train接收显示组件2的运行结果。
基于上述步骤S1031至步骤S1032所述的方法,在形成一个输入锚点的情况下,可以将当前组件的输入锚点参数与其前序组件的输出锚点参数进行一一对应,这样无论连接多少个前序组件都能够准确地接收每个前序组件的运行结果。如图7所示,假设组件b只有一个前序组件为组件a,组件a的输出锚点参数包括a1、a2和a3且三者的类型分别为dataset、model和metadata_model,那么组件b的输入锚点参数也会有三个(图3中的b1、b2和b3)且三者的类型也分别为dataset、model和metadata_model,即b1与a1对应,b2与a2对应,b3与a3对应。
同时,基于步骤S1031至步骤S1032所述的方法,极大地减少对组件数量的需求,从而可以有效避免在进行可视化过程中由于组件数量较多导致可视化渲染消耗的计算资源较大,进而致使可视化建模流程运行时发生卡顿的问题。如图3所示,为了将显示组件1、2、4、6、8分别加载的数据集data1至data5中的数据进行合并,需要使用4个相同功能的组件3、5、7、9。若采用上述步骤S1031至步骤S1032所述的方法,只需要用一个组件就可以同时接收显示组件1、2、4、6、8加载的数据。
在上述步骤S101的一些实施方式中,针对各组件都形成一个输出锚点,通过一个输出锚点与所有后序组件连接。如图4所示,显示组件1具有两个后序组件(显示组件3、4),显示组件1通过同一个输出锚点,分别与显示组件3、4的输入锚点连接。
本发明实施例可以响应于用户对设计区显示组件的操作,根据显示组件的功能,在配置区内显示该显示组件的输出锚点参数。例如,在配置显示组件的输入锚点参数时可以显示输出锚点参数。其中,显示组件输出锚点参数的数量为一个或多个,输出锚点参数的数据类型与显示组件的运行结果的数据类型一一对应。如图6所示,X_train和Y_train分别表示图3中显示组件3的两个输入锚点参数,output_model和output_metadata分别表示该显示组件3的两个输出锚点参数。显示组件3的运行结果的类型包括模型文件和模型元数据,因此这两个输出锚点参数也分别是模型文件和模型元数据。
进一步,在根据本发明提供的可视化流程建模方法的实施例中,除了可以通过步骤S103对输入锚点参数进行配置,还可以响应于用户对设计区显示组件的操作,配置显示组件的功能参数和/或配置显示组件的后序组件能够采用的获取显示组件的运行结果的方式。下面分别对上述功能参数和运行结果获取方式的配置方法进行说明。
(一)对功能参数的配置方法进行说明。
在一些实施方式中,可以响应于用户对设计区显示组件的操作,根据显示组件的功能,在配置区内显示并配置显示组件的功能参数,以使显示组件能够基于功能参数并根据接收到的前序组件的运行结果进行运行。功能参数是指除了输入锚点参数和输出锚点参数以外,其他与实现组件功能相关的参数。
参阅附图8,图8示例性示出了用户在设计区对用于实现数据分量的显示组件进行点击之后,在配置区内显示的该组件的功能参数。该功能参数可以包括框架、框架算法等参数。如图8所示,框架被配置成Sklearn 0.20.3,Sklearn算法被配置成随机森林,决策树个数为100,决策树最大深度为-1,叶子节点最小样本数量为1。此外,还有一些参数没有显示,但是点击图8所示的“显示更多参数”可以显示出其他参数供用户进行配置。
功能参数可以包括第一功能参数和/或第二功能参数,第一功能参数为具有多个下级参数的功能参数,第二功能参数为不具有下级参数的功能参数,下面分别对这两种功能参数的配置方法进行说明。
1、第一功能参数的配置方法
在本实施例中针对各第一功能参数,可以响应于用户对第一功能参数的下级参数的选择,将第一功能参数配置成选择的下级参数。
如图8所示,框架是第一功能参数,在Sklearn 0.20.3的右侧有一个向下的箭头,用户点击这个箭头,就可以显示出可以选择的所有框架,用户再从这些框架中选择一个。类似的,Sklearn算法也是第一功能参数,点击随机森林右侧向下的箭头,可以显示出可以进行选择的Sklearn算法。
基于上述方法可以将属于相同范畴的参数(即下级参数)合并到一个组件中进行配置,用户只需要在组件区选择一个组件,再在配置区选择具体的下级参数即可。相比于针对每种参数都设置一个组件,让用户在组件区中去选相应参数的组件,上述方法更加易于操作,用户只需要了解下级参数属于哪个范畴,再根据范畴去选取组件,并在配置区中根据实际需求对组件的参数进行细化即可。
以分类学习为例,在构建能够执行分类任务的机器学习模型时,通常可以采用多种分类算法,如逻辑回归、朴素贝叶斯、最近邻、决策树、支持向量机等。如果用户想要使用决策树,只需要在组件区中选取用于执行分类算法的组件,再在配置区中配置该组件的算法参数为决策树。
在一些实施方式中,不同范畴内的参数没有任何重复或交叉,但是在另外一些实施方式,不同范畴内的参数可能存在一部分重复或交叉。
2、第二功能参数的配置方法
在本实施例中针对各第二功能参数,可以响应于用户对第二功能参数配置方式的选择,根据选择的配置方式对第二功能参数的参数值进行配置,第二功能参数的配置方式包括固定配置和/或非固定配置。
若配置方式为固定配置,则响应于用户对参数值的设定,将参数值配置成设定的参数值。通过这种方法进行配置,在运行可视化建模流程时参数值将会保持不变。如果想要修改参数值,需要形成一个新的可视化建模流程。
若配置方式为非固定配置,则在形成可视化建模流程之前不再配置第二功能参数的参数值,而是在形成可视化建模流程之后且在运行可视化建模流程之前再响应于用户对第二功能参数的参数值的设定,将参数值配置成设定的参数值。通过这种方法进行配置,即使形成了可视化建模流程,但在运行可视化建模流程之前参数值都是未配置的,需要在运行之前单独进行配置。也就是说,针对同一个参数,每次可视化建模流程之前都可以配置成不同的参数值,而参数值不同可能会影响可视化建模流程的运行结果,比如提高或降低机器学习模型的模型准确度。因此,基于上述方法可以实现部分参数的参数值可调,有利于从可视化建模流程的多次运行结果中挑选出最佳的机器学习模型。
继续参阅附图8,决策树的个数为第二功能参数,在图8中100的右侧有三个点“…”,用户点击这三个点就会显示决策树的个数可以进行选择的配置方式,该方式包括固定配置和非固定配置。图8示出的是选择了固定配置的方式进行配置,此时可以在决策树的个数的下方方框中填入参数值100。如果选择了非固定配置,那么这个方框中将无法填入参数值,而是在运行可视化建模流程之前再配置参数值。如图9所示,在创建运行界面中配置第二功能参数的参数值,同时配置好界面中其他参数之后点击运行,就可以运行可视化建模流程了。例如,通过k8s根据模型组件所使用的框架的容器依赖项启动对应的容器进行运行。
在一些实施方式中,创建运行界面还可以包括运行类型,运行类型的参数包括单次运行和多次运行,选择单次运行就会运行一次可视化建模流程,选择多次运行就会运行多次可视化建模流程。此外,创建运行界面也可以提供选择定时运行的配置项,也可以提供使用cron表达式配置训练参数的配置项等等。本领域技术人员可以根据实际需求灵活地设定创建运行界面的各配置项,本发明实施例对此不作具体限定。
(二)对配置显示组件的后序组件能够采用的获取显示组件的运行结果的方式进行说明。
在本实施例中可以响应于用户对设计区显示组件的操作,在配置区内配置显示组件的后序组件能够采用的获取显示组件的运行结果的方式,该方式包括从缓存获取结果和不从缓存获取结果,从缓存获取结果为从缓存中获取显示组件的历史运行结果,不从缓存获取结果为获取对显示组件进行实时运行得到的实时运行结果。在配置好获取运行结果的方式之后,在运行可视化建模流程时,后序组件将按照配置好的方式获取其前序组件的运行结果。
在本实施例中显示组件每次运行之后会将运行结果存储在缓存中。对于后序组件而言,如果其前序组件每次的运行结果都不会发生改变,那么可以将获取方式配置为从缓存获取结果,这样只需要运行一次前序组件,即使要多次运行可视化建模流程,也无需重复运行这个前序组件,基于此能够显著提高机器学习模型的创建效率。对于后序组件而言,如果其前序组件每次的运行结果都会发生改变,为了保证机器学习模型创建的准确性,需要将获取方式配置为不从缓存获取结果。
如图10所示,用户在设计区点击一个显示组件之后,会在配置区显示“缓存结果”这个配置项。若图10中的白色圆点在左侧,即目前图10所示出的形式,则获取方式为不从缓存获取结果,即不允许从缓存获取输出结果;若图10中的白色圆点在右侧,则获取方式为从缓存获取结果,即允许从缓存获取输出结果。输出结果为前序组件的运行结果。
二、对步骤S104进行说明。
在根据本发明的流程可视化建模方法实施例中,在执行步骤S104之前可以通过图11所示的下列步骤S105至步骤S106,生成正式的可视化建模流程,进而在执行步骤S104时运行这个正式的可视化建模流程,构建机器学习模型。
步骤S105:根据可视化建模流程,获取流程草稿。
流程草稿是相对于正式的可视化建模流程而言,是一个非正式的可视化建模流程。
在一些实施方式中,可以直接将通过步骤S101至步骤S103得到的可视化建模流程作为流程草稿,也可以根据这个可视化建模流程生成yaml文件并将yaml文件作为流程草稿,还可以从notebook服务器中获取流程草稿,notebook服务器中的流程草稿为上述可视化建模流程或yaml文件。也就是说,既可以从本地获取可视化建模流程或yaml文件作为流程草稿,也可以从notebook服务器中获取可视化建模流程或yaml文件作为流程草稿。
步骤S106:响应于用户对流程版本的设定,根据流程版本与流程草稿,生成正式的可视化建模流程,以便能够运行正式的可视化建模流程,构建机器学习模型。
为了得到最佳的机器学习模型,可能会创建不同的可视化建模流程,从每种可视化建模流程的运行结果中选取一个最佳的机器学习模型。而基于上述步骤S105至步骤S106所述的方法可以为每个机器学习模型分别设置不同的流程版本,这样在得到各个机器学习模型之后,可以根据流程版本追溯是采用了哪个可视化建模流程,有利于对视化建模流程的管理。
如图9所示,在执行步骤S104时可以在创建运行界面配置流程名称和流程版本等信息,通过点击流程版本右侧的选择可以显示出可以进行选择的各个流程版本,当选中了一个流程版本之后,在运行可视化建模流程时就会调用这个流程版本的可视化建模流程。运行实例名称为运行可视化建模流程时为其创建的名称,运行描述用于配置与当前待运行的可视化建模流程相关的一些信息,关联实验用于配置当前待运行的可视化建模流程与哪个实验项目相关。例如,工作流名称可以为人脸识别,工作流版本可以为人脸识别V0,运行实例名称可以为人脸识别V0-20230413,20230413为运行时的日期,关联实验为人脸识别实验。
在运行完成正式的可视化建模流程并得到机器学习模型之后,可以将流程版本作为构建得到的机器学习模型的模型版本,以便能够根据模型版本对属于同一种模型的机器学习模型进行版本管理。例如,对于人脸识别模型而言,如果分别采用流程版本为V1、V2和V3的三个可视化建模流程得到三个人脸识别模型,那么将这三个人脸识别模型的模板分别也分别设定成V1、V2和V3。
在根据本发明的流程可视化建模方法实施例中,显示组件可以包括数据集加载组件,在通过步骤S103形成可视化建模流程之前,还可以响应于用户对数据集版本的设定,将数据集加载组件能够加载的数据集的版本配置成该设定的版本。在此情况下,在执行步骤S104得到机器学习模型之后,可以将机器学习模型的模型版本与上述数据集的版本进行关联,基于该关联可以便捷地追溯出各版本的机器学习模型分别采用了哪些版本的数据集,实现了对机器学习模型的模型版本、数据集的版本和可视化建模流程的流程版本的统一关联管理。
进一步,在根据本发明的流程可视化建模方法实施例中,还可以响应于用户对属于同一种模型的机器学习模型且模型版本不同的多个机器学习模型的选定,对选定的多个机器学习模型进行模型比对并输出比对结果。比对结果包括但不限于模型训练时采用的参数、加载的数据集等信息的对比结果,模型训练完成之后的准确率等指标的比对结果。
以上是对步骤S101、步骤S103和步骤S104的说明。
下面对数据集的创建和管理方法进行说明。
在根据本发明的流程可视化建模方法实施例中,可以响应于用户对数据集的操作,创建不同版本的数据集并管理不同版本的数据集之间的血缘关系,血缘关系记录了当前版本的数据集相比于历史版本的数据集的数据变更情况。
如图12所示,version001、version002和version003是三个数据集的版本,version002相比于version001增加了两个数据,version003相比于version001增加了一个数据。在通过血缘关系确认发生了数据变更情况之后,可以响应于用户的操作分别显示相关数据集的数据,以便用户可以进行数据比对,确认具体是哪些数据发生了变更。比如,在确认version002相比于version001增加了两个数据之后,可以对version001、version002进行数据比对,确认version002具体是增加了哪两个数据。
在创建不同版本的数据集时,可以响应于用户对数据集版本的选择和数据变更信息的设定,根据数据变更信息对该版本的数据集进行数据变更,以形成新的数据集。进而可以响应于用户对这个新的数据集的版本设定,将新的数据集的版本配置为设定的版本。基于上述方法,可以对历史版本的数据集进行数据变更,便捷地形成新版本的数据集。
本发明提供的流程可视化建模方法实施例,实现了从数据到模型的端到端创建过程,有利于对模型进行后序管理、跟踪实验等操作。而对于数据集进行版本设定与管理,可以确保跟踪至少一段时间内的数据状态,有利于对历史数据进行回溯与再次利用,并有利于与其他人员共享数据。此外,基于上述方法实施例进行模型创建,能够显著提高建模的工作量效率,同时有利于对模型进行交付和流转,支持企业沉淀数据资产、特征资产、模型资产和推理服务后序资产等资产。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些调整之后的方案与本发明中描述的技术方案属于等同技术方案,因此也将落入本发明的保护范围之内。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种计算机设备。
参阅附图13,图13是根据本发明的一个计算机设备实施例的主要结构示意图。如图13所示,本发明实施例中的计算机设备主要包括存储装置和处理器,存储装置可以被配置成存储执行上述方法实施例的流程可视化建模方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的流程可视化建模方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。
在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中,计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的流程可视化建模方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法实施例的流程可视化建模方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的流程可视化建模方法,即每个处理器分别执行上述方法实施例的流程可视化建模方法的不同步骤,来共同实现上述方法实施例的流程可视化建模方法。
上述多个处理器可以是部署于同一个设备上的处理器,例如上述计算机设备可以是由多个处理器组成的高性能设备,上述多个处理器可以是该高性能设备上配置的处理器。此外,上述多个处理器也可以是部署于不同设备上的处理器,例如上述计算机设备可以是服务器集群,上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步,本发明还提供了一种计算机可读存储介质。
在根据本发明的一个计算机可读存储介质的实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的流程可视化建模方法的程序,该程序可以由处理器加载并运行以实现上述流程可视化建模方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
至此,已经结合附图所示的一个实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种流程可视化建模方法,其特征在于,所述方法包括:
响应于用户在可视化交互界面对组件区中组件的操作,在设计区显示相应的组件并在所述组件上分别形成预设数量的输入锚点和输出锚点;
响应于用户对设计区显示组件的操作,在设计区内对每两个所述显示组件的输入锚点与输出锚点之间建立连接线,以及
在配置区内配置所述显示组件的输入锚点参数,以使所述显示组件能够基于所述参数接收前序组件的运行结果,并基于此形成由所有显示组件与相应的连接线组成的且数据结构为有向无环图的可视化建模流程;
运行所述可视化建模流程,以构建机器学习模型;
其中,所述显示组件的输入锚点参数的类型取决于其前序组件的输出锚点参数的类型,所述前序组件为通过所述连接线直接与所述显示组件的输入锚点连接的其他显示组件;
在所述组件上形成预设数量的输入锚点包括:形成一个输入锚点;
所述在配置区内配置所述显示组件的输入锚点参数包括:根据所述显示组件的前序组件数量,在配置区内设定并显示相同数量的待配置的输入锚点参数;响应于用户对各待配置的输入锚点参数的数据类型的选择,将各输入锚点参数的数据类型配置成所述选择的数据类型,以使所述显示组件能够基于各数据类型接收与各数据类型对应的前序组件的运行结果。
2.根据权利要求1所述的流程可视化建模方法,其特征在于,
在所述组件上形成预设数量的输出锚点包括:形成一个输出锚点;
所述方法还包括:
响应于用户对设计区显示组件的操作,根据所述显示组件的功能,在配置区内显示所述显示组件的输出锚点参数;
其中,所述输出锚点参数的数量为一个或多个,所述输出锚点参数的数据类型与所述显示组件的运行结果的数据类型一一对应。
3.根据权利要求1所述的流程可视化建模方法,其特征在于,在形成可视化建模流程之前,所述方法还包括:
响应于用户对设计区显示组件的操作,根据所述显示组件的功能,在配置区内显示并配置所述显示组件的功能参数,以使所述显示组件能够基于所述功能参数并根据接收到的前序组件的运行结果进行运行。
4.根据权利要求3所述的流程可视化建模方法,其特征在于,所述功能参数包括具有多个下级参数的第一功能参数;
所述配置所述显示组件的功能参数包括:
针对各第一功能参数,响应于用户对第一功能参数的下级参数的选择,将所述第一功能参数配置成所述选择的下级参数。
5.根据权利要求3所述的流程可视化建模方法,其特征在于,所述功能参数还包括不具有下级参数的第二功能参数,且所述第二功能参数的配置方式包括固定配置和/或非固定配置;
所述配置所述显示组件的功能参数还包括:
针对各第二功能参数,响应于用户对第二功能参数配置方式的选择,根据所述选择的配置方式对所述第二功能参数的参数值进行配置;
若配置方式为固定配置,则响应于用户对所述参数值的设定,将所述参数值配置成所述设定的参数值;
若配置方式为非固定配置,则在形成所述可视化建模流程之前不再配置所述第二功能参数的参数值,而是在形成所述可视化建模流程之后且在运行所述可视化建模流程之前再响应于用户对所述第二功能参数的参数值的设定,将所述参数值配置成所述设定的参数值。
6.根据权利要求1所述的流程可视化建模方法,其特征在于,在形成可视化建模流程之前,所述方法还包括:
响应于用户对设计区显示组件的操作,在配置区内配置所述显示组件的后序组件能够采用的获取所述显示组件的运行结果的方式;
其中,所述后序组件为通过所述连接线直接与所述显示组件的输出锚点连接的其他显示组件;
所述方式包括从缓存获取结果和不从缓存获取结果,所述从缓存获取结果为从缓存中获取所述显示组件的历史运行结果,所述不从缓存获取结果为获取对所述显示组件进行实时运行得到的实时运行结果。
7.根据权利要求1所述的流程可视化建模方法,其特征在于,在运行所述可视化建模流程之前,所述方法还包括:
根据所述可视化建模流程,获取流程草稿;
响应于用户对流程版本的设定,根据所述流程版本与所述流程草稿,生成正式的可视化建模流程,以便能够运行所述正式的可视化建模流程,构建机器学习模型。
8.一种计算机设备,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的流程可视化建模方法。
9.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的流程可视化建模方法。
CN202310875958.4A 2023-07-18 2023-07-18 流程可视化建模方法、计算机设备及计算机可读存储介质 Active CN116594733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310875958.4A CN116594733B (zh) 2023-07-18 2023-07-18 流程可视化建模方法、计算机设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310875958.4A CN116594733B (zh) 2023-07-18 2023-07-18 流程可视化建模方法、计算机设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116594733A CN116594733A (zh) 2023-08-15
CN116594733B true CN116594733B (zh) 2023-11-28

Family

ID=87599482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310875958.4A Active CN116594733B (zh) 2023-07-18 2023-07-18 流程可视化建模方法、计算机设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116594733B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992241B (zh) * 2023-09-26 2024-01-19 深圳前海环融联易信息科技服务有限公司 模型生成方法及装置、存储介质、计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523318A (zh) * 2018-11-16 2019-03-26 杭州市商务委员会(杭州市粮食局) 跨界电子商务数据可视化建模分析平台
CN114399649A (zh) * 2021-11-30 2022-04-26 西安交通大学 一种基于学习图的快速多视图半监督学习方法及系统
CN115841236A (zh) * 2022-12-28 2023-03-24 浪潮数字粮储科技有限公司 一种用于实现快速响应的业务建模方法、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230039110A1 (en) * 2018-07-12 2023-02-09 Signalpath, Llc Computer implemented process control using a computer instantiated mathematical model defining sequence-based anchoring and time-based anchoring between nodes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523318A (zh) * 2018-11-16 2019-03-26 杭州市商务委员会(杭州市粮食局) 跨界电子商务数据可视化建模分析平台
CN114399649A (zh) * 2021-11-30 2022-04-26 西安交通大学 一种基于学习图的快速多视图半监督学习方法及系统
CN115841236A (zh) * 2022-12-28 2023-03-24 浪潮数字粮储科技有限公司 一种用于实现快速响应的业务建模方法、设备及介质

Also Published As

Publication number Publication date
CN116594733A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN109324791B (zh) 金融自助终端业务流程开发方法、装置及终端设备
US11429433B2 (en) Process discovery and automatic robotic scripts generation for distributed computing resources
US20190286667A1 (en) User-defined automated document feature modeling, extraction and optimization
US20240061660A1 (en) User interface (ui) descriptors, ui object libraries, ui object repositories, and ui object browsers for robotic process automation
US10902339B2 (en) System and method providing automatic completion of task structures in a project plan
CN116594733B (zh) 流程可视化建模方法、计算机设备及计算机可读存储介质
US11972331B2 (en) Visualization of training dialogs for a conversational bot
US20220300850A1 (en) End-to-end machine learning pipelines for data integration and analytics
CN109918437A (zh) 分布式数据处理方法、装置及数据资产管理系统
US10839329B2 (en) Process execution using rules framework flexibly incorporating predictive modeling
US20220374263A1 (en) Graph-Based Diagnostics and Recovery for Cloud System
CN115392501A (zh) 数据采集方法、装置、电子设备及存储介质
CN115082247A (zh) 基于标签库的系统投产方法、装置、设备、介质和产品
CN110909888A (zh) 泛型决策树构建方法、装置、设备及可读存储介质
CN104123326A (zh) 业务组织评估分析专家系统
CN114089889A (zh) 模型训练方法、装置以及存储介质
CN115455135B (zh) 可视化自动建模方法、装置、电子设备和存储介质
CN116645550A (zh) 一种基于测试用例的机载显示系统通用化图像识别方法
CN116483707A (zh) 测试方法、装置、设备、存储介质及程序产品
CN114936152A (zh) 应用测试方法及设备
CN114756224A (zh) 一种活动执行方法及装置
CN104123584A (zh) 基于信息系统的组织优化方法
Rashidi et al. Software development and programming tools-a survey and recommendation for organization of small industries and industrial towns of Iran
CN113703748B (zh) 配置web应用程序中运行逻辑可视化方法、装置和设备
CN110648081A (zh) 用于计算系统的业务建模方法、装置和计算机系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant