CN115292279A - 一种用于数据的模型处理方法、系统及存储介质 - Google Patents

一种用于数据的模型处理方法、系统及存储介质 Download PDF

Info

Publication number
CN115292279A
CN115292279A CN202210889948.1A CN202210889948A CN115292279A CN 115292279 A CN115292279 A CN 115292279A CN 202210889948 A CN202210889948 A CN 202210889948A CN 115292279 A CN115292279 A CN 115292279A
Authority
CN
China
Prior art keywords
model
data
user
component
data analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210889948.1A
Other languages
English (en)
Inventor
马庆贺
李祖发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Secxun Technology Co ltd
Original Assignee
Shenzhen Secxun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Secxun Technology Co ltd filed Critical Shenzhen Secxun Technology Co ltd
Priority to CN202210889948.1A priority Critical patent/CN115292279A/zh
Publication of CN115292279A publication Critical patent/CN115292279A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • G06F16/212Schema design and management with details for data modelling support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Abstract

本发明公开了一种用于数据的模型处理方法、系统及存储介质,其中方法包括:接收用户发出的第一组件配置指令,从组件库中调取模型组件,构建第一数据分析模型;调取测试数据,并运行第一数据分析模型,输出数据测试结果;接收用户发出的模型发布指令,发布第一数据分析模型;或接收用户发出的第二组件配置指令,重新从组件库中调取模型组件并构建第二数据分析模型,并重新进行模型测试。本发明通过从预先存储模型组件的组件库中直接调取模型组件,可以快速构建数据分析模型,且通过调取测试数据输出数据测试结果,可由用户进行少量数据与输出结果的对比,在用户确定所构建数据分析模型的可靠程度及精确程度后方才发布数据分析模型。

Description

一种用于数据的模型处理方法、系统及存储介质
技术领域
本发明涉及运维技术领域,尤其涉及的是一种用于数据的模型处理方法、系统及存储介质。
背景技术
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用。在大数据时 代,大量数据可以被广泛使用,同时数据中能够挖掘出隐含的、未知的、对决策有潜 在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预 测性决策支持的方法、工具和过程。
数据分析的过程通常分为以下三个步骤:
1、探索性数据分析:当数据刚取得时,可能杂乱无章,看不出规律,通过作 图、造表、用各种形式的方程拟合,计算某些特征量等手段探索规律性的可能形式, 即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性;
2、模型选定分析:在探索性数据分析的基础上,提出一类或几类可能的模型, 然后通过进一步的分析,从中选出一定的模型;
3、推断分析:通常使用数理统计方法对所选定的模型的可靠程度和精确程度作出推断,在推断结果符合要求的情况下使用所选定的模型输出数据分析结果,在推断 结果不符合要求的情况下,重新选定模型,直至所选定的模型符合要求并输出结果。
申请号为2015109073572的发明专利申请公布了一种大数据流程建模分析引擎,如图1所述,其包括:界面层、任务调度层及平台层,所述平台层以Hadoop平台中 的yarn、spark和hdfs作为基础功能支撑,其中yarn是一种通用的资源管理系统,可 提供统一的资源管理和调度,spark是一个通用的并行计算框架,hdfs是一个高度容 错性的系统;任务调度层包括校验模块、解析模块、任务调度模块和算法包;界面层 用于提供数据分析建模操作平台界面。
该发明专利申请基于spark的设计理念,旨在用户进行流程化数据建模分析操作时,解析用户的数据分析操作步骤及流程,将用户的数据分析操作步骤全部进行内存 处理后,最终输出结果,从而实现高效的一体化流程;但该发明专利申请并无完整模 型,其仅在数据分析时,由用户自行调取算法包,配合有向线条连接表示的数据分析 流程方向和步骤临时组成业务数据分析算法模型,一则操作较为麻烦,二则临时组成 的业务数据分析算法模型的可靠程度及精确程度未经验证,得不到保障。
申请号为2016101578751的发明专利申请公布了一种用于管理数据建模的系统及其方法,如图2所示,其中系统包括:项目建立模块10、计划建立模块20、任务配 置模块30及计划启动模块40,所述项目建立模块10用于建立用于管理数据建模的建 模项目;计划建立模块20用于在建立的建模项目下,建立至少一个建模计划;任务 配置模块30用于在建立的每个建模计划下,配置相应的数据建模活动所涉及的建模 任务;计划启动模块40用于启动所述至少一个建模计划,并将所述至少一个建模计 划产生的结果保存在所述建模项目下。
该发明专利申请旨在帮助用户完成数据建模过程的同时,有效地进行体系化的数据处理、流程处理和/或模型处理,从而帮助用户找到解决实际问题的方式;但该发明 专利申请仅涉及体系化的方式进行建模处理和建模管理,所建立模型的可靠程度及精 确程度并不能得到有效保障。
可见,现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足,本发明的目的在于提供一种用于数据的模型处理方法、系统及存储介质,旨在解决现有技术中的建模系统所建立模型的可靠程度及精确 程度并不能得到有效保障的问题。
本发明的技术方案如下:
一种用于数据的模型处理方法,其包括:
接收用户发出的第一组件配置指令,从组件库中调取模型组件,构建第一数据分析模型;
调取测试数据,并运行第一数据分析模型,输出数据测试结果;
接收用户发出的模型发布指令,发布第一数据分析模型;或者,接收用户发出的第二组件配置指令,重新从组件库中调取模型组件并构建第二数据分析模型,并重新 进行模型测试,接收用户发出的模型发布指令,发布第二数据分析模型;或者,重复 模型组件添加及数据分析模型测试过程,直至接收用户发出的模型发布指令,发布第 三数据分析模型、……、第N-1数据分析模型或第N数据分析模型。
上述方案的效果在于:本发明通过从预先存储模型组件的组件库中直接调取模型组件,可以快速构建数据分析模型,且通过调取测试数据输出数据测试结果,可由用 户进行少量数据与输出结果的对比,在用户确定所构建数据分析模型的可靠程度及精 确程度后方才发布数据分析模型,解决了现有技术中的建模系统所建立模型的可靠程 度及精确程度并不能得到有效保障的问题。
在进一步地优选方案中,所述接收用户发出的第一组件配置指令,从组件库中调取模型组件,构建第一数据分析模型步骤具体包括:
逐一接收用户发出的第一组件配置指令,从组件库中调取模型组件;
逐一接收并响应用户发出的第一节点配置指令,修改模型组件的配置,直至所有模型组件配置完成,构建第一数据分析模型。
上述方案的效果在于:从数据向各个组件形成了DAG(即有向无环图),各个 组件构成了DAG中的节点,从而构建了基于DAG的数据分析模型,模型的构建十分 方便快捷。
在进一步地优选方案中,所述逐一接收并响应用户发出的第一节点配置指令,修改模型组件的配置,直至所有模型组件配置完成,构建第一数据分析模型的步骤具体 包括:
逐一接收并响应用户发出的第一节点配置指令,修改模型组件的配置;
逐一接收并响应用户发出的第一组件检查指令,并判断所修改的模型组件配置是否检查通过,若否则提示用户修改,并接收并响应用户发出的第二节点配置指令,重 新修改模型组件的配置并重新检查模型组件配置是否检查通过,直至模型组件配置符 合检查要求。
上述方案的效果在于:在模型完全构建完成之前,逐个检查用户所修改的模型组件配置是否符合要求,可以及时解决模型组件配置中存在的问题,防止因模型组件配 置出现问题导致所构建的数据分析模型无法使用,需要返工时逐一检查节点造成模型 构建效率较低的问题。
在进一步地优选方案中,所述接收用户发出的第一组件配置指令,从组件库中调取模型组件,构建第一数据分析模型的步骤之后,所述调取测试数据,并运行第一数 据分析模型,输出数据测试结果的步骤之前还包括:接收用户发出的第一调试指令, 调取调试数据并运行所述第一数据分析模型,并判断所构建的第一数据分析模型是否 调试通过,若否则提示用户进行配置调整并显示配置调整建议。
上述方案的效果在于:通过对所构建的第一数据分析模型进行调试判断,能够深入了解所构建的第一数据分析模型对于调试数据(及与其同源的待分析数据)是否有 用,相当于在输出数据测试结果并由用户判断准确程度之前的一次自动判断过程,进 一步提高了利用本发明用于数据的模型处理方法所构建数据分析模型的可靠程度及精 确程度。
在进一步地优选方案中,所述用于数据的模型处理方法还包括:
接收用户选择模型的操作指令,读取模型运行配置参数,并生成节点逻辑;
读取待分析的数据,生成各节点计算数据,并将数据分析结果输出到数仓。
上述方案的效果在于:在进行数据分析时,用户只需要选择已发布的模型(包括自己创建的及他人创建的)并关联数据即可,而后系统会自动读取模型运行配置参 数、生成节点逻辑、生成各节点计算数据并将所计算的数据作为数据分析结果输出到 数据仓库,整个过程方便快捷,而且由于模型的可靠程度及精确程度较高,故数据分 析的效率及精确度皆可得到保障。
在进一步地优选方案中,所述用于数据的模型处理方法还包括:
接收用户选择模型及参数配置的操作指令,判断用户所输入的配置参数是否合规,若是则生成节点逻辑,若否则提示用户重新进行参数配置,直至用户所输入的配 置参数通过合规性判断;
读取待分析的数据,生成各节点计算数据,并将数据分析结果输出到数仓。
上述方案的效果在于:在使用模型时,默认的配置参数未必满足用户的需求,在默认配置参数不满足用户需求的情况下,本发明所提供的自定义参数配置功能可以令 用户自行输入所需要的配置参数,并在用户所输入配置参数不满足预设条件的情况 下,提示用户修改,提高了模型的使用自由度。
在进一步地优选方案中,所述模型组件通过机器学习算法构建而成。
上述方案的效果在于:本发明通过将机器学习算法与模型组件设计结合,衍生出用机器学习算法对大数据进行分析的相关组件,用户可以通过选择不同的机器学习算 法来对已有数据集进行分析,进行数据挖掘。
一种用于实现用于数据的模型处理方法的系统,其包括存储器及处理器,所述存储器用于存储用于数据分析的模型处理程序,所述处理器用于运行所述用于数据分析 的模型处理程序以实现如上所述的用于数据的模型处理方法。
一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的用于数据的模型处理方法的步骤。所述存储介质包括上述用于数据的模型处 理方法的所有技术特征,因此也具有上述用于数据的模型处理方法的所有技术效果, 此处不再赘述。
与现有技术相比,本发明提供的用于数据的模型处理方法,包括:接收用户发出的第一组件配置指令,从组件库中调取模型组件,构建第一数据分析模型;调取测试 数据,并运行第一数据分析模型,输出数据测试结果;接收用户发出的模型发布指 令,发布第一数据分析模型;或者,接收用户发出的第二组件配置指令,重新从组件 库中调取模型组件并构建第二数据分析模型,并重新进行模型测试,接收用户发出的 模型发布指令,发布第二数据分析模型;或者,重复模型组件添加及数据分析模型测 试过程,直至接收用户发出的模型发布指令,发布第三数据分析模型、……、第N-1 数据分析模型或第N数据分析模型。本发明通过从预先存储模型组件的组件库中直接 调取模型组件,可以快速构建数据分析模型,且通过调取测试数据输出数据测试结 果,可由用户进行少量数据与输出结果的对比,在用户确定所构建数据分析模型的可 靠程度及精确程度后方才发布数据分析模型,解决了现有技术中的建模系统所建立模 型的可靠程度及精确程度并不能得到有效保障的问题。
附图说明
图1是2015109073572所公布大数据流程建模分析引擎的原理框图。
图2是2016101578751所公布用于管理数据建模的系统的原理框图。
图3是本发明较佳实施例所提供用于数据的模型处理方法的流程图。
图4是利用本发明所提供用于数据的模型处理方法所构建的基于话单的GOIP窝点实时运算模型及建模组件内容的示意图。
图5是利用本发明所提供用于数据的模型处理方法所构建的基于话单的GOIP窝点实时运算模型及数据仓库内容的示意图。
具体实施方式
本发明提供一种用于数据的模型处理方法、系统及存储介质,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实例对本发明进一步地详细 说明。应当理解的是,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定 本发明。
本发明提供了一种用于数据的模型处理方法,如图3所示,其包括:
S100、接收用户发出的第一组件配置指令,从组件库中调取模型组件,构建第一数据分析模型。
图4及图5示出的是利用本发明所提供用于数据的模型处理方法所构建的基于话单的GOIP窝点实时运算模型(该图及该模型仅用于举例说明,并不用于限定本发明 的保护范围),从图4左侧边栏中可以看出,在基于话单的GOIP窝点实时运算模型 中,建模组件下有用于数据清洗的组件库,用于数据清洗的组件库包括:过滤组件、 连接组件、字段设置组件、字段修正组件、计算组件、聚合组件、数据合并组件、数 据源化组件、数据去重组件及交叉计算组件;在其右侧示出的部分内容中,示出了过 滤主叫HD(过滤组件)、过滤被叫HD(过滤组件)、修正-通话时间(字段修正组 件)、修正-时间-日期(字段修正组件)、字段设置组件、过滤晚间通话(过滤组 件)、源化晚间白名单(数据源化组件)、统计被叫次数(聚合组件)、统计主叫次 数(聚合组件)、增量被叫次数源化组件(数据源化组件)、增量主叫次数源化组件 (数据源化组件)、主被叫去重(数据去重组件)、数据合并组件、数据去重组件及 源化话单主被叫(数据源化组件)等等;为了清楚区分同一组件各个不同位置的作 用,本发明提供了模型组件重命名功能。
进一步地,所述接收用户发出的第一组件配置指令,从组件库中调取模型组件,构建第一数据分析模型步骤具体包括:
逐一接收用户发出的第一组件配置指令,从组件库中调取模型组件;
逐一接收并响应用户发出的第一节点配置指令,修改模型组件的配置,直至所有模型组件配置完成,构建第一数据分析模型。
从图4及图5不难看出,从数据向各个组件形成了DAG(即有向无环图),各 个组件构成了DAG中的节点,从而构建了基于DAG的数据分析模型,模型的构建十 分方便快捷。
在本发明进一步地较佳实施例中,所述逐一接收并响应用户发出的第一节点配置指令,修改模型组件的配置,直至所有模型组件配置完成,构建第一数据分析模型的 步骤具体包括:
逐一接收并响应用户发出的第一节点配置指令,修改模型组件的配置;
逐一接收并响应用户发出的第一组件检查指令,并判断所修改的模型组件配置是否检查通过,若否则提示用户修改,并接收并响应用户发出的第二节点配置指令,重 新修改模型组件的配置并重新检查模型组件配置是否检查通过,直至模型组件配置符 合检查要求。
在模型完全构建完成之前,逐个检查用户所修改的模型组件配置是否符合要求,可以及时解决模型组件配置中存在的问题,防止因模型组件配置出现问题导致所构建 的数据分析模型无法使用,需要返工时逐一检查节点造成模型构建效率较低的问题。
S200、调取测试数据,并运行第一数据分析模型,输出数据测试结果。
所述S100之后,所述S200之前还包括:接收用户发出的第一调试指令,调取调 试数据并运行所述第一数据分析模型,并判断所构建的第一数据分析模型是否调试通 过,若否则提示用户进行配置调整并显示配置调整建议。通过对所构建的第一数据分 析模型进行调试判断,能够深入了解所构建的第一数据分析模型对于调试数据(及与 其同源的待分析数据)是否有用,相当于在输出数据测试结果并由用户判断准确程度 之前的一次自动判断过程,进一步提高了利用本发明用于数据的模型处理方法所构建 数据分析模型的可靠程度及精确程度。对于模型如何调试,并非本发明的主要发明 点,属于现有技术,对此本发明不再展开描述。
根据本发明地另一方面,所述用于数据的模型处理方法还包括:
接收用户选择模型的操作指令,读取模型运行配置参数,并生成节点逻辑;
读取待分析的数据,生成各节点计算数据,并将数据分析结果输出到数仓。
在进行数据分析时,用户只需要从模型市场选择已发布的模型(包括自己创建的及他人创建的)并关联数据即可,而后系统会自动读取模型运行配置参数、生成节点 逻辑、生成各节点计算数据并将所计算的数据作为数据分析结果输出到数据仓库,整 个过程方便快捷,而且由于模型的可靠程度及精确程度较高,故数据分析的效率及精 确度皆可得到保障。
优选地,所述用于数据的模型处理方法还包括:
接收用户选择模型及参数配置的操作指令,判断用户所输入的配置参数是否合规,若是则生成节点逻辑,若否则提示用户重新进行参数配置,直至用户所输入的配 置参数通过合规性判断;
读取待分析的数据,生成各节点计算数据,并将数据分析结果输出到数仓(图5 的左侧边栏展示了基于话单的GOIP窝点实时运算模型数据仓库的目录)。
在使用模型时,默认的配置参数未必满足用户的需求,在默认配置参数不满足用户需求的情况下,本发明所提供的自定义参数配置功能可以令用户自行输入所需要的 配置参数,并在用户所输入配置参数不满足预设条件的情况下,提示用户修改,提高 了模型的使用自由度。
在具体实施时,所述模型组件通过机器学习算法构建而成。本发明通过将机器学习算法(比如随机森林分类、随机森林回归、K近邻、逻辑回归、支持向量机、 Apriori算法、FP-Growth算法、分层聚类法、K均值以及DBSCAN等等,不再一一 展开描述;图4左侧边栏下半段展示了基于话单的GOIP窝点实时运算模型所用到的 算法)与模型组件设计结合,衍生出用机器学习算法对大数据进行分析的相关组件, 用户可以通过选择不同的机器学习算法来对已有数据集进行分析,进行数据挖掘。
S300、接收用户发出的模型发布指令,发布第一数据分析模型;或者,接收用户 发出的第二组件配置指令,重新从组件库中调取模型组件并构建第二数据分析模型, 并重新进行模型测试,接收用户发出的模型发布指令,发布第二数据分析模型;或 者,重复模型组件添加及数据分析模型测试过程,直至接收用户发出的模型发布指 令,发布第三数据分析模型、……、第N-1数据分析模型或第N数据分析模型。
也就是说,本发明在数据分析模型构建完成后,会通过测试数据(数据量较少, 能够快速获悉结果)对所构建模型的可靠程度及精确程度进行验证,在可靠程度及精 确程度达不到用户要求的情况下,用户可重新返回,进行节点修改,以生成新的数据 分析模型,直至所生成的数据分析模型能够满足使用要求。
本发明提供了流程化、可视化的建模页面,内置了实用的、泛类型的数据分析组件以及经典的统计挖掘算法和深度学习算法,这些算法配置简单降低了建模的使用门 槛,大大节省了成本,业务人员可通过轻松拖拉拽组件的操作,进行可视化建模,完 成模型流程的搭建,并能将模型发布管理,通过模型中心的挖掘分析手段分析企业数 据可以高效的解决相关的业务问题。
本发明还提供了一种用于实现用于数据的模型处理方法的系统,其包括存储器及处理器,所述存储器用于存储用于数据分析的模型处理程序,所述处理器用于运行所 述用于数据分析的模型处理程序以实现如上所述的用于数据的模型处理方法。
本发明还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的用于数据的模型处理方法的步骤。所述存储介质包括上述用 于数据的模型处理方法的所有技术特征,因此也具有上述用于数据的模型处理方法的 所有技术效果,此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计 算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流 程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质 的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储 器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编 程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外 部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM (SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(SyNchliNk)DRAM (SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动 态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所 要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明 白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做 的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实 施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方 法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组 到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如 下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特 征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的 单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具 体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块 或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或 子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外, 可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特 征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈 述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相 同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的 范围之内并且形成不同的实施例。例如,所要求保护的实施例的任意之一都可以以任 意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求 中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不 排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不 排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于 适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干 个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示 任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应 理解为对执行顺序的限定。

Claims (9)

1.一种用于数据的模型处理方法,其特征在于,包括:
接收用户发出的第一组件配置指令,从组件库中调取模型组件,构建第一数据分析模型;
调取测试数据,并运行第一数据分析模型,输出数据测试结果;
接收用户发出的模型发布指令,发布第一数据分析模型;或者,接收用户发出的第二组件配置指令,重新从组件库中调取模型组件并构建第二数据分析模型,并重新进行模型测试,接收用户发出的模型发布指令,发布第二数据分析模型;或者,重复模型组件添加及数据分析模型测试过程,直至接收用户发出的模型发布指令,发布第三数据分析模型、……、第N-1数据分析模型或第N数据分析模型。
2.根据权利要求1所述的用于数据的模型处理方法,其特征在于,所述接收用户发出的第一组件配置指令,从组件库中调取模型组件,构建第一数据分析模型步骤具体包括:
逐一接收用户发出的第一组件配置指令,从组件库中调取模型组件;
逐一接收并响应用户发出的第一节点配置指令,修改模型组件的配置,直至所有模型组件配置完成,构建第一数据分析模型。
3.根据权利要求2所述的用于数据的模型处理方法,其特征在于,所述逐一接收并响应用户发出的第一节点配置指令,修改模型组件的配置,直至所有模型组件配置完成,构建第一数据分析模型的步骤具体包括:
逐一接收并响应用户发出的第一节点配置指令,修改模型组件的配置;
逐一接收并响应用户发出的第一组件检查指令,并判断所修改的模型组件配置是否检查通过,若否则提示用户修改,并接收并响应用户发出的第二节点配置指令,重新修改模型组件的配置并重新检查模型组件配置是否检查通过,直至模型组件配置符合检查要求。
4.根据权利要求1所述的用于数据的模型处理方法,其特征在于,所述接收用户发出的第一组件配置指令,从组件库中调取模型组件,构建第一数据分析模型的步骤之后,所述调取测试数据,并运行第一数据分析模型,输出数据测试结果的步骤之前还包括:接收用户发出的第一调试指令,调取调试数据并运行所述第一数据分析模型,并判断所构建的第一数据分析模型是否调试通过,若否则提示用户进行配置调整并显示配置调整建议。
5.根据权利要求1所述的用于数据的模型处理方法,其特征在于,所述用于数据的模型处理方法还包括:
接收用户选择模型的操作指令,读取模型运行配置参数,并生成节点逻辑;
读取待分析的数据,生成各节点计算数据,并将数据分析结果输出到数仓。
6.根据权利要求1所述的用于数据的模型处理方法,其特征在于,所述用于数据的模型处理方法还包括:
接收用户选择模型及参数配置的操作指令,判断用户所输入的配置参数是否合规,若是则生成节点逻辑,若否则提示用户重新进行参数配置,直至用户所输入的配置参数通过合规性判断;
读取待分析的数据,生成各节点计算数据,并将数据分析结果输出到数仓。
7.根据权利要求1所述的用于数据的模型处理方法,其特征在于,所述模型组件通过机器学习算法构建而成。
8.一种用于实现用于数据的模型处理方法的系统,其特征在于,包括存储器及处理器,所述存储器用于用于数据分析的模型处理程序,所述处理器用于运行所述用于数据分析的模型处理程序以实现如权利要求1至7中任意一项所述的用于数据的模型处理方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的用于数据的模型处理方法的步骤。
CN202210889948.1A 2022-07-27 2022-07-27 一种用于数据的模型处理方法、系统及存储介质 Pending CN115292279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210889948.1A CN115292279A (zh) 2022-07-27 2022-07-27 一种用于数据的模型处理方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210889948.1A CN115292279A (zh) 2022-07-27 2022-07-27 一种用于数据的模型处理方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN115292279A true CN115292279A (zh) 2022-11-04

Family

ID=83823374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210889948.1A Pending CN115292279A (zh) 2022-07-27 2022-07-27 一种用于数据的模型处理方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN115292279A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094818A (zh) * 2015-07-14 2015-11-25 国家信息中心 基于soa的自然资源综合应用构建方法及系统
US20190196933A1 (en) * 2017-12-21 2019-06-27 Baidu Online Network Technology (Beijing) Co., Ltd . Data visual analysis method, system and terminal and computer readable storage medium
CN112925555A (zh) * 2021-02-24 2021-06-08 成都新希望金融信息有限公司 模型管理方法、装置、设备及存储介质
CN112948353A (zh) * 2021-03-01 2021-06-11 北京寄云鼎城科技有限公司 一种应用于DAstudio的数据分析方法、系统及存储介质
CN114625353A (zh) * 2020-12-14 2022-06-14 电科云(北京)科技有限公司 模型框架代码生成系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094818A (zh) * 2015-07-14 2015-11-25 国家信息中心 基于soa的自然资源综合应用构建方法及系统
US20190196933A1 (en) * 2017-12-21 2019-06-27 Baidu Online Network Technology (Beijing) Co., Ltd . Data visual analysis method, system and terminal and computer readable storage medium
CN114625353A (zh) * 2020-12-14 2022-06-14 电科云(北京)科技有限公司 模型框架代码生成系统及方法
CN112925555A (zh) * 2021-02-24 2021-06-08 成都新希望金融信息有限公司 模型管理方法、装置、设备及存储介质
CN112948353A (zh) * 2021-03-01 2021-06-11 北京寄云鼎城科技有限公司 一种应用于DAstudio的数据分析方法、系统及存储介质

Similar Documents

Publication Publication Date Title
US11561986B1 (en) Applied artificial intelligence technology for narrative generation using an invocable analysis service
US20190378023A1 (en) System and method for recommending business experience packages
CN111861020A (zh) 模型部署方法、装置、设备及存储介质
CN110069572A (zh) 基于大数据平台的hive任务调度方法、装置、设备及存储介质
US11269760B2 (en) Systems and methods for automated testing using artificial intelligence techniques
CN107016571A (zh) 数据预测方法及其系统
CN108664241B (zh) 一种将SysML模型进行仿真验证的方法
CN111274452A (zh) 一种数据分析建模方法、平台、服务器及可读存储介质
CN114169531A (zh) 一种组态化机器学习建模任务描述的预测方法及系统
Avritzer et al. A multivariate characterization and detection of software performance antipatterns
Sankar et al. Prediction of code fault using Naive Bayes and SVM classifiers
Chouchen et al. Learning to predict code review completion time in modern code review
CN112379913B (zh) 基于风险识别的软件优化方法、装置、设备及存储介质
Bellini et al. Graph databases methodology and tool supporting index/store versioning
CN115292279A (zh) 一种用于数据的模型处理方法、系统及存储介质
El Yamany et al. OPTI-SELECT: An interactive tool for user-in-the-loop feature selection in software product lines
CN114722729B (zh) 一种刀具自动推荐方法、装置、终端及存储介质
CN116166967A (zh) 基于元学习与残差网络的数据处理方法、设备和存储介质
Li et al. Type-1 assembly line balancing considering uncertain task time
CN109165325A (zh) 用于切分图数据的方法、装置、设备以及计算机可读存储介质
CN112783775B (zh) 特殊字符输入测试方法及装置
DE102022111835A1 (de) Verfahren und system zum bestimmen einer vorhergesagten vorgangszeit für einen fertigungsvorgang unter verwendung eines zeitvorhersagemodells
CN114493279A (zh) 一种工作流任务预测方法、装置、存储介质及电子设备
CN106844242B (zh) 一种数据交换方法和系统
CN111950776A (zh) 业务流程优化方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination