CN106776326A - 一种数据分析模型的建模方法及系统 - Google Patents
一种数据分析模型的建模方法及系统 Download PDFInfo
- Publication number
- CN106776326A CN106776326A CN201611188138.4A CN201611188138A CN106776326A CN 106776326 A CN106776326 A CN 106776326A CN 201611188138 A CN201611188138 A CN 201611188138A CN 106776326 A CN106776326 A CN 106776326A
- Authority
- CN
- China
- Prior art keywords
- model
- data analysis
- branch
- analysis model
- management platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Stored Programmes (AREA)
Abstract
本申请提供一种数据分析模型的建模方法及系统,该方法通过模型管理平台提供的统一规则接口服务实现了模型管理平台与应用系统间的无缝对接,同时通过基于模型建模生命周期包括的各阶段,在模型管理平台相应设计多个固定分支:设计分支、训练分支及运行分支,将不同分支用于建模及模型应用的不同阶段,并将模型在各分支间进行流转使得建模人员能在同一平台完成从模型构建、测试、训练到运行的全流程;并可利用应用系统的实时生产数据对模型进行训练及调优,在训练完成后可在当前平台/系统实时部署生效进行应用。因此,本申请实现了模型建模与应用间的无缝对接,实现了模型构建、测试、训练及部署运行在同一平台完成,为模型的良好应用提供了支持。
Description
技术领域
本发明属于模型的建模及其生命周期管理技术领域,尤其涉及一种数据分析模型的建模方法及系统。
背景技术
随着大数据技术的日渐兴起,数据分析模型建模技术得到了越来越广泛的应用。现有的建模工具大多都停留在建模本身,专注于数据分析及模型挖掘,而对于挖掘、建模出的模型,如何将其运用于应用系统中,则一直是业界的一个难题。
其中,传统的方式是首先通过建模工具得到模型,然后将模型通过文件的形式导出,并转换为应用系统能识别的语言,在此基础上将转换后的模型导入应用系统进行模型应用,该方式的主要缺陷是模型建模与模型应用间的对接过程较为复杂,未实现无缝对接,且模型的转换过程不可控、非实时、容易失真。
另一种方式是基于IBM研发的产品WODM,WODM是IBM提供的一种运营决策管理平台,实现了将业务逻辑从应用程序代码中分离出来,其使用特定的语法编写数据分析模型,通过接受数据输入、解释数据分析模型并最终根据模型做出相应的决策,WODM提供有统一规则接口服务,因而能解决与外部系统的无缝对接问题,然而,在使用WODM进行建模时,需依赖于另外一套独立的测试系统进行模型的测试、训练,最终模型需从测试环境(测试系统)传输至生产环境(应用系统)进行应用,此种方式存在的主要问题是模型的测试、训练与生产系统脱节,其所依赖的独立测试系统的数据很难做到和生产系统的数据完全、实时一致;同时由于模型需从测试环境传输至生产环境,从而不能立即部署运行。
基于此,本申请需提供一种方案来解决上述问题,实现模型建模与模型应用间的无缝对接,实现模型构建、模型测试、训练及模型的部署运行在同一平台完成,使得模型构建完成后,能使用实时生产数据进行训练及调优,并能在当前平台/系统实时部署生效进行应用,而无需跨系统及平台,从而,为模型的良好应用提供支持。
发明内容
有鉴于此,本发明的目的在于提供一种数据分析模型的建模方法及系统,旨在解决模型建模技术领域存在的上述问题,实现模型构建、模型测试、训练及模型的部署运行在同一平台完成。
为此,本发明公开如下技术方案:
一种数据分析模型的建模方法,包括:
在设计分支上,利用预先集成的模型基本元素集构建数据分析模型;其中,所述设计分支通过在预定的模型管理平台上进行分支构建得到,所述模型管理平台包括规则执行环境及统一规则接口服务,所述统一规则接口服务用于实现应用系统与所述模型管理平台的对接;
在所述设计分支上,对所述数据分析模型进行功能测试;
测试通过后,将所述数据分析模型由所述设计分支合并至在所述模型管理平台上构建的训练分支,并在所述训练分支上将所述数据分析模型作为训练规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用所述训练规则应用,并基于所述应用系统的实时生产数据对所述数据分析模型进行训练与调优;
将训练与调优后的数据分析模型由所述训练分支合并至在所述模型管理平台上构建的运行分支,并在所述运行分支上将所述训练与调优后的数据分析模型作为运行规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用并运行所述运行规则应用,产生模型信号。
上述方法,优选的,所述模型管理平台为规则管理平台WODM,所述模型基本元素集中包括的模型基本元素为业务对象模型BOM,则所述利用预先集成的模型基本元素集构建数据分析模型包括:
在规则管理平台WODM上,利用业务对象模型BOM构建数据分析模型。
上述方法,优选的,所述模型管理平台还包括DVS测试套件,则所述对所述数据分析模型进行功能测试包括:
利用DVS测试套件设计测试用例及预期结果,并基于所述测试用例及预期结果测试所述数据分析模型的逻辑及功能。
上述方法,优选的,还包括以下的预处理过程:
依据所述应用系统中预先封装的所述规则管理平台WODM的链接地址,在所述应用系统中通过链接跳转方式实现登录所述规则管理平台WODM。
上述方法,优选的,还包括:
基于预先设计的分层权限体系,对所述应用系统或所述规则管理平台WODM进行所需的权限控制;其中,WODM权限与应用系统权限预先集成于应用系统的前台,所述分层权限体系包括模型查看权限、模型构建权限以及模型审核权限。
上述方法,优选的,还包括:
根据所述模型信号的应用效果对运行的所述数据分析模型进行评价,以实现为所述数据分析模型的进一步优化或修正提供依据。
上述方法,优选的,还包括:
在模型运行过程中,如果数据分析模型出现异常,则对所述数据分析模型进行预设的统一异常处理。
一种数据分析模型的建模系统,包括:
构建单元,用于在设计分支上,利用预先集成的模型基本元素集构建数据分析模型;其中,所述设计分支通过在预定的模型管理平台上进行分支构建得到,所述模型管理平台包括规则执行环境及统一规则接口服务,所述统一规则接口服务用于实现应用系统与所述模型管理平台的对接;
测试单元,用于在所述设计分支上,对所述数据分析模型进行功能测试;
训练部署与训练单元,用于测试通过后,将所述数据分析模型由所述设计分支合并至在所述模型管理平台上构建的训练分支,并在所述训练分支上将所述数据分析模型作为训练规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用所述训练规则应用,并基于所述应用系统的实时生产数据对所述数据分析模型进行训练与调优;
运行部署与应用单元,用于将训练与调优后的数据分析模型由所述训练分支合并至在所述模型管理平台上构建的运行分支,并在所述运行分支上将所述训练与调优后的数据分析模型作为运行规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用并运行所述运行规则应用,产生模型信号。
上述系统,优选的,所述模型管理平台为规则管理平台WODM,所述模型基本元素集中包括的模型基本元素为业务对象模型BOM,则所述构建单元具体用于:在规则管理平台WODM上,利用业务对象模型BOM构建数据分析模型。
上述系统,优选的,所述模型管理平台还包括DVS测试套件,则所述测试单元具体用于:利用DVS测试套件设计测试用例及预期结果,并基于所述测试用例及预期结果测试所述数据分析模型的逻辑及功能。
上述系统,优选的,其特征在于,还包括:
跳转登录单元,用于依据所述应用系统中封装的所述规则管理平台WODM的链接地址,预先在所述应用系统中通过连接跳转方式登录所述规则管理平台WODM。
上述系统,优选的,还包括:
权限管理单元,用于基于预先设计的分层权限体系,对所述应用系统或所述规则管理平台WODM进行所需的权限管理或控制;其中,WODM权限与应用系统权限预先集成于应用系统的前台,所述分层权限体系包括模型查看权限、模型构建权限以及模型审核权限。
上述系统,优选的,还包括:
评价单元,用于根据所述模型信号的应用效果对运行的所述数据分析模型进行评价,以实现为所述数据分析模型的进一步优化或修正提供依据。
上述系统,优选的,还包括:
统一异常处理单元,用于在模型运行过程中,如果数据分析模型出现异常,则对所述数据分析模型进行预设的统一异常处理。
由以上方案可知,本申请的数据分析模型的建模方法及系统,通过模型管理平台提供的统一规则接口服务实现了模型管理平台与应用系统间的无缝对接,同时通过基于模型建模生命周期包括的各个阶段,在模型管理平台相应设计多个固定的分支:设计分支、训练分支及运行分支,将不同分支分别用于建模及模型应用的不同阶段,并基于模型生命周期的走向将模型在各个分支间进行流转使得建模人员能够在同一平台即所述模型管理平台完成从模型构建、测试、训练到运行的全流程;并可利用应用系统的实时生产数据对模型进行训练及调优,在训练完成后可在当前平台/系统实时部署生效对模型进行应用。因此,本申请实现了模型建模与应用间的无缝对接,实现了模型构建、测试、训练及部署运行在同一平台完成,能使用实时生产数据进行训练及调优,模型训练完成后能在当前平台/系统实时部署生效进行应用,而无需跨系统及平台,为模型的良好应用提供了支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本发明实施例一提供的数据分析模型的建模方法的一种流程图;
图2是本发明实施例一提供的基于分支的模型建模全生命周期的统一管理原理图;
图3是本发明实施例二提供的数据分析模型的建模方法的另一种流程图;
图4是本发明实施例三提供的数据分析模型的建模方法的又一种流程图;
图5是本发明实施例四提供的数据分析模型的建模方法的再一种流程图;
图6是本发明实施例四提供的用于实现本发明方法的一种系统结构框架图;
图7-图10是本发明实施例五提供的数据分析模型的建模系统的结构示意图。
具体实施方式
为了引用和清楚起见,下文中使用的技术名词、简写或缩写总结解释如下:
WODM:一种IBM的运营决策管理平台,在本申请中,具体将WODM作为模型管理平台的一部分进行使用,它实现了将业务逻辑从应用程序代码中分离出来。WODM使用特定的语法编写数据分析模型,通过接受数据输入、解释数据分析模型并最终根据模型做出相应的决策。
BOM:即业务对象模型Business Object Model,BOM将技术层面的内容转换为自然语言,是建立自然语言词汇表的工具并描述业务逻辑。
XOM:即执行对象模型Execution Object Model,其是BOM映射到的物理数据模型,可执行代码可以是Java类或XML Scheme,通过XOM规则引擎可访问应用程序的对象和方法。
模型管理平台:该平台提供有规则编辑器,规则编辑器是针对建模人员的模型编辑工具,Web方式下的模型编写平台。
DVS:针对建模人员的测试和模拟解决方案创建工具,用于验证和审计模型的正确性及有效性。
RES:即规则执行环境Rule Execution Server,是WODM核心组件,用于实现模型的模式匹配、解析及以执行运算。
统一规则接口服务:是WODM提供的一套统一的接口,应用系统通过接入该接口,可获取模型运行引擎服务器的计算结果。
RuleApp:基于数据分析模型的规则应用,部署于规则执行环境,通过统一规则接口服务调用获取模型结果。
Rule Solutions for Office:一种使用Microsoft Office工具编写模型的组件。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明实施例一提供一种数据分析模型的建模方法,本发明方法充分利用了WODM在线建模的优势,基于WODM提供的统一规则接口服务,并利用WODM的分支技术+在线部署来实现模型构建、模型测试、训练及模型应用在同一平台完成,充分发挥了分支在建模分离方面的特长,通过分支技术解决了建模的全生命周期过程统一管理的问题。接下来对本发明方法进行详细阐述。
参考图1,图1示出了本发明提供的一种数据分析模型的建模方法流程图,该方法可以包括以下步骤:
S101:在设计分支上,利用预先集成的模型基本元素集构建数据分析模型;其中,所述设计分支通过在预定的模型管理平台上进行分支构建得到,所述模型管理平台包括规则执行环境及统一规则接口服务,所述统一规则接口服务用于实现应用系统与所述模型管理平台的对接。
本实施例中,所述模型管理平台具体采用WODM规则管理平台,该平台提供有规则执行环境及统一规则接口服务;所述模型基本元素集中包括的模型基本元素具体为业务对象模型(BOM,Business Object Model),所述业务对象模型BOM预先集成在WODM上,以商业银行的数据分析模型建模为例,所述BOM具体可以是用于建模的一些预先集成的指标,如贷款属性、客户属性等。
接下来,对所述“分支”作一下简单介绍:为了实现多用户独立设计模型,WODM推出了分支的概念,它的出现使得每次用户在设计模型时,可以临时拉出一个分支,分支与分支之间互无干扰,设计完成后可以撤销此分支。
本发明借鉴WODM的分支功能,基于模型建模生命周期包括的构建、测试、训练、运行等各个阶段,在WODM规则管理平台上相应设计多个固定的分支:设计分支、训练分支及运行分支,并使得不同的分支分别用于建模及模型应用的不同阶段,基于模型生命周期的走向将模型在各个分支间进行流转使得建模人员能够在同一平台完成从模型构建、测试、训练到运行的全流程。基于分支的模型建模全生命周期统一管理的原理过程请参考图2所示,模型在各个分支之间的流转通过分支合并实现,即实现将模型由一个分支复制到目标分支上,可以单个或多个模型同时合并。
其中,设计分支用于数据分析模型的构建及测试阶段。本步骤S101具体利用WODM规则管理平台,在所述设计分支上,按照一定的构建方式将模型的基本元素即所述业务对象模型BOM进行组合,构建成具有所需业务意义的数据分析模型。
按照构建方式,所述数据分析模型可分为逻辑模型、数值模型、逻辑数值组合模型、数学综合模型等多种类型。其中,以风险预警模型的建模为例,逻辑模型是指通过对多个指标(即BOM)进行逻辑运算,得出风险预警模型;数值模型是指通过对多个指标进行算术运算,得出风险预警模型;逻辑数值组合模型是指综合运用逻辑运算和算术运算两种方式,得出风险预警模型;数学综合模型是指以风险指标为基础建模要素,应用数学建模方法对风险的发生、发展过程进行综合分析判断,得出风险判断结果的风险预警模型。
WODM支持在线模型构建,也支持线下模型构建,优点是便捷,可与生产系统异步进行。优先地,本发明利用WODM的功能组件Rule Solutions for Office来实现离线模型设计,即通过Microsoft Office的方式编写规则(即模型)并上传至WODM服务器,从而可直接在WODM的模型编辑器中更新使用。
S102:在所述设计分支上,对所述数据分析模型进行功能测试。
构建出数据分析模型后,继续在WODM的设计分支上,对该数据分析模型进行功能测试。
具体地,WODM提供有DVS测试套件,其是针对建模团队的测试和模拟解决方案创建工具,用于验证和审计模型的逻辑正确性,该工具使用Microsoft Office来编辑测试用例及预期结果,通过WODM的测试套件调用后返回测试结果,以检验模型的逻辑功能。基于此,本步骤利用DVS测试套件,设计单元测试样例,测试模型的逻辑及功能,参考图2所示,在设计测试样例及预期结果的基础上,应用系统可通过调用DVS测试套件完成对模型的测试,并在应用系统上返回测试结果。
S103:测试通过后,将所述数据分析模型由所述设计分支合并至在所述模型管理平台上构建的训练分支,并在所述训练分支上将所述数据分析模型作为训练规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用所述训练规则应用,并基于所述应用系统的实时生产数据对所述数据分析模型进行训练与调优。
测试通过后,将数据分析模型由设计分支合并至训练分支,并在训练分支将数据分析模型作为训练规则应用(训练RuleApp)部署至WODM的规则执行环境RES。参考图2所示,应用系统通过WODM提供的统一规则接口服务与WODM对接,从而在部署训练RuleApp后,应用系统可通过所述统一规则接口服务调用训练RuleApp,并使用其实时生产数据对训练RuleApp进行试运行,从而实现对数据分析模型进行实时在线训练,并产生训练报告。之后,可以根据模型训练报告判断模型效果,并可结合预期效果作出相应的调优。此处,可设计审核环节,即对训练、调优结果进行审核,待审核通过后,再继续下一步骤。
S104:将训练与调优后的数据分析模型由所述训练分支合并至在所述模型管理平台上构建的运行分支,并在所述运行分支上将所述训练与调优后的数据分析模型作为运行规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用并运行所述运行规则应用,产生模型信号。
在完成数据分析模型的训练与调优后(即审核通过后),可将训练与调优得到的数据分析模型由训练分支合并至运行分支,并在运行分支上将该数据分析模型作为运行规则应用(运行RuleApp)部署至WODM的规则执行环境RES,具体可参考图2所示,最后应用系统可通过WODM的统一规则接口服务调用运行RuleApp,产生模型信号,从而实现了运行RuleApp的部署及应用,至此,实现了在同一平台上对模型构建、模型测试、训练及模型应用的全生命周期进行统一管理。
由以上方案可知,本申请的数据分析模型的建模方法,通过模型管理平台提供的统一规则接口服务实现了模型管理平台与应用系统间的无缝对接,同时通过基于模型建模生命周期包括的各个阶段,在模型管理平台相应设计多个固定的分支:设计分支、训练分支及运行分支,将不同分支分别用于建模及模型应用的不同阶段,并基于模型生命周期的走向将模型在各个分支间进行流转使得建模人员能够在同一平台即所述模型管理平台完成从模型构建、测试、训练到运行的全流程;并可利用应用系统的实时生产数据对模型进行训练及调优,在训练完成后可在当前平台/系统实时部署生效对模型进行应用。因此,本申请实现了模型建模与应用间的无缝对接,实现了模型构建、测试、训练及部署运行在同一平台完成,能使用实时生产数据进行训练及调优,模型训练完成后能在当前平台/系统实时部署生效进行应用,而无需跨系统及平台,为模型的良好应用提供了支持。
实施例二
本实施例中,参考图3示出的数据分析模型的建模方法流程图,所述方法还可以包括以下的预处理步骤:
S101’:依据所述应用系统中预先封装的所述WODM的链接地址,在所述应用系统中通过链接跳转方式实现登录所述WODM。
WODM用于实现模型构建,而应用系统用于实现模型的应用,在现有技术提供的登录方式下,每次用户建模均需要手工登录WODM,这种方式不利于大范围使用,一是存在用户信息泄露的风险,二是用户体验不佳。为解决该问题,本发明采用自动跳转来实现应用系统与WODM的无缝对接,即具体通过在应用系统中预先封装WODM的链接地址,使得用户可在应用系统中基于其封装的链接地址跳转至WODM,来实现WODM登录,从而规避了WODM手工登录所存在的信息泄露风险,并改善了用户体验。
基于此,在用户建模时,可直接依据应用系统中预先封装的WODM链接地址,在应用系统中通过链接跳转方式实现登录所述WODM规则管理平台。
同时,参考图3示出的数据分析模型的建模方法流程图,所述方法还可以包括以下步骤:
S105:基于预先设计的分层权限体系,对所述应用系统或所述WODM进行所需的权限控制;其中,WODM权限与应用系统权限预先集成于应用系统的前台,所述分层权限体系包括模型查看权限、模型构建权限以及模型审核权限。
具体地,为了实现应用系统及WODM的权限管理,本发明为其设计了分层权限体系,参考图4示出的WODM与应用系统的权限管理示意图,该分层权限体系包括模型查看权限、模型构建权限以及模型审核权限,且WODM权限与应用系统权限通过前台集成。
其中,模型查看权限包括普通查看权限及全息查看权限,普通查看权限仅可以查看一些模型的基本信息,如模型名称、属性等,全息查看权限可以查看模型的档案、模型公式等模型的详细信息;模型构建权限可以构建模型;模型审核权限可以审核模型,并可以根据需要发布模型使其生效。如图3所示,对于普通查看及全息查看中的档案查看等,具体可在应用系统中提供用于支撑该权限的相应权限功能。而对于模型构建权限及模型审核权限分别对应的权限功能则本质上由WODM提供,用户在应用系统中基于其封装的WODM链接地址自动跳转至WODM来使用WODM对应于该权项的相应权限功能。
实施例三
本实施例中,参考图4示出的数据分析模型的建模方法流程图,所述方法还可以包括以下步骤:
S106:根据所述模型信号的应用效果对运行的数据分析模型进行评价,以实现为所述数据分析模型的进一步优化或修正提供依据。
在对数据分析模型进行运行部署(部署运行RuleApp),并利用WODM的统一规则接口服务调用数据分析模型,实现在应用系统产生实时模型信号的基础上,可继续将产生的实时模型信号在应用系统中进行流转,并根据信号的应用效果对数据分析模型进行评价,从而为模型的进一步优化或修正提供了依据,后续可基于评价结果,对模型进行进一步优化或修正。
实施例四
本实施例中,参考图5示出的数据分析模型的建模方法流程图,所述方法还可以包括以下步骤:
S107:在模型运行过程中,如果数据分析模型出现异常,则对所述数据分析模型进行预设的统一异常处理。
具体地,由于WODM规则管理平台与应用系统实时对接,对于基于WODM规则管理平台所建模的数据分析模型来讲,当其运行过程中出现异常时,诸如除数为0、取负数的对数等,这类模型运行时的异常情况可能会影响平台上其他正常模型的运行,因此需要考虑模型运行的健壮性,并对模型应用进行统一异常处理。基于此,本发明通过对出现异常的模型返回错误标志位的方式来解决上述问题,从而建模人员可以根据错误标志解析模型缺陷,进行修正,使得不影响其他模型的正常运行。
接下来,本实施例提供具体实施本发明时,用于实现本发明方法的一种可能的系统框架结构,该系统框架结构具体可参考图6所示,包括模型构建模块601、DVS测试模块602、模型训练与调优模块603、模型应用模块604、模型后评价与修正模块605。
其中,模型构建模块601:按照一定的方式将模型的基本元素进行组合,构建成具有业务意义的数据分析模型。
DVS测试模块602:是针对建模团队的测试和模拟解决方案创建工具,用于验证和审计模型的逻辑正确性,该工具使用Microsoft Office来编辑测试用例及预期结果,通过WODM的测试套件调用后返回测试结果,以检验数据分析模型的逻辑功能。
模型训练与调优模块603:该模块实现模型的训练RuleAPP的实时部署及实时在线训练功能,即使用应用系统的实时生产数据对模型进行试运行,在试运行并产生训练报告的基础上模型构建模块才可以根据模型训练报告,结合模型预期效果,对数据分析模型作出相应的调优。
模型应用模块604:该模块通过模型实时部署运行,并且利用WODM统一规则接口服务的调用,实现在应用系统产生实时模型信号,并在应用系统中进行流转。
模型后评价与修正模块605:该模块根据模型信号的应用效果对数据分析模型进行评价,从而为模型的进一步优化和修正提供依据。
对于该框架中所包括的上述各模块,具体可依据每一模块的相应功能,选择在WODM规则管理平台和/或应用系统中对其进行部署实现。
实施例五
本实施例五公开一种数据分析模型的建模系统,该系统与以上各实施例公开的数据分析模型的建模方法相对应。
参考图7示出的数据分析模型的建模系统的结构示意图,该系统可以包括构建单元801、测试单元802、训练部署与训练单元803、以及运行部署与应用单元804。
构建单元801,用于在设计分支上,利用预先集成的模型基本元素集构建数据分析模型;其中,所述设计分支通过在预定的模型管理平台上进行分支构建得到,所述模型管理平台包括规则执行环境及统一规则接口服务,所述统一规则接口服务用于实现应用系统与所述模型管理平台的对接。
其中,所述构建单元801具体用于基于WODM规则管理平台,利用业务对象模型BOM构建数据分析模型。
测试单元802,用于在所述设计分支上,对所述数据分析模型进行功能测试。
所述模型管理平台还包括DVS测试套件,则所述测试单元具体用于:利用DVS测试套件设计测试用例及预期结果,并基于所述测试用例及预期结果测试所述数据分析模型的逻辑及功能。
训练部署与训练单元803,用于测试通过后,将所述数据分析模型由所述设计分支合并至在所述模型管理平台上构建的训练分支,并在所述训练分支上将所述数据分析模型作为训练规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用所述训练规则应用,并基于所述应用系统的实时生产数据对所述数据分析模型进行训练与调优。
运行部署与应用单元804,用于将训练与调优后的数据分析模型由所述训练分支合并至在所述模型管理平台上构建的运行分支,并在所述运行分支上将所述训练与调优后的数据分析模型作为运行规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用并运行所述运行规则应用,产生模型信号。
参考图8示出的数据分析模型的建模系统的结构示意图,该系统还可以包括:
跳转登录单元805,用于依据所述应用系统中封装的所述WODM的链接地址,预先在所述应用系统中通过连接跳转方式登录所述WODM。
权限管理单元806,用于基于预先设计的分层权限体系,对所述应用系统或所述WODM进行所需的权限管理或控制;其中,WODM权限与应用系统权限预先集成于应用系统的前台,所述分层权限体系包括模型查看权限、模型构建权限以及模型审核权限。
参考图9示出的数据分析模型的建模系统的结构示意图,该系统还可以包括:评价单元807,用于根据所述模型信号的应用效果对运行的数据分析模型进行评价,以实现为所述数据分析模型的进一步优化或修正提供依据。
参考图10示出的数据分析模型的建模系统的结构示意图,该系统还可以包括:统一异常处理单元808,用于在模型运行过程中,如果数据分析模型出现异常,则对所述数据分析模型进行预设的统一异常处理。
对于本实施例提供的数据分析模型的建模系统来讲,由于其与以上各实施例公开的数据分析模型的建模方法相对应,从而其所包含的各单元的功能,同样可基于上文提供的系统框架结构部署实现,对于两者来说,本实施例系统中提供的构建单元801、测试单元802、训练部署与训练单元803、运行部署与应用单元804、以及评价单元807分别与上文系统框架中的模型构建模块601、DVS测试模块602、模型训练与调优模块603、模型应用模块604、模型后评价与修正模块605相对应。
对于本发明实施例五公开的数据分析模型的建模系统而言,由于其与实施例一至实施例四公开的数据分析模型的建模方法相对应,所以描述的比较简单,相关相似之处请参见实施例一至实施例四中数据分析模型的建模方法部分的说明即可,此处不再详述。
综上所述,本发明方案具有如下优势:
1)本发明充分利用了WODM处理业务逻辑的独特优势,通过设计“构建、训练、运行”分支,实现模型构建、模型训练和模型应用在同一平台实现;
2)本发明基于WODM分支技术实现了训练RuleAPP在当前平台的部署及模型的在线训练,利用分支合并技术实现了模型构建、训练和部署运行的实时对接,取代了传统的需要单独使用额外的训练系统进行模型训练的方式,节省了系统资源;
3)在利用分支技术在当前平台WODM部署训练RuleAPP的同时,结合利用WODM提供的统一规则服务接口,实现了利用应用系统的实时生产数据训练模型,即模型的训练数据来自实时应用系统,提升了建模准确度,同时由于WODM与应用系统无缝对接,无需将数据由应用系统导出再导入至建模系统中,提升了建模效率。
4)本发明可以部署在廉价的PC机上,以大幅节约成本,但处理性能却优于普通小型机。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
为了描述的方便,描述以上系统或装置时以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种数据分析模型的建模方法,其特征在于,包括:
在设计分支上,利用预先集成的模型基本元素集构建数据分析模型;其中,所述设计分支通过在预定的模型管理平台上进行分支构建得到,所述模型管理平台包括规则执行环境及统一规则接口服务,所述统一规则接口服务用于实现应用系统与所述模型管理平台的对接;
在所述设计分支上,对所述数据分析模型进行功能测试;
测试通过后,将所述数据分析模型由所述设计分支合并至在所述模型管理平台上构建的训练分支,并在所述训练分支上将所述数据分析模型作为训练规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用所述训练规则应用,并基于所述应用系统的实时生产数据对所述数据分析模型进行训练与调优;
将训练与调优后的数据分析模型由所述训练分支合并至在所述模型管理平台上构建的运行分支,并在所述运行分支上将所述训练与调优后的数据分析模型作为运行规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用并运行所述运行规则应用,产生模型信号。
2.根据权利要求1所述的方法,其特征在于,所述模型管理平台包括规则管理平台WODM,所述模型基本元素集中包括的模型基本元素为业务对象模型BOM,则所述利用预先集成的模型基本元素集构建数据分析模型包括:
在规则管理平台WODM上,利用业务对象模型BOM构建数据分析模型。
3.根据权利要求2所述的方法,其特征在于,所述模型管理平台还包括DVS测试套件,则所述对所述数据分析模型进行功能测试包括:
利用DVS测试套件设计测试用例及预期结果,并基于所述测试用例及预期结果测试所述数据分析模型的逻辑及功能。
4.根据权利要求3所述的方法,其特征在于,还包括以下的预处理过程:
依据所述应用系统中预先封装的所述规则管理平台WODM的链接地址,在所述应用系统中通过链接跳转方式实现登录所述规则管理平台WODM。
5.根据权利要求4所述的方法,其特征在于,还包括:
基于预先设计的分层权限体系,对所述应用系统或所述规则管理平台WODM进行所需的权限控制;其中,WODM权限与应用系统权限预先集成于应用系统的前台,所述分层权限体系包括模型查看权限、模型构建权限以及模型审核权限。
6.根据权利要求1-5所述的方法,其特征在于,还包括:
根据所述模型信号的应用效果对运行的所述数据分析模型进行评价,以实现为所述数据分析模型的进一步优化或修正提供依据。
7.根据权利要求1-5任意一项所述的方法,其特征在于,还包括:
在模型运行过程中,如果数据分析模型出现异常,则对所述数据分析模型进行预设的统一异常处理。
8.一种数据分析模型的建模系统,其特征在于,包括:
构建单元,用于在设计分支上,利用预先集成的模型基本元素集构建数据分析模型;其中,所述设计分支通过在预定的模型管理平台上进行分支构建得到,所述模型管理平台包括规则执行环境及统一规则接口服务,所述统一规则接口服务用于实现应用系统与所述模型管理平台的对接;
测试单元,用于在所述设计分支上,对所述数据分析模型进行功能测试;
训练部署与训练单元,用于测试通过后,将所述数据分析模型由所述设计分支合并至在所述模型管理平台上构建的训练分支,并在所述训练分支上将所述数据分析模型作为训练规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用所述训练规则应用,并基于所述应用系统的实时生产数据对所述数据分析模型进行训练与调优;
运行部署与应用单元,用于将训练与调优后的数据分析模型由所述训练分支合并至在所述模型管理平台上构建的运行分支,并在所述运行分支上将所述训练与调优后的数据分析模型作为运行规则应用部署至所述规则执行环境,以使得应用系统通过所述统一规则接口服务调用并运行所述运行规则应用,产生模型信号。
9.根据权利要求8所述的系统,其特征在于,所述模型管理平台为规则管理平台WODM,所述模型基本元素集中包括的模型基本元素为业务对象模型BOM,则所述构建单元具体用于:在规则管理平台WODM上,利用业务对象模型BOM构建数据分析模型。
10.根据权利要求9所述的系统,其特征在于,所述模型管理平台还包括DVS测试套件,则所述测试单元具体用于:利用DVS测试套件设计测试用例及预期结果,并基于所述测试用例及预期结果测试所述数据分析模型的逻辑及功能。
11.根据权利要求10所述的系统,其特征在于,还包括:
跳转登录单元,用于依据所述应用系统中封装的所述规则管理平台WODM的链接地址,预先在所述应用系统中通过连接跳转方式登录所述规则管理平台WODM。
12.根据权利要求11所述的系统,其特征在于,还包括:
权限管理单元,用于基于预先设计的分层权限体系,对所述应用系统或所述规则管理平台WODM进行所需的权限管理或控制;其中,WODM权限与应用系统权限预先集成于应用系统的前台,所述分层权限体系包括模型查看权限、模型构建权限以及模型审核权限。
13.根据权利要求8-12任一项所述的系统,其特征在于,还包括:
评价单元,用于根据所述模型信号的应用效果对运行的所述数据分析模型进行评价,以实现为所述数据分析模型的进一步优化或修正提供依据。
14.根据权利要求8-12任一项所述的系统,其特征在于,还包括:
统一异常处理单元,用于在模型运行过程中,如果数据分析模型出现异常,则对所述数据分析模型进行预设的统一异常处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611188138.4A CN106776326B (zh) | 2016-12-20 | 2016-12-20 | 一种数据分析模型的建模方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611188138.4A CN106776326B (zh) | 2016-12-20 | 2016-12-20 | 一种数据分析模型的建模方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106776326A true CN106776326A (zh) | 2017-05-31 |
CN106776326B CN106776326B (zh) | 2020-07-28 |
Family
ID=58896543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611188138.4A Active CN106776326B (zh) | 2016-12-20 | 2016-12-20 | 一种数据分析模型的建模方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106776326B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510082A (zh) * | 2018-03-27 | 2018-09-07 | 苏宁易购集团股份有限公司 | 对机器学习模型进行处理的方法及装置 |
CN109271602A (zh) * | 2018-09-05 | 2019-01-25 | 腾讯科技(深圳)有限公司 | 深度学习模型发布方法及装置 |
CN111427684A (zh) * | 2020-03-20 | 2020-07-17 | 支付宝(杭州)信息技术有限公司 | 一种服务部署的方法、系统、及装置 |
CN112527321A (zh) * | 2020-12-29 | 2021-03-19 | 平安银行股份有限公司 | 基于深度学习的应用上线方法、系统、设备及介质 |
CN112578679A (zh) * | 2019-09-30 | 2021-03-30 | 北京国双科技有限公司 | 控制系统及方法、存储介质及电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1399754A (zh) * | 1999-08-20 | 2003-02-26 | 电子资讯系统有限公司 | 集成商业和支持商业的信息技术框架与结构的建模结构及方法 |
CN102227714A (zh) * | 2008-11-28 | 2011-10-26 | 英科伦有限责任公司 | 用于数据处理的方法、系统和模拟模型或分析模型 |
CN102681899A (zh) * | 2011-03-14 | 2012-09-19 | 金剑 | 云计算服务平台的虚拟计算资源动态管理系统 |
CN104581749A (zh) * | 2013-10-11 | 2015-04-29 | 北京亿阳信通科技有限公司 | 一种移动网络数据业务业务量的预测方法和装置 |
US20150178625A1 (en) * | 2013-12-23 | 2015-06-25 | International Business Machines Corporation | Method and apparatus for generating test scenarios for a set of business rules |
CN105045568A (zh) * | 2014-04-04 | 2015-11-11 | Abb股份公司 | 工业自动化中实时嵌入解决方案的优化操作的系统和方法 |
CN105303197A (zh) * | 2015-11-11 | 2016-02-03 | 江苏省邮电规划设计院有限责任公司 | 一种基于机器学习的车辆跟车安全自动评估方法 |
CN105893522A (zh) * | 2016-03-30 | 2016-08-24 | 电子科技大学 | 一种大数据分析模型业务开发生成和管理系统 |
-
2016
- 2016-12-20 CN CN201611188138.4A patent/CN106776326B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1399754A (zh) * | 1999-08-20 | 2003-02-26 | 电子资讯系统有限公司 | 集成商业和支持商业的信息技术框架与结构的建模结构及方法 |
CN102227714A (zh) * | 2008-11-28 | 2011-10-26 | 英科伦有限责任公司 | 用于数据处理的方法、系统和模拟模型或分析模型 |
CN102681899A (zh) * | 2011-03-14 | 2012-09-19 | 金剑 | 云计算服务平台的虚拟计算资源动态管理系统 |
CN104581749A (zh) * | 2013-10-11 | 2015-04-29 | 北京亿阳信通科技有限公司 | 一种移动网络数据业务业务量的预测方法和装置 |
US20150178625A1 (en) * | 2013-12-23 | 2015-06-25 | International Business Machines Corporation | Method and apparatus for generating test scenarios for a set of business rules |
CN105045568A (zh) * | 2014-04-04 | 2015-11-11 | Abb股份公司 | 工业自动化中实时嵌入解决方案的优化操作的系统和方法 |
CN105303197A (zh) * | 2015-11-11 | 2016-02-03 | 江苏省邮电规划设计院有限责任公司 | 一种基于机器学习的车辆跟车安全自动评估方法 |
CN105893522A (zh) * | 2016-03-30 | 2016-08-24 | 电子科技大学 | 一种大数据分析模型业务开发生成和管理系统 |
Non-Patent Citations (2)
Title |
---|
CHENWEIDONG: ""规则引擎—IBM ODM(ILog)—基本使用步骤"", 《CSDN博客》 * |
IBM: ""Getting Started with Business Rules"", 《IBM官网》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510082A (zh) * | 2018-03-27 | 2018-09-07 | 苏宁易购集团股份有限公司 | 对机器学习模型进行处理的方法及装置 |
CN108510082B (zh) * | 2018-03-27 | 2022-11-11 | 苏宁易购集团股份有限公司 | 对机器学习模型进行处理的方法及装置 |
CN109271602A (zh) * | 2018-09-05 | 2019-01-25 | 腾讯科技(深圳)有限公司 | 深度学习模型发布方法及装置 |
CN109271602B (zh) * | 2018-09-05 | 2020-09-15 | 腾讯科技(深圳)有限公司 | 深度学习模型发布方法及装置 |
CN112578679A (zh) * | 2019-09-30 | 2021-03-30 | 北京国双科技有限公司 | 控制系统及方法、存储介质及电子设备 |
CN112578679B (zh) * | 2019-09-30 | 2024-02-13 | 北京国双科技有限公司 | 控制系统及方法、存储介质及电子设备 |
CN111427684A (zh) * | 2020-03-20 | 2020-07-17 | 支付宝(杭州)信息技术有限公司 | 一种服务部署的方法、系统、及装置 |
CN111427684B (zh) * | 2020-03-20 | 2023-04-07 | 支付宝(杭州)信息技术有限公司 | 一种服务部署的方法、系统、及装置 |
CN112527321A (zh) * | 2020-12-29 | 2021-03-19 | 平安银行股份有限公司 | 基于深度学习的应用上线方法、系统、设备及介质 |
CN112527321B (zh) * | 2020-12-29 | 2022-05-27 | 平安银行股份有限公司 | 基于深度学习的应用上线方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106776326B (zh) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106776326A (zh) | 一种数据分析模型的建模方法及系统 | |
CN110088749A (zh) | 自动本体生成 | |
CN107844424A (zh) | 基于模型的测试系统及方法 | |
WO2012032890A1 (ja) | ソースコード変換方法およびソースコード変換プログラム | |
CN104598373B (zh) | 一种多技术融合的嵌入式软件测试方法 | |
CN110221815B (zh) | 一种基于本体的控制软件模型的自动生成方法 | |
CN108037913A (zh) | 一种xUML4MC模型到MSVL语言程序的转换方法、计算机程序 | |
CN103116656A (zh) | 基于故障逻辑解释器的电路故障诊断系统及其实现方法 | |
Gurov et al. | Description of the modules of an optimal requirements management system for working with aviation projects | |
Hecht et al. | Verification and Validation of SysML models | |
Wen et al. | “Integrare”, a collaborative environment for behavior-oriented design | |
Halchin et al. | Certified embedding of B models in an integrated verification framework | |
Singhal et al. | An approach to design test oracle for aspect oriented software systems using soft computing approach | |
Sharbaf et al. | Towards automatic generation of formal specifications for UML consistency verification | |
CN108492168A (zh) | 财税行业审核用仿真方法 | |
KR102411292B1 (ko) | 스마트공장 데이터 품질관리 방법 | |
Lan et al. | Application of ICD management software in aircraft design and test | |
Grov | Verifying the correctness of hume programs: an approach combining deductive and algorithmic reasoning | |
Nallamalli et al. | Novel Patterns for Formal Verification of System Safety Properties | |
Zheng et al. | Pattern-Based Approach to Modelling and Verifying System Security | |
Raykova et al. | NBU E-Platform in Teaching Foreign Languages for Specific Purposes–Software Engineering Challenges | |
Filippi | Studying computerized emergency operating procedures to evaluate the impact of strong procedure guidance on operators' work practices | |
Hausen et al. | Specification of Software Evaluation and Certification-Formal Model | |
Lin et al. | Justifying the transition from trustworthiness to resiliency via generation of safety cases | |
Gao et al. | Verification, Validation and Accreditation and Credibility Evaluation of Aerospace Product Performance Prototype |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |