CN115563197A - 一种数据驱动业务的方法、装置以及设备 - Google Patents

一种数据驱动业务的方法、装置以及设备 Download PDF

Info

Publication number
CN115563197A
CN115563197A CN202211110282.1A CN202211110282A CN115563197A CN 115563197 A CN115563197 A CN 115563197A CN 202211110282 A CN202211110282 A CN 202211110282A CN 115563197 A CN115563197 A CN 115563197A
Authority
CN
China
Prior art keywords
data
service
unified
view model
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211110282.1A
Other languages
English (en)
Inventor
张爱辉
水逸松
张岩
周家英
王帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN202211110282.1A priority Critical patent/CN115563197A/zh
Publication of CN115563197A publication Critical patent/CN115563197A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Stored Programmes (AREA)

Abstract

本说明书实施例公开了一种数据驱动业务的方法、装置以及设备。方案包括:获取第一业务的原始数据,根据原始数据,通过ETL,生成统一数据视图模型,利用规则引擎,筛除至少包含统一数据视图模型的所需数据中的无效数据,得到有效数据,根据所述有效数据,驱动第二业务,其中,所需数据比如还包括统一数据视图模型关联的特征数据、拷贝至本地或者通过远程抓取得到的其他数据等。

Description

一种数据驱动业务的方法、装置以及设备
技术领域
本说明书涉及计算机软件技术领域,尤其涉及一种数据驱动业务的方法、装置以及设备。
背景技术
在业务场景中,常需要使用其他业务行为驱动本业务场景,以达到场景连接的目的。
用户使用某业务功能时,触发另一业务场景,通常是基于业务应用层面的消息或接口对接串联。当对接场景过多时,研发成本等比提高,且通常场景连接存在规则、额度等业务需求,业务应用很难提供灵活扩展性。当对接一个场景的业务方逐渐增多时,采用消息模式的消息复制成本也成倍提升。
基于此,需要高效灵活的业务驱动方案。
发明内容
本说明书实施例提供一种数据驱动业务的方法、装置以及设备,用以解决如下技术问题:需要高效灵活的业务驱动方案。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种数据驱动业务的方法,包括:
获取第一业务的原始数据;
根据所述原始数据,通过抽取转换装载(Extract-Transform-Load,ETL),生成统一数据视图模型;
利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到有效数据;
根据所述有效数据,驱动第二业务。
本说明书实施例提供的一种数据驱动业务的装置,包括:
获取模块,获取第一业务的原始数据;
生成模块,根据所述原始数据,通过ETL,生成统一数据视图模型;
筛除模块,利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到有效数据;
驱动模块,根据所述有效数据,驱动第二业务。
本说明书实施例提供的一种数据驱动业务的设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取第一业务的原始数据;
根据所述原始数据,通过ETL,生成统一数据视图模型;
利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到有效数据;
根据所述有效数据,驱动第二业务。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:能够以业务的诸如在线实时数据流等数据作为驱动源,通过ETL和规则引擎处理,编排驱动方案,进而能够高效灵活地驱动其他业务。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书的方案在一种实际应用场景下涉及的一种整体架构示意图;
图2为本说明书实施例提供的一种数据驱动业务的方法的流程示意图;
图3为本说明书实施例提供的数据驱动业务的方法在一种实际应用场景下的实施原理示意图;
图4为本说明书实施例提供的对应于图2的一种数据驱动业务的装置的结构示意图;
图5为本说明书实施例提供的对应于图2的一种数据驱动业务的设备的结构示意图。
具体实施方式
本说明书实施例提供一种数据驱动业务的方法、装置以及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
数据技术(Data Technology,DT)时代互联网架构分层方式,可将整体架构分为数据层和业务层,业务层更关注本身业务,而数据层可作为基础平台枢纽将各个独立的业务场景进行连接。本说明书的方案主要处于数据层,采用创新的数据驱动思想,完成数据业务化的过程,帮助业务间快速建立场景连接,将传统应用架构改良为数据应用架构,无论从架构稳定性还是性能方面都能够得到提升,也有利于降低硬件成本。
图1为本说明书的方案在一种实际应用场景下涉及的一种整体架构示意图。该整体架构中,由位于数据层的数据驱动系统执行方案,数据驱动系统以同处于数据层的相关业务数据为驱动源,对驱动源进行处理后,用以驱动位于业务层的业务。业务包含多个业务场景,具体可以是驱动相应的业务场景。
下面主要基于图1中的示例性架构,对本说明书的方案进行说明。
图2为本说明书实施例提供的一种数据驱动业务的方法的流程示意图。图2中的流程可以包括以下步骤:
S202:获取第一业务的原始数据。
在本说明书实施例中,对一种业务的原始数据进行处理后,可能驱动该业务本身或者另一种业务,这里的“驱动”可理解为触发业务场景,以及该业务场景中的业务动作。为了便于表述,将作为驱动源的主体数据所属业务称为第一业务,将被驱动的业务称为第二业务。
在本说明书实施例中,原始数据比如包括行为数据和/或流水数据等。以电商业务为例:行为数据能够记录用户的浏览商品、添加商品至收藏夹、下单、评价商户等行为,还能够记录商户的上下架商品、评价用户、添加物流信息等行为;流水数据可以包含用户的订单明细、转账明细等信息,更直接地记录了用户和商户之间的交易行为。
进一步地,对于线上系统,实时性要求较高,相应地,在步骤S202中也可以获取在线实时的原始数据,以有利于后续及时地驱动业务。比如,可以原始数据可以以在线数据流的形式流入,流入方式可以采用诸如消息队列、数据库同步、日志同步等流失数据接入方式。
S204:根据所述原始数据,通过ETL,生成统一数据视图模型。
在本说明书实施例中,通过ETL能够实现将数据从来源端经过抽取、转换、加载至目的端的过程,通过ETL处理过的数据的易用性通常能够得到提升。其中,转换过程比如包括:空值处理、规范化数据格式、拆分数据、验证数据正确性、数据替换、数据查询、建立主外键约束等动作。
原始数据是偏底层的数据,不易理解,而且可能归属于不同的范围内(比如,不同的类、不同的结构体、不同的业务场景等),不利于后续统一处理。基于此,通过ETL对原始数据统一化处理和视图化处理,生成更易用的统一数据视图模型,数据视图模型在统一的范围中表示原始数据,并且对于不易理解的数据,还能够以视图形式表现。
S206:利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到有效数据。
在本说明书实施例中,所需数据指要实现后续驱动业务所需的数据,除了包含统一数据视图模型以外,还可能包含以下至少一种数据:统一数据视图模型关联的特征数据、拷贝至本地或者通过远程抓取得到的其他数据。
所述特征数据能够根据统一数据视图模型生成,一般包含统一数据视图模型中的一些统计数据。所述其他数据通常与设定的业务驱动条件直接相关,需要结合该其他数据,决策是否进行业务驱动,以及具体如何驱动,其他数据比如包含第一业务进行时的环境数据、第一业务的关联业务的数据等。
在本说明书实施例中,在规则引擎中,可以根据业务驱动条件设定数据筛除规则,数据筛除规则包括一个或多个筛除条件,根据筛除条件,筛除无效数据。
例如,假定所需数据记作q,数据筛除规则包括条件1和条件2这两个筛除条件。
条件1:假设q存在属性a、b,要求a>5并且b不属于集合m;
条件2:假设q存在属性c,要求c%3=0,此条件为真时忽略条件1。
则根据条件1和条件,筛除q中的无效数据后,q满足:
“(q.a>5&&q.b not in m)||(c%3=0)”。
在本说明书实施例中,筛除无效数据后的所需数据可以作为有效数据,或者,可也能需要筛除无效数据后的所需数据进一步处理后,再作为有效数据。
S208:根据所述有效数据,驱动第二业务。
在本说明书实施例中,在有效数据存在时,驱动第二业务,或者,在有效数据存在并满足其他的业务驱动条件时,驱动第二业务。
通过图2的方法,能够以业务的诸如在线实时数据流等数据作为驱动源,通过ETL和规则引擎处理,编排驱动方案,进而能够高效灵活地驱动其他业务。
基于图2的方法,本说明书实施例还提供了该方法的一些具体实施方案,以及扩展方案,下面进行说明。
在本说明书实施例中,对于步骤S206,所述利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到有效数据,具体可以包括:获取所述统一数据视图模型以外的所需数据,该所需数据包括以下至少一种:所述统一数据视图模型关联的特征数据、拷贝至本地或者通过远程抓取得到的其他数据;根据所述统一数据视图模型及其以外的所需数据,合并得到计算数据;利用规则引擎,筛除所述计算数据中的无效数据,得到有效数据。
在本说明书实施例中,特征数据可以通过特征工程或者人工等方式提取。
以特征工程方式为例。具体地,可以对所述统一数据视图模型进行特征工程处理,得到所述统一数据视图模型关联的特征数据,其中,所述特征数据包括以指定主体为维度,其指定属性数据在指定时间窗口的以下至少一种统计结果:累记值、最值、均值、去重统计值。
对于电商业务,指定主体比如是用户、商户、或者商品等。累计值比如是用户在一周内的累计支付金额,或者是用户在一周内的累积消费次数等;最值比如是最大值或者最小值;去重统计值比如是用户在一周内购买的品牌数量,若用户购买了同品牌的两件以上的商品,则属于重复,只为该品牌记一次,即去重。
在本说明书实施例中,某些业务在一定时间内能被驱动的次数是有限制的,若已经达到驱动次数上限(称为额度),则对应的计算数据可以作为超额数据丢弃,不用于后续处理过程。需要说明的是,超额情况并不限于这一种,比如,若多个业务场景是择一被驱动的,其中一个被驱动后,其他不再被驱动,则其中一个被驱动后,后续再有这多个业务场景对应的计算数据可以作为超额数据筛除掉。
根据上一段的分析,所述筛除所述计算数据中的无效数据,得到有效数据,具体可以包括:筛除所述计算数据中的无效数据;根据筛除所述无效数据后的计算数据,进行额度计算,以筛除超额数据,得到有效数据。这个过程通常基于某主体维度进行,比如,针对单个用户、店铺或者商品等主体,分析超额情况,进而进行超额计算。
例如,根据单个用户当天在某商铺的消费情况,当消费达到500元时,以及当消费达到1000元时,会分别给用户奖励一个红包。该用户的消费数据是驱动源,奖励红包是所要驱动的业务,对于该用户而言,当前最多被奖励两个红包,1000元以内的消费数据足以相应地两次驱动业务,而超过1000元的消费数据可以属于超额数据。
在本说明书实施例中,在一些场景下,利用有效数据可以直接驱动第二业务,但是,在另一些场景下,利用有效数据未必能够直接驱动第二业务,而是可能需要对有效数据进一步地加工计算,以使其适应于第二业务的场景,然后,再利用加工计算后的有效数据,驱动第二业务。比如,假定第一业务是支付业务,有效数据是处理后的用户消费数据,第二业务是公益游戏,公益游戏里面有虚拟货币,则上述的加工计算具体比如是将用户消费数据,按照预定策略,转换为该虚拟货币,进而触发公益游戏中的一些场景,从而实现业务驱动。
在本说明书实施例中,驱动第二业务的驱动方式是多样的,比如,驱动方式可以支持消息队列、远程调用、HTTP2、动态脚本等多中协议。另外,对于在线系统,可以利用多种同步方式,同步业务驱动过程中所需的各种数据,以用于上述流程。
根据上面的说明,本说明书实施例还提供的上述数据驱动业务的方法在一种实际应用场景下的实施原理示意图,如图3所示。
在图3中,通过相应的数据驱动系统,执行上述数据驱动业务的方法。该系统以某业务的数据流作为驱动源(对应图3中的步骤1),编排驱动方案(对应图3中p1、p2、p3的步骤2~5),进而驱动另一业务。以其中p1为例,业务驱动流程主要包括以下步骤:
1、在线实时数据d流入;
2、d经过ETL处理,生成统一数据视图模型d’;
2.1、将d’输入实时计算引擎,进行特征工程处理,输出d’关联的特征数据f1、f2、f3、...、fn;
2.2、聚合其他所需数据e,将d’、f1~fn、e合并为计算数据q;
3、将q输入规则引擎,筛除无效数据;
4、对筛除无效数据后的q进行超额计算,筛除超额数据;
5、对筛除超额数据后的q进行加工计算,生成q’;
6、利用q’驱动另一业务。
上述方案具有以下优点:数据驱动系统处于整体架构数据层,自底向上驱动,能够将应用层的各个业务进行解耦,提高架构稳定性;以操作数据的方式完成场景间的连接,整个驱动方案的编排通过配置方式完成,无需应用层开发;数据驱动系统能够采用准实时驱动方案,保证更高的业务时效性;支持特征工程的数据统计计算,扩展实时数据属性。
基于同样的思路,本说明书实施例还提供了上述方法对应的装置和设备,参见如图4、图5所示。
图4为本说明书实施例提供的对应于图2的一种数据驱动业务的装置的结构示意图,所述装置包括:
获取模块401,获取第一业务的原始数据;
生成模块402,根据所述原始数据,通过抽取转换装载ETL,生成统一数据视图模型;
筛除模块403,利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到有效数据;
驱动模块404,根据所述有效数据,驱动第二业务。
可选地,所述原始数据包括在线实时的行为数据和/或流水数据。
可选地,所述筛除模块403利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到有效数据,具体包括:
所述筛除模块403获取所述统一数据视图模型以外的所需数据,该所需数据包括以下至少一种:所述统一数据视图模型关联的特征数据、拷贝至本地或者通过远程抓取得到的其他数据;
根据所述统一数据视图模型及其以外的所需数据,合并得到计算数据;
利用规则引擎,筛除所述计算数据中的无效数据,得到有效数据。
可选地,所述筛除模块403获取所述统一数据视图模型关联的特征数据,具体包括:
所述筛除模块403对所述统一数据视图模型进行特征工程处理,得到所述统一数据视图模型关联的特征数据;
其中,所述特征数据包括以指定主体为维度,其指定属性数据在指定时间窗口的以下至少一种统计结果:累记值、最值、均值、去重统计值。
可选地,所述筛除模块403筛除所述计算数据中的无效数据,得到有效数据,还包括:
所述筛除模块403筛除所述计算数据中的无效数据;
根据筛除所述无效数据后的计算数据,进行额度计算,以筛除超额数据,得到有效数据。
可选地,所述驱动模块404根据所述有效数据,驱动第二业务,具体包括:
所述驱动模块404根据所述有效数据,利用以下至少一种方式,驱动第二业务:消息队列、远程调用、HTTP2、动态脚本。
可选地,所述驱动模块404根据所述有效数据,驱动第二业务,具体包括:
所述驱动模块404对所述有效数据进行加工计算,以使其适应于第二业务的场景;
利用所述加工计算后的有效数据,驱动所述第二业务。
图5为本说明书实施例提供的对应于图2的一种数据驱动业务的设备的结构示意图,所述设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取第一业务的原始数据;
根据所述原始数据,通过ETL,生成统一数据视图模型;
利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到有效数据;
根据所述有效数据,驱动第二业务。
基于同样的思路,本说明书实施例还提供了对应于图2的一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
获取第一业务的原始数据;
根据所述原始数据,通过ETL,生成统一数据视图模型;
利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到有效数据;
根据所述有效数据,驱动第二业务。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、设备、非易失性计算机存储介质与方法是对应的,因此,装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Comell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书实施例可提供为方法、系统、或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种数据驱动业务的方法,所述方法应用于数据层,包括:
获取第一业务的原始数据;
根据所述原始数据,通过抽取转换装载ETL,生成统一数据视图模型;
利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到计算数据;
对所述计算数据进行额度计算,以筛除超额数据,得到有效数据;
根据所述有效数据,驱动第二业务。
2.如权利要求1所述的方法,所述原始数据包括在线实时的行为数据和/或流水数据。
3.如权利要求1所述的方法,所述利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到有效数据,具体包括:
获取所述统一数据视图模型以外的所需数据;
根据所述统一数据视图模型及其以外的所需数据,合并得到计算数据;
利用规则引擎,筛除所述计算数据中的无效数据,得到有效数据。
4.如权利要求3所述的方法,获取所述统一数据视图模型关联的特征数据,具体包括:
对所述统一数据视图模型进行特征工程处理,得到所述统一数据视图模型关联的特征数据;
其中,所述特征数据包括以指定主体为维度,其指定属性数据在指定时间窗口的以下至少一种统计结果:累记值、最值、均值、去重统计值。
5.如权利要求3所述的方法,所述筛除所述计算数据中的无效数据,得到有效数据,具体包括:
筛除所述计算数据中的无效数据;
根据筛除所述无效数据后的计算数据,进行额度计算,以筛除超额数据,得到有效数据。
6.如权利要求1所述的方法,所述根据所述有效数据,驱动第二业务,具体包括:
根据所述有效数据,利用以下至少一种方式,驱动第二业务:消息队列、远程调用、HTTP2、动态脚本。
7.如权利要求1所述的方法,所述根据所述有效数据,驱动第二业务,具体包括:
对所述有效数据进行加工计算,以使其适应于第二业务的场景;
利用所述加工计算后的有效数据,驱动所述第二业务。
8.如权利要求1或3所述的方法,所需数据包括以下至少一种:所述统一数据视图模型关联的特征数据、拷贝至本地或者通过远程抓取得到的其他数据。
9.如权利要求1所述的方法,驱动所述第二业务的数据为有效数据或者经过加工计算后的有效数据;所述第二业务为位于业务层的业务;所述第二业务与所述第一业务相互独立的不同业务场景对应的业务。
10.如权利要求1所述的方法,所述超额数据表示所述第二业务超过驱动次数上限的数据,或者,表示当多个业务场景择一被驱动时,所述业务场景对应的业务之一被驱动后,其余业务对应的计算数据。
11.一种数据驱动业务的装置,所述装置应用于数据层,包括:
获取模块,获取第一业务的原始数据;
生成模块,根据所述原始数据,通过抽取转换装载ETL,生成统一数据视图模型;
筛除模块,利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到计算数据;所述筛除模块还用于对所述计算数据进行额度计算,以筛除超额数据,得到有效数据;
驱动模块,根据所述有效数据,驱动第二业务。
12.一种数据驱动业务的设备,所述设备应用于数据层,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取第一业务的原始数据;
根据所述原始数据,通过抽取转换装载ETL,生成统一数据视图模型;
利用规则引擎,筛除至少包含所述统一数据视图模型的所需数据中的无效数据,得到计算数据;
对所述计算数据进行额度计算,以筛除超额数据,得到有效数据;
根据所述有效数据,驱动第二业务。
CN202211110282.1A 2018-03-15 2018-03-15 一种数据驱动业务的方法、装置以及设备 Pending CN115563197A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211110282.1A CN115563197A (zh) 2018-03-15 2018-03-15 一种数据驱动业务的方法、装置以及设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211110282.1A CN115563197A (zh) 2018-03-15 2018-03-15 一种数据驱动业务的方法、装置以及设备
CN201810213068.6A CN108628931B (zh) 2018-03-15 2018-03-15 一种数据驱动业务的方法、装置以及设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810213068.6A Division CN108628931B (zh) 2018-03-15 2018-03-15 一种数据驱动业务的方法、装置以及设备

Publications (1)

Publication Number Publication Date
CN115563197A true CN115563197A (zh) 2023-01-03

Family

ID=63706206

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211110282.1A Pending CN115563197A (zh) 2018-03-15 2018-03-15 一种数据驱动业务的方法、装置以及设备
CN201810213068.6A Active CN108628931B (zh) 2018-03-15 2018-03-15 一种数据驱动业务的方法、装置以及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810213068.6A Active CN108628931B (zh) 2018-03-15 2018-03-15 一种数据驱动业务的方法、装置以及设备

Country Status (1)

Country Link
CN (2) CN115563197A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614205A (zh) * 2018-10-18 2019-04-12 阿里巴巴集团控股有限公司 一种业务处理方法、装置、设备及系统
CN111144950B (zh) * 2019-12-30 2023-06-30 北京顺丰同城科技有限公司 模型筛选方法、装置、电子设备及存储介质
CN112084179B (zh) * 2020-09-02 2023-11-07 北京锐安科技有限公司 一种数据处理的方法、装置、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567796A (zh) * 2010-12-20 2012-07-11 北大方正集团有限公司 数据导入方法和装置
CN103123712A (zh) * 2011-11-17 2013-05-29 阿里巴巴集团控股有限公司 一种网络行为数据的监控方法和系统
US8694918B2 (en) * 2012-02-06 2014-04-08 International Business Machines Corporation Conveying hierarchical elements of a user interface
CN102722582B (zh) * 2012-06-07 2015-04-15 陈浩 基于逆向清理的数据整合系统及方法
US9892178B2 (en) * 2013-09-19 2018-02-13 Workday, Inc. Systems and methods for interest-driven business intelligence systems including event-oriented data
US20160162824A1 (en) * 2014-12-05 2016-06-09 International Business Machines Corporation Monitoring the impact of information quality on business application components through an impact map to data sources
CN109564609A (zh) * 2016-08-05 2019-04-02 分形工业公司 利用先进计算机决策平台的计算机攻击的检测缓和与矫正
CN106339222B (zh) * 2016-08-23 2019-09-17 联动优势电子商务有限公司 一种服务实现方法及装置
CN106874482A (zh) * 2017-02-20 2017-06-20 山东鲁能软件技术有限公司 一种基于大数据技术的图形化的数据预处理的装置及方法
CN107526600B (zh) * 2017-09-05 2020-11-10 成都优易数据有限公司 一种基于hadoop和spark的可视化数据挖掘分析平台及其数据清洗方法
CN107766493A (zh) * 2017-10-19 2018-03-06 国网辽宁省电力有限公司 一种贴源电网资源模型分析系统及方法

Also Published As

Publication number Publication date
CN108628931A (zh) 2018-10-09
CN108628931B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN107424069B (zh) 一种风控特征的生成方法、风险监控方法及设备
CN108173706B (zh) 一种多业务系统下的业务标记方法、装置及设备
CN108628931B (zh) 一种数据驱动业务的方法、装置以及设备
CN107391526A (zh) 一种基于区块链的数据处理方法及设备
CN110503435B (zh) 基于区块链的交易预警方法、装置及设备
CN110389989B (zh) 一种数据处理方法、装置及设备
CN110717536A (zh) 一种生成训练样本的方法及装置
CN111930810B (zh) 数据规则挖掘方法及装置
CN110175201A (zh) 业务数据处理方法、系统、装置及电子设备
CN107451204B (zh) 一种数据查询方法、装置及设备
CN113079201B (zh) 一种信息的处理系统、方法、装置及设备
CN110727700A (zh) 多源流式数据整合成事务型流数据的方法及系统
CN112559642A (zh) 数据分类存储方法、装置及相关产品
CN109039695B (zh) 业务故障处理方法、装置及设备
CN109614415B (zh) 一种数据挖掘、处理方法、装置、设备及介质
CN109597695B (zh) 一种数据处理方法、装置及设备
CN116501312A (zh) 一种数据处理方法、装置、设备及可读存储介质
CN114548963B (zh) 支付交互处理方法及装置
CN107135191B (zh) 检查分布式业务处理完整度的方法及装置
CN115660105A (zh) 一种模型训练的方法、业务风控的方法及装置
CN111400632B (zh) 一种评论信息展示方法、装置、设备及介质
CN108681554A (zh) 一种利用正则表达式的匹配方法、装置及设备
CN110704742B (zh) 一种特征提取方法及装置
CN112199399A (zh) 数据处理方法及装置
CN111967767A (zh) 一种业务风险识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination