一种数据录制方法及装置、一种计算设备及存储介质
技术领域
本说明书涉及计算机数据处理技术领域,特别涉及一种数据录制方法及装置、一种计算设备及存储介质。
背景技术
支付核心系统作为支付宝核心系统之一,承接大量支付业务。在对整体支付业务进行数据分析需要进行业务场景数据录制时,需要精细化细分业务场景进行数据录制。
目前市面上数据录制工具都仅支持入口处的分析过滤进行精细化细分,但支付核心系统中存在大量运行过程中产生的业务维度差异,仅依赖入口入参的分析过滤,无法实现精细化细分业务场景进行数据录制。
发明内容
有鉴于此,本说明书实施例提供了一种数据录制方法及装置、一种计算设备及存储介质,以解决现有技术中存在的技术缺陷。
本说明书实施例公开了一种数据录制方法,包括:
S2、在业务运行结束后,获取一条在业务运行过程中标记出n个模式特征值的业务数据;
S4、从n个模式特征值中取第i个模式特征值,其i∈[1,n],并且i为正整数;
S6、判断所述业务数据中的第i个模式特征值以及所述第i个模式特征值的位置信息与预设的模式特征值序列表中的模式特征值以及所述模式特征值的位置信息是否匹配,
若是,则将i自增1,判断自增后的i是否大于n,
若是,则结束,
若否,则执行步骤S6,
若否,则确定所述第i个模式特征值为区别模式特征值,并将所述业务数据中的第i个模式特征值以及所述第i个模式特征值的位置信息记录至预设的模式特征值序列表中,以及对本条业务数据进行录制。
另一方面,本说明书实施例还公开了一种数据录制装置,包括:
获取模块,被配置为在业务运行结束后,获取一条在业务运行过程中标记出n个模式特征值的业务数据;
遍历模块,被配置为从n个模式特征值中取第i个模式特征值,其i∈[1,n],并且i为正整数;
录制模块,被配置为判断所述业务数据中的第i个模式特征值以及所述第i个模式特征值的位置信息与预设的模式特征值序列表中的模式特征值以及所述模式特征值的位置信息是否匹配,
若是,则将i自增1,判断自增后的i是否大于n,
若是,则结束,
若否,则执行步骤S6,
若否,则确定所述第i个模式特征值为区别模式特征值,并将所述业务数据中的第i个模式特征值以及所述第i个模式特征值的位置信息记录至预设的模式特征值序列表中,以及对本条业务数据进行录制。
另一方面,本说明书实施例还公开了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现该指令被处理器执行时实现如上所述的数据录制方法的步骤。
另一方面,本说明书实施例还公开了一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现如上所述的数据录制方法的步骤。
本说明书提供的一种数据录制方法及装置、一种计算设备及存储介质,其中,所述方法包括在业务运行结束后,获取一条在业务运行过程中标记出n个模式特征值的业务数据;从n个模式特征值中遍历取第i个模式特征值,其i∈[1,n],并且i为正整数;判断所述业务数据中的第i个模式特征值以及所述第i个模式特征值的位置信息与预设的模式特征值序列表中的模式特征值以及所述模式特征值的位置信息是否匹配来确定本条业务数据是否需要进行录制。
附图说明
图1是本说明书一实施例提供的一种计算设备的框架示意图;
图2是本说明书一实施例提供的一种数据录制方法的流程图;
图3是本说明书一实施例提供的一种数据录制方法的流程图;
图4是本说明书一实施例提供的一种数据录制方法的流程图;
图5是本说明书一实施例提供的一种数据录制方法的流程图;
图6是本说明书一实施例提供的一种数据录制装置的流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本发明一个或多个实施例涉及的名词术语进行解释。
Base64:Base64是网络上最常见的用于传输8Bit字节码的编码方式之一,Base64就是一种基于64个可打印字符来表示二进制数据的方法。
ODPS:Open Data Processing Service,是阿里巴巴通用计算平台提供的一种快速、完全托管的GB/TB/PB级数据仓库。
DTS:DTS是蚂蚁实时数据、平台数据同步团队和阿里云SLS团队合作推出的基于SLS的一站式日志采集,日志消费,日志查询的服务平台。
在本申请中,提供了一种数据录制方法及装置、一种计算设备及存储介质,在下面的实施例中逐一进行详细说明。
图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接,数据库150用于保存业务数据。
计算设备100还包括接入设备140,接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图1所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
其中,处理器120可以执行图2所示方法中的步骤。图2是示出了根据本申请一实施例的数据录制方法的示意性流程图,包括步骤202至步骤212。
步骤202:在业务运行结束后,获取一条在业务运行过程中标记出n个模式特征值的业务数据。
本说明书一个或多个实施例中,所述业务包括但不限于支付宝的支付业务、转账业务、体现业务、信用卡还款业务以及游戏充值等基础业务,还包括蚂蚁聚宝以及余额宝等理财业务等,也可以是其他业务,本申请对此不作任何限定。
本说明书一个或多个实施例中,在业务运行结束后,获取一条在业务运行过程中标记出n个模式特征值的业务数据包括:
首先获取一条业务数据,然后在所述业务数据所属业务运行过程中标记出n个模式特征值,最后在所述业务运行结束后,获取标记有n个模式特征值的该条业务数据;
并且所述n为正整数,所述n可以是一个、两个、三个或更多个模式特征值,根据实际应用进行标记,本申请对此不作任何限定。
步骤204:从n个模式特征值中取第i个模式特征值,其i∈[1,n],并且i为正整数。
本说明书一个或多个实施例中,从n个模式特征值中取第i个模式特征值,即对i根据i∈[1,n]进行遍历。
步骤206:判断所述业务数据中的第i个模式特征值以及所述第i个模式特征值的位置信息与预设的模式特征值序列表中的模式特征值以及所述模式特征值的位置信息是否匹配,若是,执行步骤208,若否,执行步骤210。
步骤208:将i自增1,判断自增后的i是否大于n,若是,执行步骤212,若否,执行步骤206。
步骤210:确定所述第i个模式特征值为区别模式特征值,并将所述业务数据中的第i个模式特征值以及所述第i个模式特征值的位置信息记录至预设的模式特征值序列表中,以及对本条业务数据进行录制。
步骤212:结束。
参见图3,本说明书一个或多个实施例提供了一种数据录制方法,以n为3,根据i∈[1,n]进行遍历,包括步骤302至步骤318。
步骤302:判断所述业务数据中的第1个模式特征值以及所述第1个模式特征值的位置信息与预设的模式特征值序列表中的模式特征值以及所述模式特征值的位置信息是否匹配,若是,执行步骤304,若否,执行步骤306。
步骤304:将i自增1为2,确定自增后的2不大于3的情况下,执行步骤308。
步骤306:确定所述第1个模式特征值为区别模式特征值,并将所述业务数据中的第1个模式特征值以及所述第1个模式特征值的位置信息记录至预设的模式特征值序列表中,以及对本条业务数据进行录制。
步骤308:判断所述业务数据中的第2个模式特征值以及所述第2个模式特征值的位置信息与预设的模式特征值序列表中的模式特征值以及所述模式特征值的位置信息是否匹配,若是,执行步骤310,若否,执行步骤312。
步骤310:将i再自增1为3,在确定自增后的3不大于3的情况下,执行步骤314。
步骤312:确定所述第2个模式特征值为区别模式特征值,并将所述业务数据中的第2个模式特征值以及所述第2个模式特征值的位置信息记录至预设的模式特征值序列表中,以及对本条业务数据进行录制。
步骤314:判断所述业务数据中的第3个模式特征值以及所述第3个模式特征值的位置信息与预设的模式特征值序列表中的模式特征值以及所述模式特征值的位置信息是否匹配,若是,执行步骤316,若否,执行步骤318。
步骤316:将i再自增1为4,确定自增后的4大于3,循环结束。
步骤318:确定所述第3个模式特征值为区别模式特征值,并将所述业务数据中的第3个模式特征值以及所述第3个模式特征值的位置信息记录至预设的模式特征值序列表中,以及对本条业务数据进行录制。
实际应用中,以所述业务为支付宝的支付业务为例进行说明。
在支付业务运行结束后,获取一条在支付业务运行过程中标记出n个模式特征值的业务数据,若获取到的n个模式特征值为【小明】【支付】【小红】【2块钱】,预设的模式特征值序列表中存在模式特征值为【小明】【支付】【小青】【2块钱】。从获取到的第一个模式特征值开始与预设的模式特征值序列表中存在模式特征值进行值以及位置的匹配,首先确定获取的第一个模式特征值【小明】与预设的模式特征值序列表中存在的模式特征值【小明】匹配,则判断获取的第二个模式特征值【支付】与预设的模式特征值序列表中存在的模式特征值【支付】也匹配,然后继续判断第三个模式特征值【小红】与预设的模式特征值序列表中存在的模式特征值【小青】不匹配,此时确定第三个模式特征值【小红】为区别模式特征值,然后对该条业务数据进行录制。
若获取到的n个模式特征值为【小明】【支付】【小红】,预设的模式特征值序列表中存在的模式特征值为【小明】【支付】【小红】【2块钱】,所述模式特征值与预设的模式特征值库列表中存在的模式特征值比较完之后均为匹配模式特征值,则不对该条业务数据进行录制;
若获取到的n个模式特征值为【小李】【支付】【小红】,预设的模式特征值序列表中存在的模式特征值为【小明】【支付】【小红】【2块钱】,在判断的过程中,获取到的第一个模式特征值【小李】就与预设的模式特征值序列表中存在的模式特征值【小明】不匹配,则不对获取的剩余的模式特征值进行比较,直接对该条业务数据进行录制。
本说明书一个或多个实施例中,所述数据录制方法采用业务运行结束后置判断的方法抽取出在业务运行过程中产生并标记的模式特征值,根据对所述模式特征值的比较判断,提供符合需求的精细化细分业务数据录制。由于可以在业务运行过程中随意标注判断是否进行业务数据录制的模式特征值,并在业务运行结束后采用后置判断的方法实现对业务数据的采集录制,保证了判断的准确性,避免相同业务数据的重复录制,极大的提高了数据录制的工作效率。
参见图4,本说明书一个或多个实施例提供了一种数据录制方法,包括步骤402至步骤418。
步骤402:在业务运行结束后,获取一条在业务运行过程中标记出n个模式特征值的业务数据。
步骤404:从n个模式特征值中取第i个模式特征值,其i∈[1,n],并且i为正整数。
步骤406:判断所述业务数据中的第i个模式特征值以及所述第i个模式特征值的位置信息与预设的模式特征值序列表中的模式特征值以及所述模式特征值的位置信息是否匹配,若是,执行步骤408,若否,执行步骤410。
步骤408:将i自增1,判断自增后的i是否大于n,若是,执行步骤418,若否,执行步骤406。
步骤410:确定所述第i个模式特征值为区别模式特征值,并将所述业务数据中的第i个模式特征值以及所述第i个模式特征值的位置信息记录至预设的模式特征值序列表中。
步骤412:确定所述区别模式特征值位于第一执行阶段,其中,所述第一执行阶段为所述至少两个执行阶段的任意一个执行阶段。
本说明书一个或多个实施例中,所述区别模式特征值位于所述至少两个执行阶段的任意一个执行阶段上。
若所述业务包括执行阶段1、执行阶段2和执行阶段3,所述区别特征值在执行阶段2的结束上,则确定所述区别模式特征值位于第一执行阶段即为所述区别模式特征值位于执行阶段2。
步骤414:将所述第一执行阶段之前的执行阶段对应的第一业务数据存储至数据库。
本说明书一个或多个实施例中,仍以所述业务包括执行阶段1、执行阶段2和执行阶段3,所述区别特征值在执行阶段2上为例。
所述第一执行阶段之前的执行阶段即为执行阶段1,将所述第一执行阶段之前的执行阶段对应的第一业务数据存储至数据库即为将执行阶段1对应的业务数据存储至数据库。
实际应用中,将所述第一执行阶段之前的执行阶段对应的第一业务数据存储至数据库可以包括:
将所述第一执行阶段之前的执行阶段对应的第一业务数据进行Base64编码生成第一编码业务数据,并打印到日志文件中;
查询并获取所述日志文件中的第一编码业务数据;
将所述第一编码业务数据存储至数据库。
本说明书一个或多个实施例中,所述第一编码业务数据为编码后的Base64数据,可以采用DTS服务平台轮询并获取所述日志文件中的Base64数据,最后将该Base64数据放入ODPS中。
在支付宝业务中的数据涉及客户的资金等重要信息,为了保证该数据的安全性,将第一编码业务数据编码为Base64数据,可以很好的防止造成重要信息的泄露。
步骤416:获取数据库中存储的所述第一业务数据进行数据录制,并将所述第一执行阶段以及所述第一执行阶段之后的执行阶段对应的第二业务数据进行数据录制。
本说明书一个或多个实施例中,将所述区别特征值所在的执行阶段之前结束的执行阶段对应的业务数据存储至ODPS,在进行业务数据录制时,录制所述区别特征值所在的执行阶段以及之后的执行阶段对应的业务数据以及存储至ODPS的业务数据。
步骤418:结束。
本说明书一个或多个实施例中,当业务运行结束后,若判断出所述业务数据存在区别模式特征值,需要进行业务数据的录制,则会录制所述区别特征值所在的执行阶段以及之后的执行阶段对应的业务数据以及存储至ODPS的业务数据,由于整个业务数据录制时工作效率较为缓慢,那么采用上述定时任务异步对整个业务数据进行录制会极大的提高工作效率。
参见图5,以某个业务包括Step1、Step2、Step3和Step4四个执行阶段为例,对业务数据的录制进行详细说明。
其中,Step1对应的业务数据为Biz Info1,生命周期为Step1,
Step2对应的业务数据为Biz Info2,生命周期为Step2、3、4,
Step3对应的业务数据为Biz Info3,生命周期为Step3,
Step4对应的业务数据为Biz Info4,生命周期为Step4,
Step1、Step2、Step3和Step4四个执行阶段均存在一个相同的Biz ID进行关联,假设经过判断之后确定区别模式特征值位于Step3的结束,那么该区别模式特征值处就会产生一个唯一的Pattern Value ID。
此时如图5可知,当该业务运行完成后,确定携带有该Pattern Value ID的业务数据需要录制,则先录制Biz Info3,然后因为Biz Info2、Biz Info4的生命周期晚于Step3,故可以通过Biz ID进行关联和录制。但Biz Info1的生命周期已早于Step3结束,该部分业务数据转化为Base64的数据,并打印到日志文件中去,该数据仅保存1天时间,因此可以采用DTS系统轮询该业务打出的Base64 log数据放入ODPS中。
本说明书一个或多个实施例中,还可以通过实时数据分析的方式,或者先将BizInfo1、2、3、4的数据缓存起来,最后再判断区别模式特征值进行业务数据分析录制。
本说明书一个或多个实施例中,当业务运行结束后,确定该Pattern Value ID的业务数据需要录制,则会录制Biz Info3和Step3后续生命周期完成的Biz Info2与BizInfo4,然后从ODPS中获取对应Biz ID的Biz Info1信息进行录制,将完整链路Biz Info的整合工作采用定时任务异步进行处理,极大的提高工作效率。
参见图6,一种数据录制装置,包括:
获取模块602,被配置为在业务运行结束后,获取一条在业务运行过程中标记出n个模式特征值的业务数据;
遍历模块604,被配置为从n个模式特征值中取第i个模式特征值,其i∈[1,n],并且i为正整数;
录制模块606,被配置为判断所述业务数据中的第i个模式特征值以及所述第i个模式特征值的位置信息与预设的模式特征值序列表中的模式特征值以及所述模式特征值的位置信息是否匹配,
若是,则将i自增1,判断自增后的i是否大于n,
若是,则结束,
若否,则执行步骤S6,
若否,则确定所述第i个模式特征值为区别模式特征值,并将所述业务数据中的第i个模式特征值以及所述第i个模式特征值的位置信息记录至预设的模式特征值序列表中,以及对本条业务数据进行录制。
可选地,一条所述业务数据包括至少两个执行阶段,
所述装置还包括:
确定模块,被配置为确定所述区别模式特征值位于第一执行阶段,其中,所述第一执行阶段为所述至少两个执行阶段的任意一个执行阶段。
可选地,所述装置还包括:
存储模块,被配置为将所述第一执行阶段之前的执行阶段对应的第一业务数据存储至数据库。
可选地,所述录制模块还被配置为:
获取数据库中存储的所述第一业务数据进行数据录制,并将所述第一执行阶段以及所述第一执行阶段之后的执行阶段对应的第二业务数据进行数据录制。
本说明书一个或多个实施例中,所述数据录制装置采用业务运行结束后置判断的方法抽取出在业务运行过程中产生并标记的模式特征值,根据对所述模式特征值的比较判断,提供符合需求的精细化细分业务数据录制。由于可以在业务运行过程中随意标注判断是否进行业务数据录制的模式特征值,并在业务运行结束后采用后置判断的方法实现对业务数据的采集录制,保证了判断的准确性,避免相同业务数据的重复录制,极大的提高了数据录制的工作效率。
本申请一实施例还提供一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现该指令被处理器执行时实现如上所述的数据录制方法的步骤。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如前所述的数据录制方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据录制方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据录制方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本申请实施例中所述支付涉及的技术载体,例如可以包括近场通信(Near FieldCommunication,NFC)、WIFI、3G/4G/5G、POS机刷卡技术、二维码扫码技术、条形码扫码技术、蓝牙、红外、短消息(Short Message Service,SMS)、多媒体消息(Multimedia MessageService,MMS)等。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。