CN117194094A - 数据处理方法、装置、存储介质及计算机设备 - Google Patents
数据处理方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN117194094A CN117194094A CN202311472754.2A CN202311472754A CN117194094A CN 117194094 A CN117194094 A CN 117194094A CN 202311472754 A CN202311472754 A CN 202311472754A CN 117194094 A CN117194094 A CN 117194094A
- Authority
- CN
- China
- Prior art keywords
- data
- diagnosis
- service
- scene
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 32
- 238000003745 diagnosis Methods 0.000 claims abstract description 324
- 238000000034 method Methods 0.000 claims abstract description 94
- 238000012795 verification Methods 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 31
- 238000013524 data verification Methods 0.000 claims description 24
- 238000013515 script Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 14
- 230000008901 benefit Effects 0.000 description 13
- 238000013507 mapping Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000002405 diagnostic procedure Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种数据处理方法、装置、存储介质及计算机设备。其中,方法包括获取针对目标应用的数据诊断请求,所述目标应用的应用数据存储于预设数据库;识别所述数据诊断请求对应的业务场景信息;根据所述业务场景信息在所述预设数据库中确定与所述业务场景信息关联的第一结构化数据,并根据所述第一结构化数据中包含的数据关系确定待诊断的第一业务数据;获取所述第一业务数据对应的第一数据诊断方式;基于所述第一数据诊断方式对所述第一业务数据进行数据诊断,得到所述数据诊断请求对应的诊断结果。该方法可以提升对业务数据进行数据诊断的效率。
Description
技术领域
本公开涉及数据处理技术领域,特别是涉及一种数据处理方法、装置、存储介质及计算机设备。
背景技术
目前,由于业务系统的逻辑复杂多变,容易出现对象在使用时不一定按照业务系统的设计流程进行操作的情况,导致业务系统对应的数据库中容易出现错误数据。相关技术中,可以进行数据处理操作,以对错误数据进行排查。具体地,可以在业务逻辑中添加日志记录功能,用于记录对象关键操作的执行情况和执行结果,通过对日志进行分析可以实现数据处理。但是,这种方法实际还是依赖于人工对日志进行分析判断,以确定是哪个业务数据块出现问题,所以这种方法存在耗时长、无法快速诊断的问题。
发明内容
本公开实施例提供了一种数据处理方法、装置、存储介质及计算机设备,它能够提升对业务数据进行数据诊断的效率。
根据本公开的一方面,提供了一种数据处理方法,包括:
获取针对目标应用的数据诊断请求,所述目标应用的应用数据存储于预设数据库;
识别所述数据诊断请求对应的业务场景信息;
根据所述业务场景信息在所述预设数据库中确定与所述业务场景信息关联的第一结构化数据,并根据所述第一结构化数据中包含的数据关系确定待诊断的第一业务数据;
获取所述第一业务数据对应的第一数据诊断方式;
基于所述第一数据诊断方式对所述第一业务数据进行数据诊断,得到所述数据诊断请求对应的诊断结果。
根据本公开的一方面,提供了一种数据处理装置,包括:
请求获取单元,用于获取针对目标应用的数据诊断请求,所述目标应用的应用数据存储于预设数据库;
识别单元,用于识别所述数据诊断请求对应的业务场景信息;
数据确定单元,用于根据所述业务场景信息在所述预设数据库中确定与所述业务场景信息关联的第一结构化数据,并根据所述第一结构化数据中包含的数据关系确定待诊断的第一业务数据;
诊断方式获取单元,用于获取所述第一业务数据对应的第一数据诊断方式;
数据诊断单元,用于基于所述第一数据诊断方式对所述第一业务数据进行数据诊断,得到所述数据诊断请求对应的诊断结果。
可选地,在一些实施例中,数据诊断单元用于:
若第一数据诊断方式为内部诊断方式,对第一业务数据进行数据校验,得到校验结果;
将校验结果与预设的结果配置数据进行结果匹配,得到诊断结果;
若第一数据诊断方式为外部诊断方式,根据第一业务数据构建诊断脚本;
基于诊断脚本获取外部系统的校验数据,并基于校验数据对第一业务数据进行数据诊断,得到诊断结果。
可选地,在一些实施例中,数据诊断单元用于:
获取第一子业务数据中业务字段对应的业务值;
若业务值与预设的第一校验值相等,对第二子业务数据进行数据匹配,得到校验结果。
可选地,在一些实施例中,数据诊断单元用于:
获取所述第一业务数据中类型字段对应类型值;
将所述类型值与预设的第二校验值进行比较,得到所述校验结果。
可选地,在一些实施例中,数据诊断单元用于:
若所述第一业务数据为单表数据,对所述第一业务数据的字段值进行空值校验;
若所述空值校验的结果表示所述字段值为非空值,对所述字段值进行格式校验,得到所述校验结果。
可选地,在一些实施例中,数据处理装置还包括场景跳转单元。
场景跳转单元用于根据所述第一业务数据获取场景跳转数据,并用于根据所述场景跳转数据和预设的场景关联数据确定跳转场景信息;
数据确定单元还用于根据所述跳转场景信息在所述预设数据库中确定与所述跳转场景信息关联的第二结构化数据,并根据所述第二结构化数据中包含的数据关系确定待诊断的第二业务数据;
诊断方式获取单元还用于获取所述第二业务数据对应的第二数据诊断方式;
数据诊断单元还用于基于所述第二数据诊断方式对所述第二业务数据进行数据诊断。
可选地,在一些实施例中,场景跳转单元用于:
对所述目标应用的业务场景信息进行划分,得到子场景信息;
基于所述子场景信息对应的跳转数据对所述子场景信息进行信息串联,得到所述场景关联数据。
可选地,在一些实施例中,识别单元用于:
根据所述数据诊断请求获取所述目标应用对应的界面信息;
基于预设的场景识别模型对所述界面信息进行场景识别,得到业务场景信息。
可选地,在一些实施例中,识别单元用于:
基于预设的场景识别模型识别所述多帧界面图像之间的图像差异特征;
基于所述图像差异特征确定业务场景信息。
可选地,在一些实施例中,数据诊断单元用于:
基于预设频率对所述目标应用的各业务场景的数据进行诊断,并将每一业务场景的最近一次诊断结果存储于诊断结果集合;
当接收到目标业务场景对应的目标数据诊断请求时,确定当前时间与所述目标业务场景对应数据的最近一次诊断时间之间的时间间隔;
当所述时间间隔小于预设时间长度时,将所述诊断结果集合中与所述目标业务场景对应的目标诊断结果确定为目标数据诊断请求对应的诊断结果。
根据本公开的一方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上所述的数据处理方法。
根据本公开的一方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的数据处理方法。
根据本公开的一方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,所述计算机程序被计算机设备的处理器读取并执行,使得该计算机设备执行如上所述的数据处理方法。
本公开实施例根据第一结构化数据中包含的数据关系确定待诊断的第一业务数据,并获取与第一业务数据对应的第一数据诊断方式,而后可以基于第一诊断方式对第一业务数据进行数据诊断。由此可知,本公开实施例可以对具有数据关系的第一业务数据进行数据诊断,并且可以选择对应的数据诊断方式进行数据诊断,实现了对业务场景对应的数据进行自动诊断,减少了相关技术中基于人工诊断导致的耗时长、无法快速诊断的问题,即本公开实施例能够提升对业务数据进行数据诊断的效率。
本公开的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本公开技术方案的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开的技术方案,并不构成对本公开技术方案的限制。
图1是本公开实施例的数据处理方法的体系架构图;
图2至图3是本公开的实施例的数据处理应用于不同场景下的示意图;
图4是本公开实施例的数据处理方法的流程示意图;
图5是本公开实施例的数据关系的示意图;
图6是本公开实施例的银行字典表的示意图;
图7是本公开实施例的场景关联数据的示意图
图8是本公开实施例提供的数据处理方法的另一流程示意图;
图9是根据本公开的实施例的数据处理装置的模块图;
图10是执行根据本公开的实施例的数据处理方法的终端结构图;
图11是执行根据本公开的实施的数据处理方法的服务器结构图。
具体实施方式
为了使本公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本公开进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本公开,并不用于限定本公开。
对本公开实施例进行进一步详细说明之前,对本公开实施例中涉及的名词和术语进行说明,本公开实施例中涉及的名词和术语适用于如下的解释:
数据库:数据库是一个长期存储在计算机内,有组织、有共享以及能够统一化管理的数据集合。简而言之,数据库是一个数据存储仓库。为了方便数据存储和管理,数据库可以将数据按照一定的规律存储在磁盘上。通过数据库对应的管理系统,可以有效的组织和管理存储在数据库中的数据。常见的数据库管理系统包括MySQL(MySQL是一种开源的关系型数据库管理系统)、Oracle(Oracle是一种关系型数据库管理系统)、SQL(SQL是一种用于管理和操作关系型数据库的软件系统)等。
数据库可以用于存储不同业务系统产生的数据。目前,如下现象可能会导致数据库存储错误数据:
第一种现象,由于业务系统的逻辑复杂多变,容易出现对象在使用时不一定按照业务系统的设计流程进行操作的情况,导致业务系统对应的数据库中容易出现错误数据。
第二种现象,业务系统的主操作流程较长且功能分散,可能存在业务系统设计程序未考虑到的使用场景,这些场景缺乏校验逻辑。当对象在这样的场景下操作时,可能会使数据库存储错误数据。
第三种现象,业务系统在处理紧急问题时,可能会跳过正常的处理流程。这样特殊场景下产生的操作变更可能会引发其他问题,如出现不正常数据、数据不一致、数据丢失等。
相关技术中,可以通过如下几种方法对如上现象产生的错误数据进行定位诊断,以能够根据定位到的错误数据对业务系统进行维护、改善等:
第一种方法,使用程序编写检查脚本,对各个业务逻辑以及业务逻辑产生的数据进行测试检查。
第二种方法,基于如SQL等结构化语言进行数据分析,针对不同的业务场景设置不同的分析脚本。
第三种方法,在业务逻辑中添加日志记录功能,用于记录对象关键操作的执行情况和执行结果,通过对日志进行分析可以实现数据处理。
其中,针对第一种方法,当业务逻辑变更时,需要对检查脚本进行适应性的变更,增加处理难度和处理时长。针对第二种方法,无法对业务系统主流程对应的所有业务逻辑的数据进行诊断,只能对业务逻辑进行拆分,基于不同的小脚本进行数据诊断,造成诊断脚本多、覆盖度不全、维护成本高的问题。针对第三种方法,实际还是依赖于人工对日志进行分析判断,以确定是哪个业务数据块出现问题,所以这种方法存在耗时长、无法快速诊断的问题。
举例来说,在现网支付下单的场景中,对象选择某个支付渠道下单报错导致无法下单时,相关技术可以通过如下方式对错误数据进行定位诊断:根据报错日志获取对象的业务系统的操作参数,如获取支付渠道参数。根据支付渠道参数确定对应的支付渠道,根据支付渠道对应的渠道ID确定回调流水。检查回调流水中是否录入真实映射渠道的合同名,并确定业务系统中的支付渠道是否和真实的渠道商签约合同,且该合同状态为生效。此外,还要确定签约的渠道是否和商户绑定、当前场景对应的绑定合同是哪一份,以及该合同是否是三方合同等。最后,当该合同是三方合同时,还要确定该三方合同是否和商户签约,且该合同当前是否生效。
通过上述举例场景可知,相关技术中的方法在数据处理过程中需要获取不同功能模块对应的数据,这种方法依赖于对业务熟悉的操作人员,所以这种方法存在耗时长、无法快速诊断的问题。对此,本公开实施例提供了一种数据处理方法、装置、存储介质及计算机设备,能够提高数据处理速度并实现对数据的快速诊断。
图1是根据本公开的实施例的数据处理方法所应用的系统构架图。它包括终端140、互联网130、网关120、服务器110等。
终端140包括桌面电脑、膝上型电脑、PDA(个人数字助理)、手机、车载终端、家庭影院终端、专用终端等多种形式。另外,它可以是单台设备,也可以是多台设备组成的集合。终端140可以以有线或无线的方式与互联网130进行通信,交换数据。
服务器110是指能对终端140提供某些服务的计算机系统。相对于普通终端140来说,服务器110在稳定性、安全性、性能等方面都要求更高。服务器110可以是网络平台中的一台高性能计算机、多台高性能计算机的集群、一台高性能计算机中划出的一部分(例如虚拟机)、多台高性能计算机中划出的一部分(例如虚拟机)的组合等。
网关120又称网间连接器、协议转换器。网关在传输层上实现网络互连,是一种充当转换作用的计算机系统或设备。在使用不同的通信协议、数据格式或语言,甚至体系结构完全不同的两种系统之间,网关是一个翻译器。同时,网关也可以提供过滤和安全功能。终端140向服务器110发送的消息要通过网关120发送到相应的服务器110。服务器110向终端140发送的消息也要通过网关120发送到相应的终端140。
本公开实施例的数据处理方法可以完全在终端140实现;可以完全在服务器110实现;也可以一部分在终端140实现,另一部分在服务器110实现。
本公开实施例可以应用在多种场景下,如图2所示的针对业务系统的单个业务场景进行数据处理,以及如图3所示的针对业务系统的多个业务场景进行数据处理。
(一)针对业务系统的单个业务场景
业务系统可以是游戏系统,该业务系统可以包含商户合同场景。商户合同场景可以是对游戏币、积分、电子券等虚拟资源进行处理时,涉及到商户合同签订内容的场景。本公开实施例中,可以将游戏系统对应的应用程序作为目标应用,通过对象在目标应用中的相关操作或其他方式确定待诊断的业务场景为商户合同场景。通过对商户合同场景对应的数据进行数据诊断,可以得到如图2所示的诊断结果。诊断结果可以包括异常结果,异常结果可以通过不同的显示形式和特殊符号进行标识。其中,不同的显示形式可以包括文字显示为不同颜色、文字显示为不同大小等。如图2所示,基于本公开实施例的数据处理方法,可以实现对商户合同场景对应的数据进行快速定位诊断。
(二)针对业务系统的多个业务场景
仍以业务系统为游戏系统为例。当通过对象在目标应用中的相关操作或其他方式确定待诊断的业务场景为目标应用的应用接入场景时,可以对目标应用对应的所有场景的数据进行数据诊断。可以理解的是,目标应用可以包括多个场景,不同场景可以对应于不同的功能。如图3所示,可以包括包月/订阅功能、应用详情功能、账号互通功能、游戏币发货功能、道具发货功能、流水推送功能、线上集群功能、账户托管功能、是否区分角色功能、应用详情-物品购物车功能等。本公开实施例中,可以对不同功能对应的数据进行数据诊断,从而可以确定当前对象对应的目标应用支持哪些功能,以及支持的功能对应的的诊断结果。如图3所示,对应的目标应用支持的功能包括应用详情功能、游戏币发货功能、道具发货功能、线上集群功能、账号托管功能、是否区分角色功能、应用详情-物品购物车功能。目标应用不支持的功能包括包月/订阅功能、账号互通功能、流水推送功能。对支持的功能对应的数据进行数据诊断得到的诊断结果可以包括正常诊断结果和异常诊断结果,如图3应用详情功能对应的诊断结果中,正常诊断结果包括结算组ID:XXX、游戏币对应USD比例为:1:45和应用支持上线XX平台,异常结果包括XX物品结果为空。如图3所示,基于本公开实施例的数据处理方法,可以实现对目标应用的多个业务场景对应的数据进行快速定位诊断。
根据本公开的一个实施例,提供了一种数据处理方法。该方法可以应用于如图2所示的针对业务系统的单个业务场景,如图3所示的针对业务系统的多个业务场景或者其他对业务数据进行诊断的场景。
如图4所示,为本公开提供的数据处理方法的一个流程示意图。该方法可以应用于数据处理装置,该数据处理装置可以集成在计算机设备中,计算机设备可以为终端或服务端。该数据处理方法可以包括:
步骤410,获取针对目标应用的数据诊断请求,目标应用的应用数据存储于预设数据库。
在一些实施例中,目标应用可以是业务系统对应的应用程序。当将本公开实施例应用于不同场景时,目标应用可以不同。例如,当将本公开实施例应用于游戏场景时,目标应用可以是游戏系统对应的应用程序。当将本公开实施例应用于支付场景时,目标应用可以是支付系统对应的应用程序。应用数据可以指目标应用在运行时产生的数据。针对不同场景产生的应用数据可以存储于同一个预设数据库或不同的预设数据库,对此本申请实施例不作具体限定。数据诊断请求可以指对目标应用的应用数据进行数据诊断的请求。
可以理解的是,数据诊断请求的获取方式可以根据实际需要进行适应性设置,对此本申请实施例不作具体限定。例如,可以是对象在某个场景无法使用某个功能,或某个功能报错时,通过响应于对象触发预设控件的操作获取到数据诊断请求。或者,可以是目标应用上线前的测试阶段响应于操作人员的测试操作获取到数据诊断请求。或者,还可以是目标应用根据预先设置数据诊断机制自动生成数据诊断请求,通过目标应用对应的应用程序编程接口获取数据诊断请求。其中,数据诊断机制可以是时间机制,如每24小时生成一次数据诊断请求;或者是数据量机制,如数据库每存储预设数据量的数据时目标应用生成数据诊断请求;或者是反馈机制,如目标应用可以获取对象的使用反馈,当使用反馈数量达到预设反馈阈值时目标应用生成数据诊断请求。本公开实施例对数据诊断机制不作具体限定。
步骤420,识别数据诊断请求对应的业务场景信息。
在一些实施例中,业务场景信息可以指需要诊断的业务场景的信息。可以理解的是,业务场景信息可以指单个业务场景对应的信息,如可以是图2所示的商户合同场景对应的信息。业务场景信息也可以指多个业务场景对应的信息,如可以是图3所示的游戏币发货款场景对应的信息和道具发货场景对应的信息等。业务场景的信息可以包括业务场景的编码等。
以业务场景信息指单个业务场景对应的信息为例,识别业务场景信息的方法可以包括:
第一种方法,根据数据诊断请求获取场景标识数据;基于场景标识数据和预设的映射关系识别业务场景信息。
在一些实施例中,映射关系可以用于表示不同场景标识数据与不同场景信息之间的关系,这种关系可以是一对一的关系。数据诊断请求中携带有场景标识数据,通过该场景标识数据可以从映射关系中识别得到对应的业务场景信息。这种方法通常可以应用在明确需要对哪些场景对应的数据进行数据诊断的情形中,如目标应用上线前测试阶段对应的情形。
第二种方法,根据数据诊断请求获取目标应用对应的界面信息;基于预设的场景识别模型对界面信息进行场景识别,得到业务场景信息。
在一些实施例中,数据诊断请求携带有对应的界面信息,界面信息可以指生成数据诊断请求时目标应用对应的界面。基于预设的场景识别模型对界面信息进行场景识别,可以将场景识别模型的输出数据作为业务场景信息。
在一些实施例中,界面信息可以包括连续多帧界面图像,基于界面信息识别业务场景的方法可以包括但不限于如下步骤:
基于预设的场景识别模型识别多帧界面图像之间的图像差异特征;
基于图像差异特征确定业务场景信息。
具体地,多帧界面图像可以指目标应用上帧连续的多个界面图像。界面图像的数量可以根据实际需要进行适应性设置,对此本公开实施例不作具体限定。将多帧界面图像作为场景识别模型的输入数据,基于场景识别模型识别多帧界面图像的图像特征,以及多个图像特征之间的差异,根据差异可以得到图像差异特征。其中,图像差异特征可以包括颜色特征、纹理特征、边缘特征和物体特征等。可以理解的是,不同业务场景对应的图像特征不同,图像差异特征可以表示业务场景的区别性信息。因此,当根据图像差异特征确定业务场景信息时,能够提高对业务场景信息识别的准确性。
在一些实施例中,识别业务场景信息的方法可以包括:
获取生成数据诊断请求的时间信息或位置信息;基于时间信息或位置信息识别业务场景信息。
具体地,可以确定生成数据诊断请求时的时间信息和位置信息中一个或多个,基于时间信息或者位置信息,或者时间信息和位置信息的组合可以推测生成数据诊断请求时目标应用对应的业务场景,将推测出的业务场景对应的信息作为业务场景信息。
第三种方法,数据诊断请求携带有目标应用当前登录对象的账号ID信息,基于账号ID信息可以确定登录对象的历史浏览记录,每一条历史浏览记录都可以对应于一个场景。可以基于浏览时间与当前时间最接近的历史浏览记录对应的场景确定业务场景信息。或者,基于当前时间确定一个时间选取范围,对浏览时间在时间选取范围内的多个历史浏览记录对应的场景进行统计。根据统计数量最多的场景确定业务场景信息。根据这种方法识别业务场景信息的原因是,当某个场景的功能出错影响正常使用时,通常情况下对象不会跳转到其他场景继续使用,而是对该功能进行重复多次尝试,或者关闭目标应用并重新登录。因此,第三种方法能够基于对象习惯识别出应用场景信息。
第四种方法,数据诊断请求携带有关联对象的信息或关联设备的信息,关联的对象和关联的设备可以是目标对象预先在目标应用上设置的。通常情况下关联的对象与目标对象具有相关的使用习惯,或者目标对象在目标设备上的操作与在关联设备上的操作具有相关性。因此可以基于关联对象的信息或关联设备的信息确定业务场景信息。这种方法通常可以应用在无法直接基于目标设备的目标应用确定业务场景信息的情形,如可以是目标设备无法正常使用的情形。
可以理解的是,可以使用但不限于以上任一种方法或多种方法的组合对业务场景信息进行识别,对此本申请实施例不作具体限定。
步骤430,根据业务场景信息在预设数据库中确定与业务场景信息关联的第一结构化数据,并根据第一结构化数据中包含的数据关系确定待诊断的第一业务数据。
在一些实施例中,第一结构化数据可以指与业务场景信息关联的结构化数据,即指目标应用在业务场景信息对应的场景中可以产生的数据。例如,对于商户合同场景,第一结构化数据可以包括合同主表、合同绑定的应用表、合同绑定的游戏表、合同费率明细表、合同代缴税明细表、银行字典表、主体字典表等。可以理解的是,可以通过对预先设置的关联配置数据表进行查询,以确定第一结构化数据。关联配置数据表包含不同业务场景信息以及与每个业务场景信息关联的结构化数据。
数据关系可以用于表示不同结构化数据之间关联关系。如图5所示,不同的圆圈表示不同的结构化数据,如“游戏”这个圆圈可以表示与游戏有关的结构化数据,“商户”这个圆圈可以表示与商户有关的结构化数据。通过箭头可以将有关联关系的结构化数据进行关联,如“游戏”对应的结构化数据分别与“游戏属性”对应的结构化数据、“物品”对应的结构化数据、“发货通知”对应的结构化数据等存在关联关系。可以理解的是,数据关系可以是一对一的关系、正向一对多的关系、反向一对多的关系、多对多的关系、远程一对一的关系或远程一对多的关系等。其次,数据关系可以预先基于ORM(Object-RelationalMapping,ORM可以指将关系型数据库中的表和记录映射为面向对象编程语言中的对象和类的技术)指定外键的方式构建。
可以将第一结构化数据以及与第一结构化数据存在关联关系的结构化数据作为待诊断的第一业务数据。以第一结构化数据为合同税明细表为例,合同税明细表中可以包括银行信息,因此合同税明细表可以与银行字典表存在关联关系。如此,基于合同税明细表包含的数据关系可以将合同税明细表和银行字典表作为第一业务数据。
当目标应用的业务逻辑复杂多变时,可以保证基于数据关系将基于业务逻辑产生的复杂数据的关系变得有迹可循,从而便于后续对数据的处理,提高数据诊断的速度。
步骤440,获取第一业务数据对应的第一数据诊断方式。
在一些实施例中,第一数据诊断方式可以表示对第一业务数据进行数据诊断的方式。预先可以设置多个诊断方式,将多个诊断方式中与第一业务数据匹配的诊断方式作为第一数据诊断方式。可以基于第一业务数据的数据类型匹配确定第一数据诊断方式。或者,基于数据关系匹配确定诊断方式,例如当基于数据关系确定第一业务数据与其他较多数据存在关联关系时,表明该第一业务数据可能对其他数据的影响较大,此时可以将较为准确的诊断方式作为该第一业务数据的第一数据诊断方式。本公开实施例对匹配确定第一数据诊断方式的方法不作具体限定。
步骤450,基于第一数据诊断方式对第一业务数据进行数据诊断,得到数据诊断请求对应的诊断结果。
在一些实施例中,诊断结果可以是基于第一数据诊断方式对第一业务数据进行数据诊断后得到的,表示第一业务数据中存在哪些问题的结果。如图2所示,基于商户合同场景对应第一数据诊断方式对商户合同场景对应的第一业务数据进行数据诊断后,可以得到“商户为空,请补上XXX字段”、“应用缺少XXX,不能绑定到主数据XXX下面”、“主数据未绑定任何应用,属于无效主数据”和“打款时间格式错误,必须为XXX格式”的诊断结果。
以基于第一业务数据的数据类型匹配确定第一数据诊断方式为例,在一些实施例中,第一数据诊断方式可以包括内部诊断方式或外部诊断方式。对应地,步骤450可以包括如下步骤:
若第一数据诊断方式为内部诊断方式,对第一业务数据进行数据校验,得到校验结果;
将校验结果与预设的结果配置数据进行结果匹配,得到诊断结果;
若第一数据诊断方式为外部诊断方式,根据第一业务数据构建诊断脚本;
基于诊断脚本获取外部系统的校验数据,并基于校验数据对第一业务数据进行数据诊断,得到诊断结果。
具体地,当第一业务数据的数据类型为内部诊断类型时,即第一业务数据无需调用外部系统进行数据诊断时,该第一业务数据对应的第一数据诊断方式为内部诊断方式。可以理解的是,如游戏币发货场景仅与目标应用对应的业务系统有关,因此可以认为游戏币发货场景对应的第一业务数据的数据类型为内部诊断类型。
若第一数据诊断方式为内部诊断方式,可以基于字段格式校验或表达式校验对第一业务数据进行数据校验,以得到对应的校验结果。结果配置数据可以指预先设置的用于表示不同校验结果和不同预设结果映射关系的数据。因此,可以将第一业务数据对应的校验结果与结果配置数据进行结果匹配,将与该校验结果存在映射关系的预设结果作为诊断结果。
当第一业务数据的数据类型为外部诊断类型时,即第一业务数据需要调用外部系统进行数据诊断时,该第一业务数据对应的第一数据诊断方式为外部诊断方式。可以理解的是,如商户合同场景对应的第一业务数据包括合同号,而合同号需要基于外部系统进行真伪等校验,因此可以认为商户合同场景对应的第一业务数据的数据类型为外部诊断类型。可以理解的是,第一业务数据对应的数据类型可以是预先设置的。
由于调用外部系统进行数据诊断通常需要较为复杂的诊断逻辑,因此针对第一数据诊断方式为外部诊断方式的情形,可以基于第一业务数据和对应的诊断逻辑构建诊断脚本。诊断时可以将诊断脚本和第一业务数据设置在同一个系统目录下。执行诊断脚本以调取外部系统对应的校验数据,通过将校验数据与第一业务数据进行数据比对等,可以得到对应的诊断结果。可以理解的是,应保证诊断脚本的安全,并且诊断脚本的构建应基于规定的安全方法。
本公开实施例基于内部诊断方式和外部诊断方式进行不同的数据诊断操作的好处是,对不同的第一业务数据能够进行不同的个性化数据诊断,从而可以提高数据诊断的诊断效果。
下面对基于内部诊断方式进行数据诊断的具体方式进行说明。
在一些实施例中,第一业务数据包括第一子业务数据和第二子业务数据,基于表达式校验对第一业务数据进行数据校验的方式可以包括如下步骤:
获取第一子业务数据中业务字段对应的业务值;
若业务值与预设的第一校验值相等,对第二子业务数据进行数据匹配,得到校验结果。
在一些实施例中,可以将多个第一业务数据划分为第一子业务数据和第二子业务数据两类数据,其中,可以将第一结构化数据作为第一子业务数据,将与第一结构化数据存在关联关系的数据作为第二子业务数据。业务字段可以指第一子业务数据中描述业务内容的字段,业务值可以指业务字段的赋值,可以通过对第一子业务数据进行数据解析以获取对应的业务指。第一检验值可以指预先设置的业务字段对应的标准值。将业务值与第一校验值进行比较,若业务指与第一校验值相等,表示第一子业务数据正常。此时可以对第二子业务数据对应的数据内容进行匹配,得到对应的校验结果。例如,当第一结构化数据的数据关系为一对一时,表明第二子业务数据的数量为1。此时,可以基于如下所示的表达式进行数据校验:
$Offer_FOfferType==0&&empty($Subscribe)
上述表达式表示第一子业务数据(如Offer表)中的业务字段(如FOfferType)对应的业务值为零(即第一校验值等于零),且第二子业务数据(如Subscribe表)对应的数据不为零。当第一子业务数据和第二子业务数据符合上述表达式时,可以根据对应的校验结果得到如支持游戏币发货的校验结果。当第一子业务数据和第二子业务数据不符合上述表达式时,可以根据对应的校验结果得到如不支持游戏币发货的校验结果。
当第一结构化数据的数据关系为一对多时,表明第二子业务数据的数量大于1。以包含两个第二子业务数据为例,可以设置如下所示的表达式进行数据校验:
$Goods&&$Goods_FCpayGray=='XXX'&&
$PortalServiceConfig_Fpay_agreement=='0'
该表达式与上述一对一情形下的表达式类似,不同的是该表达式同时对Goods_FCpayGray表和PortalServiceConfig_Fpay_agreement表两个第二子业务数据进行了限定。由此可以基于上述两个第二子业务数据和第一子业务数据(即Goods表)得到对应的校验结果。
可以理解的是,在一些实施例中,由于第一子业务数据和第二子业务数据都为结构化数据,为了提高数据校验速率,在进行数据校验之前,可以对第一子业务数据和第二子业务数据进行扁平化处理。其中,扁平化处理可以指将复杂的数据结构转换为一维的数据结构。例如,当第一业务数据(或第二业务数据)的数据形式为多层嵌套形式时,可以将第一业务数据(或第二点业务数据)转换为扁平的键值对的形式,从而便于存储和分析。
本公开实施例基于上述表达式校验的方式进行数据校验的好处是,能够基于数据关系进行数据校验。由于业务系统中数据与数据通常都存在关联影响,因此基于这种数据校验方式能够提高数据校验的准确性,进而提高数据诊断的准确性。
在一些实施例中,基于表达式校验对第一业务数据进行数据校验的方式还可以包括如下步骤:
获取第一业务数据中类型字段对应类型值;
将类型值与预设的第二校验值进行比较,得到校验结果。
在一些实施例中,类型字段可以指第一业务数据中表示类型的字段,这里的类型可以指对象类型(如是否预设人群)或操作类型(如是否购买游戏道具)等,对此本公开实施例不作具体限定。类型值可以指类型字段在第一业务数据中的赋值。第二校验值可以是预先设置的类型字段的标准值。将类型值与第二校验值进行比较,并得到对应的校验结果。以类型字段为枚举型字段为例,第二校验值可以设置为0和1,当类型值等于0时,可以得到如对象不是预设人群的诊断结果。当类型值等于1时,可以得到如对象是预设人群的诊断结果。当类型值不等于0且不等于1时,可以得到预设人群功能校验失败的诊断结果。
本公开实施例基于第二校验值进行数据校验的好处是,数据校验规则简单、易于维护。
在一些实施例中,基于字段格式校验对第一业务数据进行数据校验的方式可以包括如下步骤:
若第一业务数据为单表数据,对第一业务数据的字段值进行空值校验;
若空值校验结果表示字段值为非空值,对字段值进行格式校验,得到校验结果。
在一些实施例中,单表数据可以指包含的各个字段都表示同一类型的数据。以商户合同场景为例,商户合同场景对应的第一业务数据中可以包括多个字段,若多个字段都用于描述合同内容,则可以认为该第一业务数据为单表数据。若多个字段描述的内容不同,如包括描述合同内容的字段和描述税率的字段,则可以认为该第一业务数据为多表数据。由此可知,可以通过对第一业务数据中各字段的描述内容进行识别和统计,从而确定第一业务数据为单表数据或为多表数据。字段值可以指第一业务数据中字段的赋值,字段可以是如上述表达式校验实施例中描述的类型字段、业务字段或其他的字段,对此本公开实施例不作具体限定。空值校验可以指校验字段值是否为空。当字段值为空时,可以表明第一业务数据缺少该字段信息。以第一业务数据为银行字典表为例,银行字典表可以用于描述不同银行对应的名称,银行字典表可以表示为不同代码与银行名称的映射关形式。如图6所示,假设包括代码123、456和789,其中代码123与银行名称A映射,代码456与银行名称B映射,代码789与银行名称C映射。当将代码作为字段时,若某个代码对应的字段值为空,则表示第一业务数据中缺少与该代码对应的银行名称。由于合同主表中或其他数据中涉及的银行名称的内容通常以银行字典表中的代码表示,所以当某个代码对应的字段值为空时,可能会导致合同主表或其他数据中涉及银行的内容无法解释,从而出现数据错误。可以理解的是,代码可以为数字、字母、符号中的任一种或多种的组合,对此本公开实施例不作具体限定。
若空值校验结果表示字段值不为空,即字段值为非空值,则可以对字段值进行格式校验,从而得到对应的校验结果。其中,格式校验可以指将字段值的格式与标准格式进行比较。根据格式校验,可以实现如数值范围校验、日期格式校验、邮箱地址合法性校验等。
可以理解的是,以商户合同场景为例,商户合同场景对应的第一业务数据可以分为商户合同主数据、商户合同费率和代缴税明细、各类字典信息三类。其中,合同主表、合同绑定的应用表和合同绑定的游戏表可以归属于商户合同主数据这一类,合同主表、合同费率明细表和合同代缴税明细表可以归属于商户合同费率和代缴税明细这一类,银行字典表和主体字典表可以归属于各类字典信息这一类。由此可知,不同类之间可以包含相同的表,如商户合同主数据这一类和商户合同费率和代缴税明细这一类中都可以包括合同主表。在进行字段格式校验时,无论数据属于哪一类,当校验过程命中该数据时,都会对该数据进行校验。如对于合同主表这个数据,无法合同主表归属于哪一类,都会对合同主表进行校验。这种做法的好处是,能够减少数据校验遗漏的情况。
本公开实施例对单表数据进行字段格式校验的好处是,由于单表数据的内容较为统一,因此对单表数据进行字段格式校验能够简化数据校验流程,提高数据校验速率。
可以理解的是,当第一业务数据为多表数据时,可以采用上述实施例描述的表达式校验或其他方式进行数据校验,对此本公开实施例不作具体限定。
在一些实施例中,可以从多个诊断结果中选择一个作为最终诊断结果。具体地,在业务场景信息识别阶段,可以对不同的识别方法进行区分,区分标准可以为识别速度。例如可以将第一种识别方法、第二种识别方法和第四种识别方法作为识别速度较快的一类,将第三种识别方法作为识别速度较慢但识别准确率高的一类。基于识别速度较快的一类的识别方法可以预估得到多个业务场景信息,可以基于多线程和多个业务场景信息进行数据诊断,得到初步的多个诊断结果。当基于识别速度较慢但识别准确率高的一类的识别方法识别得到最终的业务场景信息时,可以检查预估的多个业务场景信息中是否有与最终的业务场景信息匹配的,若有,可以将对应的初步诊断结果作为最终的诊断结果。这种方法的好处是,可以减少业务场景信息识别时的等待时间,从而可以提高数据诊断效率。
在一些实施例中,从多个诊断结果中选择一个作为最终诊断结果的方式还可以是,当存在多个关联对象或多个关联设备时,根据上述第四种方法进行业务场景信息识别后可以得到多个业务场景信息。基于该多个业务场景信息可以得到多个初步诊断结果。可以基于目标设备与关联设备之间的距离、关联度或其他方式从多个初步诊断结果中选择一个诊断结果作为最终的诊断结果。这种方法的好处是,可以减少目标设备恢复正常使用时重新进行数据诊断的情形,或者需要等待目标设备恢复后再进行数据诊断的情形,从而提高了数据诊断效率。
在一些实施例中,本公开实施例提供的数据处理方法还可以包括但不限于包括如下步骤:
基于预设频率对目标应用的各业务场景的数据进行诊断,并将每一业务场景的最近一次诊断结果存储于诊断结果集合;
当接收到第二目标业务场景对应的目标数据诊断请求时,确定当前时间与第二目标业务场景对应数据的最近一次诊断时间之间的时间间隔;
当时间间隔小于预设时间长度时,将诊断结果集合中与第二目标业务场景对应的目标诊断结果确定为目标数据诊断请求对应的诊断结果。
具体地,预设频率可以指预先设置的自动对不同业务场景对应的数据进行数据诊断的频率,预设频率的具体取值可以根据实际需要进行适应性设置,对此本公开实施例不作具体限定。诊断结果集合可以用于存储不同业务场景最近的一次诊断结果。目标数据诊断请求可以指针对第二目标业务场景的诊断请求,当前时间可以指接收到目标数据诊断请求的时间。将当前时间与诊断结果集合中对应的业务场景的最近一次诊断时间进行比较,若这两个时间的时间间隔小于预设时间长度,则将诊断结果集合中该业务场景最近一次诊断结果作为目标数据诊断请求的诊断结果。这种方法的好处是,能够减少基于目标数据诊断请求进行数据诊断处理的操作,从而可以释放设备的处理性能,提高数据诊断效率。此外,为了提高对目标数据诊断请求进行数据诊断的准确性,在上述进行业务场景信息匹配的基础上,还可以增加进行数据诊断方式的匹配等。
如上述各实施例的描述可知,上述各实施例可以是针对某一个业务场景进行数据诊断。但业务系统通常包括多个业务场景,因此本公开实施例还提供了能够对多个业务场景覆盖校验的方法。具体地,可以包括如下步骤:
根据第一业务数据获取场景跳转数据;
根据场景跳转数据和预设的场景关联数据确定跳转场景信息;
根据跳转场景信息在预设数据库中确定与跳转场景信息关联的第二结构化数据,并根据第二结构化数据中包含的数据关系确定待诊断的第二业务数据;
获取第二业务数据对应的第二数据诊断方式;
基于第二数据诊断方式对第二业务数据进行数据诊断。
在一些恶实施例中,场景跳转数据可以指第一业务数据中能够跳转至其他场景的数据。场景关联数据可以指预先设置的用于将业务系统中不同业务场景进行串联的数据,如图7所示的场景关联数据可以是渠道合同场景→商户合同场景→游戏场景(包括上线集群场景、物品/点卷场景、发货场景、包月/订阅场景)。场景关联数据的构建方式可以包括如下步骤:
对目标应用的业务场景信息进行划分,得到子场景信息;
基于子场景信息对应的跳转数据对子场景信息进行信息串联,得到场景关联数据。
在一些实施例中,可以预先对目标应用对应的所有业务场景信息进行划分,得到对应于不同业务场景的子场景信息。跳转数据可以指子场景信息对应的场景的入参数据,可以基于业务系统的业务逻辑和跳转数据将子场景信息进行串联,得到场景关联信息。
在一些实施例中,还可以是基于对象的历史浏览记录确定对象的场景使用习惯,基于该场景使用习惯设置场景关联数据。基于场景使用习惯设置场景关联数据的好处事,能够贴合对象的使用习惯,减少对对象少使用的场景进行诊断造成资源浪费的情况。可以理解的是,还可以是上述两种设置方法的结合,如先根据业务逻辑设置一个初始的场景关联数据,而后根据对象的场景使用习惯对该初始的场景关联数据进行优化,得到最终的场景关联数据。这种结合设置的方法的好处是,能够减少基于场景使用习惯从头开始设置场景关联数据的情况,从而提高场景关联数据的设置效率和设置准确性。
在场景关联数据中各个场景可以基于跳转数据进行串联。因此,可以基于场景跳转数据和场景关联数据确定跳转场景信息。跳转场景信息可以指能够基于场景跳转数据从业务场景信息对应的场景跳转到的其他场景。例如,业务场景信息对应的场景可以是渠道合同场景,渠道合同场景对应的场景跳转信息可以包括商户合同场景的入参信息,因此可以将商户合同场景对应的信息作为跳转场景信息。又如,业务场景信息对应的场景可以是商户合同场景,商户合同场景对应的场景跳转信息可以包括多种游戏场景的入参信息,如包括上线集群场景的入参信息、物品/点卷场景的入参信息和发货场景的入参信息,此时可以基于对象的场景使用习惯、场景对应的数据的历史出错次数等方式确定跳转场景信息。如在线集群场景、物品/点卷场景和发货场景中,发货场景对应的数据的历史出错次数最多,则可以将发货场景作为待跳转的场景,发货场景对应的信息作为跳转场景信息。由于不同场景进行数据诊断所使用的数据诊断资源可能不同,因此还可以基于设备当前剩余的诊断资源从多个可跳转的场景中确定最终的跳转场景。
可以理解的是,确定跳转场景信息后,基于跳转场景信息确定第二结构化数据和第二业务数据的方法,与上述实施例中基于业务场景信息确定第一结构化数据和第一业务数据的方法类似。基于第二业务数据确定第二数据诊断方式并进行数据诊断的方法,与上述实施例中基于第一业务数据确定第一数据诊断方式并进行数据诊断的方法类似。本公开实施例对此都不再赘述。
本公开实施例基于场景关联数据确定跳转场景信息并进行数据诊断的好处是,能够对业务系统对应的多个业务场景进行覆盖诊断。此外,这种方法还可以确定某个业务场景是否可以使用。如图3所示,基于这种方法可以确定包月/订阅功能、账户互通功能等对应的场景无法使用。
具体地,确定某个业务场景是否可以使用的方法可参照表达式校验中对枚举型字段的校验。假设跳转场景信息是包月/订阅功能对应的场景的信息,若第二业务数据中类型字段对应的类型值不等于1且不等于0,则可以认为包月/订阅功能对应的场景不能使用。
综上,本公开实施例提供的数据处理方法,基于场景关联信息和数据诊断(包括表达式校验、字段格式校验、脚本校验)的方式,能够实现对业务场景对应的数据进行自动诊断,减少了相关技术中基于人工诊断导致的耗时长、无法快速诊断的问题。并且,本公开实施例基于跳转场景信息还可以实现业务系统的场景全覆盖诊断,相较于相关技术中针对不同场景使用不同脚本进行数据诊断的方式,本公开实施例提供的数据处理方法相当于一种模板化方法,能够对全业务场景使用,从而减少了对全业务场景进行数据诊断时的维护成本。
如图8所示,为本公开实施例提供的数据处理方法的另一流程示意图。方法具体包括如下步骤:
步骤810,获取针对目标应用的数据诊断请求,识别数据诊断请求对应的业务场景信息。
在一些实施例中,目标应用可以是用于将支付渠道集合的应用程序。目标应用可以包括渠道支付场景、渠道合同场景、商户合同场景和游戏场景等。可以通过上述实施例描述的方式获取该目标应用的数据诊断请求,从数据诊断请求中可以识别得到待进行数据诊断的业务场景的信息(即业务场景信息)。例如,当对象选择某个支付渠道下单报错导致无法下单时,可以通过触发预设控件的方式生成数据诊断请求。通过对该数据诊断请求进行识别,可以确认对象当前处于渠道支付场景,因此识别到的业务场景信息可以是对应于渠道支付场景的信息。
步骤820,根据业务场景信息确定与业务场景信息关联的第一结构化数据,并根据第一结构化数据包含的数据关系确定待诊断的第一业务数据。
在一些实施例中,可以基于渠道支付场景对应的信息对预设的关联配置数据表进行查询,得到与渠道支付场景关联的第一结构化数据。如第一结构化数据可以包括支付交易数据、参与方数据和设备数据等。其中,支付交易数据可以包括交易金额、交易时间戳、交易编号、支付方式数据等,参与方数据可以包括付款方信息和收款方信息等,设备数据可以包括设备地址和设备操作系统版本等。以第一结构化数据为支付方式数据(即支付渠道)为例,支付方式包含的数据关系可以是支付方式数据↔回调流水等。因此,可以将支付方式数据和回调流水作为第一业务数据。
步骤830,根据第一业务数据对应的第一数据诊断方式对第一业务数据进行数据诊断,得到对应的诊断结果。
在一些实施例中,可以基于第一业务数据的数据类型确定第一数据诊断方式,或者基于数据关系确定第一业务数据的第一数据诊断方式。以基于第一业务数据的数据类型确定第一数据诊断方式为例,在第一业务数据为支付方式数据的情形下,由于支付方式数据的数据类型为内部诊断类型,因此支付方式数据的第一数据诊断方式可以是内部诊断方式。此时可以基于表达式校验或字段格式校验的方式对第一业务数据进行数据诊断,并得到对应的诊断结果。在第一业务数据为回调流水的情形下,由于回调流水的数据类型为外部诊断类型,因此回调流水的第一数据诊断方式可以为外部诊断方式。此时可以基于回调流水构建诊断脚本,执行诊断脚本以调取外部系统的校验数据,将该校验数据与回调流水进行比对并得到对应的诊断结果。
步骤840,根据第一业务数据和场景关联数据确定跳转场景信息。
在一些实施例中,根据第一业务数据获取场景跳转数据,如回调流水的场景跳转数据可以是合同名称。根据场景跳转数据和预设的场景关联数据可以确定待跳转的场景,例如场景关联数据可以是渠道支付场景→商户合同场景→游戏场景。因此,基于合同名称可以跳转到商户合同场景,将商户合同场景对应的信息作为跳转场景信息。
步骤850,根据跳转场景信息确定与跳转场景信息关联的第二结构化数据,并根据第二结构化数据包含的数据关系确定待诊断的第二业务数据。
在一些实施例中,确定第二结构化数据的方式与确定第一结构化数据的方式类似,例如基于商户合同场景对应的信息对预设的关联配置数据表进行查询,得到与商户合同场景关联的第二结构化数据。根据第二结构数据包含的数据关系,确定与第二结构化数据存在数据关联关系的其他结构化数据,将其他结构化数据和该第二结构化数据作为第二业务数据。
步骤860,根据第二业务数据对应的第二数据诊断方式对第二业务数据进行数据诊断,得到对应的诊断结果。
在一些实施例中,以基于第二业务数据的数据类型确定第二数据诊断方式为例。若第二业务数据的数据类型内部诊断类型,可以基于表达式校验或字段格式校验的方式对第二业务数据进行数据诊断并得到对应的诊断结果。若第二业务数据的数据类型为外部诊断类型,可以基于构建诊断脚本的方式进行数据诊断并得到对应的诊断结果。
在一些实施例中,当执行完步骤860以后,可以确定场景关联数据中的所有场景是否都已进行数据诊断。若存在未进行数据诊断的场景,则循环执行步骤840至步骤860,直至所有场景都被覆盖。如在上述实施例中,场景关联数据:渠道支付场景→商户合同场景→游戏场景中还存在游戏场景未被诊断,此时可以重新执行步骤840至步骤860,以对游戏场景进行数据诊断。可以理解的是,在每一次循环中,都可以将上一次循环确定的第二业务数据作为本次循环的第一业务数据,以能够跳转到其他场景。例如,当对商户合同场景完成数据诊断并进入新一轮循环时,可以将商户合同场景对应的数据作为第一业务数据,以能够基于该第一业务数据确定新的跳转场景信息(如游戏场景对应的信息)。
将步骤810至步骤860的数据诊断方式与相关技术中在现网支付下单场景进行定位诊断的方式比较可知,本公开实施例可以基于数据关联关系和数据诊断方式进行数据诊断,减少了依赖对业务熟悉的操作人员进行数据诊断的情况,即可以实现“一键诊断”的效果,因此本公开实施例可以提高数据诊断效率。
可以理解的是,虽然上述各个流程图中的各个步骤按照箭头的表征依次显示,但是这些步骤并不是必然按照箭头表征的顺序依次执行。除非本实施例中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时间执行完成,而是可以在不同的时间执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是,在本公开的各个具体实施方式中,当涉及到需要根据目标对象属性信息或属性信息集合等与目标对象特性相关的数据进行相关处理时,都会先获得目标对象的许可或者同意,而且,对这些数据的收集、使用和处理等,都会遵守相关地区的相关法律法规和标准。此外,当本申请实施例需要获取目标对象属性信息时,会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意,在明确获得目标对象的单独许可或者单独同意之后,再获取用于使本申请实施例能够正常运行的必要的目标对象相关数据。
图9为本公开实施例提供的数据处理装置900的结构示意图。该数据处理装置900包括:
请求获取单元910,用于获取针对目标应用的数据诊断请求,目标应用的应用数据存储于预设数据库;
识别单元920,用于识别数据诊断请求对应的业务场景信息;
数据确定单元930,用于根据业务场景信息在预设数据库中确定与业务场景信息关联的第一结构化数据,并根据第一结构化数据中包含的数据关系确定待诊断的第一业务数据;
诊断方式获取单元940,用于获取第一业务数据对应的第一数据诊断方式;
数据诊断单元950,用于基于第一数据诊断方式对第一业务数据进行数据诊断,得到数据诊断请求对应的诊断结果。
可选地,在一些实施例中,数据诊断单元950用于:
若第一数据诊断方式为内部诊断方式,对第一业务数据进行数据校验,得到校验结果;
将校验结果与预设的结果配置数据进行结果匹配,得到诊断结果;
若第一数据诊断方式为外部诊断方式,根据第一业务数据构建诊断脚本;
基于诊断脚本获取外部系统的校验数据,并基于校验数据对第一业务数据进行数据诊断,得到诊断结果。
可选地,在一些实施例中,数据诊断单元950用于:
获取第一子业务数据中业务字段对应的业务值;
若业务值与预设的第一校验值相等,对第二子业务数据进行数据匹配,得到校验结果。
可选地,在一些实施例中,数据诊断单元950用于:
获取所述第一业务数据中类型字段对应类型值;
将所述类型值与预设的第二校验值进行比较,得到所述校验结果。
可选地,在一些实施例中,数据诊断单元950用于:
若所述第一业务数据为单表数据,对所述第一业务数据的字段值进行空值校验;
若所述空值校验结果表示所述字段值为非空值,对所述字段值进行格式校验,得到所述校验结果。
可选地,在一些实施例中,数据处理装置还包括场景跳转单元。
场景跳转单元用于根据所述第一业务数据获取场景跳转数据,并用于根据所述场景跳转数据和预设的场景关联数据确定跳转场景信息;
数据确定单元930还用于根据所述跳转场景信息在所述预设数据库中确定与所述跳转场景信息关联的第二结构化数据,并根据所述第二结构化数据中包含的数据关系确定待诊断的第二业务数据;
诊断方式获取单元940还用于获取所述第二业务数据对应的第二数据诊断方式;
数据诊断单元950还用于基于所述第二数据诊断方式对所述第二业务数据进行数据诊断。
可选地,在一些实施例中,场景跳转单元用于:
对所述目标应用的业务场景信息进行划分,得到子场景信息;
基于所述子场景信息对应的跳转数据对所述子场景信息进行信息串联,得到所述场景关联数据。
可选地,在一些实施例中,识别单元920用于:
根据数据诊断请求获取目标应用对应的界面信息;
基于预设的场景识别模型对界面信息进行场景识别,得到业务场景信息。
可选地,在一些实施例中,识别单元920用于:
基于预设的场景识别模型识别多帧界面图像之间的图像差异特征;
基于图像差异特征确定业务场景信息。
可选地,在一些实施例中,数据诊断单元950用于:
基于预设频率对目标应用的各业务场景的数据进行诊断,并将每一业务场景的最近一次诊断结果存储于诊断结果集合;
当接收到目标业务场景对应的目标数据诊断请求时,确定当前时间与目标业务场景对应数据的最近一次诊断时间之间的时间间隔;
当时间间隔小于预设时间长度时,将诊断结果集合中与目标业务场景对应的目标诊断结果确定为目标数据诊断请求对应的诊断结果。
参照图10,图10为实现本公开实施例的数据处理方法的终端140的部分的结构框图,该终端140包括:射频(Radio Frequency,简称RF)电路1010、存储器1015、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity,简称WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解,图10示出的终端140结构并不构成对手机或电脑的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
RF电路1010可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1080处理;另外,将设计上行的数据发送给基站。
存储器1015可用于存储软件程序以及模块,处理器1080通过运行存储在存储器1015的软件程序以及模块,从而执行终端的各种功能应用以及数据处理。
输入单元1030可用于接收输入的数字或字符信息,以及产生与终端的设置以及功能控制有关的键信号输入。具体地,输入单元1030可包括触控面板1031以及其他输入装置1032。
显示单元1040可用于显示输入的信息或提供的信息以及终端的各种菜单。显示单元1040可包括显示面板1041。
音频电路1060、扬声器1061,传声器1062可提供音频接口。
在本实施例中,该终端140所包括的处理器1080可以执行前面实施例的数据处理方法。
本公开实施例的终端140包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。本发明实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
图11为实施本公开实施例的数据处理方法的服务器110的部分的结构框图。服务器110可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,简称CPU)1122(例如,一个或一个以上处理器)和存储装置1132,一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储装置)。其中,存储装置1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器110中的一系列指令操作。更进一步地,中央处理器1122可以设置为与存储介质1130通信,在服务器110上执行存储介质1130中的一系列指令操作。
服务器110还可以包括一个或一个以上电源1126,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1158,和/或,一个或一个以上操作系统1141,例如Windows ServerTM,Mac OS XTM,UnixTM ,LinuxTM,FreeBSDTM等等。
服务器110中的中央处理器1122可以用于执行本公开实施例的数据处理方法。
本公开实施例还提供一种存储介质,存储介质用于存储程序代码,程序代码用于执行前述各个实施例的数据处理方法。
本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序。计算机设备的处理器读取该计算机程序并执行,使得该计算机设备执行实现上述的数据处理方法。
本公开的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“包含”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。
应当理解,在本公开中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
应了解,在本公开实施例的描述中,多个(或多项)的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。
在本公开所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
还应了解,本公开实施例提供的各种实施方式可以任意进行组合,以实现不同的技术效果。
以上是对本公开的实施方式的具体说明,但本公开并不局限于上述实施方式,熟悉本领域的技术人员在不违背本公开精神的条件下还可作出种种等同的变形或替换,这些等同的变形或替换均包括在本公开权利要求所限定的范围内。
Claims (14)
1.一种数据处理方法,其特征在于,所述方法包括:
获取针对目标应用的数据诊断请求,所述目标应用的应用数据存储于预设数据库;
识别所述数据诊断请求对应的业务场景信息;
根据所述业务场景信息在所述预设数据库中确定与所述业务场景信息关联的第一结构化数据,并根据所述第一结构化数据中包含的数据关系确定待诊断的第一业务数据;
获取所述第一业务数据对应的第一数据诊断方式;
基于所述第一数据诊断方式对所述第一业务数据进行数据诊断,得到所述数据诊断请求对应的诊断结果。
2.根据权利要求1所述的方法,其特征在于,所述第一数据诊断方式包括内部诊断方式或外部诊断方式;
基于所述第一数据诊断方式对所述第一业务数据进行数据诊断,得到所述数据诊断请求对应的诊断结果,包括:
若所述第一数据诊断方式为所述内部诊断方式,对所述第一业务数据进行数据校验,得到校验结果;
将所述校验结果与预设的结果配置数据进行结果匹配,得到所述诊断结果;
若所述第一数据诊断方式为外部诊断方式,根据所述第一业务数据构建诊断脚本;
基于所述诊断脚本获取外部系统的校验数据,并基于所述校验数据对所述第一业务数据进行数据诊断,得到所述诊断结果。
3.根据权利要求2所述的方法,其特征在于,所述第一业务数据包括第一子业务数据和第二子业务数据,所述对所述第一业务数据进行数据校验,得到校验结果,包括:
获取所述第一子业务数据中业务字段对应的业务值;
若所述业务值与预设的第一校验值相等,对所述第二子业务数据进行数据匹配,得到所述校验结果。
4.根据权利要求2所述的方法,其特征在于,所述对所述第一业务数据进行数据校验,得到校验结果,包括:
获取所述第一业务数据中类型字段对应类型值;
将所述类型值与预设的第二校验值进行比较,得到所述校验结果。
5.根据权利要求2所述的方法,其特征在于,所述对所述第一业务数据进行数据校验,得到校验结果,包括:
若所述第一业务数据为单表数据,对所述第一业务数据的字段值进行空值校验;
若所述空值校验的结果表示所述字段值为非空值,对所述字段值进行格式校验,得到所述校验结果。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
根据所述第一业务数据获取场景跳转数据;
根据所述场景跳转数据和预设的场景关联数据确定跳转场景信息;
根据所述跳转场景信息在所述预设数据库中确定与所述跳转场景信息关联的第二结构化数据,并根据所述第二结构化数据中包含的数据关系确定待诊断的第二业务数据;
获取所述第二业务数据对应的第二数据诊断方式;
基于所述第二数据诊断方式对所述第二业务数据进行数据诊断。
7.根据权利要求6所述的方法,其特征在于,在所述根据所述场景跳转数据和预设的场景关联数据确定跳转场景信息之前,所述方法还包括构建所述场景关联数据,包括:
对所述目标应用的业务场景信息进行划分,得到子场景信息;
基于所述子场景信息对应的跳转数据对所述子场景信息进行信息串联,得到所述场景关联数据。
8.根据权利要求1所述的方法,其特征在于,所述识别所述数据诊断请求对应的业务场景信息,包括:
根据所述数据诊断请求获取所述目标应用对应的界面信息;
基于预设的场景识别模型对所述界面信息进行场景识别,得到业务场景信息。
9.根据权利要求8所述的方法,其特征在于,所述界面信息包括连续多帧界面图像,所述基于预设的场景识别模型对所述界面信息进行场景识别,得到业务场景信息,包括:
基于预设的场景识别模型识别所述多帧界面图像之间的图像差异特征;
基于所述图像差异特征确定业务场景信息。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于预设频率对所述目标应用的各业务场景的数据进行诊断,并将每一业务场景的最近一次诊断结果存储于诊断结果集合;
当接收到目标业务场景对应的目标数据诊断请求时,确定当前时间与所述目标业务场景对应数据的最近一次诊断时间之间的时间间隔;
当所述时间间隔小于预设时间长度时,将所述诊断结果集合中与所述目标业务场景对应的目标诊断结果确定为目标数据诊断请求对应的诊断结果。
11.一种数据处理装置,其特征在于,所述装置包括:
请求获取单元,用于获取针对目标应用的数据诊断请求,所述目标应用的应用数据存储于预设数据库;
识别单元,用于识别所述数据诊断请求对应的业务场景信息;
数据确定单元,用于根据所述业务场景信息在所述预设数据库中确定与所述业务场景信息关联的第一结构化数据,并根据所述第一结构化数据中包含的数据关系确定待诊断的第一业务数据;
诊断方式获取单元,用于获取所述第一业务数据对应的第一数据诊断方式;
数据诊断单元,用于基于所述第一数据诊断方式对所述第一业务数据进行数据诊断,得到所述数据诊断请求对应的诊断结果。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现根据权利要求1至7任意一项所述的方法。
13.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现根据权利要求1至7任意一项所述的方法。
14.一种计算机程序产品,该计算机程序产品包括计算机程序,所述计算机程序被计算机设备的处理器读取并执行,使得该计算机设备执行根据权利要求1至10任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311472754.2A CN117194094A (zh) | 2023-11-07 | 2023-11-07 | 数据处理方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311472754.2A CN117194094A (zh) | 2023-11-07 | 2023-11-07 | 数据处理方法、装置、存储介质及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117194094A true CN117194094A (zh) | 2023-12-08 |
Family
ID=88996494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311472754.2A Pending CN117194094A (zh) | 2023-11-07 | 2023-11-07 | 数据处理方法、装置、存储介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117194094A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150179083A1 (en) * | 2013-12-23 | 2015-06-25 | Abb Technology Ag | Interactive interface for asset health management |
CN113778725A (zh) * | 2020-06-03 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种数据校验方法和装置 |
CN115292163A (zh) * | 2022-07-08 | 2022-11-04 | 中国工商银行股份有限公司 | 应用程序的检测方法、装置及计算机可读存储介质 |
WO2023056723A1 (zh) * | 2021-10-08 | 2023-04-13 | 苏州浪潮智能科技有限公司 | 故障诊断的方法、装置、电子设备及存储介质 |
CN116010220A (zh) * | 2023-02-09 | 2023-04-25 | 北京优特捷信息技术有限公司 | 一种告警诊断方法、装置、设备及存储介质 |
CN116346650A (zh) * | 2023-03-24 | 2023-06-27 | 成都赛力斯科技有限公司 | 一种can信号处理方法、装置、系统及电子设备 |
-
2023
- 2023-11-07 CN CN202311472754.2A patent/CN117194094A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150179083A1 (en) * | 2013-12-23 | 2015-06-25 | Abb Technology Ag | Interactive interface for asset health management |
CN113778725A (zh) * | 2020-06-03 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种数据校验方法和装置 |
WO2023056723A1 (zh) * | 2021-10-08 | 2023-04-13 | 苏州浪潮智能科技有限公司 | 故障诊断的方法、装置、电子设备及存储介质 |
CN115292163A (zh) * | 2022-07-08 | 2022-11-04 | 中国工商银行股份有限公司 | 应用程序的检测方法、装置及计算机可读存储介质 |
CN116010220A (zh) * | 2023-02-09 | 2023-04-25 | 北京优特捷信息技术有限公司 | 一种告警诊断方法、装置、设备及存储介质 |
CN116346650A (zh) * | 2023-03-24 | 2023-06-27 | 成都赛力斯科技有限公司 | 一种can信号处理方法、装置、系统及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3859644B1 (en) | Block chain-based data check system and method, computing device, and storage medium | |
CN107391359B (zh) | 一种业务测试方法及装置 | |
CN106548402B (zh) | 资源转移监控方法及装置 | |
CN107977457B (zh) | 数据清算方法、系统和计算机可读存储介质 | |
CN104579909B (zh) | 一种用户信息的分类、用户分组信息的获取方法和设备 | |
CN110060139B (zh) | 账务处理方法及装置 | |
CN109815039A (zh) | 业务软件的测试方法及装置、存储介质、计算机设备 | |
CN110602056A (zh) | 一种业务参数传递方法及装置 | |
CN114881711B (zh) | 基于请求行为进行异常分析的方法及电子设备 | |
TW202032466A (zh) | 用戶年齡預測方法、裝置及設備 | |
CN110704486A (zh) | 数据处理方法、装置、系统、存储介质和服务器 | |
CN109918385A (zh) | 三方对账方法、电子装置及可读存储介质 | |
CN110336872B (zh) | 第三方数据获取的方法、装置及系统 | |
CN117194094A (zh) | 数据处理方法、装置、存储介质及计算机设备 | |
CN111078545A (zh) | 测试数据自动生成方法及系统 | |
CN116109322A (zh) | 数据采集方法、数据采集设备以及计算机可读存储介质 | |
CN108961039B (zh) | 交易处理方法、装置及系统 | |
CN113190562A (zh) | 一种报表生成方法、装置及电子设备 | |
CN110851254A (zh) | 基于微服务的设备生产方法、装置、服务器和存储介质 | |
CN114115524B (zh) | 智能水杯的交互方法、存储介质及电子装置 | |
CN113515332B (zh) | 一种数据生成方法、装置、设备及存储介质 | |
CN108446926B (zh) | 数据处理方法和服务器 | |
US20220139097A1 (en) | Method for determining annotation capability information, related apparatus and computer program product | |
CN117032646A (zh) | 指标配置方法、指标执行方法及系统 | |
CN108510382B (zh) | 一种交易信息处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |