CN108694522A - 一种数据分析方法及装置 - Google Patents
一种数据分析方法及装置 Download PDFInfo
- Publication number
- CN108694522A CN108694522A CN201810734453.5A CN201810734453A CN108694522A CN 108694522 A CN108694522 A CN 108694522A CN 201810734453 A CN201810734453 A CN 201810734453A CN 108694522 A CN108694522 A CN 108694522A
- Authority
- CN
- China
- Prior art keywords
- record
- error
- report
- type
- submit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种数据分析方法及装置,其中,方法包括:确定分析时间内所产生的待分析记录的报送状态、异常交易逻辑、交易信息和错误信息;所述错误信息包括外部监管部门反馈的所述待分析记录中存在的错误数据的错误类型;依据所述报送状态中目标报送状态的参数和所述异常交易逻辑的参数,评估所述待分析记录的质量;确定目标错误类型;所述目标错误类型为所述错误信息中出现次数大于预设次数阈值的错误类型;依据所述交易信息在所述分析时间内的分布,预测未来所产生的记录中所述交易信息的变化趋势。通过本申请实施例可以提高对错误数据的修改效率、给数据报送系统升级提供数据支持和为业务人员决策提供数据支撑。
Description
技术领域
本申请涉及数据处理领域,特别是涉及一种数据分析方法及装置。
背景技术
由于外部监管系统对数据报送系统所报送的记录的质量具有一定要求,因此,数据报送系统对待报送记录中的数据进行校验,将存在错误数据的记录的报送状态确定为需补录状态,将不存在错误数据的记录的报送状态确定为可报送状态;并将需补录状态的记录反馈给业务人员以进行修改,并对修改后的记录中的数据再次进行校验,直至所有待报送记录的报送状态都为可报送状态时,将可报送状态的记录发送至外部监管系统。外部监管系统对所接收的每条记录中的数据进行审核,并对每条记录反馈结果状态,例如,针对每条记录反馈报送成功或者报送失败的结果状态,此时,每条记录的报送状态更新为外部监管系统所反馈的结果状态。
在实际应用中,需要对数据报送系统校验出的错误数据以及外部监管系统反馈的错误数据进行修改,但是现有技术对错误数据进行修改的效率较低。虽然数据报送系统对待报送记录中的数据进行校验,但是,数据报送系统校验后的记录中依然存在不符合外部监管系统要求的错误数据,因此,需要整体掌握向外部监管系统所报送的记录的质量,以便为数据报送系统的升级提供数据支持。向外部监管系统报送的记录中的某些数据包含重要信息,该重要信息对业务人员进行决策具有重要作用。
因此,为了提高对错误数据的修改效率、为了给数据报送系统升级提供数据支持和为业务人员决策提供数据支撑,需要对向外部监管系统发送的记录进行分析。
发明内容
基于此,本申请提出了一种数据分析方法,用以对向外部监管系统发送的记录进行分析,以提高对错误数据的修改效率、给数据报送系统升级提供数据支持和为业务人员决策提供数据支撑。
本申请还提供了一种数据分析装置,用以保证上述方法在实际中的实现及应用。
本申请提供的技术方案为:
本申请公开了一种数据分析方法,包括:
确定分析时间内所产生的待分析记录的报送状态、异常交易逻辑、交易信息和错误信息;所述错误信息包括外部监管部门反馈的所述待分析记录中存在的错误数据的错误类型;
依据所述报送状态中目标报送状态的参数和所述异常交易逻辑的参数,评估所述待分析记录的质量;所述目标报送状态为用于表示所述待分析记录存在错误数据的报送状态;所述参数为出现次数或者所述出现次数占所述待分析记录的总数量的百分比;
确定目标错误类型;所述目标错误类型为所述错误信息中出现次数大于预设次数阈值的错误类型;
依据所述交易信息在所述分析时间内的分布,预测未来所产生的记录中所述交易信息的变化趋势。
其中,所述依据所述报送状态中目标报送状态的参数和所述异常交易逻辑的参数,评估所述待分析记录的质量,包括:
确定第一百分比与第二百分比;所述第一百分比为所述目标报送状态的出现次数占所述总数量的百分比;所述第二百分比为所述异常交易逻辑的出现次数占所述总数量的百分比;
若所述第一百分比大于预设第一阈值,或者所述第二百分比大于预设第二阈值,则确定所述待分析记录的质量不满足预设质量要求;
若所述第一百分比不大于所述预设第一阈值,且所述第二百分比不大于所述预设第二阈值,则确定所述待分析记录的质量满足所述预设质量要求。
其中,所述交易信息包括:交易金额、交易量和交易余额;
所述依据所述交易信息在所述分析时间的分布,预测未来所产生的记录中所述交易信息的变化趋势,包括:
确定所述交易金额在所述评估时间内的变化规律、所述交易量在所述评估时间内的分布规律和所述交易余额在所述评估时间内的分布规律;
依据所述交易金额在所述评估时间的分布规律,预设未来所产生的记录中所述交易金额的变化趋势,依据所述交易量在所述评估时间的分布规律,预设未来所产生的记录中所述交易量的变化趋势,依据所述交易余额在所述评估时间的分布规律,预设未来所产生的记录中所述交易余额的变化趋势。
其中,所述错误信息还包括与外部监管系统所反馈的错误数据的错误类型对应的错误原因;
在所述确定目标错误类型之后,还包括:
获取所述目标错误类型对应的错误原因;
依据所述错误原因制定修改规则,得到所述目标错误类型与所述修改规则间的对应关系;
按照所述修改规则,对隶属于所述目标错误类型的错误数据进行修改。
其中,所述目标报送状态包括报送失败、修改报送失败和删除报送失败;
在所述依据所述报送状态中目标报送状态的参数和所述异常交易逻辑的参数,评估所述待分析记录的质量之后,还包括:
获取第一错误类型,所述第一错误信息为报送状态为所述报送失败、所述修改报送失败和所述删除报送失败的待分析记录中错误数据对应的错误类型;
检测所述目标错误类型中是否存在所述第一错误类型;
若所述目标错误类型中存在所述第一错误类型,则按照所述目标错误类型与修改规则间的对应关系,确定所述第一错误类型对应的修改规则;
按照与所述第一错误类型对应的修改规则,修改所述报送状态为报送失败的待分析记录中的错误数据。
本申请还公开了一种数据分析装置,包括:
第一确定单元,用于确定分析时间内所产生的待分析记录的报送状态、异常交易逻辑、交易信息和错误信息;所述错误信息包括外部监管部门反馈的所述待分析记录中存在的错误数据的错误类型;
评估单元,用于依据所述报送状态中目标报送状态的参数和所述异常交易逻辑的参数,评估所述待分析记录的质量;所述目标报送状态为用于表示所述待分析记录存在错误数据的报送状态;所述参数为出现次数或者所述出现次数占所述待分析记录的总数量的百分比;
第二确定单元,用于确定目标错误类型;所述目标错误类型为所述错误信息中出现次数大于预设次数阈值的错误类型;
预测单元,用于依据所述交易信息在所述分析时间内的分布,预测未来所产生的记录中所述交易信息的变化趋势。
其中,所述评估单元,包括:
第一确定子单元,用于确定第一百分比与第二百分比;所述第一百分比为所述目标报送状态的出现次数占所述总数量的百分比;所述第二百分比为所述异常交易逻辑的出现次数占所述总数量的百分比;
第二确定子单元,用于若所述第一百分比大于预设第一阈值,或者所述第二百分比大于预设第二阈值,则确定所述待分析记录的质量不满足预设质量要求;若所述第一百分比不大于所述预设第一阈值,且所述第二百分比不大于所述预设第二阈值,则确定所述待分析记录的质量满足所述预设质量要求。
其中,所述交易信息包括交易金额、交易量和交易余额;
所述预测单元,包括:
第三确定子单元,用于确定所述交易金额在所述评估时间内的变化规律、所述交易量在所述评估时间内的分布规律和所述交易余额在所述评估时间内的分布规律;
预测子单元,用于依据所述交易金额在所述评估时间的分布规律,预设未来所产生的记录中所述交易金额的变化趋势,依据所述交易量在所述评估时间的分布规律,预设未来所产生的记录中所述交易量的变化趋势,依据所述交易余额在所述评估时间的分布规律,预设未来所产生的记录中所述交易余额的变化趋势。
其中,所述错误信息还包括与外部监管系统所反馈的错误数据的错误类型对应的错误原因;
所述装置还包括:
第一获取单元,用于在所述第二确定子单元确定所述目标错误类型之后,获取所述目标错误类型对应的错误原因;
制定单元,用于依据所述错误原因制定修改规则,得到所述目标错误类型与所述修改规则间的对应关系;
第一修改单元,用于按照所述修改规则,对隶属于所述目标错误类型的错误数据进行修改。
其中,所述目标报送状态包括报送失败、修改报送失败和删除报送失败;
所述装置还包括:
第二获取单元,用于在所述评估单元评估所述待分析记录的质量之后,获取第一错误类型,所述第一错误信息为报送状态为所述报送失败、所述修改报送失败和所述删除报送失败的待分析记录中错误数据对应的错误类型;
检测单元,用于检测所述目标错误类型中是否存在所述第一错误类型;
第三确定单元,用于在所述检测单元检测出所述目标错误类型中存在所述第一错误类型的情况下,按照所述目标错误类型与修改规则间的对应关系,确定所述第一错误类型对应的修改规则;
第二修改单元,用于按照与所述第一错误类型对应的修改规则,修改所述报送状态为报送失败的待分析记录中的错误数据。
本申请的有益效果为:
在本申请实施例中,确定分析时间内所产生的待分析记录的报送状态、异常交易逻辑、交易信息和错误信息。其中,报送状态中的目标报送状态的参数与异常交易逻辑的参数,都反映待分析记录中错误数据的出现情况,进而依据目标报送状态的参数和异常交易逻辑的参数,可以评估出待分析记录的质量;外部监管系统反馈的错误信息中出现次数大于预设次数阈值的错误类型,体现了待分析记录中的错误数据集中在哪种错误类型上,进而可以针对集中的错误类型制定统一的修改策略,批量对集中的错误类型对应的错误数据进行修改,进而提高对错误数据的修改效率;待分析记录中交易信息可以反映一个企业的发展情况,并且,可以依据交易信息的变化趋势预测未来记录中交易信息的变化趋势,进而业务人员可以依据未来记录中交易信息的变化趋势进行决策,从而为业务人员进行决策提供了数据支撑。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请中记录的报送状态间的转换示意图;
图2为本申请中一种数据分析方法实施例的流程图;
图3为本申请中一种数据分析装置实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在现有技术中,数据报送系统向外部监管系统发送记录的详细过程可以包括:
数据报送系统接收到待向外部监管系统发送的待报送记录后,按照数据要求对每条待报送记录中的数据进行校验,其中数据要求与外部审核系统对所接收到的记录中的数据进行审核的要求是相同的。数据报送系统将每条待报送记录中的数据进行校验后,将存在不符合数据要求的错误数据的记录的报送状态确定为需补录状态,将不存在不符合数据要求的错误数据的记录的报送状态确定为可报送状态。
若待报送记录中存在需补录状态的记录,则检测需补录状态的记录中是否存在预设的可修改的错误数据,若存在可修改的错误数据,则对该可修改的错误数据进行修改;并将需补录状态的记录中不可修改的错误数据发送至业务人员,使得业务人员对不可修改的错误数据进行修改。数据报送系统对修改后的数据接着进行校验,直至修改后的数据符合数据要求,此时,将报送状态为需补录的记录的报送状态确定为可报送状态,并将所有报送状态为可报送状态的记录发送至外部监管系统。
外部监管系统对所接收的每条记录按照数据要求进行审核,其中,外部监管系统审核记录的数据要求与数据报送系统所使用的数据要求是相同的。当外部监管系统对审核通过的记录反馈报送成功的状态,对审核不通过的记录反馈报送失败的状态。对于审核不通过的记录除了反馈报送失败的状态为,还反馈错误数据对应的错误类型以及错误原因。
在实际应用中,对于外部监管系统所反馈记录,需要对所反馈的报送状态为报送成功的记录中的数据进行编辑,具体的,可以对数据进行修改,也可以对数据进行删除,并对编辑后的数据进行校验,如果校验通过,则将修改后的记录的报送状态更新为修改可以报送,并将删除后的记录的报送状态更新为删除可报送。对于外部监管系统反馈的报送状态为报送失败的记录,需要对所反馈的报送状态为报送失败的记录中的错误数据进行修改,并对修改后的数据进行再次校验,若校验无误,将报送状态为报送失败的记录的报送状态更新为可报送。
数据报送系统将报送状态为修改可报送、删除可报送和可报送的记录发送至外部监管系统,外部监管系统对所接收到的记录中的数据进行校验,若报送状态为修改可报送的记录通过校验,外部监管系统将该记录的报送状态更新为修改报送成功,若报送状态为修改可报送的记录没有通过校验,外部监管系统对没有通过校验的记录的报送状态更新为修改报送失败。若报送状态为删除可报送的记录通过校验,外部监管系统将该记录的报送状态更新为删除报送成功;若报送状态为删除可报送的记录没有通过校验,外部监管系统将该记录的报送状态更新为删除报送失败。
对于修改报送成功的记录和修改报送失败的记录还可以进行修改或删除,数据报送系统对修改或删除后的记录中的数据进行校验,对于修改报送成功的记录修改后的数据通过校验,则将修改报送成功的记录的报送状态更新为修改可报送;对于修改报送成功的记录删除后的记录通过校验,则将修改报送成功的记录的报送状态更新为删除可报送;若对修改报送失败的记录进行修改后的记录通过校验,则将报送状态为修改报送失败的记录的报送状态更新为修改可报送;若对修改报送失败的记录进行删除后的记录通过校验,则将报送状态为报送失败的记录的报送状态更新为删除可报送。
对于报送状态为删除报送失败的记录只能进行删除操作,若对删除报送失败的记录进行删除后的记录通过校验,则将报送状态为删除报送失败的记录的报送状态更新为删除可报送。
对于上述从数据报送系统接收到待报送记录后,对每个待报送记录中的数据进行校验和后续每个记录的报送状态的转变过程,可以参考图1,该图1为记录的报送状态间的转换示意图。
图2为本申请中一种数据分析方法包括以下步骤:
步骤201:确定分析时间内所产生的待分析记录的报送状态、异常交易逻辑、交易信息和错误信息。
在本实施例中,分析时间为用于分析记录的时间,该分析时间由用户进行确定,具体的,该分析时间可以为一个具体的时间点所确定的时间范围,也可以为一个具体的时间范围。待分析记录为报送状态发生在分析时间内的每个记录。在实际应用中,由于同一条记录的报送状态可能有多个,此时,待分析记录包括各个报送状态的记录。例如,一条交易金额记录在分析时间内的报送状态分别为需补录、可报送、报送成功和修改可报送这四个报送状态,此时,待分析记录中包括对应这个4种报送状态的4条交易金额记录。
例如,分析时间为截止6月15日13点,此时,待分析记录为报送状态发生在截止6月15日13点的记录。分析时间还可以为6月12日到6月15日,此时,待分析记录就是报送状态发生在该分析时间的内的记录。
在本实施例中,报送状态可以包括需补录、可报送、报送成功、报送失败、修改可报送、删除可报送、修改报送成功、修改报送失败、删除报送成功和删除报送失败。
在本实施例中,异常交易逻辑可以包括以下几种场景:无提款交易发生却有还本交易发生、还本金额大于提款金额、实际余额大于签约余额、前后期金额不衔接问题和多个报表中存在同一笔交易。其中,前后金额不衔接的问题可以包括:对于银行自身资本项目中贷款的变动信息,具体的可以为上一期期末余额不等于本期起初余额;对于对外资产负债及交易信息,具体的可以为实际上月末金额不等于本月报表的上月末金额等。
需要说明的是上述所给出的异常交易逻辑只是本实施例为了进行说明,所给出的一部分异常交易逻辑,在实际应用中,异常交易逻辑还可以包括其他内容,本实施例不对异常交易逻辑的具体内容作限定。
在本实施例中,错误信息为外部监管系统对所接收的记录反馈的记录中所存在的错误数据的信息,其中,错误数据的相关信息可以包括错误数据对应的报表编号、错误数据对应的记录编号错误数据对应的错误原因。
在本实施例中,交易信息可以包括交易金额、交易量和交易余额等。当前,在实际应用中,交易信息还可以包括其他与交易相关的信息,本实施例不对交易信息的具体内容作限定。
在本实施例中,确定待分析记录的报送状态的过程可以包括:
在本实施例中,当确定出每个记录的报送状态后,保存记录以及对应报送状态。在本步骤中,从已保存的记录以及报送状态中,获取每个待分析记录的报送状态。
在本实施例中,确定出待分析记录的报送状态后,可以统计每种报送状态的出现次数,或者,每种报送状态的出现次数与待分析记录的总数量间的比值。依据每种报送状态对应的出现次数,或者依据每种报送状态对应的比值,按照从大到小顺序进行排列,得到每种报送状态对应的出现次数的分布图,或者,每种报送状态对应的比值的分布图。
在本实施例中,确定待分析记录的异常交易逻辑的过程可以包括:
在报送系统对待报送记录中的数据进行校验的过程中,数据报送系统按照预设的异常交易逻辑,检测待报送记录中是否存在异常交易逻辑,若存在,则保存所存在的异常交易逻辑。在实际应用中,业务人员也会检测待发送记录中是否存在异常交易逻辑,若检测出异常交易逻辑,则保存所检测出的异常交易逻辑。因此,在本步骤中,可以从已保存的异常交易逻辑中,选取报送状态发生在检测时间的记录的异常交易逻辑。
在本实施例中,确定待分析记录的交易信息的过程可以包括:
按照预设的时间间隔统计待分析记录中交易信息的信息值。例如,预设的时间间隔为月,检测时间为2018年3月到2018年9月,交易信息为交易金额,那么在本步骤中,统计待分析记录中2018年3月的交易金额、2018年4月的交易金额、2018年5月的交易金额……2018年9月的交易金额。
在本实施例中,确定待分析记录的错误信息的过程包括:
由于本实施例中的错误信息主要由两方面产生,一方面为数据报送系统检验出的不符合数据要求的错误数据的信息,该方面的错误信息体现在待分析记录上为存在错误数据的待分析记录的报送状态为需补录;另一方面为外部监管系统对所接收到的记录进行审核后,审核后的数据中不符合数据要求的错误数据的信息,该方面的错误信息体现在待分析记录上为:存在错误数据的待分析记录的报送状态为报送失败、修改报送失败和删除报送失败。因此,在本步骤中,可以统计待分析记录中报送状态为需补录、报送失败修改报送失败和删除报送失败的记录中的错误信息。
步骤202:依据报送状态中目标报送状态的参数和异常交易逻辑的参数,评估待分析记录的质量。
在本实施例中,目标报送状态为用于表示待分析记录存在错误数据的报送状态。其中,目标报送状态可以为需补录、报送失败、修改报送失败和删除报送失败。在本实施例中,目标报送状态的参数可以为目标报送状态的出现次数,或者该目标报送状态的出现次数占待分析记录的总数量的百分比;异常交易逻辑的参数可以为待分析记录中异常交易逻辑的出现次数,或者异常交易逻辑的出现次数占待分析记录的总数量的百分比。
由于待分析记录中目标报送状态和异常交易逻辑都可以体现出待分析记录中存在错误数据,因此,在本步骤中,可以依据目标报送状态的参数和异常逻辑的参数,评估待分析记录的质量。具体的,依据目标报送状态的参数和异常交易逻辑的参数,评估待分析记录的质量的过程可以包括步骤A1~步骤A3:
步骤A1:确定第一百分比与第二百分比。
在本步骤中,第一百分比为目标报送状态的出现次数占待分析记录的总数量的百分比;第二百分比为异常交易逻辑的出现次数占待分析记录的总数量的百分比。
步骤A2:判断第一百分比是否大于预设第一阈值和第二百分比是否大于预设第二阈值。
若第一百分比大于预设第一阈值或者第二百分比大于预设第二阈值,则执行步骤A3,否则,执行步骤A4。
步骤A3:确定待分析记录的质量不满足预设质量要求。
步骤A4:确定待分析记录的质量满足预设质量要求。
在本步骤中,若第一百分比不大于预设第一阈值,且第二百分比不大于所述预设第二阈值,则确定待分析记录的质量满足预设质量要求。
步骤203:确定目标错误类型。
在本实施例中,目标错误类型为错误信息中出现次数大于预设次数阈值的错误类型。由于本实施例中错误信息体现在两方面,一方面为数据报送系统校验出的错误数据和错误数据对应的错误原因。另一方面体现在报送状态为报送失败或者修改报送失败或者删除报送失败的待分析记录中外部监管系统反馈的错误数据和错误数据对应的错误原因。在本实施例中,根据需补录状态、报送失败、修改报送失败和删除报送失败的待分析记录中的错误数据对应的错误原因,将错误原因进行分类,得到错误原因对应的多类错误类型。
在本步骤中,依据隶属每类错误类型的错误原因的出现次数,确定错误原因出现次数大于预设次数阈值的错误类型,并将所确定出的错误类型统称为目标错误类型。
在本实施例中,对隶属于目标错误类型的错误数据进行修改,具体可以包括步骤B1~步骤B3:
步骤B1:获取目标错误类型对应的错误原因。
由于无论是数据报送系统对待分析记录校验出的错误数据,还是外部监管系统反馈的待分析记录中的错误数据,在确定出错误数据的同时,都给出的错误原因。因此,在本步骤中,获取目标错误类型对应的错误原因。
步骤B2:依据错误原因制定修改规则,得到目标错误类型与修改规则间的对应关系。
对隶属于每种目标错误类型的错误原因进行分析,制定隶属于同种目标错误类型的错误原因制定相应的修改规则,此时,得到每类目标错误类型与修改规则间的对应关系。
步骤B3:按照修改规则,对隶属于目标错误类型的错误数据进行修改。
在实际应用中,由于确定出了目标错误类型与修改规则间的对应关系,因此,在确定出目标报送状态时,就可以依据目标报送状态对应错误类型是否存在于目标错误类型,为了描述方便,将目标报送状态对应的错误类型统称为第一错误类型。若存在,可以确定出的第一错误类型对应的修改规则,并按照所确定出的修改规则对第一错误类型对应的错误数据进行修改。
步骤204:依据交易信息在分析时间内的分布,预测未来所产生的记录中交易信息的变化趋势。
在本步骤中,分析时间内所产生的待分析记录中的交易信息按照预设时间间隔分布,就形成了交易信息在分析时间的分布规律,利用机器学习可以根据交易信息在分析时间的分布规律,预测未来所产生的记录中交易信息的变化趋势。
具体的,以交易信息为交易金额、评估时间为2018年3月到2018年10月,具体介绍预测未来所产生的交易信息的变化趋势的过程:
统计出交易金额在2018年3月到2018年10月这段时间内每个月的交易金额,按照时间的先后顺序得到交易信息在分析时间的分布规律,依据深度学习神经网络模型,预测未来所产生的记录中交易信息的变化趋势。
对于预测未来所产生的记录的交易信息中的交易量和交易余额的变化趋势过程与预测未来所产生的记录中较交易金额的变化趋势的过程类似,详细内容可以参考交易金额,这里不再赘述。
在本实施例中,确定分析时间内所产生的待分析记录的报送状态、异常交易逻辑、交易信息和错误信息。其中,报送状态中的目标报送状态的参数与异常交易逻辑的参数,都反映待分析记录中错误数据的出现情况,进而依据目标报送状态的参数和异常交易逻辑的参数,可以评估出待分析记录的质量;外部监管系统反馈的错误信息中出现次数大于预设次数阈值的错误类型,体现了待分析记录中的错误数据集中在哪种错误类型上,进而可以针对集中的错误类型制定统一的修改策略,批量对集中的错误类型对应的错误数据进行修改,进而提高对错误数据的修改效率;待分析记录中交易信息可以反映一个企业的发展情况,并且,可以依据交易信息的变化趋势预测未来记录中交易信息的变化趋势,进而业务人员可以依据未来记录中交易信息的变化趋势进行决策,从而为业务人员进行决策提供了数据支撑。
图3为一种数据分析装置实施例的结构示意图,该装置实施例可以包括:
第一确定单元301,用于确定分析时间内所产生的待分析记录的报送状态、异常交易逻辑、交易信息和错误信息;所述错误信息包括外部监管部门反馈的所述待分析记录中存在的错误数据的错误类型;
评估单元302,用于依据所述报送状态中目标报送状态的参数和所述异常交易逻辑的参数,评估所述待分析记录的质量;所述目标报送状态为用于表示所述待分析记录存在错误数据的报送状态;所述参数为出现次数或者所述出现次数占所述待分析记录的总数量的百分比;
第二确定单元303,用于确定目标错误类型;所述目标错误类型为所述错误信息中出现次数大于预设次数阈值的错误类型;
预测单元304,用于依据所述交易信息在所述分析时间内的分布,预测未来所产生的记录中所述交易信息的变化趋势。
其中,所述评估单元302,可以包括:
第一确定子单元,用于确定第一百分比与第二百分比;所述第一百分比为所述目标报送状态的出现次数占所述总数量的百分比;所述第二百分比为所述异常交易逻辑的出现次数占所述总数量的百分比;
第二确定子单元,用于若所述第一百分比大于预设第一阈值,或者所述第二百分比大于预设第二阈值,则确定所述待分析记录的质量不满足预设质量要求;若所述第一百分比不大于所述预设第一阈值,且所述第二百分比不大于所述预设第二阈值,则确定所述待分析记录的质量满足所述预设质量要求。
其中,所述交易信息包括交易金额、交易量和交易余额;
所述预测单元304,可以包括:
第三确定子单元,用于确定所述交易金额在所述评估时间内的变化规律、所述交易量在所述评估时间内的分布规律和所述交易余额在所述评估时间内的分布规律;
预测子单元,用于依据所述交易金额在所述评估时间的分布规律,预设未来所产生的记录中所述交易金额的变化趋势,依据所述交易量在所述评估时间的分布规律,预设未来所产生的记录中所述交易量的变化趋势,依据所述交易余额在所述评估时间的分布规律,预设未来所产生的记录中所述交易余额的变化趋势。
其中,所述错误信息还包括与外部监管系统所反馈的错误数据的错误类型对应的错误原因;
所述装置还包括:
第一获取单元,用于在所述第二确定子单元确定所述目标错误类型之后,获取所述目标错误类型对应的错误原因;
制定单元,用于依据所述错误原因制定修改规则,得到所述目标错误类型与所述修改规则间的对应关系;
第一修改单元,用于按照所述修改规则,对隶属于所述目标错误类型的错误数据进行修改。
其中,所述目标报送状态包括报送失败、修改报送失败和删除报送失败;
所述装置还包括:
第二获取单元,用于在所述评估单元评估所述待分析记录的质量之后,获取第一错误类型,所述第一错误信息为报送状态为所述报送失败、所述修改报送失败和所述删除报送失败的待分析记录中错误数据对应的错误类型;
检测单元,用于检测所述目标错误类型中是否存在所述第一错误类型;
第三确定单元,用于在所述检测单元检测出所述目标错误类型中存在所述第一错误类型的情况下,按照所述目标错误类型与修改规则间的对应关系,确定所述第一错误类型对应的修改规则;
第二修改单元,用于按照与所述第一错误类型对应的修改规则,修改所述报送状态为报送失败的待分析记录中的错误数据。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同相似部分互相参见即可。在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在文中的“包括”、“包含”等词语解释为包含的含义而不是排他或穷举的含义;也就是说,是“包含但不限于”的含义。在不脱离本发明构思的前提下,还可以做出变形、同等替换、改进等,这些都属于本发明的保护范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据分析方法,其特征在于,包括:
确定分析时间内所产生的待分析记录的报送状态、异常交易逻辑、交易信息和错误信息;所述错误信息包括外部监管部门反馈的所述待分析记录中存在的错误数据的错误类型;
依据所述报送状态中目标报送状态的参数和所述异常交易逻辑的参数,评估所述待分析记录的质量;所述目标报送状态为用于表示所述待分析记录存在错误数据的报送状态;所述参数为出现次数或者所述出现次数占所述待分析记录的总数量的百分比;
确定目标错误类型;所述目标错误类型为所述错误信息中出现次数大于预设次数阈值的错误类型;
依据所述交易信息在所述分析时间内的分布,预测未来所产生的记录中所述交易信息的变化趋势。
2.根据权利要求1所述的方法,其特征在于,所述依据所述报送状态中目标报送状态的参数和所述异常交易逻辑的参数,评估所述待分析记录的质量,包括:
确定第一百分比与第二百分比;所述第一百分比为所述目标报送状态的出现次数占所述总数量的百分比;所述第二百分比为所述异常交易逻辑的出现次数占所述总数量的百分比;
若所述第一百分比大于预设第一阈值,或者所述第二百分比大于预设第二阈值,则确定所述待分析记录的质量不满足预设质量要求;
若所述第一百分比不大于所述预设第一阈值,且所述第二百分比不大于所述预设第二阈值,则确定所述待分析记录的质量满足所述预设质量要求。
3.根据权利要求1所述的方法,其特征在于,所述交易信息包括:交易金额、交易量和交易余额;
所述依据所述交易信息在所述分析时间的分布,预测未来所产生的记录中所述交易信息的变化趋势,包括:
确定所述交易金额在所述评估时间内的变化规律、所述交易量在所述评估时间内的分布规律和所述交易余额在所述评估时间内的分布规律;
依据所述交易金额在所述评估时间的分布规律,预设未来所产生的记录中所述交易金额的变化趋势,依据所述交易量在所述评估时间的分布规律,预设未来所产生的记录中所述交易量的变化趋势,依据所述交易余额在所述评估时间的分布规律,预设未来所产生的记录中所述交易余额的变化趋势。
4.根据权利要求1所述的方法,其特征在于,所述错误信息还包括与外部监管系统所反馈的错误数据的错误类型对应的错误原因;
在所述确定目标错误类型之后,还包括:
获取所述目标错误类型对应的错误原因;
依据所述错误原因制定修改规则,得到所述目标错误类型与所述修改规则间的对应关系;
按照所述修改规则,对隶属于所述目标错误类型的错误数据进行修改。
5.根据权利要求4所述的方法,其特征在于,所述目标报送状态包括报送失败、修改报送失败和删除报送失败;
在所述依据所述报送状态中目标报送状态的参数和所述异常交易逻辑的参数,评估所述待分析记录的质量之后,还包括:
获取第一错误类型,所述第一错误信息为报送状态为所述报送失败、所述修改报送失败和所述删除报送失败的待分析记录中错误数据对应的错误类型;
检测所述目标错误类型中是否存在所述第一错误类型;
若所述目标错误类型中存在所述第一错误类型,则按照所述目标错误类型与修改规则间的对应关系,确定所述第一错误类型对应的修改规则;
按照与所述第一错误类型对应的修改规则,修改所述报送状态为报送失败的待分析记录中的错误数据。
6.一种数据分析装置,其特征在于,包括:
第一确定单元,用于确定分析时间内所产生的待分析记录的报送状态、异常交易逻辑、交易信息和错误信息;所述错误信息包括外部监管部门反馈的所述待分析记录中存在的错误数据的错误类型;
评估单元,用于依据所述报送状态中目标报送状态的参数和所述异常交易逻辑的参数,评估所述待分析记录的质量;所述目标报送状态为用于表示所述待分析记录存在错误数据的报送状态;所述参数为出现次数或者所述出现次数占所述待分析记录的总数量的百分比;
第二确定单元,用于确定目标错误类型;所述目标错误类型为所述错误信息中出现次数大于预设次数阈值的错误类型;
预测单元,用于依据所述交易信息在所述分析时间内的分布,预测未来所产生的记录中所述交易信息的变化趋势。
7.根据权利要求6所述的装置,其特征在于,所述评估单元,包括:
第一确定子单元,用于确定第一百分比与第二百分比;所述第一百分比为所述目标报送状态的出现次数占所述总数量的百分比;所述第二百分比为所述异常交易逻辑的出现次数占所述总数量的百分比;
第二确定子单元,用于若所述第一百分比大于预设第一阈值,或者所述第二百分比大于预设第二阈值,则确定所述待分析记录的质量不满足预设质量要求;若所述第一百分比不大于所述预设第一阈值,且所述第二百分比不大于所述预设第二阈值,则确定所述待分析记录的质量满足所述预设质量要求。
8.根据权利要求6所述的装置,其特征在于,所述交易信息包括交易金额、交易量和交易余额;
所述预测单元,包括:
第三确定子单元,用于确定所述交易金额在所述评估时间内的变化规律、所述交易量在所述评估时间内的分布规律和所述交易余额在所述评估时间内的分布规律;
预测子单元,用于依据所述交易金额在所述评估时间的分布规律,预设未来所产生的记录中所述交易金额的变化趋势,依据所述交易量在所述评估时间的分布规律,预设未来所产生的记录中所述交易量的变化趋势,依据所述交易余额在所述评估时间的分布规律,预设未来所产生的记录中所述交易余额的变化趋势。
9.根据权利要求6所述的装置,其特征在于,所述错误信息还包括与外部监管系统所反馈的错误数据的错误类型对应的错误原因;
所述装置还包括:
第一获取单元,用于在所述第二确定子单元确定所述目标错误类型之后,获取所述目标错误类型对应的错误原因;
制定单元,用于依据所述错误原因制定修改规则,得到所述目标错误类型与所述修改规则间的对应关系;
第一修改单元,用于按照所述修改规则,对隶属于所述目标错误类型的错误数据进行修改。
10.根据权利要求9所述的装置,其特征在于,所述目标报送状态包括报送失败、修改报送失败和删除报送失败;
所述装置还包括:
第二获取单元,用于在所述评估单元评估所述待分析记录的质量之后,获取第一错误类型,所述第一错误信息为报送状态为所述报送失败、所述修改报送失败和所述删除报送失败的待分析记录中错误数据对应的错误类型;
检测单元,用于检测所述目标错误类型中是否存在所述第一错误类型;
第三确定单元,用于在所述检测单元检测出所述目标错误类型中存在所述第一错误类型的情况下,按照所述目标错误类型与修改规则间的对应关系,确定所述第一错误类型对应的修改规则;
第二修改单元,用于按照与所述第一错误类型对应的修改规则,修改所述报送状态为报送失败的待分析记录中的错误数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810734453.5A CN108694522B (zh) | 2018-07-06 | 2018-07-06 | 一种数据分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810734453.5A CN108694522B (zh) | 2018-07-06 | 2018-07-06 | 一种数据分析方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108694522A true CN108694522A (zh) | 2018-10-23 |
CN108694522B CN108694522B (zh) | 2023-05-09 |
Family
ID=63851350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810734453.5A Active CN108694522B (zh) | 2018-07-06 | 2018-07-06 | 一种数据分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108694522B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918218A (zh) * | 2019-01-28 | 2019-06-21 | 广州供电局有限公司 | 一种基于电力收费的错误数据分析方法 |
CN110400213A (zh) * | 2019-07-26 | 2019-11-01 | 中国工商银行股份有限公司 | 数据处理方法和装置、以及电子设备和可读介质 |
CN110443350A (zh) * | 2019-07-10 | 2019-11-12 | 平安科技(深圳)有限公司 | 基于数据分析的模型质量检测方法、装置、终端及介质 |
CN111198889A (zh) * | 2018-11-16 | 2020-05-26 | 浙江宇视科技有限公司 | 数据补录方法和装置 |
CN113772290A (zh) * | 2021-09-06 | 2021-12-10 | 北京声智科技有限公司 | 垃圾分类方法、装置、系统及存储介质 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE268025T1 (de) * | 1999-10-28 | 2004-06-15 | Gen Electric | Vorrichtung und verfahren für leistungs- und fehlerdatenanalyse |
US20140136231A1 (en) * | 2005-11-01 | 2014-05-15 | Walgreen Co. | Integrated pharmacy error tracking and reporting system and method |
CN104574189A (zh) * | 2015-02-05 | 2015-04-29 | 中国农业银行股份有限公司 | 一种金融交易的监控方法及装置 |
CN105119762A (zh) * | 2015-09-23 | 2015-12-02 | 普元信息技术股份有限公司 | 云平台基于日志实现交易回放和重做的系统及方法 |
CN106127508A (zh) * | 2016-06-17 | 2016-11-16 | 重庆大学 | 一种基于大数据计算的中药材价格预测方法 |
CN106202389A (zh) * | 2016-07-08 | 2016-12-07 | 中国银联股份有限公司 | 一种基于交易数据的异常监测方法及装置 |
CN106254045A (zh) * | 2016-08-09 | 2016-12-21 | 中国银行股份有限公司 | 一种数据校验方法及装置 |
CN106845681A (zh) * | 2016-12-21 | 2017-06-13 | 广东工业大学 | 一种应用深度学习技术的股票趋势预测方法 |
CN106934716A (zh) * | 2017-03-10 | 2017-07-07 | 燧石科技(武汉)有限公司 | 基于网络分布式计算的多模块自动化交易系统 |
CN106991506A (zh) * | 2017-05-16 | 2017-07-28 | 深圳先进技术研究院 | 智能终端及其基于lstm的股票趋势预测方法 |
CN106991518A (zh) * | 2017-01-18 | 2017-07-28 | 武汉中软通证信息技术有限公司 | 基于移动终端的资金交易分析方法及系统 |
CN107784578A (zh) * | 2017-11-22 | 2018-03-09 | 中国银行股份有限公司 | 银行外汇数据监管方法及装置 |
CN107798538A (zh) * | 2017-09-26 | 2018-03-13 | 武汉斗鱼网络科技有限公司 | 一种交易核算方法及客户端 |
CN107870827A (zh) * | 2017-11-07 | 2018-04-03 | 中国银行股份有限公司 | 基于校验的数据质量控制方法和装置 |
CN107944633A (zh) * | 2017-12-07 | 2018-04-20 | 北京能源集团有限责任公司 | 基于模型趋势预测的报警方法及系统 |
-
2018
- 2018-07-06 CN CN201810734453.5A patent/CN108694522B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE268025T1 (de) * | 1999-10-28 | 2004-06-15 | Gen Electric | Vorrichtung und verfahren für leistungs- und fehlerdatenanalyse |
US20140136231A1 (en) * | 2005-11-01 | 2014-05-15 | Walgreen Co. | Integrated pharmacy error tracking and reporting system and method |
CN104574189A (zh) * | 2015-02-05 | 2015-04-29 | 中国农业银行股份有限公司 | 一种金融交易的监控方法及装置 |
CN105119762A (zh) * | 2015-09-23 | 2015-12-02 | 普元信息技术股份有限公司 | 云平台基于日志实现交易回放和重做的系统及方法 |
CN106127508A (zh) * | 2016-06-17 | 2016-11-16 | 重庆大学 | 一种基于大数据计算的中药材价格预测方法 |
CN106202389A (zh) * | 2016-07-08 | 2016-12-07 | 中国银联股份有限公司 | 一种基于交易数据的异常监测方法及装置 |
CN106254045A (zh) * | 2016-08-09 | 2016-12-21 | 中国银行股份有限公司 | 一种数据校验方法及装置 |
CN106845681A (zh) * | 2016-12-21 | 2017-06-13 | 广东工业大学 | 一种应用深度学习技术的股票趋势预测方法 |
CN106991518A (zh) * | 2017-01-18 | 2017-07-28 | 武汉中软通证信息技术有限公司 | 基于移动终端的资金交易分析方法及系统 |
CN106934716A (zh) * | 2017-03-10 | 2017-07-07 | 燧石科技(武汉)有限公司 | 基于网络分布式计算的多模块自动化交易系统 |
CN106991506A (zh) * | 2017-05-16 | 2017-07-28 | 深圳先进技术研究院 | 智能终端及其基于lstm的股票趋势预测方法 |
CN107798538A (zh) * | 2017-09-26 | 2018-03-13 | 武汉斗鱼网络科技有限公司 | 一种交易核算方法及客户端 |
CN107870827A (zh) * | 2017-11-07 | 2018-04-03 | 中国银行股份有限公司 | 基于校验的数据质量控制方法和装置 |
CN107784578A (zh) * | 2017-11-22 | 2018-03-09 | 中国银行股份有限公司 | 银行外汇数据监管方法及装置 |
CN107944633A (zh) * | 2017-12-07 | 2018-04-20 | 北京能源集团有限责任公司 | 基于模型趋势预测的报警方法及系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111198889A (zh) * | 2018-11-16 | 2020-05-26 | 浙江宇视科技有限公司 | 数据补录方法和装置 |
CN111198889B (zh) * | 2018-11-16 | 2023-08-18 | 浙江宇视科技有限公司 | 数据补录方法和装置 |
CN109918218A (zh) * | 2019-01-28 | 2019-06-21 | 广州供电局有限公司 | 一种基于电力收费的错误数据分析方法 |
CN110443350A (zh) * | 2019-07-10 | 2019-11-12 | 平安科技(深圳)有限公司 | 基于数据分析的模型质量检测方法、装置、终端及介质 |
CN110443350B (zh) * | 2019-07-10 | 2022-09-02 | 平安科技(深圳)有限公司 | 基于数据分析的模型质量检测方法、装置、终端及介质 |
CN110400213A (zh) * | 2019-07-26 | 2019-11-01 | 中国工商银行股份有限公司 | 数据处理方法和装置、以及电子设备和可读介质 |
CN113772290A (zh) * | 2021-09-06 | 2021-12-10 | 北京声智科技有限公司 | 垃圾分类方法、装置、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108694522B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108694522A (zh) | 一种数据分析方法及装置 | |
US7720751B2 (en) | System and method of continuous assurance for internal control | |
US7593859B1 (en) | System and method for operational risk assessment and control | |
US7051339B2 (en) | System and method to measure latency of transaction information flowing through a computer system | |
US8019734B2 (en) | Statistical determination of operator error | |
US7702585B2 (en) | Methods and systems for the determination and display of payment lead time in an electronic payment system | |
CN1604040B (zh) | 主事务处理系统中的动态事务控制方法和系统 | |
AU2017204144A1 (en) | Rules suggestion engine | |
CN106803168A (zh) | 一种异常转账侦测方法和装置 | |
CN106651573A (zh) | 一种业务数据处理方法及装置 | |
CN106649500A (zh) | 数据核对方法及系统 | |
CN109934268A (zh) | 异常交易检测方法及系统 | |
CN109509082A (zh) | 银行应用系统的监控方法及装置 | |
CN110276682A (zh) | 一种信息核算处理方法及系统 | |
CN102497435A (zh) | 数据业务数据的分发方法及装置 | |
CN111127180A (zh) | 一种对财务单据进行智能化稽核的系统及方法 | |
CN106339940A (zh) | 一种对财务采集值进行检验并计算信贷额度的方法 | |
CN106815725A (zh) | 一种交易验证方法和装置 | |
CN103514092A (zh) | Atm机软件系统自动测试方法 | |
CN107168844A (zh) | 一种性能监控的方法及装置 | |
CN107766500A (zh) | 固定资产卡片的审计方法 | |
US20100153261A1 (en) | System and method for providing transaction classification | |
CN107784578B (zh) | 银行外汇数据监管方法及装置 | |
US9448907B2 (en) | Computer application maturity illustration system with single point of failure analytics and remediation techniques | |
CN109272404A (zh) | 业务授权方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |