CN106096854B - 一种数据处理方法和装置 - Google Patents

一种数据处理方法和装置 Download PDF

Info

Publication number
CN106096854B
CN106096854B CN201610451030.3A CN201610451030A CN106096854B CN 106096854 B CN106096854 B CN 106096854B CN 201610451030 A CN201610451030 A CN 201610451030A CN 106096854 B CN106096854 B CN 106096854B
Authority
CN
China
Prior art keywords
account
data
checking
user account
silent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610451030.3A
Other languages
English (en)
Other versions
CN106096854A (zh
Inventor
张帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610451030.3A priority Critical patent/CN106096854B/zh
Publication of CN106096854A publication Critical patent/CN106096854A/zh
Application granted granted Critical
Publication of CN106096854B publication Critical patent/CN106096854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals

Abstract

本发明实施例公开了一种数据处理方法和装置,所述数据处理方法包括:根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户;根据第一信息处理周期,根据各个活跃用户账户的实时业务账户数据、核对账户数据以及在当前第一信息处理周期中发生的数据转移业务,对所述活跃用户账户进行数据核对;若数据核对成功,则根据所述活跃用户账户的实时业务账户数据更新该活跃用户账户的核对账户数据。采用本发明,可提高用户账户数据的核对清结算的时效性。

Description

一种数据处理方法和装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种数据处理方法和装置。
背景技术
随着互联网技术的发展,电子商务在生活中的应用已经越来越广泛,而用户账户数据的核对清结算,则成为一个非常重要的工作环节,如何更及时、准确的完成用户账户数据的核对清结算成为当前互联网领域急需解决的问题。
现有的用户账户数据的核对清结算,通常需要加载所有用户账户数据和指定时间范围内发生的业务流水,进行全量数据的拼接、汇总和统计,从而对处理结果完成数据核对。在海量用户账户数据的情况下,全量数据处理需要消耗大量的时间和资源,无法实现短周期的数据核对清结算,造成数据核对清结算结果的反馈效率很低,无法满足在线电商支付系统对数据核对清结算的时效性要求。
发明内容
有鉴于此,本发明实施例提供一种数据处理方法和装置,可提高用户账户数据的核对清结算的时效性。
为了解决上述技术问题,本发明实施例提供了一种数据处理方法,所述方法包括:
根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户;
根据第一信息处理周期,根据各个活跃用户账户的实时业务账户数据、核对账户数据以及在当前第一信息处理周期中发生的数据转移业务,对所述活跃用户账户进行数据核对;
若数据核对成功,则根据所述活跃用户账户的实时业务账户数据更新该活跃用户账户的核对账户数据。
相应地,本发明实施例还提供了一种数据处理装置,所述数据处理装置包括:
账户类型划分模块,用于根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户;
活跃账户核对模块,用于根据第一信息处理周期,根据各个活跃用户账户的实时业务账户数据、核对账户数据以及在当前第一信息处理周期中发生的数据转移业务,对所述活跃用户账户进行数据核对;
核对账户更新模块,用于当所述数据核对成功时,根据所述活跃用户账户的实时业务账户数据更新该活跃用户账户的核对账户数据。
本发明实施例中通过对用户账户集合进行筛选,并根据筛选结果有针对性的对用户账户进行周期性的数据核对,可以极大的减少每个核对周期的数据处理量,从而可以实现快速得到结果并反馈,提高用户账户数据的核对清结算的时效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中的一种数据处理方法的流程示意图;
图2是本发明实施例中将用户账户集合中的用户账户划分为活跃用户账户和静默用户账户的示意图;
图3是本发明另一实施例中的数据处理方法的流程示意图;
图4是本发明实施例中按照第二信息处理周期对静默用户账户进行数据核对的示意图;
图5是本发明一可选实施例中按照信息处理周期对用户账户集合中的用户账户进行数据核对的示意图;
图6是本发明另一具体实施例中的数据处理方法的示意图;
图7是本发明实施例中的一种数据处理装置的结构示意图;
图8是本发明实施例中的活跃账户核对模块的结构示意图;
图9是本发明实施例中的静默账户合度模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中的数据处理方法和装置,可以实现在如个人电脑、笔记本电脑、智能手机、平板电脑、电子阅读器等计算机系统中,较多的可以被采用在提供用户账户数据核对清结算业务的服务器中,例如第三方支付系统的后台服务器。下文均以数据处理装置作为本发明实施例的执行主体进行介绍。
图1是本发明实施例中的一种数据处理方法的流程示意图,如图所示本实施例中的数据处理方法可以包括以下流程:
S101,根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户。
所述用户账户可以为本发明实施例中的数据处理装置为用户管理的至少一个数据账户,本发明实施例中的用户账户包括实时业务账户和核对账户,实时业务账户为记录用户实时剩余数据量的账户,是可以执行数据转移业务、确认数据转移业务的明细和结果的记录主体;而核对账户为数据处理装置为确保用户数据安全和准确而设立的独立账户,随用户账户建立而建立,根据数据转移业务累计而定期更新,并且可以作为实时业务账户的准确性的核对账目凭证。所述数据转移业务可以包括向用户账户转入数据和从用户账户转出数据,即数据转入业务和数据转出业务,还可以是同一用户账户中的不同子账户之间的数据转移业务,每当用户账户发生数据转移业务,数据处理装置可以实施记录该数据转移业务的数据转移量和发生时间,进而根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户,所述用户账户集合可以为数据处理装置管理的所有用户账户,也可以为特定类型或指定范围的用户账户。
具体实现中,数据处理装置可以将最近一次数据转移业务的发生时间距离当前时间达到预设时间阈值的用户账户确定为活跃用户账户,换而言之,就是把经过预设时间阈值未发生数据转移业务的用户账户确定为活跃用户账户;或者根据设定的判断周期,将前一判断周期或当前判断周期内发生过数据转移业务的用户账户确定为活跃用户账户,所述判断周期可以例如24小时、48小时等。数据处理装置可以将所述用户账户集合中的剩余的用户账户确定为静默用户账户。
参考图2所示,在初始判断时,可以根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户,得到活跃用户账户集合,将所述用户账户集合中的剩余的用户账户确定为静默用户账户,得到静默用户账户集合;若所述活跃用户账户集合中的活跃用户账户在第一判断周期中未发生数据转移业务,则在第一判断周期结束时可以将这样的用户账户变更为静默用户账户,移至静默用户账户集合(可以立即变更,也可以在第一判断周期结束时再变更);若所述活跃用户账户集合中的活跃用户账户在第一判断周期中发生了至少一次数据转移业务,则在第一判断周期结束时可以将这样的用户账户保留在活跃用户账户集合中;若数据处理装置检测到所述静默用户账户集合中的静默用户账户在第一判断周期中发生了数据转移业务,则可以将该用户账户变更为活跃用户账户,移至活跃用户账户集合;若所述静默用户账户集合中的静默用户账户在第一判断周期中未发生数据转移业务,则在第一判断周期结束时可以将这样的用户账户保留在静默用户账户集合中。同理地,在第二判断周期中,若所述活跃用户账户集合中的活跃用户账户在第二判断周期中未发生数据转移业务,则在第二判断周期结束时可以将这样的用户账户变更为静默用户账户,移至静默用户账户集合;若所述活跃用户账户集合中的活跃用户账户在第二判断周期中发生了至少一次数据转移业务,则在第二判断周期结束时可以将这样的用户账户保留在活跃用户账户集合中;若数据处理装置检测到所述静默用户账户集合中的静默用户账户在第二判断周期中发生了数据转移业务,则可以将该用户账户变更为活跃用户账户,移至活跃用户账户集合(可以立即变更,也可以在第二判断周期结束时再变更);若所述静默用户账户集合中的静默用户账户在第二判断周期中未发生数据转移业务,则在第二判断周期结束时可以将这样的用户账户保留在静默用户账户集合中,以此类推至后续的判断周期。
S102,根据第一信息处理周期,根据各个活跃用户账户的实时业务账户数据、核对账户数据以及在当前第一信息处理周期中发生的数据转移业务,对所述活跃用户账户进行数据核对。
具体的,数据处理装置可以按照第一信息处理周期对活跃用户账户进行数据核对,所述第一信息处理周期的时长小于所述判断周期,可以根据需要进行设定,通常可以设为5分钟、10分钟、20分钟、30分钟或者60分钟等。具体实现中,数据处理装置可以获取活跃用户账户的实时业务账户的剩余数据量、核对账户的剩余数据量以及在当前信息处理周期中发生的数据转移业务的转移数据量,计算所述核对账户的剩余数据量与在所述当前信息处理周期中发生的数据转移业务的转移数据量的和是否等于所述实时业务账户的剩余数据量,若是则该活跃用户账户的数据核对成功。例如在到达第一信息处理周期的时间栅时,某个活跃用户账户当前的核对账户的剩余数据量为200,实时业务账户的剩余数据量为220,并且获取到该活跃用户账户在当前第一信息处理周期内发生了3次数据转移业务,分别为转入30,转出20以及转入10(上述数值对应的数据量单位相同),则可以计算该活跃用户账户的核对账户的剩余数据量与在所述当前信息处理周期中发生的数据转移业务的转移数据量的和为200+30-20+10=220,与该活跃用户账户的实时业务账户的剩余数据量相等,即表示该活跃用户账户的实时业务账户的数据正确。
需要指出的是,以上仅是示例,所述用户账户的实时业务账户和核对账户可以包括更多的数据内容,并可以进行更多相应内容的数据核对,或采用其他的数据核对方式,根据本发明实施例,本领域技术人员可以得到更多的核对项目和方式,本发明实施例中不予穷举。
在可选实施例中,数据处理装置根据各个活跃用户账户的账户属性确定活跃用户账户的核对顺序,所述账户属性包括账户优先级属性、业务优先级属性、数据转移业务量或剩余数据量,进而在到达第一信息处理周期时,根据所述核对顺序依次对各个活跃用户账户进行数据核对,例如在到达第一信息处理周期时,优先对账户优先级更高的活跃用户账户进行数据核对,或优先对业务优先级更高的活跃用户账户进行数据核对,还可以综合上述活跃用户账户的各项账户属性计算用户账户的优先级分值,从而在到达第一信息处理周期时,优先对优先级分值更高的活跃用户账户进行数据核对。
可选的数据处理装置可以对经过数据核对并且数据核对成功的活跃用户账户标记核对完成,避免在一个第一信息处理周期重复对同一活跃用户账户进行数据核对。
S103,若数据核对成功,则根据所述活跃用户账户的实时业务账户数据更新该活跃用户账户的核对账户数据。
具体的,本发明实施例中的数据处理装置可以将所述活跃用户账户的核对账户的剩余数据量替换为所述实时业务账户的剩余数据量,作为下一次数据核对时的核对依据。
在可选实施例中,所述数据处理装置还可以根据对各个用户账户的数据核对结果,进行总账数据核对,所述总账数据核对包括:
所有用户账户的数据转出总量是否等于所有用户账户的数据转入总量,所述数据转出总量可以根据在所有用户账户数据核对成功并且更新了核对账户数据后,所有核对账户的剩余数据量相较于更新之前减少了的用户账户的剩余数据量的减少量求和得到,所述数据转入总量可以根据所有核对账户的剩余数据量相较于更新之前增加了的用户账户的剩余数据量的增加量求和得到。
从实际测试数据中可以得知,在每个信息处理周期中发生数据转移业务的用户账户的比率其实是非常小的,而这一部分用户账户也是数据风险最高的用户账户(因有资金交易),需要密切关注,因此本发明实施例通过对用户账户集合进行筛选,仅针对活跃用户账户集合进行周期性的数据核对,可以极大的减少每个核对周期的数据处理量,从而可以实现快速得到结果并反馈,提高用户账户数据的核对清结算的时效性。
图3是本发明另一实施例中的数据处理方法的流程示意图,如图所示本实施例中的数据处理方法流程可以包括:
S201,根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户,将所述用户账户集合中的剩余的用户账户确定为静默用户账户。
S202,根据第一信息处理周期,根据各个活跃用户账户的实时业务账户数据、核对账户数据以及在当前第一信息处理周期中发生的数据转移业务,对所述活跃用户账户进行数据核对。
S203,若数据核对成功,则根据所述活跃用户账户的实时业务账户数据更新该活跃用户账户的核对账户数据。
S201~S203可以参考前文实施例中的S101~S103,本实施例中不再赘述。
S204,根据第二信息处理周期,在所述用户账户集合中选取不同的静默用户账户,根据选取的各个静默用户账户的实时业务账户数据和核对账户数据,对所述静默用户账户进行数据核对。
虽然静默用户账户在前一判断周期中没有发生数据转移业务,但是为了保证最终数据核对结果的完备性,也有需要对其进行数据核对。而为了在一个合理的时间内完成全量账户整体的核对处理,同时不影响风险识别响应效率,本实施例中的数据处理装置采用分批处理的方式对静默用户账户进行数据核对,也就是对静默用户账户进行抽样处理,在每个第二信息处理周期到达时,从所述用户账户集合中的所有静默用户账户中抽取不同的静默用户账户进行数据核对,并经过一定次数的信息处理周期后,完成对所述用户账户集合中的所有静默用户账户进行数据核对。在可选实施例中,若在当前的第二信息处理周期选取的静默用户账户由于发生数据转移业务而变更为活跃用户账户,则可以在进行数据核对时忽略该静默用户账户。
在可选实施例中,数据处理装置可以根据所述用户账户集合中的静默用户账户总数,以及预设的循环次数,根据第二信息处理周期在所述用户账户集合中选取不同部分的静默用户账户,使得在经过所述循环次数的信息处理周期后,对所述用户账户集合中的所有静默用户账户进行数据核对。例如所述用户账户集合中的静默用户账户总数有1000个,设定循环次数为10,则可以在每个信息处理周期选取1000/10=100个静默用户账户,并且每个信息处理周期选取的静默用户账户互不重叠。可选的数据处理装置可以在一个循环次数的信息处理周期中,对经过数据核对并且数据核对成功的静默数据账户标记核对完成,避免同一循环次数的不同信息处理周期重复对同一静默数据账户进行数据核对。
进而在可选实施例中,为了保证在一个循环过程中的不同信息处理周期选取互不重叠的静默用户账户,数据处理装置还可以根据各个静默用户账户的账户属性,在每个第二信息处理周期到达时选取不同的静默用户账户,所述账户属性包括账户标识、账户注册时间、最近一次数据转移业务的发生时间、剩余数据量、冻结数据量、账户归属地或账户所在服务器归属地,从而在每个第二信息处理周期对选取的各个静默用户账户的实时业务账户数据和核对账户数据,对所述静默用户账户进行数据核对。例如可以根据用户账户注册时分配的唯一标识ID分段处理,每次选取1/10(预先设定的循环次数为10)的用户账户进行处理。
例如图4所示,数据处理装置根据用户账户集合中各个静默用户账户的账户属性确定核对的顺序,建立数据核对队列,进而根据的静默用户账户总数和预先设定的循环次数对数据核对队列进行划分得到多个静默用户账户集合,从而在每个第二信息处理周期依次对各个静默用户账户集合中的静默用户账户进行数据核对。
所述第二信息处理周期的时长可以与所述第一信息处理周期不同,也可以相同。例如图5所示的实施方式中,第一信息处理周期与第二信息处理周期同步,因此在该实施方式中统一称为信息处理周期,在到达每个信息处理周期时,数据处理装置会对活跃用户账户集合中的所有活跃用户账户进行数据核对,并且会对当前信息处理周期对应的静默用户账户集合进行数据核对,从而在经过预设的循环次数N个信息处理周期后,数据处理装置将会完成对用户账户集合中所有用户账户的数据核对。
S205,根据对各个用户账户的数据核对结果,进行总账数据核对。
本实施例中,数据处理装置可以在完成对用户账户集合中所有用户账户的数据核对后,若所有用户账户的数据核对均成功,则可以进行总账数据核对。所述总账数据核对包括:计算所有用户账户的数据转出总量是否等于所有用户账户的数据转入总量,所述数据转出总量可以根据在所有用户账户数据核对成功并且更新了核对账户数据后,所有核对账户的剩余数据量相较于更新之前减少了的用户账户的剩余数据量的减少量求和得到,所述数据转入总量可以根据所有核对账户的剩余数据量相较于更新之前增加了的用户账户的剩余数据量的增加量求和得到。
本发明实施例通过对用户账户集合进行筛选,针对筛选得到的活跃用户账户进行全量的周期性的数据核对,针对静默用户账户进行周期性的分批抽样数据核对,从而可以极大的减少每个核对周期的数据处理量,并且可以完成全量账户整体的核对处理,从而可以实现快速得到结果并反馈,提高用户账户数据的核对清结算的时效性。
图6是本发明另一具体实施例中的数据处理方法的示意图,如图所示,本实施例中的用户账户集合包括活跃用户账户集合和静默用户账户集合,而针对活跃用户账户集合中的每一个活跃用户账户均设置有对应的实时业务账户和核对账户,同样针对静默用户账户集合中的每一个静默用户账户均设置有对应的实时业务账户和核对账户,本实施例中的数据处理即对上述实时业务账户和核对账户中的账户数据进行处理的过程,包括:
在每个第一信息处理周期到达时,针对活跃用户账户集合中的每一个活跃用户账户进行数据加载,加载活跃用户账户的实时业务账户的剩余数据量和该实时业务账户在当前信息处理周期中发生的数据转移业务的转移数据量、同时加载活跃用户账户的核对账户的剩余数据量,并根据加载得到的数据进行账户核对,包括针对某个活跃用户账户,计算其核对账户的剩余数据量与在所述当前信息处理周期中发生的数据转移业务的转移数据量的和是否等于该活跃用户账户的实时业务账户的剩余数据量,若是则该活跃用户账户的数据核对成功。
同时,在每个第二信息处理周期到达时,通过抽样引擎对静默用户账户集合中的静默用户账户进行抽样,并对本次抽样到的静默用户账户进行抽样登记,以防止在一个循环过程中的多个第二信息处理周期重复对同一静默用户账户进行数据核对,在抽样得到当前第二信息处理周期需要进行数据核对的静默用户账户后,分别对被抽样到的每一个静默用户账户进行数据记载,加载被抽样到的静默用户账户的实时业务账户的剩余数据量和该静默用户账户的核对账户的剩余数据量,并根据加载得到的数据对被抽样到的静默用户账户进行账户核对,包括针对某个静默用户账户,检测其核对账户的剩余数据量是否与该静默用户账户的实时业务账户的剩余数据量一致,若一致则该静默用户账户的数据核对成功。本实施例中的第一信息处理周期与第二信息处理周期可以相同,甚至对活跃用户账户和静默用户账户的数据核对周期可以同步进行,例如在完成数据加载后,同时开始进行账户核对。
在上述数据处理过程中,若某个静默用户账户的实时业务账户发生业务数据流水,例如发生业务数据转移,则认为满足流水冒泡条件,一方面会将该用户账户从静默用户账户变更为活跃用户账户,另一方面在到达当前第一信息处理周期时即会将该用户账户作为活跃用户账户进行数据加载和账户核对。
在完成账户核对后,若数据核对成功,则可以对数据核对成功的账户进行账户更新,若活跃用户账户的数据核对成功,则可以将所述活跃用户账户的核对账户的剩余数据量替换为所述实时业务账户的剩余数据量,作为下一次数据核对时的核对依据。在所有账户均完成数据核对后,可以根据所有账户的数据合度结果进行总账数据核对以及创建汇总视图,所述总账数据核对包括核对所有用户账户的数据转出总量是否等于所有用户账户的数据转入总量,并以视图的方式反映所有用户账户整体的数据核对结果。
同时,可以根据预设的判断周期的时间栅,将在一个判断周期内账户的剩余数据量未发生改变的账户确定为静默用户账户,放入静默用户账户集合中,将在一个判断周期内账户的剩余数据量发生改变的账户确定为活跃用户账户,放入活跃用户账户集合。
图7是本发明实施例中的一种数据处理装置的结构示意图,如图所示本发明实施例中的数据处理装置至少可以包括账户类型划分模块610、活跃账户核对模块620以及核对账户更新模块630,其中:
账户类型划分模块610,用于根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户。
所述用户账户可以为本发明实施例中的数据处理装置为用户管理的至少一个数据账户,本发明实施例中的用户账户包括实时业务账户和核对账户,实时业务账户为记录用户实时剩余数据量的账户,是可以执行数据转移业务、确认数据转移业务的明细和结果的记录主体;而核对账户为数据处理装置为确保用户数据安全和准确而设立的独立账户,随用户账户建立而建立,根据数据转移业务累计而定期更新,并且可以作为实时业务账户的准确性的核对账目凭证。所述数据转移业务可以包括向用户账户转入数据和从用户账户转出数据,即数据转入业务和数据转出业务,还可以是同一用户账户中的不同子账户之间的数据转移业务,每当用户账户发生数据转移业务,数据处理装置可以实施记录该数据转移业务的数据转移量和发生时间,进而账户类型划分模块610根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户,所述用户账户集合可以为数据处理装置管理的所有用户账户,也可以为特定类型或指定范围的用户账户。
具体实现中,账户类型划分模块610可以将最近一次数据转移业务的发生时间距离当前时间达到预设时间阈值的用户账户确定为活跃用户账户,换而言之,就是把经过预设时间阈值未发生数据转移业务的用户账户确定为活跃用户账户;或者账户类型划分模块610可以根据设定的判断周期,将前一判断周期或当前判断周期内发生过数据转移业务的用户账户确定为活跃用户账户,所述判断周期可以例如24小时、48小时等。账户类型划分模块610可以将所述用户账户集合中的剩余的用户账户确定为静默用户账户。
参考图2所示,在初始判断时,账户类型划分模块610可以根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户,得到活跃用户账户集合,将所述用户账户集合中的剩余的用户账户确定为静默用户账户,得到静默用户账户集合;若所述活跃用户账户集合中的活跃用户账户在第一判断周期中未发生数据转移业务,则在第一判断周期结束时可以将这样的用户账户变更为静默用户账户,移至静默用户账户集合(可以立即变更,也可以在第一判断周期结束时再变更);若所述活跃用户账户集合中的活跃用户账户在第一判断周期中发生了至少一次数据转移业务,则在第一判断周期结束时可以将这样的用户账户保留在活跃用户账户集合中;若数据处理装置检测到所述静默用户账户集合中的静默用户账户在第一判断周期中发生了数据转移业务,则可以将该用户账户变更为活跃用户账户,移至活跃用户账户集合;若所述静默用户账户集合中的静默用户账户在第一判断周期中未发生数据转移业务,则在第一判断周期结束时可以将这样的用户账户保留在静默用户账户集合中。同理地,在第二判断周期中,若所述活跃用户账户集合中的活跃用户账户在第二判断周期中未发生数据转移业务,则在第二判断周期结束时可以将这样的用户账户变更为静默用户账户,移至静默用户账户集合;若所述活跃用户账户集合中的活跃用户账户在第二判断周期中发生了至少一次数据转移业务,则在第二判断周期结束时可以将这样的用户账户保留在活跃用户账户集合中;若数据处理装置检测到所述静默用户账户集合中的静默用户账户在第二判断周期中发生了数据转移业务,则可以将该用户账户变更为活跃用户账户,移至活跃用户账户集合(可以立即变更,也可以在第二判断周期结束时再变更);若所述静默用户账户集合中的静默用户账户在第二判断周期中未发生数据转移业务,则在第二判断周期结束时可以将这样的用户账户保留在静默用户账户集合中,以此类推至后续的判断周期。
活跃账户核对模块620,用于根据第一信息处理周期,根据各个活跃用户账户的实时业务账户数据、核对账户数据以及在当前第一信息处理周期中发生的数据转移业务,对所述活跃用户账户进行数据核对。
具体的,活跃账户核对模块620可以按照第一信息处理周期对活跃用户账户进行数据核对,所述第一信息处理周期的时长小于所述判断周期,可以根据需要进行设定,通常可以设为5分钟、10分钟、20分钟、30分钟或者60分钟等。
在可选实施例中,活跃账户核对模块620可以如图8所示进一步包括:
数据准备单元621,用于获取活跃用户账户的实时业务账户的剩余数据量、核对账户的剩余数据量以及在当前第一信息处理周期中发生的数据转移业务的转移数据量。
数据核对单元623,用于判断所述核对账户的剩余数据量与在所述当前第一信息处理周期中发生的数据转移业务的转移数据量的和是否等于所述实时业务账户的剩余数据量,若是则该活跃用户账户的数据核对成功。
例如在到达第一信息处理周期的时间栅时,某个活跃用户账户当前的核对账户的剩余数据量为200,实时业务账户的剩余数据量为220,并且获取到该活跃用户账户在当前第一信息处理周期内发生了3次数据转移业务,分别为转入30,转出20以及转入10(上述数值对应的数据量单位相同),则活跃账户核对模块620可以计算该活跃用户账户的核对账户的剩余数据量与在所述当前信息处理周期中发生的数据转移业务的转移数据量的和为200+30-20+10=220,与该活跃用户账户的实时业务账户的剩余数据量相等,即表示该活跃用户账户的实时业务账户的数据正确。
需要指出的是,以上仅是示例,所述用户账户的实时业务账户和核对账户可以包括更多的数据内容,并可以进行更多相应内容的数据核对,或采用其他的数据核对方式,根据本发明实施例,本领域技术人员可以得到更多的核对项目和方式,本发明实施例中不予穷举。
可选的,活跃账户核对模块620还可以包括:
核对排序单元625,用于根据各个活跃用户账户的账户属性确定活跃用户账户的核对顺序,所述账户属性包括账户优先级属性、业务优先级属性、数据转移业务量或剩余数据量。从而在到达第一信息处理周期时,数据核对单元623根据所述核对顺序依次对各个活跃用户账户进行数据核对,例如在到达第一信息处理周期时,优先对账户优先级更高的活跃用户账户进行数据核对,或优先对业务优先级更高的活跃用户账户进行数据核对,还可以综合上述活跃用户账户的各项账户属性计算用户账户的优先级分值,从而在到达第一信息处理周期时,优先对优先级分值更高的活跃用户账户进行数据核对。
可选的数据核对单元623可以对经过数据核对并且数据核对成功的活跃用户账户标记核对完成,避免在一个第一信息处理周期重复对同一活跃用户账户进行数据核对。
核对账户更新模块630,用于当所述数据核对成功时,根据所述活跃用户账户的实时业务账户数据更新该活跃用户账户的核对账户数据。
具体的,本发明实施例中的核对账户更新模块630可以将所述活跃用户账户的核对账户的剩余数据量替换为所述实时业务账户的剩余数据量,作为下一次数据核对时的核对依据。
从实际测试数据中可以得知,在每个信息处理周期中发生数据转移业务的用户账户的比率其实是非常小的,而这一部分用户账户也是数据风险最高的用户账户(因有资金交易),需要密切关注,因此在可选实施例中通过对用户账户集合进行筛选,仅针对活跃用户账户集合进行周期性的数据核对,可以极大的减少每个核对周期的数据处理量,从而可以实现快速得到结果并反馈,提高用户账户数据的核对清结算的时效性。
在可选实施例中,数据处理装置进一步还可以包括:
静默账户核对模块640,用于根据第二信息处理周期,在所述用户账户集合中选取不同的静默用户账户,根据选取的各个静默用户账户的实时业务账户数据和核对账户数据,对所述静默用户账户进行数据核对。
虽然静默用户账户在前一判断周期中没有发生数据转移业务,但是为了保证最终数据核对结果的完备性,也有需要对其进行数据核对。而为了在一个合理的时间内完成全量账户整体的核对处理,同时不影响风险识别响应效率,本实施例中的静默账户核对模块640采用分批处理的方式对静默用户账户进行数据核对,也就是对静默用户账户进行抽样处理,在每个第二信息处理周期到达时,从所述用户账户集合中的所有静默用户账户中抽取不同的静默用户账户进行数据核对,并经过一定次数的信息处理周期后,完成对所述用户账户集合中的所有静默用户账户进行数据核对。在可选实施例中,若在当前的第二信息处理周期选取的静默用户账户由于发生数据转移业务而变更为活跃用户账户,则可以在进行数据核对时忽略该静默用户账户。
在可选实施例中,静默账户核对模块640如图9所示进一步可以包括:
静默账户抽样单元641,用于根据所述用户账户集合中的静默用户账户总数,以及预设的循环次数,根据第二信息处理周期在所述用户账户集合中选取不同部分的静默用户账户,使得在经过所述循环次数的信息处理周期后,对所述用户账户集合中的所有静默用户账户进行数据核对。
例如所述用户账户集合中的静默用户账户总数有1000个,设定循环次数为10,则可以在每个信息处理周期选取1000/10=100个静默用户账户,并且每个信息处理周期选取的静默用户账户互不重叠。
具体实现中,为了保证在一个循环过程中的不同信息处理周期选取互不重叠的静默用户账户,所述静默账户抽样单元641可以根据各个静默用户账户的账户属性,在每个第二信息处理周期到达时选取不同的静默用户账户,所述账户属性包括账户标识、账户注册时间、最近一次数据转移业务的发生时间、剩余数据量、冻结数据量、账户归属地或账户所在服务器归属地,从而在每个第二信息处理周期对选取的各个静默用户账户的实时业务账户数据和核对账户数据,对所述静默用户账户进行数据核对。例如可以根据用户账户注册时分配的唯一标识ID分段处理,每次选取1/10(预先设定的循环次数为10)的用户账户进行处理。
例如图4所示,静默账户抽样单元641根据用户账户集合中各个静默用户账户的账户属性确定核对的顺序,建立数据核对队列,进而根据的静默用户账户总数和预先设定的循环次数对数据核对队列进行划分得到多个静默用户账户集合,从而静默账户核对单元643在每个第二信息处理周期依次对各个静默用户账户集合中的静默用户账户进行数据核对。
静默账户核对单元643,用于根据选取的各个静默用户账户的实时业务账户数据和核对账户数据,对所述静默用户账户进行数据核对。
可选的静默账户核对单元643可以在一个循环次数的信息处理周期中,对经过数据核对并且数据核对成功的静默数据账户标记核对完成,避免同一循环次数的不同信息处理周期重复对同一静默数据账户进行数据核对。
所述第二信息处理周期的时长可以与所述第一信息处理周期不同,也可以相同。例如图5所示的实施方式中,第一信息处理周期与第二信息处理周期同步,因此在该实施方式中统一称为信息处理周期,在到达每个信息处理周期时,静默账户核对单元643会对活跃用户账户集合中的所有活跃用户账户进行数据核对,并且会对当前信息处理周期对应的静默用户账户集合进行数据核对,从而在经过预设的循环次数N个信息处理周期后,数据处理装置将会完成对用户账户集合中所有用户账户的数据核对。
从而在可选实施例中,数据处理装置通过对用户账户集合进行筛选,针对筛选得到的活跃用户账户进行全量的周期性的数据核对,针对静默用户账户进行周期性的分批抽样数据核对,从而可以极大的减少每个核对周期的数据处理量,并且可以完成全量账户整体的核对处理,从而可以实现快速得到结果并反馈,提高用户账户数据的核对清结算的时效性。
在可选实施例中,数据处理装置进一步还可以包括:
总账核对模块650,用于根据对各个用户账户的数据核对结果,进行总账数据核对,所述总账数据核对包括:
所有用户账户的数据转出总量是否等于所有用户账户的数据转入总量。
具体的,总账核对模块650可以在完成对用户账户集合中所有活跃用户账号,或所有用户账户的数据核对后,若所有数据核对均成功,则可以进行总账数据核对。所述总账数据核对包括:计算所有用户账户的数据转出总量是否等于所有用户账户的数据转入总量,所述数据转出总量可以根据在所有用户账户数据核对成功并且更新了核对账户数据后,所有核对账户的剩余数据量相较于更新之前减少了的用户账户的剩余数据量的减少量求和得到,所述数据转入总量可以根据所有核对账户的剩余数据量相较于更新之前增加了的用户账户的剩余数据量的增加量求和得到。
本发明实施例中通过对用户账户集合进行筛选,并根据筛选结果有针对性的对用户账户进行周期性的数据核对,可以极大的减少每个核对周期的数据处理量,从而可以实现快速得到结果并反馈,提高用户账户数据的核对清结算的时效性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (13)

1.一种数据处理方法,其特征在于,所述方法包括:
根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户;所述用户账户包括实时业务账户和核对账户,所述实时业务账户记录用户实时剩余数据量,所述核对账户是实时业务账户的凭证,用于记录核对账户数据;
根据第一信息处理周期,根据各个活跃用户账户的实时业务账户数据、核对账户数据以及在当前第一信息处理周期中发生的数据转移业务,对所述活跃用户账户进行数据核对;
若数据核对成功,则根据所述活跃用户账户的实时业务账户数据更新该活跃用户账户的核对账户数据;
将所述用户账户集合中的剩余的用户账户确定为静默用户账户;
根据第二信息处理周期,在所述用户账户集合中选取不同的静默用户账户,根据选取的各个静默用户账户的实时业务账户数据和核对账户数据,对所述静默用户账户进行数据核对。
2.如权利要求1所述的数据处理方法,其特征在于,所述根据第二信息处理周期,在所述用户账户集合中选取不同的静默用户账户包括:
根据所述用户账户集合中的静默用户账户总数,以及预设的循环次数,根据第二信息处理周期在所述用户账户集合中选取不同部分的静默用户账户,使得在经过所述循环次数的第二信息处理周期后,对所述用户账户集合中的所有静默用户账户进行数据核对。
3.如权利要求1所述的数据处理方法,其特征在于,所述根据选取的各个静默用户账户的实时业务账户数据和核对账户数据,对所述静默用户账户进行数据核对包括:
判断所述静默用户账户的实时业务账户的剩余数据量是否等于核对账户的剩余数据量,若是则该静默用户账户的数据核对成功。
4.如权利要求1所述的数据处理方法,其特征在于,所述根据各个活跃用户账户的实时业务账户数据、核对账户数据以及在当前第一信息处理周期中发生的数据转移业务,对所述活跃用户账户进行数据核对包括:
获取活跃用户账户的实时业务账户的剩余数据量、核对账户的剩余数据量以及在当前第一信息处理周期中发生的数据转移业务的转移数据量;
判断所述核对账户的剩余数据量与在所述当前第一信息处理周期中发生的数据转移业务的转移数据量的和是否等于所述实时业务账户的剩余数据量,若是则该活跃用户账户的数据核对成功。
5.如权利要求1所述的数据处理方法,其特征在于,所述对所述活跃用户账户进行数据核对包括:
根据各个活跃用户账户的账户属性确定活跃用户账户的核对顺序,所述账户属性包括账户优先级属性、业务优先级属性、数据转移业务量或剩余数据量;
在到达第一信息处理周期时,根据所述核对顺序依次对各个活跃用户账户进行数据核对。
6.如权利要求1所述的数据处理方法,其特征在于,所述根据第二信息处理周期,在所述用户账户集合中选取不同的静默用户账户包括:
根据各个静默用户账户的账户属性,在每个第二信息处理周期到达时选取不同的静默用户账户,所述账户属性包括账户标识、账户注册时间、最近一次数据转移业务的发生时间、剩余数据量、冻结数据量、账户归属地或账户所在服务器归属地。
7.如权利要求1所述的数据处理方法,其特征在于,所述根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户包括:
将前一判断周期或当前判断周期内发生过数据转移业务的用户账户确定为活跃用户账户,所述判断周期的时长大于所述第一信息处理周期的时长。
8.如权利要求1-7中任一项所述的数据处理方法,其特征在于,所述方法还包括:
根据对各个用户账户的数据核对结果,进行总账数据核对,所述总账数据核对包括:
所有用户账户的数据转出总量是否等于所有用户账户的数据转入总量。
9.一种数据处理装置,其特征在于,所述数据处理装置包括:
账户类型划分模块,用于根据用户账户最近一次数据转移业务的发生时间将用户账户集合中的至少一个用户账户确定为活跃用户账户;所述用户账户包括实时业务账户和核对账户,所述实时业务账户记录用户实时剩余数据量,所述核对账户是实时业务账户的凭证,用于记录核对账户数据;
活跃账户核对模块,用于根据第一信息处理周期,根据各个活跃用户账户的实时业务账户数据、核对账户数据以及在当前第一信息处理周期中发生的数据转移业务,对所述活跃用户账户进行数据核对;
核对账户更新模块,用于当所述数据核对成功时,根据所述活跃用户账户的实时业务账户数据更新该活跃用户账户的核对账户数据;
所述账户类型划分模块还用于:
将所述用户账户集合中的剩余的用户账户确定为静默用户账户;
所述装置还包括:
静默账户核对模块,用于根据第二信息处理周期,在所述用户账户集合中选取不同的静默用户账户,根据选取的各个静默用户账户的实时业务账户数据和核对账户数据,对所述静默用户账户进行数据核对。
10.如权利要求9所述的数据处理装置,其特征在于,所述静默账户核对模块包括:
静默账户抽样单元,用于根据所述用户账户集合中的静默用户账户总数,以及预设的循环次数,根据第二信息处理周期在所述用户账户集合中选取不同部分的静默用户账户,使得在经过所述循环次数的第二信息处理周期后,对所述用户账户集合中的所有静默用户账户进行数据核对;
静默账户核对单元,用于根据选取的各个静默用户账户的实时业务账户数据和核对账户数据,对所述静默用户账户进行数据核对。
11.如权利要求9所述的数据处理装置,其特征在于,所述账户类型划分模块用于:
将前一判断周期或当前判断周期内发生过数据转移业务的用户账户确定为活跃用户账户,所述判断周期的时长大于所述第一信息处理周期的时长。
12.如权利要求9-11中任一项所述的数据处理装置,其特征在于,还包括:
总账核对模块,用于根据对各个用户账户的数据核对结果,进行总账数据核对,所述总账数据核对包括:
所有用户账户的数据转出总量是否等于所有用户账户的数据转入总量。
13.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如权利要求1-8任一项所述的方法。
CN201610451030.3A 2016-06-20 2016-06-20 一种数据处理方法和装置 Active CN106096854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610451030.3A CN106096854B (zh) 2016-06-20 2016-06-20 一种数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610451030.3A CN106096854B (zh) 2016-06-20 2016-06-20 一种数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN106096854A CN106096854A (zh) 2016-11-09
CN106096854B true CN106096854B (zh) 2020-06-16

Family

ID=57238580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610451030.3A Active CN106096854B (zh) 2016-06-20 2016-06-20 一种数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN106096854B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122387A (zh) * 2017-02-28 2017-09-01 广州地理研究所 公共交通扫码验票数据的处理方法、装置和系统
CN107103688B (zh) * 2017-02-28 2020-08-18 广州地理研究所 公共交通刷卡支付数据的处理方法、装置和系统
CN109002370B (zh) * 2017-06-06 2022-10-25 腾讯科技(深圳)有限公司 在线清结算系统的备份方法及装置、存储介质
CN108876570B (zh) * 2018-04-24 2023-04-07 平安科技(深圳)有限公司 电子装置、资金异常问题处理的方法及存储介质
CN110264151A (zh) * 2019-05-20 2019-09-20 平安银行股份有限公司 一种账户数据的处理方法及相关装置
CN110223033A (zh) * 2019-05-20 2019-09-10 平安银行股份有限公司 一种账户数据的管理方法及相关装置
CN110427424A (zh) * 2019-07-09 2019-11-08 深圳壹账通智能科技有限公司 业务数据核对方法、装置、计算机设备和存储介质
CN110378609B (zh) * 2019-07-24 2022-02-22 中国工商银行股份有限公司 业务处理方法、业务处理装置、电子设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325032A (zh) * 2012-03-21 2013-09-25 阿里巴巴集团控股有限公司 数据处理方法及装置
CN105335521A (zh) * 2015-11-25 2016-02-17 中国建设银行股份有限公司 用于电子商城的订单数据处理方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1318998B1 (it) * 2000-10-12 2003-09-19 Maurizio Cassano Sistema di gestione in tempo reale di dati contabili

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325032A (zh) * 2012-03-21 2013-09-25 阿里巴巴集团控股有限公司 数据处理方法及装置
CN105335521A (zh) * 2015-11-25 2016-02-17 中国建设银行股份有限公司 用于电子商城的订单数据处理方法和装置

Also Published As

Publication number Publication date
CN106096854A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN106096854B (zh) 一种数据处理方法和装置
CN110728323B (zh) 目标类型用户的识别方法、装置、电子设备及存储介质
CN107025236B (zh) 清算系统间的数据处理方法及数据清算系统
CN108711047B (zh) 一种自动还款方法、系统及终端设备
CN107783861B (zh) 交易回滚方法、装置、存储介质和计算机设备
CN110781971B (zh) 一种商户类型识别方法、装置、设备和可读介质
CN109615384B (zh) 时效性核对规则的生成方法、装置和服务器
US20240097882A1 (en) Block chain modification correlation
US11625709B1 (en) Assured payment system using delayed transaction queue
CN112907344A (zh) 账务数据的处理方法、装置、电子设备和存储介质
CN110245985B (zh) 一种信息处理方法及装置
CN115130577A (zh) 一种欺诈号码识别方法、装置及电子设备
CN113554509B (zh) 一种线上支付业务的处理方法、装置、介质及电子设备
CN112270537B (zh) 一种多渠道账单的入库方法、系统及存储介质
CN113591444A (zh) 一种信息填写方法、装置及电子设备
CN111640502B (zh) 配送对象的健康状态检测方法及装置
CN114418738A (zh) 一种跨境汇款数据处理方法及装置
CN112734352A (zh) 一种基于数据维度的单据审核方法和装置
CN111429257A (zh) 一种交易监控方法和装置
CN106888187B (zh) 业务处理方法和装置
CN110599316A (zh) 自动对账方法、介质、设备及装置
CN110675136A (zh) 信息处理方法、装置及设备
CN112365337B (zh) 一种冒名贷款识别方法、装置、服务器及存储介质
CN113807956B (zh) 一种用于联合贷的数据处理方法、介质、设备和系统
CN117726407A (zh) 业务办理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant