CN110826994B - 一种数据处理方法、装置、设备及存储介质 - Google Patents
一种数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110826994B CN110826994B CN201911059233.8A CN201911059233A CN110826994B CN 110826994 B CN110826994 B CN 110826994B CN 201911059233 A CN201911059233 A CN 201911059233A CN 110826994 B CN110826994 B CN 110826994B
- Authority
- CN
- China
- Prior art keywords
- data
- transaction amount
- transaction
- period
- sample data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开了一种数据处理方法、装置、设备及存储介质,本申请实施例获取预设时间段内交易的样本数据;对所述样本数据进行筛选,得到有效样本数据;按照交易类型对所述有效样本数据进行划分,得到每种交易类型对应的数据组;获取各数据组对应的修正参数;根据所述各数据组的修正参数分别对各数据组进行分析,得到分析结果。该方案可以自动对样本数据进行筛选及分组,并根据每组数据组对应的修正参数对各数据组进行分析,提高了数据处理的准确性和效率。
Description
技术领域
本申请涉及通信技术领域,具体涉及一种数据处理方法、装置、设备及存储介质。
背景技术
随着科技的发展,越来越多的场合需要对数据进行分析,例如,可以对用户消费数据进行消费价格指数(CPI,Consumer Price Index)分析,其中,CPI是度量消费商品和服务的价格随时间变动的相对数,反映用户购买商品和服务的价格水平变动趋势和程度。
现有技术中,需要人工使用“定人、定点、及定时”等方式,进行CPI所需要的商品价格进行搜集,对于搜集的价格进行人工核查后,计算商品对应的CPI,并人工进行指数编制和整理等。现有方案中,人工搜集数据的成本高且效率低下,搜集的数据质量核查难,例如,有的商品几天进行一次价格采集,有的商品几个月进行一次价格采集,商品价格实时性低;而且CPI发布时间较长,例如数据上报后,数据核查、指数编制到整理发布大约需要两周左右,此外,由于是人力采集,对人力要求高,人力采集数据也容易出错。
发明内容
本申请实施例提供一种数据处理方法、装置、设备及存储介质,旨在提高数据处理的准确性和效率。
为解决上述技术问题,本申请实施例提供以下技术方案:
一种数据处理方法,包括:
获取预设时间段内交易的样本数据;
对所述样本数据进行筛选,得到有效样本数据;
按照交易类型对所述有效样本数据进行划分,得到每种交易类型对应的数据组;
获取各数据组对应的修正参数;
根据所述各数据组的修正参数分别对各数据组进行分析,得到分析结果。
在一些实施方式中,所述获取各数据组对应的修正参数包括:
将所述各数据组内的数据按照时间划分为不同时期的数据;
获取不同时期的数据的交易金额和异动交易金额,根据所述交易金额和异动交易金额计算各数据组对应的修正参数。
在一些实施方式中,所述获取不同时期的数据的交易金额和异动交易金额,根据所述交易金额和异动交易金额计算各数据组对应的修正参数包括:
对于每个数据组,将第一期的交易金额设置为第一期数据的修正参数;
从不同时期的数据中选择第二时期数据作为当期数据,以及选择第一期数据作为前期数据;
获取所述当期数据的交易金额和异动交易金额、所述前期数据的交易金额和异动交易金额、以及所述前期数据的修正参数;
根据所述所述当期数据的交易金额和异动交易金额、所述前期数据的交易金额和异动交易金额、以及所述前期数据的修正参数,计算所述当期数据的修正参数;
从不同时期的数据中选择第三时期数据作为当期数据,以及选择第二期数据作为前期数据,返回执行获取所述当期数据的交易金额的操作,直至每个数据组内不同时期的数据均计算完毕,得到各数据组对应的修正参数。
在一些实施方式中,所述根据所述所述当期数据的交易金额和异动交易金额、所述前期数据的交易金额和异动交易金额、以及所述前期数据的修正参数,计算所述当期数据的修正参数包括:
当所述当期数据的交易金额小于或等于所述前期数据的交易金额时,根据所述前期数据中的异动交易金额和所述前期数据的修正参数,计算所述当期数据的修正参数;
当所述当期数据的交易金额大于所述前期数据的交易金额时,根据所述当期数据的交易金额和所述当期数据的异动交易金额,计算所述当期数据的修正参数。
在一些实施方式中,所述对所述样本数据进行筛选,得到有效样本数据包括:
将所述样本数据中社交支付的数据剔除,得到候选样本数据;
从所述候选样本数据中筛选出交易双方在预设时间内均存在的交易的数据,得到有效样本数据。
在一些实施方式中,所述分析结果包括消费指数,所述根据所述各数据组的修正参数分别对各数据组进行分析,得到分析结果包括:
获取所述各数据组对应的交易金额和基期指数;
根据所述修正参数、交易金额和基期指数计算每组数据对应的消费指数。
在一些实施方式中,所述分析结果包括总体消费指数,所述根据所述各数据组的修正参数分别对各数据组进行分析,得到分析结果包括:
获取各数据组的交易类型、权重及消费指数;
根据所述各数据组的交易类型、权重及消费指数,计算所述样本数据的总体消费指数。
在一些实施方式中,所述根据所述各数据组的修正参数分别对各数据组进行分析,得到分析结果之后,所述方法还包括:
将所述分析结果存储至区块链中。
一种数据处理装置,包括:
数据获取单元,用于获取预设时间段内交易的样本数据;
筛选单元,用于对所述样本数据进行筛选,得到有效样本数据;
划分单元,用于按照交易类型对所述有效样本数据进行划分,得到每种交易类型对应的数据组;
参数获取单元,用于获取各数据组对应的修正参数;
分析单元,用于根据所述各数据组的修正参数分别对各数据组进行分析,得到分析结果。
在一些实施方式中,所述参数获取单元包括:
划分子单元,用于将所述各数据组内的数据按照时间划分为不同时期的数据;
计算子单元,用于获取不同时期的数据的交易金额和异动交易金额,根据所述交易金额和异动交易金额计算各数据组对应的修正参数。
在一些实施方式中,所述计算子单元包括:
设置模块,用于对于每个数据组,将第一期的交易金额设置为第一期数据的修正参数;
选择模块,用于从不同时期的数据中选择第二时期数据作为当期数据,以及选择第一期数据作为前期数据;
获取模块,用于获取所述当期数据的交易金额和异动交易金额、所述前期数据的交易金额和异动交易金额、以及所述前期数据的修正参数;
计算模块,用于根据所述所述当期数据的交易金额和异动交易金额、所述前期数据的交易金额和异动交易金额、以及所述前期数据的修正参数,计算所述当期数据的修正参数;
处理模块,用于从不同时期的数据中选择第三时期数据作为当期数据,以及选择第二期数据作为前期数据,返回执行获取所述当期数据的交易金额的操作,直至每个数据组内不同时期的数据均计算完毕,得到各数据组对应的修正参数。
在一些实施方式中,所述计算模块具体用于:
当所述当期数据的交易金额小于或等于所述前期数据的交易金额时,根据所述前期数据中的异动交易金额和所述前期数据的修正参数,计算所述当期数据的修正参数;
当所述当期数据的交易金额大于所述前期数据的交易金额时,根据所述当期数据的交易金额和所述当期数据的异动交易金额,计算所述当期数据的修正参数。
在一些实施方式中,所述筛选单元具体用于:
将所述样本数据中社交支付的数据剔除,得到候选样本数据;
从所述候选样本数据中筛选出交易双方在预设时间内均存在的交易的数据,得到有效样本数据。
在一些实施方式中,所述分析结果包括消费指数,所述分析单元具体用于:
获取所述各数据组对应的交易金额和基期指数;
根据所述修正参数、交易金额和基期指数计算每组数据对应的消费指数。
在一些实施方式中,所述分析结果包括总体消费指数,所述分析单元具体用于:
获取各数据组的交易类型、权重及消费指数;
根据所述各数据组的交易类型、权重及消费指数,计算所述样本数据的总体消费指数。
在一些实施方式中,所述数据处理装置还包括:
存储单元,用于将所述分析结果存储至区块链中。
一种设备,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时,执行本申请实施例提供的任一种数据处理方法。
一种存储介质,所述存储介质用于存储计算机程序,所述计算机程序被处理器加载以执行本申请实施例提供的任一种数据处理方法。
本申请实施例可以获取预设时间段内交易的样本数据,以及对样本数据进行筛选,得到有效样本数据;然后按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组,获取各数据组对应的修正参数;此时可以根据各数据组的修正参数分别对各数据组进行分析,得到分析结果。该方案可以自动对样本数据进行筛选及分组,并根据每组数据组对应的修正参数对各数据组进行分析,提高了数据处理的准确性和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数据处理方法的场景示意图;
图2是本申请实施例提供的数据处理方法的流程示意图;
图3是本申请实施例提供的数据处理方法的另一流程示意图;
图4是本申请实施例提供的交易总金额和总体消费指数曲线的示意图;
图5是本申请实施例提供的数据处理装置的结构示意图;
图6是本申请实施例提供的设备的结构示意图;
图7是本申请实施例提供的分布式系统110应用于区块链系统的一个可选的结构示意图;
图8是本申请实施例提供的区块结构的一个可选的示意图。。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种数据处理方法、装置、设备及存储介质。
请参阅图1,图1为本申请实施例所提供的数据处理方法的场景示意图,该数据处理方法可以应用于数据处理装置,该数据处理装置具体可以集成在终端或服务器等设备中,该终端或服务器等设备可以作为区块链系统中的一个节点,区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架,开发人员可以基于这些基本能力,叠加业务的特性,完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
例如,该设备可以获取预设时间段内交易的样本数据,例如,可以是在接收到数据分析请求时,触发执行获取样本数据。然后,可以对样本数据进行筛选,得到有效样本数据,例如,可以筛选出满足非社交支付(去除红包或转账等)以及交易双方在预设时间内均存在的交易的有效样本数据。其次,可以按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组,例如可以得到数据组1至数据组n等,此时可以获取各数据组对应的修正参数,例如,将各数据组内的数据按照时间划分为不同时期(例如以月为单位划分)的数据,并获取不同时期的数据的交易金额和异动交易金额,根据交易金额和异动交易金额计算各数据组对应的修正参数,分别得到修正参数1至n等。最后可以根据各数据组的修正参数分别对各数据组进行分析,得到分析结果,例如可以分析每组数据对应的消费指数,或者样本数据的总体消费指数等,可以将得到的分析结果发送给显示终端,以便显示终端对分析结果进行显示。
需要说明的是,图1所示的数据处理方法的场景示意图仅仅是一个示例,本申请实施例描述的数据处理方法的场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着数据处理方法的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
以下分别进行详细说明。
在本实施例中,将从数据处理装置的角度进行描述,该数据处理装置具体可以集成在服务器或终端等设备中,该终端或服务器等设备可以作为区块链系统中的一个节点。
请参阅图2,图2是本申请一实施例提供的数据处理方法的流程示意图。该数据处理方法可以包括:
S101、获取预设时间段内交易的样本数据。
其中,预设时间段可以根据实际需要进行灵活设置,例如,该预设时间段可以是1年或2年等。该样本数据可以是商户与用户之间进行交易的数据(例如移动支付的数据),该样本数据可以包括多个不同商户与同一用户之间进行交易的数据,以及同一商户与多个用户之间进行交易的数据等,该样本数据可以包括某用户在某商户于何时进行了一笔多少金额的支付。在商户与用户之间进行交易的过程中所产生的数据可以预先存储至服务器或者设备,此时,数据处理装置可以向预存数据的服务器或者设备发送数据获取请求,并接收预存数据的服务器或者设备基于数据获取请求返回的1年内交易的样本数据。或者,预存数据的服务器或者设备可以在每间隔1年主动向数据处理装置发送1年内交易的样本数据。
S102、对样本数据进行筛选,得到有效样本数据。
在得到样本数据,为了提高后续对数据分析的准确性和可靠性,可以对样本数据进行筛选,以过滤干扰后续分析的无效样本数据。
在一些实施方式中,对样本数据进行筛选,得到有效样本数据可以包括:将样本数据中社交支付的数据剔除,得到候选样本数据;从候选样本数据中筛选出交易双方在预设时间内均存在的交易的数据,得到有效样本数据。
由于样本数据中可能包括利用微信支付的每一笔商业支付,该商业支付可以包括红包或转账等社交支付,该社交支付可能并非商户与用户之间的交易,因此为了将红包或转账等社交支付剔除,可以对样本数据进行一次筛选,剔除样本数据中红包、转账或其他等社交支付,得到候选样本数据。
为了剔除暂时性且不具代表性的交易数据,可以对候选样本数据进行二次筛选,即在筛选候选样本数据是否需要纳入效样本数据的统计时,可以从候选样本数据中筛选出交易双方在预设时间内均存在的交易的数据,该预设时间可以根据实际需要进行灵活设置,例如,可以从候选样本数据中筛选出用户或商户最近4个月每月均有交易的数据等。即对候选样本数据根据筛选条件进行二次筛选,以通过二次筛选后得到的有效样本数据进行后续的数据分析,保证分析结果的准确性。
S103、按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组。
在得到有效样本数据后,为了方便准确进行数据分析,可以预先对有效样本数据进行分组,可以按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组,该交易类型可以包括商户类型,例如,对于众多不同类型的商户,可以将有效样本数据划分为:食品餐饮、服饰箱包、数码家电、家装家居、室内装饰、母婴用品和玩具、医药保健、书籍和文化用品、珠宝首饰、油品交通、以及其他类型商品等,以便通过每一类型的有效样本数据(即每一数据组)进行后续分析。
需要说明的是,还可以根据实际需要按照其他分组策略对有效样本数据进行分组,得到每种交易类型对应的数据组,例如,可以按照不同区域或交易性质等对有效样本数据进行分组。
S104、获取各数据组对应的修正参数。
由于消费平台原因,商户随时都可能进入或者退出消费平台,这种非消费交易原因带来的变化,可能会导致存在异常数据或波动较大的数据,因此可以采用修正机制。例如,为了避免存在异常数据或波动较大的数据等影响后续分析,可以获取修正参数,以便基于修正参数对有效样本数据进行修正及分析等。
在一些实施方式中,获取各数据组对应的修正参数可以包括:将各数据组内的数据按照时间划分为不同时期的数据;获取不同时期的数据的交易金额和异动交易金额,根据交易金额和异动交易金额计算各数据组对应的修正参数。
其中,不同时期可以根据根据实际需要进行灵活设置,例如,可以按月为时间单位,将1年的每个数据组内的数据分别划分为12个月对应的数据,得到12个不同时期的数据;或者,可以按周为时间单位,将1年的每个数据组内的数据划分为多个周对应的数据,得到多个不同时期的数据。某一时期的交易金额可以是该时期的有效样本数据中交易的总金额,某一时期的异动交易金额可以是该时期的有效样本数据中交易出现异常变动的部分金额,例如,在某一时期突然接入交易量较大的商户A,在该时期商户A的交易金额即为异动交易金额。具体地,首先可以将各数据组内的数据分别按照时间,划分为不同时期的数据,每个数据组可以得到多个不同时期的数据。然后,可以获取不同时期的数据的交易金额和异动交易金额,此时可以根据交易金额和异动交易金额计算各数据组对应的修正参数。
在一些实施方式中,获取不同时期的数据的交易金额和异动交易金额,根据交易金额和异动交易金额计算各数据组对应的修正参数可以包括:
对于每个数据组,将第一期的交易金额设置为第一期数据的修正参数;从不同时期的数据中选择第二时期数据作为当期数据,以及选择第一期数据作为前期数据;获取当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数;根据当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数,计算当期数据的修正参数;从不同时期的数据中选择第三时期数据作为当期数据,以及选择第二期数据作为前期数据,返回执行获取当期数据的交易金额的操作,直至每个数据组内不同时期的数据均计算完毕,得到各数据组对应的修正参数。
具体地,可以将多个数据组中任一数据组作为当前数据组,将当前数据组中第一期的交易金额设置为第一期数据的修正参数,例如,当将数据组按照月为时间单位划分为12期数据时,第一期的交易金额可以是第一个月的交易金额,由于第一期数据不存在前一期数据,无法进行当期数据与前期数据的比较,因此为了方便计算可以将第一期的交易金额设置为第一期数据的修正参数。然后,将当前数据组中的第二时期数据作为当期数据,以及将第一期数据作为前期数据。其次,获取当期数据的交易金额和异动交易金额,以及获取前期数据的交易金额和异动交易金额,以及获取前期数据的修正参数(例如第一期数据的修正参数)。此时,可以根据当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数,计算当期数据的修正参数。
在一些实施方式中,根据当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数,计算当期数据的修正参数可以包括:当当期数据的交易金额小于或等于前期数据的交易金额时,根据前期数据中的异动交易金额和前期数据的修正参数,计算当期数据的修正参数;当当期数据的交易金额大于前期数据的交易金额时,根据当期数据的交易金额和当期数据的异动交易金额,计算当期数据的修正参数。
例如,在得到当期数据的交易金额和前期数据的交易金额后,可以将当期数据的交易金额与前期数据的交易金额进行比较,若当期数据的交易金额小于或等于前期数据的交易金额,则可以根据前期数据中的异动交易金额和前期数据的修正参数,计算当期数据的修正参数,若当期数据的交易金额大于前期数据的交易金额,则可以根据当期数据的交易金额和当期数据的异动交易金额,计算当期数据的修正参数,当期数据的修正参数的计算方式可以如下公式(1)所示:
其中,divn,i指当期数据的修正参数,divn-1,i指前期数据的修正参数,i指第i个数据组,n指第n期数据,当n为1时,说明当期数据为第一期数据,此时当期数据的修正参数为c,c为常数,c可以设置为第一期的交易金额;amtn-1,i指前期数据的交易金额,amtn,i指当期数据的交易金额,amt_abnn-1,i指前期数据中的异动交易金额,amt_abnn,i指当期数据中的异动交易金额。
此时,可以将当前数据组中的第三时期数据作为当期数据,以及将当前数据组中的第二期数据作为前期数据,返回执行获取获取当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数;根据当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数,计算当期数据的修正参数等操作。依次类推,然后可以将当前数据组中的第四时期数据作为当期数据,以及将当前数据组中的第三期数据作为前期数据,返回执行获取获取当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数;根据当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数,计算当期数据的修正参数等操作,直至当前数据组内不同时期的数据均计算完毕,得到当前数据组对应的修正参数。
在当前数据组内不同时期的数据对应的修正参数计算完成后,可以将多个数据组中另一数据组作为当前数据组,返回执行将当前数据组中第一期的交易金额设置为第一期数据的修正参数,将当前数据组中的第二时期数据作为当期数据,以及将第一期数据作为前期数据;获取当期数据的交易金额和异动交易金额,以及获取前期数据的交易金额和异动交易金额,以及获取前期数据的修正参数,根据当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数,计算当期数据的修正参数等操作,直至多个数据组中均计算完成,得到各数据组不同时期数据对应的修正参数。
需要说明的是,可以是数据组内某个时期交易的数据满足一定条件时,触发获取数据组对应的修正参数,例如,在数据组内某个时期交易的数据中,若存在某一商户或用户的交易金额月波动超过其所属行业总金额的20%,则会获取修正指数进行修正;或者,在数据组内某个时期交易的数据中,若存在某一商户或用户的交易笔数月波动超过其所属行业总笔数的20%,则会获取修正指数进行修正。
S105、根据各数据组的修正参数分别对各数据组进行分析,得到分析结果。
其中,分析结果可以包括消费指数(即消费价格指数CPI)、总体消费指数、环比指数、及同比指数等。
在一些实施方式中,根据各数据组的修正参数分别对各数据组进行分析,得到分析结果可以包括:获取各数据组对应的交易金额和基期指数;根据修正参数、交易金额和基期指数计算每组数据对应的消费指数。
例如,可以获取各数据组对应的交易金额和基期指数,该基期指数可以根据数据需要进行灵活设置,例如,可以将基期指数设置为1、100或1000等,或者,可以将预设时间段内的平均交易金额设置为基点,当基期指数为100时,说明消费指数的基点为100。然后可以根据修正参数、交易金额和基期指数计算每组数据对应的消费指数,该消费指数的计算方式可以如下公式(2)和公式(3)所示:
其中,i指第i个数据组,n指第n期数据,indexn,i指第i个数据组中第n期数据的消费指数,amtn,i指第i个数据组的交易金额(即统计出的第i个数据组的交易总金额);based_index为基期指数(例如,可以设置为100),divn,i指第i个数据组中第n期数据的修正参数,当n为1时,说明当期数据为第一期数据,此时当期数据的修正参数为c,c为常数。
在一些实施方式中,根据各数据组的修正参数分别对各数据组进行分析,得到分析结果可以包括:获取各数据组的交易类型、权重及消费指数;根据各数据组的交易类型、权重及消费指数,计算样本数据的总体消费指数。
例如,可以获取各数据组的交易类型、各数据组的权重,以及各数据组的消费指数,数据组的权重可以根据实际需要进行灵活设置,然后根据各数据组的交易类型、权重及消费指数,计算样本数据的总体消费指数,该总体消费指数的计算方式可以如下公式(4)所示:
indexn=∑weighti×indexn,i (4)
其中,i指交易类型(也可以称为分项类目),即第i组数据组,weighti指数据组的权重,indexn,i指数据组的消费指数,indexn指总体消费指数。
在得到消费指数和总体消费指数等信息后,可以将消费指数和总体消费指数以曲线图、数据列表或柱状图等形式进行显示,以便用户直观查看总体消费指数及交易总金额等。
需要说明的是,在对各数据组进行分析的过程中,还可以计算消费指数的环比指数和同比指数,例如,环比指数=indexn/indexn-1*100%,同比指数=indexn/indexn-12*100%,indexn可以表示当年的第n期对应的消费指数,indexn-1可以表示当年的第n-1期对应的消费指数,indexn-12表示去年的第n期对应的消费指数。
在一些实施方式中,根据各数据组的修正参数分别对各数据组进行分析,得到分析结果之后,数据处理方法还可以包括:将分析结果存储至区块链中。例如,可以将消费指数、总体消费指数、环比指数和同比指数等分析结果存储至区块链中,即本申请的执行主体作为区块链中的一个节点,可以将相关数据存储至区块链中。
本申请实施例可以获取预设时间段内交易的样本数据,以及对样本数据进行筛选,得到有效样本数据;然后按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组,获取各数据组对应的修正参数;此时可以根据各数据组的修正参数分别对各数据组进行分析,得到分析结果。该方案可以自动对样本数据进行筛选及分组,并根据每组数据组对应的修正参数对各数据组进行分析,提高了数据处理的准确性和效率。
根据上述实施例所描述的方法,以下将举例作进一步详细说明。
本实施例以数据处理装置为设备为例,该设备可以作为区块链系统中的一个节点,该设备可以对交易的样本数据进行分析,以计算消费指数等,该样本数据与社会消费品零售总额的类目相同,使得该消费指数可提供给统计局作为宏观经济趋势研究的参考,观察国民消费的升降级趋势;也可提供给证券业务进行行业指数、选股策略和股票指数的参考,例如当食品餐饮类目消费指数在趋势上显示变强,可以选择推荐相关行业的股票等;也可给各业务部分作为运营参考,给投资并购部门用于行业发展趋势研究和投资价值评估。以下将进行详细说明。
请参阅图3,图3为本申请实施例提供的数据处理方法的另一流程示意图。
该方法流程可以包括:
S201、设备获取预设时间段内交易的样本数据。
该预设时间段可以根据实际需要进行灵活设置,例如,设备可以从预先存储数据的服务器或者终端上,获取过去是1年内商户与用户之间进行移动支付的样本数据。该样本数据可以包括某用户在某商户于何时进行了一笔多少金额的支付等信息。例如,可以基于区块链的共享账本中的数据,获取预设时间段内交易的样本数据。
S202、设备将样本数据中社交支付的数据剔除,得到候选样本数据。
由于移动支付等交易的样本数据涉及的消费场景比较广泛,因此样本数据中可能包括利用微信支付的每一笔商业支付,该商业支付可以包括红包或转账等社交支付,该社交支付可能并非商户与用户之间的交易,为了将红包或转账等社交支付剔除,以过滤干扰后续分析的无效样本数据,设备可以对样本数据进行一次筛选,剔除样本数据中红包、转账或其他等社交支付,得到候选样本数据。
S203、设备从候选样本数据中筛选出交易双方在预设时间内均存在的交易的数据,得到有效样本数据。
为了剔除暂时性且不具代表性用户或者商户等交易,设备可以对候选样本数据进行二次筛选,即在筛选候选样本数据是否需要纳入效样本数据的统计时,设备可以从候选样本数据中筛选出交易双方在预设时间内均存在的交易的数据,该预设时间可以根据实际需要进行灵活设置,例如,该交易的数据可以满足以下两个筛选条件:(1)用户最近4个月每月均有交易(2)商户最近4个月每月均有交易;等等。即对候选样本数据根据筛选条件进行二次筛选,以通过二次筛选后得到的有效样本数据进行后续消费指数的计算,例如基于有效样本数据进行消费指数计算,保证消费指数计算的准确性。
S204、设备按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组。
为了方便准确进行数据分析,设备可以按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组,该交易类型可以包括商户类型,例如,对于众多不同类型的商户,设备可以将有效样本数据划分为:食品餐饮、服饰箱包、数码家电、家装家居、室内装饰、母婴用品和玩具、医药保健、书籍和文化用品、珠宝首饰、油品交通、以及其他类型商品等,使得这些分类与社会消费品交易总金额的统计范围匹配,以便通过每一类型的有效样本数据进行后续消费指数等的计算。
S205、设备将各数据组内的数据按照时间划分为不同时期的数据。
例如,设备可以按月为时间单位,将1年的每个数据组内的数据分别划分为12个月对应的数据,得到12个不同时期的数据;或者是其他划分方式。
S206、设备获取不同时期的数据的交易金额和异动交易金额,根据交易金额和异动交易金额计算各数据组对应的修正参数。
其中,某一时期的交易金额可以是该时期的有效样本数据中交易的总金额,某一时期的异动交易金额可以是该时期的有效样本数据中交易出现异常变动的部分金额,例如,在某一时期突然接入交易量较大的商户A,在该时期商户A的交易金额即为异动交易金额。为了提高数据处理的准确性,设备可以预先对异动交易情况进行判定,当存在异动交易时可以获取修正参数进行后续消费指数的计算,例如,可以若存在某一商户的交易金额月波动超过其所属行业总金额的20%,则会获取修正指数进行修正;或者若存在某一商户或用户的交易笔数月波动超过其所属行业总笔数的20%,则会获取修正指数进行修正等。
设备可以获取不同时期的数据的交易金额和异动交易金额,此时可以根据交易金额和异动交易金额计算各数据组对应的修正参数。例如,对于每个数据组,设备可以将第一期的交易金额设置为第一期数据的修正参数,从不同时期的数据中选择第二时期数据作为当期数据,以及选择第一期数据作为前期数据。然后设备可以获取当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数,根据当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数,计算当期数据的修正参数,例如,若当期数据的交易金额小于或等于前期数据的交易金额,则可以根据前期数据中的异动交易金额和前期数据的修正参数,计算当期数据的修正参数;若当期数据的交易金额大于前期数据的交易金额,则可以根据当期数据的交易金额和当期数据的异动交易金额,计算当期数据的修正参数,修正参数的计算方式可以如上公式(1)所示。此时,设备可以从不同时期的数据中选择第三时期数据作为当期数据,以及选择第二期数据作为前期数据,返回执行获取当期数据的交易金额的操作,直至每个数据组内不同时期的数据均计算完毕,得到各数据组对应的修正参数。
S207、设备获取各数据组对应的交易金额、基期指数、交易类型及权重。
S208、设备根据修正参数、交易金额和基期指数计算每组数据对应的消费指数。
由于消费平台原因,商户随时都可能进入或者退出消费平台,这种非消费交易原因带来的变化,可能会导致存在异常数据或波动较大的数据,因此可以采用修正机制。例如,为了避免存在异常数据或波动较大的数据等影响后续分析,可以获取修正参数,以便基于修正参数对有效样本数据进行修正及分析等。
设备可以获取各数据组对应的交易金额和基期指数,该基期指数可以根据数据需要进行灵活设置,例如,可以将基期指数设置为1、100或1000等,然后可以基于上述公式(2)和公式(3)根据修正参数、交易金额和基期指数计算每组数据对应的消费指数,在得到消费指数后,设备可以对消费指数以数据列表、曲线图、饼图或柱状图等形式进行显示。实现了及时自动从数据库中获得预设时间段内(例如上个月或上半年或过去一年等)的全部交易数据,消费指数计算过程可以实现无人工干预的自动计算,计算时间非常短,可以在规定时间内(例如每月1日)及时获取并发布消费指数。
S209、设备根据各数据组的交易类型、权重及消费指数,计算样本数据的总体消费指数。
设备可以获取各数据组的交易类型、各数据组的权重,以及各数据组的消费指数,数据组的权重可以根据实际需要进行灵活设置,然后基于上述公式(4)根据各数据组的交易类型、权重及消费指数,计算样本数据的总体消费指数。实现了使用移动支付的交易数据进行生活性服务业等消费指数构建,可以及时反映生活性服务业的发展动态、结构变化、以及消费升/降级的趋势。例如,如图4所示,设备可以将计算得到的总体消费指数以曲线图的形式进行显示,以及将交易总金额以曲线图的形式进行显示等,以便用户直观查看总体消费指数及交易总金额等。此外,可以将消费指数和总体消费指数等分析结果存储至区块链中,即本申请的执行主体作为区块链中的一个节点,可以将相关数据存储至区块链中。
本申请实施例设备可以获取预设时间段内交易的样本数据,以及对样本数据进行筛选,得到有效样本数据;然后按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组,以及将各数据组内的数据按照时间划分为不同时期的数据,基于不同时期的数据的交易金额和异动交易金额等获取各数据组对应的修正参数;此时可以获取各数据组对应的交易金额、基期指数、交易类型及权重,根据修正参数、交易金额和基期指数计算每组数据对应的消费指数,以及,根据各数据组的交易类型、权重及消费指数,计算样本数据的总体消费指数。该方案可以自动对样本数据进行筛选及分组,减少通过人工处理的成本,且相比人工获取到样本数据速度快,以及计算数据组对应的消费指数(即每一类目的消费指数)和总体消费指数,并增加了消费指数的修正,使得计算出的消费指数更为准确,且数据处理过程简单快速,提高了数据处理的准确性和效率。
为便于更好的实施本申请实施例提供的数据处理方法,本申请实施例还提供一种基于上述数据处理方法的装置。其中名词的含义与上述数据处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图5,图5为本申请实施例提供的数据处理装置的结构示意图,其中该数据处理装置可以包括数据获取单元301、筛选单元302、划分单元303、参数获取单元304及分析单元305等。
其中,数据获取单元301,用于获取预设时间段内交易的样本数据。
筛选单元302,用于对样本数据进行筛选,得到有效样本数据。
划分单元303,用于按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组。
参数获取单元304,用于获取各数据组对应的修正参数。
分析单元305,用于根据各数据组的修正参数分别对各数据组进行分析,得到分析结果。
在一些实施方式中,参数获取单元304可以包括划分子单元和计算子单元等,具体可以如下:
划分子单元,用于将各数据组内的数据按照时间划分为不同时期的数据;
计算子单元,用于获取不同时期的数据的交易金额和异动交易金额,根据交易金额和异动交易金额计算各数据组对应的修正参数。
在一些实施方式中,计算子单元可以包括设置模块、选择模块、获取模块、计算模块和处理模块等,具体可以如下:
设置模块,用于对于每个数据组,将第一期的交易金额设置为第一期数据的修正参数;
选择模块,用于从不同时期的数据中选择第二时期数据作为当期数据,以及选择第一期数据作为前期数据;
获取模块,用于获取当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数;
计算模块,用于根据当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数,计算当期数据的修正参数;
处理模块,用于从不同时期的数据中选择第三时期数据作为当期数据,以及选择第二期数据作为前期数据,返回执行获取当期数据的交易金额的操作,直至每个数据组内不同时期的数据均计算完毕,得到各数据组对应的修正参数。
在一些实施方式中,计算模块具体用于:
当当期数据的交易金额小于或等于前期数据的交易金额时,根据前期数据中的异动交易金额和前期数据的修正参数,计算当期数据的修正参数;
当当期数据的交易金额大于前期数据的交易金额时,根据当期数据的交易金额和当期数据的异动交易金额,计算当期数据的修正参数。
在一些实施方式中,筛选单元302具体用于:将样本数据中社交支付的数据剔除,得到候选样本数据;从候选样本数据中筛选出交易双方在预设时间内均存在的交易的数据,得到有效样本数据。
在一些实施方式中,分析结果包括消费指数,分析单元305具体用于:获取各数据组对应的交易金额和基期指数;根据修正参数、交易金额和基期指数计算每组数据对应的消费指数。
在一些实施方式中,分析结果包括总体消费指数,分析单元具305体用于:获取各数据组的交易类型、权重及消费指数;根据各数据组的交易类型、权重及消费指数,计算样本数据的总体消费指数。
在一些实施方式中,数据处理装置还可以包括:
存储单元,用于将所述分析结果存储至区块链中。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
本申请实施例可以由数据获取单元301获取预设时间段内交易的样本数据,以及由筛选单元302对样本数据进行筛选,得到有效样本数据;然后由划分单元303按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组,以及参数获取单元304获取各数据组对应的修正参数;此时分析单元305可以根据各数据组的修正参数分别对各数据组进行分析,得到分析结果。该方案可以自动对样本数据进行筛选及分组,并根据每组数据组对应的修正参数对各数据组进行分析,提高了数据处理的准确性和效率。
本申请实施例还提供一种设备,该设备可以为服务器或终端等。如图6所示,其示出了本申请实施例所涉及的设备的结构示意图,具体来讲:
该设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图6中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该设备的控制中心,利用各种接口和线路连接整个设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行设备的各种功能和处理数据,从而对设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而执行本申请实施例提供的数据处理方法,如下:
获取预设时间段内交易的样本数据;对样本数据进行筛选,得到有效样本数据;按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组;获取各数据组对应的修正参数;根据各数据组的修正参数分别对各数据组进行分析,得到分析结果。
在一些实施方式中,在获取各数据组对应的修正参数时,处理器401还执行:将各数据组内的数据按照时间划分为不同时期的数据;获取不同时期的数据的交易金额和异动交易金额,根据交易金额和异动交易金额计算各数据组对应的修正参数。
在一些实施方式中,在获取不同时期的数据的交易金额和异动交易金额,根据交易金额和异动交易金额计算各数据组对应的修正参数时,处理器401还执行:对于每个数据组,将第一期的交易金额设置为第一期数据的修正参数;从不同时期的数据中选择第二时期数据作为当期数据,以及选择第一期数据作为前期数据;获取当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数;根据当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数,计算当期数据的修正参数;从不同时期的数据中选择第三时期数据作为当期数据,以及选择第二期数据作为前期数据,返回执行获取当期数据的交易金额的操作,直至每个数据组内不同时期的数据均计算完毕,得到各数据组对应的修正参数。
在一些实施方式中,在根据当期数据的交易金额和异动交易金额、前期数据的交易金额和异动交易金额、以及前期数据的修正参数,计算当期数据的修正参数时,处理器401还执行:若当期数据的交易金额小于或等于前期数据的交易金额,则根据前期数据中的异动交易金额和前期数据的修正参数,计算当期数据的修正参数;若当期数据的交易金额大于前期数据的交易金额,则根据当期数据的交易金额和当期数据的异动交易金额,计算当期数据的修正参数。
在一些实施方式中,在对样本数据进行筛选,得到有效样本数据时,处理器401还执行:将样本数据中社交支付的数据剔除,得到候选样本数据;从候选样本数据中筛选出交易双方在预设时间内均存在的交易的数据,得到有效样本数据。
在一些实施方式中,在根据各数据组的修正参数分别对各数据组进行分析,得到分析结果时,处理器401还执行:获取各数据组对应的交易金额和基期指数;根据修正参数、交易金额和基期指数计算每组数据对应的消费指数。
在一些实施方式中,在根据各数据组的修正参数分别对各数据组进行分析,得到分析结果时,处理器401还执行:获取各数据组的交易类型、权重及消费指数;根据各数据组的交易类型、权重及消费指数,计算样本数据的总体消费指数。
在一些实施方式中,根据各数据组的修正参数分别对各数据组进行分析,得到分析结果之后,处理器401还执行:将分析结果存储至区块链中。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对数据处理方法的详细描述,此处不再赘述。
本申请实施例涉及的数据处理系统可以是由客户端、多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。
以分布式系统为区块链系统为例,参见图7,图7是本申请实施例提供的分布式系统100应用于区块链系统的一个可选的结构示意图,由多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)和客户端形成,节点之间形成组成的点对点(P2P,Peer ToPeer)网络,P2P协议是一个运行在传输控制协议(TCP,Transmission Control Protocol)协议之上的应用层协议。在分布式系统中,任何机器如服务器、终端都可以加入而成为节点,节点包括硬件层、中间层、操作系统层和应用层。
参见图7示出的区块链系统中各节点的功能,涉及的功能包括:
1)路由,节点具有的基本功能,用于支持节点之间的通信。
节点除具有路由功能外,还可以具有以下功能:
2)应用,用于部署在区块链中,根据实际业务需求而实现特定业务,记录实现功能相关的数据形成记录数据,在记录数据中携带数字签名以表示任务数据的来源,将记录数据发送到区块链系统中的其他节点,供其他节点在验证记录数据来源以及完整性成功时,将记录数据添加到临时区块中。
例如,应用实现的业务包括:
2.1)钱包,用于提供进行电子货币的交易的功能,包括发起交易(即,将当前交易的交易记录发送给区块链系统中的其他节点,其他节点验证成功后,作为承认交易有效的响应,将交易的记录数据存入区块链的临时区块中;当然,钱包还支持查询电子货币地址中剩余的电子货币;
2.2)共享账本,用于提供账目数据的存储、查询和修改等操作的功能,将对账目数据的操作的记录数据发送到区块链系统中的其他节点,其他节点验证有效后,作为承认账目数据有效的响应,将记录数据存入临时区块中,还可以向发起操作的节点发送确认。
2.3)智能合约,计算机化的协议,可以执行某个合约的条款,通过部署在共享账本上的用于在满足一定条件时而执行的代码实现,根据实际的业务需求代码用于完成自动化的交易,例如查询买家所购买商品的物流状态,在买家签收货物后将买家的电子货币转移到商户的地址;当然,智能合约不仅限于执行用于交易的合约,还可以执行对接收的信息进行处理的合约。
3)区块链,包括一系列按照产生的先后时间顺序相互接续的区块(Block),新区块一旦加入到区块链中就不会再被移除,区块中记录了区块链系统中节点提交的记录数据。
参见图8,图8是本申请实施例提供的区块结构(Block Structure)一个可选的示意图,每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值,各区块通过哈希值连接形成区块链。另外,区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了相关的信息,用于验证其信息的有效性(防伪)和生成下一个区块。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种数据处理方法。例如,该计算机程序被处理器加载,可以执行如下步骤
获取预设时间段内交易的样本数据;对样本数据进行筛选,得到有效样本数据;按照交易类型对有效样本数据进行划分,得到每种交易类型对应的数据组;获取各数据组对应的修正参数;根据各数据组的修正参数分别对各数据组进行分析,得到分析结果。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种数据处理方法,因此,可以实现本申请实施例所提供的任一种数据处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种数据处理方法、装置、设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种数据处理方法,其特征在于,包括:
获取预设时间段内交易的样本数据;
对所述样本数据进行筛选,得到有效样本数据,所述有效样本数据包括商户与用户之间进行交易的数据;
按照交易类型对所述有效样本数据进行划分,得到每种交易类型对应的数据组;
将所述各数据组内的数据按照时间划分为不同时期的数据;
获取不同时期的数据的交易金额和异动交易金额,根据所述交易金额和异动交易金额计算各数据组对应的修正参数,所述交易金额为预设时期的有效样本数据中交易的总金额,所述异动交易金额为预设时期的有效样本数据中交易出现异常变动的部分金额;
根据所述各数据组的修正参数分别对各数据组进行分析,得到分析结果。
2.根据权利要求1所述的数据处理方法,其特征在于,所述获取不同时期的数据的交易金额和异动交易金额,根据所述交易金额和异动交易金额计算各数据组对应的修正参数包括:
对于每个数据组,将第一期的交易金额设置为第一期数据的修正参数;
从不同时期的数据中选择第二时期数据作为当期数据,以及选择第一期数据作为前期数据;
获取所述当期数据的交易金额和异动交易金额、所述前期数据的交易金额和异动交易金额、以及所述前期数据的修正参数;
根据所述当期数据的交易金额和异动交易金额、所述前期数据的交易金额和异动交易金额、以及所述前期数据的修正参数,计算所述当期数据的修正参数;
从不同时期的数据中选择第三时期数据作为当期数据,以及选择第二期数据作为前期数据,返回执行获取所述当期数据的交易金额的操作,直至每个数据组内不同时期的数据均计算完毕,得到各数据组对应的修正参数。
3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述当期数据的交易金额和异动交易金额、所述前期数据的交易金额和异动交易金额、以及所述前期数据的修正参数,计算所述当期数据的修正参数包括:
当所述当期数据的交易金额小于或等于所述前期数据的交易金额时,根据所述前期数据中的异动交易金额和所述前期数据的修正参数,计算所述当期数据的修正参数;
当所述当期数据的交易金额大于所述前期数据的交易金额时,根据所述当期数据的交易金额和所述当期数据的异动交易金额,计算所述当期数据的修正参数。
4.根据权利要求1所述的数据处理方法,其特征在于,所述对所述样本数据进行筛选,得到有效样本数据包括:
将所述样本数据中社交支付的数据剔除,得到候选样本数据;
从所述候选样本数据中筛选出交易双方在预设时间内均存在的交易的数据,得到有效样本数据。
5.根据权利要求1至4任一项所述的数据处理方法,其特征在于,所述分析结果包括消费指数,所述根据所述各数据组的修正参数分别对各数据组进行分析,得到分析结果包括:
获取所述各数据组对应的交易金额和基期指数;
根据所述修正参数、交易金额和基期指数计算每组数据对应的消费指数;
或者,所述分析结果包括总体消费指数,所述根据所述各数据组的修正参数分别对各数据组进行分析,得到分析结果包括:
获取各数据组的交易类型、权重及消费指数;
根据所述各数据组的交易类型、权重及消费指数,计算所述样本数据的总体消费指数。
6.根据权利要求1至4任一项所述的数据处理方法,其特征在于,所述根据所述各数据组的修正参数分别对各数据组进行分析,得到分析结果之后,所述方法还包括:
将所述分析结果存储至区块链中。
7.一种数据处理装置,其特征在于,包括:
数据获取单元,用于获取预设时间段内交易的样本数据;
筛选单元,用于对所述样本数据进行筛选,得到有效样本数据,所述有效样本数据包括商户与用户之间进行交易的数据;
划分单元,用于按照交易类型对所述有效样本数据进行划分,得到每种交易类型对应的数据组;
参数获取单元,用于将所述各数据组内的数据按照时间划分为不同时期的数据,获取不同时期的数据的交易金额和异动交易金额,根据所述交易金额和异动交易金额计算各数据组对应的修正参数,所述交易金额为预设时期的有效样本数据中交易的总金额,所述异动交易金额为预设时期的有效样本数据中交易出现异常变动的部分金额;
分析单元,用于根据所述各数据组的修正参数分别对各数据组进行分析,得到分析结果。
8.一种设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至6任一项所述的数据处理方法。
9.一种存储介质,其特征在于,所述存储介质用于存储计算机程序,所述计算机程序被处理器加载以执行权利要求1至6任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911059233.8A CN110826994B (zh) | 2019-11-01 | 2019-11-01 | 一种数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911059233.8A CN110826994B (zh) | 2019-11-01 | 2019-11-01 | 一种数据处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110826994A CN110826994A (zh) | 2020-02-21 |
CN110826994B true CN110826994B (zh) | 2021-05-28 |
Family
ID=69551879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911059233.8A Active CN110826994B (zh) | 2019-11-01 | 2019-11-01 | 一种数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110826994B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682520A (zh) * | 2016-11-17 | 2017-05-17 | 精硕科技(北京)股份有限公司 | 数据交易方法及数据交易系统 |
CN108921597A (zh) * | 2018-06-12 | 2018-11-30 | 李俊鹏 | 基于房地产大数据的房产价格自动评估系统及方法 |
CN108920558A (zh) * | 2018-06-20 | 2018-11-30 | 厦门快商通信息技术有限公司 | 一种基于区块链的分布式能源交易与供给管理系统及方法 |
CN109325675A (zh) * | 2018-09-10 | 2019-02-12 | 北京电力交易中心有限公司 | 一种京电指数计算方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463583A (zh) * | 2013-09-25 | 2015-03-25 | 北京新媒传信科技有限公司 | 交易监控的方法和装置 |
CN105590209A (zh) * | 2015-05-07 | 2016-05-18 | 中国银联股份有限公司 | 电子交易监控方法及系统 |
-
2019
- 2019-11-01 CN CN201911059233.8A patent/CN110826994B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682520A (zh) * | 2016-11-17 | 2017-05-17 | 精硕科技(北京)股份有限公司 | 数据交易方法及数据交易系统 |
CN108921597A (zh) * | 2018-06-12 | 2018-11-30 | 李俊鹏 | 基于房地产大数据的房产价格自动评估系统及方法 |
CN108920558A (zh) * | 2018-06-20 | 2018-11-30 | 厦门快商通信息技术有限公司 | 一种基于区块链的分布式能源交易与供给管理系统及方法 |
CN109325675A (zh) * | 2018-09-10 | 2019-02-12 | 北京电力交易中心有限公司 | 一种京电指数计算方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110826994A (zh) | 2020-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10762564B2 (en) | Autonomous peer-to-peer energy networks operating on a blockchain | |
CN113508412A (zh) | 基于铸造和销毁区块链的反馈通信协议 | |
CN107103548A (zh) | 网络行为数据的监控方法和系统以及风险监控方法和系统 | |
CN111325581B (zh) | 数据处理方法及装置、电子设备和计算机可读存储介质 | |
US10026069B2 (en) | System and method for software application usage metering using data store | |
CN110223138A (zh) | 基于区块链的家居租赁方法和装置 | |
US20220300955A1 (en) | Systems and methods of generating, validating, approving, recording, and utilizing digital data assets in a blockchain platform using a transactional proof of work | |
CN110020905A (zh) | 一种数据化选品的方法、装置及系统 | |
Celiz et al. | Cloud model for purchase management in health sector of peru based on IoT and blockchain | |
Pawar et al. | Food subsidy distribution system through Blockchain technology: a value focused thinking approach for prototype development | |
CN106408319A (zh) | 一种分销数据管理系统和方法 | |
CN115168460A (zh) | 数据处理方法、数据交易系统、设备及存储介质 | |
US20160267250A1 (en) | Method and System for Managing and Tracking Medical and Legalized Marijuana | |
CN107392736A (zh) | 一种数据处理方法、装置及设备 | |
Spray | Reorganise, replace or expand? The role of the supply-chain in first-time exporting | |
CN110826994B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN104657899A (zh) | 用于处理有自我意识的代币的方法和系统 | |
CA2537046A1 (en) | Manufacturing units of an item in response to demand for the item projected from page-view data | |
KR102169311B1 (ko) | 블록 체인 기반 스마트 컨트랙트를 이용한 구독서비스 방법 | |
US11481762B2 (en) | Methods and apparatus for creating, tracking, and redeeming DLT-enabled digitized tokens from electricity generation | |
Han et al. | Managing Distrust‐Induced Risk with Deposit in Supply Chain Contract Decisions | |
Falck et al. | Resource" Data": Economic Benefts of Data Provision | |
KR20190123179A (ko) | 블록체인을 이용한 신용자의 신용정보 거래 방법 | |
JP2015197699A (ja) | 加盟店提供データ出力システム | |
CN109191094A (zh) | 一种基于区块链的支付系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40021091 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |