CN108805593A - 一种数据处理的方法、系统、电子设备和可读存储介质 - Google Patents

一种数据处理的方法、系统、电子设备和可读存储介质 Download PDF

Info

Publication number
CN108805593A
CN108805593A CN201710286490.XA CN201710286490A CN108805593A CN 108805593 A CN108805593 A CN 108805593A CN 201710286490 A CN201710286490 A CN 201710286490A CN 108805593 A CN108805593 A CN 108805593A
Authority
CN
China
Prior art keywords
data
fitting
scheduling institution
server
tables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710286490.XA
Other languages
English (en)
Inventor
高青
陈艺天
蒋佳涛
鲁艳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710286490.XA priority Critical patent/CN108805593A/zh
Publication of CN108805593A publication Critical patent/CN108805593A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278Product appraisal

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据处理的方法、系统、电子设备和可读存储介质,能够实现对海量数据的分布式科学计算,保证了计算的速度和准确性;通过价格弹性计算出消费者对价格变动的敏感程度,从而更好地指导商品定价。本发明的数据处理的方法包括:调度机构从数据表中读取数据,并将数据分发给多个服务器;服务器对接收的数据进行数据拟合,并将数据的拟合结果返回给调度机构;调度机构接收服务器返回的拟合结果,并将拟合结果发送给数据仓库以便保存到数据仓库中。

Description

一种数据处理的方法、系统、电子设备和可读存储介质
技术领域
本发明涉及计算机技术领域,特别地涉及一种数据处理的方法、系统、电子设备和可读存储介质。
背景技术
随着计算机技术、网络技术和远程通信技术的发展,电子商务行业也开始快速扩张。目前,电子商务已日益成为拉动消费需求、促进传统产业升级、发展现代服务业的重要引擎。
对于电子商务平台来说,如何给商品合理地定价是首要解决的问题。目前常用的方案是,根据商品的销量和页面点击量来计算用户对商品的价格敏感度。根据用户对商品的价格敏感度的不同,可将商品分为关键品、普通品、长尾品(需求不旺或销量不佳的产品)等几类。其中,商品的销量指标是利用数据库中的订单数据,加工成销量数据获得的;关键价值商品指标是利用商品销量和用户页面访问页面时的操作代码加工而来。现有的对销量指标和关键价值商品指标的计算方法一般有如下两种:
1、利用R、python单机计算,也就是通过R或者python在单台服务器上读取数据并进行数据的计算;
2、利用hadoop mapreduce在计算机集群上运算,能对海量数据进行处理,可以对数据实现一般的汇总、统计计算等。
在实现本发明的过程中,发明人发现现有技术存在如下技术问题:
现有的对销量指标和关键价值商品指标的计算方法,利用R、python单机计算时,由于单服务器存储能力和计算能力有限,在处理数据量和效率上存在很大的局限性;利用hadoop mapreduce处理数据时,由于计算能力有限,无法利用机器学习算法对数据进行进一步处理。
另外,现有的技术方案单纯考虑销量和点击量,但销量和点击量会因促销等因素的影响在短时间内的变化比较剧烈,影响了数据指标的置信度;其次,现有技术并没有区分销量和点击量的变化在多大程度上是由价格因素导致的。因此现有的技术方案并不能很好地指导商品定价,不能依据消费者对商品价格变动的敏感程度进行最优价格的决策。
发明内容
有鉴于此,本发明提供一种数据处理的方法、系统、电子设备和可读存储介质,能够实现对海量数据的分布式科学计算,保证了计算的速度和准确性;通过价格弹性计算出消费者对价格变动的敏感程度,从而更好地指导商品定价。
为实现上述目的,根据本发明的一个方面,提供了一种数据处理的方法。
一种数据处理的方法,包括:调度机构从数据表中读取数据,并将所述数据分发给多个服务器;所述服务器对接收的数据进行数据拟合,并将所述数据的拟合结果返回给所述调度机构;所述调度机构接收所述服务器返回的所述拟合结果,并将所述拟合结果发送给数据仓库以便保存到所述数据仓库中。
可选地,所述调度机构为spark。
可选地,调度机构从数据表中读取数据之前,还包括:数据加工模块将所述数据仓库中的数据根据商品种类以时间段为单位进行汇总并生成所述数据表。
可选地,所述时间段为天。
可选地,所述拟合结果包括数据模型、模型拟合优度和置信度。
可选地,所述服务器在进行数据拟合之前,对所述数据进行预处理以删除异常值。
可选地,所述服务器在进行数据拟合之后,根据预订的筛选规则对所述拟合结果进行筛选,所述筛选规则包括:满足模型拟合优度限值和置信度限值。
可选地,通过调用科学计算包进行所述数据拟合。
根据本发明的另一方面,提供了一种数据处理的系统。
一种数据处理的系统,包括:数据分发模块,用于调度机构从数据表中读取数据,并将所述数据分发给多个服务器;数据处理模块,用于所述服务器对接收的数据进行数据拟合,并将所述数据的拟合结果返回给所述调度机构;数据接收模块,用于所述调度机构接收所述服务器返回的所述拟合结果,并将所述拟合结果发送给数据仓库以便保存到所述数据仓库中。
可选地,所述调度机构为spark。
可选地,还包括数据加工模块,用于:调度机构从数据表中读取数据之前,将所述数据仓库中的数据根据商品种类以时间段为单位进行汇总并生成所述数据表。
可选地,所述时间段为天。
可选地,所述拟合结果包括数据模型、模型拟合优度和置信度。
可选地,所述服务器在进行数据拟合之前,对所述数据进行预处理以删除异常值。
可选地,所述服务器在进行数据拟合之后,根据预订的筛选规则对所述拟合结果进行筛选,所述筛选规则包括:满足模型拟合优度限值和置信度限值。
可选地,通过调用科学计算包进行所述数据拟合。
根据本发明的又一方面,提供了一种数据处理的终端设备。
一种数据处理的终端设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明所提供的数据处理的方法。
根据本发明的再一方面,提供了一种计算机可读介质。
一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明所提供的数据处理的方法。
上述发明中的一个实施例具有如下优点或有益效果:
通过调度机构spark的分布式集群处理能力可以发挥计算机集群多台计算机共同计算的能力;通过调用R和Python程序进行科学计算,可以便捷的实现数据挖掘中的各种统计模型、机器学习模型以及优化模型;最后再通过spark将结果回收汇总,实现了通过将spark框架与R或Python语言结合来完成对海量数据的分布式科学计算,保证了计算的速度和准确性;通过数据拟合得到的价格弹性的数据模型,可以计算出消费者对价格变动的敏感程度,从而更好地指导商品定价。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的数据处理的方法的系统架构图;
图2是根据本发明实施例的数据处理的方法的主要步骤示意图;
图3是根据本发明实施例的数据处理的系统的主要模块示意图;
图4是适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本发明为了解决现有技术不全面、不准确的问题,需要利用数据挖掘知识建立计量经济学模型,同时需要大数据技术实现对海量数据的处理。由于消费者对不同商品的价格敏感度不同,也就是说当一种商品价格发生变动时,引起消费者的反应程度不同,因此需要统计消费者对商品价格的敏感度。衡量消费者对商品价格反应程度大小的指标称为商品的需求价格弹性,简称价格弹性。经济学上价格弹性的定义是:在其他影响因素不变的情况下,价格变动1%所引起需求量变化的百分比,它用来衡量需求量对价格变动的反应程度。因此,计算单个商品的价格弹性时,需要知道该商品在不同价格下的销售量(也就是消费者的需求量)。对于在价格变动时,需求量不会发生很大变化的商品(称为缺乏弹性的商品),可以采取较高的价格策略,也就是采取略提价的价格策略;对于在微小的价格变动下,就会引起需求量很大的变动的商品(称为富有弹性的商品),可以采取较低的价格策略。
在计算价格弹性时,需要多种大数据处理技术和数据挖掘知识。在本发明的实施例中,首先对数据库中用hadoop存储的数据运用调度机构spark大数据运算框架进行分布式处理,加工成计量经济学模型所需要的数据结构;其次,用基于spark框架的R语言和python语言对数据进行预处理,异常值的处理和数据的标准化等;再次,运用R语言调用科学计算包,建立计量经济学模型并对其进行拟合,计算出价格弹性的数据模型;最后,对价格弹性的数据模型进行筛选,筛选出符合检验标准的数据模型,并通过hive存储到hadoop平台中。其中,R语言和python语言是数据挖掘中最常用的两种语言,它们都具有丰富的科学计算库,并能够灵活调用,很便捷的实现数据挖掘中的各种统计模型、机器学习模型以及优化模型。
图1是根据本发明实施例的数据处理的方法的系统架构图。如图1所示,本发明的实施例通过使用Hive查询语言HQL到数据仓库中查询商品信息、订单信息和页面浏览量信息等数据,并根据商品类别以天为单位进行汇总,得到每日数据的数据加工表以供调度机构spark读取;spark在读取每日数据后,分发到spark框架内的多个服务器节点,以便该多个服务器使用R语言或python语言对数据进行以下处理:
1、对数据进行预处理,例如:删除异常值等,以便在进行数据拟合时可以有更好的数据模型;
2、通过调用科学计算包进行数据拟合,并保存拟合结果,其中,拟合结果包括:数据模型、模型拟合优度和置信度;
3、对拟合结果进行筛选,通过对数据模型进行评估和检验,并保存符合模型拟合优度和置信度的数据模型。
服务器对数据进行处理后,将得到的符合要求的拟合结果发送给spark进行汇总。Spark将汇总后的拟合结果发送到数据仓库,以便通过hive脚本将接收到的拟合结果保存到数据仓库中。
图2是根据本发明实施例的数据处理的方法的主要步骤示意图。如图2所示,本发明实施例的数据处理的方法主要包括如下的步骤S21至步骤S23。
步骤S21:调度机构从数据表中读取数据,并将数据分发给多个服务器;
步骤S22:服务器对接收的数据进行数据拟合,并将数据的拟合结果返回给调度机构;
步骤S23:调度机构接收服务器返回的拟合结果,并将拟合结果发送给数据仓库以便保存到数据仓库中。
根据本发明的一个实施例,调度机构例如为spark。同样地,调度机构也可以为其他可以实现同样功能的系统。
在步骤S21中调度机构从数据表中读取数据之前,还可以包括:数据加工模块将数据仓库中的数据根据商品种类以时间段为单位进行汇总并生成数据表。其中,本发明的实施例中时间段为天。根据实际应用中数据处理的粒度大小,时间段也可选择小时、周、月、年等。数据加工模块通过使用Hive查询语言HQL到数据仓库中查询商品信息、订单信息和页面浏览量信息等数据,并根据商品类别以天为单位进行汇总,得到每日数据的数据加工表以供spark读取。
根据本发明的实施例,为了计算商品的价格弹性,需要通过商品的价格与销量的关系来进行数据分析,因此,需要获取商品的订单信息、品类信息、库存信息和优惠信息。其中,商品的成交价为除去所有优惠后最终用户所支付的价钱;商品的库存状态可通过如下公式来表示:
其中,为该商品上月的日销量均值。
当spark利用spark SQL从数据表中读取每日数据后,将数据存储成RDD格式。然后,将数据分发到服务器集群的各个服务器节点上,以实现分布式数据处理。在spark进行数据分发时,可以按照商品的类别,将数据分成多份,分别对应多个服务器。各个服务器通过使用R语言或python语言编写的代码对接收到的数据进行处理,其中,可以通过使用R语言调用科学计算包进行数据拟合。
服务器在进行数据拟合之前,需要对数据进行预处理以删除异常值。其中,删除的异常值例如:对于每日数据,删除小于30条交易数据的商品数据,由于数据量过少可能会发生过拟合现象;删除销量处于均值上下两倍标准差之外的记录,其中是每个商品销量的均值,σQ是商品销量的标准差;删除由于商品优惠而导致的成交价低于商品定价50%的记录,等等。在实际应用中,也可根据数据处理的需要,对数据进行预处理,可以删除异常值,也可以进行数据的标准化或归一化处理等等。
对数据进行预处理后,通过使用R语言调用科学计算包进行数据拟合。数据拟合的过程如下:
1、将销量和成交价分别取对数,计算出log(Q)和log(Ptrans);
2、通过拟合需求函数:logQ=α+βlogPtrans+γstockstatus+μ得到β;
3、计算价格弹性:
根据价格弹性的数学表达式:
而拟合系数由泰勒公式f(x)=f(x0)+f'(x)(x-x0),
得:从而
同理得:从而
因此:E=β。
由以上的步骤,即可得到价格弹性E的数据模型。
另外,拟合结果中除了包括数据模型之外,还包括模型拟合优度和置信度等数据,用于评估得到的数据模型。服务器在进行数据拟合之后,根据预订的筛选规则对拟合结果进行筛选,筛选规则包括:满足模型拟合优度限值和置信度限值。例如:可设定模型拟合优度限值为0.25,置信度限值为95%,那么,根据数据拟合得到的数据模型对应的模型拟合优度R2,需要选取满足R2>0.25的数据模型;为了保留置信度大于95%的价格弹性值,需要根据拟合系数的T检验值t-value,保留t-value>1.96的价格弹性值。根据上述的筛选规则,即可筛选出符合系统要求的数据拟合结果。在实际应用中,对拟合结果的筛选规则可根据系统需要进行灵活设置。
各个服务器在筛选得到满足条件的拟合结果后,将拟合结果发送给spark以进行结果汇总。最后,spark将汇总后的拟合结果发送给数据仓库,以便通过HQL保存在hive数据仓库中。
根据前面介绍的本发明实施例的数据处理的方法的实施过程,利用hive、spark、R和Python语言实现海量数据的分布式运算,保证了计算的速度和准确性。调度机构spark的分布式集群处理能力可以发挥计算机集群多台计算机共同计算的能力;通过调用R和Python程序进行科学计算,可以便捷的实现数据挖掘中的各种统计模型、机器学习模型以及优化模型;最后再通过spark将结果回收汇总,实现了通过将spark框架与R或Python语言结合来完成对海量数据的分布式科学计算;通过数据拟合得到的价格弹性的数据模型,可以计算出消费者对价格变动的敏感程度,从而更好地指导商品定价。
图3是根据本发明实施例的数据处理的系统的主要模块示意图。如图3所示,本发明实施例的数据处理的系统30主要包括数据分发模块31、数据处理模块32和数据接收模块33。
数据分发模块31用于调度机构从数据表中读取数据,并将所述数据分发给多个服务器;数据处理模块32用于所述服务器对接收的数据进行数据拟合,并将所述数据的拟合结果返回给所述调度机构;数据接收模块33用于所述调度机构接收所述服务器返回的所述拟合结果,并将所述拟合结果发送给数据仓库以便保存到所述数据仓库中。
根据本发明的实施例,调度机构可以为spark。同样地,所有能实现本发明实施例的调度机构的功能的系统均可被用于实现本发明实施例的技术方案。
另外,本发明实施例的数据处理的系统30还可以包括数据加工模块(图中未示出),用于:调度机构从数据表中读取数据之前,将所述数据仓库中的数据根据商品种类以时间段为单位进行汇总并生成所述数据表。
其中,所述时间段例如为天。另外,在实际运用中,根据数据处理的粒度大小,也可以选择小时、周、月、年等时间单位作为时间段大小的衡量。
本发明的实施例中,拟合结果包括数据模型、模型拟合优度和置信度。
根据本发明实施例的技术方案,所述服务器在进行数据拟合之前,对所述数据进行预处理以删除异常值。
并且,所述服务器在进行数据拟合之后,根据预订的筛选规则对所述拟合结果进行筛选,所述筛选规则包括:满足模型拟合优度限值和置信度限值。
根据本发明的实施例,通过调用科学计算包进行所述数据拟合。
根据本发明的实施例,本发明还提供了一种数据处理的终端设备和一种计算机可读介质。
本发明的数据处理的终端设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明所提供的数据处理的方法。
本发明的计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明所提供的数据处理的方法。
下面参考图4,其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机系统400包括中央处理单元(CPU)401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,根据本发明公开的实施例,上文主要步骤图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括数据分发模块、数据处理模块和数据接收模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,数据分发模块还可以被描述为“用于调度机构从数据表中读取数据,并将所述数据分发给多个服务器的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:调度机构从数据表中读取数据,并将所述数据分发给多个服务器;所述服务器对接收的数据进行数据拟合,并将所述数据的拟合结果返回给所述调度机构;所述调度机构接收所述服务器返回的所述拟合结果,并将所述拟合结果发送给数据仓库以便保存到所述数据仓库中。
根据本发明实施例的技术方案,通过调度机构spark的分布式集群处理能力可以发挥计算机集群多台计算机共同计算的能力;通过调用R和Python程序进行科学计算,可以便捷的实现数据挖掘中的各种统计模型、机器学习模型以及优化模型;最后再通过spark将结果回收汇总,实现了通过将spark框架与R或Python语言结合来完成对海量数据的分布式科学计算,保证了计算的速度和准确性;通过数据拟合得到的价格弹性的数据模型,可以计算出消费者对价格变动的敏感程度,从而更好地指导商品定价。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (18)

1.一种数据处理的方法,其特征在于,包括:
调度机构从数据表中读取数据,并将所述数据分发给多个服务器;
所述服务器对接收的数据进行数据拟合,并将所述数据的拟合结果返回给所述调度机构;
所述调度机构接收所述服务器返回的所述拟合结果,并将所述拟合结果发送给数据仓库以便保存到所述数据仓库中。
2.根据权利要求1所述的方法,其特征在于,所述调度机构为spark。
3.根据权利要求1所述的方法,其特征在于,调度机构从数据表中读取数据之前,还包括:
数据加工模块将所述数据仓库中的数据根据商品种类以时间段为单位进行汇总并生成所述数据表。
4.根据权利要求3所述的方法,其特征在于,所述时间段为天。
5.根据权利要求1所述的方法,其特征在于,
所述拟合结果包括数据模型、模型拟合优度和置信度。
6.根据权利要求1所述的方法,其特征在于,
所述服务器在进行数据拟合之前,对所述数据进行预处理以删除异常值。
7.根据权利要求1或5所述的方法,其特征在于,
所述服务器在进行数据拟合之后,根据预订的筛选规则对所述拟合结果进行筛选,所述筛选规则包括:满足模型拟合优度限值和置信度限值。
8.根据权利要求1所述的方法,其特征在于,通过调用科学计算包进行所述数据拟合。
9.一种数据处理的系统,其特征在于,包括:
数据分发模块,用于调度机构从数据表中读取数据,并将所述数据分发给多个服务器;
数据处理模块,用于所述服务器对接收的数据进行数据拟合,并将所述数据的拟合结果返回给所述调度机构;
数据接收模块,用于所述调度机构接收所述服务器返回的所述拟合结果,并将所述拟合结果发送给数据仓库以便保存到所述数据仓库中。
10.根据权利要求9所述的系统,其特征在于,所述调度机构为spark。
11.根据权利要求9所述的系统,其特征在于,还包括数据加工模块,用于:
调度机构从数据表中读取数据之前,将所述数据仓库中的数据根据商品种类以时间段为单位进行汇总并生成所述数据表。
12.根据权利要求11所述的系统,其特征在于,所述时间段为天。
13.根据权利要求9所述的系统,其特征在于,
所述拟合结果包括数据模型、模型拟合优度和置信度。
14.根据权利要求9所述的系统,其特征在于,
所述服务器在进行数据拟合之前,对所述数据进行预处理以删除异常值。
15.根据权利要求9或13所述的系统,其特征在于,
所述服务器在进行数据拟合之后,根据预订的筛选规则对所述拟合结果进行筛选,所述筛选规则包括:满足模型拟合优度限值和置信度限值。
16.根据权利要求9所述的系统,其特征在于,通过调用科学计算包进行所述数据拟合。
17.一种数据处理的终端设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201710286490.XA 2017-04-27 2017-04-27 一种数据处理的方法、系统、电子设备和可读存储介质 Pending CN108805593A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710286490.XA CN108805593A (zh) 2017-04-27 2017-04-27 一种数据处理的方法、系统、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710286490.XA CN108805593A (zh) 2017-04-27 2017-04-27 一种数据处理的方法、系统、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN108805593A true CN108805593A (zh) 2018-11-13

Family

ID=64070118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710286490.XA Pending CN108805593A (zh) 2017-04-27 2017-04-27 一种数据处理的方法、系统、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN108805593A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685360A (zh) * 2018-12-19 2019-04-26 成都四方伟业软件股份有限公司 数据质量检测方法及装置
CN113298550A (zh) * 2020-08-21 2021-08-24 阿里巴巴集团控股有限公司 商品价格的调整方法、装置和服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853826A (zh) * 2014-03-05 2014-06-11 浪潮通信信息系统有限公司 一种分布式性能数据处理方法
CN104680252A (zh) * 2015-02-13 2015-06-03 北京清控人居环境研究院有限公司 在线构架系统以及基于在线构架的供水实时调度方法
CN105488216A (zh) * 2015-12-17 2016-04-13 上海中彦信息科技有限公司 基于隐式反馈协同过滤算法的推荐系统及方法
CN105678398A (zh) * 2015-12-24 2016-06-15 国家电网公司 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853826A (zh) * 2014-03-05 2014-06-11 浪潮通信信息系统有限公司 一种分布式性能数据处理方法
CN104680252A (zh) * 2015-02-13 2015-06-03 北京清控人居环境研究院有限公司 在线构架系统以及基于在线构架的供水实时调度方法
CN105488216A (zh) * 2015-12-17 2016-04-13 上海中彦信息科技有限公司 基于隐式反馈协同过滤算法的推荐系统及方法
CN105678398A (zh) * 2015-12-24 2016-06-15 国家电网公司 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685360A (zh) * 2018-12-19 2019-04-26 成都四方伟业软件股份有限公司 数据质量检测方法及装置
CN113298550A (zh) * 2020-08-21 2021-08-24 阿里巴巴集团控股有限公司 商品价格的调整方法、装置和服务器

Similar Documents

Publication Publication Date Title
CN110135901A (zh) 一种企业用户画像构建方法、系统、介质和电子设备
CN107220217A (zh) 基于逻辑回归的特征系数训练方法和装置
US20150379429A1 (en) Interactive interfaces for machine learning model evaluations
CN106663037A (zh) 特征处理权衡管理
CN107480187A (zh) 基于聚类分析的用户价值分类方法和装置
CN108985809A (zh) 激励推送的方法、装置、电子设备和存储介质
US10896237B2 (en) Reducing database stress using cognitive data caching
CN110209677A (zh) 更新数据的方法和装置
CN109034988A (zh) 一种会计分录生成方法和装置
CN110019087A (zh) 数据处理方法及其系统
CN107301592A (zh) 用于商品替代品发掘的方法及装置
CN112215448A (zh) 分配客服的方法和装置
CN109344142A (zh) 数据处理方法、装置、电子设备及存储介质
CN108932625A (zh) 用户行为数据的分析方法、装置、介质和电子设备
CN110019214A (zh) 对数据拆分结果进行校验的方法和装置
CN113095893A (zh) 确定物品销量的方法和装置
CN109840817A (zh) 一种查询订单信息的方法和装置
CN109961199A (zh) 一种分析数据波动的方法和装置
CN107562941A (zh) 数据处理方法及其系统
CN110866625A (zh) 促销指标信息生成方法和装置
CN108805593A (zh) 一种数据处理的方法、系统、电子设备和可读存储介质
CN110109983A (zh) 一种操作Redis数据库的方法和装置
CN111612385A (zh) 一种对待配送物品进行聚类的方法和装置
CN110020876A (zh) 一种信息生成方法和装置
CN112287208B (zh) 用户画像生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113