CN110781235A - 基于大数据的采购数据处理方法、装置、终端及存储介质 - Google Patents

基于大数据的采购数据处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110781235A
CN110781235A CN201911019821.9A CN201911019821A CN110781235A CN 110781235 A CN110781235 A CN 110781235A CN 201911019821 A CN201911019821 A CN 201911019821A CN 110781235 A CN110781235 A CN 110781235A
Authority
CN
China
Prior art keywords
data
database
warehousing
purchase
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911019821.9A
Other languages
English (en)
Inventor
谭泽汉
张诗茹
侯俊光
杨丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201911019821.9A priority Critical patent/CN110781235A/zh
Publication of CN110781235A publication Critical patent/CN110781235A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders

Abstract

本申请提供的基于大数据的采购数据处理方法、装置、终端及存储介质，所述方法包括：采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中；从所述第一数据库的入库数据中，逐条筛选出与预设字段相匹配的目标数据得到转化数据，并对转化数据进行分析得到结果数据；将所述结果数据保存至第二数据库中，以便用户直接浏览第二数据库中的采购数据分析结果；本申请收集采购数据并按照指定格式定时导入至数据库，实现了原始采购数据完整、高效导出及保存；本申请通过设定预设字段筛选整理所需的数据表格形式，并将统一标准的数据运用Spark程序来进行分析计算，避免了人工操作产生的错误，提高了采购数据的管理分析效率。

Description

基于大数据的采购数据处理方法、装置、终端及存储介质
技术领域
本申请涉及数据处理技术领域，尤其是涉及基于大数据的采购数据处理方法、装置、终端及存储介质。
背景技术
采购是企业经营中不可缺少的一环。在采购过程中，物资与供应商存在多对多的关系，同一种物资的供应商可以不止一个，每一个供应商也可以供应多种物资。对于同一种物资，各个供应商的定价也会有所不同。采购人员每个月都会在综合考虑采购成本的基础上制定相应的采购计划，采用以采购计划为导向的方式来进行采购工作。但在现实过程中，往往有多种因素都会影响到采购计划的实际执行，使采购的成本超过预期。采购部门的相关人员需要对这些情况进行分析，找到具体问题，进而最大程度控制采购成本。
在传统的管理模式下，不同的采购管理模块会存在各自相应的系统，许多环节都分开管理，如果相关人员想要查看不同模块的数据，就需要分别登录相应的系统去导出需要的数据。当时的情况下，企业每个月的采购数据的数据量有限，往往员工查看相应的报表，经过人工使用常规的分析方法，就可以获知上个月企业的采购计划执行情况，进而进行结果分析、发现问题。
随着企业的不断壮大发展，采购行为也持续增加，如此，产生的数据量越来越大。在这种情况下，如果继续采用人工分析，那么需要人工进行大量的数据导出工作及计算工作，不但相关人员的工作量大大增加，而且容易出现操作或计算错误。因此，亟需基于大数据的采购数据处理方法、装置、终端及存储介质，能够提高数据分析结果的准确性和有效性、减轻采购人员的工作压力。
发明内容
针对现有技术的不足，本申请提供基于大数据的采购数据处理方法、装置、终端及存储介质，以解决现有技术中人工进行采购数据导出、计算、分析时工作量大、错误率高、管理分析效率低等问题。
为解决上述技术问题，第一方面，本申请提供一种基于大数据的采购数据处理方法，包括：
采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中；
从所述第一数据库的入库数据中，逐条筛选出与预设字段相匹配的目标数据得到转化数据，并对转化数据进行分析得到结果数据；
将所述结果数据保存至第二数据库中，以便用户直接浏览第二数据库中的采购数据分析结果。
优选的，所述采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中，包括：
采用Sqoop脚本从各个关系型数据库中将目标采购数据定时导入到第一数据库中或采用数据采集系统对接上游数据源将目标采购数据定时导入到第一数据库中，所述第一数据库为Hive数据库。
优选的，所述采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中，包括：
采用Sqoop脚本或数据采集系统获取企业的历史供应商价格数据、历史实际入库数据及历史计划入库数据；
将所述历史供应商价格数据、历史实际入库数据及历史计划入库数据分别按照预设字段顺序保存至第一数据库中，所述第一数据库为Hive数据库。
更优选的，将所述历史供应商价格数据按照供应商编号、物资编号、汇率、币种、单价、生产日期、失效日期的字段顺序保存至Hive数据库中，将所述历史实际入库数据按照日期、供应商编号、物资编号和入库数量的字段顺序保存至Hive数据库中，将所述历史计划入库数据按照日期、供应商编号、物资编号和计划入库比例的字段顺序保存至Hive数据库中。
优选的，所述从所述第一数据库的入库数据中，逐条筛选出与预设字段相匹配的目标数据得到转化数据，并对转化数据进行分析得到结果数据，包括：
利用Spark平台获取第一数据库中的数据；
使用Spark SQL从第一数据库中逐条筛选出与预设字段相匹配的目标数据得到转化数据；
使用Spark SQL对转化数据进行分析得到各供应商的入库比例、价格差异及未按照计划比例执行的损失金额的结果数据，其中，所述第一数据库为Hive数据库。
优选的，所述将所述结果数据保存至第二数据库中，以便用户直接浏览第二数据库中的采购数据分析结果，包括：
建立第二数据库表，将结果数据插入到第二数据库表中，将插入数据的第二数据库作为数据展示的数据源表，以便用户直接浏览第二数据库中的采购数据分析结果，其中，所述第二数据库为kudu数据库。
第二方面，本申请提供一种基于大数据的采购数据处理系统，包括：
获取单元，配置用于采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中；
处理单元，配置用于从所述第一数据库的入库数据中，逐条筛选出与预设字段相匹配的目标数据得到转化数据，并对转化数据进行分析得到结果数据；
保存单元，配置用于将所述结果数据保存至第二数据库中，以便用户直接浏览第二数据库中的采购数据分析结果。
优选的，所述获取单元具体用于：
采用Sqoop脚本从各个关系型数据库中将目标采购数据定时导入到第一数据库中或采用数据采集系统对接上游数据源将目标采购数据定时导入到第一数据库中，所述第一数据库为Hive数据库。
优选的，所述获取单元还具体用于
采用Sqoop脚本或数据采集系统获取企业的历史供应商价格数据、历史实际入库数据及历史计划入库数据；
将所述历史供应商价格数据、历史实际入库数据及历史计划入库数据分别按照预设字段顺序保存至第一数据库中，所述第一数据库为Hive数据库。
优选的，所述处理单元包括：
数据获取单元，配置用于利用Spark平台获取第一数据库中的数据；
数据转化单元，配置用于使用Spark SQL从第一数据库中逐条筛选出与预设字段相匹配的目标数据得到转化数据；
数据分析单元，配置用于使用Spark SQL对转化数据进行分析得到各供应商的入库比例、价格差异及未按照计划比例执行的损失金额的结果数据；
其中，所述第一数据库为Hive数据库。
优选的，所述保存单元具体用于：
建立第二数据库表，将结果数据插入到第二数据库表中，将插入数据的第二数据库作为数据展示的数据源表，其中，所述第二数据库为kudu数据库。
第三方面，本申请提供一种终端，包括：
处理器；和
存储器，存储有计算机程序；
其中，该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，本申请提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
与现有技术相比，本申请具有如下有益效果：
1、本申请通过Sqoop脚本或数据采集系统等工具收集采购数据，并按照指定的格式定时导入至数据库，实现了原始采购数据完整、高效的导出及保存；同时，本申请通过设定预设字段筛选整理所需的数据表格形式，即将需要分析的采购数据转化成指定的标准，并将统一标准的数据运用Spark程序来进行分析计算，实现了采购数据的自动化分析处理，减少了相关员工的工作量，避免了人工操作产生的错误，提高了采购数据的管理分析效率；
2、本申请将结果数据存储到可秒级查询的Kudu数据仓库中，相比于传统的MySQL存储，大大提高了查询速度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种基于大数据的采购数据处理方法的流程图；
图2为本申请实施例所提供的一种采购数据的保存格式；
图3为本申请实施例所提供的一种采购数据的转化数据格式；
图4为本申请实施例所提供的另一种采购数据的转化数据格式；
图5为本申请实施例所提供的另一种采购数据的转化数据格式；
图6为本申请实施例所提供的一种采购数据的分析结果数据格式；
图7为本申请实施例所提供的一种基于大数据的采购数据处理系统的结构示意图；
图8为本申请实施例所提供的一种终端的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为现有技术所提供的基于大数据的采购数据处理方法的流程图，该方法100包括：
S101:采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中；
S102:从所述第一数据库的入库数据中，逐条筛选出与预设字段相匹配的目标数据得到转化数据，并对转化数据进行分析得到结果数据；
S103:将所述结果数据保存至第二数据库中，以便用户直接浏览第二数据库中的采购数据分析结果。
基于上述实施例，作为优选的实施例，所述步骤S101采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中，包括：
采用Sqoop脚本从各个关系型数据库中将目标采购数据定时导入到第一数据库中或采用数据采集系统对接上游数据源将目标采购数据定时导入到第一数据库中，所述第一数据库为Hive数据库。
基于上述实施例，作为优选的实施例，所述步骤S101采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中，包括：
采用Sqoop脚本或数据采集系统获取企业的历史供应商价格数据、历史实际入库数据及历史计划入库数据；
将所述历史供应商价格数据、历史实际入库数据及历史计划入库数据分别按照预设字段顺序保存至第一数据库中，所述第一数据库为Hive数据库。
具体的，如图2所示，图2为本申请实施例所提供的一种采购数据的保存格式，采购数据的数据表需要包含的必要字段如图2所示。将企业的历史供应商价格数据、历史实际入库数据及历史计划入库数据作为三种目标采购数据，并将三种采购数据分别按照预设的保存规则进行保存至Hive数据库中。其中，将所述历史供应商价格数据按照供应商编号、物资编号、汇率、币种、单价、生产日期、失效日期的字段顺序保存至Hive数据库中，将所述历史实际入库数据按照日期、供应商编号、物资编号和入库数量的字段顺序保存至Hive数据库中，将所述历史计划入库数据按照日期、供应商编号、物资编号和计划入库比例的字段顺序保存至Hive数据库中。
基于上述实施例，作为优选的实施例，所述步骤S102从所述第一数据库的入库数据中，逐条筛选出与预设字段相匹配的目标数据得到转化数据，并对转化数据进行分析得到结果数据，包括：
利用Spark平台获取第一数据库中的数据；
使用Spark SQL从第一数据库中逐条筛选出与预设字段相匹配的目标数据得到转化数据；
使用Spark SQL对转化数据进行分析得到各供应商的入库比例、价格差异及未按照计划比例执行的损失金额的结果数据，其中，所述第一数据库为Hive数据库。
具体的，如图3-5所示，图3-5分别为本申请实施例所提供的三种采购数据的转化数据格式，即由图2采购数据的保存格式依次进行三次格式转化后，将原始数据转化成按月统计的形式。由于历史供应商价格数据的存储标准与其他数据差异比较大，所以需要着重对价格数据表进行转化处理，处理流程如下：
(1)利用concat()函数，将图2中的历史供应商价格数据表的生效日期和失效日期列合并为一列，处理结果如图3所示；
(2)编写UDF函数，将步骤(1)的“有效期”列按照结算月规则，转化成List形式，转化效果如图4所示；
(3)利用Spark SQL的内置函数explode()，对步骤(2)结果表的“有效期”列做处理，将一条记录转化为固定格式的多条记录，转化效果如图5所示，为历史供应商价格数据转化后的最终格式。
具体的，使用Spark SQL对转化的数据进行分析得到各供应商的入库比例、价格差异及未按照计划比例执行的损失金额的结果数据，需得到将处理好的所有数据根据日期、物资编号字段以外连接方式做关联，保留三个数据源的所有信息，分析得到各供应商的入库比例、价格差异及未按照计划比例执行的损失金额，将分析后的结果数据转化成如图6所示的格式，保存到Hive数据库中。
需要说明的是，根据图2的各供应商编号及其对应的实际入库数量得到各供应商的入库比例，例如本申请实施例中，10023编号供应商实际入库比例0，10024编号供应商实际入库比例1。根据图2中的各供应商编号及其对应的单价得到各供应商的价格差异，例如本实施例中，10023编号供应商单价10.6584，10024编号供应商单价11.65664，10024编号供应商与10023编号供应商价差为0.99824。根据图2中的各供应商编号及其对应的价差、入库比例、总入库数得到未按照计划比例执行的损失金额，例如本申请实施例中，10023编号供应商实际入库比例0，计划入库比例0.65，10024编号供应商实际入库比例1，计划入库比例0.35，总入库数为302568，因此未按照计划比例执行的损失金额＝实际比例采购金额-计划比例采购金额＝302568*((10.6584*0+11.65664*1)—(10.6584*0.65+11.65664*0.35))＝302568(总入库数)*0.99824(价差)*0.65＝196323.022。因此，经此方法分析可得未按照计划比例执行的损失金额是196323.022。
基于上述实施例，作为优选的实施例，所述步骤S103将所述结果数据保存至第二数据库中，以便用户直接浏览第二数据库中的采购数据分析结果，包括：
建立第二数据库表，将结果数据插入到第二数据库表中，将插入数据的第二数据库作为数据展示的数据源表，以便用户直接浏览第二数据库中的采购数据分析结果，其中，所述第二数据库为kudu数据库。
需要说明的是，步骤S103除采用将数据量过大的结果表存储到Kudu中的方式，也可以将结果数据存储到HBase中，但是由于Hbase的大批量数据获取时的性能较差，数据的查询速度会小于在Kudu中的查询速度。
该物资采购数据分析方案用于采购结束，每个月去分析总结上一个的采购计划执行情况，将某个物资的计划执行情况和这个物资的供应商价格情况一并作为结果提供给监管人员，以便监管人员分析计划执行异常的原因。
请参考图7，图7为本申请实施例所提供的一种基于大数据的采购数据处理系统的结构示意图，该系统700包括：
获取单元710，配置用于采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中；
处理单元720，配置用于从所述第一数据库的入库数据中，逐条筛选出与预设字段相匹配的目标数据得到转化数据，并对转化数据进行分析得到结果数据；
保存单元730，配置用于将所述结果数据保存至第二数据库中，以便用户直接浏览第二数据库中的采购数据分析结果。
基于上述实施例，作为优选的实施例，所述获取单元710具体用于：
采用Sqoop脚本从各个关系型数据库中将目标采购数据定时导入到第一数据库中或采用数据采集系统对接上游数据源将目标采购数据定时导入到第一数据库中，所述第一数据库为Hive数据库。
基于上述实施例，作为优选的实施例，所述获取单元710还具体用于
采用Sqoop脚本或数据采集系统获取企业的历史供应商价格数据、历史实际入库数据及历史计划入库数据；
将所述历史供应商价格数据、历史实际入库数据及历史计划入库数据分别按照预设字段顺序保存至第一数据库中，所述第一数据库为Hive数据库。
基于上述实施例，作为优选的实施例，所述处理单元720包括：
数据获取单元，配置用于利用Spark平台获取第一数据库中的数据；
数据转化单元，配置用于使用Spark SQL从第一数据库中逐条筛选出与预设字段相匹配的目标数据得到转化数据；
数据分析单元，配置用于使用Spark SQL对转化数据进行分析得到各供应商的入库比例、价格差异及未按照计划比例执行的损失金额的结果数据；
其中，所述第一数据库为Hive数据库。
基于上述实施例，作为优选的实施例，所述保存单元730具体用于：
建立第二数据库表，将结果数据插入到第二数据库表中，将插入数据的第二数据库作为数据展示的数据源表，其中，所述第二数据库为kudu数据库。
请参考图8，图8为本申请实施例所提供的一种终端800的结构示意图，该终端系统800可以用于执行本发明实施例提供的基于大数据的采购数据处理方法。
其中，该终端系统800可以包括：处理器810、存储器820及通信单元830。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器820可以用于存储处理器810的执行指令，存储器820可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器820中的执行指令由处理器810执行时，使得终端800能够执行以下上述方法实施例中的部分或全部步骤。
处理器810为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器810可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元830，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
本申请通过Sqoop脚本或数据采集系统等工具收集采购数据，并按照指定的格式定时导入至数据库，实现了原始采购数据完整、高效的导出及保存；同时，本申请通过设定预设字段筛选整理所需的数据表格形式，即将需要分析的采购数据转化成指定的标准，并将统一标准的数据运用Spark程序来进行分析计算，实现了采购数据的自动化分析处理，减少了相关员工的工作量，避免了人工操作产生的错误，提高了采购数据的管理分析效率；本申请将结果数据存储到可秒级查询的Kudu数据仓库中，相比于传统的MySQL存储，大大提高了查询速度。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (13)

1.一种基于大数据的采购数据处理方法，其特征在于，包括：
采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中；
从所述第一数据库的入库数据中，逐条筛选出与预设字段相匹配的目标数据得到转化数据，并对转化数据进行分析得到结果数据；
将所述结果数据保存至第二数据库中，以便用户直接浏览第二数据库中的采购数据分析结果。
2.根据权利要求1所述的基于大数据的采购数据处理方法，其特征在于，所述采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中，包括：
采用Sqoop脚本从各个关系型数据库中将目标采购数据定时导入到第一数据库中或采用数据采集系统对接上游数据源将目标采购数据定时导入到第一数据库中，所述第一数据库为Hive数据库。
3.根据权利要求1所述的基于大数据的采购数据处理方法，其特征在于，所述采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中，包括：
采用Sqoop脚本或数据采集系统获取企业的历史供应商价格数据、历史实际入库数据及历史计划入库数据；
将所述历史供应商价格数据、历史实际入库数据及历史计划入库数据分别按照预设字段顺序保存至第一数据库中，所述第一数据库为Hive数据库。
4.根据权利要求3所述的基于大数据的采购数据处理方法，其特征在于，将所述历史供应商价格数据按照供应商编号、物资编号、汇率、币种、单价、生产日期和失效日期的字段顺序保存至Hive数据库中，将所述历史实际入库数据按照日期、供应商编号、物资编号和入库数量的字段顺序保存至Hive数据库中，将所述历史计划入库数据按照日期、供应商编号、物资编号和计划入库比例的字段顺序保存至Hive数据库中。
5.根据权利要求1所述的基于大数据的采购数据处理方法，其特征在于，所述从所述第一数据库的入库数据中，逐条筛选出与预设字段相匹配的目标数据得到转化数据，并对转化数据进行分析得到结果数据，包括：
利用Spark平台获取第一数据库中的数据；
使用Spark SQL从第一数据库中逐条筛选出与预设字段相匹配的目标数据得到转化数据；
使用Spark SQL对转化数据进行分析得到各供应商的入库比例、价格差异及未按照计划比例执行的损失金额的结果数据，其中，所述第一数据库为Hive数据库。
6.根据权利要求1所述的基于大数据的采购数据处理方法，其特征在于，所述将所述结果数据保存至第二数据库中，包括：
建立第二数据库表，将结果数据插入到第二数据库表中，将插入数据的第二数据库作为数据展示的数据源表，以便用户直接浏览第二数据库中的采购数据分析结果，其中，所述第二数据库为kudu数据库。
7.一种基于大数据的采购数据处理系统，其特征在于，包括：
获取单元，配置用于采用Sqoop脚本或数据采集系统获取目标采购数据，并根据预设规则定时导入至第一数据库中；
处理单元，配置用于从所述第一数据库的入库数据中，逐条筛选出与预设字段相匹配的目标数据得到转化数据，并对转化数据进行分析得到结果数据；
保存单元，配置用于将所述结果数据保存至第二数据库中，以便用户直接浏览第二数据库中的采购数据分析结果。
8.根据权利要求7所述的基于大数据的采购数据处理系统，其特征在于，所述获取单元具体用于：
采用Sqoop脚本从各个关系型数据库中将目标采购数据定时导入到第一数据库中或采用数据采集系统对接上游数据源将目标采购数据定时导入到第一数据库中，所述第一数据库为Hive数据库。
9.根据权利要求7所述的基于大数据的采购数据处理系统，其特征在于，所述获取单元具体用于：
采用Sqoop脚本或数据采集系统获取企业的历史供应商价格数据、历史实际入库数据及历史计划入库数据；
将所述历史供应商价格数据、历史实际入库数据及历史计划入库数据分别按照预设字段顺序保存至第一数据库中，所述第一数据库为Hive数据库。
10.根据权利要求7所述的基于大数据的采购数据处理系统，其特征在于，所述处理单元包括：
数据获取单元，配置用于利用Spark平台获取第一数据库中的数据；
数据转化单元，配置用于使用Spark SQL从第一数据库中逐条筛选出与预设字段相匹配的目标数据得到转化数据；
数据分析单元，配置用于使用Spark SQL对转化数据进行分析得到各供应商的入库比例、价格差异及未按照计划比例执行的损失金额的结果数据；
其中，所述第一数据库为Hive数据库。
11.根据权利要求7所述的基于大数据的采购数据处理系统，其特征在于，所述保存单元具体用于：
建立第二数据库表，将结果数据插入到第二数据库表中，将插入数据的第二数据库作为数据展示的数据源表，其中，所述第二数据库为kudu数据库。
12.一种终端，其特征在于，包括：
处理器；和
存储器，存储有计算机程序；
其中，该计算机程序被所述处理器执行时，实现权利要求1-6中任一项所述的方法。
13.一种存储介质，存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-6中任一项所述的方法。
CN201911019821.9A 2019-10-24 2019-10-24 基于大数据的采购数据处理方法、装置、终端及存储介质 Pending CN110781235A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911019821.9A CN110781235A (zh) 2019-10-24 2019-10-24 基于大数据的采购数据处理方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911019821.9A CN110781235A (zh) 2019-10-24 2019-10-24 基于大数据的采购数据处理方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN110781235A true CN110781235A (zh) 2020-02-11

Family

ID=69386414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911019821.9A Pending CN110781235A (zh) 2019-10-24 2019-10-24 基于大数据的采购数据处理方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110781235A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814435A (zh) * 2020-07-22 2020-10-23 济南浪潮数据技术有限公司 一种数据库数据传输方法、装置、设备及可读存储介质
CN112162994A (zh) * 2020-09-08 2021-01-01 杭州涂鸦信息技术有限公司 一种系统录入数据的sql生成方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100191562A1 (en) * 2009-01-20 2010-07-29 Honeywell International Inc. Internal material acquisition and reporting control system
CN105786864A (zh) * 2014-12-24 2016-07-20 国家电网公司 一种实现海量数据离线分析的方法
CN107748752A (zh) * 2017-09-05 2018-03-02 新智云数据服务有限公司 一种数据处理方法及装置
CN107783974A (zh) * 2016-08-24 2018-03-09 阿里巴巴集团控股有限公司 数据处理系统及方法
CN107784098A (zh) * 2017-10-24 2018-03-09 百味云科技股份有限公司 实时数据仓库平台
CN107967347A (zh) * 2017-12-07 2018-04-27 湖北三新文化传媒有限公司 批量数据处理方法、服务器、系统及存储介质
CN109063196A (zh) * 2018-09-03 2018-12-21 拉扎斯网络科技（上海）有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN109086920A (zh) * 2018-07-19 2018-12-25 中国神华能源股份有限公司 物资采购预测方法、装置及物资采购管理系统
CN109951463A (zh) * 2019-03-07 2019-06-28 成都古河云科技有限公司 一种基于流计算和新型列式存储的物联网大数据分析方法
EP3557435A1 (en) * 2018-04-19 2019-10-23 Risk Management Solutions, Inc. Data storage system for providing low latency search query responses

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100191562A1 (en) * 2009-01-20 2010-07-29 Honeywell International Inc. Internal material acquisition and reporting control system
CN105786864A (zh) * 2014-12-24 2016-07-20 国家电网公司 一种实现海量数据离线分析的方法
CN107783974A (zh) * 2016-08-24 2018-03-09 阿里巴巴集团控股有限公司 数据处理系统及方法
CN107748752A (zh) * 2017-09-05 2018-03-02 新智云数据服务有限公司 一种数据处理方法及装置
CN107784098A (zh) * 2017-10-24 2018-03-09 百味云科技股份有限公司 实时数据仓库平台
CN107967347A (zh) * 2017-12-07 2018-04-27 湖北三新文化传媒有限公司 批量数据处理方法、服务器、系统及存储介质
EP3557435A1 (en) * 2018-04-19 2019-10-23 Risk Management Solutions, Inc. Data storage system for providing low latency search query responses
CN109086920A (zh) * 2018-07-19 2018-12-25 中国神华能源股份有限公司 物资采购预测方法、装置及物资采购管理系统
CN109063196A (zh) * 2018-09-03 2018-12-21 拉扎斯网络科技（上海）有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN109951463A (zh) * 2019-03-07 2019-06-28 成都古河云科技有限公司 一种基于流计算和新型列式存储的物联网大数据分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩小良等: "《Excel财务达人精进之路 从小白到高手》" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814435A (zh) * 2020-07-22 2020-10-23 济南浪潮数据技术有限公司 一种数据库数据传输方法、装置、设备及可读存储介质
CN112162994A (zh) * 2020-09-08 2021-01-01 杭州涂鸦信息技术有限公司 一种系统录入数据的sql生成方法及系统

Similar Documents

Publication Publication Date Title
JP6707564B2 (ja) データ品質分析
US8626702B2 (en) Method and system for validation of data extraction
US20050165668A1 (en) Multi-processing financial transaction processing system
CN106844320B (zh) 一种财务报表整合方法和设备
CN111858742A (zh) 一种数据可视化方法、装置、存储介质及设备
CN111752935A (zh) 一种电力交易用户数据稽查方法及装置
CN112100219B (zh) 基于数据库查询处理的报表生成方法、装置、设备和介质
CN113420057A (zh) 对账数据处理方法及相关装置
CN113205402A (zh) 对账方法、装置、电子设备及计算机可读介质
CN114418714A (zh) 一种5g基站运维管理系统及方法
CN110781235A (zh) 基于大数据的采购数据处理方法、装置、终端及存储介质
CN111723004B (zh) 敏捷软件开发的度量方法，度量数据输出方法以及装置
CN111506564A (zh) 基于cs架构的远程数据管理方法、装置、计算机设备及存储介质
CN114168565B (zh) 业务规则模型的回溯测试方法、装置、系统及决策引擎
CN111915340A (zh) 商户类型的识别方法、装置、设备及存储介质
CN111427936B (zh) 报表生成方法、装置、计算机设备和存储介质
CN114511314A (zh) 一种支付账户管理的方法、装置、计算机设备和存储介质
CN112258151A (zh) 一种基于pandas的对账方法、装置、计算机设备和存储介质
CN110597899B (zh) 项目经费管理方法及系统
CN117043743A (zh) 用于多维数据库环境的动态应用构建器
CN108932612B (zh) 一种应用于企业年金的数据处理方法、装置及电子设备
US11256708B2 (en) Method of creating process protocols
CN111091473B (zh) 保险问题分析处理方法和装置
CN114092265B (zh) 提高保单新业务价值确定效率的方法、装置及存储介质
CN112258244B (zh) 确定目标物品所属任务的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211