CN109523446A - 一种面向价格领域的大数据处理分析系统 - Google Patents
一种面向价格领域的大数据处理分析系统 Download PDFInfo
- Publication number
- CN109523446A CN109523446A CN201811220594.1A CN201811220594A CN109523446A CN 109523446 A CN109523446 A CN 109523446A CN 201811220594 A CN201811220594 A CN 201811220594A CN 109523446 A CN109523446 A CN 109523446A
- Authority
- CN
- China
- Prior art keywords
- data
- price
- analysis
- module
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 title claims abstract description 24
- 238000007405 data analysis Methods 0.000 claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000003993 interaction Effects 0.000 claims abstract description 9
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000007619 statistical method Methods 0.000 claims description 9
- 238000009412 basement excavation Methods 0.000 claims description 8
- 238000010835 comparative analysis Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 230000008093 supporting effect Effects 0.000 claims description 6
- 238000012098 association analyses Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开一种面向价格领域的大数据处理分析系统，包括：价格数据获取模块，用于利用预设数据获取方式，获取多源异构的价格数据；分布式处理模块，用于采用大数据分布式处理技术，对价格数据进行处理；大数据分析模块，用于对处理后的价格数据进行大数据分析；可视化展示模块，用于将大数据分析后得到的数据结果通过可视的、交互的方式进行展示。本发明实施例采用多样化的先进数据采集方式，能高效、准确的获取不同渠道多种复杂数据结构的价格数据，通过采用可靠、高效、高扩展性、高容错性的分布式数据处理方法，提高了数据处理效率，通过可视化展示模块可随时查看、监测和管理，能实现价格数据资源及时交换共享，大数据融合处理。
Description
技术领域
本发明实施例涉及数据处理技术领域，具体涉及一种面向价格领域的大数据处理分析系统。
背景技术
价格工作关系国计民生，一头连着宏观经济，一头连着千家万户，事关经济平稳发展、市场高效运行、民生福祉改善、社会和谐稳定。当前我国正全面深化价格改革，加快完善主要由市场决定价格机制，不断提升价格调控、监管和服务能力，奋力开创新时代价格工作新局面。
价格业务涵盖监测预测价格总水平、重要商品和服务价格走势，研究提出调控市场、保持价格总水平基本稳定的政策建议；制定和调整中央政府管理的商品、服务价格及收费标准；组织对农产品、垄断行业、公用事业和公益性服务价格的成本调查和监审；研究起草价格、收费方面的法规和规章草案；组织指导价格评估、鉴证、认证工作等。除政府价格主管部门外，价格数据仍有企业、市场、消费者等不同来源。此外，价格数据结构复杂，包括结构化、半结构化和非结构化数据，且实时不断产生。迫切需要大数据处理方法对这些数据进行处理，为价格管理工作提供数据支撑的科学依据，以增强价格综合辅助决策能力，逐步形成判断准确、决策及时、调控有力的综合决策机制。
全面深化价格改革，逐步放开或者取消部分商品和服务的政府定价、政府指导价不是一放了之，也不等于放任不管，而是将政府的职能重心从事前定价向事中事后监管转变。在减少政府定价事项的同时，注重做好价格监测预警、成本调查监审、价格调控、价格公共服务等工作，价格监管信息化缺乏整体规划，基础薄弱，信息化程度低，系统建设滞后，监管方式仍以传统方式为主，大力推进价格信息化建设，多渠道扩充价格信息来源，加强各级价格主管部门之间的业务协同，创新价格监管方式、提高价格监管能力，为增强价格调控监管服务能力提供有力支撑。
目前，现有对价格数据的采集方式相对落后：以人工采价web(全球广域网或万维网)端上报为主，采价人员先记录再上报，这种人工采集价格的方法存在工作量大、效率低、容易出错、无法监管等一系列问题。目前已有价格数据以结构化数据为主，日价格数据量大，采用典型关系型数据库存储，随着时间的积累，数据量会特别巨大，而系统软件与硬件的设计都比较单一，存在能源消耗大、分类速度慢、处理时间长、内存占用率高等问题，数据处理效率低。而且，目前价格管理部门各业务信息化水平不一致，已有系统多处于独立运行状态，且通常仅针对单一价格业务，系统未实现联网、集成和信息共享，数据共享体系未建立，海量数据被封在不同软件系统，信息孤岛情况存在，价格数据资源整合需求强烈。
发明内容
由于现有方法存在上述问题，本发明实施例提出一种面向价格领域的大数据处理分析系统。
第一方面，本发明实施例提出一种面向价格领域的大数据处理分析系统，包括：
价格数据获取模块，用于利用预设数据获取方式，获取多源异构的价格数据；
分布式处理模块，用于采用大数据分布式处理技术，对所述价格数据进行处理；
大数据分析模块，用于对处理后的价格数据进行大数据分析；
可视化展示模块，用于将大数据分析后得到的数据结果通过可视的、交互的方式进行展示。
可选地，所述系统还包括：
质量检查模块，用于在利用预设数据获取方式，获取多源异构的价格数据之后，对获取的价格数据进行质量检查，检查数据完整性、数据一致性和数据准确性；
预处理模块，用于对质量检查后的价格数据进行预处理，以提高数据质量；
相应地，所述分布式处理模块，具体用于
采用大数据分布式处理技术，对预处理后的价格数据进行处理。
可选地，所述预处理，包括：数据清洗、数据集成、数据归约和数据转换，对于缺失值、溢出值，用选定范围的数据均值代替或者用线性回归值代替。
可选地，所述价格数据获取模块，具体用于
采用移动端/web端人工上报方式，采集尚无信息化基础的价格业务的价格数据；
采用软件接口方式，采集已有业务系统中的结构化的价格数据；
采用Python数据爬取模式，采集不同来源的实时价格数据。
可选地，采用Python数据爬取模式采集的实时价格数据，包括：结构化、半结构化和非结构化的实时价格数据；
所述不同来源，包括：政府、企业、市场和消费者的定源网页；
相应地，所述价格数据获取模块中的采用Python数据爬取模式，采集不同来源的实时价格数据，包括：
利用Python爬虫针对定源的网页进行加载、下载，保存至网页数据库；
通过预先配置的页面规则，对所保存网页的页面进行解析，将所保存网页的页面数据转换为结构化数据，将所述结构化数据保存到预设数据库中。
可选地，所述分布式处理模块，具体用于
采用大数据分布式处理技术，对所述价格数据进行均值计算、差值计算、均值的差值计算、环比计算、同比计算和累计比计算处理。
可选地，所述大数据分析包括：对已知数据的统计分析和对未知数据的挖掘；
所述大数据分析模块，具体用于对处理后的价格数据进行按多维度的统计分析和对处理后的价格数据进行价格预警分析；
其中，按多维度的统计分析，支持不同区域之间同类数据的对比分析、同一区域不同时期数据的对比分析，支持按业务需求固定模板的统计报表定制，支持统计分析结果打印和导出，其中，所述多维度包括：时间、区域和类别，所述不同区域包括：各省份、各市和各县；
其中，价格预警分析，包括：价格走势分析，价格走势预警和价格异常预警。
可选地，所述对未知数据的挖掘是挖掘大数据集合中的数据关联性，其中，挖掘采用的手段包括：聚类与分类、关联分析和深度学习。
可选地，所述大数据分析模块中的对处理后的价格数据进行价格预警分析，包括：
选择报告期任意一种商品/服务的价格的均价或环比，确定其与上一期均价或环比的差值；
根据所述差值确定所述价格走势；
判断价格走势持续期数是否达到预设期数阈值，如果价格走势持续期数大于等于预设期数阈值，则进行价格走势预警，如果价格走势持续期数小于预设期数阈值，则不进行价格走势预警；
判断价格调整幅度是否达到预设幅度阈值以及判断价格调整时限是否达到预设价格调整时限阈值，若价格调整幅度大于等于预设幅度阈值或者价格调整时限大于等于预设价格调整时限阈值，则进行价格异常预警，若价格调整幅度小于预设幅度阈值且价格调整时限小于预设价格调整时限阈值，则不进行价格异常预警；
通过数据核查，对处理后的异常的价格数据进行价格异常预警，所述异常的价格数据包括：价格数据缺失、价格数据为负和价格数据量级异常。
由上述技术方案可知，本发明实施例提供的一种面向价格领域的大数据处理分析系统，通过采用多样化的先进数据采集方式，能够高效、准确的获取不同渠道的多种复杂数据结构的价格数据；通过对这些大批量多源异构价格数据采用可靠、高效、高扩展性、高容错性的分布式数据处理方法，提高了数据处理效率；通过人机交互的可视化展示模块，系统管理员和价格从业人员即便没有技术基础也可通过该模块随时查看、监测和管理；本实施例所述系统可同各级价格管理部门各业务系统协同运行，实现价格数据资源及时交换共享，大数据融合处理，逐步促进辅助价格监管决策能力跃升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种面向价格领域的大数据处理分析系统的结构示意图；
图2为本发明另一实施例提供的一种面向价格领域的大数据处理分析系统的结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本发明一实施例提供的一种面向价格领域的大数据处理分析系统的结构示意图，如图1所示，本实施例的面向价格领域的大数据处理分析系统，包括：
价格数据获取模块11，用于利用预设数据获取方式，获取多源异构的价格数据；
分布式处理模块12，用于采用大数据分布式处理技术，对所述价格数据进行处理；
大数据分析模块13，用于对处理后的价格数据进行大数据分析；
可视化展示模块14，用于将大数据分析后得到的数据结果通过可视的、交互的方式进行展示。
具体地，价格数据获取模块11利用预设数据获取方式，获取多源异构的价格数据；分布式处理模块12采用大数据分布式处理技术，对所述价格数据进行处理；大数据分析模块13对处理后的价格数据进行大数据分析；可视化展示模块14将大数据分析后得到的数据结果通过可视的、交互的方式进行展示。
本发明实施例提供的一种面向价格领域的大数据处理分析系统，通过采用多样化的先进数据采集方式(即预设数据获取方式)，汇聚了来自政府价格管理部门、企业、市场、消费者等不同渠道，结构化、半结构化、非结构化等多种复杂数据结构价格数据，能够高效、准确的获取不同渠道的多种复杂数据结构的价格数据；通过对这些大批量多源异构价格数据采用可靠、高效、高扩展性、高容错性的分布式数据处理方法，提高了数据处理效率；通过人机交互的可视化展示模块，系统管理员和价格从业人员即便没有技术基础也可通过该模块随时查看、监测和管理；本实施例所述系统可同各级价格管理部门各业务系统协同运行，实现价格数据资源及时交换共享，大数据融合处理，逐步促进辅助价格监管决策能力跃升。
进一步地，在上述实施例的基础上，所述价格数据获取模块11，可具体用于
采用移动端/web端人工上报方式，采集尚无信息化基础的价格业务的价格数据；
采用软件接口方式，采集已有业务系统中的结构化的价格数据；
采用Python数据爬取模式，采集不同来源的实时价格数据。
其中，移动端可以指手机或平板等移动终端，Web端人工上报可以指接收人工通过电脑浏览器打开的网页所填报的价格数据。
可以理解的是，对于尚无信息化基础的价格业务，采用移动端/web端人工上报方式采集价格数据，这种方式以当前数据线下上报为基础，上报机制成熟，数据以结构化数据为主。
对于已有业务系统的结构化价格数据，采用软件接口方式采集价格数据，软件接口方式可通过设计接口从信息系统中获取所需数据，通过数据传输加密、身份认证、数据签名算法来保证数据对接中数据传输的安全性。接口对接方式的数据可靠性与价值较高，一般不存在数据重复的情况；数据通过接口实时传输，满足数据实时性的要求。
其中，所述不同来源可以包括：政府、企业、市场和消费者等不同来源的定源的网页，对于政府、企业、市场、消费者等不同来源实时价格数据，采用Python数据爬取模式采集，这种采集方式支持采集复杂结构数据，采用Python数据爬取模式采集的实时价格数据包括：结构化、半结构化和非结构化的实时价格数据；
相应地，所述价格数据获取模块11中的采用Python数据爬取模式，采集不同来源的实时价格数据，可以包括：利用Python爬虫针对定源的网页进行加载、下载，保存至网页数据库；通过预先配置的页面规则，对所保存网页的页面进行解析，将所保存网页的页面数据转换为结构化数据，将所述结构化数据保存到预设数据库中。
可以理解的是，本实施例采用多样化的先进数据采集方式，能够高效、准确的获取来自政府价格管理部门、企业、市场、消费者等不同渠道，结构化、半结构化、非结构化等多种复杂数据结构的价格数据。
进一步地，在上述实施例的基础上，可参考图2，所述系统还可以包括：
质量检查模块15，用于在利用预设数据获取方式，获取多源异构的价格数据之后，对获取的价格数据进行质量检查，检查数据完整性(如是否有遗漏、缺失值)、数据一致性(如实际值相同格式不一致、同一对象编码/命名不同、分布式数据冗余)和数据准确性；
预处理模块16，用于对质量检查后的价格数据进行预处理，以提高数据质量；
相应地，所述分布式处理模块12，可具体用于
采用大数据分布式处理技术，对预处理后的价格数据进行处理。
在具体应用中，数据准确性的检查，可通过设置业务逻辑进行数据核查，对核查问题数据再次人工复核，以及按报告期来核查。其中，业务逻辑可按管理级别来核查，省级总额/总量大于所辖各市，市级大于所辖各县，不满足该逻辑即数据溢出。按报告期来核查(报告期通常有日、周、旬、月、季度、半年度、年度等)，年总额/总量大于该年各季度，季度大于各月，不满足该逻辑即数据溢出。
在具体应用中，所述预处理，可以包括：数据清洗、数据集成、数据归约和数据转换等，对于缺失值、溢出值，可用选定范围的数据均值代替或者用线性回归值代替。
可以理解的是，经过质量检查和预处理，可以获得更高质量的价格数据。
进一步地，在上述实施例的基础上，所述分布式处理模块12，可具体用于
采用大数据分布式处理技术，对所述价格数据进行均值计算、差值计算、均值的差值计算、环比计算、同比计算和累计比计算等处理。
可以理解的是，采用大数据分布式处理技术，对所述价格数据进行处理，可提高数据处理效率，且可通过基于云技术的数据存储和数据管理方式，扩展现有分布式数据存储功能，改变以往单机存储容量受限的不足。
进一步地，在上述实施例的基础上，所述大数据分析可以包括：对已知数据的统计分析和对未知数据的挖掘；
所述大数据分析模块13，可具体用于
对处理后的价格数据进行按多维度的统计分析和对处理后的价格数据进行价格预警分析；
其中，按多维度的统计分析，支持不同区域之间同类数据的对比分析、同一区域不同时期数据的对比分析，支持按业务需求固定模板的统计报表定制，支持统计分析结果打印和导出，其中，所述多维度包括：时间、区域和类别，所述不同区域可包括：各省份、各市和各县；
其中，各类统计分析可在可视化展示模块14中基于表格、图形(条形图、折线图、饼图等)展现结果。
其中，价格预警分析，包括：价格走势分析，价格走势预警和价格异常预警。
其中，所述对未知数据的挖掘是挖掘大数据集合中的数据关联性，其中，挖掘采用的手段包括：聚类与分类、关联分析和深度学习等。
可以理解的是，通过对未知数据的挖掘是挖掘大数据集合中的数据关联性，能够提升分析与预测的准确性。
进一步地，所述大数据分析模块13中的对处理后的价格数据进行价格预警分析的过程，可以包括：
选择报告期任意一种商品/服务的价格的均价或环比，确定其与上一期均价或环比的差值；
根据所述差值确定所述价格走势；
判断价格走势持续期数是否达到预设期数阈值，如果价格走势持续期数大于等于预设期数阈值，则进行价格走势预警(例如可以提示预警信息“已连续N期上涨/下跌，价格走势异常”)，如果价格走势持续期数小于预设期数阈值，则不进行价格走势预警；
判断价格调整幅度是否达到预设幅度阈值以及判断价格调整时限是否达到预设价格调整时限阈值，若价格调整幅度大于等于预设幅度阈值或者价格调整时限大于等于预设价格调整时限阈值，则进行价格异常预警(例如可以提示预警信息“价格调整与政策冲突”)，若价格调整幅度小于预设幅度阈值且价格调整时限小于预设价格调整时限阈值，则不进行价格异常预警；
通过数据核查，对处理后的异常的价格数据进行价格异常预警，所述异常的价格数据可以包括：价格数据缺失、价格数据为负和价格数据量级异常等。
可以理解的是，本实施例所述系统大数据分析模块13，对处理后的价格数据进行大数据分析，按多维度的统计分析和对处理后的价格数据进行价格预警分析，可以对海量价格数据进行资源整合，关联分析和预测分析，对这些体量大、类型多的多源异构价格数据进行集中、萃取和提炼，获取价格监管所需的信息。
在具体应用中，所述可视化展示模块14为人机交互可视化的模块，系统管理员和价格从业人员即便没有技术基础也可通过该模块随时查看、监测和管理，如实时查看爬取任务完成情况，查看某种商品或服务价格预警情况等。通过可视化展示模块，将相对晦涩的的数据通过可视的、交互的方式进行展示，从而形象、直观地表达数据蕴含的信息和规律，以便决策人员更便捷理解数据，辅助管理决策。其中展示方式可以包括柱状图、饼状图、折线图、地图、气泡图、雷达图、树图、仪表盘等各式图形。
可以理解的是，本实施例所述系统可以基于标准化体系、安全保障体系、运营管理体系，基于面向服务的软件架构(SOA)体系，采用B/S(浏览器/服务器)模式、包括基础设施层、信息资源层、支撑层、应用层、展现层的多层架构来具体实现。其中：
基础设施层，是支撑整个系统运行的基础设施平台。在云平台上，配置相应的应用服务器、数据库服务器和专用设备等硬件设施，以及操作系统、中间件等系统软件，构造系统运行的IT基础设施环境，为整个系统的正常运行提供保障。
信息资源层，将通过各种渠道采集的价格数据进行加密存储和大数据处理，依照信息资源规范和目录体系，合理规划数据库结构，分别建立基础库、业务库、共享库和运维库等，支持信息资源管理、数据访问、数据应用、数据集成与交换等。信息资源库应具有较强可扩展性，以便满足价格监管业务拓展需要。新建业务系统可以利用现有信息资源，新信息资源可以便捷归入现有信息资源库。
支撑层，提供核心运行环境、平台开放接口、构件集、公共服务、系统定制及管理工具、决策树和贝叶斯数据挖掘模型等应用支撑，以及数据采集、数据传输加密、数据管理、数据门户、数据可视化、大数据检索分析等数据支撑服务。通过对功能的配置和整合可以快速地搭建价格各业务系统，进行系统的二次开发，保证系统的可扩展性，提高应用系统的开发效率和质量。
应用层，向系统用户提供统一可视化界面，将分析预警信息以良好的表现方式呈现。以便决策人员更便捷理解数据，辅助管理决策。
可以理解的是，本实施例所述系统可将覆盖价格管理工作全业务(“监测-调研-调控-检查-服务”)，可实现对成本调查、政府定价、收费备案、价格监督检查、价格监测预警、价格综合调控和价格认证等7大类价格专项工作的综合管理及业务协同；依托各级政府电子政务外网、互联网，制订统一的价格信息资源规范体系，整合政府、企业、市场、消费者等不同来源的价格信息资源，形成信息共享交换机制，预防和消除信息孤岛。
本发明实施例提供的一种面向价格领域的大数据处理分析系统，通过采用多样化的先进数据采集方式(即预设数据获取方式)，汇聚了来自政府价格管理部门、企业、市场、消费者等不同渠道，结构化、半结构化、非结构化等多种复杂数据结构价格数据，能够高效、准确的获取不同渠道的多种复杂数据结构的价格数据；通过对这些大批量多源异构价格数据采用可靠、高效、高扩展性、高容错性的分布式数据处理方法，提高了数据处理效率；通过人机交互的可视化展示模块，系统管理员和价格从业人员即便没有技术基础也可通过该模块随时查看、监测和管理；本实施例所述系统可同各级价格管理部门各业务系统协同运行，实现价格数据资源及时交换共享，大数据融合处理，逐步促进辅助价格监管决策能力跃升。
以上所描述的装置/系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种面向价格领域的大数据处理分析系统，其特征在于，包括：
价格数据获取模块，用于利用预设数据获取方式，获取多源异构的价格数据；
分布式处理模块，用于采用大数据分布式处理技术，对所述价格数据进行处理；
大数据分析模块，用于对处理后的价格数据进行大数据分析；
可视化展示模块，用于将大数据分析后得到的数据结果通过可视的、交互的方式进行展示。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
质量检查模块，用于在利用预设数据获取方式，获取多源异构的价格数据之后，对获取的价格数据进行质量检查，检查数据完整性、数据一致性和数据准确性；
预处理模块，用于对质量检查后的价格数据进行预处理，以提高数据质量；
相应地，所述分布式处理模块，具体用于
采用大数据分布式处理技术，对预处理后的价格数据进行处理。
3.根据权利要求2所述的系统，其特征在于，所述预处理，包括：数据清洗、数据集成、数据归约和数据转换，对于缺失值、溢出值，用选定范围的数据均值代替或者用线性回归值代替。
4.根据权利要求1所述的系统，其特征在于，所述价格数据获取模块，具体用于
采用移动端/web端人工上报方式，采集尚无信息化基础的价格业务的价格数据；
采用软件接口方式，采集已有业务系统中的结构化的价格数据；
采用Python数据爬取模式，采集不同来源的实时价格数据。
5.根据权利要求4所述的系统，其特征在于，采用Python数据爬取模式采集的实时价格数据，包括：结构化、半结构化和非结构化的实时价格数据；
所述不同来源，包括：政府、企业、市场和消费者的定源网页；
相应地，所述价格数据获取模块中的采用Python数据爬取模式，采集不同来源的实时价格数据，包括：
利用Python爬虫针对定源的网页进行加载、下载，保存至网页数据库；
通过预先配置的页面规则，对所保存网页的页面进行解析，将所保存网页的页面数据转换为结构化数据，将所述结构化数据保存到预设数据库中。
6.根据权利要求1所述的系统，其特征在于，所述分布式处理模块，具体用于
采用大数据分布式处理技术，对所述价格数据进行均值计算、差值计算、均值的差值计算、环比计算、同比计算和累计比计算处理。
7.根据权利要求1所述的系统，其特征在于，所述大数据分析包括：对已知数据的统计分析和对未知数据的挖掘；
所述大数据分析模块，具体用于对处理后的价格数据进行按多维度的统计分析和对处理后的价格数据进行价格预警分析；
其中，按多维度的统计分析，支持不同区域之间同类数据的对比分析、同一区域不同时期数据的对比分析，支持按业务需求固定模板的统计报表定制，支持统计分析结果打印和导出，其中，所述多维度包括：时间、区域和类别，所述不同区域包括：各省份、各市和各县；
其中，价格预警分析，包括：价格走势分析，价格走势预警和价格异常预警。
8.根据权利要求7所述的系统，其特征在于，所述对未知数据的挖掘是挖掘大数据集合中的数据关联性，其中，挖掘采用的手段包括：聚类与分类、关联分析和深度学习。
9.根据权利要求7所述的系统，其特征在于，所述大数据分析模块中的对处理后的价格数据进行价格预警分析，包括：
选择报告期任意一种商品/服务的价格的均价或环比，确定其与上一期均价或环比的差值；
根据所述差值确定所述价格走势；
判断价格走势持续期数是否达到预设期数阈值，如果价格走势持续期数大于等于预设期数阈值，则进行价格走势预警，如果价格走势持续期数小于预设期数阈值，则不进行价格走势预警；
判断价格调整幅度是否达到预设幅度阈值以及判断价格调整时限是否达到预设价格调整时限阈值，若价格调整幅度大于等于预设幅度阈值或者价格调整时限大于等于预设价格调整时限阈值，则进行价格异常预警，若价格调整幅度小于预设幅度阈值且价格调整时限小于预设价格调整时限阈值，则不进行价格异常预警；
通过数据核查，对处理后的异常的价格数据进行价格异常预警，所述异常的价格数据包括：价格数据缺失、价格数据为负和价格数据量级异常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811220594.1A CN109523446A (zh) | 2018-10-19 | 2018-10-19 | 一种面向价格领域的大数据处理分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811220594.1A CN109523446A (zh) | 2018-10-19 | 2018-10-19 | 一种面向价格领域的大数据处理分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109523446A true CN109523446A (zh) | 2019-03-26 |
Family
ID=65771047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811220594.1A Pending CN109523446A (zh) | 2018-10-19 | 2018-10-19 | 一种面向价格领域的大数据处理分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109523446A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335083A (zh) * | 2019-07-10 | 2019-10-15 | 山东众志电子有限公司 | 一种基于云平台的物价大数据分析系统及其方法 |
| CN110442766A (zh) * | 2019-07-11 | 2019-11-12 | 新华三大数据技术有限公司 | 网页数据采集方法、装置、设备及存储介质 |
| CN110458626A (zh) * | 2019-08-16 | 2019-11-15 | 京东数字科技控股有限公司 | 一种信息数据处理方法和装置 |
| CN110651628A (zh) * | 2019-09-30 | 2020-01-07 | 中国计量大学 | 一种基于Python网络数据采集的花卉培植系统 |
| CN111476605A (zh) * | 2020-04-08 | 2020-07-31 | 东北农业大学 | 猪肉价格预测预警系统 |
| CN111598470A (zh) * | 2020-05-20 | 2020-08-28 | 贵州电网有限责任公司 | 一种配网物资市场价格采集及监测预警方法及系统 |
| CN112269912A (zh) * | 2020-11-18 | 2021-01-26 | 布瑞克农业大数据科技集团有限公司 | 一种农业大数据价格预警管理系统及方法 |
| CN112328883A (zh) * | 2020-11-08 | 2021-02-05 | 浙江中建网络科技股份有限公司 | 基于建材行业的水泥价格一键发布系统及其实现方法 |
| CN112348421A (zh) * | 2019-08-08 | 2021-02-09 | 北京国双科技有限公司 | 一种数据处理方法及装置 |
| CN112559618A (zh) * | 2020-12-23 | 2021-03-26 | 光大兴陇信托有限责任公司 | 一种基于金融风控业务的外部数据整合方法 |
| CN113191816A (zh) * | 2021-05-18 | 2021-07-30 | 拉扎斯网络科技（上海）有限公司 | 订单的定价方法及系统 |
| CN113486106A (zh) * | 2021-07-30 | 2021-10-08 | 西安西热电站信息技术有限公司 | 一种Python获取SIS或监管系统数据并大数据分析的方法 |
| CN113706189A (zh) * | 2021-07-26 | 2021-11-26 | 菲欧坦(重庆)数据科技有限公司 | 一种评估亚马逊竞争剧烈程度的市场月均价排序法 |
| CN114385699A (zh) * | 2022-01-06 | 2022-04-22 | 云南电网有限责任公司信息中心 | 一种电网用户量价费异常分析方法 |
| CN115269704A (zh) * | 2022-08-02 | 2022-11-01 | 贵州财经大学 | 一种多元异构农业数据管理系统 |
| CN115934492A (zh) * | 2023-01-09 | 2023-04-07 | 中兴系统技术有限公司 | 一种基于智能运维平台大数据的数据采集方法 |
| CN116822735A (zh) * | 2023-06-27 | 2023-09-29 | 华北电力大学 | 一种架空线路工程塔材信息价调整时滞控制方法和装置 |
| CN116911884A (zh) * | 2023-07-21 | 2023-10-20 | 广东卓越土地房地产评估咨询有限公司 | 一种基于大数据的自然资源公示地价管理系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372947A (zh) * | 2016-08-31 | 2017-02-01 | 广州星尘信息科技有限公司 | 云剑价格执法便携式大数据分析系统 |
| CN108287926A (zh) * | 2018-03-02 | 2018-07-17 | 宿州学院 | 一种农业生态多源异构大数据采集、处理与分析架构 |
-
2018
- 2018-10-19 CN CN201811220594.1A patent/CN109523446A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372947A (zh) * | 2016-08-31 | 2017-02-01 | 广州星尘信息科技有限公司 | 云剑价格执法便携式大数据分析系统 |
| CN108287926A (zh) * | 2018-03-02 | 2018-07-17 | 宿州学院 | 一种农业生态多源异构大数据采集、处理与分析架构 |
Non-Patent Citations (1)
| Title |
|---|
| 黄启航等: "基于 Hadoop 农产品价格分析平台", 《山西农经》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335083A (zh) * | 2019-07-10 | 2019-10-15 | 山东众志电子有限公司 | 一种基于云平台的物价大数据分析系统及其方法 |
| CN110442766A (zh) * | 2019-07-11 | 2019-11-12 | 新华三大数据技术有限公司 | 网页数据采集方法、装置、设备及存储介质 |
| CN112348421A (zh) * | 2019-08-08 | 2021-02-09 | 北京国双科技有限公司 | 一种数据处理方法及装置 |
| CN110458626A (zh) * | 2019-08-16 | 2019-11-15 | 京东数字科技控股有限公司 | 一种信息数据处理方法和装置 |
| CN110458626B (zh) * | 2019-08-16 | 2020-11-03 | 京东数字科技控股有限公司 | 一种信息数据处理方法和装置 |
| CN110651628A (zh) * | 2019-09-30 | 2020-01-07 | 中国计量大学 | 一种基于Python网络数据采集的花卉培植系统 |
| CN111476605A (zh) * | 2020-04-08 | 2020-07-31 | 东北农业大学 | 猪肉价格预测预警系统 |
| CN111598470A (zh) * | 2020-05-20 | 2020-08-28 | 贵州电网有限责任公司 | 一种配网物资市场价格采集及监测预警方法及系统 |
| CN112328883A (zh) * | 2020-11-08 | 2021-02-05 | 浙江中建网络科技股份有限公司 | 基于建材行业的水泥价格一键发布系统及其实现方法 |
| CN112269912B (zh) * | 2020-11-18 | 2021-07-27 | 布瑞克农业大数据科技集团有限公司 | 一种农业大数据价格预警管理系统及方法 |
| CN112269912A (zh) * | 2020-11-18 | 2021-01-26 | 布瑞克农业大数据科技集团有限公司 | 一种农业大数据价格预警管理系统及方法 |
| CN112559618A (zh) * | 2020-12-23 | 2021-03-26 | 光大兴陇信托有限责任公司 | 一种基于金融风控业务的外部数据整合方法 |
| CN112559618B (zh) * | 2020-12-23 | 2023-07-11 | 光大兴陇信托有限责任公司 | 一种基于金融风控业务的外部数据整合方法 |
| CN113191816A (zh) * | 2021-05-18 | 2021-07-30 | 拉扎斯网络科技（上海）有限公司 | 订单的定价方法及系统 |
| CN113706189A (zh) * | 2021-07-26 | 2021-11-26 | 菲欧坦(重庆)数据科技有限公司 | 一种评估亚马逊竞争剧烈程度的市场月均价排序法 |
| CN113486106A (zh) * | 2021-07-30 | 2021-10-08 | 西安西热电站信息技术有限公司 | 一种Python获取SIS或监管系统数据并大数据分析的方法 |
| CN114385699A (zh) * | 2022-01-06 | 2022-04-22 | 云南电网有限责任公司信息中心 | 一种电网用户量价费异常分析方法 |
| CN115269704A (zh) * | 2022-08-02 | 2022-11-01 | 贵州财经大学 | 一种多元异构农业数据管理系统 |
| CN115269704B (zh) * | 2022-08-02 | 2023-08-18 | 贵州财经大学 | 一种多元异构农业数据管理系统 |
| CN115934492A (zh) * | 2023-01-09 | 2023-04-07 | 中兴系统技术有限公司 | 一种基于智能运维平台大数据的数据采集方法 |
| CN116822735A (zh) * | 2023-06-27 | 2023-09-29 | 华北电力大学 | 一种架空线路工程塔材信息价调整时滞控制方法和装置 |
| CN116911884A (zh) * | 2023-07-21 | 2023-10-20 | 广东卓越土地房地产评估咨询有限公司 | 一种基于大数据的自然资源公示地价管理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523446A (zh) | 一种面向价格领域的大数据处理分析系统 | |
| Zhu et al. | A comprehensive literature review of the demand forecasting methods of emergency resources from the perspective of artificial intelligence | |
| Fang et al. | An integrated information system for snowmelt flood early-warning based on internet of things | |
| US20190197074A1 (en) | Big data analysis platform for travel and tourism | |
| CN113778967A (zh) | 长江流域数据采集处理与资源共享系统 | |
| CN109754219A (zh) | 一种基于城市管理的大数据管理及分析平台系统 | |
| CN110163458A (zh) | 基于人工智能技术的数据资产管理与监测方法 | |
| CN105701617A (zh) | 基于电力物资供应链的全过程信息管控可视化方法及系统 | |
| Rusitschka et al. | Big data in the energy and transport sectors | |
| CN102880802A (zh) | 一种用于面向工矿企业安全生产云服务平台系统的重大危险源的分析评价方法 | |
| Du et al. | Clustering and ontology-based information integration framework for surface subsidence risk mitigation in underground tunnels | |
| CN102903010A (zh) | 一种用于面向工矿企业的安全生产云服务平台的基于支持向量机的异常判断方法 | |
| CN105608541A (zh) | 一种基于电力物资供应全程预警监督系统与方法 | |
| CN102930372A (zh) | 一种用于面向工矿企业安全生产云服务平台系统的关联规则的数据分析方法 | |
| Bessa | Future trends for big data application in power systems | |
| Lv et al. | E-government multimedia big data platform for disaster management | |
| CN109977125A (zh) | 一种基于网络安全的大数据安全分析平台系统 | |
| Parygin et al. | A convergent model for distributed processing of Big Sensor Data in urban engineering networks | |
| Popescu et al. | Lenvis: a user centric, web services based system to retrieve, analyze and deliver environmental and health information. | |
| CN115358522A (zh) | 一种企业在线监测系统和方法 | |
| Royer et al. | Rapid evaluation and response to impacts on critical end-use loads following natural hazard-driven power outages: A modular and responsive geospatial technology | |
| Hofmeister et al. | Cross-domain flood risk assessment for smart cities using dynamic knowledge graphs | |
| Gourbesville | Which models for decision support systems? Proposal for a methodology | |
| Cheng et al. | Research status and evolution trends of emergency information resource management: based on bibliometric analysis from 2003 to 2022 | |
| CN116128197A (zh) | 一种智慧机场管理系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |