CN113220770A - 一种基于大数据分析的能源行业决策支持系统 - Google Patents

一种基于大数据分析的能源行业决策支持系统 Download PDF

Info

Publication number
CN113220770A
CN113220770A CN202110497870.4A CN202110497870A CN113220770A CN 113220770 A CN113220770 A CN 113220770A CN 202110497870 A CN202110497870 A CN 202110497870A CN 113220770 A CN113220770 A CN 113220770A
Authority
CN
China
Prior art keywords
data
coal
price
market
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110497870.4A
Other languages
English (en)
Inventor
冯雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongmei Times Technology Development Co ltd
Original Assignee
Beijing Zhongmei Times Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongmei Times Technology Development Co ltd filed Critical Beijing Zhongmei Times Technology Development Co ltd
Priority to CN202110497870.4A priority Critical patent/CN113220770A/zh
Publication of CN113220770A publication Critical patent/CN113220770A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mining & Mineral Resources (AREA)
  • Economics (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于大数据分析的能源行业决策支持系统，该系统包括：数据传输层，用于采集煤炭市场数据；数据处理层，用于对煤炭市场数据进行预处理；应用层，用于在市场资讯、数据资源分类、价格数据影响因素、基于地理地图分布、煤炭上下游产业链和价格趋势预测六个维度对进行预处理后的煤炭市场数据进行数据展示。本申请提供的技术方案，实现了对所有能够采集到的煤炭市场数据进行多方位数据展示，准确性高、适用性高以及可靠性高。

Description

一种基于大数据分析的能源行业决策支持系统
技术领域
本发明煤炭大数据技术领域，具体涉及一种基于大数据分析的能源行业决策支持系统。
背景技术
煤炭行业数据频率以及数据及时性、准确性、连续性等，与常见电商、物流、交通出行等面向客户的服务的行业有很大不同。煤炭行业主要服务于工业企业，数据的封闭性与集中性导致相关技术中的大数据分析技术在煤炭领域的数据分析上精准性和适用性较差，可靠性低。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于大数据分析的能源行业决策支持系统，以解决现有技术中在煤炭领域的数据分析上精准性和适用性较差，可靠性低的问题。
根据本申请实施例的第一方面，提供一种基于大数据分析的能源行业决策支持系统，所述系统包括：
数据传输层，用于采集煤炭市场数据；
数据处理层，用于对所述煤炭市场数据进行预处理；
应用层，用于在市场资讯、数据资源分类、价格数据影响因素、基于地理地图分布、煤炭上下游产业链和价格趋势预测六个维度对进行预处理后的所述煤炭市场数据进行数据展示。
进一步的，所述数据处理层，具体用于：
对所述煤炭市场数据依次进行数据抽取、数据清洗和数据转换，获取预处理后的所述煤炭市场数据。
进一步的，所述数据处理层，包括：
抽取模块，用于对所述煤炭市场数据进行数据抽取，以抽取所述煤炭市场数据中的非结构化数据和半结构化数据；
清洗模块，用于对所述煤炭市场数据中的非结构化数据和半结构化数据进行数据清洗，以去除所述煤炭市场数据中的非结构化数据和半结构化数据中的错误数据和无效数据；
转换模块，用于对进行数据清洗后的所述煤炭市场数据中的非结构化数据和半结构化数据进行数据转换，以将其转换成结构化数据；
获取模块，用于转换成结构化数据的所述煤炭市场数据中的非结构化数据和半结构化数据，以及所述煤炭市场数据中的结构化数据为所述预处理后的所述煤炭市场数据。
进一步的，所述应用层包括：市场资讯模块，用于在市场资讯维度对进行预处理后的所述煤炭市场数据进行数据展示；其中，所述市场资讯模块，包括：
文字识别子模块，用于利用文字识别技术对进行预处理后的所述煤炭市场数据中与市场资讯相关的文本数据进行文字识别，获取文本信息；
语义识别子模块，用于基于预设的关键词，利用语义识别技术抽取所述文本信息中的关键内容；
获取子模块，用于对所述关键内容进行分类和标注处理，获取待排版内容；
展示子模块，用于利用排版工具对所述待排版内容进行排版，并将排版后的所述待排版内容进行展示。
进一步的，所述应用层包括：数据资源分类模块，用于在数据资源分类维度对进行预处理后的所述煤炭市场数据进行数据展示；其中，所述数据资源分类模块，包括：
第一存储子模块，用于将所述进行预处理后的所述煤炭市场数据以数据表的格式存储至数据库中；
第二存储子模块，用于利用ETL调度工具对数据库中的所述进行预处理后的所述煤炭市场数据进行二次存储，以生成数据报表。
进一步的，所述应用层包括：价格数据影响因素模块，用于在价格数据影响因素维度对进行预处理后的所述煤炭市场数据进行数据展示；
所述价格数据影响因素模块，具体用于将所述进行预处理后的所述煤炭市场数据中的价格影响因素数据进行归一化处理，并利用可视化工具将进行归一化处理后的价格影响因素数据进行可视化展示。
进一步的，所述应用层包括：基于地理地图分布模块，用于在基于地理地图分布维度对进行预处理后的所述煤炭市场数据进行数据展示；
所述基于地理地图分布模块，具体用于利用GIS地理信息系统对所述进行预处理后的所述煤炭市场数据进行数据展示。
进一步的，所述应用层包括：煤炭上下游产业链模块，用于在煤炭上下游产业链维度对进行预处理后的所述煤炭市场数据进行数据展示；
所述煤炭上下游产业链模块，具体用于基于预设主题，利用BI数据可视化工具对所述进行预处理后的所述煤炭市场数据进行主题数据展示。
进一步的，所述应用层包括：价格趋势预测维度模块，用于在价格趋势预测维度对进行预处理后的所述煤炭市场数据进行数据展示；其中，所述价格趋势预测维度模块，包括：
提取子模块，用于提取所述进行预处理后的所述煤炭市场数据中影响煤炭价格的因素数据；
量化子模块，用于对所述影响煤炭价格的因素数据进行量化处理，获取量化处理后的所述影响煤炭价格的因素数据；
建立子模块，用于利用所述量化处理后的所述影响煤炭价格的因素数据建立数据集；
预测子模块，用于利用所述数据集对煤炭价格进行预测。
进一步的，所述预测子模块，具体用于按下式确定预测的煤炭价格P：
Figure BDA0003055168240000041
上式中，k∈[1,n]，n为数据集中的量化处理后的所述影响煤炭价格的因素数据的总数量；Yk为第k个量化处理后的所述影响煤炭价格的因素数据，ωk为第k个量化处理后的所述影响煤炭价格的因素数据的权重，δ为误差项。
本发明采用以上技术方案，能够达到的有益效果包括：通过数据传输层采集煤炭市场数据，数据处理层对煤炭市场数据进行预处理，应用层在市场资讯、数据资源分类、价格数据影响因素、基于地理地图分布、煤炭上下游产业链和价格趋势预测六个维度对进行预处理后的煤炭市场数据进行数据展示，实现了对所有能够采集到的煤炭市场数据进行多方位数据展示，准确性高、适用性高以及可靠性高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种基于大数据分析的能源行业决策支持系统的结构示意图；
图2是根据一示例性实施例示出的一种基于大数据分析的能源行业决策支持系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
图1是根据一示例性实施例示出的一种基于大数据分析的能源行业决策支持系统的结构示意图，如图1所示，该系统包括：
数据传输层，用于采集煤炭市场数据；
数据处理层，用于对煤炭市场数据进行预处理；
应用层，用于在市场资讯、数据资源分类、价格数据影响因素、基于地理地图分布、煤炭上下游产业链和价格趋势预测六个维度对进行预处理后的煤炭市场数据进行数据展示。
可以理解的是，数据传输层还用于将煤炭市场数据发送至数据处理层；数据处理层还用于将进行预处理后的煤炭市场数据发送至应用层。
需要说明的是，数据传输层一般针对不同类型的数据源进行采集，数据源主要包括企业各类信息化管理软件如ERP系统、CRM系统、生产安全系统、调度及发运系统，部分数据来源于生产设备如地磅称重、门闸、采掘机、皮带机传输设备、视频监控设备、瓦斯监控设备，还有一部分来自分子公司、物流公司、用户、交易平台、互联网等第三方的数据系统。
一些可选的实施例中，数据传输层可以但不限于通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量的煤炭市场数据。
其他一些的实施例中，可以但不限于人为采集一些封闭性的数据(即网络或其他技术采集不到的数据)上传至数据传输层。
本发明实施例提供的一种基于大数据分析的能源行业决策支持系统，通过数据传输层采集煤炭市场数据，可以将所有能够采集到的煤炭市场数据汇总起来，避免了由于煤炭数据的封闭性与集中性导致相关技术中的大数据分析技术在煤炭领域的数据分析上精准性和适用性较差的问题；通过数据处理层对煤炭市场数据进行预处理，应用层在市场资讯、数据资源分类、价格数据影响因素、基于地理地图分布、煤炭上下游产业链和价格趋势预测六个维度对进行预处理后的煤炭市场数据进行数据展示，实现了对所有能够采集到的煤炭市场数据进行多方位数据展示，准确性高、适用性高以及可靠性高。
进一步可选的，数据处理层，具体用于：
对煤炭市场数据依次进行数据抽取、数据清洗和数据转换，获取预处理后的煤炭市场数据。
进一步可选的，如图2所示，数据处理层，包括：
抽取模块，用于对煤炭市场数据进行数据抽取，以抽取煤炭市场数据中的非结构化数据和半结构化数据；
清洗模块，用于对煤炭市场数据中的非结构化数据和半结构化数据进行数据清洗，以去除煤炭市场数据中的非结构化数据和半结构化数据中的错误数据和无效数据；
转换模块，用于对进行数据清洗后的煤炭市场数据中的非结构化数据和半结构化数据进行数据转换，以将其转换成结构化数据；
获取模块，用于转换成结构化数据的煤炭市场数据中的非结构化数据和半结构化数据，以及煤炭市场数据中的结构化数据为预处理后的煤炭市场数据。
需要说明的是，通过对煤炭市场数据进行抽取、清洗和转换，保证了数据的连续性、稳定性和有效性，是数据管理的关键。
进一步可选的，如图2所示，应用层包括：市场资讯模块，用于在市场资讯维度对进行预处理后的煤炭市场数据进行数据展示；其中，市场资讯模块，包括：
文字识别子模块，用于利用文字识别技术对进行预处理后的煤炭市场数据中与市场资讯相关的文本数据进行文字识别，获取文本信息；
语义识别子模块，用于基于预设的关键词，利用语义识别技术抽取文本信息中的关键内容；
获取子模块，用于对关键内容进行分类和标注处理，获取待排版内容；
展示子模块，用于利用排版工具对待排版内容进行排版，并将排版后的待排版内容进行展示，以实现在市场资讯维度对进行预处理后的煤炭市场数据进行数据展示。
一些实施例中，与市场资讯相关的文本数据可以但不限于为通过互联网采集的资讯或文章，可以是一段文字，也可以是一篇文章。
可以理解的是，分类之前会预先设置好类型，可以依据行业或市场关键因素来确定分类类型；例如，煤炭、电力等。
需要说明的是，本发明实施例中涉及的“文字识别技术”、“语义识别技术”、“对关键内容进行分类和标注处理”和“利用排版工具对待排版内容进行排版”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
一些实施例中，预设的关键词可以但不限于为：产量、价格、库存和销量等；可以但不限于基于用户的点击量，即点击量较多的关键词为预设的关键词。
可以理解的是，标注处理，即标签化处理；一般会先确定好预设标签，然后再利用预设标签对关键内容进行标注处理；假设某个文章描述的是秦皇岛动力煤市场的相关内容，预设标签可以但不限于为：煤炭、市场、价格、涨幅、跌幅、秦皇岛港、煤炭价格、动力煤和环渤海等。
进一步可选的，如图2所示，应用层包括：数据资源分类模块，用于在数据资源分类维度对进行预处理后的煤炭市场数据进行数据展示；其中，数据资源分类模块，包括：
第一存储子模块，用于将进行预处理后的煤炭市场数据以数据表的格式存储至数据库中；
第二存储子模块，用于利用ETL调度工具对数据库中的进行预处理后的煤炭市场数据进行二次存储，以生成数据报表，以实现在数据资源分类维度对进行预处理后的煤炭市场数据进行数据展示。
可以理解的是，数据报表为转换成承载不同内容的数据报表。
一些实施例中，可以但不限于利用MySQL实现第一存储子模块的功能；其中，数据库数据表的字段名可以但不限于包括：序号、度量名称、时间、度量值和单位等，度量名称可以但不限于包括：产量、销量和库存等。
需要说明的是，本发明实施例中涉及的“以数据表的格式存储至数据库”、“利用ETL调度工具生成数据报表”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
进一步可选的，如图2所示，应用层包括：价格数据影响因素模块，用于在价格数据影响因素维度对进行预处理后的煤炭市场数据进行数据展示；
价格数据影响因素模块，具体用于将进行预处理后的煤炭市场数据中的价格影响因素数据进行归一化处理，并利用可视化工具将进行归一化处理后的价格影响因素数据进行可视化展示，以实现在价格数据影响因素维度对进行预处理后的煤炭市场数据进行数据展示。
需要说明的是，本发明实施例中涉及的“归一化处理”、“利用可视化工具进行可视化展示”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
进一步可选的，如图2所示，应用层包括：基于地理地图分布模块，用于在基于地理地图分布维度对进行预处理后的煤炭市场数据进行数据展示；
基于地理地图分布模块，具体用于利用GIS地理信息系统对进行预处理后的煤炭市场数据进行数据展示，以实现在基于地理地图分布维度对进行预处理后的煤炭市场数据进行数据展示。
需要说明的是，本发明实施例中涉及的“GIS地理信息系统”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
进一步可选的，如图2所示，应用层包括：煤炭上下游产业链模块，用于在煤炭上下游产业链维度对进行预处理后的煤炭市场数据进行数据展示；
煤炭上下游产业链模块，具体用于基于预设主题，利用BI数据可视化工具对进行预处理后的煤炭市场数据进行主题数据展示(即从预设主题方面进行主题数据的可视化展示)，以实现在煤炭上下游产业链维度对进行预处理后的煤炭市场数据进行数据展示。
一些实施例中，预设主题可以但不限于为：煤炭产销存、煤炭进出口、电力行业运行情况、宏观经济走势等。
需要说明的是，本发明实施例中涉及的“利用BI数据可视化工具进行主题数据展示”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
进一步可选的，如图2所示，应用层包括：价格趋势预测维度模块，用于在价格趋势预测维度对进行预处理后的煤炭市场数据进行数据展示；其中，价格趋势预测维度模块，包括：
提取子模块，用于提取进行预处理后的煤炭市场数据中影响煤炭价格的因素数据；
量化子模块，用于对影响煤炭价格的因素数据进行量化处理，获取量化处理后的影响煤炭价格的因素数据；
建立子模块，用于利用量化处理后的影响煤炭价格的因素数据建立数据集；
预测子模块，用于利用数据集对煤炭价格进行预测，从而实现以价格预测的形式在价格趋势预测维度对进行预处理后的煤炭市场数据进行数据展示。
具体的，预测子模块，具体用于按下式确定预测的煤炭价格P：
Figure BDA0003055168240000091
上式中，k∈[1,n]，n为数据集中的量化处理后的影响煤炭价格的因素数据的总数量；Yk为第k个量化处理后的影响煤炭价格的因素数据，ωk为第k个量化处理后的影响煤炭价格的因素数据的权重，δ为误差项。
例如，假设数据输出层从互联网上获取了A市的煤炭市场数据，将A市的煤炭市场数据发送至数据处理层；
数据处理层中的抽取模块、清洗模块和转换模块对A市的煤炭市场数据分别进行数据抽取、数据清洗和数据转换，以抽取A市的煤炭市场数据中的非结构化数据和半结构化数据，去除非结构化数据和半结构化数据中的错误数据和无效数据，并将其转换成结构化数据；转换成结构化数据的非结构化数据和半结构化数据，以及A市的煤炭市场数据中的结构化数据为预处理后的A市的煤炭市场数据，并将其发送至应用层；
应用层中的市场资讯模块开始工作，文字识别子模块利用文字识别技术对进行预处理后的A市的煤炭市场数据中与市场资讯相关的文本数据进行文字识别，获取文本信息；语义识别子模块基于预设的关键词，利用语义识别技术抽取文本信息中的关键内容；获取子模块对关键内容进行分类和标注处理，获取待排版内容；展示子模块利用排版工具对待排版内容进行排版，并将排版后的待排版内容进行展示，以实现在市场资讯维度对进行预处理后的煤炭市场数据进行数据展示；
应用层中的数据资源分类模块开始工作，第一存储子模块将进行预处理后的A市的煤炭市场数据以数据表的格式存储至数据库中；第二存储子模块利用ETL调度工具对数据库中的进行预处理后的煤炭市场数据进行二次存储，以生成数据报表，以实现在数据资源分类维度对进行预处理后的煤炭市场数据进行数据展示；
应用层中的价格数据影响因素模块开始工作，将进行预处理后的A市的煤炭市场数据中的价格影响因素数据进行归一化处理，并利用可视化工具将进行归一化处理后的价格影响因素数据进行可视化展示，以实现在价格数据影响因素维度对进行预处理后的煤炭市场数据进行数据展示；
应用层中的基于地理地图分布模块开始工作，利用GIS地理信息系统对进行预处理后的A市的煤炭市场数据进行数据展示，以实现在基于地理地图分布维度对进行预处理后的煤炭市场数据进行数据展示；
应用层中的煤炭上下游产业链模块开始工作，基于预设主题，利用BI数据可视化工具对进行预处理后的A市的煤炭市场数据进行主题数据展示(即从预设主题方面进行主题数据的可视化展示)，以实现在煤炭上下游产业链维度对进行预处理后的煤炭市场数据进行数据展示；
应用层中的价格趋势预测维度模块开始工作，提取子模块提取进行预处理后的A市的煤炭市场数据中影响煤炭价格的因素数据；量化子模块对影响煤炭价格的因素数据进行量化处理，获取量化处理后的影响煤炭价格的因素数据；建立子模块利用量化处理后的影响煤炭价格的因素数据建立数据集；预测子模块利用数据集对煤炭价格进行预测，从而实现以价格预测的形式在价格趋势预测维度对进行预处理后的煤炭市场数据进行数据展示。
本发明实施例提供的一种基于大数据分析的能源行业决策支持系统，通过数据传输层采集煤炭市场数据，可以将所有能够采集到的煤炭市场数据汇总起来，避免了由于煤炭数据的封闭性与集中性导致相关技术中的大数据分析技术在煤炭领域的数据分析上精准性和适用性较差的问题；通过数据处理层对煤炭市场数据进行预处理，应用层在市场资讯、数据资源分类、价格数据影响因素、基于地理地图分布、煤炭上下游产业链和价格趋势预测六个维度对进行预处理后的煤炭市场数据进行数据展示，实现了对所有能够采集到的煤炭市场数据进行多方位数据展示，准确性高、适用性高以及可靠性高。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于大数据分析的能源行业决策支持系统，其特征在于，所述系统包括：
数据传输层，用于采集煤炭市场数据；
数据处理层，用于对所述煤炭市场数据进行预处理；
应用层，用于在市场资讯、数据资源分类、价格数据影响因素、基于地理地图分布、煤炭上下游产业链和价格趋势预测六个维度对进行预处理后的所述煤炭市场数据进行数据展示。
2.根据权利要求1所述的系统，其特征在于，所述数据处理层，具体用于：
对所述煤炭市场数据依次进行数据抽取、数据清洗和数据转换，获取预处理后的所述煤炭市场数据。
3.根据权利要求2所述的系统，其特征在于，所述数据处理层，包括：
抽取模块，用于对所述煤炭市场数据进行数据抽取，以抽取所述煤炭市场数据中的非结构化数据和半结构化数据；
清洗模块，用于对所述煤炭市场数据中的非结构化数据和半结构化数据进行数据清洗，以去除所述煤炭市场数据中的非结构化数据和半结构化数据中的错误数据和无效数据；
转换模块，用于对进行数据清洗后的所述煤炭市场数据中的非结构化数据和半结构化数据进行数据转换，以将其转换成结构化数据；
获取模块，用于转换成结构化数据的所述煤炭市场数据中的非结构化数据和半结构化数据，以及所述煤炭市场数据中的结构化数据为所述预处理后的所述煤炭市场数据。
4.根据权利要求1所述的系统，其特征在于，所述应用层包括：市场资讯模块，用于在市场资讯维度对进行预处理后的所述煤炭市场数据进行数据展示；其中，所述市场资讯模块，包括：
文字识别子模块，用于利用文字识别技术对进行预处理后的所述煤炭市场数据中与市场资讯相关的文本数据进行文字识别，获取文本信息；
语义识别子模块，用于基于预设的关键词，利用语义识别技术抽取所述文本信息中的关键内容；
获取子模块，用于对所述关键内容进行分类和标注处理，获取待排版内容；
展示子模块，用于利用排版工具对所述待排版内容进行排版，并将排版后的所述待排版内容进行展示。
5.根据权利要求1所述的系统，其特征在于，所述应用层包括：数据资源分类模块，用于在数据资源分类维度对进行预处理后的所述煤炭市场数据进行数据展示；其中，所述数据资源分类模块，包括：
第一存储子模块，用于将所述进行预处理后的所述煤炭市场数据以数据表的格式存储至数据库中；
第二存储子模块，用于利用ETL调度工具对数据库中的所述进行预处理后的所述煤炭市场数据进行二次存储，以生成数据报表。
6.根据权利要求1所述的系统，其特征在于，所述应用层包括：价格数据影响因素模块，用于在价格数据影响因素维度对进行预处理后的所述煤炭市场数据进行数据展示；
所述价格数据影响因素模块，具体用于将所述进行预处理后的所述煤炭市场数据中的价格影响因素数据进行归一化处理，并利用可视化工具将进行归一化处理后的价格影响因素数据进行可视化展示。
7.根据权利要求1所述的系统，其特征在于，所述应用层包括：基于地理地图分布模块，用于在基于地理地图分布维度对进行预处理后的所述煤炭市场数据进行数据展示；
所述基于地理地图分布模块，具体用于利用GIS地理信息系统对所述进行预处理后的所述煤炭市场数据进行数据展示。
8.根据权利要求1所述的系统，其特征在于，所述应用层包括：煤炭上下游产业链模块，用于在煤炭上下游产业链维度对进行预处理后的所述煤炭市场数据进行数据展示；
所述煤炭上下游产业链模块，具体用于基于预设主题，利用BI数据可视化工具对所述进行预处理后的所述煤炭市场数据进行主题数据展示。
9.根据权利要求1所述的系统，其特征在于，所述应用层包括：价格趋势预测维度模块，用于在价格趋势预测维度对进行预处理后的所述煤炭市场数据进行数据展示；其中，所述价格趋势预测维度模块，包括：
提取子模块，用于提取所述进行预处理后的所述煤炭市场数据中影响煤炭价格的因素数据；
量化子模块，用于对所述影响煤炭价格的因素数据进行量化处理，获取量化处理后的所述影响煤炭价格的因素数据；
建立子模块，用于利用所述量化处理后的所述影响煤炭价格的因素数据建立数据集；
预测子模块，用于利用所述数据集对煤炭价格进行预测。
10.根据权利要求9所述的系统，其特征在于，所述预测子模块，具体用于按下式确定预测的煤炭价格P：
Figure FDA0003055168230000031
上式中，k∈[1,n]，n为数据集中的量化处理后的所述影响煤炭价格的因素数据的总数量；Yk为第k个量化处理后的所述影响煤炭价格的因素数据，ωk为第k个量化处理后的所述影响煤炭价格的因素数据的权重，δ为误差项。
CN202110497870.4A 2021-05-08 2021-05-08 一种基于大数据分析的能源行业决策支持系统 Pending CN113220770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110497870.4A CN113220770A (zh) 2021-05-08 2021-05-08 一种基于大数据分析的能源行业决策支持系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110497870.4A CN113220770A (zh) 2021-05-08 2021-05-08 一种基于大数据分析的能源行业决策支持系统

Publications (1)

Publication Number Publication Date
CN113220770A true CN113220770A (zh) 2021-08-06

Family

ID=77091696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110497870.4A Pending CN113220770A (zh) 2021-05-08 2021-05-08 一种基于大数据分析的能源行业决策支持系统

Country Status (1)

Country Link
CN (1) CN113220770A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981445A (zh) * 2012-12-03 2013-03-20 西安红宇矿用特种移动设备有限公司 一种基于plc的煤炭采制样机智能控制系统和方法
US20160274646A1 (en) * 2012-02-21 2016-09-22 Omniboard, Inc. System and Method for a Database Layer for Managing a Set of Energy Consuming Devices
CN108460144A (zh) * 2018-03-14 2018-08-28 西安华光信息技术有限责任公司 一种基于机器学习的煤炭设备故障预警系统及方法
CN110032592A (zh) * 2019-03-06 2019-07-19 国网辽宁省电力有限公司信息通信分公司 一种能源大数据整合系统及方法
CN110570255A (zh) * 2019-09-16 2019-12-13 山东浪潮通软信息科技有限公司 一种基于dmp的多源系统的市场需求数据实时分析的方法及系统
CN112558908A (zh) * 2020-12-11 2021-03-26 山西汉仑科技有限公司 一种煤矿综合信息公示系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160274646A1 (en) * 2012-02-21 2016-09-22 Omniboard, Inc. System and Method for a Database Layer for Managing a Set of Energy Consuming Devices
CN102981445A (zh) * 2012-12-03 2013-03-20 西安红宇矿用特种移动设备有限公司 一种基于plc的煤炭采制样机智能控制系统和方法
CN108460144A (zh) * 2018-03-14 2018-08-28 西安华光信息技术有限责任公司 一种基于机器学习的煤炭设备故障预警系统及方法
CN110032592A (zh) * 2019-03-06 2019-07-19 国网辽宁省电力有限公司信息通信分公司 一种能源大数据整合系统及方法
CN110570255A (zh) * 2019-09-16 2019-12-13 山东浪潮通软信息科技有限公司 一种基于dmp的多源系统的市场需求数据实时分析的方法及系统
CN112558908A (zh) * 2020-12-11 2021-03-26 山西汉仑科技有限公司 一种煤矿综合信息公示系统

Similar Documents

Publication Publication Date Title
CN109961165B (zh) 件量预测方法、装置、设备及其存储介质
CN109284948A (zh) 物流对象选择方法、物流对象选择装置和电子装置
CN104680338A (zh) 一种基于二维码的产品全生命周期品质保障管理系统
Balar et al. Forecasting consumer behavior with innovative value proposition for organizations using big data analytics
CN112214508B (zh) 数据处理方法及装置
CN114202239A (zh) 一种工程造价风险预警系统
CN114398477A (zh) 基于知识图谱的政策推荐方法及其相关设备
CN113268615A (zh) 资源标签生成方法、装置、电子设备及存储介质
CN108197825A (zh) 系统调度方法及装置
CN113220770A (zh) 一种基于大数据分析的能源行业决策支持系统
CN112685397A (zh) 用于校验数据清洗结果的方法、装置、设备及存储介质
CN110119784B (zh) 一种订单推荐方法及装置
CN115471148A (zh) 数据处理方法、装置、设备及存储介质
CN115730603A (zh) 基于人工智能的信息提取方法、装置、设备及存储介质
CN115618859A (zh) 一种基于大数据的研效管理方法、装置、设备及存储介质
CN116128287A (zh) 品级风险防控方法及其装置、设备、介质、产品
CN115796398A (zh) 基于电力物资的需求智能分析方法、系统、设备及介质
CN113269446A (zh) 文化和旅游经济运行数据监测体系架构
CN112561558A (zh) 快递时间画像的生成方法、生成装置、设备及存储介质
González-Vidal et al. BIGcoldTRUCKS: a BIG data dashboard for the management of COLD chain logistics in refrigerated TRUCKS
CN111353751B (zh) 批量补卡的还原方法和装置
Ingvaldsen et al. Semantic business process mining of SAP transactions
CN114548825B (zh) 投诉工单失真检测方法、装置、设备及存储介质
CN115456514A (zh) 物流异常预警方法、装置、设备及存储介质
Zuo et al. Competition strategy of crowdsourcing logistics service quality based on big data technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination