CN111784024A - 一种基于多种来源数据感知的配网物资采购方法 - Google Patents
一种基于多种来源数据感知的配网物资采购方法 Download PDFInfo
- Publication number
- CN111784024A CN111784024A CN202010431909.8A CN202010431909A CN111784024A CN 111784024 A CN111784024 A CN 111784024A CN 202010431909 A CN202010431909 A CN 202010431909A CN 111784024 A CN111784024 A CN 111784024A
- Authority
- CN
- China
- Prior art keywords
- distribution network
- data
- purchasing
- materials
- network material
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000463 material Substances 0.000 title claims abstract description 209
- 238000009826 distribution Methods 0.000 title claims abstract description 175
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008447 perception Effects 0.000 title claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 42
- 238000004519 manufacturing process Methods 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 239000002994 raw material Substances 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 208000012661 Dyskinesia Diseases 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 241000239290 Araneae Species 0.000 description 11
- 238000003860 storage Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000009193 crawling Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229920003020 cross-linked polyethylene Polymers 0.000 description 1
- 239000004703 cross-linked polyethylene Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 229920000915 polyvinyl chloride Polymers 0.000 description 1
- 239000004800 polyvinyl chloride Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
Abstract
本发明公开了一种基于多种来源数据感知的配网物资采购方法,包括采集互联网上和电网CSGII系统中的历史配网物资资料;汇总所述历史配网物资资料,构建数学分析模型;利用所述数学分析模型分析配网物资采购价格走势;依据所述配网物资采购价格走势管控配网物资的采购,通过分析预测配网物资采购价格走势,推算配网物资的最优采购时间,减低了电力物资采购成本,实现了最优化的物资采购。
Description
技术领域
本发明涉及配网物资采购的技术领域,尤其涉及一种基于多种来源数据感知的配网物资采购方法。
背景技术
配电网是电网的重要组成部分,它直接面向电力用户,承担着99.9%以上客户的供电服务,是改善民生、保障经济社会发展的重要基础设施。
随着国家电网公司物资集约化管理的不断深入推进,目前的配网物资采购方式固化,其主要通过查询电网公司物资系统中的历史采购价格,依据人工经验进行物资采购,无法准确预测出电力物资采购价格的走势,从而进行最优化的物资采购,成为本领域亟需解决的问题之一。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有配网物资采购方法存在的问题,提出了本发明。
因此,本发明解决的技术问题是:解决目前的配网物资采购方式固化,无法准确预测出电力物资采购价格的走势,从而进行最优化物资采购的问题。
为解决上述技术问题,本发明提供如下技术方案:一种基于多种来源数据感知的配网物资采购方法,包括采集互联网上和电网CSGII系统中的历史配网物资资料;汇总所述历史配网物资资料,构建数学分析模型;利用所述数学分析模型分析配网物资采购价格走势;依据所述配网物资采购价格走势管控配网物资的采购。
作为本发明所述的基于多种来源数据感知的配网物资采购方法的一种优选方案,其中:采集所述历史配网物资资料包括通过网络爬虫工具采集所述互联网上的配网物资市场价格、配网物资生产原材料市场价格以及配网物资生产商信息;通过数据接口采集所述电网CSGII系统中的配网物资采购价格、配网物资成交供应商以及配网物资生产周期;通过离线导入EXCEL表格方式采集用电量信息。
作为本发明所述的基于多种来源数据感知的配网物资采购方法的一种优选方案,其中:汇总所述历史配网物资资料,构建所述数学分析模型包括汇总所述历史配网物资资料;进行所述历史配网物资资料的预处理;利用经过预处理的所述历史配网物资资料构建所述数学分析模型,形成配网物资采购主题大数据库。
作为本发明所述的基于多种来源数据感知的配网物资采购方法的一种优选方案,其中:利用所述数学分析模型分析所述配网物资采购价格走势包括于所述数学分析模型中加载当前配网物资资料;置入具体物资需求;进行所述配网物资采购价格走势的预测和分析。
作为本发明所述的基于多种来源数据感知的配网物资采购方法的一种优选方案,其中:依据所述配网物资采购价格走势管控所述配网物资的采购中需结合采购供应商的信息以及以往采购规模,生成所述配网物资具体品类的采购策略。
作为本发明所述的基于多种来源数据感知的配网物资采购方法的一种优选方案,其中:所述预处理包括对所述历史配网物资资料进行清洗,过滤掉噪声数据,并按照一定格式进行转换。
作为本发明所述的基于多种来源数据感知的配网物资采购方法的一种优选方案,其中:利用所述数学分析模型分析所述配网物资采购价格走势还包括对采集的所述配网物资市场价格、所述配网物资生产原材料市场价格数据进行监测,当发现采集值发生异动时,则发出市场价格异动提醒。
作为本发明所述的基于多种来源数据感知的配网物资采购方法的一种优选方案,其中:当采集的所述配网物资市场价格和所述配网物资生产原材料市场价格的前后周期变化比大于阈值时,定义所述采集值发生异动,所述阈值为百分之三。
作为本发明所述的基于多种来源数据感知的配网物资采购方法的一种优选方案,其中:利用所述数学分析模型分析所述配网物资采购价格走势采用BP神经网络算法模型,包括在所述数学分析模型中导入测试子集数据,进行标准化处理;利用原始数据对BP神经网络进行训练;对未来第l月配网物资采购价格后期走势进行预测;利用第l月预测得到的数据作为样本再对网络进行训练;令t=t+1,返回至利用所述原始数据对所述BP神经网络进行训练,直到t=10,完成训练;利用训练后的所述数学分析模型分析所述配网物资采购价格走势。
作为本发明所述的基于多种来源数据感知的配网物资采购方法的一种优选方案,其中:利用所述原始数据对所述BP神经网络进行训练包括网络初始化;根据输入向量,输入层和隐含层间连接权值ωij,以及隐含层阈值,计算隐含层输出;根据所述隐含层输出、所述连接权值ωij和所述隐含层阈值,计算BP神经网络预测输出Yl;根据网络输出和预期输出,计算网络预测误差;根据网络预测更新网络连接权值;根据所述网络预测误差更新网络节点阈值;判断算法迭代是否结束,若未结束,则返回至所述隐含层输出的计算。
本发明的有益效果:本发明通过网络爬虫工具采集互联网上的配网物资资料,通过数据同步接口采集电网CSGII系统中的配网物资资料,通过导入EXCEL表格方式采集配网物资生产周期等信息,将以上多种数据来源的数据汇总,建立一个数学分析模型,通过分析预测配网物资采购价格走势,推算配网物资的最优采购时间,减低了电力物资采购成本,实现了最优化的物资采购。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明提供的基于多种来源数据感知的配网物资采购方法的采购预预测方法流程图;
图2为本发明提供的基于多种来源数据感知的配网物资采购方法的预警方法流程图;
图3为本发明提供的Scrapy网络爬虫工具采集流程图;
图4为本发明提供的BP神经网络算法模型示意图;
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
目前的配网物资采购方式固化,其主要通过查询电网公司物资系统中的历史采购价格,依据人工经验进行物资采购,无法准确预测出电力物资采购价格的走势,从而进行最优化的物资采购,成为本领域亟需解决的问题之一。
故此,请参阅图1~4,本发明提供一种基于多种来源数据感知的配网物资采购方法,包括:
S1:采集互联网上和电网CSGII系统中的历史配网物资资料;
进一步的,采集历史配网物资资料包括:
通过网络爬虫工具采集互联网上的配网物资市场价格、配网物资生产原材料市场价格以及配网物资生产商信息;
通过数据接口采集电网CSGII系统中的配网物资采购价格、配网物资成交供应商以及配网物资生产周期;
通过导入EXCEL表格方式获取用电量数据。
其中,采集互联网上的物资资料信息采用Scrapy网络爬虫工具。Scrapy是用Python实现的一个适用爬取网站数据、提取结构性数据的应用程序框架,它可以应用在广泛领域,Scrapy常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。通常可以很简单的通过Scrapy框架实现一个爬虫,抓取指定网站内容。本专利通过Scrapy网络爬虫工具采集互联网上的配网物资市场价格、供应商信息、配网物资生产原材料市场价格,采集流程如图3所示。
图3中,Scrapy Engine(引擎):负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。
Scheduler(调度器):负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。
Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理。
Spider(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器)。
Item Pipeline(管道):它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方。
Downloader Middlewares(下载中间件):一个可以自定义扩展下载功能的组件。
Spider Middlewares(Spider中间件):一个可以自定扩展和操作引擎和Spider中间通信的功能组件。
Scrapy中的数据流由Scrapy引擎控制,整体的流程如下:
1)Scrapy引擎打开一个网站,找到处理该网站的爬虫,并询问爬虫第一次要爬取的URL。
2)Scrapy引擎从爬虫中获取第一次要爬取的URL,并以Request方式发送给调度器。
3)Scrapy引擎向调度器请求下一个要爬取的URL。
4)调度器返回下一个要爬取的URL给Scrapy引擎,Scrapy引擎将URL通过下载器中间件转发给下载器。
5)下载器下载给定的网页,下载完毕后,生成一个该页面的结果,并将其通过下载器中间件发送给Scrapy引擎。
6)Scrapy引擎从下载器中接收到下载结果,并通过爬虫中间件发送给爬虫进行处理。
7)爬虫对结果进行处理,并返回爬取到的数据项及需要跟进的新的URL给Scrapy引擎。
8)Scrapy引擎将爬取到的数据项发送给数据项管道,将爬虫生成的新的请求发送给调度器。
9)从步骤(2)开始重复,直到调度器中没有更多的请求,Scrapy引擎关闭该网站。
具体爬取步骤包括:
在开始爬取之前,必须创建一个新的Scrapy项目。进入打算存储代码的目录中,运行下列命令:
scrapy startproject tutorial;
根据要抓取的内容,构建Item的模型,修改tutorial目录下的items.py文件,在原来的类后面添加新的类,运行下列命令:
import scrapy
classDangItem(scrapy.Item):
title=scrapy.Field()
link.=scrapy.Field()
dese=scrapy.Field()
price=scrapy.Filed()
编写Spider,运行下列命令:
进入项目的根目录,执行下列命令启动Spider:
2017-01-2318:13:07-0400[scrapy]INFO:Scrapy started(bot:tutorial)
2017-01-2318:13:07-0400[scrapy]INFO:Optional features available:…
2017-01-2318:13:07-0400[scrapy]INFO:Overridden settings:{}
2017-01-2318:13:07-0400[scrapy]INFO:Enabled extensions:…
2017-01-2318:13:07-0400[scrapy]INFO:Enabled downloader middlewares:…
2017-01-2318:13:07-0400[scrapy]INFO:Enabled spider middlewares:…
2017-01-2318:13:07-0400[scrapy]INFO:Enabled item.pipelines:…
2017-01-2318:13:07-0400[dangdang]INFO:Spider opened
2017-01-2318:13:08-040:[dangdang]DEBUG:Crawled(200)<GET http://search.
langdang.com/?key=python核心编程&act=click>(referer:None)
2017-01-2318:13:08-0400[dangdang]DEBUG:Crawled(200)<GET http://search.
dangdang.com/?key=python基础教程&act=click>(referer:None)
2017-01-2318:13:09-0400[dangdang]INFO:Closing spider(finished)。
S2:汇总历史配网物资资料,构建数学分析模型;
进一步的,汇总历史配网物资资料,构建数学分析模型包括:
汇总历史配网物资资料;
进行历史配网物资资料的预处理;
利用经过预处理的历史配网物资资料构建数学分析模型,形成配网物资采购主题大数据库。
其中,预处理包括对历史配网物资资料进行清洗,过滤掉噪声数据,并按照一定格式进行转换。
S3:利用数学分析模型分析配网物资采购价格走势包括:
于数学分析模型中加载当前配网物资资料;
置入具体物资需求;
进行配网物资采购价格走势的预测和分析。
需要注意的是:
①依据配网物资采购价格走势管控配网物资的采购中需结合采购供应商的信息以及以往采购规模,生成配网物资具体品类的采购策略;
②利用数学分析模型分析配网物资采购价格走势还包括对采集的配网物资市场价格、配网物资生产原材料市场价格数据进行监测,当发现采集值发生异动时,则发出市场价格异动提醒;当采集的配网物资市场价格和配网物资生产原材料市场价格的前后周期变化比大于阈值时,定义采集值发生异动,阈值为百分之三。
在利用数学分析模型对物资采购策略进行分析时:
(1)配网物资属性提取和市场价格数据采集
本专利以电网CSGII系统采集的配网物资采购信息为蓝本,提出相关配网物资属性,如10kV电力电缆,ZRA-YJV22-8.7/15kV-3×300mm2,其物资属性包括物资类别为“10kV电力电缆”,标称截面“3*300mm2”,电缆为“交联聚乙烯绝缘聚氯乙烯护套电力电缆”等。将配网物资属性导入Scrapy网络爬虫工具中,进行相关物资属性的配网物资市场价格、供应商、生产原材料市场价格的搜索与采集。采集结果需经过清洗后,过滤掉噪声数据,按照一定格式转换,导入配网物资采购主题数据库。如在“10kV电力电缆,ZRA-YJV22-8.7/15kV-3×300mm2”配网物资市场价格查询中,我们将市场价格查询结果与物资采购价格相差较大的数据过滤掉,将过滤后的结果导入物资采购主题数据库。
(2)创建数据测试集和训练集
在物资采购策略分析模块中,我们从物资采购主题数据库加载配网物资采购价格、配网物资市场价格、生产原材料市场价格、配网物资生产周期、供应商等数据,采用纯随机抽样方式,划分为训练子集和测试子集。
(3)配网物资采购策略分析模型训练
在物资采购策略分析模块中,我们对价格数据按价格时间轴进行可视化展示,并分析物资属性之间相关性,发现生产原材料价格等对物资采购价有一定关联,故先进行特征缩放处理。配网物资采购策略分析模型我们采用BP神经网络算法如图4所示。
由图3所示,BP神经网络算法模型以配网物资市场价格、配网物资生产原材料市场价格、价格报价时间、配网物资生产周期、供应商、采购时间等数据作为BP神经网络的输入值,配网物资采购价格作为BP神经网络的预测值(输出值),ωij,ωjk为BP神经网络权值。在使用前我们首先要采用训练子集数据训练BP神经网络,通过训练使网络具有联想记忆和预测能力。
进一步的,利用原始数据对BP神经网络进行训练包括:
网络初始化,根据系统输入输出序列(X,Y)确定网络输入层节点数n,隐含层节点数l、输出层节点数m、初始化输入层、隐含层和输出层神经元之间的连接权值ωij,ωjk初始化隐含层阈值a,给定输出层阈值b,给定学习速率和神经元激励函数;
根据输入向量,输入层和隐含层间连接权值ωij,以及隐含层阈值,计算隐含层输出;
根据隐含层输出、连接权值ωij和隐含层阈值,计算BP神经网络预测输出Yl;
根据网络输出和预期输出,计算网络预测误差;
根据网络预测更新网络连接权值;
根据网络预测误差更新网络节点阈值;
判断算法迭代是否结束,若未结束,则返回至隐含层输出的计算。
更进一步的,利用数学分析模型分析配网物资采购价格走势采用BP神经网络算法模型,包括:
在数学分析模型中导入测试子集数据,进行标准化处理;
利用原始数据对BP神经网络进行训练;
对未来第l月配网物资采购价格后期走势进行预测;
利用第l月预测得到的数据作为样本再对网络进行训练;
令t=t+1,返回至利用原始数据对BP神经网络进行训练,直到t=10,完成训练;
利用训练后的数学分析模型分析配网物资采购价格走势。
S4:依据配网物资采购价格走势管控配网物资的采购。
为了验证本发明的优越性,于贵州电网毕节供电局和贵阳供电局中分别沿用现有技术(人工经验)与本发明进行同一类型物资(如配网电线类)的采购,在长达一年的时间内进行使用效果的对比,如下表1所示:
表1:使用效果对比表
由上表1所示,采用本发明的贵阳供电局在一年内的同类配网物资的购买价格预测相较于毕节供电局有着显著的提升,节约的成本也更大。
本发明通过网络爬虫工具采集互联网上的配网物资市场价格、配网物资生产原材料市场价格,配网物资生产商信息,以及通过数据接口模块采集电网CSGII系统中的配网物资采购价格、配网物资成交供应商、配网物资生产周期,和通过离线导入EXCEL表格方式采集用电量等信息,实现配网物资采购的多源数据的整合,经过清洗、转换、整合、加载等一系列处理,形成配网物资采购主题大数据库,为后续分析提供数据来源。
本发明分析物资采购主题大数据库中某一时间段的配网物资生产原材料市场价格、用电量、生产周期、配网物资市场价格、采购价格等历史数据,建立数学分析模型。然后在数学分析模型中加载通过网络爬虫工具、CSGII系统数据接口采集的当前配网物资生产原材料市场价格、用电量、生产周期、配网物资市场价格、采购价格等数据,通过输入具体物资需求,进行配网物资采购价格走势的预测与分析,并结合配网物资采购供应商信息,如供应商是否已成为电网供应商、以往采购规模,生成配网物资具体品类的采购策略,包括推荐最佳采购时间等信息,以便电网物资部门工作人员能够依靠采购策略来进行配网物资采购,降低配网物资采购的成本。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的,术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体,该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如,组件可以是,但不限于是:在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例,在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中,并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外,这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如,来自一个组件的数据,该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号,以本地和/或远程过程的方式进行通信。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于多种来源数据感知的配网物资采购方法,其特征在于:包括,
采集互联网上和电网CSGII系统中的历史配网物资资料;
汇总所述历史配网物资资料,构建数学分析模型;
利用所述数学分析模型分析配网物资采购价格走势;
依据所述配网物资采购价格走势管控配网物资的采购。
2.根据权利要求1所述的基于多种来源数据感知的配网物资采购方法,其特征在于:采集所述历史配网物资资料包括,
通过网络爬虫工具采集所述互联网上的配网物资市场价格、配网物资生产原材料市场价格以及配网物资生产商信息;
通过数据接口采集所述电网CSGII系统中的配网物资采购价格、配网物资成交供应商以及配网物资生产周期;
通过离线导入EXCEL表格方式采集用电量信息。
3.根据权利要求2所述的基于多种来源数据感知的配网物资采购方法,其特征在于:汇总所述历史配网物资资料,构建所述数学分析模型包括,
汇总所述历史配网物资资料;
进行所述历史配网物资资料的预处理;
利用经过预处理的所述历史配网物资资料构建所述数学分析模型,形成配网物资采购主题大数据库。
4.根据权利要求3所述的基于多种来源数据感知的配网物资采购方法,其特征在于:利用所述数学分析模型分析所述配网物资采购价格走势包括,
于所述数学分析模型中加载当前配网物资资料;
置入具体物资需求;
进行所述配网物资采购价格走势的预测和分析。
5.根据权利要求4所述的基于多种来源数据感知的配网物资采购方法,其特征在于:依据所述配网物资采购价格走势管控所述配网物资的采购中需结合采购供应商的信息以及以往采购规模,生成所述配网物资具体品类的采购策略。
6.根据权利要求3~5任一项所述的基于多种来源数据感知的配网物资采购方法,其特征在于:所述预处理包括对所述历史配网物资资料进行清洗,过滤掉噪声数据,并按照一定格式进行转换。
7.根据权利要求6所述的基于多种来源数据感知的配网物资采购方法,其特征在于:利用所述数学分析模型分析所述配网物资采购价格走势还包括对采集的所述配网物资市场价格、所述配网物资生产原材料市场价格数据进行监测,当发现采集值发生异动时,则发出市场价格异动提醒。
8.根据权利要求7所述的基于多种来源数据感知的配网物资采购方法,其特征在于:当采集的所述配网物资市场价格和所述配网物资生产原材料市场价格的前后周期变化比大于阈值时,定义所述采集值发生异动,所述阈值为百分之三。
9.根据权利要求9所述的基于多种来源数据感知的配网物资采购系统,其特征在于:利用所述数学分析模型分析所述配网物资采购价格走势采用BP神经网络算法模型,包括,
在所述数学分析模型中导入测试子集数据,进行标准化处理;
利用原始数据对BP神经网络进行训练;
对未来第l月配网物资采购价格后期走势进行预测;
利用第l月预测得到的数据作为样本再对网络进行训练;
令t=t+1,返回至利用所述原始数据对所述BP神经网络进行训练,直到t=10,完成训练;
利用训练后的所述数学分析模型分析所述配网物资采购价格走势。
10.根据权利要求9所述的基于多种来源数据感知的配网物资采购系统,其特征在于:利用所述原始数据对所述BP神经网络进行训练包括,
网络初始化;
根据输入向量,输入层和隐含层间连接权值ωij,以及隐含层阈值,计算隐含层输出;
根据所述隐含层输出、所述连接权值ωij和所述隐含层阈值,计算BP神经网络预测输出Yl;
根据网络输出和预期输出,计算网络预测误差;
根据网络预测更新网络连接权值;
根据所述网络预测误差更新网络节点阈值;
判断算法迭代是否结束,若未结束,则返回至所述隐含层输出的计算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010431909.8A CN111784024B (zh) | 2020-05-20 | 2020-05-20 | 一种基于多种来源数据感知的配网物资采购方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010431909.8A CN111784024B (zh) | 2020-05-20 | 2020-05-20 | 一种基于多种来源数据感知的配网物资采购方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111784024A true CN111784024A (zh) | 2020-10-16 |
CN111784024B CN111784024B (zh) | 2023-12-01 |
Family
ID=72754274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010431909.8A Active CN111784024B (zh) | 2020-05-20 | 2020-05-20 | 一种基于多种来源数据感知的配网物资采购方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111784024B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008276637A (ja) * | 2007-05-02 | 2008-11-13 | Yahoo Japan Corp | 商品データを配信する方法 |
CN107784397A (zh) * | 2017-11-09 | 2018-03-09 | 贵州电网有限责任公司 | 一种电网物资需求预测系统及其预测方法 |
CN108846691A (zh) * | 2018-06-04 | 2018-11-20 | 中国天津粮油批发交易市场 | 区域性粮油市场价格监测分析预测系统及监测方法 |
CN109086920A (zh) * | 2018-07-19 | 2018-12-25 | 中国神华能源股份有限公司 | 物资采购预测方法、装置及物资采购管理系统 |
CN110135612A (zh) * | 2018-07-05 | 2019-08-16 | 国网江苏省电力有限公司物资分公司 | 基于用电量分析的物资供应商生产能力监控及异常预警方法 |
-
2020
- 2020-05-20 CN CN202010431909.8A patent/CN111784024B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008276637A (ja) * | 2007-05-02 | 2008-11-13 | Yahoo Japan Corp | 商品データを配信する方法 |
CN107784397A (zh) * | 2017-11-09 | 2018-03-09 | 贵州电网有限责任公司 | 一种电网物资需求预测系统及其预测方法 |
CN108846691A (zh) * | 2018-06-04 | 2018-11-20 | 中国天津粮油批发交易市场 | 区域性粮油市场价格监测分析预测系统及监测方法 |
CN110135612A (zh) * | 2018-07-05 | 2019-08-16 | 国网江苏省电力有限公司物资分公司 | 基于用电量分析的物资供应商生产能力监控及异常预警方法 |
CN109086920A (zh) * | 2018-07-19 | 2018-12-25 | 中国神华能源股份有限公司 | 物资采购预测方法、装置及物资采购管理系统 |
Non-Patent Citations (1)
Title |
---|
桂卫华 等: "智能集成有色冶炼企业原料采购量价预警系统研究", 《小型微型计算机系统》, no. 11, pages 1366 - 1370 * |
Also Published As
Publication number | Publication date |
---|---|
CN111784024B (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sahu et al. | Predicting software bugs of newly and large datasets through a unified neuro-fuzzy approach: Reliability perspective | |
CN103502899B (zh) | 动态预测建模平台 | |
Izzah et al. | Mobile app for stock prediction using Improved Multiple Linear Regression | |
CN105308577B (zh) | 用于提供负载测试服务的方法、系统和计算机可读存储器 | |
US8196114B2 (en) | System and method for service offering for feedback controller design and implementation for performance management in information technology systems | |
CN109857935A (zh) | 一种信息推荐方法及装置 | |
CN111127246A (zh) | 一种输电线路工程造价的智能预测方法 | |
CN109685089A (zh) | 评估模型性能的系统及方法 | |
US20160140584A1 (en) | EMD-Spectral Prediction (ESP) | |
CN108121814A (zh) | 搜索结果排序模型生成方法和装置 | |
Bielefeld | Online performance anomaly detection for large-scale software systems | |
Tang et al. | Semantic decision support models for energy efficiency in smart-metered homes | |
CN107315672A (zh) | 用于监控服务器的方法和装置 | |
CN111784024A (zh) | 一种基于多种来源数据感知的配网物资采购方法 | |
CN110490132A (zh) | 数据处理方法和装置 | |
US20040148271A1 (en) | System and method for defining and processing decision processes | |
CN106919755A (zh) | 一种基于数据的云制造系统不确定性量化分析方法及装置 | |
CN113377640A (zh) | 解释业务场景下模型的方法、介质、装置和计算设备 | |
US8635550B2 (en) | GUI for goal programming and goal weighting in optimization based applications | |
Li et al. | Evaluating software architecture evolution using performance simulation | |
JP6929475B1 (ja) | 需要分析装置、需要分析プログラムおよび記憶媒体 | |
CN109684430A (zh) | 用于输出信息的方法和装置 | |
CN111582498B (zh) | 基于机器学习的qa辅助决策方法及系统 | |
JP7185888B1 (ja) | 情報処理システム、情報処理方法及び情報処理プログラム | |
US20230196140A1 (en) | Reinforcement learning model for balanced unit recommendation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |