CN111598470B - 一种配网物资市场价格采集及监测预警方法及系统 - Google Patents
一种配网物资市场价格采集及监测预警方法及系统 Download PDFInfo
- Publication number
- CN111598470B CN111598470B CN202010431895.XA CN202010431895A CN111598470B CN 111598470 B CN111598470 B CN 111598470B CN 202010431895 A CN202010431895 A CN 202010431895A CN 111598470 B CN111598470 B CN 111598470B
- Authority
- CN
- China
- Prior art keywords
- distribution network
- market price
- price
- data
- materials
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 222
- 238000009826 distribution Methods 0.000 title claims abstract description 107
- 238000012544 monitoring process Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 230000004044 response Effects 0.000 abstract description 7
- 241000239290 Araneae Species 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 101150036841 minJ gene Proteins 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Educational Administration (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种配网物资市场价格采集及监测预警方法，包括获取电网CSGII系统中具体品类物资最近时间的配网物资平均采购价格，并分解所述具体品类物资的物资属性，提取相关物资属性；将所述物资属性作为关键词进行搜素；采集互联网上具有类似物资属性的物资报价数据作为初始数据；对所述初始数据进行预处理，形成配网物资市场价格聚类集，并保存数据采集通道；完成配网物资市场价格采集及监测预警，避免物资采购部门工作人员每次都要人工查询网站方式来获取市场价格，减少了工作人员工作量，且能及时对市场价格变化做出响应，减低配网物资采购成本。
Description
技术领域
本发明涉及配网物资价格管理的技术领域，尤其涉及一种配网物资市场价格采集及监测预警方法及系统。
背景技术
配电网是电网的重要组成部分，它直接面向电力用户，承担着99.9％以上客户的供电服务，是改善民生、保障经济社会发展的重要基础设施。
随着国家电网公司物资集约化管理的不断深入推进，对配网物资价格的管理提出了较高的要求。目前配网物资采购活动中的市场价格获得主要是通过人工查询网站的方式来完成，其无法批量查询配网物资采购活动的市场价格，无法及时进行市场价格变动预警提示，成为本领域亟需解决的问题之一。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有配网物资市场价格获取方式存在的问题，提出了本发明。
因此，本发明解决的技术问题是：解决现有配网物资市场价格获取方式无法批量查询配网物资采购活动的市场价格，无法及时进行市场价格变动预警提示的问题。
为解决上述技术问题，本发明提供如下技术方案：一种配网物资市场价格采集及监测预警方法，包括获取电网CSGII系统中具体品类物资最近时间的配网物资平均采购价格，并分解所述具体品类物资的物资属性，提取相关物资属性；将所述物资属性作为关键词进行搜素；采集互联网上具有类似物资属性的物资报价数据作为初始数据；对所述初始数据进行预处理，形成配网物资市场价格聚类集，并保存数据采集通道；完成配网物资市场价格采集及监测预警。
作为本发明所述的配网物资市场价格采集及监测预警方法的一种优选方案，其中：获取所述电网CSGII系统中所述具体品类物资最近时间的所述配网物资平均采购价格包括从价格监测列表中获取所述具体品类物资；通过所述电网CSGII系统的数据接口查询电网公司内部的具体品类物资采购价格；选取最近时间段采购价格集，并通过公式进行所述配网物资平均采购价格的获取。
作为本发明所述的配网物资市场价格采集及监测预警方法的一种优选方案，其中：所述公式为，
平均采购价格X＝(采购1价格*采购1数量+…+采购m价格*采购m数量)/总采购数量。
作为本发明所述的配网物资市场价格采集及监测预警方法的一种优选方案，其中：对所述初始数据进行预处理，形成所述配网物资市场价格聚类集包括选取所述配网物资平均采购价格作为初始聚类中心；根据配网物资市场价格初始数据与所述初始聚类中心的相似度，过滤相差较大的数据；形成所述配网物资市场价格聚类集；对所述配网物资市场价格聚类集中的数据进行聚类计算，获取聚类中心值。
作为本发明所述的配网物资市场价格采集及监测预警方法的一种优选方案，其中：对所述初始数据进行预处理，形成所述配网物资市场价格聚类集还包括判断被过滤掉的数据是否较多，如是则重新提取相关物资属性作为关键词进行搜索。
作为本发明所述的配网物资市场价格采集及监测预警方法的一种优选方案，其中：完成配网物资市场价格监测预警还包括定期从所述价格监测列表中获取需要监测的所述具体品类物资；从数据库中加载所述具体品类物资的市场价格数据采集通道；调用所述具体品类物资的市场价格数据采集通道，进行报价数据采集，形成具体品类物资的市场价格监测结果集；对所述监测结果集中数据进行聚类计算，获得聚类中心值作为本次采集的市场价格；对比所述本次采集的市场价格与以前采集的市场价格，当发生较大变化时，将该具体品类物资名称和价格变化情况加入市场价格预警提示，并推送给物资采购部门工作人员；继续从所述价格监测列表中获取下一个需要监测的所述具体品类物资，直到所有需要监测的配网物资价格预警结束。
为解决上述技术问题，本发明还提供如下技术方案：一种配网物资市场价格采集及监测预警系统，包括获取处理模块，用于获取电网系统中的配网物资平均采购价格，并分解具体品类物资的物资属性，提取相关物资属性；采集模块，与所述获取处理模块连接，根据所述物资属性作为关键词进行搜素，采集互联网上具有类似物资属性的物资报价数据作为初始数据；预处理模块，与所述采集模块连接，用于对所述初始数据进行预处理，形成配网物资市场价格聚类集，并保存数据采集通道；预警模块，用于当采集的市场价格与以前采集的市场价格相比发生较大变化时进行预警。
作为本发明所述的配网物资市场价格采集及监测预警系统的一种优选方案，其中：所述获取处理模块包括采集单元，用于从价格监测列表中获取所述具体品类物资；查询选择单元，与所述采集单元连接，用于查询电网公司内部的具体品类物资采购价格，选择最近时间段采购价格集；计算单元，与所述查询选择单元连接，用于计算配网物资平均采购价格；分解单元，用于分解所述具体品类物资的物资属性；提取单元，与所述分解单元连接，用于提取相关物资属性。
作为本发明所述的配网物资市场价格采集及监测预警系统的一种优选方案，其中：所述预处理模块包括选择计算单元，用于选取初始聚类中心，并计算配网物资市场价格初始数据与所述初始聚类中心的相似度；过滤单元，与所述选择计算单元连接，用于根据所述相似度过滤相差较大的数据；判断单元，与所述过滤单元和获取处理模块连接，用于判断被过滤掉的数据是否较多。
本发明的有益效果：本发明利用Scrapy网络爬虫工具，建立配网物资市场价格数据自动采集机制，为配网物资市场价格在线监测提供技术手段，同时为实现配网主要物资市场价格在线采集及监测预警提供了一个工具，避免物资采购部门工作人员每次都要人工查询网站方式来获取市场价格，减少了工作人员工作量，且能及时对市场价格变化做出响应，减低配网物资采购成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明提供的配网物资市场价格采集及监测预警方法中的价格采集方法流程图；
图2为本发明提供的配网物资市场价格采集及监测预警方法中的监测预警的方法流程图；
图3为本发明提供的配网物资市场价格采集及监测预警系统的系统模块图；
图4为本发明提供的Scrapy网络爬虫工具的整体架构图；
图5为本发明实施例1提供的验证过程中配网物资市场价格初始数据与初始聚类中心的相似度(距离)示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
目前配网物资采购活动中的市场价格获得主要是通过人工查询网站的方式来完成，其无法批量查询配网物资采购活动的市场价格，无法及时进行市场价格变动预警提示，成为本领域亟需解决的问题之一。
故此，请参阅图1、图2、图4和图5，本发明提供一种配网物资市场价格采集及监测预警方法，包括：
S1：获取电网CSGII系统中具体品类物资最近时间的配网物资平均采购价格，并分解具体品类物资的物资属性，提取相关物资属性；
进一步的，获取电网CSGII系统中具体品类物资最近时间的配网物资平均采购价格包括：
从价格监测列表中获取具体品类物资；
通过电网CSGII系统的数据接口查询电网公司内部的具体品类物资采购价格；
选取最近时间段采购价格集，并通过公式进行配网物资平均采购价格的获取：
平均采购价格X＝(采购1价格*采购1数量+…+采购m价格*采购m数量)/总采购数量。
其中，电网CSGII系统为贵州电网“CSGII”工程项目，通过一体化工作建设，规范信息化基础管理，全面推进“CSGII”工程建设与智能电网发展相适应。
分解具体品类配网物资，提取相关物资属性，如10kV电力电缆，ZRA-YJV22-8.7/15kV-3×300mm2，其物资属性包括物资类别为“10kV电力电缆”、截面面积＝300mm2、防护等级＝YJV22、护套要求＝ZRA、最大耐压＝8.7/15kV、芯数＝3等。
S2：将物资属性作为关键词进行搜素，在相应互联网物资采购网站进行搜索；
S3：通过Scrapy网络爬虫工具采集互联网上具有类似物资属性的物资报价数据作为初始数据，并保存到本地配网物资市场价格初始库，形成配网物资市场价格初始数据集{Y1…Yn}；
Scrapy使用了Twisted异步网络库来处理网络通讯，如图4所示为整体架构，其中，Scrapy包括了以下组件：
引擎，用来处理整个系统的数据流处理，触发事务。
调度器，用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。
下载器，用于下载网页内容，并将网页内容返回给蜘蛛。
蜘蛛，蜘蛛是主要干活的，用它来制订特定域名或网页的解析规则。
项目管道，负责处理有蜘蛛从网页中抽取的项目，他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
调度中间件，介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。
下载器中间件，位于Scrapy引擎和下载器之间的钩子框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
蜘蛛中间件，介于Scrapy引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。
Scrapy中的数据流由Scrapy引擎控制，整体的流程如下：
1)Scrapy引擎打开一个网站，找到处理该网站的爬虫，并询问爬虫第一次要爬取的URL。
2)Scrapy引擎从爬虫中获取第一次要爬取的URL，并以Request方式发送给调度器。
3)Scrapy引擎向调度器请求下一个要爬取的URL。
4)调度器返回下一个要爬取的URL给Scrapy引擎，Scrapy引擎将URL通过下载器中间件转发给下载器。
5)下载器下载给定的网页，下载完毕后，生成一个该页面的结果，并将其通过下载器中间件发送给Scrapy引擎。
6)Scrapy引擎从下载器中接收到下载结果，并通过爬虫中间件发送给爬虫进行处理。
7)爬虫对结果进行处理，并返回爬取到的数据项及需要跟进的新的URL给Scrapy引擎。
8)Scrapy引擎将爬取到的数据项发送给数据项管道，将爬虫生成的新的请求发送给调度器。
9)从步骤(2)开始重复，直到调度器中没有更多的请求，Scrapy引擎关闭该网站。
具体爬取步骤包括：
在开始爬取之前，必须创建一个新的Scrapy项目。进入打算存储代码的目录中，运行下列命令：
scrapy startproject tutorial；
根据要抓取的内容，构建Item的模型，修改tutorial目录下的items.py文件，在原来的类后面添加新的类，运行下列命令：
import scrapy
class DangItem(scrapy.Item):
title＝scrapy.Field()
link.＝scrapy.Field()
dese＝scrapy.Field()
price＝scrapy.Filed()
编写Spider，运行下列命令：
import scrapy
class DangSpider(scrapy.Spider):
name＝“dangdang”
allowed_domains＝[“dangdang.com”]
start_urls＝[
http://search.dangdang.com/？key＝python核心编程&act＝click,
http://search.dangdang.com/？key＝python基础教程&act＝click]
def parse(self,response):
filename＝response.url.split(“/“)[-2]
with open(filename,’wb’)as f:
f.write(response.body)
进入项目的根目录，执行下列命令启动Spider：
2017-01-23 18:13:07-0400[scrapy]INFO:Scrapy started(bot:tutorial)
2017-01-23 18:13:07-0400[scrapy]INFO:Optional features available:…
2017-01-23 18:13:07-0400[scrapy]INFO:Overridden settings:{}
2017-01-23 18:13:07-0400[scrapy]INFO:Enabled extensions:…
2017-01-23 18:13:07-0400[scrapy]INFO:Enabled downloadermiddlewares:…
2017-01-23 18:13:07-0400[scrapy]INFO:Enabled spider middlewares:…
2017-01-23 18:13:07-0400[scrapy]INFO:Enabled item.pipelines:…
2017-01-23 18:13:07-0400[dangdang]INFO:Spider opened
2017-01-2318:13:08-040：[dangdang]DEBUG:Crawled(200)<GET http://search.
langdang.com/？key＝python核心编程&act＝click>(referer:None)
2017-01-2318:13:08-0400[dangdang]DEBUG:Crawled(200)<GET http://search.
dangdang.com/？key＝python基础教程&act＝click>(referer:None)
2017-01-23 18:13:09-0400[dangdang]INFO:Closingspider(finished)。
S4：对初始数据进行预处理，形成配网物资市场价格聚类集，并保存数据采集通道；
进一步的，通过聚类Kmeans分析方法对初始数据进行预处理，形成配网物资市场价格聚类集包括：
选取配网物资平均采购价格作为初始聚类中心；
根据配网物资市场价格初始数据与初始聚类中心的相似度(距离)，过滤相差较大的数据；
形成配网物资市场价格聚类集{Ya…Yb}；
对配网物资市场价格聚类集{Ya…Yb}中的数据进行聚类计算，获取聚类中心值。
进一步的，对初始数据进行预处理，形成配网物资市场价格聚类集{Ya…Yb}还包括判断被过滤掉的数据是否较多，如是则重新提取相关物资属性作为关键词进行搜索。
其中，采用聚类Kmeans分析方法的具体的代码为：
#！/usr/bin/envpython
#-*-coding:UTF-8-*-
”'
Created on 20**-**-**
@author:fangmeng
”'
from numpy import*
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
#输入:
#fileName:数据文件名(含路径)
#输出:
#dataMat:数据集
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
def loadDataSet(fileName):
'载入数据文件'
dataMat＝[]
fr＝open(fileName)
for line in fr.readlines():
curLine＝line.strip().split('\t')
fltLine＝map(float,curLine)
dataMat.append(fltLine)
return dataMat
＝
#输入:
#vecA:样本a
#vecB:样本b
#输出:
#sqrt(sum(power(vecA-vecB,2))):样本距离
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
defdistEclud(vecA,vecB):
'计算样本距离'
return sqrt(sum(power(vecA-vecB,2)))
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
#输入:
#dataSet:数据集
#k:簇个数
#输出:
#centroids:簇划分集合(每个元素为簇质心)
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
def randCent(dataSet,k):
'随机初始化质心'
n＝shape(dataSet)[1]
centroids＝mat(zeros((k,n)))#create centroid mat
for j in range(n):#create random cluster centers,within bounds ofeach dimension
minJ＝min(dataSet[:,j])
rangeJ＝float(max(dataSet[:,j])-minJ)
centroids[:,j]＝mat(minJ+rangeJ*random.rand(k,1))
return centroids
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
#输入:
#dataSet:数据集
#k:簇个数
#distMeas:距离生成器
#createCent:质心生成器
#输出:
#centroids:簇划分集合(每个元素为簇质心)
#clusterAssment:聚类结果
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
def kMeans(dataSet,k,distMeas＝distEclud,createCent＝randCent):
'K-Means基本实现'
m＝shape(dataSet)[0]
#簇分配结果矩阵。一列为簇分类结果，一列为误差。
clusterAssment＝mat(zeros((m,2)))
#创建原始质心集
centroids＝createCent(dataSet,k)
#簇更改标记
clusterChanged＝True
while clusterChanged:
clusterChanged＝False
#每个样本点加入其最近的簇。
for i in range(m):
minDist＝inf；minIndex＝-1
for j in range(k):
distJI＝distMeas(centroids[j,:],dataSet[i,:])
if distJI<minDist:
minDist＝distJI；minIndex＝j
if clusterAssment[i,0]！＝minIndex:clusterChanged＝True
clusterAssment[i,:]＝minIndex,minDist**2
#更新簇
for cent in range(k):#recalculate centroids
ptsInClust＝dataSet[nonzero(clusterAssment[:,0].A＝＝cent)[0]]
centroids[cent,:]＝mean(ptsInClust,axis＝0)
return centroids,clusterAssment
defmain():
'k-Means聚类操作展示'
datMat＝mat(loadDataSet('/home/fangmeng/testSet.txt'))
myCentroids,clustAssing＝kMeans(datMat,4)
#print myCentroids
print clustAssing
if__name__＝＝"__main__":
main()。
S5：完成配网物资市场价格采集及监测预警。
更进一步的，完成配网物资市场价格监测预警还包括：
定期从价格监测列表中获取需要监测的具体品类物资；
从数据库中加载具体品类物资的市场价格数据采集通道；
调用具体品类物资的市场价格数据采集通道，进行报价数据采集，形成具体品类物资的市场价格监测结果集；
对监测结果集中数据进行聚类计算，获得聚类中心值作为本次采集的市场价格；
对比本次采集的市场价格与以前采集的市场价格，当发生较大变化时，将该具体品类物资名称和价格变化情况加入市场价格预警提示，并推送给物资采购部门工作人员；
继续从价格监测列表中获取下一个需要监测的具体品类物资，直到所有需要监测的配网物资价格预警结束。
为了验证本发明的优越性，于贵州电网毕节供电局和贵阳供电局中分别沿用现有技术(人工经验)与本发明进行同一类型物资(如配网电线类)的采购，在长达一年的时间内进行使用效果的对比，如下表1所示：
表1：使用效果对比表
由上表1所示，采用本发明的贵阳供电局在一年内的同类配网物资的购买价格预测相较于毕节供电局有着显著的提升，节约的成本也更大。
如图5所示，为贵阳供电局采用本发明聚类分析法中配网物资市场价格初始数据与初始聚类中心的相似度(距离)示意图。其中，直线y＝x的直线表示初始聚类中心的示意位置，图上的标记表示配网物资市场价格初始数据，直观看出两者之家的相似度形势。
本专利首先通过数据接口获得电网CSGII系统中具体品类物资最近时间的配网物资采购价格，并分解该具体品类物资的物资属性，将物资属性作为关键词进行搜素，通过Scrapy网络爬虫工具采集互联网上具有类似物资属性的物资报价数据，做为配网物资市场价格的初始数据。然后本专利通过聚类Kmeans分析方法，以电网公司配网物资采购价格作为初始聚类中心，根据配网物资市场价格与初始聚类中心的相似度(距离)，过滤掉差别较大的数据，形成配网物资市场价格聚类集。本专利保存本次配网物资市场价格聚类集的数据采集通道，以便后续进行配网主要物资市场价格批量采集及监测预警时使用。本专利监测采集到的配网物资价格数据，当某一具体品类的配网物资市场价格发生突变时，则发出配网物资市场价格预警提示，以便及时提醒物资采购部门工作人员注意。
实施例2
请参阅图3，为本发明提供的配网物资市场价格采集及监测预警系统的第一个实施例：一种配网物资市场价格采集及监测预警系统，包括：
获取处理模块100，用于获取电网系统中的配网物资平均采购价格，并分解具体品类物资的物资属性，提取相关物资属性；
采集模块200，与获取处理模块100连接，根据物资属性作为关键词进行搜素，采集互联网上具有类似物资属性的物资报价数据作为初始数据；
预处理模块300，与采集模块200连接，用于对初始数据进行预处理，形成配网物资市场价格聚类集，并保存数据采集通道；
预警模块400，用于当采集的市场价格与以前采集的市场价格相比发生较大变化时进行预警。
进一步的，获取处理模块100包括：
采集单元，用于从价格监测列表中获取具体品类物资；
查询选择单元，与采集单元连接，用于查询电网公司内部的具体品类物资采购价格，选择最近时间段采购价格集；
计算单元，与查询选择单元连接，用于计算配网物资平均采购价格；
分解单元，用于分解具体品类物资的物资属性；
提取单元，与分解单元连接，用于提取相关物资属性。
更进一步的，预处理模块300包括：
选择计算单元，用于选取初始聚类中心，并计算配网物资市场价格初始数据与初始聚类中心的相似度；
过滤单元，与选择计算单元连接，用于根据相似度过滤相差较大的数据；
判断单元，与过滤单元和获取处理模块100连接，用于判断被过滤掉的数据是否较多。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (3)
1.一种配网物资市场价格采集及监测预警方法，其特征在于：包括，
获取电网CSGII系统中具体品类物资最近时间的配网物资平均采购价格，并分解所述具体品类物资的物资属性，提取相关物资属性；
将所述物资属性作为关键词进行搜素；
采集互联网上具有类似物资属性的物资报价数据作为初始数据；
对所述初始数据进行预处理，形成配网物资市场价格聚类集，并保存数据采集通道；
完成配网物资市场价格采集及监测预警；
对所述初始数据进行预处理，形成所述配网物资市场价格聚类集包括，
选取所述配网物资平均采购价格作为初始聚类中心；
根据配网物资市场价格初始数据与所述初始聚类中心的相似度，过滤相差较大的数据；
形成所述配网物资市场价格聚类集；
对所述配网物资市场价格聚类集中的数据进行聚类计算，获取聚类中心值；
对所述初始数据进行预处理，形成所述配网物资市场价格聚类集还包括判断被过滤掉的数据是否较多，如是则重新提取相关物资属性作为关键词进行搜索；
完成配网物资市场价格监测预警还包括，
定期从价格监测列表中获取需要监测的所述具体品类物资；
从数据库中加载所述具体品类物资的市场价格数据采集通道；
调用所述具体品类物资的市场价格数据采集通道，进行报价数据采集，形成具体品类物资的市场价格监测结果集；
对所述监测结果集中数据进行聚类计算，获得聚类中心值作为本次采集的市场价格；
对比所述本次采集的市场价格与以前采集的市场价格，当发生较大变化时，将该具体品类物资名称和价格变化情况加入市场价格预警提示，并推送给物资采购部门工作人员；
继续从所述价格监测列表中获取下一个需要监测的所述具体品类物资，直到所有需要监测的配网物资价格预警结束；
该方法基于一种配网物资市场价格采集及监测预警系统，该系统包括，
获取处理模块（100），用于获取电网系统中的配网物资平均采购价格，并分解具体品类物资的物资属性，提取相关物资属性；
采集模块（200），与所述获取处理模块（100）连接，根据所述物资属性作为关键词进行搜素，采集互联网上具有类似物资属性的物资报价数据作为初始数据；
预处理模块（300），与所述采集模块（200）连接，用于对所述初始数据进行预处理，形成配网物资市场价格聚类集，并保存数据采集通道；
预警模块（400），用于当采集的市场价格与以前采集的市场价格相比发生较大变化时进行预警；
所述获取处理模块（100）包括，
采集单元，用于从价格监测列表中获取所述具体品类物资；
查询选择单元，与所述采集单元连接，用于查询电网公司内部的具体品类物资采购价格，选择最近时间段采购价格集；
计算单元，与所述查询选择单元连接，用于计算配网物资平均采购价格；
分解单元，用于分解所述具体品类物资的物资属性；
提取单元，与所述分解单元连接，用于提取相关物资属性；
所述预处理模块（300）包括，
选择计算单元，用于选取初始聚类中心，并计算配网物资市场价格初始数据与所述初始聚类中心的相似度；
过滤单元，与所述选择计算单元连接，用于根据所述相似度过滤相差较大的数据；
判断单元，与所述过滤单元和获取处理模块（100）连接，用于判断被过滤掉的数据是否较多。
2.根据权利要求1所述的配网物资市场价格采集及监测预警方法，其特征在于：获取所述电网CSGII系统中所述具体品类物资最近时间的所述配网物资平均采购价格包括，
从价格监测列表中获取所述具体品类物资；
通过所述电网CSGII系统的数据接口查询电网公司内部的具体品类物资采购价格；
选取最近时间段采购价格集，并通过公式进行所述配网物资平均采购价格的获取。
3.根据权利要求2所述的配网物资市场价格采集及监测预警方法，其特征在于：所述公式为，
平均采购价格X= (采购1价格*采购1数量+ … +采购m价格*采购m数量)/ 总采购数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010431895.XA CN111598470B (zh) | 2020-05-20 | 2020-05-20 | 一种配网物资市场价格采集及监测预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010431895.XA CN111598470B (zh) | 2020-05-20 | 2020-05-20 | 一种配网物资市场价格采集及监测预警方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598470A CN111598470A (zh) | 2020-08-28 |
| CN111598470B true CN111598470B (zh) | 2023-03-24 |
Family
ID=72189070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010431895.XA Active CN111598470B (zh) | 2020-05-20 | 2020-05-20 | 一种配网物资市场价格采集及监测预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598470B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554418B (zh) * | 2021-07-28 | 2023-11-17 | 国网江苏省电力有限公司物资分公司 | 一种协议库存采购物资合同自动价格联动方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123047A (zh) * | 2017-04-14 | 2017-09-01 | 北京金融资产交易所有限公司 | 基于债券交易的数据采集系统及其数据采集方法 |
| CN107507075A (zh) * | 2017-09-26 | 2017-12-22 | 北京阳光公采科技有限公司 | 公共采购大数据价格监测方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020095362A1 (en) * | 2000-04-28 | 2002-07-18 | Brij Masand | Financial methods and systems |
| US8260687B2 (en) * | 2007-04-16 | 2012-09-04 | Ebay Inc. | Distributed commerce application-widget |
| US10354304B2 (en) * | 2013-03-15 | 2019-07-16 | Kemeera Inc. | Systems and methods for creating 3D objects |
| CN103679373B (zh) * | 2013-04-12 | 2017-06-13 | 国家电网公司 | 生产基建标准成本体系的全链条预算数据处理系统及方法 |
| CN104123465B (zh) * | 2014-07-24 | 2017-04-19 | 中国软件与技术服务股份有限公司 | 一种基于聚类的大数据交叉分析预警方法及系统 |
| CN105787787A (zh) * | 2016-04-05 | 2016-07-20 | 中铁隆工程集团有限公司 | 物资采购数据传输网络系统及其采购数据预警方法 |
| CN106484855A (zh) * | 2016-09-30 | 2017-03-08 | 广州特道信息科技有限公司 | 一种大数据涉税情报分析系统 |
| CN106709662B (zh) * | 2016-12-30 | 2021-07-02 | 山东鲁能软件技术有限公司 | 一种电力设备运行工况划分方法 |
| CN107273409B (zh) * | 2017-05-03 | 2020-12-15 | 广州赫炎大数据科技有限公司 | 一种网络数据采集、存储及处理方法及系统 |
| CN109523446A (zh) * | 2018-10-19 | 2019-03-26 | 北京北大软件工程股份有限公司 | 一种面向价格领域的大数据处理分析系统 |
| CN109977282A (zh) * | 2019-02-14 | 2019-07-05 | 广东省计算技术应用研究所 | 基于爬虫技术的信息系统监理价格库生成方法 |
-
2020
- 2020-05-20 CN CN202010431895.XA patent/CN111598470B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123047A (zh) * | 2017-04-14 | 2017-09-01 | 北京金融资产交易所有限公司 | 基于债券交易的数据采集系统及其数据采集方法 |
| CN107507075A (zh) * | 2017-09-26 | 2017-12-22 | 北京阳光公采科技有限公司 | 公共采购大数据价格监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598470A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107256443B (zh) | 基于业务和数据集成的线损实时计算方法 | |
| US6292894B1 (en) | System, method, and medium for retrieving, organizing, and utilizing networked data | |
| US20170351989A1 (en) | Providing supply chain information extracted from an order management system | |
| US20070038641A1 (en) | Systems and methods for automated application updating | |
| CN105243528A (zh) | 大数据环境下金融it系统中图形化集中对账系统与方法 | |
| CN101373485A (zh) | 提供网页访问入口的方法及装置 | |
| WO2013009710A1 (en) | Automated presentation of information using infographics | |
| JP2011002911A (ja) | データ分析システム及び方法 | |
| CN102200996B (zh) | 对动态报告进行解析和索引 | |
| US20060129609A1 (en) | Database synchronization using change log | |
| JP6431055B2 (ja) | 文献のテキストマイニングのシステムおよび方法 | |
| CN112364223A (zh) | 一种数字档案馆系统 | |
| JP4861020B2 (ja) | 環境負荷評価システムの動作方法、環境負荷評価システム及び環境負荷評価プログラム | |
| Bislimovska et al. | Textual and content-based search in repositories of web application models | |
| CN111160658A (zh) | 一种协同制造资源优配方法、系统和平台 | |
| JP2015106295A (ja) | Ｗｅｂサイト評価システム、その評価方法および品質評価サーバ | |
| CN111833018A (zh) | 一种科技项目的专利分析方法及系统 | |
| US20060206411A1 (en) | Custom application builder for supply chain management | |
| CN111598470B (zh) | 一种配网物资市场价格采集及监测预警方法及系统 | |
| CN109656903A (zh) | 一种智能推送管控中心模块的方法 | |
| Zhang et al. | Design and implementation of a new intelligent warehouse management system based on MySQL database technology | |
| JP4527770B2 (ja) | 情報検索装置、コンピュータプログラム及び記憶媒体 | |
| CN113722564A (zh) | 基于空间图卷积能源物资供应链的可视化方法及装置 | |
| CN113642850A (zh) | 一种面向配电网规划的数据融合方法及终端 | |
| US10394826B1 (en) | System and methods for searching query data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |