CN110659277A - 一种能源互联网数据采集方法及装置 - Google Patents
一种能源互联网数据采集方法及装置 Download PDFInfo
- Publication number
- CN110659277A CN110659277A CN201910955678.8A CN201910955678A CN110659277A CN 110659277 A CN110659277 A CN 110659277A CN 201910955678 A CN201910955678 A CN 201910955678A CN 110659277 A CN110659277 A CN 110659277A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- energy
- acquisition
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000010354 integration Effects 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims description 4
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 206010033799 Paralysis Diseases 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 3
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Computational Linguistics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种能源互联网数据采集方法及装置，涉及数据采集方法技术领域。该能源互联网数据采集方法及装置，包括预采集模块、预处理模块、采集模块、整合模块、数据库模块、能源互联网管理模块、用户查询模块、紧急处理模块与实时监测模块，所述预采集模块的输出端与预处理模块的输入端信号连接，所述预处理模块的输出端与采集模块的输入端信号连接。通过预采集模块、预处理模块、采集模块、整合模块、数据库模块、能源互联网管理模块与用户查询模块之间的相互配合，将采集的能源数据进行合理的删去以及提取，使得数据中的能源相关数据与一些其它数据就不会掺杂在一起，提高了用户终端的查询效率，给终端的查询带来了一定的便利。
Description
技术领域
本发明涉及数据采集方法技术领域，具体为一种能源互联网数据采集方法及装置。
背景技术
能源互联网可理解是综合运用先进的电力电子技术,信息技术和智能管理技术,将大量由分布式能量采集装置,分布式能量储存装置和各种类型负载构成的新型电力网络、石油网络、天然气网络等能源节点互联起来,以实现能量双向流动的能量对等交换与共享网络。
人们为了清楚的了解到能源的实时情况，常常需要借助互联网工具对能源信息进行查询，但是利用现有的能源互联网工具查询时，查询的信息中真实有效的信息少之又少，这跟数据采集的方法有着直接的关系，现有的能源互联网数据采集方法较为简单，一般都是直接将所有搜索到的数据都采集起来，从而就导致数据中的能源相关数据与一些其它数据掺杂在一起，给终端的查询带来了一定的不便。
发明内容
针对现有技术的不足，本发明提供了一种能源互联网数据采集方法及装置，解决了现有的能源互联网数据采集方法较为简单，一般都是直接将所有搜索到的数据都采集起来，从而就导致数据中的能源相关数据与一些其它数据掺杂在一起，给终端的查询带来了一定不便的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种能源互联网数据采集装置，包括预采集模块、预处理模块、采集模块、整合模块、数据库模块、能源互联网管理模块、用户查询模块、紧急处理模块与实时监测模块，所述预采集模块的输出端与预处理模块的输入端信号连接，所述预处理模块的输出端与采集模块的输入端信号连接，所述采集模块的输出端与整合模块的输入端信号连接，所述整合模块的输出端与数据库模块的输入端信号连接，所述数据库模块的输出端与能源互联网管理模块和紧急处理模块的输入端信号连接，所述能源互联网管理模块的输出端与用户查询模块的输入端信号连接，所述紧急处理模块的输出端与能源互联网管理模块的输入端信号连接，所述数据库模块和能源互联网管理模块的输出端均与实时监测模块的输入端信号连接，所述实时监测模块的输出端与采集模块的输入端信号连接。
一种能源互联网数据采集方法，所述采集方法包括以下步骤：
S1.利用预采集模块对互联网中知名、高流量、高信息量等网站、论坛、贴吧的能源数据进行少量采集，预采集模块利用关键字、关键词、关键词组等抽取法提取能源数据中的关键内容，同时预采集模块对采集的数据中无关的内容进行屏蔽，建立一个关于能源数据无关内容的屏蔽算法；
S2.预处理模块将利用能源数据无关内容的屏蔽算法采集的数据进行预处理，由于能源数据无关内容的屏蔽算法初步建成，其稳定性以及准确性都有待提高，通过预处理模块对采集的数据进行及时更改以及修正，从而对能源数据无关内容的屏蔽算法进行合理优化，提高其稳定性以及准确性；
S3.采集模块利用高稳定性以及准确性的能源数据无关内容的屏蔽算法对互联网中各大能源网页数据进行采集，采集近期互联网中出现的新数据，对数据内容相似度较高的网页进行自动过滤，然后将采集到的新数据进行保存并发送给整合模块；
S4.整合模块将采集之后的能源数据按照主题、领域、内容等进行分类，并将每类数据设置一个或多个关键词组，以后整合模块再接收到采集数据时，直接按照关键词组进行分类整合即可；
S5.数据库模块接收整合模块整合之后的所有数据，对能源数据进行保存以及备份，并利用数据库对能源数据进行集中控制和管理，可以防止数据丢失、错误更新和越权使用，并且能够保证数据的正确性、有效性和相容性，同时允许对数据实现多路存取，又能防止用户之间的不正常交互作用；
S6.能源互联网管理模块将数据库中数据建立信息共享平台，并对输入端与输出端实现双重管理，严格控制能源数据的输入与输出，及时提醒采集模块补充新数据以及及时删除失效的数据内容，对能源互联网实施24小时的维护管理；
S7.用户查询模块包括PC端与移动端，用户无论通过PC端还是移动端均可查询到需要的能源数据，用户只需输入需要查询的关键词组即可，能源互联网管理模块会自动输出相关的能源数据；
S8.紧急处理模块将数据库模块的所有数据进行备份，并且数据库模块每隔一个星期都会将接收的所有新数据发送到紧急处理模块中，当数据库模块出现瘫痪的情况中，紧急处理模块启动可以将数据发送给能源互联网管理模块，实现紧急处理模块与能源互联网管理模块之间的信息共享；
S9.通过实时监测模块对数据库模块与能源互联网管理模块进行24小时实时监测，监测各类数据的录入、用户查询的种类以及能源数据的匹配性，并将信息反馈给采集模块。
工作原理：利用预采集模块对互联网中知名、高流量、高信息量等网站、论坛、贴吧的能源数据进行少量采集，建立一个关于能源数据无关内容的屏蔽算法；预处理模块将利用能源数据无关内容的屏蔽算法采集的数据进行预处理，由于能源数据无关内容的屏蔽算法初步建成，其稳定性以及准确性都有待提高，通过预处理模块对采集的数据进行及时更改以及修正；采集模块利用高稳定性以及准确性的能源数据无关内容的屏蔽算法对互联网中各大能源网页数据进行采集，采集近期互联网中出现的新数据；整合模块将采集之后的能源数据按照主题、领域、内容等进行分类，并将每类数据设置一个或多个关键词组；数据库模块接收整合模块整合之后的所有数据，对能源数据进行保存以及备份，并利用数据库对能源数据进行集中控制和管理；能源互联网管理模块将数据库中数据建立信息共享平台，并对输入端与输出端实现双重管理，严格控制能源数据的输入与输出。
本发明提供了一种能源互联网数据采集方法及装置。具备以下有益效果：
1、该能源互联网数据采集方法及装置，通过预采集模块、预处理模块、采集模块、整合模块、数据库模块、能源互联网管理模块与用户查询模块之间的相互配合，将采集的能源数据进行合理的删去以及提取，使得数据中的能源相关数据与一些其它数据就不会掺杂在一起，提高了用户终端的查询效率，给终端的查询带来了一定的便利。
2、该能源互联网数据采集方法及装置，通过采集模块、数据库模块、能源互联网管理模块、紧急处理模块与实时监测模块之间的相互配合，使得数据能够及时的更新维护，且可根据用户的需求侧重收集相关的数据。
附图说明
图1为本发明的整体示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图1所示，本发明实施例提供一种能源互联网数据采集装置，包括预采集模块、预处理模块、采集模块、整合模块、数据库模块、能源互联网管理模块、用户查询模块、紧急处理模块与实时监测模块，预采集模块的输出端与预处理模块的输入端信号连接，预处理模块的输出端与采集模块的输入端信号连接，采集模块的输出端与整合模块的输入端信号连接，整合模块的输出端与数据库模块的输入端信号连接，数据库模块的输出端与能源互联网管理模块和紧急处理模块的输入端信号连接，能源互联网管理模块的输出端与用户查询模块的输入端信号连接，紧急处理模块的输出端与能源互联网管理模块的输入端信号连接，数据库模块和能源互联网管理模块的输出端均与实时监测模块的输入端信号连接，实时监测模块的输出端与采集模块的输入端信号连接。
一种能源互联网数据采集方法，采集方法包括以下步骤：
S1.利用预采集模块对互联网中知名、高流量、高信息量等网站、论坛、贴吧的能源数据进行少量采集，预采集模块利用关键字、关键词、关键词组等抽取法提取能源数据中的关键内容，同时预采集模块对采集的数据中无关的内容进行屏蔽，建立一个关于能源数据无关内容的屏蔽算法；
S2.预处理模块将利用能源数据无关内容的屏蔽算法采集的数据进行预处理，由于能源数据无关内容的屏蔽算法初步建成，其稳定性以及准确性都有待提高，通过预处理模块对采集的数据进行及时更改以及修正，从而对能源数据无关内容的屏蔽算法进行合理优化，提高其稳定性以及准确性；
S3.采集模块利用高稳定性以及准确性的能源数据无关内容的屏蔽算法对互联网中各大能源网页数据进行采集，采集近期互联网中出现的新数据，对数据内容相似度较高的网页进行自动过滤，然后将采集到的新数据进行保存并发送给整合模块；
S4.整合模块将采集之后的能源数据按照主题、领域、内容等进行分类，并将每类数据设置一个或多个关键词组，以后整合模块再接收到采集数据时，直接按照关键词组进行分类整合即可；
S5.数据库模块接收整合模块整合之后的所有数据，对能源数据进行保存以及备份，并利用数据库对能源数据进行集中控制和管理，可以防止数据丢失、错误更新和越权使用，并且能够保证数据的正确性、有效性和相容性，同时允许对数据实现多路存取，又能防止用户之间的不正常交互作用；
S6.能源互联网管理模块将数据库中数据建立信息共享平台，并对输入端与输出端实现双重管理，严格控制能源数据的输入与输出，及时提醒采集模块补充新数据以及及时删除失效的数据内容，对能源互联网实施24小时的维护管理；
S7.用户查询模块包括PC端与移动端，用户无论通过PC端还是移动端均可查询到需要的能源数据，用户只需输入需要查询的关键词组即可，能源互联网管理模块会自动输出相关的能源数据；
S8.紧急处理模块将数据库模块的所有数据进行备份，并且数据库模块每隔一个星期都会将接收的所有新数据发送到紧急处理模块中，当数据库模块出现瘫痪的情况中，紧急处理模块启动可以将数据发送给能源互联网管理模块，实现紧急处理模块与能源互联网管理模块之间的信息共享；
S9.通过实时监测模块对数据库模块与能源互联网管理模块进行24小时实时监测，监测各类数据的录入、用户查询的种类以及能源数据的匹配性，并将信息反馈给采集模块，及时的对需求多的数据进行补充。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (2)
1.一种能源互联网数据采集装置，包括预采集模块、预处理模块、采集模块、整合模块、数据库模块、能源互联网管理模块、用户查询模块、紧急处理模块与实时监测模块，其特征在于：所述预采集模块的输出端与预处理模块的输入端信号连接，所述预处理模块的输出端与采集模块的输入端信号连接，所述采集模块的输出端与整合模块的输入端信号连接，所述整合模块的输出端与数据库模块的输入端信号连接，所述数据库模块的输出端与能源互联网管理模块和紧急处理模块的输入端信号连接，所述能源互联网管理模块的输出端与用户查询模块的输入端信号连接，所述紧急处理模块的输出端与能源互联网管理模块的输入端信号连接，所述数据库模块和能源互联网管理模块的输出端均与实时监测模块的输入端信号连接，所述实时监测模块的输出端与采集模块的输入端信号连接。
2.一种能源互联网数据采集方法，根据权利要求1所述的一种能源互联网数据采集装置，其特征在于：所述采集方法包括以下步骤：
S1.利用预采集模块对互联网中知名、高流量、高信息量等网站、论坛、贴吧的能源数据进行少量采集，预采集模块利用关键字、关键词、关键词组等抽取法提取能源数据中的关键内容，同时预采集模块对采集的数据中无关的内容进行屏蔽，建立一个关于能源数据无关内容的屏蔽算法；
S2.预处理模块将利用能源数据无关内容的屏蔽算法采集的数据进行预处理，由于能源数据无关内容的屏蔽算法初步建成，其稳定性以及准确性都有待提高，通过预处理模块对采集的数据进行及时更改以及修正，从而对能源数据无关内容的屏蔽算法进行合理优化，提高其稳定性以及准确性；
S3.采集模块利用高稳定性以及准确性的能源数据无关内容的屏蔽算法对互联网中各大能源网页数据进行采集，采集近期互联网中出现的新数据，对数据内容相似度较高的网页进行自动过滤，然后将采集到的新数据进行保存并发送给整合模块；
S4.整合模块将采集之后的能源数据按照主题、领域、内容等进行分类，并将每类数据设置一个或多个关键词组，以后整合模块再接收到采集数据时，直接按照关键词组进行分类整合即可；
S5.数据库模块接收整合模块整合之后的所有数据，对能源数据进行保存以及备份，并利用数据库对能源数据进行集中控制和管理，可以防止数据丢失、错误更新和越权使用，并且能够保证数据的正确性、有效性和相容性，同时允许对数据实现多路存取，又能防止用户之间的不正常交互作用；
S6.能源互联网管理模块将数据库中数据建立信息共享平台，并对输入端与输出端实现双重管理，严格控制能源数据的输入与输出，及时提醒采集模块补充新数据以及及时删除失效的数据内容，对能源互联网实施24小时的维护管理；
S7.用户查询模块包括PC端与移动端，用户无论通过PC端还是移动端均可查询到需要的能源数据，用户只需输入需要查询的关键词组即可，能源互联网管理模块会自动输出相关的能源数据；
S8.紧急处理模块将数据库模块的所有数据进行备份，并且数据库模块每隔一个星期都会将接收的所有新数据发送到紧急处理模块中，当数据库模块出现瘫痪的情况中，紧急处理模块启动可以将数据发送给能源互联网管理模块，实现紧急处理模块与能源互联网管理模块之间的信息共享；
S9.通过实时监测模块对数据库模块与能源互联网管理模块进行24小时实时监测，监测各类数据的录入、用户查询的种类以及能源数据的匹配性，并将信息反馈给采集模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910955678.8A CN110659277A (zh) | 2019-10-09 | 2019-10-09 | 一种能源互联网数据采集方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910955678.8A CN110659277A (zh) | 2019-10-09 | 2019-10-09 | 一种能源互联网数据采集方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110659277A true CN110659277A (zh) | 2020-01-07 |
Family
ID=69040313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910955678.8A Withdrawn CN110659277A (zh) | 2019-10-09 | 2019-10-09 | 一种能源互联网数据采集方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110659277A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113377854A (zh) * | 2021-06-21 | 2021-09-10 | 国网宁夏电力有限公司电力科学研究院 | 一种基于能源大数据的数据整合系统 |
| CN114840776A (zh) * | 2022-07-04 | 2022-08-02 | 北京拓普丰联信息科技股份有限公司 | 一种数据发布源收录的方法、装置、电子设备及存储介质 |
-
2019
- 2019-10-09 CN CN201910955678.8A patent/CN110659277A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113377854A (zh) * | 2021-06-21 | 2021-09-10 | 国网宁夏电力有限公司电力科学研究院 | 一种基于能源大数据的数据整合系统 |
| CN114840776A (zh) * | 2022-07-04 | 2022-08-02 | 北京拓普丰联信息科技股份有限公司 | 一种数据发布源收录的方法、装置、电子设备及存储介质 |
| CN114840776B (zh) * | 2022-07-04 | 2022-09-20 | 北京拓普丰联信息科技股份有限公司 | 一种数据发布源收录的方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106779581A (zh) | 一种人力资源管理系统 | |
| CN110471995B (zh) | 一种跨领域信息共享交换数据模型建模方法 | |
| CN111090643B (zh) | 一种基于数据分析系统下的海量用电数据挖掘方法 | |
| CN110659277A (zh) | 一种能源互联网数据采集方法及装置 | |
| CN104112242A (zh) | 电力系统10kV母线电压合格率分析系统及方法 | |
| CN103064842A (zh) | 信息订阅处理装置和信息订阅处理方法 | |
| CN108959645A (zh) | 一种政策法规收集分析系统 | |
| CN104615734A (zh) | 一种社区管理服务大数据处理系统及其处理方法 | |
| CN106446084A (zh) | 一种互联网人物搜索信息整合分析方法 | |
| CN116361367A (zh) | 一种高效发布招聘信息的内容识别系统及方法 | |
| CN114218291A (zh) | 基于目标对象的画像生成方法、装置、设备及存储介质 | |
| CN106709050A (zh) | 一种环境法学案例储存查询系统 | |
| CN113010624B (zh) | 配电智能巡检系统 | |
| CN110751382A (zh) | 一种高效能源互联网的运行系统 | |
| CN102325143A (zh) | 一种基于云平台的信息收集存储和加密检索系统 | |
| CN105631583A (zh) | 一种电网省地一体化调度报表的数据采集处理方法 | |
| CN105677745A (zh) | 一种通用高效自助数据查询系统及实现方法 | |
| CN111340253A (zh) | 一种主网检修申请单的解析方法及系统 | |
| CN111292201A (zh) | 一种基于Apriori和RETE的电力通信网现场运维信息推送的方法 | |
| CN111221967A (zh) | 一种基于区块链架构的语言数据分类存储系统 | |
| CN113792111B (zh) | 一种基于分布式存储的非结构化数据管理系统及其方法 | |
| CN108280790A (zh) | 基于大数据分析的政策信息服务系统 | |
| CN111077861A (zh) | 一种智慧工厂的远程运维系统 | |
| CN107609016A (zh) | 基于表达式解析的电力交易数据准确性校验方法 | |
| CN110895541A (zh) | 一种Timing云数据统计智能化平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200107 |