CN104268178A - 应用于电力用户用电信息采集系统的电能量数据写库方法 - Google Patents
应用于电力用户用电信息采集系统的电能量数据写库方法 Download PDFInfo
- Publication number
- CN104268178A CN104268178A CN201410470459.8A CN201410470459A CN104268178A CN 104268178 A CN104268178 A CN 104268178A CN 201410470459 A CN201410470459 A CN 201410470459A CN 104268178 A CN104268178 A CN 104268178A
- Authority
- CN
- China
- Prior art keywords
- data
- electric energy
- database
- day
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000005611 electricity Effects 0.000 title abstract description 3
- 230000003203 everyday effect Effects 0.000 claims abstract description 20
- 238000005192 partition Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000013500 data storage Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000002354 daily effect Effects 0.000 abstract description 2
- 230000003247 decreasing effect Effects 0.000 abstract description 2
- 230000008014 freezing Effects 0.000 abstract 1
- 238000007710 freezing Methods 0.000 abstract 1
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003869 coulometry Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种应用于电力用户用电信息采集系统的电能量数据写库方法，该方法事先在数据库中构建一个按日进行分区，且主键索引为本地索引的计量点电能示值表。本发明通过采用分区存储技术将采集数据日冻结表码示值按日进行分区存储，在数据写库及抽取时按分区进行，可最小化操作数据集，有效降低了数据写库及抽取时间，从而提升数据写库效率。采用分步式缓存存储方法，将次日需要采集的计量点在每日空闲时段进行预存储，在进行数据采集时直接进行记录更新，减少了与数据库交互的次数，大大提高了数据写库效率。采用BATCH批处理技术，单线程可实现每秒2万条记录入库且支持多线程并发写入，大幅提升数据采集入库执行效率。
Description
技术领域
本发明涉及电能量数据存储技术领域，尤其涉及一种采用分步式缓存存储和批处理技术进行电力用户用电信息采集系统电能量数据的写库方法。
背景技术
依据国家电网公司全面建设用电信息采集系统的规划，2014年底各网省公司需实现城网用户“全采集、全覆盖”，随着各网省用电信息采集接入规模的不断扩大（部分省电力公司采集系统接入用户量已经达到千万级别，已进入海量级数据应用级别）及应用程度的不断加深，导致用户用电数据采集存储时间过长，对业务应用时效性影响也越来越大。
用电信息采集系统作为营销业务系统的数据支撑平台，每天需要定时将电能表上的数据采集回来并存储到数据库中，不仅如此而且还承担着电量分析、负荷分析、反窃电分析、线损分析、电能质量监测与可靠性的统计分析，为相关业务应用提供数据支撑；按照正常业务每天早8点需完成相关业务报表数据，排除终端采电能表时间和数据统计时间，留给采集系统的数据采集时间不足1小时，通过对数据采集流程耗时分析，其中数据写库耗时较长已经成为影响数据采集时效性的主要因素。主要体现在：当前采用的传统数据表将全口径用户的计量点电能示值全部存储在一个表中，随着时间的推移，表中数据量也会越来越大，查询数据的速度就会变慢；传统的数据写库方式为先插入后更新，处理每条记录需要与数据库交互两次，导致在数据采集时写库效率非常低，另外，传统数据存盘时每插入或更新一条记录，进行一次COMMIT（提交）操作，造成与数据库的交互相当频繁，进而导致整个写库时间耗时较长，这是导致数据采集时间过长的主要原因。 随着采集系统数据量的快速增长，当前的数据写库模式已经受到日益严峻挑战，因此需要一种高效的电能量写库方法满足用户数据时效性业务需求。
发明内容
为解决上述问题，本发明基于分步式缓存存储和批处理（BATCH）技术实现用电信息采集系统全口径电能量数据的存储，有效提高了数据存储效率。
为实现上述目的，本发明采用的技术方案如下：
一种应用于电力用户用电信息采集系统的电能量数据写库方法，结合采集系统数据带有数据采集时间标签以及数据采集按日进行的特点，需事先在数据库中构建一个按日进行分区，且主键索引为本地索引的计量点电能示值表。这样，每日采集回来的数据根据时间标签放入到指定分区中，由于每个分区都是单独的segment（占用的数据文件空间），虽然数据表中数据随时间推移呈线性增长，但进行数据查询或数据写入时可进行指定分区操作，因此，可有效缩小查询数据集，提高数据抽取及写库的效率。
该方法包括以下步骤：
步骤一、每日空闲时间数据预存储：在每日采集前的系统空闲时间将待采集计量点的标识和日期预先初始化到计量点电能示值表的指定分区中；计量点的标识和日期是表的主键，以此进行主键索引，找到相应的日期分区以及相应的计量点。在此采用分步式缓存存储，每日选择数据库空闲时间（20：00至24:00），先次日要采集的计量点记录初始化到该表中，这样在采集数据写库时可直接对该表中的记录进行更新，无需进行插入操作。而传统的写库方法是先对该记录进行插入操作，如果成功则处理下一条，如果失败则进行更新操作，处理每条记录需要与数据库交互两次。 本发明与传统写库方式相比，省去了插入步骤，只需与数据库交互一次，从而减少了与数据库交互的次数，大幅提高了数据写库效率。
步骤二、每日定时采集计量点电能示值数据并缓存：定时同步启动各待采集终端的计量点电能示值数据采集，将采集回的数据插入日期标签后以文件形式缓存到指定机器上，设定文件大小，超过设定值的文件作为历史文件维护在存储文件队列中。传统的数据采集及数据写库是在同一个线程中进行，由于海量采集系统内接入采集终端的数量至少在30万以上，且采用高并发进行数据采集（即30万台终端并发进行数据采集及数据存储），受数据库链接数量的限制，数据写库时间较长。本发明这种方式可将数据采集与数据写库分离，两步独立操作，提高写库效率。
步骤三、启动写库线程：在数据采集同时启动数据存盘线程，采用批处理方式对存储文件队列中的文件进行数据写库处理，将数据更新至对应日期的分区表中。由存盘线程进行统一写库管理，存盘线程可以单线程也可以是多线程。采用批处理方式进行写库，提升了写库的速度。而且，数据库中的数据按日期分区存储，便于后期数据抽取操作。
步骤一具体是在每日20：00-24:00期间初始化次日要采集的记录。由于每日的凌晨过后大量的数据采集任务开始进行数据采集，因此数据预存储需要在当日24:00之前,考虑到正常上班时间业务应用繁忙的特点，将晚20:00到24:00间确定为每日空闲时间。
优选的，所述的缓存文件大小设定为2M。由于是高并发进行数据采集（30万终端或者更多同时进行数据采集），如果设定文件大小较小则导致缓存文件过多，线程切换过于频繁；设定缓存文件大小较大则导致缓存文件较少，都达不到多线程写库的效果。经多次试验，综合考虑后，将缓存文件临界值设为2M。
为大幅提高写库速度，优选的，步骤三中启动多线程进行数据存盘。具体开启多少个存盘线程由待存储的缓存文件数量确定。由于每个存盘线程处理的数据文件不同，因此线程间的数据是相互独立的；但为了避免数据库链接数量突增，对数据存盘线程的最大数量限定为10个，每个存盘线程在进行数据写库时根据按日分区表和记录缓存特点将数据直接更新至指定日期分区中。
进一步，所述的批处理方式为“逐条更新、批量提交”方式，具体为：根据存储文件队列标志依次提取各文件，将文件中的记录逐条更新到数据库中，每更新一定量记录后进行一次提交操作。由于所有需要采集的记录都已经缓存到数据表中，因此只需要更新数据表，无需插入。
本发明的有益效果如下：
1、通过采用分区存储技术将采集数据日冻结表码示值按日进行分区存储，在数据写库及抽取时按分区进行，可最小化操作数据集，有效降低了数据写库及抽取时间，从而提升数据写库效率。
2、结合采集系统数据特点采用分步式缓存存储方法，将次日需要采集的计量点在每日空闲时段进行预存储，在进行数据采集时直接进行记录更新，减少了与数据库交互的次数，大大提高了数据写库效率。
3、采用BATCH批处理技术，单线程可实现每秒2万条记录入库且支持多线程并发写入，大幅提升数据采集入库执行效率，3000万用户从数据采集到数据入库时间控制在30分钟以内完成。
附图说明
图1是本发明的流程示意图。
具体实施方式
一种应用于电力用户用电信息采集系统的电能量数据写库方法，事先在数据库中创建计量点电能示值表，表按日期分区，并建立本地索引。
在日常采集时每日按以下步骤进行数据写库操作：
步骤一、在每日用电数据定时采集前的系统空闲时间将次日要采集计量点进行预存储处理，即在每日20：00至24:00间选择某一时间将各待采集计量点的标识（ID）和日期预先初始化到计量点电能示值表的指定日分区中。
步骤二、每日凌晨以后系统根据系统任务定时对待采集计量点表码示值进行采集，将采集回的数据插入日期标签后以文件形式缓存到指定机器上，单个文件大小设定为2M，超过2M的文件作为历史文件维护在存储文件队列中。
步骤三、在进行数据采集的同时启动数据存盘线程，数据存盘线程有多个，每个线程采用“逐条更新、批量提交”的批处理方式根据存储文件队列标志依次提取文件队列中的记录，将记录逐条更新到数据库指定分区表的指定分区中，每更新一定量记录后进行一次提交操作（建议每更新10000条记录提交一次，具体可根据机器性能进行调整）。
Claims (5)
1.一种应用于电力用户用电信息采集系统的电能量数据写库方法，其特征在于：事先在数据库中构建一个按日进行分区，且主键索引为本地索引的计量点电能示值表，该方法包括以下步骤：
步骤一、每日空闲时间数据预存储：在每日采集前的系统空闲时间将待采集计量点的标识和日期预先初始化到计量点电能示值表的指定分区中；
步骤二、每日定时采集计量点电能示值数据并缓存：定时同步启动各待采集终端的计量点电能示值数据采集，将采集回的数据插入日期标签后以文件形式缓存到指定机器上，设定文件大小，超过设定值的文件作为历史文件维护在存储文件队列中；
步骤三、启动写库线程：在数据采集同时启动数据存盘线程，采用批处理方式对存储文件队列中的文件进行数据写库处理，将数据更新至对应日期的分区表中。
2.根据权利要求1所述的应用于电力用户用电信息采集系统的电能量数据写库方法，其特征在于：步骤一具体是在每日20：00-24:00期间初始化次日要采集的记录。
3.根据权利要求1所述的应用于电力用户用电信息采集系统的电能量数据写库方法，其特征在于：所述的缓存文件大小设定为2M。
4.根据权利要求1所述的应用于电力用户用电信息采集系统的电能量数据写库方法，其特征在于：步骤三中启动多线程进行数据存盘。
5.根据权利要求1或4所述的应用于电力用户用电信息采集系统的电能量数据写库方法，其特征在于：所述的批处理方式为“逐条更新、批量提交”方式，具体为：根据存储文件队列标志依次提取各文件，将文件中的记录逐条更新到数据库中，每更新一定量记录后进行一次提交操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410470459.8A CN104268178A (zh) | 2014-09-16 | 2014-09-16 | 应用于电力用户用电信息采集系统的电能量数据写库方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410470459.8A CN104268178A (zh) | 2014-09-16 | 2014-09-16 | 应用于电力用户用电信息采集系统的电能量数据写库方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104268178A true CN104268178A (zh) | 2015-01-07 |
Family
ID=52159700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410470459.8A Pending CN104268178A (zh) | 2014-09-16 | 2014-09-16 | 应用于电力用户用电信息采集系统的电能量数据写库方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104268178A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778203A (zh) * | 2015-02-10 | 2015-07-15 | 武汉阿迪克电子股份有限公司 | 费控智能电能表中负荷记录分块索引存储及查询方法 |
| CN104932884A (zh) * | 2015-06-11 | 2015-09-23 | 努比亚技术有限公司 | 一种提高大数据统计闲时计算效率的方法及装置 |
| CN105468728A (zh) * | 2015-11-20 | 2016-04-06 | 北京先进数通信息技术股份公司 | 一种获取截面数据的方法和系统 |
| CN105652051A (zh) * | 2015-12-30 | 2016-06-08 | 深圳市科陆电子科技股份有限公司 | 一种电能表数据快速清零的方法 |
| CN107402939A (zh) * | 2016-05-20 | 2017-11-28 | 平安科技（深圳）有限公司 | 保单处理方法和装置 |
| CN107644382A (zh) * | 2016-07-22 | 2018-01-30 | 平安科技（深圳）有限公司 | 保单信息统计方法和装置 |
| CN107958010A (zh) * | 2016-10-18 | 2018-04-24 | 北京京东尚科信息技术有限公司 | 用于在线数据迁移的方法及系统 |
| CN109656937A (zh) * | 2018-12-05 | 2019-04-19 | 贵州电网有限责任公司 | 一种针对用电采集系统的分级缓存优化系统 |
| CN113127448A (zh) * | 2021-04-23 | 2021-07-16 | 深圳市酷开网络科技股份有限公司 | 一种地域维度表生成方法、装置、服务器及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003242211A (ja) * | 2002-02-15 | 2003-08-29 | Hitachi Ltd | 移動型電力貯蔵用二次電池システム及びその利用方法 |
| CN102509162A (zh) * | 2011-11-18 | 2012-06-20 | 深圳市科陆电子科技股份有限公司 | 一种居民智能用电管理方法和管理系统 |
| CN103514277A (zh) * | 2013-09-24 | 2014-01-15 | 国家电网公司 | 用电信息采集系统的任务并行处理方法 |
-
2014
- 2014-09-16 CN CN201410470459.8A patent/CN104268178A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003242211A (ja) * | 2002-02-15 | 2003-08-29 | Hitachi Ltd | 移動型電力貯蔵用二次電池システム及びその利用方法 |
| CN102509162A (zh) * | 2011-11-18 | 2012-06-20 | 深圳市科陆电子科技股份有限公司 | 一种居民智能用电管理方法和管理系统 |
| CN103514277A (zh) * | 2013-09-24 | 2014-01-15 | 国家电网公司 | 用电信息采集系统的任务并行处理方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778203B (zh) * | 2015-02-10 | 2017-12-15 | 武汉阿迪克电子股份有限公司 | 费控智能电能表中负荷记录分块索引存储及查询方法 |
| CN104778203A (zh) * | 2015-02-10 | 2015-07-15 | 武汉阿迪克电子股份有限公司 | 费控智能电能表中负荷记录分块索引存储及查询方法 |
| CN104932884A (zh) * | 2015-06-11 | 2015-09-23 | 努比亚技术有限公司 | 一种提高大数据统计闲时计算效率的方法及装置 |
| CN105468728B (zh) * | 2015-11-20 | 2019-03-19 | 北京先进数通信息技术股份公司 | 一种获取截面数据的方法和系统 |
| CN105468728A (zh) * | 2015-11-20 | 2016-04-06 | 北京先进数通信息技术股份公司 | 一种获取截面数据的方法和系统 |
| CN105652051A (zh) * | 2015-12-30 | 2016-06-08 | 深圳市科陆电子科技股份有限公司 | 一种电能表数据快速清零的方法 |
| CN107402939A (zh) * | 2016-05-20 | 2017-11-28 | 平安科技（深圳）有限公司 | 保单处理方法和装置 |
| CN107402939B (zh) * | 2016-05-20 | 2020-06-09 | 平安科技（深圳）有限公司 | 保单处理方法和装置 |
| CN107644382A (zh) * | 2016-07-22 | 2018-01-30 | 平安科技（深圳）有限公司 | 保单信息统计方法和装置 |
| CN107958010A (zh) * | 2016-10-18 | 2018-04-24 | 北京京东尚科信息技术有限公司 | 用于在线数据迁移的方法及系统 |
| CN107958010B (zh) * | 2016-10-18 | 2020-09-01 | 北京京东尚科信息技术有限公司 | 用于在线数据迁移的方法及系统 |
| CN109656937A (zh) * | 2018-12-05 | 2019-04-19 | 贵州电网有限责任公司 | 一种针对用电采集系统的分级缓存优化系统 |
| CN113127448A (zh) * | 2021-04-23 | 2021-07-16 | 深圳市酷开网络科技股份有限公司 | 一种地域维度表生成方法、装置、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104268178A (zh) | 应用于电力用户用电信息采集系统的电能量数据写库方法 | |
| CN103345518B (zh) | 基于数据块的自适应数据存储管理方法及系统 | |
| EP3456360B1 (en) | Device and method for tuning relational database | |
| CN102867071B (zh) | 一种网管海量历史数据管理方法 | |
| CN105069134A (zh) | 一种Oracle统计信息自动收集方法 | |
| CN103488684A (zh) | 基于缓存数据多线程处理的电力可靠性指标快速计算方法 | |
| CN104317800A (zh) | 一种海量智能用电数据混合存储系统及方法 | |
| CN102254024A (zh) | 海量数据处理系统及方法 | |
| CN105446893A (zh) | 数据存储方法及设备 | |
| CN103020204A (zh) | 一种对分布式顺序表进行多维区间查询的方法及其系统 | |
| CN103164490A (zh) | 一种不固定长度数据的高效存储实现方法和装置 | |
| CN110502327A (zh) | 基于Redis高并发延时任务处理的方法 | |
| CN103390045A (zh) | 一种用于监控系统的时间序列存储方法及装置 | |
| CN104572856A (zh) | 一种服务起源数据的融合存储方法 | |
| CN105808653A (zh) | 一种基于用户标签系统的数据处理方法及装置 | |
| CN105787058A (zh) | 一种用户标签系统及基于用户标签系统的数据推送系统 | |
| CN111343269B (zh) | 一种数据下载方法、装置、计算机设备和存储介质 | |
| CN103377292B (zh) | 数据库结果集缓存方法及设备 | |
| CN111061802B (zh) | 一种电力数据管理处理方法、装置及存储介质 | |
| CN104063468A (zh) | 一种数据报表自动生成及提取方法及装置 | |
| CN103077080B (zh) | 基于高性能平台的并行程序性能数据采集方法及装置 | |
| CN109471860B (zh) | 面向电动汽车充电网络大规模充电桩数据处理方法及装置 | |
| CN107562810A (zh) | 视频大数据分级存储方法 | |
| CN109325036A (zh) | 一种实现实时数据同步的系统及方法 | |
| CN110019131A (zh) | 一种复盘业务的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150107 |
|
| RJ01 | Rejection of invention patent application after publication |