CN104461385A - 一种端口流量自适应的多硬盘均衡存储方法 - Google Patents
一种端口流量自适应的多硬盘均衡存储方法 Download PDFInfo
- Publication number
- CN104461385A CN104461385A CN201410716490.5A CN201410716490A CN104461385A CN 104461385 A CN104461385 A CN 104461385A CN 201410716490 A CN201410716490 A CN 201410716490A CN 104461385 A CN104461385 A CN 104461385A
- Authority
- CN
- China
- Prior art keywords
- port
- storage
- hard disk
- data
- message data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种端口流量自适应的多硬盘均衡存储方法，包括以下步骤，首先由一组端口采集数据；然后将端口数据基于不同端口以及不同时间采用交替硬盘或分区存储端口报文数据的方式存储到一组硬盘或一组分区中；最后基于端口的数据流量采用不同的端口报文数据存储方式存储端口报文数据。本发明的方法解决了传统的报文数据硬盘存储的问题：1、基于不同的端口以及不同的时间，交替硬盘或分区存储端口报文数据，解决了硬盘或分区存储不均衡的问题；2、基于端口流量以及时间，自动划分存储文件大小，解决了端口流量正常或突增时文件存储不均匀的问题，提高了硬盘空间的使用效率，可以广泛应用在电力系统动态记录装置或者网络数据分析仪中。
Description
技术领域
本发明涉及电力技术领域，具体是涉及一种端口流量自适应的多硬盘均衡存储方法。
背景技术
在电力系统智能变电站中，网络报文记录及分析装置主要用于站控层、间隔层、过程层报文数据的采集、存储和分析。其中，对采集端口及存储规格都要有严格要求：以太网监听记录端口数不小于8以及报文连续记录时长不小于3天。
如果每个端口报文数据按照固定文件大小的存储方式，会出现端口流量大时，存储时间较短，不能完整反映一个完整事故全过程的问题；如果按照固定时间间隔方式存储文件，会出现报文文件过大或过小的问题，不方便使用分析工具分析；如果每个端口数据固定存储在某个硬盘或分区中，会造成流量大的端口数据存储的硬盘或分区很快写满，需要循环覆盖，而无流量或流量小的端口数据存储的硬盘或分区没有使用，或使用较少，进而导致了硬盘使用效率不高的问题。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种端口流量自适应的多硬盘均衡存储方法，解决了文件存储不均匀、硬盘或分区存储不均衡的问题。
技术方案：为实现上述目的，本发明的提出的一种端口流量自适应的多硬盘均衡存储方法，包括以下步骤，
（1）首先由一组网络端口进行数据采集；
（2）然后将网络端口采集的数据基于不同的网络端口和不同时间采用交替硬盘或分区存储端口报文数据的方式存储到一组硬盘或一组分区中；
（3）基于网络端口的数据流量采用不同的端口报文数据存储方式存储文件。
进一步地，所述步骤（2）包括以下步骤：
（2-1）将一组网络端口进行编号，编号规则为从自然数1开始按照自然数的顺序从小到大进行标号；
（2-2）同时将一组硬盘或一组分区进行编号，编号规则为从整数0开始按照自然数的顺序从小到大进行标号，硬盘或分区编号为（0,1,2，…，m），所述m是指自然数；
（2-3）对于奇数号网络端口，该奇数号网络端口报文数据在整点时刻存储的硬盘或分区的编号为整点时刻%（m+1）；对于偶数号网络端口，该偶数号网络端口报文数据在整点时刻存储的硬盘或分区的编号为（整点时刻+1）%（m+1）。
进一步地， 所述步骤（3）包括以下步骤：
（3-1）实时计算网络端口的数据流量；
（3-2）所述端口报文数据存储方式包括两种：按照固定时间间隔方式和按照固定文件大小方式；如果网络端口的数据流量正常，则按照固定时间间隔方式存储文件；如果网络端口的数据流量增大，则按照固定文件大小方式存储文件。
有益效果：本发明的方法解决了传统的报文数据硬盘存储的问题：1、基于不同的端口以及不同的时间，交替硬盘或分区存储端口报文数据，解决了硬盘或分区存储不均衡的问题；2、基于端口流量以及时间，自动划分存储文件大小，解决了端口流量正常或突增时文件存储不均匀的问题，提高了硬盘空间的使用效率，可以广泛应用在电力系统动态记录装置或者网络数据分析仪中。
附图说明
图1是端口流量自适应的多硬盘均衡存储方法步骤流程图。
具体实施方式
下面结合附图和实施例对本发明作更进一步的说明。
如图1所示，本发明的提出的一种端口流量自适应的多硬盘均衡存储方法，包括以下步骤，
（1）首先由一组网络端口采集数据；
（2）然后将网络端口数据基于不同网络端口以及不同时间采用交替硬盘或分区存储网络端口报文数据的方式存储到一组硬盘或一组分区中；所述步骤（2）包括以下步骤：将一组网络端口进行编号，编号规则为从自然数1开始按照自然数的顺序从小到大进行标号，网络端口编号为（1，2，…，n）；
同时将一组硬盘或一组分区进行编号，编号规则为从整数0开始按照自然数的顺序从小到大进行标号，硬盘或分区编号为（0,1,2，…，m），所述m是指自然数；
对于奇数号网络端口，该奇数号网络端口报文数据在整点时刻存储的硬盘或分区的编号为整点时刻%（m+1）；对于偶数号网络端口，该偶数号网络端口报文数据在整点时刻存储的硬盘或分区的编号为（整点时刻+1）%（m+1）。
在本发明实施例中，对每个采集数据的网络端口进行奇偶划分，同时对存储的硬盘或分区也进行编号为0,1,2,3，则m的取值为3，即由4块硬盘或分区存储数据，再按照整点时刻分别存储网络端口数据，则24个小时的端口数据存储情况如下表1所示：
表1
（3）基于网络端口的数据流量采用不同的网络端口报文数据存储方式存储网络端口报文数据。
所述步骤（3）包括以下步骤：实时计算网络端口的数据流量；所述网络端口报文数据存储方式包括两种：按照固定时间间隔方式和按照固定文件大小方式；如果网络端口的数据流量正常，则按照固定时间间隔方式存储网络端口报文数据；如果网络端口的数据流量增大，则按照固定文件大小方式存储网络端口报文数据，所述固定时间间隔为不超过1h，所述固定文件大小为不小于20MB，在本发明实施例中，在网络端口的数据流量正常时，每间隔1个小时存储为1个文件，在网络端口的数据流量增大时，文件大于20 MB时存储一次。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种端口流量自适应的多硬盘均衡存储方法，其特征在于：包括以下步骤，
（1）首先由一组网络端口进行数据采集；
（2）然后将网络端口采集的数据基于不同的网络端口和不同时间采用交替硬盘或分区的方式存储到一组硬盘或一组分区中；
（3）基于网络端口的数据流量采用不同的端口报文数据存储方式存储文件。
2.根据权利要求1所述的端口流量自适应的多硬盘均衡存储方法，其特征在于：所述步骤（2）包括以下步骤：
（2-1）将一组网络端口进行编号，编号规则为从自然数1开始按照自然数的顺序从小到大进行标号；
（2-2）同时将一组硬盘或一组分区进行编号，编号规则为从整数0开始按照自然数的顺序从小到大进行标号，硬盘或分区编号为（0,1,2，…，m），所述m是指自然数；
（2-3）对于奇数号网络端口，该奇数号网络端口报文数据在整点时刻存储的硬盘或分区的编号为整点时刻%（m+1）；对于偶数号网络端口，该偶数号网络端口报文数据在整点时刻存储的硬盘或分区的编号为（整点时刻+1）%（m+1）。
3.根据权利要求1所述的端口流量自适应的多硬盘均衡存储方法，其特征在于：所述步骤（3）包括以下步骤：
（3-1）实时计算网络端口的数据流量；
（3-2）所述端口报文数据存储方式包括两种：按照固定时间间隔方式和按照固定文件大小方式；如果网络端口的数据流量正常，则按照固定时间间隔方式存储文件；如果网络端口的数据流量增大，则按照固定文件大小方式存储文件。
4.根据权利要求3所述的端口流量自适应的多硬盘均衡存储方法，其特征在于：所述步骤（3-2）中所述固定时间间隔为不超过1h，所述固定文件大小为不小于20MB。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410716490.5A CN104461385A (zh) | 2014-12-02 | 2014-12-02 | 一种端口流量自适应的多硬盘均衡存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410716490.5A CN104461385A (zh) | 2014-12-02 | 2014-12-02 | 一种端口流量自适应的多硬盘均衡存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104461385A true CN104461385A (zh) | 2015-03-25 |
Family
ID=52907514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410716490.5A Pending CN104461385A (zh) | 2014-12-02 | 2014-12-02 | 一种端口流量自适应的多硬盘均衡存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104461385A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250331A (zh) * | 2016-08-04 | 2016-12-21 | 深圳市泽云科技有限公司 | 一种针对sata端口复用优化的方法 |
| CN107315542A (zh) * | 2017-06-29 | 2017-11-03 | 郑州云海信息技术有限公司 | 一种jbod级联系统 |
| CN109450656A (zh) * | 2018-12-30 | 2019-03-08 | 北京世纪互联宽带数据中心有限公司 | 一种计费流量图生成方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6526478B1 (en) * | 2000-02-02 | 2003-02-25 | Lsi Logic Corporation | Raid LUN creation using proportional disk mapping |
| CN1529437A (zh) * | 2003-10-17 | 2004-09-15 | 中兴通讯股份有限公司 | Wcdma系统无线网络控制层的流量控制方法 |
| US20080052457A1 (en) * | 2006-08-23 | 2008-02-28 | Lsi Logic Corporation | Methods and apparatus for improved raid 1 mirror re-synchronization |
| CN102591751A (zh) * | 2012-01-05 | 2012-07-18 | 中国电子科技集团公司第五十二研究所 | 一种存储系统的自主热备保护方法 |
| CN102664789A (zh) * | 2012-04-09 | 2012-09-12 | 北京百度网讯科技有限公司 | 一种大规模数据的处理方法和系统 |
| CN102937956A (zh) * | 2012-04-25 | 2013-02-20 | 广东电网公司电力科学研究院 | 一种智能变电站中实时报文的存储方法及其装置 |
| CN103327094A (zh) * | 2013-06-19 | 2013-09-25 | 成都市欧冠信息技术有限责任公司 | 数据分布式存储方法与系统 |
-
2014
- 2014-12-02 CN CN201410716490.5A patent/CN104461385A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6526478B1 (en) * | 2000-02-02 | 2003-02-25 | Lsi Logic Corporation | Raid LUN creation using proportional disk mapping |
| CN1529437A (zh) * | 2003-10-17 | 2004-09-15 | 中兴通讯股份有限公司 | Wcdma系统无线网络控制层的流量控制方法 |
| US20080052457A1 (en) * | 2006-08-23 | 2008-02-28 | Lsi Logic Corporation | Methods and apparatus for improved raid 1 mirror re-synchronization |
| CN102591751A (zh) * | 2012-01-05 | 2012-07-18 | 中国电子科技集团公司第五十二研究所 | 一种存储系统的自主热备保护方法 |
| CN102664789A (zh) * | 2012-04-09 | 2012-09-12 | 北京百度网讯科技有限公司 | 一种大规模数据的处理方法和系统 |
| CN102937956A (zh) * | 2012-04-25 | 2013-02-20 | 广东电网公司电力科学研究院 | 一种智能变电站中实时报文的存储方法及其装置 |
| CN103327094A (zh) * | 2013-06-19 | 2013-09-25 | 成都市欧冠信息技术有限责任公司 | 数据分布式存储方法与系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250331A (zh) * | 2016-08-04 | 2016-12-21 | 深圳市泽云科技有限公司 | 一种针对sata端口复用优化的方法 |
| CN106250331B (zh) * | 2016-08-04 | 2019-08-13 | 深圳市泽云科技有限公司 | 一种针对sata端口复用优化的方法 |
| CN107315542A (zh) * | 2017-06-29 | 2017-11-03 | 郑州云海信息技术有限公司 | 一种jbod级联系统 |
| CN109450656A (zh) * | 2018-12-30 | 2019-03-08 | 北京世纪互联宽带数据中心有限公司 | 一种计费流量图生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104407879B (zh) | 一种电网时序大数据并行加载方法 | |
| CN106033324B (zh) | 一种数据存储的方法和装置 | |
| CN105407494A (zh) | 网络扩容方法及装置 | |
| CN105007294B (zh) | 输变电设备状态监测大数据快速接收和分发系统 | |
| CN104461385A (zh) | 一种端口流量自适应的多硬盘均衡存储方法 | |
| CN103019953A (zh) | 一种元数据的构建系统及其方法 | |
| CN102982122A (zh) | 一种适用于海量存储系统的重复数据删除方法 | |
| CN103259737B (zh) | 一种并行存储高速网络流量的快速定位方法 | |
| CN105183371A (zh) | 基于迁移均衡策略的用电信息分布式文件存储方法与装置 | |
| CN107220348A (zh) | 一种基于Flume与Alluxio的数据收集方法 | |
| CN102937956A (zh) | 一种智能变电站中实时报文的存储方法及其装置 | |
| CN103530335B (zh) | 电力计量采集系统的入库操作方法及装置 | |
| CN104022913A (zh) | 用于数据集群的测试方法和装置 | |
| CN109215326A (zh) | 一种并行抄表方法和装置 | |
| CN105528053A (zh) | 分布式系统的管理方法和装置 | |
| CN102521046B (zh) | 服务器及其工作方法 | |
| CN109379401A (zh) | 基于Kafka的原始流量存储装置 | |
| CN104539895A (zh) | 一种视频分层存储系统及处理方法 | |
| CN104021100A (zh) | 一种单片机串口接收数据的处理方法 | |
| CN104660686A (zh) | 一种虚拟用户迁移方法及装置 | |
| CN105117177A (zh) | 一种基于单硬盘多分区的大数据管理方法 | |
| CN202795584U (zh) | 机柜级联式多功能证件智能存取管理系统 | |
| CN202424581U (zh) | 一种基于高速海量数据存储技术的光伏电站监控系统 | |
| CN203689112U (zh) | 一种集中控制系统 | |
| CN206077569U (zh) | 一种网络硬盘录像机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Zhaoyun Inventor after: Luan Qingwu Inventor after: Pang Zhijun Inventor after: Yue Wei Inventor after: Guo Jianghong Inventor after: Gu Yuhong Inventor after: Chen Ji Inventor after: Qiu Yutao Inventor before: Luan Qingwu Inventor before: Zhang Zhaoyun Inventor before: Pang Zhijun Inventor before: Yue Wei Inventor before: Guo Jianghong Inventor before: Gu Yuhong Inventor before: Chen Ji Inventor before: Xiong Jian |
|
| COR | Change of bibliographic data | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170125 Address after: High road high tech Zone of Nanjing City, Jiangsu Province, No. 20 210061 Applicant after: NARI Technology Development Co., Ltd. Applicant after: State Grid Corporation of China Applicant after: State Grid Zhejiang Electric Power Company Address before: High road high tech Zone of Nanjing City, Jiangsu Province, No. 20 210061 Applicant before: NARI Technology Development Co., Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150325 |