CN111026335A - 一种优化存储性能提升硬盘兼容性的方法 - Google Patents

一种优化存储性能提升硬盘兼容性的方法 Download PDF

Info

Publication number
CN111026335A
CN111026335A CN201911275613.5A CN201911275613A CN111026335A CN 111026335 A CN111026335 A CN 111026335A CN 201911275613 A CN201911275613 A CN 201911275613A CN 111026335 A CN111026335 A CN 111026335A
Authority
CN
China
Prior art keywords
write
raid
read
setting
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911275613.5A
Other languages
English (en)
Inventor
李森
肖萌璐
王健
陈东亮
阚积伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiandy Technologies Co Ltd
Original Assignee
Tiandy Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tiandy Technologies Co Ltd filed Critical Tiandy Technologies Co Ltd
Priority to CN201911275613.5A priority Critical patent/CN111026335A/zh
Publication of CN111026335A publication Critical patent/CN111026335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Abstract

本发明提供了一种优化存储性能提升硬盘兼容性的方法，包括以下步骤：A.启动操作系统，并设置磁盘性能最优；B.进行分区配置；C.设置最优读写配置。本发明有益效果：通过优化IO读写性能，对磁盘读写更加合理地使用，达到兼容更多型号磁盘的效果，引入更多系列的磁盘应用到安防视频监控领域中；通过提升存储性能与兼容更多类型磁盘，达到节约存储成本的效果。

Description

一种优化存储性能提升硬盘兼容性的方法
技术领域
本发明属于硬盘兼容性提升技术领域，尤其是涉及一种优化存储性能提升硬盘兼容性的方法。
背景技术
在安防视频监控领域，录像存储是整个系统中最重要的部分，随着科技的发展，越来越多的磁盘型号进入市场。不同系列的磁盘产品应用于不同场景，某些系列的磁盘并不完全适合当前视频监控产品使用。
发明内容
有鉴于此，本发明旨在提出一种优化存储性能提升硬盘兼容性的方法，以解决上述问题的不足之处。
为达到上述目的，本发明的技术方案是这样实现的：
一种优化存储性能提升硬盘兼容性的方法，包括以下步骤：
A.启动操作系统，并设置磁盘性能最优；
B.进行分区配置；
C.设置最优读写配置。
进一步的，所述步骤A中，操作系统启动，设置link_power_management_policy为max_performance，并根据磁盘特性，设置NCQ的队列长度；存储视频文件则chunk适当调大，并根据业务类型设置具体的IO调度模式noop、deadline或者cfq；
进一步的，当处于RAID应用场景时，所述步骤B中，首先配置RAID，并根据实际需要设置chunk大小、磁盘数量、系统IO调度模式；然后对RAID进行分区配置，根据业务需求进行分区设置，分别设置为成对的大小分区，每对分区都划分为小分区在前，大分区在后，分别用于存储索引日志和数据；最后根据RAID进行分组存储配置，按照每个RAID一个分组，同一个RAID的所有分区属于同一个分组中。
进一步的，所述步骤C中，根据创建RAID的磁盘数量，保证每次写入数据的buffer为RAID最优。
进一步的，所述步骤C中，结合RAID配置的chunk大小，动态设置写入数据时，使用的buffer长度，保证每次写入RAID中为写满整数倍个stripe，使用整条写(Full-stripeWrite)，避免重构写(Reconstruct Write)和读改写(Read-Modify Write)，达到最优RAID数据写入。
进一步的，当处于单磁盘应用场景时，所述步骤B根据业务需求进行分区设置，分别设置为成对的大小分区，每对分区都划分为小分区在前，大分区在后，分别用于存储索引日志和数据；
进一步的，所述步骤C根据不同系列磁盘读写性能表现设置最优读写配置。通过不同型号磁盘对不同大小读写缓存的性能表现，动态设置设置写缓存大小，并且尽量减少不必要的读写操作，适当减少读写次数。
相对于现有技术，本发明所述的优化存储性能提升硬盘兼容性的方法具有以下优势：
本发明所述的优化存储性能提升硬盘兼容性的方法通过优化IO读写性能，对磁盘读写更加合理地使用，达到兼容更多型号磁盘的效果，引入更多系列的磁盘应用到安防视频监控领域中；通过提升存储性能与兼容更多类型磁盘，达到节约存储成本的效果；将磁盘性能最大化，能够提升存储带宽，能够存储更多视频监控设备数据，能够节省存储设备数量；数据的分类与分离，能够减少磁盘寻道时间，提升读写速度，达到更加流畅的用户体验效果；且自适应磁盘，能够兼容更多型号磁盘，并根据不同型号磁盘，使存储性能达到最优，使用成本更低，推广应用范围更广。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的优化存储性能提升硬盘兼容性的方法流程图；
图2为本发明实施例所述的优化存储性能提升硬盘兼容性的方法处于RAID应用场景时的流程图；
图3为本发明实施例所述的优化存储性能提升硬盘兼容性的方法处于单磁盘应用场景时的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，一种优化存储性能提升硬盘兼容性的方法，包括以下步骤：
A.启动操作系统，并设置磁盘性能最优；
B.进行分区配置；
C.设置最优读写配置。
所述步骤A中，操作系统启动，设置link_power_management_policy为max_performance，并根据磁盘特性，设置NCQ的队列长度；存储视频文件则chunk适当调大，并根据业务类型设置具体的IO调度模式noop、deadline或者cfq；
如图2所示，当处于RAID应用场景时，所述步骤B中，首先配置RAID，并根据实际需要设置chunk大小、磁盘数量、系统IO调度模式；然后对RAID进行分区配置，根据业务需求进行分区设置，分别设置为成对的大小分区，每对分区都划分为小分区在前，大分区在后，分别用于存储索引日志和数据；最后根据RAID进行分组存储配置，按照每个RAID一个分组，同一个RAID的所有分区属于同一个分组中；所述步骤C中，根据创建RAID的磁盘数量，保证每次写入数据的buffer为RAID最优；结合RAID配置的chunk大小，动态设置写入数据时，使用的buffer长度，保证每次写入RAID中为写满整数倍个stripe，使用整条写(Full-stripeWrite)，避免重构写(Reconstruct Write)和读改写(Read-Modify Write)，达到最优RAID数据写入。
如图3所示，当处于单磁盘应用场景时，所述步骤B根据业务需求进行分区设置，分别设置为成对的大小分区，每对分区都划分为小分区在前，大分区在后，分别用于存储索引日志和数据；所述步骤C根据不同系列磁盘读写性能表现设置最优读写配置。通过不同型号磁盘对不同大小读写缓存的性能表现，动态设置设置写缓存大小，并且尽量减少不必要的读写操作，适当减少读写次数。
本实施例的有益效果在于：
进行磁盘性能最大化：通过调整系统配置，使磁盘能够实现最大性能发挥。具体为设置系统max_performance,结合业务流程与磁盘本身特性，设置适当的写缓存空间、IO调度模式、读写配比等；
进行数据分类与分离：根据索引数据、日志数据与音视频数据的分类，进行分离分区存储，保证同一类数据存在在同一段固定区域，减少寻道时间，提高读写性能。同时根据访问热度，将访问频繁的数据放置于分区前部，利用磁盘外道寻道、读写速度快的特性提升读写速度；
自适应磁盘：结合不同系列磁盘读写存储特殊，自适应磁盘读写。例如SMR盘首先需要结合磁盘特性，减少随机写业务，优先使用连续写，减少读写并发自适应磁盘特性，提升读写性能表现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种优化存储性能提升硬盘兼容性的方法，其特征在于，包括以下步骤：
A.启动操作系统，并设置磁盘性能最优；
B.进行分区配置；
C.设置最优读写配置。
2.根据权利要求1所述的优化存储性能提升硬盘兼容性的方法，其特征在于：所述步骤A中，操作系统启动，设置link_power_management_policy为max_performance，并根据磁盘特性，设置NCQ的队列长度。
3.根据权利要求4所述的优化存储性能提升硬盘兼容性的方法，其特征在于：当处于RAID应用场景时，所述步骤B中，首先配置RAID，并根据实际需要设置chunk大小、磁盘数量、系统IO调度模式；然后对RAID进行分区配置，根据业务需求进行分区设置，分别设置为成对的大小分区，每对分区都划分为小分区在前，大分区在后，分别用于存储索引日志和数据；最后根据RAID进行分组存储配置，按照每个RAID一个分组，同一个RAID的所有分区属于同一个分组中。
4.根据权利要求3所述的优化存储性能提升硬盘兼容性的方法，其特征在于：所述步骤C中，根据创建RAID的磁盘数量，保证每次写入数据的buffer为RAID最优。
5.根据权利要求4所述的优化存储性能提升硬盘兼容性的方法，其特征在于：所述步骤C中结合RAID配置的chunk大小，动态设置写入数据时，使用的buffer长度保证每次写入RAID中为写满整数倍个stripe，使用整条写、避免重构写和读改写，达到最优RAID数据写入。
6.根据权利要求1所述的优化存储性能提升硬盘兼容性的方法，其特征在于：当处于单磁盘应用场景时，所述步骤B根据业务需求进行分区设置，分别设置为成对的大小分区，每对分区都划分为小分区在前，大分区在后，分别用于存储索引日志和数据。
7.根据权利要求6所述的优化存储性能提升硬盘兼容性的方法，其特征在于：所述步骤C根据不同系列磁盘读写性能表现设置最优读写配置，通过不同型号磁盘对不同大小读写缓存的性能表现，动态设置设置写缓存大小，并且尽量减少不必要的读写操作，适当减少读写次数。
CN201911275613.5A 2019-12-12 2019-12-12 一种优化存储性能提升硬盘兼容性的方法 Pending CN111026335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911275613.5A CN111026335A (zh) 2019-12-12 2019-12-12 一种优化存储性能提升硬盘兼容性的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911275613.5A CN111026335A (zh) 2019-12-12 2019-12-12 一种优化存储性能提升硬盘兼容性的方法

Publications (1)

Publication Number Publication Date
CN111026335A true CN111026335A (zh) 2020-04-17

Family

ID=70206394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911275613.5A Pending CN111026335A (zh) 2019-12-12 2019-12-12 一种优化存储性能提升硬盘兼容性的方法

Country Status (1)

Country Link
CN (1) CN111026335A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020091903A1 (en) * 2001-01-09 2002-07-11 Kabushiki Kaisha Toshiba Disk control system and method
CN102063386A (zh) * 2010-12-17 2011-05-18 曙光信息产业(北京)有限公司 一种单载体多目标的缓存系统的缓存管理方法
CN102226892A (zh) * 2011-05-20 2011-10-26 杭州华三通信技术有限公司 一种磁盘容错处理方法及设备
CN103902474A (zh) * 2014-04-11 2014-07-02 华中科技大学 一种支持固态盘缓存动态分配的混合存储系统和方法
CN104063184A (zh) * 2013-03-19 2014-09-24 财团法人工业技术研究院 磁盘记录方法及其非易失性存储媒体与电子装置
US20160364268A1 (en) * 2014-06-26 2016-12-15 Hitachi, Ltd. Computer system, management computer, and management method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020091903A1 (en) * 2001-01-09 2002-07-11 Kabushiki Kaisha Toshiba Disk control system and method
CN102063386A (zh) * 2010-12-17 2011-05-18 曙光信息产业(北京)有限公司 一种单载体多目标的缓存系统的缓存管理方法
CN102226892A (zh) * 2011-05-20 2011-10-26 杭州华三通信技术有限公司 一种磁盘容错处理方法及设备
CN104063184A (zh) * 2013-03-19 2014-09-24 财团法人工业技术研究院 磁盘记录方法及其非易失性存储媒体与电子装置
CN103902474A (zh) * 2014-04-11 2014-07-02 华中科技大学 一种支持固态盘缓存动态分配的混合存储系统和方法
US20160364268A1 (en) * 2014-06-26 2016-12-15 Hitachi, Ltd. Computer system, management computer, and management method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋戈: "RAID后台一致性初始化技术的研究与实现" *

Similar Documents

Publication Publication Date Title
US9747318B2 (en) Retrieving data in a storage system using thin provisioning
KR20190018656A (ko) 저장 디바이스 상의 저장 영역들을 관리하기 위한 방법, 컴퓨터-판독가능 저장 매체 및 저장 제어기 모듈
US8244965B2 (en) Control method for logical strips based on multi-channel solid-state non-volatile storage device
CN105589812B (zh) 磁盘碎片整理方法、装置及主机
US5987479A (en) Large block allocation for disk-based file systems
US10108343B2 (en) Maximize SMR drive capacity
CN104765575A (zh) 信息存储处理方法
US8856442B2 (en) Method for volume management
CN112684975B (zh) 一种数据存储方法及装置
CN108089825B (zh) 一种基于分布式集群的存储系统
US9875030B2 (en) Media write operation
CN112954244A (zh) 监控录像的存储实现方法、装置、设备及存储介质
CN103985393A (zh) 一种多光盘数据并行管理方法及装置
CN109375868B (zh) 一种数据存储方法、调度装置、系统、设备及存储介质
JP2016500459A (ja) 監視レコード管理方法及びデバイス
WO2014153931A1 (zh) 文件存储方法、装置、访问客户端及元数据服务器系统
CN117251275B (zh) 多应用异步i/o请求的调度方法及系统、设备及介质
KR20060120674A (ko) 정보 기록 매체의 데이터 처리 장치 및 데이터 기록 방법
CN104111894A (zh) 提升多分区顺序读写性能的方法及其系统
CN111026335A (zh) 一种优化存储性能提升硬盘兼容性的方法
CN105204787B (zh) 一种pcie ssd阵列的数据读方法、系统及读写方法
US9594714B2 (en) Multi-channel storage system supporting a multi-command protocol
CN112347044A (zh) 一种基于spdk的对象存储优化方法
CN101055509B (zh) 高效流媒体数据读写系统
CN102779017A (zh) 一种固态盘中数据缓存区的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination