CN111427513B - 一种提高高速信号采集系统存储性能的方法 - Google Patents
一种提高高速信号采集系统存储性能的方法 Download PDFInfo
- Publication number
- CN111427513B CN111427513B CN202010218936.7A CN202010218936A CN111427513B CN 111427513 B CN111427513 B CN 111427513B CN 202010218936 A CN202010218936 A CN 202010218936A CN 111427513 B CN111427513 B CN 111427513B
- Authority
- CN
- China
- Prior art keywords
- file
- data
- writing
- executing
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
Abstract
本发明公开了一种提高高速信号采集系统存储性能的方法，通过提供一种高速信号采集文件系统，在高速信号采集系统对文件进行写操作(即存储数据)时，采用一次性为该文件分配若干个连续的簇空间(大于待写入数据的长度)用于数据记录，优点在于减少频繁为所写文件分配空间导致对存储盘的读写访问次数增加造成对高速信号存储不及时而丢失采集的数据，降低系统性能。本发明可以有效地减少因为频繁分配文件数据区空间造成对存储盘的随机读写操作，可使文件的数据尽可能存放在连续的数据空间中，有效提高系统的性能，进一步地延长存储盘的使用寿命。
Description
技术领域
本发明属于高速信号采集系统领域，涉及文件系统存储方面，具体涉及一种提高高速信号采集系统存储性能的方法。
背景技术
随着信息技术的发展，高速信号采集系统的应用越来越广泛，特别是在雷达、视频、图像等高速信号采集领域。为适应高速信号采集系统的高采样精度、高采样率的应用需求，保证高速信号数据能够被及时收集保存，需使用闪存介质来存储采集的数据。闪存介质在写之前必须先将里面的数据擦除后才能写入，具有一定的擦写寿命，当擦写次数接近或超过最大擦写次数时，就会被损坏不能再被使用。同时，高速信号采集系统需要长时间持续不间断的采样与存储，这对存储介质的读写性能和寿命提出更高的要求。而高速信号采集系统需要将采集的数据组织成文件进行保存方便管理和处理，因此，在高速信号采集系统中设计文件系统时应考虑到读写性能和寿命方面的因素。
发明内容
针对高速信号采集系统对存储介质的大容量、高读写速度的需求，为解决现有技术的不足，本发明通过设计用于高速信号采集系统的文件系统，提供了一种提高高速信号采集系统存储性能的方法。该文件系统可减少由于频繁为大文件分配数据存储空间时产生的对存储介质擦写次数增加缩短使用寿命，进一步地提高存储性能。采用的技术方案如下：
文件系统主要由文件系统信息表、目录项信息、簇分配表、数据区几个部分组成。文件系统信息表用于存放文件系统相关的数据信息，如每簇扇区数、簇分配表的起始位置、簇分配表大小、目录项信息的起始位置、目录项信息所占扇区数、数据区起始位置等信息。目录项信息用于记录每个文件的起始簇号、文件名、文件长度、文件创建时间、文件连续标志等信息。簇分配表用于描述每个文件所占簇之间的前后连接关系。数据区用于存放采集记录的数据。
在高速信号采集系统中，对文件的操作主要包括打开文件(包括创建文件)、读文件(即文件导出)、写文件(存储采集数据)、关闭文件、删除文件。
打开文件流程具体步骤如下：
1.通过文件路径从根目录开始逐层查找目录项信息；
2.如果没有找到文件路径对应的目录项信息，则创建目录项信息(新建文件)放入缓冲区；
3.如果找到了指定文件路径对应的目录项信息，则获取目录项信息放入缓冲区；
4.从盘中读取簇分配信息，放入缓存区中。
一次写文件操作流程具体步骤如下：
1.判断待写入盘中的数据长度是否大于0，如果是，执行步骤2；如果否，结束本次写操作；
2.判断本次写操作是否为对该文件的第一次写操作，如果是，执行步骤3；如果否，执行步骤4；
3.在缓存区的簇分配表中一次性为该文件分配若干个连续的簇空间(大于待写入数据的长度)用于数据记录；
本步骤的优点在于避免频繁分配空间造成对存储盘的随机读写操作，降低性能。
4.判断剩余已分配的簇空间是否大于待写入的数据长度，如果否，执行步骤5；如果是，执行步骤7；
5.将缓存区中的簇分配信息更新写入到盘里；
6.将缓冲区中的目录项信息更新到盘中，执行步骤3。
7.将采集的数据写入到分配好的空间中；
8.更新缓冲区目录项中的起始簇号(只在第一次写操作时更新)、连续标志、文件大小等信息，本次写操作结束。
如果删除盘中的文件，会导致盘内空间不连续。当盘内数据区顺序写满后，会从头查找空闲的区域(被删除文件释放出的数据区所在位置)，存储新文件的数据。如图3所示，具体过程如下：
1.盘内先存储两个文件f1和f2；
2.删除文件f1，数据区中原来文件f1占用的空间被释放出来；
3.继续存储3个文件，分别名为f3、f4、f5；
4.删除文件f3，数据区中原来文件f3占用的空间被释放出来；
5.存储文件f6，因为存储文件f5后，数据区末尾剩余小部分的空间，文件f6占满该部分空间后还需继续存储更多的数据，所以需从数据区的头部重新查找其他空闲的空间存储数据，所以文件f6的数据在数据区中的分布区域为f6_1+f6_2；
6.存储文件f7，存储完文件f6后，从f6_2数据段到f2之间有一段空闲的空间，文件f7占满该空间后，需继续存储更多的数据，所以需向后继续查找空闲的空间存储数据，所以文件f7的数据在数据区中的分布区域为f7_1+f7_2；
伴随文件数据的存储和文件删除的过程，存储在盘内的大文件的分散情况会越来越明显，所以一次读文件操作的流程具体步骤如下：
1.判断读取的长度N是否大于0，如果是，执行步骤2；如果否，结束本次读操作；
2.判断待读取的文件区域是否为连续的，如果是，执行步骤3；如果否，执行步骤4；
3.从待读取的起始位置，直接读取(N+M-1)/M个扇区数据，其中M表示每扇区大小为M字节；
4.根据待读取文件数据区域的不连续段数，分段读取(N+M-1)/M个扇区的数据；
关闭文件操作流程具体步骤如下：
1.判断文件是否被修改过，如果是，执行步骤2；如果否，执行步骤5；
2.将最后访问时间和最后修改时间、文件长度等信息更新到缓存区的目录项信息中并写入盘中；
3.释放出为该文件分配了但未使用的多余簇空间，刷新缓冲区中的簇分配信息表并写入盘中；
4.将簇分配信息表更新写入盘中；
5.释放缓存区中目录项信息空间，结束本次操作；
删除文件操作流程具体步骤如下：
1.通过文件路径从根目录开始逐层查找目录项信息，如果找到了，执行步骤2，如果未找到，结束本次操作；
2.则将该文件的目录项标记为无效；
3.更新簇分配表，释放该文件所占数据区中的簇。
要求保护的技术方案如下：
一种提高高速信号采集系统存储性能的方法，在高速信号采集系统中，对文件的操作包括写文件即存储采集数据、关闭文件，写文件操作流程包括如下步骤：
(1)判断待写入盘中的数据长度是否大于0，如果是，执行步骤(2)；如果否，结束本次写操作；
(2)判断本次写操作是否为对该文件的第一次写操作，如果是，执行步骤(3)；如果否，执行步骤(4)；
(3)在缓存区的簇分配表中一次性为该文件分配若干个连续的簇空间(大于待写入数据的长度)用于数据记录；
(4)判断剩余已分配的簇空间是否大于待写入的数据长度，如果否，执行步骤(5)；如果是，执行步骤(7)；
(5)将缓存区中的簇分配信息更新写入到盘里；
(6)将缓冲区中的目录项信息更新到盘中，执行步骤(3)；
(7)将采集的数据写入到分配好的空间中；
(8)更新缓冲区目录项中的起始簇号(只在第一次写操作时更新)、连续标志、文件大小信息，本次写操作结束；
关闭文件操作流程包括如下步骤：
(1)判断文件是否被修改过，如果是，执行步骤(2)；如果否，执行步骤(5)；
(2)将最后访问时间和最后修改时间、文件长度信息更新到缓存区的目录项信息中并写入盘中；
(3)释放出为该文件分配了但未使用的多余簇空间，刷新缓冲区中的簇分配信息表并写入盘中；
(4)将簇分配信息表更新写入盘中；
(5)释放缓存区中目录项信息空间，结束本次操作。
本发明的关键点是在存储数据(即文件写操作)时，采用一次性为该文件分配若干个连续的簇空间(大于待写入数据的长度)用于数据记录，优点在于减少频繁为所写文件分配空间导致对存储盘的读写访问次数增加造成对高速信号存储不及时而丢失采集的数据，降低系统性能。
本发明的有益效果，对于高速信号采集系统，由于高数据速率，每次写入的数据量较大，本发明实施例提供的采取一次性分配若干个连续的簇空间，可以有效地减少因为频繁分配文件数据区空间造成对存储盘的随机读写操作，可使文件的数据尽可能存放在连续的数据空间中，有效提高系统的性能。进一步地延长存储盘的使用寿命。
附图说明
图1为打开文件操作流程图；
图2为一次写文件操作流程图；
图3为数据区空间的变化情况示意图；
图4为一次读文件操作流程图；
图5为关闭文件操作流程图。
具体实施方式
为了更加清楚明白理解本发明的目的、技术方案和优点，下面结合实施例和附图，对本发明作进一步的详细说明，本发明所描述的具体实施例及其说明仅用于解释本发明，并不作为对本发明的限定。
在高速信号采集系统中，对文件的操作主要包括打开文件(包括创建文件)、读文件(即文件导出)、写文件(存储采集数据)、关闭文件、删除文件。
打开文件操作流程如图1所示，具体步骤如下：
1.通过文件路径从根目录开始逐层查找目录项信息；
2.如果没有找到文件路径对应的目录项信息，则创建目录项信息(新建文件)放入缓冲区；
3.如果找到了指定文件路径对应的目录项信息，则获取目录项信息放入缓冲区；
4.从盘中读取簇分配信息，放入缓存区中。
一次写文件操作流程如图2所示，具体步骤如下：
1.判断待写入盘中的数据长度是否大于0，如果是，执行步骤2；如果否，结束本次写操作；
2.判断本次写操作是否为对该文件的第一次写操作，如果是，执行步骤3；如果否，执行步骤4；
3.在缓存区的簇分配表中一次性为该文件分配若干个连续的簇空间(大于待写入数据的长度)用于数据记录；
本步骤的优点在于避免频繁分配空间造成对存储盘的随机读写操作，降低性能。
4.判断剩余已分配的簇空间是否大于待写入的数据长度，如果否，执行步骤5；如果是，执行步骤7；
5.将缓存区中的簇分配信息更新写入到盘里；
6.将缓冲区中的目录项信息更新到盘中，执行步骤3。
7.将采集的数据写入到分配好的空间中；
8.更新缓冲区目录项中的起始簇号(只在第一次写操作时更新)、连续标志、文件大小等信息，本次写操作结束。
如果删除盘中的文件，会导致盘内空间不连续。当盘内数据区顺序写满后，会从头查找空闲的区域(被删除文件释放出的数据区所在位置)，存储新文件的数据。如图3所示的实施例，具体过程如下：
1.盘内先存储两个文件f1和f2；
2.删除文件f1，数据区中原来文件f1占用的空间被释放出来；
3.继续存储3个文件，分别名为f3、f4、f5；
4.删除文件f3，数据区中原来文件f3占用的空间被释放出来；
5.存储文件f6，因为存储文件f5后，数据区末尾剩余小部分的空间，文件f6占满该部分空间后还需继续存储更多的数据，所以需从数据区的头部重新查找其他空闲的空间存储数据，所以文件f6的数据在数据区中的分布区域为f6_1+f6_2；
6.存储文件f7，存储完文件f6后，从f6_2数据段到f2之间有一段空闲的空间，文件f7占满该空间后，需继续存储更多的数据，所以需向后继续查找空闲的空间存储数据，所以文件f7的数据在数据区中的分布区域为f7_1+f7_2；
伴随文件数据的存储和文件删除的过程，存储在盘内的大文件的分散情况会越来越明显，所以一次读文件操作的流程如图4所示，具体步骤如下：
1.判断读取的长度N是否大于0，如果是，执行步骤2；如果否，结束本次读操作；
2.判断待读取的文件区域是否为连续的，如果是，执行步骤3；如果否，执行步骤4；
3.从待读取的起始位置，直接读取(N+M-1)/M个扇区数据，其中M表示每扇区大小为M字节；
4.根据待读取文件数据区域的不连续段数，分段读取(N+M-1)/M个扇区的数据；
关闭文件操作流程如图5所示，具体步骤如下：
1.判断文件是否被修改过，如果是，执行步骤2；如果否，执行步骤5；
2.将最后访问时间和最后修改时间、文件长度等信息更新到缓存区的目录项信息中并写入盘中；
3.释放出为该文件分配了但未使用的多余簇空间，刷新缓冲区中的簇分配信息表并写入盘中；
4.将簇分配信息表更新写入盘中；
5.释放缓存区中目录项信息空间，结束本次操作；
删除文件操作流程具体如下：
1.通过文件路径从根目录开始逐层查找目录项信息，如果找到了，执行步骤2，如果未找到，结束本次操作；
2.则将该文件的目录项标记为无效；
3.更新簇分配表，释放该文件所占数据区中的簇。
Claims (1)
1.一种提高高速信号采集系统存储性能的方法，在高速信号采集系统中，对文件的操作包括写文件即存储采集数据、关闭文件，其特征在于，写文件操作流程包括如下步骤：
（1）判断待写入盘中的数据长度是否大于0，如果是，执行步骤（2）；如果否，结束本次写操作；
（2）判断本次写操作是否为对该文件的第一次写操作，如果是，执行步骤（3）；如果否，执行步骤（4）；
（3）在缓存区的簇分配表中一次性为该文件分配若干个连续的簇空间用于数据记录，该簇空间大于待写入数据的长度；
（4）判断剩余已分配的簇空间是否大于待写入的数据长度，如果否，执行步骤（5）；如果是，执行步骤（7）；
（5）将缓存区中的簇分配信息更新写入到盘里；
（6）将缓冲区中的目录项信息更新到盘中，执行步骤（3）；
（7）将采集的数据写入到分配好的空间中；
（8）更新缓冲区目录项中的起始簇号、连续标志、文件大小信息，本次写操作结束，只在第一次写操作时更新；
关闭文件操作流程包括如下步骤：
（1）判断文件是否被修改过，如果是，执行步骤（2）；如果否，执行步骤（5）；
（2）将最后访问时间和最后修改时间、文件长度信息更新到缓存区的目录项信息中并写入盘中；
（3）释放出为该文件分配了但未使用的多余簇空间，刷新缓冲区中的簇分配信息表并写入盘中；
（4）将簇分配信息表更新写入盘中；
（5）释放缓存区中目录项信息空间，结束本次操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010218936.7A CN111427513B (zh) | 2020-03-25 | 2020-03-25 | 一种提高高速信号采集系统存储性能的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010218936.7A CN111427513B (zh) | 2020-03-25 | 2020-03-25 | 一种提高高速信号采集系统存储性能的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111427513A CN111427513A (zh) | 2020-07-17 |
| CN111427513B true CN111427513B (zh) | 2023-02-28 |
Family
ID=71548619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010218936.7A Active CN111427513B (zh) | 2020-03-25 | 2020-03-25 | 一种提高高速信号采集系统存储性能的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111427513B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112764689A (zh) * | 2021-02-02 | 2021-05-07 | 湖南师范大学 | 面向机载雷达的数据存储文件管理方法和管理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5590300A (en) * | 1991-03-05 | 1996-12-31 | Zitel Corporation | Cache memory utilizing address translation table |
| EP1113666A1 (en) * | 1999-12-30 | 2001-07-04 | Nokia Corporation | Data processing apparatus |
| CN102789425A (zh) * | 2012-07-17 | 2012-11-21 | 上海晟东电力科技有限公司 | 基于flash存储介质的文件读写方法 |
| CN104951569A (zh) * | 2015-07-21 | 2015-09-30 | 成都傅立叶电子科技有限公司 | 文件系统以及采用该文件系统的文件管理方法 |
| CN106326384A (zh) * | 2016-08-16 | 2017-01-11 | 中国科学院长春光学精密机械与物理研究所 | 基于fpga的适用于高速海量存储的文件存储方法 |
-
2020
- 2020-03-25 CN CN202010218936.7A patent/CN111427513B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5590300A (en) * | 1991-03-05 | 1996-12-31 | Zitel Corporation | Cache memory utilizing address translation table |
| EP1113666A1 (en) * | 1999-12-30 | 2001-07-04 | Nokia Corporation | Data processing apparatus |
| CN102789425A (zh) * | 2012-07-17 | 2012-11-21 | 上海晟东电力科技有限公司 | 基于flash存储介质的文件读写方法 |
| CN104951569A (zh) * | 2015-07-21 | 2015-09-30 | 成都傅立叶电子科技有限公司 | 文件系统以及采用该文件系统的文件管理方法 |
| CN106326384A (zh) * | 2016-08-16 | 2017-01-11 | 中国科学院长春光学精密机械与物理研究所 | 基于fpga的适用于高速海量存储的文件存储方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于集群系统的空间数据并行处理策略研究;刘旭辉等;《高技术通讯》;20091025(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111427513A (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8756382B1 (en) | Method for file based shingled data storage utilizing multiple media types | |
| US8631197B2 (en) | Implementing enhanced updates for indirection tables | |
| US8327076B2 (en) | Systems and methods of tiered caching | |
| CN107526689B (zh) | 读高速缓存管理 | |
| US20100325352A1 (en) | Hierarchically structured mass storage device and method | |
| CN104346357A (zh) | 一种嵌入式终端的文件存取方法及系统 | |
| CA2469402A1 (en) | Disk driver cluster management of time shift buffer with file allocation table structure | |
| US20100070733A1 (en) | System and method of allocating memory locations | |
| KR20100065786A (ko) | 빠른 파워-오프를 위한 캐시 동기화 방법 및 시스템 | |
| CN110674056B (zh) | 一种垃圾回收方法及装置 | |
| CN105955664B (zh) | 一种基于段结构的瓦记录转换层的读写方法 | |
| CN108628542B (zh) | 一种文件合并方法及控制器 | |
| US8862856B2 (en) | Implementing remapping command with indirection update for indirected storage | |
| CN109558335B (zh) | 一种基于Nor Flash存储器的嵌入式系统的文件存储格式 | |
| US7840749B2 (en) | Data area managing method in information recording medium and information processor employing data area managing | |
| CN101051318A (zh) | 利用文件分配表进行磁盘数据簇链接及寻道的方法 | |
| CN111427513B (zh) | 一种提高高速信号采集系统存储性能的方法 | |
| JP4347707B2 (ja) | 情報記録媒体のフォーマット方法および情報記録媒体 | |
| CN100543748C (zh) | 一种利用文件分配表进行文件寻道的方法及系统 | |
| CN108563586B (zh) | 一种分离固态盘中垃圾回收数据与用户数据的方法 | |
| CN113190180A (zh) | 一种基于混合介质的存储装置及分布式存储系统 | |
| JP4130808B2 (ja) | フォーマット方法 | |
| KR20100006625A (ko) | 플래시 메모리와 연동되는 페이지 버퍼 관리 장치 및 방법,그리고 플래시 메모리의 페이지 교체 장치 및 방법 | |
| KR20020081696A (ko) | 단편화를 감소시키기 위한 방법 및 장치 | |
| KR101247388B1 (ko) | 하이브리드-매핑 ｆｔｌ에서 ｔｒｉｍ 명령어를 처리하기 위한 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |