JP2010079535A - Data access device - Google Patents

Data access device Download PDF

Info

Publication number
JP2010079535A
JP2010079535A JP2008246148A JP2008246148A JP2010079535A JP 2010079535 A JP2010079535 A JP 2010079535A JP 2008246148 A JP2008246148 A JP 2008246148A JP 2008246148 A JP2008246148 A JP 2008246148A JP 2010079535 A JP2010079535 A JP 2010079535A
Authority
JP
Japan
Prior art keywords
file
temporary storage
data
storage area
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008246148A
Other languages
Japanese (ja)
Other versions
JP5188348B2 (en
Inventor
Hideo Fujita
偉雄 藤田
Narihiro Matoba
成浩 的場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2008246148A priority Critical patent/JP5188348B2/en
Publication of JP2010079535A publication Critical patent/JP2010079535A/en
Application granted granted Critical
Publication of JP5188348B2 publication Critical patent/JP5188348B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem of the conventional decompressing of compressed files for each split block wherein obtaining data in the rear of the inside of each block takes a time since the decompression is carried out from the first one of split files in sequence, and wherein the process of decompressing already decompressed data again results in the deterioration of efficiency since compression and expansion processes are required. <P>SOLUTION: This data access device includes a file generation means 2 for splitting and compressing a data file into a predetermined data size, adding a header to connected files comprising a plurality of compressed files connected to each other, header including information on the layout of split files among the connected files, and storing the connected files in a storage device 1; a file reading means 3 for reading corresponding compressed files from the storage device upon access to the files in the storage device, and decompressing the files; a temporary file storage means 5 for retaining the decompressed files in a temporary storage area; and a file deletion means for deleting files in order of the priority of deletion when the file capacity of the temporary storage area is insufficient. When the corresponding files are in the temporary storage area, the file reading means reads the files from the temporary storage area. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、例えば光ディスク等の記録媒体に圧縮したデジタルデータを記録し、記録されたデジタルデータを読み出すデータアクセス装置に関するもので、特に、ファイルアクセスの効率化を図り、記憶容量の効率的使用を可能とするものである。   The present invention relates to a data access device that records compressed digital data on a recording medium such as an optical disk and reads out the recorded digital data. In particular, the present invention relates to efficient file access and efficient use of storage capacity. It is possible.

特許文献１では非圧縮データを固定長単位で分割し、ランダムアクセス単位で分割したデータと、記録単位に分割した圧縮データとの対応を示す情報を記録することにより、ファイル内のランダムアクセスを行うことが出来るデータ圧縮方法について記載されている。   In Patent Literature 1, uncompressed data is divided in fixed length units, and information indicating the correspondence between the data divided in random access units and the compressed data divided in recording units is recorded, thereby performing random access in the file. Data compression methods that can be used are described.

特開平８−６９４００号公報JP-A-8-69400

しかしながら、特許文献１に挙げた圧縮データ記録装置では、解凍したファイルに関する一時記憶についての考慮が払われていない。また記憶媒体に格納されたファイルを一旦一時記憶領域に保持する方法については様々な方式が提案されているが、圧縮ファイルに対して解凍ファイルの一時記憶を行う場合、解凍処理は分割ファイルの先頭から順次行う必要があるため、ブロック内の後部に位置するデータほど、解凍処理をおこなって所望のデータを得るために所要時間が必要となる問題があった。   However, in the compressed data recording apparatus described in Patent Document 1, consideration is not given to temporary storage related to the decompressed file. Various methods have been proposed for temporarily storing a file stored in a storage medium in a temporary storage area. However, when temporary storage of a decompressed file is performed on a compressed file, the decompression process is performed at the beginning of the divided file. Therefore, there is a problem that the time required to obtain the desired data by performing the decompression process is increased for the data located at the rear of the block.

また、既に何らかの圧縮処理が適用されたデータを処理する場合には、改めてデータに圧縮処理を行っても効果が低く、逆に圧縮、伸長処理に余分な演算が必要となるため効率が低下する。このような場合にはデータの特性に応じて圧縮処理の有無を切り替えることで、ファイルアクセスのさらなる効率化を図ることができる。
この発明はこのような問題を解決するもので、一時記憶の優先度を決定する際に、分割ブロック内におけるデータ位置を参照して優先度を決定することにより、効率的なデータアクセスを可能とする。
また、分割ファイルのブロック毎に圧縮・非圧縮の切替えを行うとともに、圧縮の有無によって一時記憶領域への記録の有無、または優先度を変更することにより、一時記憶領域を効率的に使用可能とする。 Also, when processing data that has already been subjected to some kind of compression processing, it is less effective to perform compression processing on the data again, and conversely, since extra operations are required for compression and decompression processing, the efficiency decreases. . In such a case, the efficiency of file access can be further improved by switching the presence / absence of compression processing according to the data characteristics.
The present invention solves such a problem. When determining the priority of temporary storage, the priority is determined by referring to the data position in the divided block, thereby enabling efficient data access. To do.
In addition to switching between compression and non-compression for each block of the split file, the temporary storage area can be used efficiently by changing the priority of recording to the temporary storage area or the priority according to the presence or absence of compression. To do.

ファイル生成手段と、ファイル読み出し手段と、ファイル一時記憶手段と、ファイル削除手段を備え、
ファイル生成手段は、データファイルを所定のデータサイズ毎に分割し、分割ファイルのそれぞれを圧縮して複数の圧縮ファイルを生成し、当該複数の圧縮ファイルを連結して連結ファイルを生成し、当該連結ファイル中で各分割ファイルの配置を示す情報を含むヘッダを当該連結ファイルに付加して記憶装置に格納し、
ファイル読み出し手段は、前記記憶装置に格納された任意のファイルへのアクセス要求に応じて、ファイル一時記憶手段により一時記憶領域に保持されたファイル情報を参照し、アクセス要求に対応するファイルが一時記憶領域に保持されている場合は一時記憶領域から読み出しを行い、アクセス要求に対応するファイルが保持されていない場合は、前記連結ファイルヘッダを参照し、前記連結ファイルからアクセス要求に対応する圧縮ファイルを読み出して解凍し、
ファイル一時記憶手段は、ファイル読み出し手段が解凍したファイルを、対応する分割ファイル位置の情報とともに一時記憶領域に保持し、
ファイル削除手段は、前記一時記憶手段により、一時記憶領域に保存するファイルの容量が予め定めた値を超えた場合にファイル容量を所定量に保つため保持する解凍ファイルをさらに細かいブロックに分割し、アクセス頻度と解凍ファイル内でのブロック位置に応じてファイル削除の優先度を定め、優先度の高いブロックから順にファイル削除を行うことを特徴とするデータアクセス装置である。 A file generating means, a file reading means, a file temporary storage means, and a file deleting means,
The file generation means divides the data file into predetermined data sizes, compresses each of the divided files to generate a plurality of compressed files, concatenates the plurality of compressed files to generate a concatenated file, A header including information indicating the location of each divided file in the file is added to the concatenated file and stored in the storage device.
The file reading means refers to the file information held in the temporary storage area by the file temporary storage means in response to an access request to an arbitrary file stored in the storage device, and the file corresponding to the access request is temporarily stored. If the file is held in the area, the temporary storage area is read, and if the file corresponding to the access request is not held, the compressed file corresponding to the access request is referred to from the linked file by referring to the linked file header. Read and decompress,
The file temporary storage means holds the file decompressed by the file reading means in the temporary storage area together with the information of the corresponding divided file position,
The file deletion means divides the decompressed file to be held into finer blocks by the temporary storage means to keep the file capacity at a predetermined amount when the capacity of the file to be stored in the temporary storage area exceeds a predetermined value, The data access device is characterized in that the priority of file deletion is determined according to the access frequency and the block position in the decompressed file, and the files are deleted in order from the block with the highest priority.

この発明のデータアクセス装置によれば、データファイルを所定のデータサイズ毎に分割し、分割ファイルのそれぞれを圧縮して複数の圧縮ファイルを生成し、当該複数の圧縮ファイルを連結して連結ファイルを生成して記憶装置に格納し、記憶装置に格納された任意のファイルへのアクセス要求に対し、ファイル読み出し手段がアクセス要求ファイルを記憶装置から読み出し解凍し、ファイル一時記憶手段により一時記憶領域に記憶し、叉はファイル読み出し手段により、既に解凍され一時記憶領域に記憶されている場合は記憶装置からの読み出しはせずに、一時記憶領域から読み出し、解凍ファイルが一時記憶領域の格納領域容量を超過する場合は、一時記憶領域内の連結ファイルブロック内でのデータ位置等を考慮して削除する優先度を決め、この優先度順に削除することで、一時記憶領域のデータ管理を行うことにより、一時記憶領域の格納領域容量を効率的に活用し、ファイルアクセス速度を向上させることが可能である。   According to the data access device of the present invention, a data file is divided into predetermined data sizes, each of the divided files is compressed to generate a plurality of compressed files, and the plurality of compressed files are concatenated to form a concatenated file. Generate and store in the storage device, and in response to an access request to an arbitrary file stored in the storage device, the file reading means reads the access request file from the storage device and decompresses it, and stores it in the temporary storage area by the file temporary storage means If the file is already decompressed and stored in the temporary storage area by the file reading means, it is read from the temporary storage area without being read from the storage device, and the decompressed file exceeds the storage area capacity of the temporary storage area. If you want to delete the priority, consider the data position in the linked file block in the temporary storage area. Decided, by removing in this order of priority, by performing data management of a temporary storage area, utilizing the storage area capacity of the temporary storage area efficiently, it is possible to improve the file access speed.

実施の形態１．
図１はデータアクセス装置を示す構成図である。記憶装置１はデータを記憶しておくための装置である。ファイル生成手段２は、入力データの形式変換、圧縮を行い、結果を記憶装置１に格納する。ファイル読み出し手段３は、外部からの読み出し要求に従って記憶装置１からブロック単位でデータを読み出し伸長処理を行って出力する。ファイル一時記憶手段４は、ファイル読み出し手段３によって伸長されたデータを一時記憶領域５に格納する。一時記憶領域５は、記憶装置１よりもデータの読み書きに必要な時間が短く、データの効率的な読み出しのために一時的にデータを格納しておく領域である。ただし、格納出来るデータ容量が限られており、格納するデータ量を所定以下に抑える必要がある。ファイル削除手段６はファイル一時記憶手段４からの一時記憶領域５へのデータ格納により、一時記憶領域５の格納データサイズが所定の容量を超えた場合に、優先順位に従って、データの削除を行う。 Embodiment 1 FIG.
FIG. 1 is a block diagram showing a data access device. The storage device 1 is a device for storing data. The file generation means 2 performs format conversion and compression of input data and stores the result in the storage device 1. The file reading means 3 reads data from the storage device 1 in units of blocks according to an external read request, performs decompression processing, and outputs the data. The file temporary storage unit 4 stores the data expanded by the file reading unit 3 in the temporary storage area 5. The temporary storage area 5 is an area for temporarily storing data for efficient reading of data because the time required for reading and writing data is shorter than that of the storage device 1. However, the amount of data that can be stored is limited, and the amount of data to be stored must be kept below a predetermined level. The file deleting means 6 deletes data in accordance with the priority order when the stored data size in the temporary storage area 5 exceeds a predetermined capacity due to data storage from the file temporary storage means 4 to the temporary storage area 5.

図２はデータの圧縮方法について例を示したものである。データファイルを所定サイズ（例えば32KByte）毎のブロックに分割し、ブロック毎にデータ圧縮を行う。各ブロックの先頭データ位置を格納したヘッダ部と各ブロックの圧縮データを一つのファイルにまとめ、圧縮データファイルとする。
ヘッダ部には、各ブロックの圧縮データの先頭バイト位置を例えば１ブロックにつき４バイトのデータとして、ブロック順に記録しておく。 FIG. 2 shows an example of a data compression method. The data file is divided into blocks each having a predetermined size (for example, 32 KBytes), and data compression is performed for each block. The header portion storing the head data position of each block and the compressed data of each block are combined into one file to form a compressed data file.
In the header portion, the first byte position of the compressed data of each block is recorded in the order of the block, for example, as 4 bytes of data per block.

図３はファイル読み出し時の処理方法を示したものである。図２に示した形式の圧縮データは記憶装置１の記憶媒体に格納されている。
データの読み出し要求が発生した場合、ファイル読み出し手段３は、まず一時記憶領域５の一時記憶領域保存データ情報を確認し、読み出し要求のあるデータが一時記憶領域５に格納されているかどうかを確認する。データが格納されている場合は、記憶装置１へのアクセスを行わず、該当データを一時記憶領域５から読み出して出力する。 FIG. 3 shows a processing method when reading a file. The compressed data in the format shown in FIG. 2 is stored in the storage medium of the storage device 1.
When a data read request is generated, the file reading means 3 first checks the temporary storage area stored data information of the temporary storage area 5 and checks whether the data requested to be read is stored in the temporary storage area 5. . If data is stored, the storage device 1 is not accessed, and the corresponding data is read from the temporary storage area 5 and output.

読み出し要求のあるデータが一時記憶領域５に格納されていない場合には、記憶装置１にアクセスし、まず対応連結ファイルのヘッダ部読み出しを行う。次に、ファイル内での読み出し要求のあるデータ位置に従い、該当データを含んだ圧縮データブロックの読み出しを行う。読み出した圧縮データブロックに対して伸長処理を行って非圧縮データとし、一時記憶領域５に格納して必要なデータを参照して出力する。
なお、後述する通り、一時記憶領域５からのデータ削除を行う際、データの後半部のみを残し、前半部のみを削除する場合があるので、読み出し要求に対応するデータブロックは、部分的に一時記憶領域５に格納されている場合がある。この場合にも該当データを含んだ圧縮データブロックの読み出しと伸長処理を行うが、伸長処理を削除されたデータに対応する部分のみ実施して打ち切ることにより、伸長処理時間を短縮する。 When the data requested to be read is not stored in the temporary storage area 5, the storage device 1 is accessed, and the header portion of the corresponding linked file is read first. Next, the compressed data block including the corresponding data is read according to the data position requested to be read in the file. The read compressed data block is decompressed into non-compressed data, stored in the temporary storage area 5, and necessary data is referenced and output.
As will be described later, when deleting data from the temporary storage area 5, only the latter half of the data may be left and only the first half may be deleted. Therefore, the data block corresponding to the read request is partially temporarily stored. It may be stored in the storage area 5. In this case as well, the compressed data block including the corresponding data is read out and decompressed, but the decompression processing time is shortened by executing only the portion corresponding to the deleted data and aborting.

上記のように記憶装置１からのデータ読み出しを行った場合、伸長処理後の非圧縮データを一時記憶領域５に格納する処理を行う。この際、一時記憶領域保存データ情報を更新し、該当ブロックの非圧縮データが一時記憶領域５に含まれることを示すようにする。
非圧縮データを一時記憶領域５に格納する際、一時記憶領域５に格納されたデータの容量が予め定めた所定の値（一時記憶上限値）を越える場合には、まず優先度の低いデータを削除し、新規にデータを格納してもデータ容量が一時記憶上限値以下となるようにしてからデータの格納を行うものとする。 When data is read from the storage device 1 as described above, a process of storing the uncompressed data after the decompression process in the temporary storage area 5 is performed. At this time, the temporary storage area saved data information is updated to indicate that the uncompressed data of the corresponding block is included in the temporary storage area 5.
When storing the non-compressed data in the temporary storage area 5, if the capacity of the data stored in the temporary storage area 5 exceeds a predetermined value (temporary storage upper limit value), the data with low priority is first stored. Even if data is deleted and data is newly stored, the data is stored after the data capacity is reduced to the temporary storage upper limit value or less.

図４は一時記憶領域５からのデータ削除方法について示したものである。データ削除の際にはデータブロックをさらに細かいサブブロックに分割し、サブブロックごとに優先度の判断を行う。優先度の決定のために、まずブロック毎の優先度を決定する。ブロック毎の優先度は、ファイル格納時に予め定めておいても良いし、一時記憶領域５に格納状態でのアクセス回数をカウントし、アクセス回数が多いブロックほど高優先度（即ち、削除優先度を低くする）としてもよい。その上で、ブロック内におけるサブブロックの位置に応じて優先度に対するオフセット値を決定する。オフセット値はブロック内で後ろのサブブロックほど大きな値を設定する。これは、データ伸長処理を行う際にはブロック先頭から順に処理を行う必要があり、ブロック内の後ろのデータほど伸長処理完了までに時間がかかるためである。   FIG. 4 shows a method for deleting data from the temporary storage area 5. When deleting data, the data block is divided into smaller sub-blocks, and the priority is determined for each sub-block. In order to determine the priority, first, the priority for each block is determined. The priority for each block may be determined in advance when the file is stored, or the number of accesses in the storage state in the temporary storage area 5 is counted, and the higher the number of accesses, the higher the priority (that is, the deletion priority). Lower). Then, an offset value for priority is determined according to the position of the sub-block in the block. As the offset value, a larger value is set for the subsequent sub-block in the block. This is because when data decompression processing is performed, it is necessary to perform processing sequentially from the head of the block, and the later data in the block takes time to complete the decompression processing.

このようにブロック内でのデータ位置を考慮して優先度を決め、一時記憶領域５のデータ管理を行うことにより、一時記憶領域の格納領域容量を効率的に活用し、ファイルアクセス速度を向上させることが可能である。   In this way, the priority is determined in consideration of the data position in the block, and the data management of the temporary storage area 5 is performed, thereby efficiently utilizing the storage area capacity of the temporary storage area and improving the file access speed. It is possible.

実施の形態２．
格納されるデータに関して圧縮データと非圧縮データを共存させる場合について述べる。この場合もデータアクセス装置の構成は図１と同様であるが、ファイル生成手段２における入力データの形式変換、ファイル読み出し手段３におけるファイル読み出し方法、およびファイル削除手段６における一時記憶領域５のデータ削除方法が実施の形態１とは異なる。
まずファイル生成手段２は圧縮データ作成時、ブロック毎に圧縮率を算出し、圧縮率が所定の圧縮率上限値以下とならない場合には、該当ブロックを非圧縮データのままとする。各ブロックの先頭データ位置、データが圧縮されているかどうかを示すフラグを格納したヘッダ部と、各ブロックの圧縮データまたは非圧縮データを一つのファイルにまとめ、連結データファイルとする。
ヘッダ部には、各ブロックの圧縮または非圧縮データの先頭バイト位置を例えば１ブロックにつき４バイトのデータとし、圧縮/非圧縮を示すフラグを１ブロックにつき１バイトのデータとして、ブロック順に記録しておく。 Embodiment 2. FIG.
A case where compressed data and non-compressed data coexist with respect to stored data will be described. In this case as well, the configuration of the data access device is the same as in FIG. 1, but the format of the input data in the file generation means 2, the file read method in the file read means 3, and the data deletion in the temporary storage area 5 in the file deletion means 6 The method is different from that of the first embodiment.
First, the file generation means 2 calculates the compression rate for each block when creating the compressed data. If the compression rate does not fall below the predetermined compression rate upper limit value, the corresponding block remains as uncompressed data. A header portion storing a head data position of each block and a flag indicating whether or not the data is compressed, and compressed data or non-compressed data of each block are combined into one file to form a concatenated data file.
In the header section, the first byte position of each block of compressed or uncompressed data is recorded as 4 bytes of data per block, for example, and a flag indicating compression / uncompression is recorded as 1 byte of data per block in block order. deep.

図５は実施の形態２におけるファイル読み出し時の処理方法を示したものである。データの読み出し要求が発生した場合、ファイル読み出し手段３は、まず一時記憶領域５の一時記憶領域保存データ情報を確認し、読み出し要求のあるデータが一時記憶領域５に格納されているかどうかを確認する。データが格納されている場合は、記憶装置１へのアクセスを行わず、該当データを一時記憶領域５から読み出して出力する。   FIG. 5 shows a processing method when reading a file in the second embodiment. When a data read request is generated, the file reading means 3 first checks the temporary storage area stored data information of the temporary storage area 5 and checks whether the data requested to be read is stored in the temporary storage area 5. . If data is stored, the storage device 1 is not accessed, and the corresponding data is read from the temporary storage area 5 and output.

読み出し要求のあるデータが一時記憶領域５に格納されていない場合には、ファイル読み出し手段３は、記憶装置１にアクセスし、まず対応連結ファイルのヘッダ部読み出しを行う。次に、ファイル内での読み出し要求のあるデータ位置に従い、該当データを含んだ圧縮データブロックのデータ位置と、圧縮データ／非圧縮データの種別を参照する。該当データブロックが圧縮データブロックであれば伸長処理を行って非圧縮データに変換し、一時記憶領域５に格納し、必要なデータを参照して出力する。非圧縮データブロックであれば、そのまま一時記憶領域５に格納し、必要なデータを参照して出力する。   If the data requested to be read is not stored in the temporary storage area 5, the file reading means 3 accesses the storage device 1 and first reads the header portion of the corresponding linked file. Next, the data position of the compressed data block including the corresponding data and the type of compressed data / uncompressed data are referred to according to the data position requested to be read in the file. If the corresponding data block is a compressed data block, it is decompressed and converted into uncompressed data, stored in the temporary storage area 5, and necessary data is referenced and output. If it is an uncompressed data block, it is stored in the temporary storage area 5 as it is, and necessary data is referenced and output.

上記のように記憶装置１からのデータ読み出しを行った場合、実施の形態１と同様に、伸長処理後の非圧縮データを一時記憶領域５に格納する処理を行う。また、一時記憶領域５に格納されたデータの容量が予め定めた所定の値（一時記憶上限値）を越える場合には、まず優先度の低い（即ち、削除優先度の高い）データの削除を行う。
削除の際の優先度として、非圧縮ブロックのファイルは圧縮ブロックのファイルに対して優先度が低くなるようオフセットを定める。これは非圧縮ブロックについてはデータ読み出し時の伸長処理が必要なく、記憶装置からの読み出しにおける動作効率が高いためである。 When data is read from the storage device 1 as described above, a process for storing the uncompressed data after the decompression process in the temporary storage area 5 is performed as in the first embodiment. If the capacity of the data stored in the temporary storage area 5 exceeds a predetermined value (temporary storage upper limit value), the data with low priority (that is, with high deletion priority) is deleted first. Do.
As a priority for deletion, an offset is determined so that a file of an uncompressed block has a lower priority than a file of a compressed block. This is because an uncompressed block does not require decompression processing at the time of data reading, and the operation efficiency in reading from the storage device is high.

このようにブロック毎に圧縮効率を考慮してブロックの圧縮／非圧縮を切替え、さらにブロックが圧縮されているかどうかによって一時記憶領域５に格納する優先度に差違を設けることで、一時記憶領域格納領域の容量を効率的に活用し、ファイルアクセス速度を向上させることが可能である。   As described above, the compression / non-compression of the block is switched in consideration of the compression efficiency for each block, and the priority stored in the temporary storage area 5 is different depending on whether the block is compressed, thereby storing the temporary storage area. It is possible to improve the file access speed by efficiently using the capacity of the area.

実施の形態３．
実施の形態２において、該当ブロックの圧縮/非圧縮の種別に応じ、データ読み出し方法を変更する場合の実施の形態３について述べる。図６は実施の形態３におけるファイル読み出し時の処理方法を示したものである。データの読み出し要求が発生した場合、ファイル読み出し手段３は、まず一時記憶領域５の一時記憶領域保存データ情報を確認し、読み出し要求のあるデータが一時記憶領域５に格納されているかどうかを確認する。データが格納されている場合は、記憶装置１へのアクセスを行わず、該当データを一時記憶領域５から読み出して出力する。 Embodiment 3 FIG.
In the second embodiment, a third embodiment in which the data reading method is changed according to the compression / non-compression type of the corresponding block will be described. FIG. 6 shows a processing method when reading a file in the third embodiment. When a data read request is generated, the file reading means 3 first checks the temporary storage area stored data information of the temporary storage area 5 and checks whether the data requested to be read is stored in the temporary storage area 5. . If data is stored, the storage device 1 is not accessed, and the corresponding data is read from the temporary storage area 5 and output.

読み出し要求のあるデータが一時記憶領域５に格納されていない場合には、ファイル読み出し手段３は、記憶装置１にアクセスし、まず対応連結ファイルのヘッダ部読み出しを行う。次に、ファイル内での読み出し要求のあるデータ位置に従い、該当データを含んだ圧縮データブロックのデータ位置と、圧縮データ／非圧縮データの種別を参照する。該当データブロックが圧縮データブロックであれば伸長処理を行って非圧縮データに変換し、一時記憶領域５に格納し、必要なデータを参照して出力する。非圧縮データブロックであれば、一時記憶領域５に格納せず、そのまま必要なデータを参照して出力する。   If the data requested to be read is not stored in the temporary storage area 5, the file reading means 3 accesses the storage device 1 and first reads the header portion of the corresponding linked file. Next, the data position of the compressed data block including the corresponding data and the type of compressed data / uncompressed data are referred to according to the data position requested to be read in the file. If the corresponding data block is a compressed data block, it is decompressed and converted into uncompressed data, stored in the temporary storage area 5, and necessary data is referenced and output. If it is an uncompressed data block, it is not stored in the temporary storage area 5 but is output with reference to necessary data as it is.

上記のように記憶装置１からのデータ読み出しを行った場合、実施の形態１と同様に、伸長処理後の非圧縮データを一時記憶領域５に格納する処理を行うが、データの格納を行うのは圧縮データブロックを参照した場合のみとする。なお、一時記憶領域５に格納されたデータの容量が予め定めた所定の値（一時記憶上限値）を越える場合には、優先度の低い（即ち、削除優先度の高い）データの削除を行う。
このようにブロック毎に圧縮効率を考慮してブロックの圧縮／非圧縮を切替え、さらにブロックが圧縮されているかどうかによって一時記憶領域５への格納処理の有無を切替えることで、一時記憶領域格納領域の容量を効率的に活用し、ファイルアクセス速度を向上させることが可能である。 When data is read from the storage device 1 as described above, the uncompressed data after decompression processing is stored in the temporary storage area 5 as in the first embodiment, but the data is stored. Is only when referring to a compressed data block. When the capacity of data stored in the temporary storage area 5 exceeds a predetermined value (temporary storage upper limit value), data with low priority (that is, data with high deletion priority) is deleted. .
In this way, the compression / non-compression of the block is switched in consideration of the compression efficiency for each block, and further, the presence / absence of the storage process in the temporary storage area 5 is switched depending on whether the block is compressed, thereby the temporary storage area storage area It is possible to improve the file access speed by efficiently utilizing the capacity of the file.

この発明に係るデータアクセス装置は、例えば光ディスク等の記録媒体に圧縮されたデジタルデータを記録し、記録されたデジタルデータを必要時に応じて読み出すファイル管理システム等に利用可能であり、ファイルアクセスの効率化、記憶容量の効率的使用を可能とする。   The data access apparatus according to the present invention can be used in a file management system or the like that records compressed digital data on a recording medium such as an optical disk and reads out the recorded digital data as necessary. And efficient use of storage capacity.

この発明の実施の形態１におけるデータアクセス装置を示す構成図である。It is a block diagram which shows the data access apparatus in Embodiment 1 of this invention. データの圧縮方法について例を示した説明図である。It is explanatory drawing which showed the example about the compression method of data. ファイル読み出し処理方法についての説明図である。It is explanatory drawing about a file read-out processing method. 一時記憶領域からのデータ削除方法についての説明図である。It is explanatory drawing about the data deletion method from a temporary storage area. 実施の形態２におけるファイル読み出し処理方法についての説明図である。12 is an explanatory diagram of a file read processing method in Embodiment 2. FIG. 実施の形態３におけるファイル読み出し処理方法についての説明図である。FIG. 10 is an explanatory diagram of a file read processing method in Embodiment 3.

符号の説明Explanation of symbols

１；記憶装置、２；ファイル生成手段、３；ファイル読み出し手段、４；ファイル一時記憶手段、５；一時記憶領域、６；ファイル削除手段。   DESCRIPTION OF SYMBOLS 1; Storage device, 2; File generation means, 3; File reading means, 4; File temporary storage means, 5; Temporary storage area, 6;

Claims (3)

ファイル生成手段と、ファイル読み出し手段と、ファイル一時記憶手段と、ファイル削除手段を備え、
ファイル生成手段は、データファイルを所定のデータサイズ毎に分割し、分割ファイルのそれぞれを圧縮して複数の圧縮ファイルを生成し、当該複数の圧縮ファイルを連結して連結ファイルを生成し、当該連結ファイル中で各分割ファイルの配置を示す情報を含むヘッダを当該連結ファイルに付加して記憶装置に格納し、
ファイル読み出し手段は、前記記憶装置に格納された任意のファイルへのアクセス要求に応じて、ファイル一時記憶手段により一時記憶領域に保持されたファイル情報を参照し、アクセス要求に対応するファイルが一時記憶領域に保持されている場合は一時記憶領域から読み出しを行い、アクセス要求に対応するファイルが保持されていない場合は、前記連結ファイルのヘッダを参照し、前記連結ファイルからアクセス要求に対応する圧縮ファイルを読み出して解凍し、
ファイル一時記憶手段は、ファイル読み出し手段が解凍したファイルを、対応する分割ファイル位置の情報とともに一時記憶領域に保持し、
ファイル削除手段は、一時記憶領域に保存するファイルの容量が予め定めた値を超えた場合にファイル容量を所定量に保つため保持する解凍ファイルをさらに細かいブロックに分割し、アクセス頻度と解凍ファイル内でのブロック位置に応じてファイル削除の優先度を定め、優先度の高いブロックから順にファイル削除を行うことを特徴とするデータアクセス装置。 A file generating means, a file reading means, a file temporary storage means, and a file deleting means,
The file generation means divides the data file into predetermined data sizes, compresses each of the divided files to generate a plurality of compressed files, concatenates the plurality of compressed files to generate a concatenated file, A header including information indicating the location of each divided file in the file is added to the concatenated file and stored in the storage device.
The file reading means refers to the file information held in the temporary storage area by the file temporary storage means in response to an access request to an arbitrary file stored in the storage device, and the file corresponding to the access request is temporarily stored. When it is held in the area, it reads from the temporary storage area, and when the file corresponding to the access request is not held, the header of the linked file is referred to, and the compressed file corresponding to the access request from the linked file Read and unzip
The file temporary storage means holds the file decompressed by the file reading means in the temporary storage area together with the information of the corresponding divided file position,
The file deletion means divides the decompressed file to be retained in order to keep the file capacity in a predetermined amount when the capacity of the file to be saved in the temporary storage area exceeds a predetermined value. A data access device characterized in that the priority of file deletion is determined according to the block position in and a file is deleted in order from the block with the highest priority. ファイル生成手段は、分割ファイルのブロック毎にデータの特性に応じて圧縮/非圧縮を切替え、当該複数の圧縮または非圧縮ファイルを連結して連結ファイルを生成し、当該連結ファイル中で各分割ファイルの配置を示す情報および圧縮処理の有無を示す情報を含むヘッダを当該連結ファイルに付加して記憶装置に格納し、
ファイル読み出し手段は、一時記憶領域に保持された連結ファイルヘッダの情報を参照し、アクセス要求に対応するファイルが一時記憶領域に保持されている場合は一時記憶領域から読み出しを行い、アクセス要求に対応するファイルが一時記憶領域に保持されていない場合は、前記記憶手段に格納された連結ファイルヘッダを参照し、前記連結ファイルからアクセス要求に対応するファイルを読み出し、ファイルが圧縮ファイルであれば解凍し、
ファイル一時記憶手段は、ファイル読み出し手段で一旦解凍したファイル、または非圧縮で読み出したファイルを、対応する分割ファイル位置の情報とともに一時記憶領域に保持し、
ファイル削除手段は、一時記憶領域に保存するファイルの容量が予め定めた値を超えた場合にファイル容量を所定量に保つため保持するファイルのアクセス頻度とファイルの圧縮/非圧縮情報に応じてファイル削除の優先度を定め、優先度の高いブロックから順にファイル削除を行うことを特徴とする請求項１記載のデータアクセス装置。 The file generation means switches between compression / non-compression according to the data characteristics for each block of the divided file, generates a linked file by concatenating the plurality of compressed or uncompressed files, and each divided file in the linked file A header including information indicating the location of the data and information indicating the presence or absence of compression processing is added to the linked file and stored in the storage device;
File reading means refers to the information of the linked file header held in the temporary storage area, and if the file corresponding to the access request is held in the temporary storage area, the file is read from the temporary storage area and responds to the access request. If the file to be stored is not held in the temporary storage area, the file corresponding to the access request is read from the linked file by referring to the linked file header stored in the storage means, and if the file is a compressed file, the file is decompressed. ,
The file temporary storage means holds the file once decompressed by the file reading means or the file read uncompressed in the temporary storage area together with the information of the corresponding divided file position,
The file deletion means determines whether to save the file according to the access frequency of the file to be stored and the compressed / uncompressed information of the file in order to keep the file capacity when the capacity of the file to be stored in the temporary storage area exceeds a predetermined value. 2. The data access apparatus according to claim 1, wherein a deletion priority is set, and files are deleted in order from the block with the highest priority. ファイル一時記憶手段は、ファイル読み出し手段によるファイル読み出し時の対象ファイルが圧縮ファイルであった場合のみ、一旦解凍したファイルを対応する分割ファイル位置の情報とともに一時記憶領域に保持し、
ファイル削除手段は、アクセス頻度に応じてファイル削除の優先度を定め、優先度の高いブロックから順にファイル削除を行うことを特徴とする請求項２記載のデータアクセス装置。 The file temporary storage means holds the decompressed file in the temporary storage area together with the information of the corresponding divided file position only when the target file at the time of file reading by the file reading means is a compressed file,
3. The data access apparatus according to claim 2, wherein the file deletion means determines the priority of file deletion according to the access frequency, and deletes the file in order from the block with the highest priority.
JP2008246148A 2008-09-25 2008-09-25 Data access device Expired - Fee Related JP5188348B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008246148A JP5188348B2 (en) 2008-09-25 2008-09-25 Data access device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008246148A JP5188348B2 (en) 2008-09-25 2008-09-25 Data access device

Publications (2)

Publication Number Publication Date
JP2010079535A true JP2010079535A (en) 2010-04-08
JP5188348B2 JP5188348B2 (en) 2013-04-24

Family

ID=42209915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008246148A Expired - Fee Related JP5188348B2 (en) 2008-09-25 2008-09-25 Data access device

Country Status (1)

Country Link
JP (1) JP5188348B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133731A (en) * 2010-12-24 2012-07-12 Fujitsu Ltd Data processing apparatus and data recording method
KR101357518B1 (en) 2012-08-31 2014-02-04 에스케이씨앤씨 주식회사 Smartcard for storing file data in transient memory and operating file and file management method thereof
JP2018132991A (en) * 2017-02-16 2018-08-23 富士通株式会社 Information processing device, data compression method and data compression program
WO2018159167A1 (en) * 2017-03-03 2018-09-07 富士通株式会社 Information processing device, information processing program, and information processing method

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200380A (en) * 1993-12-09 1995-08-04 Internatl Business Mach Corp <Ibm> System and method for distribution of video file
JPH09212421A (en) * 1996-02-01 1997-08-15 Hitachi Ltd Data processor and data processing system
JPH11289536A (en) * 1998-04-01 1999-10-19 Nec Corp Moving image expander and its method
JP2000209258A (en) * 1999-01-13 2000-07-28 Mitsubishi Electric Corp Time series data storage distribution system
JP2000278693A (en) * 1999-03-19 2000-10-06 Nec Corp Moving picture expanding method and recording medium recording program executing the same
JP2003216494A (en) * 2002-01-16 2003-07-31 Hewlett Packard Co <Hp> Device for cache compression engine increasing effective cache size by data compression of on-chip cache
JP2005228272A (en) * 2004-02-16 2005-08-25 Fuji Electric Retail Systems Co Ltd Compression program, compression method, decompression program and decompression method
JP2006287762A (en) * 2005-04-01 2006-10-19 Sharp Corp Recorder and program therefor
JP2006313985A (en) * 2005-05-06 2006-11-16 Fuji Photo Film Co Ltd Image processing apparatus
JP2007520813A (en) * 2004-01-15 2007-07-26 インテル コーポレイション Multiprocessor computing system using word of information of compressed cache line and processor usable in the system
JP2008042267A (en) * 2006-08-01 2008-02-21 Canon Inc Recording device, recording method, and program

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200380A (en) * 1993-12-09 1995-08-04 Internatl Business Mach Corp <Ibm> System and method for distribution of video file
JPH09212421A (en) * 1996-02-01 1997-08-15 Hitachi Ltd Data processor and data processing system
JPH11289536A (en) * 1998-04-01 1999-10-19 Nec Corp Moving image expander and its method
JP2000209258A (en) * 1999-01-13 2000-07-28 Mitsubishi Electric Corp Time series data storage distribution system
JP2000278693A (en) * 1999-03-19 2000-10-06 Nec Corp Moving picture expanding method and recording medium recording program executing the same
JP2003216494A (en) * 2002-01-16 2003-07-31 Hewlett Packard Co <Hp> Device for cache compression engine increasing effective cache size by data compression of on-chip cache
JP2007520813A (en) * 2004-01-15 2007-07-26 インテル コーポレイション Multiprocessor computing system using word of information of compressed cache line and processor usable in the system
JP2005228272A (en) * 2004-02-16 2005-08-25 Fuji Electric Retail Systems Co Ltd Compression program, compression method, decompression program and decompression method
JP2006287762A (en) * 2005-04-01 2006-10-19 Sharp Corp Recorder and program therefor
JP2006313985A (en) * 2005-05-06 2006-11-16 Fuji Photo Film Co Ltd Image processing apparatus
JP2008042267A (en) * 2006-08-01 2008-02-21 Canon Inc Recording device, recording method, and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133731A (en) * 2010-12-24 2012-07-12 Fujitsu Ltd Data processing apparatus and data recording method
US8904103B2 (en) 2010-12-24 2014-12-02 Fujitsu Limited Data processing apparatus and method for recording data
KR101357518B1 (en) 2012-08-31 2014-02-04 에스케이씨앤씨 주식회사 Smartcard for storing file data in transient memory and operating file and file management method thereof
JP2018132991A (en) * 2017-02-16 2018-08-23 富士通株式会社 Information processing device, data compression method and data compression program
WO2018159167A1 (en) * 2017-03-03 2018-09-07 富士通株式会社 Information processing device, information processing program, and information processing method
JP2018147143A (en) * 2017-03-03 2018-09-20 富士通株式会社 Information processing apparatus, information processing program and information processing method

Also Published As

Publication number Publication date
JP5188348B2 (en) 2013-04-24

Similar Documents

Publication Publication Date Title
KR101074010B1 (en) Block unit data compression and decompression method and apparatus thereof
CN110799959B (en) Data compression method, decompression method and related equipment
KR102319657B1 (en) Managing operations on stored data units
JP4975724B2 (en) Method for detecting the presence of sub-blocks in a low redundancy storage system
US10747678B2 (en) Storage tier with compressed forward map
JP5223037B2 (en) Compression and decompression method and apparatus for guaranteeing upward compatibility
KR102275431B1 (en) Managing operations on stored data units
CN110795272B (en) Method and system for atomic and latency guarantees facilitated on variable-size I/O
JP5188348B2 (en) Data access device
US8750679B2 (en) Information processing apparatus, recording method, and computer program
WO2014178847A1 (en) Grouping chunks of data into a compression region
US9423964B1 (en) Data transformation during recycling
CN107766067B (en) Method for improving compressed mirror image burning speed, storage medium and computer
JP4874162B2 (en) Data expansion apparatus and data expansion method
CN106293542B (en) Method and device for decompressing file
JP2006262449A (en) Image processing method and image processing apparatus
US9496895B2 (en) Compression method and decompression method
JP2013101470A (en) Database compression apparatus
JP2010165151A (en) Data access device and data access program
US9852143B2 (en) Enabling random access within objects in zip archives
CN112579546B (en) File compression method, system, storage medium and terminal
Kella et al. Apcfs: Autonomous and parallel compressed file system
JP2005353108A (en) Data recorder and data recording method
JP4078747B2 (en) Image processing device
CN115469811A (en) Data storage method, apparatus, device, storage medium and program product

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees