JP2017073094A - 符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法 - Google Patents
符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法 Download PDFInfo
- Publication number
- JP2017073094A JP2017073094A JP2015201565A JP2015201565A JP2017073094A JP 2017073094 A JP2017073094 A JP 2017073094A JP 2015201565 A JP2015201565 A JP 2015201565A JP 2015201565 A JP2015201565 A JP 2015201565A JP 2017073094 A JP2017073094 A JP 2017073094A
- Authority
- JP
- Japan
- Prior art keywords
- block
- unit
- compression
- encoding
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09C—CIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
- G09C1/00—Apparatus or methods whereby a given sequence of signs, e.g. an intelligible text, is transformed into an unintelligible sequence of signs by transposing the signs or groups of signs or by replacing them by others according to a predetermined system
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
- H03M7/3088—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6005—Decoder aspects
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6017—Methods or arrangements to increase the throughput
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
- H04L2209/30—Compression, e.g. Merkle-Damgard construction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
次に、本実施例に係るビットマップ型インデックスの一例を、図2を参照して説明する。図2は、本実施例に係るビットマップ型インデックスの一例を示す図である。図2に示すように、ビットマップ型インデックスT3は、高頻度の単語、低頻度の単語および2グラムの単語(または文字)の圧縮付号毎にビットマップを対応付ける。ビットマップとは、高頻度の単語の圧縮符号、低頻度の単語の圧縮符号および2グラムの単語の圧縮符号がいずれのブロックに含まれるかを表す符号ビット列である。ビットマップの各ビットが、各ブロックに高頻度の単語の圧縮符号、低頻度の単語の圧縮符号および2グラムの単語の圧縮符号が含まれているか否かを表す。なお、各種単語や2グラムを含むNグラムの単語(または文字)は、要素の一例である。
100a 圧縮暗号化部
100b 部分復号化伸長部
100c 記憶部
101 ファイルリード部
102 圧縮部
103 ブロックライト部
104 インデックス生成部
105 インデックスライト部
106 暗号化部
107 ファイルライト部
110 ブロック特定部
111 部分復号化部
112 部分伸長部
113 照合部
Claims (12)
- コンピュータに、
複数のファイルを特定の符号化形式で符号化した複数の符号化データを生成し、
前記複数の符号化データを結合した結合符号化データを複数の固定長のブロックに分割した、複数の符号化ブロックを生成し、
前記複数の符号化ブロックそれぞれに対するインデックスを生成する
処理を実行させることを特徴とする符号化プログラム。 - 該生成する処理は、前記複数の符号化ブロックそれぞれについて、前記特定の符号化形式において用いられる複数の要素それぞれに対する存否情報を示すインデックスを生成する
ことを特徴とする請求項1に記載の符号化プログラム。 - 前記符号化データ内における該分割した複数のブロックそれぞれの先頭符号の位置とブロックに対応する識別子とを対応付けた対応情報を生成し、
該生成する処理は、複数のブロックに対応する識別子それぞれについて、前記インデックスを生成する
ことを特徴とする請求項2に記載の符号化プログラム。 - 前記インデックス、前記対応情報および前記複数のファイルそれぞれの符号化に関する情報を含むトレーラ情報を生成する
ことを特徴とする請求項3に記載の符号化プログラム。 - 前記ブロックのサイズは、データを記憶する記憶装置におけるブロックのサイズと一致、または、整数倍に対応させる
ことを特徴とする請求項1から請求項4のいずれか1つに記載の符号化プログラム。 - 前記複数の要素の単位は、単語単位である
ことを特徴とする請求項2に記載の符号化プログラム。 - 前記複数の要素の単位は、Nグラム(Nは2以上)の文字単位である
ことを特徴とする請求項2に記載の符号化プログラム。 - 複数のファイルを特定の符号化形式で符号化した複数の符号化データを生成する符号化部と、
前記符号化部によって生成された前記複数の符号化データを結合した結合符号化データを複数の固定長のブロックに分割した、複数の符号化ブロックを生成する符号化ブロック生成部と、
前記符号化ブロック生成部によって生成された複数の符号化ブロックそれぞれに対するインデックスを生成するインデックス生成部と、
を有することを特徴とする符号化装置。 - コンピュータが、
複数のファイルを特定の符号化形式で符号化した複数の符号化データを生成し、
前記複数の符号化データを結合した結合符号化データを複数の固定長のブロックに分割した、複数の符号化ブロックを生成し、
前記複数の符号化ブロックそれぞれに対するインデックスを生成する
処理を実行することを特徴とする符号化方法。 - コンピュータに、
2以上の文字より構成される要素を受け付けると、複数のブロックそれぞれについて複数の要素それぞれに対する存否情報を示すインデックスに基づき、受け付けた要素が存在するブロックを特定し、
該特定したブロックの符号化データを伸長し、
該伸長した伸長データと該受け付けた要素とを照合する
処理を実行させることを特徴とする復号化プログラム。 - 2以上の文字より構成される要素を受け付けると、複数のブロックそれぞれについて複数の要素それぞれに対する存否情報を示すインデックスに基づき、受け付けた要素が存在するブロックを特定する特定部と、
前記特定部によって特定されたブロックの符号化データを伸長する伸長部と、
前記伸長部によって伸長された伸長データと該受け付けた要素とを照合する照合部と、
を有することを特徴とする復号化装置。 - コンピュータが、
2以上の文字より構成される要素を受け付けると、複数のブロックそれぞれについて複数の要素それぞれに対する存否情報を示すインデックスに基づき、受け付けた要素が存在するブロックを特定し、
該特定したブロックの符号化データを伸長し、
該伸長した伸長データと該受け付けた要素とを照合する
処理を実行することを特徴とする復号化方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015201565A JP6679874B2 (ja) | 2015-10-09 | 2015-10-09 | 符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法 |
US15/287,431 US10360183B2 (en) | 2015-10-09 | 2016-10-06 | Encoding device, encoding method, decoding device, decoding method, and computer-readable recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015201565A JP6679874B2 (ja) | 2015-10-09 | 2015-10-09 | 符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017073094A true JP2017073094A (ja) | 2017-04-13 |
JP6679874B2 JP6679874B2 (ja) | 2020-04-15 |
Family
ID=58498679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015201565A Active JP6679874B2 (ja) | 2015-10-09 | 2015-10-09 | 符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10360183B2 (ja) |
JP (1) | JP6679874B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195956A (ja) * | 2017-05-16 | 2018-12-06 | 富士通株式会社 | 符号化プログラム、符号化装置および符号化方法 |
JP2019083477A (ja) * | 2017-10-31 | 2019-05-30 | 富士通株式会社 | データ生成プログラム、データ生成方法および情報処理装置 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6737117B2 (ja) * | 2016-10-07 | 2020-08-05 | 富士通株式会社 | 符号化データ検索プログラム、符号化データ検索方法および符号化データ検索装置 |
US10606840B2 (en) * | 2017-02-13 | 2020-03-31 | International Business Machines Corporation | Parallel Lempel-Ziv decompression for highly-parallel computer architectures |
US10411732B2 (en) | 2017-02-13 | 2019-09-10 | International Business Machines Corporation | Parallel Lempel-Ziv compression for highly-parallel computer architectures |
US10754973B2 (en) * | 2018-01-16 | 2020-08-25 | Sap Se | Secure cloud storage system |
US11221778B1 (en) * | 2019-04-02 | 2022-01-11 | Pure Storage, Inc. | Preparing data for deduplication |
CN113377711B (zh) * | 2021-06-29 | 2024-04-30 | 云洗电子商务有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
CN113590376B (zh) * | 2021-07-14 | 2024-07-02 | 华中科技大学 | 一种多线程并行编/解码方法、编/解码器、用户端 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006123429A1 (ja) * | 2005-05-20 | 2006-11-23 | Fujitsu Limited | 情報検索方法、装置、プログラム、該プログラムを記録した記録媒体 |
JP2010508606A (ja) * | 2006-11-01 | 2010-03-18 | アビニシオ テクノロジー エルエルシー | 個別にアクセス可能なデータユニットの格納管理 |
JP2013101672A (ja) * | 2006-05-31 | 2013-05-23 | Internatl Business Mach Corp <Ibm> | ストレージ用論理データオブジェクトの変換方法およびシステム |
JP2015026350A (ja) * | 2013-07-29 | 2015-02-05 | 富士通株式会社 | 情報処理システム、情報処理方法、および情報処理プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0969113A (ja) | 1995-09-01 | 1997-03-11 | Ricoh Co Ltd | 文書管理方式 |
JP4057681B2 (ja) | 1997-09-10 | 2008-03-05 | 富士通株式会社 | 文書情報格納装置及び文書情報格納方法並びに文書情報検索装置及び文書情報検索方法並びに文書情報格納プログラムを記録した記録媒体及び文書情報検索プログラムを記録した記録媒体 |
US7885932B2 (en) | 2006-11-01 | 2011-02-08 | Ab Initio Technology Llc | Managing storage of individually accessible data units |
JP5413153B2 (ja) | 2009-11-26 | 2014-02-12 | 富士通株式会社 | データ圧縮装置、データ伸長装置、データ圧縮プログラム、及びデータ伸長プログラム |
JP5831298B2 (ja) * | 2012-03-06 | 2015-12-09 | 富士通株式会社 | プログラム、情報処理装置およびインデックス生成方法 |
JP6645013B2 (ja) * | 2015-01-30 | 2020-02-12 | 富士通株式会社 | 符号化プログラム、符号化方法、符号化装置および伸長方法 |
-
2015
- 2015-10-09 JP JP2015201565A patent/JP6679874B2/ja active Active
-
2016
- 2016-10-06 US US15/287,431 patent/US10360183B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006123429A1 (ja) * | 2005-05-20 | 2006-11-23 | Fujitsu Limited | 情報検索方法、装置、プログラム、該プログラムを記録した記録媒体 |
JP2013101672A (ja) * | 2006-05-31 | 2013-05-23 | Internatl Business Mach Corp <Ibm> | ストレージ用論理データオブジェクトの変換方法およびシステム |
JP2010508606A (ja) * | 2006-11-01 | 2010-03-18 | アビニシオ テクノロジー エルエルシー | 個別にアクセス可能なデータユニットの格納管理 |
JP2015026350A (ja) * | 2013-07-29 | 2015-02-05 | 富士通株式会社 | 情報処理システム、情報処理方法、および情報処理プログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195956A (ja) * | 2017-05-16 | 2018-12-06 | 富士通株式会社 | 符号化プログラム、符号化装置および符号化方法 |
JP7003443B2 (ja) | 2017-05-16 | 2022-01-20 | 富士通株式会社 | 符号化プログラム、符号化装置および符号化方法 |
JP2019083477A (ja) * | 2017-10-31 | 2019-05-30 | 富士通株式会社 | データ生成プログラム、データ生成方法および情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20170103085A1 (en) | 2017-04-13 |
US10360183B2 (en) | 2019-07-23 |
JP6679874B2 (ja) | 2020-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6679874B2 (ja) | 符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法 | |
JP6742692B2 (ja) | 符号化プログラムおよび伸長プログラム | |
JP6720664B2 (ja) | インデックス生成プログラム、インデックス生成装置、インデックス生成方法、検索プログラム、検索装置および検索方法 | |
JP6531398B2 (ja) | プログラム | |
JP6641857B2 (ja) | 符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法および復号化装置 | |
JP6613568B2 (ja) | 処理プログラム、処理装置および処理方法 | |
JP6686639B2 (ja) | 符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法 | |
JP6648620B2 (ja) | 符号化プログラム、符号化装置および符号化方法 | |
JP6540308B2 (ja) | 符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法および復号化装置 | |
JPWO2017017738A1 (ja) | 符号化プログラム、符号化装置、及び符号化方法 | |
JP6834327B2 (ja) | 符号化プログラム、符号化装置および符号化方法 | |
JP2017194753A (ja) | 符号化プログラム、符号化方法、符号化装置、検索プログラム、検索方法および検索装置 | |
US11055328B2 (en) | Non-transitory computer readable medium, encode device, and encode method | |
JP6805720B2 (ja) | データ検索プログラム、データ検索装置およびデータ検索方法 | |
WO2014030189A1 (ja) | 圧縮プログラム、圧縮方法、圧縮装置、伸張プログラム、伸張方法、伸張装置およびデータ転送システム | |
JP6511836B2 (ja) | 圧縮プログラム、圧縮方法、圧縮装置および伸長プログラム | |
US10997139B2 (en) | Search apparatus and search method | |
JP6135788B2 (ja) | 圧縮プログラム、圧縮方法、圧縮装置、伸張プログラム、伸張方法、伸張装置およびデータ転送システム | |
JP6737117B2 (ja) | 符号化データ検索プログラム、符号化データ検索方法および符号化データ検索装置 | |
JP2016170750A (ja) | データ管理プログラム、情報処理装置およびデータ管理方法 | |
JP2018182466A (ja) | 符号化プログラム、符号化方法および符号化装置 | |
JP2019121861A (ja) | 符号化プログラム、動的辞書の生成プログラム、符号化方法、動的辞書の生成方法、符号化装置および復号化装置 | |
JPWO2014030180A1 (ja) | 符号化情報生成プログラム、符号化情報生成方法、符号化情報生成装置、復号化情報生成プログラム、復号化情報生成方法及び復号化情報生成装置 | |
JP6032291B2 (ja) | 圧縮プログラム、圧縮装置、伸張プログラム、伸張装置およびシステム | |
JP2017195628A (ja) | 符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法及び復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190716 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200114 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200302 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6679874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |