JP2015159352A - データ圧縮装置、データ圧縮方法、及びプログラム - Google Patents
データ圧縮装置、データ圧縮方法、及びプログラム Download PDFInfo
- Publication number
- JP2015159352A JP2015159352A JP2014031916A JP2014031916A JP2015159352A JP 2015159352 A JP2015159352 A JP 2015159352A JP 2014031916 A JP2014031916 A JP 2014031916A JP 2014031916 A JP2014031916 A JP 2014031916A JP 2015159352 A JP2015159352 A JP 2015159352A
- Authority
- JP
- Japan
- Prior art keywords
- data
- block
- data string
- address
- string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
- H03M7/3086—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing a sliding window, e.g. LZ77
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
図3の一致位置リスト303を用いたデータ圧縮処理では、入力バッファ301の各アドレスから始まる接頭部の値に基づいて、それらのアドレスをソートすることで、順位リスト302が生成される。
上述したように、図3の一致位置リスト303を用いたデータ圧縮処理では、入力バッファ301の各アドレスから始まる接頭部の値に基づいて、それらのアドレスをソートすることで、順位リスト302が生成される。
X(i)=i×S+Odr2Pi[P_Odr2Pi]
Y(i)=i×S+Odr2Pi[P_Odr2Pi−1]
X(i)=i×S+Odr2Pi[P_Odr2Pi]
X(b)=b×S+Odr2Pb[P_Odr2Pb]
(付記1)
複数のブロックに分割された圧縮対象データ列を格納するデータ格納部と、
前記複数のブロックのうち第1のブロック内の複数のアドレスを始点とする複数のデータ列を並べ替えた後の前記複数のデータ列の順序で、前記複数のアドレスを表す複数のアドレス情報を格納するアドレス格納部と、
前記複数のアドレス情報に基づいて、前記複数のデータ列のうち第1のデータ列と一致する第2のデータ列を前記第1のブロック内で探索し、前記第1のブロック内に前記第2のデータ列が含まれていない場合、前記複数のブロックのうち第2のブロックを参照して前記第2のデータ列を検出する検出部と、
検出された前記第2のデータ列の情報に基づいて前記第1のデータ列を符号化して出力する符号化部と、
を備えることを特徴とするデータ圧縮装置。
(付記2)
前記データ格納部は、前記圧縮対象データ列を入力順に前方から後方へ向かって格納し、前記第2のブロックは、前記第1のブロックよりも前方のブロックであり、前記符号化部は、前記第2のデータ列の位置情報を用いて前記第1のデータ列を符号化することを特徴とする付記1記載のデータ圧縮装置。
(付記3)
前記アドレス格納部は、前記複数のアドレス情報を前記複数のデータ列の値の順序で格納し、前記検出部は、前記複数のアドレス情報をデータ列の値の降順に参照しながら前記第2のデータ列を探索することを特徴とする付記2記載のデータ圧縮装置。
(付記4)
前記アドレス格納部は、前記第2のブロック内の複数のアドレスを表す複数のアドレス情報を、前記第2のブロック内の前記複数のアドレスを始点とする複数のデータ列の値の順序で格納し、前記検出部は、前記第2のブロック内の前記複数のアドレスを表す前記複数のアドレス情報をデータ列の値の降順に参照しながら、前記第2のブロック内で前記第2のデータ列を探索し、参照位置のアドレス情報が表すアドレスを始点とする第3のデータ列の値が前記第1のデータ列の値よりも小さくなった場合、前記第2のブロックよりも前方の第3のブロックを参照して前記第2のデータ列を検出することを特徴とする付記3記載のデータ圧縮装置。
(付記5)
前記第1のブロックのサイズは、前記第1のブロック内の前記複数のアドレスを始点とする前記複数のデータ列を1つのキャッシュメモリ内で並べ替え可能なサイズであることを特徴とする付記1乃至4のいずれか1項に記載のデータ圧縮装置。
(付記6)
複数のブロックに分割された圧縮対象データ列を格納するデータ格納部を参照して、前記複数のブロックのうち第1のブロック内の複数のアドレスを始点とする複数のデータ列を並べ替えた後の前記複数のデータ列の順序で、前記複数のアドレスを表す複数のアドレス情報をアドレス格納部に格納し、
前記複数のアドレス情報に基づいて、前記複数のデータ列のうち第1のデータ列と一致する第2のデータ列を前記第1のブロック内で探索し、前記第1のブロック内に前記第2のデータ列が含まれていない場合、前記複数のブロックのうち第2のブロックを参照して前記第2のデータ列を検出し、
検出された前記第2のデータ列の情報に基づいて前記第1のデータ列を符号化して出力する、
処理をコンピュータに実行させるプログラム。
(付記7)
前記データ格納部は、前記圧縮対象データ列を入力順に前方から後方へ向かって格納し、前記第2のブロックは、前記第1のブロックよりも前方のブロックであり、前記符号化部は、前記第2のデータ列の位置情報を用いて前記第1のデータ列を符号化することを特徴とする付記6記載のプログラム。
(付記8)
前記アドレス格納部は、前記複数のアドレス情報を前記複数のデータ列の値の順序で格納し、前記第2のデータ列を探索する処理は、前記複数のアドレス情報をデータ列の値の降順に参照しながら前記第2のデータ列を探索することを特徴とする付記7記載のプログラム。
(付記9)
前記アドレス格納部は、前記第2のブロック内の複数のアドレスを表す複数のアドレス情報を、前記第2のブロック内の前記複数のアドレスを始点とする複数のデータ列の値の順序で格納し、前記第2のデータ列を探索する処理は、前記第2のブロック内の前記複数のアドレスを表す前記複数のアドレス情報をデータ列の値の降順に参照しながら、前記第2のブロック内で前記第2のデータ列を探索し、参照位置のアドレス情報が表すアドレスを始点とする第3のデータ列の値が前記第1のデータ列の値よりも小さくなった場合、前記第2のブロックよりも前方の第3のブロックを参照して前記第2のデータ列を検出することを特徴とする付記8記載のプログラム。
(付記10)
前記第1のブロックのサイズは、前記第1のブロック内の前記複数のアドレスを始点とする前記複数のデータ列を1つのキャッシュメモリ内で並べ替え可能なサイズであることを特徴とする付記6乃至9のいずれか1項に記載のプログラム。
(付記11)
コンピュータによって実行されるデータ圧縮方法であって、
複数のブロックに分割された圧縮対象データ列を格納するデータ格納部を参照して、前記複数のブロックのうち第1のブロック内の複数のアドレスを始点とする複数のデータ列を並べ替えた後の前記複数のデータ列の順序で、前記複数のアドレスを表す複数のアドレス情報をアドレス格納部に格納し、
前記複数のアドレス情報に基づいて、前記複数のデータ列のうち第1のデータ列と一致する第2のデータ列を前記第1のブロック内で探索し、前記第1のブロック内に前記第2のデータ列が含まれていない場合、前記複数のブロックのうち第2のブロックを参照して前記第2のデータ列を検出し、
検出された前記第2のデータ列の情報に基づいて前記第1のデータ列を符号化して出力する、
ことを特徴とするデータ圧縮方法。
(付記12)
前記データ格納部は、前記圧縮対象データ列を入力順に前方から後方へ向かって格納し、前記第2のブロックは、前記第1のブロックよりも前方のブロックであり、前記符号化部は、前記第2のデータ列の位置情報を用いて前記第1のデータ列を符号化することを特徴とする付記11記載のデータ圧縮方法。
(付記13)
前記アドレス格納部は、前記複数のアドレス情報を前記複数のデータ列の値の順序で格納し、前記第2のデータ列を探索する処理は、前記複数のアドレス情報をデータ列の値の降順に参照しながら前記第2のデータ列を探索することを特徴とする付記12記載のデータ圧縮方法。
(付記14)
前記アドレス格納部は、前記第2のブロック内の複数のアドレスを表す複数のアドレス情報を、前記第2のブロック内の前記複数のアドレスを始点とする複数のデータ列の値の順序で格納し、前記第2のデータ列を探索する処理は、前記第2のブロック内の前記複数のアドレスを表す前記複数のアドレス情報をデータ列の値の降順に参照しながら、前記第2のブロック内で前記第2のデータ列を探索し、参照位置のアドレス情報が表すアドレスを始点とする第3のデータ列の値が前記第1のデータ列の値よりも小さくなった場合、前記第2のブロックよりも前方の第3のブロックを参照して前記第2のデータ列を検出することを特徴とする付記13記載のデータ圧縮方法。
(付記15)
前記第1のブロックのサイズは、前記第1のブロック内の前記複数のアドレスを始点とする前記複数のデータ列を1つのキャッシュメモリ内で並べ替え可能なサイズであることを特徴とする付記11乃至14のいずれか1項に記載のデータ圧縮方法。
301 入力バッファ
302、712、811、812、911〜914 順位リスト
303、713、821、822、921〜924 一致位置リスト
501 データ圧縮装置
511 データ格納部
512 アドレス格納部
513 検出部
514 符号化部
701 ソート部
702 一致位置格納部
711 圧縮対象データ列
801、802、901〜904 ブロック
1301 CPU
1302 メモリ
1303 入力装置
1304 出力装置
1305 補助記憶装置
1306 媒体駆動装置
1307 ネットワーク接続装置
1308 バス
1309 可搬型記録媒体
Claims (7)
- 複数のブロックに分割された圧縮対象データ列を格納するデータ格納部と、
前記複数のブロックのうち第1のブロック内の複数のアドレスを始点とする複数のデータ列を並べ替えた後の前記複数のデータ列の順序で、前記複数のアドレスを表す複数のアドレス情報を格納するアドレス格納部と、
前記複数のアドレス情報に基づいて、前記複数のデータ列のうち第1のデータ列と一致する第2のデータ列を前記第1のブロック内で探索し、前記第1のブロック内に前記第2のデータ列が含まれていない場合、前記複数のブロックのうち第2のブロックを参照して前記第2のデータ列を検出する検出部と、
検出された前記第2のデータ列の情報に基づいて前記第1のデータ列を符号化して出力する符号化部と、
を備えることを特徴とするデータ圧縮装置。 - 前記データ格納部は、前記圧縮対象データ列を入力順に前方から後方へ向かって格納し、前記第2のブロックは、前記第1のブロックよりも前方のブロックであり、前記符号化部は、前記第2のデータ列の位置情報を用いて前記第1のデータ列を符号化することを特徴とする請求項1記載のデータ圧縮装置。
- 前記アドレス格納部は、前記複数のアドレス情報を前記複数のデータ列の値の順序で格納し、前記検出部は、前記複数のアドレス情報をデータ列の値の降順に参照しながら前記第2のデータ列を探索することを特徴とする請求項2記載のデータ圧縮装置。
- 前記アドレス格納部は、前記第2のブロック内の複数のアドレスを表す複数のアドレス情報を、前記第2のブロック内の前記複数のアドレスを始点とする複数のデータ列の値の順序で格納し、前記検出部は、前記第2のブロック内の前記複数のアドレスを表す前記複数のアドレス情報をデータ列の値の降順に参照しながら、前記第2のブロック内で前記第2のデータ列を探索し、参照位置のアドレス情報が表すアドレスを始点とする第3のデータ列の値が前記第1のデータ列の値よりも小さくなった場合、前記第2のブロックよりも前方の第3のブロックを参照して前記第2のデータ列を検出することを特徴とする請求項3記載のデータ圧縮装置。
- 前記第1のブロックのサイズは、前記第1のブロック内の前記複数のアドレスを始点とする前記複数のデータ列を1つのキャッシュメモリ内で並べ替え可能なサイズであることを特徴とする請求項1乃至4のいずれか1項に記載のデータ圧縮装置。
- 複数のブロックに分割された圧縮対象データ列を格納するデータ格納部を参照して、前記複数のブロックのうち第1のブロック内の複数のアドレスを始点とする複数のデータ列を並べ替えた後の前記複数のデータ列の順序で、前記複数のアドレスを表す複数のアドレス情報をアドレス格納部に格納し、
前記複数のアドレス情報に基づいて、前記複数のデータ列のうち第1のデータ列と一致する第2のデータ列を前記第1のブロック内で探索し、前記第1のブロック内に前記第2のデータ列が含まれていない場合、前記複数のブロックのうち第2のブロックを参照して前記第2のデータ列を検出し、
検出された前記第2のデータ列の情報に基づいて前記第1のデータ列を符号化して出力する、
処理をコンピュータに実行させるプログラム。 - コンピュータによって実行されるデータ圧縮方法であって、
複数のブロックに分割された圧縮対象データ列を格納するデータ格納部を参照して、前記複数のブロックのうち第1のブロック内の複数のアドレスを始点とする複数のデータ列を並べ替えた後の前記複数のデータ列の順序で、前記複数のアドレスを表す複数のアドレス情報をアドレス格納部に格納し、
前記複数のアドレス情報に基づいて、前記複数のデータ列のうち第1のデータ列と一致する第2のデータ列を前記第1のブロック内で探索し、前記第1のブロック内に前記第2のデータ列が含まれていない場合、前記複数のブロックのうち第2のブロックを参照して前記第2のデータ列を検出し、
検出された前記第2のデータ列の情報に基づいて前記第1のデータ列を符号化して出力する、
ことを特徴とするデータ圧縮方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014031916A JP2015159352A (ja) | 2014-02-21 | 2014-02-21 | データ圧縮装置、データ圧縮方法、及びプログラム |
US14/594,476 US20150242433A1 (en) | 2014-02-21 | 2015-01-12 | Data compression apparatus and data compression method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014031916A JP2015159352A (ja) | 2014-02-21 | 2014-02-21 | データ圧縮装置、データ圧縮方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015159352A true JP2015159352A (ja) | 2015-09-03 |
Family
ID=53882402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014031916A Ceased JP2015159352A (ja) | 2014-02-21 | 2014-02-21 | データ圧縮装置、データ圧縮方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150242433A1 (ja) |
JP (1) | JP2015159352A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9813079B2 (en) | 2016-02-29 | 2017-11-07 | International Business Machines Corporation | High-throughput compression of data |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10187410A (ja) * | 1996-12-24 | 1998-07-21 | Fujitsu Ltd | データ圧縮方法及び装置 |
JP2001345710A (ja) * | 2000-03-31 | 2001-12-14 | Fujitsu Ltd | データ圧縮装置および方法 |
WO2009057459A1 (ja) * | 2007-10-30 | 2009-05-07 | Nec Corporation | データ圧縮方法 |
JP2013197850A (ja) * | 2012-03-19 | 2013-09-30 | Fujitsu Ltd | 符号化方法、符号化装置及びコンピュータプログラム |
-
2014
- 2014-02-21 JP JP2014031916A patent/JP2015159352A/ja not_active Ceased
-
2015
- 2015-01-12 US US14/594,476 patent/US20150242433A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10187410A (ja) * | 1996-12-24 | 1998-07-21 | Fujitsu Ltd | データ圧縮方法及び装置 |
JP2001345710A (ja) * | 2000-03-31 | 2001-12-14 | Fujitsu Ltd | データ圧縮装置および方法 |
WO2009057459A1 (ja) * | 2007-10-30 | 2009-05-07 | Nec Corporation | データ圧縮方法 |
JP2013197850A (ja) * | 2012-03-19 | 2013-09-30 | Fujitsu Ltd | 符号化方法、符号化装置及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20150242433A1 (en) | 2015-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10305512B2 (en) | Encoding method and apparatus | |
JP3889762B2 (ja) | データ圧縮方法、プログラム及び装置 | |
US9647684B2 (en) | Memory-based history search | |
US7098815B1 (en) | Method and apparatus for efficient compression | |
US20020196166A1 (en) | Data compression method and data compression apparatus | |
US11334609B2 (en) | Semantic structure search device and semantic structure search method | |
US10224957B1 (en) | Hash-based data matching enhanced with backward matching for data compression | |
JP2014534486A (ja) | スケーラブル・データ・デュプリケーションのための方法、システム、およびコンピュータ・プログラム | |
US10817474B2 (en) | Adaptive rate compression hash processor | |
JP2016533046A (ja) | 復元中に予備拡張辞書を利用するデータ復元 | |
JP2011250431A (ja) | データ圧縮装置および方法 | |
JP2015159352A (ja) | データ圧縮装置、データ圧縮方法、及びプログラム | |
JP2016170750A (ja) | データ管理プログラム、情報処理装置およびデータ管理方法 | |
JPWO2014097353A1 (ja) | 圧縮装置、圧縮方法、圧縮プログラム、伸張装置、伸張方法、伸張プログラム、および圧縮伸張システム | |
US11909423B2 (en) | Compression circuit, storage system, and compression method | |
US20140009314A1 (en) | Efficient string hash computation | |
JP2016134808A (ja) | データ圧縮プログラム、データ復元プログラム、データ圧縮装置、及びデータ復元装置 | |
US8854235B1 (en) | Decompression circuit and associated compression method and decompression method | |
JP2013197850A (ja) | 符号化方法、符号化装置及びコンピュータプログラム | |
JP6276386B2 (ja) | データ構造、情報処理装置、情報処理方法、及びプログラム記録媒体 | |
JP6838471B2 (ja) | インデックス生成プログラム、データ検索プログラム、インデックス生成装置、データ検索装置、インデックス生成方法、及びデータ検索方法 | |
US20190130022A1 (en) | Data generation method, information processing device, and recording medium | |
US11748307B2 (en) | Selective data compression based on data similarity | |
US20240106459A1 (en) | Compression device and compression method | |
JP2952067B2 (ja) | データ圧縮方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171017 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180213 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20180626 |