JP2014204356A - 文字列圧縮方法及び装置 - Google Patents
文字列圧縮方法及び装置 Download PDFInfo
- Publication number
- JP2014204356A JP2014204356A JP2013080291A JP2013080291A JP2014204356A JP 2014204356 A JP2014204356 A JP 2014204356A JP 2013080291 A JP2013080291 A JP 2013080291A JP 2013080291 A JP2013080291 A JP 2013080291A JP 2014204356 A JP2014204356 A JP 2014204356A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- sample
- replacement
- replacement pointer
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000007906 compression Methods 0.000 title claims abstract description 36
- 230000006835 compression Effects 0.000 title claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】 本発明は、サンプル文字列長M(M<<N)の部分文字列長Sとし、入力文字列Nの開始位置から長さSの部分文字列を取得してサンプル文字列記憶手段に格納し、入力文字列Nの開始位置iから始まる部分文字列と、サンプル文字列記憶手段から読み出したサンプル文字列Mの最大一致長LMと該部分文字列の出現位置PMと、入力文字列Nの開始位置i番目から始まる部分文字列とし、該入力文字列Nの0番目からi−1番目までに出現した部分文字列との最大一致長LNと、該出現した部分文字列の出現位置を求め、LM<LNである場合は、置換ポインタを該入力文字列Nの過去の位置を示すものとし、LM≧LN以上である場合は該置換ポインタをサンプル文字列M上の位置を示すものとし、該入力文字列Nの[i…i+L+1]の部分文字列を出現済みの部分文字列として動的辞書記憶手段に格納し、置換ポインタ列と該サンプル文字列を出力する。
【選択図】 図3
Description
前記入力文字列Nの開始位置iから始まる部分文字列と、前記サンプル文字列記憶手段から読み出した前記サンプル文字列Mの最大一致長LMと該部分文字列の出現位置PMと、前記入力文字列Nの開始位置i番目から始まる部分文字列とし、該入力文字列Nの0番目からi−1番目までに出現した部分文字列との最大一致長LNと、該出現した部分文字列の出現位置を求め、該最大一致長LNが該最大一致長LMより大きい場合(LN>LM)は、置換ポインタを該入力文字列Nの過去の位置を示すものとし、該最大一致長LMが該最大一致長LN以上である場合(LM≦LN)は、該置換ポインタをサンプル文字列M上の位置を示すものとし、該入力文字列Nの[i…i+L+1]の部分文字列を出現済みの部分文字列として動的辞書記憶手段に格納し、置換ポインタ列と該サンプル文字列を出力する置換ポインタ生成手段と、
を有する符号化手段と、
前記置換ポインタ生成手段から前記置換ポインタ列と前記サンプル文字列を取得し、置換ポインタがサンプル文字列M上の位置を示している場合には、該置換ポインタが参照するサンプル文字列M上の部分文字列を出力し、該置換ポインタが前記入力文字列Nの過去の位置を示す場合には、該置換ポインタが参照する既に復元済みの部分文字列を出力する置換ポインタ分析手段を有する復号手段と、を有する。
110 サンプル文字列生成部
120 サンプル文字列取得部
130 置換ポインタ生成部
140 サンプル文字列探索部
150 サンプル文字列M記憶部
160 動的辞書探索・更新部
170 動的辞書記憶部
180 置換ポインタ記憶部
200 復号部
210 置換ポインタ分析部
220 入力サンプル文字列記憶部
230 出力文字列記憶部
Claims (4)
- 置換方式による文字列圧縮装置であって、
サンプル文字列長M(M<<N)の部分文字列長Sとし、入力文字列Nの開始位置から長さSの部分文字列を取得してサンプル文字列記憶手段に格納するサンプル文字列生成手段と、
前記入力文字列Nの開始位置iから始まる部分文字列と、前記サンプル文字列記憶手段から読み出した前記サンプル文字列Mの最大一致長LMと該部分文字列の出現位置PMと、前記入力文字列Nの開始位置i番目から始まる部分文字列とし、該入力文字列Nの0番目からi−1番目までに出現した部分文字列との最大一致長LNと、該出現した部分文字列の出現位置を求め、該最大一致長LNが該最大一致長LMより大きい場合は、置換ポインタを該入力文字列Nの過去の位置を示すものとし、該最大一致長LMが該最大一致長LN以上である場合は、該置換ポインタをサンプル文字列M上の位置を示すものとし、該入力文字列Nの[i…i+L+1]の部分文字列を出現済みの部分文字列として動的辞書記憶手段に格納し、置換ポインタ列と該サンプル文字列を出力する置換ポインタ生成手段と、
を有する符号化手段と、
前記置換ポインタ生成手段から前記置換ポインタ列と前記サンプル文字列を取得し、置換ポインタがサンプル文字列M上の位置を示している場合には、該置換ポインタが参照するサンプル文字列M上の部分文字列を出力し、該置換ポインタが前記入力文字列Nの過去の位置を示す場合には、該置換ポインタが参照する既に復元済みの部分文字列を出力する置換ポインタ分析手段を有する復号手段と、
を有することを特徴とするサンプル文字列(辞書)を用いた二段階置き換えによる圧縮装置。 - 前記サンプル文字列記憶手段は、前記入力文字列Nに対して1%以下程度の領域とする
請求項1記載のサンプル文字列(辞書)を用いた二段階置き換えによる圧縮装置。 - 置換方式による文字列圧縮方法であって、
サンプル文字列生成手段と、サンプル文字列記憶手段と、動的辞書記憶手段と、置換ポインタ生成手段とを有する符号化手段、及び、置換ポインタ分析手段を有する復号手段とを有する装置において、
前記符号化手段の前記サンプル文字列生成手段が、サンプル文字列長M(M<<N)の部分文字列長Sとし、入力文字列Nの開始位置から長さSの部分文字列を取得してサンプル文字列記憶手段に格納するサンプル文字列生成ステップと、
前記符号化手段の前記置換ポインタ生成手段が、前記入力文字列Nの開始位置iから始まる部分文字列と、前記サンプル文字列記憶手段から読み出した前記サンプル文字列Mの最大一致長LMと該部分文字列の出現位置PMと、前記入力文字列Nの開始位置i番目から始まる部分文字列とし、該入力文字列Nの0番目からi−1番目までに出現した部分文字列との最大一致長LNと、該出現した部分文字列の出現位置を求め、該最大一致長LNが該最大一致長LMより大きい場合は、置換ポインタを該入力文字列Nの過去の位置を示すものとし、該最大一致長LMが該最大一致長LN以上である場合は該置換ポインタをサンプル文字列M上の位置を示すものとし、該入力文字列Nの[i…i+L+1]の部分文字列を出現済みの部分文字列として動的辞書記憶手段に格納し、置換ポインタ列と該サンプル文字列を出力する置換ポインタ生成ステップと、
前記復号手段の前記置換ポインタ分析手段が、前記符号化手段より前記置換ポインタ列と前記サンプル文字列を取得し、置換ポインタがサンプル文字列M上の位置を示している場合には、該置換ポインタが参照するサンプル文字列M上の部分文字列を出力し、該置換ポインタが前記入力文字列Nの過去の位置を示す場合には、該置換ポインタが参照する既に復元済みの部分文字列を出力する置換ポインタ分析ステップと、
を行うことを特徴とするサンプル文字列(辞書)を用いた二段階置き換えによる圧縮方法。 - 前記サンプル文字列記憶手段を、前記入力文字列Nに対して1%以下程度の領域とする
請求項3記載のサンプル文字列(辞書)を用いた二段階置き換えによる圧縮方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013080291A JP5808359B2 (ja) | 2013-04-08 | 2013-04-08 | 文字列圧縮及び復元システム並びに方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013080291A JP5808359B2 (ja) | 2013-04-08 | 2013-04-08 | 文字列圧縮及び復元システム並びに方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014204356A true JP2014204356A (ja) | 2014-10-27 |
JP5808359B2 JP5808359B2 (ja) | 2015-11-10 |
Family
ID=52354417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013080291A Expired - Fee Related JP5808359B2 (ja) | 2013-04-08 | 2013-04-08 | 文字列圧縮及び復元システム並びに方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5808359B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022083682A1 (en) * | 2020-10-21 | 2022-04-28 | Beijing Bytedance Network Technology Co., Ltd. | Sample string processing in intra coding |
CN117792403A (zh) * | 2024-02-26 | 2024-03-29 | 成都农业科技职业学院 | 基于流式大数据技术的分布式农业数据存储管理方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0628149A (ja) * | 1992-07-10 | 1994-02-04 | Fujitsu Ltd | 複数種類データのデータ圧縮方法 |
JPH0683574A (ja) * | 1991-03-20 | 1994-03-25 | Fujitsu Ltd | データ圧縮及び復元方式 |
WO1998034183A1 (fr) * | 1997-02-03 | 1998-08-06 | Hitachi, Ltd. | Procede de recherche de chaines de caracteres et base de donnees de chaines de caracteres |
JPH11168390A (ja) * | 1997-12-03 | 1999-06-22 | Fujitsu Ltd | データ圧縮装置及びデータ復元装置,データ圧縮方法及びデータ復元方法,データ圧縮/復元用辞書作成装置並びにデータ圧縮プログラム又はデータ復元プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2000357970A (ja) * | 1999-06-17 | 2000-12-26 | Nippon Telegr & Teleph Corp <Ntt> | 文字列データ圧縮符号化装置及び文字列データ復元装置及び文字列データ演算処理装置 |
JP2002269139A (ja) * | 2001-03-08 | 2002-09-20 | Ricoh Co Ltd | 文書検索方法 |
WO2004062110A1 (ja) * | 2002-12-26 | 2004-07-22 | Fujitsu Limited | データ圧縮方法、プログラム及び装置 |
-
2013
- 2013-04-08 JP JP2013080291A patent/JP5808359B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0683574A (ja) * | 1991-03-20 | 1994-03-25 | Fujitsu Ltd | データ圧縮及び復元方式 |
JPH0628149A (ja) * | 1992-07-10 | 1994-02-04 | Fujitsu Ltd | 複数種類データのデータ圧縮方法 |
WO1998034183A1 (fr) * | 1997-02-03 | 1998-08-06 | Hitachi, Ltd. | Procede de recherche de chaines de caracteres et base de donnees de chaines de caracteres |
JPH11168390A (ja) * | 1997-12-03 | 1999-06-22 | Fujitsu Ltd | データ圧縮装置及びデータ復元装置,データ圧縮方法及びデータ復元方法,データ圧縮/復元用辞書作成装置並びにデータ圧縮プログラム又はデータ復元プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2000357970A (ja) * | 1999-06-17 | 2000-12-26 | Nippon Telegr & Teleph Corp <Ntt> | 文字列データ圧縮符号化装置及び文字列データ復元装置及び文字列データ演算処理装置 |
JP2002269139A (ja) * | 2001-03-08 | 2002-09-20 | Ricoh Co Ltd | 文書検索方法 |
WO2004062110A1 (ja) * | 2002-12-26 | 2004-07-22 | Fujitsu Limited | データ圧縮方法、プログラム及び装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022083682A1 (en) * | 2020-10-21 | 2022-04-28 | Beijing Bytedance Network Technology Co., Ltd. | Sample string processing in intra coding |
CN117792403A (zh) * | 2024-02-26 | 2024-03-29 | 成都农业科技职业学院 | 基于流式大数据技术的分布式农业数据存储管理方法 |
CN117792403B (zh) * | 2024-02-26 | 2024-05-07 | 成都农业科技职业学院 | 基于流式大数据技术的分布式农业数据存储管理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5808359B2 (ja) | 2015-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101841103B1 (ko) | Vlsi 효율적인 허프만 인코딩 장치 및 방법 | |
US9214954B2 (en) | Increasing speed of data compression | |
US20120288088A1 (en) | Method and system for compressing and encrypting data | |
US11341415B2 (en) | Method and apparatus for compressing neural network | |
US11620260B2 (en) | Record property synchronization in a network computing system | |
JP4077409B2 (ja) | 高速最長一致探索方法及び装置 | |
US8692696B2 (en) | Generating a code alphabet of symbols to generate codewords for words used with a program | |
JP2016533046A (ja) | 復元中に予備拡張辞書を利用するデータ復元 | |
KR101866151B1 (ko) | 적응형 레이트 압축 해시 프로세싱 디바이스 | |
US20160314141A1 (en) | Compression-based filtering for deduplication | |
JP5808359B2 (ja) | 文字列圧縮及び復元システム並びに方法 | |
CN115208414A (zh) | 数据压缩方法、数据压缩装置、计算机设备及存储介质 | |
US7889102B2 (en) | LZSS with multiple dictionaries and windows | |
US9673836B1 (en) | System level testing of entropy encoding | |
JP5808360B2 (ja) | 文字列圧縮及び復元システム並びに方法 | |
US9197243B2 (en) | Compression ratio for a compression engine | |
JP5808361B2 (ja) | 文字列圧縮及び復元システム並びに方法 | |
Duanmu et al. | SKVQ: Sliding-window Key and Value Cache Quantization for Large Language Models | |
US8593310B1 (en) | Data-driven variable length encoding of fixed-length data | |
CN113221173A (zh) | 一种密文处理方法、装置、设备及存储介质 | |
US10826962B2 (en) | Techniques for dynamic shared compression | |
Fenglei | Research on telemetry data compression technology based on inter frame differential adaptive run length encoding | |
Rincy et al. | Preprocessed text compression method for Malayalam text files | |
Wu et al. | A Dynamic and Parallel Two-Stage Lossless Data Compression Method for Smart Grid | |
Rădescu | Comparative Study of Performances in Lossless Data Compression for English and Romanian Text Files Using the Q-Coder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150331 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150810 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5808359 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |