JP2012253696A - 数値データの圧縮システム及び方法 - Google Patents
数値データの圧縮システム及び方法 Download PDFInfo
- Publication number
- JP2012253696A JP2012253696A JP2011126795A JP2011126795A JP2012253696A JP 2012253696 A JP2012253696 A JP 2012253696A JP 2011126795 A JP2011126795 A JP 2011126795A JP 2011126795 A JP2011126795 A JP 2011126795A JP 2012253696 A JP2012253696 A JP 2012253696A
- Authority
- JP
- Japan
- Prior art keywords
- bit string
- block
- bits
- blocks
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【解決手段】入力データのビット列及び予測データのビット列のそれぞれの差分による差分ビット列を所定の数の単位の組でメモリにバッファリングするバッファ部と、バッファリングされた差分ビット列のそれぞれから、符号部及び指数部に対応するビット列部分を含む所定のビット数からなる上位ビット列を、所定のビット数からなる1又はそれ以上のブロックに分割し、また分割されたブロックを、上位から下位の順に組ごとに組み替えて連結することにより、先行ビット列としてバッファリングする再構築部と、バッファリングされた先行ビット列ついて、先頭ブロックからの値が零となるブロックの連続数に基づき先行ビット列を圧縮して圧縮先行ビット列を形成する先行列圧縮部とを含む圧縮システム。
【選択図】図7
Description
特許文献2: 特許第4049792号
特許文献3: 特許第4049793号
特許文献4: 再表2004/098066号
非特許文献2: M. Burtscher and P. Ratanaworabhan, “FPC: A High-Speed Compressor for Double-Presicion Floating-Point Data,” (http://users.ices.utexas.edu/~burtscher/papers/tc09.pdf)
図4は、本発明の圧縮システムの概要を示すブロック図である。入力される複数の浮動小数点形式の数値データに対し、コンピュータの中央処理装置は、レジスタやキャッシュ・メモリを含むメモリ操作を行いながら、各構成要素において次のように動作する。
を行う(Mは任意の自然数である)。
本発明による第2の実施形態では、第1の実施形態における先行ビット列Liの圧縮率を向上させるために、アドレス再構築部521において、更に、図9〜図11に示すブロックの入れ替え処理を行う。
本発明による第3の実施形態は、主に、上記第1実施形態における、予測器3及び差分器4を用いて複数の入力された入力データAn及び複数の予測された予測データPnの各ビット列の差分(例えば、排他的論理和)から複数の差分ビット列Dnを出力するという構成についての代替の実施の形態を示すものである。
上述した実施形態1〜3では、先行ビット列に対して圧縮処理を行う構成であったが、第4の実施形態では、更に、残余ビット列に対しても圧縮処理を行う。
をバッファリングしてまとめて連結し、残余ビットの集合列Rを形成する構成について記載している。ここでは、残余ビット列RiにおけるM個の6バイト列をr(i,1)〜r(i,M)としている。このようにして形成される残余ビット集合列Rは、6×Nバイト長のものとなる。残余ビット集合列Rに対し、図18に示すように6バイトの
の中から零(0)が6バイト連続する(即ち、値が0)もの、又は零(0)が5バイト含まれるものを抽出して、この抽出した位置を示す位置列Hを形成する。尚、零(0)が5バイト含まれるr(i,j)については、当該r(i,j)内の非零(0でない)となるバイトの位置、及びそのビット列を別途記憶する。図18においては、r(i0,1)及びr(i1,3)が、零(0)が6バイト連続するもの又は零(0)が5バイト含まれるものに該当し、これらの位置をH1及びH2として位置列Hを生成する。
について、i=1,2・・・の順に圧縮動作と逆動作を行うことで、圧縮出力Ciを伸長して入力データAn(n=1,2,・・・,N)を復元することが可能である。
Claims (7)
- 連続して入力される複数の入力データを各前記入力データに対する予測データに基づいて圧縮するシステムであって、
前記入力データ及び前記予測データの浮動小数点形式が、所定のビット数を有する符号部、指数部及び仮数部の順で表される2進数のビット列からなるように構成され、
前記入力データのビット列及び前記予測データのビット列のそれぞれの差分ビット列を所定の数の単位の組でバッファリングするバッファ部と、
前記バッファリングされた差分ビット列のそれぞれから、前記符号部及び前記指数部に対応するビット列部分を含む所定の数のビット数からなる上位ビット列を、所定のビット数からなる1以上のブロックに分割、及び該分割されたブロックを上位から下位の順に前記組ごとに組み替えて連結を行うことにより、先行ビット列としてバッファリングする再構築部と、
前記バッファリングされた先行ビット列ついて、先頭ブロックからの値が零となるブロックの連続数に基づき前記先行ビット列を圧縮して圧縮先行ビット列を形成する先行列圧縮部と、を含むシステム。 - 請求項1に記載のシステムにおいて、
前記再構築部が、更に、前記連結が行われた先行ビット列に対して、上位のブロックから順に値が非零となるブロックを検査し、及び下位のブロックから順に値が零となるブロックを検査し、当該非零ブロック及び当該零ブロックがそれぞれ検出された場合には、これらを入れ替えるように構成され、
前記先行列圧縮部において形成される前記圧縮先行ビット列が、更に、前記入れ替えたブロックの位置を示すビット列を含む、システム。 - 請求項1又は2に記載のシステムにおいて、前記予測データが第1の予測データ及び第2の予測データを含み、前記システムは、更に、
前記バッファ部においてバッファリングされる前記差分ビット列が、前記入力データのビット列と前記第1予測データ及び前記第2予測データのビット列とのそれぞれの差分による第1の差分ビット列及び第2の差分ビット列から選択されて、前記バッファ部に出力される比較部を含み、
該選択は、前記第1差分ビット列及び前記第2差分ビット列がそれぞれ備える前記所定のビット数のブロックの数に基づいて行われる、システム。 - 請求項1から3のいずれか1項に記載のシステムにおいて、前記入力データ及び前記予測データが、IEEE754に規定される64ビットの倍精度浮動小数点形式のデータであり、
前記再構築部で分割されるブロックがバイト単位であり、更に、前記差分ビット列の上位ビット列が、1バイトの第1のブロック、1/2バイトの第2のブロック、及び1/2バイトの第3のブロックの順に分割して形成されることを含む、システム。 - 請求項1から3のいずれか1項に記載のシステムにおいて、
前記上位ビット列のビット数が、前記符号部及び前記指数部を表すビット数であり、前記再構築部で分割されるブロックが、該ビット数の単位に基づいて構成される、システム。 - 請求項1から5のいずれか1項に記載のシステムにおいて、
前記再構築部が、更に、前記差分ビット列から前記上位ビット列を除いた下位ビット列を組ごとに連結して形成される残余ビット列を、所定のビット数からなる第4のブロックの単位で分割するように構成され、更に、
該第4のブロックの単位で分割された各ブロックのうち、零が所定のバイト数以上含まれるブロックを抽出及び削除することに基づいて、前記残余ビット列を圧縮する残余列圧縮部を備える、システム。 - 連続して入力される複数の入力データを各前記入力データに対する予測データに基づいて圧縮する方法であって、
該方法は、コンピュータによって実施され、
前記入力データ及び前記予測データの浮動小数点形式が、所定のビット数を有する符号部、指数部及び仮数部の順で表される2進数のビット列からなるように構成され、
前記入力データのビット列及び前記予測データのビット列のそれぞれの差分ビット列を所定の数の単位の組でメモリにバッファリングするバッファ・ステップと、
前記バッファリングされた差分ビット列のそれぞれから、前記符号部及び前記指数部に対応するビット列部分を含む所定のビット数からなる上位ビット列を、所定のビット数からなる1以上のブロックに分割、及び該分割されたブロックを上位から下位の順に前記組ごとに組み替えて連結を行うことにより、先行ビット列としてバッファリングする再構築ステップと、
前記バッファリングされた先行ビット列について、先頭ブロックからの値が零となるブロックの連続数に基づき前記先行ビット列を圧縮して圧縮先行ビット列を形成する先行列圧縮ステップと、を含み、
前記再構築ステップが、更に、前記連結された先行ビット列に対して、上位のブロックから順に値が非零となるブロックを検査し、及び下位のブロックから順に値が零となるブロックを検査し、当該非零ブロック及び当該零ブロックがそれぞれ検出された場合には、これらを入れ替えるように構成されることを特徴とする、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011126795A JP5762151B2 (ja) | 2011-06-06 | 2011-06-06 | 数値データの圧縮システム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011126795A JP5762151B2 (ja) | 2011-06-06 | 2011-06-06 | 数値データの圧縮システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012253696A true JP2012253696A (ja) | 2012-12-20 |
JP5762151B2 JP5762151B2 (ja) | 2015-08-12 |
Family
ID=47526056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011126795A Active JP5762151B2 (ja) | 2011-06-06 | 2011-06-06 | 数値データの圧縮システム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5762151B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019536386A (ja) * | 2016-12-08 | 2019-12-12 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated | ナローリンクにおける頻出データ値の圧縮 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04180413A (ja) * | 1990-11-15 | 1992-06-26 | Nec Corp | 2進浮動小数点データ圧縮拡張方式 |
JPH04195421A (ja) * | 1990-11-28 | 1992-07-15 | Hitachi Ltd | 浮動小数点データの圧縮方法 |
JPH10190478A (ja) * | 1996-12-27 | 1998-07-21 | Sony Corp | データ圧縮装置および方法、記録媒体、並びに、データ伸張装置および方法 |
JP2005018606A (ja) * | 2003-06-27 | 2005-01-20 | Nippon Telegr & Teleph Corp <Ntt> | 浮動小数点形式信号系列の線形予測分析方法、その装置、プログラムおよびその記録媒体 |
JP4049791B2 (ja) * | 2003-04-28 | 2008-02-20 | 日本電信電話株式会社 | 浮動小数点形式ディジタル信号可逆符号化方法、及び復号化方法と、その各装置、その各プログラム |
WO2010113674A1 (ja) * | 2009-03-30 | 2010-10-07 | 日本電気株式会社 | 情報処理システム、情報圧縮装置、情報復元装置、情報処理方法及びそのプログラム |
WO2011050293A2 (en) * | 2009-10-23 | 2011-04-28 | Samplify Systems, Inc. | Block floating point compression of signal data |
-
2011
- 2011-06-06 JP JP2011126795A patent/JP5762151B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04180413A (ja) * | 1990-11-15 | 1992-06-26 | Nec Corp | 2進浮動小数点データ圧縮拡張方式 |
JPH04195421A (ja) * | 1990-11-28 | 1992-07-15 | Hitachi Ltd | 浮動小数点データの圧縮方法 |
JPH10190478A (ja) * | 1996-12-27 | 1998-07-21 | Sony Corp | データ圧縮装置および方法、記録媒体、並びに、データ伸張装置および方法 |
JP4049791B2 (ja) * | 2003-04-28 | 2008-02-20 | 日本電信電話株式会社 | 浮動小数点形式ディジタル信号可逆符号化方法、及び復号化方法と、その各装置、その各プログラム |
JP2005018606A (ja) * | 2003-06-27 | 2005-01-20 | Nippon Telegr & Teleph Corp <Ntt> | 浮動小数点形式信号系列の線形予測分析方法、その装置、プログラムおよびその記録媒体 |
WO2010113674A1 (ja) * | 2009-03-30 | 2010-10-07 | 日本電気株式会社 | 情報処理システム、情報圧縮装置、情報復元装置、情報処理方法及びそのプログラム |
WO2011050293A2 (en) * | 2009-10-23 | 2011-04-28 | Samplify Systems, Inc. | Block floating point compression of signal data |
Non-Patent Citations (2)
Title |
---|
JPN6015008988; 大原 衛,山口 隆志: '超並列数値シミュレーションにおける倍精度浮動小数点データ圧縮手法に関する一考察' 電子情報通信学会技術研究報告 Vol.111,No.1, 20110405, pp.5-10 * |
JPN6015008991; Martin Burtscher, Paruj Ratanaworabhan: 'FPC: A High-Speed compressor for Double-Precision Floating-Point Data' IEEE TRANSACTIONS ON COMPUTERS VOL.58,NO.1, 200901, pp.18-31 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019536386A (ja) * | 2016-12-08 | 2019-12-12 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated | ナローリンクにおける頻出データ値の圧縮 |
Also Published As
Publication number | Publication date |
---|---|
JP5762151B2 (ja) | 2015-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2487798B1 (en) | Information compression-coding device, its decoding device, method thereof, program thereof and recording medium storing the program | |
CN103975533B (zh) | 可变长度编码的数据流的高带宽解压 | |
US20130007078A1 (en) | Compression of floating-point data in encoding groups | |
KR100894002B1 (ko) | 선택적 압축과 복원 및 압축 데이터에 대한 데이터 포맷을위한 장치 및 방법 | |
JP4049793B2 (ja) | 浮動小数点信号可逆符号化方法、復号化方法、及びそれらの装置、プログラム及びその記録媒体 | |
Chern et al. | Reference based genome compression | |
GB2542511A (en) | Data compression | |
KR20180019598A (ko) | 시맨틱 값 데이터 압축 및 압축해제를 위한 방법, 장치 및 시스템 | |
JP2013251895A (ja) | 信号データの圧縮および圧縮解除のための方法および装置(信号データの圧縮および圧縮解除) | |
JP2018534811A (ja) | ロスレスデータ圧縮 | |
US10164654B2 (en) | Data compressing device, data decompressing device, and data compressing/decompressing apparatus | |
JP6048251B2 (ja) | データ圧縮装置、データ圧縮方法、およびデータ圧縮プログラム、並びにデータ復元装置、データ復元方法、およびデータ復元プログラム | |
Nandi et al. | A compression technique based on optimality of LZW code (OLZW) | |
US10193565B2 (en) | Compressive encoding apparatus, compressive encoding method, decoding apparatus, decoding method, and program | |
Kaur | Design and Implementation of Lzw data compression algorithm | |
JP6227186B2 (ja) | データ圧縮装置、データ伸張装置、データ圧縮方法、データ伸張方法及びプログラム | |
Ledwon et al. | Design and evaluation of an FPGA-based hardware accelerator for deflate data decompression | |
JP5762151B2 (ja) | 数値データの圧縮システム及び方法 | |
JP4758494B2 (ja) | ビット長を符号に変換する回路及び方法 | |
CN107534446A (zh) | 用于高带宽lz77解压缩的asic块 | |
Sano et al. | Segment-parallel predictor for FPGA-based hardware compressor and decompressor of floating-point data streams to enhance memory I/O bandwidth | |
Ochoa et al. | AliCo: a new efficient representation for SAM files | |
WO2019155556A1 (ja) | 行列圧縮装置、圧縮行列アクセス装置、方法、及びコンピュータ可読媒体 | |
JP5149454B1 (ja) | Ykm形式圧縮プログラムを記録した記録媒体 | |
US20180145701A1 (en) | Sonic Boom: System For Reducing The Digital Footprint Of Data Streams Through Lossless Scalable Binary Substitution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140501 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5762151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |