JP2016143994A - 符号化プログラムおよび伸長プログラム - Google Patents

符号化プログラムおよび伸長プログラム Download PDF

Info

Publication number
JP2016143994A
JP2016143994A JP2015017716A JP2015017716A JP2016143994A JP 2016143994 A JP2016143994 A JP 2016143994A JP 2015017716 A JP2015017716 A JP 2015017716A JP 2015017716 A JP2015017716 A JP 2015017716A JP 2016143994 A JP2016143994 A JP 2016143994A
Authority
JP
Japan
Prior art keywords
character string
compressed
dictionary
unit
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015017716A
Other languages
English (en)
Other versions
JP6742692B2 (ja
Inventor
片岡 正弘
Masahiro Kataoka
正弘 片岡
泰裕 鈴木
Yasuhiro Suzuki
泰裕 鈴木
量 松村
Ryo Matsumura
量 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015017716A priority Critical patent/JP6742692B2/ja
Priority to KR1020160010608A priority patent/KR101772312B1/ko
Priority to CN201610059698.3A priority patent/CN105846825B/zh
Priority to EP16153348.4A priority patent/EP3051430B1/en
Priority to AU2016200550A priority patent/AU2016200550B2/en
Priority to US15/010,638 priority patent/US9509334B2/en
Publication of JP2016143994A publication Critical patent/JP2016143994A/ja
Application granted granted Critical
Publication of JP6742692B2 publication Critical patent/JP6742692B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • H03M7/3091Data deduplication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】圧縮データのデータ長が長くなること解消すること。
【解決手段】本実施例にかかる情報処理装置100は、静的辞書C2を用いて圧縮対象の文字列を圧縮する際、静的辞書に圧縮対象の文字列が登録されているか否かをビットフィルタC1を用いて判定する。そして、情報処理装置100は、静的辞書に登録されていない文字列を検出した場合には、検出した文字列に動的辞書に登録し、動的辞書の登録番号を文字列の圧縮符号とする。
【選択図】図6

Description

本発明は、符号化プログラム等に関する。
近年、静的辞書を用いて圧縮対象ファイルを符号化する従来技術が存在する。この静的辞書は、一般的な英語辞典、国語辞典や教科書などを基にして、文書中に出現する単語や文字の出現頻度を特定し、出現頻度のより高い単語に対して、より短い圧縮符号を割当てた辞書である。従来技術では、静的辞書をもとに、圧縮対象ファイルのテキストを静的辞書の単語や文字に割り当てられた圧縮符号に変換することで、圧縮処理を行い、圧縮ファイルを作成する。
特開平8−288861号公報 特表2004−514366号公報 特開平6−222903号公報
しかしながら、上述した従来技術では、圧縮ファイルのデータにおいて、静的辞書に登録されていない単語に関して、割り当てられる圧縮符号長が長くなり、圧縮率が低下するという問題がある。
例えば、従来技術で用いる静的辞書には、人名、地名、作品名などの単語は登録されていないため、単語を構成する文字に分解され、各文字に割り当てられた圧縮符号に変換され、圧縮処理が行われる。このような場合には、圧縮対象ファイルの圧縮率が低下してしまう。
1つの側面では、圧縮ファイルの単語などの文字列に割り当てられる圧縮符号長が長くなること解消する符号化プログラムおよび伸長プログラムを提供することを目的とする。
第1の案では、コンピュータに、下記の処理を実行させる。コンピュータは、入力データに含まれる圧縮対象の文字列について、文字列および該文字列に対応する圧縮符号を対応付けた第1辞書を用いて、圧縮対象の文字列が第1辞書に登録されているか否かを判定する。コンピュータは、圧縮対象の文字列が前記第1辞書に登録されている場合は、第1辞書に登録された圧縮対象の文字列に対応する圧縮符号を出力する。コンピュータは、圧縮対象の文字列が前記第1辞書に登録されていない場合は、入力データの一部であって、圧縮対象の文字列の処理より前に第1辞書に登録されていないと判定された文字列を蓄積した第1のデータと、圧縮対象の文字列とを照合する。コンピュータは、一致した文字列を第1辞書と異なる第2辞書に登録し、圧縮対象の文字列の第2辞書における登録番号に対応する圧縮符号を出力する。
本発明の1実施態様によれば、圧縮ファイルの単語などの文字列に対応した圧縮符号長が長くなること解消することができるという効果を奏する。
図1は、本実施例に係る情報処理装置の圧縮処理の流れの一例を示す図(1)である。 図2は、動的辞書部の一例を示す図である。 図3は、本実施例に係る情報処理装置の圧縮処理の流れの一例を示す図(2)である。 図4は、圧縮ファイルF2のブロック構成例を示す図である。 図5は、本実施例に係る情報処理装置の伸長処理の流れの一例を示す図である。 図6は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。 図7は、圧縮用のケヤキ木のデータ構造の一例を示す図である。 図8は、伸長用のケヤキのデータ構造の一例を示す図である。 図9は、本実施例に係る圧縮部の構成の一例を示す機能ブロック図である。 図10は、本実施例に係る伸長部の構成の一例を示す機能ブロック図である。 図11は、本実施例に係る圧縮部の処理手順を示すフローチャートである。 図12は、本実施例に係る伸長部の処理手順を示すフローチャートである。 図13は、コンピュータのハードウェア構成例を示す図である。 図14は、コンピュータで動作するプログラムの構成例を示す図である。 図15は、実施形態のシステムにおける装置の構成例を示す図である。
以下に、本願の開示する符号化プログラムおよび伸長プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例に係る情報処理装置の圧縮処理の流れの一例を示す図である。情報処理装置は、圧縮処理のワークエリアとして、メモリに記憶領域A1、記憶領域A2、記憶領域A3、記憶領域A4を設ける。以下の説明では適宜、記憶領域A1、記憶領域A2、記憶領域A3をそれぞれ、符号化部、参照部、動的辞書部と呼ぶ。
情報処理装置は、圧縮対象のファイルF1を読み出し、ファイルF1のテキストに対し、先頭文字から終端記号を区切りとする文字列を単語として抽出する。例えば、ファイルF1には「・・・Kataoka△talks△・・・」というデータが含まれる。「Kataoka△」や「talks△」などの単語が存在する。終端記号は、空白(スペース)やカンマ(,)ピリオド(.)の記号である。本実施例では一例として、終端記号を「△(三角)」で表す。
情報処理装置は、ビットフィルタC1と文字列とを比較して、文字列がビットフィルタC1にヒットするか否かを判定する。ビットフィルタは、静的辞書を用いて圧縮する単語の文字列を特定するフィルタである。情報処理装置は、文字列がビットフィルタC1にヒットした場合には、静的辞書に基づいて単語の文字列に対応する圧縮符号に変換し、圧縮データを出力する。これに対して、情報処理装置は、文字列がビットフィルタC1の静的辞書にヒットしない場合には、動的辞書に登録された単語の文字列に対応する圧縮符号に
変換し、圧縮データを出力する。
ここで、静的辞書とは、一般的な英語辞書、国語辞典や教科書などを基にして文書中に出現する単語や文字の出現頻度を特定し、出現頻度のより高い単語や文字に対して、より短い圧縮符号を割当てた辞書である。
動的辞書は、ビットフィルタC1にヒットしない文字列はスライド窓の符号化部に格納され、蓄積された参照部の文字列と照合される。一致した文字列は、動的辞書に登録され、その登録番号が圧縮符号に割り当てられる。動的辞書に関する詳しい説明は後述する。
情報処理装置が圧縮対象のファイルF1の単語の文字列「talks△」の圧縮データを生成する場合の処理について説明する。また、単語の文字列「talks△」は、ビットフィルタC1にヒットするものとする。
情報処理装置は、単語の文字列「talks△」とビットフィルタC1とを比較して、単語の文字列「talks△」がビットフィルタC1にヒットするか否かを判定する。情報処理装置は、単語の文字列「talks△」がビットフィルタC1にヒットするため、単語の文字列「talks△」を静的辞書に登録されている圧縮符号に符号化する。情報処理装置は、識別子「0」と単語の文字列「talks△」の圧縮符号とを含む圧縮データd1を生成する。識別子「0」は、文字列が静的辞書に基づいて符号化されたことを示す情報である。情報処理装置は、圧縮データd1を記憶領域A4に書き込む。
次に、情報処理装置が圧縮対象のファイルF1の単語の文字列「Kataoka△」の圧縮データを生成する場合の処理について説明する。また、単語の文字列「Kataoka△」は、ビットフィルタC1にヒットしないものとする。
情報処理装置は、単語の文字列「Kataoka△」とビットフィルタC1とを比較して、単語の文字列「Kataoka△」がビットフィルタC1にヒットするか否かを判定する。情報処理装置は、単語の文字列「Kataoka△」がビットフィルタC1にヒットしないため、下記の処理を実行する。
情報処理装置は、単語の文字列「Kataoka△」を記憶領域A1に格納し、記憶領域A2に格納された単語の文字列と、記憶領域A1の単語の文字列とを比較して、一致単語を検索する。「一致単語」は、記憶領域A1に格納された単語の文字列と一致する記憶領域A2に格納された単語である。例えば、記憶領域A2に文字列「・・・Kataoka△・・・」が既に格納されている場合には、一致単語は「Kataoka△」となる。情報処理装置は、記憶領域A2に対して「K」の探索を行い、探索により得られた記憶領域A2内の「K」の位置から「a」、「t」、「a」、「o」、「k」、「a」、「△」と連続しているか否か、順次照合する。
情報処理装置は、一致単語が所定の長さLmin以上である場合に、一致単語「Kataoka△」を動的辞書部の記憶領域A3に登録する。情報処理装置は、動的辞書部の登録内容に基づいて圧縮符号を生成する。すなわち、情報処理装置は、動的辞書部に登録した一致単語の登録番号を、文字列「Kataoka△」の圧縮符号として特定する。情報処理装置は、識別子「1」と単語の文字列「Kataoka△」の圧縮符号とを含む圧縮データd2を生成する。識別子「1」は、文字列が動的辞書に基づいて符号化されたことを示す情報である。情報処理装置は、圧縮データd2を記憶領域A4に書き込む。また、情報処理装置は、記憶領域A1に格納された文字列を、記憶領域A2に追記することで、記憶領域A2を更新する。
記憶領域A2は、それぞれのデータサイズが定められたデータ領域である。例えば、記憶領域A2は、数キロバイト〜数十キロバイト(例えば、64Kバイト)程度の記憶領域である。情報処理装置は、記憶領域A2に定められたデータサイズ以上のデータを格納する場合には、記憶領域A2の先頭に格納された古いデータの上から新しいデータを格納する。記憶領域A2内に格納されるデータは、データの格納に応じて更新される書き込み位置からの相対的なアドレスにより、先頭位置が示される。
記憶領域A3は、入力ファイルの大きさに応じて、データサイズが定められた記憶領域である。例えば、記憶領域A3は、数キロバイト〜数十キロバイト程度(例えば、64Kバイト)の記憶領域である。例えば、情報処理装置は、記憶領域A3に定められたデータサイズ以上のデータを格納する場合には、新たなデータの格納を抑止する。
図2は、動的辞書部の一例を示す図である。図2に示される動的辞書部は、記憶領域A3と参照テーブルT1とを含む。参照テーブルT1は、登録番号と、格納位置と、データ長とを対応づけて保持する。図2に示す例では、登録番号、格納位置、データ長を2進数で表す。登録番号は、記憶領域A3に登録された一致単語が、何番目に登録されたデータであるかを示す情報である。なお、本実施例では、1番目に登録されたデータの登録番号を「00000000」とする。格納位置は、一致単語の先頭文字が格納された記憶領域A3内の位置を示す情報である。データ長は、一致単語の長さを示す情報である。
例えば、一致単語「Kataoka△」が記憶領域A3に2番目に登録された一致単語である場合には、情報処理装置は、一致単語「Kataoka△」に対応する登録番号として、参照テーブルT1の登録番号に「00000001」を登録する。また、情報処理装置は、一致単語「Kataoka△」の先頭文字「K」が記憶領域A3の「5」に格納されているため、格納位置に「000000000101」を登録する。情報処理装置は、一致単語「Kataoka△」のデータ長が「8」であるため、データ長に「10000」を登録する。
図2に示すように、一致単語「Kataoka△」が動的辞書部に登録されたものとすると、一致単語「Kataoka△」の登録番号は「00000001」となる。この場合には、情報処理装置は、文字列「Kataoka△」の圧縮符号を「00000001」とする。このため、情報処理装置は、文字列「Kataoka△」の圧縮データd2として、識別子「1」、登録番号「00000001」を含む圧縮データd2を生成する。
図3は、本実施例に係る情報処理装置の圧縮処理の流れの一例を示す図(2)である。情報処理装置は、圧縮対象のファイルF1を読み出し、ファイルF1の先頭文字から終端記号を区切りとする文字列を圧縮対象のファイルF1から抽出する。例えば、ファイルF1には「・・・Kataoka△talks△・・・」というデータが含まれる。
情報処理装置が圧縮対象のファイルF1の単語の文字列「talks△」の圧縮データを生成する場合の処理は、図1に示した処理と同様であるため、説明を省略する。
情報処理装置が圧縮対象のファイルF1の単語の文字列「Kataoka△」の圧縮データを生成する場合の処理について説明する。また、単語の文字列「Kataoka△」は、ビットフィルタC1にヒットしないものとする。
情報処理装置は、単語の文字列「Kataoka△」とビットフィルタC1とを比較して、単語の文字列「Kataoka△」がビットフィルタC1にヒットするか否かを判定する。情報処理装置は、単語の文字列「Kataoka△」がビットフィルタC1にヒットしないため、下記の処理を実行する。
情報処理装置は、単語の文字列「Kataoka△」を記憶領域A1に格納し、記憶領域B1に格納された単語の文字列と、記憶領域A1の単語の文字列とを比較して、一致単語を検索する。例えば、記憶領域A2に「Kataoka△」が格納されていない場合には、情報処理装置は、単語の文字列「Kataoka△」の各文字を、静的辞書によって符号化する。すなわち、情報処理装置は、「K」、「a」、「t」、「a」、「o」、「k」、「a」、「△」をそれぞれ静的辞書で符号化することで、圧縮データd3を生成する。情報処理装置は、圧縮データd3を記憶領域A4に書き込む。
圧縮データd3は、圧縮データd31,d32,d33,d34,d35,d36,d37,d38を有する。圧縮データd31は、識別子「0」と「K」の静的辞書に登録されている圧縮符号を有する。圧縮データd32は、識別子「0」と「a」の静的辞書に登録されている圧縮符号を有する。圧縮データd33は、識別子「0」と「t」の静的辞書に登録されている圧縮符号を有する。圧縮データd34は、識別子「0」と「a」の静的辞書に登録されている圧縮符号を有する。圧縮データd35は、識別子「0」と「o」の静的辞書に登録されている圧縮符号を有する。圧縮データd36は、識別子「0」と「k」の静的辞書に登録されている圧縮符号を有する。圧縮データd37は、識別子「0」と「a」の静的辞書に登録されている圧縮符号を有する。圧縮データd38は、識別子「0」と「△」の静的辞書に登録されている圧縮符号を有する。
情報処理装置は、記憶領域A4に格納された圧縮データを、圧縮ファイルF2に格納する。
図4は、圧縮ファイルF2のブロック構成例を示す図である。図4に示すように、圧縮ファイルF2は、ヘッダ部と、圧縮データと、トレーラ部とを有する。ヘッダ部は、例えば、圧縮ファイルF2の生成に用いられた圧縮アルゴリズムを識別する情報や、圧縮に用いられたパラメータなどの情報を有する。圧縮データは、情報処理装置が生成した各圧縮データに対応する。トレーラ部は、圧縮処理が完了した後の動的辞書部の情報を有する。動的辞書部の情報は、図2に示した動的辞書部の情報に対応する。
図5は、本実施例に係る情報処理装置の伸長処理の流れの一例を示す図である。情報処理装置は、伸長処理のワークエリアとして、メモリに記憶領域B1、記憶領域B2および記憶領域B3を設ける。情報処理装置は、圧縮ファイルF2を記憶領域B1にロードし、順次圧縮データを読み出す。情報処理装置は、読み出した圧縮データに基づいて、伸長データの生成を行う。
情報処理装置は、圧縮データに含まれる識別子に応じた生成処理を行う。情報処理装置は、生成した伸長データを記憶領域B3に格納し、記憶領域B3に格納された伸長データに基づいて伸長ファイルF3が生成される。また、情報処理装置は、記憶領域B2に、図4のトレーラ部に格納された動的辞書部の情報をロードする。以下の説明では適宜、記憶領域B1を符号化部と呼び、記憶領域B2を動的辞書部と呼ぶ。図1に示した圧縮データd1,d2に対する伸長処理を説明する。
情報処理装置は、圧縮データd1を読み出し、圧縮データd1の識別子を判定する。情報処理装置は、圧縮データd1の識別子が「0」である場合には、圧縮データd1が、静的辞書によって符号化されたと判定する。情報処理装置は、圧縮データd1と伸長用ケヤキ木とを比較して、伸長用ケヤキ木に示される伸長データを特定する。情報処理装置は、伸長データを、記憶領域B3に書き込む。
情報処理装置は、圧縮データd2を読み出し、圧縮データd2の識別子を判定する。情報処理装置は、圧縮データd2の識別子が「1」である場合には、圧縮データd2が、動的辞書によって符号化されたと判定する。情報処理装置は、圧縮データd2内の圧縮符号に基づいて、動的辞書部を参照し、伸長データを生成する。
例えば、情報処理装置は、圧縮データd2に含まれる登録番号と、動的辞書部の参照テーブルT1とを比較して、記憶領域B2内の格納位置およびデータ長を特定する。情報処理装置は、格納位置およびデータ長に対応するデータを、記憶領域B2から読み出し、読み出したデータを伸長データとする。例えば、圧縮データd2内の登録番号は、動的辞書部内の「Kataoka△」を示すため、伸長データとして「Kataoka」が生成される。
図6は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図6に示すように、この情報処理装置100は、圧縮部100aと、伸長部100bと、記憶部100cとを有する。
圧縮部100aは、図1〜図3に示した圧縮処理を実行する処理部である。伸長部100bは、図5に示した伸長処理を実行する処理部である。記憶部100cは、圧縮対象のファイルF1、圧縮処理により得られる圧縮ファイルF2、ファイルF2を伸長して得られるファイルF3等を格納する。
また、情報処理装置100は、図1、図5等に示した記憶領域A1,A2,A3,A4、B1,B2,B3を、記憶部100cに設定する。また、記憶部100cは、圧縮用のケヤキ木および伸長用のケヤキ木を記憶する。
図7は、圧縮用のケヤキ木のデータ構造の一例を示す図である。図7に示すように、圧縮用のケヤキ木50は、2グラム、ビットマップ、ポインタ、基礎単語、文字列長、出現頻度、符号長、圧縮符号を有する。このうち、2グラム、ビットマップ、ポインタ、基礎単語、文字列長は、ビットフィルタC1に対応する。また、基礎単語、文字列長、出現頻度、符号長、圧縮符号は、静的辞書C2に対応する。
2グラムは、2文字の文字列を示す情報である。ビットマップは、2グラムの文字列に対応するビットマップを示す。例えば、「aa」に対応するビットマップは「0_0_0_0_0」となる。ポインタは、ビットマップに対応する連結単語の位置を示すポインタである。
基礎単語は、静的辞書C2に登録された単語である。文字列長は、基礎単語に対応する文字列長である。出現頻度は、基礎単語の出現頻度である。符号長は、圧縮符号の符号長である。圧縮符号は、基礎単語に割り当てられた圧縮符号である。
図8は、伸長用のケヤキのデータ構造の一例を示す図である。図8に示すように、伸長用のケヤキ60は、複数の枝60−1〜60−nと、葉61−1〜60−mとを有する。各枝60−1〜60−nには、所定のビット列が割り当てられる。情報処理装置100は、圧縮データのビット列と、枝60−1〜60−nに割り当てられたビット列とを比較して、圧縮データのビット列にヒットする枝に接続される葉が特定する。葉には、圧縮データに対応する文字列の情報が格納される。
例えば、葉のデータ構造は、61に示すものとなる。例えば、葉には、葉識別情報と、圧縮符号長と、文字コードまたは基礎単語へのポインタとが格納される。葉識別情報は、葉を一意に識別する情報である。圧縮符号長は、各枝60−1〜60−nと比較した圧縮データのビット列の内、有効な長さを示す情報である。文字コードまたは基礎単語へのポインタは、圧縮符号を伸長した場合の伸長データを一意に示す情報である。
例えば、ビット列「010111110111101」が枝60−4にヒットし、枝60−4に接続される葉61−4の圧縮符号長が「11」であり、基礎単語へのポインタで示される基礎単語が「talks△」であるとする。この場合には、ビット列の先頭から11ビット目までのビット列「01011111011」が、基礎単語「talks△」に対応する圧縮符号となる。
図9は、本実施例に係る圧縮部の構成の一例を示す機能ブロック図である。図9に示すように、この圧縮部100aは、ファイルリード部101、判定部102、第1符号化部103、第2符号化部104、更新部105、ファイルライト部106を有する。
ファイルリード部105は、ファイルF1内のコンテンツ部分のデータを読み出す処理部である。ファイルリード部105は、読み出したデータに含まれる文字列を先頭から走査し、終端記号を区切りとする文字列を順次抽出し、抽出した文字列を判定部102に順次出力する。
例えば、ファイルリード部105は、ファイルF1のコンテンツ部分の単語の文字列が「Kataoka△talks△about△・・・」である場合には、単語の文字列「Kataoka△」、「talks△」、「about△」の順に、各単語の文字列を判定部102に出力する。
判定部102は、文字列とビットフィルタC1とを比較して、文字列がビットフィルタC1にヒットするか否かを判定する処理部である。判定部102は、文字列がビットフィルタC1にヒットした場合には、文字列を第1符号化部103に出力する。判定部102は、文字列がビットフィルタC1にヒットしない場合には、文字列を第2符号化部104に出力する。
判定部102の処理を、図7を用いて説明する。また、判定対象の単語の文字列を「talks△」とする。判定部102は、文字列を先頭から2グラムずつビットフィルタC1の2グラムと比較し、ビットマップを特定する。例えば、判定部102は、単語の文字列が「talks△」である場合には、「ta」、「al」、「lk」、「k△」に対応するビットマップをそれぞれ組み合わせる。判定部102は、ビットマップの各桁において、すべてのビットマップの値が0となっている場合には、組み合わせたビットマップの該当する桁を「0」とする。これに対して、1が一つでも含まれる場合には該当する桁を「1」に設定することで、ビットマップを組み合わせる。
例えば、「ta」のビットマップが「0_0_0_0_0」、「al」のビットマップが「0_1_0_0_0」、「lk」のビットマップが「0_0_1_0_0」、「k△」のビットマップが「0_1_1_0_0」とする。この場合には、各ビットマップを組み合わせたビットマップは「0_1_1_0_0」となる。
判定部102は、組み合わせたビットマップと、ビットフィルタC1のポインタとを比較して、ビットマップに対応するポインタが示す位置の基礎単語を特定する。判定部102は、特定した基礎単語から順に、文字列に対応する基礎単語を検索する。判定部102は、文字列に対応する基礎単語が存在する場合には、文字列がビットフィルタC1にヒットしたと判定する。これに対して、判定部102は、文字列に対応する基礎単語が存在しない場合には、文字列がビットフィルタC1にヒットしないと判定する。
第1符号化部102は、判定部102から取得した文字列を静的辞書C2に基づいて符号化する処理部である。第1符号化部102は、静的辞書C2を参照し、文字列に対応する基礎単語を、静的辞書C2から特定し、特定した基礎単語に対応する圧縮符号を特定する。そして、第1符号化部102は、識別子に「0」と、静的辞書C2に登録されている文字列の圧縮符号を含む圧縮データを生成し、圧縮データをファイルライト部106に出力する。
第2符号化部103は、判定部102から取得した単語の文字列を動的辞書に基づいて符号化する処理部である。第2符号化部103は、単語の文字列を符号化部となる記憶領域A1に格納する。第2符号化部103は、記憶領域A1と、参照部となる記憶領域A2に格納されたデータとを比較して、一致単語を検索する。
第2符号化部103は、一致単語が所定の長さLmin以上である場合に、一致単語を動的辞書部の記憶領域A3に登録する。第2符号化部103は、動的辞書部の登録内容に基づいて圧縮符号を生成する。すなわち、第2符号化部103は、動的辞書部に登録した一致単語の登録番号を、単語の文字列の圧縮符号として特定する。第2符号化部103は、識別子「1」と、動的辞書の登録番号とを含む圧縮データを生成し、圧縮データをファイルライト部106に出力する。
例えば、第2符号化部103は、単語の文字列「Kataoka△」が記憶領域A3に2番目に登録された一致単語である場合には、一致単語「Kataoka△」に対応する登録番号として、参照テーブルT1の登録番号に「00000001」を登録する。また、第2符号化部103は、一致単語「Kataoka△」の先頭文字「K」が記憶領域A3の「5」に格納されているため、格納位置に「000000000101」を登録する。第2符号化部103は、一致単語「Kataoka△」のデータ長が「8」であるため、データ長に「10000」を登録する。
第2符号化部103は、図2に示すように、一致単語「Kataoka△」が動的辞書部に登録されたものとすると、一致単語「Kataoka△」の登録番号は「00000001」となる。この場合には、第2符号化部103は、単語の文字列「Kataoka△」の圧縮符号を「00000001」とする。このため、第2符号化部103は、単語の文字列「Kataoka△」の圧縮データとして、識別子「1」、登録番号「00000001」を含む圧縮データを生成し、ファイルライト部106に出力する。
これに対して、第2符号化部103は、一致単語が所定の長さLmin未満である場合には、単語の文字列の各文字を、静的辞書C2によって符号化する。例えば、第2符号化部103は、単語の文字列「Kataoka△」に対応する一致単語が、長さLmin未満である場合には、図3で説明したように、「K」、「a」、「t」、「a」、「o」、「k」、「a」、「△」をそれぞれ静的辞書で符号化することで、圧縮データを生成する。
ところで、第2符号化部103は、符号化対象の単語の文字列と同一の単語の文字列が記憶領域A3に既に登録されている場合には、既に登録されている単語の文字列の登録番号を、単語の文字列の圧縮符号として特定する。例えば、第2符号化部103は、符号化対象となる単語の文字列と、記憶領域A3の各単語の文字列を比較し、符号化対象の単語の文字列と同一の文字列が記憶領域A3に登録されていない場合に、上記一致単語検索を行う。
更新部105は、第2符号化部103によって、一致単語の検索が完了した後に、記憶領域A1に格納された文字列を、記憶領域A2に格納することで、記憶領域A2を更新する処理部である。更新部105は、第2符号化部103による一致単語の検索が完了するたびに、記憶領域A2を更新する。
ファイルライト部106は、第1符号化部103および第2符号化部104から圧縮データを取得し、取得した圧縮データを記憶領域A4に書き込む処理部である。
図10は、本実施例に係る伸長部の構成の一例を示す機能ブロック図である。図10に示すように、この伸長部100bは、ファイルリード部110、識別子判定部111、第1伸長部、第2伸長部113、更新部113、ファイルライト部115を有する。
ファイルリード部110は、圧縮ファイルF2内の圧縮データを記憶領域B1に読み出す処理部である。ファイルリード部123は、記憶領域B1に格納された圧縮データに対する処理が終了した場合に、新たな圧縮データを圧縮ファイルF2から読み出し、記憶領域B1に格納された圧縮データを更新する。
また、ファイルリード部110は、圧縮ファイルF2のトレーラ部に格納された動的辞書部の情報を読み出して、記憶領域B2に格納する。
識別子判定部111は、記憶領域B1に格納された圧縮データの識別子を読み出し、識別子が「0」であるか「1」であるかを判定する処理部である。識別子は、圧縮データの先頭ビットに対応する。識別子が「0」である場合には、圧縮データが静的辞書によって符号化されたことを示す。識別子が「1」である場合には、圧縮データが動的辞書によって符号化されたことを示す。
識別子判定部111は、圧縮データの識別子が「0」である場合には、圧縮データを第1伸長部112に出力する。識別子判定部111は、圧縮データの識別子が「1」である場合には、圧縮データを第2伸長部113に出力する。
第1伸長部112は、伸長用のケヤキ木60を用いて圧縮データを伸長する処理部である。伸長用のケヤキ木60のデータ構造は、図8に示したものに対応する。第1伸長部112は、ケヤキ木60の各枝に割り当てられたビット列と、識別子を除いた圧縮データとを比較して、圧縮データと同一のビット列となる枝に対応付けられた葉を特定する。第1伸長部112は、特定した葉を参照し、基礎単語のポインタに示される文字列を、圧縮データの伸長データとして生成し、生成した伸長データをファイルライト部115に出力する。
伸長部112は、図8において、例えば、ビット列「010111110111101」が、ケヤキ木60の枝60−4にヒットし、枝60−4に接続される葉61−4の圧縮符号が「11」であり、基礎単語へのポインタで示される基礎単語が「talks△」であるとする。この場合には、伸長部112は、圧縮データのビット列のうち、先頭から11ビット目までのビット列「01011111011」に対応する伸長データとして「talks△」を生成する。
第2伸長部113は、記憶領域B2に格納された動的辞書部の情報を用いて圧縮データを伸長する処理部である。第2伸長部113は、圧縮データから識別子を取り除くことで、動的辞書部の登録番号を取得する。第2伸長部113は、取得した登録番号と、参照テーブルT1とを比較して、記憶領域B2に格納された伸長データの格納位置およびデータ長を特定する。第2伸長部113は、格納位置およびデータ長に対応する単語の文字列を記憶領域B2から取得し、取得した単語の文字列を伸長データとして生成する。
例えば、圧縮データから取得した登録番号を「00000001」として、第2伸長部113の処理を説明する。第2伸長部113は、登録番号「00000001」と参照テーブルT1とを比較して、格納位置「000000000101」とデータ長「1000」を取得する。第2伸長部113は、記憶領域B2を参照し、格納位置「000000000101」を先頭とし、データ長「1000」となる単語の文字列「Kataoka△」を取得する。第2伸長部113は、取得した単語の文字列「Kataoka△」を伸長データとし、ファイルライト部115に出力する。
更新部114は、圧縮データが格納された記憶領域B1を更新する処理部である。更新部114は、圧縮データの識別子が「0」である場合には、第1伸長部112に読み出された圧縮データのうち、識別子と、圧縮符号長に対応するビット列を、記憶領域B1から削除する。更新部114は、圧縮データの識別子が「1」である場合には、第2伸長部112に読み出された圧縮データを記憶領域B1から削除する。
ファイルライト部115は、第1伸長部112および第2伸長部113から伸長データを取得し、取得した伸長データを記憶領域B3に書き込む処理部である。
次に、図9および図10に示した圧縮部100aおよび伸長部100bの処理手順について説明する。
図11は、本実施例に係る圧縮部の処理手順を示すフローチャートである。図11に示すように、圧縮部100aは、前処理を実行する(ステップS101)。ステップS101の前処理において、圧縮部100aは、記憶領域A1、記憶領域A2、記憶領域A3を記憶部100cに確保する。
圧縮部100aは、圧縮対象のファイルF1を読み出し(ステップS102)、終端記号までの単語の文字列を抽出する(ステップS103)。圧縮部100aは、文字列とビットフィルタC1とを比較し、ビットフィルタC1にヒットするか否かを判定する(ステップS104)。
圧縮部100aは、文字列がビットフィルタC1にヒットしない場合には(ステップS104,No)、動的辞書を参照し、文字列が動的辞書に既に存在しているか否かを判定する(ステップS105)。圧縮部100aは、文字列が動的辞書に存在している場合には(ステップS106,Yes)、ステップS109に移行する。
一方、圧縮部100aは、文字列が動的辞書に存在しない場合には(ステップS106,No)、一致する単語を検索を実行する(ステップS107)。圧縮部100aは、動的辞書を更新する(ステップS108)。
圧縮部100aは、識別子「1」と動的辞書の登録番号とを含む圧縮データを出力する(ステップS109)。圧縮部100aは、圧縮データの書き込みを行い(ステップS110)、ファイルF1の終点か否かを判定する(ステップS111)。圧縮部100aは、ファイルF2の終点でない場合には(ステップS111,No)、ステップS103に移行する。圧縮部100aは、ファイルF2の終点の場合には(ステップS111,Yes)、処理を終了する。
ところで、圧縮部100aは、ステップS104において、文字列がビットフィルタC1にヒットした場合には(ステップS104,Yes)、静的辞書C2に登録されている圧縮符号を特定する(ステップS112)。圧縮部100aは、識別子「0」と圧縮符号とを含む圧縮データを出力し(ステップS113)、ステップS110に移行する。
図12は、本実施例に係る伸長部の処理手順を示すフローチャートである。図12に示すように、伸長部100bは、前処理を実行する(ステップS201)。ステップS201の前処理において、伸長部100bは、記憶領域B1、記憶領域B2、記憶領域B3を記憶部100cに確保する。
伸長部100bは、圧縮ファイルF2を読み出し(ステップS202)、伸長用のケヤキ木60および動的辞書を読み出す(ステップS203)。例えば、伸長部100bは、トレーラ部に格納された静的辞書に関する情報を、記憶領域B2に格納する。
伸長部100bは、圧縮データの識別子が「1」であるか否かを判定する(ステップS204)。伸長部100bは、識別子が「0」である場合には(ステップS204,No)、伸長用のケヤキ木60と圧縮データとを比較して、伸長データを特定し(ステップS205)、ステップS207に移行する。
伸長部100bは、圧縮データの識別子が「0」である場合には(ステップS204,Yes)、動的辞書の登録番号を基にして伸長データを特定する(ステップS206)。伸長部100bは、記憶領域B3に伸長データの書き込みを行う(ステップS207)。
伸長部100bは、圧縮ファイルF2の終点であるか否かを判定する(ステップS208)。伸長部100bは、圧縮ファイルF2の終点でない場合には(ステップS208,No)、ステップS204に移行する。一方、伸長部100bは、圧縮ファイルF2の終点である場合には(ステップS208,Yes)、圧縮ファイルF2をクローズする(ステップS209)。
次に、本実施例に係る情報処理装置100の効果について説明する。情報処理装置100は、静的辞書C2を用いて圧縮対象の文字列を圧縮する際、静的辞書に圧縮対象の文字列が登録されているか否かをビットフィルタC1を用いて判定する。情報処理装置100は、静的辞書に登録されていない文字列を検出した場合には、検出した文字列に動的辞書に登録し、動的辞書の登録番号を文字列の圧縮符号とする。このため、情報処理装置100によれば、静的辞書に存在しない文字列を、動的辞書の登録番号として圧縮でき、圧縮率の変動を防ぐことができる。また、圧縮データのデータ長が長くなること解消することができる。
また、本実施例に係る情報処理装置100によれば、ビットフィルタC1に登録されていない文字列に対して一致する単語の探索を行い、一致する単語が所定長以上となる場合に、一致する単語を動的辞書に登録し、一致する単語を登録番号として圧縮する。このため、一致する単語に対する圧縮符号のデータ長を削減することができる。
また、本実施例に係る情報処理装置100によれば、ビットフィルタC1に登録されていない文字列に対して一致する単語の探索を行い、一致する単語が所定長未満となる場合に、静的辞書を用いて、一致する単語の文字列を文字毎に圧縮する。このため、動的辞書の情報量が増加することを防止することができる。
また、本実施例に係る情報処理装置100によれば、圧縮符号の識別子が「0」である場合には、伸長用のケヤキ木と圧縮符号とを基にして、圧縮符号を伸長する。なお、圧縮符号の識別子が「1」である場合には、動的辞書部と圧縮符号とを基にして、圧縮符号を伸長する。このため、圧縮データのデータ長が長くなることを解消できるとともに、この圧縮データを正確に伸長することもできる。
下記に、本実施形態に用いられるハードウェア及びソフトウェアについて説明する。図13は、コンピュータ1のハードウェア構成例を示す。コンピュータ1は、例えば、プロセッサ301、RAM(Random Access Memory)302、ROM(Read Only Memory)303、ドライブ装置304、記憶媒体305、入力インターフェース(I/F)306、入力デバイス307、出力インターフェース(I/F)308、出力デバイス309、通信インターフェース(I/F)310、SAN(Storage Area Network)インターフェース(I/F)311およびバス312などを含む。それぞれのハードウェアはバス312を介して接続されている。
RAM302は読み書き可能なメモリ装置であって、例えば、SRAM(Static RAM)やDRAM(Dynamic RAM)などの半導体メモリ、またはRAMでなくてもフラッシュメモリなどが用いられる。ROM303は、PROM(Programmable ROM)なども含む。ドライブ装置304は、記憶媒体305に記録された情報の読み出しか書き込みかの少なくともいずれか一方を行なう装置である。記憶媒体305は、ドライブ装置304によって書き込まれた情報を記憶する。記憶媒体305は、例えば、ハードディスク、SSD(Solid State Drive)などのフラッシュメモリ、CD(Compact Disc)、DVD(Digital Versatile Disc)、ブルーレイディスクなどの記憶媒体である。また、例えば、コンピュータ1は、複数種類の記憶媒体それぞれについて、ドライブ装置304及び記憶媒体305を設ける。
入力インターフェース306は、入力デバイス307と接続されており、入力デバイス307から受信した入力信号をプロセッサ301に伝達する回路である。出力インターフェース308は、出力デバイス309と接続されており、出力デバイス309に、プロセッサ301の指示に応じた出力を実行させる回路である。通信インターフェース310はネットワーク3を介した通信の制御を行なう回路である。通信インターフェース310は、例えばネットワークインターフェースカード(NIC)などである。SANインターフェース311は、ストレージエリアネットワークによりコンピュータ1と接続された記憶装置との通信の制御を行なう回路である。SANインターフェース311は、例えばホストバスアダプタ(HBA)などである。
入力デバイス307は、操作に応じて入力信号を送信する装置である。入力信号は、例えば、キーボードやコンピュータ1の本体に取り付けられたボタンなどのキー装置や、マウスやタッチパネルなどのポインティングデバイスである。出力デバイス309は、コンピュータ1の制御に応じて情報を出力する装置である。出力デバイス309は、例えば、ディスプレイなどの画像出力装置(表示デバイス)や、スピーカーなどの音声出力装置などである。また、例えば、タッチスクリーンなどの入出力装置が、入力デバイス307及び出力デバイス309として用いられる。また、入力デバイス307及び出力デバイス309は、コンピュータ1と一体になっていてもよいし、コンピュータ1に含まれず、例えば、コンピュータ1に外部から接続する装置であってもよい。
例えば、プロセッサ301は、ROM303や記憶媒体305に記憶されたプログラムをRAM302に読み出し、読み出されたプログラムの手順に従って圧縮部100aの処理または伸張部100bの処理を行なう。その際にRAM302はプロセッサ301のワークエリアとして用いられる。記憶部100cの機能は、ROM303および記憶媒体305がプログラムファイル(後述のアプリケーションプログラム24、ミドルウェア23およびOS22など)やデータファイル(圧縮対象のファイルF1、圧縮されたファイルF2など)を記憶し、RAM302がプロセッサ301のワークエリアとして用いられることによって実現される。プロセッサ301が読み出すプログラムについては、図14を用いて説明する。
図14は、コンピュータ1で動作するプログラムの構成例を示す。コンピュータ1において、図13に示すハードウェア群21(301〜312)の制御を行なうOS(オペレーティング・システム)22が動作する。OS22に従った手順でプロセッサ301が動作して、ハードウェア群21の制御・管理が行なわれることにより、アプリケーションプログラム24やミドルウェア23に従った処理がハードウェア群21で実行される。さらに、コンピュータ1において、ミドルウェア23またはアプリケーションプログラム24が、RAM302に読み出されてプロセッサ301により実行される。
プロセッサ301が、圧縮機能が呼び出された場合に、ミドルウェア23またはアプリケーションプログラム24の少なくとも一部に基づく処理を行なうことにより、(それらの処理をOS22に基づいてハードウェア群21を制御して)圧縮部100aの機能が実現される。また、プロセッサ301が、伸張機能が呼び出された場合に、ミドルウェア23またはアプリケーションプログラム24の少なくとも一部に基づく処理を行なうことにより、(それらの処理をOS22に基づいてハードウェア群21を制御して)伸張部100bの機能が実現される。圧縮機能および伸張機能は、それぞれアプリケーションプログラム24自体に含まれてもよいし、アプリケーションプログラム24に従って呼び出されることで実行されるミドルウェア23の一部であってもよい。
アプリケーションプログラム24(またはミドルウェア23)の圧縮機能により得られる圧縮ファイルF2は、圧縮ファイルF2内の圧縮辞書D1に基づいて部分的に伸張可能である。圧縮ファイルF2の途中を伸張する場合には、伸張対象の部分までの圧縮データの伸張処理が抑制されるため、プロセッサ301の負荷が抑制される。また、伸張対象の圧縮データを部分的にRAM302上に展開するので、ワークエリアも削減される。
図15は、実施形態のシステムにおける装置の構成例を示す。図15のシステムは、コンピュータ1a、コンピュータ1b、基地局2およびネットワーク3を含む。コンピュータ1aは、無線または有線の少なくとも一方により、コンピュータ1bと接続されたネットワーク3に接続している。
図6に示す圧縮部100aと伸張部100bとは、図15に示すコンピュータ1aとコンピュータ1bとのいずれに含まれてもよい。コンピュータ1bが圧縮部100aを含み、コンピュータ1aが伸張部100bを含んでもよいし、コンピュータ1bが圧縮部100aを含み、コンピュータ1aが伸張部100bを含んでもよい。また、コンピュータ1aとコンピュータ1bとの双方が、圧縮部100aおよび伸張部100bを備えてもよい。
以下、上述の実施形態における変形例の一部を説明する。下記の変形例のみでなく、本発明の本旨を逸脱しない範囲の設計変更は適宜行われうる。圧縮処理の対象は、ファイル内のデータ以外にも、システムから出力される監視メッセージなどでもよい。例えば、バッファに順次格納される監視メッセージを上述の圧縮処理により圧縮し、ログファイルとして格納するなどの処理が行なわれる。また、例えば、データベース内のページ単位に圧縮が行なわれてもよいし、複数のページをまとめた単位で圧縮が行なわれてもよい。
また、上述の圧縮処理の対象となるデータは、上述の通り、文字情報に限定されるものでない。数値のみの情報であってもよいし、画像・音声などのデータに対して上述の圧縮処理を用いてもよい。例えば、音声合成により得られるデータを多量に含むファイルなどは、データ内に繰り返しを多く含むため動的辞書により圧縮率が向上することが見込まれる。当然その一部のみが利用される場合には、部分伸張により余分な伸張処理が抑制される。また、固定カメラにより撮影された動画像についても各フレームの画像が似たものになることから繰り返しが多く含まれる。そのため、上述の圧縮処理を適用することにより、文書データや音声データと同様の効果を得ることができる。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)コンピュータに、
入力データに含まれる圧縮対象の文字列について、文字列および該文字列に対応する圧縮符号を対応付けた第1辞書を用いて、前記圧縮対象の文字列が前記第1辞書に登録されているか否かを判定し、
前記圧縮対象の文字列が前記第1辞書に登録されている場合は、前記第1辞書に登録された前記圧縮対象の文字列に対応する圧縮符号を出力し、
前記圧縮対象の文字列が前記第1辞書に登録されていない場合は、前記入力データの一部であって、前記圧縮対象の文字列の処理より前に前記第1辞書に登録されていないと判定された文字列を蓄積した第1のデータと、前記圧縮対象の文字列とを照合し、一致した文字列を前記第1辞書と異なる第2辞書に登録し、前記圧縮対象の文字列の前記第2辞書における登録番号に対応する圧縮符号を出力する
処理を実行させることを特徴とする符号化プログラム。
(付記2)前記出力する処理は、前記第1辞書に登録されていない圧縮対象の文字列に対して一致する単語探索を行い、一致する単語が所定長以上となる場合は、前記一致する単語を前記第2辞書に登録し、登録番号に基づく情報を出力することを特徴とする付記1に記載の符号化プログラム。
(付記3)前記出力する処理は、前記第1辞書に登録されていない圧縮対象の文字列に対して一致する単語探索を行い、一致する単語が所定長未満となる場合は、前記第1辞書に基づいて前記圧縮対象の文字列の各文字に対応する圧縮符号を出力することを特徴とする付記1または2に記載の符号化プログラム。
(付記4)コンピュータに、
圧縮符号の識別子が第1識別子であるか第2識別子であるかを判定し、
前記圧縮符号の識別子が第1識別子である場合は、符号列および伸長情報を対応付けた情報と、前記圧縮符号とを基にして、前記圧縮符号を伸長し、
前記圧縮データの識別子が第2識別子である場合は、前記圧縮データに含まれる登録位置に基づく情報に示される位置の情報を基にして、前記圧縮符号を伸長する
処理を実行させることを特徴とする伸長プログラム。
(付記5)コンピュータが実行する圧縮方法であって、
入力データに含まれる圧縮対象の文字列について、文字列および該文字列に対応する圧縮符号を対応付けた第1辞書を用いて、前記圧縮対象の文字列が前記第1辞書に登録されているか否かを判定し、
前記圧縮対象の文字列が前記第1辞書に登録されている場合は、前記第1辞書に登録された前記圧縮対象の文字列に対応する圧縮符号を出力し、
前記圧縮対象の文字列が前記第1辞書に登録されていない場合は、前記入力データの一部であって、前記圧縮対象の文字列の処理より前に前記第1辞書に登録されていないと判定された文字列を蓄積した第1のデータと、前記圧縮対象の文字列とを照合し、一致した文字列を前記第1辞書と異なる第2辞書に登録し、前記圧縮対象の文字列の前記第2辞書における登録番号に対応する圧縮符号を出力する
処理を実行させることを特徴とする圧縮方法。
(付記6)前記出力する処理は、前記第1辞書に登録されていない圧縮対象の文字列に対して一致する単語探索を行い、一致する単語が所定長以上となる場合は、前記一致する単語を前記第2辞書に登録し、登録番号に基づく情報を出力することを特徴とする付記5に記載の圧縮方法。
(付記7)前記出力する処理は、前記第1辞書に登録されていない圧縮対象の文字列に対して一致する単語探索を行い、一致する単語が所定長未満となる場合は、前記第1辞書に基づいて前記圧縮対象の文字列の各文字に対応する圧縮符号を出力することを特徴とする付記5または6に記載の圧縮方法。
(付記8)コンピュータが実行する伸長方法であって、
圧縮符号の識別子が第1識別子であるか第2識別子であるかを判定し、
前記圧縮符号の識別子が第1識別子である場合は、符号列および伸長情報を対応付けた情報と、前記圧縮符号とを基にして、前記圧縮符号を伸長し、
前記圧縮データの識別子が第2識別子である場合は、前記圧縮データに含まれる登録位置に基づく情報に示される位置の情報を基にして、前記圧縮符号を伸長する
処理を実行させることを特徴とする伸長方法。
(付記9)入力データに含まれる圧縮対象の文字列について、文字列および該文字列に対応する圧縮符号を対応付けた第1辞書を用いて、前記圧縮対象の文字列が前記第1辞書に登録されているか否かを判定する判定部と、
前記圧縮対象の文字列が前記第1辞書に登録されている場合は、前記第1辞書に登録された前記圧縮対象の文字列に対応する圧縮符号を出力する第1符号化部と、
前記圧縮対象の文字列が前記第1辞書に登録されていない場合は、前記入力データの一部であって、前記圧縮対象の文字列の処理より前に前記第1辞書に登録されていないと判定された文字列を蓄積した第1のデータと、前記圧縮対象の文字列とを照合し、一致した文字列を前記第1辞書と異なる第2辞書に登録し、前記圧縮対象の文字列の前記第2辞書における登録番号に対応する圧縮符号を出力する第2符号化部と、
を有することを特徴とする圧縮装置。
(付記10)第1符号化部は、前記第1辞書に登録されていない圧縮対象の文字列に対して一致する単語探索を行い、一致する単語が所定長以上となる場合は、前記一致する単語を前記第2辞書に登録し、登録番号に基づく情報を出力することを特徴とする付記9に記載の圧縮装置。
(付記11)第1符号化部は、前記出力する処理は、前記第1辞書に登録されていない圧縮対象の文字列に対して一致する単語探索を行い、一致する単語が所定長未満となる場合は、前記第1辞書に基づいて前記圧縮対象の文字列の各文字に対応する圧縮符号を出力することを特徴とする付記9または10に記載の圧縮装置。
(付記12)圧縮符号の識別子が第1識別子であるか第2識別子であるかを判定する識別子判定部と、
前記圧縮符号の識別子が第1識別子である場合は、符号列および伸長情報を対応付けた情報と、前記圧縮符号とを基にして、前記圧縮符号を伸長する第1伸長部と、
前記圧縮データの識別子が第2識別子である場合は、前記圧縮データに含まれる登録位置に基づく情報に示される位置の情報を基にして、前記圧縮符号を伸長する第2伸長部と、
を有することを特徴とする伸長プログラム。
100 情報処理装置
100a 圧縮部
100b 伸長部
100c 記憶部

Claims (4)

  1. コンピュータに、
    入力データに含まれる圧縮対象の文字列について、文字列および該文字列に対応する圧縮符号を対応付けた第1辞書を用いて、前記圧縮対象の文字列が前記第1辞書に登録されているか否かを判定し、
    前記圧縮対象の文字列が前記第1辞書に登録されている場合は、前記第1辞書に登録された前記圧縮対象の文字列に対応する圧縮符号を出力し、
    前記圧縮対象の文字列が前記第1辞書に登録されていない場合は、前記入力データの一部であって、前記圧縮対象の文字列の処理より前に前記第1辞書に登録されていないと判定された文字列を蓄積した第1のデータと、前記圧縮対象の文字列とを照合し、一致した文字列を前記第1辞書と異なる第2辞書に登録し、前記圧縮対象の文字列の前記第2辞書における登録番号に対応する圧縮符号を出力する
    処理を実行させることを特徴とする符号化プログラム。
  2. 前記出力する処理は、前記第1辞書に登録されていない圧縮対象の文字列に対して一致する単語探索を行い、一致する単語が所定長以上となる場合は、前記一致する単語を前記第2辞書に登録し、登録番号に基づく情報を出力することを特徴とする請求項1に記載の符号化プログラム。
  3. 前記出力する処理は、前記第1辞書に登録されていない圧縮対象の文字列に対して一致する単語探索を行い、一致する単語が所定長未満となる場合は、前記第1辞書に基づいて前記圧縮対象の文字列の各文字に対応する圧縮符号を出力することを特徴とする請求項1または2に記載の符号化プログラム。
  4. コンピュータに、
    圧縮符号の識別子が第1識別子であるか第2識別子であるかを判定し、
    前記圧縮符号の識別子が第1識別子である場合は、符号列および伸長情報を対応付けた情報と、前記圧縮符号とを基にして、前記圧縮符号を伸長し、
    前記圧縮データの識別子が第2識別子である場合は、前記圧縮データに含まれる登録位置に基づく情報に示される位置の情報を基にして、前記圧縮符号を伸長する
    処理を実行させることを特徴とする伸長プログラム。
JP2015017716A 2015-01-30 2015-01-30 符号化プログラムおよび伸長プログラム Active JP6742692B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015017716A JP6742692B2 (ja) 2015-01-30 2015-01-30 符号化プログラムおよび伸長プログラム
KR1020160010608A KR101772312B1 (ko) 2015-01-30 2016-01-28 기억 매체, 압축 방법, 신장 방법, 압축 장치 및 신장 장치
CN201610059698.3A CN105846825B (zh) 2015-01-30 2016-01-28 压缩方法、解压缩方法、压缩装置以及解压缩装置
EP16153348.4A EP3051430B1 (en) 2015-01-30 2016-01-29 Encoding program, decompression program, compression method, decompression method, compression device and decompresssion device
AU2016200550A AU2016200550B2 (en) 2015-01-30 2016-01-29 Encoding program, decompression program, compression method, decompression method, compression device and decompression device
US15/010,638 US9509334B2 (en) 2015-01-30 2016-01-29 Non-transitory computer-readable recording medium, compression method, decompression method, compression device and decompression device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015017716A JP6742692B2 (ja) 2015-01-30 2015-01-30 符号化プログラムおよび伸長プログラム

Publications (2)

Publication Number Publication Date
JP2016143994A true JP2016143994A (ja) 2016-08-08
JP6742692B2 JP6742692B2 (ja) 2020-08-19

Family

ID=55272323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015017716A Active JP6742692B2 (ja) 2015-01-30 2015-01-30 符号化プログラムおよび伸長プログラム

Country Status (6)

Country Link
US (1) US9509334B2 (ja)
EP (1) EP3051430B1 (ja)
JP (1) JP6742692B2 (ja)
KR (1) KR101772312B1 (ja)
CN (1) CN105846825B (ja)
AU (1) AU2016200550B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL242218B (en) 2015-10-22 2020-11-30 Verint Systems Ltd A system and method for maintaining a dynamic dictionary
IL242219B (en) * 2015-10-22 2020-11-30 Verint Systems Ltd System and method for keyword searching using both static and dynamic dictionaries
JP6680126B2 (ja) * 2016-07-25 2020-04-15 富士通株式会社 符号化プログラム、符号化装置、符号化方法、及び検索方法
JP7210130B2 (ja) * 2017-04-07 2023-01-23 富士通株式会社 符号化プログラム、符号化方法および符号化装置
US10992711B2 (en) * 2017-04-13 2021-04-27 At&T Intellectual Property I, L.P. Network aware data driven internet of things service engine
CN108011952B (zh) * 2017-12-01 2021-06-18 北京奇艺世纪科技有限公司 一种获取压缩字典的方法和装置
CN108494409B (zh) * 2018-03-14 2021-07-13 电子科技大学 基于小字典的随钻中子测井仪井下高速实时压缩方法
US10897270B2 (en) * 2018-06-06 2021-01-19 Yingquan Wu Dynamic dictionary-based data symbol encoding
JP6775558B2 (ja) * 2018-09-18 2020-10-28 キヤノン株式会社 画像伸長装置及びその制御方法及びプログラム
CN110032432B (zh) * 2018-12-03 2023-09-26 创新先进技术有限公司 实例的压缩方法和装置、实例的解压方法和装置
CN111510419B (zh) * 2019-01-31 2021-03-30 华为技术有限公司 一种数据压缩的方法及基站
US11050436B2 (en) * 2019-06-21 2021-06-29 Sap Se Advanced database compression
CN113014551B (zh) * 2019-09-18 2022-04-29 荣耀终端有限公司 数据解压缩方法和基于其的数据传输方法、计算机设备和可读存储介质
CN111817722A (zh) * 2020-07-09 2020-10-23 北京奥星贝斯科技有限公司 数据压缩方法、装置及计算机设备
US11652495B2 (en) * 2021-09-14 2023-05-16 Mastercard International Incorporated Pattern-based string compression
WO2024066753A1 (zh) * 2022-09-29 2024-04-04 华为云计算技术有限公司 压缩数据的方法和相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214352A (ja) * 1996-01-31 1997-08-15 Hitachi Ltd データ圧縮方法および装置
JP2014093612A (ja) * 2012-11-01 2014-05-19 Canon Inc 符号化装置及びその制御方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL91221A (en) * 1989-08-04 1995-03-30 Ibm Israel Binary text compression method
JP3248257B2 (ja) * 1992-09-02 2002-01-21 株式会社ニコン 焦点検出装置
US5442350A (en) 1992-10-29 1995-08-15 International Business Machines Corporation Method and means providing static dictionary structures for compressing character data and expanding compressed data
US5467087A (en) * 1992-12-18 1995-11-14 Apple Computer, Inc. High speed lossless data compression system
US5870036A (en) * 1995-02-24 1999-02-09 International Business Machines Corporation Adaptive multiple dictionary data compression
JP4776050B2 (ja) * 1999-07-13 2011-09-21 ソニー株式会社 配信コンテンツ生成方法、コンテンツ配信方法および装置、並びに、コード変換方法
US7026962B1 (en) * 2000-07-27 2006-04-11 Motorola, Inc Text compression method and apparatus
US6985965B2 (en) 2000-11-16 2006-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Static information knowledge used with binary compression methods
TW543311B (en) 2000-11-16 2003-07-21 Ericsson Telefon Ab L M Static information knowledge used with binary compression methods
US7136803B2 (en) * 2001-09-25 2006-11-14 Apple Computer, Inc. Japanese virtual dictionary
JP4556766B2 (ja) * 2005-05-23 2010-10-06 ソニー株式会社 文字列検索回路及び文字列検索方法
CN101142798B (zh) * 2005-08-31 2010-05-12 中兴通讯股份有限公司 一种用于多方通信系统的信令压缩方法
GB2456996B (en) * 2006-12-26 2011-09-21 Fujitsu Ltd Data compression apparatus and data decompression apparatus
JP4995775B2 (ja) * 2008-06-30 2012-08-08 株式会社東芝 画面転送装置およびその方法ならびに画面転送のためのプログラム
KR20110095800A (ko) * 2010-02-19 2011-08-25 삼성전자주식회사 코덱에 의해 압축된 동영상 컨텐트 전송 방법 및 그 장치
JP5895545B2 (ja) * 2012-01-17 2016-03-30 富士通株式会社 プログラム、圧縮ファイル生成方法、圧縮符号伸張方法、情報処理装置、および記録媒体
CN103684812B (zh) * 2012-08-31 2017-07-07 国际商业机器公司 用于管理远程设备的方法和装置
WO2014045318A1 (ja) * 2012-09-21 2014-03-27 富士通株式会社 圧縮プログラム、圧縮方法及び圧縮装置
JP6028567B2 (ja) * 2012-12-28 2016-11-16 富士通株式会社 データ格納プログラム、データ検索プログラム、データ格納装置、データ検索装置、データ格納方法及びデータ検索方法
CN103326732B (zh) * 2013-05-10 2016-12-28 华为技术有限公司 压缩数据的方法、解压数据的方法、编码器和解码器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214352A (ja) * 1996-01-31 1997-08-15 Hitachi Ltd データ圧縮方法および装置
JP2014093612A (ja) * 2012-11-01 2014-05-19 Canon Inc 符号化装置及びその制御方法

Also Published As

Publication number Publication date
JP6742692B2 (ja) 2020-08-19
US20160226511A1 (en) 2016-08-04
EP3051430A1 (en) 2016-08-03
KR20160094315A (ko) 2016-08-09
KR101772312B1 (ko) 2017-08-28
AU2016200550B2 (en) 2017-11-16
US9509334B2 (en) 2016-11-29
CN105846825A (zh) 2016-08-10
CN105846825B (zh) 2019-06-18
EP3051430B1 (en) 2019-05-08
AU2016200550A1 (en) 2016-08-18

Similar Documents

Publication Publication Date Title
JP6742692B2 (ja) 符号化プログラムおよび伸長プログラム
JP6531398B2 (ja) プログラム
JP6641857B2 (ja) 符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法および復号化装置
JP6540308B2 (ja) 符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法および復号化装置
US9577666B2 (en) Method and system
US20180102789A1 (en) Computer-readable recording medium, encoding apparatus, and encoding method
US11055328B2 (en) Non-transitory computer readable medium, encode device, and encode method
US9479195B2 (en) Non-transitory computer-readable recording medium, compression method, decompression method, compression device, and decompression device
JP2017021661A (ja) 照合プログラム、照合方法および照合装置
JP6032291B2 (ja) 圧縮プログラム、圧縮装置、伸張プログラム、伸張装置およびシステム
US20160210304A1 (en) Computer-readable recording medium, information processing apparatus, and conversion process method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200729

R150 Certificate of patent or registration of utility model

Ref document number: 6742692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150