JP2000101442A - データ圧縮装置及び復元装置並びにその方法 - Google Patents

データ圧縮装置及び復元装置並びにその方法

Info

Publication number
JP2000101442A
JP2000101442A JP10272724A JP27272498A JP2000101442A JP 2000101442 A JP2000101442 A JP 2000101442A JP 10272724 A JP10272724 A JP 10272724A JP 27272498 A JP27272498 A JP 27272498A JP 2000101442 A JP2000101442 A JP 2000101442A
Authority
JP
Japan
Prior art keywords
character string
tag
code
tag information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10272724A
Other languages
English (en)
Other versions
JP4003854B2 (ja
Inventor
Takashi Morihara
隆 森原
Hironori Yahagi
裕紀 矢作
Nobuko Sato
宣子 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP27272498A priority Critical patent/JP4003854B2/ja
Priority to US09/352,355 priority patent/US6871320B1/en
Priority to EP99306048A priority patent/EP0991018A3/en
Publication of JP2000101442A publication Critical patent/JP2000101442A/ja
Application granted granted Critical
Publication of JP4003854B2 publication Critical patent/JP4003854B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/005—Statistical coding, e.g. Huffman, run length coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Document Processing Apparatus (AREA)

Abstract

(57)【要約】 【課題】タグを含む構造化文書を、文書の検索あるいは
読込み時間の短縮とメモリやディスク容量の増加を最小
限とするように圧縮し復元する。 【解決手段】タグ情報分離部１０は、文字列ストリーム
から識別したタグを分離してタグ情報として出力する。
タグ置換部１２は、タグが分離された文字列ストリーム
の位置に識別のためにタグ符号を配置する。文字列符号
化部１４は、タグ符号置換部１２から出力されるタグ符
号を含む文字列ストリームを圧縮符号化する。データ復
元装置は、圧縮と逆の操作で文字列ストリームを復元す
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、タグを含む構造化
文書で構成された文字列ストリームから符号データを生
成するデータ圧縮装置及び復元装置並びにその方法に関
し、特に構造化文書の文字列ストリームからタグ情報を
分離して符号化と復元を行うためのデータ圧縮装置及び
復元装置並びにその方法に関する。
【０００２】
【従来の技術】近年、文字コード、画像データ等の様々
な種類のデータがコンピュータで扱われている。さら
に、インターネット・イントラネットの普及に伴い、電
子メールや電子化文書が増加している。このような大量
のデータは、データ中の冗長な部分を省いて圧縮するこ
とにより、記憶容量を減らしたり、短時間で遠隔地に送
ることを可能にしている。
【０００３】本発明の分野は、文字コードの圧縮に限ら
ず、様々なデータに適用できるが、以下では、情報理論
で用いられる呼称を踏襲し、データの１ワード単位を文
字と呼び、データが任意のワードつながったものを文字
列と呼ぶことにする。
【０００４】最近では、コンピュータ上で扱う文書の形
式を統一する動きがある。その中で、文書の作成を効率
良く行うため、タグを用いて文書内容を部分的に区別し
て、予め見出しや段落などの複数の文書部品を作成し、
各々の文書部品間の関係を定めて文書を構造化して編集
することが試みられている。
【０００５】このような文書に構造の概念を取り入れた
構造化文書の例としては、国際規格のＯＤＡ（ISO ８６
１３：Open Document Architecture）や、ＳＧＭＬ
（ISO8879：Standard Markup Language）の規格によ
る構造化文書がある。またこのような構造文書を用いた
文書処理方法は、例えば特開平５−１３５０５４号のも
のがある。
【０００６】ＳＧＭＬによる構造化文書は、従来のテキ
スト処理システムとの親和性が高く、米国を中心に普及
し、実用化されてきている。ＳＧＭＬによる構造化文書
は、予め文書構造の雛型が与えられ、文書構造は雛型の
範囲に制限される。
【０００７】図２５はＳＧＭＬの構造化文書であり、Ｓ
ＧＭＬ宣言２００、文書型定義（ＤＴＤ：Document Typ
e Definition）２０２、及び文書実現値２０４の３つの
部分からなる。このうち文書の構造を定義する雛型が文
書型定義２０２であり、図２６のように、章、節、タイ
トルなどの文書構造を定義している。
【０００８】ＳＧＭＬの構造化文書では、文書構造を表
現するために、文書テキスト内にタグと呼ばれる識別子
を用いて、文書テキストを区分する。図２７はＳＧＭＬ
の構造化文書の具体例であり、例えば文書のタイトルの
場合、「<TITLE> 発明（考案）明細書</TITLE>」で表現
される。即ち、開始タグである「<TITLE> 」と終了タグ
である「</TITLE>」で囲まれた文字が要素であり、この
場合はタイトル内容「発明（考案）明細書」を表わす。
【０００９】現在、公的機関を中心にＳＧＭＬを採用す
る例が増えてきている。特に米国では、国防総省が文書
をＳＧＭＬで記述して納入することを義務づけている。
日本においても特許庁のＣＤ−ＲＯＭ公報として、この
構造化文書を採用している。また、インターネットで使
われているＷＷＷ（World Wide Web）の記述形式とし
て普及しているＨＴＭＬ（Hyper Text Markup Langu
age ）は、ＳＧＭＬの一形態である。
【００１０】このようなＳＧＭＬ等の構造化文書を圧縮
する方法として、本願出願人は、特開平９−２６１０７
２号の方法を提案している。
【００１１】この方法では、タグ情報を有する構造化文
書の文書データが入力された場合、文書型定義ＤＴＤな
どで定義されているタグ情報を検出する。タグ情報が検
出された場合、タグ情報は何ら変換せずに、そのまま出
力する。さらにタグ情報を検出したことにより、タグ情
報以外の入力文字列を符号化するモードに移行する。
【００１２】この符号化の基本アルゴリズムは図２８の
ようになる。まずステップＳ１で入力された文字又は文
字列が予め登録した辞書の文字又は文字列と同一か否か
検索して比較し、同一であればステップＳ２で入力デー
タを辞書の登録番号で符号化し、ステップＳ３で符号を
出力する。
【００１３】ステップＳ１で同一の登録文字又は文字列
が検索できなかった場合は、ステップＳ５で元の入力文
字又は文字列をそのまま出力する。このような処理をス
テップＳ５で入力文字列がなくなるまで繰り返す。
【００１４】図２７のＳＧＭＬ文書ファイルについて図
２８の符号化を行うと、図２９の圧縮データファイルが
得られる。この圧縮データファイルは、１つのファイル
中に圧縮されていないタグ情報の部分と圧縮されたテキ
スト文書の部分とが混在する形式となる。
【００１５】
【発明が解決しようとする課題】文書テキストを圧縮す
る方法は、膨大なデータ量である文書テキストを実用に
耐え得るデータ量に圧縮することができ、電子化された
文書テキストを実現する上で非常に有用な技術である。
【００１６】しかしながら、図２９のような構造化文書
の圧縮データファイルにあっては、ファイル中のタグ情
報を検索する場合、タグ情報は圧縮されない部分として
圧縮された文書データの中に混在しており、ファイル全
体をメモリ上に展開して必要とするタグ情報を検索しな
ければならない。また圧縮部分となる本文中のキーワー
ドを検索したい場合にも、同様にファイル全体をメモリ
上に展開して処理する必要がある。
【００１７】このため、構造化文書の圧縮データファイ
ルから必要とする文書を検索あるいは入手するために、
文書としては不要な部分の読み込みが必要となり、デー
タ伝送量が増加して読込みに時間がかかり、また大きな
メモリ領域とディスク容量の確保が必要となる問題があ
る。
【００１８】本発明の目的は、タグ情報を含む構造化文
書の圧縮データにつき、文書の検索あるいは読込み時間
の短縮とメモリやディスク容量の増加を最小限とするた
めのデータ圧縮装置及び復元装置並びにその方法を提供
することにある。
【００１９】
【課題を解決するための手段】図１は本発明の原理説明
図である。 （圧縮）まず本発明は、図１（Ａ）のように、タグを含
む文書で構成された文字列ストリーム２０から符号デー
タを生成するデータ圧縮装置を対象とする。このデータ
圧縮装置として本発明は、文字列ストリームから識別し
たタグを分離してタグ情報として出力するタグ情報分離
部１０と、タグ情報分離部１０でタグが分離された文字
列ストリームの位置に識別のためにタグ符号２４を配置
するタグ符号置換部１２と、タグ符号置換部１２から出
力されたタグ符号を含む文字列ストリーム２２を符号化
して符号ストリーム８４を出力する文字列符号化部１４
とを設けたことを特徴とする。
【００２０】このような本発明のデータ圧縮装置によれ
ば、タグを含む構造化文書の文字列ストリームにつき、
タグ情報と本文（文字列）とを分離し、少なくとも本文
を符号化することで高い圧縮率を実現し、分離したタグ
情報を検索することで、検索が高速化できる。
【００２１】例えば、圧縮データファイルの中の本文か
ら分離されたタグ情報を検索し、一致するタグ情報が検
索できたら、復元した本文中のタグ符号を検索したタグ
情報までの数だけ読み飛ばすことで、目標とする文書の
先頭に容易に到達することができる。
【００２２】タグ符号置換部１２は、タグが分離された
文字列ストリームの位置に、所定の固定符号をタグ符号
として配置する。タグ符号として固定符号を使用するこ
とで、本文中のタグ位置の検索が簡単にできる。
【００２３】またタグ符号置換部１２は、タグが分離さ
れた文字列ストリームの位置に、タグ情報分離部１０で
分離されたタグの出現順序を示すタグ符号を配置する。
このようにタグ符号に出現順序の情報を持たせること
で、タグ情報に基づく本文検索の高速化と信頼性が高め
られる。
【００２４】データ圧縮装置は、更に、タグ情報分離部
１０で分離されたタグ情報を格納するタグ情報格納部７
８と、文字列符号化部１４で生成された符号データを格
納する符号格納部８０と、タグ情報格納部７８に格納さ
れたタグ情報と符号格納部８０に格納された符号データ
を選択して出力する符号切替部８２と設ける。このよう
に分離したタグ情報と本文の符号データを個別に格納す
ることで、圧縮データの検索や転送要求に対する管理を
容易にする。
【００２５】文字列符号化部１４は、圧縮する際の処理
単位となる文字列を登録した辞書を格納する辞書格納部
１８と、タグ符号置換部１２からの文字列ストリーム２
２の中の部分文字列と辞書格納部１８の登録文字列との
比較により、登録文字列に一致する部分文字列を検出
し、検出した部分文字列ごとに予め定められた符号を割
り当てて出力する文字列比較部１６とを備える。
【００２６】この文字列符号化部１４による符号化処理
は、スペースで区切られない単語構造をもつ言語の文字
コードで作成された文書データの圧縮に効果があり、ス
ペースで区切られない単語構造をもつ言語としては、例
えば日本語、中国語、ハングル語等がある。
【００２７】日本語を例にとると、日本語の単語の関す
る（株）日本電子化辞書研究所（ＥＤＲ）の研究成果が
ある（横井，木村，小泉，三吉、「表層レベルにおける
電子化辞書の情報構造」、情報処理学会論文誌，Vol.3
7, No.3, p.333-344, 1996 ）。
【００２８】この研究結果では、日本語を構成する形態
素、即ち単語の品詞を集計している。単純に単語を品詞
類に分けて登録すると１３６，４８６個となり、１７ビ
ット（最大２６２，１４３個）の符号で表わすことがで
きる。
【００２９】また新世代コンピュータ技術開発機構（Ｉ
ＣＯＴ）で作成した日本語単語辞書を構成する約１３万
語の単語ごとに構成する文字数を検出し、その分布を求
めた結果、全登録単語の１／２以上の７万語が２文字で
構成され、平均文字数は２．８文字（４４．８ビット）
であることも判明している。
【００３０】図１（Ａ）の辞書格納部１８は、日本語の
辞書として実用的な例えば約１３万語の単語を、各単語
に例えば１７ビットの固定長の文字列符号を割り当てた
辞書を作成して格納し、非圧縮データの部分文字列に一
致する辞書の登録文字列を検索して１７ビットの固定長
符号を文字列符号として割り当てて出力するこことで、
文書データの大小に関わらず、実質的にデータ量を半分
以下に圧縮することができる。
【００３１】本発明のデータ圧縮装置は、タグ情報分離
部１０で分離したタグ情報を圧縮するタグ情報圧縮部を
設ける。タグ情報は、単独のタグと、タグと文字列の組
合せを含むが、このタグ情報圧縮部は、タグと文字列を
区別することなく一括してタグ情報を圧縮する。この圧
縮は例えばＬＺ７７、ＬＺ７８、算術符号化等のアルゴ
リズムを使う。
【００３２】本発明のデータ圧縮装置は、タグ情報中の
日本語等のスペースで区切られない言語の文字列を対象
に、本文の文字列符号化部と同じ符号化を行ってタグ情
報を圧縮する。即ち、本発明のデータ圧縮装置は、圧縮
する際の処理単位となるタグ情報中のタグ文字列を登録
した辞書を格納するタグ辞書格納部と、タグ情報分離部
１０で分離したタグ情報に含まれる文字列ストリームの
部分文字列とタグ辞書格納部の登録文字との比較によ
り、登録文字列に一致する部分文字列を検出し、検出し
た部分文字列ごとに予め定められた符号を割り当てて出
力するタグ文字列比較部とを備えたことを特徴とする。
【００３３】このように分離したタグ情報についても圧
縮することで、文字列符号化部１４による本文の圧縮と
併せて文書ファイル全体を高圧縮できる。
【００３４】本発明のデータ圧縮装置に於いて、更に、
文字列符号化部１４で生成した符号データのタグ位置を
検出するタグ位置検出部を設け、タグ情報格納部７８に
タグ情報分離部１０で分離したタグ情報と共にタグ位置
検出部で検出したタグ位置の指定情報を格納する。この
場合、タグ位置検出部は、文書先頭又は特定のタグから
の符号量を検出してタグ情報格納部にタグ情報と共に格
納する。
【００３５】このように分離したタグ情報に、圧縮した
本文の対応するタグ符号の位置を示す文書先頭又は特定
タグからのデータ量（バイト数）が位置指定情報として
格納されているため、タグ情報から必要とするタグを検
索したい場合、直ちに本文に圧縮データ中の対応するタ
グ符号の位置が特定でき、必要とする本文のランダムア
クセスが効率良くできる。
【００３６】（復元）本発明は、タグを含む文書の文字
列ストリームから分離したタグ情報と、分離したタグの
位置にタグ符号を配置した文字列ストリームを符号化し
た符号データとを含む符号ストリームから文字列データ
を復元するデータ復元装置を対象とする。
【００３７】このデータ復元装置として本発明は、図１
（Ｂ）のように、符号ストリーム５６からタグ情報と符
号データとを分離するタグ情報分離部６０と、タグ情報
分離部６０で分離したタグ情報を格納するタグ情報格納
部６２と、符号データから文字列及びタグ符号を復元し
た後に、タグ符号をダク情報格納部６２のタグ情報に置
き換える文字列復元部６４とを備えたことを特徴とす
る。
【００３８】文字列復元部６４は、図１（Ａ）の文字列
符号化部１４の逆の操作を行うもので、復元する際の処
理単位となる文字列の符号に対応した復元文字列を登録
した辞書を格納する辞書格納部６５と、符号ストリーム
から復元単位となる文字列の符号を分離して辞書格納部
６５の参照で元の文字列を復元する文字列比較部６６
と、文字列比較部６６により復元したタグ符号をダク情
報格納部６８のタグ情報に置き換える文字列置換部６８
とを備える。
【００３９】本発明のデータ復元装置は、データ圧縮装
置側でタグ情報をＬＺ７７，ＬＬＺ７８等で圧縮してい
る場合、タグ情報格納部６２に格納されたタグ情報の圧
縮データを復元するタグ情報復元部を設ける。
【００４０】また本発明のデータ復元装置は、データ圧
縮装置側でタグ情報の文字列を符号化している場合、復
元する際の処理単位となるタグ文字列の符号に対応した
復元文字列を登録した辞書を格納するタグ辞書格納部
と、タグ情報分離部６０により分離したタグ情報から復
元単位となるタグ文字列の符号を分離し、タグ辞書格納
部の参照で元のタグ文字列を復元するタグ文字列比較部
とを備える。
【００４１】本発明は、更に、タグ情報を含む構造化文
書の圧縮方法及び復元方法を提供する。本発明によるタ
グを含む文書で構成された文字列ストリームから符号デ
ータを生成するデータ圧縮方法は、文字列ストリームか
ら識別したタグを分離してタグ情報として出力するタグ
情報分離過程と、タグ情報分離過程でタグが分離された
文字列ストリームの位置に識別のためにタグ符号を配置
するタグ符号置換過程と、タグ符号置換過程から出力さ
れたタグ符号を含む文字列ストリームを符号化して符号
ストリームを出力する文字列符号化過程と、を備える。
【００４２】また本発明によるタグを含む文書の文字列
ストリームから分離したタグ情報と、分離したタグの位
置にタグ符号を配置した文字列ストリームを符号化した
符号データとを含む符号ストリームから文字列データを
復元するデータ復元方法を提供する。この復元方法は、
タグ情報と符号データとを分離するタグ情報分離過程
と、タグ情報分離過程で分離したタグ情報を格納するタ
グ情報格納過程と、符号データから文字列及びタグ符号
を復元した後に、タグ符号をダク情報格納過程で分離し
たタグ情報に置き換える文字列復元過程と、を備える。
データ圧縮方法及び復元方法の詳細は、装置の場合と同
じになる。
【００４３】
【発明の実施の形態】図２は本発明のデータ圧縮装置の
第１実施形態のブロック図である。図２において、第１
実施形態のデータ圧縮装置は、タグ情報分離部１０、タ
グ符号置換部１２及び文字列符号化部１４で構成され
る。文字列符号化部１４には文字列比較部１６と辞書格
納部１８が設けられる。
【００４４】タグ情報分離部１０は、例えば図２７に示
したＳＧＭＬ日本語文書ファイルから読み出した文字列
ストリーム２０を入力し、入力した文字列ストリーム２
０に含まれるタグを識別し、識別したタグを分離してタ
グ情報ストリーム２８として出力する。
【００４５】タグ符号置換部１２は、タグ情報分離部１
０でタグ情報が分離された文字列ストリームのタグ位置
に予め定めたタグ符号を配置し、タグ符号配置済みの文
字列ストリーム２２を文字列符号化部１４に供給する。
文字列符号化部１４はタグ符号置換部１２により配置さ
れたタグ符号を含む文字列ストリーム２２を符号化し、
符号ストリーム２６を出力する。
【００４６】図３は、図２のタグ情報分離部１０の詳細
であり、タグ符号置換部１２と共に示している。タグ情
報分離部１０は、タグ比較部３０、タグ識別規則格納部
３２及び出力切替部３４で構成される。タグ識別規則格
納部３２にはＳＧＭＬ文書における文書型定義ＤＴＤか
ら得られたタグ情報の識別規則が格納されている。
【００４７】タグ比較部３０は文字列ストリーム２０を
入力し、タグ比較部３０でタグ識別規則格納部３２の識
別規則と比較し、タグ情報識別により比較出力が得られ
ると、出力切替部３４を文字列ストリーム２２の出力か
らタグ情報ストリーム２８の出力に切り替え、識別した
タグ情報をタグ情報ストリーム２８として出力する。
【００４８】同時にタグ符号置換部１２にタグ情報識別
に基づく比較出力を行い、タグ符号置換部１２に予め設
定されているタグ符号２４を、出力切替部３４から出力
が断たれたタグ情報の位置に挿入配置する。タグ符号置
換部１２により文字列ストリーム２２のタグ情報の位置
に配置されるタグ情報２４としては、例えば１６進の固
定符号「０ｘ００００」を使用する。
【００４９】図４は、ＳＧＭＬ日本語文書ファイルから
読み出した文字列ストリーム２０の図２のデータ圧縮装
置による圧縮処理の説明図である。
【００５０】図２のタグ情報分離部１０に対する文字列
ストリーム２０として入力されるＳＧＭＬ日本語文書フ
ァイル３５は、図３のタグ情報分離部１０に設けている
タグ比較部３０でタグ識別規則格納部３２に格納してい
るタグ識別規則と比較され、例えば先頭の「＜ＴＩＴＬ
Ｅ＞発明（考案）の明細書＜／ＴＩＴＬＥ＞」がタグ情
報として識別され、このタグ情報はタグ情報ファイル３
６の先頭位置のように分離される。
【００５１】またタグ情報の分離と並行して、ＳＧＭＬ
日本語文書ファイル３５のタグ情報を分離した位置に、
１６進の固定符号「０ｘ００００」を用いたタグ符号が
挿入配置され、このタグ情報のタグ符号への置換により
タグ置換済み日本語文書ファイル３８の文字列ストリー
ムが生成される。
【００５２】分離されたタグ情報ファイル３６の内容と
なるタグ情報ストリームはそのまま出力される。またタ
グ置換済み日本語文書ファイル３８の内容となる文字列
ストリームは、文字列符号化部１４により符号化されて
符号ストリーム２６として出力される。
【００５３】図５は、図２７のＳＧＭＬ日本語文書ファ
イルの文字列ストリーム２０を図２のデータ圧縮装置に
入力して、タグ符号置換部１２によりタグ情報を固定タ
グ符号に置換して得たタグ置換済み日本語文書ファイル
３８である。このタグ置換済み日本語文書ファイルにあ
っては、図２７のＳＧＭＬ日本語文書ファイルにおける
タグ情報がそれぞれ「（タグ符号）」に置き換えられて
いる。
【００５４】図６は図２７に示すＳＧＭＬ日本語文書フ
ァイルの文字列ストリームから分離したタグ情報のタグ
情報ファイル３６である。このタグ情報ファイル３６に
は、入力した文字列ストリームに含まれているタグ情報
が順番に分離されて格納されている。
【００５５】図５のタグ置換済み日本語文書ファイル３
８の内容となるタグ置換済みの文字列ストリーム２２
は、図２の文字列符号化部１４で符号化され、圧縮され
た符号ストリーム２６として出力される。
【００５６】図７は、タグ符号としてタグ情報の出現順
序を示す順序タグ符号を使用した場合のタグ置換済み日
本語文書ファイル３８である。このタグ情報の出現頻度
を表わす順序タグ符号としては、例えばタグの出現順序
に応じて１６進で「０ｘ００１，０ｘ００２，０ｘ００
３，・・・」等のように、一義に対応する順序タグ符号
を使用すればよい。
【００５７】この出現順番を示す順序タグ符号を使用し
た場合には、図７のように日本語文字列データの中に置
換されたタグ符号自体が「（タグ符号１），（タグ符号
２），（タグ符号３），・・・」のように、文書先頭か
らの出現順序を表わしている。このため図６のように分
離されたタグ情報の検索で図７の文書ファイル中の対応
するタグ符号の位置を特定する際に、本文中の検索位置
を簡単且つ確実に特定できる。
【００５８】例えば図６で５行目のタグ情報「＜ＳＥＣ
ＴＩＯＮ＞請求項目の範囲＜／ＳＥＣＴＩＯＮ＞」の文
書ファイル中の位置を知りたい場合には、このタグ識別
情報は先頭から５番目に出現していることから、出現順
序が５番目となる「（タグ符号５）」の位置を検索する
ことで、簡単に特定できる。
【００５９】図８は、図２のデータ圧縮装置による圧縮
処理のフローチャートである。まずステップＳ１で、入
力文書の文字列ストリーム２０からタグ情報分離部１０
によってタグ情報を分離して出力する。続いてステップ
Ｓ２で、入力文書の文字列ストリーム２０中のタグのあ
った位置にタグ符号置換部１２によって識別のためのタ
グ符号を挿入する。
【００６０】続いてステップＳ３で、タグ配置済みの文
字列ストリーム中の文字列を文字列符号化部１４に設け
ている文字列比較部１６で辞書格納部１８内の対応する
登録番号を符号として割り当て、符号ストリーム２６を
出力する。このステップＳ１〜Ｓ３の処理を、ステップ
Ｓ４で文字列ストリームの入力が終了するまで繰り返
す。
【００６１】次に図２の文字列符号化部１４に設けた文
字列比較部１６と、辞書格納部１８によるタグ置換済み
文字列ストリーム２２の符号化処理を説明する。
【００６２】図２の文字列符号化部１４に設けた文字列
比較部１６は、辞書格納部１５の参照により、単語を構
成する文字列ごとに予め定めた所定の文字列符号を割り
当てる符号化を行う。
【００６３】まず文字列比較部１６で圧縮対象とする文
書データとして、例えば日本語文書データを例にとる
と、日本語文書データの場合、１文字は２バイトのワー
ドデータで構成されており、文書中の単語はスペースで
区切られない構造を持っている。また日本語文書データ
は、１回の圧縮に使用する文書単位に入力しており、こ
れはキロバイトオーダからメガバイトオーダの適宜のサ
イズの文書が入力される。
【００６４】文字列比較部１６は日本語文書データの文
字列を先頭から順番に入力し、辞書格納部１５に予め登
録されている単語単位の登録文字列と一致するか否かを
検出する。文字列比較部１６で入力文字列に一致する登
録文字列が検出されると、辞書格納部１５の一致検出さ
れた登録文字列に対応して予め登録されている文字列符
号を読み出して割り当て、この文字列符号を文字列置換
部１８に出力する。
【００６５】ここで日本語文書データの文字列を単語単
位に文字列符号に変換するための辞書格納部１５を説明
する。
【００６６】図９は、（株）日本電子化辞書研究所（Ｅ
ＤＲ）が研究成果として発表した、日本語を構成する形
態素の品詞に関する集計結果である。この集計結果を見
ると、単語数に対応する形態素数は１３６，４８６個で
あり、この単語の数を２進数で表現すると、最大表現数
が２６２，１４３個となる１７ビットの符号で表すこと
ができる。
【００６７】これに対し、新世代コンピュータ技術開発
機構（ＩＣＯＴ）で作成した約１３万語の単語を有する
日本語辞書から単語を構成する文字数を検出して分布を
求めた結果、全登録単語の１／２以上の７万語が２文字
で構成されており、平均文字数は２．８文字となってい
る。この平均文字数２．８文字をビット数で表すと、 ２．８文字×２バイト＝５．６バイト×８ビット＝４
４．８ビット となる。
【００６８】そこで本発明にあっては、図９の１３６，
４８６個の単語を表現する１７ビットの文字列符号を予
め割り当て、入力した日本語データの文字列を単語単位
に１７ビットの文字列符号に変換する符号化を行うこと
で、実質的にデータ量を半分以下に圧縮することができ
る。
【００６９】図１０は、図２の辞書格納部１５の辞書構
造の実施形態である。図２の辞書格納部１５に格納され
た辞書は、先頭文字格納部４０と従属文字列格納部４２
の２階層構造を備える。先頭文字格納部４０は、日本語
文字「あ，い，う，え，お・・・」の文字コードをイン
デックスとしており、日本語の文字コードは２バイトデ
ータであることから、文字コード４４としては、１６進
数で「０ｘ００００」から「０ｘＦＦＦＦ」の１３１，
０７２種類の格納位置が割り当てられる。
【００７０】この文字コード４４は、図２の文字列比較
部１６で読み込んだ先頭文字を使用して、対応する文字
コードの位置にアクセスする。文字コード２４に続いて
は先頭アドレス４６が格納される。先頭アドレス４６
は、例えば文字コード４４の先頭文字「あ」を例にとる
と、先頭文字「あ」に続く従属文字列を格納した従属文
字列格納部４２の先頭アドレス「Ａ１」を指定してい
る。続いて従属文字列の個数４８が設けられる。例えば
先頭文字「あ」にあっては、従属文字列個数４８として
Ｎ１＝４個が格納されている。
【００７１】従属文字列格納部４２は、先頭文字格納部
４０の先頭文字の文字コード４４に対応して格納された
先頭アドレス４６で先頭位置が指定され、この先頭位置
から従属文字列格納部４８で指定された個数の格納位置
に従属文字列が格納されている。例えば先頭文字「あ」
に対応した先頭アドレス４６のアドレスＡ１から従属文
字列個数４８のＮ１＝４個となる４つの格納位置が、対
象とする従属文字列格納領域として指定される。
【００７２】この従属文字列格納部４２は、先頭から従
属文字列の長さ５０、従属文字列５２、及び１７ビット
表現される文字列コード（文字列符号）５４が格納され
ている。例えば先頭アドレスＡ１には、長さＬ１で従属
文字列「い」と、その文字列コードが格納されている。
次の格納位置には長さＬ２の従属文字列「う」がその文
字列コードと共に格納されている。
【００７３】３番目の領域には長さＬ３の従属文字列
「お」が文字列コードと共に格納されている。４番目の
格納領域には長さＬ４で従属文字列が存在しないことを
示す符号「ＮＵＬＬ」が格納され、存在しないことを示
す文字列コードが格納されている。即ち、この４番目の
格納領域は先頭１文字だけの文字列コードの登録を表し
ている。
【００７４】ここで図１０の従属文字列格納部４２に文
字列コード３４は、単語個数に基づき１番から１３６，
４８６番まで予め１７ビットの文字列コードが割り当て
られており、図１０のように格納した場合の文字列コー
ド（文字列符号）Ｋと位置アドレスＸとの関係は、次式
で表すことができる。 Ｋ＝（Ｎ・Ｘ−Ａ１）／Ｍ （１） 但し、Ｘ ：従属文字列格納部２２の位置アドレス Ｎ ：一致検出された従属文字列の番号（１，２，３，
・・Ｎ） Ａ１：従属文字列格納部の開始アドレス Ｍ ：従属文字列格納部の格納バイト長 ここで、従属文字列格納部４２の格納バイト長Ｍは、従
属文字列の長さ５０、従属文字列５２、及び文字列コー
ド５４の合計長であることから、例えば次式で表すこと
ができる。 格納バイト長Ｍ＝ 長さ＋文字コード列＋文字列コード （２） ＝３bit ＋ ９６bit ＋ １７bit ＝１１６bit ＝１５byte ここでは格納可能な従属文字列を最大６文字とすること
で、従属文字列５２に９６ビットを割り当てた場合を例
にとっている。もちろん、従属文字列の文字数は平均で
２．８文字であることから、３文字（４８ビット）以上
とすれば十分な圧縮効果が得られる。この場合には、従
属文字列格納部の１つの格納領域の格納バイト長ＭはＭ
＝１２バイトになる。
【００７５】前記（１）式から算出される１７ビットの
文字列コードＫを使用した場合、復元の際には文字列コ
ードＫの値から格納位置（アドレス）Ｘを次式で算出す
ればよい。 Ｘ＝Ｍ・Ｋ＋Ａ１ （３） 但し、Ｋ ：文字列コード Ａ１：従属文字列格納部の開始アドレス Ｍ ：復元側の従属文字列格納部の格納バイト長 この（３）式にあっては、復元側で使用する辞書におけ
る従属文字列格納部４２の開始アドレスＡ１、即ちオフ
セットと、従属文字列格納部４２の格納バイト長Ｍが定
数として定まっていることから、復元しようとする文字
列コードＫを（３）式に代入することで、一義的に復元
しようとする文字列を格納した辞書位置（位置アドレ
ス）Ｘを算出することができる。
【００７６】図１１は図１０の辞書構造を持った辞書格
納部１５による図２の文字列比較部１６による符号化処
理のフローチャートである。
【００７７】まずステップＳ１で、文字列比較部１６に
読み込んだ文字列の先頭文字の位置Ｐにポインタを移動
し、ステップＳ２で先頭文字位置Ｐの文字コードが示す
図１０の文字コード４４に対応した先頭文字格納部４０
のテーブルを参照する。この先頭文字格納部４０のテー
ブル参照により、ステップＳ３で従属文字列格納部４２
の先頭アドレス４６と従属文字列の個数４８を取得す
る。
【００７８】続いてステップＳ４で、従属文字列格納部
４２の先頭アドレスの先頭データから従属文字列の長さ
５０の長さデータＬを取得する。次にステップＳ５で、
先頭文字位置Ｐから従属文字列の長さデータＬに基づく
Ｌ文字を抽出し、抽出したＬ文字を従属文字列格納部４
２の従属文字列５２の登録文字列と比較して、一致する
か否か判断する。
【００７９】登録した従属文字列と一致すれば、ステッ
プＳ３に進み、次の文字列コード５４を読み出し、一致
検出した文字列に文字列比較部１６で割り当てて出力
し、次のステップＳ９で先頭文字位置Ｐを従属文字列の
文字数Ｌだけ移動した位置Ｐにポインタを更新する。そ
してステップＳ１２で非圧縮データの処理が済んでいな
ければ、再びステップＳ２に戻り、更新した先頭文字位
置Ｐについて同様な処理を繰り返す。
【００８０】一方、ステップＳ５で従属文字列格納部４
２の登録従属文字列と一致しなかった場合には、従属文
字列数Ｎが未了か否かチェックし、未了であればステッ
プＳ７に戻り、従属文字列格納部４２の先頭アドレスの
次の格納領域から従属文字列の長さデータＬを取得し、
ステップＳ５で再度、先頭文字位置ＰからＬ文字の従属
文字列を抽出して従属文字列格納部４２の登録従属文字
列と一致するか否か比較する。
【００８１】ステップＳ５〜Ｓ７の繰返しによる登録個
数Ｎの従属文字列の全てについて比較処理を行っても一
致しなかった場合には、ステップＳ６で従属文字列の個
数Ｎの終了を判別して、ステップＳ１０に進み、先頭文
字１文字を表す未登録コードを送出する。そしてステッ
プＳ１１で先頭文字位置Ｐを文字数Ｌ＝１文字だけ移動
した次の位置にポインタを更新し、ステップＳ１２から
ステップＳ２に戻って、次の先頭文字位置Ｐからの処理
を繰り返す。
【００８２】図１２は、図２のデータ圧縮装置から出力
された符号処理部２６及びタグ情報ストリーム２８で構
成される符号ストリームから文字列ストリームを復元す
るためのデータ復元装置の第１実施形態のブロック図で
ある。
【００８３】このデータ復元装置は、タグ情報分離部６
０、タグ情報格納部６２、文字列復元部６４で構成され
る。文字列復元部６４は、符号列比較部６６、辞書格納
部７０及び文字列置換部６８を備える。
【００８４】タグ情報分離部６０は図２のデータ圧縮装
置側から送られてきた符号ストリーム５８を入力し、タ
グ情報と符号データとに分離し、タグ情報はタグ情報格
納部６２に格納し、符号データは符号ストリーム５８と
して文字列復元部６４に出力する。
【００８５】文字列復元部６４は符号列比較部６６で辞
書格納部７０を用いて符号データから文字列及びタグ符
号を復元した後に、文字列置換部６８においてタグ符号
をタグ情報格納部６２に格納しているタグ情報に置き換
えて、復元した文字列ストリーム７０を出力する。
【００８６】図１３は、図１２のデータ復元装置の復元
処理のフローチャートである。まずステップＳ１で、タ
グ情報分離部６０が入力文書に対応した符号ストリーム
５６からタグ情報を分離してタグ情報格納部６２に格納
する。次にステップＳ２で、タグ情報が分離された符号
ストリーム５８の中の符号列を辞書格納部６５内の登録
番号と比較照合し、一致する登録番号で格納している文
字または文字列に変換する。
【００８７】続いてステップＳ３で、復元された文字列
に含まれているタグ符号をタグ情報格納部６２に格納し
ているタグ情報の格納順に順次置換し、復元した文字列
ストリーム７０として出力する。これらのステップＳ１
〜Ｓ３の処理を、ステップＳ４で符号ストリーム５６の
入力が終了するまで繰り返す。
【００８８】図１２の文字列復元部６４に設けた符号列
比較部６６は、辞書格納部６５の参照により、図３のデ
ータ圧縮装置で符号化された符号化ストリームから元の
文字列を復元する。
【００８９】図１４は、図１２の文字列辞書格納部７０
の辞書構造である。この文字列辞書格納部７０にあって
は、先頭文字７２、従属文字列長さ７４及び従属文字列
７６を、図１０の辞書構造に示した従属文字列格納部４
２の１７ビットの文字列コード５４の順番に格納してい
る。このため符号化比較部４０にあっては、復元に使用
する文字列辞書格納部４２の格納バイト長Ｍが 格納バイト長Ｍ＝ 先頭文字＋長さ＋文字コード列 （６） ＝ １６bit ＋３bit ＋ ９６bit ＝１１５ビット ＝１５byte から判明しているため、次式から文字列コードＫに対応
した位置アドレスＸを算出することができる。 Ｘ＝Ｍ・Ｋ＋Ａ１ （７） 但し、Ｋ ：文字列コード Ａ１：文字列格納位置の開始アドレス Ｍ ：格納バイト長 このようにして分離した文字列コードＫから辞書格納位
置を示す位置アドレスＸを求めて参照することで、対応
する先頭文字及び従属文字列を組み合わせた文字列を復
元することができる。
【００９０】このような図２のデータ圧縮装置及び図１
２のデータ復元装置により、図２７に示したＳＧＭＬ日
本語文書ファイルの文字列ストリームは、図６のような
タグ情報と図５のようなタグ情報をタグ符号に置き換え
た文字列ストリームに分離され、この実施形態にあって
は、タグ符号に置換済みの文字列ストリームを符号化す
ることで文書ファイルの本文に相当する部分を高い圧縮
率の圧縮ファイルに変換できる。
【００９１】また図６のように分離されたタグ情報につ
いて、キーワードを使用して検索し、キーワードに一致
するタグ情報が得られたならばタグ情報の出現位置が何
番目かを検出し、これによって図５のタグ符号置換済み
の本文の文書ファイルに含まれているタグ符号の出現位
置を検索することで、タグ情報の検索結果に対応した文
書位置の特定による読出し等が容易にできる。
【００９２】図１５は、本発明のデータ圧縮装置の第２
実施形態であり、この実施形態にあっては、図２の第１
実施形態に加えてタグ情報格納部７８と符号格納部８０
を設けたことを特徴とする。
【００９３】タグ情報格納部７８にはタグ情報分離部１
０により文字列２０から分離されたタグ情報が格納され
る。これによってタグ情報格納部７８には、例えば図６
のようなタグ情報ファイル３６が格納される。また符号
格納部８０は文字列符号化部１４に設けられており、タ
グ符号置換部１２により分離したタグ情報にタグ情報を
挿入したタグ置換済み文字列ストリーム２２につき、図
１１の符号化処理により生成された符号データが格納さ
れる。
【００９４】このようなタグ情報格納部７８及び符号格
納部８０に加え、出力段に符号切替部８２が設けられ
る。符号切替部８２は、タグ情報格納部７８に格納され
たタグ情報と符号格納部８０に格納された符号データ
を、例えば順番に選択して符号列ストリーム８４として
出力する。
【００９５】図１６は、図１５のデータ圧縮装置の圧縮
処理のフローチャートである。この圧縮処理は、ステッ
プＳ１で、入力文書の文字列ストリーム２０からタグ情
報分離部１０でタグ情報を分離し、タグ情報格納部７８
に格納する。次にステップＳ２で、文字列ストリーム２
０の中のタグのあった位置にタグ符号置換部１２によっ
て識別用のタグ符号を挿入する。
【００９６】次にステップＳ３で、タグ符号の置換が済
んだ文字列ストリーム２２の文字列を文字列符号化部１
４の文字列比較部１６に入力し、辞書格納部１８内の辞
書構造の対応する登録番号に変換する。このようなステ
ップＳ１〜Ｓ３の処理を、ステップＳ４で文字列ストリ
ームの入力が終了するまで繰り返す。
【００９７】文字列ストリームの入力が終了するとステ
ップＳ５に進み、分離したタグ情報とタグ符号に変換し
て符号化した符号ストリームを、例えばタグ情報格納部
７８と符号格納部８０から順番に読み出して符号ストリ
ーム８４として出力する。図１５のデータ圧縮装置から
出力された符号ストリーム８４は、図１２に示したデー
タ復元装置に入力することで文字列ストリームを復元す
ることができる。
【００９８】図１７は、本発明のデータ圧縮装置の第３
実施形態であり、この実施形態にあっては文字列ストリ
ームから分離したタグ情報を圧縮するようにしたことを
特徴とする。
【００９９】図１７において、このデータ圧縮装置は、
図１５の第２実施形態におけるタグ情報分離部１０とタ
グ情報格納部７８の間に。新たにタグ情報圧縮部８６を
設けている。タグ情報圧縮部８６は、タグ情報分離部１
０において入力した文字列ストリーム２０から分離した
タグ情報を圧縮対象の文字列ストリームとして圧縮して
タグ情報格納部７８に格納する。
【０１００】タグ情報圧縮部８６による圧縮処理は、タ
グ情報にはタグと日本語文字列が含まれ、これらを一括
して圧縮することから、ＬＺ７７、ＬＺ７８、算術符号
化等の圧縮アルゴリズムを使用する。
【０１０１】タグ情報分離部１０、タク符号置換部１
２、文字列符号化部１４は、図１５の第２実施形態と同
じである。
【０１０２】図１８は、図１７のデータ圧縮装置による
圧縮処理の説明図である。ＳＧＭＬ日本語文書ファイル
３５の内容となる文字列ストリーム２０は、タグ情報分
離部１０によってタグ情報ファイル３６の内容となるタ
グ情報に分離される。このタグ情報はタグ情報圧縮部８
６により圧縮した後、タグ情報格納部７８の格納を介し
て出力する。
【０１０３】またＳＧＭＬ日本語文書ファイル３５の内
容となる文字列ストリーム２０から分離したタグ情報の
位置には、タグ符号置換部１２によって固定タグ符号ま
たは出現順序を示す順序タグ符号が挿入配置され、タグ
置換済み日本語文書ファイル３８の内容となる文字列ス
トリーム２２が文字列符号化部１４に出力され、文字列
符号化により圧縮された符号データが符号格納部８０に
よる格納を介して出力される。
【０１０４】図１９は、図１７のデータ圧縮装置から出
力された符号ストリーム９０から文字列ストリームを復
元する本発明のデータ復元装置の第２実施形態である。
このデータ復元装置は、図１２の第１実施形態に更に圧
縮タグ格納部６２とタグ情報復元部９２を設けている。
【０１０５】タグ情報分離部６０は、入力する符号スト
リーム９０に含まれる圧縮タグ情報を分離して圧縮タグ
格納部６２に格納する。圧縮タグ格納部６２に格納され
た圧縮タグ情報はタグ情報復元部９２により復元され、
タグ情報格納部６２に格納される。タグ情報復元部９２
はデータ圧縮側のＬＺ７７，ＬＺ７８，算術復号化に対
応した復元アルゴリズムを実行する。それ以外の構成は
図１５と同じになる。
【０１０６】図２０は、本発明のデータ圧縮装置の第４
実施形態であり、分離したタグ情報の中の日本語文字列
を符号化により圧縮し、更に、分離したタグ情報に本文
中の置き換えを行ったタグ符号の位置を示す位置指定情
報を付加するようにしたことを特徴とする。
【０１０７】図２０において、タグ情報分離部１０、タ
グ符号置換部１２、文字列比較部１６、辞書格納部１８
を備えた文字列符号化部１４、タグ情報格納部７８及び
符号出力部８２は、図１５の第２実施形態と同じであ
る。これに加えて図２０の第４実施形態にあっては、新
たにタグ文字列比較部９４、タグ辞書格納部９６及び符
号量計測部９８を設けている。
【０１０８】タグ文字列比較部９４とタグ辞書格納部９
６は、タグ情報分離部１０で分離したタグ情報に含まれ
る日本語文字列ストリームを文字列符号化部１４と同様
な符号化アルゴリズムで符号化してタグ情報を圧縮す
る。このため、タグ情報格納部９６の辞書構成は図１０
と同じであり、先頭文字及び従属文字としてタグ情報に
使用する日本語文字列が使用されている。またタグ文字
列の符号化処理は図１１のフローチャートに従って行
う。
【０１０９】一方、図２０のデータ圧縮装置に設けた符
号量計測部９８は、文字列符号化部１４による本文の文
字列ストリーム２２、即ちタグ符号の置換が済んだ文字
列ストリーム２２を対象とした符号化による符号データ
について、文字列ストリームの先頭から置換済みの各タ
グ符号までの符号量を計測し、この各タグ符号までの符
号量の計測結果を、タグ情報格納部７８に格納する文字
列ストリームから分離した各タグ情報のそれぞれに符号
位置情報として付加して格納する。
【０１１０】符号量計測部９８によるタグ符号で置換さ
れたタグ情報の位置を示す位置指定情報としては、文字
列ストリームの先頭からの符号量以外に、文字列ストリ
ームの中に特定のタグ情報からの後続する各タグ情報ま
での符号データの符号量としてもよい。
【０１１１】図２１は、図２０の第４実施形態における
圧縮処理の説明図である。ＳＧＭＬ日本語文書ファイル
３５の内容となる文字列ストリームを入力して、タグ情
報の分離によるタグ情報ファイル３６の生成及びタグ情
報をタグ符号に置換したタグ置換済み日本語文書ファイ
ル３７の生成は、図１５の第２実施形態と同じである。
【０１１２】これに加えて、分離されたタグ情報ファイ
ル３６のタグ情報に含まれている日本語文字列であるタ
グ文字列を、タグ辞書格納部９６を用いて符号化して圧
縮することで出力している。
【０１１３】図２２は、タグ情報格納部７８に格納され
たタグ情報ファイルの具体例であり、図２７に示したＳ
ＧＭＬ日本語文書ファイルから分離したタグ情報を例に
とっている。このタグ情報ファイル３６には、左側のイ
ンデックス０１〜１３に対応した各タグに対応して、右
側に図２１のタグ置換済み日本語ファイル３７の文字列
データの符号データの先頭からの符号量（バイト量）Ｄ
Ｌ１〜ＤＬ１３が位置指定情報１０６としてそれぞれ格
納されている。
【０１１４】図２３は、図２０の第４実施形態による圧
縮処理のフローチャートである。まずステップＳ１〜Ｓ
４は図８と同じであり、タグ情報分離部１０で文字列ス
トリーム２０から分離したタグ情報をタグ情報格納部７
８に格納し、またタグ符号置換部１２により分離したタ
グ情報の位置にタグ符号２４を挿入配置した文字列スト
リーム２２を文字列符号化部１４で符号化して符号デー
タを符号格納部８０に格納する。
【０１１５】次のステップＳ４にあっては、符号量計測
部９８が文字列符号化部１４で置換済みのタグ符号を符
号化する際に、例えば文字列ストリームの先頭からの符
号量ＤＬを計測し、既にタグ情報格納部７８に格納され
ているタグ情報に図２２の位置指定情報１０６として計
測した符号量ＤＬを格納する。
【０１１６】このようなステップＳ１〜Ｓ４の処理を、
ステップＳ５で文字列ストリームの入力が終了するまで
繰り返す。文字列ストリーム２０の入力が終了すると、
ステップＳ６で、タグ情報格納部７８に分離したタグ情
報中の文字列をタグ辞書格納部９６内の辞書の対応する
ブロック番号に変換して符号データとする符号化処理を
タグ文字列比較部９４で行い、タグ情報格納部７８に格
納する。その結果、タグ情報格納部７８の格納内容は図
２２の圧縮タグ情報ファイル３６のようになる。
【０１１７】最後にステップＳ７で、タグ情報格納部７
８に分離して符号化した符号量付きのタグ情報と符号化
部８０に格納した符号データを符号切替部８２より例え
ば順番に選択出力し、符号ストリーム１００として外部
に供給する。
【０１１８】ここで、図２３の圧縮処理にあっては、ス
テップＳ１〜Ｓ４のタグ情報の分離と置換、更には圧縮
した符号量の計測処理とその後の分離したタグ情報の符
号化処理を、時間的に分けて処理しているが、両者を並
行して処理するようにしてもよいことはもちろんであ
る。
【０１１９】図２４は、図２０のデータ圧縮装置から出
力された符号ストリーム１００から文字列ストリームを
復元する本発明のデータ復元装置の第３実施形態であ
る。
【０１２０】図２４において、タグ情報分離部６０、圧
縮タグ格納部９２、タグ情報格納部６２、文字列復元部
６４は図１９の第２実施形態と同じであり、これに加え
て図２４の第３実施形態にあっては、タグ文字列復元部
１０２とタグ復元辞書格納部１０４を新たに設けてい
る。
【０１２１】タグ復元辞書格納部１０４は、図１３の辞
書構造と同じものが使用され、格納している文字がタグ
に使用している日本語文字列となっている。タグ情報分
離部６０は、図２０のデータ圧縮装置側から供給される
符号ストリーム１００から、図２２の圧縮タグ情報ファ
イル３６の内容に示すようなタグ情報ストリームを分離
し、圧縮タグ格納部９２に格納する。
【０１２２】圧縮タグ格納部９２に格納された圧縮タグ
情報は、タグ文字列復元部１０２によるタグ復元辞書格
納部１０４のタグ文字列の符号による辞書番号の参照で
対応する日本語文字列に復元され、復元した日本語文字
列を含むタグ情報をタグ情報格納部６２に格納する。
【０１２３】一方、タグ情報分離部６０は、圧縮タグ情
報ストリームに続いて送られてくる文書本文の符号スト
リームを文字列復元部６４に供給し、符号列比較部６６
で取り出した符号による辞書格納部６５の辞書番号の参
照で対応する文字または文字列を復元し、符号置換部６
８に出力する。
【０１２４】符号置換部６８は、復元した文字列の中の
タグ符号を認識し、その出現順に従ってタグ情報格納部
６２に格納している復元済みのタグ情報を格納順に取り
出し、タグ符号と置換し、復元した文字列ストリームを
出力する。
【０１２５】ここで、圧縮タグ格納部９２には、符号ス
トリーム１００から分離した圧縮タグ情報ストリームの
入力が終了した時点で、図２２のように圧縮タグ情報フ
ァイル３６が格納されている。そこで圧縮タグ情報ファ
イル３６について、特定のタグをキーワードとして検索
を行い、一致するタグが得られたならば、これに対応す
る位置指定情報としての符号量ＤＬを読み出し、図２０
のデータ圧縮装置に対し検索した符号量ＤＬの位置から
の符号データの転送要求ができる。これによって、デー
タ復元側からデータ圧縮側に必要とするＳＧＭＬ日本語
文書の部分的な圧縮本文データの転送による読込みが簡
単にできる。
【０１２６】尚、本発明におけるデータ圧縮装置からデ
ータ復元装置への伝送形態としては、インターネット等
の通信回線でもよいし、光ディスクカートリッジや磁気
ディスクカートリッジ等の書替可能な可搬媒体等の適宜
の形態でよい。
【０１２７】また上記の実施形態は、タグ情報を分離
し、分離したタグ情報の位置にタグ符号を置換した文字
列ストリームの圧縮として、日本語固有の単語数に対応
した固定長の文字列符号を割り当てた符号化を例にとっ
ているが、これ以外のＬＺ７７，ＬＺ７８，算術符号化
等の圧縮を行うようにしてもよいことはもちろんであ
る。
【０１２８】更に、本発明は、上記の実施形態の数値に
よる限定は受けない。更に本発明は、その目的と利点を
損なわない範囲の適宜の変形を含む。
【０１２９】
【発明の効果】以上説明してきたように本発明によれ
ば、タグを含むＳＧＭＬ等の構造化文書の文字列ストリ
ームにつき、タグ情報と本文（文字列）とを分離し、少
なくとも本文を符号化することで高い圧縮率を実現し、
また分離したタグ情報を検索することで圧縮された符号
データ中の特定のタグ位置の読出しや検索を高速で処理
することができる。
【０１３０】即ち、分離したタグ情報の順番と符号デー
タ中に置換したタグ符号の順番は１対１に対応してお
り、タグ情報について特定のタグ情報を検索すること
で、その順番から符号データ中のタグ符号の位置が特定
でき、目標とする文書符号データの先頭位置に容易に到
達することができる。
【０１３１】この結果、タグを含むＳＧＭＬ等の構造化
文書について、高い圧縮率を保ちながら高速に圧縮及び
復元を行うことができる。
【図面の簡単な説明】
【図１】本発明の原理説明図
【図２】本発明のデータ圧縮装置の第１実施形態のブロ
ック図
【図３】図２のタグ情報分離部のブロック図
【図４】図２のデータ圧縮装置の処理手順の説明図
【図５】図４のタグをタグ符号に置換した本文ファイル
の説明図
【図６】図４の文字列ストリームから分離したタグ情報
ファイルの説明図
【図７】図４のタグを出現順序付きのタグ符号に置換し
た本文ファイルの説明図
【図８】図２のデータ圧縮装置の圧縮処理のフローチャ
ート
【図９】日本語文書に対する研究結果の説明図
【図１０】図２の辞書格納部の辞書構造の説明図
【図１１】図１０の辞書構造を用いた図２の符号化処理
のフローチャート
【図１２】図２のデータ圧縮装置からの符号ストリーム
を復元する本発明のデータ復元装置の第１実施形態のブ
ロック図
【図１３】図１２のデータ復元装置の復元処理のフロー
チャート
【図１４】図１２の辞書格納部の辞書構造の説明図
【図１５】本発明のデータ圧縮装置の第２実施形態のブ
ロック図
【図１６】図１５のデータ圧縮装置の圧縮処理のフロー
チャート
【図１７】本発明のデータ圧縮装置の第３実施形態のブ
ロック図
【図１８】図１７のデータ圧縮装置の処理手順の説明図
【図１９】図１７のデータ圧縮装置からの符号ストリー
ムを復元する本発明のデータ復元装置の第２実施形態の
ブロック図
【図２０】本発明のデータ圧縮装置の第４実施形態のブ
ロック図
【図２１】図２０のデータ圧縮装置の処理手順の説明図
【図２２】図２１の符号量をタグに付加した図２０のデ
ータ圧縮装置に格納されるタグ情報ファイルとタグ情報
ストリームの説明図
【図２３】図２０のデータ圧縮処理のフローチャート
【図２４】図２０のデータ圧縮装置からの符号ストリー
ムを復元する本発明のデータ復元装置の第３実施形態の
ブロック図
【図２５】ＳＧＭＬ文書の構造説明図
【図２６】ＳＧＭＬ文書の文書型定義ＤＴＤの具体例の
説明図
【図２７】日本語文書を例にとったＳＧＭＬ文書ファイ
ルの説明図
【図２８】ＳＧＭＬ文書ファイルを圧縮する基本的な符
号化アルゴリズムのフローチャート
【図２９】圧縮していないタグ情報の部分と圧縮した本
文部分が混在したＳＧＭＬ文書圧縮データファイルの説
明図
【符号の説明】
１０：タグ情報分離部 １２：タグ符号置換部 １４：文字列符号化部 １６：文字列比較部 １８：辞書格納部 ２０：文字列ストリーム ２２：タグ置換済み文字列ストリーム ２４：タグ符号 ２６，８４，９０，１０２：符号ストリーム ２８，１００：タグ情報ストリーム ３０：タグ比較部 ３２：タグ識別規則格納部 ３４：出力切替部 ３５：ＳＧＭＬ日本語文書ファイル ３６：タグ情報ファイル ３８：タグ置換済み日本語文書ファイル ４０：先頭文字格納部 ４２：従属文字列格納部 ６０：タグ符号分離部 ６２：タグ情報格納部 ６４：文字列復元部 ６６：符号列比較部 ６８：文字列置換部 ７０：辞書格納部 ７８：タグ情報格納部 ８６：タグ情報圧縮部 ８８：圧縮タグ情報ストリーム ９２：圧縮タグ格納部 ９４：タグ情報復元部 ９５：符号量計測部 ９６：タグ文字列比較部 ９８：タグ辞書格納部 ９８：符号量計測部 １０４：タグ文字列復元部 １０６：タグ復元辞書格納部
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１１年７月１４日（１９９９．７．１
４）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正内容】
【０００５】このような文書に構造の概念を取り入れた
構造化文書の例としては、国際規格のＯＤＡ（ISO ８６
１３：Open Document Architecture）や、ＳＧＭＬ
（ISO8879：Standard Generalized Markup Languag
e）の規格による構造化文書がある。またこのような構
造文書を用いた文書処理方法は、例えば特開平５−１３
５０５４号のものがある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正内容】
【００１３】ステップＳ１で同一の登録文字又は文字列
が検索できなかった場合は、ステップＳ５で元の入力文
字又は文字列をそのまま出力する。このような処理をス
テップＳ４で入力文字列がなくなるまで繰り返す。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正内容】
【００６０】続いてステップＳ３で、タグ配置済みの文
字列ストリーム中の文字列に文字列符号化部１４に設け
ている文字列比較部１６で辞書格納部１８内の対応する
登録番号を符号として割り当て、符号ストリーム２６を
出力する。このステップＳ１〜Ｓ３の処理を、ステップ
Ｓ４で文字列ストリームの入力が終了するまで繰り返
す。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正内容】
【００６２】図２の文字列符号化部１４に設けた文字列
比較部１６は、辞書格納部１８の参照により、単語を構
成する文字列ごとに予め定めた所定の文字列符号を割り
当てる符号化を行う。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正内容】
【００６４】文字列比較部１６は日本語文書データの文
字列を先頭から順番に入力し、辞書格納部１８に予め登
録されている単語単位の登録文字列と一致するか否かを
検出する。文字列比較部１６で入力文字列に一致する登
録文字列が検出されると、辞書格納部１８の一致検出さ
れた登録文字列に対応して予め登録されている文字列符
号を読み出して割り当て、この文字列符号を出力する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正内容】
【００６５】ここで日本語文書データの文字列を単語単
位に文字列符号に変換するための辞書格納部１８を説明
する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正内容】
【００６９】図１０は、図２の辞書格納部１８の辞書構
造の実施形態である。図２の辞書格納部１５に格納され
た辞書は、先頭文字格納部４０と従属文字列格納部４２
の２階層構造を備える。先頭文字格納部４０は、日本語
文字「あ，い，う，え，お・・・」の文字コードをイン
デックスとしており、日本語の文字コードは２バイトデ
ータであることから、文字コード４４としては、１６進
数で「０ｘ００００」から「０ｘＦＦＦＦ」の１３１，
０７２種類の格納位置が割り当てられる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正内容】
【００７０】この文字コード４４は、図２の文字列比較
部１６で読み込んだ先頭文字を使用して、対応する文字
コードの位置にアクセスする。文字コード４４に続いて
は先頭アドレス４６が格納される。先頭アドレス４６
は、例えば文字コード４４の先頭文字「あ」を例にとる
と、先頭文字「あ」に続く従属文字列を格納した従属文
字列格納部４２の先頭アドレス「Ａ１」を指定してい
る。続いて従属文字列の個数４８が設けられる。例えば
先頭文字「あ」にあっては、従属文字列個数４８として
Ｎ１＝４個が格納されている。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正内容】
【００７１】従属文字列格納部４２は、先頭文字格納部
４０の先頭文字の文字コード４４に対応して格納された
先頭アドレス４６で先頭位置が指定され、この先頭位置
から従属文字列格納部４２で指定された個数の格納位置
に従属文字列が格納されている。例えば先頭文字「あ」
に対応した先頭アドレス４６のアドレスＡ１から従属文
字列個数４８のＮ１＝４個となる４つの格納位置が、対
象とする従属文字列格納領域として指定される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正内容】
【００７４】ここで図１０の従属文字列格納部４２に文
字列コード３４は、単語個数に基づき１番から１３６，
４８６番まで予め１７ビットの文字列コードが割り当て
られており、図１０のように格納した場合の文字列コー
ド（文字列符号）Ｋと位置アドレスＸとの関係は、次式
で表すことができる。 Ｋ＝（Ｎ・Ｘ−Ａ１）／Ｍ （１） 但し、Ｘ ：従属文字列格納部４２の位置アドレス Ｎ ：一致検出された従属文字列の番号（１，２，３，
・・Ｎ） Ａ１：従属文字列格納部の開始アドレス Ｍ ：従属文字列格納部の格納バイト長 ここで、従属文字列格納部４２の格納バイト長Ｍは、従
属文字列の長さ５０、従属文字列５２、及び文字列コー
ド５４の合計長であることから、例えば次式で表すこと
ができる。 格納バイト長Ｍ＝ 長さ＋文字コード列＋文字列コード （２） ＝３bit ＋ ９６bit ＋ １７bit ＝１１６bit ＝１５byte ここでは格納可能な従属文字列を最大６文字とすること
で、従属文字列５２に９６ビットを割り当てた場合を例
にとっている。もちろん、従属文字列の文字数は平均で
２．８文字であることから、３文字（４８ビット）以上
とすれば十分な圧縮効果が得られる。この場合には、従
属文字列格納部の１つの格納領域の格納バイト長ＭはＭ
＝１２バイトになる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正内容】
【００７６】図１１は図１０の辞書構造を持った辞書格
納部１８による図２の文字列比較部１６による符号化処
理のフローチャートである。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正内容】
【００７９】登録した従属文字列と一致すれば、ステッ
プＳ８に進み、次の文字列コード５４を読み出し、一致
検出した文字列に文字列比較部１６で割り当てて出力
し、次のステップＳ９で先頭文字位置Ｐを従属文字列の
文字数Ｌだけ移動した位置Ｐにポインタを更新する。そ
してステップＳ１２で非圧縮データの処理が済んでいな
ければ、再びステップＳ２に戻り、更新した先頭文字位
置Ｐについて同様な処理を繰り返す。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正内容】
【００８２】図１２は、図２のデータ圧縮装置から出力
された符号ストリーム２６及びタグ情報ストリーム２８
で構成される符号ストリームから文字列ストリームを復
元するためのデータ復元装置の第１実施形態のブロック
図である。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正内容】
【００８３】このデータ復元装置は、タグ情報分離部６
０、タグ情報格納部６２、文字列復元部６４で構成され
る。文字列復元部６４は、符号列比較部６６、辞書格納
部６５及び文字列置換部６８を備える。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正内容】
【００８４】タグ情報分離部６０は図２のデータ圧縮装
置側から送られてきた符号ストリーム５６を入力し、タ
グ情報と符号データとに分離し、タグ情報はタグ情報格
納部６２に格納し、符号データは符号ストリーム５８と
して文字列復元部６４に出力する。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正内容】
【００８５】文字列復元部６４は符号列比較部６６で辞
書格納部６５を用いて符号データから文字列及びタグ符
号を復元した後に、文字列置換部６８においてタグ符号
をタグ情報格納部６２に格納しているタグ情報に置き換
えて、復元した文字列ストリーム７０を出力する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正内容】
【００８６】図１３は、図１２のデータ復元装置の復元
処理のフローチャートである。まずステップＳ１で、タ
グ情報分離部６０が入力文書に対応した符号ストリーム
５６からタグ情報を分離してタグ情報格納部６２に格納
する。次にステップＳ２で、タグ情報が分離された符号
ストリーム５６の中の符号列を辞書格納部６５内の登録
番号と比較照合し、一致する登録番号で格納している文
字または文字列に変換する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正内容】
【００８８】図１２の文字列復元部６４に設けた符号列
比較部６６は、辞書格納部６５の参照により、図３のデ
ータ圧縮装置で符号化された符号列ストリームから元の
文字列を復元する。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正内容】
【００８９】図１４は、図１２の文字列辞書格納部６５
の辞書構造である。この文字列辞書格納部６５にあって
は、先頭文字７２、従属文字列長さ７４及び従属文字列
７６を、図１０の辞書構造に示した従属文字列格納部４
２の１７ビットの文字列コード５４の順番に格納してい
る。このため符号列比較部６６にあっては、復元に使用
する従属文字列格納部４２の格納バイト長Ｍが 格納バイト長Ｍ＝ 先頭文字＋長さ＋文字コード列 （６） ＝ １６bit ＋３bit ＋ ９６bit ＝１１５ビット ＝１５byte から判明しているため、次式から文字列コードＫに対応
した位置アドレスＸを算出することができる。 Ｘ＝Ｍ・Ｋ＋Ａ１ （７） 但し、Ｋ ：文字列コード Ａ１：文字列格納位置の開始アドレス Ｍ ：格納バイト長 このようにして分離した文字列コードＫから辞書格納位
置を示す位置アドレスＸを求めて参照することで、対応
する先頭文字及び従属文字列を組み合わせた文字列を復
元することができる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正内容】
【００９３】タグ情報格納部７８にはタグ情報分離部１
０により文字列ストリーム２０から分離されたタグ情報
が格納される。これによってタグ情報格納部７８には、
例えば図６のようなタグ情報ファイル３６が格納され
る。また符号格納部８０は文字列符号化部１４に設けら
れており、タグ符号置換部１２により分離したタグ情報
にタグ情報を挿入したタグ置換済み文字列ストリーム２
２につき、図１１の符号化処理により生成された符号デ
ータが格納される。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正内容】
【００９７】文字列ストリームの入力が終了するとステ
ップＳ５に進み、分離したタグ情報とタグ符号に変換し
て符号化した符号ストリームを、例えばタグ情報格納部
７８と符号格納部８０から順番に読み出して符号列スト
リーム８４として出力する。図１５のデータ圧縮装置か
ら出力された符号列ストリーム８４は、図１２に示した
データ復元装置に入力することで文字列ストリームを復
元することができる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正内容】
【０１０１】タグ情報分離部１０、タグ符号置換部１
２、文字列符号化部１４は、図１５の第２実施形態と同
じである。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正内容】
【０１０４】図１９は、図１７のデータ圧縮装置から出
力された符号ストリーム９０から文字列ストリームを復
元する本発明のデータ復元装置の第２実施形態である。
このデータ復元装置は、図１２の第１実施形態に更に圧
縮タグ格納部９２とタグ情報復元部９４を設けている。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正内容】
【０１０５】タグ情報分離部９２は、入力する符号スト
リーム９０に含まれる圧縮タグ情報を分離して圧縮タグ
格納部６２に格納する。圧縮タグ格納部９２に格納され
た圧縮タグ情報はタグ情報復元部９２により復元され、
タグ情報格納部６２に格納される。タグ情報復元部９２
はデータ圧縮側のＬＺ７７，ＬＺ７８，算術復号化に対
応した復元アルゴリズムを実行する。それ以外の構成は
図１５と同じになる。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正内容】
【０１０７】図２０において、タグ情報分離部１０、タ
グ符号置換部１２、文字列比較部１６、辞書格納部１８
を備えた文字列符号化部１４、タグ情報格納部７８及び
符号切替部８２は、図１５の第２実施形態と同じであ
る。これに加えて図２０の第４実施形態にあっては、新
たにタグ文字列比較部９７、タグ辞書格納部９６及び符
号量計測部９８を設けている。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正内容】
【０１０８】タグ文字列比較部９７とタグ辞書格納部９
６は、タグ情報分離部１０で分離したタグ情報に含まれ
る日本語文字列ストリームを文字列符号化部１４と同様
な符号化アルゴリズムで符号化してタグ情報を圧縮す
る。このため、タグ情報格納部９８の辞書構成は図１０
と同じであり、先頭文字及び従属文字としてタグ情報に
使用する日本語文字列が使用されている。またタグ文字
列の符号化処理は図１１のフローチャートに従って行
う。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】０１１１
【補正方法】変更
【補正内容】
【０１１１】図２１は、図２０の第４実施形態における
圧縮処理の説明図である。ＳＧＭＬ日本語文書ファイル
３５の内容となる文字列ストリームを入力して、タグ情
報の分離によるタグ情報ファイル３６の生成及びタグ情
報をタグ符号に置換したタグ置換済み日本語文書ファイ
ル３８の生成は、図１５の第２実施形態と同じである。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正内容】
【０１１３】図２２は、タグ情報格納部７８に格納され
たタグ情報ファイルの具体例であり、図２７に示したＳ
ＧＭＬ日本語文書ファイルから分離したタグ情報を例に
とっている。このタグ情報ファイル３６には、左側のイ
ンデックス０１〜１３に対応した各タグに対応して、右
側に図２１のタグ置換済み日本語ファイル３８の文字列
データの符号データの先頭からの符号量（バイト量）Ｄ
Ｌ１〜ＤＬ１３が位置指定情報１０６としてそれぞれ格
納されている。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正内容】
【０１１６】このようなステップＳ１〜Ｓ４の処理を、
ステップＳ５で文字列ストリームの入力が終了するまで
繰り返す。文字列ストリーム２０の入力が終了すると、
ステップＳ６で、タグ情報格納部７８に分離して格納し
ているタグ情報中の文字列をタグ辞書格納部９６内の辞
書の対応するブロック番号に変換して符号データとする
符号化処理をタグ文字列比較部９７で行い、タグ情報格
納部７８に格納する。その結果、タグ情報格納部７８の
格納内容は図２２の圧縮タグ情報ファイル３６のように
なる。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正内容】
【０１１７】最後にステップＳ７で、タグ情報格納部７
８に分離して符号化した符号量付きのタグ情報と符号格
納部８０に格納した符号データを符号切替部８２より例
えば順番に選択出力し、符号ストリーム１００として外
部に供給する。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正内容】
【０１２３】一方、タグ情報分離部６０は、圧縮タグ情
報ストリームに続いて送られてくる文書本文の符号スト
リームを文字列復元部６４に供給し、符号列比較部６６
で取り出した符号による辞書格納部６５の辞書番号の参
照で対応する文字または文字列を復元し、文字列置換部
６８に出力する。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正内容】
【０１２４】文字列置換部６８は、復元した文字列の中
のタグ符号を認識し、その出現順に従ってタグ情報格納
部６２に格納している復元済みのタグ情報を格納順に取
り出し、タグ符号と置換し、復元した文字列ストリーム
を出力する。
【手続補正３４】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正内容】
【図１２】
【手続補正３５】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正内容】
【図１５】
【手続補正３６】
【補正対象書類名】図面
【補正対象項目名】図１９
【補正方法】変更
【補正内容】
【図１９】
【手続補正３７】
【補正対象書類名】図面
【補正対象項目名】図２０
【補正方法】変更
【補正内容】
【図２０】
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 宣子 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内

Claims (26)

    【特許請求の範囲】
  1. 【請求項１】タグを含む文書で構成された文字列ストリ
    ームから符号データを生成するデータ圧縮装置に於い
    て、 前記文字列ストリームから識別したタグを分離してタグ
    情報として出力するタグ情報分離部と、 前記タグ情報分離部でタグが分離された文字列ストリー
    ムの位置に識別のためにタグ符号を配置するタグ符号置
    換部と、 前記タグ符号置換部から出力されたタグ符号を含む文字
    列ストリームを符号化して符号ストリームを出力する文
    字列符号化部と、を有することを特徴とするデータ圧縮
    装置。
  2. 【請求項２】請求項１記載のデータ圧縮装置に於いて、
    前記タグ符号置換部は、タグが分離された文字列ストリ
    ームの位置に、所定の固定符号を前記タグ符号として配
    置することを特徴とするデータ圧縮装置。
  3. 【請求項３】請求項１記載のデータ圧縮装置に於いて、
    前記タグ符号置換部は、タグが分離された文字列ストリ
    ームの位置に、前記タグ情報分離部で分離されたタグの
    出現順序を示すタグ符号を配置することを特徴とするデ
    ータ圧縮装置。
  4. 【請求項４】請求項１記載のデータ圧縮装置に於いて、
    更に、 前記タグ情報分離部で分離されたタグ情報を格納するタ
    グ情報格納部と、 前記文字列符号化部で生成された符号データを格納する
    符号格納部と、 前記タグ情報格納部に格納されたタグ情報と符号格納部
    に格納された符号データを選択して出力する符号切替部
    と、を設けたことを特徴とするデータ圧縮装置。
  5. 【請求項５】請求項１記載のデータ圧縮装置に於いて、
    前記文字列符号化部は、 圧縮する際の処理単位となる文字列を登録した辞書を格
    納する辞書格納部と、 前記タグ符号置換部からの文字列ストリームの中の部分
    文字列と前記辞書格納部の登録文字列との比較により、
    前記登録文字列に一致する部分文字列を検出し、検出し
    た部分文字列ごとに予め定められた符号を割り当てて出
    力する文字列比較部と、を備えたことを特徴とするデー
    タ圧縮装置。
  6. 【請求項６】請求項１記載のデータ圧縮装置に於いて、
    更に、前記タグ情報分離部で分離したタグ情報を圧縮す
    るタグ情報圧縮部を設けたことを特徴とするデータ圧縮
    装置。
  7. 【請求項７】請求項１記載のデータ圧縮装置に於いて、
    更に、 圧縮する際の処理単位となるタグ情報中のタグ文字列を
    登録した辞書を格納するタグ辞書格納部と、 前記タグ情報分離部で分離したタグ情報に含まれる文字
    列ストリームの部分文字列と前記タグ辞書格納部の登録
    文字との比較により、前記登録文字列に一致する部分文
    字列を検出し、検出した部分文字列ごとに予め定められ
    た符号を割り当てて出力するタグ文字列比較部と、を備
    えたことを特徴とするデータ圧縮装置。
  8. 【請求項８】請求項４記載のデータ圧縮装置に於いて、
    更に、前記文字列符号化部で生成した符号データの中の
    タグ位置を検出するタグ位置検出部を設け、前記タグ情
    報格納部に前記タグ情報分離部で分離したタグ情報と共
    に前記タグ位置検出部で検出したタグ位置の指定情報を
    格納したことを特徴とするデータ圧縮装置。
  9. 【請求項９】請求項８記載のデータ圧縮装置に於いて、
    前記タグ位置検出部は、文書先頭又は特定のタグからの
    符号量を検出して前記タグ情報格納部にタグ情報と共に
    格納したことを特徴とするデータ圧縮装置。
  10. 【請求項１０】タグを含む文書の文字列ストリームから
    分離したタグ情報と、分離したタグの位置にタグ符号を
    配置した文字列ストリームを符号化した符号データとを
    含む符号ストリームから文字列データを復元するデータ
    復元装置に於いて、 前記符号ストリームからタグ情報と符号データとを分離
    するタグ情報分離部と、 前記タグ情報分離部で分離し
    たタグ情報を格納するタグ情報格納部と、 前記符号データから文字列及びタグ符号を含む文字列デ
    ータを復元した後に、前記タグ符号をダク情報格納部の
    タグ情報に置き換える文字列復元部と、を備えたことを
    特徴とするデータ復元装置。
  11. 【請求項１１】請求項１０記載のデータ復元装置に於い
    て、前記文字列復元部は、 復元する際の処理単位となる文字列の符号に対応した復
    元文字列を登録した辞書を格納する辞書格納部と、 前記符号ストリームから復元単位となる文字列の符号を
    分離して前記辞書格納部の参照で元の文字列を復元する
    文字列比較部と、 前記文字列比較部により復元したタグ符号を、前記ダク
    情報格納部のタグ情報に置き換える文字列置換部と、を
    備えたことを特徴とするデータ復元装置。
  12. 【請求項１２】請求項１０記載のデータ復元装置に於い
    て、更に、前記タグ情報格納部に格納されたタグ情報の
    圧縮データを復元するタグ情報復元部を設けたことを特
    徴とするデータ復元装置。
  13. 【請求項１３】請求項１０記載のデータ復元装置に於い
    て、更に、 復元する際の処理単位となるタグ文字列の符号に対応し
    た復元文字列を登録した辞書を格納するタグ辞書格納部
    と、 前記タグ情報分離部により分離したタグ情報から復元単
    位となるタグ文字列の符号を分離し、前記辞書格納部の
    参照で元のタグ文字列を復元するタグ文字列比較部と、
    を備えたことを特徴とするデータ復元装置。
  14. 【請求項１４】タグを含む文書で構成された文字列スト
    リームから符号データを生成するデータ圧縮方法に於い
    て、 前記文字列ストリームから識別したタグを分離してタグ
    情報として出力するタグ情報分離過程と、 前記タグ情報分離過程でタグが分離された文字列ストリ
    ームの位置に識別のためにタグ符号を配置するタグ符号
    置換過程と、 前記タグ符号置換過程から出力されたタグ符号を含む文
    字列ストリームを符号化して符号ストリームを出力する
    文字列符号化過程と、を有することを特徴とするデータ
    圧縮方法。
  15. 【請求項１５】請求項１４記載のデータ圧縮方法に於い
    て、前記タグ符号置換過程は、タグが分離された文字列
    ストリームの位置に、所定の固定符号を前記タグ符号と
    して配置することを特徴とするデータ圧縮方法。
  16. 【請求項１６】請求項１４記載のデータ圧縮方法に於い
    て、前記タグ符号置換過程は、タグが分離された文字列
    ストリームの位置に、前記タグ情報分離過程で分離され
    たタグの出現順序を示すタグ符号を配置することを特徴
    とするデータ圧縮方法。
  17. 【請求項１７】請求項１４記載のデータ圧縮方法に於い
    て、更に、 前記タグ情報分離過程で分離されたタグ情報を格納する
    タグ情報格納過程と、 前記文字列符号化過程で生成された符号データを格納す
    る符号格納過程と、 前記タグ情報格納過程に格納されたタグ情報と符号格納
    過程に格納された符号データを選択して出力する符号切
    替過程と、を設けたことを特徴とするデータ圧縮方法。
  18. 【請求項１８】請求項１４記載のデータ圧縮方法に於い
    て、前記文字列符号化過程は、 圧縮する際の処理単位となる文字列を登録した辞書を生
    成する辞書生成過程と、 前記タグ符号置換過程で得られた文字列ストリームの中
    の部分文字列と前記辞書の登録文字列との比較により、
    前記登録文字列に一致する部分文字列を検出し、検出し
    た部分文字列ごとに予め定められた符号を割り当てて出
    力する文字列比較過程と、を備えたことを特徴とするデ
    ータ圧縮方法。
  19. 【請求項１９】請求項１４記載のデータ圧縮方法に於い
    て、更に、前記タグ情報分離過程で分離したタグ情報を
    圧縮するタグ情報圧縮過程を設けたことを特徴とするデ
    ータ圧縮方法。
  20. 【請求項２０】請求項１４記載のデータ圧縮方法に於い
    て、更に、 圧縮する際の処理単位となるタグ情報中のタグ文字列を
    登録した辞書を生成するタグ辞書生成過程と、 前記タグ情報分離過程で分離したタグ情報に含まれる文
    字列ストリームの部分文字列と前記タグ辞書の登録文字
    との比較により、前記登録文字列に一致する部分文字列
    を検出し、検出した部分文字列ごとに予め定められた符
    号を割り当てて出力するタグ文字列比較過程と、を備え
    たことを特徴とするデータ圧縮方法。
  21. 【請求項２１】請求項１７記載のデータ圧縮方法に於い
    て、更に、前記文字列符号化過程で生成した符号データ
    のタグ位置を検出するタグ位置検出過程を設け、前記タ
    グ情報分離過程で分離したタグ情報と共に前記タグ位置
    検出過程で検出したタグ位置の指定情報を格納したこと
    を特徴とするデータ圧縮方法。
  22. 【請求項２２】請求項２１記載のデータ圧縮方法に於い
    て、前記タグ位置検出過程は、文書先頭又は特定のタグ
    からの符号量を検出して前記タグ情報格納過程で分離し
    たタグ情報と共に格納することを特徴とするデータ圧縮
    方法。
  23. 【請求項２３】タグを含む文書の文字列ストリームから
    分離したタグ情報と、分離したタグの位置にタグ符号を
    配置した文字列ストリームを符号化した符号データとを
    含む符号ストリームから文字列データを復元するデータ
    復元方法に於いて、 前記タグ情報と符号データとを分離するタグ情報分離過
    程と、 前記タグ情報分離過程で分離したタグ情報を格納するタ
    グ情報格納過程と、 前記符号データから文字列及びタグ符号を含む文字列ス
    トリームを復元した後に、前記タグ符号を前記ダク情報
    格納過程で分離したタグ情報に置き換える文字列復元過
    程と、を備えたことを特徴とするデータ復元方法。
  24. 【請求項２４】請求項２３記載のデータ復元方法に於い
    て、前記文字列復元過程は、 復元する際の処理単位となる文字列の符号に対応した復
    元文字列を登録した辞書を生成する辞書生成過程と、 前記符号ストリームから復元単位となる文字列の符号を
    分離して前記辞書の参照で元の文字列を復元する文字列
    比較過程と、 前記文字列比較過程により復元したタグ符号を、前記ダ
    ク情報格納過程で分離したタグ情報に置き換える文字列
    置換過程と、を備えたことを特徴とするデータ復元方
    法。
  25. 【請求項２５】請求項２３記載のデータ復元方法に於い
    て、更に、前記タグ情報格納過程で格納されたタグ情報
    の圧縮データを復元するタグ情報復元過程を設けたこと
    を特徴とするデータ復元方法。
  26. 【請求項２６】請求項２３記載のデータ復元方法に於い
    て、更に、 復元する際の処理単位となるタグ文字列の符号に対応し
    た復元文字列を登録した辞書を生成するタグ辞書生成過
    程と、 前記タグ情報分離過程により分離したタグ情報から復元
    単位となるタグ文字列の符号を分離し、前記辞書の参照
    で元のタグ文字列を復元するタグ文字列比較過程と、を
    備えたことを特徴とするデータ復元方法。
JP27272498A 1998-09-28 1998-09-28 データ圧縮装置及び復元装置並びにその方法 Expired - Fee Related JP4003854B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP27272498A JP4003854B2 (ja) 1998-09-28 1998-09-28 データ圧縮装置及び復元装置並びにその方法
US09/352,355 US6871320B1 (en) 1998-09-28 1999-07-13 Data compressing apparatus, reconstructing apparatus, and method for separating tag information from a character train stream of a structured document and performing a coding and reconstruction
EP99306048A EP0991018A3 (en) 1998-09-28 1999-07-29 Method and apparatus for compressing data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27272498A JP4003854B2 (ja) 1998-09-28 1998-09-28 データ圧縮装置及び復元装置並びにその方法

Publications (2)

Publication Number Publication Date
JP2000101442A true JP2000101442A (ja) 2000-04-07
JP4003854B2 JP4003854B2 (ja) 2007-11-07

Family

ID=17517905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27272498A Expired - Fee Related JP4003854B2 (ja) 1998-09-28 1998-09-28 データ圧縮装置及び復元装置並びにその方法

Country Status (3)

Country Link
US (1) US6871320B1 (ja)
EP (1) EP0991018A3 (ja)
JP (1) JP4003854B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001217720A (ja) * 2000-02-04 2001-08-10 Internatl Business Mach Corp <Ibm> データ圧縮装置、データベースシステム、データ通信システム、データ圧縮方法、記憶媒体及びプログラム伝送装置
JP2004528737A (ja) * 2000-11-07 2004-09-16 ユーアイエボルーション・インコーポレーテッド 構成要素発生頻度に基づく圧縮形式でデータ構造を送信および受信するための方法および装置
US7143397B2 (en) 2001-02-02 2006-11-28 International Business Machines Corporation XML data encoding and decoding
JP2009043267A (ja) * 2001-07-13 2009-02-26 Fr Telecom 階層化ツリーを圧縮する方法及び圧縮されたマルチメディア信号をデコーディングする方法
US7856595B2 (en) 2000-11-24 2010-12-21 Fujitsu Limited Structured document compressing apparatus and method, record medium in which a structured document compressing program is stored, structured document decompressing apparatus and method, record medium in which a structured document decompressing program is stored, and structured document processing system
EP3051429A1 (en) 2015-01-28 2016-08-03 Fujitsu Limited Encoding device and encoding method
EP3236368A1 (en) 2016-04-18 2017-10-25 Fujitsu Limited Encoding processing program, encoding processing device, encoding processing method, decoding processing program, decoding processing device, and decoding processing method

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2384687A1 (en) * 1999-09-10 2001-03-15 General Instrument Corporation Method and apparatus for compressing scripting language content
US6850948B1 (en) * 2000-10-30 2005-02-01 Koninklijke Philips Electronics N.V. Method and apparatus for compressing textual documents
FR2818409B1 (fr) * 2000-12-18 2003-03-14 Expaway Procede pour diviser des documents structures en plusieurs parties
GB2385686A (en) * 2002-02-25 2003-08-27 Oracle Corp Mark-up language conversion
JP2004104347A (ja) * 2002-09-06 2004-04-02 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
CN1635492A (zh) * 2003-12-30 2005-07-06 皇家飞利浦电子股份有限公司 一种xml数据的压缩与解压缩方法及装置
US7593949B2 (en) * 2006-01-09 2009-09-22 Microsoft Corporation Compression of structured documents
JP6645013B2 (ja) * 2015-01-30 2020-02-12 富士通株式会社 符号化プログラム、符号化方法、符号化装置および伸長方法
US10175866B2 (en) 2015-06-05 2019-01-08 Apple Inc. Providing complications on an electronic watch
US10572571B2 (en) * 2015-06-05 2020-02-25 Apple Inc. API for specifying display of complication on an electronic watch
US11327640B2 (en) 2015-06-05 2022-05-10 Apple Inc. Providing complications on an electronic device
JP6753401B2 (ja) * 2015-07-24 2020-09-09 富士通株式会社 符号化プログラム、符号化装置、及び符号化方法
US10276134B2 (en) * 2017-03-22 2019-04-30 International Business Machines Corporation Decision-based data compression by means of deep learning technologies
CN108388548B (zh) * 2018-02-24 2021-08-31 浪潮软件股份有限公司 一种实现脚本参数化的方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016009A (en) * 1989-01-13 1991-05-14 Stac, Inc. Data compression apparatus and method
US5146221A (en) * 1989-01-13 1992-09-08 Stac, Inc. Data compression apparatus and method
US5627995A (en) * 1990-12-14 1997-05-06 Alfred P. Gnadinger Data compression and decompression using memory spaces of more than one size
JPH07105185A (ja) * 1993-10-01 1995-04-21 Matsushita Electric Ind Co Ltd 文書作成装置
JPH08255155A (ja) * 1995-03-16 1996-10-01 Fuji Xerox Co Ltd 全文登録語検索装置および方法
JP3499671B2 (ja) * 1996-02-09 2004-02-23 富士通株式会社 データ圧縮装置及びデータ復元装置
JP3859313B2 (ja) * 1997-08-05 2006-12-20 富士通株式会社 タグ文書の圧縮装置および復元装置，圧縮方法および復元方法，圧縮／復元装置および圧縮／復元方法並びに圧縮，復元もしくは圧縮／復元プログラムを記録したコンピュータ読み取り可能な記録媒体

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001217720A (ja) * 2000-02-04 2001-08-10 Internatl Business Mach Corp <Ibm> データ圧縮装置、データベースシステム、データ通信システム、データ圧縮方法、記憶媒体及びプログラム伝送装置
JP2004528737A (ja) * 2000-11-07 2004-09-16 ユーアイエボルーション・インコーポレーテッド 構成要素発生頻度に基づく圧縮形式でデータ構造を送信および受信するための方法および装置
US7856595B2 (en) 2000-11-24 2010-12-21 Fujitsu Limited Structured document compressing apparatus and method, record medium in which a structured document compressing program is stored, structured document decompressing apparatus and method, record medium in which a structured document decompressing program is stored, and structured document processing system
US7143397B2 (en) 2001-02-02 2006-11-28 International Business Machines Corporation XML data encoding and decoding
JP2009043267A (ja) * 2001-07-13 2009-02-26 Fr Telecom 階層化ツリーを圧縮する方法及び圧縮されたマルチメディア信号をデコーディングする方法
EP3051429A1 (en) 2015-01-28 2016-08-03 Fujitsu Limited Encoding device and encoding method
JP2016139309A (ja) * 2015-01-28 2016-08-04 富士通株式会社 文字データ変換プログラム、文字データ変換装置および文字データ変換方法
EP3236368A1 (en) 2016-04-18 2017-10-25 Fujitsu Limited Encoding processing program, encoding processing device, encoding processing method, decoding processing program, decoding processing device, and decoding processing method
JP2017195447A (ja) * 2016-04-18 2017-10-26 富士通株式会社 符号化処理プログラム、符号化処理装置、符号化処理方法、復号化処理プログラム、復号化処理装置および復号化処理方法

Also Published As

Publication number Publication date
US6871320B1 (en) 2005-03-22
EP0991018A3 (en) 2005-01-05
JP4003854B2 (ja) 2007-11-07
EP0991018A2 (en) 2000-04-05

Similar Documents

Publication Publication Date Title
JP2000101442A (ja) データ圧縮装置及び復元装置並びにその方法
JP3859313B2 (ja) タグ文書の圧縮装置および復元装置，圧縮方法および復元方法，圧縮／復元装置および圧縮／復元方法並びに圧縮，復元もしくは圧縮／復元プログラムを記録したコンピュータ読み取り可能な記録媒体
US6012057A (en) High speed data searching for information in a computer system
US5870036A (en) Adaptive multiple dictionary data compression
JP6596102B2 (ja) コンテンツ連想シーブに存在している基本データエレメントからデータを導出することによるデータの無損失削減
JP3421700B2 (ja) データ圧縮装置及び復元装置並びにその方法
JP3935952B2 (ja) 頻度の高いキャラクタの組み合わせ、ワード及び／又はフレーズでプレフィルした辞書を用いるＬｅｍｐｅｌ―Ｚｉｖデータ圧縮技術
US6047298A (en) Text compression dictionary generation apparatus
Deutsch et al. Zlib compressed data format specification version 3.3
JP3309031B2 (ja) 短ブロックのデータを圧縮、伸長するための方法、及び装置
WO1989006882A1 (en) Method and system for storing and retrieving compressed data
WO1998006028A9 (en) A lempel-ziv data compression technique utilizing a dicionary pre-filled with fequent letter combinations, words and/or phrases
JPH0682370B2 (ja) 文字処理装置
JPH06152435A (ja) 可変長符号の伸長装置および圧縮伸長装置
JPS59231683A (ja) データ圧縮方法
US6834283B1 (en) Data compression/decompression apparatus using additional code and method thereof
Lin A hardware architecture for the LZW compression and decompression algorithms based on parallel dictionaries
JPH10261969A (ja) データ圧縮方法および装置
JP3038223B2 (ja) データ圧縮方式
JP2729416B2 (ja) テキストデータの復元方法
JPH0554077A (ja) 単語辞書検索装置
US6731229B2 (en) Method to reduce storage requirements when storing semi-redundant information in a database
JPH06222984A (ja) 読み出し専用メモリ
JP2952067B2 (ja) データ圧縮方式
JP2825960B2 (ja) データ圧縮方法及び復元方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070816

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110831

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120831

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120831

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130831

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees