JP6737117B2 - 符号化データ検索プログラム、符号化データ検索方法および符号化データ検索装置 - Google Patents

符号化データ検索プログラム、符号化データ検索方法および符号化データ検索装置 Download PDF

Info

Publication number
JP6737117B2
JP6737117B2 JP2016198914A JP2016198914A JP6737117B2 JP 6737117 B2 JP6737117 B2 JP 6737117B2 JP 2016198914 A JP2016198914 A JP 2016198914A JP 2016198914 A JP2016198914 A JP 2016198914A JP 6737117 B2 JP6737117 B2 JP 6737117B2
Authority
JP
Japan
Prior art keywords
code
automaton
word
search
basic form
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016198914A
Other languages
English (en)
Other versions
JP2018060443A (ja
Inventor
片岡　正弘
正弘 片岡
賢一 川久保
賢一 川久保
昭次 岩本
昭次 岩本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016198914A priority Critical patent/JP6737117B2/ja
Priority to US15/705,917 priority patent/US10942934B2/en
Publication of JP2018060443A publication Critical patent/JP2018060443A/ja
Application granted granted Critical
Publication of JP6737117B2 publication Critical patent/JP6737117B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Description

本発明は、符号化データ検索プログラム等に関する。
従来の符号化技術においては、文書をコード化する場合に、静的辞書および動的辞書を用いる符号化技術がある。例えば、静的辞書は、単語と、この単語の出現頻度に応じた符号長の静的符号とを対応付ける辞書である。動的辞書は、文書に複数回出現する文字列と動的符号とを対応付ける辞書である。従来の符号化技術では、静的辞書にヒットした単語については、静的辞書の静的符号（コード）に置換し、静的辞書にヒットせず、複数回登場する文字列については、動的辞書にかかる文字列を登録し、動的符号（コード）を文字列に割り当てる。
ここで、符号化技術によってコード化された文書から、復号化することなく、所定の単語が文書に含まれているか否かを検索することで、検索効率を向上させることが望まれている。従来技術では、例えば、コード化された文書から検索対象の単語を検索する場合には、検索対象の単語と静的辞書（または動的辞書）とを比較することで、検索対象の単語のコードを特定する。そして、従来技術では、特定したコードと、コード化された文書とを比較することで、検索対象の単語を検索する。
国際公開第２０１４／１４７６７２号 特開平１１−１４３８９３号公報 特開昭６０−２２２９６０号公報 米国特許出願公開第２０１６／０００６４５６号明細書
しかしながら、上述した従来技術では、類義語検索を行う場合に、基本形の検索と同様に、一走査で検索することができないという問題がある。
例えば、文書中の単語を検索する場合には、表記ゆれを含めた検索を行う場合がしばしば発生する。ここで、文書をコード化する場合に、単語の表記ゆれを統制することができれば検索は容易となるが、単語の表記ゆれを完全に統制することは難しく、表記ゆれがコード化された文書中に残ってしまう場合がある。
このため、コード化された文書を単語単位で検索する場合には、表記ゆれに対応した、複数の符号の検索を行うことになる。例えば、単語「振込」を検索する場合には、「振込」に加え、「振り込み」、「振込み」、「ふり込み」、「振りこみ」、「ふりこみ」についても、それぞれ、検索することになり、一走査で検索することができない。
また、ある英単語を検索する場合にも、検索対象となる英単語だけでなく、英単語の語形変化を考慮した検索を行う場合もある。例えば、「go」を検索する場合には、基本形の「go」に加え、語形変化した「goes」、「went」、「gone」「going」についても、それぞれ検索することになる。
上記のように、検索対象となる単語の表記ゆれや、語形変化を考慮した検索処理を行う場合には、各表記ゆれや語形変化に関連する単語の数に応じて、検索時間を要してしまう。
１つの側面では、本発明は、類義語検索を行う際の走査数を抑制して検索を行うことができる符号化データ検索プログラム、符号化データ検索方法および符号化データ検索装置を提供することを目的とする。
第１の案では、コンピュータに下記の処理を実行させる。コンピュータは、符号化文書に対する検索文字列を受け付ける。コンピュータは、複数の単語について、符号化文書の符号化規則による単語の符号化データと単語の基本形と基本形に関連する関連単語とを対応付けた関連情報を参照する。コンピュータは、検索文字列の基本形、および、基本形の関連単語に関する複数の符号を取得する。コンピュータは、複数の符号を検索対象に設定したオートマトンを利用して、符号化文書に対する検索を行う。
符号のレベルで類義語の関連付けを行うことにより、類義語検索を行う場合であっても、基本形の検索と同様に、一走査で検索を行うことができる。
図１は、本実施例に係るデータ検索装置の処理を説明するための図である。 図２は、本実施例に係る符号化装置の構成を示す機能ブロック図である。 図３は、テキストファイルのデータ構造の一例を示す図である。 図４は、静的辞書情報のデータ構造の一例を示す図である。 図５は、動的辞書情報のデータ構造の一例を示す図である。 図６は、コード化テキストファイルのデータ構造の一例を示す図である。 図７は、動的符号化部の処理の一例を説明するための図である。 図８は、本実施例に係るデータ検索装置の構成を示す機能ブロック図である。 図９は、第１オートマトンのデータ構造の一例を示す図である。 図１０は、第２オートマトンのデータ構造の一例を示す図である。 図１１は、第３オートマトンのデータ構造の一例を示す図である。 図１２は、本実施例に係るデータ検索装置の処理手順を示すフローチャートである。 図１３は、コンピュータのハードウェア構成例を示す図である。 図１４は、コンピュータで動作するプログラムの構成例を示す図である。 図１５は、実施形態のシステムにおける装置の構成例を示す図である。
以下に、本願の開示する符号化データ検索プログラム、符号化データ検索方法および符号化データ検索装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図１は、本実施例に係るデータ検索装置の処理を説明するための図である。データ検索装置は、符号化データ検索装置の一例である。図１に示すように、データ検索装置は、検索対象となる検索文字列５の入力を受け付けと、後述するように、検索文字列５に関連する単語を、コード化されたテキストファイル１０ａから検索する処理を実行する。
データ検索装置の設定部１５０ａは、静的辞書（または動的辞書）１１０ｂに含まれる関連情報５０を参照し、検索文字列５の基本形単語のコードおよび基本形単語に関連する関連単語のコードを取得する。
関連情報５０は、基本形単語と、関連単語とを対応付ける情報であり、基本形単語および関連単語のコードの情報も保持する。ここで、基本形単語は、単語の基本形に相当する単語であり、関連単語は、基本単語に関連する単語である。例えば、基本形単語を「go」とすると、関連単語は「goes、went、gone」となる。また、基本単語を「apple」とすると、関連単語は「apples」となる。
例えば、設定部１５０ａは、検索文字列５として「accessories」を受け付けると、関連情報５０との比較により、基本形単語「accessory」のコード「6034h」と、関連単語「accessories」のコード「6033h」を取得する。
設定部１５０ａは、取得した複数のコードを検索対象としてオートマトン１１０に設定する。例えば、取得した複数のコードが、基本形単語「accessory」のコード「6034h」と、関連単語「accessories」のコード「6033h」であるすると、コード「6034h」およびコード「6033h」に対応する照合フラグを「オン」に設定する。
データ検索装置の検索処理部１５０ｂは、コード化されたテキストファイル１０ａを受け付けると、コード化されたままの状態で、テキストファイル１０ａと、オートマトン１１０とを比較し、検索文字列５に関連する単語を検索する。例えば、検索処理部１５０ｂは、テキストファイル１０ａのコードをオートマトン１１０に入力し、入力したコードが、照合フラグがオンとなるコードにヒットした場合には、ヒットしたコードが、検索文字列５に関連する単語であると判定する。検索文字列５に関連する単語は、検索文字列５の基本形単語および関連単語である。
検索処理部１５０ｂは、上記の処理を繰り返し実行することで、テキストファイル１０ａに存在する検索文字列５の基本形単語および関連単語のコードを特定し、特定したコードを強調表示した検索結果を出力する。
上記のように、本実施例に係るデータ検索装置は、検索文字列５の基本形単語および関連単語のコードを特定し、特定した各コードが照合対象となるように、オートマトン１１０の照合フラグを設定し、利用する。このため、類義語検索を行う場合であっても、基本形の検索と同様に、一走査で検索を行うことができる。
続いて、本実施例に係るデータ検索装置の構成の説明を行う前に、静的辞書および動的辞書を用いて、テキストファイルをコード化する符号化装置について説明する。
図２は、本実施例に係る符号化装置の構成を示す機能ブロック図である。図２に示すように、この符号化装置２００は、記憶部２１０と、ファイルリード部２２０と、静的符号化部２３０と、動的符号化部２４０と、ファイルライト部２５０と、出力部２６０とを有する。
記憶部２１０は、テキストファイル２１０ａと、静的辞書情報２１０ｂと、動的辞書情報２１０ｃと、コード化テキストファイル２１０ｄとを有する。例えば、記憶部２１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。
テキストファイル２１０ａは、コード化の対象となる文書の情報である。図３は、テキストファイルのデータ構造の一例を示す図である。例えば、図３に示すように、テキストファイル２１０ａには、テキストの開始位置を示すＳＴＸと、テキストの終了位置を示すＥＴＸが含まれる。テキストファイル２１０ａには、ＳＴＸに続いて、文書が格納されている。図３に示す例では、文書「She△has△many△accessories・・・」が格納される。文書に含まれる「△」は、スペースを示す記号である。
静的辞書情報２１０ｂは、単語と、この単語の出現頻度に応じた符号長の静的符号とを対応付ける辞書の情報である。図４は、静的辞書情報のデータ構造の一例を示す図である。図４に示すように、この静的辞書情報２１０ｂは、ビットフィルタＣ１と、静的辞書Ｃ２とを有する。
ビットフィルタＣ１は、２グラム、ビットマップ、ポインタ、英単語を含む。静的辞書Ｃ２は、英単語、静的コード、動的コード、基本コード、基本形コードを含む。
２グラムは、２文字の文字列（あるいは単語）を示す情報である。ビットマップは、２グラムの文字列に対応するビットマップを示す。例えば、「ａａ」に対応するビットマップは「０＿０＿０＿０＿０」となる。ポインタは、ビットマップに対応する英単語の位置を示すポインタである。
英単語は、例えば、静的辞書Ｃ２に登録された高頻度の単語である。静的コードは、英単語に割り当てられたコードである。静的辞書情報２１０ｂを用いた静的符号化は、英単語を、静的コードに変換する処理に対応する。例えば、出現頻度が高頻度となる単語には、静的コードが事前に割り当てられる。出現頻度が低頻度となる単語には、後述する動的符号化時において、動的コードが割り当てられる。
動的コードは、後述する動的辞書情報２１０ｃを用いた動的符号化時において、ある英単語に動的コードが割り当てられたタイミングで、設定されるコードである。基本コードは、各英単語に対応するコードであり、英単語を一意に識別する場合等に利用される。また、後述する動的辞書情報２１０ｃのバッファには、英単語が基本コードにより格納される。
基本形コードは、基本形単語および関連単語を識別する場合に利用されるコードである。該当する英単語が、基本形単語である場合には、基本形コードに、自英単語の基本コードが設定される。該当する英単語が、ある基本形単語の関連単語である場合には、ある基本形単語の基本コードが、関連単語の基本形コードに設定される。
例えば、基本形単語を「accessory」とし、基本形単語「accessory」の関連単語を「accessories」とする。また、基本形単語「accessory」の基本コードを「A00068h」とする。この場合には、英単語「accessory」のレコードに格納される基本形コードは「A00068h」となる。英単語「accessories」のレコードに格納される基本形コードは「A00068h」となる。
このため、各英単語の基本コードと、基本形コードとを比較することで、英単語が基本形単語であるか否かを区別することが可能となる。例えば、英単語の基本形コードと、基本コードとが同じである場合には、かかる英単語が基本形単語であることがわかる。また、英単語が基本形単語でない場合には、かかる英単語は、基本形コードと同じ基本コードが割り当てられた英単語の関連単語であることがわかる。
動的辞書情報２１０ｃは、文書に複数回出現する文字列と動的符号とを対応付ける辞書の情報である。図５は、動的辞書情報のデータ構造の一例を示す図である。図５に示すように、この動的辞書情報２１０ｃは、動的辞書Ｄ１と、バッファＤ２とを有する。
動的辞書Ｄ１の動的コードは、バッファＤ２に格納された基本コードに割り当てられた符号である。基本形コードは、動的コードが割り当てられた単語に対応する基本形コードである。ポインタは、動的コードが割り当てられた単語の基本コードが格納されたバッファＤ２の位置を示す情報である。
例えば、動的符号化時において、英単語「abode」に動的コード「A000h」が割り当てられたものとする。英単語「abode」の基本コードを「A00030h」とし、基本形コードを「A0002Ch」とする。この場合には、動的辞書Ｄ１の動的コード「A000h」に対応付けて、基本形コードに「A0002Ch」が設定される。また、動的コード「A000h」に対応するポインタに示されるバッファＤ２の位置に、基本コード「A00030h」が格納される。
コード化テキストファイル２１０ｄは、テキストファイル２１０ａがコード化されることにより生成されるファイルである。図６は、コード化テキストファイルのデータ構造の一例を示す図である。図６に示すように、コード化テキストファイル２１０ｄは、ヘッダと、コード化された文書と、トレーラとを含む。
例えば、ヘッダには、単語の出現頻度に関する情報や、コード化を行う場合に用いられたアルゴリズムを識別する情報が含まれる。トレーラには、静的辞書情報２１０ｂおよび動的辞書情報２１０ｃ等が含まれる。
図２の説明に戻る。ファイルリード部２２０は、テキストファイル２１０ａを読み出す処理部である。ファイルリード部２２０は、読み出したテキストファイル２１０ａを、静的符号化部２３０に出力する。
静的符号化部２３０は、テキストファイル２１０ａに含まれる文書の単語と、静的辞書情報２１０ｂのビットフィルタＣ１とを比較して、ビットフィルタＣ１にヒットした単語を静的コードに置換する処理を繰り返し実行する処理部である。以下の説明では適宜、静的符号化部２３０により、静的コードに変換されたテキストファイル２１０ａを、静的符号化データと表記する。例えば、静的コードが割り当てられた英単語は、静的コードに変換されるが、静的コードが割り当てられていない英単語は、そのままの状態で、静的符号化データに残る。静的コードが割り当てられていない英単語は、後述する動的符号化により、動的コードが割り当てられ、コード化される。
動的符号化部２４０は、静的符号化データに対して、複数回出現する単語をコード化することで、コード化された文書を生成する処理部である。動的符号化部２４０は、コード化された文書のデータをファイルライト部２５０に出力する。
図７は、動的符号化部の処理の一例を説明するための図である。動的符号化部２４０は、文字列を静的符号化データｆ１から読み出して、符号化領域Ａ１に格納し、符号化領域Ａ１と参照領域Ａ２とに同一の文字列が存在するか否かを照合する。動的符号化部２４０は、照合の結果、同一の文字列が存在する場合には、係る文字列を、複数回出現する文字列として特定する。動的符号化部２４０は、照合終了後、符号化領域Ａ１に格納された文字列を、参照領域Ａ２に追記する更新を行い、所定の長さの文字列を静的符号化データｆ１から読み出し、符号化領域Ａ１に格納する。
図７について説明する。図７に示す例では、静的符号化データｆ１を「（１）abode・・・（２）abode・・・」とする。静的符号化データｆ１の（１）、（２）は、各文字列「abode」を区別するために便宜的に付与するものであり、実際には、静的符号化データｆ１に含まれていなくても良い。また、静的符号化データｆ１の「・・・」は、不特定な文字列、静的符号に対応する。
動的符号化部２４０は、静的符号化データｆ１から所定の長さの文字列「（１）abode・・・」を読み出して符号化領域Ａ１に格納する。動的符号化部２４０は、符号化領域Ａ１に格納された文字列と、参照領域Ａ２に格納された文字列とを比較して、同一の文字列が存在するか否かを判定する。この場合には、同一の文字列が存在しないため、動的符号化部２４０は、符号化領域Ａ１に格納された「（１）abode・・・」を、参照領域Ａ２に格納することで、参照領域Ａ２を更新する。
動的符号化部２４０は、静的符号化データｆ１から所定の長さの文字列「（２）abode・・・」を読み出して符号化領域Ａ１に格納する。動的符号化部２４０は、符号化領域Ａ１に格納された文字列と、参照領域Ａ２に格納された文字列とを比較して、同一の文字列が存在するか否かを判定する。この場合には、同一の文字列「abode」が存在するため、動的符号化部２４０は、「abode」が複数回出現する文字列であると特定する。動的符号化部２４０は、符号化領域Ａ１に格納された「（２）abode・・・」を、参照領域Ａ２に格納することで、参照領域Ａ２を更新する。
動的符号化部２４０は、複数回出現する「abode」に対応する基本コード「A00030h」を、静的辞書Ｃ２を基にして特定し、特定した基本コード「A00030h」を動的辞書情報２１０ｃのバッファＤ２に格納する。動的符号化部２４０は、動的辞書Ｄ１に含まれる未割当の動的コードのうち、先頭の動的コードを、複数回出現する文字列に割り当てる。例えば、動的符号化部２４０は、「abode」に対応する基本形コード「A0002Ch」を、動的コード「A000h」に対応付けて割り当て、ポインタの示す位置を、バッファＤ２の「A00030h」の先頭位置に設定する。これにより、文字列「abode」に動的コード「A000h」が割り当てられたことを意味し、動的符号化部２４０は、静的符号化データｆ１の「abode」を、動的コード「A000h」に変換することで、動的符号化を行う。
動的符号化部２４０は、上記のように、静的符号化データｆ１に対して、複数回出現する文字列を動的符号に符号化することで、コード化された文書のデータを生成する。動的符号化部２４０は、コード化された文書のデータを、ファイルライト部２５０に出力する。
ファイルライト部２５０は、動的符号化部２４０からコード化された文書のデータを取得した場合に、取得したコード化された文書のデータを、コード化テキストファイル２１０ｄに格納する処理部である。また、ファイルライト部２５０は、コード化テキストファイル２１０ｄのヘッダに、単語の出現頻度に関する情報や、コード化を行う場合に用いられたアルゴリズムを識別する情報を格納する。ファイルライト部２５０は、コード化テキストファイル２１０ｄのトレーラに、静的辞書情報２１０ｂおよび動的辞書情報２１０ｃ等を格納する。
出力部２６０は、記憶部２１０に格納されたコード化テキストファイル２１０ｄを、後述するデータ検索装置に出力する処理部である。
続いて、図１で説明した処理を実行するデータ検索装置の構成について説明する。図８は、本実施例に係るデータ検索装置の構成を示す機能ブロック図である。図８に示すように、このデータ検索装置１００は、記憶部１０５と、辞書情報リード部１１５と、オートマトン生成部１１６と、受付部１２０と、ファイルリード部１３０と、設定部１５０ａと、検索処理部１５０ｂとを有する。
記憶部１０５は、コード化テキストファイル２１０ｄと、オートマトン１１０とを有する。記憶部１０５は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
コード化テキストファイル２１０ｄは、上述した符号化装置２００によりコード化されたテキストファイルである。コード化テキストファイル２１０ｄのデータ構造は、図６で説明したコード化テキストファイル２１０ｄのデータ構造と同様である。
オートマトン１１０は、後述する検索文字列に関連するコードを検索する場合に用いられるオートマトンである。検索文字列に関連するコードは、検索文字列に対応する基本形単語のコードおよびこの基本形単語に関連する関連単語のコードである。例えば、オートマトン１１０は、第１オートマトン１１０ａ、第２オートマトン１１０ｂ、第３オートマトン１１０ｃを含む。
第１オートマトン１１０ａは、１バイトのコード（静的コード）にコード化された文字列または単語を照合する場合に用いられるオートマトンである。
図９は、第１オートマトンのデータ構造の一例を示す図である。図９に示すように、第１オートマトン１１０ａは、１バイトの静的コードと、基本形コードと、文字列または単語と、照合フラグとが対応付けられる。
第１オートマトン１１０ａの静的コードは、高頻度の単語や文字列に割り当てられた１バイトのコードである。基本形コードは、図４等で説明した基本形コードに対応するものである。ある単語の基本形単語および関連単語に対応する静的コードの基本形コードには全て、基本形単語の基本コードが設定される。文字列は、１バイトの静的コードに対応する文字列または単語である。照合フラグは、該当する静的コードが照合対象であるか否かを判定するための情報であり、照合対象の静的コードには、照合フラグに「オン」が設定される。
第２オートマトン１１０ｂは、２バイトのコード（静的コード）にコード化された文字列または単語を照合する場合に用いられるオートマトンである。
図１０は、第２オートマトンのデータ構造の一例を示す図である。図１０に示すように、第２オートマトン１１０ｂは、２バイトの静的コードと、基本形コードと、文字列または単語と、照合フラグとが対応付けられる。第２オートマトン１１０ｂの静的コードは、高頻度の単語や文字列に割り当てられた２バイトのコードである。文字列は、２バイトの静的コードに対応する文字列または単語である。基本形コード、照合フラグに関する説明は、第１オートマトン１１０ａの基本形コード、照合フラグに関する説明に関する説明と同様である。
第３オートマトン１１０ｃは、動的辞書情報２１０ｃと関連づけられ、動的コードにコード化された文字列または単語を照合する場合に用いられるオートマトンである。
図１１は、第３オートマトンのデータ構造の一例を示す図である。図１１に示すように、第３オートマトン１１０ｃは、動的辞書情報２１０ｃと、オートマトンＤ３とを有する。動的辞書情報２１０ｃに関する説明は、図５で説明した動的辞書情報２１０ｃに関する説明と同様である。
オートマトンＤ３は、基本コードと、基本形コードと、文字列と、照合フラグとを対応付ける。基本コードは、３バイトの静的コードである。その他の基本コードに関する説明は、図４で説明した基本コードに関する説明と同様である。文字列は、動的コードが割り当てられた文字列に対応する。基本形コード、照合フラグに関する説明は、第１オートマトン１１０ａの基本形コード、照合フラグに関する説明に関する説明と同様である。
例えば、コード化テキストファイル２１０ｄに格納される静的辞書情報２１０ｂおよび動的辞書情報２１０ｃの基本形コード、または、第１オートマトン１１０ａ〜１１０ｃに登録される基本形コードによって、ある単語の基本形単語、関連単語が特定可能となる。このため、コード化テキストファイル２１０ｄに格納される静的辞書情報２１０ｂおよび動的辞書情報２１０ｃ、または、第１オートマトン１１０ａ〜１１０ｃには、図１で説明した関連情報５０が含まれていると言える。
図８の説明に戻る。辞書情報リード部１１５は、コード化テキストファイル２１０ｄに格納された静的辞書情報２１０ｂおよび動的辞書情報２１０ｃを読み出す処理部である。辞書情報リード部１１５は、静的辞書情報２１０ｂおよび動的辞書情報２１０ｃを、オートマトン生成部１１６に出力する。
オートマトン生成部１１６は、静的辞書情報２１０ｂおよび動的辞書情報２１０ｃを基にして、オートマトン１１０を生成する処理部である。
オートマトン生成部１１６が、第１オートマトン１１０ａを生成する処理の一例について説明する。オートマトン生成部１１６は、静的辞書情報２１０ｂの静的辞書Ｃ２を参照し、１バイトの静的コードと、この１バイトの静的コードが割り当てられた文字列または単語と、基本形コードとを特定する。オートマトン生成部１１６は、特定した１バイトの静的コードと、基本形コードと、文字列または単語とを対応付けて、第１オートマトン１１０ａに設定する。オートマトン生成部１１６は、上記処理を繰り返し実行することで、第１オートマトン１１０ａを生成する。
オートマトン生成部１１６が、第２オートマトン１１０ｂを生成する処理の一例について説明する。オートマトン生成部１１６は、静的辞書情報２１０ｂの静的辞書Ｃ２を参照し、２バイトの静的コードと、この２バイトの静的コードが割り当てられた文字列または単語と、基本形コードとを特定する。オートマトン生成部１１６は、特定した２バイトの静的コードと、基本形コードと、文字列または単語とを対応付けて、第２オートマトン１１０ｂに設定する。オートマトン生成部１１６は、上記処理を繰り返し実行することで、第２オートマトン１１０ｂを生成する。
オートマトン生成部１１６が、第３オートマトン１１０ｃを生成する処理の一例について説明する。オートマトン生成部１１６は、３バイトの基本コードを、第３オートマトン１１０ｃに設定する。オートマトン生成部１１６は、動的辞書情報２１０ｃのバッファＤ２を参照し、オートマトンＤ３の基本形コードと一致する基本形コードがバッファＤ２に存在するか否かを判定する。
オートマトン生成部１１６は、オートマトンＤ３の基本コードと同一の基本コードがバッファＤ２に存在する場合には、該当するバッファＤ２の基本コードと、オートマトンＤ３とを対応付ける。また、オートマトン生成部１１６は、動的辞書Ｄ１のポインタが示すバッファＤ２の基本コードを基にして、バッファＤ２の基本コードに対応する基本形コードを特定し、特定した基本形コードを、オートマトンＤ３の基本形コードに設定する。また、関連単語の基本コードに対応する基本形コードにも、同様の基本形コードを設定する。
例えば、図１１に示すように、バッファＤ２に基本コード「A00030h」が登録されており、かかる基本コードに対応する基本形コードを「A0002Ch」とする。この場合には、オートマトン生成部１１６は、基本コード「A0002Ch」、「A0002Dh」、「A00030h」に対応する基本形コードに、「A0002Ch」を設定する。すなわち、基本コード「A0002Ch」の単語「abide」は基本形単語であり、基本コード「A0002Dh」の単語「abided」および「A00030h」の単語「abode」は、基本形単語の関連単語であることがわかる。
受付部１２０は、検索文字列の入力を受け付ける処理部である。受付部１２０は、受け付けた検索文字列の情報を、設定部１５０ａに出力する。
設定部１５０ａは、検索文字列と、コード化テキストファイル２１０ｄに格納された静的辞書情報２１０ｂおよび動的辞書情報２１０ｃとを比較し、基本形コードをキーにして、検索文字列の基本形単語および基本形単語のコードと、関連単語および関連単語のコードとを取得する。
設定部１５０ａは、基本形単語のコードと、関連単語のコードとが照合対象となるように、基本形単語のコードおよび関連単語のコードと、オートマトン１１０の各静的コード各動的コードとを比較する。設定部１５０ａは、ヒットした各静的コード各動的コードに対応する照合フラグをオンに設定する。
図１０を用いて、設定部１５０ａの処理を説明する。例えば、検索文字列として指定された単語を「accessories」とすると、単語を「accessories」に対応する基本形コードは「A00068h」となり、基本形単語の静的コードは「6034h」となり、関連単語の静的コードは「6033h」となる。このため、設定部１５０ａは、第２オートマトン１１０ｂについて、静的コード「6033h」および「6034h」に対応する照合フラグをオンに設定する。
図１１を用いて、設定部１５０ａの処理を説明する。例えば、検索文字列として指定された単語を「abode」とし、この「abode」に割り当てられた動的コードを「A000h」とする。また、動的コード「A000h」の基本コードを「A00030h」とする。この場合には、基本形コードは「A0002Ch」となり、基本形コードに対応する基本コードは「A0002Ch」、「A0002Dh」、「A00030h」となる。このため、設定部１５０ａは、第３オートマトン１１０ｃについて、基本コード「A0002Ch」、「A0002Dh」、「A00030h」に対応する照合フラグをオンに設定する。
なお、設定部１５０ａは、検索文字列の基本形単語および関連単語を特定した場合に、基本形単語および関連単語の候補リストを、図示しない表示装置に表示し、検索対象とする基本形単語および関連単語を選択させても良い。この場合には、設定部１５０ａは選択された基本形単語および関連単語のコードに対応する照合フラグをオンに設定する。
ファイルリード部１３０は、コード化テキストファイル２１０ｄに格納されたコード化された文書のデータを取得する処理部である。ファイルリード部１３０は、コード化された文書のデータを、検索処理部１５０ｂに出力する。
検索処理部１５０ｂは、オートマトン１１０とコード化された文書とを比較することで、検索文字列に対応する基本形単語のコードおよび関連単語のコードを検索する処理部である。検索処理部１５０ｂは、検索結果を表示装置などに表示させる。
例えば、検索処理部１５０ｂは、コード化された文書からコードを取得し、取得したコードと、第１、第２オートマトン１１０ａ，１１０ｂの静的コード、および、第３オートマトン１１０ｃの動的コードとを比較する。検索処理部１５０ｂは、取得したコードが、静的コードまたは動的コードにヒットし、かつ、対応する照合フラグがオンとなっている場合に、取得したコードを検索対象として特定する。検索処理部１５０ｂは、コード化された文書の先頭のコードから、最後のコードまで、上記処理を繰り返し実行する。検索処理部１５０ｂは、コード化された文書中において、照合対象として特定したコードを強調表示させた検索結果を、表示装置などに表示させる。
次に、本実施例に係るデータ検索装置１００の処理手順について説明する。図１２は、本実施例に係るデータ検索装置の処理手順を示すフローチャートである。図１２に示すように、データ検索装置１００の受付部１２０は、検索文字列の入力を受け付ける（ステップＳ１０１）。データ検索装置の設定部１５０ａは、検索文字列の基本形コードを基にして、検索文字列に対応する、基本形単語のコード、関連単語のコードを取得する（ステップＳ１０２）。
設定部１５０ａは、基本形単語および関連単語の候補リストを生成し、検索対象とする単語の選択を受け付ける（ステップＳ１０３）。設定部１５０ａは、選択された単語のコードに対応したオートマトン１１０の照合フラグをオンにセットする（ステップＳ１０４）。
検索処理部１５０ｂは、選択された対象のファイル（コード化された文書）をコード化されたままの状態で、オートマトン１１０を用いて走査する（ステップＳ１０５）。検索処理部１５０ｂは、コードとオートマトン１１０とを比較し、コードに対応するオートマトン１１０の照合フラグがオンとなる場合には、該当するコードを検索対象として特定する（ステップＳ１０６）。
検索処理部１５０ｂは、ファイルのコードを全て走査したか否かを判定する（ステップＳ１０７）。検索処理部１５０ｂは、ファイルのコードを全て走査していない場合には（ステップＳ１０７，Ｎｏ）、ステップＳ１０６に移行する。
一方、検索処理部１５０ｂは、ファイルのコードを全て走査した場合には（ステップＳ１０７，Ｙｅｓ）、検索結果を出力する（ステップＳ１０８）。
次に、本実施例に係るデータ検索装置１００の効果について説明する。データ検索装置１００は、検索文字列の基本形単語および関連単語のコードを特定し、特定した各コードが照合対象となるように、オートマトン１１０の照合フラグを設定し、利用する。このため、データ検索装置１００によれば、類義語検索を行う場合であっても、基本形の検索と同様に、一走査で検索を行うことができる。
ところで、上述した実施例では、基本形単語と関連単語との関係について、英単語の動詞の変化や、名詞の単数形と複数形に着目した関係について説明したが、これに限定されるものではない。
例えば、類義語に着目して、基本形単語と、関連単語との関係を定義し、基本形単語および関連単語に、同一の基本形コードを割り当てても良い。この場合には、類義語の関係となる複数の単語のうち、いずれか一つの単語を基本形単語に設定し、残りの単語を関連単語に設定する。例えば、類義語の関係となる複数の単語を「view、see、consider、regard」とする場合、基本形単語を「view」に設定し、残りの単語「see、consider、regard」を関連単語に設定する。
この場合には、設定部１５０ａは、検索文字列に「view、see、consider、regard」のいずれか含まれる場合に、「view、see、consider、regard」のコードを特定し、特定したコードに対応するオートマトン１１０の照合フラグをオンに設定する。他の類義語についても同様である。このような処理を行うことによって、検索文字列の類義語となる単語も一走査で検索を行うことができる。
また、表記揺れに着目して、基本形単語と、関連単語との関係を定義し、基本形単語および関連単語に、同一の基本コードを割り当てても良い。この場合には、表記揺れに対応する複数の単語のうち、いずれか一つの単語を基本形単語に設定し、残りの単語を関連単語に設定する。例えば、表記揺れに対応する複数の単語を「振込、振り込み、振込み、ふりこみ」とする場合、基本形単語を「振込」に設定し、残りの単語「振り込み、振込み、ふりこみ」を関連単語に設定する。
この場合には、設定部１５０ａは、検索文字列に「振込、振り込み、振込み、ふりこみ」のいずれか含まれる場合に、「振込、振り込み、振込み、ふりこみ」のコードを特定し、特定したコードに対応するオートマトン１１０の照合フラグをオンに設定する。他の表記揺れについても同様である。このような処理を行うことによって、検索文字列に表記揺れがあっても、検索文字列に関連する単語も一走査で検索を行うことができる。
更に、設定部１５０ａは、類義語を検索対象とするのか、表記揺れ単語を検索対象とするのかを指示する指示情報を更に受け付け、受け付けた指示情報に基づいて、基本形単語、関連単語のコードを選択的に取得しても良い。この場合には、類義語に着目して、基本形単語と、関連単語との関係を定義した、第１静的辞書情報、第１動的辞書情報と、表記揺れに着目して、基本形単語と、関連単語との関係を定義した第２静的辞書情報、第２動的辞書情報を選択的に利用する。第１、２静的辞書情報、第１、２動的辞書情報は、記憶部１０５に格納されているものとする。
例えば、設定部１５０ａは、類義語を検索対象とする指示情報を受け付けた場合には、第１静的辞書情報、第１動的辞書情報を参照して、検索文字列と類義語の関係にある基本形単語および関連単語のコードを特定し、特定したコードに対応するオートマトン１１０の照合フラグをオンに設定する。
設定部１５０ａは、表記揺れ単語を検索対象とする指示情報を受け付けた場合には、第２静的辞書情報、第２動的辞書情報を参照して、検索文字列と表記揺れの関係にある基本形単語および関連単語のコードを特定し、特定したコードに対応するオートマトン１１０の照合フラグをオンに設定する。
また、設定部１５０ａは、類義語および表記揺れ単語双方を検索対象とする指示情報を受け付けても良い。この場合には、設定部１５０ａは、第１、２静的辞書情報、第１、２動的辞書情報を参照して、検索文字列と類義語の関係にある基本形単語および関連単語のコードと、検索文字列と表記揺れの関係にある基本形単語および関連単語のコードとを特定する。そして、設定部１５０ａは、特定したコードに対応するオートマトン１１０の照合フラグをオンに設定する。
このように、設定部１５０ａが、指示情報を基にして、類義語または表記揺れ単語に対応する基本形単語および関連単語のコードを選択的に取得してオートマトン１１０の照合フラグをセットすることで、類義語または表記揺れに対応した検索を効率的に実行できる。
下記に、本実施形態に用いられるハードウェア及びソフトウェアについて説明する。図１３は、コンピュータのハードウェア構成例を示す図である。コンピュータ１は、例えば、プロセッサ３０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０３、ドライブ装置３０４、記憶媒体３０５、入力インターフェース（Ｉ／Ｆ）３０６、入力デバイス３０７、出力インターフェース（Ｉ／Ｆ）３０８、出力デバイス３０９、通信インターフェース（Ｉ／Ｆ）３１０、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）インターフェース（Ｉ／Ｆ）３１１およびバス３１２などを含む。それぞれのハードウェアはバス３１２を介して接続されている。
ＲＡＭ３０２は読み書き可能なメモリ装置であって、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）やＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）などの半導体メモリ、またはＲＡＭでなくてもフラッシュメモリなどが用いられる。ＲＯＭ３０３は、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）なども含む。ドライブ装置３０４は、記憶媒体３０５に記録された情報の読み出しか書き込みかの少なくともいずれか一方を行なう装置である。記憶媒体３０５は、ドライブ装置３０４によって書き込まれた情報を記憶する。記憶媒体３０５は、例えば、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などのフラッシュメモリ、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ブルーレイディスクなどの記憶媒体である。また、例えば、コンピュータ１は、複数種類の記憶媒体それぞれについて、ドライブ装置３０４及び記憶媒体３０５を設ける。
入力インターフェース３０６は、入力デバイス３０７と接続されており、入力デバイス３０７から受信した入力信号をプロセッサ３０１に伝達する回路である。出力インターフェース３０８は、出力デバイス３０９と接続されており、出力デバイス３０９に、プロセッサ３０１の指示に応じた出力を実行させる回路である。通信インターフェース３１０はネットワーク３を介した通信の制御を行なう回路である。通信インターフェース３１０は、例えばネットワークインターフェースカード（ＮＩＣ）などである。ＳＡＮインターフェース３１１は、ストレージエリアネットワークによりコンピュータ１と接続された記憶装置との通信の制御を行なう回路である。ＳＡＮインターフェース３１１は、例えばホストバスアダプタ（ＨＢＡ）などである。
入力デバイス３０７は、操作に応じて入力信号を送信する装置である。入力信号は、例えば、キーボードやコンピュータ１の本体に取り付けられたボタンなどのキー装置や、マウスやタッチパネルなどのポインティングデバイスである。出力デバイス３０９は、コンピュータ１の制御に応じて情報を出力する装置である。出力デバイス３０９は、例えば、ディスプレイなどの画像出力装置（表示デバイス）や、スピーカーなどの音声出力装置などである。また、例えば、タッチスクリーンなどの入出力装置が、入力デバイス３０７及び出力デバイス３０９として用いられる。また、入力デバイス３０７及び出力デバイス３０９は、コンピュータ１と一体になっていてもよいし、コンピュータ１に含まれず、例えば、コンピュータ１に外部から接続する装置であってもよい。
例えば、プロセッサ３０１は、ＲＯＭ３０３や記憶媒体３０５に記憶されたプログラムをＲＡＭ３０２に読み出し、読み出されたプログラムの手順に従って符号化装置２００に対応する処理またはデータ検索装置１００に対応する処理を行なう。その際にＲＡＭ３０２はプロセッサ３０１のワークエリアとして用いられる。記憶部１０５，２１０の機能は、ＲＯＭ３０３および記憶媒体３０５がプログラムファイル（後述のアプリケーションプログラム２４、ミドルウェア２３およびＯＳ２２など）やデータファイル（テキストファイル２１０ａ、コード化テキストファイル２１０ｄ等）を記憶し、ＲＡＭ３０２がプロセッサ３０１のワークエリアとして用いられることによって実現される。プロセッサ３０１が読み出すプログラムについては、図１４を用いて説明する。
図１４は、コンピュータで動作するプログラムの構成例を示す図である。コンピュータ１において、図１４に示すハードウェア群２１（３０１〜３１２）の制御を行なうＯＳ（オペレーティング・システム）２２が動作する。ＯＳ２２に従った手順でプロセッサ３０１が動作して、ハードウェア群２１の制御・管理が行なわれることにより、アプリケーションプログラム２４やミドルウェア２３に従った処理がハードウェア群２１で実行される。さらに、コンピュータ１において、ミドルウェア２３またはアプリケーションプログラム２４が、ＲＡＭ３０２に読み出されてプロセッサ３０１により実行される。
プロセッサ３０１が、コード化機能が呼び出された場合に、ミドルウェア２３またはアプリケーションプログラム２４の少なくとも一部に基づく処理を行なうことにより、（それらの処理をＯＳ２２に基づいてハードウェア群２１を制御して）符号化装置２００の機能が実現される。また、プロセッサ３０１が、データ検索機能が呼び出された場合に、ミドルウェア２３またはアプリケーションプログラム２４の少なくとも一部に基づく処理を行なうことにより、（それらの処理をＯＳ２２に基づいてハードウェア群２１を制御して）データ検索装置１００の機能が実現される。コード化機能およびデータ検索機能は、それぞれアプリケーションプログラム２４自体に含まれてもよいし、アプリケーションプログラム２４に従って呼び出されることで実行されるミドルウェア２３の一部であってもよい。
図１５は、実施形態のシステムにおける装置の構成例を示す図である。図１５のシステムは、コンピュータ１ａ、コンピュータ１ｂ、基地局２およびネットワーク３を含む。コンピュータ１ａは、無線または有線の少なくとも一方により、コンピュータ１ｂと接続されたネットワーク３に接続している。
図２に示す符号化装置２００と図８に示すデータ検索装置１００とは、図１５に示すコンピュータ１ａとコンピュータ１ｂとのいずれに含まれてもよい。コンピュータ１ｂが符号化装置２００を含み、コンピュータ１ａがデータ検索装置１００を含んでもよいし、コンピュータ１ｂがデータ検索装置１００を含み、コンピュータ１ａが符号化装置２００を含んでもよい。また、コンピュータ１ａとコンピュータ１ｂとの双方が、符号化装置２００およびデータ検索装置１００を備えてもよい。
以下、上述の実施形態における変形例の一部を説明する。下記の変形例のみでなく、本発明の本旨を逸脱しない範囲の設計変更は適宜行われうる。コード化処理の対象は、ファイル内のデータ以外にも、システムから出力される監視メッセージなどでもよい。例えば、バッファに順次格納される監視メッセージを上述のコード化処理によりコード化し、ログファイルとして格納するなどの処理が行なわれる。また、例えば、データベース内のページ単位にコード化が行なわれてもよいし、複数のページをまとめた単位でコード化が行なわれてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）コンピュータに
符号化文書に対する検索文字列を受け付け、
複数の単語について、前記符号化文書の符号化規則による前記単語の符号化データと前記単語の基本形と前記基本形に関連する関連単語とを対応付けた関連情報を参照し、
前記検索文字列の基本形、および、前記基本形の関連単語に関する複数の符号を取得し、
前記複数の符号を検索対象に設定したオートマトンを利用して、前記符号化文書に対する検索を行う
処理を実行させる符号化データ検索プログラム。
（付記２）前記基本形に関連する関連単語は、前記基本形の類義語または前記基本形と同音・同意味の語句であり前記基本形と異なる文字表記の表記揺れ単語であることを特徴とする付記１に記載の符号化データ検索プログラム。
（付記３）前記類義語を検索対象とするのか、前記表記揺れ単語を検索対象とするのかを指示する指示情報を更に受け付け、前記符号を取得する処理は、前記指示情報を基にして、基本形の類義語または表記揺れ単語に対応する複数の符号を取得することを特徴とする付記２に記載の符号化データ検索プログラム。
（付記４）前記検索する処理は、前記符号化文書の符号と、前記オートマトンとを比較し、オートマトンにヒットした符号を検索対象の符号として特定することを特徴とする付記１、２または３に記載の符号化データ検索プログラム。
（付記５）コンピュータが実行する符号化データ検索方法であって、
符号化文書に対する検索文字列を受け付け、
複数の単語について、前記符号化文書の符号化規則による前記単語の符号化データと前記単語の基本形と前記基本形に関連する関連単語とを対応付けた関連情報を参照し、
前記検索文字列の基本形、および、前記基本形の関連単語に関する複数の符号を取得し、
前記複数の符号を検索対象に設定したオートマトンを利用して、前記符号化文書に対する検索を行う
処理を実行する符号化データ検索方法。
（付記６）前記基本形に関連する関連単語は、前記基本形の類義語または前記基本形と同音・同意味の語句であり前記基本形と異なる文字表記の表記揺れ単語であることを特徴とする付記５に記載の符号化データ検索方法。
（付記７）前記類義語を検索対象とするのか、前記表記揺れ単語を検索対象とするのかを指示する指示情報を更に受け付け、前記符号を取得する処理は、前記指示情報を基にして、基本形の類義語または表記揺れ単語に対応する複数の符号を取得することを特徴とする付記６に記載の符号化データ検索方法。
（付記８）前記検索する処理は、前記符号化文書の符号と、前記オートマトンとを比較し、オートマトンにヒットした符号を検索対象の符号として特定することを特徴とする付記５、６または７に記載の符号化データ検索方法。
（付記９）符号化文書に対する検索文字列を受け付ける受付部と、
複数の単語について、前記符号化文書の符号化規則による前記単語の符号化データと前記単語の基本形と前記基本形に関連する関連単語とを対応付けた関連情報を参照し、前記検索文字列の基本形、および、前記基本形の関連単語に関する複数の符号を取得し、前記複数の符号を検索対象としてオートマトンに設定する設定部と、
前記オートマトンを利用して、前記符号化文書に対する検索を行う検索部と
を有する符号化データ検索装置。
（付記１０）前記基本形に関連する関連単語は、前記基本形の類義語または前記基本形と同音・同意味の語句であり前記基本形と異なる文字表記の表記揺れ単語であることを特徴とする付記９に記載の符号化データ検索装置。
（付記１１）前記設定部は、前記類義語を検索対象とするのか、前記表記揺れ単語を検索対象とするのかを指示する指示情報を受け付け、前記指示情報を基にして、基本形の類義語または表記揺れ単語に対応する複数の符号を取得することを特徴とする付記１０に記載の符号化データ検索装置。
（付記１２）前記検索処理部は、前記符号化文書の符号と、前記オートマトンとを比較し、オートマトンにヒットした符号を検索対象の符号として特定することを特徴とする付記９、１０または１１に記載の符号化データ検索装置。
１００ データ検索装置
１０５ 記憶部
１１５ 辞書情報リード部
１１６ オートマトン生成部
１２０ 受付部
１３０ ファイルリード部
１５０ａ 設定部
１５０ｂ 検索処理部

Claims (6)

  1. コンピュータに
    符号化文書に対する検索文字列を受け付け、
    複数の単語について、前記符号化文書の符号化規則による前記単語の符号化データと前記単語の基本形と前記基本形に関連する関連単語とを対応付けた関連情報を参照し、
    前記検索文字列の基本形、および、前記基本形の関連単語に関する複数の符号を取得し、
    検索対象であるか否かを示すフラグと第１符号長の符号とを対応付けた第１オートマトンと、検索対象であるか否かを示すフラグと第２符号長の符号とを対応付けた第２オートマトンと、前記複数の符号とを基にして、前記第１オートマトンのフラグおよび前記第２オートマトンのフラグを設定し、前記第１オートマトンおよび前記第２オートマトンを利用して、前記符号化文書に対する検索を行う
    処理を実行させる符号化データ検索プログラム。
  2. 前記基本形に関連する関連単語は、前記基本形の類義語または前記基本形と同音・同意味の語句であり前記基本形と異なる文字表記の表記揺れ単語であることを特徴とする請求項１に記載の符号化データ検索プログラム。
  3. 前記類義語を検索対象とするのか、前記表記揺れ単語を検索対象とするのかを指示する指示情報を更に受け付け、前記符号を取得する処理は、前記指示情報を基にして、基本形の類義語または表記揺れ単語に対応する複数の符号を取得することを特徴とする請求項２に記載の符号化データ検索プログラム。
  4. 前記検索する処理は、前記符号化文書の符号と、前記第１オートマトンおよび前記第２オートマトンとを比較し、前記第１オートマトンまたは前記第２オートマトンにヒットした符号を検索対象の符号として特定することを特徴とする請求項１、２または３に記載の符号化データ検索プログラム。
  5. コンピュータが実行する符号化データ検索方法であって、
    符号化文書に対する検索文字列を受け付け、
    複数の単語について、前記符号化文書の符号化規則による前記単語の符号化データと前記単語の基本形と前記基本形に関連する関連単語とを対応付けた関連情報を参照し、
    前記検索文字列の基本形、および、前記基本形の関連単語に関する複数の符号を取得し、
    検索対象であるか否かを示すフラグと第１符号長の符号とを対応付けた第１オートマトンと、検索対象であるか否かを示すフラグと第２符号長の符号とを対応付けた第２オートマトンと、前記複数の符号とを基にして、前記第１オートマトンのフラグおよび前記第２オートマトンのフラグを設定し、前記第１オートマトンおよび前記第２オートマトンを利用して、前記符号化文書に対する検索を行う
    処理を実行する符号化データ検索方法。
  6. 符号化文書に対する検索文字列を受け付ける受付部と、
    複数の単語について、前記符号化文書の符号化規則による前記単語の符号化データと前記単語の基本形と前記基本形に関連する関連単語とを対応付けた関連情報を参照し、前記検索文字列の基本形、および、前記基本形の関連単語に関する複数の符号を取得し、検索対象であるか否かを示すフラグと第１符号長の符号とを対応付けた第１オートマトンと、検索対象であるか否かを示すフラグと第２符号長の符号とを対応付けた第２オートマトンと、前記複数の符号とを基にして、前記第１オートマトンのフラグおよび前記第２オートマトンのフラグを設定する設定部と、
    前記第１オートマトンのフラグおよび前記第２オートマトンを利用して、前記符号化文書に対する検索を行う検索部と
    を有する符号化データ検索装置。
JP2016198914A 2016-10-07 2016-10-07 符号化データ検索プログラム、符号化データ検索方法および符号化データ検索装置 Active JP6737117B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016198914A JP6737117B2 (ja) 2016-10-07 2016-10-07 符号化データ検索プログラム、符号化データ検索方法および符号化データ検索装置
US15/705,917 US10942934B2 (en) 2016-10-07 2017-09-15 Non-transitory computer-readable recording medium, encoded data searching method, and encoded data searching apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016198914A JP6737117B2 (ja) 2016-10-07 2016-10-07 符号化データ検索プログラム、符号化データ検索方法および符号化データ検索装置

Publications (2)

Publication Number Publication Date
JP2018060443A JP2018060443A (ja) 2018-04-12
JP6737117B2 true JP6737117B2 (ja) 2020-08-05

Family

ID=61828405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016198914A Active JP6737117B2 (ja) 2016-10-07 2016-10-07 符号化データ検索プログラム、符号化データ検索方法および符号化データ検索装置

Country Status (2)

Country Link
US (1) US10942934B2 (ja)
JP (1) JP6737117B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893337B (zh) * 2015-01-04 2020-07-10 伊姆西Ip控股有限责任公司 用于文本压缩和解压缩的方法和设备
EP3825896A4 (en) * 2018-07-19 2021-08-04 Fujitsu Limited LEARNING PROCEDURES, TRANSLATION PROCEDURES, LEARNING PROGRAM, TRANSLATION PROGRAM AND INFORMATION PROCESSING DEVICE

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60222960A (ja) 1984-04-19 1985-11-07 Brother Ind Ltd 電子辞書
JP3134204B2 (ja) 1991-07-19 2001-02-13 株式会社日立製作所 情報検索用端末装置及び情報検索用端末装置における情報表示・入出力方法
US5140644A (en) * 1990-07-23 1992-08-18 Hitachi, Ltd. Character string retrieving system and method
US5590317A (en) * 1992-05-27 1996-12-31 Hitachi, Ltd. Document information compression and retrieval system and document information registration and retrieval method
CA2125337A1 (en) * 1993-06-30 1994-12-31 Marlin Jay Eller Method and system for searching compressed data
US5606690A (en) * 1993-08-20 1997-02-25 Canon Inc. Non-literal textual search using fuzzy finite non-deterministic automata
US5704060A (en) * 1995-05-22 1997-12-30 Del Monte; Michael G. Text storage and retrieval system and method
JPH09198398A (ja) * 1996-01-16 1997-07-31 Fujitsu Ltd パターン検索装置
JPH11143877A (ja) * 1997-10-22 1999-05-28 Internatl Business Mach Corp <Ibm> 圧縮方法、辞書の見出し語インデックス・データを圧縮するための方法、及び機械翻訳システム
JPH11143893A (ja) 1997-11-07 1999-05-28 Matsushita Electric Ind Co Ltd 単語照合装置
US5991713A (en) * 1997-11-26 1999-11-23 International Business Machines Corp. Efficient method for compressing, storing, searching and transmitting natural language text
JP3457184B2 (ja) * 1998-06-25 2003-10-14 シャープ株式会社 検索装置及びその制御プログラムを記憶した媒体
US6269189B1 (en) * 1998-12-29 2001-07-31 Xerox Corporation Finding selected character strings in text and providing information relating to the selected character strings
AU2029601A (en) * 1999-12-17 2001-06-25 Si Han Kim Information coding and retrieval system and method thereof
AU2001293596A1 (en) * 2000-09-29 2002-04-08 Gavagai Technology Incorporated A method and system for adapting synonym resources to specific domains
JPWO2002035369A1 (ja) * 2000-10-13 2004-03-04 株式会社東芝 データ中継システム、データ中継方法、データ中継プログラム、情報処理方法及び情報処理プログラム
US6925460B2 (en) * 2001-03-23 2005-08-02 International Business Machines Corporation Clustering data including those with asymmetric relationships
US20020152219A1 (en) * 2001-04-16 2002-10-17 Singh Monmohan L. Data interexchange protocol
JP4047053B2 (ja) * 2002-04-16 2008-02-13 富士通株式会社 繰り返しを含む順序パターンを用いた検索装置および方法
JP4308676B2 (ja) * 2003-01-24 2009-08-05 株式会社リコー 文字列処理装置，文字列処理方法および画像形成装置
US20040225497A1 (en) * 2003-05-05 2004-11-11 Callahan James Patrick Compressed yet quickly searchable digital textual data format
JP4365162B2 (ja) * 2003-08-20 2009-11-18 富士通株式会社 構造化文書のデータを検索する装置および方法
JP4347264B2 (ja) * 2005-05-20 2009-10-21 キヤノン株式会社 文書管理システム
JP5169837B2 (ja) * 2006-12-28 2013-03-27 日本電気株式会社 文字列照合用有限オートマトン生成システム、その生成方法、及び生成プログラム
US20080208566A1 (en) * 2007-02-23 2008-08-28 Microsoft Corporation Automated word-form transformation and part of speech tag assignment
US8332209B2 (en) * 2007-04-24 2012-12-11 Zinovy D. Grinblat Method and system for text compression and decompression
US20090216911A1 (en) * 2008-02-21 2009-08-27 Larry Long Method and system for intuitive coding to enter text expansions
JP5155001B2 (ja) * 2008-04-01 2013-02-27 株式会社日立製作所 文書検索装置
JP5782214B2 (ja) * 2008-05-30 2015-09-24 富士通株式会社 情報検索プログラム、情報検索装置および情報検索方法
US8312104B2 (en) * 2008-07-01 2012-11-13 General Motors Llc Interactive information dissemination and retrieval system and method for generating action items
US8725671B2 (en) * 2009-03-19 2014-05-13 Nec Corporation Pattern matching appratus
US9160611B2 (en) * 2009-04-22 2015-10-13 Webroot Inc. System and method for performing longest common prefix strings searches
US9059851B2 (en) * 2010-02-23 2015-06-16 Salesforce.Com, Inc. Method and computer program product for order preserving symbol based encryption
US9111106B2 (en) * 2011-01-13 2015-08-18 Mitsubishi Electric Corporation Data processing apparatus and data storage apparatus
JP5678691B2 (ja) * 2011-01-28 2015-03-04 富士通株式会社 検索制御装置、検索制御プログラムおよび検索制御方法
JP5510563B2 (ja) * 2011-02-08 2014-06-04 富士通株式会社 検索プログラム、検索装置、および検索方法
US10176168B2 (en) * 2011-11-15 2019-01-08 Microsoft Technology Licensing, Llc Statistical machine translation based search query spelling correction
US8793199B2 (en) * 2012-02-29 2014-07-29 International Business Machines Corporation Extraction of information from clinical reports
JP5250709B1 (ja) * 2012-03-12 2013-07-31 楽天株式会社 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体
JP6252489B2 (ja) * 2012-12-19 2017-12-27 富士通株式会社 圧縮装置、圧縮方法、圧縮プログラム、伸張装置、伸張方法、伸張プログラム、および圧縮伸張システム
KR20150119403A (ko) * 2013-03-22 2015-10-23 후지쯔 가부시끼가이샤 압축 장치, 압축 방법, 사전 생성 장치, 사전 생성 방법, 신장 장치, 신장 방법, 신장 프로그램 및 정보 처리 시스템
US20160300020A1 (en) * 2013-12-03 2016-10-13 3M Innovative Properties Company Constraint-based medical coding
US9483768B2 (en) * 2014-08-11 2016-11-01 24/7 Customer, Inc. Methods and apparatuses for modeling customer interaction experiences
JP6476647B2 (ja) * 2014-08-20 2019-03-06 富士通株式会社 圧縮プログラム、圧縮装置、圧縮方法、伸長プログラム、伸長装置および伸長方法
JP6543922B2 (ja) * 2014-12-10 2019-07-17 富士通株式会社 インデックス生成プログラム
CN105893337B (zh) * 2015-01-04 2020-07-10 伊姆西Ip控股有限责任公司 用于文本压缩和解压缩的方法和设备
JP6447161B2 (ja) * 2015-01-20 2019-01-09 富士通株式会社 意味構造検索プログラム、意味構造検索装置、及び意味構造検索方法
JP6467937B2 (ja) * 2015-01-21 2019-02-13 富士通株式会社 文書処理プログラム、情報処理装置および文書処理方法
JP6550765B2 (ja) * 2015-01-28 2019-07-31 富士通株式会社 文字データ変換プログラム、文字データ変換装置および文字データ変換方法
JP6507682B2 (ja) * 2015-01-30 2019-05-08 富士通株式会社 符号化プログラム、符号化方法および符号化装置
US10114955B2 (en) * 2015-02-11 2018-10-30 Visa International Service Association Increasing search ability of private, encrypted data
JP6648431B2 (ja) * 2015-07-13 2020-02-14 富士通株式会社 照合プログラム、照合方法および照合装置
JP6679874B2 (ja) * 2015-10-09 2020-04-15 富士通株式会社 符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法
JP2017126185A (ja) * 2016-01-13 2017-07-20 富士通株式会社 符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法および復号化装置
JP6728926B2 (ja) * 2016-04-18 2020-07-22 富士通株式会社 符号化処理プログラム、符号化処理装置、符号化処理方法、復号化処理プログラム、復号化処理装置および復号化処理方法
JP6737025B2 (ja) * 2016-07-19 2020-08-05 富士通株式会社 符号化プログラム、検索プログラム、符号化装置、検索装置、符号化方法、及び検索方法
JP6680126B2 (ja) * 2016-07-25 2020-04-15 富士通株式会社 符号化プログラム、符号化装置、符号化方法、及び検索方法

Also Published As

Publication number Publication date
US10942934B2 (en) 2021-03-09
US20180101580A1 (en) 2018-04-12
JP2018060443A (ja) 2018-04-12

Similar Documents

Publication Publication Date Title
US8117026B2 (en) String matching method and system using phonetic symbols and computer-readable recording medium storing computer program for executing the string matching method
US9208450B1 (en) Method and apparatus for template-based processing of electronic documents
CN107305586B (zh) 索引生成方法、索引生成装置及搜索方法
JP6447161B2 (ja) 意味構造検索プログラム、意味構造検索装置、及び意味構造検索方法
JP2017194803A (ja) 符号化プログラム、符号化装置および符号化方法
JP6737117B2 (ja) 符号化データ検索プログラム、符号化データ検索方法および符号化データ検索装置
JP6648431B2 (ja) 照合プログラム、照合方法および照合装置
US11055328B2 (en) Non-transitory computer readable medium, encode device, and encode method
JP6805720B2 (ja) データ検索プログラム、データ検索装置およびデータ検索方法
EP3306823B1 (en) Encoding program, encoding apparatus and encoding method
JP5342760B2 (ja) 訳語学習のためのデータを作成する装置、方法、およびプログラム
JP7003427B2 (ja) 検索プログラム、情報処理装置および検索方法
KR101694179B1 (ko) 모음 제거 기반 인덱스 생성 방법 및 장치
Gupta et al. Fast and effective searches of personal names in an international environment
JP2018190030A (ja) 情報処理サーバ、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP2001243245A (ja) 類似文検索方法、装置、および類似文検索プログラムを記録した記録媒体
US20210357438A1 (en) Computer-readable recording medium, index creation device, index creation method, computer-readable recording medium, search device, and search method
JP4139805B2 (ja) 字句をデータに変換する装置、方法及びプログラム
JP4061283B2 (ja) 字句をデータに変換する装置、方法及びプログラム
JP2008293070A (ja) 文書解析システム、および文書解析方法、並びにコンピュータ・プログラム
JP2005275880A (ja) 字句をデータに変換する装置、方法及びプログラム
JP2016134754A (ja) 変換処理プログラム、情報処理装置および変換処理方法
JPH07160730A (ja) 全文検索装置
JPH0869455A (ja) 文書検索方法，文書検索装置及び文書記憶装置
JPH1166076A (ja) データ派生装置及び方法、並びに、データ派生プログラムを格納した記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R150 Certificate of patent or registration of utility model

Ref document number: 6737117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150