JP2000181916A

JP2000181916A - 文書解析装置および方法ならびに文書解析プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2000181916A
Application number: JP10359709A
Authority: JP
Inventors: Kanji Uchino; 寛治内野
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1998-12-17
Filing date: 1998-12-17
Publication date: 2000-06-30

Abstract

(57)【要約】【課題】文書解析の精度を向上させることができると
ともに、容易に文書の言語種およびブロック単位の機能
を判別することができる文書解析装置および方法ならび
に文書解析プログラムを記録したコンピュータ読み取り
可能な記録媒体を得ること。【解決手段】本発明は、複数行からなる文書ファイル
Ｆ₁の文字種を文字単位で判定する文字単位文字種判定
部１０３と、上記文字単位の文字種の判定結果に基づい
て、同一文字種の連続性から行単位で文字種を判定する
行単位文字種判定部１０４と、上記行単位の文字種の判
定結果に基づいて、少なくとも同一の文字種の複数行を
１ブロックとしかつこのブロックの文字種を判定するブ
ロック単位文字種判定部１０５とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、たとえば、インタ
ーネットから収集した文書の解析に用いて好適な文書解
析装置および方法ならびに文書解析プログラムを記録し
たコンピュータ読み取り可能な記録媒体に関するもので
あり、特に、文書ファイルにおいてブロック単位で解析
を行うことができる文書解析装置および方法ならびに文
書解析プログラムを記録したコンピュータ読み取り可能
な記録媒体に関するものである。

【０００２】従来より、大量の文書から重要語／関連語
などを抽出する自然言語処理においては、元となる文書
（たとえば、新聞、特許公報）が整形（機械可読化）さ
れたコーパスに対して処理が行われてきた。また、近時
においては、インターネットの急速な普及により、多種
多様な文書群を大量にしかも極めて短時間で収集可能と
なっている。このような背景から、大量の文書を用い
て、検索用のインデックスを作成したり、重要語／関連
語などを抽出したりする文書解析（自然言語処理）を効
率良く行う解析技術が求められている。

【０００３】

【従来の技術】図２０は、従来の文書検索装置１の構成
を示すブロック図である。この図において、文書ファイ
ルＦ₁〜Ｆ₃は、図示しないインターネットから収集可
能なものであり、電子化されたテキストのファイルであ
る。これらの文書ファイルＦ₁〜Ｆ₃は、それぞれを構
成する文字を表す文字コードの集合であり、文書が日本
語である場合、上記文字コードとしては、ＪＩＳコー
ド、シフトＪＩＳコード、ＥＵＣ（Extended UNIX Cod
e：拡張ＵＮＩＸコード）等が用いられる。

【０００４】記憶部２は、上記文書ファイルＦ₁〜
Ｆ₃、後述する形態素解析データ、検索用のインデック
スデータ、辞書、言語モデル等を記憶する。文書ファイ
ル収集部３は、図示しないインターネットに接続されて
おり、上記文書ファイルＦ₁〜Ｆ ₃を収集した後、これ
らを記憶部２に記憶させる。

【０００５】形態素解析部４は、記憶部２に記憶されて
いる文書ファイルＦ₁〜Ｆ₃をそれぞれファイル単位で
言語種判定し、文書ファイルＦ₁〜Ｆ₃のそれぞれにつ
いて判定された言語に適した形態素解析を上述した辞
書、言語モデル等を参照しつつ行う。ここで、言語種判
定とは、文書ファイルＦ₁〜Ｆ₃の各ファイルにおいて
用いられている言語の種類（たとえば、日本語、英語）
を判定することをいう。形態素解析とは、文がどのよう
な形態素（単語）で構成され、かつその形態素の品詞が
何であるのかを、辞書および言語モデルを参照しつつ解
析することをいう。たとえば、「今日は会社に行かなか
った」という日本文を形態素解析した場合には、つぎの
ような解析結果となる。「今日」副詞的名詞「は」係助詞「会社」名詞「に」格助詞「行」カ行５段動詞「か」未然形活用語尾「な」助動詞「かっ」形容詞連用形活用語尾「た」助動詞

【０００６】また、形態素解析部４は、上記形態素解析
結果を記憶部２に記憶させる。インデックス生成部５
は、記憶部２に記憶された形態素解析結果から検索用の
インデックスを生成して、このインデックスデータを記
憶部２に記憶させる。

【０００７】上記構成において、文書ファイル収集部３
は、インターネット（図示略）より文書ファイルＦ₁、
文書ファイルＦ₂および文書ファイルＦ₃を順次収集し
た後、これらを記憶部２に記憶させる。

【０００８】つぎに、形態素解析部４は、たとえば、文
書ファイルＦ₁を記憶部２から読み出した後、文書ファ
イルＦ₁から得られる文書の言語種を判定する。具体的
には、形態素解析部４は、記憶部２に記憶されている辞
書、言語モデルに基づいて、言語（日本語、英語）の特
徴を示す語（日本語：ひらがな、カタカナ、英語：ＴＨ
Ｅ）が含まれる割合を求め、この割合によって当該文書
の言語種を判定する。たとえば、形態素解析部４は、当
該文書に「ひらがな、カタカナ」が５％以上含まれてい
る場合、当該文書の言語種を日本語として判定し、同様
にして「ＴＨＥ」が１０％以上含まれている場合、当該
文書の言語種を英語として判定する。

【０００９】つぎに、形態素解析部４は、上記文書ファ
イルＦ₁について判定された言語種（たとえば、日本
語）に適した形態素解析を、記憶部２に記憶されている
日本語用の辞書、言語モデル等を参照しつつ行った後、
形態素解析結果を記憶部２に記憶させる。そして、イン
デックス生成部５は、記憶部２に記憶された上記形態素
解析結果から検索用のインデックスを生成して、このイ
ンデックスデータを記憶部２に記憶させる。

【００１０】

【発明が解決しようとする課題】ところで、前述したよ
うに文書ファイルＦ₁〜Ｆ₃の伝送媒体であるインター
ネットにおいては、世界中の多種多様な言語で書かれた
文書ファイルが存在するとともに、単一の言語で書かれ
た文書に他言語で書かれた文書がノイズ文書として１つ
の文書ファイルに紛れこむことがある。上記ノイズ文書
としては、上記他言語以外にも、アスキーアートのよう
な記号のみからなる部分または文書、ｕｕｅｎｃｏｄｅ
などでエンコードされた部分または文書、メールやニュ
ースのヘッダ部分、伝送路ノイズによって文字化けした
部分等が挙げられる。

【００１１】一例として、図２１は、文書ファイルＦ₁
においてノイズ文書が紛れ込んだ場合の一例を示す図で
ある。この図からわかるように、文書ファイルＦ₁は、
英語の文書（１行目〜７行目）、中国語の文書（９行
目、１１行目〜１３行目）、日本語の文書（１５行目お
よび１６行目）、エンコードされた文書（１８行目〜２
３行目）という複数種類の文書からなる。ここで、日本
語を目的言語とした場合は、文書ファイルＦ₁における
英語、中国語およびエンコードされた文書は、ノイズ文
書（非可読文書）に該当する。

【００１２】ここで、従来の文書解析装置１において
は、文書解析（自然言語処理）対象である文書ファイル
Ｆ₁〜Ｆ₃が整形された文書であることが大前提とされ
ている。すなわち、文書ファイルＦ₁〜Ｆ₃が単一の言
語（日本語または英語）で書かれた文書のファイルであ
ることが、正常動作の条件の一つとされている。

【００１３】したがって、従来の文書解析装置１におい
ては、図２１に示すようなノイズ文書を含む文書ファイ
ルＦ₁が入力された場合、文書解析結果の精度が低くな
ってしまう。すなわち、図２１に示す文書ファイルＦ₁
が文書解析装置１に入力されると、文書解析装置１は、
ファイル全体をたとえば英語と判定した後、この言語種
判定結果にしたがって、文書ファイルＦ₁の全体の文書
を英語として、形態素解析を行う。

【００１４】この英語の形態素解析において、図２１の
１行目から７行目までの英語文書については、正常に形
態素解析が行われるが、これら以外の行の中国語文書、
日本語文書およびエンコードされた文書については、形
態素解析が英語に基づいて行われるため、形態素解析結
果（文書解析）の精度がほぼゼロになってしまう。

【００１５】また、従来の文書解析装置１においては、
文書ファイルＦ₁の言語種判別時および機能判別時に辞
書や大がかりな言語モデルが用いられているため、判別
手法が複雑になってしまうという問題があった。さら
に、従来の文書解析装置１においては、文書ファイルＦ
₁という１ファイル単位で文書の機能しか判別されない
ため、文書ファイルＦ₁におけるたとえばブロック（部
分）単位で機能判別を行うことができない。

【００１６】本発明はこのような背景の下になされたも
ので、文書解析の精度を向上させることができるととも
に、容易に文書の言語種およびブロック単位の機能を判
別することができる文書解析装置および方法ならびに文
書解析プログラムを記録したコンピュータ読み取り可能
な記録媒体を提供することを目的とする。

【００１７】

【課題を解決するための手段】上記目的を達成するため
に、請求項１にかかる文書解析装置は、複数行からなる
１ファイル単位の電子化文書に対して、各行毎に文字種
の連続性に基づいて行の文字種を判定して、各行と該各
行に対応する文字種との関係を表すテーブルを生成する
行単位文字種判定手段（後述する実施の形態１の行単位
文字種判定部１０４に相当）と、前記テーブルを参照し
て、前記１ファイルにおいて、少なくとも同種の文字種
からなる複数の行を１ブロックとするブロック化手段
（後述する実施の形態１のブロック単位文字種判定部１
０５に相当）と、前記ブロック化手段によりブロック化
された各ブロックの文字種を前記テーブルに基づいて判
定するブロック単位文字種判定手段（後述する実施の形
態１のブロック単位文字種判定部１０５に相当）と、前
記各ブロックにおいて、非可読な文字種の当該ブロック
を抽出する抽出手段（後述する実施の形態１のブロック
単位文字種判定部１０５、文字種入力部１０６および出
力部１０７に相当）とを備えることを特徴とする。

【００１８】この請求項１に記載の発明によれば、行単
位文字種判定手段により１ファイル単位の電子化文書に
対して、各行毎に文字種の連続性に基づいて行の文字種
が判定された後、各行と該各行に対応する文字種との関
係を表すテーブルが生成される。そして、ブロック化手
段により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定手段により各
ブロックの文字種が判定される。そして、抽出手段によ
り非可読な文字種の当該ブロックが抽出される。

【００１９】このように請求項１に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて文書解析が可能となる
ので、非可読ブロックを含む電子化文書であっても高い
精度で文書解析を行うことができる。

【００２０】また、請求項１に記載の発明によれば、文
字種の連続性に基づいてブロック単位の文字種の判別が
行われるので、従来のような辞書や大がかりな言語モデ
ルを用いることなく容易に文字種の判別をブロック単位
で行うことができる。

【００２１】請求項２にかかる文書解析装置は、複数行
からなる１ファイル単位の電子化文書に対して、各行毎
に文字種の連続性に基づいて行の文字種を判定して、各
行と該各行に対応する文字種との関係を表すテーブルを
生成する行単位文字種判定手段と、前記テーブルを参照
して、前記１ファイルにおいて、少なくとも同種の文字
種からなる複数の行を１ブロックとするブロック化手段
と、前記ブロック化手段によりブロック化された各ブロ
ックの文字種を前記テーブルに基づいて判定するブロッ
ク単位文字種判定手段と、前記各ブロックにおいて、非
可読な文字種の当該ブロックを判定する非可読判定手段
（後述する実施の形態１のブロック単位文字種判定部１
０５に相当）と、前記各ブロックの中から、前記非可読
判定手段により判定されたブロック以外のブロックを可
読ブロックとして抽出する抽出手段（後述する実施の形
態１の文字種入力部１０６および出力部１０７に相当）
とを備えることを特徴とする。

【００２２】この請求項２に記載の発明によれば、行単
位文字種判定手段により１ファイル単位の電子化文書に
対して、各行毎に文字種の連続性に基づいて行の文字種
が判定された後、各行と該各行に対応する文字種との関
係を表すテーブルが生成される。そして、ブロック化手
段により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定手段により各
ブロックの文字種が判定される。つぎに、可読判定手段
により非可読な文字種の当該ブロックが判定された後、
抽出手段により、上記非可読な文字種のブロック以外の
ブロックが可読ブロックとして抽出される。

【００２３】このように請求項２に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて文書解析が可能となる
ので、非可読ブロックを含む電子化文書であっても高い
精度で文書解析を行うことができる。

【００２４】また、請求項２に記載の発明によれば、文
字種の連続性に基づいてブロック単位の文字種の判別が
行われるので、従来のような辞書や大がかりな言語モデ
ルを用いることなく容易に文字種の判別をブロック単位
で行うことができる。

【００２５】請求項３にかかる文書解析装置は、複数行
からなる１ファイル単位の電子化文書に対して、各行毎
に文字種の連続性に基づいて行の文字種を判定して、各
行と該各行に対応する文字種との関係を表すテーブルを
生成する行単位文字種判定手段と、前記テーブルを参照
して、前記１ファイルにおいて、少なくとも同種の文字
種からなる複数の行を１ブロックとするブロック化手段
と、前記ブロック化手段によりブロック化された各ブロ
ックの文字種を前記テーブルに基づいて判定するブロッ
ク単位文字種判定手段と、文字種を指定する文字種指定
手段（後述すえう実施の形態１の文字種入力部１０６に
相当）と、前記各ブロックの中から、前記文字種指定手
段により指定された文字種のブロックを抽出する抽出手
段（後述する実施の形態１のブロック単位文字種判定部
１０５および出力部１０７に相当）とを備えることを特
徴とする。

【００２６】この請求項３に記載の発明によれば、行単
位文字種判定手段により１ファイル単位の電子化文書に
対して、各行毎に文字種の連続性に基づいて行の文字種
が判定された後、各行と該各行に対応する文字種との関
係を表すテーブルが生成される。そして、ブロック化手
段により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定手段により各
ブロックの文字種が判定される。つぎに、非可読判定手
段により非可読な文字種の当該ブロックが判定された
後、抽出手段により、文字種指定手段により指定された
文字種のブロックが抽出される。

【００２７】このように請求項３に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて文書解析が可能となる
ので、非可読ブロックを含む電子化文書であっても高い
精度で文書解析を行うことができる。

【００２８】また、請求項３に記載の発明によれば、文
字種の連続性に基づいてブロック単位の文字種の判別が
行われるので、従来のような辞書や大がかりな言語モデ
ルを用いることなく容易に文字種の判別をブロック単位
で行うことができる。

【００２９】請求項４にかかる文書解析装置は、複数行
からなる１ファイル単位の電子化文書に対して、各行毎
に文字種の連続性に基づいて行の文字種を判定して、各
行と該各行に対応する文字種との関係を表すテーブルを
生成する行単位文字種判定手段と、前記テーブルを参照
して、前記１ファイルにおいて、少なくとも同種の文字
種からなる複数の行を１ブロックとするブロック化手段
と、前記ブロック化手段によりブロック化された各ブロ
ックの文字種を前記テーブルに基づいて判定するブロッ
ク単位文字種判定手段と、前記テーブルに基づいて、前
記各ブロック毎に記述されている言語種を判定する言語
種判定手段（後述する実施の形態２の言語判定部２０１
に相当）とを備えることを特徴とする。

【００３０】この請求項４に記載の発明によれば、行単
位文字種判定手段により１ファイル単位の電子化文書に
対して、各行毎に文字種の連続性に基づいて行の文字種
が判定された後、各行と該各行に対応する文字種との関
係を表すテーブルが生成される。そして、ブロック化手
段により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定手段により各
ブロックの文字種が判定される。つぎに、言語種判定手
段によりテーブルに基づいて記述されている言語種が判
定される。

【００３１】このように、請求項４に記載の発明によれ
ば、テーブル、すなわち文字種の連続性に基づいて、ブ
ロック単位で言語種を判別しているので、従来のような
辞書や大がかりな言語モデルを用いることなく容易に言
語種の判別をブロック単位で行うことができる。

【００３２】請求項５にかかる文書解析装置は、請求項
４に記載の文書解析装置において、複数種の言語にそれ
ぞれ対応して設けられ、前記複数種の言語の文書に対し
て形態素解析をそれぞれ行う複数の形態素解析手段（後
述する実施の形態２の日本語形態素解析部２０４、英語
形態素解析部２０５および中国語形態素解析部２０６に
相当）と、前記言語種判定手段により判定された前記言
語種のブロックのデータを、当該言語種に対応する前記
形態素解析手段へ出力する出力手段（後述する実施の形
態２の出力部２０３に相当）とを備えることを特徴とす
る。

【００３３】この請求項５に記載の発明によれば、出力
手段から形態素解析手段へ言語種判定手段により判定さ
れた言語種のブロックが出力されると、形態素解析手段
によりその言語種に適合した形態素解析が行われる。

【００３４】このように請求項５に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて、しかも当該言語種に
適合した形態素解析が可能となるので、非可読ブロック
を含む電子化文書であってもさらに高い精度で文書解析
を行うことができる。

【００３５】請求項６にかかる文書解析装置は、複数行
からなる１ファイル単位の電子化文書に対して、各行毎
に文字種の連続性に基づいて行の文字種を判定して、各
行と該各行に対応する文字種との関係を表すテーブルを
生成する行単位文字種判定手段と、前記テーブルを参照
して、前記１ファイルにおいて、少なくとも同種の文字
種からなる複数の行を１ブロックとするブロック化手段
と、前記ブロック化手段によりブロック化された各ブロ
ックの文字種を前記テーブルに基づいて判定するブロッ
ク単位文字種判定手段と、前記テーブルに基づいて、前
記各ブロックにおける機能を判定する機能判定手段（後
述する実施の形態３の機能判定部３０２に相当）とを備
えることを特徴とする。

【００３６】この請求項６に記載の発明によれば、行単
位文字種判定手段により１ファイル単位の電子化文書に
対して、各行毎に文字種の連続性に基づいて行の文字種
が判定された後、各行と該各行に対応する文字種との関
係を表すテーブルが生成される。そして、ブロック化手
段により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定手段により各
ブロックの文字種が判定される。そして、機能判定手段
により当該ブロックにおける機能が判定される。

【００３７】また、請求項６に記載の発明によれば、文
字種の連続性に基づいてブロック単位の文字種の判別を
行った後にこの判別結果に基づいてブロックの機能を判
別しているので、従来のような辞書や大がかりな言語モ
デルを用いることなく容易に機能の判別をブロック単位
で行うことができる。

【００３８】請求項７にかかる文書解析方法は、複数行
からなる１ファイル単位の電子化文書に対して、各行毎
に文字種の連続性に基づいて行の文字種を判定して、各
行と該各行に対応する文字種との関係を表すテーブルを
生成する行単位文字種判定工程（後述する実施の形態１
のステップＳＡ３０に相当）と、前記テーブルを参照し
て、前記１ファイルにおいて、少なくとも同種の文字種
からなる複数の行を１ブロックとするブロック化工程
（後述する実施の形態１のステップＳＡ４０に相当）
と、前記ブロック化工程によりブロック化された各ブロ
ックの文字種を前記テーブルに基づいて判定するブロッ
ク単位文字種判定工程（後述する実施の形態１のステッ
プＳＡ４０に相当）と、前記各ブロックにおいて、非可
読な文字種の当該ブロックを抽出させる抽出工程（後述
する実施の形態１のステップＳＡ４０、ステップＳＡ５
０およびステップＳＡ６０に相当）とを含むことを特徴
とする。

【００３９】この請求項７に記載の発明によれば、行単
位文字種判定工程により１ファイル単位の電子化文書に
対して、各行毎に文字種の連続性に基づいて行の文字種
が判定された後、各行と該各行に対応する文字種との関
係を表すテーブルが生成される。そして、ブロック化工
程により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定工程により各
ブロックの文字種が判定される。そして、抽出工程によ
り非可読な文字種の当該ブロックが抽出される。

【００４０】このように請求項７に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて文書解析が可能となる
ので、非可読ブロックを含む電子化文書であっても高い
精度で文書解析を行うことができる。

【００４１】また、請求項７に記載の発明によれば、文
字種の連続性に基づいてブロック単位の文字種の判別が
行われるので、従来のような辞書や大がかりな言語モデ
ルを用いることなく容易に文字種の判別をブロック単位
で行うことができる。

【００４２】請求項８にかかる文書解析方法は、複数行
からなる１ファイル単位の電子化文書に対して、各行毎
に文字種の連続性に基づいて行の文字種を判定して、各
行と該各行に対応する文字種との関係を表すテーブルを
生成する行単位文字種判定工程と、前記テーブルを参照
して、前記１ファイルにおいて、少なくとも同種の文字
種からなる複数の行を１ブロックとするブロック化工程
と、前記ブロック化工程によりブロック化された各ブロ
ックの文字種を前記テーブルに基づいて判定するブロッ
ク単位文字種判定工程と、前記各ブロックにおいて、非
可読な文字種の当該ブロックを判定させる非可読判定工
程（後述する実施の形態１のステップＳＡ４０に相当）
と、前記各ブロックの中から、前記非可読判定工程によ
り判定されたブロック以外のブロックを可読ブロックと
して抽出させる抽出工程（後述する実施の形態１のステ
ップＳＡ４０、ステップＳＡ５０およびステップＳＡ６
０に相当）とを含むことを特徴とする。

【００４３】この請求項８に記載の発明によれば、行単
位文字種判定工程により１ファイル単位の電子化文書に
対して、各行毎に文字種の連続性に基づいて行の文字種
が判定された後、各行と該各行に対応する文字種との関
係を表すテーブルが生成される。そして、ブロック化工
程により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定工程により各
ブロックの文字種が判定される。つぎに、可読判定工程
により非可読な文字種の当該ブロックが判定された後、
抽出工程により、上記非可読な文字種のブロック以外の
ブロックが可読ブロックとして抽出される。

【００４４】このように請求項８に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて文書解析が可能となる
ので、非可読ブロックを含む電子化文書であっても高い
精度で文書解析を行うことができる。

【００４５】また、請求項８に記載の発明によれば、文
字種の連続性に基づいてブロック単位の文字種の判別が
行われるので、従来のような辞書や大がかりな言語モデ
ルを用いることなく容易に文字種の判別をブロック単位
で行うことができる。

【００４６】請求項９にかかる文書解析方法は、複数行
からなる１ファイル単位の電子化文書に対して、各行毎
に文字種の連続性に基づいて行の文字種を判定し、各行
と該各行に対応する文字種との関係を表すテーブルを生
成させる行単位文字種判定工程と、前記テーブルを参照
して、前記１ファイルにおいて、少なくとも同種の文字
種からなる複数の行を１ブロックとするブロック化工程
と、前記ブロック化工程によりブロック化された各ブロ
ックの文字種を前記テーブルに基づいて判定するブロッ
ク単位文字種判定工程と、文字種を指定する文字種指定
工程（後述する実施の形態１のステップＳＡ５０に相
当）と、前記各ブロックの中から、前記文字種指定工程
により指定された文字種のブロックを抽出する抽出工程
（後述する実施の形態１のステップＳＡ４０、ステップ
ＳＡ５０およびステップＳＡ６０に相当）とを含むこと
を特徴とする。

【００４７】この請求項９に記載の発明によれば、行単
位文字種判定工程により１ファイル単位の電子化文書に
対して、各行毎に文字種の連続性に基づいて行の文字種
が判定された後、各行と該各行に対応する文字種との関
係を表すテーブルが生成される。そして、ブロック化工
程により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定工程により各
ブロックの文字種が判定される。つぎに、非可読判定工
程により非可読な文字種の当該ブロックが判定された
後、抽出工程により、文字種指定工程により指定された
文字種のブロックが抽出される。

【００４８】このように請求項９に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて文書解析が可能となる
ので、非可読ブロックを含む電子化文書であっても高い
精度で文書解析を行うことができる。

【００４９】請求項１０にかかる文書解析方法は、複数
行からなる１ファイル単位の電子化文書に対して、各行
毎に文字種の連続性に基づいて行の文字種を判定して、
各行と該各行に対応する文字種との関係を表すテーブル
を生成する行単位文字種判定工程と、前記テーブルを参
照して、前記１ファイルにおいて、少なくとも同種の文
字種からなる複数の行を１ブロックとするブロック化工
程と、前記ブロック化工程によりブロック化された各ブ
ロックの文字種を前記テーブルに基づいて判定するブロ
ック単位文字種判定工程と、前記テーブルに基づいて、
前記各ブロック毎に記述されている言語種を判定する言
語種判定工程（後述する実施の形態２のステップＳＢ５
０に相当）とを含むことを特徴とする。

【００５０】また、請求項１０に記載の発明によれば、
文字種の連続性に基づいてブロック単位の文字種の判別
が行われるので、従来のような辞書や大がかりな言語モ
デルを用いることなく容易に文字種の判別をブロック単
位で行うことができる。

【００５１】この請求項１０に記載の発明によれば、行
単位文字種判定工程により１ファイル単位の電子化文書
に対して、各行毎に文字種の連続性に基づいて行の文字
種が判定された後、各行と該各行に対応する文字種との
関係を表すテーブルが生成される。そして、ブロック化
工程により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定工程により各
ブロックの文字種が判定される。つぎに、言語種判定工
程によりテーブルに基づいて記述されている言語種が判
定される。

【００５２】このように、請求項１０に記載の発明によ
れば、テーブル、すなわち文字種の連続性に基づいて、
ブロック単位で言語種を判別しているので、従来のよう
な辞書や大がかりな言語モデルを用いることなく容易に
言語種の判別をブロック単位で行うことができる。

【００５３】請求項１１にかかる文書解析方法は、請求
項１０に記載の文書解析方法において、前記言語種判定
工程により判定された前記言語種のブロックのデータに
基づいて、当該ブロックに対して当該言語種に適した形
態素解析を行わせる形態素解析工程（後述する実施の形
態２のステップＳＢ７０、ステップＳＢ９０およびステ
ップＳＢ１１０に相当）とを含むことを特徴とする。

【００５４】この請求項１１に記載の発明によれば、形
態素解析工程においては、言語種判定工程により判定さ
れた言語種のブロックのデータに基づいて、当該ブロッ
クに対して当該言語種に適した形態素解析が行われる。

【００５５】このように請求項１１に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて、しかも当該言語種に
適合した形態素解析が可能となるので、非可読ブロック
を含む電子化文書であってもさらに高い精度で文書解析
を行うことができる。

【００５６】請求項１２にかかる文書解析方法は、複数
行からなる１ファイル単位の電子化文書に対して、各行
毎に文字種の連続性に基づいて行の文字種を判定して、
各行と該各行に対応する文字種との関係を表すテーブル
を生成する行単位文字種判定工程と、前記テーブルを参
照して、前記１ファイルにおいて、少なくとも同種の文
字種からなる複数の行を１ブロックとするブロック化工
程と、前記ブロック化工程によりブロック化された各ブ
ロックの文字種を前記テーブルに基づいて判定するブロ
ック単位文字種判定工程と、前記テーブルに基づいて、
前記各ブロックにおける機能を判定する機能判定工程
（後述する実施の形態３のステップＳＣ６０に相当）と
を含むことを特徴とする。

【００５７】この請求項１２に記載の発明によれば、行
単位文字種判定工程により１ファイル単位の電子化文書
に対して、各行毎に文字種の連続性に基づいて行の文字
種が判定された後、各行と該各行に対応する文字種との
関係を表すテーブルが生成される。そして、ブロック化
工程により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定工程により各
ブロックの文字種が判定される。そして、機能判定工程
により当該ブロックにおける機能が判定される。

【００５８】また、請求項１２に記載の発明によれば、
文字種の連続性に基づいてブロック単位の文字種の判別
を行った後にこの判別結果に基づいてブロックの機能を
判別しているので、従来のような辞書や大がかりな言語
モデルを用いることなく容易に機能の判別をブロック単
位で行うことができる。

【００５９】請求項１３にかかる文書解析プログラムを
記録したコンピュータ読み取り可能な記録媒体は、複数
行からなる１ファイル単位の電子化文書に対して、各行
毎に文字種の連続性に基づいて行の文字種を判定させ、
各行と該各行に対応する文字種との関係を表すテーブル
を生成させる行単位文字種判定工程と、前記テーブルを
参照させ、前記１ファイルにおいて、少なくとも同種の
文字種からなる複数の行を１ブロックとさせるブロック
化工程と、前記ブロック化工程によりブロック化された
各ブロックの文字種を前記テーブルに基づいて判定させ
るブロック単位文字種判定工程と、前記各ブロックにお
いて、非可読な文字種の当該ブロックを抽出させる抽出
工程とをコンピュータに実行させるためのものである。

【００６０】この請求項１３に記載の発明によれば、行
単位文字種判定工程により１ファイル単位の電子化文書
に対して、各行毎に文字種の連続性に基づいて行の文字
種が判定された後、各行と該各行に対応する文字種との
関係を表すテーブルが生成される。そして、ブロック化
工程により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定工程により各
ブロックの文字種が判定される。そして、抽出工程によ
り非可読な文字種の当該ブロックが抽出される。

【００６１】このように請求項１３に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて文書解析が可能となる
ので、非可読ブロックを含む電子化文書であっても高い
精度で文書解析を行うことができる。

【００６２】また、請求項１３に記載の発明によれば、
文字種の連続性に基づいてブロック単位の文字種の判別
が行われるので、従来のような辞書や大がかりな言語モ
デルを用いることなく容易に文字種の判別をブロック単
位で行うことができる。

【００６３】請求項１４にかかる文書解析プログラムを
記録したコンピュータ読み取り可能な記録媒体は、複数
行からなる１ファイル単位の電子化文書に対して、各行
毎に文字種の連続性に基づいて行の文字種を判定させ、
各行と該各行に対応する文字種との関係を表すテーブル
を生成させる行単位文字種判定工程と、前記テーブルを
参照させ、前記１ファイルにおいて、少なくとも同種の
文字種からなる複数の行を１ブロックとさせるブロック
化工程と、前記ブロック化工程によりブロック化された
各ブロックの文字種を前記テーブルに基づいて判定させ
るブロック単位文字種判定工程と、前記各ブロックにお
いて、非可読な文字種の当該ブロックを判定させる非可
読判定工程と、前記各ブロックの中から、前記非可読判
定工程により判定されたブロック以外のブロックを可読
ブロックとして抽出させる抽出工程とをコンピュータに
実行させるためのものである。

【００６４】この請求項１４に記載の発明によれば、行
単位文字種判定工程により１ファイル単位の電子化文書
に対して、各行毎に文字種の連続性に基づいて行の文字
種が判定された後、各行と該各行に対応する文字種との
関係を表すテーブルが生成される。そして、ブロック化
工程により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定工程により各
ブロックの文字種が判定される。つぎに、可読判定工程
により非可読な文字種の当該ブロックが判定された後、
抽出工程により、上記非可読な文字種のブロック以外の
ブロックが可読ブロックとして抽出される。

【００６５】このように請求項１４に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて文書解析が可能となる
ので、非可読ブロックを含む電子化文書であっても高い
精度で文書解析を行うことができる。

【００６６】また、請求項１４に記載の発明によれば、
文字種の連続性に基づいてブロック単位の文字種の判別
が行われるので、従来のような辞書や大がかりな言語モ
デルを用いることなく容易に文字種の判別をブロック単
位で行うことができる。

【００６７】請求項１５にかかる文書解析プログラムを
記録したコンピュータ読み取り可能な記録媒体は、複数
行からなる１ファイル単位の電子化文書に対して、各行
毎に文字種の連続性に基づいて行の文字種を判定させ、
各行と該各行に対応する文字種との関係を表すテーブル
を生成させる行単位文字種判定工程と、前記テーブルを
参照させ、前記１ファイルにおいて、少なくとも同種の
文字種からなる複数の行を１ブロックとさせるブロック
化工程と、前記ブロック化工程によりブロック化された
各ブロックの文字種を前記テーブルに基づいて判定させ
るブロック単位文字種判定工程と、文字種を指定させる
文字種指定工程と、前記各ブロックの中から、前記文字
種指定工程により指定された文字種のブロックを抽出さ
せる抽出工程とをコンピュータに実行させるためのもの
である。

【００６８】この請求項１５に記載の発明によれば、行
単位文字種判定工程により１ファイル単位の電子化文書
に対して、各行毎に文字種の連続性に基づいて行の文字
種が判定された後、各行と該各行に対応する文字種との
関係を表すテーブルが生成される。そして、ブロック化
工程により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定工程により各
ブロックの文字種が判定される。つぎに、非可読判定工
程により非可読な文字種の当該ブロックが判定された
後、抽出工程により、文字種指定工程により指定された
文字種のブロックが抽出される。

【００６９】このように請求項１５に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて文書解析が可能となる
ので、非可読ブロックを含む電子化文書であっても高い
精度で文書解析を行うことができる。

【００７０】また、請求項１５に記載の発明によれば、
文字種の連続性に基づいてブロック単位の文字種の判別
が行われるので、従来のような辞書や大がかりな言語モ
デルを用いることなく容易に文字種の判別をブロック単
位で行うことができる。

【００７１】請求項１６にかかる文書解析プログラムを
記録したコンピュータ読み取り可能な記録媒体は、複数
行からなる１ファイル単位の電子化文書に対して、各行
毎に文字種の連続性に基づいて行の文字種を判定させ、
各行と該各行に対応する文字種との関係を表すテーブル
を生成させる行単位文字種判定工程と、前記テーブルを
参照させ、前記１ファイルにおいて、少なくとも同種の
文字種からなる複数の行を１ブロックとさせるブロック
化工程と、前記ブロック化工程によりブロック化された
各ブロックの文字種を前記テーブルに基づいて判定させ
るブロック単位文字種判定工程と、前記テーブルに基づ
いて、前記各ブロック毎に記述されている言語種を判定
させる言語種判定工程とをコンピュータに実行させるた
めのものである。

【００７２】この請求項１６に記載の発明によれば、行
単位文字種判定工程により１ファイル単位の電子化文書
に対して、各行毎に文字種の連続性に基づいて行の文字
種が判定された後、各行と該各行に対応する文字種との
関係を表すテーブルが生成される。そして、ブロック化
工程により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定工程により各
ブロックの文字種が判定される。つぎに、言語種判定工
程によりテーブルに基づいて記述されている言語種が判
定される。

【００７３】このように、請求項１６に記載の発明によ
れば、テーブル、すなわち文字種の連続性に基づいて、
ブロック単位で言語種を判別しているので、従来のよう
な辞書や大がかりな言語モデルを用いることなく容易に
言語種の判別をブロック単位で行うことができる。

【００７４】請求項１７にかかる文書解析プログラムを
記録したコンピュータ読み取り可能な記録媒体は、請求
項１６に記載の文書解析プログラムを記録したコンピュ
ータ読み取り可能な記録媒体において、前記言語種判定
工程により判定された前記言語種のブロックのデータに
基づいて、当該ブロックに対して当該言語種に適した形
態素解析を行わせる形態素解析工程とを含むことを特徴
とする。

【００７５】この請求項１７に記載の発明によれば、形
態素解析工程においては、言語種判定工程により判定さ
れた言語種のブロックのデータに基づいて、当該ブロッ
クに対して当該言語種に適した形態素解析が行われる。

【００７６】このように請求項１７に記載の発明によれ
ば、１ファイル単位の電子化文書から非可読ブロックが
排除された可読ブロックを用いて、しかも当該言語種に
適合した形態素解析が可能となるので、非可読ブロック
を含む電子化文書であってもさらに高い精度で文書解析
を行うことができる。

【００７７】請求項１８にかかる文書解析プログラムを
記録したコンピュータ読み取り可能な記録媒体は、複数
行からなる１ファイル単位の電子化文書に対して、各行
毎に文字種の連続性に基づいて行の文字種を判定させ、
各行と該各行に対応する文字種との関係を表すテーブル
を生成させる行単位文字種判定工程と、前記テーブルを
参照させ、前記１ファイルにおいて、少なくとも同種の
文字種からなる複数の行を１ブロックとさせるブロック
化工程と、前記ブロック化工程によりブロック化された
各ブロックの文字種を前記テーブルに基づいて判定させ
るブロック単位文字種判定工程と、前記テーブルに基づ
いて、前記各ブロックにおける機能を判定させる機能判
定工程とをコンピュータに実行させるためのものであ
る。

【００７８】この請求項１８に記載の発明によれば、行
単位文字種判定工程により１ファイル単位の電子化文書
に対して、各行毎に文字種の連続性に基づいて行の文字
種が判定された後、各行と該各行に対応する文字種との
関係を表すテーブルが生成される。そして、ブロック化
工程により、テーブルが参照されて、１ファイルにおい
て、少なくとも同種の文字種からなる複数の行が１ブロ
ックとされた後、ブロック単位文字種判定工程により各
ブロックの文字種が判定される。そして、機能判定工程
により当該ブロックにおける機能が判定される。

【００７９】また、請求項１８に記載の発明によれば、
文字種の連続性に基づいてブロック単位の文字種の判別
を行った後にこの判別結果に基づいてブロックの機能を
判別しているので、従来のような辞書や大がかりな言語
モデルを用いることなく容易に機能の判別をブロック単
位で行うことができる。

【００８０】

【発明の実施の形態】以下、図面を参照して本発明にか
かる文書解析装置および方法ならびに文書解析プログラ
ムを記録したコンピュータ読み取り可能な記録媒体の実
施の形態１〜３について詳述する。

【００８１】（実施の形態１）図１は本発明の実施の形
態１による文書解析装置１００の構成を示すブロック図
である。この図において、図２０および図２１の各部に
対応する部分には同一の符号を付ける。

【００８２】図１に示す文書ファイルＦ₁〜Ｆ₃は、図
示しないインターネットから収集可能なものであり、電
子化されたテキストのファイルである。これらの文書フ
ァイルＦ₁〜Ｆ₃は、それぞれを構成する文字を表す文
字コードの集合であり、前述したように文書が日本語で
ある場合、上記文字コードとしては、ＪＩＳコード、シ
フトＪＩＳコード、ＥＵＣ（Extended UNIX Code：拡張
ＵＮＩＸコード）等が用いられる。

【００８３】ここで、上記文書ファイルＦ₁〜文書ファ
イルＦ₃を構成する文字の種類（以下、文字種と称す
る）には、つぎの（１Ａ）項から（５Ａ）項に列挙する
５種類がある。（１Ａ）半角英数字／記号（具体例：Ａ、Ｂ、１、
２、！、＠、・・・）（２Ａ）ひらがな（具体例：あ、い、・・・）（３Ａ）カタカナ（具体例：ア、イ、・・・）（４Ａ）漢字（具体例：亜、伊、・・・）（５Ａ）制御文字（具体例：改行マーク、空白部分）

【００８４】また、文書ファイルＦ₁〜文書ファイルＦ
₃を構成する文字を上述したＥＵＣで表現した場合、各
文字種と対応する文字コード値とは、つぎの（１Ｂ）項
〜（５Ｂ）項に列挙するように対応付けられる。（１Ｂ）半角英数字／記号→文字コード値：0x21〜0x
7e （２Ｂ）ひらがな→文字コード値：上位バイトが0xa4
以上（３Ｂ）カタカナ→文字コード値：上位バイトが0x5a
以上（４Ｂ）漢字→文字コード値：上位バイトが0xb0以上（５Ｂ）制御文字→文字コード値：0x00〜0x20

【００８５】記憶部１０１は、上記文書ファイルＦ₁〜
Ｆ₃、文字配列テーブルＴ₁（図４参照）、行配列テー
ブルＴ₂（図６参照）、ブロックテーブルＴ₃（図９参
照）等を記憶する。なお、上記文字配列テーブルＴ₁、
行配列テーブルＴ₂およびブロックテーブルＴ₃の詳細
については後述する。

【００８６】文字単位文字種判定部１０３は、文書ファ
イルＦ₁〜文書ファイルＦ₃から得られる文書における
文字種を１文字単位で判定する。具体的には、文字単位
文字種判定部１０３は、上述した（１Ｂ）項〜（５Ｂ）
項に列挙する文字種と文字コード値との対応関係にした
がって、上記文書における各文字の文字コード値から文
字種を判定する。また、文字単位文字種判定部１０３
は、上記文字種を判定したとき当該文字種が英数字／記
号であるとき文字種判定結果を英数字／記号Ｓとし、ま
た、当該文字種がひらがなまたはカタカナであるとき文
字種判定結果をひらがな／カタカナＨとする。

【００８７】同様にして、文字単位文字種判定部１０３
は、当該文字種が漢字であるとき文字種判定結果を漢字
Ｋとし、また当該文字種が制御文字であるとき文字種判
定結果を制御文字Ｃとする。なお、文字単位文字種判定
部１０３は、当該文字のコードが上述した（１Ｂ）項〜
（５Ｂ）項のいずれの文字コードにも該当しない場合に
は、文字種判定結果を不明とする。さらに、文字単位文
字種判定部１０３は、上記判定結果（英数字／記号Ｓ、
ひらがな／カタカナＨ、漢字Ｋおよび制御文字Ｃ）を図
４に示す文字配列テーブルＴ₁に登録する。この文字配
列テーブルＴ₁は、図２１に示す文書ファイルＦ₁から
得られる文書における各行毎に文字単位で文字種判定結
果（英数字／記号Ｓ等）が登録されたテーブルである。

【００８８】行単位文字種判定部１０４は、文字配列テ
ーブルＴ₁（図４参照）に基づいて、各行単位で文字種
を判定するものであり、文字種判定結果を図６に示す行
配列テーブルＴ₂に登録する。具体的には、行単位文字
種判定部１０４は、図４に示す文字配列テーブルＴ₁よ
り１行単位で文字種判定結果を読み出し、この１行分の
文字種判定結果において同一の文字種判定結果が連続す
るもののうち、最長の文字種判定結果を最長文字種と
し、かつこの最長文字種の文字列長を求めた後、これら
の最長文字種／文字列長を図６に示す行配列テーブルＴ
₂に登録する。

【００８９】図６に示す例では、１行目の「Ｓ８」にお
いて「Ｓ」は、文書ファイルＦ₁（図２１参照）におけ
る１行目の最長文字種が英数字／記号Ｓであり、「８」
は、この英数字／記号Ｓの文字列が８列連続しているこ
とを意味している。

【００９０】図１に戻り、ブロック単位文字種判定部１
０５は、図６に示す行配列テーブルＴ₂、ならびに図８
に示すブロック文字種判定条件およびその対応に基づい
て、文書ファイルＦ₁〜文書ファイルＦ₃から得られる
各文書におけるブロック単位の文字種を判定した後、こ
の文字種判定結果を図９に示すブロックテーブルＴ₃に
登録する。ここでいうブロックとは、図２１に示すブロ
ックＢＬ₁〜ＢＬ₄のような、文書ファイルＦ₁におい
て同一の文字種からなる複数行（または単一行）の文書
の集合をいう。

【００９１】図２１に示す例では、ブロックＢＬ₁は、
１行目から７行目までの文書の集合であり、その文字種
判定結果が英数字／記号Ｓとされ、ブロックＢＬ₂は、
９行目から１３行目までの文書の集合であり、その文字
判定結果が漢字Ｋとされる。同様にして、ブロックＢＬ
₃は、１５行目および１６行目の文書の集合であり、そ
の文字種判定結果がひらがな／カタカナＨとされ、ブロ
ックＢＬ₄は、１８行目から２３行目までの文書の集合
であり、その文字判定結果が英数字／記号Ｓとされる。
なお、ブロック単位文字種判定部１０５における文字種
判定については後に詳細に説明する。

【００９２】図１に戻り、文字種入力部１０６は、上述
した英数字／記号Ｓ、ひらがな／カタカナＨ、漢字Ｋの
うち、ユーザが文書解析時に必要とされる文書の文字種
（以下、可読文字種と称する）、またはユーザが文書解
析時に不要とされる文書の文字種（以下、非可読文字種
と称する）を指定するための文字種指定データを入力す
るときに用いられるものである。

【００９３】ここで、日本語の文書解析時において、上
記可読文字種は、ひらがな／カタカナＨであり、他方非
可読文字種は、漢字Ｋ、英数字／記号Ｓである。また、
より具体的には、可読文字種の文書としては、文書ファ
イルＦ₁（図２１参照）における日本語のブロックＢＬ
₃が該当し、他方、非可読文字種の文書としては、文書
ファイルＦ₁における、日本語の文書解析にとって無意
味な漢字が連続した中国語のブロックＢＬ₂や、無意味
な英数字／記号が連続した文字からなるブロックＢＬ₄
等が該当する。出力部１０７は、上記文字種入力部１０
６より入力される文字種指定データにより指定される文
字種の文書を上述したブロック単位で文書ブロックデー
タＤ₁として、図示しない形態素解析部等へ出力する。

【００９４】つぎに、上述した実施の形態１による文書
解析装置１００の動作について、図２、図３、図５およ
び図７に示すフローチャートを参照しつつ説明する。図
１において、図示しない制御部より文書ファイル収集コ
マンドが入力されると。文書ファイル収集部１０２は、
図２に示すステップＳＡ１０へ進み、インターネット
（図示略）を伝送しているたとえば、文書ファイルＦ₁
（図２１参照）を収集した後、これを記憶部１０１へ記
憶させる。そして、文書ファイル収集部１０２は、文書
ファイルＦ₁の記憶動作を終えると、文字単位文字種判
定部１０３へその旨を表すデータを出力する。

【００９５】これにより、文字単位文字種判定部１０３
は、ステップＳＡ２０へ進み、文書ファイルＦ₁（図２
１参照）から得られる文書に対して、文字単位の文字種
判定処理を実行する。

【００９６】以下、この文字単位の文字種判定処理につ
いて図３に示すフローチャートに基づいて詳細に説明す
る。同図に示すステップＳＡ２１では、文書ファイル収
集部１０２は、まず、図２１に示す文書ファイルＦ₁の
うち１行目における１文字目の文字（図２１に示す例で
は、「Ｄ」）を読み込んだ後、ステップＳＡ２２へ進
む。

【００９７】ステップＳＡ２２では、文字単位文字種判
定部１０３は、読み込んだ文字「Ｄ」の文字コード値を
チェックした後、この文字コード値から文字「Ｄ」の文
字種を判定する。この場合、文字単位文字種判定部１０
３は、文字「Ｄ」の文字種判定結果を英数字／記号Ｓと
した後、ステップＳＡ２３へ進む。ステップＳＡ２３で
は、文字単位文字種判定部１０３は、ステップＳＡ２２
における文字種判定結果を図４に示す文字配列テーブル
Ｔ₁に登録する。この場合、文字単位文字種判定部１０
３は、ステップＳＡ２２における文字種判定結果（英数
字／記号Ｓ）を図４に示す１行目の１文字目の領域に登
録した後、ステップＳＡ２４へ進む。

【００９８】ステップＳＡ２４では、文字単位文字種判
定部１０３は、当該行（この場合、１行目）の行末文字
（図２１に示す例では、「０」）まで読み込んだか否か
を判断する。この場合、１行目における１文字目の文字
（「Ｄ」）しか読み込んでいないため、文字単位文字種
判定部１０３は、ステップＳＡ２４の判断結果を「Ｎ
Ｏ」として、ステップＳＡ２１へ戻り、上述した工程を
繰り返す。すなわち、ステップＳＡ２１〜ステップＳＡ
２３では、文字単位文字種判定部１０３は、図２１に示
す１行目の２文字目以降の文字（「０」）を読み込んだ
後、当該文字の文字種判定を行う。そして、文字単位文
字種判定部１０３は、当該文字の文字種判定結果を上述
した工程と同様にして、図４に示す１行目の２文字以降
の領域に登録する。

【００９９】そして、ここで、図２１に示す１行目にお
ける行末文字（「ａ」）まで読み込まれたとすると、文
字単位文字種判定部１０３は、ステップＳＡ２４の判断
結果を「ＹＥＳ」として、ステップＳＡ２５へ進む。こ
の時点では、図４に示す文字配列テーブルＴ₁における
１行目には、「ＳＳＳＳＳＣＳＳＳＳ・・・」という文字
種判別結果が登録されている。

【０１００】ステップＳＡ２５では、文字単位文字種判
定部１０３は、図２１に示す文書ファイルＦ₁から得ら
れる文書における最終行（２５行目）の行末文字まで読
み込まれたか否かを判断する。この場合、文字単位文字
種判定部１０３は、同判断結果を「ＮＯ」として、ステ
ップＳＡ２１へ戻り、上述した工程を繰り返す。すなわ
ち、ステップＳＡ２１〜ステップＳＡ２４では、文字単
位文字種判定部１０３は、２行目以降の各文字を順次読
み込み、当該文字の文字種判定結果を上述した工程と同
様にして、図４に示す２行目の１文字以降の領域に順次
登録する。

【０１０１】そして、ここで、図２１に示す２５行目
（最終行）における行末文字（改行マーク）まで読み込
まれたとすると、文字単位文字種判定部１０３は、ステ
ップＳＡ２５の判断結果を「ＹＥＳ」として、図２に示
すステップＳＡ２０へ戻る。この時点では、図４に示す
文字配列テーブルＴ₁には、同図に示すように各行毎に
１文字単位の文字種判定結果が登録されている。たとえ
ば、文字配列テーブルＴ₁において、７行目には図２１
に示す英数字／記号等からなる７行目の文字列に対応す
る「ＳＳＳＳＳＳＳＳＳＳ・・・」という文字種判別結果
が、９行目には、図２１に示す漢字等からなる９行目の
文字列に対応する「ＫＫＫＣＫＫ」という文字種判定結
果がそれぞれ登録されている。

【０１０２】また、文字配列テーブルＴ₁において、１
３行目には図２１に示す漢字からなる１３行目の文字列
に対応する「ＫＫＫＫ」という文字種判定結果が、１５
行目および１６行目には、漢字およびひらがな／カタカ
ナからなる１５行目および１６行目の文字列に対応する
「ＫＫＫＨＨＨ・・・」および「ＫＫＫＨＫＫ・・・」とい
う文字種判定結果がそれぞれ登録されている。

【０１０３】さらに、文字配列テーブルＴ₁において、
１８行目〜２３行目には、図２１に示す英数字／記号の
みからなる文字列に対応する「ＳＳＳＳＳ・・・Ｓ」とい
う文字種判定結果がそれぞれ登録されている。そして、
文字単位文字種判定部１０３は、ステップＳＡ２０にお
ける文字単位の文字種判定処理を終えると、その旨を表
すデータを行単位文字種判定部１０４へ出力する。

【０１０４】これにより、行単位文字種判定部１０４
は、ステップＳＡ３０へ進み、文書ファイルＦ₁から得
られる文書に対して、行単位の文字種判定処理を実行す
る。以下、この行単位の文字種判定処理について、図５
に示すフローチャートを参照して詳細に説明する。同図
に示すステップＳＡ３１では、行単位文字種判定部１０
４は、図４に示す文字配列テーブルＴ₁を記憶部１０１
から読み込んだ後、ステップＳＡ３２へ進む。

【０１０５】ステップＳＡ３２では、行単位文字種判定
部１０４は、まず、文字配列テーブルＴ₁における先頭
行（１行目）の文字配列のデータ（英数字／記号Ｓ、ひ
らがな／カタカナＨ等）を参照して、当該行において同
一文字種が連続する文字種群のうち、最長の文字種と当
該文字種の最長文字列長とを判定する。ただし、行単位
文字種判定部１０４は、当該行においてひらがな／カタ
カナＨが１文字でも含まれていれば、該ひらがな／カタ
カナＨを他の文字種に優先させる。

【０１０６】この場合、行単位文字種判定部１０４は、
文字配列テーブルＴ₁における１行目の文字配列の最長
文字種を英数字／記号Ｓ（図２１：１行目「１２：０
５：０６」参照）と、該最長文字種の最長文字列長を
「８」として判定した後、ステップＳＡ３３へ進む。

【０１０７】ステップＳＡ３３では、行単位文字種判定
部１０４は、ステップＳＡ３２において判定した最長文
字種および最長文字列長を図６に示す行配列テーブルＴ
₂の当該行の領域に登録する。この場合、行単位文字種
判定部１０４は、図６に示す行配列テーブルＴ₂の１行
目の領域に「Ｓ８」を登録した後、ステップＳＡ３４へ
進む。上記「Ｓ８」において、「Ｓ」は最長文字種を、
「８」は最長文字列長をそれぞれ意味する。

【０１０８】ステップＳＡ３４では、行単位文字種判定
部１０４は、図４に示す文字配列テーブルＴ₁における
最終行（２５行目）の文字配列を読み込んだか否かを判
断する。この場合、文字配列テーブルＴ₁における１行
目の文字配列しか読み込んでいないため、行単位文字種
判定部１０４は、ステップＳＡ３４の判断結果を「Ｎ
Ｏ」としてステップＳＡ３１へ戻り、上述した工程を繰
り返す。

【０１０９】すなわち、ステップＳＡ３１〜ステップＳ
Ａ３３では、行単位文字種判定部１０４、文字配列テー
ブルＴ₁における２行目以降の各文字配列を順次読み込
み、当該行単位の文字種判定結果を上述した工程と同様
にして、図６に示す行配列テーブルＴ₂における２行目
以降の領域に順次登録する。

【０１１０】そして、ここで、図２１に示す２５行目
（最終行）の文字配列まで読み込まれたとすると、行単
位文字種判定部１０４は、ステップＳＡ３４の判断結果
を「ＹＥＳ」として、図２に示すステップＳＡ３０へ戻
る。この時点では、図６には、同図に示すように各行単
位で最長文字種／文字列長が登録されている。

【０１１１】たとえば、行配列テーブルＴ₂において、
７行目には図２１に示す７文字連続した英数字／記号に
対応する「Ｓ１４」という行単位の文字種判別結果が、
９行目には、図２１に示す３文字連続した漢字に対応す
る「Ｋ３」という文字種判定結果がそれぞれ登録されて
いる。また、行配列テーブルＴ₂において、１３行目に
は図２１に示す４文字連続した漢字に対応する「Ｋ４」
という文字種判定結果が、１５行目および１６行目に
は、１２および８文字連続したひらがな／カタカナに対
応する「Ｈ１２」および「Ｈ８」という文字種判定結果
がそれぞれ登録されている。

【０１１２】さらに、行配列テーブルＴ₂において、１
８行目〜２３行目には、図２１に示す４４文字連続した
英数字／記号に対応する「Ｓ４４」という文字種判定結
果がそれぞれ登録されている。そして、行単位文字種判
定部１０４は、ステップＳＡ３０における行単位の文字
種判定処理を終えると、その旨を表すデータをブロック
単位文字種判定部１０５出力する。

【０１１３】これにより、ブロック単位文字種判定部１
０５は、ステップＳＡ４０へ進み、文書ファイルＦ₁か
ら得られる文書に対して、ブロック単位の文字種判定処
理を実行する。以下、このブロック単位の文字種判定処
理について、図７に示すフローチャートを参照して詳細
に説明する。同図に示すステップＳＡ４１では、ブロッ
ク単位文字種判定部１０５は、図６に示す行配列テーブ
ルＴ₂を記憶部１０１から読み込んだ後、ステップＳＡ
４２へ進む。

【０１１４】ステップＳＡ４２では、ブロック単位文字
種判定部１０５は、図６に示す行配列テーブルＴ₂にお
ける各行の最長文字種／文字列長（行単位の文字種判定
結果）を図８に示すブロック文字種判定条件に当てはめ
た後、ステップＳＡ４３へ進み当該条件における対応を
とる。ここで、図８に示すように、ブロック文字種判定
条件は、（文字種判定条件１）〜（文字種判定条件７）
という都合７つからなり、対応は、上記（文字種判定条
件１）〜（文字種判定条件７）に応じた（対応１）〜
（対応７）という都合７つからなる。

【０１１５】具体的には、（文字種判定条件１）は、行
配列テーブルＴ₂において最長文字種として英数字／記
号Ｓまたは漢字Ｋが２行以降連続する場合であり、この
（対応１）としては、図９に示すブロックテーブルＴ₃
における英数字／記号Ｓまたは漢字Ｋの項にブロックの
先頭行および最終行を登録する。

【０１１６】また、（文字種判定条件２）は、行配列テ
ーブルＴ₂において最長文字種としてひらがな／カタカ
ナＨが１行以降連続する場合であり、この（対応２）と
しては、図９に示すブロックテーブルＴ₃におけるひら
がな／カタカナＨの項にブロックの先頭行および最終行
を登録する。

【０１１７】また、（文字種判定条件３）は、行配列テ
ーブルＴ₂において最初の行が英数字／記号Ｓまたは漢
字Ｋであって、かつその行以降の行において、ひらがな
／カタカナＨが２行以上連続する場合であり、この（対
応３）としては、図９に示すブロックテーブルＴ₃にお
けるひらがな／カタカナＨの項にブロックの先頭行およ
び最終行を登録する。

【０１１８】また、（文字種判定条件４）は、行配列テ
ーブルＴ₂において英数字／記号Ｓまたは漢字Ｋが１行
のみであって、かつ当該行の前後の行が共にひらがな／
カタカナＨである場合であり、この（対応４）として
は、図９に示すブロックテーブルＴ₃におけるひらがな
／カタカナＨの項に連続するブロックの先頭行および最
終行を登録する。

【０１１９】また、（文字種判定条件５）は、行配列テ
ーブルＴ₂において英数字／記号Ｓまたは漢字Ｋが１行
のみであって、かつ当該行の前後の行が共に制御文字Ｃ
である場合であり、この（対応５）としては、当該英数
字／記号Ｓまたは漢字Ｋと、当該行に隣接する隣接行の
最長文字種とが同一ならば、図９に示すブロックテーブ
ルＴ₃における隣接行の文字種の項に英数字／記号Ｓま
たは漢字Ｋを登録する。

【０１２０】さらに、（文字種判定条件６）は、行配列
テーブルＴ₂において英数字／記号Ｓまたは漢字Ｋが１
行のみであって、かつ上述した（条件４）および（条件
５）を満たさない場合であり、この（対応６）として
は、ブロックテーブルＴ₃における英数字／記号Ｓまた
は漢字Ｋの項に当該行を登録する。

【０１２１】加えて、（文字種判定条件７）は、行配列
テーブルＴ₂において制御文字Ｃがある場合であり、こ
の（対応７）としては、ブロックテーブルＴ₃における
制御文字Ｃの項に当該行、または制御文字Ｃが連続する
ときそのブロックの先頭行および最終行を登録する。

【０１２２】なお、行配列テーブルＴ₂において、上述
した（文字種判定条件１）〜（文字種判定条件７）に当
てはまらない行が存在した場合には、対応として、ブロ
ックテーブルＴ₃における不明の項に当該行を登録す
る。

【０１２３】そして、ブロック単位文字種判定部１０５
は、ステップＳＡ４４へ進み、行配列テーブルＴ₂にお
ける最終行（２５行目）まで読み込んだか否かを判断
し、同判断結果が「ＮＯ」の場合、ステップＳＡ４１へ
戻り、上述した工程を繰り返す。そして、ここで、行配
列テーブルＴ₂における最終行（２５行目）まで読み込
みが完了したものとすると、ブロック単位文字種判定部
１０５は、ステップＳＡ４４の判断結果を「ＹＥＳ」と
して、ステップＳＡ４０へ戻る。

【０１２４】この時点においては、図９に示すブロック
テーブルＴ₃において、ひらがな／カタカナＨの項に
は、上述した（文字種判定条件２）の（対応２）として
図６に示す１５行目および１６行目（図２１参照）が登
録されている。この１６行目および１７行目は、図２１
に示すようにひらがな／カタカナのブロックＢＬ₃とさ
れている。

【０１２５】同様にして、図９に示すブロックテーブル
Ｔ₃において、漢字Ｋの項には、上述した（文字種判定
条件５）および（文字種判定条件１）の（対応１）およ
び（対応５）として図６に示す９行目および１１行目〜
１３行目（図２１参照）が登録されている。この９行目
および１１行目〜１３行目は、図２１に示すように漢字
ＫのブロックＢＬ₂とされている。

【０１２６】また、図９に示すブロックテーブルＴ₃に
おいて、英数字／記号Ｓの項には、上述した（文字種判
定条件１）の（対応１）として図６に示す１行目〜７行
目および１８行目〜２３行目（図２１参照）が登録され
ている。この１行目〜７行目および１８行目〜２３行目
は、図２１に示すようにブロックＢＬ₁およびブロック
ＢＬ₄とされている。

【０１２７】すなわち、ブロックテーブルＴ₃により、
図２１に示す文書ファイルＦ₁は、英数字／記号の文書
からなるブロックＢＬ₁、漢字の文書からなるブロック
ＢＬ ₂、ひらがな／カタカナの文書からなるブロックＢ
Ｌ₃、および英数字／記号の文書からなるブロックＢＬ
₄という具合にブロック化されたのである。

【０１２８】さらに、図９に示すブロックテーブルＴ₃
において、制御文字Ｃの項には、上述した（文字種判定
条件７）の（対応７）として図６に示す８行目、１０行
目、１４行目、１７行目、２４行目および２５行目が登
録されている。そして、ブロック単位文字種判定部１０
５は、ステップＳＡ４０におけるブロック単位の文字種
判定処理を終えると、その旨を表すデータを出力部１０
７へ出力する。

【０１２９】これにより、出力部１０７は、ステップＳ
Ａ５０へ進み、文字種入力部１０６より予め入力されて
いる文字種指定データに基づいて、出力すべきブロック
の文字種を設定する。この場合、文字種指定データによ
りひらがな／カタカナＨが指定されていたものとする
と、出力部１０７は、上記ひらがな／カタカナＨを設定
した後、ステップＳＡ６０へ進む。

【０１３０】ステップＳＡ６０では、出力部１０７は、
ブロックテーブルＴ₃を参照して、図２１に示す文書フ
ァイルＦ₁において、ステップＳＡ５０で設定されたひ
らがな／カタカナＨに対応するブロックとして、ブロッ
クＢＬ₃を抽出する。このブロックＢＬ₃の文書は、日
本語の文書解析における可読文書である。ついで、出力
部１０７は、上記ブロックＢＬ₃に対応する文書ブロッ
クデータＤ₁を図示しない形態素解析部へ出力した後、
一連の処理を終了させる。

【０１３１】これにより、上記形態素解析部において
は、ノイズ文書（非可読文書）を含まない、可読文書の
ブロックＢＬ₃（ひらがな／カタカナ：日本語）のみに
対して形態素解析を実行する。

【０１３２】なお、ステップＳＡ５０において、英数字
／記号Ｓが設定された場合には、出力部１０７は、ブロ
ックテーブルＴ₃を参照して、図２１に示す文書ファイ
ルＦ ₁において、設定済みの英数字／記号Ｓに対応する
ブロックとして、ブロックＢＬ₁およびブロックＢＬ₄
を選択した後、これらのブロックＢＬ₁およびブロック
ＢＬ₄に対応する文書ブロックデータＤ₁を図示しない
形態素解析部へ出力する。

【０１３３】さらに、ステップＳＡ５０において、漢字
Ｋが設定された場合には、出力部１０７は、ブロックテ
ーブルＴ₃を参照して、図２１に示す文書ファイルＦ₁
において、設定済みの漢字Ｋに対応するブロックとし
て、ブロックＢＬ₂を選択した後、このブロックＢＬ₂
に対応する文書ブロックデータＤ₁を図示しない形態素
解析部へ出力する。

【０１３４】以上説明したように、上述した実施の形態
１による文書解析装置１００によれば、行単位文字種判
定部１０４により１つの文書ファイル（文書ファイルＦ
₁）において１行単位で文字種の連続性から文字種を判
別して、この判別結果を表す行配列テーブルＴ₂（図６
参照）を生成している。

【０１３５】さらに、上述した実施の形態１による文書
解析装置１００によれば、上記行配列テーブルＴ₂を参
照して、この行配列テーブルＴ₂において図８に示す
（文字種判別条件１）〜（文字種判別条件７）のいずれ
かに該当するものを１ブロックとし、かつこのブロック
の文字種を判別しているので、１つの文書ファイルにお
いて可読文書のブロックと、非可読文書のブロックとい
う具合にブロック単位で可読文書であるか非可読文書で
あるかを容易に判別することができる。

【０１３６】したがって、上述した実施の形態１による
文書解析装置１００によれば、１つの文書ファイルから
非可読文書のブロックが排除され、可読文書のブロック
が抽出されることにより、この可読文書のみのブロック
を用いて文書解析が可能となるので、ノイズ文書（非可
読文書）を含む文書ファイルであっても、高い精度で文
書解析を行うことができる。

【０１３７】また、上述した実施の形態１による文書解
析装置１００によれば、文字種の連続性に着目して、１
行単位、ブロック単位の文字種の判別を行うように構成
したので、従来のような辞書や大がかりな言語モデルを
用いることなく、文書種の判別を容易に行うことができ
る。

【０１３８】（実施の形態２）図１０は、本発明の実施
の形態２による文書解析装置２００の構成を示すブロッ
ク図である。この図において、図１の各部に対応する部
分には同一の符号を付けてその説明を省略する。図１０
においては、図１に示す文字種入力部１０６および出力
部１０７に代えて、言語判定部２０１、言語種入力部２
０２、出力部２０３、日本語形態素解析部２０４、英語
形態素解析部２０５、中国語形態素解析部２０６および
インデックス生成部２０７が設けられている。

【０１３９】図１０に示す言語判定部２０１は、記憶部
１０１に記憶された、文書ファイルＦ₁〜文書ファイル
Ｆ₃にそれぞれ対応するブロックテーブルＴ₃（図９参
照）と、つぎの言語判定条件とから当該文書ファイルの
言語種を判定する。具体的には、言語判定部２０１は、
ブロックテーブルＴ₃（図９参照）においてひらがな／
カタカナＨの項のみに行が登録されている場合、当該文
書ファイルの言語種を日本語と判定する。

【０１４０】同様にして、言語判定部２０１は、ブロッ
クテーブルＴ₃において英数字／記号Ｓの項のみに行が
登録されている場合、当該文書ファイルの言語種を英語
と判定する。さらに、言語判定部２０１は、ブロックテ
ーブルＴ₃において漢字Ｋ（および英数字／記号Ｓ）の
項のみに行が登録されている場合、当該文書ファイルの
言語種を中国語と判定する。

【０１４１】また、言語判定部２０１においては、ファ
イル単位に代えてブロック単位で言語種を判定するよう
にしてもよい。この場合、言語判定部２０１は、ファイ
ル単位の場合と同様にして、当該ブロックがひらがな／
カタカナＨの行のみからなるとき、当該ブロックの言語
種を日本語と判定する。

【０１４２】同様にして、言語判定部２０１は、当該ブ
ロックが英数字／記号Ｓの行のみからなるとき、当該ブ
ロックの言語種を英語と判定する。さらに、言語判定部
２０１は、当該ブロックが漢字Ｋ（および英数字／記号
Ｓ）の行のみからなるとき、当該ブロックの言語種を中
国語と判定する。以下の説明においては、ブロック毎の
言語種判定の場合について詳述する。

【０１４３】言語種入力部２０２は、上述した日本語、
英語、中国語のうちのうち、ユーザが文書解析時に必要
とされる言語種を指定するための言語種指定データを入
力するときに用いられるものである。出力部２０３は、
上記言語種入力部２０２より入力された言語種指定デー
タにより指定される言語種の文書を上述したブロック単
位（またはファイル単位）で、日本語文書ブロックデー
タＤ_J、英語文書ブロックデータＤ_Eおよび中国語文書
ブロックデータＤ_Cとしてそれぞれ出力する。日本語形
態素解析部２０４は、出力部２０３より入力される日本
語文書ブロックデータＤ_Jに対して日本語の形態素解析
を行い、解析結果を記憶部１０１に記憶させる。英語形
態素解析部２０５は、出力部２０３より入力される英語
文書ブロックデータＤ_Eに対して英語の形態素解析を行
い、解析結果を記憶部１０１に記憶させる。

【０１４４】また、中国語形態素解析部２０６は、出力
部２０３より入力される中国語文書ブロックデータＤ_C
に対して中国語の形態素解析を行い、解析結果を記憶部
１０１に記憶させる。インデックス生成部２０７は、記
憶部１０１に記憶された言語種毎の形態素解析結果から
検索用のインデックスを生成して、このインデックスデ
ータを記憶部１０１に記憶させる。

【０１４５】つぎに、上述した実施の形態２による文書
解析装置２００の動作について、図１１に示すフローチ
ャートを参照して説明する。なお、図１１に示すステッ
プＳＢ１０、ステップＳＢ２０、ステップＳＢ３０およ
びステップＳＢ４０の各工程は、前述した図２に示すス
テップＳＡ１０、ステップＳＡ２０、ステップＳＡ３０
およびステップＳＡ４０の各工程と同一であるためその
説明を省略する。

【０１４６】したがって、この場合、図２１に示すよう
に文書ファイルＦ₁がブロックＢＬ ₁〜ブロックＢＬ₄
にブロック化されているものとする。この状態で、図１
１に示すステップＳＢ５０においては、図１０に示す言
語判定部２０１は、上述したブロック単位の言語種判定
条件を満たすか否かにより当該ブロックの言語種を判定
し、出力部２０３は、言語種入力部２０２により予め入
力された言語種指定データに基づいて出力すべきデータ
の言語種を設定する。

【０１４７】具体的には、言語判定部２０１は、図２１
に示すブロックＢＬ₁およびブロックＢＬ₄の言語種と
して、英数字／記号Ｓの行のみからなるため、英語と判
定する。また、言語判定部２０１は、同図に示すブロッ
クＢＬ₂の言語種として、漢字Ｋの行のみからなるめ、
中国語と判定する。同様にして、言語判定部２０１は、
同図に示すブロックＢＬ₃の言語種として、ひらがな／
カタカナＨの行のみからなるため、日本語と判定する。

【０１４８】続いて、出力部２０３は、上述した言語種
指定データにより指定された言語種（たとえば、日本
語）を設定した後、ステップＳＢ６０へ進む。ステップ
ＳＢ６０では、出力部２０３は、指定された言語種が日
本語であるか否かを判断し、この場合、判断結果を「Ｙ
ＥＳ」としてステップＳＢ７０へ進む。

【０１４９】ステップＳＢ７０では、出力部２０３は、
図２１に示す文書ファイルＦ₁における日本語のブロッ
クＢＬ₃を日本語文書ブロックデータＤ_Jとして日本語
形態素解析部２０４へ出力する。これにより、日本語形
態素解析部２０４においては、日本語文書ブロックデー
タＤ_Jに対して日本語の形態素解析が行われた後、この
形態素解析結果は、記憶部１０１に記憶される。そし
て、さらに、インデックス生成部２０７は、上記日本語
の形態素解析結果に基づいて、インデックスを生成した
後、これを記憶部１０１に記憶させる。

【０１５０】また、上述した言語種指定データにより指
定された言語種が英語である場合、出力部２０３は、ス
テップＳＢ６０の判断結果を「ＮＯ」として、ステップ
ＳＢ８０へ進む。ステップＳＢ８０では、出力部２０３
は、指定された言語種が英語であるか否かを判断し、こ
の場合、判断結果を「ＹＥＳ」としてステップＳＢ９０
へ進む。

【０１５１】ステップＳＢ９０では、出力部２０３は、
図２１に示す文書ファイルＦ₁における英語のブロック
ＢＬ₁およびブロックＢＬ₄を英語文書ブロックデータ
Ｄ_Eとして英語形態素解析部２０５へ出力する。これに
より、英語形態素解析部２０５においては、日本語形態
素解析部２０４と同様にして、英語文書ブロックデータ
Ｄ_Eに対して英語の形態素解析が行われた後、この形態
素解析結果は、記憶部１０１に記憶される。そして、さ
らに、インデックス生成部２０７は、上記英語の形態素
解析結果に基づいて、インデックスを生成した後、これ
を記憶部１０１に記憶させる。

【０１５２】さらに、上述した言語種指定データにより
指定された言語種が中国語である場合、出力部２０３
は、ステップＳＢ６０およびＳＢ８０の各判断結果を共
に「ＮＯ」とした後、ステップＳＢ１００へ進む。ステ
ップＳＢ１００では、出力部２０３は、指定された言語
種が中国語であるか否かを判断し、この場合、判断結果
を「ＹＥＳ」としてステップＳＢ１１０へ進む。

【０１５３】ステップＳＢ１１０では、出力部２０３
は、図２１に示す文書ファイルＦ₁における中国語のブ
ロックＢＬ₂を中国語文書ブロックデータＤ_Cとして中
国語形態素解析部２０６へ出力する。これにより、中国
語形態素解析部２０６においては、日本語形態素解析部
２０４と同様にして、中国語文書ブロックデータＤ_Cに
対して中国語の形態素解析が行われた後、この形態素解
析結果は、記憶部１０１に記憶される。そして、さら
に、インデックス生成部２０７は、上記中国語の形態素
解析結果に基づいて、インデックスを生成した後、これ
を記憶部１０１に記憶させる。

【０１５４】以上説明したように、上述した実施の形態
２による文書解析装置２００によれば、１行単位で文字
種の連続性から文字種を判別して、この判別結果に基づ
いて文書ファイル（文書ファイルＦ₁等）またはブロッ
ク単位で言語を判別しているので、従来のような辞書ま
たは大がかりな言語モデルを用いることなく、文字種の
連続性のみから容易に文書の言語をブロック単位（また
はファイル単位）で判別することができる。

【０１５５】（実施の形態３）図１２は本発明の実施の
形態３による文書解析装置３００の構成を示すブロック
図である。この図において、図１の各部に対応する部分
には同一の符号を付けその説明を省略する。図１２にお
いては、図１に示す文字種入力部１０６および出力部１
０７に代えて行単位文字種・文字列長判定部３０１、機
能判定部３０２および出力部３０３が設けられている。
また、文書解析装置３００の記憶部１０１には、後述す
る行配列テーブルＴ₄（図１６参照）が記憶されてい
る。

【０１５６】ここで、以下に説明する実施の形態３にお
いては、文書ファイルＦ₂として図１３に示すものが文
書ファイル収集部１０２に読み込まれたものとして、こ
の文書ファイルＦ₂に基づいて説明する。

【０１５７】図１３に示す文書ファイルＦ₂は、ブロッ
クＢＬ₁〜ＢＬ₇という都合７ブロックから構成されて
いる。ここで、ブロックＢＬ₁〜ブロックＢＬ₄および
ブロックＢＬ₆は、ひらがな／カタカナの文字からなる
ブロックであり、ブロックＢＬ₅およびブロックＢＬ₇
は、英数字／記号の文字からなるブロックである。

【０１５８】図１２に示す行単位文字種・文字列長判定
部３０１は、図１３に示す文書ファイルＦ₂における行
単位の文字種および文字列長を判定して、図１６に示す
行配列テーブルＴ₄に上記文字種および文字列長を登録
する。

【０１５９】また、機能判定部３０２は、上記行配列テ
ーブルＴ₄ならびに図１８に示すブロック機能判定条件
および機能判定結果に基づいて、文書ファイルＦ₂にお
ける行毎の機能を判定する。ここで、上記機能には、文
書全体、章または節の「タイトル」機能、「引用」機
能、「罫線」機能および当該ブロックがコード化された
「添付ファイル」機能という都合４種類の機能がある。
具体的には、機能判定部３０２は、図１８に示すよう
に、文書ファイルＦ₂におけるブロックの先頭行が以降
の行よりも極端に短い場合（機能判定条件１）、（機能
判定結果１）として当該先頭行が、文書全体、章または
節の「タイトル」機能を有していると判定する。

【０１６０】また、機能判定部３０２は、同図に示すよ
うに文書ファイルＦ₂において先頭部分の文字種および
文字コードが等しい行が２行以上連続している場合（機
能判定条件２）、（機能判定結果２）として、当該行が
「引用」機能を有していると判定する。さらに、機能判
定部３０２は、同図に示すように文書ファイルＦ₂にお
いて１行の文字列長と英数字／記号Ｓの連続長とが等し
い場合（機能判定条件３）、（機能判定結果３）とし
て、当該行が「罫線」機能を有していると判定する。

【０１６１】加えて、機能判定部３０２は、同図に示す
ように文書ファイルＦ₂において英数字／記号Ｓからな
るブロックにおいてすべての行の長さが同一である場
合、（機能判定条件４）、（機能判定結果４）として、
当該ブロックがコード化された「添付ファイル」機能を
有していると判定する。図１２に戻り、出力部３０３
は、機能判定部３０２の判定結果を機能判定データＤ₂
として出力する。

【０１６２】つぎに、上述した実施の形態３による文書
解析装置３００の動作について、図１４および図１５に
示すフローチャートを参照して説明する。なお、図１４
に示すステップＳＣ１０、ステップＳＣ２０、ステップ
ＳＣ３０およびステップＳＣ４０の各工程は、前述した
図２に示すステップＳＡ１０、ステップＳＡ２０、ステ
ップＳＡ３０およびステップＳＡ４０の各工程と同一で
あるためその説明を省略する。

【０１６３】したがって、この場合、図１３に示すよう
に文書ファイルＦ₂がブロックＢＬ ₁〜ブロックＢＬ₇
のブロック化されているものとし、かつ、図１７に示す
ブロックテーブルＴ₃には、ひらがな／カタカナＨの項
に１行、３行〜７行、９行、１２行および１３行（図１
３参照）が登録されており、英数字／記号Ｓの項に１１
行および１４行（図１３参照）が登録されているものと
する。さらに、同図に示すブロックテーブルＴ₃の制御
文字Ｃの項には、２行、８行および１０行（図１３参
照）が登録されているものとする。

【０１６４】この状態において、図１４に示すステップ
ＳＣ５０では、図１２に示す行単位文字種・文字列長判
定部３０１は、文書ファイルＦ₂（図１３参照）におけ
る行単位の文字種および文字長判定処理を行う。ここ
で、この行単位の文字種および文字列長判定処理につい
て図１５に示すフローチャートを参照しつつ説明する。

【０１６５】図１５に示すステップＳＣ５１では、行単
位文字種・文字列長判定部３０１は、図１３に示す文書
ファイルＦ₂の１行目に対応する文字配列（「先日の
件」）を、前述した文字配列テーブルＴ₁から読み出し
た後、ステップＳＣ５２へ進む。ここで、文字配列テー
ブルＴ₁の１行目には、上記文字配列（「先日の件」）
に対応するＨＫＫＨＫＨという先頭文字（「）から末文
字（」）までの文字種判定結果が登録されている。

【０１６６】ステップＳＣ５２では、行単位文字種・文
字列長判定部３０１は、当該文字配列（「先日の件」：
ＨＫＫＨＫＨ）を先頭文字から末文字まで調べて、連続
する文字種と文字列長とを求めた後、ステップＳＣ５３
へ進む。この場合、行単位文字種・文字列長判定部３０
１は、「先日の件」が、ひらがな／カタカナＨ＝１文
字、漢字Ｋ＝２文字、ひらがな／カタカナＨ＝１文字、
漢字Ｋ＝１文字およびひらがな／カタカナＨ＝１文字か
ら構成されており、かつ１行の文字列長が６文字である
ことを認識した後、判定結果を「Ｈ１Ｋ２Ｈ１Ｋ１Ｈ
１」および（６）とする。

【０１６７】ステップＳＣ５３では、行単位文字種・文
字列長判定部３０１は、図１６に示す行配列テーブルＴ
₄における１行目の領域（文字種／文字列長）に「Ｈ１
Ｋ２Ｈ１Ｋ１Ｈ１」を、また領域（１行の文字列長）に
（６）をそれぞれ登録した後、ステップＳＣ５４へ進
む。

【０１６８】ステップＳＣ５４では、図１３に示す文書
ファイルＦ₂における最終行（１４行目）に対応する文
字配列（−−−−・・・・−−−−）まで文字配列テーブル
Ｔ₁から読み込んだか否かを判断し、この場合、文字配
列テーブルＴ₁における１行目の文字配列しか読み込ん
でいないため、判断結果を「ＮＯ」として、ステップＳ
Ｃ５１へ戻り、上述した工程を繰り返す。

【０１６９】すなわち、ステップＳＣ５１〜ステップＳ
Ｃ５３において、行単位文字種・文字列長判定部３０１
は、図１３に示す２行目以降の文字配列を文字配列テー
ブルＴ₁から順次読み出して、当該文字配列の文字種お
よび文字列長、ならびに１行の文字列長を判定した後、
この判定結果を図１６に示す行配列テーブルＴ₄に登録
する。

【０１７０】そして、ここで、図１３に示す最終行（１
４行目）の文字配列（−−−−・・・−−−−−）が文字
配列テーブルＴ₁から読み込まれたものとすると、行単
位文字種・文字列長判定部３０１は、ステップＳＣ５４
の判断結果を「ＹＥＳ」として、ステップＳＣ５０へ戻
る。

【０１７１】この時点において、図１６に示す行配列テ
ーブルＴ₄には、同図に示す文字種／文字列長および１
行の文字列長が行毎にそれぞれ登録されている。一例と
して、行配列テーブルＴ₄の３行目の領域には、図１３
に示す文書ファイルＦ₂における３行目の文字配列（先
日の旅行は本当に楽しかったですね。おかげで）に対応
する文字種／文字列長（Ｋ２Ｈ１Ｋ２Ｈ１Ｋ２Ｈ１Ｋ１
Ｈ１２）および１行の文字列長（２２）が登録されてい
る。

【０１７２】同様にして、行配列テーブルＴ₄の５行目
の領域には、図１３に示す文書ファイルＦ₂における５
行目の文字配列（＞いろいろありがとう。）に対応す
る文字種／文字列長（Ｓ１Ｃ１Ｈ１０）および１行の文
字列長（１２）が登録されている。

【０１７３】さらに、行配列テーブルＴ₄の１１行目お
よび１４行目の各領域には、図１３に示す文書ファイル
Ｆ₂における１１行目および１４行目の文字配列（−−
−−−・・・ −−−−−）に対応する文字種／文字列長
（Ｓ４０）および１行の文字列長（４０）がそれぞれ登
録されている。そして、行単位文字種・文字列長判定部
３０１は、ステップＳＣ５０における行単位の文字種お
よび文字列長判定処理を終えるとその旨を表すデータ
を機能判定部３０２へ出力する。

【０１７４】これにより、機能判定部３０２は、ステッ
プＳＣ６０へ進み、図１６に示す行配列テーブルＴ₄を
図１８に示すブロック機能判定条件に当てはめることに
より、機能判定結果を導き出す。

【０１７５】具体的には、機能判定部３０２は、図１６
に示す行配列テーブルＴ₄を参照して、図１３に示す文
書ファイルＦ₂におけるブロックＢＬ₁の先頭行（１行
目）の文字列長（６）が以降の行よりも極端に短いとい
う（機能判定条件１）を満たしているため、ブロックＢ
Ｌ₁の１行目が「タイトル」機能を有しているものと判
定する（機能判定結果１）。

【０１７６】ここで、上記極端に短いとは、図１６に示
す１行目の文字列長（６）と２行目以降の行の文字列長
の最小値（１２行目の（１０））との差がしきい値（た
とえば、３文字）以上であることをいう。

【０１７７】また、機能判定部３０２は、図１３に示す
文書ファイルＦ₂におけるブロックＢＬ₂の５行目およ
び６行目という２行の文字配列において、先頭部分の文
字種（英数字／記号Ｓ）および文字コード（＞）が共に
等しいという（機能判定条件２）を満たしているため、
上記５行目（＞いろいろありがとう。）および６行目
（＞また会える日を楽しみにしています。）が「引
用」機能を有しているものと判定する（機能判定結果
２）。

【０１７８】さらに、機能判定部３０２は、図１３に示
す文書ファイルＦ₂におけるブロックＢＬ₅の先頭行
（１１行目）およびブロックＢＬ₇の先頭行（１４行
目）が、各文字列長（４０）と、英数字／記号Ｓの連続
長（４０）とがそれぞれ等しいという（機能判定条件
３）を満たしているため、上記１１行目および１４行目
が「罫線」機能を有しているものと判定する（機能判定
結果３）。

【０１７９】なお、前述した図２１に示す１８行目から
２３行目（ブロックＢＬ₄）までは、図１８に示すよう
に英数字／記号ＳからなるブロックＢＬ₄においてすべ
ての行の長さ（４４文字）が同一であるという（機能判
定条件４）を満たすため、このブロックＢＬ₄は、コー
ド化された「添付ファイル」機能を有しているものと判
定される（機能判定結果４）。

【０１８０】そして、機能判定部３０２は、文書ファイ
ルＦ₂に対する機能判定を終えると、各判定結果を記憶
部１０１に記憶させた後、機能判定が終了した旨のデー
タを出力部３０３へ出力する。これにより、出力部３０
３は、上記機能判定結果を機能判定データＤ₂として出
力する。

【０１８１】以上説明したように、上述した実施の形態
３による文書解析装置３００によれば、１行単位で文字
種の連続性から文字種を判別して、この判別結果に基づ
いてブロック単位で文書の機能を判別しているので、従
来のような辞書または大がかりな言語モデルを用いるこ
となく、文字種の連続性のみから容易にブロック単位で
文書の機能を判別することができる。

【０１８２】以上、本発明の実施の形態１〜３による文
書解析装置について詳述してきたが、具体的な構成例
は、これらの実施の形態１〜３に限定されるものではな
く本発明の要旨を逸脱しない範囲の設計変更等があって
も本発明に含まれる。たとえば、上述した実施の形態１
〜３による文書解析装置においては、前述した文書デー
タの解析を実現するための文書解析プログラムを図１９
に示すコンピュータ読み取り可能な記録媒体５００に記
録して、この記録媒体５００に記録された文書解析プロ
グラムを同図に示すコンピュータ４００に読み込ませ、
実行することにより文書解析を実行するようにしてもよ
い。

【０１８３】図１９に示すコンピュータ４００は、上記
文書解析プログラムを実行するＣＰＵ（Central Proces
sing Unit ）４０１と、キーボード、マウス等の入力装
置４０２と、各種データを記憶するＲＯＭ（Read Only
Memory）４０３と、演算パラメータ等を記憶するＲＡＭ
（Random Access Memory）４０４と、記録媒体５００か
ら文書解析プログラムを読み取る読取装置４０５と、デ
ィスプレイ、プリンタ等の出力装置４０６と、装置各部
を接続するバスＢＵとから構成されている。

【０１８４】上記ＣＰＵ４０１は、読取装置４０５を経
由して記録媒体５００に記憶されている文書解析プログ
ラムを読み込んだ後、この文書解析プログラムを実行す
ることにより、前述した文書ファイルＦ₁等に対して各
種文書解析を行う。

【０１８５】また、記録媒体５００には、光ディスク、
フロッピーディスク、ハードディスク等の可搬型の記録
媒体が含まれることはもとより、ネットワークのように
データを一時的に記憶保持するような伝送媒体も含まれ
る。

【０１８６】

【発明の効果】以上説明したように、請求項１、７、１
３に記載の発明によれば、１ファイル単位の電子化文書
から非可読ブロックが排除された可読ブロックを用いて
文書解析が可能となるので、非可読ブロックを含む電子
化文書であっても高い精度で文書解析を行うことができ
るという効果を奏する。

【０１８７】また、請求項１、７、１３に記載の発明に
よれば、文字種の連続性に基づいてブロック単位の文字
種の判別が行われるので、従来のような辞書や大がかり
な言語モデルを用いることなく容易に文字種の判別をブ
ロック単位で行うことができるという効果を奏する。

【０１８８】また、請求項２、８、１４に記載の発明に
よれば、１ファイル単位の電子化文書から非可読ブロッ
クが排除された可読ブロックを用いて文書解析が可能と
なるので、非可読ブロックを含む電子化文書であっても
高い精度で文書解析を行うことができるという効果を奏
する。

【０１８９】また、請求項２、８、１４に記載の発明に
よれば、文字種の連続性に基づいてブロック単位の文字
種の判別が行われるので、従来のような辞書や大がかり
な言語モデルを用いることなく容易に文字種の判別をブ
ロック単位で行うことができるという効果を奏する。

【０１９０】また、請求項３、９、１５に記載の発明に
よれば、１ファイル単位の電子化文書から非可読ブロッ
クが排除された可読ブロックを用いて文書解析が可能と
なるので、非可読ブロックを含む電子化文書であっても
高い精度で文書解析を行うことができるという効果を奏
する。

【０１９１】また、請求項３、９、１５に記載の発明に
よれば、文字種の連続性に基づいてブロック単位の文字
種の判別が行われるので、従来のような辞書や大がかり
な言語モデルを用いることなく容易に文字種の判別をブ
ロック単位で行うことができるという効果を奏する。

【０１９２】また、請求項４、１０、１６に記載の発明
によれば、テーブル、すなわち文字種の連続性に基づい
て、ブロック単位で言語種を判別しているので、従来の
ような辞書や大がかりな言語モデルを用いることなく容
易に言語種の判別をブロック単位で行うことができると
いう効果を奏する。

【０１９３】この請求項５、１１、１７に記載の発明に
よれば、出力手段から形態素解析手段へ言語種判定手段
により判定された言語種のブロックが出力されると、形
態素解析手段によりその言語種に適合した形態素解析が
行われる。

【０１９４】このように請求項５、１１、１７に記載の
発明によれば、１ファイル単位の電子化文書から非可読
ブロックが排除された可読ブロックを用いて、しかも当
該言語種に適合した形態素解析が可能となるので、非可
読ブロックを含む電子化文書であってもさらに高い精度
で文書解析を行うことができるという効果を奏する。

【０１９５】また、請求項６、１２、１８に記載の発明
によれば、文字種の連続性に基づいてブロック単位の文
字種の判別を行った後にこの判別結果に基づいてブロッ
クの機能を判別しているので、従来のような辞書や大が
かりな言語モデルを用いることなく容易に機能の判別を
ブロック単位で行うことができるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の実施の形態１による文書解析装置１０
０の構成を示すブロック図である。

【図２】同実施の形態１による文書解析装置１００の動
作を説明するフローチャートである。

【図３】同実施の形態１による文書解析装置１００にお
ける文字単位の文字種判定処理を説明するフローチャー
トである。

【図４】同実施の形態１による文書解析装置１００にお
ける文字配列テーブルＴ₁を示す図である。

【図５】同実施の形態１による文書解析装置１００にお
ける行単位の文字種判定処理を説明するフローチャート
である。

【図６】同実施の形態１による文書解析装置１００にお
ける行配列テーブルＴ₂を示す図である。

【図７】同実施の形態１による文書解析装置１００にお
けるブロック単位の文字種判定処理を説明するフローチ
ャートである。

【図８】同実施の形態１による文書解析装置１００にお
けるブロック文字種判定条件およびその対応を示す図で
ある。

【図９】同実施の形態１による文書解析装置１００にお
けるブロックテーブルＴ₃を示す図である。

【図１０】同実施の形態２による文書解析装置２００の
構成を示すブロック図である。

【図１１】同実施の形態２による文書解析装置２００の
動作を説明するフローチャートである。

【図１２】同実施の形態３による文書解析装置３００の
構成を示すブロック図である。

【図１３】文書ファイルＦ₂を示す図である。

【図１４】同実施の形態３による文書解析装置３００の
動作を説明するフローチャートである。

【図１５】同実施の形態３による文書解析装置３００に
おける行単位の文字種および文字列長判定処理を説明す
るフローチャートである。

【図１６】同実施の形態３による文書解析装置３００に
おける行配列テーブルＴ₄を示す図である。

【図１７】同実施の形態３による文書解析装置３００に
おけるブロックテーブルＴ₃を示す図である。

【図１８】同実施の形態３による文書解析装置３００に
おけるブロック機能判定条件および機能判定結果を示す
図である。

【図１９】同実施の形態１〜３の変形例を示すブロック
図である。

【図２０】従来における文書解析装置１の構成を示すブ
ロック図である。

【図２１】文書ファイルＦ₁を示す図である。

【符号の説明】

１００文書解析装置１０１記憶部１０２文書ファイル収集部１０３文字単位文字種判定部１０４行単位文字種判定部１０５ブロック単位文字種判定部１０６文字種入力部１０７出力部２００文書解析装置２０１言語判定部２０２言語種入力部２０３出力部２０４日本語形態素解析部２０５英語形態素解析部２０６中国語形態素解析部２０７インデックス生成部３００文書解析装置３０１行単位文字種・文字列長判定部３０２機能判定部３０３出力部４００コンピュータ４０１ＣＰＵ４０５読取装置５００記録媒体

Claims

【特許請求の範囲】

【請求項１】複数行からなる１ファイル単位の電子化
文書に対して、各行毎に文字種の連続性に基づいて行の
文字種を判定して、各行と該各行に対応する文字種との
関係を表すテーブルを生成する行単位文字種判定手段
と、前記テーブルを参照して、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
するブロック化手段と、前記ブロック化手段によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定するブロック単
位文字種判定手段と、前記各ブロックにおいて、非可読な文字種の当該ブロッ
クを抽出する抽出手段と、を備えることを特徴とする文書解析装置。
【請求項２】複数行からなる１ファイル単位の電子化
文書に対して、各行毎に文字種の連続性に基づいて行の
文字種を判定して、各行と該各行に対応する文字種との
関係を表すテーブルを生成する行単位文字種判定手段
と、前記テーブルを参照して、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
するブロック化手段と、前記ブロック化手段によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定するブロック単
位文字種判定手段と、前記各ブロックにおいて、非可読な文字種の当該ブロッ
クを判定する非可読判定手段と、前記各ブロックの中から、前記非可読判定手段により判
定されたブロック以外のブロックを可読ブロックとして
抽出する抽出手段と、を備えることを特徴とする文書解析装置。
【請求項３】複数行からなる１ファイル単位の電子化
文書に対して、各行毎に文字種の連続性に基づいて行の
文字種を判定して、各行と該各行に対応する文字種との
関係を表すテーブルを生成する行単位文字種判定手段
と、前記テーブルを参照して、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
するブロック化手段と、前記ブロック化手段によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定するブロック単
位文字種判定手段と、文字種を指定する文字種指定手段と、前記各ブロックの中から、前記文字種指定手段により指
定された文字種のブロックを抽出する抽出手段と、を備えることを特徴とする文書解析装置。
【請求項４】複数行からなる１ファイル単位の電子化
文書に対して、各行毎に文字種の連続性に基づいて行の
文字種を判定して、各行と該各行に対応する文字種との
関係を表すテーブルを生成する行単位文字種判定手段
と、前記テーブルを参照して、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
するブロック化手段と、前記ブロック化手段によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定するブロック単
位文字種判定手段と、前記テーブルに基づいて、前記各ブロック毎に記述され
ている言語種を判定する言語種判定手段と、を備えることを特徴とする文書解析装置。
【請求項５】複数種の言語にそれぞれ対応して設けら
れ、前記複数種の言語の文書に対して形態素解析をそれ
ぞれ行う複数の形態素解析手段と、前記言語種判定手段により判定された前記言語種のブロ
ックのデータを、当該言語種に対応する前記形態素解析
手段へ出力する出力手段と、を備えることを特徴とする請求項４に記載の文書解析装
置。
【請求項６】複数行からなる１ファイル単位の電子化
文書に対して、各行毎に文字種の連続性に基づいて行の
文字種を判定して、各行と該各行に対応する文字種との
関係を表すテーブルを生成する行単位文字種判定手段
と、前記テーブルを参照して、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
するブロック化手段と、前記ブロック化手段によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定するブロック単
位文字種判定手段と、前記テーブルに基づいて、前記各ブロックにおける機能
を判定する機能判定手段と、を備えることを特徴とする文書解析装置。
【請求項７】複数行からなる１ファイル単位の電子化
文書に対して、各行毎に文字種の連続性に基づいて行の
文字種を判定して、各行と該各行に対応する文字種との
関係を表すテーブルを生成する行単位文字種判定工程
と、前記テーブルを参照して、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
するブロック化工程と、前記ブロック化工程によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定するブロック単
位文字種判定工程と、前記各ブロックにおいて、非可読な文字種の当該ブロッ
クを抽出させる抽出工程と、を含むことを特徴とする文書解析方法。
【請求項８】複数行からなる１ファイル単位の電子化
文書に対して、各行毎に文字種の連続性に基づいて行の
文字種を判定して、各行と該各行に対応する文字種との
関係を表すテーブルを生成する行単位文字種判定工程
と、前記テーブルを参照して、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
するブロック化工程と、前記ブロック化工程によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定するブロック単
位文字種判定工程と、前記各ブロックにおいて、非可読な文字種の当該ブロッ
クを判定させる非可読判定工程と、前記各ブロックの中から、前記非可読判定工程により判
定されたブロック以外のブロックを可読ブロックとして
抽出させる抽出工程と、を含むことを特徴とする文書解析方法。
【請求項９】複数行からなる１ファイル単位の電子化
文書に対して、各行毎に文字種の連続性に基づいて行の
文字種を判定し、各行と該各行に対応する文字種との関
係を表すテーブルを生成させる行単位文字種判定工程
と、前記テーブルを参照して、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
するブロック化工程と、前記ブロック化工程によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定するブロック単
位文字種判定工程と、文字種を指定する文字種指定工程と、前記各ブロックの中から、前記文字種指定工程により指
定された文字種のブロックを抽出する抽出工程と、を含むことを特徴とする文書解析方法。
【請求項１０】複数行からなる１ファイル単位の電子
化文書に対して、各行毎に文字種の連続性に基づいて行
の文字種を判定して、各行と該各行に対応する文字種と
の関係を表すテーブルを生成する行単位文字種判定工程
と、前記テーブルを参照して、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
するブロック化工程と、前記ブロック化工程によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定するブロック単
位文字種判定工程と、前記テーブルに基づいて、前記各ブロック毎に記述され
ている言語種を判定する言語種判定工程と、を含むことを特徴とする文書解析方法。
【請求項１１】前記言語種判定工程により判定された
前記言語種のブロックのデータに基づいて、当該ブロッ
クに対して当該言語種に適した形態素解析を行わせる形
態素解析工程とを含むことを特徴とする請求項１０に記
載の文書解析方法。
【請求項１２】複数行からなる１ファイル単位の電子
化文書に対して、各行毎に文字種の連続性に基づいて行
の文字種を判定して、各行と該各行に対応する文字種と
の関係を表すテーブルを生成する行単位文字種判定工程
と、前記テーブルを参照して、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
するブロック化工程と、前記ブロック化工程によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定するブロック単
位文字種判定工程と、前記テーブルに基づいて、前記各ブロックにおける機能
を判定する機能判定工程と、を含むことを特徴とする文書解析方法。
【請求項１３】複数行からなる１ファイル単位の電子
化文書に対して、各行毎に文字種の連続性に基づいて行
の文字種を判定させ、各行と該各行に対応する文字種と
の関係を表すテーブルを生成させる行単位文字種判定工
程と、前記テーブルを参照させ、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
させるブロック化工程と、前記ブロック化工程によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定させるブロック
単位文字種判定工程と、前記各ブロックにおいて、非可読な文字種の当該ブロッ
クを抽出させる抽出工程と、をコンピュータに実行させるための文書解析プログラム
を記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】複数行からなる１ファイル単位の電子
化文書に対して、各行毎に文字種の連続性に基づいて行
の文字種を判定させ、各行と該各行に対応する文字種と
の関係を表すテーブルを生成させる行単位文字種判定工
程と、前記テーブルを参照させ、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
させるブロック化工程と、前記ブロック化工程によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定させるブロック
単位文字種判定工程と、前記各ブロックにおいて、非可読な文字種の当該ブロッ
クを判定させる非可読判定工程と、前記各ブロックの中から、前記非可読判定工程により判
定されたブロック以外のブロックを可読ブロックとして
抽出させる抽出工程と、をコンピュータに実行させるための文書解析プログラム
を記録したコンピュータ読み取り可能な記録媒体。
【請求項１５】複数行からなる１ファイル単位の電子
化文書に対して、各行毎に文字種の連続性に基づいて行
の文字種を判定させ、各行と該各行に対応する文字種と
の関係を表すテーブルを生成させる行単位文字種判定工
程と、前記テーブルを参照させ、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
させるブロック化工程と、前記ブロック化工程によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定させるブロック
単位文字種判定工程と、文字種を指定させる文字種指定工程と、前記各ブロックの中から、前記文字種指定工程により指
定された文字種のブロックを抽出させる抽出工程と、をコンピュータに実行させるための文書解析プログラム
を記録したコンピュータ読み取り可能な記録媒体。
【請求項１６】複数行からなる１ファイル単位の電子
化文書に対して、各行毎に文字種の連続性に基づいて行
の文字種を判定させ、各行と該各行に対応する文字種と
の関係を表すテーブルを生成させる行単位文字種判定工
程と、前記テーブルを参照させ、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
させるブロック化工程と、前記ブロック化工程によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定させるブロック
単位文字種判定工程と、前記テーブルに基づいて、前記各ブロック毎に記述され
ている言語種を判定させる言語種判定工程と、をコンピュータに実行させるための文書解析プログラム
を記録したコンピュータ読み取り可能な記録媒体。
【請求項１７】前記言語種判定工程により判定された
前記言語種のブロックのデータに基づいて、当該ブロッ
クに対して当該言語種に適した形態素解析を行わせる形
態素解析工程とを含むことを特徴とする請求項１６に記
載の文書解析プログラムを記録したコンピュータ読み取
り可能な記録媒体。
【請求項１８】複数行からなる１ファイル単位の電子
化文書に対して、各行毎に文字種の連続性に基づいて行
の文字種を判定させ、各行と該各行に対応する文字種と
の関係を表すテーブルを生成させる行単位文字種判定工
程と、前記テーブルを参照させ、前記１ファイルにおいて、少
なくとも同種の文字種からなる複数の行を１ブロックと
させるブロック化工程と、前記ブロック化工程によりブロック化された各ブロック
の文字種を前記テーブルに基づいて判定させるブロック
単位文字種判定工程と、前記テーブルに基づいて、前記各ブロックにおける機能
を判定させる機能判定工程と、をコンピュータに実行させるための文書解析プログラム
を記録したコンピュータ読み取り可能な記録媒体。