JP2000231559A - 情報処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は言語識別の方法に関し、言語の記述
の特徴を利用し、その言語で頻繁に出現する特定文字に
注目し、識別対象の文字列の特定文字の出現率を求める
ことにより、入力文字列の言語を識別するものである。 【解決手段】 入力文字列の特定文字の出現回数から特
定文字の出現率を検出する特定文字計数器１０２と、検
出目標言語の特定文字基準出現率を格納する標準出現率
メモリ１０５と、入力文字列の特定文字の出現率と検出
目標言語の特定文字基準出現率と比較する比較器１０６
を設けることにより、上記目的を達成するものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書の言語を識別
する言語識別と、入力文字列を検索登録する全文検索の
キーワード検索に利用されるものであり、入力する文書
中に含まれる全ての文字列を対象とする情報処理装置に
関するものである。

【０００２】

【従来の技術】（１）情報検索処理分野における文書中
に記述された文字列の言語を識別するため、従来行われ
ている方法としては、特開平８−１３７８８６号公報の
ように言語の単語の辞書を備えてその単語の識別から行
う方法と、特開平８−１６０９２９号公報のように言語
の文字コードの特定ビット（ここでは２ビット）により
識別を行う方法と、特開平１０−１７１８１０号公報の
ようにその言語に対応する特別な情報（たとえばドメイ
ン名など）から識別する方法がある。 （２）また、情報検索処理分野における文書中に記述さ
れた文字列の登録検索におけるキーワード検索において
従来行われている方法として、特開平８−１６６１７号
公報のようにキーワードの先頭と末尾に区切り文字を付
加した単語テーブルを用いる方法がある。 （３）また、上記の他に、従来の技術としては、特開平
5-282360には、入力文字列に対して、各々の辞書を参照
して表示文字列への変換を行い、表示文字列を確定し、
未知語の数が最小となる言語を入力言語と判定し、未知
語の数が最小になる言語が一つに決まらなければ、直前
に利用した言語を優先する多国語入力装置で多国語が混
在した文章の入力を効率よく行えるようにした装置が開
示されている。

【０００３】特開平7-262188には、格納又は送信文書の
言語又はジヤンルの識別用処理が可能な言語識別処理方
法で、対象言語／ジヤンルの単語出現頻度テ−ブルに対
象言語の一般的な単語が含まれ、その各単語コ−ドは、
関連の正規化出現頻度値を有し、正規化出現頻度値の使
用で言語／ジヤンル検出させるものである。また、言語
／ジヤンル識別処理は、入力文書から一連の単語を受け
取り、単語出現頻度テーブル内のすべての単語と比較
し、その単語の関連正規化出現頻度値を関連アキユムレ
−タ内の現行合計に加算し、文書の単語を読み取つた後
で、すべてのアキユムレ−タの合計が蓄積して言語識別
値として識別する方式が開示されている。

【０００４】特開平10-124513には、文書が書かれてい
る言語を複数の候補言語の各々におけるもつとも頻繁に
使用される語のセツトを使用することによつて特定する
言語を特定する方法およびシステムで、もつとも頻繁に
使用される語の各セツトは、もつとも頻繁に使用される
語の各セツトにおける文字対にしたがつて、それぞれの
候補言語に対するワ−ド・テ−ブルのそれぞれのセツト
に記憶し、ワードテーブルは、各ワ−ド・テ−ブルはＮ
×Ｎビツトのテ−ブルであり、各ビツトは候補言語の１
つにおけるもつとも頻繁に使用される語の１つの特定の
場所での所与の文字対を表している。文書からの語をワ
−ド・テ−ブルに記憶されているもつとも頻繁に使用さ
れている語と比較する。文書からの語と、ワ−ド・テ−
ブルの各個別のセツトに記憶されている語との間のマッ
チの数のカウントが、各個別の言語に対して維持され
る。文書の言語はマッチ数がもつとも大きいそれぞれの
候補言語とするシステムが開示されている。

【０００５】

【発明が解決しようとする課題】しかし、上記（１）で
説明した従来技術の方法では、たとえば特開平８−１３
７８８６号は文書毎の自動識別が可能であるが、識別す
る言語の辞書を備える必要があり、特開平８−１６０９
２９号ではユニコードなどのＪＣＫ統合漢字など同一文
字コードで異なる言語への対応が困難であり、特開平１
０−１７１８１０号では識別がクライアント単位で行わ
れているという問題がある。

【０００６】また、上記（２）で説明した従来技術の方
法では、本来の文書検索で使用するインデックスとは別
の単語テーブルファイルを作成する必要がある。

【０００７】また、上記（３）で説明した従来技術の構
成では、文字列の中に同一文字コードが出現する場合
に、どの言語に属するのかを判定することが困難である
という課題を有していた。また、言語を判別するための
辞書を事前に作成しておく必要があるため、未知の用語
に対して言語を判定することができないという課題を有
していた。また、辞書データには既知の単語、たとえば
日本語の場合は「認識」などは辞書に含まれるので単語
として認識できるが、「とかや」など辞書には載ってい
ないが日常の文章に現れる場合には、従来の構成では辞
書に載っていないために判定することができない、とい
う課題を有していた。また、単語に切り出すためのルー
ルが判別する言語毎にすべて用意しなければならないた
め特定の言語に対するルールが存在した場合処理をする
ことができないという課題を有していた。

【０００８】本発明は従来技術の以上のような問題を解
決するもので、第１に、ある言語で記述されている文字
列に対して、その国の言語の記述の特徴を利用し、その
言語で頻繁に出現する特定文字（たとえば韓国語におけ
る空白文字）または特定の範囲の文字（たとえば、日本
語における「ひらかな」、「漢字」）に注目し、識別対
象の文字列の特定文字の出現率を求めるか、または特定
文字間の文字列長の平均を求めるか、または特定範囲文
字の出現率を求めることにより、入力文字列の言語を識
別しようとすることを目的とする。

【０００９】また、第２に、文書検索で作成されるイン
デックスとして２文字連鎖による検索方式を利用してお
り、キーワードの先頭と末尾に区切り文字を挿入した入
力文字列に対して、登録時に作成されるインデックスに
これらの区切り文字の情報をそのまま付加して、キーワ
ード検索を可能とすることを目的とするものである。

【００１０】また、第３に、与えられた文字列からどの
言語に属するかを自動的に判別することができる情報処
理装置を提供することを目的とし、また、文字列の特徴
がコードとして決められており、特に、文字パターンの
形状、たとえばフォントなど、で分類されている場合の
言語またはグループ種別を自動的に判別することができ
る情報処理装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は、上記課題を解
決するために本発明に係る情報処理装置に、第１に、入
力文字列の特定文字の出現回数から特定文字の出現率を
検出する手段と、検出目標言語の特定文字基準出現率を
格納する手段と、入力文字列の特定文字の出現率と検出
目標言語の特定文字基準出現率と比較する手段を設ける
こと、第２に、、入力文字列の特定文字間の平均非特定
文字文字列長を検出する手段と、検出目標言語の基準非
特定文字文字列長を格納する手段と、入力文字列の平均
非特定文字文字列長と検出目標言語の基準非特定文字文
字列長を比較する手段を設けること、第３に、入力文字
列の特定範囲文字の出現回数から特定範囲文字の出現率
を検出する手段と、検出目標言語の特定範囲文字基準出
現率を格納する手段と、入力文字列の特定範囲文字の出
現率と検出目標言語の特定範囲文字基準出現率を比較す
る手段を設けることにより、入力文字列の特定文字出現
率と、標準出現率とを比較し、入力文字列が目標の言語
に該当する性質の文字列であるかどうか判断するして、
入力文字列の目標言語の識別を行うことができるという
作用を有する。

【００１２】また、本発明は、第４に、キーワード検索
に対し、登録文字列に区切り文字を挿入する手段と、区
切り文字が挿入された文字列に対し区切り文字がある場
合は、区切り文字を間に挟む３文字の連鎖として抽出す
る検出手段と、その区切り文字の前後の文字による文字
連鎖と、その区切り文字とその区切り文字の前の文字に
よる文字連鎖と、その区切り文字とその区切り文字の後
の文字による文字連鎖を生成し、検索時に入力文字列の
先頭または、末尾または、先頭および末尾に区切り文字
を挿入する手段を設けることにより、キーワード以外の
文字列による検索を排除することができるという作用を
有する。

【００１３】また、第５に、文字列データが予め決めら
れた数種類の言語のどの言語に含まれるかをパターン識
別する情報処理装置において、パターン識別に用いるコ
ード化された文字が同一次元の複数の文字群にコードテ
ーブルとして分類された文字コードに対して、文字群の
組み合わせによりパターン群を構成する記憶媒体で、
１．２文字の組み合わせで、組み合わせを構成するコー
ドが前記複数の文字群にいずれかに含まれた文字群と文
字群が組み合わせされた第１のデータと上記第１のデー
タの組み合わせのパターンに対応させた数値とする第２
のデータと第１のデータと第２のデータの組み合わせか
ら、予め決められたパターン分類に割り振られた堕第３
のデータと上記第１のデータと第２のデータと第３のデ
ータを記憶するパターン記憶手段を持つことを特徴とす
る記憶媒体を備え、文字列から２文字の連鎖を検出し２
文字の連鎖を構成する文字が含まれる文字群を決定する
文字連鎖抽出手段と、前記文字連鎖抽出手段で決定した
文字群の組み合わせが、前記パターン記憶手段のパター
ンと一致するするかどうかを比較し、一致するパターン
の数値を取得するパターン算出手段と、前記パターン算
出手段で算出した全ての文字の連鎖に対する値とその組
み合わせのパターンが、前記パターン記憶手段が格納し
ている第１、２、３のデータと一致するものの個数が最
大のものをパターン記憶手段のパターンの組み合わせと
判断するパターン判断手段とを備え、また、上記の情報
処理装置で、前記パターン判断手段が全ての文字の連鎖
に対してパターン算出手段で算出した数値の平均値を算
出し、パターン記憶手段の第２のデータと最も近い値を
パターン記憶手段のパターンの組み合わせと判断するパ
ターン判断手段、または、前記パターン判断手段が全て
の文字の連鎖に対してパターン算出手段で算出した数値
の最頻値を算出し、パターン記憶手段の第２のデータと
最も近い値をパターン記憶手段のパターンの組み合わせ
と判断するパターン判断手段とを備えることにより、文
字種別などのパターンに対して全て同一次元の番号付け
がされており、かつパターンが数種類の意味付けれたパ
ターン群に分類され、かつパターン群の組み合わせによ
り複数の意味群をあらわすパターンの集合に対して、デ
ータがどのパターンに入るかを自動的に判定することが
できるという作用を有する。

【００１４】また、本発明は、第６に、パターン識別に
用いる文字群の組み合わせによりパターン群を構成する
記憶媒体で、予めパターン種別が知られているパターン
データに対して、２文字の組み合わせパターンである第
１のデータと、上記第１のデータを示すパターン種別で
ある２のデータと、第１のデータと第２のデータの組み
合わせの出現回数を示す第３のデータと、上記第１のデ
ータと第２のデータと第３のデータを記憶するパターン
記憶手段を持つことを特徴とする記憶媒体と、前記記憶
媒体に対して、予めパターン種別が与えられているパタ
ーンデータの全ての２文字連鎖を抽出する文字連鎖抽出
手段と、各文字連鎖の出現回数を算出し、前記記憶媒体
に文字連鎖パターンと出現回数を、パターン種別毎に格
納する文字連鎖頻度計数手段と、与えられたパターンに
対して２文字連鎖を抽出する前記文字連鎖抽出手段と、
抽出した文字連鎖に該当する文字連鎖パターンの出現回
数をパターン種別毎に前記記憶媒体から抽出する頻度計
数手段と、前記頻度計数手段から得られた出現回数をす
べての抽出された文字連鎖と照合し、出現回数の合計が
もっとも高くなるパターン種別を与えられたパターンが
含まれるパターン種別と判定する照合手段とを備えるこ
と、また、前記照合手段が、出現回数の合計がある閾値
を越えるようなパターン種別が、与えられたパターンが
含まれるパターン種別と判定すること、または前記照合
手段が、各文字連鎖についての出現回数がある閾値を越
える文字連鎖パターンの出現頻度の合計がもっとも高く
なるパターン種別を、与えられたパターンが含まれるパ
ターン種別と判定することを備えることにより、テスト
データがどのパターンに入るかを自動的に判定すること
ができ、また、文字の種類、フォントなどがコード付け
されていない場合でも分類できるという作用がある。

【００１５】また、本発明は、第７に、パターン識別に
用いる文字群の組み合わせによりパターン群を構成する
記憶媒体に対して、予めパターン種別が与えられている
パターンデータの全ての文字連鎖を抽出する際に、文字
種ごとまたは少なくても1つの言語を単語区切りができ
る区切り手段と、前記区切り手段をもとに文字連鎖を抽
出する文字連鎖抽出手段と、文字連鎖が１文字の場合に
は同じ文字を重ねて文字連鎖とする連鎖変換手段と第６
の文字連鎖頻度計数手段、頻度計数手段、頻度判定手段
を備えることにより、テストデータがどのパターンに入
るかを自動的に判定する方式ことができる。また文字の
種類、フォントなどがコード付けされていない場合でも
分類できるという作用がある。また言語毎のすべてのル
ールを準備する必要がなくパターンを分類できるという
作用を有する。

【００１６】また、第８に、パターン識別に用いる文字
群の組み合わせによりパターン群を構成する記憶媒体に
対して、テキストデータに対して、パターン分類毎また
は言語毎に、２文字の組み合わせ文字連鎖パターン、文
字連鎖パターンの文書番号を文字連鎖パターン毎に格納
されているパターン記憶手段を持たせ、テキストデータ
の全ての２文字連鎖を抽出する文字連鎖抽出手段と、各
文字連鎖の出現回数を算出し、前記記憶媒体に文字連鎖
パターンと出現回数と文書番号を、パターン種別毎に算
出する文字連鎖頻度計数手段と、前記文字連鎖頻度計数
手段で取得した文字連鎖パターンと前記記憶媒体の文字
連鎖パターンの頻度をパターン分類毎に取り出し、各パ
ターン分類の文字連鎖パターンの頻度の合計値を比較
し、パターン分類の大きいほうの前記パターン記憶手段
のパターン分類に文字連鎖パターンと出現回数と文書番
号を格納する文字頻度比較手段とを備え、さらに、前記
文字頻度比較手段が、出現回数の合計がある閾値を越え
るようなパターン種別が、与えられたパターンが含まれ
るパターン種別と判定すること、または、各文字連鎖に
ついての出現回数がある閾値を越える文字連鎖パターン
の出現頻度の合計がもっとも高くなるパターン種別を、
与えられたパターンが含まれるパターン種別と判定させ
る方法を備えることにより、テストデータがどのパター
ンに入るかを自動的に判定することができ、また、文字
の種類、フォントなどがコード付けされていない場合で
も分類できるという作用がある。

【００１７】また、本発明は、第９に、文字列データ
で、文字コードが文字フォント毎にが決められている予
め決められた数種類の言語種別に対してどの言語に含ま
れるかを一意にパターン識別する情報処理装置におい
て、パターン識別に用いる文字群の組み合わせによりパ
ターン群を構成する記憶媒体で、言語毎に文字を構成す
る漢字、ひらがな・片仮名、記号。ハングル、その他の
文字種別別に出現割合を格納することを特徴とする言語
別分布テーブルを格納されているパターン記憶手段を持
つことを特徴とする記憶媒体と、使用する文字コードの
体系が統一コードまたはローカルコードを読み取るコー
ド種別指定手段と、入力文字列データの全ての２文字連
鎖を抽出する文字連鎖抽出手段と、指定されたコード体
系に従って、言語毎に漢字、平かな・片仮名、記号、ハ
ングル、その他の２文字連鎖を分類し、それぞれ出現割
合を算出する出現回数計数手段と、指定されたコード体
系で、各言語毎で、漢字、平かな・片仮名、記号、ハン
グルの出現割合と記憶手段が管理している言語毎で漢
字、平かな・片仮名、記号、ハングルの出現分布との距
離の合計を算出する言語別分布距離算出手段と、前記言
語別分布算出手段からもっとも距離の値が小さいものを
算出して、最小のものを含む言語種別を、入力された文
字列の言語と判定する比較手段を備えることにより、漢
字、平かな、記号等の出現分布の距離を算出することが
できるので、言語種別を容易に判断することができると
いう作用がある。

【００１８】

【発明の実施の形態】以下、本発明の実施例について図
面を参照しながら説明する。

【００１９】（実施の形態１）図１は本発明の第１の方
法の一実施例における文字コード言語識別装置の構成を
示したものである。

【００２０】図１において、１０１は入力文字列に対し
て文字が検出目標言語の特定文字かどうか識別する特定
文字識別器、１０２は特定文字識別器で識別した特定文
字の出現回数を計数する特定文字計数器、１０３は入力
文字列のすべての文字の出現を計数する入力文字計数
器、１０４は特定文字計数器１０２で計数した特定文字
出現回数と入力文字計数器１０３で計数した入力文字列
の文字数から特定文字の出現率を算出する出現率算出
器、１０５は検出目標の言語の特定文字出現の標準の出
現率を格納する標準出現率メモリ、１０６は出現算出器
１０４で得られた出現率が標準出現率メモリ１０５に格
納された標準出現率と比較する比較器、１０７は入力文
字列の終了を検出する文字列終了検出器である。

【００２１】図２は本発明の文字コード言語識別の第１
の方法の概念を示している。

【００２２】図２において、２０１は言語識別を行おう
とする入力文字列、２０２は入力文字列に出現する特定
文字である。本発明の第1の方法では入力する文字列に
おける特定文字の出現率を求めることにより目標言語の
識別を行う。入力文字列２０１の全文字数がｍで、特定
文字２０２の出現回数がｎとすると、この入力文字列２
０１における特定文字の出現率ｋはｎ／ｍで求める。目
標言語における特定文字の出現率が最小でａ、最大でｂ
とすると、このとき本発明の第１の方法による識別方法
では、入力文字列２０１の特定文字出現率ｋがａ≦ｋ≦
ｂである場合、入力文字列は目標言語であると判断す
る。以上により、文字列の言語識別がなされる。

【００２３】本方法は、特に韓国語のように特定文字２
０２として「空白」を指定することにより入力文字列の
韓国語の識別を行う場合に有効である。このとき、韓国
語の新聞記事データ１２万文字の統計データからａ、ｂ
は、ａ＝０．１４、ｂ＝０．２３で適用できる。この方
法により、韓国語のハングルで記述された文書を、他の
言語たとえば日本語で記述された文書と区別することが
できる。

【００２４】以上により、文字列終了検出器１０７で文
字列の終了を検出したとき、出現率算出器１０４から得
られる入力文字列の特定文字出現率と、標準出現率格納
メモリ１０５から得られる標準出現率とを比較し、入力
文字列が目標の言語に該当する性質の文字列であるかど
うか判断することにより、入力文字列の目標言語の識別
を行うことができる。

【００２５】（実施の形態２）図３は本発明の第２の方
法の一実施例における文字コード言語識別装置の構成を
示したものである。

【００２６】図３において、３０１は入力文字列に対し
て文字が検出目標言語の特定文字かどうか識別する特定
文字識別器、３０２は特定文字識別器３０１で識別され
ない非特定文字の連続した出現数を計数する文字列長カ
ウンタ、３０３は文字列長カウンタ３０２から得られれ
る文字列長の総和を求める加算器、３０４は特定文字識
別器３０１で識別をした特定文字の出現回数を計数する
特定文字計数器、３０５は加算器３０３で求めた文字列
長の総和を特定文字計数器３０４で得られた特定文字数
で割って平均文字列長を求める平均文字列長算出器、３
０６はは検出目標の言語の平均文字列長を格納する標準
文字列長メモリ、３０７は平均文字列長算出器３０５で
得られた平均文字列長が標準文字列長メモリ３０６に格
納された標準の平均文字列長と比較する比較器、３０８
は入力文字列の終了を検出する文字列終了検出器であ
る。

【００２７】図４は本発明の文字コード言語識別の第２
の方法の概念を示している。

【００２８】図４において、 ４０１は言語識別を行お
うとする入力文字列、４０２は入力文字列に出現する特
定文字、４１１、４１２、４１ｎは特定文字により区切
られた非特定文字による文字列（非特定文字列）であ
る。本発明の第２の方法では入力文字列４０１が特定文
字４０２により区切られた非特定文字列４１１、４１
２、４１ｎの平均長を求めることにより目標言語の識別
を行う。入力文字列４０１の非特定文字が特定文字ｎ−
１個で区切られ、n個の非特定文字列で構成されている
と、この時の非特定文字列長が、a1、a2、a3、…anとす
ると、この入力文字列４０１の非特定文字列の平均文字
列長ｋは（a1＋a2＋a3＋…＋an）／ｎである。目標言語
における特定文字で区切られた非特定文字の文字列の平
均が最小でａ、最大でｂとすると、このとき本発明の第
２の方法による識別方法では、入力文字列４０１の非特
定文字の平均文字列長ｋがａ≦ｋ≦ｂである場合、入力
文字列は目標言語であると判断する。以上により、文字
列の言語識別がなされる。

【００２９】本方法によれば、たとえば韓国語のように
特定文字２０２として「空白」を指定することにより入
力文字列の韓国語識別が可能となる。このとき、韓国語
の新聞記事データ１２万文字にから得られる統計データ
からａ、ｂは、ａ＝３、ｂ＝５で適用できる。

【００３０】また、たとえば日本語と中国語の識別にお
いても、特定文字２０２として「、」（中国語の場合は
「，」）、「的」および「。」を指定することにより入
力文字列の言語識別が可能となる。このとき、日本語の
新聞記事５．４万文字データから得られる統計データか
らａ、ｂは、ａ＝１０、ｂ＝２２、中国語法令文書８４
万文字データから得られる統計データからａ、ｂは、ａ
＝４、ｂ＝９で適用できる。この方法により、上記平均
文字列長の比較により入力文字列の言語が日本語で記述
されたものか、中国語で記述されたものか容易に識別可
能となる。

【００３１】以上より、文字列終了検出器３０８で文字
列の終了を検出したときに、平均文字列長算出器２０５
から得られる入力文字列の平均文字列長と、標準文字列
長格納メモリ３０６から得られる標準文字列長とを比較
し、入力文字列が目標の言語に該当する性質の文字列で
あるかどうか判断することにより、入力文字列の目標言
語の識別を行うことが可能となる。

【００３２】（実施の形態３）図５は本発明の第３の方
法の一実施例における文字コード言語識別装置の構成を
示したものである。

【００３３】図５において、５０１は入力文字列に対し
て文字が検出目標言語の特定範囲文字かどうか識別する
特定範囲文字識別器、５０２は特定範囲文字識別器５０
１で識別した特定範囲文字の出現回数を計数する特定範
囲文字計数器、５０３は入力文字列のすべての文字コー
ドの出現を計数する入力文字計数器、５０４は特定範囲
文字計数器５０２で計数した特定範囲文字出現回数と入
力文字計数器５０３で計数した入力文字列の文字数から
特定範囲文字の出現率を算出する出現率算出器、５０５
は検出目標の言語の特定範囲文字出現の標準の出現率を
格納する標準出現率メモリ、５０６は出現率算出器５０
４で得られた出現率が標準出現率メモリ５０５に格納さ
れた標準出現率と比較する比較器、５０７は入力文字列
の終了を検出する文字列終了検出器である。

【００３４】図６は本発明の文字コード言語識別の第３
の方法の概念を示している。図６において、６０１は言
語識別を行おうとする入力文字列、６０２は入力文字列
に出現する特定範囲文字の文字コードの範囲、６１１、
６１２、６１３は範囲６０２に含まれる特定範囲文字で
ある。本発明の第３の方法では入力する文字列における
文字の特定範囲の文字の出現率を求めることにより目標
言語の識別を行う。入力文字列６０１の全文字数がｍ
で、特定範囲に含まれる文字の出現回数がｎとすると、
この入力文字列６０１の特定範囲文字の出現率ｋはｎ／
ｍである。目標言語における特定範囲文字の出現率が最
小でａ、最大でｂとすると、このとき本発明の第３の方
法による識別方法では、入力文字列６０１の特定範囲文
字出現率ｋがａ≦ｋ≦ｂである場合、入力文字列は目標
言語であると判断する。以上により、文字列の言語識別
がなされる。

【００３５】本方法によれば、たとえば日本語のように
特定範囲文字の範囲６０２として「ひらかな」または、
「漢字」を指定することにより入力文字列の日本語識別
が可能となる。このとき、日本語の新聞記事５．４万文
字データから得られる統計データから「ひらかな」の
ａ、ｂは、ａ＝０．１、ｂ＝０．５、「漢字」のａ、ｂ
は、ａ＝０．２、ｂ＝０．６で適用できる。この方法に
より、入力文字列の言語が日本語で記述されているもの
かどうか容易に識別することが可能となる。

【００３６】以上より、文字列終了検出器５０７で文字
列の終了を検出したとき、出現率算出器５０４から得ら
れる入力文字列の特定範囲文字出現率と、標準出現率格
納メモリ５０５から得られる標準出現率とを比較し、入
力文字列が目標の言語に該当する性質の文字列であるか
どうか判断することにより、入力文字列の目標言語の識
別を行うことが可能となる。

【００３７】（実施の形態４）図８は本発明の第４の方
法の概念を示している。図８において、８０１は登録時
に入力される文字列「いろはに」、８１１、８１２、８
１３はキーワード、８０２は入力文字列８０１のキーワ
ード８１１、８１２、８１３の境界に区切り文字「ａ」
が挿入された区切り文字挿入文字列、８０３は区切り文
字挿入文字列８０２の最初に登録される２文字連鎖「ａ
い」、８０４は８０３に続く２文字連鎖「いろ」、８０
５は区切り文字「ａ」をはさむ３文字列「ろａは」から
生成される区切り文字を含む２文字連鎖「ろａ」、８０
６は３文字列「ろａは」で区切り文字を含む２文字連鎖
「ａは」、８０７は３文字列「ろａは」で区切り文字を
含まない区切り文字をまたいだ２文字連鎖「ろは」、８
０８は８０７の次の２文字連鎖「はに」、８０９は８０
８の次の２文字連鎖「にａ」である。

【００３８】また、図８において、２文字連鎖８０３は
「ａ」および「い」の出現回数n、n１を、２文字連鎖８
０４は「い」および「ろ」の出現回数n1、n2を、２文字
連鎖８０５は「ろ」および「ａ」の出現回数n3、nを、
２文字連鎖８０６は「ａ」および「は」の出現回数n、n
3を、２文字連鎖８０７は「ろ」および「は」の出現回
数n2、n3を、２文字連鎖８０８は「は」および「に」の
出現回数n3、n4を、２文字連鎖８０９は「に」および
「ａ」の出現回数n4、nを記憶する。

【００３９】また、図８において、８２１は検索時の検
索文字列「いろはに」、８２２は検索文字列８２１をキ
ーワード検索として完全一致検索を行うために８２１の
先頭と末尾に区切り文字「ａ」を挿入した検索文字列、
８２３は検索文字列８２２で最初に検索される２文字連
鎖「ａい」、８２４は８２３に続く２文字連鎖「い
ろ」、８２５は８２３に続く２文字連鎖「ろは」、８２
６は８２５に続く２文字連鎖「はに」、８２７は８２６
の次の２文字連鎖「にａ」である。

【００４０】図７は本発明の第４の文字列検索方法の一
実施例における情報処理装置の構成を示したものであ
る。

【００４１】図７、８において、７０１は登録する文字
列８０１に対して特定の区切り文字「ａ」をキーワード
の境界に挿入する文字列変換器、７０２は文字列変換器
７０１から出力される区切り文字の挿入された登録文字
列８０２から区切り文字を検出する区切り文字検出器、
７０３は文字列８０２から区切り文字がない場合に生成
する登録する２文字連鎖８０４、８０８を検出する２文
字連鎖検出器、７０４は文字列８０２から区切り文字
「ａ」をはさむ３文字列「ろａは」から生成する２文字
連鎖８０５、８０６、８０７および、文字列の先頭およ
び末尾が区切り文字で２文字連鎖となる８０３、８０９
を検出する区切り文字連鎖検出器、７０５は２文字連鎖
検出器７０３および区切り文字連鎖検出器７０４で検出
された２文字連鎖８０３、８０４、８０５、８０６、８
０７、８０８、８０９およびそれぞれの連鎖文字で区切
り文字は一定値をまたそのほかの文字はその出現回数を
格納する２文字連鎖メモリ、７０６は検索する文字列８
２１に対して先頭および末尾に特定の区切り文字「ａ」
を挿入する文字列変換器、７０７は文字列変換器７０６
で生成される検索文字列８２２に対して２文字連鎖８２
３、８２４、８２５、８２６、８２７を検出する２文字
連鎖検出器、７０８は２文字連鎖検出器７０７より検出
された２文字連鎖８２３、８２４、８２５、８２６、８
２７を２文字連鎖メモリ７０５で検出し、検出した２文
字連鎖の前の文字の出現回数が直前に検出した２文字連
鎖の後の文字の出現回数に一致するか否か判断する比較
器、７０９は２文字連鎖検出器７０７から検出される全
ての２文字連鎖について比較器７０８で判断し、文字列
の一致を判断する制御部である。このとき本発明の第４
の方法では、２文字連鎖８２３の「ａい」に該当する２
文字連鎖８０３を検出し、このときの「ろ」の出現回数
n1と、８２３の次の２文字連鎖８２４の「いろ」に該当
する２文字連鎖８０４を検出し、このときの「い」およ
び「ろ」の出現回数n1、n2を検出する。２文字連鎖８０
３および８０４の「い」の出現回数がn1で一致するか否
か判断する。一致したら、次に２文字連鎖８２５の「ろ
は」に該当する２文字連鎖８０７を検出し、このときの
「ろ」および「は」の出現回数n2、n3を検出する。２文
字連鎖８０４および８０７の「ろ」の出現回数がn2で一
致するか判断する。一致したら、次に、２文字連鎖８２
６の「はに」に該当する２文字連鎖８０８を検出し、こ
のときの「は」および「に」の出現回数n3、n4を検出す
る。２文字連鎖８０７および８０８の「は」の出現回数
がn3で一致するか判断する。一致したら、次に２文字連
鎖８２７の「にａ」に該当する２文字連鎖８０９を検出
し、このときの「に」の出現回数n4が８０８の「に」の
出現回数に一致するか否か判断する。一致したら、文字
列８２１は文字列８０１にキーワードの完全一致で一致
したと判断する。以上により、文字列の照合がなされ
る。

【００４２】本方式では、キーワード以外の文字列によ
る検索を排除することができる。たとえば図８の文字列
８３１のようなキーワードでない文字列「いろは」で検
索を行う場合は、その先頭と末尾に区切り文字を挿入し
た８３２のような検索文字列で検索を行うことなる。こ
の場合、文字列８３１はキーワード８１１、８１２、８
１３ではないので、その検索文字列８３２から検出でき
ない２文字連鎖８３６の「はａ」が生成され、検索され
ない。

【００４３】なお、本方式においては、各２文字連鎖の
文字の出現回数の代わりに文字の位置情報を用いた場合
も同様である。

【００４４】（実施の形態５）本発明の実施例として文
字パターンの判別方法の例を示す。

【００４５】図９は文字パターンをコード化して格納す
るコードテーブルの構造を示している。この場合、パタ
ーンのコードは1次元で構成されていること、文字列コ
ードの例としてユニコード（ｕｎｉｃｏｄｅ）などが対
象となる。Ａ群９０１は文字「あ」…、「カ」、…、な
どいわゆる平かなとカタカナで構成された群である。Ａ
群９０１の「あ」には１番、「い」には２番、のように
コード番号が付けられている。以下同様にＢ群９０２は
漢字で構成された群で、Ｃ群９０３は×、○、△などで
構成された群であり、それぞれ１００番、２００番から
始まる番号が付けられている。なお、番号は便宜上与え
た番号でありコードテーブルの中でユニークであればよ
い。

【００４６】次に図１０は文字から構成されるパターン
分類の種類とそのデータを格納するパターン記憶手段の
構造を示している。この時、文字種で組み合わされた文
字列データは判別するパターンのいずれか１つの文字列
から構成されているものとする。２組の文字の組み合わ
せに対して、１文字目のパターンと２文字目のパターン
がコードテーブルのどの組に含まれるかで該当するパタ
ーンとその値が格納されている。（１文字目、２文字
目）が（Ａ群の文字、Ａ群の文字）（以下、（Ａ群、Ａ
群）と記す）または（Ｂ群、Ｂ群）の場合は組み合わせ
Ｄ１に該当し、パターン１に含まれるように定義されて
いる。このパターン１に対しては数値１が割り当てられ
る。また、（Ａ群、Ｂ群）または（Ｂ群、Ａ群）の組み
合わせに対してもパターン１で数値１を割り当てる。以
下、パターン２、パターン３に対しても第１０図のパタ
ーン２、３にように割り当てる。例えば、日本語の場合
は、ひらかな、カタカナ、漢字を含むので、パターン１
は日本語と定義することができる。以下同様にＣ群をハ
ングルとした場合、パターン２は朝鮮語、パターン３は
中国語として定義することが可能である。

【００４７】次に、文字列に対してどのパターンに含ま
れるかを判定する方法を説明する。図１１の１１０１は
文字列データである。文字列データ１１０１から２文字
の組み合わせを抽出する。抽出された２文字の連鎖
（日、本）、（あ、い）（漢、カ）を抽出する。抽出し
た文字連鎖が含まれる群を求めると、それぞれ（群Ｂ，
群Ｂ）、（群Ａ、群Ａ）、（群Ｂ、群Ａ）となる。これ
により、図１２に示すように（日、本）はパターン１ま
たは２、（あ、い）はパターン１、（漢、カ）はパター
ン１となる。

【００４８】また、これらパターンに対応する得点（数
値）は１または２、１、１となる。これらの数値の個数
を比較し、最頻となる数値を求めると１となり、数値１
に対応するパターンはパターン１となる。これにより文
字列データはパターン１に含まれると判別する。ここ
で、本実施例では、最も頻度の高い数値を算出したが、
数値の平均を求め平均値とパターンが持つ数値との差が
最も少ないパターンが文字列データが含まれるパターン
と判別してもよい。また平均値の代わりに数値の最頻値
を算出してもよい。

【００４９】なお、本手法によれば、実際のデータを分
析してみた場合、日本語の場合（新聞記事を対象）は記
号の出現の割合は全文字種に対して約１０％、漢字・記
号を除く平かな・片仮名など４１％、漢字約４９％であ
り、中国語の場合（法令集を対象）は記号の出現の割合
が全文字種に対して３％、漢字・記号を除く平かな・片
仮名２２％、漢字７４％であり、ハングル語の場合（新
聞記事を対象）は記号の出現の割合は全文字種に対して
約１５％、漢字・記号を除く平かな・片仮名など３％、
ハングル文字７３％、漢字４％、その他７％となってい
る。このことから記号、平かな・片仮名、漢字、ハング
ルの文字の形のみで文字コードが管理されている場合、
記号を除く平かな・片仮名文字と漢字の割合が４１：４
９の場合は日本語、２２：７４の場合は中国語、３：７
３の場合はハングルであり、この３つの比率にもっとも
近いものが判別される言語として分類できる。

【００５０】図１３は本発明の第５の方法の一実施例に
おける情報処理装置の構成を示したものである。１３０
１は文字列データから２文字連鎖を切り出す文字列連鎖
抽出器、１３０３はパターンのコードが格納されたコー
ドテーブル、１３０５はパターンの組と数値が格納され
ているパターン記憶器、１３０２は１３０１で抽出され
た２文字連鎖を構成する文字コードの群の組を１３０５
から照合し、さらに対応するパターンの数値を全ての抽
出された２文字連鎖に対して算出するパターン算出器、
１３０４は１３０２で算出した数値から、数値毎の出現
頻度または平均値または最頻値を算出し、１３０５が格
納しているパターンの数値と出現頻度がもっとも一致し
たパターン、または平均値との差または最頻値の差を算
出し最も小さい値であるパターンを判定するパターン判
定器である。

【００５１】よって、この方法により、文字種別などの
パターンに対して全て同一次元の番号付けがされてお
り、かつパターンが数種類の意味付けれたパターン群に
分類され、かつパターン群の組み合わせにより複数の意
味群をあらわすパターンの集合に対して、データがどの
パターンに入るかを自動的に判定することができる。

【００５２】特に、ここでパターンとして文字の種類、
フォントに対して複数のパターンに分類されている場合
に分類に効果がある。またコード化されている例として
unicodeがあり、パターン１を「ひらなか・カタカ
ナ」、パターン２が「漢字（ＣＪＫ漢字）」、パターン
３が「ハングル」の場合に、例えば、パターン群１とパ
ターン群２を組み合わせた意味群を「日本語」、パター
ン群２とパターン３を合わせてた意味群を「朝鮮語」、
パターン群２のみの意味群を「中国語」と定義して分類
することが可能となる。

【００５３】なお、本実施例ではコード化されたパター
ンであれば文字に限定されず、◎◇などの記号や図形な
どコード化された対象であれば特に限定しなくてもよ
い。また、２文字づつのきり出しを行ったが、文字の切
り出し単位は２文字であれば制限を与えない。 （実施の形態６）本発明の実施例として文字パターンの
判別方法の例をしめす。始めにパターンを判別するため
の情報を作成する方法を示す。

【００５４】図１４は、情報を作成するためのサンプル
データである。図１４において１４０１は中国語のサン
プルデータであり、このサンプルデータから２文字の連
鎖を取り出す。１４０２は文字連鎖「那些」、１４０３
は文字連鎖「些都」であり、隣会うようにして文字連鎖
を取り出す。なお、１４０１のデータをレコード番号１
とする。以下、サンプルデータから全ての文字連鎖を取
り出す。図１４では、後述する説明のために１４０２〜
１４０５の４つの文字連鎖を示すこととする。図１４に
おいて１４０６、１４１２は日本語のサンプルデータで
あり、前記と同様にサンプルデータすべての２文字連鎖
を抽出する。中国語のサンプルデータの抽出の説明と同
様に、本実施例では２文字連鎖として１４０７〜１４１
１、１４１３〜１４１６を文字連鎖として示す。なお、
１４０６、１４１２のデータをレコード番号２、３とす
る。

【００５５】次に、抽出した文字連鎖のパターンに対し
て、組み合わせパターン、レコード番号、出現回数を中
国語、日本語のようにパターン種別により別々に記憶媒
体に格納する。

【００５６】図１５の１５０１〜１５０４は、パターン
種別が中国語の場合のパターンとレコード番号が格納さ
れている。以下同様に図１５の１５０５〜１５０９にお
いてはパターン種別が日本語の場合のパターンとそのレ
コード番号が格納されている。出現パターン１５０１か
ら１５０４はサンプルデータ１４０１を含むのでレコー
ド番号１が格納される。また出現パターン１５０５から
１５０９はサンプルデータ１４０６または１４１２を含
み、１レコードのみの場合は２、２レコードを含む場合
は「２、３」が格納されている。文字連鎖の出現数は図
１５から格納されているレコード番号の数で示され、図
１６に示す２次元のテーブルとして示される。

【００５７】図１６の１６０１においては中国語の出現
数、１６０２においては日本語の出現数を示す。テーブ
ルはパターン（１文字目、２文字目）の組み合わせに対
して、縦列が１文字目、横行が２文字目を示している。
パターン識別の記憶媒体は図１５および図１６のデータ
が格納されている。以下任意の数のレコード数のパター
ンを本実施例の記憶媒体に格納し、結果としてパターン
種別毎の出現回数がテーブルに格納される。

【００５８】なお、本実施例では中国語と日本語の２つ
のパターン種別で説明したが、複数のパターン種別の場
合も同様の方法でパターン種別毎にテーブルに格納され
る。つぎにテストパターンを使用して判別する方法を説
明する。図１７においてテストパターン１７０１に対し
て隣接する２文字連鎖を抽出する。２文字連鎖１７０２
は「同事」、１７０３「事件」、１７０４「件と」、１
７０５「と我」、１７０６「我々」のように抽出する。
次に図１６の記憶媒体のテーブルから１７０２、１７０
３、１７０４、１７０５、１７０６に該当する出現回数
を求める。中国語のテーブル（図１６の１６０１）にお
いては、パターン（同、事）の出現回数が１でありそれ
以外はない。一方日本語のテーブル（第１６図の１６０
２）においてはパターン（我、々）の出現回数が２、
（同、時）の出現回数が１、（事、件）の出現回数が２
である。これら出現回数の合計をパターン種別毎に算出
すると中国語では１、日本語では５となる。この２つの
結果を比較し数値の大きくなるパターン種別を算出し、
結果としてテストパターンは日本語であると判別する。

【００５９】なお、本実施例では、出現回数の合計を算
出したが、出現回数の合計がｎ以上となるパターン種別
を算出する、または各文字連鎖の出現回数がｎ以上の文
字連鎖の出現回数の合計を算出する方法をとってもよ
い。

【００６０】また、本手法によれば、実施例５で引用し
た実際のデータに対して適用した例から、日本語・中国
語・ハングルで同一の文字コードを使用するローカルコ
ードでの出現割合の多いものについて出現文字種の数に
注目すると、使用された中国語のデータに対し漢字（約
７４％）３４６９種、ハングルのデータに対しハングル
（約７３％）２１８種、日本語のデータに対し漢字（約
４９％）４００６種、平かな・片仮名（２３％）１３０
種類（記号を含めると４１％、５１０種）である。この
ことから出現率と文字種の組み合わせから中国語の漢字
コードで出現頻度が７４％出現文字種３４６９種、ハン
グルのハングル文字コードで出現頻度が７３％出現文字
種２１８種、日本語の平仮名・片仮名のコードで２３％
出現文字種１３０種、日本語漢字のコードで出現頻度が
４９％出現文字種４００６種のそれぞれを比較し、中国
語のコードで漢字の出現頻度と出現文字種が多い場合は
中国語、以下日本語、ハングルを同様に上記各言語のコ
ードで出現頻度と出現文字種から言語を判定することが
できる。

【００６１】図１８は本発明の第６の方法の一実施例に
おける情報処理装置の構成を示したものである。１８０
１は文字列データから隣接する２文字連鎖を取り出す文
字列連鎖抽出器、１８０２は文字連鎖の出現回数とレコ
ード番号を読み取り、パターン（言語）種別毎に頻度メ
モリ１８０３に格納する文字連鎖頻度計数器、１８０４
は文字連鎖抽出器で取得した文字連鎖に対してパターン
種別毎に文字連鎖の出現回数を頻度メモリから取り出す
頻度計数器、１８０５は１８０４から得られた出現回数
をパターン種別毎に出現回数の合計またはある閾値の出
現回数の合計を算出し、パターン種別毎にある閾値を越
えるパターンを算出または大小を比較してテストパター
ンが含まれるパターン種別を判定する照合器である。

【００６２】よって、この方法により、テストデータが
どのパターンに入るかを自動的に判定する方式ことがで
きる。また文字の種類、フォントなどがコード付けされ
ていない場合でも分類できるという効果がある。また言
語毎の辞書を用意する必要がなくパターンを分類するこ
とができる。

【００６３】（実施の形態７）本発明の実施例として文
字パターンの判別方法の例をしめす。始めにパターンを
判別するための情報を作成する方法を示す。

【００６４】図１９は、情報を作成するためのサンプル
データである。図１９において１９０１は中国語のサン
プルデータであり、このサンプルデータから２文字の連
鎖を取り出す。２文字連鎖を取り出すとき、文字種（例
えば漢字、カタカナなどの文字コード）が同じ場合に２
文字連鎖を作成する。但し、２文字を取り出すとき予め
指定された言語の切り出し、例えば辞書が存在する場合
は切り出した２文字目と次の文字との連鎖は作成しない
ものとする。本実施例では日本語の切り出しを用いるた
め１９０１に対しては隣接する文字連鎖を作成する。以
下、１９０２から１９０５までは実施の形態６と同様で
ある。次に図１９において１９０６は日本語のサンプル
データである。文字種毎に連鎖作成を調べ、「は」
「な」などの平かなに対しては文字連鎖を作成しない。
また「事件」など日本語の辞書が存在する場合には１つ
前の文字「同」と「事件」を分ける。この結果、文字連
鎖は２文字連鎖１９０７、１９１１と、１文字１９０
８、１９０９、１９１０などに別れる。続けて１文字１
９０８、１９０９、１９１０に対しては同じ文字を重ね
て２文字連鎖を作成する。図２０は１文字と判定された
ものは２文字連鎖に変換して作成された文字連鎖であ
る。

【００６５】次に、実施の形態６にしたがって、全ての
文字連鎖パターンに対して、組み合わせパターン、レコ
ード番号、出現回数を中国語、日本語のようにパターン
種別により別々に記憶媒体に格納する。図２１には２次
元のテーブルとして格納されたデータの例を示されてい
る。図２１の２１０１においては中国語の出現数、２１
０２においては日本語の出現数を示し、テーブル構造は
実施の形態６と同様である。以下任意の数のレコード数
のパターンを本実施例の記憶媒体に格納し、結果として
パターン種別毎の出現回数がテーブルに格納れる。な
お、複数のパターン（言語）種別の場合も同様の方法で
パターン種別毎にテーブルに格納されることも実施の形
態６と同様である。

【００６６】つぎにテストパターンを使用して判別する
方法を説明する。図１７のテストパターン１７０１を使
用する。この場合も文字の区切りルールに従い、抽出さ
れるデータは、２文字連鎖１７０３「事件」、１７０６
「我々」のように抽出される。 次に図２１の記憶媒体
のテーブルから１７０３、１７０６に該当する出現回数
を求める。中国語のテーブル（図２１の２１０１）にお
いては、パターン（同、事）の出現回数が１でありそれ
以外はない。

【００６７】一方日本語のテーブル（図２１の２１０
２）においてはパターン（我、々）の出現回数が２、
（事、件）の出現回数が２である。これら出現回数の合
計をパターン種別毎に算出すると中国語では１、日本語
では４となる。この２つの結果を比較し数値の大きくな
るパターン種別を算出し、結果としてテストパターンは
日本語であると判別する。

【００６８】なお、本実施例では、出現回数の合計を算
出したが、出現回数の合計がｎ以上となるパターン種別
を算出する、または各文字連鎖の出現回数がｎ以上の文
字連鎖の出現回数の合計を算出する方法をとってもよ
い。また、テストパターンに対する文字連鎖抽出の方法
として区切りルールを適用したが、実施の形態６と同様
に区切りルールを適用せずに隣接する２文字の全ての文
字連鎖を取り出してもよい。

【００６９】なお、本手法によれば、実施例５または実
施例６で引用した実際のデータに対して適用した例か
ら、出現回数の基準として出現頻度の％に合わせた文字
数をｎとすることで判定できる。例えば、中国語の場
合、中国語の漢字コードで出現頻度が７４％出現文字種
３４６９種から１００文字の場合、漢字コードに該当す
る出現数の総和ｎを７４することができる。

【００７０】図２２は本発明の第７の方法の一実施例に
おける情報処理装置の構成を示したものである。２２０
２は文字列データから区切りルールによりサンプルデー
タを切り出す区切り判定器、２２０１は区切り判定器か
ら結果が得られた場合は、２文字連鎖または１文字連鎖
を取得し、さらに出現回数とレコード番号を読み取り、
区切り判定器２２０１の結果がなければ全ての隣接する
文字連鎖を袖手つする文字連鎖抽出器、２２０３は文字
連鎖抽出器が１文字の場合は文字を重ねて２文字連鎖を
作成する連鎖変換器、２２０４は２文字連鎖とレコード
番号、出現回数をパターン（言語）種別毎に頻度メモリ
２２０５に格納する文字連鎖頻度計数器、２２０６は２
２０１文字連鎖抽出器または２２０３連鎖変換器で取得
した文字連鎖に対してパターン種別毎に文字連鎖の出現
回数を２２０５頻度メモリから取り出す頻度計数器、２
２０７は２２０６から得られた出現回数をパターン種別
毎に出現回数の合計またはある閾値の出現回数の合計を
算出し、パターン種別毎にある閾値を越えるパターンを
算出または大小を比較してテストパターンが含まれるパ
ターン種別を判定する照合器である。

【００７１】よって、この方法により、テストデータが
どのパターンに入るかを自動的に判定することができ
る。また文字の種類、フォントなどがコード付けされて
いない場合でも分類できるという効果がある。また言語
毎の全てのルールを用意する必要がなくパターンを分類
することができる。

【００７２】（実施の形態８）本発明の実施例として文
字パターンの判別方法の例をしめす。始めにパターンを
判別するための情報を作成する方法を示す。また、分類
するパターンはここでは２とする（日本語と中国語な
ど）。図２３は文字パターンをコード化して格納するコ
ードテーブルの構造を示している。Ａ群２３０１は文字
「と」…、などいわゆる平かなとカタカナで構成された
群である。Ａ群２３０１の「と」には１０番、のように
コード番号が付けられている。以下同様にＢ群２３０２
は漢字で構成された群で、「我」は１００番、「同」は
１０１番、…、のように番号が付けられている。なお、
番号は便宜上与えた番号でありコードテーブルの中でユ
ニークであればよい。

【００７３】パターン識別するための情報を作成するた
めのサンプルデータとして、図１４の１４０１、１４０
６、１４１２で示すものと同じデータを例として本実施
例の説明をする。但し、本実施例では図１４の１４０
１、１４０６、１４１２がどのパターン分類（言語）に
属するかは不明のものとする。図２４は、図１４のサン
プルデータから抽出した文字連鎖パターンの例である。
図１４の文字連鎖として例えば１４０４「我同」、１４
０５「同事」に対して、「我同」の文字連鎖パターン２
４０１は文書番号１、第１文字の文字コード１０１、第
２文字の文字コード１０２、出現回数が１が格納されて
いる。同様に２４０２は文字連鎖「同事」の文字連鎖パ
ターンである。次に図１４の１４０６の文字連鎖パター
ンは第図２４の２４０３、２４０４、２４０５などがあ
る。同様にして図１４の１４１２文字連鎖パターンは図
２４の２４０６、２４０７などがある。

【００７４】次に文字連鎖パターンを文字連鎖パターン
毎に集める。ここで文書番号を基準として、同一の文字
連鎖パターンが含まれるものを集め、その個数を算出す
る。図２５では文字連鎖パターン毎に集めた例を示す。
図２５の２５０１において示すように、文書番号１につ
いては、他の文書と共通するものは「同事」であり、関
連する文書番号は１、共通する文字連鎖パターンの個数
は２である（個数１は共通文字連鎖パターンがないこと
を示す）。

【００７５】一方、図２５の２５０２において示すよう
に、文書番号２については、他の文書と共通するのは、
「我々」「事件」であり共通する文字連鎖パターンの個
数は４である。同様に、文書番号３についても共通する
文字連鎖パターンの個数は４である。このことから、文
書番号２と３は文書番号１とは異なると判断し、文書番
号１をパターン２に、文書番号２、３はパターン１に振
り分け、文字連鎖パターンを格納する。図２６はパター
ン１、パターン２に振り分けられて記憶媒体に格納され
た例を示す。以下、サンプルデータに対しては２文字連
鎖を作成し、記憶媒体に格納された２つのパターン（パ
ターン１、パターン２）から文字連鎖パターンを取り出
し、サンプルデータの文字連鎖と記憶媒体に格納された
文字連鎖パターンをパターン種別ごとに比較し、数が大
きいパターン種別に対してサンプルデータの文字連鎖パ
ターンを格納する。

【００７６】なお、本実施例では個数の大きいほうのパ
ターン種別に対して文字連鎖パターンを記憶媒体に格納
したが、文字連鎖パターンがある閾値より大きい場合の
文字連鎖パターンを取り出す、または取り出した文字連
鎖パターンの種類がある閾値より大きい場合の個数の比
較でパターン種別を決定してもよい。

【００７７】なお、本手法によれば、実際のデータを分
析してみた場合、実施例５、６、７で引用した例と同様
に、中国語・ハングル・日本語では出現回数、文字コー
ドおよびその組み合わせで構成された分布は異なってい
る。特に実施例６で説明した通りハングルは少ないハン
グル文字に頻度が集中しているのに対して、日本語は平
かな・片仮名の組み合わせに頻度が集中しており、中国
語は多種の漢字文字の組み合わせに一様に分布してい
る。この分布のどれに近いかを３つの言語コードで示さ
れた出現頻度と出現文字種の差がもっとも小さいもので
判別することができる。

【００７８】つぎに、テストパターンを使用してテスト
パターンをどちらのパターン種別に含まれるかを判別す
る方法であるが、判別方法は第４の実施例から第７の実
施例までと同様の方法で実現する。

【００７９】図２７は本発明の第８の方法の一実施例に
おける情報処理装置の構成を示したものである。２７０
１は文字列データから隣接する２文字連鎖を取り出す文
字列連鎖抽出器、２７０２は文字連鎖の出現回数とレコ
ード番号を読み取る文字連鎖頻度計数器、２７０３は文
字連鎖抽出器で取得した文字連鎖に対してパターン種別
毎に文字連鎖の出現回数を頻度メモリから取り出し、な
ければ２７０２で取得した文字連鎖の頻度を計算する頻
度計数器、２７０４は２７０３から得られた文字連鎖ま
たは文字連鎖パターンに対して文書番号毎にどのパター
ン種別に含まれるかを文字連鎖パターンの出現回数の合
計またはある閾値の出現回数の合計を算出し、パターン
種別毎の大小を比較して合計の大きいほうの頻度メモリ
２７０５のパターン種別に文字連鎖パターンを格納し、
テストパターンに対してはパターン種別を判別結果とし
て通知するパターン分類器である。

【００８０】よって、この方法により、テストデータが
どのパターンに入るかを自動的に判定することができ
る。また文字の種類、フォントなどがコード付けされて
いない場合でも分類できるという効果がある。また言語
毎の辞書を用意する必要がなくパターンを分類すること
ができる。またルールを参照しながら言語毎のファイル
を作成し、かつ言語毎またはパターンの分類をその出現
の関係から再構築して作成しつつ、入力された文字列か
らどの言語またはパターンに属するかを判別することが
できる。

【００８１】（実施の形態９）文字列の言語判別の例と
して、統一コード（ユニコード）またはローカルコード
（ＥＵＣなど）で使用された文字列データ共通で使用す
る場合を考える。図３２に示すブロック構成図の流れに
従って実施例を示す。

【００８２】はじめに、入力文字列が統一コードまたは
ローカルコードで管理されているときの文字コードの例
を図２８に示す文字種別コードテーブルメモリに格納さ
れている（第３２図３２０３）。図２８の２８０１〜２
８０４は統一コードのテーブルであり、２８０１はひら
かな・片仮名のコードテーブル、２８０２は漢字のテー
ブル、２８０３は記号のテーブル、２８０４はハングル
のテーブルで、それぞれコード番号がユニークにつけら
れている。一方、図２８の２８０５〜２８０９ではロー
カルコードのテーブルであり、２８０５は日本語コード
でのひらかな・片仮名、２８０６は中国語コードでのひ
らかな・片仮名、２８０７はハングルコードでのひらか
な・片仮名が格納されており、文字種別によってコード
番号が異なっている。 以下２８０８は漢字、２８０９
は記号のローカルコードである。入力データは図３０の
ような文字列とする。

【００８３】本実施例では統一コードを使った例で説明
し、ローカルコードを使用した場合との相違点を適宜実
施例の中で説明する。

【００８４】図３０の「日本にあう漢字」の各文字のコ
ード番号が対応づけされている。このとき、コード識別
指定器３２０１が指定された文字コード体系（統一コー
ドまたはローカルコード）を読み取り、２文字連鎖抽出
器３２０２が入力データから２文字連鎖「日本」「本
に」「にあ」「あう」「う漢」「漢字」を切り出す。続
けて、言語別出現頻度計数器３２０４で、ユニコードの
場合の文字列を文字種別コードテーブルメモリ３２０３
からコード番号対応をおこない、２文字連鎖の第１文字
目のコード番号を調べ、漢字、ひらかな、…の文字種毎
に出現の個数を算出する。たとえば、図３０の入力文字
列の場合は２文字連鎖の個数が６個で、第１文字目が漢
字の連鎖は３、ひらかな・片仮名の連鎖は３であり、そ
の他は０である。従って漢字の出現度５０％、ひらかな
・片仮名も５０％である。続いて言語別分布間距離算出
器３２０６に２文字連鎖の出現度を送る。

【００８５】次に言語別分布テーブルメモリ３２０５か
ら文字出現％を読み取る。言語別分布テーブルメモリ３
２０５は、各言語で書かれたデータから２文字連鎖の出
現パターンの割合を算出された学習テーブルであり、日
本語、中国語、ハングルのそれぞれの言語に対して漢
字、ひらかな・片仮名、記号、ハングル、その他の文字
種毎の出現％がテーブルとして格納されている。言語別
分布間距離算出器３２０６は、図３１の距離算出のルー
ルに従って、既に抽出したデータと上記学習テーブルと
の分布間の距離を測定する。たとえば、日本語の基準の
場合は、（５０％（漢字出現％）−４９％）の２乗＋
（５０％（ひらかな）−４１％）の２乗＋（０％（記
号）−１０％）の２乗＋（０％（ハングル）−０）の２
乗＝１８２となる。同様にして、中国語の基準の場合に
は１３７６、ハングルの場合は９８９５となる。この結
果を比較器３２０７に送り、比較器では日本語、中国
語、ハングルを基準とした値の最小となる基準を調べる
と日本語の１３７６が該当する。以上の結果から、入力
された文字列は日本語と判定する。

【００８６】なお、図３１の距離は各文字種の出現％と
学習テーブルの出現％との２乗としたが、距離として絶
対値など三角不等式（すなわち、d(x,z) ≦ d(x,y)+d
(y,z)（dは距離関数、ｘ、ｙは任意の値）を満たす関係
であればどのような距離でもよい。また、本実施例では
コード化されたパターンであれば文字に限定されず、◎
◇などの記号や図形などコード化された対象であれば特
に限定しなくてもよい。

【００８７】

【発明の効果】以上説明したように本発明は、ある言語
で記述されている文字列に対して、その国の言語の記述
の特徴を利用し、その言語で頻繁に出現する特定文字ま
たは特定の範囲の文字に着目し、識別対象の文字列の特
定文字の出現率を求めるか、または特定文字間の文字列
長の平均を求めるか、または特定範囲文字の出現率を求
めることにより、入力文字列の言語を識別することがで
きるという効果を有する。

【００８８】また、第２に、文書検索で作成されるイン
デックスとして２文字連鎖による検索方式を利用してお
り、キーワードの先頭と末尾に区切り文字を挿入した入
力文字列に対して、登録時に作成されるインデックスに
これらの区切り文字の情報をそのまま付加して、キーワ
ード検索できるという効果を有する。

【００８９】また、第３に、与えられた文字列からどの
言語に属するかを自動的に判別することができる効果を
有し、また、文字列の特徴がコードとして決められてお
り、特に、文字パターンの形状、たとえばフォントな
ど、で分類されている場合の言語またはグループ種別を
自動的に判別することができる効果がある。

【図面の簡単な説明】

【図１】本発明の第１の方法の実施例における情報処理
装置のブロック構成図

【図２】本発明の第１の文字コード言語識別の方法を示
す概念図

【図３】本発明の第２の方法の実施例における情報処理
装置のブロック構成図

【図４】本発明の第２の文字コード言語識別の方法を示
す概念図

【図５】本発明の第３の方法の実施例における情報処理
装置のブロック構成図

【図６】本発明の第３の文字コード言語識別の方法を示
す概念図

【図７】本発明の第４の方法の実施例における情報処理
装置のブロック構成図

【図８】本発明の第４のキーワード検索の方法を示す概
念図

【図９】本発明の第５の方法の実施例におけるコードテ
ーブルを示す図

【図１０】本発明の第５の方法の実施例におけるパター
ン記憶装置の構造図

【図１１】本発明の第５の方法の実施例における判別対
象の文字列の概念図

【図１２】本発明の第５の方法の実施例におけるパター
ン判別過程のデータ構造を説明する説明図

【図１３】本発明の第５の方法の実施例における情報処
理装置のプロック構成図

【図１４】本発明の第６の方法の実施例におけるサンプ
ルデータの概念図

【図１５】本発明の第６の方法の実施例における文字連
鎖出現率を示す説明図

【図１６】本発明の第６の方法の実施例における頻度メ
モリのデータ構造とデータの概念図

【図１７】本発明の第６の方法の実施例におけるテスト
文字列の概念図

【図１８】本発明の第６の方法の実施例における情報処
理装置のプロック構成図

【図１９】本発明の第７の方法の実施例におけるサンプ
ルデータの概念図

【図２０】本発明の第７の方法の実施例における連鎖変
換されたデータの概念図

【図２１】本発明の第７の方法の実施例における頻度メ
モリのデータ構造とデータを説明する説明図

【図２２】本発明の第７の方法の実施例における情報処
理装置のプロック構成図

【図２３】本発明の第８の方法の実施例におけるコード
テーブルの概念図

【図２４】本発明の第８の方法の実施例における文字連
鎖データの概念図

【図２５】本発明の第８の方法の実施例における文字連
鎖照合時の文字連鎖データの概念図

【図２６】本発明の第８の方法の実施例における頻度メ
モリのデータ構造とデータを説明する説明図

【図２７】本発明の第８の方法の実施例における情報処
理装置のブロック構成図

【図２８】本発明の第９の方法の実施例における文字種
別コードテーブルメモリの構成図

【図２９】本発明の第９の方法の実施例における言語別
分布テーブルメモリの構成図

【図３０】本発明の第９の方法の実施例における入力文
字列データの概念図

【図３１】本発明の第９の方法の実施例における距離判
定算出の方法を説明する説明図

【図３２】本発明の第９の方法の実施例におけるブロッ
ク構成図

【符号の説明】

１０１ 特定文字識別器 １０２ 特定文字計数器 １０３ 力文字計数器 １０４ 出現率算出器 １０５ 標準出現率メモリ １０６ 比較器 １０７ 文字列終了検出器 ３０１ 特定文字識別器 ３０２ 文字列長計数器 ３０３ 加算器 ３０４ 特定文字計数器 ３０５ 平均文字列算出器 ３０６ 標準文字列長メモリ ３０７ 比較器 ３０８ 文字列終了検出器 ５０１ 特定範囲文字識別器 ５０２ 特定範囲文字計数器 ５０３ 入力文字計数器 ５０４ 出現率算出器 ５０５ 標準出現率メモリ ５０６ 比較器 ５０７ 文字列終了検出器 ７０１ 文字列変換器 ７０２ 区切り文字検出器 ７０３ ２文字連鎖検出器 ７０４ 区切り文字連鎖検出器 ７０５ ２文字連鎖メモリ ７０６ 文字列変換器 ７０７ ２文字連鎖検出器 ７０８ 比較器 ７０９ 制御部 ９０１ Ａ群のパターンコード ９０２ Ｂ群のパターンコード ９０３ Ｃ群のパターンコード １１０１ 判別対象の文字列 １３０１ 文字連鎖抽出器 １３０２ パターン算出器 １３０３ コードテーブル １３０４ パターン判定器 １３０５ パターン記憶器 １４０１ サンプルパターン（中国語） １４０２ ２文字連鎖 １４０３ ２文字連鎖 １４０４ ２文字連鎖 １４０５ ２文字連鎖 １４０６ サンプルパターン（日本語） １４０７ ２文字連鎖 １４０８ ２文字連鎖 １４０９ ２文字連鎖 １４１０ ２文字連鎖 １４１１ ２文字連鎖 １４１２ サンプルパターン（日本語） １５０１ 出現パターン １５０２ 出現パターン １５０３ 出現パターン １５０４ 出現パターン １５０５ 出現パターン １５０６ 出現パターン １５０７ 出現パターン １５０８ 出現パターン １５０９ 出現パターン １７０１ テストパターン １７０２ ２文字連鎖 １７０３ ２文字連鎖 １７０４ ２文字連鎖 １７０５ ２文字連鎖 １７０６ ２文字連鎖 １９０１ サンプルパターン（中国語） １９０２ ２文字連鎖 １９０３ ２文字連鎖 １９０４ ２文字連鎖 １９０５ ２文字連鎖 １９０６ サンプルパターン（日本語） １９０７ ２文字連鎖 １９０８ １文字 １９０９ １文字 １９１０ １文字 １９１１ ２文字連鎖 ２３０１ Ａ群のパターンコード ２３０２ Ｂ群のパターンコード ２４０１ 文字連鎖パターン ２４０２ 文字連鎖パターン ２４０３ 文字連鎖パターン ２４０４ 文字連鎖パターン ２４０５ 文字連鎖パターン ２４０６ 文字連鎖パターン ２４０７ 文字連鎖パターン ２８０１ ひからな・片仮名用コード（統一コード） ２８０２ 漢字コード（統一コード） ２８０３ 記号コード（統一コード） ２８０４ ハングルコード（統一コード） ２８０５ ひらかな・片仮名日本語ローカルコード ２８０６ ひらかな・片仮名中国語ローカルコード ２８０７ ひらかな・片仮名ハングルローカルコード ２８０８ 漢字ローカルコード ２８０９ 記号ローカルコード

Claims (26)

【特許請求の範囲】
1. 【請求項１】 文字列の全ての文字に対して、検出目標
   言語の特定文字コードの文字である特定文字を検出しカ
   ウントする特定文字計数手段と、前記計数手段により得
   られた特定文字数と入力文字列の文字数から特定文字の
   出現率を求める出現率算出手段と、目標言語の特定文字
   の標準出現率をあらかじめ記憶する標準出現率格納手段
   と、前記出現率算出手段から得られる入力文字列の特定
   文字出現率と前記標準出現率格納手段から得られる標準
   出現率を比較する比較手段とを備え、 文字列が目標の言語に該当する性質の文字列であるかど
   うか判断することを特徴とする情報処理装置装置。
2. 【請求項２】 文字列の全ての文字に対して、検出目標
   言語の文字コードの中で１つまたは複数の特定文字を検
   出しカウントする特定文字検出手段と、前記検出手段に
   より得られた特定文字の間の非特定文字からなる文字列
   を抽出しその文字数を検出する非特定文字列検出手段
   と、前記非特定文字列検出手段から得られる非特定文字
   列の文字列長の平均を求める平均文字列長算出手段と、
   目標言語の非特定文字の標準平均文字列長をあらかじめ
   記憶する標準文字列長格納手段と、前記平均文字列長算
   出手段から得られる入力文字列の非特定文字長と前記標
   準文字列長格納手段から得られる標準平均文字列長を比
   較する比較手段とを備え、 文字列が目標の言語に該当する性質の文字列であるかど
   うか判断することを特徴とする情報処理装置。
3. 【請求項３】 文字列の全ての文字に対して、検出目標
   言語の特定の範囲の文字コードの文字である特定範囲文
   字を検出しカウントする特定範囲文字計数手段と、前記
   計数手段により得られた特定範囲文字数と入力文字列の
   文字数から特定範囲文字の出現率を求める出現率算出手
   段と、目標言語の特定範囲文字の標準出現率をあらかじ
   め記憶する標準出現率格納手段と、前記出現率算出手段
   から得られる入力文字列の特定範囲文字出現率と前記標
   準出現率格納手段から得られる標準出現率を比較する比
   較手段とを備え、 文字列が目標の言語に該当する性質の文字列であるかど
   うか判断することを特徴とする情報処理装置。
4. 【請求項４】 請求項３に記載の比較手段は、特定範囲
   文字を規定する範囲を２つ以上持つことにより２つ以上
   の特定範囲文字の出現率を比較することを特徴とする請
   求項３記載の情報処理装置。
5. 【請求項５】 文字列を登録する際に、入力する文字列
   で意味が区切られる文字列であるキーワードの境界に入
   力文字列に存在しない特別な制御文字コードである区切
   り文字を挿入する第１の区切り文字挿入手段と、前記区
   切り文字が挿入された文字列に対し区切り文字がある場
   合は、区切り文字を間に挟む３文字の連鎖として抽出す
   る検出手段と、その区切り文字の前後の文字による文字
   連鎖と、その区切り文字とその区切り文字の前の文字に
   よる文字連鎖と、その区切り文字とその区切り文字の後
   の文字による文字連鎖を生成する文字連鎖生成手段と、
   検索時に入力文字列の先頭または、末尾または、先頭お
   よび末尾に区切り文字を挿入する第２の手段を設ける区
   切り文字挿入手段とを有した情報処理装置。
6. 【請求項６】 文字列を登録する際に、前記キーワード
   の境界に区切り文字を挿入する区切り文字挿入手段と、
   前記区切り文字挿入手段により生成された入力文字列の
   文字が特定の区切り文字の場合、その区切り文字の前の
   文字とその区切り文字の２文字による連鎖と、その区切
   り文字とその区切り文字の後の文字の２文字による連鎖
   と、その区切り文字の前の文字と後の文字の２文字によ
   る２文字連鎖を生成する第１の文字連鎖生成手段と、入
   力する文字が区切り文字でない場合は、最初の文字とそ
   れに続く文字の２文字を２文字連鎖として生成する第２
   の文字連鎖生成手段と、２文字連鎖とその連鎖の各文字
   の出現回数を格納する文字連鎖記憶手段と、照合する文
   字列の先頭と末尾に特定の区切り文字を挿入する検索文
   字列生成手段と、前記検索文字列生成手段により生成さ
   れた検索文字列の文字の最初の文字とそれに続く文字の
   ２文字を２文字連鎖として生成する第３の文字連鎖生成
   手段と、前記第３の文字連鎖生成手段で生成した文字連
   鎖と同じ文字連鎖を文字連鎖記憶手段より検出しその出
   現回数を検出する検出手段と、前の連鎖の後の文字が次
   の連鎖の前の文字である連続する２つの連鎖の前の連鎖
   の後の文字の出現回数と次の連鎖の初めの文字の出現回
   数が等しいか否かを判断する比較手段を備え、 照合時に前記第３の文字連鎖生成手段で抽出された全て
   の連鎖に対して前記比較手段で前の連鎖の後の文字の出
   現回数と次の連鎖の初めの文字の出現回数が等しいかど
   うか判断することにより検索文字列の検出と区切り文字
   挿入による検索文字列の境界を検出することによりキー
   ワード検索を行うことを特徴とする情報処理装置。
7. 【請求項７】 文字列を登録する際に、前記キーワード
   の境界に区切り文字を挿入する区切り文字挿入手段と、
   前記区切り文字挿入手段により生成された入力文字列の
   文字が特定の区切り文字の場合、その区切り文字の前の
   文字とその区切り文字の２文字による連鎖と、その区切
   り文字とその区切り文字の後の文字の２文字による連鎖
   と、その区切り文字の前の文字と後の文字の２文字によ
   る２文字連鎖を生成する第１の文字連鎖生成手段と、入
   力する文字が区切り文字でない場合は、最初の文字とそ
   れに続く文字の２文字を２文字連鎖として生成する第２
   の文字連鎖生成手段と、２文字連鎖とその連鎖の各文字
   の出現位置を格納する文字連鎖記憶手段と、照合する文
   字列の先頭と末尾に特定の区切り文字を挿入する検索文
   字列生成手段と、前記検索文字列生成手段により生成さ
   れた検索文字列の文字の最初の文字とそれに続く文字の
   ２文字を２文字連鎖として生成する第３の文字連鎖生成
   手段と、前記第３の文字連鎖生成手段で生成した文字連
   鎖と同じ文字連鎖を文字連鎖記憶手段より検出しその出
   現位置を検出する検出手段と、前の連鎖の後の文字が次
   の連鎖の前の文字である連続する２つの連鎖の前の連鎖
   の後の文字の出現位置と次の連鎖の初めの文字の出現位
   置が等しいか否かを判断する比較手段を備え、 照合時に前記第３の文字連鎖生成手段で抽出された全て
   の連鎖に対して前記比較手段で前の連鎖の後の文字の出
   現位置と次の連鎖の初めの文字の出現位置が等しいかど
   うか判断することにより検索文字列の検出と区切り文字
   挿入による検索文字列の境界を検出することによりキー
   ワード検索を行うことを特徴とする情報処理装置。
8. 【請求項８】 請求項６または請求項７に記載の検索文
   字列生成手段に代わり、照合する文字列の先頭に特定の
   区切り文字を挿入する検索文字列生成手段を備えること
   により、検索文字列の先頭文字の境界を検出することに
   より検索文字列の前方一致検索を行うことを特徴とする
   請求項６または請求項７記載の情報処理装置。
9. 【請求項９】 請求項６または請求項７に記載の検索文
   字列生成手段に代わり、照合する文字列の末尾に特定の
   区切り文字を挿入する第３の検索文字列生成手段を有す
   ることにより、検索文字列の終端文字の境界を検出する
   ことにより検索文字列の後方一致検索を行うことを特徴
   とする請求項６または請求項７記載の情報処理装置。
10. 【請求項１０】 文字列データが予め決められた数種類
    の言語種別に対してどの言語に含まれるかを一意にパタ
    ーン識別する情報処理装置において、パターン識別に用
    いるコード化された文字が同一次元の複数のコード群に
    コードテーブルとして分類された文字コードに対して、
    文字コード群の組み合わせによりパターン群を構成する
    プログラムを記録したコンピュータ読み取り可能な記憶
    媒体であって、 ｎ文字の組み合わせで、組み合わせを構成するコードが
    前記複数の文字群にいずれかに含まれた文字群と文字群
    が組み合わせされた第１のデータと、 前記第１のデータの組み合わせのパターンに対応させた
    数値とする第２のデータと、 第１のデータと第２のデータの組み合わせから、予め決
    められたパターン分類に割り振られた第３のデータと、 をパターン記憶するステップを有したプログラムを記録
    したコンピュータ読み取り可能な記憶媒体。
11. 【請求項１１】 前記第１データが、２文字の組み合わ
    せで、組み合わせを構成するコードが前記複数の文字群
    にいずれかに含まれた文字群と文字群が組み合わせされ
    たことを特徴とする請求項１０記載の記録媒体。
12. 【請求項１２】 請求項１０または請求項１１に記載の
    記憶媒体と、文字列から２文字の連鎖を検出し２文字の
    連鎖を構成する文字が含まれる文字群を決定する文字連
    鎖抽出手段と、前記文字連鎖抽出手段で決定した文字群
    の組み合わせが、前記パターン記憶手段のパターンと一
    致するするかどうかを比較し、一致するパターンの数値
    を取得するパターン算出手段と、前記パターン算出手段
    で算出した全ての文字の連鎖に対する値とその組み合わ
    せのパターンが、前記パターン記憶手段が格納している
    第１のデータ、第２のデータ、または第３のデータと一
    致するものの個数が最大のものをパターン記憶手段のパ
    ターンの組み合わせと判断するパターン判断手段とを備
    えたことを特徴とする請求項１０または請求項１１に記
    載の情報処理装置。
13. 【請求項１３】 前記パターン判断手段が、全ての文字
    の連鎖に対してパターン算出手段で算出した数値の平均
    値を算出し、パターン記憶手段の第２のデータと最も近
    い値をパターン記憶手段のパターンの組み合わせと判断
    することを特徴とする請求項１２記載の情報処理装置。
14. 【請求項１４】 前記パターン判断手段が、全ての文字
    の連鎖に対してパターン算出手段で算出した数値の最頻
    値を算出し、パターン記憶手段の第２のデータと最も近
    い値をパターン記憶手段のパターンの組み合わせと判断
    することを特徴とする請求項１２記載の情報処理装置。
15. 【請求項１５】 文字列データが予め決められた数種類
    の言語種別に対してどの言語に含まれるかを一意にパタ
    ーン識別する情報処理装置で、文字コードの組み合わせ
    でパターンをあらわすパターン群に対し、文字コードが
    パターン群それぞれで重複している場合において、パタ
    ーン識別に用いる文字群の組み合わせによりパターン群
    を構成するプログラムを記録したコンピュータ読み取り
    可能な記憶媒体であって、 予めパターン種別が知られているパターン群に対して２
    文字の組み合わせパターンである第１のデータと、前記
    第１のデータを示すパターン種別である２のデータと、
    第１のデータと第２のデータの組み合わせの出現回数を
    示す第３のデータと、をパターン記憶するステップを有
    したプログラムを記録したコンピュータ読み取り可能な
    記憶媒体。
16. 【請求項１６】 請求項１５に記載のパターンデータの
    全ての２文字連鎖を抽出する文字連鎖抽出手段と、各文
    字連鎖の出現回数を算出し、前記記憶媒体に文字連鎖パ
    ターンと出現回数を、パターン種別毎に格納する文字連
    鎖頻度計数手段と、与えられたパターンに対して２文字
    連鎖を抽出する前記文字連鎖抽出手段と、抽出した文字
    連鎖に該当する文字連鎖パターンの出現回数をパターン
    種別毎に前記記憶媒体から抽出する頻度計数手段と、前
    記頻度計数手段から得られた出現回数をすべての抽出さ
    れた文字連鎖と照合し、出現回数の合計がもっとも高く
    なるパターン種別を与えられたパターンが含まれるパタ
    ーン種別と判定する照合手段とを備えたことを特徴とす
    る請求項１５記載の情報処理装置。
17. 【請求項１７】 前記照合手段が、出現回数の合計があ
    る閾値を越えるようなパターン種別が、与えられたパタ
    ーンが含まれるパターン種別と判定することを特徴とす
    る請求項１６記載の情報処理装置。
18. 【請求項１８】 前記照合手段が、各文字連鎖について
    の出現回数がある閾値を越える文字連鎖パターンの出現
    頻度の合計がもっとも高くなるパターン種別を、与えら
    れたパターンが含まれるパターン種別と判定することを
    特徴とする請求項１７記載の情報処理装置。
19. 【請求項１９】 前記パターンデータの全ての文字連鎖
    を抽出する際に、文字種ごとまたは少なくても1つの言
    語を単語区切りができる区切り手段と、前記区切り手段
    をもとに文字連鎖を抽出する文字連鎖抽出手段と、文字
    連鎖が１文字の場合には同じ文字を重ねて文字連鎖とす
    る連鎖変換手段と、各文字連鎖の出現回数を算出し、前
    記記憶媒体に文字連鎖パターンと出現回数を、パターン
    種別毎に格納する文字連鎖頻度計数手段と、与えられた
    パターンに対して２文字連鎖を抽出する前記文字連鎖抽
    出手段と、抽出した文字連鎖に該当する文字連鎖パター
    ンの出現回数をパターン種別毎に前記記憶媒体から抽出
    する頻度計数手段と、前記頻度計数手段から得られた出
    現回数をすべての抽出された文字連鎖と照合し、出現回
    数の合計がもっとも高くなるパターン種別を与えられた
    パターンが含まれるパターン種別と判定する照合手段と
    を備えたことを特徴とする請求項１０、請求項１１また
    は請求項１５記載の情報処理装置。
20. 【請求項２０】 文字列データが予め決められた数種類
    の言語種別に対してどの言語に含まれるかを一意にパタ
    ーン識別する情報処理装置において、パターン識別に用
    いる文字群の組み合わせによりパターン群を構成するプ
    ログラムを記録したコンピュータ読み取り可能な記憶媒
    体であって、 テキストデータに対して、パターン分類毎または言語毎
    に、２文字の組み合わせ文字連鎖パターン、文字連鎖パ
    ターンの文書番号を文字連鎖パターン毎にパターン記憶
    するステップを有するプログラムを記録したコンピュー
    タ読み取り可能な記憶媒体。
21. 【請求項２１】 請求項２０に記載のテキストデータの
    全ての２文字連鎖を抽出する文字連鎖抽出手段と、各文
    字連鎖の出現回数を算出し、前記に文字連鎖パターンと
    出現回数と文書番号を、パターン種別毎に算出する文字
    連鎖頻度計数手段と、前記文字連鎖頻度計数手段で取得
    した文字連鎖パターンと前記記憶媒体の文字連鎖パター
    ンの頻度をパターン分類毎に取り出し、各パターン分類
    の文字連鎖パターンの頻度の合計値を比較し、パターン
    分類の大きいほうの前記パターン記憶手段のパターン分
    類に文字連鎖パターンと出現回数と文書番号を格納する
    文字頻度比較手段と、与えられたパターンに対して２文
    字連鎖を抽出する前記文字連鎖抽出手段と、抽出した文
    字連鎖に該当する文字連鎖パターンの出現回数をパター
    ン種別毎に前記記憶媒体から抽出する頻度計数手段と、
    前記頻度計数手段から得られた出現回数をすべての抽出
    された文字連鎖と照合し、出現回数の合計がもっとも高
    くなるパターン種別を与えられたパターンが含まれるパ
    ターン種別と判定する照合手段とを備えたことを特徴と
    する情報処理装置。
22. 【請求項２２】 請求項２１に記載の文字頻度比較手段
    が、出現回数の合計がある閾値を越えるようなパターン
    種別が、与えられたパターンが含まれるパターン種別と
    判定することを特徴とする請求項２１記載の情報処理装
    置。
23. 【請求項２３】 請求項２２に記載の文字頻度比較手段
    が、各文字連鎖についての出現回数がある閾値を越える
    文字連鎖パターンの出現頻度の合計がもっとも高くなる
    パターン種別を、与えられたパターンが含まれるパター
    ン種別と判定することを特徴とする請求項２２記載の情
    報処理装置。
24. 【請求項２４】 文字列データで、文字コードが文字フ
    ォント毎にが決められている予め決められた数種類の言
    語種別に対してどの言語に含まれるかを一意にパターン
    識別する情報処理装置において、パターン識別に用いる
    文字群の組み合わせによりパターン群をを構成するプロ
    グラムを記録したコンピュータ読み取り可能な記憶媒体
    であって、 言語毎に文字を構成する２文字の組み合わせで、１文字
    目が漢字、ひらがな・片仮名、記号、ハングル、その他
    の文字の各文字種別ごとに出現割合を格納することを特
    徴とする言語別分布テーブルにパターン記憶するステッ
    プを有するプログラムを記録したコンピュータ読み取り
    可能な記憶媒体。
25. 【請求項２５】 使用する文字コードの体系が統一コー
    ドまたはローカルコードを読み取るコード種別指定手段
    と、入力文字列データの全ての２文字連鎖を抽出する文
    字連鎖抽出手段と、指定されたコード体系に従って、言
    語毎に漢字、平かな・片仮名、記号、ハングル、その他
    の２文字連鎖を分類し、それぞれ出現割合を算出する出
    現回数計数手段と、指定されたコード体系で、各言語毎
    で、漢字、平かな・片仮名、記号、ハングルの出現割合
    と記憶手段が管理している言語毎で漢字、平かな・片仮
    名、記号、ハングルの出現分布との距離の合計を算出す
    る言語別分布距離算出手段と、前記言語別分布算出手段
    からもっとも距離の値が小さいものを算出して、最小の
    ものを含む言語種別を、入力された文字列の言語と判定
    する比較手段とを備えたことを特徴とする情報処理装
    置。
26. 【請求項２６】 請求項１２、１６、１９、２１、２５
    に記載のパターン判定手段は、請求項１、２、３、６の
    いずれかに記載の情報処理装置の判定結果の結果と、請
    求項１２、１６、１９、２１、２５記載のいずれかのパ
    ターン判定で得られた結果とを比較して一致していると
    きに入力文字列の言語を判定することを特徴とする請求
    項１２、１６、１９、２１、２５のいずれかに記載の情
    報処理装置。