JP2009093671A - かな漢字変換装置およびかな漢字変換プログラム - Google Patents

Abstract

【課題】かな漢字変換処理に手間をかけることなく、変換処理速度を高速に維持することができるかな漢字変換装置およびかな漢字変換プログラムを提供する。
【解決手段】かな漢字変換装置１は、入力される記号列を特定の単語に対応させる入力記号列辞書と、単語間の接続確率とを記憶する記憶手段を有するものであって、記号列を入力する入力手段と、この入力手段によって、入力された記号列と、入力記号列辞書に含まれている単語とを比較し、これらの類似の度合いを表す類似度スコアを算出する類似度スコア算出手段３ａと、類似度スコアおよび単語の接続確率に基づいた言語モデルスコアを参照して、入力手段によって入力された記号列を、かなおよび漢字を含む文字列に変換するかな漢字変換手段３ｃと、変換された文字列を出力する出力手段とを備えている。
【選択図】図１

Description

本発明は、入力された記号列を、かな漢字を含む文字列に変換するかな漢字変換装置およびかな漢字変換プログラムに関する。

一般に、キーボード等の入力装置を使って、入力される読みかな等から、かな漢字が含まれる文字列を生成するものとして、ワードプロセッサ等のかな漢字変換装置が知られている。この従来のかな漢字変換装置では、単語（自立語と付属語）を単位とする単語辞書が備えられており、入力した記号列（読み仮名等）を単語単位で解析し、品詞および各単語間の接続の可否情報（以下、構文解析という）が考慮されて、かなおよび漢字を含む文字列に変換する、かな漢字変換が行われている（例えば、特許文献１参照）。

特許文献１に記載の発明は、文字や品詞の優先度を事前に計算し、かな漢字変換候補の文章の評価によって絞り込むことで、少数の文章に対してＮグラムの評価を行うことを可能とし、最適なかな漢字変換候補を選択するものである。
特許第３６２２８４１号公報

しかしながら、従来のかな漢字変換装置では、構文解析の結果に基づいて、入力された記号列（読みがな）が文字列に変換されるので、変換処理手順が膨大となって処理速度が制約されるという問題がある。また、構文解析の精度によって、入力された記号列から文字列への変換性能が影響され、新規の単語を変換させるためには、使用している単語辞書に当該新規の単語を追加すると共に、この単語の品詞情報を入力してやらなければならず、手間がかかるという問題がある。

さらに、発声された音声（例えば、ニュース等）を、従来のかな漢字変換装置を使用して、当該装置の使用者が、実時間でかな漢字を含む文字列に書き起こす場合を想定する。この場合、従来のかな漢字変換装置の構文解析では、日本語に多種類の同音異義語が存在し、自立した単語（名詞）と付属した単語（助詞）との語句間の接続が多様であるので、入力した記号列（読みがな）をかな漢字を含む文字列に速く変換できない場合があり、音声の発声に比べ、書き起こしが遅れてしまうという問題がある。

本発明の目的は前記した従来の技術が有する課題を解消し、かな漢字変換処理に手間をかけることなく、変換処理速度を高速に維持することができるかな漢字変換装置およびかな漢字変換プログラムを提供することにある。

前記目的を達成するため、請求項１記載のかな漢字変換装置は、入力される記号列を特定の単語に対応させる入力記号列辞書と、単語間の接続確率とを記憶する記憶手段を有するかな漢字変換装置であって、前記記号列を入力する入力手段と、類似度スコア算出手段とスコア加算手段とトークン削除手段とを備え、かな漢字変換の候補であってスコアと単語履歴とを含むトークンが前記単語末の前記トークンであるかどうかを判断するトークン計算部と、を備え、前記類似度スコア算出手段は、前記入力手段によって、入力された前記記号列と、前記入力記号列辞書に含まれている単語とを比較し、動的計画法におけるマッチングをしたときの距離を前記単語の数だけ累積し、この累積した累積距離が最大となる、これらの類似の度合いを表す類似度スコアを算出し、前記スコア加算手段は、前記類似度スコア算出手段によって算出された類似度スコアと、前記単語間の接続確率に基づいて得られたｎ−ｇｒａｍモデルの言語スコアとを加算した前記トークンの全スコアを求めると共に、前記単語末に達した前記トークンについて、当該全スコアに次の単語の前記言語スコアを加算し、前記トークン削除手段は、前記スコア加算手段が求めた全ての前記トークンの中で最大の前記スコアの値から予め決められた閾値以内に入っていない前記スコアのトークンを削除し、前記トークン計算部は、前記単語末に達したトークンの中で、最大の前記スコアを持つ単語履歴をかな漢字変換単語列として出力することを特徴とする。

このかな漢字変換装置では、入力された記号列を品詞に分解して、構文解析することなく、音声認識の手法に基づき、入力された記号列を、不特定の波形とみなして、この波形を認識する手段が応用されている。

また、請求項２記載のかな漢字変換プログラムは、入力される記号列を特定の単語に対応させる入力記号列辞書と、単語間の接続確率とを記憶する記憶手段と、前記記号列を入力する入力手段と、を備えるコンピュータを、類似度スコア算出手段とスコア加算手段とトークン削除手段とを備え、かな漢字変換の候補であってスコアと単語履歴とを含むトークンが前記単語末の前記トークンであるかどうかを判断するトークン計算部、として機能させ、前記類似度スコア算出手段は、前記入力手段によって、入力された前記記号列と、前記入力記号列辞書に含まれている単語とを比較し、動的計画法におけるマッチングをしたときの距離を前記単語の数だけ累積し、この累積した累積距離が最大となる、これらの類似の度合いを表す類似度スコアを算出し、前記スコア加算手段は、前記類似度スコア算出手段によって算出された類似度スコアと、前記単語間の接続確率に基づいて得られたｎ−ｇｒａｍモデルの言語スコアとを加算した前記トークンの全スコアを求めると共に、前記単語末に達した前記トークンについて、当該全スコアに次の単語の前記言語スコアを加算し、前記トークン削除手段は、前記スコア加算手段が求めた全ての前記トークンの中で最大の前記スコアの値から予め決められた閾値以内に入っていない前記スコアのトークンを削除し、前記トークン計算部は、前記単語末に達したトークンの中で、最大の前記スコアを持つ単語履歴をかな漢字変換単語列として出力することを特徴とする。

本発明は、以下に示す優れた効果を奏する。
請求項１、２記載の発明によれば、入力された記号列を品詞に分解して、構文解析することがないので、かな漢字変換処理において、例えば、従来のかな漢字変換装置に比べ、単語を追加した場合に、この単語の品詞情報をその都度加える手間をかけることなく、かな漢字変換が実行できる。

以下、本発明の一実施形態を図面に基づいて詳細に説明する。
（かな漢字変換装置の構成）
図１は、かな漢字変換装置の概略を説明した説明図である。図１に示すように、かな漢字変換装置１は、複数のトークン計算部３と、記憶部５とを備えて構成されている。

このかな漢字変換装置１は、図示を省略したキーボード、マウス等の入力手段が使用されて、記号列（読み仮名等）が入力された場合、音声認識に用いられるトークンを利用して、当該記号列をかなおよび漢字を含んだ文字列に変換する装置である。

なお、この実施の形態では、かな漢字変換装置１は、一般的なコンピュータであって、その本体内部にＣＰＵ、メインメモリ、ハードディスク等が備えられ、これらがデータバス等で接続されている。また、本体外部にキーボード、マウス等（入力手段）が備えられており、さらに、表示出力用のディスプレイ等が備えられて構成されている。

そして、図１に示した複数のトークン計算部３は、かな漢字変換装置１のＣＰＵ、メインメモリを含んでなる主制御部（図示せず）に展開しているプログラムであり、後記（動作例の説明）するように、入力された記号列を文字列に変換する過程において、必要に応じて、並列的に複数個、主制御部に展開するものである。

トークン計算部３は、入力記号列データ、例えば、ローマ字、ひらがな、単語を指定可能な記号が入力されると、次のトークン計算部３にトークンを出力するものである。それぞれのトークン計算部３では、類似度スコア算出手段３ａ、スコア加算手段３ｂ、トークン削除手段３ｃ、を含んで構成されている。

なお、トークンとは、かな漢字変換における、かな漢字変換結果の候補であって、スコアと履歴（単語の履歴）とを含んでなるものである。このかな漢字変換装置１のかな漢字変換では、入力記号列に従って、記号列に含まれると予測される単語から単語へとトークンが「伝達」し、履歴を持つようになる。

類似度スコア算出手段３ａは、入力された入力記号列データと、記憶部５に記憶されている入力記号列辞書に含まれている単語とを比較し、これらの類似の度合いを表す類似度スコアを算出するものである。なお、類似度スコアは、変換後のかな漢字変換文字列が存在する確率、入力された入力記号列データが存在する確率、を想定した場合、変換後のかな漢字変換文字列が出力されると仮定されたときに入力された入力記号列が得られる確率として求められるものである。

スコア加算手段３ｂは、類似度スコア算出手段によって算出された類似度スコアと、単語の接続確率に基づいて得られた言語モデルスコアとを加算したトークンの全スコアを求めるものである。

トークン削除手段３ｃは、全てのトークンの中で最大のスコアの値から予め決められた閾値以内に入っていないスコアを持つトークン（ビームと呼ばれる閾値以下のトークン）を削除するものである。

記憶部５は、ハードディスク等によって構成されており、入力記号列辞書と単語の接続確率を記憶するものである。なお、入力記号列辞書は、自立語と付属語とからなる膨大な単語を含んで構成されるデータベースである。また、単語の接続確率は、予め、過去のニュース原稿等を利用して求められたもので、ｎ−ｇｒａｍを使用する場合には、Ｐ（ｋｎ｜ｋ１，ｋ２・・・ｋｎ−１）である。

ここで、図１のかな漢字変換装置１の図示の仕方に関して、補足しておく。かな漢字変換装置１の内部において、複数のトークン計算部３が複数行（３行）に配置されており、その行に含まれるトークン計算部３の数が異なっているのは、先頭のトークン計算部３により、複数個の変換結果の候補（この場合３個であり、それゆえに３行）が想定され、さらに、トークン計算部３から次のトークン計算部３に伝達されるトークンに含まれるスコアによって、入力単語列データ（かな漢字変換対象）が伝達されない場合が生じるからであり、このことを模式的に表現したためである。

（かな漢字変換の原理について）
ここで、入力記号列データを、かなおよび漢字を含んだ文字列（単語列）に変換する原理について説明する。
入力記号列Ｍが入力されたときの、かな漢字変換単語列Ｋが現出する確率値で最大となるものを、かな漢字変換単語列Ｋ´とする。この場合、このかな漢字変換単語列Ｋ´の確率は、かな漢字変換単語列Ｋが存在する確率Ｐ（Ｋ）、入力単語列Ｍが存在する確率Ｐ（Ｍ）、かな漢字変換単語列Ｋが出力されると仮定されたときに入力記号列Ｍが得られる確率Ｐ（Ｍ｜Ｋ）とすると、
Ｐ（Ｋ´｜Ｍ）＝ｍａｘ（Ｐ（Ｋ）×Ｐ（Ｍ｜Ｋ）／Ｐ（Ｍ））
と表すことができる（ベイズの定理）。

ここで、Ｐ（Ｍ）は、すべてのかな漢字変換単語列Ｋにおいて、変化しないので考慮する必要がない。Ｐ（Ｋ）はｎ−ｇｒａｍモデルを用いて、
Ｐ（Ｋ）＝Ｐ（ｋ１）×Ｐ（ｋ２｜ｋ１）×Ｐ（ｋ３｜ｋ１ ｋ２）
×Ｐ（ｋ４｜ｋ１ ｋ２ ｋ３）×・・・
と記述できる。ただし、ｋ１、ｋ２、ｋ３・・・は、かな漢字変換単語列Ｋにおける１番目の単語、２番目の単語、３番目の単語、・・・のそれぞれを表している。

つまり、このＰ（Ｋ）が言語スコアを表している。また、Ｐ（Ｍ｜Ｋ）は、入力記号列と入力記号列辞書に含まれる単語との比較結果である類似度スコアを表し、
Ｐ（Ｍ｜Ｋ）＝ｍａｘ｛Ｐ（ｍ１｜ｋ１）×Ｐ（ｍ２｜ｋ２）×Ｐ（ｍ３｜ｋ３
）
×・・・｝
と記述できる。ただし、ｍ１、ｍ２、ｍ３・・・は、入力記号列Ｍをかな漢字変換単語列Ｋに割り振ったときのｋ１に対応する部分、ｋ２に対応する部分、ｋ３に対応する部分・・・のそれぞれを表している。Ｐ（ｍ１｜ｋ１）は、入力記号列ｍ１と単語ｋ１との類似度スコアを表しており、この実施の形態では、Ｐ（ｍ１｜ｋ１）＝ｍ１とｋ１とをＤＰマッチングした時の距離と定義した。

なお、ｎ−ｇｒａｍとは、音声認識において利用される、単語や音素間の関係の統計量に基づくモデルであって、単語の系列をマルコフ連鎖としてモデル化したものである。つまり、ある単語の生起確率は、直前の（ｎ−１）単語にのみ依存するというモデルで、ｎ単語連鎖の統計量（出現頻度）を数え上げることにより推定される。

また、ＤＰマッチングとは、動的計画法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）を利用したパターンマッチング的な手法の一つであり、入力された記号列と入力記号列辞書に含まれている単語の標準的なパターン（使用方法、用途例等）とをマッチングさせ、対応する単語間と標準的なパターンとの類似の度合いを“距離”とみなし、この距離を入力された入力記号列にわたって累積し、この累積距離が最小となる標準的なパターンを出力するものである。

（かな漢字変換装置の動作）
次に、図２に示すフローチャートを参照して、かな漢字変換装置１の動作を説明する。
まず、かな漢字変換装置１の図示を省略した主制御部は、入力記号列があるかどうかを判断する（Ｓ１）。入力記号列があると判断された場合には、トークン計算部３は、未計算のトークンがあるかどうかを判断する（Ｓ２）。

未計算のトークンがあると判断した場合には、トークン計算部３の類似度スコア算出手段３ａとスコア加算手段３ｂとによって、入力記号列および入力記号列辞書に含まれている単語を比較し（ＤＰマッチングしたときの距離）、類似度スコアを算出し、全スコアに加算する（Ｓ３）。続いて、トークン削除手段３ｃによって、全スコアがビームと呼ばれる閾値以下のトークンが削除され、トークン計算部３は、未計算のトークンがなくなるまで類似度スコアの算出を続ける。

そして、Ｓ２で未計算トークンがあると判断されない場合（未計算トークンがないと判断された場合）、トークン計算部３は、次のトークン計算部３に伝達していないトークンがあるかどうかが判断される（Ｓ４）。伝達していないトークンがあると判断された場合には、単語末のトークンであるかどうかが判断される（Ｓ５）。単語末のトークンであると判断されない場合には、次のトークン計算部３にトークンが伝達される（Ｓ６）。

Ｓ５で、単語末のトークンであると判断された場合には、全スコアに次の単語の言語スコア（つまり、かな漢字変換の原理のところで説明したＰ（Ｋ））を加算し、次のトークン計算部３にトークンを伝達する（Ｓ７）。
そして、Ｓ４で、伝達していないトークンがあると判断されない場合には、Ｓ１に戻り、入力記号列があるかどうかが判断され、ないと判断された場合には、先頭のトークン計算部３によって、当該トークン計算部３に伝達されたトークンの中で最大のスコアを持つ単語履歴がかな漢字変換単語列として出力される（Ｓ８）。

（かな漢字変換装置の動作例）
次に、かな漢字変換装置１の動作例（変換例）を、図３を参照して説明する。
入力記号列として（ｋ，ｕ，ｊ，ｉ，ｄ，ｅ，ｓ，ｕ）が順に入力された場合に「九、時、籤、です」の４つの単語にかな漢字変換される場合について説明する。

予め、各単語が文頭にくる確率値をトークンのスコアにする。つまり、図３に示すように、ｋｕ（九）が文頭にくるトークンのスコアは、−１０７であり、ｊｉ（時）が文頭にくるトークンのスコアは、−３０７であり、ｋｕｊｉ（籤）が文頭にくるトークンのスコアは、−１５７であり、ｄｅｓｕ（です）が文頭にくるトークンのスコアは、−５０７である。

次に、ｋが入力されると、それぞれのトークン計算部３の各トークンについて、類似度スコア算出手段３ａによって、入力された入力記号列と、入力記号列辞書に含まれている単語とに基づいて、類似度スコアが計算される。そして、この類似度スコアが、スコア加算手段３ｂによって、トークンの全スコアに加算される。

このときＨＩＴであれば、類似度スコアは０とし、ＩＮＳＥＲＴＩＯＮもしくはＤＥＬＥＴＩＯＮであれば、類似度スコアは−０．７とし、ＳＵＢＳＴＩＴＵＴＩＯＮであれば、類似度スコアは−１とする。全てのトークンについて計算した後、全てのトークンの中で最大スコアから５００以下に入っているスコアを持つトークンが、トークン削除手段３ｃによって削除される。

単語末に達したトークンについて、全スコアに次の単語との言語スコアを、スコア加算手段３ｂによって加算して、この加算されたスコアが新しい全スコアとなる。
これらの動作が繰り返し実行される。つまり、生き残ったトークンについて、類似度スコアが計算され、全スコアに加算され、この加算された全スコアが閾値以下のトークンが消去され、単語末では言語スコアが加算される。最後に先頭のトークン計算部３に入力記号列が来なくなった時点（入力がなくなった時点）で単語末に到達しているトークンの中で最大スコアを持つ単語履歴がかな漢字変換単語列（出力単語列）として出力される。

この実施の形態では以下の効果を奏す。
キーボード等によって、記号列が入力され、トークン計算部３の類似度スコア算出手段３ａによって、入力された記号列と記憶部５に記憶されている入力記号列辞書に含まれている単語とが比較され、類似度スコアが算出され、スコア加算手段３ｂによって、全スコアに加算される。そして、トークン削除手段３ｃによって、閾値以下のトークンが削除され、算出された類似度スコアおよび単語の接続確率に基づいた言語モデルスコアが参照され、入力された記号列がかな漢字変換単語列に変換される。

すなわち、このかな漢字変換装置１では、入力された記号列を品詞に分解して、構文解析することなく、音声認識の手法に基づき、入力された記号列を、不特定の波形とみなして、この波形を認識する方法が応用されているので、従来のかな漢字変換装置に比べ、例えば、当該装置に記憶されている辞書に単語を付加した場合に、この単語の品詞情報をその都度加える手間をかけることなく、かな漢字変換が実行できる。また、たとえ品詞数が増加しても、構文解析によらずにかな漢字変換しているので、変換処理速度を高速に維持することができる。

以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
また、かな漢字変換装置１における各構成の処理を、汎用のプログラムで記述したかな漢字変換プログラムとみなすことも可能である。この場合もかな漢字変換装置１で得られる効果と同様な効果が得られる。さらに、このプログラムを特定の記憶媒体に記憶し、流通させることも可能である。方法でもいいし、プログラムでもいい。

本発明による一実施の形態であるかな漢字変換装置の概略を説明したブロック図である。 かな漢字変換装置の動作を説明したフローチャートである。 かな漢字変換装置の動作例を説明した概念図である。

符号の説明

１ かな漢字変換装置
３ トークン計算部
３ａ 類似度スコア算出手段
３ｂ スコア加算手段
３ｃ トークン削除手段
５ 記憶手段

Claims (2)

1. 入力される記号列を特定の単語に対応させる入力記号列辞書と、単語間の接続確率とを記憶する記憶手段を有するかな漢字変換装置であって、
   前記記号列を入力する入力手段と、
   類似度スコア算出手段とスコア加算手段とトークン削除手段とを備え、かな漢字変換の候補であってスコアと単語履歴とを含むトークンが前記単語末の前記トークンであるかどうかを判断するトークン計算部と、を備え、
   前記類似度スコア算出手段は、前記入力手段によって、入力された前記記号列と、前記入力記号列辞書に含まれている単語とを比較し、動的計画法におけるマッチングをしたときの距離を前記単語の数だけ累積し、この累積した累積距離が最大となる、これらの類似の度合いを表す類似度スコアを算出し、
   前記スコア加算手段は、前記類似度スコア算出手段によって算出された類似度スコアと、前記単語間の接続確率に基づいて得られたｎ−ｇｒａｍモデルの言語スコアとを加算した前記トークンの全スコアを求めると共に、前記単語末に達した前記トークンについて、当該全スコアに次の単語の前記言語スコアを加算し、
   前記トークン削除手段は、前記スコア加算手段が求めた全ての前記トークンの中で最大の前記スコアの値から予め決められた閾値以内に入っていない前記スコアのトークンを削除し、
   前記トークン計算部は、前記単語末に達したトークンの中で、最大の前記スコアを持つ単語履歴をかな漢字変換単語列として出力することを特徴とするかな漢字変換装置。
2. 入力される記号列を特定の単語に対応させる入力記号列辞書と、単語間の接続確率とを記憶する記憶手段と、前記記号列を入力する入力手段と、を備えるコンピュータを、
   類似度スコア算出手段とスコア加算手段とトークン削除手段とを備え、かな漢字変換の候補であってスコアと単語履歴とを含むトークンが前記単語末の前記トークンであるかどうかを判断するトークン計算部、として機能させ、
   前記類似度スコア算出手段は、前記入力手段によって、入力された前記記号列と、前記入力記号列辞書に含まれている単語とを比較し、動的計画法におけるマッチングをしたときの距離を前記単語の数だけ累積し、この累積した累積距離が最大となる、これらの類似の度合いを表す類似度スコアを算出し、
   前記スコア加算手段は、前記類似度スコア算出手段によって算出された類似度スコアと、前記単語間の接続確率に基づいて得られたｎ−ｇｒａｍモデルの言語スコアとを加算した前記トークンの全スコアを求めると共に、前記単語末に達した前記トークンについて、当該全スコアに次の単語の前記言語スコアを加算し、
   前記トークン削除手段は、前記スコア加算手段が求めた全ての前記トークンの中で最大の前記スコアの値から予め決められた閾値以内に入っていない前記スコアのトークンを削除し、
   前記トークン計算部は、前記単語末に達したトークンの中で、最大の前記スコアを持つ単語履歴をかな漢字変換単語列として出力することを特徴とするかな漢字変換プログラム。

Images