JP2008090625A - 文字入力装置、文字入力方法、制御プログラム、および、記録媒体 - Google Patents

Abstract

【課題】音声データや手書き文字データなどの入力データを認識して文字入力を行うときに、ユーザの意図通りの文字を簡単に得ることができる文字入力装置を実現する。
【解決手段】音声翻訳機１００は、文字に変換する前の元情報を文字に変換する過程で生成された文字候補が、上記元情報に対応付けて認識文字候補記憶部に記憶されており、上記過程によって変換された文字を、文字表示領域にユーザが選択可能に表示する表示制御部１３と、ユーザの第１操作によって上記表示された文字が選択された場合に、選択された文字の変換前の元情報に対応付けて上記文字候補記憶部に記憶されている文字候補をユーザが選択可能に表示する認識文字候補出力部２６と、上記文字表示領域において上記第１操作と異なるユーザの第２操作が行われた場合に、上記候補表示手段が実行する処理とは異なる、該文字表示領域に表示された文字にかかる処理を実行する文字認識結果修正部２９とを備えている。
【選択図】図１

Description

本発明は、音声データや手書き文字データなどの認識技術を利用して文字を入力する文字入力装置、文字入力方法、制御プログラム、および、記録媒体に関するものである。

従来、音声入力（または手書き入力）された言語情報を、認識技術を利用してテキストデータに変換することにより、文字を入力する文字入力装置が用いられている。

例えば、音声データをテキスト変換する文字入力システムは、音声認識装置を備えており、音声認識装置が音声データをテキストデータに変換している。

例えば、手書き文字データをテキスト変換する文字入力システムは、手書き文字認識装置を備えており、手書き文字認識装置が、ペン操作などでタブレットを介して入力された手書き文字データをテキストデータに変換している。

上記手書き文字データを認識して文字を入力する文字入力装置においては、手書き文字を入力する手段として、手書き文字を入力するタブレットと、文字を表示する表示部とが一体に設けられたタッチパネルが採用されている。これにより、特に、ＰＤＡ(personal digital assistant)などのように、ハードウェアサイズにおいて制約が厳しい携帯用の文字入力装置において、操作性を犠牲にせずとも十分な表示領域をユーザに提供することができ、利便性を向上させている（例えば、特許文献１および特許文献２を参照）。
特開平９−１１４８２４（１９９７年５月２日公開） 特開平５−２８２４９９（１９９３年１０月２９日公開）

上述したような特許文献１および特許文献２などの手書き文字認識技術を利用した文字入力装置において、入力された手書き文字データの変換誤りは避けられない。この変換誤りをいかに簡便に、ユーザが意図するテキストデータへと修正するかが問題となる。

例えば、特許文献２には、文字認識処理の過程で変換可能な認識候補があれば、その候補を用いて変換（かな漢字変換）を行うことにより、変換率の向上を図ることのできる文書作成装置が開示されている。

しかしながら、特許文献２に記載の構成は、かな漢字変換の修正を自動で実行するにとどまり、認識結果をユーザの意図通りに修正することができない。つまり、具体例を挙げれば、認識され、ひらがなに変換された文字を、さらに、漢字に変換した場合、当該ひらがなを変換する漢字を別の漢字に自動修正することはできても、認識・変換されたひらがなそのものを別のひらがなに修正することはできない。したがって、自動で実行されたかな漢字変換の修正結果が、ユーザの意図を反映しているとは限らないという問題がある。結果として、ユーザが意図した文字列を得るために、変換誤りの修正を簡便に行うことができないという問題がある。

また、上記問題点は、手書き文字認識技術を利用した文字入力装置のみにおいて生じるものではなく、該文字入力装置と同様に、音声データ、画像データなどのあらゆる形式のデータから、言語情報を文字として認識する機能を有する文字入力装置であれば、同様に生じるものである。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、音声データや手書き文字データなどの入力データを認識して文字入力を行うときに、ユーザの意図通りの文字を簡単に得ることができる文字入力装置、文字入力方法、制御プログラム、および、記録媒体を実現することにある。

本発明に係る文字入力装置は、上記課題を解決するために、文字に変換する前の元情報を文字に変換する過程で生成された文字候補が、上記元情報に対応付けて文字候補記憶部に記憶されており、上記過程によって変換された文字を、文字表示領域にユーザが選択可能に表示する文字表示手段と、ユーザの第１操作によって上記文字表示領域に表示された文字が選択された場合に、選択された文字の変換前の元情報に対応付けて上記文字候補記憶部に記憶されている文字候補をユーザが選択可能に表示する候補表示手段と、上記文字表示領域において上記第１操作と異なるユーザの第２操作が行われた場合に、上記候補表示手段が実行する処理とは異なる、該文字表示領域に表示された文字にかかる処理を実行する文字処理手段とを備えていることを特徴としている。

本発明に係る文字入力方法は、上記課題を解決するために、文字に変換する前の元情報を文字に変換する過程で生成された文字候補を、上記元情報に対応付けて文字候補記憶部に記憶する記憶ステップと、上記過程によって変換された文字を、文字表示領域にユーザが選択可能に表示する文字表示ステップと、ユーザの第１操作によって上記文字表示領域に表示された文字が選択された場合に、選択された文字の変換前の元情報に対応付けて上記文字候補記憶部に記憶されている文字候補をユーザが選択可能に表示する候補表示ステップと、上記文字表示領域において上記第１操作と異なるユーザの第２操作が行われた場合に、上記候補表示ステップにて実行する処理とは異なる、該文字表示領域に表示された文字にかかる処理を実行する処理実行ステップとを含むことを特徴としている。

上記構成および方法によれば、まず、文字入力装置は、元情報を文字に変換し、上記文字表示手段は、その変換した文字を文字表示領域に表示する。この文字表示領域に表示された文字はユーザの操作によって選択することができるように表示される。このとき、元情報を文字に変換する過程において、当該文字以外にも、上記元情報から変換され得る文字の候補が、文字候補として生成される。この文字候補は、上記元情報に対応付けて文字候補記憶部に記憶される。

そして、文字入力装置に対し、ユーザにより第１操作が行われて、上記文字表示領域に表示された文字が選択された場合には、候補表示手段が動作する。一方、上記第１操作と異なる第２操作が、上記文字表示領域に対して行われた場合には、文字処理手段が動作する。

上記候補表示手段は、上記文字候補記憶部に記憶されている、ユーザにより選択された文字の変換前の元情報に対応付けられた、１または複数の文字候補を、ユーザが選択可能に表示する。すなわち、ユーザは、第１操作を行うことによって、選択した文字と置換することが可能な他の１または複数の文字候補を選択することができる。

上記文字処理手段は、上記候補表示手段が実行する処理（文字候補の表示処理）とは異なる、変換された文字に関する処理を実行する。すなわち、ユーザは、第２操作を行うことによって、上記文字表示領域に表示された変換後の文字に対して処理（例えば、文字の編集処理など）を施すことができる。

上記候補表示手段および文字処理手段が実行する処理により、上記元情報を文字に変換する過程で生じた変換誤りをユーザの意図に沿って修正することができる。

これにより、文字入力装置は、ユーザの操作方法に対応して、候補表示手段が実行する処理と、文字処理手段が実行する処理とを切り換えて実行することが可能となる。すなわち、元情報を変換して文字を入力する過程で、どのような変換誤りが生じたのかに関わらず、上記変換誤りを修正するための複数種類の処理をユーザの操作一つで簡単に切り換えることが可能となる。

以上のことから、音声データや手書き文字データなど認識して文字に変換する処理の過程で生じする変換誤りを修正するための複数の処理のうち、実行すべき処理への切り換えをユーザの簡単な操作の仕方に対応させて行うことができる。したがって、ユーザの意図とは異なる文字への変換誤りを簡単に修正し、ユーザの意図通りの文書を簡単に取得することが可能となる。

さらに、上記複数の修正処理のうちの少なくとも一つは、すでに実行済みの変換処理の過程において生成されて一時的に格納されている文字候補を再利用して実行される。つまり、候補表示手段は、置換可能な他の文字候補を特定するために、すでに記憶されている文字候補を文字候補記憶部から取得するだけでよく、別途、対応する文字候補を検索したりする必要がない。

よって、上記文字候補を再利用して実行される処理が選択された場合には、より効率のよい修正処理を実現することが可能となる。

さらに、上記文字入力装置において、上記元情報は、ユーザにより手書き入力された手書き文字データであって、上記文字候補記憶部には、上記手書き文字データを平仮名に変換する過程で生成された該手書き文字データに対応する平仮名候補が記憶されており、上記候補表示手段は、ユーザにより選択された平仮名の変換前の手書き文字データに対応付けられた平仮名候補を、上記文字候補記憶部から取得して表示することが好ましい。

上記構成によれば、ユーザにより手書き入力された手書き文字データを平仮名に変換する文字入力装置において、上記候補表示手段は、ユーザが第１操作により平仮名を選択した場合に、当該平仮名の変換前の手書き文字データについての他の平仮名候補をユーザが選択できるように表示する。

これにより、ユーザは、入力した手書き文字データの変換後の平仮名が、ユーザの意図と異なる場合には、当該平仮名に対して第１操作を行うことにより、他の平仮名候補を呼び出して、選択することができる。

結果として、手書き文字の認識処理にかかる変換誤り（手書き文字の認識の誤り）を簡単に修正することができ、ユーザは、ユーザの意図する文字を簡単に得ることができる。

さらに、上記平仮名候補を表示する処理は、上記変換する過程で生成された平仮名候補を再利用して実行されるため、上記候補表示手段は、より効率のよい候補表示処理を実現することができる。

さらに、上記文字入力装置において、上記元情報から変換されて上記文字表示領域に表示された、１文字以上の平仮名からなる平仮名列が、ユーザの上記第２操作により選択された場合に、上記文字処理手段は、平仮名列を少なくとも漢字を含む漢字文字列に変換するための対応規則にしたがって、上記選択された平仮名列に対応する漢字文字列として特定された漢字文字列候補をユーザが選択可能に表示することが好ましい。

上記構成によれば、ユーザにより手書き入力された手書き文字データを平仮名に変換する文字入力装置において、上記文字処理手段は、ユーザが第２操作により変換の結果である平仮名列を選択した場合に、当該変換により得た平仮名列を、さらに、漢字文字列に変換するための１または複数の漢字文字列候補を表示する。ユーザは、漢字文字列候補を選択して、文字認識によって得た平仮名をさらに漢字に変換することができる。

これにより、ユーザは、上記第１操作とは異なる第２操作を実行するだけで、簡単に、手書き文字の認識処理にかかる変換処理（認識文字を漢字に変換すること）を実行することが可能となる。以上のことから、ユーザは、第１または第２操作のいずれかを行うことによって、入力文字にかかる２種類の処理を、簡単に切り換えることができる。

結果として、ユーザは、ユーザの意図する文字を簡単に得ることができる。

本発明に係る文字入力装置は、上記課題を解決するために、文字に変換する前の元情報を変換して得た１以上の文字からなる文字列を、文字表示領域にユーザが選択可能に表示する文字表示手段と、上記文字表示領域に表示された文字列のうち、１文字以上の平仮名からなる平仮名列が、ユーザにより選択された場合に、平仮名列を少なくとも漢字を含む漢字文字列に変換するための対応規則にしたがって、上記選択された平仮名列に対応する漢字文字列として特定された漢字文字列候補をユーザが選択可能に表示する文字処理手段とを備えていることを特徴としている。

本発明に係る文字入力装置は、上記課題を解決するために、文字に変換する前の元情報を変換して得た１以上の文字からなる文字列を、文字表示領域にユーザが選択可能に表示する文字表示ステップと、上記文字表示領域に表示された文字列のうち、１文字以上の平仮名からなる平仮名列が、ユーザにより選択された場合に、平仮名列を少なくとも漢字を含む漢字文字列に変換するための対応規則にしたがって、上記選択された平仮名列に対応する漢字文字列として特定された漢字文字列候補をユーザが選択可能に表示する処理実行ステップとを含むことを特徴としている。

上記構成および方法によれば、平仮名をユーザが選択可能に表示する文字入力装置において、上記文字処理手段は、ユーザが変換の結果である平仮名列を選択した場合に、当該変換により得た平仮名列を、さらに、漢字文字列に変換するための１または複数の漢字文字列候補を表示する。ユーザは、漢字文字列候補を選択して、文字認識によって得た平仮名をさらに漢字に変換することができる。

結果として、ユーザは、ユーザの意図する文字を簡単に得ることができる。

さらに、上記文字入力装置において、漢字の組合せがあらかじめ辞書データ記憶部に登録されており、上記文字処理手段は、上記文字表示領域に表示された文字列のうち、ユーザにより選択された文字列が漢字文字列の漢字を含む場合に、上記ユーザにより選択された文字列に含まれる平仮名列に対応する漢字文字列候補のうち、上記漢字文字列の漢字との組合せが、上記辞書データ記憶部に登録されている漢字文字列候補のみを、上記漢字文字列の漢字と組合せてユーザが選択可能に表示することが好ましい。

上記構成によれば、上記文字処理手段は、ユーザにより選択された平仮名列に対応する上述の１または複数の漢字文字列候補を表示させる際に、該平仮名列の前についている変換済漢字を考慮して選択的に表示する。つまり、上記文字処理手段は、平仮名列に対応する漢字文字列候補を選択した後、上記変換済漢字との組合せが上記辞書データ記憶部に登録されている漢字文字列候補のみに絞り込んで、上記変換済漢字と組合せてユーザが選択可能に表示する。

以上のことから、すでに、平仮名から漢字への変換が済み、入力が確定している漢字との組合せを考慮して、後に続く平仮名列の漢字文字列候補を効率よく表示されることができる。結果として、ユーザは、ユーザの意図する文字をより簡単に得ることができる。

なお、上記文字入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記文字入力装置をコンピュータにて実現させる文字入力装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明に係る文字入力装置は、文字に変換する前の元情報を文字に変換する過程で生成された文字候補が、上記元情報に対応付けて文字候補記憶部に記憶されており、上記過程によって変換された文字を、文字表示領域にユーザが選択可能に表示する文字表示手段と、ユーザの第１操作によって上記文字表示領域に表示された文字が選択された場合に、選択された文字の変換前の元情報に対応付けて上記文字候補記憶部に記憶されている文字候補をユーザが選択可能に表示する候補表示手段と、上記文字表示領域において上記第１操作と異なるユーザの第２操作が行われた場合に、上記候補表示手段が実行する処理とは異なる、該文字表示領域に表示された文字にかかる処理を実行する文字処理手段とを備えていることを特徴としている。

本発明に係る文字入力方法は、文字に変換する前の元情報を文字に変換する過程で生成された文字候補を、上記元情報に対応付けて文字候補記憶部に記憶する記憶ステップと、上記過程によって変換された文字を、文字表示領域にユーザが選択可能に表示する文字表示ステップと、ユーザの第１操作によって上記文字表示領域に表示された文字が選択された場合に、選択された文字の変換前の元情報に対応付けて上記文字候補記憶部に記憶されている文字候補をユーザが選択可能に表示する候補表示ステップと、上記文字表示領域において上記第１操作と異なるユーザの第２操作が行われた場合に、上記候補表示ステップにて実行する処理とは異なる、該文字表示領域に表示された文字にかかる処理を実行する処理実行ステップとを含むことを特徴としている。

本発明に係る文字入力装置は、文字に変換する前の元情報を変換して得た１以上の文字からなる文字列を、文字表示領域にユーザが選択可能に表示する文字表示手段と、上記文字表示領域に表示された文字列のうち、１文字以上の平仮名からなる平仮名列が、ユーザにより選択された場合に、平仮名列を少なくとも漢字を含む漢字文字列に変換するための対応規則にしたがって、上記選択された平仮名列に対応する漢字文字列として特定された漢字文字列候補をユーザが選択可能に表示する文字処理手段とを備えていることを特徴としている。

本発明に係る文字入力装置は、文字に変換する前の元情報を変換して得た１以上の文字からなる文字列を、文字表示領域にユーザが選択可能に表示する文字表示ステップと、上記文字表示領域に表示された文字列のうち、１文字以上の平仮名からなる平仮名列が、ユーザにより選択された場合に、平仮名列を少なくとも漢字を含む漢字文字列に変換するための対応規則にしたがって、上記選択された平仮名列に対応する漢字文字列として特定された漢字文字列候補をユーザが選択可能に表示する処理実行ステップとを含むことを特徴としている。

したがって、音声データや手書き文字データなどの入力データを認識して文字入力を行うときに、ユーザの意図通りの文字を簡単に得ることができるという効果を奏する。

本発明の一実施形態について図面に基づいて説明すると以下の通りである。なお、以下で説明する各実施形態では、本発明の文字入力装置を、一例として、入力した音声データをテキストに変換し、変換したテキストさらに別の言語に翻訳する音声翻訳機能を有する音声翻訳機に適用した場合について説明する。また、本発明の各実施形態では、音声翻訳機は、音声認識および手書き文字認識を行って（認識機能）文字入力を行い、文書を生成する機能（文書生成機能）を有しているものとする。

図２は、本発明の実施形態にかかる音声翻訳機１００のハードウェア構成の一例を示すブロック図である。なお各実施形態では、図２に示す各部は、同一装置内に物理的に一体に設けられているが、これに限定されず、別の筐体に、あるいは、通信可能な別の装置に設けられてもよい。

音声翻訳機１００は、ＣＰＵ（central processing unit）９、操作部２ａ、表示部２ｂ、ＲＡＭ（random access memory）３、ＲＯＭ（read only memory）４、音声ＣＯＤＥＣ５、アンプ６、マイク７、および、スピーカ８を備えている。

ＣＰＵ９は、音声翻訳機１００における、音声翻訳機能、認識機能、および、文書生成機能を実行するための各部の各種動作を統括制御する制御部１（図１／図５）を実現するものである。具体的には、制御部１は、ＣＰＵ９が、ＲＯＭ４などの記憶媒体に記憶されているプログラムをＲＡＭ３などに読み出して実行することで実現できる。すなわち、後述する制御部１の各部は、ＣＰＵ９がＲＯＭ４に格納されたプログラムを実行し、図示しない入出力回路などの周辺回路を制御することによって実現される機能ブロックである。

操作部２ａは、ユーザが音声翻訳機１００に対して処理実行を指示するための入力装置であり、表示部２ｂは、処理結果（音声認識結果としての文字列など）をユーザに提示するための出力装置である。本実施形態では、操作部２ａおよび表示部２ｂが一体に設けられたタッチパネル２として実現される。ユーザは、タッチペン２ｃなどを用いて、タブレット状の操作部２ａの上で、手書き文字を描画したり、表示部２ｂに表示された操作ボタンをタッチしたりして、音声翻訳機１００を操作する。

認識対象となるユーザの音声は、マイク７によって受け付けられる。そして、音声ＣＯＤＥＣ５のコーダが、アナログ信号である音声をデジタル信号である音声データに変換（Ａ／Ｄ変換）する。これにより、音声翻訳機１００は、ユーザの音声を処理することができる。また、音声翻訳機１００が処理した音声データは、音声ＣＯＤＥＣ５のデコーダが行うＤ／Ａ変換により、音声として、アンプ６、そして、スピーカ８を介して出力することが可能である。

上述した図２に示す音声翻訳機１００の構成は、一例を示したものに過ぎず、本発明の文字入力装置の構成を限定するものではない。

次に、図３および図４を参照しながら、音声認識および手書き文字認識を利用して文書生成機能を実行する、音声翻訳機１００の処理の流れをおおまかに説明する。本実施形態の音声翻訳機１００では、まず、音声認識機能を用いて文字入力を行い、手書き文字認識機能を用いて上記入力文字を修正して文書を生成することとしたが、音声翻訳機１００の文字入力手順はこれに限定されない。また、以下の説明では、日本語を音声認識し、文書生成する場合を例に説明するが、中国語や英語などあらゆる言語に対応した音声認識および文書生成処理を行うこともできる。

図３（ａ）〜（ｃ）は、音声翻訳機１００の外観を示す図であり、いずれも音声翻訳機１００を正面側から見た図である。図３（ａ）〜（ｃ）のタッチパネル２内には、タッチパネル２に表示される画面例が示されている。図４は、音声翻訳機における音声認識および手書き文字認識を利用した文書生成処理の流れを示すフローチャートである。

マイク７を介してユーザの音声が音声翻訳機１００に入力されると、音声翻訳機１００は音声を認識し、音声データを、テキストデータ、すなわち音を表す表音記号列（ここでは、ひらがな）に変換する（Ｓ１）（例えば、「はしおわたしてください」）。続いて、音声翻訳機１００は、Ｓ１にて出力された表音記号を、あらかじめＲＯＭ４に記憶されている辞書データを用いて適切な文字に変換する（Ｓ２）。ここでは、日本語の辞書データを参照し、かな漢字変換などを行う（例えば、「箸を渡して下さい」）。そして、この文字変換後の文字列を音声認識結果として、図３（ａ）に示すとおり、出力文書表示領域１０１に表示する（Ｓ３）。

ユーザは、出力文書表示領域１０１に表示された音声認識結果を確認する。ここで、ユーザの意図する音声認識結果が出力されていない場合（Ｓ４においてＮＯ）、ユーザは、操作部２ａ（およびタッチペン２ｃ）を用いて、出力文書の修正を行う。

具体的には、出力文書表示領域１０１に表示されている音声認識結果に、文字変換誤りが生じた（ひらがながユーザの意図と異なる別の文字に変換されている）場合には（Ｓ５においてＡ）、ユーザがタッチペン２ｃにて所定の操作を行って、文字変換誤りを修正する（Ｓ６；文字変換誤り修正処理）。また、音声認識結果が、Ｓ１のステップにおける音声変換誤りである（音声がユーザの意図と異なる表音記号に変換されている）場合には（Ｓ５においてＢ）、ユーザがタッチペン２ｃにて、上記と異なる操作を行って、手書き認識機能を用いて出力文書を修正する（Ｓ８；音声変換誤り修正処理）。

Ｓ３の音声認識結果にて（あるいは、Ｓ６の文字変換誤り修正処理を経て）、ユーザが意図する文字列が得られた場合には（Ｓ４においてＹＥＳ）、当該音声認識結果が出力文書として確定して（Ｓ７）文書作成処理が終了する。また、Ｓ８の音声変換誤り修正処理を経て、音声認識結果の修正結果からユーザが意図する文字列が得られた場合には、当該修正結果が出力文書として確定して（Ｓ９）文書生成処理が終了する。

以上のとおり、音声翻訳機１００は、ユーザのタッチパネル２上でのタッチペン２ｃの操作内容に応じて、Ｓ２における文字変換誤りを修正する文字変換誤り修正処理（Ｓ６）と、Ｓ１における音声変換誤りを修正する音声変換誤り修正処理（Ｓ８）とを切り換えて実行することが可能となる。

以下の各実施形態では、認識処理による文字入力にかかる変換誤りを修正するための処理のうち、実行すべき処理の切り換えをユーザの操作に応じて行うことにより、ユーザの意図通りの変換を行った文書を簡単に取得するための音声翻訳機１００の構成について、より詳細に説明する。

〔実施形態１−音声認識を利用した文字入力の変換誤りを簡単に修正する〕
（音声翻訳機１００の構成ｉ）
図５は、本発明の実施形態にかかる音声翻訳機１００の要部構成を示すブロック図である。なお、図５の各構成要素に付された符号は、図２の各構成要素に付された符号に対応しており、同じ符号は、同じ構成要素を示している。したがって、すでに説明した構成要素についての説明は繰り返さない。

音声翻訳機１００は、図５に示すとおり、制御部１、音声ＣＯＤＥＣ５、操作部２ａ、表示部２ｂ、および、各種記憶部を備えている。本実施形態では、各種記憶部のうち、表音記号記憶部３１および文字変換候補記憶部３２は、ＲＡＭ３などの揮発性メモリによって実現される。また、生成文書記憶部４１は、ＲＯＭ４（フラッシュメモリなど）の不揮発性メモリによって実現される。生成文書記憶部４１は、図３（ａ）〜（ｃ）における出力文書表示領域１０１に表示する最終出力文書としての音声認識結果を記憶するものである。

制御部１は、上述したとおり、音声翻訳機１００における、音声翻訳機能、認識機能、および、文書生成機能を実行するための各部の各種動作を統括制御するものである。制御部１は、入出力制御部１０および文書生成制御部２０を含んでいる。

入出力制御部１０は、音声翻訳機１００の各部（上述の音声ＣＯＤＥＣ５、操作部２ａ、表示部２ｂなど）と、制御部１の文書生成制御部２０との間で行われる情報の入出力を制御するものである。入出力制御部１０は、音声データ受信部１１、入力制御部１２、および、表示制御部１３を含んでいる。

音声データ受信部１１は、音声からＡ／Ｄ変換された音声データを音声ＣＯＤＥＣ５から受け付けるものである。入力制御部１２は、操作部２ａを介してユーザにより入力された指示信号を受け付けるものである。表示制御部１３は、各種記憶部に蓄積されているデータを、表示部２ｂに表示するためのテキストデータ（あるいは、画像データ、動画像データなど）へと変換して表示部２ｂに供給するものである。

文書生成制御部２０は、音声翻訳機１００における音声（手書き文字）認識処理および文書生成処理を実行するものである。文書生成制御部２０は、音声認識部２１、文字変換部２２、文書管理部２３、文字変換候補出力部２４、および、音声認識結果編集部２８を含んでいる。

音声認識部２１は、音声データ受信部１１が受け付けた音声データを解析し、上記音声データを表音記号に変換するものである。音声データの解析は、ＲＯＭ４に記憶されている、該当する言語の音声認識規則データ（不図示）に基づいて行われる。

表音記号とは、音声データの音を文字で表したテキストデータのことである。表音記号の具体例としては、日本語のひらがな（カタカナ）、中国語のピンイン（アルファベット文字列）、英語の発音記号などが挙げられる。音声データを表音記号に変換することにより、音声翻訳機１００は、音声データを文字（列）として処理することが可能となる。

音声認識部２１は、音声データを表音記号に変換したものを、表音記号記憶部３１に格納する。例えば、音声認識部２１が認識した表音記号「はしおわたしてください」を格納する。

文字変換部２２は、表音記号記憶部３１に格納された表音記号（元情報）を解析し、適切な文字への変換を行うものである。表音記号の解析は、ＲＯＭ４に記憶されている、該当する言語の形態素解析規則データおよび辞書データ（不図示）に基づいて行われる。日本語の例では、文字変換部２２は、ひらがなの文字列（元情報）を形態素解析して単語に区切り、辞書を参照して、単語ごとに、ひらがなを適切な漢字に変換するかな漢字変換を行う。

文字変換部２２は、表音記号を適切に変換したものを音声認識結果４１ａとして、生成文書記憶部４１に格納する（例えば、「箸を渡して下さい」）。

ここで、一つの単語に対して、変換可能な文字の候補（文字変換候補）が複数存在することがある。このような場合、文字変換部２２は、辞書データから検知したすべての文字変換候補（文字候補）を、当該単語に対応付けて文字変換候補記憶部（文字候補記憶部）３２に一時的に格納しておく。

文書管理部２３は、生成文書記憶部４１に記憶されている、文書生成制御部２０の処理結果を管理するものである。具体的には、文書生成制御部２０によって、生成文書記憶部４１の音声認識結果４１ａが新しく追加されたり、それが更新されたりすると、その音声認識結果４１ａを、表示部２ｂに表示するために表示制御部１３に供給する。これにより、上述の「箸を渡して下さい」が、音声認識結果として、図３（ａ）の出力文書表示領域１０１に表示される。

なお、入力制御部１２を介して受け付けたユーザの指示信号に応じて、音声認識結果４１ａを削除してもよい。

文字変換候補出力部２４は、上述したＳ６の文字変換誤り修正処理において、出力文書表示領域１０１に表示された音声認識結果４１ａの中からユーザにより指定された単語と置換可能な文字変換候補のリストを出力するものである。文字変換候補出力部２４が出力した文字変換候補リストは、表示制御部１３に供給され、表示部２ｂに表示される（図３（ｂ）の文字変換候補リスト１０２）。

より詳細には、例えば、図３（ｂ）に示すように、ユーザがタッチペン２ｃを用いて修正対象の文字列をドラッグして範囲指定すると、入力制御部１２を介して、上記指定された範囲の情報を含む指示信号が文字変換候補出力部２４に供給される。

文字変換候補出力部２４は、文書生成処理の過程において文字変換部２２が文字変換候補記憶部３２に格納した文字変換候補のうち、上記指定された範囲内の単語に対応付けて格納されている文字変換候補を再利用して、文字変換候補リスト１０２を生成する。

ユーザがタッチペン２ｃを用いて文字変換候補リスト１０２から文字変換候補を選択した場合には、入力制御部１２から伝達される指示信号に応じて、文字変換部２２が、範囲指定されている現時点の単語を新しく選択された文字変換候補に置換する。

上記構成によれば、文字変換候補出力部２４は、文字変換候補リスト１０２を生成するために、辞書データを検索して、ユーザが指定する単語に対応する文字変換候補を取り出すという処理を実行する必要がない。

以上のことから、音声データなどの入力データを認識して文字入力を行うときに、該入力データの認識または文字変換処理に係る、ユーザの意図とは異なる文字への変換誤りを簡単に修正することが可能となる。

音声認識結果編集部２８は、上述したＳ８の音声変換誤り修正処理において、ユーザの指示に応じて、出力文書表示領域１０１に表示される音声認識結果を編集するものである。

例えば、図３（ｃ）に示すように、ユーザがタッチペン２ｃを用いて出力文書表示領域１０１に表示された文字列の修正位置をタッチすると、音声認識結果編集部２８は、入力制御部１２を介して、上記指定された修正位置を取得し、該修正位置にカーソル１０３を表示させる。さらに、手書き文字入力ボックス１０４を表示して、ユーザが手書き文字によって簡単に変換誤りの修正を行えるように編集ツールを提供する。そして、音声認識結果編集部２８が、手書き文字入力ボックス１０４を用いて入力された文字を、カーソル１０３の修正位置に挿入することによって、音声認識結果を編集することが可能となる。

音声認識結果編集部２８が行う上記編集手順は一例であって、本発明の音声翻訳機１００の構成はこれに限定されない。ユーザがタッチパネル２およびタッチペン２ｃなどを用いて、生成文書記憶部４１に記憶されている音声認識結果４１ａを編集できるツールを提供することができさえすれば、音声認識結果編集部２８は、どのような手順によって編集を行っても構わない。

上記文字変換候補出力部２４および音声認識結果編集部２８は、入力制御部１２から供給されるユーザの指示信号に応じて、各々の処理を実行する。より具体的には、ユーザにより操作部２ａ（タッチペン２ｃ）を介して入力される指示信号を入力制御部１２が受け付ける。入力制御部１２は、文字変換候補リスト１０２を表示する指示であると判断した場合には、ユーザが指定する文字列の範囲を含む当該指示信号を、文字変換候補出力部２４に供給する。一方、音声認識結果４１ａを編集するツールを提示する指示であると判断した場合には、ユーザが指定する修正位置情報を含む当該指示信号を音声認識結果編集部２８に供給する。

これにより、音声翻訳機１００は、ユーザの操作部２ａ（タッチペン２ｃ）の操作内容に応じて、Ｓ２における文字変換誤りを修正する文字変換誤り修正処理（Ｓ６）と、Ｓ１における音声変換誤りを修正する音声変換誤り修正処理（Ｓ８）とを切り換えて実行することが可能となる。すなわち、音声認識処理におけるどの変換処理の段階（Ｓ１かＳ２か）で、変換誤りが生じたのかに関わらず、いずれの変換誤りの修正のための処理も、操作部２ａ（タッチペン２ｃ）による操作一つで簡単に切り換えることが可能となる。

以上のことから、音声データや手書き文字データなどの認識処理による文字入力にかかる変換誤りを修正するための複数の処理のうち、実行すべき処理への切り換えをユーザの操作に応じて簡単に行うことができるので、ユーザの意図とは異なる文字への変換誤りを簡単に修正し、ユーザの意図通りの文書を簡単に取得することが可能となる。

さらに、上記複数の修正処理のうちの少なくとも一つは、すでに実行済みの変換処理の過程において生成されて一時的に格納されている候補（文字変換候補）を再利用して実行される。よって、上記候補を再利用して実行される処理が選択された場合には、より効率のよい修正処理を実現することが可能となる。

なお、入力制御部１２が、音声翻訳機１００に入力される指示信号の種類を判断するときの、該指示信号を入力するためのユーザの操作方法については、特に限定されない。しかしながら、上述したとおり、入力制御部１２は、ユーザがタッチペン２ｃを用いて修正対象の文字列をドラッグして範囲指定したか（図３（ｂ））、出力文書表示領域１０１に表示された文字列の修正位置をタッチしたか（図３（ｃ））を判断し、それに応じて、指示信号の供給先を切り換える（文字変換候補出力部２４または音声認識結果編集部２８）ことが好ましい。

上記構成によれば、ユーザは、タッチペン２ｃの操作方法（ドラッグかタッチするか）を切り換えるのみで、簡単に音声認識結果４１ａの編集方法を選ぶことができる。つまり、音声翻訳機１００は、文字変換候補リスト１０２を呼び出すか、手書き文字入力ボックス１０４を呼び出すかの選択をユーザに促すためのメニュー画面を別途表示させる必要がなくなる。

これにより、ユーザにとってはメニュー画面を呼び出したり、メニュー画面から所望の処理を選択したりするなどの操作上の手数が減少し、操作が簡便になる。また、音声翻訳機１００は、メニュー画面を生成して、表示部２ｂに表示するという処理を省くことができる。さらに、本実施形態の音声翻訳機１００の様に、機器のサイズが小さく表示領域に制約があるような携帯型の機器では、上述のようなメニュー画面の表示が不要となれば、表示領域を有効活用できるので、特に効果が大きい。

（変形例１）中国語を扱う音声翻訳機１００
上述の音声翻訳機１００では、日本語を音声認識して日本語の文字を入力し、文書を生成する場合について説明したが、本発明の音声翻訳機１００はこれに限定されない。中国語の音声を音声認識して、ピンイン（元情報）に変換し、さらに、ピンインを適切な漢字（文字）に変換して、中国語の文書を生成してもよい。

この場合、音声データに含まれるイントネーションの情報（抑揚情報）を用いて、文字変換候補記憶部３２に格納する文字変換候補を管理する。文字変換候補出力部２４は、出力する文字変換候補リスト１０２を生成するために、文字変換候補記憶部３２の文字変換候補を、抑揚情報を利用して効率よく取得する。

より具体的には、上記抑揚情報として中国語発音の一声から四声までののいずれかの抑揚パターンを示す声調情報を用いる。声調情報（一声から四声までの抑揚のパターン）ごとに文字変換候補を管理し、取得し、文字変換候補リスト１０２を作成する。

例えば、音声認識結果４１ａとして最終的に出力されたある漢字を別の漢字に修正したい場合に表示する文字変換候補リスト１０２を、当該出力された漢字と同じ声調情報を持つ漢字の文字変換候補のみで生成したり、逆に、上記漢字と異なる声調情報を持つ漢字の文字変換候補のみで生成したりすることができる。

図９は、中国語音声認識機能を利用して文字入力を行う、図５の音声翻訳機１００における、中国語文字入力処理の流れを示すフローチャートである。

ユーザが、マイク７（図３（ａ）〜（ｂ））を介して中国語音声を入力すると、その音声データを音声データ受信部１１が取得して（Ｓ２０１）、音声認識部２１に供給する。音声認識部２１は、中国語の音声認識規則データを参照して、入力された音声データを認識してピンインおよび声調情報の組合せに変換し、当該組合せを第１表音記号対として表音記号記憶部３１に格納する（Ｓ２０２）。

次に文字変換部２２は、中国の辞書データを参照して、認識した上記第１表音記号対に対応する漢字が存在するか否かを検証する（Ｓ２０３）。対応する漢字が辞書データに存在すると判定した場合は（Ｓ２０３においてＹＥＳ）、文字変換部２２は、上記第１表音記号対に対応付けて、漢字を音声認識結果４１ａとして生成文書記憶部４１に記憶する。なお、対応する漢字が複数存在する場合は、第１候補の漢字を生成文書記憶部４１に記憶するとともに、残りの漢字候補を、上記第１表音記号対と対応付けて文字変換候補記憶部３２に格納する（Ｓ２０４）。一方、対応する漢字が辞書データに存在しないと判定した場合は（Ｓ２０３においてＮＯ）、文字変換部２２は、上記第１表音記号対をそのまま、文字変換候補記憶部３２に格納し、音声認識結果４１ａとして生成文書記憶部４１にも記憶する（Ｓ２０５）。

次に文字変換部２２は、Ｓ２０２にて認識したピンインに、認識した声調情報と異なる声調情報を組み合わせて、第２表音記号対を生成して（Ｓ２０６）、生成した第２表音記号対に対応する漢字が上記辞書データに存在するか否かを検証する（Ｓ２０７）。

対応する漢字が辞書データに存在すると判定した場合は（Ｓ２０７においてＹＥＳ）、文字変換部２２は、上記第２表音記号対に対応付けて、漢字を文字変換候補として文字変換候補記憶部３２に格納する（Ｓ２０８）。ここでは、４種類の声調情報があらかじめ定められているので、３つの第２表音記号対につき、対応する漢字の有無を検証する。

３つ全ての第２表音記号対について検証が終了すると（Ｓ２０９においてＹＥＳ）、文書管理部２３は、生成文書記憶部４１から音声認識結果４１ａを取り出して、表示制御部１３に供給する。これにより、入力された音声データを漢字に変換した音声認識結果４１ａは、出力文書として、例えば図３（ａ）の出力文書表示領域１０１上に表示される（Ｓ２１０）。

ここで、出力文書表示領域１０１上で得られた音声認識結果（漢字）が、ユーザの意図に沿ったものであれば、ユーザはこれを確定させて出力文書を得ればよい。一方、上記音声認識結果が、ユーザの意図と異なるものである場合は、これまでの中国語文字入力処理過程において変換誤りが生じたこととなり、これを修正する必要がある。ここでは、以下に示すとおり、２つのうちいずれの段階で変換誤りが生じたかに応じて（ユーザのペン操作（ドラッグ／ペンタッチ）に応じて）、２種類の変換誤り修正処理を切り換えて実行する。

段階１：ピンインの認識は正しく行われたが、声調情報を認識する段階で誤りが生じた。この場合、声調情報のみを修正して、ユーザの意図する漢字を取得する（声調認識誤り修正処理）。

段階２：音声から、ピンインおよび声調情報への変換がともに正しく行われなかった。この場合、音声入力とは別の手段を用いて文字を入力し、ユーザの意図する漢字を取得する（音声変換誤り修正処理）。

これにより、修正すべき変換誤りが生じたのがどの段階であるのかを考慮せずに、一律の修正ツールを提供する場合と比べて、より効率よく、より簡便な操作で、ユーザは、意図した漢字を得ることができる。

（１）声調認識誤り修正処理
ユーザは、出力文書表示領域１０１に表示された意図と異なる漢字を、別の適切な文字に変換したい場合、その変換したい漢字を、タッチペン２ｃを用いてドラッグする。

入力制御部１２は、漢字がドラッグで選択されたことを検知して、受け付けた修正指示信号を、ドラッグで指定された漢字情報とともに、文字変換候補出力部２４に伝達する（Ｓ２１１のＡ）。

入力制御部１２から伝達された指示信号に応じて、文字変換候補出力部２４は、上記範囲情報に基づいて、修正対象となる漢字を取得して、当該漢字が対応している第１表音記号対（すなわち、ピンインおよび声調情報）を、生成文書記憶部４１から取得する（Ｓ２１２）。ここで、文字変換候補出力部２４は、ドラッグされた漢字の上記ピンインおよび声調情報を表示部２ｂに表示させてもよい（Ｓ２１３）。

続いて、文字変換候補出力部２４は、Ｓ２１２で取得したピンインと、Ｓ２１２で取得したのとは異なる声調情報との組合せからなる第２表音記号対を文字変換候補記憶部３２から取得する（Ｓ２１４）。そして、文字変換候補出力部２４は、取得した第２表音記号対に対応付けられた漢字を取得して（Ｓ２１５）、取得した漢字を文字変換候補とする文字変換候補リスト１０２を表示部２ｂに表示する（Ｓ２１６）。なお、第２表音記号対が複数存在する場合は、その各々についてすべての漢字を取得して、所定の順番で文字変換候補リスト１０２を生成してもよいし、あるいは、声調情報ごとに候補漢字を整理して文字変換候補リスト１０２を生成してもよい。

文字変換候補リスト１０２に表示された文字変換候補のうち、ある漢字がタッチペン２ｃでタッチされると（Ｓ２１７においてＹＥＳ）、入力制御部１２を介して指示信号を受け付けた文字変換部２２は、ドラッグ指定された漢字を、選択された文字変換候補の漢字に置換する（Ｓ２１８）。

これにより、簡単な操作で、効率よく、声調情報のみが修正され、ユーザの意図する漢字を取得することができる。

（２）音声変換誤り修正処理
ユーザは、出力文書表示領域１０１に表示された漢字が意図と異なる場合に、出力文書表示領域１０１上の修正したい位置を、タッチペン２ｃを用いてタッチする。

入力制御部１２は、漢字の文字間の特定の位置がタッチされたことを検知して、受け付けた修正指示信号を、タッチされた文字間の位置情報とともに、音声認識結果編集部２８に伝達する（Ｓ２１１のＢ）。

入力制御部１２から伝達された指示信号に応じて、音声認識結果編集部２８は、出力文書表示領域１０１の修正位置にカーソル１０３を表示するとともに（Ｓ２１９）、ユーザが音声認識結果を修正して、意図する漢字を取得するための編集ツールを表示する（Ｓ２２０）。

そして、編集ツールを利用したユーザの操作に応じて、音声認識結果編集部２８は、音声認識結果を編集し、ユーザの意図を反映した修正結果を返す（Ｓ２２１）。

これにより、ピンイン変換に誤りが生じて、音声認識結果を正しく得られなかった場合でも、音声入力とは別の手段を用いて文字を入力して、変換誤りを修正し、ユーザの意図する漢字を取得することができる。

なお、音声認識結果編集部２８が提供する編集ツールとその編集方法は特に限定されないが、例えば、手書き文字入力ボックス１０４を表示して、ユーザが手書き文字によって簡単に変換誤りの修正を行えるようにしてもよい。そして、手書き文字入力ボックス１０４を用いて入力された文字を、音声認識結果編集部２８がカーソル１０３の修正位置に挿入することによって、音声認識結果を編集することが可能となる。

以上で述べた声調認識誤り修正処理および／または音声変換誤り修正処理を経て、ユーザの修正意図を反映した音声認識結果が、出力文書表示領域１０１に表示される。これにより、ユーザが意図する音声認識結果が得られた場合には（Ｓ２２２においてＹＥＳ）、文書管理部２３は、当該修正後の音声認識結果を、出力文書として確定させる（Ｓ２２３）。

上記方法によれば、音声翻訳機１００は、ユーザの操作部２ａ（タッチペン２ｃ）の操作内容に応じて、Ｓ２０２における声調情報の変換誤りを修正する声調認識誤り修正処理（Ｓ２１２〜Ｓ２１８）と、Ｓ２０２におけるピンイン、声調情報両方の音声変換誤りを修正する音声変換誤り修正処理（Ｓ２１９〜Ｓ２２１）とを切り換えて実行することが可能となる。すなわち、音声認識処理におけるどの変換処理の段階で、変換誤りが生じたのかに関わらず、いずれの変換誤りの修正のための処理も、操作部２ａ（タッチペン２ｃ）による操作一つで簡単に切り換えることが可能となる。

以上のことから、音声データや手書き文字データなどの認識処理による文字入力にかかる変換誤りを修正するための複数の処理のうち、実行すべき処理への切り換えをユーザの操作に応じて簡単に行うことができるので、ユーザの意図とは異なる文字への変換誤りを簡単に修正し、ユーザの意図通りの文書を簡単に取得することが可能となる。

さらに、上述のように、抑揚情報を用いて文字変換候補を格納することにより、文字変換候補リスト１０２を、抑揚情報ごとにグループ化して表示することができるので、文字変換候補リスト１０２を生成する処理の効率化を図ることができるとともに、ユーザにとって意図した文字変換候補を選択しやすい文字変換候補リスト１０２を表示することが可能となる。結果として、ユーザの意図とは異なる文字への変換誤りをより簡単に修正することが可能となる。

なお、上述した変換誤り以外にも、さらに、以下の変換誤りが生じることがある。これは、同一の第１表音記号対に対して、複数の漢字が存在する場合に生じ得る。

段階３：ピンインおよび声調情報の認識は正しく行われたが、対応する漢字を変換する段階で誤りが生じた。この場合、認識されたピンインおよび声調情報に対して、ユーザの意図する漢字を取得する（漢字変換誤り修正処理）。

漢字変換誤り修正処理を実行する場合、音声翻訳機１００の入力制御部１２は、さらに、上記漢字変換誤り修正処理を呼び出すための、上述したＳ２１１の２つの操作とは異なる第３の操作を検知して、受け付けた指示信号および指定された漢字を、文字変換部２２に伝達する。文字変換部２２が第３の操作に応じて実行する漢字変換誤り修正処理は、上述のＳ２１４およびＳ２１５を除いては、声調認識誤り修正処理と同様である。

すなわち、文字変換部２２は、上記指定された漢字が対応している第１表示文字対に対応付けられた、他の文字変換候補を文字変換候補記憶部３２より取得して、文字変換候補リスト１０２を生成する。これにより、同音異義の漢字候補が表示部２ｂに表示される。結果として、漢字変換誤りを簡単な操作で効率よく修正することができる。

以上のことから、中国語音声データの認識処理による文字入力処理における上記各段階の変換誤りを修正するための各処理のうち、実行すべき処理への切り換えをユーザの操作に応じて簡単に行うことができるので、ユーザの意図とは異なる文字への変換誤りを簡単に修正し、ユーザの意図通りの中国語文書を簡単に取得することが可能となる。

なお、英語を音声認識して英語の文書を生成する音声翻訳機１００では、単語のアクセントの位置を抑揚情報として利用してもよい。

〔実施形態２−手書き文字認識を利用した文字入力の変換誤りを簡単に修正する〕
まず、図４および図６（ａ）〜（ｄ）を参照しながら、Ｓ８に示す、音声変換誤り修正処理の流れについてより詳細に説明する。図６（ａ）〜（ｄ）は、音声翻訳機１００において、手書き文字認識機能を利用して音声変換誤り修正処理を行う場合の、音声翻訳機１００の表示画面例を示す図である。

本実施形態では、Ｓ５において、ユーザが、タッチペン２ｃを用いて、図３（ｃ）に示す出力文書表示領域１０１をタッチした場合に、音声認識結果編集部２８（図５）が、手書き文字入力ボックス１０４を表示して、ユーザの手書き文字の入力を受け付け、音声変換誤り修正処理がスタートする。

図６（ａ）に示すとおり、ユーザが、タッチペン２ｃを用いて、操作部２ａの手書き文字入力領域１０６上に、手書き文字を入力すると、音声翻訳機１００は、手書き文字入力領域１０６に入力された手書き文字データを認識し（Ｓ１１）、その文字認識結果を、文字認識結果表示領域１０５に表示する（Ｓ１２）。例えば、図６（ｂ）に示すとおり、一文字ずつ「わたしにかして」と手書きで入力された結果、文字認識結果として、「わたしにかして」が文字認識結果表示領域１０５に表示される。ユーザは、文字認識結果表示領域１０５に表示された、文字認識結果を確認する。ここで、ユーザの意図する文字認識結果が出力されていない場合（Ｓ１３においてＮＯ）、ユーザの操作部２ａ（およびタッチペン２ｃ）の操作に応じて、認識文字の修正を行う（Ｓ１４；認識文字修正処理）。

具体例には、図６（ｃ）に示すとおり、ユーザがタッチペン２ｃを用いて文字認識結果表示領域１０５に表示された認識文字（またはその左側）をタッチすると、音声翻訳機１００が、修正対象の認識文字の左側にカーソル１０３を表示するとともに、認識文字候補リスト１０８を表示して、ユーザが文字認識誤りの修正を行えるように修正ツールを提供する。

一方、Ｓ１２の文字認識結果にて（あるいは、Ｓ１４の認識文字修正処理を経て）、ユーザが意図する文字列が得られた場合には（Ｓ１３においてＹＥＳ）、次に、ユーザの操作部２ａ（およびタッチペン２ｃ）の操作に応じて、上記文字認識結果の文字列を辞書データに基づき適切な文字に変換する（Ｓ１５；認識文字変換処理）。

具体的には、図６（ｄ）に示すとおり、ユーザがタッチペン２ｃを用いて文字認識結果表示領域１０５に表示された１以上の認識文字をドラッグすると、音声翻訳機１００が、ドラッグにより範囲指定された認識文字に対応する（あるいは、認識文字と置換可能な）文字変換候補を示す文字変換候補リスト１０９を表示して、ユーザが認識文字を変換できるように文字変換ツールを提供する。

Ｓ１５の認識文字変換処理を経て、ユーザが意図する文字列を得られた場合には、音声翻訳機１００は、その認識文字変換結果を、上記Ｓ３にて得られた音声認識結果に反映させて音声変換誤りを修正する（Ｓ１６）。ここで、音声認識結果を削除するなどの編集処理が実行されてもよい。

以上のことから、Ｓ１にて変換された表音記号に誤りがある場合も、手書き文字認識機能を利用してその音声変換誤りを簡単に修正することが可能となり、そこからさらに文字変換処理を簡単に実行することができる。以上のことから、入力データの認識または文字変換処理に係る、ユーザの意図とは異なる文字への変換誤りを簡単に修正することが可能となる。

そして、音声翻訳機１００は、Ｓ１３において、ユーザのタッチパネル２上でのタッチペン２ｃの操作内容に応じて、Ｓ１１における文字認識誤りを修正する認識文字修正処理（Ｓ１４）と、Ｓ１１により出力された認識文字を適切な文字に変換する認識文字変換処理（Ｓ１５）とを切り換えて実行することが可能となる。

なお、上述のＳ１３において、ユーザの操作部２ａ（およびタッチペン２ｃ）によって、いずれの操作が行われたか（どのような指示信号が入力されたか）については、実施形態１で説明した入力制御部１２の動作と同様であるため、ここでは説明を省略する。

（音声翻訳機１００の構成ii）
図１は、本発明の実施形態にかかる音声翻訳機１００の要部構成を示すブロック図である。なお、図１の各構成要素に付された符号は、図２または図５の各構成要素に付された符号に対応しており、同じ符号は、同じ構成要素を示している。したがって、すでに説明した構成要素についての説明は繰り返さない。また、説明の簡略化のために、図１に示す音声翻訳機１００において、図５に示す構成要素（音声認識部２１、音声認識結果編集部２８など）の記載を省略しているが、図１の音声翻訳機１００は、これら省略した、すでに説明済みの各構成要素を併せて備えていてもよい。

本発明の音声翻訳機１００において、図５に示す構成と異なる点は、認識文字候補記憶部３３および文字認識結果記憶部３４を備えている点、および、制御部１の文書生成制御部２０が、手書き文字認識部２５および認識文字候補出力部２６を含んでいる点である。

本実施形態では、文字変換部２２および文字変換候補出力部２４は、手書き文字認識部２５が出力する文字認識結果を、別の文字に変換することにより編集する文字認識結果編集部（文字処理手段）２９として機能する。

本実施形態では、認識文字候補記憶部３３および文字認識結果記憶部３４は、ＲＡＭ３（図２）によって実現される。文字認識結果記憶部３４は、図６（ａ）〜（ｄ）における文字認識結果表示領域１０５に表示する文字認識結果を記憶するものである。

手書き文字認識部２５は、操作部２ａを介して入力制御部１２に入力された手書き文字データ（元情報）を解析し、テキストデータ（文字）に変換するものである。手書き文字データがテキストデータに変換されることにより、音声翻訳機１００は、ユーザが入力した手書き文字を、文字として処理することが可能となる。

手書き文字データは、例えば、操作部２ａおよび表示部２ｂを一体に備えたタッチパネル２上の所定の領域内に、タッチペン２ｃなどを用いてユーザが手書きで文字を入力することにより生成される。また、手書き文字データの解析は、ＲＯＭ４に記憶されている、該当する言語の文字認識規則データおよび辞書データ（不図示）に基づいて行われる。

手書き文字認識部２５は、手書き文字データをテキストデータに変換したものを、文字認識結果として文字認識結果記憶部３４に格納する。例えば、認識文字「わたしにかして」を格納する。

上述の手書き文字認識の過程で、認識対象となる一つの手書き文字データに対して、複数の文字が候補（認識文字候補）として得られる場合がある。このような場合、手書き文字認識部２５は、辞書データから検知したすべての認識文字候補（文字候補）を、上記手書き文字データに対応付けて、認識文字候補記憶部（文字候補記憶部）３３に一時的に格納しておく。

文書管理部２３は、生成文書記憶部４１に記憶されている処理結果を管理するとともに、さらに、文字認識結果記憶部３４に格納されている、文書生成制御部２０の処理結果を管理する。具体的には、文字認識結果記憶部３４に、文字認識結果が新しく追加されたり、それが更新されたりすると、その文字認識結果を表示部２ｂに表示するために表示制御部１３に供給する。これにより、上述の認識文字「わたしにかして」が、文字認識結果として、図６（ｂ）の文字認識結果表示領域１０５に表示される。

さらに、文書管理部２３は、タッチペン２ｃを用いて認識文字挿入ボタン１０７がタッチされた場合に、文字認識結果表示領域１０５に表示される認識文字を、出力文書表示領域１０１のカーソル１０３の位置に挿入する。

具体的には、認識文字挿入ボタン１０７がタッチされると、認識文字を出力文書表示領域１０１に挿入する指示信号が、入力制御部１２を介して文書管理部２３に伝達される。文書管理部２３は、上記指示信号に応じて、文字認識結果記憶部３４に格納されている認識文字（文字認識結果表示領域１０５に表示されている認識文字）を、文字認識結果４１ｂとして、生成文書記憶部４１に記憶する。そして、文字認識結果４１ｂを、すでに表示されている音声認識結果４１ａとともに、最終的に出力する文書として表示制御部１３に供給する。

認識文字候補出力部（候補表示手段）２６は、上述したＳ１４の認識文字修正処理において、文字認識結果表示領域１０５（図６（ｃ）参照）に表示された認識文字の中から、ユーザに指定された認識文字と置換可能な他の認識文字候補のリストを出力するものである。認識文字候補出力部２６は、上記指定された認識文字が対応している手書き文字データに対応付けて、認識文字候補記憶部３３に格納されている認識文字候補を取得して、認識文字候補リストを生成し出力する。認識文字候補出力部２６が出力した認識文字候補リストは、表示制御部１３に供給され、表示部２ｂに表示される（図６（ｃ）の認識文字候補リスト１０８）。

認識文字候補出力部２６が出力した認識文字候補リスト１０８から新たな認識文字が選択されると（タッチペン２ｃなどによりタッチされると）、手書き文字認識部２５は、文字認識結果記憶部３４に記憶されている認識文字結果を編集して、現在の認識文字を新たに選択された認識文字へと置換する。

文字変換候補出力部（文字処理手段）２４は、さらに、上述したＳ１５の認識文字変換処理において、文字認識結果表示領域１０５（図６（ｄ）参照）に表示された認識文字の中から、ユーザにより指定された範囲内の文字列に対応する文字変換候補のリスト（文字変換候補リスト１０９）を出力する。

文字変換部（文字処理手段）２２は、上記辞書データから、ユーザにより指定された範囲内の文字列に対応する文字変換候補を取得して、文字変換候補記憶部３２に格納する。

文字変換候補出力部２４は、文字変換部２２が文字変換候補記憶部３２に格納した文字変換候補を取得して、文字変換候補リスト１０９を生成する。

文字変換候補出力部２４が出力した文字変換候補リスト１０９から、ユーザによって一つの文字変換候補が選択されると、文字変換部２２は、文字認識結果記憶部３４に記憶されている認識文字のうち、ユーザにより指定された範囲内の文字列を、上記選択された文字変換候補に変換する。

上記文字変換候補出力部２４および認識文字候補出力部２６は、入力制御部１２から供給されるユーザの指示信号に応じて、それぞれ生成した候補リストを表示する。より具体的には、ユーザにより操作部２ａを介して入力される指示信号を入力制御部１２が受け付ける。入力制御部１２は、認識文字候補リスト１０８を表示する指示であると判断した場合には、ユーザが指定する認識文字を含む当該指示信号を、認識文字候補出力部２６に供給する。一方、文字変換候補リスト１０９を表示する指示であると判断した場合に、ユーザが指定する文字列の範囲を含む当該指示信号を、文字変換候補出力部２４に供給する。

これにより、音声翻訳機１００は、ユーザの操作部２ａ（タッチペン２ｃ）の操作内容に応じて、認識文字を別の認識文字に修正するための認識文字修正処理（Ｓ１４）と、認識文字を別の文字（漢字やカタカナなど）に変換するための認識文字変換処理（Ｓ１５）とを切り換えて実行することが可能となる。すなわち、手書き文字認識処理におけるどの変換処理の段階（手書き文字認識段階または認識文字変換段階）で、修正・編集を行いたいのかに関わらず、いずれの段階の編集・修正処理も、操作部２ａ（タッチペン２ｃ）による操作一つで簡単に切り換えることが可能となる。

以上のことから、音声データや手書き文字データなどの認識処理による文字入力にかかる変換誤りを修正するための複数の処理のうち、実行すべき処理への切り換えをユーザの操作に応じて簡単に行うことができるので、ユーザの意図とは異なる文字への変換誤りを簡単に修正し、ユーザの意図通りの文書を簡単に取得することが可能となる。

さらに、上記複数の修正処理のうちの少なくとも一つは、すでに実行済みの変換処理の過程において生成されて一時的に格納されている候補（認識文字候補）を再利用して実行される。よって、上記候補を再利用して実行される処理が選択された場合には、より効率のよい修正処理を実現することが可能となる。

（音声翻訳機１００の処理フロー）
以下、図６〜図８を参照しながら、図１に示す音声翻訳機１００における、音声変換誤り修正処理（図４のＳ８）の流れについて、手書き文字認識を利用した場合を例にとり、より詳細に説明する。具体的には、図３（ｃ）の出力文書表示領域１０１に表示された音声認識結果４１ａ「箸を渡して下さい」を、手書き文字入力ボックス１０４を利用して「私に貸して」に修正する場合について説明する。なお、本実施形態では、音声翻訳機１００は、手書き文字入力ボックス１０４において、ひらがなのみを、受け付けて正しく認識するものとし、認識したひらがなを漢字（カタカナ）変換することにより、日本語の文書を作成するものとする。

図７は、図１に示す音声翻訳機１００における音声変換誤り修正処理の流れを示すフローチャートである。図８（ａ）〜（ｄ）は、音声変換誤り修正処理を行う場合の、音声翻訳機１００の表示画面遷移の一例を示す図である。

図６（ａ）に示すとおり、手書き文字入力ボックス１０４の手書き文字を入力する領域内に、ユーザがタッチペン２ｃを用いて手書き文字を入力すると（例えば、「わたしにかして」）、その手書き文字データを入力制御部１２が取得して（Ｓ１０１）、手書き文字認識部２５に供給する。手書き文字認識部２５は、供給された手書き文字データごとに認識を行う。すなわち、手書き文字データを「わたしにかして」というテキストデータに変換する（Ｓ１０２）。このとき、手書き文字認識部２５は、上記テキストデータに変換された第１候補である「わたしにかして」という認識文字を文字認識結果記憶部３４に格納する。さらに、手書き文字認識部２５は、上記第１候補以外の認識文字候補も、上記手書き文字データごとに認識文字候補記憶部３３に格納しておく（Ｓ１０３）。第１候補の認識文字もともに格納してもよい。具体的には、「文字ＩＤ／第１候補／他の候補」の三つのフィールドを手書き文字データごとに以下のように格納する。例えば、「第１文字データ／わ／れ、ぬ、ワ・・・」、「第３文字データ／し／レ、こ、シ・・・」などである。

続いて、文書管理部２３は、文字認識結果記憶部３４に格納された文字認識結果「わたしにかして」を文字認識結果表示領域１０５（図６（ｂ））に表示する（Ｓ１０４）。

ここで、ユーザは、文字認識結果表示領域１０５に表示された文字認識結果に修正を行わずに、そのまま出力文書として挿入したい場合は、認識文字挿入ボタン１０７をタッチして、出力文書表示領域１０１のカーソル１０３の位置に、文字認識結果表示領域１０５の文字認識結果を挿入すればよい。一方、ユーザは、文字認識結果表示領域１０５に表示された認識文字の認識誤りを修正したい場合、または、上記認識文字を別の適切な文字（漢字、カタカナなど）に変換したい場合には、タッチペン２ｃを用いて文字認識結果表示領域１０５上の認識文字を所定の操作で選択することにより、変換、修正を行うことができる。

（１）認識文字修正処理
ユーザは、文字認識結果表示領域１０５に表示された認識文字の認識誤りを修正するために、文字認識結果が表示されている文字認識結果表示領域１０５上のいずれかをタッチペン２ｃを用いてタッチする。

入力制御部１２は、認識文字間の特定の位置がタッチされたことを検知して、受け付けた認識文字修正の指示信号を、タッチされた文字間の位置情報とともに、認識文字候補出力部２６に伝達する（Ｓ１０５のＢ）。ここでは、図６（ｃ）に示す表示画面を例にとり説明する。ここでは、入力制御部１２は、文字認識結果の３文字目、カタカナの「レ」を「し」に修正したいので、２文字目「た」と３文字目「レ」との間がタッチされたものと検知する。

入力制御部１２から伝達された指示信号に応じて、認識文字候補出力部２６は、上記２文字目と３文字目との間を修正位置として取得し（Ｓ１０６）、該修正位置にカーソル１０３を表示させる。そして、修正位置にある（カーソル１０３の右にある）認識文字を修正対象として取得する（Ｓ１０７）。

次に、認識文字候補出力部２６は、上記取得した認識文字が対応する手書き文字データに対応付けて格納されている認識文字候補を、認識文字候補記憶部３３から取得する（Ｓ１０８）。例えば、認識文字候補記憶部３３には、３文字目「レ」の認識文字候補は、「文字ＩＤ／第１候補／他の候補」＝「第３文字データ／レ／し、こ、シ・・・」というように格納されている。したがって、認識文字候補出力部２６は、３文字目「レ」の他の認識文字候補「し、こ、シ・・・」を取得する。

そして、認識文字候補出力部２６は、取得した上記各認識文字候補を一覧で表示するための認識文字候補リスト１０８を表示部２ｂに表示する（Ｓ１０９）（図６（ｃ））。ユーザが、表示された認識文字候補リスト１０８の中から、所望の認識文字候補（例えば、「し」）をタッチペン２ｃでタッチすると、入力制御部１２は、認識文字候補が選択されたことを検知する（Ｓ１１０のＹＥＳ）。そして、手書き文字認識部２５は、入力制御部１２を介してユーザにより選択された認識文字候補「し」を取得して、修正対象の認識文字「レ」と置換する（Ｓ１１１）。正しく修正された文字認識結果は、文字認識結果記憶部３４に格納されて、文書管理部２３により文字認識結果表示領域１０５に表示される。

（２）認識文字変換処理
一方、Ｓ１０５において、ユーザは、文字認識結果表示領域１０５に表示された認識文字を別の適切な文字に変換したい場合、認識文字のうち変換したい文字の範囲（例えば、「わたしに」）を、タッチペン２ｃを用いてドラッグする（図６（ｄ））。

入力制御部１２は、認識文字がドラッグで選択されたことを検知して、受け付けた認識文字変換の指示信号を、ドラッグで指定された範囲情報とともに、文字変換部２２および文字変換候補出力部２４に伝達する（Ｓ１０５のＡ）。

入力制御部１２から伝達された指示信号に応じて、文字変換候補出力部２４は、上記範囲情報に基づいて、変換対象となる認識文字「わたしの」を取得する（Ｓ１１２）。そして、取得した変換対象の認識文字の中に、文字変換部２２によって、すでに別の文字に変換されている変換済文字が含まれているか否かを確認する。これは、本実施形態において、ドラッグされた範囲内に変換済文字が含まれているか否かによって、文字変換候補出力部２４が、実行する文字変換候補リスト１０９の生成方法が異なるためである。

本実施形態では、変換前の認識文字をひらがなとし、変換済文字を漢字またはカタカナとする。したがって、文字変換候補出力部２４は、Ｓ１１２にて取得した認識文字の中に、漢字（またはカタカナ）が含まれているか否かを判定する（Ｓ１１３）。

（２−１）ドラッグされた文字列が、すべて変換前のひらがなの場合
ここで、取得した認識文字に漢字が含まれていない（ひらがなのみ含まれている）と判定した場合には（Ｓ１１３においてＮＯ）、文字変換候補出力部２４は、図示しない日本語の辞書データから対応する漢字があるか否かを検証するひらがなの文字（列）を、上記ドラッグ指定された範囲内の認識文字から取得する（Ｓ１１４）。このとき、取得するひらがなは、上記範囲内のひらがな全部であってもよいし、一部であってもよい。

文字変換候補出力部２４は、辞書データを参照し、上記取得したひらがな（列）に対応する文字変換候補を取得する（Ｓ１１５）。そして、文字変換候補出力部２４は、上記ひらがなに対応付けて、すべての文字変換候補を文字変換候補記憶部３２に格納する（Ｓ１１６）。

なお、Ｓ１１４においてひらがなを取得する手順は特に限定されない。形態素解析によって、ひらがなを単語ごとに切り出して、対応する漢字を辞書データから抽出してもよいし、あるいは、ドラッグ指定された範囲内のひらがなを１文字目から順に文字数を増やして取り出し、取り出したひらがなの組合せごとに抽出されたすべての漢字を文字変換候補として取得してもよい。後者の手順を採用する場合、ドラッグ指定された範囲の全ひらがなに対応する漢字が辞書データに存在するか否かを検証するまで（Ｓ１１７のＹＥＳ）、上述のＳ１１４〜Ｓ１１６の処理を繰り返す（Ｓ１１７のＮＯ）。

全ひらがな文字についての、文字変換候補の検証が終了すると（Ｓ１１７のＹＥＳ）、文字変換候補記憶部３２に、上記ドラッグ指定された範囲のひらがなから変換され得る全文字変換候補が記憶される。そして、文字変換候補出力部２４は、文字変換候補記憶部３２に記憶された文字変換候補を一覧表示する文字変換候補リスト１０９を生成し、表示制御部１３に出力する（Ｓ１１８）。そして、図６（ｄ）に示すように、ドラッグにより範囲指定された「わたしに」に対応する文字変換候補が、表示部２ｂ上に表示される。

文字変換候補リスト１０９に表示された文字変換候補のうち、例えば、「私に」がタッチペン２ｃでタッチされると（Ｓ１１９においてＹＥＳ）、入力制御部１２を介して指示信号を受け付けた文字変換部２２は、ドラッグ指定された範囲のひらがな（「わたしに」）を、選択された文字変換候補（「私に」）に置換する（Ｓ１２０）。文書管理部２３は、置換された後の文字認識結果を、文字認識結果記憶部３４から取り出して表示制御部１３に供給する。これにより、図８（ａ）に示すとおり、タッチパネル２の文字認識結果表示領域１０５には、「私にかして」が表示される。

（２−２）ドラッグされた文字列に、変換済文字（漢字、カタカナなど）が含まれている場合
一方、Ｓ１１３において、文字変換候補出力部２４が、取得した認識文字に変換済文字（以下、漢字で説明する）が含まれていると判定した場合には（Ｓ１１３においてＹＥＳ）、含まれている当該漢字を考慮して、後に続く変換前のひらがなの文字変換候補があるか否かを検証する。以下では、図８（ａ）の文字認識結果表示領域１０５に表示される「私に」が、ユーザによりドラッグ指定された例について説明する。

文字変換候補出力部２４は、ドラッグ指定された認識文字に含まれている漢字（以下、取得漢字Ａ）を取得する（ここでは「私」）（Ｓ１２１）。そして、残りのひらがな（ひらがなＸ）を取得する（ここでは「に」）（Ｓ１２２）。続いて、文字変換候補出力部２４は、Ｓ１２２で取得したひらがな「に」に対応する文字変換候補を辞書データから取得する（Ｓ１２３）。ここでは、例えば、「に」、「煮」、「似」が検出されたとする。これら３つの文字を文字変換候補Ｂとする。

続いて、文字変換候補出力部２４は、Ｓ１２１で取得した取得漢字Ａと、Ｓ１２３で取得した文字変換候補Ｂの各々とを組み合わせた文字列Ａ＋Ｂ（「私に」、「私煮」、「私似」）のそれぞれが、日本語として存在するか否かを判定するために、辞書データを検索する（Ｓ１２４）。文字変換候補出力部２４は、文字列Ａ＋Ｂが、辞書データに存在すると判定すると（Ｓ１２４においてＹＥＳ）、当該文字列Ａ＋Ｂの組合せを、範囲指定された「私に」に対する文字変換候補として、文字変換候補記憶部３２に記憶する。これを、文字列Ａ＋Ｂの全組合せについて検証する。ここでは、検証の結果、ドラッグされた範囲「私に」に対応付けて、変換候補「私に」および「私似」が文字変換候補として記憶される。

そして、Ｓ１２２で取得したひらがなが複数ある場合には、上述のＳ１１７と同様に、全ひらがなに対応する漢字が辞書データに存在するか否かを検証し、取得漢字Ａとの組合せを検証するまで（Ｓ１２６のＹＥＳ）、上述のＳ１２２〜Ｓ１２５の処理を繰り返す（Ｓ１２６のＮＯ）。

取得漢字Ａに続く全ひらがな文字についての、文字変換候補の検証が終了すると（Ｓ１２６のＹＥＳ）、文字変換候補記憶部３２に、上記ドラッグ指定された範囲の認識文字（「私に」）と置換可能な全ての文字変換候補が記憶される。そして、文字変換候補出力部２４によって、上記文字変換候補を一覧表示する文字変換候補リスト１０９を生成され、表示制御部１３に出力される（Ｓ１１８）。図８（ｂ）に示すように、ドラッグにより範囲指定された「私に」の変換前ひらがな「に」に対応する文字変換候補が、表示部２ｂ上に表示される。

上記方法によれば、変換済文字を考慮して、後に続く変換前ひらがなの文字変換候補を取得することにより、文字変換候補出力部２４は、ユーザが選択する可能性の高い文字変換候補が上位にリストアップされるような文字変換候補リスト１０９を生成することができる。結果として、文字変換効率を上げて、ユーザの意図とは異なる文字への変換誤りをより簡単に修正することが可能となる。

なお、上述の説明では、変換済文字がドラッグ指定された範囲の認識文字に含まれているか否かを判定するために、Ｓ１１３において、漢字（またはカタカナ）が含まれているか否かを判定することとしたが、判定方法はこれに限定されない。

例えば、文字認識結果記憶部３４に記憶されている認識文字ごとに、変換履歴情報、あるいは、変換済を示すフラグを記憶し、範囲指定された認識文字の中に変換済文字が含まれているか否かを判定してもよい。

上述の認識文字修正処理（Ｓ１０６〜Ｓ１１１）、および／または、認識文字変換処理（Ｓ１１２〜Ｓ１２６）を経て、文字認識結果表示領域１０５に表示される（文字認識結果記憶部３４に記憶される）認識文字結果から、ユーザが意図する文字列（図８（ｃ）の「私に貸して」）を得られた場合には、ユーザは、タッチペン２ｃを用いて認識文字挿入ボタン１０７をタッチする（Ｓ１２７においてＹＥＳ）。

これに応じて、文書管理部２３は、文字認識結果記憶部３４に記憶されている修正、変換後の認識文字結果「私に貸して」を生成文書記憶部４１に記憶する（文字認識結果４１ｂ）。文書管理部２３は、生成文書記憶部４１に記憶された音声認識結果４１ａ（図４のＳ３で得られた「箸を渡して下さい」）に対して、上述の文字認識結果４１ｂを図６（ｂ）に示したカーソル１０３の位置に挿入し、最終の出力文書として、表示制御部１３に出力する（Ｓ１２８）。表示制御部１３は、出力文書をタッチパネル２の出力文書表示領域１０１に表示する（図８（ｄ））。なお、ユーザが出力文書として不要な文字列を削除したい場合には、出力文書表示領域１０１内の文字列を選択して、削除ボタンなどをタッチするようにしてもよい。これに応じて、文書管理部２３は、生成文書記憶部４１から削除対象の文字列を削除する。

上記方法によれば、音声翻訳機１００は、ユーザの操作部２ａ（タッチペン２ｃ）の操作内容に応じて、認識文字を別の認識文字に修正するための認識文字修正処理（Ｓ１０６〜Ｓ１１１）と、認識文字を別の文字（漢字やカタカナなど）に変換するための認識文字変換処理（Ｓ１１２〜Ｓ１２６）とを切り換えて実行することが可能となる。すなわち、手書き文字認識処理におけるどの変換処理の段階（手書き文字認識段階または認識文字変換段階）で、修正・編集を行いたいのかに関わらず、いずれの段階の編集・修正処理も、操作部２ａ（タッチペン２ｃ）による操作一つで簡単に切り換えることが可能となる。

以上のことから、手書き文字データ認識処理による文字入力にかかる変換誤りを修正するための複数の処理のうち、実行すべき処理への切り換えをユーザの操作に応じて簡単に行うことができるので、ユーザの意図とは異なる文字への変換誤りを簡単に修正し、ユーザの意図通りの文書を簡単に取得することが可能となる。

上述の実施形態では、本発明の文字入力装置を、音声翻訳機に適用した場合について説明し、音声翻訳機１００が備える音声認識機能にかかる変換誤りを修正する構成および方法（実施形態１）と、手書き文字認識機能にかかる変換誤りを修正する構成および方法（実施形態２）について説明した。

しかし、上述の音声翻訳機１００におけるの文字入力のための認識部（音声認識部２１／手書き文字認識部２５）の構成は、本発明の文字入力装置の構成を限定するものではない。本発明の文字入力装置は、必ずしも、音声認識機能／手書き文字認識機能を有している必要はない。すなわち、本発明の文字入力装置は、音声認識／手書き文字認識技術を利用して得られた文字列を修正する以外に、様々な文字入力方法（ＯＣＲ（optical character reader）によるスキャン画像認識、など）によって得られた文字列を修正する場合にも、広く一般に適用することが可能である。

そして、本発明の文字入力装置は、そのような入力データをテキストデータとして認識する段階と、当該テキストデータとを文字変換する段階とのいずれの段階にかかる修正であっても、各修正に必要な修正ツールを、ユーザの操作内容に応じて提供することが可能である。したがって、ユーザは、文字入力装置の操作一つで、簡単に、所望の段階にかかる修正を実行し、ユーザの意図とは異なる文字への変換誤りを簡単に修正することができる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、音声翻訳機１００の各ブロック、特に、文字変換部２２、文字変換候補出力部２４、認識文字候補出力部２６、および、音声認識結果編集部２８は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、音声翻訳機１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである音声翻訳機１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記音声翻訳機１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、音声翻訳機１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明の文字入力装置は、音声データ、手書き文字データ、画像データなどに含まれる言語情報を文字として認識するときの認識誤りや、入力された文字をさらに別の文字に変換するときの変換誤りを修正するための複数の処理を簡単に切り換えることができるので、音声データ、手書き文字データ、画像データなどに含まれる言語情報を認識して文字を入力する文字入力装置に対して好適に用いられる。

本発明の実施形態にかかる音声翻訳機の要部構成を示すブロック図である。 本発明の実施形態にかかる音声翻訳機のハードウェア構成の一例を示すブロック図である。 （ａ）〜（ｃ）は、音声翻訳機の外観を示す図である。 音声翻訳機における音声認識および手書き文字認識を利用した文書生成処理の流れを示すフローチャートである。 本発明の実施形態にかかる音声翻訳機の要部構成を示すブロック図である。 （ａ）〜（ｄ）は、音声翻訳機の表示画面例を示す図である。 音声翻訳機における音声変換誤り修正処理の流れを示すフローチャートである。 （ａ）〜（ｄ）は、音声翻訳機の表示画面遷移の一例を示す図である。 中国語音声認識機能を利用して文字入力を行う音声翻訳機における、中国語文字入力処理の流れを示すフローチャートである。

符号の説明

１ 制御部
２ タッチパネル
２ａ 操作部
２ｂ 表示部
２ｃ タッチペン
３ ＲＡＭ
４ ＲＯＭ
５ 音声ＣＯＤＥＣ
６ アンプ
７ マイク
８ スピーカ
９ ＣＰＵ
１０ 入出力制御部
１１ 音声データ受信部
１２ 入力制御部
１３ 表示制御部（文字表示手段）
２０ 文書生成制御部
２１ 音声認識部
２２ 文字変換部
２３ 文書管理部
２４ 文字変換候補出力部（候補表示手段）
２５ 手書き文字認識部
２６ 認識文字候補出力部（候補表示手段）
２８ 音声認識結果修正部（文字処理手段）
２９ 文字認識結果修正部（文字処理手段）
３１ 表音記号記憶部
３２ 文字変換候補記憶部（文字候補記憶部）
３３ 認識文字候補記憶部（文字候補記憶部）
３４ 文字認識結果記憶部
４１ 生成文書記憶部
１００ 音声翻訳機（文字入力装置）
１０１ 出力文書表示領域（文字表示領域）
１０２ 文字変換候補リスト
１０３ カーソル
１０４ 手書き文字入力ボックス
１０５ 文字認識結果表示領域（文字表示領域）
１０６ 手書き文字入力領域
１０７ 認識文字挿入ボタン
１０８ 認識文字候補リスト
１０９ 文字変換候補リスト

Claims (9)

1. 文字に変換する前の元情報を文字に変換する過程で生成された文字候補が、上記元情報に対応付けて文字候補記憶部に記憶されており、
   上記過程によって変換された文字を、文字表示領域にユーザが選択可能に表示する文字表示手段と、
   ユーザの第１操作によって上記文字表示領域に表示された文字が選択された場合に、選択された文字の変換前の元情報に対応付けて上記文字候補記憶部に記憶されている文字候補をユーザが選択可能に表示する候補表示手段と、
   上記文字表示領域において上記第１操作と異なるユーザの第２操作が行われた場合に、上記候補表示手段が実行する処理とは異なる、該文字表示領域に表示された文字にかかる処理を実行する文字処理手段とを備えていることを特徴とする文字入力装置。
2. 上記元情報は、ユーザにより手書き入力された手書き文字データであって、
   上記文字候補記憶部には、上記手書き文字データを平仮名に変換する過程で生成された該手書き文字データに対応する平仮名候補が記憶されており、
   上記候補表示手段は、ユーザにより選択された平仮名の変換前の手書き文字データに対応付けられた平仮名候補を、上記文字候補記憶部から取得して表示することを特徴とする請求項１に記載の文字入力装置。
3. 上記元情報から変換されて上記文字表示領域に表示された、１文字以上の平仮名からなる平仮名列が、ユーザの上記第２操作により選択された場合に、
   上記文字処理手段は、平仮名列を少なくとも漢字を含む漢字文字列に変換するための対応規則にしたがって、上記選択された平仮名列に対応する漢字文字列として特定された漢字文字列候補をユーザが選択可能に表示することを特徴とする請求項１または２に記載の文字入力装置。
4. 文字に変換する前の元情報を変換して得た１以上の文字からなる文字列を、文字表示領域にユーザが選択可能に表示する文字表示手段と、
   上記文字表示領域に表示された文字列のうち、１文字以上の平仮名からなる平仮名列が、ユーザにより選択された場合に、平仮名列を少なくとも漢字を含む漢字文字列に変換するための対応規則にしたがって、上記選択された平仮名列に対応する漢字文字列として特定された漢字文字列候補をユーザが選択可能に表示する文字処理手段とを備えていることを特徴とする文字入力装置。
5. 漢字の組合せがあらかじめ辞書データ記憶部に登録されており、
   上記文字処理手段は、
   上記文字表示領域に表示された文字列のうち、ユーザにより選択された文字列が漢字文字列の漢字を含む場合に、
   上記ユーザにより選択された文字列に含まれる平仮名列に対応する漢字文字列候補のうち、上記漢字文字列の漢字との組合せが、上記辞書データ記憶部に登録されている漢字文字列候補のみを、上記漢字文字列の漢字と組合せてユーザが選択可能に表示することを特徴とする請求項４に記載の文字入力装置。
6. 文字に変換する前の元情報を文字に変換する過程で生成された文字候補を、上記元情報に対応付けて文字候補記憶部に記憶する記憶ステップと、
   上記過程によって変換された文字を、文字表示領域にユーザが選択可能に表示する文字表示ステップと、
   ユーザの第１操作によって上記文字表示領域に表示された文字が選択された場合に、選択された文字の変換前の元情報に対応付けて上記文字候補記憶部に記憶されている文字候補をユーザが選択可能に表示する候補表示ステップと、
   上記文字表示領域において上記第１操作と異なるユーザの第２操作が行われた場合に、上記候補表示ステップにて実行する処理とは異なる、該文字表示領域に表示された文字にかかる処理を実行する処理実行ステップとを含むことを特徴とする文字入力方法。
7. 文字に変換する前の元情報を変換して得た１以上の文字からなる文字列を、文字表示領域にユーザが選択可能に表示する文字表示ステップと、
   上記文字表示領域に表示された文字列のうち、１文字以上の平仮名からなる平仮名列が、ユーザにより選択された場合に、平仮名列を少なくとも漢字を含む漢字文字列に変換するための対応規則にしたがって、上記選択された平仮名列に対応する漢字文字列として特定された漢字文字列候補をユーザが選択可能に表示する処理実行ステップとを含むことを特徴とする文字入力方法。
8. コンピュータを、請求項１から５のいずれか１項に記載の文字入力装置の各手段として機能させるための制御プログラム。
9. 請求項８に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images