JP2005149042A - 音声入力翻訳装置、翻訳プログラム - Google Patents

Abstract

【課題】音声により入力を行い翻訳結果を得る音声入力翻訳装置およびそのための翻訳プログラムにおいて、より円滑にユーザの意図する翻訳結果を得ることが可能な音声入力翻訳装置および翻訳プログラムを提供すること。
【解決手段】第１の言語の音声情報を第１の言語によるテキスト情報に変換する音声認識部と、変換によって得られた第１の言語によるテキスト情報にあらかじめ決められた区切り記号があるか否かを逐次検出する区切り記号検出部と、区切り記号検出部により区切り記号が検出された場合に、変換によって得られた第１の言語によるテキスト情報を第１の言語とは異なる第２の言語によるテキスト情報に翻訳する翻訳部とを具備する。
【選択図】図１

Description

本発明は、音声により入力を行い翻訳結果を得る音声入力翻訳装置およびそのための翻訳プログラムに係り、特に、より円滑に翻訳結果を得るのに適する音声入力翻訳装置および翻訳プログラムに関する。

音声により入力を行い翻訳結果を音声で得る音声入力翻訳装置の例として、特公平２−７１０７号公報記載のものがある。同文献の例では、音声入力を行ったあとで翻訳を開始するきっかけを装置側が判断するのに、一定時間の無音区間の検出を行うようにしている。これによれば、ユーザがボタンなどのマンマシンインターフェースを用いることなく円滑に翻訳結果を音声で得ることができる。
特公平２−７１０７号公報

しかしながら、同文献の方法では、ユーザが翻訳開始のため意図的に無音を入力したのか、言いよどみや思考中で無音を入力したのか装置側で判断がつかない。したがって、ユーザの意図しないタイミングで翻訳が開始されてしまうことがあり得る。このような翻訳結果は当然ながらユーザの意図しない結果となってしまう。

本発明は上記の事情を考慮してなされたもので、音声により入力を行い翻訳結果を得る音声入力翻訳装置およびそのための翻訳プログラムにおいて、より円滑にユーザの意図する翻訳結果を得ることが可能な音声入力翻訳装置および翻訳プログラムを提供することを目的とする。

上記の課題を解決するため、本発明に係る音声入力翻訳装置は、第１の言語の音声情報を前記第１の言語によるテキスト情報に変換する音声認識部と、前記変換によって得られた前記第１の言語による前記テキスト情報にあらかじめ決められた区切り記号があるか否かを逐次検出する区切り記号検出部と、前記区切り記号検出部により区切り記号が検出された場合に、前記変換によって得られた前記第１の言語による前記テキスト情報を前記第１の言語とは異なる第２の言語によるテキスト情報に翻訳する翻訳部とを具備することを特徴とする。

すなわち、音声認識部により得られた第１の言語のテキスト情報にあらかじめ決められた区切り記号があるか否かを逐次検出する区切り記号検出部が設けられる。区切り記号検出部により区切り記号が検出された場合には、第１の言語のテキスト情報を第２の言語のテキスト情報に翻訳する。よって、翻訳を開始させるのにボタンなどのマンマシンインターフェースを必要としないばかりではなく、不適切なタイミングで翻訳が開始されることもなくなる。したがって、より円滑にユーザの意図する翻訳結果を得ることが可能になる。なお、「区切り記号」は、第１の言語に即して決めることができるが、例えば「。」、「．」、「？」、「！」などを例示することができる。これは以下でも同様である。

また、本発明に係る翻訳プログラムは、第１の言語の音声情報を前記第１の言語によるテキスト情報に変換するステップと、前記変換によって得られた前記第１の言語による前記テキスト情報にあらかじめ決められた区切り記号があるか否かを逐次検出するステップと、前記区切り記号が検出された場合に、前記変換によって得られた前記第１の言語による前記テキスト情報を前記第１の言語とは異なる第２の言語によるテキスト情報に翻訳するステップとをコンピュータに実行させるものである。

すなわち、テキスト変換により得られた第１の言語のテキスト情報にあらかじめ決められた区切り記号があるか否かを逐次検出するステップが設けられる。このステップにより区切り記号が検出された場合には、第１の言語のテキスト情報を第２の言語のテキスト情報に翻訳する。よって、翻訳を開始させるのにボタンなどのマンマシンインターフェースを必要としないばかりではなく、不適切なタイミングで翻訳が開始されることもなくなる。したがって、より円滑にユーザの意図する翻訳結果を得ることが可能になる。

本発明によれば、第１の言語のテキスト情報にあらかじめ決められた区切り記号があるか否かを逐次検出し、この検出をきっかけとして第１の言語のテキスト情報から第２の言語のテキスト情報への翻訳を開始するようにしたので、より円滑にユーザの意図する翻訳結果を得ることが可能になる。

本発明の実施態様として、前記翻訳により得られた前記第２の言語による前記テキスト情報を直ちに音声情報に変換する音声合成部をさらに具備するか、またはそのようなステップをコンピュータに実行させるようにしてもよい。これによれば、音声入力、音声出力の翻訳装置または翻訳プログラムを得ることができる。

また、実施態様として、前記音声認識部は、前記第１の言語の音声情報を認識することより該第１の言語の音声情報に内在する黙示的な区切りを、前記第１の言語による前記テキスト情報に明示的な区切り記号として自動的に付加する機能を有するようにしてもよい。認識された言語においては、その言語としてそこに区切り記号が入るべきか否かを各様の言語解析を適用して判断することができる。そこでそのような判断結果に基づき自動的に区切り記号を付加、挿入するものである。

または、実施態様として、前記音声認識部は、前記第１の言語の音声情報による明示的な区切りを、該第１の言語の音声情報を認識することにより前記第１の言語による前記テキスト情報に明示的な区切り記号として付加するようにしてもよい。これは例えば「。」であれば、「まる」あるいは「くてん」などと音声入力して区切り記号のテキスト情報に変換するものである。

また、実施態様として、前記変換によって得られた前記第１の言語による前記テキスト情報を表示する第１の表示部と、前記翻訳によって得られた前記第２の言語による前記テキスト情報を表示する第２の表示部とをさらに具備し、前記第１の表示部における前記第１の言語による前記テキスト情報および前記第２の表示部における前記第２の言語による前記テキスト情報が、前記検出された区切り記号の間を単位として改行されて表示されるようにしてもよい。このような表示によれば、第１の言語と第２の言語との対応がわかりやすくユーザにとって使い勝手がよい。

以上を踏まえ、以下では本発明の実施形態を図面を参照しながら説明する。図１は、本発明の一実施形態に係る音声入力翻訳装置の構成を示すブロック図である。図１に示すように、この音声入力翻訳装置は、音声入力部１１、音声認識部１２、音声認識部用辞書１３、区切り記号検出部１４、第１表示部１５、翻訳部１６、翻訳部用辞書１７、第２表示部１８、音声合成部１９、音声合成部用辞書２０、音声出力部２１を有する。以下、ここでは、一例として第１の言語を日本語、第２の言語を英語として説明する。他の言語であっても原理は同様である。

音声入力部１１は、日本語の入力音声を拾い電気信号に変換するものであり、例えばマイクロフォンである。変換で得られた電気信号は音声認識部１２に送られる。音声認識部１２は、入力音声に相当する電気信号を音声認識し、テキスト情報（日本語）に変換する一連の処理を行うものである。ここでテキスト情報に変換するのに適宜、音声認識部用辞書１３を用いる。音声認識部用辞書１３は、音声信号としての特徴量と各テキスト形式の情報とが対応付けられている一種のデータベースである。音声認識部１２で得られたテキスト情報は、区切り記号検出部１４および第１表示部１５に逐次送られる。なお、音声認識部１２および音声認識用辞書１３については、同様の機能を有するものが公知であり、処理速度がそれなりに速いものであればその各種のものを用いることができる。

区切り記号検出部１４は、送られてきたテキスト情報に区切り記号があるか否かを逐次検出するものである。ここで区切り記号は例えば「。」「？」「！」の３つとすることができる。区切り記号が検出された場合には、そこまでのテキスト情報を翻訳部１６に送る。また、第１表示部１５は送られてきたテキスト情報を表示するものである。

翻訳部１６は、送られてきたテキスト情報（日本語）を英語のテキスト情報に翻訳・変換する一連の処理を行うものである。ここで英語のテキスト情報に変換するのに適宜、翻訳部用辞書１７を用いる。翻訳部用辞書１３は、日本語テキストと英語テキストとの対応付けのデータなどが収められた一種のデータベースである。翻訳部１６で得られた英語テキスト情報は、音声合成部１９および第２表示部１８に送られる。なお、翻訳部１６および翻訳部用辞書１７については、同様の機能を有するものが公知であり、処理速度がそれなりに速いものであれば各種のものを用いることができる。

第２表示部１８は、送られてきた英語テキスト情報を表示するものである。音声合成部１９は、送られてきた英語テキスト情報に基づき音声合成を行うものである。ここで音声合成するのに適宜、音声合成部用辞書２０が用いられる。音声合成部用辞書２０は、英語の各テキスト形式の情報と音声信号データとが対応付けられている一種のデータベースである。音声合成部１９で得られた英語音声信号は音声出力部２１に送られる。音声出力部２１は、送られてきた音声信号を音声に変換するものであり、例えばスピーカである。なお、音声合成部１９および音声合成部用辞書２０については、同様の機能を有するものが公知であり、処理速度がそれなりに速いものであれば各種のものを用いることができる。

ちなみに、実際の構成として、音声認識部１２、区切り記号検出部１４、翻訳部１６、音声合成部１９の部分は、マイクロプロセッサやメモリなどからなる、パソコンなどの情報処理装置のハードウエアと、このハードウエア上で動作するＯＳ（オペレーティングシステム）やアプリケーションプログラムなどのソフトウエアとから構成することができる。音声認識部用辞書１３、翻訳部用辞書１７、音声合成部用辞書２０も、同じパソコンのメモリ上に展開された辞書を用いることができる。またこの場合、第１表示部１５、第２表示部１８としては、パソコンの画面をこれに用いることができる。ただし、パソコンのような汎用の情報処理装置を用いることなく全体を構成することも可能であり、すなわち専用の音声入力翻訳装置としてもよい。またパソコンに代えてＰＤＡのような汎用の携帯端末を利用することもできる。

次に、上記説明した音声入力翻訳装置の動作を図２をも参照して説明する。図２は、図１に示した音声入力翻訳装置の動作フローを示す流れ図である。

まず、音声入力部１１より日本語音声の入力を行う。これにより音声認識部１２は、日本語音声信号をテキスト情報に逐次、変換する（ステップ３１前段）。ここで、テキスト情報への変換において、ひとつの方法として、明示的な区切りを音声で入力してこれをテキストとしての区切り記号に変換する方法を採用することができる。たとえば、「。」であれば「まる」や「くてん」などと、「？」であれば「クエスチョンマーク」や「はてなマーク」などと、「！」であれば「エクスクラメーションマーク」や「びっくりマーク」などと音声で入力し、この音声信号をテキスト情報としての「。」「？」「！」に変換するものである。

または、テキスト情報への変換における別の方法として、音声をそのままテキストとした情報を解析することにより、テキスト情報としてそこに「。」のような区切り記号が挿入されるべきか否かを判断して自動的に挿入する方法を採用することもできる。この方法では、明示的に区切りを音声で入力する必要がないのでユーザにとっての使い勝手はさらに向上する。ただし、ソフトウエア的な処理の負担は大きくなるので、区切り記号のうち一部のみをこの方法にすることや、あるいはすべて音声入力にして処理負担を軽減することも有力である。

上記のようにして区切り記号を含んでテキストに変換された情報は、第１表示部１５および区切り記号検出部１４に送られる（ステップ３１後段）。第１表示部１５での表示はパソコンを利用している場合には表示ウィンドウとしての表示とすることができる。

区切り記号検出部１４では、送られたテキスト情報に区切り記号が存在するか否かを逐次、検出する（ステップ３２）。区切り記号が検出されない間はもう一度上記ステップ３１に戻って上記の処理を行う。区切り記号が検出されたら、そこまでに送られてきているテキスト情報（日本語）を翻訳部１６にさらに転送する（ステップ３３）。

翻訳部１６では、送られてきたテキスト情報を英語のテキスト情報に翻訳・変換する（ステップ３４前段）。翻訳がされたら、さらにその英語テキスト情報を第２表示部１８及び音声合成部１９に送る（ステップ３４後段）。第２表示部１８での表示はパソコンを利用している場合には表示ウインドウとしての表示とすることができる。以上のような処理によって翻訳および表示までを行えば、ユーザは、装置に対するインターフェースとしてボタンやマウスの操作なしに音声（声）のみで、自動的に適切な区切りで音声の日本語を英語のテキスト情報に変換することができる。

音声合成部１９では、送られた英語テキスト情報を英語音声情報に変換する（ステップ３５前段）。また、音声情報に変換されたらその情報を音声出力部２１に送る（ステップ３５後段）。音声出力部２１からの音声出力により英語の音声出力をも得ることができる。次に、処理の終了を明示的に入力した場合には（ステップ３６のＹ）終了し、そうでない場合には、次の日本語音声出力について同様にステップ３１からの処理を行う。

以上説明のように、この実施形態によれば、文章終端の記号の検出により文末までの表現を考慮して自動的に翻訳が開始されるので、翻訳を開始させるのにボタンなどのマンマシンインターフェースを必要としないばかりではなく、不適切なタイミングで翻訳が開始されることもなくなる。したがって、より円滑にユーザの意図する翻訳結果（テキスト情報または音声）を得ることが可能になる。

図３は、図１で説明した音声入力翻訳装置としてパソコンを利用した場合の表示ウィンドウの一例を示す図である。図３に示すように、表示ウィンドウ４０には、音声入力を開始して受け付けるようにするためのボタン４１、第１および第２の言語を設定するコンボボックス４２、話者の性別やプロファイルなどの情報を設定するコンボボックス４３、第１の言語のテキスト情報が表示されるフィールド４４、手動で翻訳を開始するためのボタン４５、第２の言語のテキスト情報（すなわち翻訳後のテキスト情報）が表示されるフィールド４６、手動で音声出力を開始するためのボタン４７、音声入力レベルを表示するインジケータ４８、各種の設定を行うためのボタン群４９がそれぞれ配置される。

なお、これらのうち、手動で翻訳を開始するためのボタン４５および手動で音声出力を開始するためのボタン４７は、図２での説明のように動作させる場合には当然ながら使用しない。また、図１、図２を参照する説明では述べなかったが、話者の性別やプロファイルなどの情報を設定するコンボボックス４３は、音声認識部１２での認識精度を向上するための設定入力である。これに設定を入力するにより、各個人で異なる音声としてのばらつきに対応して音声認識部１２が音声認識処理を行うことができ認識精度が向上する。

図３においては、一例として、第１言語のフィールド４４に４つの邦文４４ａ、４４ｂ、４４ｃ、４４ｄが表示され、第２の言語のフィールド４６にそれらの邦文にそれぞれ対応する４つの英文４６ａ、４６ｂ、４６ｃ、４６ｄが表示されている。４つの邦文４４ａ、４４ｂ、４４ｃ、４４ｄは、それぞれ何らかの区切り記号で終了しており、すなわちその区切り記号を契機としてそれぞれに対応する英文４６ａ、４６ｂ、４６ｃ、４６ｄが表示されたことを示している。

この表示の特徴は以下である。フィールド４４とフィールド４６とは、区切り記号により自動的に改行がされるという表示形式が同一である。さらに、フィールド４４に示すように邦文４４ｃと邦文４４ｄの間に空行を設けた場合（このような空行の配置は、例えば音声入力で「かいぎょう」と入力することで可能なように装置として対応することができる。）には、そのような表示形式は図示するように英文のフィールド４６上でも踏襲される。これにより、邦文のフィールド４４と英文のフィールド４６との表示対応が確認しやすくなる。

図４は、各種の設定を行うためのボタン群４９による設定のうちひとつの設定を行うためのウィンドウの一例を示す図である。この設定ウィンドウは「翻訳の設定」のタブが選択されたときを示している。図４で「自動翻訳モード」は図２で説明したような処理である。ここでは、テキストの特定位置に区切り記号が挿入されるべきか否かを判断して自動的に区切り記号を挿入する方法を採用していない場合を示す。「手動翻訳モード」は翻訳の開始タイミングを自動的に検出するのではなく、常に、図３に示す「手動で翻訳を開始するためのボタン４５」が押下されたときに翻訳が開始されるモードである。

本発明の一実施形態に係る音声入力翻訳装置の構成を示すブロック図。 図１に示した音声入力翻訳装置の動作フローを示す流れ図。 図１で説明した音声入力翻訳装置としてパソコンを利用した場合の表示ウィンドウの一例を示す図。 各種の設定を行うためのボタン群４９による設定のうちひとつの設定を行うためのウィンドウの一例を示す図。

符号の説明

１１…音声入力部、１２…音声認識部、１３…音声認識部用辞書、１４…区切り記号検出部、１５…第１表示部、１６…翻訳部、１７…翻訳部用辞書、１８…第２表示部、１９…音声合成部、２０…音声合成部用辞書、２１…音声出力部、４０…表示ウィンドウ、４４…第１の言語のテキスト情報が表示されるフィールド、４６…第２の言語のテキスト情報（すなわち翻訳後のテキスト情報）が表示されるフィールド。

Claims (7)

1. 第１の言語の音声情報を前記第１の言語によるテキスト情報に変換する音声認識部と、
   前記変換によって得られた前記第１の言語による前記テキスト情報にあらかじめ決められた区切り記号があるか否かを逐次検出する区切り記号検出部と、
   前記区切り記号検出部により区切り記号が検出された場合に、前記変換によって得られた前記第１の言語による前記テキスト情報を前記第１の言語とは異なる第２の言語によるテキスト情報に翻訳する翻訳部と
   を具備することを特徴とする音声入力翻訳装置。
2. 前記翻訳により得られた前記第２の言語による前記テキスト情報を直ちに音声情報に変換する音声合成部をさらに具備することを特徴とする請求項１記載の音声入力翻訳装置。
3. 前記音声認識部が、前記第１の言語の音声情報を認識することより該第１の言語の音声情報に内在する黙示的な区切りを、前記第１の言語による前記テキスト情報に明示的な区切り記号として自動的に付加する機能を有することを特徴とする請求項１記載の音声入力翻訳装置。
4. 前記音声認識部が、前記第１の言語の音声情報による明示的な区切りを、該第１の言語の音声情報を認識することにより前記第１の言語による前記テキスト情報に明示的な区切り記号として付加することを特徴とする請求項１記載の音声入力翻訳装置。
5. 前記変換によって得られた前記第１の言語による前記テキスト情報を表示する第１の表示部と、
   前記翻訳によって得られた前記第２の言語による前記テキスト情報を表示する第２の表示部とをさらに具備し、
   前記第１の表示部における前記第１の言語による前記テキスト情報および前記第２の表示部における前記第２の言語による前記テキスト情報が、前記検出された区切り記号の間を単位として改行されて表示されることを特徴とする請求項１記載の音声入力翻訳装置。
6. 第１の言語の音声情報を前記第１の言語によるテキスト情報に変換するステップと、
   前記変換によって得られた前記第１の言語による前記テキスト情報にあらかじめ決められた区切り記号があるか否かを逐次検出するステップと、
   前記区切り記号が検出された場合に、前記変換によって得られた前記第１の言語による前記テキスト情報を前記第１の言語とは異なる第２の言語によるテキスト情報に翻訳するステップと
   をコンピュータに実行させる翻訳プログラム。
7. 前記翻訳により得られた前記第２の言語による前記テキスト情報を直ちに音声情報に変換するステップをさらにコンピュータに実行させる請求項６記載の翻訳プログラム。

Images