JP2004302196A - 音声認識装置、音声認識方法及び音声認識プログラム - Google Patents

Abstract

【課題】発声した音声をより適切に音声認識すること。
【解決手段】入力された音声を認識する音声認識装置であって、入力音声から利用者が発声した音声部分を検出して、入力音声を音声部分と非音声部分に分割する音声検出部１１と、音声部分に対して認識処理を行う音声認識部１５と、入力されている音声に対して音声認識部１５により認識処理が行われているかどうかの状態を随時表示して利用者に伝える認識状態表示部１４とを備えている。このとき、ユーザは、発声した音声を音声認識装置が音声認識しているかどうかを確認することができる。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、音声認識装置及びそれに用いる音声認識方法並びに音声認識プログラムに関し、特に、入力される音声を認識する音声認識装置における認識対象となる音声の特定方法に関する。
【０００２】
【従来の技術】
入力された音声を音声認識する音声認識装置が知られている。このような音声認識装置では、入力音声のパワー値等を用いてユーザが発声した音声を検出し、音声認識を行うが、ユーザが実際に発声した音声以外にも、周囲で生じたノイズ等が検出され音声認識されてしまい、誤入力されてしまうことがある。そのため、音声認識装置では、認識対象となる音声を特定するために、ユーザが発声の直前にボタンを押す等、ユーザがボタン等で入力操作を行う方式がよく用いられる。その代表的な方法としては、その決定の仕方として、ＰＴＴ（Ｐｕｓｈ−Ｔｏ−Ｔａｌｋ）方式と、ＰＴＡ（Ｐｕｓｈ−Ｔｏ−Ａｃｔｉｖａｔｅ）方式とが知られている。
【０００３】
ＰＴＴ方式では、ボタンが押された時刻からボタンが放された時刻までに入力された音声が音声認識の対象になる。ＰＴＡ方式では、ボタンが押された時刻から所定の時間以上に音声が途切れるまでに入力された音声が音声認識の対象になる。しかしながら、このような音声認識では、ユーザが音声の発声に後れてボタンを押したときに、音声の先頭部分が欠落されて音声認識される。そのため、ユーザが音声の発声に後れてボタンを押したときにも、先頭部分を欠落しないで音声認識する音声認識装置が望まれている。
【０００４】
特開平２−１８４９１５号公報には、認識処理動作の開始コマンドが与えられる直前までの入力音声データを順次リングバッファに格納しておき、このリングバッファに格納された入力音声データを適宜用いて音声区間検出と、その音声データの抽出処理を行う音声認識装置が開示されている。このような音声認識装置は、非常に簡易にして効果的に先頭部分の欠落のない音声データによる音声認識処理を実行することができる。
【０００５】
特開平４−２４６９４号公報には、発声された音声を電気信号に変換するマイクロフォンと、電気信号に変換された音声信号から音声が入力されていることを検出する音声検出部と、音声信号を所定時間遅延させて出力する遅延回路とを設けるように構成され、音声検出部の検出結果を基準にして、遅延回路で遅延された音声信号の認識を開始する音声入力回路が開示されている。このような音声入力回路は、音声の先頭部分を欠落することなく、操作者が自由なタイミングで音声を発声すれば音声認識ができる。
【０００６】
特開平８−１８５１９６号公報には、音声信号が入力され、検出範囲を指定するスイッチ操作に応じて音声区間を抽出して出力する音声区間検出装置において、上記入力音声信号を一定時間記憶する記憶手段と、上記スイッチ操作で指定される検出範囲よりも広い範囲で上記記憶手段に記憶されている上記入力音声信号から一つだけ音声区間を抽出し、出力する制御手段とを有する音声区間検出装置が開示されている。
【０００７】
このような音声区間検出装置は、有声音と無声音の判別による音声区間判定を常に行いながら、その判定結果と一定時間までの入力信号を記憶しておくことで、スイッチが押されるより早いタイミングで発声が行われた場合でも、語頭を欠くことなく音声区間を検出することが可能となる。又、一つのスイッチ指定区間に対して一つの音声区間だけを検出し送信するようにしたことで、話者が発声の少し前や、少し後に関係のない言葉を発声したとしても、これを音声区間として検出することが無くなるため、例えば音声認識装置に適用した場合等に誤動作を起こし難くなる。
【０００８】
特開２００１−６７０９１号公報には、音声認識を行う発話区間の特定方法としてキーワード方式、トリガ方式、ＰＴＴ方式のうち少なくとも２方式を兼用して利便性を向上する音声認識装置が開示されている。このような音声認識装置は、音声認識動作が開始されると、キーワードが発話されたか、トークボタンを操作されたかを判定する。ここで、キーワードが発話された場合には、キーワード方式の音声認識処理に分岐し、音声区間検出部による発話区間の開始点の推定と、発話区間の終了点の推定を行う。また、トークボタンが操作された場合には、その時点で発話区間の回視点を特定する。そしてその操作が瞬間的なものか否かを判断し、瞬間的なものであれば、トリガ方式の音声認識処理に分岐し、音声検出部による発話区間の終了点の推定を行う。またトークボタンの操作が継続的なものであれば、ＰＴＴ方式の音声認識に分岐し、トークボタンの操作解除時点で発話区間の終了点を特定する。
【０００９】
【特許文献１】
特開平２−１８４９１５号公報
【特許文献２】
特開平４−２４６９４号公報
【特許文献３】
特開平８−１８５１９６号公報
【特許文献４】
特開２００１−６７０９１号公報
【００１０】
【発明が解決しようとする課題】
ところで、上記の音声認識装置では、以下のような問題点がある。
第一に、ユーザが発声した音声の開始位置や終了位置が正しく判定されない場合があるということである。その理由は、マイクボタンを押すのが発声よりも遅れた場合、リングバッファや遅延回路等を用いて発声の先頭の欠落を防止する方法では、そのリングバッファや遅延回路の処理する長さ以上に遅れた場合、先頭の欠落を完全に防止することはできないためである。
第二に、発声に間が空いたために装置により発声が途中で区切られても、認識結果を見るまでユーザにそれが伝わらないということである。その理由は、現在入力中の音声に対して音声認識処理が行われているかどうかをユーザに伝える手段がなく、ユーザは認識結果が表示されてからその文字列を見て判断することしかできないためである。
第三に、発声に間が空き音声認識が途中で途切れたときに、そのまま発声しても認識されず、再度発声のし直しが必要となることである。その理由は、装置により発声が途中で区切られても、その時点ではユーザには伝わらず、また、それを訂正する手段もないため、ユーザは認識結果が表示されてから途中で途切れたことを知り、その後で再度発声する必要があるためである。
第四に、ノイズ等余計な音声が認識されたり、音声認識が途中で途切れて認識されない部分があったりしたときに、容易に修正することができないということである。その理由は、認識結果の文字列を修正する場合、余計な音声が認識された場合は対応する文字列を選択して削除するという一連の操作を行う必要があり、また、音声認識が途中で途切れて認識されなかった部分については、再度発声して入力する必要があるためである。
本発明の目的は、認識対象の開始位置および終了位置をより適切に決定する音声認識装置を提供することである。
本発明の他の目的は、ユーザが現在発声している音声が認識されているかどうかを、ユーザに分かりやすく伝える音声認識装置を提供することである。
本発明の他の目的は、発声に間が空いたために音声認識が途中で途切れた場合でも、簡単な操作でそのまま発声を続けることができる音声認識装置を提供することである。
本発明の他の目的は、ノイズ等余計な音声が認識されたり、音声認識が途中で途切れて認識されない部分があったりしたときでも、ユーザが容易に修正することができる音声認識装置を提供することである。
本発明の他の目的は、自動翻訳装置に好適である音声認識装置を提供することである。
【００１１】
【課題を解決するための手段】
以下に、［発明の実施の形態］で使用される番号・符号を括弧付きで用いて、課題を解決するための手段を説明する。これらの番号・符号は、［特許請求の範囲］の記載と［発明の実施の形態］の記載との対応を明らかにするために付加されたものであり、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【００１２】
本発明による音声認識装置（１）は、入力された音声を認識する音声認識装置であって、入力音声から利用者が発声した音声部分を検出して、入力音声を音声部分と非音声部分に分割する音声検出部（１１）と、音声部分に対して認識処理を行う音声認識部（１５）と、入力されている音声に対して音声認識部（１５）により認識処理が行われているかどうかの状態を随時表示して利用者に伝える認識状態表示部（１４）とを備えている。
【００１３】
このとき、ユーザは、発声した音声を音声認識装置（１）が音声認識しているかどうかを確認することができる。たとえば、認識状態表示部（１４）は、オン時刻の後で音声部分が入力される時刻に、すなわち、認識処理の開始時刻（ｔ１、ｔ８、ｔ１２）にランプを点灯し、終了時刻にランプを消灯する。また、認識状態表示部（１４）は、認識処理の開始時刻（ｔ１、ｔ８、ｔ１２）から終了時刻までレベルメータ（２２）に第１表示形態で音声の音量を表示し、終了時刻より後にレベルメータ（２２）に第１表示形態と異なる第２表示形態で音量を表示する。
【００１４】
レベルメータ（２２）は、音量が音声認識部（１５）により音声認識するために必要である必要音量より大きいか小さいかを識別可能に表示することが好ましい。このとき、ユーザは、発音すべき音声の音量がよくわかり、音量が適正な音声を音声認識装置（１）に入力することができる。この結果、音声認識装置（１）は、音量が適正な音声が入力されて、より正確に音声認識することができる。
【００１５】
本発明による音声認識装置（１）は、利用者が発声を行う際に操作するマイクボタン（４）のオン操作またはオン操作とオフ操作の両方を検出するマイクボタン検出部（１３）を更に備えている。音声認識部（１２）は、マイクボタン検出部（１３）により検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき、音声検出部（１１）により検出された音声部分から認識対象とする音声部分を選択して音声認識を行い、また、音声部分の認識処理が終了し、認識状態表示部が認識処理の終了を表示した後、所定時間内に再度マイクボタン検出部（１３）によりオン操作が検出された場合に、音声認識部（１５）は、再度検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき認識対象とする音声部分を更に選択し、先のオン操作時の認識結果と後のオン操作の認識結果との両方を表示する。
【００１６】
すなわち、ユーザはマイクボタン（４）の操作を２通りの方法で行うことができる。なお、第１の操作方法と第２の操作方法を区別する手段としては、押下時間と設定時間との比較だけでなく、例えば以下のような手段でもよい。
・マイクボタンを２つ用意し、一方のマイクボタンの押下を第１の操作方法、他方のマイクボタンの押下を第２の操作方法とする。
・マイクボタンの押下が２段階の深さで行え、深く押下する操作を第１の操作方法、浅く押下する方法を第２の操作方法とする。
・マイクボタンは押し込む操作と回転させて上下に倒す操作を行うことができ、押し込む操作を第１の操作方法、回転させて上下に倒す操作を第２の操作方法とする。
・マイクボタンは、回転させて上下に倒す、もしくは上下にスライドさせる操作を行うことができ、上に倒すもしくはスライドさせる操作を第１の操作方法、下に倒すもしくはスライドさせる操作を第２の操作方法とする。
【００１７】
本発明による音声認識装置（１）は、非音声部分（５１〜５５、９１〜９４）を記録しないで音声部分（４１〜４５、８１〜８４）を記録する音声記録部（１２）を更に備えていることが好ましい。このとき、認識対象部分（６１〜６４、１０１〜１０４、１１１〜１１４）は、音声部分（４１〜４５、８１〜８４）のうちオン時刻（ｔ１、ｔ８、ｔ１２）より前に入力され音声記録部（１２）により記録される部分を含んでいる。
【００１８】
音声認識部（１５）は、認識状態表示部（１４）が認識処理が行われていることを表示している際に入力された音声部分の認識結果を第１の表示形態で表示し、また、認識状態表示部（１４）が終了を伝えた後の所定時間内に再度音声部分が検出された場合に、所定時間内に検出された音声部分に対しても音声認識を行い、認識結果を第１の表示形態とは異なる第２の表示形態で表示することが好ましい。
【００１９】
すなわち、認識対象部分（６１〜６４、１０１〜１０４、１１１〜１１４）は、終了時刻から追加可能時間だけ経過するより前にマイクボタン（４）が押されるときに、音声部分（４１〜４５、８１〜８４）のうちの最初の終了時刻までの音声部分に加えて、後にマイクボタン（４）が押されたオン時刻（ｔ１２）により認識対象として選択される音声部分を含んでいることが好ましい。このとき、ユーザは、発声している途中で音声認識装置（１）が音声認識を終了したときに、再度マイクボタン（４）を押すことにより、音声を追加して入力することができる。
【００２０】
本発明による音声認識装置（１）は、利用者の操作により指示されたときに、第１の表示形態の認識結果を第２の表示形態に変換し、また、第２の表示形態の認識結果を第１の表示形態に変換する文節選択部（１６）と、第１の表示形態にて表示されている認識結果に対して処理を行う処理部（１７）とを備えている。この処理部（１７）としては、認識結果を翻訳する翻訳部が例示される。
【００２１】
すなわち、文節選択部（１６）は、表示装置（５）に認識文字列を表示し、認識文字列のうちの操作により選択される選択文字列が表示される表示形式を変換することにより、対象文に対応する文字列を対象表示形式により表示し、対象外文に対応する文字列を対象表示形式と異なる対象外表示形式により表示する。音声認識装置（１）は、不必要である音声も音声認識したり、逆に必要な音声を認識しなかったりすることがある。このような音声認識装置（１）は、認識された文字列のうち、ユーザが必要な発声部分を選択して使用することができる。
【００２２】
マイクボタン検出部（１３）は、マイクボタン（４）のオン操作とオフ操作を検出し、さらに、これらの操作が第１の操作と第２の操作のどちらで行われたかを検出し、音声認識部（１２）は、第１の操作が行われた場合には、オフ操作のが行われた時刻を基準に決定した時刻までに検出された音声部分に対して認識処理を行い、第２の操作が行われた場合には、オン時刻より後に音声検出部（１１）により所定以上の非音声部分が検出されるまでに検出された音声部分に対して認識処理を行うことが好ましい。
【００２３】
例えば、認識対象部分（６１〜６５、７１〜７５、１０１〜１０３、１１１〜１１４）は、マイクボタン（４）を操作される状態により決定する終了時刻より前に入力された音声部分（４１〜４５、８１〜８４）である。その終了時刻は、マイクボタン（４）が押されるオン時刻（ｔ１、ｔ５、ｔ８）からマイクボタン（４）が放されるオフ時刻（ｔ２、ｔ６、ｔ９）までの押下時間（Δｔ１、Δｔ３、Δｔ５）が設定時間より長いときに、オフ時刻から予め設定された認識延長時間だけ経過した時刻（ｔ７）であり、押下時間（Δｔ１、Δｔ３、Δｔ５）が設定時間より短いときに、非音声部分（５１〜５５、９１〜９４）のうちの予め設定された空白判別時間より長い部分（５５、９３、９４）がオフ時刻より後に入力される時刻（ｔ４、ｔ１１、ｔ１５）である。
【００２４】
マイクボタン（４）が押されるオン時刻（ｔ１、ｔ８、ｔ１２）から放されるオフ時刻（ｔ２、ｔ９、ｔ１３）までの押下時間（Δｔ１、Δｔ５、Δｔ７）が設定時間より長い操作を第１の操作方法とし、押下時間（Δｔ１、Δｔ５、Δｔ７）が設定時間より短い操作を第２の操作方法とする。そして、第１の操作方法が行われたときは、マイクボタン（４）のオフ時刻から認識延長時間だけ経過した時刻、もしくは、オフ時刻より後に空白判別時間より長い非音声部分が入力される時刻を音声認識の終了時刻とし、第２の操作方法が行われたときは、マイクボタン（４）のオン時刻より後に空白判別時間より長い非音声部分が入力される時刻を音声認識の終了時刻とする。音声認識部（１５）は、終了時刻までに入力された音声に対して認識処理を行う。
【００２５】
このとき、ユーザは、マイクボタン（４）を適正に操作することにより音声認識する認識対象の終了位置をより適切に決定することができる。すなわち、ユーザは、マイクボタン（４）を押し続けることにより、押している間に発声された音声をより確実に音声認識させ、マイクボタン（４）を押し続けた後に放すことにより、認識対象の終了位置をより適切に決定させることができる。ユーザは、音声認識装置（１）の取り扱い方法をよく理解していないときに、マイクボタン（４）を瞬間的に押したり、音声の発声が終了する前にマイクボタン（４）を放したりすることが多い。音声認識装置（１）は、さらに、このような操作がされたときに、ユーザが発声した音声をより確実に音声認識することができる。
【００２６】
本発明による音声認識方法は、入力された音声を認識する音声認識方法であって、入力音声から利用者が発声した音声部分を検出して、入力音声を音声部分と非音声部分に分割するステップ（Ｓ１）と、音声部分に対して認識処理を行うステップ（Ｓ１３、１５、１６）と、入力されている音声に対して認識処理が行われているかどうかの状態を随時表示して利用者に伝えるステップ（Ｓ１１、１７）とを備えている。
【００２７】
このとき、ユーザは、発声した音声を音声認識装置（１）が音声認識しているかどうかを確認することができる。たとえば、認識状態表示部（１４）は、オン時刻の後で音声部分が入力される時刻に、すなわち、認識処理の開始時刻（ｔ１、ｔ８、ｔ１２）にランプを点灯し、終了時刻にランプを消灯する。また、認識状態表示部（１４）は、認識処理の開始時刻（ｔ１、ｔ８、ｔ１２）から終了時刻までレベルメータ（２２）に第１表示形態で音声の音量を表示し、終了時刻より後にレベルメータ（２２）に第１表示形態と異なる第２表示形態で音量を表示する。
【００２８】
レベルメータ（２２）は、音量が音声認識部（１５）により音声認識するために必要である必要音量より大きいか小さいかを識別可能に表示することが好ましい。このとき、ユーザは、発音すべき音声の音量がよくわかり、音量が適正な音声を音声認識装置（１）に入力することができる。この結果、音声認識装置（１）は、音量が適正な音声が入力されて、より正確に音声認識することができる。
【００２９】
本発明による音声認識方法は、利用者が発声を行う際に操作するマイクボタンのオン操作またはオン操作とオフ操作の両方を検出するステップ（Ｓ９、１４、１９）と、検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき、音声検出部により検出された音声部分から認識対象とする音声部分を選択して音声認識を行うステップ（Ｓ１３、１５、１６）と、また、音声部分の認識処理が終了し、認識処理の終了が表示された後、所定時間内に再度オン操作が検出された場合に、再度検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき認識対象とする音声部分を更に選択し、先のオン操作時の認識結果と後のオン操作の認識結果との両方を表示するステップとを更に備えていることが好ましい。
【００３０】
本発明による音声認識方法は、認識処理が行われていることを表示している際に入力された音声部分の認識結果を第１の表示形態で表示するステップと、また、認識状態表示部が終了を伝えた後の所定時間内に再度音声部分が検出された場合に、所定時間内に検出された音声部分に対しても音声認識を行い、認識結果を第１の表示形態とは異なる第２の表示形態で表示するステップとを更に備えている。
【００３１】
すなわち、認識対象部分（６１〜６４、１０１〜１０４、１１１〜１１４）は、終了時刻から追加可能時間だけ経過するより前にマイクボタン（４）が押されるときに、音声部分（４１〜４５、８１〜８４）のうちの最初の終了時刻までの音声部分に加えて、後にマイクボタン（４）が押されたオン時刻（ｔ１２）により認識対象として選択される音声部分を含んでいることが好ましい。このとき、ユーザは、発声している途中で音声認識装置（１）が音声認識を終了したときに、再度マイクボタン（４）を押すことにより、音声を追加して入力することができる。
【００３２】
本発明による音声認識方法は、利用者の操作により指示されたときに、第１の表示形態の認識結果を第２の表示形態に変換し、また、第２の表示形態の認識結果を第１の表示形態に変換するステップ（Ｓ３２）と、第１の表示形態にて表示されている認識結果に対して処理を行うステップ（Ｓ３４）とを備えている。この処理としては、認識結果の翻訳が例示される。
【００３３】
すなわち、文節選択部（１６）は、表示装置（５）に認識文字列を表示し、認識文字列のうちの操作により選択される選択文字列が表示される表示形式を変換することにより、対象文に対応する文字列を対象表示形式により表示し、対象外文に対応する文字列を対象表示形式と異なる対象外表示形式により表示する。音声認識装置（１）は、不必要である音声も音声認識したり、逆に必要な音声を認識しなかったりすることがある。このような音声認識装置（１）は、認識された文字列のうち、ユーザが必要な発声部分を選択して使用することができる。
【００３４】
本発明による音声認識方法は、マイクボタンのオン操作とオフ操作を検出するステップ（Ｓ９）と、さらに、これらの操作が第１の操作と第２の操作のどちらで行われたかを検出するステップ（Ｓ１４）と、第１の操作が行われた場合には、オフ操作が行われた時刻を基準に決定した時刻までに検出された音声部分に対して認識処理を行い、第２の操作が行われた場合には、オン時刻より後に音声検出部により所定以上の非音声部分が検出されるまでに検出された音声部分に対して認識処理を行うステップ（Ｓ１５、１６）とを更に備えていることが好ましい。
【００３５】
例えば、認識対象部分（６１〜６５、７１〜７５、１０１〜１０３、１１１〜１１４）は、マイクボタン（４）を操作される状態により決定する終了時刻より前に入力された音声部分（４１〜４５、８１〜８４）である。その終了時刻は、マイクボタン（４）が押されるオン時刻（ｔ１、ｔ５、ｔ８）からマイクボタン（４）が放されるオフ時刻（ｔ２、ｔ６、ｔ９）までの押下時間（Δｔ１、Δｔ３、Δｔ５）が設定時間より長いときに、オフ時刻から予め設定された認識延長時間だけ経過した時刻（ｔ７）であり、押下時間（Δｔ１、Δｔ３、Δｔ５）が設定時間より短いときに、非音声部分（５１〜５５、９１〜９４）のうちの予め設定された空白判別時間より長い部分（５５、９３、９４）がオフ時刻より後に入力される時刻（ｔ４、ｔ１１、ｔ１５）である。
【００３６】
マイクボタン（４）が押されるオン時刻（ｔ１、ｔ８、ｔ１２）から放されるオフ時刻（ｔ２、ｔ９、ｔ１３）までの押下時間（Δｔ１、Δｔ５、Δｔ７）が設定時間より長い操作を第１の操作方法とし、押下時間（Δｔ１、Δｔ５、Δｔ７）が設定時間より短い操作を第２の操作方法とする。そして、第１の操作方法が行われたときは、マイクボタン（４）のオフ時刻から認識延長時間だけ経過した時刻、もしくは、オフ時刻より後に空白判別時間より長い非音声部分が入力される時刻を音声認識の終了時刻とし、第２の操作方法が行われたときは、マイクボタン（４）のオン時刻より後に空白判別時間より長い非音声部分が入力される時刻を音声認識の終了時刻とする。音声認識部（１５）は、終了時刻までに入力された音声に対して認識処理を行う。
【００３７】
このとき、ユーザは、マイクボタン（４）を適正に操作することにより音声認識する認識対象の終了位置をより適切に決定することができる。すなわち、ユーザは、マイクボタン（４）を押し続けることにより、押している間に発声された音声をより確実に音声認識させ、マイクボタン（４）を押し続けた後に放すことにより、認識対象の終了位置をより適切に決定させることができる。ユーザは、音声認識装置（１）の取り扱い方法をよく理解していないときに、マイクボタン（４）を瞬間的に押したり、音声の発声が終了する前にマイクボタン（４）を放したりすることが多い。音声認識装置（１）は、さらに、このような操作がされたときに、ユーザが発声した音声をより確実に音声認識することができる。
【００３８】
本発明による音声認識プログラムは、入力された音声を認識する音声認識方法をコンピュータに実行させるコンピュータプログラムであって、入力音声から利用者が発声した音声部分を検出して、入力音声を音声部分と非音声部分に分割するステップ（Ｓ１）と、音声部分に対して認識処理を行うステップ（Ｓ１３、１５、１６）と、入力されている音声に対して認識処理が行われているかどうかの状態を随時表示して利用者に伝えるステップ（Ｓ１１、１７）とを備えている。
【００３９】
このとき、ユーザは、発声した音声を音声認識装置（１）が音声認識しているかどうかを確認することができる。たとえば、認識状態表示部（１４）は、オン時刻の後で音声部分が入力される時刻に、すなわち、認識処理の開始時刻（ｔ１、ｔ８、ｔ１２）にランプを点灯し、終了時刻にランプを消灯する。また、認識状態表示部（１４）は、認識処理の開始時刻（ｔ１、ｔ８、ｔ１２）から終了時刻までレベルメータ（２２）に第１表示形態で音声の音量を表示し、終了時刻より後にレベルメータ（２２）に第１表示形態と異なる第２表示形態で音量を表示する。
【００４０】
レベルメータ（２２）は、音量が音声認識部（１５）により音声認識するために必要である必要音量より大きいか小さいかを識別可能に表示することが好ましい。このとき、ユーザは、発音すべき音声の音量がよくわかり、音量が適正な音声を音声認識装置（１）に入力することができる。この結果、音声認識装置（１）は、音量が適正な音声が入力されて、より正確に音声認識することができる。
【００４１】
本発明による音声認識プログラムは、利用者が発声を行う際に操作するマイクボタンのオン操作またはオン操作とオフ操作の両方を検出するステップ（Ｓ９、１４、１９）と、検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき、音声検出部により検出された音声部分から認識対象とする音声部分を選択して音声認識を行うステップ（Ｓ１３、１５、１６）と、また、音声部分の認識処理が終了し、認識処理の終了が表示された後、所定時間内に再度オン操作が検出された場合に、再度検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき認識対象とする音声部分を更に選択し、先のオン操作時の認識結果と後のオン操作の認識結果との両方を表示するステップとを更に備えていることが好ましい。
【００４２】
本発明による音声認識プログラムは、認識処理が行われていることを表示している際に入力された音声部分の認識結果を第１の表示形態で表示するステップと、また、認識状態表示部が終了を伝えた後の所定時間内に再度音声部分が検出された場合に、所定時間内に検出された音声部分に対しても音声認識を行い、認識結果を第１の表示形態とは異なる第２の表示形態で表示するステップとを更に備えている。
【００４３】
すなわち、認識対象部分（６１〜６４、１０１〜１０４、１１１〜１１４）は、終了時刻から追加可能時間だけ経過するより前にマイクボタン（４）が押されるときに、音声部分（４１〜４５、８１〜８４）のうちの最初の終了時刻までの音声部分に加えて、後にマイクボタン（４）が押されたオン時刻（ｔ１２）により認識対象として選択される音声部分を含んでいることが好ましい。このとき、ユーザは、発声している途中で音声認識装置（１）が音声認識を終了したときに、再度マイクボタン（４）を押すことにより、音声を追加して入力することができる。
【００４４】
本発明による音声認識プログラムは、利用者の操作により指示されたときに、第１の表示形態の認識結果を第２の表示形態に変換し、また、第２の表示形態の認識結果を第１の表示形態に変換するステップ（Ｓ３２）と、第１の表示形態にて表示されている認識結果に対して処理を行うステップ（Ｓ３４）とを備えている。この処理としては、認識結果の翻訳が例示される。
【００４５】
すなわち、文節選択部（１６）は、表示装置（５）に認識文字列を表示し、認識文字列のうちの操作により選択される選択文字列が表示される表示形式を変換することにより、対象文に対応する文字列を対象表示形式により表示し、対象外文に対応する文字列を対象表示形式と異なる対象外表示形式により表示する。音声認識装置（１）は、不必要である音声も音声認識したり、逆に必要な音声を認識しなかったりすることがある。このような音声認識装置（１）は、認識された文字列のうち、ユーザが必要な発声部分を選択して使用することができる。
【００４６】
本発明による音声認識プログラムは、マイクボタンのオン操作とオフ操作を検出するステップ（Ｓ９）と、さらに、これらの操作が第１の操作と第２の操作のどちらで行われたかを検出するステップ（Ｓ１４）と、第１の操作が行われた場合には、オフ操作が行われた時刻を基準に決定した時刻までに検出された音声部分に対して認識処理を行い、第２の操作が行われた場合には、オン時刻より後に音声検出部により所定以上の非音声部分が検出されるまでに検出された音声部分に対して認識処理を行うステップ（Ｓ１５、１６）とを更に備えていることが好ましい。
【００４７】
例えば、認識対象部分（６１〜６５、７１〜７５、１０１〜１０３、１１１〜１１４）は、マイクボタン（４）を操作される状態により決定する終了時刻より前に入力された音声部分（４１〜４５、８１〜８４）である。その終了時刻は、マイクボタン（４）が押されるオン時刻（ｔ１、ｔ５、ｔ８）からマイクボタン（４）が放されるオフ時刻（ｔ２、ｔ６、ｔ９）までの押下時間（Δｔ１、Δｔ３、Δｔ５）が設定時間より長いときに、オフ時刻から予め設定された認識延長時間だけ経過した時刻（ｔ７）であり、押下時間（Δｔ１、Δｔ３、Δｔ５）が設定時間より短いときに、非音声部分（５１〜５５、９１〜９４）のうちの予め設定された空白判別時間より長い部分（５５、９３、９４）がオフ時刻より後に入力される時刻（ｔ４、ｔ１１、ｔ１５）である。
【００４８】
マイクボタン（４）が押されるオン時刻（ｔ１、ｔ８、ｔ１２）から放されるオフ時刻（ｔ２、ｔ９、ｔ１３）までの押下時間（Δｔ１、Δｔ５、Δｔ７）が設定時間より長い操作を第１の操作方法とし、押下時間（Δｔ１、Δｔ５、Δｔ７）が設定時間より短い操作を第２の操作方法とする。そして、第１の操作方法が行われたときは、マイクボタン（４）のオフ時刻から認識延長時間だけ経過した時刻、もしくは、オフ時刻より後に空白判別時間より長い非音声部分が入力される時刻を音声認識の終了時刻とし、第２の操作方法が行われたときは、マイクボタン（４）のオン時刻より後に空白判別時間より長い非音声部分が入力される時刻を音声認識の終了時刻とする。音声認識部（１５）は、終了時刻までに入力された音声に対して認識処理を行う。
【００４９】
このとき、ユーザは、マイクボタン（４）を適正に操作することにより音声認識する認識対象の終了位置をより適切に決定することができる。すなわち、ユーザは、マイクボタン（４）を押し続けることにより、押している間に発声された音声をより確実に音声認識させ、マイクボタン（４）を押し続けた後に放すことにより、認識対象の終了位置をより適切に決定させることができる。ユーザは、音声認識装置（１）の取り扱い方法をよく理解していないときに、マイクボタン（４）を瞬間的に押したり、音声の発声が終了する前にマイクボタン（４）を放したりすることが多い。音声認識装置（１）は、さらに、このような操作がされたときに、ユーザが発声した音声をより確実に音声認識することができる。
【００５０】
【発明の実施の形態】
図面を参照して、本発明による音声認識装置の実施の形態を説明する。ここでは例として、本発明による音声認識装置を、入力された音声を音声認識して別の言語に翻訳して読み上げる自動翻訳装置に適用して説明する。その音声認識装置が適用される自動翻訳装置１は、図１に示されているように、自動翻訳装置本体２とマイク３とマイクボタン４とタッチパネルディスプレイ５とＬＥＤ６とスピーカ７とを備えている。自動翻訳装置本体２は、情報処理装置（コンピュータ）であり、記録されるコンピュータプログラムを実行して、マイク３とマイクボタン４とタッチパネルディスプレイ５とＬＥＤ６とスピーカ７とを制御する。
【００５１】
マイク３は、入力される音声を電気信号に変換して自動翻訳装置本体２に入力する。マイクボタン４は、ユーザにより押され、または、放されて、その状態を示す電位信号を自動翻訳装置本体２に入力する。タッチパネルディスプレイ５は、自動翻訳装置本体２から出力される電気信号に示される画面を表示する。タッチパネルディスプレイ５は、さらに、ユーザによりペンまたは指でタップされた（触れられた）位置を示す電気信号を自動翻訳装置本体２に入力する。ＬＥＤ６は、自動翻訳装置本体２から出力される電気信号に応答して点灯し、または、消灯する。スピーカ７は、自動翻訳装置本体２から出力される電気信号に応答して音声を出力する。
【００５２】
図２は、自動翻訳装置本体２を詳細に示している。自動翻訳装置本体２は、コンピュータプログラムである音声検出部１１と音声記録部１２とマイクボタン検出部１３と認識状態表示部１４と音声認識部１５と文節選択部１６と翻訳部１７とお手本部１８とガイド表示部１９とを備えている。
【００５３】
音声検出部１１は、マイク３から入力される音声を音声部分と非音声部分とに分離する。その音声部分は、人が発声した音声を示している。その非音声部分は、音声がない状態、または、人が発声した音声以外の音声、すなわち、ノイズを示している。音声検出部１１は、さらに、特定のユーザの声紋を記録し、マイク３から入力される音声を、そのユーザが発声した音声である音声部分と、それ以外の非音声部分とに分離することもできる。
【００５４】
音声記録部１２は、図示されていないバッファに音声検出部１１により分離された音声部分を常時に記録する。音声記録部１２は、さらに、そのバッファに新規に記録する領域が不足したとき、バッファのサイズを拡張して音声を記録する。また、過去に記録された音声のうち、利用されずに残っている充分古い音声があった場合、その音声を削除してバッファの空き領域を増やす。マイクボタン検出部１３は、マイクボタン４がユーザにより押されているか放されているかを判別する。音声認識部１５は、マイクボタン４の状態に基づいてマイク３から入力され音声記録部１２に記録された音声から認識対象となる部分を判別し、その認識対象を音声認識して文字言語を生成する。
【００５５】
認識状態表示部１４は、マイクボタン４の状態に基づいてそのときに入力されている音声が音声認識する認識対象になっているかどうかをタッチパネルディスプレイ５またはＬＥＤ６を用いてユーザに通知する。すなわち、認識状態表示部１４は、初期的に、入力されている音声の音量をタッチパネルディスプレイ５に常時に表示し、ＬＥＤ６を消灯している。認識状態表示部１４は、マイクボタン４が押され、その音声に対して音声認識部１５により音声認識が行われていると、入力されている音声の音量をタッチパネルディスプレイ５に色を変えて表示し、ＬＥＤ６を点灯する。認識状態表示部１４は、音声認識部１５により入力されている音声が認識対象ではないと判別されたときに、入力されている音声の音量をタッチパネルディスプレイ５に初期の色に変えて表示し、ＬＥＤ６を消灯する。
【００５６】
文節選択部１６は、音声認識部１５により生成された文字言語をタッチパネルディスプレイ５に表示する。その文字言語は、黒字で表示される黒文字列と濃い灰色で表示される濃文字列と淡い灰色で表示される淡文字列とから形成されている。すなわち、文字列は、その音声がユーザが入力したかったものであるかどうかの推定により色分けされて表示される。黒文字列はユーザの入力したかった発声である可能性が非常に高いと思われる音声部分の文字列、濃文字列はユーザの入力したかった発声である可能性が高いと思われる音声部分の文字列、淡文字列は、音声認識処理を行ったがユーザの入力したかった発声である可能性が低いと思われる音声部分の文字列である。これらの推定は、例えば次のように行う。マイクボタン４を押している間あるいは押した直後の音声部分はユーザの入力したかった発声である可能性が非常に高いと推定して黒文字列とする。それらの黒文字列とした音声部分に短い時間隔で連続している音声部分は、ユーザが黒文字列の部分に連続して入力した発声と推定して濃文字列とする。一方、それらの黒文字列・濃文字列とした音声部分から間隔を置いて入力された音声部分は、周囲のノイズや、装置への入力を意図していないユーザの発声の可能性が高いと推定して淡文字列とする。
【００５７】
文節選択部１６は、さらに、文字列の元となる音声部分の単位で、ユーザが文字列の一部をタップすることにより、その文字列の色を切り替えて表示する。すなわち、文節選択部１６は、黒文字列がタップされると、その黒文字列を淡い灰色で表示する。文節選択部１６は、濃文字列がタップされると、その濃文字列を淡い灰色で表示する。文節選択部１６は、淡文字列がタップされると、その淡文字列を濃い灰色で表示する。
【００５８】
翻訳部１７は、タッチパネルディスプレイ５に黒字で表示され、または、濃い灰色で表示されている文字列を他の言語に翻訳して翻訳文を生成する。翻訳部１７は、さらに、その翻訳文をタッチパネルディスプレイ５に表示し、その翻訳文をスピーカ７から出力する。
【００５９】
お手本部１８は、タッチパネルディスプレイ５にお手本ボタンを表示して、そのお手本ボタンがタップされたときに、スピーカ７から所定の音量の音声を出力して、ユーザにマイク３から入力する音声の音量のお手本を示す。
【００６０】
ガイド表示部１９は、ユーザに対して発声の間を空けずに入力してもらうよう促す等の注意点を表示する。
【００６１】
図３は、タッチパネルディスプレイ５に表示される画面を示している。その画面２１は、レベルメータ２２と認識結果表示欄２３と翻訳結果表示欄２４と翻訳ボタン２５とお手本ボタン２６とを備えている。レベルメータ２２は、指示棒２７と目盛り２８とから形成されている。
【００６２】
指示棒２７は、左端が固定されて、入力される音声の音量が大きいときに、左右に伸びて表示され、入力される音声の音量が小さいときに、左右に縮んで表示される。目盛り２８は、音声認識部１５が十分に認識することができる音声の音量を示している。すなわち、マイク３に入力される音声は、指示棒２７の右端が目盛り２８より右に表示されるときに、音声認識部１５により十分に認識され、指示棒２７の右端が目盛り２８より左に表示されるときに、音声認識部１５により十分に認識されないことがある。
【００６３】
認識結果表示欄２３には、音声認識部１５により生成された認識結果が表示される。その認識結果は、文字列３１〜３４から形成されている。文字列３１〜３４は、黒字、濃い灰色または淡い灰色により表示されている。文字列３１〜３４のうちの黒字の文字列は、タップされると、淡い灰色で表示される。文字列３１〜３４のうちの濃い灰色の文字列は、タップされると、淡い灰色で表示される。文字列３１〜３４のうちの淡い灰色の文字列は、タップされると、濃い灰色で表示される。
【００６４】
翻訳ボタン２５がタップされると、認識結果表示欄２３に表示される認識結果のうちの黒字または濃い灰色で表示されている文字列が翻訳部１７により翻訳されて、その翻訳文が翻訳結果表示欄２４に表示され、その翻訳文がスピーカ７から発声される。お手本ボタン２６がタップされると、スピーカ７から所定の音量の音声を出力して、自動翻訳装置１は、ユーザにマイク３から入力する音声の音量のお手本を示す。
【００６５】
自動翻訳装置１の動作の実施の形態は、入力される音声を監視する動作と、マイクボタン４が押されたときの動作と、自動翻訳する動作と、ユーザにお手本を示す動作とを備えている。
【００６６】
図４は、入力される音声を監視する動作を示している。その入力される音声を監視する動作は、自動翻訳装置１により常時に実行され、入力される音声を監視する動作、マイクボタン４が押されたときの動作、自動翻訳する動作またはユーザにお手本を示す動作と並行して実行されることができる。自動翻訳装置１は、まず、マイク３から入力される音声が人により発声された音声かどうかを判別する（ステップＳ１）。自動翻訳装置１は、人により発声された音声が入力されたときに（ステップＳ１；ＹＥＳ）、その音声を認識対象としてバッファに記録する（ステップＳ２、Ｓ３）。このとき、自動翻訳装置１は、その音声が開始されてから中断されるまでのひとかたまりとして記録する。その際に、バッファに新規に記録する領域が不足したとき、バッファのサイズを拡張して領域を増やし、音声を記録する。また、過去にバッファに記録され、利用されずにバッファに残っている音声のうち、充分古い音声があった場合、その音声を削除してバッファの空き領域を増やす（ステップＳ４、Ｓ５）。
【００６７】
自動翻訳装置１は、人により発声された音声が入力されないときに（ステップＳ１；ＮＯ）、その音声が入力されることを待機する。自動翻訳装置１は、さらに、入力された音声の音量を灰色でレベルメータ２２に表示する。
【００６８】
図５は、マイクボタン４が押されたときの動作を示している。自動翻訳装置１は、マイクボタン４が押されたときに（ステップＳ９；ＹＥＳ）、まず、バッファに音声が記録されているかを調べ（ステップＳ１０）、記録されていなければ、その入力される音声を監視する動作により、バッファに音声が記録されるまで待機する。自動翻訳装置１は、音声が記録されている場合、ＬＥＤ６を点灯し、入力された音声の音量を黄色でレベルメータ２２に表示する（ステップＳ１１）。自動翻訳装置１は、次いで、マイクボタン４が押される前に入力されバッファに記録されている音声も含めて認識対象となる音声を選択する（ステップＳ１２）。自動翻訳装置１は、バッファより認識対象となる音声を、これから入力されてバッファに記録される音声も含めて順次読み込み、文字言語に音声認識し、その認識結果をタッチパネルディスプレイ５に表示する（ステップＳ１３）。
【００６９】
自動翻訳装置１において、マイクボタン４は、１秒以上押す第１の操作方法と、１秒以下だけ押す第２の操作方法を行うことができる。
自動翻訳装置１は、マイクボタン４が１秒以上押されたかどうかを判別する（ステップＳ１４）。自動翻訳装置１は、マイクボタン４が１秒以上たかどうかを判別する（ステップＳ１４）。自動翻訳装置１は、マイクボタン４が１秒以上押される第１の操作方法が行われたときに（ステップＳ１４；ＹＥＳ）、マイクボタン４が放された時刻を元に終了時刻を決めて音声認識を終了させる。例えば、自動翻訳装置１は、マイクボタン４が放されてから１秒後までに入力された音声までを音声認識する（ステップＳ１５）。
【００７０】
なお、ステップＳ１５では、自動翻訳装置１は、マイクボタンが放されてから２秒以上続く非音声部分より前に入力された音声までを音声認識してもよい。
【００７１】
自動翻訳装置１は、マイクボタン４が１秒以下だけ押されていたときに（ステップＳ１４；ＮＯ）、マイクボタン４が放された後に３秒以上続く非音声部分より前に入力された音声を音声認識する（ステップＳ１６）。自動翻訳装置１は、音声認識を終了すると、ＬＥＤ６を消灯し、入力された音声の音量を灰色でレベルメータ２２に表示する（ステップＳ１７）。
【００７２】
なお、第１の操作方法と第２の操作方法を区別する手段としては、マイクボタン４を押す時間による区別だけでなく、例えば以下のような手段でもよい。
・マイクボタンを２つ用意し、一方のマイクボタンの押下を第１の操作方法、他方のマイクボタンの押下を第２の操作方法とする。
・マイクボタンの押下が２段階の深さで行え、深く押下する操作を第１の操作方法、浅く押下する方法を第２の操作方法とする。
・マイクボタンは押し込む操作と回転させて上下に倒す操作を行うことができ、押し込む操作を第１の操作方法、回転させて上下に倒す操作を第２の操作方法とする。
・マイクボタンは、回転させて上下に倒す、もしくは上下にスライドさせる操作を行うことができ、上に倒すもしくはスライドさせる操作を第１の操作方法、下に倒すもしくはスライドさせる操作を第２の操作方法とする。
【００７３】
自動翻訳装置１は、次いで、ステップＳ１３、ステップＳ１５またはステップＳ１６で音声認識された認識結果をタッチパネルディスプレイ５に表示する（ステップＳ１８）。自動翻訳装置１は、音声認識が終了してＬＥＤ６が消灯してから３秒後までに、再度マイクボタン４が押されるかどうかを判別する（ステップＳ１９）。
【００７４】
自動翻訳装置１は、再度マイクボタン４が押されたときに（ステップＳ１９；ＹＥＳ）、ステップＳ１０〜ステップＳ１７を実行してさらに入力される音声を音声認識して、その認識結果を先に音声認識された認識結果とともにタッチパネルディスプレイ５に表示する（ステップＳ１８）。
【００７５】
あるいは、自動翻訳装置１は、ＬＥＤ６をステップＳ１１、Ｓ１７に示される形態で点灯させる動作に限らないで、他の形態で点灯してもよい。ＬＥＤ６は、発光する色を変えて点灯してもよく、たとえば、ステップＳ１１で緑色に点灯し、ステップＳ１７で黄色に点灯してもよい。ＬＥＤ６は、発光する明るさを変えて点灯してもよく、たとえば、ステップＳ１１で明るく点灯し、ステップＳ１７で暗く点灯してもよい。ＬＥＤ６は、ステップＳ１１で点滅し、ステップＳ１７で点灯してもよい。
【００７６】
このとき、ユーザは、マイクボタン４を適正に操作することにより音声認識する認識対象の終了位置をより適切に決定することができる。
【００７７】
図６は、自動翻訳する動作を示している。自動翻訳する動作は、タッチパネルディスプレイ５に認識結果が表示されているときに、自動翻訳装置１により実行される。自動翻訳装置１は、淡い灰色の文字列がタップされると（ステップＳ３１；ＹＥＳ）、その文字列の元となる音声部分を単位としてその淡い灰色の文字列を濃い灰色に変えて表示する（ステップＳ３２）。自動翻訳装置１は、黒色または濃い灰色の文字列がタップされると（ステップＳ３３；ＹＥＳ）、その黒色または濃い灰色の文字列を淡い灰色に変えて表示する（ステップＳ３４）。ステップＳ３１〜ステップＳ３４の動作は、翻訳ボタン２５がタップされるまで繰り返される。
【００７８】
自動翻訳装置１は、翻訳ボタン２５がタップされると（ステップＳ３５；ＹＥＳ）、まず、最初に淡い灰色であった文字列をタップして濃い灰色に変えたかどうかを調べ（ステップＳ３６）、変えていた場合は、ガイドメッセージを表示する（ステップＳ３７）。このガイドメッセージは、ユーザに対して、その後の入力で正しく入力するように注意点を示すもので、例えば、発声中に間を空けすぎないように促す内容などである。自動翻訳装置１はその後、タッチパネルディスプレイ５に黒色または濃い灰色で表示されている文字列を他の言語たとえば、英語の翻訳文に翻訳する（ステップＳ３８）。自動翻訳装置１は、その翻訳文をタッチパネルディスプレイ５に表示して、その翻訳文をスピーカ７から発声する（ステップＳ３９）。
【００７９】
ユーザにお手本を示す動作は、お手本ボタン２６がタップされたときに、実行される。すなわち、自動翻訳装置１は、お手本ボタン２６がタップされたときに、スピーカ７から所定の音量の音声を出力して、ユーザにマイク３から入力する音声の音量のお手本を示す。このような動作によれば、ユーザは、発音すべき音声の音量がよくわかり、音量が適正な音声を自動翻訳装置１に入力することができる。この結果、自動翻訳装置１は、音量が適正な音声が入力されて、より正確に音声認識することができる。
【００８０】
次に、図面を参照して、自動翻訳装置１にて実際に音声が入力されるときの動作について説明する。
図７は、ある場面でのマイクボタン４が押される状態と認識対象との関係を示している。その場面では、ユーザにより「ええと」、「いちばん近い」、「駅は」、「どこですか？」と区切りながらノイズがある環境で発音されている。さらに、自動翻訳装置１は、「ええと」を音声部分４１として検出し、「いちばん近い」を音声部分４２として検出し、「駅は」を音声部分４３として検出し、「どこですか？」を音声部分４４として検出し、ノイズを音声部分４５として検出している。さらに、自動翻訳装置１は、音声部分４１の後に非音声部分５１を検出し、音声部分４２の後に非音声部分５２を検出し、音声部分４３の後に非音声部分５３を検出し、音声部分４４の後に非音声部分５４を検出し、音声部分４５の後に非音声部分５５を検出する。ここで、非音声部分５１〜５５は、それぞれ１秒以内だけ続き、非音声部分５４、５５は、１秒以上続いているとする。
【００８１】
自動翻訳装置１は、その場面で、ユーザが「いちばん近い」と発声している途中の時刻ｔ１から時刻ｔ２までマイクボタン４を１秒以内の時間Δｔ１だけ押したときに、ＬＥＤ６を時刻ｔ１から音声部分４４が終了した時刻ｔ３から所定時間Δｔ２だけ経過した時刻ｔ４まで点灯する。このとき、自動翻訳装置１は、音声部分４１〜４４をそれぞれ認識対象６１〜６４として音声認識し、音声部分４５に対しては音声認識を行わない。また、仮に非音声部分５４が１秒以内であったため、ノイズである音声部分４５が認識対象となってしまった場合でも、翻訳を行う前に、ユーザが音声部分４５の認識結果の文字列をタップして淡文字列に変更することで、ノイズが認識された文字列部分を容易に除外することができる。
【００８２】
次に、自動翻訳装置１に音声が入力される他の場合の動作ついて説明する。
図８は、ある場面でのマイクボタン４が押される状態と認識対象との関係を示している。その場面では、ユーザにより「ええと」、「いちばん近い」、「駅は」、「どこですか？」と区切りながら発音され、さらに「駅は」と「どこですか？」との間に間をおいて発音されている。さらに、自動翻訳装置１が、「ええと」を音声部分８１として検出し、「いちばん近い」を音声部分８２として検出し、「駅は」を音声部分８３として検出し、「どこですか？」を音声部分８４として検出している。このとき、自動翻訳装置１は、さらに、音声部分８１の後に非音声部分９１を検出し、音声部分８２の後に非音声部分９２を検出し、音声部分８３の後に非音声部分９３を検出し、音声部分８４の後に非音声部分９４を検出する。非音声部分９１、９２は、それぞれ１秒以内だけ続き、非音声部分９３、９４は、１秒以上続いている。
【００８３】
自動翻訳装置１は、その場面で、ユーザが「いちばん近い」と発声している途中の時刻ｔ８から時刻ｔ９までマイクボタン４を１秒以内の時間Δｔ５だけ押したときに、ＬＥＤ６を時刻ｔ８から時刻ｔ１１まで点灯する。時刻ｔ１１は、音声部分８３が終了した時刻ｔ１０から所定時間Δｔ６（１秒）だけ経過した時刻である。このとき、自動翻訳装置１は、音声部分８１〜８３をそれぞれ認識対象１０１〜１０３として音声認識する。
【００８４】
その後、ユーザがＬＥＤ６が消灯していることで、音声認識が終了していることに気付き、「どこですか？」と発声している途中の時刻ｔ１２から時刻ｔ１３までマイクボタン４を１秒以内の時間Δｔ７だけ押したとする。このとき、ＬＥＤ６は時刻ｔ１２から時刻１５まで再度点灯する。時刻ｔ１５は、音声部分８４が終了した時刻ｔ１４から所定時間Δｔ８（１秒）だけ経過した時刻である。このとき、自動翻訳装置１は、音声部分８１〜８３に加えて音声部分８４もそれぞれ認識対象１１１〜１１４として音声認識する。その結果、音声部分８１〜８４までが音声認識される。
【００８５】
すなわち、ユーザは、発声の途中でＬＥＤ６が消灯したときに、再度マイクボタン４を押すことにより、自動翻訳装置１により１つの文として音声認識される。ユーザは、発声している途中で音声認識が終了したときに、再度マイクボタン４を押すことにより、音声を追加して入力することができ好ましい。
【００８６】
次に、本発明による自動翻訳装置の他の実施の形態について説明する。図９に、マイクボタン４が押されたときの動作を示す。マイクボタン４が押されたとき、まず、図５に示した動作に基づき、音声認識が行われ、結果が表示される（ステップＳ２１）。その後、３秒以内に音声検出により音声部分が検出された場合、その音声部分に対して認識処理を行い、結果の文字列を淡文字列として、それまでの文字列の後に追加して表示する。このとき、後から追加された文字列がノイズ等のユーザが意図しないものであれば、そのまま翻訳ボタン２５をタップすることで、後から追加された文字列は除外して翻訳を行わせることができ、また、後から追加された文字列がユーザの意図した発声であれば、その文字列をタップして濃文字列としてから翻訳させることで、後から発声した音声部分を含めて翻訳を行わせることができる。
【００８７】
図１０は、マイクボタン４が押される状態と認識対象との関係を示している。マイクボタンが押され、音声部分８１〜８３が音声認識されるのは図８の場合と同様である。「ええと」「いちばん近い」「駅は」の発声が音声認識され、表示される。このとき、認識結果として「ええと」「いちばん近い」「駅は」までが一旦表示されているが、この後、ユーザが「どこですか」と続けて発声すると、音声部分８４が入力される。このとき、自動翻訳装置１は、音声部分８４を認識対象１０４として音声認識する。音声認識された結果「どこですか」は、淡い灰色で画面に追加する。
【００８８】
このときユーザは、「どこですか」の文字列をタップして濃文字列にすることで、その部分も含めて翻訳させることができる。また、仮に、後から入力された部分が、ノイズ等のユーザが意図しない音声であっても、淡文字列の状態のままで翻訳ボタン２５をタップすれば、後から入力された部分を除外して翻訳させることができる。
【００８９】
【発明の効果】
以上説明したように、本発明においては、次のような効果を奏する。
第一の効果は、ユーザがマイクボタンを押すタイミングが適切でない場合でも、音声認識の開始位置と終了位置をより適切に決定することができることである。第二の効果は、ユーザが現在発声している音声が認識されているかどうかや、発声に間が空いたときに音声認識が終了したかどうかが、ユーザに伝わるということである。
第三の効果は、仮に発声に間が空き音声認識が終了した場合でも、ユーザがそれを知り、続けてマイクボタンを押すことで、そのまま音声認識を続けることができるということである。
第四の効果は、仮にノイズ等の余計な音声が認識されたり、前の発声から間を空けて発声したりした場合でも、認識結果の採用・不採用を切り替えて、意図して発声した部分のみを容易に選択することができるということである。
本発明の音声認識装置では、音声認識する認識対象をより適切に決定することができる。
また、現在発声中の内容が認識されているかどうかをユーザが容易に知ることができ、発声の途中で間が空き認識処理が途切れてしまった場合でも、ボタンを押すことで認識を継続させることができる。
本発明の音声認識装置は、さらに、自動翻訳装置に適用されることが好適である。
【図面の簡単な説明】
【図１】図１は、本発明による自動翻訳装置の実施の形態を示す斜視図である。
【図２】図２は、自動翻訳装置本体の実施の形態を示すブロック図である。
【図３】図３は、タッチパネルディスプレイに表示される画面の実施の形態を示す図である。
【図４】図４は、音声を監視する動作の実施の形態を示すフローチャートである。
【図５】図５は、マイクボタンが押されたときの動作の実施の形態を示すフローチャートである。
【図６】図６は、自動翻訳する動作の実施の形態を示すフローチャートである。
【図７】図７は、認識対象の位置を示すタイムチャートである。
【図８】図８は、認識対象の位置を示すタイムチャートである。
【図９】図９は、マイクボタンが押されたときの動作の実施の他の形態を示すフローチャートである。
【図１０】図１０は、認識対象の位置を示すタイムチャートである。
【符号の説明】１ ：自動翻訳装置
２ ：自動翻訳装置本体
３ ：マイク
４ ：マイクボタン
５ ：タッチパネルディスプレイ
６ ：ＬＥＤ
７ ：スピーカ
１１：音声検出部
１２：音声記録部
１３：マイクボタン検出部
１４：認識状態表示部
１５：音声認識部
１６：文節選択部
１７：翻訳部
１８：お手本部
１９：ガイド表示部
２１：画面
２２：レベルメータ
２３：認識結果表示欄
２４：翻訳結果表示欄
２５：翻訳ボタン
２６：お手本ボタン
２７：指示棒
２８：目盛り
３１〜３４：文字列
４１〜４５：音声部分
５１〜５５：非音声部分
６１〜６５：認識対象
７１〜６４：認識対象
８１〜８４：音声部分
９１〜９４：非音声部分
１０１〜１０３：認識対象
１１１〜１１４：認識対象

Claims (15)

1. 入力された音声を認識する音声認識装置であって、
   前記入力音声から利用者が発声した音声部分を検出して、前記入力音声を音声部分と非音声部分に分割する音声検出部と、
   前記音声部分に対して認識処理を行う音声認識部と、
   入力されている音声に対して前記音声認識部により認識処理が行われているかどうかの状態を随時表示して利用者に伝える認識状態表示部とを備えた
   ことを特徴とする音声認識装置。
2. 利用者が発声を行う際に操作するマイクボタンのオン操作またはオン操作とオフ操作の両方を検出するマイクボタン検出部を更に備え、
   前記音声認識部は、前記マイクボタン検出部により検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき、前記音声検出部により検出された音声部分から認識対象とする音声部分を選択して音声認識を行い、
   また、前記音声部分の認識処理が終了し、前記認識状態表示部が認識処理の終了を表示した後、所定時間内に再度マイクボタン検出部によりオン操作が検出された場合に、前記音声認識部は、前記再度検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき認識対象とする音声部分を更に選択し、先のオン操作時の認識結果と後のオン操作の認識結果との両方を表示する
   ことを特徴とする請求項１記載の音声認識装置。
3. 前記音声認識部は、前記認識状態表示部が前記認識処理が行われていることを表示している際に入力された前記音声部分の認識結果を第１の表示形態で表示し、また、前記認識状態表示部が終了を伝えた後の所定時間内に再度音声部分が検出された場合に、前記所定時間内に検出された音声部分に対しても音声認識を行い、認識結果を前記第１の表示形態とは異なる第２の表示形態で表示する
   ことを特徴とする請求項１記載の音声認識装置。
4. 利用者の操作により指示されたときに、前記第１の表示形態の認識結果を第２の表示形態に変換し、また、第２の表示形態の認識結果を第１の表示形態に変換する文節選択部と、
   前記第１の表示形態にて表示されている認識結果に対して処理を行う処理部とを備えた
   ことを特徴とする請求項３記載の音声認識装置。
5. 前記マイクボタン検出部は、マイクボタンのオン操作とオフ操作を検出し、さらに、これらの操作が第１の操作と第２の操作のどちらで行われたかを検出し、前記音声認識部は、前記第１の操作が行われた場合には、前記オフ操作が行われた時刻を基準に決定した時刻までに検出された音声部分に対して認識処理を行い、前記第２の操作が行われた場合には、前記オン時刻より後に音声検出部により所定以上の非音声部分が検出されるまでに検出された音声部分に対して認識処理を行うことを特徴とする請求項１記載の音声認識装置。
6. 入力された音声を認識する音声認識方法であって、
   前記入力音声から利用者が発声した音声部分を検出して、前記入力音声を音声部分と非音声部分に分割するステップと、
   前記音声部分に対して認識処理を行うステップと、
   入力されている音声に対して認識処理が行われているかどうかの状態を随時表示して利用者に伝えるステップとを備えた
   ことを特徴とする音声認識方法。
7. 利用者が発声を行う際に操作するマイクボタンのオン操作またはオン操作とオフ操作の両方を検出するステップと、
   検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき、検出された音声部分から認識対象とする音声部分を選択して音声認識を行うステップと、
   また、前記音声部分の認識処理が終了し、認識処理の終了が表示された後、所定時間内に再度オン操作が検出された場合に、前記再度検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき認識対象とする音声部分を更に選択し、先のオン操作時の認識結果と後のオン操作の認識結果との両方を表示するステップとを更に具備する
   ことを特徴とする請求項６記載の音声認識方法。
8. 前記認識処理が行われていることを表示している際に入力された前記音声部分の認識結果を第１の表示形態で表示するステップと、
   また、終了を伝えた後の所定時間内に再度音声部分が検出された場合に、前記所定時間内に検出された音声部分に対しても音声認識を行い、認識結果を前記第１の表示形態とは異なる第２の表示形態で表示するステップとを更に具備する
   ことを特徴とする請求項６記載の音声認識方法。
9. 利用者の操作により指示されたときに、前記第１の表示形態の認識結果を第２の表示形態に変換し、また、第２の表示形態の認識結果を第１の表示形態に変換するステップと、
   前記第１の表示形態にて表示されている認識結果に対して処理を行うステップとを備えた
   ことを特徴とする請求項８記載の音声認識方法。
10. マイクボタンのオン操作とオフ操作を検出するステップと、
    さらに、これらの操作が第１の操作と第２の操作のどちらで行われたかを検出するステップと、
    前記第１の操作が行われた場合には、前記オフ操作が行われた時刻を基準に決定した時刻までに検出された音声部分に対して認識処理を行い、前記第２の操作が行われた場合には、前記オン時刻より後に所定以上の非音声部分が検出されるまでに検出された音声部分に対して認識処理を行うステップとを更に具備する
    ことを特徴とする請求項６記載の音声認識方法。
11. 入力された音声を認識する音声認識方法をコンピュータに実行させるコンピュータプログラムであって、
    前記入力音声から利用者が発声した音声部分を検出して、前記入力音声を音声部分と非音声部分に分割するステップと、
    前記音声部分に対して認識処理を行うステップと、
    入力されている音声に対して認識処理が行われているかどうかの状態を随時表示して利用者に伝えるステップとを備えた
    ことを特徴とする音声認識方法。
12. 利用者が発声を行う際に操作するマイクボタンのオン操作またはオン操作とオフ操作の両方を検出するステップと、
    検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき、検出された音声部分から認識対象とする音声部分を選択して音声認識を行うステップと、
    また、前記音声部分の認識処理が終了し、認識処理の終了が表示された後、所定時間内に再度オン操作が検出された場合に、前記再度検出されたオン操作またはオン操作とオフ操作の両方の時刻に基づき認識対象とする音声部分を更に選択し、先のオン操作時の認識結果と後のオン操作の認識結果との両方を表示するステップとを更に具備する
    ことを特徴とする請求項１１記載の音声認識方法。
13. 前記認識処理が行われていることを表示している際に入力された前記音声部分の認識結果を第１の表示形態で表示するステップと、
    また、終了を伝えた後の所定時間内に再度音声部分が検出された場合に、前記所定時間内に検出された音声部分に対しても音声認識を行い、認識結果を前記第１の表示形態とは異なる第２の表示形態で表示するステップとを更に具備する
    ことを特徴とする請求項１１記載の音声認識方法。
14. 利用者の操作により指示されたときに、前記第１の表示形態の認識結果を第２の表示形態に変換し、また、第２の表示形態の認識結果を第１の表示形態に変換するステップと、
    前記第１の表示形態にて表示されている認識結果に対して処理を行うステップとを備えた
    ことを特徴とする請求項１３記載の音声認識方法。
15. マイクボタンのオン操作とオフ操作を検出するステップと、
    さらに、これらの操作が第１の操作と第２の操作のどちらで行われたかを検出するステップと、
    前記第１の操作が行われた場合には、前記オフ操作が行われた時刻を基準に決定した時刻までに検出された音声部分に対して認識処理を行い、前記第２の操作が行われた場合には、前記オン時刻より後に所定以上の非音声部分が検出されるまでに検出された音声部分に対して認識処理を行うステップとを更に具備する
    ことを特徴とする請求項１１記載の音声認識方法。

Images