JP2003295884A

JP2003295884A - 音声入力モード変換システム

Info

Publication number: JP2003295884A
Application number: JP2002097581A
Authority: JP
Inventors: Tetsunori Kobayashi; 哲則小林; Yukihiro Omoto; 幸宏尾本; Masataka Goto; 真孝後藤; Katsunobu Ito; 克亘伊藤
Original assignee: Waseda University; National Institute of Advanced Industrial Science and Technology AIST
Current assignee: Waseda University; National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2002-03-29
Filing date: 2002-03-29
Publication date: 2003-10-15
Anticipated expiration: 2022-03-29
Also published as: JP3906327B2

Abstract

(57)【要約】【課題】キーボード等の機械的入力手段を操作するこ
となく音声だけでコンピュータのインタフェースを操作
することのできる音声入力モード変換システムを提供す
る。【解決手段】音声を入力する音声入力手段１と、演算
手段３と、インタフェース管理手段４とを備える。演算
手段３は、音声認識部14に連続する発話区間検出部11、
有声休止検出部12及び基本周波数推定部13を備える。こ
れらまた、有声休止検出部12、基本周波数推定部13及び
音声認識部14には音声シフト識別部15が接続されてい
る。発話区間検出部11は入力された音声から発話区間を
検出し、有声休止検出部12は発話区間検出部11で検出さ
れた発話区間から有声休止区間を検出し、基本周波数推
定部13は発話区間の各基本周波数を計算する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、キーボードなどを
用いることなく、文字入力やコマンド入力が可能な音声
入力モード変換システムに関する。

【０００２】

【発明が解決しようとする課題】これまで、コンピュー
タの入力装置としてキーボードやマウス、ポインティン
グデバイス等が使用されており、特にウインドウシステ
ムが登場してからは、マウスなどの入力装置の重要度が
高まった。さらに、近年は音声認識ソフトウエアが開発
され、音声を入力手段とした音声入力インタフェースに
より、文字を入力したりアプリケーションソフトを制御
したりすることが可能となり、キーボードを操作するこ
となく、ハンドフリーでコンピュータの操作を行うこと
が検討されている。

【０００３】しかしながら、従来の音声入力インタフェ
ースにおいては、発話された単語あるいは単語列が運ぶ
言語的情報（音韻的特徴）のみが伝達されるべき情報と
して位置づけられてきたので、２つの異なる次元の操作
を音声のままで峻別することはできなかった。例えば、
「保存」という音声の場合、それが文字入力なのかファ
イルを保存するなどのコマンドを指すものであるのかは
音声だけで判断することは困難であった。このため、基
本的には文字入力のみを音声で行い、コマンド操作は依
然キーボードで行うものが主流であり、ハンドフリーで
操作できるものではなかった。

【０００４】そこで、これを改善したものとして、キー
ボードの特殊キーを用いることにより両者の状態を峻別
すること、例えば、コマンド操作を行う際にはキーボー
ドの「シフト」キーや「Ｔａｂ」キーなどの特殊キーを
押しながら発音してこれを音声認識ソフトウエアで認識
させることにより「文字入力モード」であるか「コマン
ドモード」であるかを区別することが考えられるが、そ
の場合であっても完全にハンドフリーで操作することは
できない。

【０００５】もし、キーボードなどの機械的入力手段を
全く用いることなく、各種アプリケーションの種々の操
作を行うことができれば、コンピュータの操作の簡易化
を図れるだけでなく、例えばディクテーション操作の効
率化や、あるいはモバイル型コンピュータにおいては各
種電気・機械機器等の点検作業を行いながらハンドフリ
ーでその管理ソフトを操作したりすることが可能とな
り、コンピュータの操作環境の更なる整備が図れて望ま
しい。

【０００６】本発明は、上記課題に鑑みてなされたもの
であり、キーボード等の機械的入力手段を操作すること
なく音声だけでコンピュータのインタフェースを操作す
ることのできる音声入力モード変換システムを提供する
ことを目的とする。

【０００７】

【課題を解決するための手段】本発明の請求項１記載の
音声入力モード変換システムは、音声を入力する音声入
力手段と、この音声入力手段からの音声の基本周波数の
分析結果に基き該音声を２以上のカテゴリに識別する演
算手段と、前記音声のカテゴリに対してそれぞれ異なる
入力モードを対応させてアプリケーションの実行を制御
するインタフェース管理手段とを備えたものである。こ
のため、音声を基本周波数によりカテゴリを区別して分
類し、それぞれのカテゴリに対して異なる入力モードを
対応させることにより、キーボードなどの機械的入力手
段によることなく、声の高さだけでアプリケーションの
実行を制御することができる。

【０００８】また、請求項２記載の音声入力モード変換
システムは、前記請求項１において、前記インタフェー
ス管理手段が前記音声の各カテゴリを前記アプリケーシ
ョンの異なる機能に対応させて認識してその実行を制御
するものである。このため、キーボードなどの機械的入
力手段によることなく、声の高さだけでアプリケーショ
ンの種々の機能の実行を制御することができる。

【０００９】また、請求項３記載の音声入力モード変換
システムは、前記請求項１又は２において、前記演算手
段が前記音声を「通常音声」と「シフト音声」の２つの
カテゴリの音声に識別し、前記インタフェース管理手段
は、この「通常音声」と「シフト音声」とを異なる入力
モードに対応させてアプリケーションの実行を制御する
ものである。このため、音声を基本周波数の高低により
２つのカテゴリに分類し、それぞれのカテゴリに対して
異なる入力モードを対応させることにより、キーボード
などの機械的入力手段によることなく、アプリケーショ
ンの実行を制御することができる。

【００１０】請求項４記載の音声入力モード変換システ
ムは、前記請求項３において、前記演算手段は、前記音
声入力手段にそれぞれ接続した音声認識部に連続する発
話区間検出部及び基本周波数推定部と、これら音声認識
部及び基本周波数推定部にそれぞれ接続した音声シフト
識別部とを有し、前記発話区間検出部は入力された音声
から発話区間を検出し、前記基本周波数推定部は前記発
話区間の各基本周波数とその平均値を計算し、前記音声
シフト識別部は発話区間における平均基本周波数の閾値
に対する高低により「通常音声」であるか「シフト音
声」であるかを判断するものである。このため、発話区
間の各基本周波数の平均値を閾値と対比してこの閾値に
対する高低で「通常音声」であるか「シフト音声」であ
るかを区別することができる。

【００１１】請求項５記載の音声入力モード変換システ
ムは、前記請求項４において、前記演算手段が有声休止
検出部を有し、この有声休止検出部は、前記発話区間検
出部で検出された発話区間から有声休止を検出し、前記
発話区間に有声休止検出部で有声休止が検出されたらこ
の有声休止の各基本周波数を基本周波数推定部において
計算するとともに前記音声シフト識別部はこの有声休止
の基本周波数の平均値を基準基本周波数として、「通常
音声」であるか「シフト音声」であるかを判断する閾値
を設定するものである。このため、「エー」、「ン
ー」、「アノー」などの有声休止は、人間の発声におい
て自然な発声音であることから、この有声休止音声の基
本周波数の平均値を基準基本周波数として推定し、この
基準基本周波数に基いて閾値を設定することにより、閾
値を精度よく定めることができ、各モードの識別率を高
めることができる。

【００１２】請求項６記載の音声入力モード変換システ
ムは、前記請求項５において、前記有声休止検出部で前
記有声休止区間が検出されるたびにその有声休止区間の
基本周波数の平均値を基準基本周波数として更新するも
のである。このため、最新の発声状態に基いて逐次基準
基本周波数が更新されるので、より高い精度で「文字入
力モード」と「コマンドモード」とを識別することが可
能となっている。

【００１３】請求項７記載の音声入力モード変換システ
ムは、前記請求項５又は６において、前記有声休止をい
ずれのモードの音声としても認識しないものである。こ
のため、言い淀みなどが文字入力されることがなく、発
話中における言い淀みを許容したものとなっている。

【００１４】請求項８記載の音声入力モード変換システ
ムは、前記請求項１乃至７のいずれか１項において、前
記アプリケーションの実行状況を示す表示手段を有して
おり、該表示手段は発音している音声の閾値に対する高
低を視覚的に表示するモニタ部を有し、いずれのモード
に該当する音声であるかを視覚的に確認できるものであ
る。このため、現在発声している音声がどのモードの音
声であるかを視認しながら発声することができるので、
より確実にアプリケーションの実行を制御することがで
きる。

【００１５】

【発明の実施の形態】以下、本発明の音声入力モード変
換システムの一実施例について添付図面を参照して詳細
に説明する。図１は本実施例の音声入力モード変換シス
テムの構成を示しており、１は音声入力手段であり、２
はパーソナルコンピュータなどの情報処理装置であり、
この情報処理装置２内には演算手段３と、インタフェー
ス管理手段４とが内蔵されており、インタフェース管理
手段４はさらに情報処理装置２内にインストールされた
アプリケーション５を制御するように構成されている。
この演算手段３は発話区間検出部11と、有声休止検出部
12と、基本周波数推定部13とを有し、発話区間検出部11
には、音声認識部14が連続している。さらに、これら有
声休止検出部12、基本周波数推定部13及び音声認識部14
は、それぞれ音声シフト識別部15に接続している。そし
て、この音声シフト識別部15からの信号がインタフェー
ス管理手段４に送信され、これに基きアプリケーション
５を制御する。上述したようなシステム構成において、
音声入力手段１としては、集音用のマイクならば特に制
限はなく、頭部装着式のマイクロホン等を用いることが
できる。

【００１６】前記構成につきその作用について説明す
る。音声入力手段１から音声を入力すると演算手段３に
おいてはこの音声を２以上のカテゴリ（本実施例におい
ては２つのカテゴリ）に識別する。すなわち、まず、図
２に示すように、発話区間検出部11において発話の開始
及び終了時間を取得して発話区間を定め、この発話区間
の各フレーム（１０ｍｓ）ごとの周波数（基本周波数
（Ｆ０））を基本周波数推定部13において取得する。こ
のとき有声休止検出部12において有声休止区間が検出さ
れたら、この有声休止区間の各基本周波数（Ｆ０）の平
均値を測定し、これを基準基本周波数（基準Ｆ０）とし
て設定する。これに基いて後述する閾値を決定する。基
準Ｆ０は、話者にとってごく自然な、いわば地声の高さ
であると考えられるが、有声休止をこれに当て嵌めるこ
とにより、言い淀むだけで求めることができる。そこ
で、本実施においては、有声休止区間中の音高の平均値
を話者固有の基準Ｆ０とみなすこととした。

【００１７】ここで有声休止とは、言い淀み現象の一つ
で、その発声中は思考中のために調音器官の変化が小さ
くなるためＦ０が安定し、かつ、地声のＦ０（すなわち
基準Ｆ０）に近いと仮定できるものであり、具体的には
「エー」、「ンー」、「アノー」などが該当する。この
有声休止は人間が自発的に発話する際には自然に現れる
ため、それを発声することが利用者の負担とはならず、
さらに音声入力中には頻繁に現れることから、本実施例
においては発声区間内に有声休止が検出されたらその有
声休止ごとに該有声休止区間のＦ０の平均値を用いて基
準Ｆ０を更新することでその精度を高めることができる
ようになっている。

【００１８】具体的には図３は男性話者６人の「ん
ー」、「えー」、「あのー」の各有声休止区間のＦ０の
平均値を示すグラフであるが、この平均値を算出するに
当り、各有声休止区間の全てのＦ０の標準偏差は平均８
６．２ｃｅｎｔと半音差未満であり、有声休止区間の音
高が安定しており基準Ｆ０として好適であることがわか
った。また、図３のグラフより有声休止の種類が異なっ
てもＦ０の平均値はほぼ一定であるので、これを基準Ｆ
０とした場合には安定した結果が期待できることがわか
る。なお、各話者間においては、それぞれの有声休止の
平均Ｆ０が大きく異なるので、話者ごとに基準Ｆ０を定
める必要があることがわかる。

【００１９】このようにして基準Ｆ０を計算したら音声
シフト識別部15においてこの基準Ｆ０に基いて閾値を算
出する。この閾値の算出方法については「通常音声」と
「シフト音声」とを精度よく識別できれば特に制限はな
いが、例えば、最も簡単な方法（以下、第１の方法とい
う）としては、あらかじめサンプルとなる通常音声とシ
フト音声を入力して、これらを適切に識別できる音高を
求め、これを基準Ｆ０からの相対値として閾値とすれば
よい。そして、次に言い淀んだときに、基準Ｆ０が更新
あるいは新規に設定されるので、この値に上述したよう
にして求めた相対値を加えることにより、閾値を更新す
ることができる。なお、閾値の算出方法としては、この
他種々の方法が適用可能であるが、その他の算出方法の
例については後述する。

【００２０】一方、発話区間内で有声休止検出部12にお
いて有声休止が検出されなかった場合には、この発話区
間の基本周波数（Ｆ０）の平均値を計算して発声音高と
する。そして、図４に示すように音声シフト識別部15で
はこの発声音高が前述した閾値より低い音声であれば
「通常発声」と判断し、閾値より高い音声であれば「シ
フト発声」と判断し、これらの識別結果をインタフェー
ス管理手段４に送信する。

【００２１】そして、インタフェース管理手段４では、
音声シフト識別部15からの識別結果を受信し、それぞれ
の発声に対してアプリケーション５の異なる機能を対応
させる。すなわち、「通常発声」の場合には「文字入力
モード」と認識して音声認識結果をそのまま文字列とし
てアプリケーション５に入力させる。また、「シフト発
声」の場合には、その音声の文字認識結果があらかじめ
設定しておいた「保存」、「印刷（プリント）」、「改
行」などのコマンドと一致していれば「コマンドモー
ド」として捉え、音声認識結果に対するコマンドをアプ
リケーション５に実行させ、該当しなければ「文字入
力」と認識する。このとき、有声休止である「エー」、
「ンー」、「アノー」などは、有声休止を「文字入力モ
ード」の音声としても「コマンドモード」の音声として
も認識しないようになっている。

【００２２】このような本実施例のシステムの動作は、
例えば、アプリケーション５がワードプロセッサなどの
場合には、図５に示すように表示手段たるディスプレイ
21に表示させればよい。すなわち、図５において、ディ
スプレイ21は、左側の文字入力表示部22と右側のモニタ
部23とがそれぞれ配置され、これらの上側には操作・コ
マンド表示部24となっている。そして、モニタ部23には
算出された閾値（ＴＨＬＤ）と基準基本周波数（Ｆ０
Ｂａｓｅ）とを示すラインがその話者に応じてあらかじ
め表示され、ここに現在発声された音声の音高が表示さ
れる構成となっている。そして、その発声された音声が
閾値（ＴＨＬＤ）のライン以下であれば、文字入力モー
ドとして文字入力表示部22に文字が表示される一方、閾
値（ＴＨＬＤ）を超えると該当するコマンドが実行され
る。このようにディスプレイ21に発声された音声の音高
と閾値に対する高低を視覚的に表示するモニタ部23を設
けることにより、現在発声している音声が「文字入力モ
ード」の音声であるか「コマンドモード」の音声である
かを話者が視認しながら、発声することができるので、
より確実にアプリケーション５の実行を制御することが
できる。

【００２３】以上詳述したとおり、本実施例の音声入力
モード変換システムは、音声を入力する音声入力手段１
と、この音声入力手段１からの音声の入力結果に基き該
音声が「通常音声」であるか「シフト音声」であるかを
判断する演算手段３と、前記「通常音声」と「シフト音
声」とを「文字入力モード」の音声であるか「コマンド
モード」の音声であるかを識別してアプリケーションの
実行を制御するインタフェース管理手段４とを備えたも
のであって、演算手段３は、音声入力手段１にそれぞれ
接続した音声認識部14に連続する発話区間検出部11、有
声休止検出部12及び基本周波数推定部13と、これら音声
認識部14、有声休止検出部12及び基本周波数推定部13に
それぞれ接続した音声シフト識別部15とを有し、この発
話区間検出部11は入力された音声から発話区間を検出
し、有声休止検出部12は発話区間検出部11で検出された
発話区間から有声休止を検出し、基本周波数推定部13
は、発話区間の各基本周波数（Ｆ０）を計算するもので
ある。これにより、発話区間に有声休止検出部12で有声
休止が検出されたらこの有声休止の各基本周波数（Ｆ
０）を基本周波数推定部13において計算するとともに音
声シフト識別部15はこの有声休止の各基本周波数（Ｆ
０）の平均値を基準基本周波数（基準Ｆ０）として、こ
の基準基本周波数（基準Ｆ０）に基いて閾値を設定する
一方、発話区間に有声休止が検出されなかった場合に
は、該発話区間の各基本周波数（Ｆ０）を基本周波数推
定部13において計算し、前記閾値に対する高低により
「通常音声」であるか「シフト音声」であるかを判断
し、これに基きインタフェース管理手段４で「文字入力
モード」の音声であるか「コマンドモード」の音声であ
るかを識別してアプリケーションの実行を制御すること
ができる。

【００２４】このように本実施例の音声入力モード変換
システムによれば、マウスやキーボード等の機械的入力
手段を用いることなく、音声のみで多様な機能の呼び出
しができる。これにより操作手順が簡略化でき、操作性
が向上したものとなっている。また、従来の音声インタ
フェースでは異なるモードにあった機能を、現在システ
ムがどのモードであるのかを意識せずに、常にシームレ
スに呼び出すことができるため、繰作時間の短縮も期待
できる。

【００２５】特に、有声休止検出部12で有声休止区間が
検出されるたびにその基本周波数Ｆ０の平均値を基準基
本周波数（基準Ｆ０）として更新する方式を採用してい
るため、最新の発声状態に基いて逐次基準基本周波数
（基準Ｆ０）が更新されるので、より精度よく「文字入
力モード」と「コマンドモード」とを識別することが可
能となっている。さらに、本実施例においては、演算手
段３が有声休止を「文字入力モード」の音声としても
「コマンドモード」の音声としても認識しないので、言
い淀みなどが文字入力されることがなく、発話中におけ
る言い淀みを許容し、使用に際する利便性の向上したも
のとなっている。

【００２６】なお、閾値の設定方法については、前記実
施例に限定されず種々の設定方法を適用することができ
る。例えば、発声音高の分布は、正規分布に近いことか
ら正規分布によりモデル（発声音高モデル）化して、図
６に示すように通常発声とシフト発声のそれぞれの発声
音高の分布を事前に求め、各発話の発声音高がいずれの
分布に属するのがもっともらしいかに基づいて識別し、
この境界を閾値とすることができる（以下、この方法を
第２の方法という）。この二つの発声の正規分布の平均
と分散は、カテゴリが既知の学習データの発声音高から
計算する。識別時には、両カテゴリの分布に対して、識
別対象の発声音高の尤度が高いカテゴリを求める。

【００２７】さらに、第３の閾値の設定方法としては、
例えば、ワードプロセッサなどの音声テキストエディタ
の場合、音高情報と言語的な事前知識とを組み合わせて
閾値を設定することで「通常発声」と「シフト発声」と
の識別率の向上を図ることができる。すなわち、各フレ
ーム（10ｍｓシフト）毎のスペクトルデータ列をＸ＝
｛ｘ₁，ｘ₂・・・，ｘ_N｝（Ｎはフレーム数）、音高列
をＡ＝｛ａ₁，ａ₂・・・，ａ_N｝、単語列をＷ＝｛ｗ₁，
ｗ₂・・・，ｗ_K｝（Ｋは単語数）とし、各単語の発声が
シフト発声かどうかを表す指標の列をＣ＝｛ｃ₁，ｃｗ₂
・・・，ｃ_K｝とする。ｃ_Kをコマンド指標と呼ぶことと
すると、通常発声であれば、ｃ_K＝０、シフト発声であ
ればｃ_K＝１となる。このとき．発話内容及び発話区間
がシフト発声かどうかを同時に計算することは、Ｘ，Ａ
が与えられたときのＰ（Ｗ，Ｃ｜Ｘ，Ａ）を最大化する
Ｗ，Ｃを求めることに該当する。この推定は、以下のよ
うに定式化することができる。

【００２８】

【数１】

【００２９】上式の導出にあたっては，スペクトルデー
タ列Ｘと、指標Ｃ，音高列Ａと単語列Ｗとは互いに独立
としている。ここでさらに上記（２）式のP（Ａ｜Ｃ）
を

【００３０】

【数２】

【００３１】と近似することにする。（３）式中、ａ_k
は、単語Ｃ_k区間にける平均音高と基準Ｆ０との差であ
り、以下これを単語音高と呼ぶことにする。Ｐ（ａ_k｜
Ｃ_k）は、単語がシフト発声であるかないかが与えられ
たときに、どのような単語音高ａ_kが出力されるかを表
す確率であり、音高の平均をとる区間が単語であること
を除いて前述した正規分布における発声音高モデルに相
当する。Ｐ（Ｃ｜Ｗ）は、各単語がコマンドであるか非
コマンドであるかを単語列から判断する事前確率であ
り、これをコマンド生起モデルと呼ぶこととする。

【００３２】連続音声認識においても重みを介して言語
モデルと音響モデルとを結合するように、ここでも発声
音高モデル、コマンド正規モデルなどは重みを介して結
合することとすると下記式（４）が得られる。

【００３３】

【数３】

【００３４】上記式（４）中の１／（ｋ−２）乗は、単
語数での正規化を意味する。また、実際にはα＋β＝
１，γ＝１と拘束することとする。以上の確率によって
シフト発声の識別を行うことができる。

【００３５】具体的には、式（４）を解く場合、理想的
には、式を最適化する単語列とコマンド指標列を全ての
単語境界仮説を網羅する形で求めることが望まれるが、
この場合のアルゴリズムは煩雑化する。そこで今回は、
第１パスにおいて、言語モデルと音響モデルだけを使っ
て単語列のN−best候補を求めた上で、第２パスで音高
モデルとコマンド生起モデルによって、リスコアリング
するというアプローチを採用する。

【００３６】ここで、単語列からコマンド指標の生起確
率を与える前述したコマンド生起モデルの構成法につい
て説明すると、一般にコマンド生起モデルの学習データ
を数多く集めることは困難であり、単純に単語列とコマ
ンド指標列との関係をモデル化することは難しい。そこ
で、単語をいくつかのクラスに分類し、単語クラスの３
つ組みと中央の単語の発話がコマンドかどうかの関係を
調べた上で、次の近似式（５），（６）を導入する。

【００３７】

【数４】

【００３８】ここで、上記式においてｖ_kは単語ｗ_kが属
する単語クラスである。

【００３９】このようにして、「文字入力モード」の音
声であるか「コマンドモード」の音声であるかを識別す
るための閾値を設定することができる。

【００４０】上述したような３種類の手法により文字入
力モードとコマンドモードとを識別する閾値を設定する
ことができる。なお、上述した第１乃至第３の閾値の設
定方法では、話者ごとにモデルを設定しても話者共通の
モデルを設定してもよいが、いずれの場合でも話者ごと
にモデルを設定した方が識別率を高めることができる。
具体的には、どの方法でも９０％以上（話者共通のモデ
ルを設定した場合で約８０％以上）の識別率とすること
ができ、特に第３の方法では９５％以上の識別率とする
ことができる。したがって、これら第１乃至第３の方法
は、識別率、処理の複雑さが異なるので、それぞれ使用
される用途等に応じて適当な方法を選択すればよい。

【００４１】以上、本発明の音声入力モード変換システ
ムの一実施例について、添付図面を参照して説明してき
たが、本発明は前記実施例に限定されることなく、種々
の変形実施が可能である。例えば、前記実施例において
は、「通常発声」を「文字入力モード」、「シフト発
声」を「コマンドモード」として認識したが、これを逆
に認識してもよいし、また、音声は「通常発声」と「シ
フト発声」の２つのカテゴリに分類したが、基本周波数
の差異により３以上のカテゴリに分類してもよく、この
場合には、さらに別のモードに対応させることも可能で
ある。また、前記実施例においては有声休止検出部12は
閾値を効率的に設定し、各モードの識別率を向上させる
ために設けているが、あらかじめ閾値を設定するように
すれば必ずしも必要ない。本発明の基本的思想は音声の
高低でアプリケーションのモードを切り替えて制御する
ことにある。さらに、本発明のシステムを適用可能なア
プリケーションとしては特に制限はなく、ワードプロセ
ッサやブラウザソフトのみならず、ドローイングソフト
や表計算ソフトなどにも適用可能であることはいうまで
もない。

【００４２】

【発明の効果】本発明の請求項１記載の音声入力モード
変換システムは、音声を入力する音声入力手段と、この
音声入力手段からの音声の基本周波数の分析結果に基き
該音声を２以上のカテゴリに識別する演算手段と、前記
音声のカテゴリに対してそれぞれ異なる入力モードを対
応させてアプリケーションの実行を制御するインタフェ
ース管理手段とを備えたものであるので、音声を基本周
波数によりカテゴリを区別して分類し、それぞれのカテ
ゴリに対して異なる入力モードを対応させることによ
り、キーボードなどの機械的入力手段によることなく、
声の高さだけでアプリケーションの実行を制御すること
ができる。

【００４３】また、請求項２記載の音声入力モード変換
システムは、前記請求項１において、前記インタフェー
ス管理手段が前記音声の各カテゴリを前記アプリケーシ
ョンの異なる機能に対応させて認識してその実行を制御
するものであるので、キーボードなどの機械的入力手段
によることなく、声の高さだけでアプリケーションの種
々の機能の実行を制御することができる。

【００４４】また、請求項３記載の音声入力モード変換
システムは、前記請求項１又は２において、前記演算手
段は前記音声を「通常音声」と「シフト音声」の２つの
カテゴリの音声に識別し、前記インタフェース管理手段
は、この「通常音声」と「シフト音声」とを「文字入力
モード」の音声であるか「コマンドモード」の音声であ
るかを識別してアプリケーションの実行を制御するもの
であるので、音声を基本周波数の高低により２種類のカ
テゴリに分類し、それぞれのカテゴリに対して異なる入
力モードを対応させることにより、キーボードなどの機
械的入力手段によることなく、アプリケーションの実行
を制御することができる。

【００４５】請求項４記載の音声入力モード変換システ
ムは、前記請求項３において、前記演算手段は、前記音
声入力手段にそれぞれ接続した音声認識部に連続する発
話区間検出部及び基本周波数推定部と、これら音声認識
部及び基本周波数推定部にそれぞれ接続した音声シフト
識別部とを有し、前記発話区間検出部は入力された音声
から発話区間を検出し、前記基本周波数推定部は前記発
話区間の各基本周波数とその平均値を計算し、前記音声
シフト識別部は発話区間における平均基本周波数の閾値
に対する高低により「通常音声」であるか「シフト音
声」であるかを判断するものであるので、発話区間の各
基本周波数の平均値を閾値と対比してこの閾値に対する
高低で「通常音声」であるか「シフト音声」であるかを
区別することができる。

【００４６】請求項５記載の音声入力モード変換システ
ムは、前記請求項４において、前記演算手段が有声休止
検出部を有し、この有声休止検出部は、前記発話区間検
出部で検出された発話区間から有声休止を検出し、前記
発話区間に有声休止検出部で有声休止が検出されたらこ
の有声休止の各基本周波数を基本周波数推定部において
計算するとともに前記音声シフト識別部はこの有声休止
の基本周波数の平均値を基準基本周波数として、「通常
音声」であるか「シフト音声」であるかを判断する閾値
を設定するものであるので、有声休止音声の基本周波数
の平均値を基準基本周波数として推定し、この基準基本
周波数に基いて閾値を設定することにより、閾値を精度
よく定めることができ、各モードの識別率を高めること
ができる。

【００４７】請求項６記載の音声入力モード変換システ
ムは、前記請求項５において、前記有声休止検出部で前
記有声休止区間が検出されるたびにその有声休止区間の
基本周波数の平均値を基準基本周波数として更新するも
のであるので、最新の発声状態に基いて逐次基準基本周
波数が更新されるので、より精度よく「文字入力モー
ド」と「コマンドモード」とを識別することが可能とな
っている。

【００４８】請求項７記載の音声入力モード変換システ
ムは、前記請求項５又は６において、前記有声休止をい
ずれのモードの音声としても認識しないものであるの
で、言い淀みなどが文字入力されることがなく、発話中
における言い淀みを許容したものとなっている。

【００４９】請求項８記載の音声入力モード変換システ
ムは、前記請求項１乃至７のいずれか１項において、前
記アプリケーションの実行状況を示す表示手段を有して
おり、該表示手段は発音している音声の閾値に対する高
低を視覚的に表示するモニタ部を有し、いずれのモード
に該当する音声であるかを視覚的に確認できるものであ
るので、現在発声している音声がどのモードの音声であ
るかを視認しながら、発声することができるので、より
確実にアプリケーションの実行を制御することができ
る。

【図面の簡単な説明】

【図１】本発明の一実施例による音声入力モード変換シ
ステムのシステム構成を示す概略図である。

【図２】前記実施例における基準Ｆ０の抽出方法を示す
概略図である。

【図３】男性話者６人の有声休止区間のＦOの音高を示
すグラフである。

【図４】前記実施例における第一の閾値の算出方法を示
す概略図である。

【図５】前記実施例におけるディスプレイの一例を示す
平面図である。

【図６】前記実施例における第２の閾値の算出方法を示
す概略図である。

【符号の説明】

１音声入力手段２情報処理装置３演算手段４インタフェース管理手段５アプリケーション 11 発話区間検出部 12 有声休止検出部 13 基本周波数推定部 14 音声認識部 15 音声シフト識別部

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ１０Ｌ 15/20 Ｇ１０Ｌ 3/00 ５３１Ｐ 15/28 ５７１Ｊ (72)発明者尾本幸宏東京都新宿区大久保３−４−１早稲田大学理工学部内 (72)発明者後藤真孝茨城県つくば市東１−１−１独立行政法人産業技術総合研究所つくばセンター内 (72)発明者伊藤克亘茨城県つくば市東１−１−１独立行政法人産業技術総合研究所つくばセンター内Ｆターム(参考） 5D015 CC13 FF00 KK02

Claims

【特許請求の範囲】

【請求項１】音声を入力する音声入力手段と、この音
声入力手段からの音声の基本周波数の分析結果に基き該
音声を２以上のカテゴリに識別する演算手段と、前記音
声のカテゴリに対してそれぞれ異なる入力モードを対応
させてアプリケーションの実行を制御するインタフェー
ス管理手段とを備えたことを特徴とする音声入力モード
変換システム。
【請求項２】前記インタフェース管理手段が前記音声
の各カテゴリを前記アプリケーションの異なる機能に対
応させて認識してその実行を制御することを特徴とする
請求項１記載の音声入力モード変換システム。
【請求項３】前記演算手段は前記音声を「通常音声」
と「シフト音声」の２つのカテゴリの音声に識別し、前
記インタフェース管理手段は、この「通常音声」と「シ
フト音声」とを「文字入力モード」の音声であるか「コ
マンドモード」の音声であるかを識別してアプリケーシ
ョンの実行を制御することを特徴とする請求項１又は２
記載の音声入力モード変換システム。
【請求項４】前記演算手段は、前記音声入力手段にそ
れぞれ接続した音声認識部に連続する発話区間検出部及
び基本周波数推定部と、これら音声認識部及び基本周波
数推定部にそれぞれ接続した音声シフト識別部とを有
し、前記発話区間検出部は入力された音声から発話区間
を検出し、前記基本周波数推定部は前記発話区間の各基
本周波数とその平均値を計算し、前記音声シフト識別部
は発話区間における平均基本周波数の閾値に対する高低
により「通常音声」であるか「シフト音声」であるかを
判断することを特徴とする請求項３記載の音声入力モー
ド変換システム。
【請求項５】前記演算手段が有声休止検出部を有し、
この有声休止検出部は、前記発話区間検出部で検出され
た発話区間から有声休止を検出し、前記発話区間に有声
休止検出部で有声休止が検出されたらこの有声休止の各
基本周波数を基本周波数推定部において計算するととも
に前記音声シフト識別部はこの有声休止の基本周波数の
平均値を基準基本周波数として、「通常音声」であるか
「シフト音声」であるかを判断する閾値を設定すること
を特徴とする請求項４記載の音声入力モード変換システ
ム。
【請求項６】前記有声休止検出部で前記有声休止区間
が検出されるたびにその有声休止区間の基本周波数の平
均値を基準基本周波数として更新することを特徴とする
請求項５記載の音声入力モード変換システム。
【請求項７】前記有声休止をいずれのモードの音声と
しても認識しないことを特徴とする請求項５又は６記載
の音声入力モード変換システム。
【請求項８】前記アプリケーションの実行状況を示す
表示手段を有しており、該表示手段は発音している音声
の閾値に対する高低を視覚的に表示するモニタ部を有
し、いずれのモードに該当する音声であるかを視覚的に
確認できることを特徴とする請求項１乃至７のいずれか
１項記載の音声入力モード変換システム。