JP2006201749A - 音声による選択装置、及び選択方法 - Google Patents

音声による選択装置、及び選択方法 Download PDF

Info

Publication number
JP2006201749A
JP2006201749A JP2005347641A JP2005347641A JP2006201749A JP 2006201749 A JP2006201749 A JP 2006201749A JP 2005347641 A JP2005347641 A JP 2005347641A JP 2005347641 A JP2005347641 A JP 2005347641A JP 2006201749 A JP2006201749 A JP 2006201749A
Authority
JP
Japan
Prior art keywords
voice
selection
output
item
guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005347641A
Other languages
English (en)
Other versions
JP2006201749A5 (ja
Inventor
Kazuya Nomura
和也 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005347641A priority Critical patent/JP2006201749A/ja
Priority to CN2005800194453A priority patent/CN1969315B/zh
Priority to PCT/JP2005/023336 priority patent/WO2006068123A1/ja
Priority to US11/570,470 priority patent/US7698134B2/en
Priority to EP05820332.4A priority patent/EP1768103B1/en
Publication of JP2006201749A publication Critical patent/JP2006201749A/ja
Publication of JP2006201749A5 publication Critical patent/JP2006201749A5/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】従来の音声認識方法では、選択項目を合成音声により出力している間は音声認識を行うことが困難であった。
【解決手段】選択項目をガイドするガイド音声を出力する出力手段１０１と、出力手段１０１よって出力されたガイド音声の出力中又はその出力終了後に一定時間内に発声された、選択項目を選択するための選択指示を認識する音声認識手段１０６と、音声認識手段１０６によって選択指示が認識された場合、選択指示された選択項目を選択する対話制御・結果選択手段１０７とを備えることにより、出力手段１０１によってガイド音声が出力されている間、その出力が終了し一定時間が経過するまでに選択項目を選択する音声を発することで、音声認識手段１０６によってその選択項目を選択することができ、ガイド音声の出力中でも選択項目を選択することができる。
【選択図】図１

Description

本発明は、システムによって提示された項目を音声により選択するための音声による選択装置、及び選択方法に関するものである。
従来、音声による選択装置として、制御対象を音声により特定した後に制御内容の選択項目を順次音声で出力し、選択するものが知られている（例えば、特許文献１参照）。
このものによれば、スイッチを制御して音声制御システムを動作可能な状態にし、この状態で制御対象となる機器の名称を発声することにより、その名称が認識され、その名称の機器の制御項目が順次音声合成によって発せられ、適当な制御項目が発せられた段階で「ＹＥＳ」と発することにより、その項目に合った制御を実行することができる。
また、パソコンの画面をプロジェクタを用いて大画面にして表示し、その画面を基に、その画面に表示された項目を発することによりその項目が強調表示され、実行ボタンを操作すると、その項目の詳細が表示され、その項目の詳細の監視、制御が可能になるというものも知られている（例えば、特許文献２参照）。
特開平３−２９３４００号公報 特開平６−１４９５３４号公報
しかしながら、特許文献１、２に記載されたものでは、具体的にシステムが提示する選択項目と重なったユーザーの声を受理する方法を与えておらず、従って、通常の音声認識方法では選択項目を合成音声により出力中は音声認識させることが困難であると同時に、システムから提示される選択項目の出力方法も音声に限定され、例えば、音楽や画像などの選択を音声により直接行うことはできないという問題を有していた。
本発明は、このような従来の問題に対処してなされたものであり、選択項目を合成音声により出力中でも、音楽や画像、その他を選択項目とした場合でも音声認識させることができる音声による選択装置、および選択方法を提供するものである。
本発明の音声による選択装置は、選択項目をガイドするガイド音声を出力する出力手段と、出力手段よって出力されたガイド音声の出力中又はその出力終了後に一定時間内に発声された、選択項目を選択するための選択指示を認識する音声認識手段と、音声認識手段によって選択指示が認識された場合、選択指示された選択項目を選択する対話制御・結果選択手段とを備えた構成を有する。
この構成により、出力手段によってガイド音声が出力されている間、その出力が終了し一定時間が経過するまでに選択項目を選択する音声を発することで、音声認識手段によってその選択項目を選択することができ、ガイド音声の出力中でも選択項目を選択することができる。
また、本発明の音声による選択装置は、出力手段よって出力されたガイド音声の出力中又はその出力終了後に一定時間内に選択指示が発声されなかった場合、対話制御・結果選択手段が出力手段に選択項目の次の選択項目をガイドするガイド音声を出力するよう制御
する構成を有する。
この構成により、選択項目を選択する音声を発しない場合には、次々と一定時間後に次の選択項目をガイドするガイド音声が出力されることになり、好きな選択項目で任意に選択指示を発し、該当の選択項目を選択することができる。
また、本発明の音声による選択装置は、音声認識手段が、音声認識手段に入力される音声から出力手段よって出力されたガイド音声を減じる音声除去手段を備えた構成を有する。
この構成により、出力手段よって出力されたガイド音声が音声認識手段に入力され、音声認識手段による選択指示の音声認識に支障を与えるのを極力排除することができ、ガイド音声出力中でも正確に選択指示を認識することができる。
また、本発明の音声による選択装置は、ガイド音声に対応する楽曲の一部または全部を再生する楽曲再生手段をさらに備え、音声認識手段が、楽曲再生手段によって音楽を再生している間又はその後一定時間内に入力された選択指示を音声認識する構成を有する。
この構成により、ガイド音声に対応する楽曲の再生中、又は、その後一定時間内に選択項目を選択指示する音声を発するだけで、その楽曲を選択し、聴取することができる。
また、本発明の音声による選択装置は、ガイド音声に対応する画像を生成する画像生成手段をさらに備え、音声認識手段が、画像生成手段によって画像を生成している間又はその後一定時間内に入力された選択指示を音声認識する構成を有する。
この構成により、ガイド音声に対応する画像を生成し表示している間、又は、その後一定時間内に選択項目を選択指示する音声を発するだけで、その画像を選択し、例えば、静止画であれば、静止画をそのまま継続してみることができ、動画であれば、その動画を引続いて見ることができることになる。
さらに、本発明の音声による選択方法は、選択項目をガイドするガイド音声を出力する出力手順と、出力手順において出力されたガイド音声の出力中又はその出力終了後一定時間内に発声された、選択項目を選択するための選択指示を認識する音声認識手順と、音声認識手順によって選択指示が認識された場合、選択指示された選択項目を選択する対話制御・結果選択手順とを備えた構成を有する。
この構成により、出力手順においてガイド音声が出力されている間、その出力が終了し一定時間が経過するまでに選択項目を選択する音声を発することで、音声認識手順によってその選択項目を選択することができ、ガイド音声の出力中でも選択項目を選択することができる。
さらにまた、本発明の音声による選択装置は、選択項目をガイドするガイド音声を出力する出力手段と、出力手段よって出力されたガイド音声の出力中又はその出力終了後に一定時間を設定する入力待ち時間設定部と、入力待ち時間設定部によって設定された一定時間内に発声された、選択項目を選択するための選択指示を認識する音声認識手段と、音声認識手段によって選択指示が認識された場合、選択指示された選択項目を選択する対話制御・結果選択手段とを備えた構成を有する。
この構成により、出力手段によってガイド音声が出力されている間、その出力が終了し一定時間設けられた入力待ち時間が経過するまでに選択項目を選択する音声を発すること
で、音声認識手段によってその選択項目を選択することができ、ガイド音声の出力中でも選択項目をより確実に選択することができる。
本発明の音声による選択装置は、選択項目をガイドするガイド音声を出力する出力手段と、出力手段よって出力されたガイド音声の出力中又はその出力終了後一定時間内に発声された、選択項目を選択するための選択指示を認識する音声認識手段と、音声認識手段によって選択指示が認識された場合、選択指示された選択項目を選択する対話制御・結果選択手段とを備えたものであり、出力手段によってガイド音声が出力されている間、その出力が終了し一定時間が経過するまでに選択項目を選択する音声を発することで、その選択項目を選択することができ、ガイド音声の出力中でも選択項目を選択することができる。
また、本発明の音声による選択方法は、選択項目をガイドするガイド音声を出力する出力手順と、出力手順において出力されたガイド音声の出力中又はその出力終了後一定時間内に発声された、選択項目を選択するための選択指示を認識する音声認識手順と、音声認識手順によって選択指示が認識された場合、選択指示された選択項目を選択する対話制御・結果選択手順とを備えたものであり、出力手順においてガイド音声が出力されている間、その出力が終了し一定時間が経過するまでに選択項目を選択する音声を発することで、その選択項目を選択することができ、ガイド音声の出力中でも選択項目を選択することができる。
また、本発明の音声による選択装置は、選択項目をガイドするガイド音声を出力する出力手段と、出力手段よって出力されたガイド音声の出力中又はその出力終了後に一定時間を設定する入力待ち時間設定部と、入力待ち時間設定部によって設定された一定時間内に発声された、選択項目を選択するための選択指示を認識する音声認識手段と、音声認識手段によって選択指示が認識された場合、選択指示された選択項目を選択する対話制御・結果選択手段とを備えたものであり、出力手段によってガイド音声が出力されている間、その出力が終了し一定時間設けられた入力待ち時間が経過するまでに選択項目を選択する音声を発することで、音声認識手段によってその選択項目を選択することができ、ガイド音声の出力中でも選択項目をより確実に選択することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１における音声による選択装置の概略構成を示すブロック図である。
本発明の実施の形態１における音声による選択装置は、図１に示すように、ユーザーに対してガイドとなる音声や音声応答といったシステム側の音声を出力するスピーカ（音声出力部）１０１と、ユーザーが発した音声を音声信号に変換するマイクロホン１０２と、スピーカ１０１で出力されたガイド音に相当する出力相当信号を、マイクロホン１０２から出力された音声信号から除去するシステム音声除去部１０３と、マイクロホン１０２から出力され、システム音声除去部１０３によって重畳信号分を除去して得た音声信号に基づき、ユーザー音声の発話内容を認識する音声認識部１０６と、音声認識部１０６で得たユーザー音声の内容に基づき、対応する応答音声を選択してユーザーとの対話を制御すると同時に結果を選択する対話制御・結果選択部１０７と、応答音声データを記憶した応答音声データベース１０９と、対話制御・結果選択部１０７の出力に基づき、応答音声データベース１０９のデータを利用してスピーカ１０１や音声応答除去部１０３に出力するための音声応答信号を生成する応答生成部１０８とを備えている。
システム音声除去部１０３は、マイクロホン１０２から出力された音声信号と応答生成部１０８から出力された応答音声信号とに基づき、例えば、ＬＭＳ（Ｌｅａｓｔ Ｍｅａｎ Ｓｑｕａｒｅ）／ニュートンアルゴリズムを利用して得たフィルタ係数（インパルス応答）を学習しながら最適に調整するフィルタ係数学習部１０４と、フィルタ係数学習部１０４からの出力であるインパルス応答により応答音声信号を補正して出力する適応フィルタ１０５と、マイクロホン１０２より出力された音声信号から適応フィルタ１０５より出力された出力信号を減算する減算器１１０とを有している。
音声認識部１０６は、マイクロホン１０２から出力され、システム音声除去部１０３で音声応答の相当重畳分を減算した音声信号を音響処理する音響処理部と、音響処理部で得た音声の最小単位を基に最もそれらしい音素候補を選びだし識別する音素識別部と、音声対話システムの利用目的に関連する単語等を記憶した辞書データベースと、音素認識部で得られた音素と辞書データベースからの音声データとを基にして単語の候補を選定し、構文、意味、文脈等の言語情報を利用しながら正しい文章を得るための言語処理を実行する言語処理部とを有している。
なお、音響処理部は、例えば、ＬＰＣケプストラム（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｏｒ Ｃｏｅｆｆｉｃｉｅｎｔ Ｃｅｐｓｔｒｕｍ：線形予測係数化ケプストラム）等を利用して、マイクロホン１０２から出力された音声信号を特徴量ベクトルという時系列のベクトルに変換し、音声スペクトルの概形（スペクトル包絡）を推定するように構成している。
また、音素識別部は、例えば、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）法等を利用して、入力された音声を基に音響処理部で抽出した音響パラメータを用い、音声信号の音素記号化を行い、予め用意してある標準音素モデルと比較し、最もそれらしい音素の候補を選び出すように構成している。
一方、対話制御・結果選択部１０７は、音声認識部１０６で認識した音声信号の内容に基づき、応答内容を選択制御して応答生成部１０８へ出力すると同時に結果を選択出力するようにしてある。
応答生成部１０８は、対話制御・結果選択部１０７で決定した内容に基づき、応答音声データベース１０９からのデータを利用して応答音声信号を生成し、スピーカ１０１に出力する。
次に、本発明の実施の形態１における音声による選択装置の動作を図２、図３を用いて詳細に説明する。
なお、図２は、本発明の実施の形態１における音声による選択装置の動作を説明するフローチャート、図３は、タイムチャートである。
まず、選択開始動作に入ると、対話制御・結果選択部１０７の制御の基で、選択項目のカウンタＮが１にセットされる（ステップ２０１）。選択項目のカウンタＮが１にセットされると、次に、応答生成部１０８が対話制御・結果選択部１０７からの指令に基づき応答音声データベース１０９からガイド音声をスピーカ１０１へ出力する（ステップ２０２）。
例えば、図３のシステムのタイムチャートに示すように、「次の中からご希望の曲名を選んでください。」というようなガイド音声（３０１）をスピーカ１０１へ出力する。
ガイド音声がスピーカ１０１から出力されると、次に、ユーザーからの選択指示を音声認識できるように音声認識の起動を行う（ステップ２０３）。これにより、音声認識部１０６が、図３に示すように、起動する（３０２）。
音声認識部１０６が起動すると、次に、対話制御・結果選択部１０７の制御の基で、応答生成部１０８が応答音声データベース１０９をアクセスし、第１番目の選択項目に対応する音声データを出力する（ステップ２０４）。
すなわち、これにより、例えば、図３に示すように、「めだかの学校。」というガイド音声(３０３)をスピーカ１０１へ出力する。そして、「めだかの学校。」というガイド音声(３０３)が出力されている間３０８Ａと、その出力が終了した後の一定時間（入力待ち時間）３０８Ｂは、第１番目の選択項目である「めだかの学校」を選択できる時間３０８となる。したがって、この間３０８にユーザーが選択を指示する言葉、例えば、「これだ！」という言葉を発声すれば、「めだかの学校」を選択することができる。
「めだかの学校」を選択することができる期間３０８に、ユーザーが選択指示する言葉、例えば「これだ！」という言葉を発声しなかった場合には、選択項目のカウンタＮに１を加え、次の選択項目に対応するガイド音声を出力する状態になる。
すなわち、選択項目に対応する音声を出力すると（ステップ２０４）、その選択項目の提示中、または提示終了後一定時間内にユーザーが選択を指示する言葉を発声したかどうかの判定を対話制御・結果選択部１０７が実施する（ステップ２０５）。
ユーザーが選択指示した場合（ステップ２０５において「はい」の場合）には、そこで、例えば、「めだかの学校」が選択されるが、選択指示しなかった場合（ステップ２０５において「いいえ」の場合）には、選択項目のカウンタＮに１を加え（ステップ２０６）、次の選択項目に対応する音声、すなわち、第２番目の選択項目に対応するガイド音声を出力する状態になる（ステップ２０４）。
これにより応答生成部１０８が、応答音声データベース１０９をアクセスし、２番目のガイド音声である、例えば「てるてる坊主。」というガイド音声（３０４）をスピーカ１０１に出力する。
この場合も、「てるてる坊主。」というガイド音声(３０４)を出力している間３０９Ａと、その出力が終了した後の一定時間（入力待ち時間）３０９Ｂは、第２番目の選択項目である「てるてる坊主」を選択できる時間３０９となり、この期間３０９にユーザーが選択指示する言葉、例えば、「これだ！」という言葉を発声すれば、第２番目の選択項目である「てるてる坊主」を選択することができるようになる。
選択項目提示中、または、提示終了後一定時間内に、ユーザーが選択を指示する言葉、例えば「これだ！」という言葉を発声しなかった場合には、それが対話制御・結果選択部１０７で判定され（ステップ２０５）、その判定後、「いいえ」のパスに分岐し、先と同様に、選択項目のカウンタＮに１を加え（ステップ２０６）、次の第３番目の選択項目に対応するガイド音声を出力するようになる（ステップ２０４）。
そして、これにより応答生成部１０８が、応答音声データベース１０９をアクセスし、第３番目のガイド音声として、例えば「キラキラ星。」というガイド音声(３０５)をスピーカ１０１へ出力する。
第３番目のガイド音声「キラキラ星。」（３０５）が出力されている期間３１０Ａと、出力が終了した後の一定時間（入力待ち時間）３１０Ｂは、第３番目の選択項目である「キラキラ星」を選択できる時間３１０であり、この期間３１０にユーザーが選択指示する言葉、例えば「これだ！」という言葉を発声すれば、第３番目の選択項目である「キラキラ星」を選択できるようになる。
図３では、ユーザーが第３番目の選択項目である「キラキラ星」を選択指示するために、第３番目のガイド音声「キラキラ星。」(３０５)が出力されている間、または、その後一定期間の間に、それを選択するための音声、例えば「これだ！」という指示音声(３０６)を発声したものとしている。
ここで、ガイド音声「キラキラ星。」（３０５）を出力している間に、ユーザーが「これだ！」という指示音声（３０６）と発声すれば、ガイド音声「キラキラ星。」（３０５）と、「これだ！」（３０６）という指示音声が重なってマイクロホン１０２に入力されるが、音声応答除去部１０３にてガイド音声相当分の信号、すなわち、「キラキラ星。」（３０５）の音声相当分の信号がマイクロホン１０２に入力された信号から除去され、音声認識部１０６ではユーザーが発声した指示音声「これだ！」（３０６）を正しく認識することができる。
図２において、選択項目提示中、または提示終了後一定時間内に、ユーザーが選択指示する言葉、例えば「これだ！」と言う言葉を発声した場合には、それが音声認識部１０６で認識され、対話制御・結果選択部１０７で判定され（ステップ２０５）、「はい」のパスに分岐する。
「はい」のパスに分岐すると、音声認識を行ってその音声認識を終了し（ステップ２０７）、そのときの選択項目を選択し（ステップ２０８）、以降、選択された結果、例えば「キラキラ星」に基づいて、対話制御・結果選択部１０７が対話制御を行う。
なお、図示していないが、最後の選択項目が提示された段階で、一定時間経過しても選択指示する言葉がユーザーから発声せられない場合、スピーカ１０１からタイムアウトという警告を行い、音声認識を終了して選択を中止するように構成している。
以上のように、本発明の実施の形態１によれば、システムが音声による選択項目を提示している期間、または、提示終了後一定時間設けられた入力待ち時間内に、ユーザーが選択指示を行う言葉を発声した場合には、その選択指示する言葉を発した段階の選択項目を選択することができる。
（実施の形態２）
図４は、本発明の実施の形態２における音声による選択装置の概略構成を示すブロック図、図５は、同装置の動作を説明するフローチャート、図６は、同装置の動作を説明するタイムチャートである。
なお、図４〜図６において、図１〜図３に示した実施の形態１と同一の符号、番号などを付したものは、図１〜図３に示した実施の形態１と同一の構成、同一の内容のものを示しており、ここではその詳細な説明は省略する。
本実施の形態では、実施の形態１の構成に加え、更に、対話制御・結果選択部１０７の指令により制御される音楽再生部４１１と、音楽を複数蓄積した音楽データベース４１２とを備えている。
音楽再生部４１１は、対話制御・結果選択部１０７からの指示により音楽データベース４１２をアクセスし、対話制御・結果選択部１０７において指示した音楽を再生するように構成されている。そして、音楽再生部４１１で再生された音楽は、ミキサー４１３を介して応答生成部１０８からの出力と共にスピーカ１０１に出力するように構成されている。
したがって、本実施の形態によれば、図５、図６に示すように、選択項目となるガイド音声を出力するだけでなく、その選択項目に対応する音楽、そのものを同時に出力することになり、音楽を選択する場合により便利である。
すなわち、本実施の形態によれば、実施の形態１において、第Ｎ番目の選択項目に対応するガイド音声を出力するステップ２０４が、第Ｎ番目の選択項目に対応する音楽を出力するステップ５０４になっており、このステップ５０４において、第Ｎ番目の選択項目に対応するガイド音声と、第Ｎ番目の選択項目に対応する音楽の両方を順に出力すれば、先ず、曲名が出力され、続いて音楽が出力されるため、音楽を選択する場合に、より便利になる。
なお、ここで、選択のために出力する音楽は、音楽全部（ひとつの楽曲全体）でなくてもよく、例えば、イントロだけ、或いは、サビ部分だけで充分である。そして、選択のために出力する音楽が全部であってもイントロやサビの部分だけであっても、選択のために出力した音楽が選択された場合、音楽生成部４１１により、その音楽をそのまま継続して出力することもできるし、一旦音楽の最初に戻ってから出力することも可能である。
このように、本実施の形態によれば、音楽を選択項目として提示し、その間、または、提示終了後一定時間内にユーザーが選択指示する言葉を発声すれば、そのユーザーが希望した音楽を容易に選択することができる。
（実施の形態３）
図７は、本発明の実施の形態２における音声による選択装置の概略構成を示すブロック図、図８は、同装置の動作を説明するフローチャート、図９は、同装置の動作を説明するタイムチャートである。
なお、図７〜図９において、図１〜図３に示した実施の形態１と同一の符号、番号などを付したものは、図１〜図３に示した実施の形態１と同一の構成、同一の内容のものを示しているので、ここではその詳細な説明は省略する。
本実施の形態では、実施の形態１の構成に加え、更に、対話制御・結果選択部１０７の指令により制御される画像生成部７１１と、静止画、動画などの画像を複数蓄積した画像データベース７１２と、画像生成部７１１で生成された画像を表示するディスプレイ７００とを備えている。
画像生成部７１１は、対話制御・結果選択部１０７からの指示により画像データベース７１２をアクセスし、対話制御・結果選択部１０７において指示した静止画、動画などの画像データを出力し、画像を生成するように構成されている。そして、画像生成部７１１で生成された画像は、ディスプレイ７００で表示される。
したがって、本実施の形態によれば、図８、図９に示すように、選択項目となるガイド音声を出力するだけでなく、その選択項目に対応する画像をも同時にディスプレイ７００で表示することになり、選択項目を選択する場合により便利である。
すなわち、本実施の形態によれば、実施の形態１において、第Ｎ番目の選択項目に対応するガイド音声を出力するステップ２０４が、第Ｎ番目の選択項目に対応する画像を出力するステップ８０４になり、このステップ８０４において、第Ｎ番目の選択項目に対応するガイド音声と、第Ｎ番目の選択項目に対応する画像の両方を出力し、前者はスピーカ１０１から音声として、後者はディスプレイ７００で画像、又は、動画として表示される。そのため、これらを基に、選択項目をより容易に選択することができるようになる。
なお、選択のために出力する画像が動画である場合、その動画の全部でなくてもよく、例えば、最初の、あるいはサビの一定時間だけで充分である。そして、選択のために出力する画像が全部であっても一定時間だけであっても、選択のために出力した画像が選択された場合、画像生成部７１１により、その画像をそのまま継続して表示することもできるし、一旦動画の最初に戻ってから表示することも可能である。
このように、本実施の形態によれば、選択項目のガイド音声に加え、それに対応する画像をも選択項目として提示し、その提示の時間、または、提示終了後一定時間内にユーザーが選択指示する言葉を発声すれば、そのユーザーが希望した選択項目を選択できるようにしているため、例えば、絵画や映画といった画像そのものでも良いが、音楽の場合、ジャケットの画像を提示することによって、音楽をより選択しやすくすることができるという効果を有する。
（実施の形態４）
上記各実施の形態では、例えば図３に示す、選択のための時間３０８Ｂ、３０９Ｂ等を積極的に設ける構成は有していないが、この選択のための時間３０８Ｂ、３０９Ｂ等を設ける入力待ち時間設定部を有する音声による選択装置について図１０から図１２を用いて説明する。
この入力待ち時間設定部を備えることで、より確実に音声認識を行うことが出来る。
図１０は、本発明の実施の形態４における音声による選択装置の概略構成を示すブロック図、図１１は、同装置の動作を説明するフローチャート、図１２は、同装置の動作を説明するタイムチャートである。
図１０において、本実施の形態の基本的な構成は、上記実施の形態１記載の音声による選択装置の構成図と同様であるため、両者の相違点についてのみここでは説明し、その他の基本的な構成、動作については省略する。
本実施の形態の対話制御・結果選択部１００７と応答生成部１００８は、実施の形態１のそれらとは異なる機能を有しており、さらに本実施の形態では、対話制御・結果選択部１００７と応答生成部１００８とに接続される入力待ち時間設定部１０１１を有している。
実施の形態１と同様に、対話制御・結果選択部１００７の制御の下、音声認識部１０６が起動すると、応答生成部１００８が応答音声データベース１０９をアクセスし、選択項目に対応する音声データを出力する。
さらに、対話制御・結果選択部１００７では、選択項目に対応する音声データが出力され終わったか否かを判定する。
対話制御・結果選択部１００７の判定の結果、音声データが出力されたことが確認されたとき、ユーザーが応答するための期間を設定する入力待ち時間設定部１０１１により、
入力待ち時間が設定される。
応答生成部１００８では、この入力待ち時間の間、対話制御・結果選択部１００７により、その動作が禁止される。
次に、本実施の形態の音声による選択装置による動作について、図１１と図１２とを用いて説明するが、音声認識の起動まで（Ｓ２０１〜Ｓ２０３）は、実施の形態１の動作と同様であるので、ここでは省略する。
ステップＳ２０３で音声認識部１０６が起動すると、次に、対話制御・結果選択部１０７の制御の基で、応答生成部１０８が応答音声データベース１０９をアクセスし、第１番目の選択項目に対応する音声データを出力する（ステップ２０４）。
すなわち、これにより、例えば、図１２に示すように、「めだかの学校。」というガイド音声(３０３)をスピーカ１０１へ出力する。
次に、対話制御・結果選択部１００７は、「めだかの学校。」というガイド音声(３０３)の出力が終了したか否かの判定を行う。
判定の結果、ガイド音声(３０３)の出力が終了している場合は、入力待ち時間設定部１０１１は、対話制御・結果選択部１００７の制御の下、入力待ち時間１２０８Ｂを設定する（ステップ１１０９）
そして、「めだかの学校。」というガイド音声(３０３)が出力されている間３０８Ａと、その出力が終了した後の一定時間１２０８Ｂは、第１番目の選択項目である「めだかの学校」を選択できる時間１２０８となる。したがって、この間１２０８にユーザーが選択を指示する言葉、例えば、「これだ！」という言葉を発声すれば、「めだかの学校」を選択することができる。
対話制御・結果選択部１００７は、入力待ち時間設定部１０１１で設定された入力時間の間、応答生成部１００８により、次のガイド音声、または、誤作動によるガイド音声等が起きないように応答生成部１００８の動作を禁止する。
応答生成部１００８の動作を禁止するか否かは、入力待ち時間設定部１０１１で設定された時間が経過したか否かの判定により行う。
次に、「めだかの学校」を選択することができる期間１２０８に、ユーザーが選択指示する言葉、例えば「これだ！」という言葉を発声しなかった場合には、選択項目のカウンタＮに１を加え、次の選択項目に対応するガイド音声を出力する状態になる。
すなわち、ステップ２０４で選択項目に対応する音声を出力すると、その選択項目の提示中、または提示終了後、ステップＳ１１０９で設定された入力待ち時間の一定時間内にユーザーが選択を指示する言葉を発声したかどうかの判定を、対話制御・結果選択部１００７が行う（ステップ１１０５）。
次に、入力待ち時間中にユーザーが選択を指示する言葉を発声した場合（ステップ１１０５において「はい」の場合）には、そこで、例えば、「めだかの学校」が選択されるが、選択を指示する言葉を発声しなかった場合（ステップ１１０５において「いいえ」の場合）には、選択項目のカウンタＮに１を加え（ステップ１１０６）、次の選択項目に対応する音声、すなわち、第２番目の選択項目に対応するガイド音声を出力する状態になる（ステップ２０４）。
その後の処理は、実施の形態１の図２に示す動作と同様である。
以上より、本実施の形態では、入力待ち時間設定部１０１１を備えることで、ユーザーの応答を待つ、積極的な待ち時間を設定することができる。
このように積極的に待ち時間を設定することで、次のガイド音声等が誤って入力待ち時間中に出力されて、入力待ち時間を侵食するということなく、確実にユーザーの応答できる期間を必ず設けることができる。
本実施の形態の入力待ち時間設定部１０１１を備えた構成は、上記実施の形態２や実施の形態３の構成にも適用して、本実施の形態と同様の動作および効果が得られることは、言うまでもないことである。
なお、本発明は、上記各実施の形態を適宜組み合わせて、例えば、選択項目のガイド音声に加え、それに対応する画像及び楽曲をも選択項目として提示し、その提示の時間、または、提示終了後一定時間設けられた入力待ち時間内にユーザーが選択指示する言葉を発声することにより、そのユーザーが希望した選択項目を選択できるようにしても良い。
本発明にかかる音声による選択装置は，選択項目をガイドするガイド音声を出力する出力手段と、出力手段よって出力されたガイド音声の出力中又はその出力終了後設けられた入力待ち時間一定時間内に発声された、選択項目を選択するための選択指示を認識する音声認識手段と、音声認識手段によって選択指示が認識された場合、選択指示された選択項目を選択する対話制御・結果選択手段とを備えた構成を有し、カーオーディオ、カーエアコンなどの車載用電子機器や、電子黒板、プロジェクタなどの電子事務機器、体の不自由な方用の家庭用電子機器などとして幅広く有用である。
本発明の実施の形態１における音声による選択装置の概略構成を示すブロック図 本発明の実施の形態１における音声による選択装置の動作を示すフローチャート 本発明の実施の形態１における音声による選択装置の動作を示すタイムチャート 本発明の実施の形態２における音声による選択装置の概略構成を示すブロック図 本発明の実施の形態２における音声による選択装置の動作を示すフローチャート 本発明の実施の形態２における音声による選択装置の動作を示すタイムチャート 本発明の実施の形態３における音声による選択装置の概略構成を示すブロック図 本発明の実施の形態３における音声による選択装置の動作を示すフローチャート 本発明の実施の形態３における音声による選択装置の動作を示すタイムチャート 本発明の実施の形態４における音声による選択装置の概略構成を示すブロック図 本発明の実施の形態４における音声による選択装置の動作を示すフローチャート 本発明の実施の形態４における音声による選択装置の動作を示すタイムチャート
符号の説明
１０１ スピーカ
１０２ マイクロホン
１０３ システム音声除去部
１０４ フィルタ係数学習部
１０５ 適応フィルタ部
１０６ 音声認識部
１０７，１００７ 対話制御・結果選択部
１０８，１００８ 応答生成部
１０９ 応答音声データベース
１１０ 減算器
４１１ 音楽再生部
４１２ 音楽データベース
４１３ ミキサー部
７００ ディスプレイ
７１１ 画像生成部
７１２ 画像・動画データベース
１０１１ 入力待ち時間設定部

Claims (7)

  1. 選択項目をガイドするガイド音声を出力する出力手段と、前記出力手段よって出力された前記ガイド音声の出力中又はその出力終了後に一定時間内に発声された、前記選択項目を選択するための選択指示を認識する音声認識手段と、前記音声認識手段によって前記選択指示が認識された場合、前記選択指示された選択項目を選択する対話制御・結果選択手段とを備えた音声による選択装置。
  2. 前記出力手段よって出力された前記ガイド音声の出力中又はその出力終了後に一定時間内に選択指示が発声されなかった場合、前記対話制御・結果選択手段が前記出力手段に前記選択項目の次の選択項目をガイドするガイド音声を出力するよう制御することを特徴とする請求項１記載の音声による選択装置。
  3. 前記音声認識手段が、前記音声認識手段に入力される音声から前記出力手段よって出力された前記ガイド音声を減じる音声除去手段を備えた請求項１または２に記載の音声による選択装置。
  4. 前記ガイド音声に対応する楽曲の一部または全部を再生する楽曲再生手段をさらに備え、前記音声認識手段が、前記楽曲再生手段によって前記楽曲を再生している間又は再生終了後に一定時間内に入力された選択指示を音声認識することを特徴とする請求項１から３までのうちのいずれかに記載の音声による選択装置。
  5. 前記ガイド音声に対応する画像を生成する画像生成手段をさらに備え、前記音声認識手段が、前記画像生成手段によって前記画像を生成している間又は生成後に一定時間内に入力された選択指示を音声認識することを特徴とする請求項１から４までのうちのいずれかに記載の音声による選択装置。
  6. 選択項目をガイドするガイド音声を出力する出力手順と、前記出力手順において出力された前記ガイド音声の出力中又はその出力終了後に一定時間内に発声された、前記選択項目を選択するための選択指示を認識する音声認識手順と、前記音声認識手順によって前記選択指示が認識された場合、前記選択指示された選択項目を選択する対話制御・結果選択手順とを備えた音声による選択方法。
  7. 選択項目をガイドするガイド音声を出力する出力手段と、前記出力手段よって出力された前記ガイド音声の出力中又はその出力終了後に一定時間を設定する入力待ち時間設定部と、前記入力待ち時間設定部によって設定された前記一定時間内に発声された、前記選択項目を選択するための選択指示を認識する音声認識手段と、前記音声認識手段によって前記選択指示が認識された場合、前記選択指示された選択項目を選択する対話制御・結果選択手段とを備えた音声による選択装置。
JP2005347641A 2004-12-21 2005-12-01 音声による選択装置、及び選択方法 Withdrawn JP2006201749A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005347641A JP2006201749A (ja) 2004-12-21 2005-12-01 音声による選択装置、及び選択方法
CN2005800194453A CN1969315B (zh) 2004-12-21 2005-12-20 基于声音的选择装置以及选择方法
PCT/JP2005/023336 WO2006068123A1 (ja) 2004-12-21 2005-12-20 音声による選択装置、及び選択方法
US11/570,470 US7698134B2 (en) 2004-12-21 2005-12-20 Device in which selection is activated by voice and method in which selection is activated by voice
EP05820332.4A EP1768103B1 (en) 2004-12-21 2005-12-20 Device in which selection is activated by voice and method in which selection is activated by voice

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004368807 2004-12-21
JP2005347641A JP2006201749A (ja) 2004-12-21 2005-12-01 音声による選択装置、及び選択方法

Publications (2)

Publication Number Publication Date
JP2006201749A true JP2006201749A (ja) 2006-08-03
JP2006201749A5 JP2006201749A5 (ja) 2008-12-25

Family

ID=36601723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005347641A Withdrawn JP2006201749A (ja) 2004-12-21 2005-12-01 音声による選択装置、及び選択方法

Country Status (5)

Country Link
US (1) US7698134B2 (ja)
EP (1) EP1768103B1 (ja)
JP (1) JP2006201749A (ja)
CN (1) CN1969315B (ja)
WO (1) WO2006068123A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073364A (ja) * 2010-09-28 2012-04-12 Toshiba Corp 音声対話装置、方法、プログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
JP4131978B2 (ja) * 2006-02-24 2008-08-13 本田技研工業株式会社 音声認識機器制御装置
JP2008065789A (ja) * 2006-09-11 2008-03-21 Canon Inc 入力操作支援装置およびその制御方法
US20100250253A1 (en) * 2009-03-27 2010-09-30 Yangmin Shen Context aware, speech-controlled interface and system
US8700405B2 (en) * 2010-02-16 2014-04-15 Honeywell International Inc Audio system and method for coordinating tasks
US9432611B1 (en) 2011-09-29 2016-08-30 Rockwell Collins, Inc. Voice radio tuning
US9922651B1 (en) * 2014-08-13 2018-03-20 Rockwell Collins, Inc. Avionics text entry, cursor control, and display format selection via voice recognition
KR102081925B1 (ko) 2012-08-29 2020-02-26 엘지전자 주식회사 디스플레이 디바이스 및 스피치 검색 방법
EP2908281A4 (en) * 2012-10-12 2016-04-06 Kazuo Kaneko PRODUCT INFORMATION PROCESSING SYSTEM, PRODUCT INFORMATION PROCESSING DEVICE AND PRODUCT INFORMATION EDITOR
US8977555B2 (en) * 2012-12-20 2015-03-10 Amazon Technologies, Inc. Identification of utterance subjects
US10255038B2 (en) * 2013-04-26 2019-04-09 Microsoft Technology Licensing, Llc Techniques to present a user interface for the visually impaired
JP6411017B2 (ja) * 2013-09-27 2018-10-24 クラリオン株式会社 サーバ、及び、情報処理方法
KR102158315B1 (ko) * 2013-10-14 2020-09-21 삼성전자주식회사 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
JP2016061970A (ja) * 2014-09-18 2016-04-25 株式会社東芝 音声対話装置、方法およびプログラム
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11314214B2 (en) 2017-09-15 2022-04-26 Kohler Co. Geographic analysis of water conditions
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
CN108156497B (zh) * 2018-01-02 2020-12-18 联想(北京)有限公司 一种控制方法、控制设备及控制系统
JP7002823B2 (ja) * 2018-12-06 2022-01-20 アルパイン株式会社 案内音声出力制御システムおよび案内音声出力制御方法
DE102023101499A1 (de) 2023-01-23 2024-07-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betrieb eines virtuellen Assistenten

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63240598A (ja) * 1987-03-27 1988-10-06 日本電気株式会社 音声応答認識装置
JPH03293400A (ja) 1990-04-10 1991-12-25 Oki Electric Ind Co Ltd 音声制御方法
JPH04301697A (ja) * 1991-03-29 1992-10-26 Nippon Telegr & Teleph Corp <Ntt> 音声認識装置
JPH06149534A (ja) 1992-11-13 1994-05-27 Toshiba Corp 音声画面操作装置
US7509270B1 (en) * 1992-12-09 2009-03-24 Discovery Communications, Inc. Electronic Book having electronic commerce features
US5918213A (en) * 1995-12-22 1999-06-29 Mci Communications Corporation System and method for automated remote previewing and purchasing of music, video, software, and other multimedia products
JPH11224265A (ja) * 1998-02-06 1999-08-17 Pioneer Electron Corp 情報検索装置及び情報検索方法並びに情報検索プログラムを記録した記録媒体
JP3178426B2 (ja) * 1998-07-29 2001-06-18 日本電気株式会社 自然言語対話システム及び自然言語対話プログラム記録媒体
US7209892B1 (en) * 1998-12-24 2007-04-24 Universal Music Group, Inc. Electronic music/media distribution system
JP3629384B2 (ja) 1999-06-29 2005-03-16 シャープ株式会社 情報選択装置及び記録媒体
JP2000338992A (ja) * 1999-05-26 2000-12-08 Fujitsu Ten Ltd 音声認識装置
US7173177B1 (en) * 1999-12-28 2007-02-06 Blue Dolphin Solutions Llc User interface for simultaneous management of owned and unowned inventory
US6693236B1 (en) * 1999-12-28 2004-02-17 Monkeymedia, Inc. User interface for simultaneous management of owned and unowned inventory
GB2360106B (en) * 2000-02-21 2004-09-22 Ac Properties Bv Ordering playable works
JP4543294B2 (ja) * 2000-03-14 2010-09-15 ソニー株式会社 音声認識装置および音声認識方法、並びに記録媒体
WO2001071608A2 (en) * 2000-03-17 2001-09-27 Mark Nair System, method and apparatus for controlling the dissemination of digital works
US6510417B1 (en) 2000-03-21 2003-01-21 America Online, Inc. System and method for voice access to internet-based information
US7526450B2 (en) * 2000-04-19 2009-04-28 Sony Corporation Interface for presenting downloadable digital data content format options
US7043447B2 (en) * 2000-04-19 2006-05-09 Sony Corporation Method for facilitating a transaction for purchasable content over an electronic network
WO2002052546A1 (en) * 2000-12-27 2002-07-04 Intel Corporation Voice barge-in in telephony speech recognition
US6885735B2 (en) * 2001-03-29 2005-04-26 Intellisist, Llc System and method for transmitting voice input from a remote location over a wireless data channel
US6555738B2 (en) * 2001-04-20 2003-04-29 Sony Corporation Automatic music clipping for super distribution
JP2002366187A (ja) * 2001-06-08 2002-12-20 Sony Corp 音声認識装置および音声認識方法、並びにプログラムおよび記録媒体
US6941268B2 (en) * 2001-06-21 2005-09-06 Tellme Networks, Inc. Handling of speech recognition in a declarative markup language
WO2003017045A2 (en) * 2001-08-16 2003-02-27 Trans World New York Llc User-personalized media sampling, recommendation and purchasing system using real-time inventory database
JP2003177788A (ja) * 2001-12-12 2003-06-27 Fujitsu Ltd 音声対話システムおよびその方法
US7103542B2 (en) * 2001-12-14 2006-09-05 Ben Franklin Patent Holding Llc Automatically improving a voice recognition system
JP3892302B2 (ja) 2002-01-11 2007-03-14 松下電器産業株式会社 音声対話方法および装置
JP2004191705A (ja) * 2002-12-12 2004-07-08 Renesas Technology Corp 音声認識装置
KR100668297B1 (ko) * 2002-12-31 2007-01-12 삼성전자주식회사 음성인식방법 및 장치
JP2005071522A (ja) * 2003-08-27 2005-03-17 Sony Corp コンテンツ再生方法、コンテンツ再生装置およびコンテンツ配信方法
US7624016B2 (en) * 2004-07-23 2009-11-24 Microsoft Corporation Method and apparatus for robustly locating user barge-ins in voice-activated command systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073364A (ja) * 2010-09-28 2012-04-12 Toshiba Corp 音声対話装置、方法、プログラム

Also Published As

Publication number Publication date
EP1768103A4 (en) 2008-02-27
US20070219805A1 (en) 2007-09-20
CN1969315A (zh) 2007-05-23
EP1768103A1 (en) 2007-03-28
US7698134B2 (en) 2010-04-13
WO2006068123A1 (ja) 2006-06-29
EP1768103B1 (en) 2014-06-11
CN1969315B (zh) 2012-06-20

Similar Documents

Publication Publication Date Title
JP2006201749A (ja) 音声による選択装置、及び選択方法
KR101818980B1 (ko) 다중 화자 음성 인식 수정 시스템
JP5118280B2 (ja) 自然言語インターフェースコントロールシステム
JP4260788B2 (ja) 音声認識機器制御装置
JPWO2017145373A1 (ja) 音声認識装置
JP2003518266A (ja) 音声認識システムのテキスト編集用音声再生
JP2006201749A5 (ja)
JP2005084102A (ja) 音声認識評価装置、音声認識評価方法、及び音声認識評価プログラム
JP2006504130A (ja) 音声に基づく装置制御
JP2003022087A (ja) 音声認識方法
JP2002304190A (ja) 発音変化形生成方法及び音声認識方法
WO2007055233A1 (ja) 音声テキスト化システム、音声テキスト化方法および音声テキスト化用プログラム
JP5451982B2 (ja) 支援装置、プログラムおよび支援方法
JP2004333543A (ja) 音声対話システム及び音声対話方法
JP2003150194A (ja) 音声対話装置および音声対話装置における入力音声最適化方法ならびに音声対話装置における入力音声最適化処理プログラム
JP2003241797A (ja) 音声対話システム
JP2004029354A (ja) 音声認識装置、音声認識方法及び音声認識プログラム
WO2018173295A1 (ja) ユーザインタフェース装置及び方法、並びに音操作システム
JP2009104025A (ja) 音声認識制御装置
JP2019132979A (ja) カラオケ装置
JP2005031150A (ja) 音声処理装置および方法
JP2009116107A (ja) 情報処理装置及び方法
JP2005157166A (ja) 音声認識装置、音声認識方法及びプログラム
JP2019020475A (ja) 音声認識装置、音声認識方法
JP2005241767A (ja) 音声認識装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081112

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090311

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090727

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20091127