JP2016014897A - 音声対話支援装置、方法、およびプログラム - Google Patents
音声対話支援装置、方法、およびプログラム Download PDFInfo
- Publication number
- JP2016014897A JP2016014897A JP2015202738A JP2015202738A JP2016014897A JP 2016014897 A JP2016014897 A JP 2016014897A JP 2015202738 A JP2015202738 A JP 2015202738A JP 2015202738 A JP2015202738 A JP 2015202738A JP 2016014897 A JP2016014897 A JP 2016014897A
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- user
- voice
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本実施形態に係る音声対話支援装置の利用例について図1を参照して説明する。
本実施形態に係る音声対話支援装置100は、音声取得部101、分割処理部102、音声データ分析部103、データ蓄積部104、手がかり表現検出部105、再生指示部106、再生終了指示部107、再生箇所推定部108、再生速度設定部109、音声出力部110、話者認識部111、発話速度測定部112、発話間隔測定部113、雑音検出部114、音声認識部115および重要表現抽出部116を含む。
分割処理部102は、音声取得部101から音声データを受け取り、語の特性および音響の特性の少なくとも1つの特性に応じて音声データを分割して複数の分割音声データを得る。分割処理部102の分割処理については、図2および図3を参照して後述する。
音声データ分析部103は、分割処理部102から分割音声データを受け取る。音声データ分析部103は、後述する話者認識部111、発話速度測定部112、発話間隔測定部113、雑音検出部114、音声認識部115および重要表現抽出部116のそれぞれを制御して、分割音声データに含まれる語の特性および音響の特性のうちの1以上の特性に関して分析した分析結果を得る。
データ蓄積部104は、音声データ分析部103から分割音声データと分析結果とを受け取り、分割音声データと分析結果とを対応づけて分析データとして蓄積する。
再生指示部106は、手がかり表現検出部105から手がかり表現の処理結果を受け取り、音声データの再生を指示する再生指示信号を生成する。再生指示部106の動作については、図5を参照して後述する。
再生終了指示部107は、手がかり表現検出部105から手がかり表現の処理結果を受け取り、音声データの再生終了を指示する再生終了指示信号を生成する。再生終了指示部107の動作については、図6を参照して後述する。
再生箇所推定部108は、再生指示部106から再生指示信号を、再生終了指示部107から再生終了指示信号を、データ蓄積部104から分析データをそれぞれ受け取る。再生箇所推定部108は、分析データに基づいて手がかり表現が検出される前に発話された音声に対応する分割音声データから、再生すべき分割音声データを再生データとして順次抽出する。再生箇所推定部108の動作については、図7Aおよび図7Bを参照して後述する。
再生速度設定部109は、再生箇所推定部108から再生データを受け取り、再生データの再生速度を設定する。再生速度設定部109の動作については、図8および図9を参照して後述する。
音声出力部110は、再生速度設定部109から再生速度が設定された再生データを受け取り、設定された速度で再生データを再生して、音声を出力する。なお、再生速度設定部109において速度が設定されない場合は、通常の対話における対話速度で再生データの音声を出力すればよい。
発話速度測定部112は、音声データ分析部103から分割音声データを受け取り、分割音声データに含まれる語および音響から、分割音声データの発話速度を測定する。
発話間隔測定部113は、音声データ分析部103から分割音声データを受け取り、分割音声データに含まれる音響に基づいて発話間の間隔を示す発話間隔を測定する。
雑音検出部114は、音声データ分析部103から分割音声データを受け取り、分割音声データに含まれる音響から音声以外の環境音(以下、ここでは雑音)を検出する。
音声認識部115は、音声データ分析部103から分割音声データを受け取り、分割音声データに含まれる語をテキストデータとして変換する。
重要表現抽出部116は、音声認識部115からテキストデータを受け取り、テキストデータから重要表現を抽出する。重要表現は、対話中にキーワードとなりえる語であり、例えば、地名、人名、数量表現などの固有表現や、専門用語である。
ステップS201では、音声データに対して音声認識を行い、音声データをテキストデータに変換する。音声認識は、一般的な音声認識処理を行えばよいので、ここでの説明は省略する。
ステップS202では、音声データを形態素解析し、文節の切れ目でテキストデータを分割する。形態素解析も、一般的な形態素解析を用いればよいので、ここでの説明は省略する。以上で分割処理を終了する。
ステップS301では、音声データに含まれる音響に基づいて話者認識を行い、話者の変わり目で分割する。話者認識処理は、一般的な話者認識処理を行えばよいので、ここでの説明は省略する。なお、第1の実施形態に係る話者認識部111が音声取得部101から音声データを取得して認識処理を行い、話者認識部111が分割処理部102に認識結果を送ってもよい。
ステップS302では、無音区間を検出し、無音区間を切れ目として音声データを分割する。無音区間の検出は、例えば、閾値以上の期間、音声データに含まれる音響の音量が一定値以下であれば、無音区間として検出すればよい。以上で処理を終了する。このようにすることで、音声データを話者と発話との区切りで分割することができる。
手がかりリスト400は、手がかり表現401、話者および動作者402、発話間隔403、音量404、状態405および結果406がそれぞれ対応づけられる。なお、図4中、「N/A」は該当する情報が存在しないことを示す。
話者および動作者402は、手がかり表現を行った者(すなわち、手がかり語を発話した者、または手がかり動作を行った者)が、第1の実施形態に係る音声対話支援装置100の利用者であるかどうかを示す。手がかり発話間隔403は、直前の対話から手がかり表現が発話または動作されるまでの間隔の長さを示す。音量404は、発話された手がかり語の音量の大きさを示す。状態405は、データ蓄積部104に蓄積(録音)された音声データが再生されているかどうかを示す。結果406は、音声対話支援装置100の利用者がどのような状態であるか、または音声対話支援装置100のその後の処理を示す。具体的には、音声を聞き逃したことを示す「聞き逃し」、利用者自身の発言を忘れたことを示す「内容忘れ」、音声データの再生を終了することを示す「再生終了」、および、再生を続けることを示す「再生続行」が挙げられる。
例えば、「えっ」という語が発話され、発話した話者が利用者であり、発話音量が大きく、音声データが再生されていない場合を想定する。この場合、手がかり表現検出部105は、手がかりリスト400を参照することで、利用者が対話相手の発言を聞き逃したことを示す「聞き逃し」が発生したことを検出できる。
また、「えーと」という語が発話され、発話した話者が利用者であり、発話音量が大きく、音声データが再生されていない場合を想定する。この場合、手がかり発話間隔が短ければ、手がかり表現検出部105は「聞き逃し」が発生したことを検出する。逆に、手がかり発話間隔が長ければ、手がかり表現検出部105は、自分自身の発言内容を忘れたことを示す「内容忘れ」であることを検出する。
ステップS501では、手がかり表現検出部105の検出結果を受け取る。
ステップS502では、手がかり表現検出部105の検出結果が「聞き逃し」であるかどうかを判定する。検出結果が聞き逃しである場合はステップS503に進み、聞き逃しでない場合はステップS504に進む。
ステップS503では、利用者以外の音声データの再生を指示する再生指示信号を生成し、処理を終了する。
ステップS504では、手がかり表現検出部105の検出結果が「内容忘れ」であるかどうかを判定する。検出結果が内容忘れである場合はステップS505に進み、検出結果が内容忘れでない場合は処理を終了する。
ステップS505では、利用者の音声データの再生を指示する再生指示信号を生成し、処理を終了する。
ステップS602では、手がかり表現検出部105の検出結果が「再生終了」であるかどうかを判定する。検出結果が再生終了である場合はステップS603に進み、検出結果が再生終了でない場合は処理を終了する。
ステップS603では、音声データの再生の終了を指示する再生終了指示信号を生成し、処理を終了する。
ステップS701では、再生指示部106および再生終了指示部107から判定結果を受け取る。
ステップS702では、再生指示部106の判定結果が「聞き逃し」であるかどうか、すなわち再生指示部106から利用者以外の発話(分割音声データ)を再生するための再生指示信号を受け取ったかどうかを判定する。聞き逃しである場合はステップS703に進み、聞き逃しでない場合は「A」に進む。処理Aについては、図7Bを参照して後述する。
ステップS703では、データ蓄積部104にアクセスして、聞き逃しが発生した時点、すなわち、図4中の結果406が「聞き逃し」である手がかり語と一致する分割音声データの1つ前の発話の番号を変数iに設定し、i番目のデータを読み出す。iはゼロ以上の整数である。
ステップS705では、音声データのi番目の発話をした話者が利用者以外であるかどうかを判定する。利用者以外である場合はステップS706に進み、利用者である場合はステップS712に進む。
ステップS706では、音声データのi番目の発話に含まれる雑音の大きさが閾値より大きいかどうかを判定する。雑音の大きさが閾値より大きい場合はステップS710に進み、雑音の大きさが閾値以下である場合はステップS707に進む。
ステップS707では、音声データのi番目の発話の速度が閾値より速いかどうかを判定する。発話の速度が閾値より速い場合はステップS710に進み、発話の速度が閾値以下である場合はステップS708に進む。
ステップS710では、音声データのi番目の発話を再生データであると推定する。
ステップS711では、再生終了指示部107の判定結果が「再生終了」であるかどうかを判定する。判定結果が再生終了である場合は処理を終了し、判定結果が再生終了でない場合はステップS712に進む。
ステップS713では、少なくとも1回は音声データが再生されたかどうかを判定する。音声データが再生された場合は処理を終了し、1回も音声データが再生されていない場合はステップS714に進む。
ステップS714では、聞き逃しが発生した時点の1つ前の発話を再生データであると推定し、処理を終了する。
ステップS715では、再生指示部106の判定結果が「内容忘れ」であるかどうかを判定する。内容忘れである場合はステップS716に進み、内容忘れでない場合は処理を終了する。
ステップS716では、データ蓄積部104にアクセスして、内容忘れが発生した時点、すなわち、図4中の結果406が「内容忘れ」である手がかり語と一致する分割音声データの1つ前の発話の番号を変数iに設定し、i番目のデータを読み出す。
ステップS717では、δがゼロより大きいかどうかを判定する。δがゼロより大きい場合はステップS718に進み、δがゼロ以下である場合はステップS724に進む。
ステップS719では、音声データのi番目の発話間隔が閾値よりも長いかどうかを判定する。発話間隔が閾値よりも長い場合はステップS721に進み、発話間隔が閾値以下である場合はステップS720に進む。
ステップS720では、音声データのi番目の発話が重要表現を含むかどうかを判定する。重要表現を含む場合はステップS721に進み、重要表現を含まない場合はステップS723に進む。
ステップS722では、再生終了指示部107の判定結果が「再生終了」であるかどうかを判定する。判定結果が再生終了である場合は処理を終了し、判定結果が再生終了でない場合はステップS723に進む。
ステップS723では、変数iとパラメータδとをそれぞれ1つずつデクリメントし、ステップS717に戻り同様の処理を繰り返す。
ステップS724では、少なくとも1回は音声データが再生されたかどうかを判定する。音声データが再生された場合は処理を終了し、1回も音声データが再生されていない場合はステップS725に進む。
ステップS725では、内容忘れが発生した時点の1つ前の発話が再生データであると推定し、処理を終了する。
ステップS801では、再生指示部106の判定結果を受け取る。
ステップS802では、判定結果が「聞き逃し」であるかどうかを判定する。聞き逃しである場合はステップS803に進み、聞き逃しでない場合はステップS804に進む。
ステップS803では、聞き逃しの場合は利用者が対話の内容を把握できていないと考えられるので、再生データの再生速度が遅くなるように設定する。具体的には、分割音声データの発話速度の平均値を算出し、再生データの再生速度の値が平均値よりも小さくなるように設定すればよい。または、一般的な発話速度の値を予め設定し、再生データの再生速度の値が一般的な発話速度の値よりも小さくなるように設定すればよい。
ステップS804では、判定結果が「内容忘れ」であるかどうかを判定する。内容忘れである場合はステップS805に進み、内容忘れでない場合は、処理を終了する。
ステップS805では、内容忘れの場合は内容に関する何らかのキーワードを思い出しさえすれば全体の内容を思い出すことができると考えられ、さらに利用者に素早く内容を思い出させることが好ましいので、再生データの再生速度が速くなるよう設定する。具体的には、発話速度の平均値よりも再生速度の値が大きくなるように設定すればよい。以上で再生速度設定部109の動作を終了する。
ステップS901では、再生指示部106および再生終了指示部107から処理結果を受け取る。
ステップS902では、処理結果が「聞き逃し」であるかどうかを判定する。聞き逃しである場合はステップS903に進み、聞き逃しでない場合はステップS910に進む。
ステップS903では、データ蓄積部104にアクセスして、聞き逃しが発生した時点の1つ前の発話の番号を変数iに設定し、i番目のデータを読み出す。
ステップS904では、δがゼロより大きいかどうかを判定する。δがゼロより大きい場合はステップS905に進み、δがゼロである場合はステップS911に進む。
ステップS905では、音声データのi番目の発話をした話者が利用者以外であるかどうかを判定する。利用者以外である場合はステップS906に進み、利用者である場合はステップS913に進む。
ステップS907では、音声データのi番目の発話の速度が閾値より速いかどうかを判定する。発話の速度が閾値より速い場合はステップS911に進み、発話の速度が閾値以下である場合はステップS908に進む。
ステップS908では、音声データのi番目の発話が音声認識に失敗したかどうかを判定する。音声認識に失敗した場合はステップS910に進み、音声認識に失敗していない、つまり音声認識に成功した場合はステップS909に進む。
ステップS908では、音声データのi番目の発話が重要表現を含むかどうかを判定する。重要表現を含む場合はステップS911に進み、重要表現を含まない場合はステップS913に進む。
ステップS910では、音声データの再生速度を通常の対話速度に設定する。通常の対話速度とは、例えば、利用者の対話速度の履歴から、対話速度の平均値を計算すればよい。
ステップS912では、再生終了指示部107の処理結果が「再生終了」であるかどうかを判定する。処理結果が再生終了である場合は処理を終了し、処理結果が再生終了でない場合はステップS913に進む。
ステップS913では、変数iとパラメータδとをそれぞれ1つずつデクリメントし、ステップS904に戻り同様の処理を繰り返す。
ステップS915では、音声データの再生速度を通常の対話速度に設定し、処理を終了する。
ステップS916では、再生指示部106の処理結果が「内容忘れ」であるかどうかを判定する。内容忘れである場合は、ステップS917に進み、内容忘れでない場合は、処理を終了する。
ステップS917では、内容忘れの場合は利用者に素早く内容を思い出させるため、音声データの再生速度を通常の対話速度よりも速く設定する。以上で再生速度設定部109の動作を終了する。このように再生速度設定部109の処理により、再生データの雑音が大きいときや音声認識に失敗しているときは、通常の対話速度で再生し、再生データの発話の速度が大きい場合、再生データに重要表現が含まれる場合は、再生速度を遅くすることで利用者が内容を把握しやすくなる。
音声取得部101に入力される音声対話の一例を図10に示す。図10(a)および図10(b)は、太郎、花子および桃子の一連の対話を示す。桃子が本実施形態に係る音声対話支援装置の利用者である。
図11Aは、図10(a)の音声データが分析された分析データのテーブルを示し、図11Bは、図10(b)の音声データが分析された分析データのテーブルを示す。
データ蓄積部104には、番号1101、分割音声データ1102、話者1103、速度1104、音量1105、雑音1106、発話間隔1107、音声認識1108および重要表現1109の項目がそれぞれ対応づけられて格納される。番号1101と分割音声データ1102とは、分割処理部102の処理結果であり、番号1101は音声対話における発話順に付与される。ここでは、話者の区切りと無音区間とを切れ目として、発話の区切りごとに分割される。
話者1103は、話者認識部111の処理結果であり、ここでは「利用者」および「利用者以外」の2種類で記述しているが、「太郎」、「花子」、「桃子」といったように話者を特定して記述してもよい。
速度1104は、発話速度測定部112の処理結果であり、ここでは「速」、「中」および「遅」の3種類で記述しているが、測定で得られた速度値を記述してもよい。
発話間隔1107は、発話間隔測定部113の処理結果であり、ここでは「長」、「中」および「短」の3種類で記述しているが、測定された時間を記述してもよい。
音声認識1108は、音声認識部115の処理結果であり、ここでは「成功」および「失敗」の2種類で記述しているが、より細かい分類を記載してもよく、音声認識処理の途中で出力される尤度情報でもよい。
重要表現1109は、重要表現抽出部116の処理結果であり、重要表現として該当する語がなければ「N/A」と記述される。
具体的には、例えば、番号1101「1」、分割音声データ1102「ねえねえ」、話者1103「利用者以外」、速度1104「中」、音量1105「中」、雑音1106「小」、発話間隔1107「短」、音声認識1108「成功」および重要表現1109「N/A」がそれぞれ対応づけられる。
手がかり表現検出部105は、図11Aに示す番号1101「9」の分割音声データ1102「えっ」が発話された時点で、手がかりリストを参照し、「えっ」という語が聞き逃しを示唆する手がかり語であると検出する。再生指示部106は、「聞き逃し」の検出結果を受け取って、利用者以外の分割音声データの再生指示信号を生成する。その後、再生箇所推定部108が、図7Aのフローチャートに示す動作を行い、再生すべき分割音声データ(再生データ)を推定する。図11Aの例では、番号1101「9」の分割音声データ1102「えっ」から順に、番号1101を遡っていき、番号1101「8」の分割音声データ1102「桃子さんは」が重要表現を含むので、分割音声データ1102「桃子さんは」を再生データと推定する。
さらに、再生速度設定部109は、図9のフローチャートに示す動作を行い、「桃子さんは」が重要表現を含むことから再生速度を遅く設定し、音声出力部110で再生データを再生する。なお、利用者から再生終了を指示する発話(図4の「オーケー」または「了解」)がされていないので、音声データの再生を続行する。
番号1101「2」の分割音声データ1102「DDランドって知ってる」は、音声認識1108に失敗しているので再生データと推定する。再生速度設定部109では、音声データ「DDランドって知ってる」の再生速度を通常の対話速度に設定し、音声出力部110で再生データを再生する。ここで、これ以上遡っても再生データとなりえる分割音声データがないので、再生を終了する。
上述の処理により、利用者である桃子は、一般的に知られていない固有名詞を含んでいるために音声認識に失敗したフレーズ「DDランドって知ってる」か、雑音が大きくて聞きづらかった「先月リニューアルオープンしたんだって」のいずれかを聞き逃した可能性が高い。よって、これらの音声データを再生することにより効率的に対話を支援することができる。
番号1101「20」の分割音声データ1102「もう一回」がなされた時点で、手がかり表現検出部105が手がかりリストを参照し、「もう一回」という語が聞き逃しを示唆する手がかり語であると検出する。再生指示部106は、聞き逃しの検出結果を受け取って、利用者以外の分割音声データの再生指示を生成する。その後、再生箇所推定部108は、番号1101「19」の分割音声データ1102「午前10時に川崎駅で待ち合わせましょう」が重要表現(「午前10時」および「川崎駅」)を含むので、「午前10時に川崎駅で待ち合わせましょう」を再生データと推定する。さらに、再生速度設定部109は、重要表現を含む分割音声データ1102「午前10時に川崎駅で待ち合わせましょう」の再生速度を遅く設定して、再生データを再生する。
番号1101「21」の分割音声データ1102「了解」がなされた時点で、手がかり表現検出部105は分割音声データが「再生終了」を指示する手がかり語であると検出し、再生終了指示部107が再生終了指示信号を生成することで、再生データの再生が終了する。
桃子は、待ち合わせ時間と場所とを再度確認したかったので、「もう一回」と発話した可能性が高く、重要表現を含む再生データを再生することで効率的な対話を支援することができる。
第1の実施形態では、分割処理部102において分割された1つの分割音声データ全体を再生する例を示しているが、第2の実施形態では、1つの分割音声データの一部を抽出して再生する点が異なる。
第2の実施形態に係る音声対話支援装置について、図12を参照して説明する。
第2の実施形態に係る音声対話支援装置1200は、音声取得部101、分割処理部102、音声データ分析部103、データ蓄積部104、手がかり表現検出部105、再生指示部106、再生終了指示部107、再生箇所推定部108、再生速度設定部109、音声出力部110、話者認識部111、発話速度測定部112、発話間隔測定部113、雑音検出部114、音声認識部115、重要表現抽出部116および部分データ抽出部1201を含む。
部分データ抽出部1201以外の構成については、第1の実施形態と同様の動作を行うので、ここでの説明は省略する。
部分データ抽出部1201は、再生箇所推定部108から再生データを受け取り、再生データから部分データを抽出する。
ステップS1301では、再生箇所推定部108から再生データを受け取る。
ステップS1302では、再生データが音声認識に失敗したかどうかを判定する。音声認識に失敗した場合はステップS1303に進み、音声認識に失敗していない、つまり音声認識に成功した場合は、ステップS1304に進む。
ステップS1303では、再生データの雑音が閾値よりも大きいかどうかを判定する。雑音が閾値よりも大きい場合はステップS1304に進み、雑音が閾値よりも小さい場合はステップS1305に進む。
ステップS1304では、再生箇所全体の音声データを再生対象として、処理を終了する。
ステップS1305では、再生データが重要表現を含むかどうかを判定する。重要表現を含む場合はステップS1306に進み、重要表現を含まない場合はステップS1307に進む。
ステップS1307では、再生データが名詞を含むかどうかを判定する。名詞を含む場合はステップS1308に進み、名詞を含まない場合はステップS1309に進む。
ステップS1308では、再生データのうちの名詞部分を部分データとして再生対象とする。
ステップS1309では、再生データが用言を含むかどうかを判定する。用言は、例えば、動詞、形容詞、形容動詞である。用言を含む場合はステップS1310に進み、用言を含まない場合は処理を終了する。
ステップS1310では、再生データのうちの用言部分を基本形に変形し、部分データとして再生対象とする。
ステップS1311では、用言部分が否定助動詞を含むかどうかを判定する。否定助動詞を含む場合はステップS1312に進み、否定助動詞を含まない場合は処理を終了する。
ステップS1312では、用言に否定助動詞を付加する。以上で部分データ抽出部1201の処理を終了する。なお、ここでは用言に意味を付加する上で重要な助動詞として否定助動詞を取り上げたが、他の重要な助動詞、例えば、受身助動詞、使役助動詞、希望助動詞などについても、用言部分に含まれるかどうかを判定し、含まれる場合には用言に付加するようにしてもよい。
このようにすることで、計算量が多い演算処理をサーバ側で行うことができるので、端末側の処理量を減らすことができる。よって、端末の構成を簡潔にすることができる。
第1の実施形態および第2の実施形態に係る音声対話支援装置をプログラムとして実現する場合のコンピュータの一例について図14を参照して説明する。
コンピュータ1400は、中央演算処理装置(以下、CPUともいう)1401、メモリ1402、磁気ディスクドライブ1403、入力受付部1404、入出力部1405、入力装置1406および外部装置1407を含む。
磁気ディスクドライブ1403は、コンピュータを音声対話支援装置の各構成として機能させるためのプログラムおよび付随するデータを格納する。
メモリ1402は、実行中のプログラムおよび実行中のプログラムが扱うデータを一時記憶する。
CPU1401は、メモリ1402に記憶されたプログラムを読み出して実行する。
入力受付部1404は、後述の入力装置1406から音響信号の入力を受け付ける。
入出力部1405は、再生対象の音声データを後述の外部装置1407に出力する。
入力装置1406は、例えばマイクロフォンであり、音声や周囲雑音を集音する。
外部装置1407は、例えばイヤホンであり、入力装置1406から受け取った音声データを外部に出力する。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワークなどのMW(ミドルウェア)などが本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネットなどにより伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコンなども含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
Claims (10)
- 利用者による発話および該利用者による動作の少なくともどちらか一方により該利用者の指示および該利用者の状態のどちらか一方を示す1以上の手がかり表現を検出する表現検出部と、
音声データが前記利用者以外の発話であるかどうかを判定する話者認識部と、
前記手がかり表現が前記利用者以外の発言を聞き逃したことを示す場合は、該利用者以外の発話を示す第1音声データの中から再生データを出力する出力部と、を具備する音声対話支援装置。 - 語および音響を含む音声データを、該語の特性および該音響の特性のうちの1以上の特性に応じて分割して分割音声データを得る分割部をさらに具備し、
前記表現検出部は前記分割音声データごとに前記手がかり表現を検出する請求項1に記載の音声対話支援装置。 - 前記表現検出部において検出された前記手がかり表現が前記再生データの再生を終了することを示す場合、再生を終了することを示す終了指示信号を生成する終了指示部をさらに具備することを特徴とする請求項1または請求項2に記載の音声対話支援装置。
- 前記音声データをテキストデータに変換する音声認識部と、
前記テキストデータから、対話中のキーワードとなりえる重要表現を抽出する重要表現抽出部と、
前記音声データに含まれる音声以外の雑音を検出する雑音検出部と、
前記音声データの発話速度を測定する速度測定部と、
前記分割音声データごとに語の特性および音響の特性のうちの1以上の特性に関する分析結果を得る分析部と、をさらに具備し、
前記分析部は、前記音声認識部、前記重要表現抽出部、前記雑音検出部および前記速度測定部の処理結果に基づいて前記分析結果を得、
前記出力部は、前記手がかり表現が利用者以外の発言を聞き逃したことを示す場合は、前記第1音声データの中から、音声認識に失敗したかどうか、前記重要表現を含むかどうか、前記雑音が第1閾値以上であるかどうか、および前記発話速度が第2閾値以上であるかどうかの少なくとも1つを満たす第2音声データ、および該手がかり表現の1つ前に発話された第3音声データの少なくともどちらか1つを再生データとして得ることを特徴とする請求項1から請求項3のいずれか1項に記載の音声対話支援装置。 - 前記出力部は、前記手がかり表現が利用者自身の発言に関する内容忘れであることを示す場合は、該利用者の発話を示す第4音声データの中から再生データを推定することを特徴とする請求項1から請求項4のいずれか1項に記載の音声対話支援装置。
- 前記音声データをテキストデータに変換する音声認識部と、
前記テキストデータから、対話中のキーワードとなりえる重要表現を抽出する重要表現抽出部と、
前記音声データにおける発話間の間隔を測定する間隔測定部と、
前記分割音声データごとに語の特性および音響の特性のうちの1以上の特性に関する分析結果を得る分析部と、をさらに具備し、
前記分析部は、前記音声認識部、前記重要表現抽出部および前記間隔測定部の処理結果に基づいて前記分析結果を得、
前記出力部は、前記手がかり表現が利用者自身の発言に関する内容忘れであることを示す場合は、利用者の発話を示す第4音声データの中から、前記重要表現を含むか、前記間隔が第3閾値以上であるか、の少なくとも1つを満たす第5音声データ、および該手がかり表現の1つ前に発話された第6音声データの少なくともどちらか1つを再生データとして得ることを特徴とする請求項1から請求項3のいずれか1項に記載の音声対話支援装置。 - 前記再生データに前記重要表現、名詞および用言の少なくとも1つが含まれる場合、再生箇所から該重要表現、該名詞および該用言のうち該当する語、用言が含まれる場合、用言に付随する意味的に重要な助動詞を部分データとして抽出する部分データ抽出部をさらに具備し、
前記出力部は、前記部分データが抽出された場合は、部分データのみを出力することを特徴とする請求項4または請求項6に記載の音声対話支援装置。 - 前記分析結果に基づいて、前記再生データの再生速度を設定する速度設定部をさらに具備することを特徴とする請求項4または請求項6に記載の音声対話支援装置。
- 利用者による発話および該利用者による動作の少なくともどちらか一方により該利用者の指示および該利用者の状態のどちらか一方を示す1以上の手がかり表現を検出し、
音声データが前記利用者以外の発話であるかどうかを判定し、
前記手がかり表現が前記利用者以外の発言を聞き逃したことを示す場合は、該利用者以外の発話を示す第1音声データの中から再生データを出力することを具備することを特徴とする音声対話支援方法。 - コンピュータを、
利用者による発話および該利用者による動作の少なくともどちらか一方により該利用者の指示および該利用者の状態のどちらか一方を示す1以上の手がかり表現を検出する表現検出手段と、
音声データが前記利用者以外の発話であるかどうかを判定する話者認識部と、
前記手がかり表現が前記利用者以外の発言を聞き逃したことを示す場合は、該利用者以外の発話を示す第1音声データの中から再生データを出力する出力手段として機能させるための音声対話支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015202738A JP6143824B2 (ja) | 2015-10-14 | 2015-10-14 | 音声対話支援装置、方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015202738A JP6143824B2 (ja) | 2015-10-14 | 2015-10-14 | 音声対話支援装置、方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012068328A Division JP2013200423A (ja) | 2012-03-23 | 2012-03-23 | 音声対話支援装置、方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016014897A true JP2016014897A (ja) | 2016-01-28 |
JP6143824B2 JP6143824B2 (ja) | 2017-06-07 |
Family
ID=55231070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015202738A Active JP6143824B2 (ja) | 2015-10-14 | 2015-10-14 | 音声対話支援装置、方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6143824B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114625297A (zh) * | 2022-03-15 | 2022-06-14 | 上海小度技术有限公司 | 一种交互方法、装置、设备以及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10326176A (ja) * | 1997-05-23 | 1998-12-08 | Oki Hokuriku Syst Kaihatsu:Kk | 音声対話制御方法 |
JP2004023661A (ja) * | 2002-06-19 | 2004-01-22 | Ricoh Co Ltd | 記録情報処理方法、記録媒体及び記録情報処理装置 |
-
2015
- 2015-10-14 JP JP2015202738A patent/JP6143824B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10326176A (ja) * | 1997-05-23 | 1998-12-08 | Oki Hokuriku Syst Kaihatsu:Kk | 音声対話制御方法 |
JP2004023661A (ja) * | 2002-06-19 | 2004-01-22 | Ricoh Co Ltd | 記録情報処理方法、記録媒体及び記録情報処理装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114625297A (zh) * | 2022-03-15 | 2022-06-14 | 上海小度技术有限公司 | 一种交互方法、装置、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6143824B2 (ja) | 2017-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013200423A (ja) | 音声対話支援装置、方法、およびプログラム | |
CN108228132B (zh) | 语音启用装置及其中执行的方法 | |
JP2019117623A (ja) | 音声対話方法、装置、デバイス及び記憶媒体 | |
US8909537B2 (en) | Device capable of playing music and method for controlling music playing in electronic device | |
JP6844608B2 (ja) | 音声処理装置および音声処理方法 | |
JP5638479B2 (ja) | 書き起こし支援システムおよび書き起こし支援方法 | |
JP5731998B2 (ja) | 対話支援装置、対話支援方法および対話支援プログラム | |
JP2011253374A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP2014240940A (ja) | 書き起こし支援装置、方法、及びプログラム | |
WO2018047421A1 (ja) | 音声処理装置、情報処理装置、音声処理方法および情報処理方法 | |
JP6235280B2 (ja) | 音声同時処理装置、方法およびプログラム | |
JP2013025299A (ja) | 書き起こし支援システムおよび書き起こし支援方法 | |
JP2018185561A (ja) | 対話支援システム、対話支援方法、及び対話支援プログラム | |
JP3881620B2 (ja) | 話速可変装置及び話速変換方法 | |
JP6143824B2 (ja) | 音声対話支援装置、方法、およびプログラム | |
KR20110053397A (ko) | 검색 키워드를 이용한 멀티미디어 파일 검색 방법 및 그 휴대기기 | |
JP4622728B2 (ja) | 音声再生装置および音声再生処理プログラム | |
EP4165542A1 (en) | Using canonical utterances for text or voice communication | |
JP6723033B2 (ja) | 情報処理装置、情報処理システム、サーバ、端末装置、情報処理方法及びプログラム | |
JP4353084B2 (ja) | 映像再生方法及び装置及びプログラム | |
KR101611224B1 (ko) | 오디오 인터페이스 | |
JPH11242496A (ja) | 情報再生装置 | |
JP4779954B2 (ja) | 音声データ処理装置、方法及びプログラム | |
KR102621954B1 (ko) | 관련 지식 유무에 따라 대화모델을 운용하는 대화 방법 및 시스템 | |
CN115209214B (zh) | 从视频中识别并移除受限信息 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161129 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170509 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6143824 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |