JP2019060990A - 議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム - Google Patents

議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム Download PDF

Info

Publication number
JP2019060990A
JP2019060990A JP2017184207A JP2017184207A JP2019060990A JP 2019060990 A JP2019060990 A JP 2019060990A JP 2017184207 A JP2017184207 A JP 2017184207A JP 2017184207 A JP2017184207 A JP 2017184207A JP 2019060990 A JP2019060990 A JP 2019060990A
Authority
JP
Japan
Prior art keywords
speech
voice
group
utterance
reception order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017184207A
Other languages
English (en)
Other versions
JP6737754B2 (ja
Inventor
河合 直樹
Naoki Kawai
直樹 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2017184207A priority Critical patent/JP6737754B2/ja
Publication of JP2019060990A publication Critical patent/JP2019060990A/ja
Application granted granted Critical
Publication of JP6737754B2 publication Critical patent/JP6737754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】議論が活発でないグループの発話音声を逐次優先的に分析する装置等を提供する。【解決手段】発話分析装置は、連続する所定の音声区間毎にユーザの発話音声を収録する各ユーザ端末へ発話音声要求を送信し、発話音声データを受信する1つ以上のユーザ端末を含む1つ以上グループの発話音声受信順序を記憶し、発話音声データを発話分析する発話分析手段と、時刻t+1の音声区間で可能な限り、前記発話音声受信順序に応じて各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを前記発話分析手段に発話分析させる発話音声受信制御手段と、時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する発話音声受信順序更新手段とを有する。【選択図】図4

Description

本発明は、グループワークにおけるユーザの発話分析の技術に関する。
近年、教育やビジネスの分野における21世紀型スキルとして、批評的思考力や課題解決力の養成が重要となってきている。そのために、知識を一方的に提供するセミナ形式ではなく、アクティブ・ラーニングに基づくグループワーク形式が注目されている。
グループワーク形式は、例えば3〜4人で1つのグループを構成し、知識を交換し合いながら、課題の解決に向かって創造的に議論を続ける協働学習に基づくものである。ここで、グループワークを管理する教師は、議論が活発でないグループに対しては、有効なアドバイスを提案する必要がある。
一方で、グループワーク形式の場合、1人の教師が、全てのグループの学習状況を観察することはできない。そのために、ICT(Information and Communication Technology)を用いて、複数のグループの学習状況を同時に把握する技術が求められる。
例えば、発話分析装置が、全てのグループにおける各ユーザの発話音声を収集し、その発話音声を音声認識処理によってテキスト化し、発話分析処理によってその分析結果を教師へ提供する技術がある(例えば特許文献1参照)。教師は、グループ毎の分析結果を見ながら、学習状況を観察することができる。
図1は、グループワークにおけるシステム構成図である。
図1によれば、3〜4人のユーザで議論するグループが、複数構成されている。図1のシステムによれば、発話分析装置1と、複数のユーザ端末2及び管理者端末3とが、アクセスポイント4を介して接続されている。
発話分析装置1は、ユーザ端末2から発話音声を受信し、その発話音声に対して音声認識によってテキスト化し、グループ毎に発話内容を分析する。
ユーザ端末2は、各ユーザによって保持又は装着されるマイク装置であって、具体的には、当該ユーザの発話音声を収録するスマートフォンのようなものである。
管理者端末3は、発話分析装置1からグループ毎の分析結果を取得し、教師へ明示する。
アクセスポイント4は、一方をWAN(Wide Area Network)に接続し、他方をLAN(Local Area Network)に接続し、そのLANを介して複数のユーザ端末2を収容する。アクセスポイント4とユーザ端末2との間のネットワークは、無線/有線LANであってもよいし、Bluetooth(登録商標)や事業者アクセスネットワークであってもよい。
発話分析装置1は、発話音声に対する発話分析処理(音声認識処理を含む)に、一定時間を要する。そのために、ユーザ端末2が、発話音声をランダムに発話分析装置1へアップロードした場合、音声認識処理の処理増大による遅延や、全てのグループ毎の発話音声が揃わないことによる発話分析処理の処理待ちによる遅延が生じることなる。
一般に、ユーザ端末2が発話音声をアップロードするタイミングは、制御されていない。そのために、多数のユーザ端末2から同時に発話音声が送信された場合、トラヒック増加によるネットワーク輻輳や、音声認識処理の処理増大又は発話分析処理の待ち遅延による輻輳を生じ、コネクションが遮断されることもある。
特に、同じ室内で同時に多数のユーザによるグループワークが実施された場合、アクセスポイント4の配下に多数のユーザ端末2が接続されることとなる。この場合、無線LANの伝送容量が不足すると共に、ユーザ端末2から発話分析装置1への発話音声のデータがアクセスポイント4に集中し、その結果、輻輳が生じやすくなる。
そのために、発話分析装置1は、ユーザ端末2から発話音声を受信する順序を決定しておくことが好ましい。ユーザ端末2は、グループ単位で、発話音声をアクセスポイント4を介して発話分析装置1へアップロードすることによって、LAN内で輻輳が生じることもない。
図2は、従来技術におけるシーケンス図である。
各ユーザ端末2は、いずれか1つのグループに属しており、グループワーク時間の中で連続する所定の音声区間毎に、グループ内のユーザの発話音声を収録する。
発話分析装置1は、グループ単位で、複数のユーザ端末2へ発話音声要求を送信する。
図2によれば、発話分析装置1は、最初に、グループ1に属する複数のユーザ端末2へ、発話音声要求を送信している。
これに対し、発話音声要求を受信したグループ1の各ユーザ端末2は、発話音声を、発話分析装置1へ送信する。
そして、発話分析装置1は、発話音声を受信したグループ1について、発話分析処理によって発話を分析する。その間、発話分析装置1は、次のグループ2の複数のユーザ端末2へ、発話音声要求を送信する。
このように、発話分析装置1は、各ユーザ端末2が収録した音声区間の発話音声を、発話音声受信順序に応じたグループ単位の順番で、アップロードさせる。
そして、発話分析装置1は、全てのグループにおける発話音声の発話分析に基づいて、議論の活性度が低い順にグループを順序付けることができる。
特開2017−27536号公報
グループワークを管理する教師は、グループ毎の分析結果を見ながら、議論が活発でないグループを見出すように観察する。教師としては、できる限り、議論が活発でないグループから順に、その分析結果に応じて指導・助言(アドバイス)を提供したいと考える。
しかしながら、発話分析装置1は、全てのグループにおける多数のユーザの発話音声を収集し、それを音声認識によってテキスト化して発話分析をするために、一定の処理時間を要する。教師に対して発話分析結果を早期に提供されないために、教師も、グループワークの時間内で、議論の活性度の低いグループを優先的に早期に指導・助言をすることができないという課題があった。
図3は、従来技術における発話分析の音声区間を表すシーケンスである。
図3によれば、例えば30分間のグループワーク時間が、例えば5分間の音声区間に区分されている。ユーザ端末2は、グループワークが開始されると、発話音声を収録し始め、音声区間毎に発話音声の収録の開始と終了とを繰り返す。尚、以下では、「音声区間t」と「時刻tの音声区間」とは同意であり、これらは時刻tから始まる音声区間を意味することとする。
ユーザ端末2によれば、音声区間tにおける各グループの発話音声は、音声区間t+1以降にしか送信することができない。また、発話分析装置1が、音声区間tにおける全てのグループの発話音声を順次受信しようとした場合、音声区間t+1を超える場合もある。それら発話音声に対する発話分析処理には、更に処理時間がかかり、音声区間t+2を超える場合もある。発話音声の受信処理と発話分析処理とをパイプラインで処理することができるが、発話時間の長さによって、それら処理時間も増減する。
図3によれば、例えば音声区間の2.5倍程度の処理時間を要している。また、その後、次の音声区間t+1の発話音声の受信を開始するために、更に遅延が大きくなる。
結果的に、教師が、各グループへ指導・助言を検討する時間も遅延し、指導するタイミングを逸するという課題もある。
そこで、本発明は、議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラムを提供することを目的とする。
本発明によれば、連続する所定の音声区間毎にユーザの発話音声を収録する各ユーザ端末へ、発話音声要求を送信し、発話音声データを受信する発話分析装置において、
1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
発話音声データを発話分析する発話分析手段と、
時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析手段に発話分析させる発話音声受信制御手段と、
時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する発話音声受信順序更新手段と
を有することを特徴とする。
本発明の発話分析装置における他の実施形態によれば、
発話音声受信順序更新手段は、各グループの発話音声データから変換されたテキストに基づいて、議論の活性度が低い順にグループの発話音声受信順序を更新する
ことも好ましい。
本発明の発話分析装置における他の実施形態によれば、
発話音声受信順序更新手段は、
予め記憶した理解状態キーワード群及び不理解状態キーワード群を参照して、
テキストに含まれる時系列の各キーワードに対して理解状態か不理解状態かを決定し、両状態の行き来数が少ないグループほど活性度が低いと判定し、その活性度が低い順にグループの発話音声受信順序を更新する
ことも好ましい。
本発明の発話分析装置における他の実施形態によれば、
発話音声受信順序更新手段は、
予め記憶した理解レベル毎のレベルキーワード群を参照して、
テキストに含まれるキーワードを、理解レベルの低いレベルキーワードの一致数の割合が多いグループほど活性度が低いと判定し、その活性度が低い順にグループの発話音声受信順序を更新することも好ましい。
本発明の発話分析装置における他の実施形態によれば、
発話音声受信制御手段について、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数は、発話音声データサイズ及び発話分析処理時間に応じて変化することも好ましい。
本発明の発話分析装置における他の実施形態によれば、
発話音声受信制御手段は、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第1の所定期間変化しない場合、時刻t+1の音声区間を越えても、全てのグループの各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析する
ことも好ましい。
本発明の発話分析装置における他の実施形態によれば、
発話音声受信制御手段は、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第2の所定期間変化しない場合、時刻t+1の音声区間を越えても、受信すべきグループ数を所定数増分して、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析することも好ましい。
本発明の発話分析装置における他の実施形態によれば、
発話音声受信順序更新手段は、時刻t+2の音声区間におけるグループの発話音声受信順序の中で、所定条件に基づくグループを下位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を少なくすることも好ましい。
本発明の発話分析装置における他の実施形態によれば、
発話音声受信順序更新手段における所定条件とは、既に指導済みのグループであって、オペレータ操作によって指示されたグループであることも好ましい。
本発明の発話分析装置における他の実施形態によれば、
発話音声受信順序更新手段における所定条件とは、グループの発話音声受信順序の中で最も活性度が高い(末尾の順序の)グループであることも好ましい。
本発明の発話分析装置における他の実施形態によれば、
発話音声受信順序更新手段は、グループの発話音声受信順序の中で、第3の所定期間以上、発話分析がされていないグループを、グループの発話音声受信順序の上位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を多くすることも好ましい。
本発明の発話分析装置における他の実施形態によれば、
発話音声受信順序更新手段は、時刻tよりも過去の複数の音声区間の累積した発話音声データの発話分析結果に基づいて、時刻t+2におけるグループの発話音声受信順序を更新することも好ましい。
本発明によれば、
前述した発話分析装置と、
ユーザの発話音声を収録する複数のユーザ端末と、
複数のグループを管理する管理者端末と、
複数のユーザ端末へ発話音声要求を送信する通知サーバと
を有するシステムであって、
発話分析装置は、発話音声受信順序を管理者端末へ送信し、
管理者端末は、管理者の操作に応じて、発話音声受信順序に基づくグループ識別子を、通知サーバへ送信し、
通知サーバは、管理者端末から受信したグループ識別子に属する複数のユーザ端末へ発話音声要求を送信し、
発話音声要求を受信した各ユーザ端末は、発話音声を発話分析装置へ送信する
ことを特徴とする。
本発明によれば、連続する所定の音声区間毎にユーザの発話音声を収録する各ユーザ端末へ、発話音声要求を送信し、発話音声データを受信するサーバに搭載されたコンピュータを機能させる発話分析プログラムにおいて、
1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
発話音声データを発話分析する発話分析手段と、
時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析手段に発話分析させる発話音声受信制御手段と、
時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する発話音声受信順序更新手段と
してコンピュータを機能させることを特徴とする。
本発明によれば、連続する所定の音声区間毎にユーザの発話音声を収録する各ユーザ端末へ、発話音声要求を送信し、発話音声データを受信するサーバの発話分析方法において、
サーバは、
1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析する第1のステップと、
時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する第2のステップと
を実行することを特徴とする。
本発明の発話分析装置、システム及びプログラムによれば、議論が活発でないグループの発話音声を逐次優先的に分析することができる。これによって、教師は、グループワークの中で、議論の活性度が低いグループを優先的に認識することでき、早期に指導・助言をすることができる。
グループワークにおけるシステム構成図である。 従来技術におけるシーケンス図である。 従来技術における発話分析の音声区間を表すシーケンスである。 本発明における発話分析の音声区間を表すシーケンスである。 本発明における発話分析装置の機能構成図である。 本発明における発話分析されたグループ数の変化を表すシーケンスである。 理解状態と不理解状態との行き来を表す説明図である。 理解レベル毎のレベルキーワードを表す説明図である。 本発明における発話音声受信順序の入れ替えを表すシーケンスである。 本発明における通知サーバを含むシステム構成図である。 図10のシステムに基づくシーケンス図である。
以下では、本発明の実施形態について、図面を用いて詳細に説明する。
図4は、本発明における発話分析の音声区間を表すシーケンスである。
本発明によれば、1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの「発話音声受信順序」が設定されている。発話音声受信順序は、グループ内の議論の活性化の判定指標に基づくものである。図4によれば、図3と比較して、以下のように各音声区間が進行する。
(時刻tの音声区間)
各ユーザ端末2は、ユーザの発話音声を収録する。
(時刻t+1の音声区間)
発話分析装置1は、時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末2へ発話音声要求を送信し、各ユーザ端末2から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析する。そして、発話分析装置1は、時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する。
また、ユーザ端末2は、ユーザの発話音声の収録を継続している。
(時刻t+2の音声区間)
発話分析装置1は、時刻t+2の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末2へ発話音声要求を送信し、各ユーザ端末2から時刻t+1の音声区間の発話音声データを受信し、当該発話音声データを発話分析する。そして、発話分析装置1は、時刻t+2の音声区間に発話分析が完了した時刻t+1の音声区間の発話音声データの発話分析結果に基づいて、時刻t+3の音声区間におけるグループの発話音声受信順序を更新する。
また、ユーザ端末2は、ユーザの発話音声の収録を継続している。
このように、時刻t+3以降の音声区間でも、前述した処理を繰り返す。
ここで、同じ音声区間であっても、グループの発話音声受信順序に応じて、発話音声を受信し且つ発話分析するグループ数は、発話音声データサイズ及び発話分析処理時間に応じて変化する。
これによって、発話分析装置1は、全てのグループの発話音声データを無秩序に収集して分析するのではなく、時刻tの音声区間における発話音声の分析に基づく、議論の活性度が低いグループの発話音声受信順序を、時刻t+2の音声区間の開始時刻に、教師へ明示することができる。教師は、議論の活性度が低いグループを認識し、指導することができる。
図5は、本発明における発話分析装置の機能構成図である。
各ユーザ端末2は、発話音声蓄積部と、発話音声送信部とを有する。
発話音声蓄積部は、連続する所定の音声区間毎に、ユーザによって発話された発話音声を収録する。
発話音声送信部は、発話分析装置1から発話音声要求を受信した際に、その直前の音声区間の発話音声データを送信する。また、発話音声要求と共に、要求された音声区間の開始時刻を受信した場合には、同時刻から始まる音声区間の発話音声データを送信するようにしてもよい。
発話分析装置1は、1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序(議論の活性度が低い順)を記憶している。
そして、発話分析装置1は、発話音声受信順序の上位(議論の活性度が低い)のグループに属するユーザ端末2から順に、その発話音声データをアップロードさせる。「発話音声データ」は、デジタル信号に変換された音声信号そのものであってもよいし、ユーザ端末2が音声認識処理したテキストであってもよい。
発話分析装置1は、グループ毎に発話音声データに対する発話分析処理を実行し、その分析結果となる発話音声受信順序を更新する。
図5によれば、発話分析装置1は、発話分析部10と、発話音声受信順序制御部11と、発話音声受信順序更新部12とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の発話分析方法としても理解できる。
[発話分析部10]
発話分析部10は、発話音声データを発話分析する。尚、ユーザ端末2からの発話音声データが音声信号そのものであった場合には、発話分析処理の前に、音声認識処理によりテキストに変換してもよい。
[発話音声受信制御部11]
発話音声受信制御部11は、時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析部10に発話分析させる。
図6は、本発明における発話分析されたグループ数の変化を表すシーケンスである。
図6(a)は、<発話分析されるグループ数の変化>を表す。
図6(b)は、<グループ数が変化しない場合における発話音声受信順序のリセット>を表す。
図6(c)は、<グループ数が変化しない場合における発話分析されるグループ数の増分>を表す。
<発話分析されるグループ数の変化:図6(a)>
時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数は、発話音声データサイズ及び発話分析処理時間に応じて変化する。
(音声区間t終了時の発話音声受信順序)
グループA、B、C、D、E、F、G、H、I、Jの順であったとする。
(音声区間t+1終了時の発話音声受信順序)
音声区間t+1内で、上位5つのグループ(A、B、C、D、E)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+2における発話音声受信順序としてグループB、C、D、E、Aの順に更新されている。
(音声区間t+2終了時の発話音声受信順序)
音声区間t+2内で、上位3つのグループ(B、C、D)の発話音声データを受信できたとする。このとき、これら3つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+3における発話音声受信順序としてグループD、B、Cの順に更新されている。
(音声区間t+3終了時の発話音声受信順序)
音声区間t+3内で、上位7つのグループ(D、B、C、E、A、F、G)の発話音声データを受信できたとする。このとき、これら7つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+4における発話音声受信順序としてグループD、B、G、C、E、A、Fの順に更新されている。
(音声区間t+4終了時の発話音声受信順序)
音声区間t+4内で、上位5つのグループ(D、B、G、C、E)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+5における発話音声受信順序としてグループB、D、C、E、Gの順に更新されている。
このように、音声区間毎に発話音声データを収集し且つ発話分析を繰り返すことによって、議論の活性度が低いグループの順番は変動する。
<グループ数が変化しない場合における発話音声受信順序のリセット:図6(b)>
時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第1の所定期間変化しない場合、時刻t+1の音声区間を越えても、「全て」のグループの各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析する。
前述した図6(a)によれば、発話音声受信順序の上位のグループのみについてその順序が更新され、下位のグループについてはその順番が更新されないという不都合が生じる。例えば、議論の活性度が高いグループであっても、その後、その活性度が低下する場合もある。
そこで、図6(b)によれば、発話分析するグループ数が、第1の所定期間(例えば20分間)変化しない場合、発話音声受信順序を強制的にリセットする。但し、その場合、発話分析装置1は、全てのグループの発話音声データを受信するために、発話音声受信順序の提供は、一時的に遅れることになる。
ここでは、第1の所定期間を20分間(4個の音声区間)とする。
(音声区間t終了時の発話音声受信順序)
グループA、B、C、D、E、F、G、H、I、Jの順であったとする。
(音声区間t+1終了時の発話音声受信順序)
音声区間t+1内で、上位5つのグループ(A、B、C、D、E)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、グループB、C、D、E、Aの順に更新されている。
(音声区間t+2終了時の発話音声受信順序)
音声区間t+2内で、上位5つのグループ(B、C、D、E、A)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、グループB、D、C、E、Aの順に更新されている。
(音声区間t+3終了時の発話音声受信順序)
音声区間t+3内で、上位5つのグループ(B、D、C、E、A)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、グループB、C、D、E、Aの順に更新されている。
(音声区間t+4終了時の発話音声受信順序)
音声区間t+4内で、上位5つのグループ(B、C、D、E、A)の発話音声データを受信できたとする。発話分析するグループ数(5)が、20分間、変化がなかったために、発話音声受信順序をリセットする。
発話分析装置1は、全てのグループの発話音声データを受信し、ここでは、グループB、D、C、E、J、G、F、I、A、Hの順に更新されている。発話音声受信順序の更新処理には、音声区間t+4を超える場合もある。
<グループ数が変化しない場合における発話分析されるグループ数の増分:図6(c)>
時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第2の所定期間変化しない場合、時刻t+1の音声区間を越えても、受信すべきグループ数を所定数増分して、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析する。
ここでは、第2の所定期間を20分間(4個の音声区間)とする。
また、音声区間t〜t+3終了時の発話音声受信順序は、前述した図6(b)と全く同様である。
(音声区間t+4終了時の発話音声受信順序)
音声区間t+4内で、上位5つのグループ(B、C、D、E、A)の発話音声データを受信できたとする。発話分析するグループ数(5)が、20分間、変化がなかったために、受信すべきグループ数を2グループ(所定数)増分する。
発話分析装置1は、上位7つのグループの発話音声データを受信し、ここでは、グループB、D、C、E、G、F、Aの順に更新されている。発話音声受信順序の更新処理には、音声区間t+4を超える場合もある。
[発話音声受信順序更新部12]
発話音声受信順序更新部12は、時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声 データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する。
発話音声受信順序更新部12は、各グループの発話音声データから変換されたテキストに基づいて、議論の活性度が低い順にグループの発話音声受信順序を更新する。
議論の活性度に基づく発話音声受信順序は、例えば以下の2つの方法で算出することができる。
<理解状態と不理解状態との行き来数の活性度に基づく発話音声受信順序の算出>
<理解レベルのレベルキーワードの活性度に基づく発話音声受信順序の算出>
<その他の発話音声受信順序の算出>
<理解状態と不理解状態との行き来数の活性度に基づく発話音声受信順序の算出:図7>
発話音声受信順序更新部12は、予め記憶した理解状態キーワード群及び不理解状態キーワード群を参照する。
図7は、理解状態と不理解状態との行き来を表す説明図である。
図7によれば、理解状態キーワード群及び不理解状態キーワード群が登録されている。そして、発話音声受信順序更新部12は、テキストに含まれる時系列の各キーワードに対して理解状態か不理解状態かを決定し、両状態の行き来数が少ないグループほど活性度が低いと判定し、その活性度が低い順に、グループの発話音声受信順序を更新する
理解状態と不理解状態との間の行き来数によってグループの活性度を算出する技術の有効性については、学習科学理論の論文にも開示されている(例えば非特許文献1参照)。
<理解レベルのレベルキーワードの活性度に基づく発話音声受信順序の算出:図8>
発話音声受信順序更新部12は、予め記憶した理解レベル毎のレベルキーワード群を参照する。
図8は、理解レベル毎のレベルキーワードを表す説明図である。
図8によれば、学習科目「理科」の「雲はどのようにしてできるのか」について、発話音声に含まれるであろう理解レベル毎のレベルキーワードが表されている。
レベル1:実験に関するキーワード
レベル2:実験結果の検討に関するキーワード
レベル3:雲のでき方の考察として重要なキーワード
発話音声受信順序更新部12は、テキストに含まれるキーワードを、理解レベルの低いレベルキーワードの一致数の割合が多いグループほど活性度が低いと判定し、グループの発話音声受信順序を更新する。
勿論、議論の活性度を算出するために、単純に、理解レベルのキーワード数を用いたものであってもよい。
また、レベルキーワードのテーブルを参照して、ユーザの発話音声に含まれるキーワードを抽出し、そのキーワードのレベルに応じて重み付け積算したものであってもよい。
活性度=ΣKn・Leveln
Kn:発話テキストからのキーワードnの抽出数
Leveln:キーワードnのレベル(重要度)
<その他の発話音声受信順序の算出>
発話音声受信順序更新部12は、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する。他の実施形態として、例えば以下のようなものを想定することができる。
(発話音声のテキストの合計文字数に基づく発話音声受信順序の算出)
(発話音声のテキストの平均文字数に基づく発話音声受信順序の算出)
(発話音声のテキストの長文文字数に基づく発話音声受信順序の算出)
(発話音声のテキストの長文文字数の割合に基づく発話音声受信順序の算出)
(発話音声のテキストの合計文字数に基づく発話音声受信順序の算出)
発話音声受信順序は、各グループにおける複数のユーザの発話音声のテキストの合計文字数が少ない順である。これは、グループ内の議論が活発でないために、発話音声のテキストの合計文字数が少ないことを意味する。
(発話音声のテキストの平均文字数に基づく発話音声受信順序の算出)
発話音声受信順序は、各グループにおける複数のユーザの発話音声のテキストの平均文字数が少ない順である。
平均文字数=音声区間の合計文字数/発話回数
平均文字数が短いほど、相づち(うん)、つなぎ言葉(それで)、賛成(はい)、質問・否定(なんで)など、自分の意見を話していない場合が多い。一方で、平均文字数が長いほど、自分の意見、説明、内容のある話をしている場合が多い。
グループ内の議論が活発でないために、平均文字数が短いことを意味する。
(発話音声のテキストの長文文字数に基づく発話音声受信順序の算出)
発話音声受信順序は、各グループにおける複数のユーザの発話音声のテキストについて、所定文字数以上となる「長文文字数」が少ない順である。
長文文字数が少ないほど、相づち、つなぎ言葉、賛成、質問・否定など、自分の意見を話していない場合が多い。一方で、長文文字数が多いほど、自分の意見、説明、内容のある話をしている場合が多い。
グループ内の議論が活発でないために、長文文字数が少ないことを意味する。
(発話音声のテキストの長文文字数の割合に基づく発話音声受信順序の算出)
発話音声受信順序は、各グループにおける複数のユーザの発話音声のテキストについて、所定文字数よりも短い「短文文字数」に対する、所定閾値文字数以上となる「長文文字数」の割合が小さい順である。
割合=長文文字数/短文文字数
この割合が小さいほど、相づち、つなぎ言葉、賛成、質問・否定など、自分の意見を話していない場合が多い。一方で、この割合が大きいほど、自分の意見、説明、内容のある話をしている場合が多い。
グループ内の議論が活発でないために、この割合が小さいことを意味する。
図9は、本発明における発話音声受信順序の入れ替えを表すシーケンスである。
図9(a)は、指導済みのグループを下位へ移行させるシーケンスである。
図9(b)は、活性度が高いグループを下位へ移行させるシーケンスである。
他の実施形態として、例えば以下の3つの方法もある。
<発話音声受信順序の上位順のグループを下位へ移行させる順序の更新>
{指導済みのグループを下位へ移行させる実施形態:図9(a)}
{活性度が高いグループを下位へ移行させる実施形態:図9(b)}
{長期間、発話分析されていないグループを上位へ移行させる実施形態}
<過去複数の音声区間の累積した発話分析>
<ユーザに基づく発話音声受信順序の決定>
<発話音声受信順序の上位順のグループを下位へ移行させる順序の更新>
発話音声受信順序更新部12は、時刻t+2の音声区間におけるグループの発話音声受信順序の中で、所定条件に基づくグループを下位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を少なくする。これによって、発話音声受信順序をあえて変更するものである。
{指導済みのグループを下位へ移行させる実施形態:図9(a)}
発話音声受信順序更新部12における「所定条件」とは、既に指導済みのグループであって、オペレータ操作によって指示されたグループであってもよい。
教師としては、既に指導したグループでなく、まだ指導しておらず且つ議論の活性度が低いグループに対して、指導したい考える場合がある。その場合、指導済みのグループを、教師の入力によって発話分析装置1に登録する。発話分析装置1は、発話音声受信順序の中で、指導済みのグループを下位へ移行させる。
(音声区間t終了時の発話音声受信順序)
グループA、B、C、D、E、F、G、H、I、Jの順であったとする。
(音声区間t+1終了時の発話音声受信順序)
音声区間t+1内で、音声区間tの上位5つのグループ(A、B、C、D、E)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+2における発話音声受信順序としてグループB、C、D、E、Aの順に更新されている。
ここで、教師は、グループBに対して、指導をしたとする。その場合、グループBを、発話音声受信順序の末尾へ移行させる。結果的に、音声区間t+2における発話音声受信順序としてグループC、D、E、A、Fの順に更新されている。
(音声区間t+2終了時の発話音声受信順序)
音声区間t+2内で、音声区間t+1の上位3つのグループ(C、D、E)の発話音声データを受信できたとする。このとき、これら3つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+3における発話音声受信順序としてグループD、C、Eの順に更新されている。
ここで、教師は、グループDに対して、指導をしたとする。その場合、グループDを、発話音声受信順序の末尾へ移行させる。結果的に、音声区間t+3における発話音声受信順序としてグループC、E、Aの順に更新されている。
(音声区間t+3終了時の発話音声受信順序)
音声区間t+3内で、音声区間t+2の上位7つのグループ(C、E、A、F、H、G、I)の発話音声データを受信できたとする。このとき、これら7つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+4における発話音声受信順序としてグループE、C、A、F、H、G、Iの順に更新されている。
ここで、教師は、グループEに対して、指導をしたとする。その場合、グループEを、発話音声受信順序の末尾へ移行させる。結果的に、音声区間t+4における発話音声受信順序としてグループC、A、F、H、G、I、Jの順に更新されている。
(音声区間t+4終了時の発話音声受信順序)
音声区間t+4内で、音声区間t+3の上位5つのグループ(C、A、F、H、G)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+5における発話音声受信順序としてグループC、F、A、H、Gの順に更新されている。
{活性度が高いグループを下位へ移行させる実施形態:図9(b)}
発話音声受信順序更新部12における「所定条件」とは、グループの発話音声受信順序の中で最も活性度が高い(末尾の順序の)グループである。発話音声受信順序の末尾のグループは、発話音声がアップロードされる頻度が最も少ないためである。
(音声区間t終了時の発話音声受信順序)
グループA、B、C、D、E、F、G、H、I、Jの順であったとする。
(音声区間t+1終了時の発話音声受信順序)
音声区間t+1内で、上位5つのグループ(A、B、C、D、E)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+2における発話音声受信順序としてグループB、C、D、E、Aの順に更新されている。
ここで、発話音声受信順序について、グループAを末尾へ移行させ、グループJと入れ替える。結果的に、音声区間t+2における発話音声受信順序としてグループB、C、D、E、Aの順に更新されている。
(音声区間t+2終了時の発話音声受信順序)
音声区間t+2内で、上位3つのグループ(B、C、D)の発話音声データを受信できたとする。このとき、これら3つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+3における発話音声受信順序としてグループD、B、Cの順に更新されている。
ここで、発話音声受信順序について、グループCを末尾へ移行させ、グループIと入れ替える。結果的に、音声区間t+3における発話音声受信順序としてグループD、B、Iの順に更新されている。
(音声区間t+3終了時の発話音声受信順序)
音声区間t+3内で、上位7つのグループ(D、B、I、E、J、F、G)の発話音声データを受信できたとする。このとき、これら7つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+4における発話音声受信順序としてグループD、B、E、G、I、J、Fの順に更新されている。
ここで、発話音声受信順序について、グループFを末尾へ移行させ、グループHと入れ替える。結果的に、音声区間t+4における発話音声受信順序としてグループD、B、E、G、I、J、Hの順に更新されている。
(音声区間t+4終了時の発話音声受信順序)
音声区間t+4内で、上位5つのグループ(D、B、E、G、I)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+5における発話音声受信順序としてグループB、D、E、G、Iの順に更新されている。
{長期間、発話分析されていないグループを上位へ移行させる実施形態}
発話音声受信順序更新部12は、グループの発話音声受信順序の中で、第3の所定期間(例えば25分)以上、発話分析がされていないグループを、グループの発話音声受信順序の上位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を多くする。
<過去複数の音声区間の累積した発話分析>
発話音声受信順序更新部12は、時刻tよりも過去複数の音声区間の累積した発話音声データの発話分析結果に基づいて、時刻t+2におけるグループの発話音声受信順序を更新する。
前述の実施形態によれば、発話分析は、時刻tだけ過去の音声区間における発話音声に基づいて発話分析される。しかしながら、グループワークは一時的ではなく、議論の時間は継続しており、その変化を加味して議論の活性度を把握することが好ましい。
そのために、過去複数の音声区間の発話音声データの平均活性度を用いる。
A=1/n Σi nA,i
n:過去の音声区間の数
i:過去の音声区間
A,i:音声区間iの発話音声データの平均活性度
A:過去複数の音声区間の発話音声データの活性度
これよって、議論の活性度の一時的な変動を吸収し、大きな議論の流れの中で、発話音声データを分析することができる。
<ユーザに基づく発話音声受信順序の決定>
前述した実施形態では、グループ単位のユーザ端末に対して指導・助言を行う場合につて説明した。勿論、ユーザ端末単位であってもよい。即ち、1つユーザ端末を含む1つのグループを構成することによって、前述した実施形態を実現することができる。これによって、発話音声受信順序は、各ユーザの議論の活性度が低い順に並ぶこととなる。
1つのグループの中でも、議論の活性度が低いユーザの発話音声が早期にアップロードされ、そのユーザに対して教師は、指導・助言をすることができる。
図10は、本発明における通知サーバを含むシステム構成図である。
図10によれば、図5と比較して、管理者端末3と、通知サーバ5とを更に有する。
発話分析装置1の発話音声受信順序更新部12は、更新した発話音声受信順序を、管理者端末3へ送信する。
管理者端末3は、グループワークの教師によって操作されるものであり、複数のグループを管理する。管理者端末3は、発話分析装置1から発話受信順序を受信し、その発話受信順序を管理者(教師)へ明示する。そして、管理者の操作に応じて、発話音声受信順序に基づくグループID、及び、そのグループIDに含まれるユーザ端末IDを、通知サーバ5及び発話分析装置1へ送信する。尚、この際に、管理者の操作に応じて、指導済みのグループIDを同時に送信してもよい。
通知サーバ5は、管理者端末3から受信したグループIDに属する複数のユーザ端末2へ、複数のユーザ端末へ発話区間に対応した発話音声要求を、プッシュ的に送信する。
図11は、図10のシステムに基づくシーケンス図である。
(S1)発話分析装置1は、グループ毎に複数のユーザ端末から複数の発話音声データを受信する。そして、時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声 データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する。
(S2)発話分析装置1は、当該発話音声受信順序を管理者端末3へ送信する。
(S3)管理者端末3は、管理者の操作に応じて、発話音声受信順序に基づくグループ識別子を、通知サーバ5及び発話分析装置1へ送信する。
(S4)通知サーバ5が、管理者端末から受信したグループ識別子に属する複数のユーザ端末へ発話区間に対応した発話音声要求を送信する。
これに対し、発話音声要求を受信した各ユーザ端末は、発話音声を発話分析装置へ送信する。
前述した図2のシーケンスによれば、発話分析装置1が、ユーザ端末2へ発話音声要求を送信している。しかしながら、例えばHTTP(HyperText Transfer Protocol)の場合、クライアント(ユーザ端末にインストールされたブラウザアプリケーション)がサーバ(発話分析装置)へリクエストを送信し、当該サーバからクライアントへレスポンスを返信する要求応答型のPull方式となる。そのために、発話分析装置1が、例えばスマートフォンのようなユーザ端末2へ、プッシュ的に送信することが難しい。
これに対し、図11のシーケンスによれば、図2のシーケンスと比較して、ユーザ端末2から発話音声を受信し且つ分析する発話分析装置1と、ユーザ端末2へ発話音声要求を送信する通知サーバ5とに分担して実現している。
通知サーバ5におけるプッシュ的な情報送信機能として、例えば、JavaScript(登録商標)のWeb Notification APIや、Google(登録商標)のFirebase Notification(登録商標)、Apple(登録商標)のPush Notificationなどがある。これらのAPI(Application Programming Interface)に対応したアプリケーションを、ユーザ端末2にインストールしておくことによって、サーバプッシュを実現することができる。
<通知サーバ5による他の実施形態>
図10及び図11のシステムによれば、管理者端末3からの指示によって、通知サーバ5を用いて、ユーザ端末2に対する様々な制御を実行することができる。
ここで、ユーザ端末2は、専用の発話収録アプリケーションをインストールしており、管理者端末3も、専用の教師制御アプリケーションをインストールしている。
ユーザ端末2の発話収録アプリケーションは、初期設定として固有の端末IDを生成し、その端末ID及びグループIDを発話分析装置1へ予め登録する。そして、発話収録アプリケーションは、通知サーバ5から受信する指示情報を解読し、それに応じて機能を発動することができる。
管理者端末3の教師制御アプリケーションは、発話分析装置1から受信したグループID及び端末IDを、ディスプレイによって管理者へ明示する。そして、教師制御アプリケーションは、グループID毎又は端末ID毎に、ユーザ端末2に対して通知サーバ2を介して指示情報を送信することができる。
具体的には、以下のような他の実施形態を実現することもできる。
[第1の他の実施形態:ユーザ端末2に対する発話収録の開始/終了の制御]
管理者端末3からの指示情報によって、通知サーバ5は、ユーザ端末2の音声区間の開始/終了を同期させる。グループワークを時系列で正確に発話分析するためには、複数のユーザ端末2における音声区間を同期させることが必要となる。
管理者端末3は、管理者における発話収録の開始/終了のボタン操作によって、全てのユーザ端末IDを含む音声区間同期要求(開始/終了)が、通知サーバ5へ送信される。
これに対して、通知サーバ5は、複数のユーザ端末2へ同報的に、音声区間同期要求(開始/終了)を送信する。
音声区間同期要求(開始/終了)を受信したユーザ端末2は、グループワーク時間における発話音声の収録を開始し又は終了する。
これによって、グループワーク時間及び音声区間を、全てのユーザ端末2について同期させることでき、収録の時間差が無くなり、時系列に正確な発話分析をすることができる。
[第2の他の実施形態:ユーザ端末2の音声区間の時間幅/区切りタイミングの制御]
管理者端末3からの指示情報によって、通知サーバ5は、ユーザ端末2の音声区間の時間幅/区切りタイミングを制御する。これによって、固定的な音声区間ではなく、グループワークの内容に応じて音声区間を可変制御することができる。
制御可能なものとしては、音声区間の時間幅(例えば5分間->10分間)、又は、区切りタイミング(例えば11:05、11:15、11:20など)がある。
例えば最初は、音声区間の時間幅を長くしてグループワークの発話状況を分析し、その後、音声区間の時間幅を短くしてグループワークの発話状況を分析する。これによって、教師の必要に応じて、発話音声の分析結果に応じてアドバイスを提供することができる。
[第3の他の実施形態:ユーザ端末2の起動状態の認識]
管理者端末3からの指示情報によって、通知サーバ5は、ユーザ端末2の電源ON/OFFを確認する。
管理者端末3は、管理者における起動確認のボタン操作によって、全てのユーザ端末IDを含む起動確認要求が、通知サーバ5へ送信される。
これに対して、通知サーバ5は、複数のユーザ端末2へ同報的に、起動確認要求を送信する。
起動確認要求を受信したユーザ端末2は、起動応答を発話分析装置1へ送信する。
発話分析装置1は、起動応答を受信した端末IDのリストを、管理者端末3へ送信する。
これによって、管理者端末3は、端末IDのリストを管理者へ明示し、管理者は起動中の端末IDを認識することができる。これは、欠席者の確認にも利用できる。
前述で詳細に説明したように、本発明の発話分析装置、システム及びプログラムによれば、議論が活発でないグループの発話音声を逐次優先的に分析することができる。これによって、教師は、グループワークの中で、議論の活性度が低いグループを優先的に認識することでき、早期に指導・助言をすることができる。
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
1 発話分析装置
10 発話分析部
11 発話音声受信順序制御部
12 発話音声受信順序更新部
2 ユーザ端末
3 管理者端末
4 アクセスポイント
5 通知サーバ

Claims (15)

  1. 連続する所定の音声区間毎にユーザの発話音声を収録する各ユーザ端末へ、発話音声要求を送信し、発話音声データを受信する発話分析装置において、
    1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
    前記発話音声データを発話分析する発話分析手段と、
    時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを前記発話分析手段に発話分析させる発話音声受信制御手段と、
    時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する発話音声受信順序更新手段と
    を有することを特徴とする発話分析装置。
  2. 前記発話音声受信順序更新手段は、各グループの発話音声データから変換されたテキストに基づいて、議論の活性度が低い順にグループの発話音声受信順序を更新する
    ことを特徴とする請求項1に記載の発話分析装置。
  3. 前記発話音声受信順序更新手段は、
    予め記憶した理解状態キーワード群及び不理解状態キーワード群を参照して、
    前記テキストに含まれる時系列の各キーワードに対して理解状態か不理解状態かを決定し、両状態の行き来数が少ないグループほど活性度が低いと判定し、その活性度が低い順にグループの発話音声受信順序を更新する
    ことを特徴とする請求項2に記載の発話分析装置。
  4. 前記発話音声受信順序更新手段は、
    予め記憶した理解レベル毎のレベルキーワード群を参照して、
    前記テキストに含まれるキーワードを、理解レベルの低いレベルキーワードの一致数の割合が多いグループほど活性度が低いと判定し、その活性度が低い順にグループの発話音声受信順序を更新する
    ことを特徴とする請求項2に記載の発話分析装置。
  5. 前記発話音声受信制御手段について、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数は、発話音声データサイズ及び発話分析処理時間に応じて変化する
    ことを特徴とする請求項1から4のいずれか1項に記載の発話分析装置。
  6. 前記発話音声受信制御手段は、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第1の所定期間変化しない場合、時刻t+1の音声区間を越えても、全てのグループの各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析する
    ことを特徴とする請求項5に記載の発話分析装置。
  7. 前記発話音声受信制御手段は、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第2の所定期間変化しない場合、時刻t+1の音声区間を越えても、受信すべきグループ数を所定数増分して、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析する
    ことを特徴とする請求項5に記載の発話分析装置。
  8. 前記発話音声受信順序更新手段は、時刻t+2の音声区間におけるグループの発話音声受信順序の中で、所定条件に基づくグループを下位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を少なくする
    ことを特徴とする請求項1から6のいずれか1項に記載の発話分析装置。
  9. 前記発話音声受信順序更新手段における前記所定条件とは、既に指導済みのグループであって、オペレータ操作によって指示されたグループである
    ことを特徴とする請求項8に記載の発話分析装置。
  10. 前記発話音声受信順序更新手段における前記所定条件とは、グループの発話音声受信順序の中で最も活性度が高い(末尾の順序の)グループである
    ことを特徴とする請求項8に記載の発話分析装置。
  11. 前記発話音声受信順序更新手段は、グループの発話音声受信順序の中で、第3の所定期間以上、発話分析がされていないグループを、グループの発話音声受信順序の上位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を多くする
    ことを特徴とする請求項8から10のいずれか1項に記載の発話分析装置。
  12. 前記発話音声受信順序更新手段は、時刻tよりも過去の複数の音声区間の累積した発話音声データの発話分析結果に基づいて、時刻t+2におけるグループの発話音声受信順序を更新する
    ことを特徴とする請求項1から11のいずれか1項に記載の発話分析装置。
  13. 請求項1から12のいずれか1項に記載の発話分析装置と、
    ユーザの発話音声を収録する複数のユーザ端末と、
    複数のグループを管理する管理者端末と、
    複数のユーザ端末へ発話音声要求を送信する通知サーバと
    を有するシステムであって、
    前記発話分析装置は、前記発話音声受信順序を前記管理者端末へ送信し、
    前記管理者端末は、管理者の操作に応じて、前記発話音声受信順序に基づくグループ識別子を、前記通知サーバへ送信し、
    前記通知サーバは、前記管理者端末から受信した前記グループ識別子に属する複数のユーザ端末へ前記発話音声要求を送信し、
    前記発話音声要求を受信した各ユーザ端末は、発話音声を前記発話分析装置へ送信する
    ことを特徴とするシステム。
  14. 連続する所定の音声区間毎にユーザの発話音声を収録する各ユーザ端末へ、発話音声要求を送信し、発話音声データを受信するサーバに搭載されたコンピュータを機能させる発話分析プログラムにおいて、
    1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
    前記発話音声データを発話分析する発話分析手段と、
    時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを前記発話分析手段に発話分析させる発話音声受信制御手段と、
    時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する発話音声受信順序更新手段と
    してコンピュータを機能させることを特徴とする発話分析プログラム。
  15. 連続する所定の音声区間毎にユーザの発話音声を収録する各ユーザ端末へ、発話音声要求を送信し、発話音声データを受信するサーバの発話分析方法において、
    前記サーバは、
    1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
    時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析する第1のステップと、
    時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する第2のステップと
    を実行することを特徴とするサーバの発話分析方法。

JP2017184207A 2017-09-25 2017-09-25 議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム Active JP6737754B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017184207A JP6737754B2 (ja) 2017-09-25 2017-09-25 議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017184207A JP6737754B2 (ja) 2017-09-25 2017-09-25 議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2019060990A true JP2019060990A (ja) 2019-04-18
JP6737754B2 JP6737754B2 (ja) 2020-08-12

Family

ID=66177320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017184207A Active JP6737754B2 (ja) 2017-09-25 2017-09-25 議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム

Country Status (1)

Country Link
JP (1) JP6737754B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025792A (ja) * 2007-07-20 2009-02-05 Korea Electronics Telecommun 小グループ討論サービスを支援する遠隔教育システム及び方法
JP2016162339A (ja) * 2015-03-04 2016-09-05 Kddi株式会社 グループ毎の討論の活性化を推定するプログラム、端末及びシステム
JP2017009826A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 グループ状態判定装置およびグループ状態判定方法
JP2019022131A (ja) * 2017-07-19 2019-02-07 Kddi株式会社 グループ毎に発話音声を受信する発話音声収集方法、システム、発話分析サーバ及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025792A (ja) * 2007-07-20 2009-02-05 Korea Electronics Telecommun 小グループ討論サービスを支援する遠隔教育システム及び方法
JP2016162339A (ja) * 2015-03-04 2016-09-05 Kddi株式会社 グループ毎の討論の活性化を推定するプログラム、端末及びシステム
JP2017009826A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 グループ状態判定装置およびグループ状態判定方法
JP2019022131A (ja) * 2017-07-19 2019-02-07 Kddi株式会社 グループ毎に発話音声を受信する発話音声収集方法、システム、発話分析サーバ及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
益川弘如 他: ""建設的相互作用経験の蓄積が協調的問題解決能力の育成につながるか −縦断的な発話データを用いた能力発", 認知科学, vol. 23, no. 3, JPN6020023228, 1 September 2016 (2016-09-01), pages 237 - 254, ISSN: 0004298230 *

Also Published As

Publication number Publication date
JP6737754B2 (ja) 2020-08-12

Similar Documents

Publication Publication Date Title
US20200127865A1 (en) Post-conference playback system having higher perceived quality than originally heard in the conference
US10057707B2 (en) Optimized virtual scene layout for spatial meeting playback
US10522151B2 (en) Conference segmentation based on conversational dynamics
US10516782B2 (en) Conference searching and playback of search results
US11076052B2 (en) Selective conference digest
JP6078964B2 (ja) 音声対話システム及びプログラム
JP6084654B2 (ja) 音声認識装置、音声認識システム、当該音声認識システムで使用される端末、および、話者識別モデルを生成するための方法
KR20190120353A (ko) 음성 인식 방법, 디바이스, 장치, 및 저장 매체
JP2016057986A (ja) 音声翻訳装置、方法およびプログラム
US20180190266A1 (en) Conference word cloud
JP5217109B2 (ja) オペレータ教育支援プログラム、オペレータ教育支援方法及びオペレータ教育支援装置
JP2006171719A (ja) 対話型情報システム
JP2014510942A (ja) ハイブリッド型クライアントサーバ音声認識
US20200296498A1 (en) Server and system for controlling smart microphone
JPWO2018043138A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
JP2018129068A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018045531A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019060990A (ja) 議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム
US11790913B2 (en) Information providing method, apparatus, and storage medium, that transmit related information to a remote terminal based on identification information received from the remote terminal
JP6755220B2 (ja) グループ毎に発話音声を受信する発話音声収集方法、システム、発話分析サーバ及びプログラム
CN110196900A (zh) 用于终端的交互方法和装置
JP6820647B2 (ja) 議論の活性化のために適切な指導タイミングを発動させる装置、プログラム及び方法
JP6783029B2 (ja) 研修におけるユーザ同士の議論内容を分析する装置、プログラム及び方法
JP2018049140A (ja) 音声分析プログラム、音声分析装置、及び音声分析方法
JP6523974B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200716

R150 Certificate of patent or registration of utility model

Ref document number: 6737754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150