JP2019060990A - 議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム - Google Patents
議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム Download PDFInfo
- Publication number
- JP2019060990A JP2019060990A JP2017184207A JP2017184207A JP2019060990A JP 2019060990 A JP2019060990 A JP 2019060990A JP 2017184207 A JP2017184207 A JP 2017184207A JP 2017184207 A JP2017184207 A JP 2017184207A JP 2019060990 A JP2019060990 A JP 2019060990A
- Authority
- JP
- Japan
- Prior art keywords
- speech
- voice
- group
- utterance
- reception order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 191
- 230000000694 effects Effects 0.000 claims description 62
- 238000012545 processing Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 15
- 230000001174 ascending effect Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
グループワーク形式は、例えば3〜4人で1つのグループを構成し、知識を交換し合いながら、課題の解決に向かって創造的に議論を続ける協働学習に基づくものである。ここで、グループワークを管理する教師は、議論が活発でないグループに対しては、有効なアドバイスを提案する必要がある。
例えば、発話分析装置が、全てのグループにおける各ユーザの発話音声を収集し、その発話音声を音声認識処理によってテキスト化し、発話分析処理によってその分析結果を教師へ提供する技術がある(例えば特許文献1参照)。教師は、グループ毎の分析結果を見ながら、学習状況を観察することができる。
ユーザ端末2は、各ユーザによって保持又は装着されるマイク装置であって、具体的には、当該ユーザの発話音声を収録するスマートフォンのようなものである。
管理者端末3は、発話分析装置1からグループ毎の分析結果を取得し、教師へ明示する。
アクセスポイント4は、一方をWAN(Wide Area Network)に接続し、他方をLAN(Local Area Network)に接続し、そのLANを介して複数のユーザ端末2を収容する。アクセスポイント4とユーザ端末2との間のネットワークは、無線/有線LANであってもよいし、Bluetooth(登録商標)や事業者アクセスネットワークであってもよい。
特に、同じ室内で同時に多数のユーザによるグループワークが実施された場合、アクセスポイント4の配下に多数のユーザ端末2が接続されることとなる。この場合、無線LANの伝送容量が不足すると共に、ユーザ端末2から発話分析装置1への発話音声のデータがアクセスポイント4に集中し、その結果、輻輳が生じやすくなる。
そのために、発話分析装置1は、ユーザ端末2から発話音声を受信する順序を決定しておくことが好ましい。ユーザ端末2は、グループ単位で、発話音声をアクセスポイント4を介して発話分析装置1へアップロードすることによって、LAN内で輻輳が生じることもない。
発話分析装置1は、グループ単位で、複数のユーザ端末2へ発話音声要求を送信する。
これに対し、発話音声要求を受信したグループ1の各ユーザ端末2は、発話音声を、発話分析装置1へ送信する。
そして、発話分析装置1は、発話音声を受信したグループ1について、発話分析処理によって発話を分析する。その間、発話分析装置1は、次のグループ2の複数のユーザ端末2へ、発話音声要求を送信する。
このように、発話分析装置1は、各ユーザ端末2が収録した音声区間の発話音声を、発話音声受信順序に応じたグループ単位の順番で、アップロードさせる。
そして、発話分析装置1は、全てのグループにおける発話音声の発話分析に基づいて、議論の活性度が低い順にグループを順序付けることができる。
しかしながら、発話分析装置1は、全てのグループにおける多数のユーザの発話音声を収集し、それを音声認識によってテキスト化して発話分析をするために、一定の処理時間を要する。教師に対して発話分析結果を早期に提供されないために、教師も、グループワークの時間内で、議論の活性度の低いグループを優先的に早期に指導・助言をすることができないという課題があった。
図3によれば、例えば音声区間の2.5倍程度の処理時間を要している。また、その後、次の音声区間t+1の発話音声の受信を開始するために、更に遅延が大きくなる。
結果的に、教師が、各グループへ指導・助言を検討する時間も遅延し、指導するタイミングを逸するという課題もある。
1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
発話音声データを発話分析する発話分析手段と、
時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析手段に発話分析させる発話音声受信制御手段と、
時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する発話音声受信順序更新手段と
を有することを特徴とする。
発話音声受信順序更新手段は、各グループの発話音声データから変換されたテキストに基づいて、議論の活性度が低い順にグループの発話音声受信順序を更新する
ことも好ましい。
発話音声受信順序更新手段は、
予め記憶した理解状態キーワード群及び不理解状態キーワード群を参照して、
テキストに含まれる時系列の各キーワードに対して理解状態か不理解状態かを決定し、両状態の行き来数が少ないグループほど活性度が低いと判定し、その活性度が低い順にグループの発話音声受信順序を更新する
ことも好ましい。
発話音声受信順序更新手段は、
予め記憶した理解レベル毎のレベルキーワード群を参照して、
テキストに含まれるキーワードを、理解レベルの低いレベルキーワードの一致数の割合が多いグループほど活性度が低いと判定し、その活性度が低い順にグループの発話音声受信順序を更新することも好ましい。
発話音声受信制御手段について、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数は、発話音声データサイズ及び発話分析処理時間に応じて変化することも好ましい。
発話音声受信制御手段は、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第1の所定期間変化しない場合、時刻t+1の音声区間を越えても、全てのグループの各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析する
ことも好ましい。
発話音声受信制御手段は、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第2の所定期間変化しない場合、時刻t+1の音声区間を越えても、受信すべきグループ数を所定数増分して、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析することも好ましい。
発話音声受信順序更新手段は、時刻t+2の音声区間におけるグループの発話音声受信順序の中で、所定条件に基づくグループを下位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を少なくすることも好ましい。
発話音声受信順序更新手段における所定条件とは、既に指導済みのグループであって、オペレータ操作によって指示されたグループであることも好ましい。
発話音声受信順序更新手段における所定条件とは、グループの発話音声受信順序の中で最も活性度が高い(末尾の順序の)グループであることも好ましい。
発話音声受信順序更新手段は、グループの発話音声受信順序の中で、第3の所定期間以上、発話分析がされていないグループを、グループの発話音声受信順序の上位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を多くすることも好ましい。
発話音声受信順序更新手段は、時刻tよりも過去の複数の音声区間の累積した発話音声データの発話分析結果に基づいて、時刻t+2におけるグループの発話音声受信順序を更新することも好ましい。
前述した発話分析装置と、
ユーザの発話音声を収録する複数のユーザ端末と、
複数のグループを管理する管理者端末と、
複数のユーザ端末へ発話音声要求を送信する通知サーバと
を有するシステムであって、
発話分析装置は、発話音声受信順序を管理者端末へ送信し、
管理者端末は、管理者の操作に応じて、発話音声受信順序に基づくグループ識別子を、通知サーバへ送信し、
通知サーバは、管理者端末から受信したグループ識別子に属する複数のユーザ端末へ発話音声要求を送信し、
発話音声要求を受信した各ユーザ端末は、発話音声を発話分析装置へ送信する
ことを特徴とする。
1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
発話音声データを発話分析する発話分析手段と、
時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析手段に発話分析させる発話音声受信制御手段と、
時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する発話音声受信順序更新手段と
してコンピュータを機能させることを特徴とする。
サーバは、
1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析する第1のステップと、
時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する第2のステップと
を実行することを特徴とする。
各ユーザ端末2は、ユーザの発話音声を収録する。
発話分析装置1は、時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末2へ発話音声要求を送信し、各ユーザ端末2から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析する。そして、発話分析装置1は、時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する。
また、ユーザ端末2は、ユーザの発話音声の収録を継続している。
発話分析装置1は、時刻t+2の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末2へ発話音声要求を送信し、各ユーザ端末2から時刻t+1の音声区間の発話音声データを受信し、当該発話音声データを発話分析する。そして、発話分析装置1は、時刻t+2の音声区間に発話分析が完了した時刻t+1の音声区間の発話音声データの発話分析結果に基づいて、時刻t+3の音声区間におけるグループの発話音声受信順序を更新する。
また、ユーザ端末2は、ユーザの発話音声の収録を継続している。
ここで、同じ音声区間であっても、グループの発話音声受信順序に応じて、発話音声を受信し且つ発話分析するグループ数は、発話音声データサイズ及び発話分析処理時間に応じて変化する。
発話音声蓄積部は、連続する所定の音声区間毎に、ユーザによって発話された発話音声を収録する。
発話音声送信部は、発話分析装置1から発話音声要求を受信した際に、その直前の音声区間の発話音声データを送信する。また、発話音声要求と共に、要求された音声区間の開始時刻を受信した場合には、同時刻から始まる音声区間の発話音声データを送信するようにしてもよい。
そして、発話分析装置1は、発話音声受信順序の上位(議論の活性度が低い)のグループに属するユーザ端末2から順に、その発話音声データをアップロードさせる。「発話音声データ」は、デジタル信号に変換された音声信号そのものであってもよいし、ユーザ端末2が音声認識処理したテキストであってもよい。
発話分析装置1は、グループ毎に発話音声データに対する発話分析処理を実行し、その分析結果となる発話音声受信順序を更新する。
発話分析部10は、発話音声データを発話分析する。尚、ユーザ端末2からの発話音声データが音声信号そのものであった場合には、発話分析処理の前に、音声認識処理によりテキストに変換してもよい。
発話音声受信制御部11は、時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析部10に発話分析させる。
図6(a)は、<発話分析されるグループ数の変化>を表す。
図6(b)は、<グループ数が変化しない場合における発話音声受信順序のリセット>を表す。
図6(c)は、<グループ数が変化しない場合における発話分析されるグループ数の増分>を表す。
時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数は、発話音声データサイズ及び発話分析処理時間に応じて変化する。
グループA、B、C、D、E、F、G、H、I、Jの順であったとする。
(音声区間t+1終了時の発話音声受信順序)
音声区間t+1内で、上位5つのグループ(A、B、C、D、E)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+2における発話音声受信順序としてグループB、C、D、E、Aの順に更新されている。
(音声区間t+2終了時の発話音声受信順序)
音声区間t+2内で、上位3つのグループ(B、C、D)の発話音声データを受信できたとする。このとき、これら3つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+3における発話音声受信順序としてグループD、B、Cの順に更新されている。
(音声区間t+3終了時の発話音声受信順序)
音声区間t+3内で、上位7つのグループ(D、B、C、E、A、F、G)の発話音声データを受信できたとする。このとき、これら7つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+4における発話音声受信順序としてグループD、B、G、C、E、A、Fの順に更新されている。
(音声区間t+4終了時の発話音声受信順序)
音声区間t+4内で、上位5つのグループ(D、B、G、C、E)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+5における発話音声受信順序としてグループB、D、C、E、Gの順に更新されている。
このように、音声区間毎に発話音声データを収集し且つ発話分析を繰り返すことによって、議論の活性度が低いグループの順番は変動する。
時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第1の所定期間変化しない場合、時刻t+1の音声区間を越えても、「全て」のグループの各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析する。
そこで、図6(b)によれば、発話分析するグループ数が、第1の所定期間(例えば20分間)変化しない場合、発話音声受信順序を強制的にリセットする。但し、その場合、発話分析装置1は、全てのグループの発話音声データを受信するために、発話音声受信順序の提供は、一時的に遅れることになる。
(音声区間t終了時の発話音声受信順序)
グループA、B、C、D、E、F、G、H、I、Jの順であったとする。
(音声区間t+1終了時の発話音声受信順序)
音声区間t+1内で、上位5つのグループ(A、B、C、D、E)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、グループB、C、D、E、Aの順に更新されている。
(音声区間t+2終了時の発話音声受信順序)
音声区間t+2内で、上位5つのグループ(B、C、D、E、A)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、グループB、D、C、E、Aの順に更新されている。
(音声区間t+3終了時の発話音声受信順序)
音声区間t+3内で、上位5つのグループ(B、D、C、E、A)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、グループB、C、D、E、Aの順に更新されている。
(音声区間t+4終了時の発話音声受信順序)
音声区間t+4内で、上位5つのグループ(B、C、D、E、A)の発話音声データを受信できたとする。発話分析するグループ数(5)が、20分間、変化がなかったために、発話音声受信順序をリセットする。
発話分析装置1は、全てのグループの発話音声データを受信し、ここでは、グループB、D、C、E、J、G、F、I、A、Hの順に更新されている。発話音声受信順序の更新処理には、音声区間t+4を超える場合もある。
時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第2の所定期間変化しない場合、時刻t+1の音声区間を越えても、受信すべきグループ数を所定数増分して、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析する。
また、音声区間t〜t+3終了時の発話音声受信順序は、前述した図6(b)と全く同様である。
音声区間t+4内で、上位5つのグループ(B、C、D、E、A)の発話音声データを受信できたとする。発話分析するグループ数(5)が、20分間、変化がなかったために、受信すべきグループ数を2グループ(所定数)増分する。
発話分析装置1は、上位7つのグループの発話音声データを受信し、ここでは、グループB、D、C、E、G、F、Aの順に更新されている。発話音声受信順序の更新処理には、音声区間t+4を超える場合もある。
発話音声受信順序更新部12は、時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声 データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する。
発話音声受信順序更新部12は、各グループの発話音声データから変換されたテキストに基づいて、議論の活性度が低い順にグループの発話音声受信順序を更新する。
<理解状態と不理解状態との行き来数の活性度に基づく発話音声受信順序の算出>
<理解レベルのレベルキーワードの活性度に基づく発話音声受信順序の算出>
<その他の発話音声受信順序の算出>
発話音声受信順序更新部12は、予め記憶した理解状態キーワード群及び不理解状態キーワード群を参照する。
理解状態と不理解状態との間の行き来数によってグループの活性度を算出する技術の有効性については、学習科学理論の論文にも開示されている(例えば非特許文献1参照)。
発話音声受信順序更新部12は、予め記憶した理解レベル毎のレベルキーワード群を参照する。
レベル1:実験に関するキーワード
レベル2:実験結果の検討に関するキーワード
レベル3:雲のでき方の考察として重要なキーワード
また、レベルキーワードのテーブルを参照して、ユーザの発話音声に含まれるキーワードを抽出し、そのキーワードのレベルに応じて重み付け積算したものであってもよい。
活性度=ΣKn・Leveln
Kn:発話テキストからのキーワードnの抽出数
Leveln:キーワードnのレベル(重要度)
発話音声受信順序更新部12は、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する。他の実施形態として、例えば以下のようなものを想定することができる。
(発話音声のテキストの合計文字数に基づく発話音声受信順序の算出)
(発話音声のテキストの平均文字数に基づく発話音声受信順序の算出)
(発話音声のテキストの長文文字数に基づく発話音声受信順序の算出)
(発話音声のテキストの長文文字数の割合に基づく発話音声受信順序の算出)
発話音声受信順序は、各グループにおける複数のユーザの発話音声のテキストの合計文字数が少ない順である。これは、グループ内の議論が活発でないために、発話音声のテキストの合計文字数が少ないことを意味する。
発話音声受信順序は、各グループにおける複数のユーザの発話音声のテキストの平均文字数が少ない順である。
平均文字数=音声区間の合計文字数/発話回数
平均文字数が短いほど、相づち(うん)、つなぎ言葉(それで)、賛成(はい)、質問・否定(なんで)など、自分の意見を話していない場合が多い。一方で、平均文字数が長いほど、自分の意見、説明、内容のある話をしている場合が多い。
グループ内の議論が活発でないために、平均文字数が短いことを意味する。
発話音声受信順序は、各グループにおける複数のユーザの発話音声のテキストについて、所定文字数以上となる「長文文字数」が少ない順である。
長文文字数が少ないほど、相づち、つなぎ言葉、賛成、質問・否定など、自分の意見を話していない場合が多い。一方で、長文文字数が多いほど、自分の意見、説明、内容のある話をしている場合が多い。
グループ内の議論が活発でないために、長文文字数が少ないことを意味する。
発話音声受信順序は、各グループにおける複数のユーザの発話音声のテキストについて、所定文字数よりも短い「短文文字数」に対する、所定閾値文字数以上となる「長文文字数」の割合が小さい順である。
割合=長文文字数/短文文字数
この割合が小さいほど、相づち、つなぎ言葉、賛成、質問・否定など、自分の意見を話していない場合が多い。一方で、この割合が大きいほど、自分の意見、説明、内容のある話をしている場合が多い。
グループ内の議論が活発でないために、この割合が小さいことを意味する。
図9(a)は、指導済みのグループを下位へ移行させるシーケンスである。
図9(b)は、活性度が高いグループを下位へ移行させるシーケンスである。
<発話音声受信順序の上位順のグループを下位へ移行させる順序の更新>
{指導済みのグループを下位へ移行させる実施形態:図9(a)}
{活性度が高いグループを下位へ移行させる実施形態:図9(b)}
{長期間、発話分析されていないグループを上位へ移行させる実施形態}
<過去複数の音声区間の累積した発話分析>
<ユーザに基づく発話音声受信順序の決定>
発話音声受信順序更新部12は、時刻t+2の音声区間におけるグループの発話音声受信順序の中で、所定条件に基づくグループを下位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を少なくする。これによって、発話音声受信順序をあえて変更するものである。
発話音声受信順序更新部12における「所定条件」とは、既に指導済みのグループであって、オペレータ操作によって指示されたグループであってもよい。
教師としては、既に指導したグループでなく、まだ指導しておらず且つ議論の活性度が低いグループに対して、指導したい考える場合がある。その場合、指導済みのグループを、教師の入力によって発話分析装置1に登録する。発話分析装置1は、発話音声受信順序の中で、指導済みのグループを下位へ移行させる。
グループA、B、C、D、E、F、G、H、I、Jの順であったとする。
(音声区間t+1終了時の発話音声受信順序)
音声区間t+1内で、音声区間tの上位5つのグループ(A、B、C、D、E)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+2における発話音声受信順序としてグループB、C、D、E、Aの順に更新されている。
ここで、教師は、グループBに対して、指導をしたとする。その場合、グループBを、発話音声受信順序の末尾へ移行させる。結果的に、音声区間t+2における発話音声受信順序としてグループC、D、E、A、Fの順に更新されている。
(音声区間t+2終了時の発話音声受信順序)
音声区間t+2内で、音声区間t+1の上位3つのグループ(C、D、E)の発話音声データを受信できたとする。このとき、これら3つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+3における発話音声受信順序としてグループD、C、Eの順に更新されている。
ここで、教師は、グループDに対して、指導をしたとする。その場合、グループDを、発話音声受信順序の末尾へ移行させる。結果的に、音声区間t+3における発話音声受信順序としてグループC、E、Aの順に更新されている。
(音声区間t+3終了時の発話音声受信順序)
音声区間t+3内で、音声区間t+2の上位7つのグループ(C、E、A、F、H、G、I)の発話音声データを受信できたとする。このとき、これら7つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+4における発話音声受信順序としてグループE、C、A、F、H、G、Iの順に更新されている。
ここで、教師は、グループEに対して、指導をしたとする。その場合、グループEを、発話音声受信順序の末尾へ移行させる。結果的に、音声区間t+4における発話音声受信順序としてグループC、A、F、H、G、I、Jの順に更新されている。
(音声区間t+4終了時の発話音声受信順序)
音声区間t+4内で、音声区間t+3の上位5つのグループ(C、A、F、H、G)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+5における発話音声受信順序としてグループC、F、A、H、Gの順に更新されている。
発話音声受信順序更新部12における「所定条件」とは、グループの発話音声受信順序の中で最も活性度が高い(末尾の順序の)グループである。発話音声受信順序の末尾のグループは、発話音声がアップロードされる頻度が最も少ないためである。
グループA、B、C、D、E、F、G、H、I、Jの順であったとする。
(音声区間t+1終了時の発話音声受信順序)
音声区間t+1内で、上位5つのグループ(A、B、C、D、E)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+2における発話音声受信順序としてグループB、C、D、E、Aの順に更新されている。
ここで、発話音声受信順序について、グループAを末尾へ移行させ、グループJと入れ替える。結果的に、音声区間t+2における発話音声受信順序としてグループB、C、D、E、Aの順に更新されている。
(音声区間t+2終了時の発話音声受信順序)
音声区間t+2内で、上位3つのグループ(B、C、D)の発話音声データを受信できたとする。このとき、これら3つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+3における発話音声受信順序としてグループD、B、Cの順に更新されている。
ここで、発話音声受信順序について、グループCを末尾へ移行させ、グループIと入れ替える。結果的に、音声区間t+3における発話音声受信順序としてグループD、B、Iの順に更新されている。
(音声区間t+3終了時の発話音声受信順序)
音声区間t+3内で、上位7つのグループ(D、B、I、E、J、F、G)の発話音声データを受信できたとする。このとき、これら7つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+4における発話音声受信順序としてグループD、B、E、G、I、J、Fの順に更新されている。
ここで、発話音声受信順序について、グループFを末尾へ移行させ、グループHと入れ替える。結果的に、音声区間t+4における発話音声受信順序としてグループD、B、E、G、I、J、Hの順に更新されている。
(音声区間t+4終了時の発話音声受信順序)
音声区間t+4内で、上位5つのグループ(D、B、E、G、I)の発話音声データを受信できたとする。このとき、これら5つのグループのみで、議論の活性度に基づいて発話音声受信順序の上位を更新する。ここでは、音声区間t+5における発話音声受信順序としてグループB、D、E、G、Iの順に更新されている。
発話音声受信順序更新部12は、グループの発話音声受信順序の中で、第3の所定期間(例えば25分)以上、発話分析がされていないグループを、グループの発話音声受信順序の上位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を多くする。
発話音声受信順序更新部12は、時刻tよりも過去複数の音声区間の累積した発話音声データの発話分析結果に基づいて、時刻t+2におけるグループの発話音声受信順序を更新する。
そのために、過去複数の音声区間の発話音声データの平均活性度を用いる。
RA=1/n Σi nRA,i
n:過去の音声区間の数
i:過去の音声区間
RA,i:音声区間iの発話音声データの平均活性度
RA:過去複数の音声区間の発話音声データの活性度
これよって、議論の活性度の一時的な変動を吸収し、大きな議論の流れの中で、発話音声データを分析することができる。
前述した実施形態では、グループ単位のユーザ端末に対して指導・助言を行う場合につて説明した。勿論、ユーザ端末単位であってもよい。即ち、1つユーザ端末を含む1つのグループを構成することによって、前述した実施形態を実現することができる。これによって、発話音声受信順序は、各ユーザの議論の活性度が低い順に並ぶこととなる。
1つのグループの中でも、議論の活性度が低いユーザの発話音声が早期にアップロードされ、そのユーザに対して教師は、指導・助言をすることができる。
発話分析装置1の発話音声受信順序更新部12は、更新した発話音声受信順序を、管理者端末3へ送信する。
管理者端末3は、グループワークの教師によって操作されるものであり、複数のグループを管理する。管理者端末3は、発話分析装置1から発話受信順序を受信し、その発話受信順序を管理者(教師)へ明示する。そして、管理者の操作に応じて、発話音声受信順序に基づくグループID、及び、そのグループIDに含まれるユーザ端末IDを、通知サーバ5及び発話分析装置1へ送信する。尚、この際に、管理者の操作に応じて、指導済みのグループIDを同時に送信してもよい。
通知サーバ5は、管理者端末3から受信したグループIDに属する複数のユーザ端末2へ、複数のユーザ端末へ発話区間に対応した発話音声要求を、プッシュ的に送信する。
(S2)発話分析装置1は、当該発話音声受信順序を管理者端末3へ送信する。
(S3)管理者端末3は、管理者の操作に応じて、発話音声受信順序に基づくグループ識別子を、通知サーバ5及び発話分析装置1へ送信する。
(S4)通知サーバ5が、管理者端末から受信したグループ識別子に属する複数のユーザ端末へ発話区間に対応した発話音声要求を送信する。
これに対し、発話音声要求を受信した各ユーザ端末は、発話音声を発話分析装置へ送信する。
これに対し、図11のシーケンスによれば、図2のシーケンスと比較して、ユーザ端末2から発話音声を受信し且つ分析する発話分析装置1と、ユーザ端末2へ発話音声要求を送信する通知サーバ5とに分担して実現している。
図10及び図11のシステムによれば、管理者端末3からの指示によって、通知サーバ5を用いて、ユーザ端末2に対する様々な制御を実行することができる。
ここで、ユーザ端末2は、専用の発話収録アプリケーションをインストールしており、管理者端末3も、専用の教師制御アプリケーションをインストールしている。
ユーザ端末2の発話収録アプリケーションは、初期設定として固有の端末IDを生成し、その端末ID及びグループIDを発話分析装置1へ予め登録する。そして、発話収録アプリケーションは、通知サーバ5から受信する指示情報を解読し、それに応じて機能を発動することができる。
管理者端末3の教師制御アプリケーションは、発話分析装置1から受信したグループID及び端末IDを、ディスプレイによって管理者へ明示する。そして、教師制御アプリケーションは、グループID毎又は端末ID毎に、ユーザ端末2に対して通知サーバ2を介して指示情報を送信することができる。
[第1の他の実施形態:ユーザ端末2に対する発話収録の開始/終了の制御]
管理者端末3からの指示情報によって、通知サーバ5は、ユーザ端末2の音声区間の開始/終了を同期させる。グループワークを時系列で正確に発話分析するためには、複数のユーザ端末2における音声区間を同期させることが必要となる。
管理者端末3は、管理者における発話収録の開始/終了のボタン操作によって、全てのユーザ端末IDを含む音声区間同期要求(開始/終了)が、通知サーバ5へ送信される。
これに対して、通知サーバ5は、複数のユーザ端末2へ同報的に、音声区間同期要求(開始/終了)を送信する。
音声区間同期要求(開始/終了)を受信したユーザ端末2は、グループワーク時間における発話音声の収録を開始し又は終了する。
これによって、グループワーク時間及び音声区間を、全てのユーザ端末2について同期させることでき、収録の時間差が無くなり、時系列に正確な発話分析をすることができる。
管理者端末3からの指示情報によって、通知サーバ5は、ユーザ端末2の音声区間の時間幅/区切りタイミングを制御する。これによって、固定的な音声区間ではなく、グループワークの内容に応じて音声区間を可変制御することができる。
制御可能なものとしては、音声区間の時間幅(例えば5分間->10分間)、又は、区切りタイミング(例えば11:05、11:15、11:20など)がある。
例えば最初は、音声区間の時間幅を長くしてグループワークの発話状況を分析し、その後、音声区間の時間幅を短くしてグループワークの発話状況を分析する。これによって、教師の必要に応じて、発話音声の分析結果に応じてアドバイスを提供することができる。
管理者端末3からの指示情報によって、通知サーバ5は、ユーザ端末2の電源ON/OFFを確認する。
管理者端末3は、管理者における起動確認のボタン操作によって、全てのユーザ端末IDを含む起動確認要求が、通知サーバ5へ送信される。
これに対して、通知サーバ5は、複数のユーザ端末2へ同報的に、起動確認要求を送信する。
起動確認要求を受信したユーザ端末2は、起動応答を発話分析装置1へ送信する。
発話分析装置1は、起動応答を受信した端末IDのリストを、管理者端末3へ送信する。
これによって、管理者端末3は、端末IDのリストを管理者へ明示し、管理者は起動中の端末IDを認識することができる。これは、欠席者の確認にも利用できる。
10 発話分析部
11 発話音声受信順序制御部
12 発話音声受信順序更新部
2 ユーザ端末
3 管理者端末
4 アクセスポイント
5 通知サーバ
Claims (15)
- 連続する所定の音声区間毎にユーザの発話音声を収録する各ユーザ端末へ、発話音声要求を送信し、発話音声データを受信する発話分析装置において、
1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
前記発話音声データを発話分析する発話分析手段と、
時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを前記発話分析手段に発話分析させる発話音声受信制御手段と、
時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する発話音声受信順序更新手段と
を有することを特徴とする発話分析装置。 - 前記発話音声受信順序更新手段は、各グループの発話音声データから変換されたテキストに基づいて、議論の活性度が低い順にグループの発話音声受信順序を更新する
ことを特徴とする請求項1に記載の発話分析装置。 - 前記発話音声受信順序更新手段は、
予め記憶した理解状態キーワード群及び不理解状態キーワード群を参照して、
前記テキストに含まれる時系列の各キーワードに対して理解状態か不理解状態かを決定し、両状態の行き来数が少ないグループほど活性度が低いと判定し、その活性度が低い順にグループの発話音声受信順序を更新する
ことを特徴とする請求項2に記載の発話分析装置。 - 前記発話音声受信順序更新手段は、
予め記憶した理解レベル毎のレベルキーワード群を参照して、
前記テキストに含まれるキーワードを、理解レベルの低いレベルキーワードの一致数の割合が多いグループほど活性度が低いと判定し、その活性度が低い順にグループの発話音声受信順序を更新する
ことを特徴とする請求項2に記載の発話分析装置。 - 前記発話音声受信制御手段について、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数は、発話音声データサイズ及び発話分析処理時間に応じて変化する
ことを特徴とする請求項1から4のいずれか1項に記載の発話分析装置。 - 前記発話音声受信制御手段は、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第1の所定期間変化しない場合、時刻t+1の音声区間を越えても、全てのグループの各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析する
ことを特徴とする請求項5に記載の発話分析装置。 - 前記発話音声受信制御手段は、時刻t+1の音声区間に発話分析が完了したグループの発話音声受信順序に応じて発話分析するグループ数が、第2の所定期間変化しない場合、時刻t+1の音声区間を越えても、受信すべきグループ数を所定数増分して、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声 データを受信し、当該発話音声データを発話分析する
ことを特徴とする請求項5に記載の発話分析装置。 - 前記発話音声受信順序更新手段は、時刻t+2の音声区間におけるグループの発話音声受信順序の中で、所定条件に基づくグループを下位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を少なくする
ことを特徴とする請求項1から6のいずれか1項に記載の発話分析装置。 - 前記発話音声受信順序更新手段における前記所定条件とは、既に指導済みのグループであって、オペレータ操作によって指示されたグループである
ことを特徴とする請求項8に記載の発話分析装置。 - 前記発話音声受信順序更新手段における前記所定条件とは、グループの発話音声受信順序の中で最も活性度が高い(末尾の順序の)グループである
ことを特徴とする請求項8に記載の発話分析装置。 - 前記発話音声受信順序更新手段は、グループの発話音声受信順序の中で、第3の所定期間以上、発話分析がされていないグループを、グループの発話音声受信順序の上位に移行し、当該グループの各ユーザ端末から発話音声データを受信する頻度を多くする
ことを特徴とする請求項8から10のいずれか1項に記載の発話分析装置。 - 前記発話音声受信順序更新手段は、時刻tよりも過去の複数の音声区間の累積した発話音声データの発話分析結果に基づいて、時刻t+2におけるグループの発話音声受信順序を更新する
ことを特徴とする請求項1から11のいずれか1項に記載の発話分析装置。 - 請求項1から12のいずれか1項に記載の発話分析装置と、
ユーザの発話音声を収録する複数のユーザ端末と、
複数のグループを管理する管理者端末と、
複数のユーザ端末へ発話音声要求を送信する通知サーバと
を有するシステムであって、
前記発話分析装置は、前記発話音声受信順序を前記管理者端末へ送信し、
前記管理者端末は、管理者の操作に応じて、前記発話音声受信順序に基づくグループ識別子を、前記通知サーバへ送信し、
前記通知サーバは、前記管理者端末から受信した前記グループ識別子に属する複数のユーザ端末へ前記発話音声要求を送信し、
前記発話音声要求を受信した各ユーザ端末は、発話音声を前記発話分析装置へ送信する
ことを特徴とするシステム。 - 連続する所定の音声区間毎にユーザの発話音声を収録する各ユーザ端末へ、発話音声要求を送信し、発話音声データを受信するサーバに搭載されたコンピュータを機能させる発話分析プログラムにおいて、
1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
前記発話音声データを発話分析する発話分析手段と、
時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを前記発話分析手段に発話分析させる発話音声受信制御手段と、
時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する発話音声受信順序更新手段と
してコンピュータを機能させることを特徴とする発話分析プログラム。 - 連続する所定の音声区間毎にユーザの発話音声を収録する各ユーザ端末へ、発話音声要求を送信し、発話音声データを受信するサーバの発話分析方法において、
前記サーバは、
1つ以上のユーザ端末を含む1つ以上のグループを構成すると共に、グループの発話音声受信順序を記憶しており、
時刻t+1の音声区間で可能な限り、グループの発話音声受信順序に応じて、各ユーザ端末へ発話音声要求を送信し、各ユーザ端末から時刻tの音声区間の発話音声データを受信し、当該発話音声データを発話分析する第1のステップと、
時刻t+1の音声区間に発話分析が完了した時刻tの音声区間の発話音声データの発話分析結果に基づいて、時刻t+2の音声区間におけるグループの発話音声受信順序を更新する第2のステップと
を実行することを特徴とするサーバの発話分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017184207A JP6737754B2 (ja) | 2017-09-25 | 2017-09-25 | 議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017184207A JP6737754B2 (ja) | 2017-09-25 | 2017-09-25 | 議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019060990A true JP2019060990A (ja) | 2019-04-18 |
JP6737754B2 JP6737754B2 (ja) | 2020-08-12 |
Family
ID=66177320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017184207A Active JP6737754B2 (ja) | 2017-09-25 | 2017-09-25 | 議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6737754B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009025792A (ja) * | 2007-07-20 | 2009-02-05 | Korea Electronics Telecommun | 小グループ討論サービスを支援する遠隔教育システム及び方法 |
JP2016162339A (ja) * | 2015-03-04 | 2016-09-05 | Kddi株式会社 | グループ毎の討論の活性化を推定するプログラム、端末及びシステム |
JP2017009826A (ja) * | 2015-06-23 | 2017-01-12 | トヨタ自動車株式会社 | グループ状態判定装置およびグループ状態判定方法 |
JP2019022131A (ja) * | 2017-07-19 | 2019-02-07 | Kddi株式会社 | グループ毎に発話音声を受信する発話音声収集方法、システム、発話分析サーバ及びプログラム |
-
2017
- 2017-09-25 JP JP2017184207A patent/JP6737754B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009025792A (ja) * | 2007-07-20 | 2009-02-05 | Korea Electronics Telecommun | 小グループ討論サービスを支援する遠隔教育システム及び方法 |
JP2016162339A (ja) * | 2015-03-04 | 2016-09-05 | Kddi株式会社 | グループ毎の討論の活性化を推定するプログラム、端末及びシステム |
JP2017009826A (ja) * | 2015-06-23 | 2017-01-12 | トヨタ自動車株式会社 | グループ状態判定装置およびグループ状態判定方法 |
JP2019022131A (ja) * | 2017-07-19 | 2019-02-07 | Kddi株式会社 | グループ毎に発話音声を受信する発話音声収集方法、システム、発話分析サーバ及びプログラム |
Non-Patent Citations (1)
Title |
---|
益川弘如 他: ""建設的相互作用経験の蓄積が協調的問題解決能力の育成につながるか −縦断的な発話データを用いた能力発", 認知科学, vol. 23, no. 3, JPN6020023228, 1 September 2016 (2016-09-01), pages 237 - 254, ISSN: 0004298230 * |
Also Published As
Publication number | Publication date |
---|---|
JP6737754B2 (ja) | 2020-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200127865A1 (en) | Post-conference playback system having higher perceived quality than originally heard in the conference | |
US10057707B2 (en) | Optimized virtual scene layout for spatial meeting playback | |
US10522151B2 (en) | Conference segmentation based on conversational dynamics | |
US10516782B2 (en) | Conference searching and playback of search results | |
US11076052B2 (en) | Selective conference digest | |
JP6078964B2 (ja) | 音声対話システム及びプログラム | |
JP6084654B2 (ja) | 音声認識装置、音声認識システム、当該音声認識システムで使用される端末、および、話者識別モデルを生成するための方法 | |
KR20190120353A (ko) | 음성 인식 방법, 디바이스, 장치, 및 저장 매체 | |
JP2016057986A (ja) | 音声翻訳装置、方法およびプログラム | |
US20180190266A1 (en) | Conference word cloud | |
JP5217109B2 (ja) | オペレータ教育支援プログラム、オペレータ教育支援方法及びオペレータ教育支援装置 | |
JP2006171719A (ja) | 対話型情報システム | |
JP2014510942A (ja) | ハイブリッド型クライアントサーバ音声認識 | |
US20200296498A1 (en) | Server and system for controlling smart microphone | |
JPWO2018043138A1 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
JP2018129068A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2018045531A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2019060990A (ja) | 議論が活発でないグループの発話音声を逐次優先的に分析する発話分析装置、システム及びプログラム | |
US11790913B2 (en) | Information providing method, apparatus, and storage medium, that transmit related information to a remote terminal based on identification information received from the remote terminal | |
JP6755220B2 (ja) | グループ毎に発話音声を受信する発話音声収集方法、システム、発話分析サーバ及びプログラム | |
CN110196900A (zh) | 用于终端的交互方法和装置 | |
JP6820647B2 (ja) | 議論の活性化のために適切な指導タイミングを発動させる装置、プログラム及び方法 | |
JP6783029B2 (ja) | 研修におけるユーザ同士の議論内容を分析する装置、プログラム及び方法 | |
JP2018049140A (ja) | 音声分析プログラム、音声分析装置、及び音声分析方法 | |
JP6523974B2 (ja) | コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200716 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6737754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |