JP2016162339A - Program, terminal, and system for estimating activation of debate for each group - Google Patents
Program, terminal, and system for estimating activation of debate for each group Download PDFInfo
- Publication number
- JP2016162339A JP2016162339A JP2015042285A JP2015042285A JP2016162339A JP 2016162339 A JP2016162339 A JP 2016162339A JP 2015042285 A JP2015042285 A JP 2015042285A JP 2015042285 A JP2015042285 A JP 2015042285A JP 2016162339 A JP2016162339 A JP 2016162339A
- Authority
- JP
- Japan
- Prior art keywords
- group
- utterance
- graph
- computer
- time length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004913 activation Effects 0.000 title claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 25
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、多数のユーザによる発話(音声データ)を解析する技術に関する。 The present invention relates to a technique for analyzing speech (voice data) by a large number of users.
従来、グループの討論の活性度を推定するために、発話のインタラクションの時間推移を分析し、会話に対する各メンバの参与の度合いを分析する技術がある(例えば非特許文献1参照)。 Conventionally, in order to estimate the activity of group discussion, there is a technique of analyzing the time transition of utterance interaction and analyzing the degree of participation of each member in conversation (for example, see Non-Patent Document 1).
また、複数の会議場間の遠隔会議について、会議場毎の盛り上がりの度合いを認識する技術もある(例えば特許文献1参照)。この技術によれば、各会議場における参加者の発言動作の情報を取得し、その盛り上がり度をサイト間で共有することができる。 There is also a technique for recognizing the degree of excitement for each conference hall for a remote conference between a plurality of conference halls (see, for example, Patent Document 1). According to this technology, it is possible to acquire information on a participant's speech operation at each conference hall and share the degree of excitement among sites.
更に、発話音声に基づく多人数の平均的な脳活性度状況を判定し、それら多人数で構成されるチームにおける業務の活性度を評価する技術もある(例えば特許文献2参照)。 In addition, there is a technique for determining an average brain activity level of a large number of people based on uttered speech and evaluating the activity level of work in a team composed of the large number of people (see, for example, Patent Document 2).
更に、会議に対する各参加者の参加態度値を算出する技術もある(例えば特許文献3参照)。この技術によれば、参加態度値は、参加者の音声の音量及び加速度を取得し、発話回数、発話時間及び/又はエネルギーに関する参加者パラメータと、参加者パラメータそれぞれの重み係数とに基づいて算出される。 Further, there is a technique for calculating the participation attitude value of each participant with respect to the conference (see, for example, Patent Document 3). According to this technology, the participation attitude value is obtained based on the participant parameters related to the number of utterances, the utterance time and / or energy, and the weighting coefficient of each participant parameter, by acquiring the volume and acceleration of the participant's voice. Is done.
更に、携帯端末の姿勢情報とユーザの操作情報とから描画イベントを作成する会議システムの技術もある(例えば特許文献4参照)。この技術によれば、描画イベント及び会議資料に基づいて、会議内容を低コストで把握することができる。 Further, there is a conference system technology that creates a drawing event from posture information of a mobile terminal and user operation information (see, for example, Patent Document 4). According to this technique, it is possible to grasp the content of the conference at a low cost based on the drawing event and the conference material.
授業等の教育現場におけるグループ学習や、企業内の研修等におけるグループ討論について、参加者が積極的に参与することによって議論を通じた学習効果やアイディアを発掘することが期待される。しかしながら、前述の従来技術によれば、発話回数の多寡や集中度に応じて、1つのグループ内における個人の発話活性度を推定しているに過ぎない。一方、グループ全体を指導する進行者(facilitator)にとっては、活発なインタラクションが生じていないグループを認識することができれば、その活性度を高めるべく行動することもできる。 Participants are expected to discover learning effects and ideas through discussions about group learning in classrooms and other group discussions in company training. However, according to the above-described prior art, the individual speech activity level within one group is merely estimated according to the number of utterances and the degree of concentration. On the other hand, a facilitator who teaches the entire group can act to increase its activity if it can recognize a group in which no active interaction has occurred.
これに対し、本願の発明者らは、複数のグループを同時に指導する進行者に、各グループの活性状態を効果的に伝達することはできないか?と考えた。即ち、グループ討論の活性度を推定した結果を、進行者(管理者)やユーザに適宜に視覚的に明示することによって、グループの討論を支援することができないか?と考えた。 On the other hand, can the inventors of the present application effectively transmit the active state of each group to the progressors who simultaneously teach a plurality of groups? I thought. In other words, is it possible to support group discussion by visually indicating the results of estimating the activity of group discussion to the progressors (administrators) and users as appropriate? I thought.
そこで、本発明は、グループ毎の討論の活性化を推定し、進行者に対してその状況を明示することができるプログラム、端末及びシステムを提供することを目的とする。 Therefore, an object of the present invention is to provide a program, a terminal, and a system that can estimate the activation of discussion for each group and clearly indicate the situation to a progressor.
本発明によれば、グループ毎の討論の活性化を推定するようにコンピュータを機能させるプログラムであって、
各メンバが発話した発話時刻及び発話時間長を記憶した発話記憶手段と、
グループ毎に、各メンバの発話時刻及び発話時間長を時系列に区分するグループ発話区分手段と、
グループ毎に、全体の発話時間長に対する各メンバの発話時間長を表す発話密度寄与率を算出する発話密度寄与率算出手段と、
グループ毎に、各メンバの発話密度寄与率を描画したグラフを生成するグループグラフ生成手段と
してコンピュータを機能させ、グラフをユーザに明示することを特徴とする。
According to the present invention, there is provided a program for causing a computer to function to estimate the activation of discussion for each group,
Utterance storage means for storing the utterance time and utterance time length of each member uttered;
Group utterance classifying means for classifying each member's utterance time and utterance time length in time series for each group;
For each group, an utterance density contribution rate calculating means for calculating an utterance density contribution rate representing the utterance time length of each member with respect to the overall utterance time length;
For each group, the computer functions as group graph generation means for generating a graph in which the utterance density contribution rate of each member is drawn, and the graph is clearly shown to the user.
本発明のプログラムにおける他の実施形態によれば、
全グループの発話時間長の平均値に対する当該グループの発話時間長の比を表すグループ発話活性度を算出するグループ発話活性度算出手段と
してコンピュータを機能させ、
グループグラフ生成手段は、各グループのグループ発話活性度を更に描画したグラフを生成する
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the program of the present invention,
Causing the computer to function as a group utterance activity calculating means for calculating a group utterance activity representing the ratio of the utterance time length of the group to the average value of the utterance time length of all the groups;
The group graph generation means preferably causes the computer to function to generate a graph in which the group speech activity of each group is further drawn.
本発明のプログラムにおける他の実施形態によれば、
グループグラフ生成手段は、グループ毎に各メンバを要素とするレーダーチャート状又は棒状のグラフを、複数のグループで同時進行的に生成する
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the program of the present invention,
The group graph generation means preferably causes the computer to function so as to simultaneously generate a radar chart or bar graph having each member as an element for each group in a plurality of groups.
本発明のプログラムにおける他の実施形態によれば、
グループ毎に、各メンバについて当該メンバの発話時間と他のメンバの発話時間とのオーバラップ時間長を検出し、当該メンバの発話時間長に対するオーバラップ時間長を表すオーバラップ率を算出するオーバラップ率算出手段と
してコンピュータを更に機能させ、
グループグラフ生成手段は、グループ毎に、各メンバのオーバラップ率を更に描画したグラフを生成する
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the program of the present invention,
For each group, for each member, the overlap time length of the utterance time of the member and the utterance time of the other member is detected, and an overlap ratio representing the overlap time length with respect to the utterance time length of the member is calculated. Let the computer further function as a rate calculation means,
The group graph generation means preferably causes the computer to function to generate a graph in which the overlap rate of each member is further drawn for each group.
本発明のプログラムにおける他の実施形態によれば、
グループグラフ生成手段は、グループ毎に、発話密度寄与率が第1の所定条件範囲に属し、且つ、オーバラップ率が第2の所定条件範囲に属するメンバを、視覚的に強調表示したグラフを生成する
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the program of the present invention,
The group graph generation means generates a graph visually highlighting members whose utterance density contribution rate belongs to the first predetermined condition range and whose overlap rate belongs to the second predetermined condition range for each group. It is also preferable to make the computer function like this.
本発明のプログラムにおける他の実施形態によれば、
発話密度寄与率の任意の所定範囲毎に、及び/又は、オーバラップ率の任意の所定範囲毎に、そのメンバ特性を表す支援メッセージを対応付けて予め記憶しており、グラフの発話密度寄与率及び/又はオーバラップ率に応じて、支援メッセージを選択する支援メッセージ選択手段と
してコンピュータを更に機能させ、選択された支援メッセージをユーザに更に明示することも好ましい。
According to another embodiment of the program of the present invention,
A support message representing the member characteristic is associated with each predetermined range of the utterance density contribution rate and / or every predetermined range of the overlap rate and stored in advance, and the utterance density contribution rate of the graph It is also preferable to further function the computer as a support message selection means for selecting a support message according to the overlap rate, and to further indicate the selected support message to the user.
本発明によれば、前述したプログラムをコンピュータによって機能させる端末であって、
マイクによって収音したメンバの発話音声から検出した当該メンバの発話時刻及び発話時間長を、発話記憶手段へ記憶させる発話音声取得手段を更に有し、
グループグラフ生成手段によって生成されたグラフを、ディスプレイにリアルタイムに明示することを特徴とする。
According to the present invention, there is provided a terminal for causing the above-described program to function by a computer,
Further comprising speech utterance acquisition means for storing the utterance time and utterance time length of the member detected from the utterance voice of the member collected by the microphone in the utterance storage means;
The graph generated by the group graph generating means is specified on the display in real time.
本発明によれば、前述したプログラムをコンピュータによって機能させる複数の端末が、ネットワークを介して相互に接続されたシステムであって、
端末は、マイクによって収音したメンバの発話音声から検出した発話時刻及び発話時間長を、他の端末へ即時に送信し、
全ての端末は、発話記憶手段に記憶される情報を即時に共有し、グループグラフ生成手段によって生成されたグラフを、ディスプレイにリアルタイムに明示することを特徴とする。
According to the present invention, a plurality of terminals that allow a computer to function the above-described program are connected to each other via a network,
The terminal immediately transmits the utterance time and utterance time length detected from the utterance voice of the member collected by the microphone to the other terminal,
All the terminals share the information stored in the utterance storage unit immediately, and the graph generated by the group graph generation unit is displayed on the display in real time.
本発明によれば、前述したプログラムをコンピュータによって機能させるサーバと、
マイクによって収音したメンバの発話音声から検出した発話時刻及び発話時間長を、サーバへ即時に送信する端末と
を有するシステムであって、
サーバは、グループグラフ生成手段によって生成されたグラフを、グループ管理者用の予め指定された端末へリアルタイムに送信することを特徴とする。
According to the present invention, a server that causes the above-described program to function by a computer;
A system having a terminal that immediately transmits to the server the utterance time and the utterance time length detected from the utterance voice of the member picked up by the microphone,
The server is characterized in that the graph generated by the group graph generating means is transmitted in real time to a terminal designated in advance for the group manager.
本発明のプログラム、端末及びシステムによれば、グループ毎の討論の活性化を推定し、進行者に対してその状況を明示することができる。 According to the program, terminal, and system of the present invention, activation of discussion for each group can be estimated, and the situation can be clearly shown to the progressor.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明における第1のシステム構成図である。 FIG. 1 is a first system configuration diagram according to the present invention.
図1によれば、多数のメンバが複数のグループに分類されている。メンバとなる各ユーザは、例えばスマートフォンやウェアラブルデバイスのような端末を所持する。各端末は、例えば無線LANを介して、進行者の管理端末(他のユーザ端末)や、インターネット上の管理装置と通信することができる。各端末は、マイクを搭載し、各メンバの発話音声を収音し、その発話音声から検出した発話時刻及び発話時間長を、管理端末又は管理装置へ即時に送信する。管理装置又は管理端末は、グループ毎の討論の活性化を推定し、その状況をユーザ(進行者)へ明示する。 According to FIG. 1, a large number of members are classified into a plurality of groups. Each user who becomes a member possesses a terminal such as a smartphone or a wearable device. Each terminal can communicate with a management terminal (another user terminal) of a progressor or a management apparatus on the Internet via, for example, a wireless LAN. Each terminal is equipped with a microphone, collects the utterance voice of each member, and immediately transmits the utterance time and the utterance time length detected from the utterance voice to the management terminal or the management apparatus. The management device or the management terminal estimates activation of discussion for each group and clearly indicates the situation to the user (progressor).
勿論、端末間で相互に、発話時刻及び発話時間長を送受信し合うものであってもよい。この場合、各端末が、管理端末や管理装置で実行されるアプリケーションをインストールしたものとなる。各端末が、グループ毎の討論の活性化を推定し、その状況をメンバに明示することもできる。 Of course, the terminals may mutually transmit and receive the utterance time and the utterance time length. In this case, each terminal is installed with an application executed on the management terminal or the management apparatus. Each terminal can also estimate the activation of discussion for each group and make the situation clear to the members.
図2は、本発明における第2のシステム構成図である。 FIG. 2 is a second system configuration diagram according to the present invention.
図2によれば、グループ毎に、マイクによってメンバの発話音声を常時収音する。その発話音声データは、管理装置1へ即時に送信される。管理装置1は、各マイクによって収音した発話音声を、メンバ毎に話者認識(音声認識)によって区分する。この場合予め、各メンバの声紋を登録しておく必要がある。そして、管理装置1は、各メンバの発話音声から検出した発話時刻及び発話時間長を取得する。勿論、マイクは、集合マイクではなく、各メンバに装着させるピンマイクであってもよく、メンバ固有の発話音声のみを収音し、その発話音声を管理装置1へ送信するものであってもよい。
According to FIG. 2, for each group, a member's speech is always collected by a microphone. The utterance voice data is immediately transmitted to the
図3は、本発明における端末の機能構成図である。 FIG. 3 is a functional configuration diagram of the terminal in the present invention.
図3によれば、端末1は、グループ毎の討論の活性化を推定し、その状況をユーザ(進行者)へ明示するものである。端末1は、発話音声取得部10と、発話記憶部11と、グループ発話区分部12と、発話密度寄与率算出部13と、グループ発話活性度算出部14と、オーバラップ率算出部15と、グループグラフ生成部16と、支援メッセージ選択部17とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。
According to FIG. 3, the
[発話音声取得部10]
発話音声取得部10は、マイクによって収音したメンバの発話音声から検出した当該メンバの発話時刻及び発話時間長を、発話記憶部11へ記憶させる。発話時間長は、例えば3秒単位で計測するものであってもよい。発話時間長は、3秒以上の無音区間を検出した毎に区分される。
[Speech voice acquisition unit 10]
The utterance
[発話記憶部11]
発話記憶部11は、各メンバが発話した発話時刻及び発話時間長を記憶する。発話時刻及び発話時間長は、各メンバの発話音声から抽出されたものであって、音声データそのものではない。
[Speech storage unit 11]
The
[グループ発話区分部12]
グループ発話区分部12は、発話記憶部11を用いて、グループ毎に、各メンバの発話時刻及び発話時間長を時系列に区分する。
[Group utterance classification unit 12]
The group utterance classification unit 12 uses the
図4は、グループ及びメンバにおける発話密度及びオーバラップ率の例を表す説明図である。 FIG. 4 is an explanatory diagram showing an example of speech density and overlap rate in groups and members.
図4によれば、5名のメンバからなる4つのグループが、同時に並行して討論しているとする。勿論、各グループを構成するメンバ数は、グループ毎に異なる数であってもよい。また、図4は、例えば1800秒(30分)の討論時間に対して、3秒単位で発話時間長を記録したものである。 According to FIG. 4, it is assumed that four groups of five members are discussing simultaneously in parallel. Of course, the number of members constituting each group may be different for each group. FIG. 4 shows the duration of the utterance in units of 3 seconds for a discussion time of 1800 seconds (30 minutes), for example.
[発話密度寄与率算出部13]
発話密度寄与率算出部13は、グループ毎に、全メンバの発話時間長に対する当該メンバの発話時間長の比を表す「発話密度寄与率」を算出する。図4によれば、例えば以下のようにされる。
メンバA1の発話密度寄与率UA1
=メンバA1の発話時間長の総計(UA1)/全体の発話時間長(ΣA=A1〜A5UA)
=600/1370
=0.438
メンバA2の発話密度寄与率UA2=90/1370=0.066
メンバA3の発話密度寄与率UA3=500/1370=0.365
メンバA4の発話密度寄与率UA4=120/1370=0.088
メンバA5の発話密度寄与率UA5=60/1370=0.044
[Speech density contribution rate calculation unit 13]
The utterance density contribution
Speech density contribution rate U A1 of member A1
= Total utterance time length of member A1 (U A1 ) / Total utterance time length (Σ A = A1 to A5 U A )
= 600/1370
= 0.438
Speech density contribution rate U A2 of member A2 = 90/1370 = 0.066
Speech density contribution rate of member A3 U A3 = 500/1370 = 0.365
Speech density contribution rate U A4 of member A4 = 120/1370 = 0.088
Speech density contribution rate U A5 of member A5 = 60/1370 = 0.044
[グループ発話活性度算出部14]
グループ発話活性度算出部14は、全グループの発話長の平均値に対する当該グループの発話時間長の比を表す「グループ発話活性度」を算出する。図4によれば、例えば以下のようにされる。
グループAの発話活性度UGA
=グループA全体の発話時間長/全グループの発話時間長の平均
=(ΣA=A1〜A5UA)/((Σg=A〜DUGg)/グループ数)
=1370/915
=1.497
グループBの発話活性度UGB=1650/915=1.803
グループCの発話活性度UGC=210/915=0.230
グループDの発話活性度UGD=430/915=0.470
[Group utterance activity calculation unit 14]
The group utterance activity
Group A speech activity UG A
= Average Group A total speech duration / total group speech time length = (Σ A = A1~A5 U A ) / ((Σ g = A~D UG g) / the number of groups)
= 1370/915
= 1.497
Group B speech activity UG B = 1650/915 = 1.803
Speech activity of group C UG C = 210/915 = 0.230
Group D speech activity UG D = 430/915 = 0.470
[オーバラップ率算出部15]
オーバラップ率算出部15は、グループ毎に、各メンバについて当該メンバの発話時間と他のメンバの発話時間との「オーバラップ時間長」を検出し、当該メンバの発話時間長に対するオーバラップ時間長を表すオーバラップ率を算出する。オーバラップ(一方のメンバが発話しているときに、他方のメンバも発話した場合)は、メンバ間の発話時刻及び発話時間長から検出することができる。図4によれば、例えば以下のようにされる。
メンバA1のオーバラップ率OLA1
=オーバラップ時間長/発話時間長
=240/600
=0.4
メンバA2のオーバラップ率OLA2=36/90=0.4
メンバA3のオーバラップ率OLA3=100/500=0.2
メンバA4のオーバラップ率OLA4=24/120=0.2
メンバA5のオーバラップ率OLA5=0/60=0
[Overlap rate calculation unit 15]
The overlap
Overlap rate OL A1 of member A1
= Overlap time length / Speech time length = 240/600
= 0.4
Overlap ratio of the member A2 OL A2 = 36/90 = 0.4
Overlap ratio of member A3 OL A3 = 100/500 = 0.2
Overlap ratio of the member A4 OL A4 = 24/120 = 0.2
Overlap ratio of
また、オーバラップ率算出部15は、グループ毎に、全メンバの発話時間長に対するオーバラップ時間長の総計の比を算出する。
グループAのオーバラップ率OLA
=オーバラップ時間長の総計/全メンバの発話時間長
=ΣA=A1〜A5OLA/ΣA=A1〜A5UA
=400/1370
=0.3
グループBのオーバラップ率OLB=880/1650=0.533
グループCのオーバラップ率OLC=55/210=0.262
グループDのオーバラップ率OLD=95/430=0.221
The overlap
Group A overlap rate OL A
= Total overlap time length / Speech time length of all members = Σ A = A1 to A5 OL A / Σ A = A1 to A5 U A
= 400/1370
= 0.3
Group B overlap rate OL B = 880/1650 = 0.533
Group C overlap rate OL C = 55/210 = 0.262
Group D overlap rate OL D = 95/430 = 0.221
尚、図4に表された当該メンバにおける「個人活性度」は、以下のように算出されたものである。
個人活性度=発話密度寄与率+オーバラップ率
The “individual activity level” of the member shown in FIG. 4 is calculated as follows.
Individual activity = utterance density contribution rate + overlap rate
[グループグラフ生成部16]
グループグラフ生成部16は、グループ毎に、各メンバの発話密度寄与率及びオーバラップ率を描画したグラフを生成する。進行者は、複数のグループで同時並行的に討論されている状況下で、視覚的に、各グループの活性度を認識することできる。このグラフは、グループ毎に各メンバを要素とするレーダーチャート状又は棒状のものであって、複数のグループで同時進行的に生成さる。進行者は、グループ毎に、全体に盛り上がっている/一部に偏っている/活性度が低い/平均的等の状態を確認することができ、特に指導すべきグループ・メンバを特定することができる。尚、グループグラフ生成部16は、各グループのグループ発話活性度を更に描画したグラフを生成することも好ましい。
[Group Graph Generation Unit 16]
The group
図5は、グループグラフを表す説明図である。 FIG. 5 is an explanatory diagram showing a group graph.
図5によれば、グループ毎に並列に、各メンバの発話密度寄与率及びオーバラップ率が表されている。特に、レーダーチャートの場合、主として図形の広がり方から、グループ毎の活性度を一目で比較することができる。図5によれば、グループA及びBに比較して、グループC及びDの活性度が低下していることが認識される。これらグループグラフは、ほぼリアルタイム(例えば30秒毎)に更新されることが好ましい。 According to FIG. 5, the utterance density contribution rate and the overlap rate of each member are shown in parallel for each group. In particular, in the case of a radar chart, the degree of activity for each group can be compared at a glance mainly from the way in which the figure spreads. According to FIG. 5, it is recognized that the activities of groups C and D are lower than those of groups A and B. These group graphs are preferably updated almost in real time (for example, every 30 seconds).
また、棒グラフの場合、各グループにおけるメンバ間の発話密度寄与率及びオーバラップ率を、相対的な傾向として比較することができる。例えば、活性度の低いメンバが複数存在するグループCと、逆に活発なメンバが多いグループBとの間で、メンバの入れ替えを指示することもできる。これによって、グループ間の活性度の偏りを緩和することができる。 In the case of a bar graph, the utterance density contribution rate and the overlap rate between members in each group can be compared as relative trends. For example, it is possible to instruct the replacement of a member between a group C in which a plurality of members with low activity exist and a group B in which there are many active members. This can mitigate the unevenness of activity between groups.
また、グループグラフ生成部16は、グループ毎に、発話密度寄与率が第1の所定条件範囲に属し、且つ、オーバラップ率が第2の所定条件範囲に属するメンバを、視覚的に強調表示したグラフを生成することもできる。これによって、例えば、発話密度寄与率が相対的に高く、且つ、オーバラップ率の低いメンバ(例えばA3)を、一見して発見することができる。このようなメンバは、発言マナーを順守しており、グループ活動のリーダ候補に成り得ると考えられる。
Further, the group
[支援メッセージ選択部17]
支援メッセージ選択部17は、発話密度寄与率の任意の所定範囲毎に、及び/又は、オーバラップ率の任意の所定範囲毎に、そのメンバ特性を表す支援メッセージを対応付けて予め記憶している。そして、支援メッセージ選択部17は、グラフの発話密度寄与率及び/又はオーバラップ率に応じて、支援メッセージを選択する。その選択された支援メッセージは、ユーザに更に明示される。優先的に注目すべき点について支援メッセージを明示することにより、進行者自身の経験に関係無く、討論の活性化に参考となる情報を迅速に注意喚起することができる。
[Support message selection unit 17]
The support message selection unit 17 stores in advance a support message representing the member characteristics in association with each predetermined range of the utterance density contribution rate and / or for every predetermined range of the overlap rate. . Then, the support message selection unit 17 selects a support message according to the utterance density contribution rate and / or the overlap rate of the graph. The selected assistance message is further revealed to the user. By clearly indicating a support message about points to be noted with priority, information that is helpful for activating the discussion can be quickly alerted regardless of the experience of the progressors themselves.
前述した図5のような支援メッセージは、進行者が注意を傾けるべきグループ・メンバを、明示的に表現することができる。
(1)グループ活性度が0.7以下で、且つ、個人活性度が0のメンバが複数存在する場合
図4によれば、グループCが選択される。
メッセージ:「グループCは活性度が低く要注意です」
(2)条件(1)に加え、グループ活性度が1.5を超え、且つ、個人活性度0のメンバが含まれないグループが存在する場合
図4によれば、グループBが選択される。
グループCの中で個人活性度が最も低いメンバC3が選択される。
グループBの中で個人活性度が最も高いメンバB4が選択される。
メッセージ:「グループCのメンバC3を、グループBのメンバB4と入れ替えてく
ださい」
(3)発話密度寄与率が0.3以上であって、オーバラップ率が70%超のメンバが存在す
る場合
図4によれば、グループAのメンバA1が選択される。
メッセージ:「メンバA1は活発ながら割込み発言が多いようです」
(4)発話密度寄与率が0.3以上であって、オーバラップ率が20%以下のメンバが存在
する場合
図4によれば、グループAのメンバA3が選択される。
メッセージ:「メンバA3は活発で発言マナーを守る模範的な存在です」
The above-described support message as shown in FIG. 5 can explicitly express group members to which the progressor should pay attention.
(1) When there are a plurality of members having a group activity level of 0.7 or less and an individual activity level of 0, according to FIG.
Message: “Group C has low activity and needs attention”
(2) In addition to the condition (1), when there is a group whose group activity exceeds 1.5 and does not include a member whose personal activity is 0, group B is selected according to FIG.
The member C3 having the lowest individual activity in the group C is selected.
The member B4 having the highest individual activity in the group B is selected.
Message: “Replace group C member C3 with group B member B4”
(3) When there is a member having an utterance density contribution ratio of 0.3 or more and an overlap ratio exceeding 70%, according to FIG. 4, member A1 of group A is selected.
Message: “Member A1 is active but seems to have many interruptions”
(4) When there is a member having an utterance density contribution rate of 0.3 or more and an overlap rate of 20% or less, according to FIG. 4, member A3 of group A is selected.
Message: “Member A3 is an active example that protects the manners”
図6は、時間経過に応じたグループ発話活性度を表すグラフである。 FIG. 6 is a graph showing the group utterance activity according to the passage of time.
図6によれば、グループ発話活性度が、時間経過に応じた折れ線グラフで表されている。支援メッセージ選択部17は、時間経過に応じたグループ発話活性度に応じて、支援メッセージを更に選択するものであってもよい。
(1)グループ発話活性度が、時間経過に応じて、所定範囲内で上昇している場合
メッセージ:「グループxは、徐々に盛り上がっています」
(2)グループ発話活性度が、時間経過に応じて、所定範囲内で上昇・下降している場合
メッセージ:「グループxは、変化が激しいようです」
(3)グループ発話活性度が、時間経過に応じて、所定範囲内で下降している場合
メッセージ:「グループxは、徐々に消沈してきています」
According to FIG. 6, the group utterance activity is represented by a line graph corresponding to the passage of time. The support message selection unit 17 may further select a support message according to the group utterance activity level corresponding to the passage of time.
(1) When the group utterance activity level rises within a specified range over time Message: “Group x is gradually rising”
(2) When the group utterance activity level rises or falls within a specified range over time Message: “Group x seems to change drastically”
(3) When the group utterance activity level falls within the specified range over time Message: “Group x is gradually sinking”
前述した図1によれば、グループグラフ及び支援メッセージは、管理端末に明示されることとなる。これらグラフ及びメッセージは、管理端末自ら生成したものであってもよいし、管理装置から受信したものであってもよい。また、メンバが所持する端末に、管理装置がグラフ及びメッセージを送信するものであってもよいし、メンバ端末自ら生成するものであってもよい。これによって、グループの討論の活性度を、進行者やメンバ自ら視認することができる。 According to FIG. 1 described above, the group graph and the support message are clearly shown to the management terminal. These graphs and messages may be generated by the management terminal itself, or may be received from the management apparatus. Further, the management device may transmit a graph and a message to a terminal possessed by a member, or may be generated by the member terminal itself. As a result, the activity level of the group discussion can be visually confirmed by the progressors and members themselves.
以上、詳細に説明したように、本発明のプログラム、端末及びシステムは、グループ毎の討論の活性化を推定し、進行者に対してその状況を明示することができる。特に、グループ内の討論の活性度への寄与度はメンバによって異なる。本発明によれば、グループ内のメンバ特性の偏りから、グループ内のリーダ的メンバや、逆に寄与度の低いメンバを発見し、進行者にフィードバックすることによって支援する。これによって、進行者は、討論の状況に応じてグループ全体の活性度を高める/保つように指導することができる。 As described above in detail, the program, terminal, and system of the present invention can estimate the activation of discussion for each group and clearly indicate the situation to the progressor. In particular, the contribution of the discussion within the group to the activity varies depending on the member. According to the present invention, support is provided by finding a leader-like member in the group or a member with a low contribution degree from the bias of the member characteristics in the group and feeding back to the progressor. This allows the facilitator to instruct to increase / maintain the activity of the entire group according to the situation of the discussion.
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.
1 端末、スマートフォン
10 発話音声取得部
11 発話記憶部
12 グループ発話区分部
13 発話密度寄与率算出部
14 グループ発話活性度算出部
15 オーバラップ率算出部
16 グループグラフ生成部
17 支援メッセージ選択部
DESCRIPTION OF
Claims (9)
各メンバが発話した発話時刻及び発話時間長を記憶した発話記憶手段と、
グループ毎に、各メンバの前記発話時刻及び前記発話時間長を時系列に区分するグループ発話区分手段と、
グループ毎に、全体の発話時間長に対する各メンバの発話時間長の比を表す発話密度寄与率を算出する発話密度寄与率算出手段と、
グループ毎に、各メンバの発話密度寄与率を描画したグラフを生成するグループグラフ生成手段と
してコンピュータを機能させ、前記グラフをユーザに明示することを特徴とするプログラム。 A program that allows a computer to function to estimate the activation of discussion for each group,
Utterance storage means for storing the utterance time and utterance time length of each member uttered;
Group utterance classification means for classifying the utterance time and the utterance time length of each member in time series for each group;
For each group, an utterance density contribution rate calculating means for calculating an utterance density contribution rate representing the ratio of the utterance time length of each member to the overall utterance time length;
A program for causing a computer to function as group graph generation means for generating a graph in which the utterance density contribution rate of each member is drawn for each group, and clearly displaying the graph to the user.
してコンピュータを機能させ、
前記グループグラフ生成手段は、各グループの前記グループ発話活性度を更に描画したグラフを生成する
ようにコンピュータを機能させることを特徴とする請求項1に記載のプログラム。 Causing the computer to function as a group utterance activity calculating means for calculating a group utterance activity representing the ratio of the utterance time length of the group to the average value of the utterance time length of all the groups;
The program according to claim 1, wherein the group graph generation unit causes a computer to generate a graph in which the group utterance activity of each group is further drawn.
ようにコンピュータを機能させることを特徴とする請求項1又は2に記載のプログラム。 The group graph generating means causes the computer to function so as to simultaneously generate a radar chart or bar graph having each member as an element for each group in a plurality of groups. 2. The program according to 2.
してコンピュータを更に機能させ、
前記グループグラフ生成手段は、グループ毎に、各メンバの前記オーバラップ率を更に描画したグラフを生成する
ようにコンピュータを機能させることを特徴とする請求項1から3のいずれか1項に記載のプログラム。 For each group, for each member, the overlap time length of the utterance time of the member and the utterance time of the other member is detected, and an overlap ratio representing the overlap time length with respect to the utterance time length of the member is calculated. Let the computer further function as a rate calculation means,
The said group graph production | generation means makes a computer function so that the graph which further drawn the said overlap rate of each member may be produced | generated for every group. program.
ようにコンピュータを機能させることを特徴とする請求項4に記載のプログラム。 The group graph generation means visually highlights, for each group, members whose utterance density contribution rate belongs to the first predetermined condition range and whose overlap rate belongs to the second predetermined condition range. The program according to claim 4, wherein the computer is caused to function to generate a graph.
してコンピュータを更に機能させ、選択された前記支援メッセージをユーザに更に明示することを特徴とする請求項4又は5に記載のプログラム。 A support message representing the member characteristic is stored in advance in association with each predetermined range of the utterance density contribution rate and / or for every predetermined range of the overlap rate, and the utterance density of the graph 5. The computer according to claim 4, wherein the computer further functions as a support message selection unit that selects the support message according to a contribution rate and / or an overlap rate, and the selected support message is further indicated to a user. 5. The program according to 5.
マイクによって収音したメンバの発話音声から検出した当該メンバの発話時刻及び発話時間長を、前記発話記憶手段へ記憶させる発話音声取得手段を更に有し、
前記グループグラフ生成手段によって生成された前記グラフを、ディスプレイにリアルタイムに明示する
ことを特徴とする端末。 A terminal that allows a computer to function the program according to any one of claims 1 to 6,
Utterance voice acquisition means for storing the utterance time and utterance time length of the member detected from the utterance voice of the member collected by the microphone into the utterance storage means;
The terminal characterized in that the graph generated by the group graph generating means is shown in real time on a display.
前記端末は、マイクによって収音したメンバの発話音声から検出した発話時刻及び発話時間長を、他の端末へ即時に送信し、
全ての端末は、前記発話記憶手段に記憶される情報を即時に共有し、前記グループグラフ生成手段によって生成された前記グラフを、ディスプレイにリアルタイムに明示する
ことを特徴とするシステム。 A system in which a plurality of terminals that allow a computer to function the program according to any one of claims 1 to 6 is connected to each other via a network,
The terminal immediately transmits the utterance time and utterance time length detected from the uttered voice of the member collected by the microphone to the other terminal,
All terminals share the information memorize | stored in the said utterance memory | storage means immediately, and show the said graph produced | generated by the said group graph production | generation means in real time on a display.
マイクによって収音したメンバの発話音声から検出した発話時刻及び発話時間長を、前記サーバへ即時に送信する端末と
を有するシステムであって、
前記サーバは、前記グループグラフ生成手段によって生成された前記グラフを、グループ管理者用の予め指定された端末へリアルタイムに送信する
ことを特徴とするシステム。 A server that causes a computer to function the program according to any one of claims 1 to 6;
A system having a terminal that immediately transmits the utterance time and the utterance time length detected from the utterance voice of the member picked up by the microphone to the server,
The server is characterized in that the graph generated by the group graph generating means is transmitted in real time to a terminal designated in advance for a group manager.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015042285A JP6401079B2 (en) | 2015-03-04 | 2015-03-04 | Apparatus and program for estimating activation of discussion for each group |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015042285A JP6401079B2 (en) | 2015-03-04 | 2015-03-04 | Apparatus and program for estimating activation of discussion for each group |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016162339A true JP2016162339A (en) | 2016-09-05 |
JP6401079B2 JP6401079B2 (en) | 2018-10-03 |
Family
ID=56845190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015042285A Active JP6401079B2 (en) | 2015-03-04 | 2015-03-04 | Apparatus and program for estimating activation of discussion for each group |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6401079B2 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018128744A (en) * | 2017-02-06 | 2018-08-16 | Kddi株式会社 | Notification device, notification method and notification program |
JP2019022131A (en) * | 2017-07-19 | 2019-02-07 | Kddi株式会社 | Speech voice collection method for receiving speech voices for each group, system, speech analysis server and program |
JP2019060990A (en) * | 2017-09-25 | 2019-04-18 | Kddi株式会社 | Utterance analyzing device, system and program for successively and preferentially analyzing utterance voice of group whose discussion is not active |
JP2019086992A (en) * | 2017-11-06 | 2019-06-06 | Kddi株式会社 | Device, program and method for triggering appropriate coaching timing for activating discussion |
WO2019130816A1 (en) * | 2017-12-25 | 2019-07-04 | 京セラドキュメントソリューションズ株式会社 | Information processing device and evaluation method |
WO2019130818A1 (en) * | 2017-12-25 | 2019-07-04 | 京セラドキュメントソリューションズ株式会社 | Information processing device and group reconstruction method |
WO2019187397A1 (en) * | 2018-03-29 | 2019-10-03 | 京セラドキュメントソリューションズ株式会社 | Information processing device |
JP2020091609A (en) * | 2018-12-04 | 2020-06-11 | 日本電気株式会社 | Learning support device, learning support method and program |
JP2021056840A (en) * | 2019-09-30 | 2021-04-08 | 株式会社リコー | Program, communication method, communication terminal and communication system |
JP2021140570A (en) * | 2020-03-06 | 2021-09-16 | 株式会社日立製作所 | Speech support apparatus, speech support method and speech support program |
US11404064B2 (en) | 2017-12-25 | 2022-08-02 | Kyocera Document Solutions Inc. | Information processing apparatus and speech analysis method |
WO2023012942A1 (en) * | 2021-08-04 | 2023-02-09 | 日本電信電話株式会社 | Dialog evaluation device, dialog evaluation method, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003532220A (en) * | 2000-05-01 | 2003-10-28 | インヴォーク ソリューションズ, インク | Large-scale group dialogue |
JP2006208482A (en) * | 2005-01-25 | 2006-08-10 | Sony Corp | Device, method, and program for assisting activation of conference, and recording medium |
-
2015
- 2015-03-04 JP JP2015042285A patent/JP6401079B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003532220A (en) * | 2000-05-01 | 2003-10-28 | インヴォーク ソリューションズ, インク | Large-scale group dialogue |
JP2006208482A (en) * | 2005-01-25 | 2006-08-10 | Sony Corp | Device, method, and program for assisting activation of conference, and recording medium |
Non-Patent Citations (3)
Title |
---|
守屋 悠里英: "ボイスチャット中の音声情報に基づく会話活性度推定方法の検討", ヒューマンインタフェース学会論文誌, vol. 14, no. 3, JPN6018028810, 24 August 2012 (2012-08-24), pages 57 - 66, ISSN: 0003863436 * |
王 亜楠: "KAIHUI:スマートフォンを用いたミーティング活発度定量化の試み", 電子情報通信学会技術研究報告ASN2014-156—ASN2014-172, vol. 114, no. 480, JPN6018028812, 23 February 2015 (2015-02-23), pages 209 - 215, ISSN: 0003863437 * |
鹿島 優子: "サイバー環境におけるコミュニケーションの機会と参加の特性", 情報処理学会研究報告95-IM-23, vol. 95, no. 83, JPN6018028816, 5 September 1995 (1995-09-05), pages 1 - 8, ISSN: 0003863438 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018128744A (en) * | 2017-02-06 | 2018-08-16 | Kddi株式会社 | Notification device, notification method and notification program |
JP2019022131A (en) * | 2017-07-19 | 2019-02-07 | Kddi株式会社 | Speech voice collection method for receiving speech voices for each group, system, speech analysis server and program |
JP2019060990A (en) * | 2017-09-25 | 2019-04-18 | Kddi株式会社 | Utterance analyzing device, system and program for successively and preferentially analyzing utterance voice of group whose discussion is not active |
JP2019086992A (en) * | 2017-11-06 | 2019-06-06 | Kddi株式会社 | Device, program and method for triggering appropriate coaching timing for activating discussion |
WO2019130816A1 (en) * | 2017-12-25 | 2019-07-04 | 京セラドキュメントソリューションズ株式会社 | Information processing device and evaluation method |
WO2019130818A1 (en) * | 2017-12-25 | 2019-07-04 | 京セラドキュメントソリューションズ株式会社 | Information processing device and group reconstruction method |
US11404064B2 (en) | 2017-12-25 | 2022-08-02 | Kyocera Document Solutions Inc. | Information processing apparatus and speech analysis method |
US11282518B2 (en) | 2018-03-29 | 2022-03-22 | Kyocera Document Solutions Inc. | Information processing apparatus that determines whether utterance of person is simple response or statement |
JPWO2019187397A1 (en) * | 2018-03-29 | 2020-04-30 | 京セラドキュメントソリューションズ株式会社 | Information processing equipment |
WO2019187397A1 (en) * | 2018-03-29 | 2019-10-03 | 京セラドキュメントソリューションズ株式会社 | Information processing device |
JP2020091609A (en) * | 2018-12-04 | 2020-06-11 | 日本電気株式会社 | Learning support device, learning support method and program |
WO2020116280A1 (en) * | 2018-12-04 | 2020-06-11 | 日本電気株式会社 | Learning support device, learning support method, and recording medium |
JP7392259B2 (en) | 2018-12-04 | 2023-12-06 | 日本電気株式会社 | Learning support devices, learning support methods and programs |
US12080288B2 (en) | 2018-12-04 | 2024-09-03 | Nec Corporation | Learning support device, learning support method, and recording medium |
JP2021056840A (en) * | 2019-09-30 | 2021-04-08 | 株式会社リコー | Program, communication method, communication terminal and communication system |
JP7272223B2 (en) | 2019-09-30 | 2023-05-12 | 株式会社リコー | Program, communication method, communication terminal and communication system |
JP2021140570A (en) * | 2020-03-06 | 2021-09-16 | 株式会社日立製作所 | Speech support apparatus, speech support method and speech support program |
WO2023012942A1 (en) * | 2021-08-04 | 2023-02-09 | 日本電信電話株式会社 | Dialog evaluation device, dialog evaluation method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6401079B2 (en) | 2018-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6401079B2 (en) | Apparatus and program for estimating activation of discussion for each group | |
US9894121B2 (en) | Guiding a desired outcome for an electronically hosted conference | |
US20140350930A1 (en) | Real Time Generation of Audio Content Summaries | |
KR20080085030A (en) | Sorting speakers in a network-enabled conference | |
DK180951B1 (en) | System with post-conversation representation, electronic device, and related methods | |
CN110705309A (en) | Service quality evaluation method and system | |
JP6576141B2 (en) | A program that can estimate the group state from characteristic words | |
JP5803617B2 (en) | Speech information analysis apparatus and speech information analysis program | |
WO2019130817A1 (en) | Information processing device and speech analysis method | |
WO2019130816A1 (en) | Information processing device and evaluation method | |
US11318373B2 (en) | Natural speech data generation systems and methods | |
JP7152453B2 (en) | Information processing device, information processing method, information processing program, and information processing system | |
JP2016157388A (en) | Communication skill evaluation feedback device, communication skill evaluation feedback method and communication skill evaluation feedback program | |
JP2019057061A (en) | Information output device and program | |
JP6744235B2 (en) | Notification device, notification method, and notification program | |
JP2013246501A (en) | Conference support device, conference support system, conference support method and program | |
CN111698452A (en) | Online group state feedback method, system and device | |
US20220172711A1 (en) | System with speaker representation, electronic device and related methods | |
CN109559760A (en) | A kind of sentiment analysis method and system based on voice messaging | |
KR102644989B1 (en) | Method for providing psychological counseling service using voice data of the deceased based on artificial intelligence algorithm | |
JP7225276B2 (en) | Information processing device, information processing method and information processing program | |
JP7253371B2 (en) | Extraction program, extraction method and extraction device | |
WO2019130815A1 (en) | Information processing device and evaluation method | |
WO2019130818A1 (en) | Information processing device and group reconstruction method | |
JP2021033621A (en) | Conference support system and conference support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6401079 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |