JP2011223092A - 発言機会均等化方法、発言機会均等化装置及び発言機会均等化プログラム - Google Patents

Abstract

【課題】各参加者に平等な発言機会を与え、円滑な話者交替を実現する。
【解決手段】動作検出部１０３が会議参加者の動作を検出し、次発話推薦値計算部１０４が話者交替履歴及び会議参加者の動作に基づいて会議参加者の発言の優先度を示す次発話推薦値を求め、音圧計算部１０８が次発話推薦値に基づいて会議参加者の音声の音圧レベルを調整する。これにより、しばらく発言していない会議参加者、頷きや手振りなどの動作を行っている会議参加者の音声を大きくすることができ、各会議参加者に平等な発言機会を与え、円滑な話者交替を実現することが可能となる。
【選択図】図１

Description

本発明は、ネットワークを介して会議を行う映像通信技術に関する。

会議の生産性を高めるには、会議参加者全員に発言の機会が平等に与えられ、活発に意見を飛び交わせることが大切だといわれている。しかしながら、実際の会議では、社会的立場の高い参加者や、声の大きな参加者に発言頻度が偏り、会議の結論も、そのような参加者の側に偏ることが多い。ことに遠隔会議では、音声チャネルによる情報伝達の重要度が増えるため、このような傾向が高いように思われる。音声会議ではまさに音声以外の情報は伝えられない。映像会議であっても、参加者が多数いる場合は個々人の映像が見づらい、または話者のみ拡大表示されるといったように、映像チャネルからすべての参加者の様子を読み取ることは困難である。そのため発言したそうなそぶりをしていても、はっきりと音声を発さないと他の参加者に認知されない。

従来の技術として、遠隔会議での発言権をコントロールするためにトークンという概念を導入し、発言したい会議参加者がトークンを獲得することで、声の大きさや勢いに関わらず、発言権を得ることができるような環境が提案されている（特許文献１参照）。

特開２００４−２４８１４５号公報

しかしながら、特許文献１の方法では、社会的な立場上、トークンを獲得することがためらわれることや、わざわざトークンを獲得する行為を挟むことで会議の円滑な進行が妨げられるといった問題が考えられる。

本発明は、上記に鑑みてなされたものであり、発言権獲得の際に社会的立場を意識するといった精神的敷居をなくし、また発言権獲得のために普段の対面した会議では行わないような特別な操作を必要とすることなく、各参加者に平等な発言機会を与え、円滑な話者交替を実現することを目的とする。

第１の本発明に係る発言機会均等化方法は、ネットワークを介して会議参加者の音声を送受信して会議を行う発言機会均等化方法であって、音声取込手段による、前記会議参加者の音声を取り込むステップと、映像取込手段による、前記会議参加者を撮影した映像を取り込むステップと、動作検出手段による、前記映像から前記会議参加者の動作を検出するステップと、次発話推薦値計算手段による、発言した順に会議参加者を記載した話者交替履歴における順番と前記検出するステップにおいて検出した動作に応じて、発言の優先度を示す次発話推薦値を計算するステップと、音圧調整手段による、前記次発話推薦値の大きさに基づいて前記会議参加者の音声の音圧レベルを調節するステップと、送受信手段による、音圧レベルを調整した前記会議参加者の音声を送受信するステップと、話者選定手段による、現在発言している会議参加者を話者として選定し、前記話者交替履歴に記載するステップと、を有することを特徴とする。

上記発言機会均等化方法において、次発話候補選定手段による、前記次発話推薦値の大きさに基づいて次発話候補を選定するステップを更に有し、前記音圧レベルを調節するステップは、前記次発話候補の音声の音圧レベルを大きくすることを特徴とする。

上記発言機会均等化方法において、前記話者を選定するステップは、話者として選定された会議参加者がいない場合、そのとき発言している会議参加者のうち前記次発話推薦値が高い会議参加者を話者として選定することを特徴とする。

第２の本発明に係る発言機会均等化装置は、ネットワークを介して会議参加者の音声を送受信して会議を行う発言機会均等化装置であって、前記会議参加者の音声を取り込む音声取込手段と、前記会議参加者を撮影した映像を取り込む映像取込手段と、前記映像から前記会議参加者の動作を検出する動作検出手段と、発言した順に会議参加者を記載した話者交替履歴における順番と前記動作検出手段が検出した動作に応じて、発言の優先度を示す次発話推薦値を計算する次発話推薦値計算手段と、前記次発話推薦値の大きさに基づいて前記会議参加者の音声の音圧レベルを調節する音圧調節手段と、音圧レベルを調整した前記会議参加者の音声を送受信する送受信手段と、現在発言している会議参加者を話者として選定し、前記話者交替履歴に記載する話者選定手段と、を有することを特徴とする。

上記発言機会均等化装置において、前記次発話推薦値の大きさに基づいて次発話候補を選定する次発話候補選定手段を更に有し、前記音圧調整手段は、前記次発話候補の音声の音圧レベルを大きくすることを特徴とする。

上記発言機会均等化装置において、前記話者選定手段は、話者として選定された会議参加者がいない場合、そのとき発言している会議参加者のうち前記次発話推薦値が高い会議参加者を話者として選定することを特徴とする。

第３の本発明に係る発言機会均等化プログラムは、上記発言機会均等化方法をコンピュータに実行させることを特徴とする。

本発明によれば、発言権獲得の際に社会的立場を意識するといった精神的敷居をなくし、また発言権獲得のために普段の対面した会議では行わないような特別な操作を必要とすることなく、各参加者に平等な発言機会を与え、円滑な話者交替を実現することができる。

本実施の形態における発言機会均等化装置１の構成を示す機能ブロック図である。 表示装置で会議参加者を表示する例を示す図である。 次発話推薦値を計算する処理の流れを示すフローチャートである。 話者フラグを設定する処理の流れを示すフローチャートである。 音圧計算処理の流れを示すフローチャートである。 音圧レベルが変化する様子を示すグラフである。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本実施の形態における発言機会均等化装置の構成を示す機能ブロック図である。同図に示す発言機会均等化装置１は、映像取込部１０１、音声取込部１０２、動作検出部１０３、次発話推薦値計算部１０４、メモリ１０５、送受信部１０６、次発話候補者選定部１０７、音圧計算部１０８、音圧制御部１０９、話者選定部１１０、および映像強調部１１１を備える。発言機会均等化装置１は、ネットワークを介して会議参加者の音声や映像を送受信して遠隔会議を行う装置であり、話者の履歴、会議参加者の動作に基づいて次発話推薦値を算出し、次発話推薦値に基づいて音圧レベルを決定するものである。発言機会均等化装置１は、ビデオカメラ２、マイク３、表示装置４、およびスピーカ５を接続するとともに、ネットワークを介して他の発言機会均等化装置１を接続する。

発言機会均等化装置１が備える各部は、演算処理装置、記憶装置、メモリ等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは発言機会均等化装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部の詳細について説明する。

映像取込部１０１は、ビデオカメラ２で撮影した会議参加者の映像を取り込む。

音声取込部１０２は、マイク３が取得した会議参加者の音声を取り込む。

動作検出部１０３は、映像取込部１０１が取り込んだ映像から会議参加者の動作を画像処理により検出する。検出する動作としては、頷き、手の動き、頭の動きなど会議における特徴的な動きである。

次発話推薦値計算部１０４は、話者交替履歴と動作検出部１０３が検出した動作を用いて次発話推薦値を算出する。算出した次発話推薦値は、メモリ１０５に格納される。次発話推薦値は、会議参加者の発言の優先度を示す数値であり、送受信部１０６によりネットワークを介して他の発言機会均等化装置１に送信され、会議に参加する全ての発言機会均等化装置１間で共有される。話者交替履歴は、後述する話者選定部１１０が選定した話者の履歴である。

メモリ１０５は、会議参加者に関連付けて次発話推薦値を格納する。次発話推薦値計算部１０４が算出した次発話推薦値に加えて、送受信部１０６が他の発言機会均等化装置１から受信した他の会議参加者の次発話推薦値も格納する。

送受信部１０６は、映像取込部１０１が取り込んだ会議参加者の映像、音声取込部１０２が取り込んだ会議参加者の音声、および次発話推薦値を送受信する。

次発話候補者選定部１０７は、全ての会議参加者の次発話推薦値をメモリ１０５から読み出し、次発話推薦値を互いに比較して大きい順に上位ｎ人を並べ、次発話候補情報として音圧計算部１０８に渡す。

音圧計算部１０８は、次発話候補者選定部１０７から受信した次発話候補情報と、話者であることを示す話者フラグに基づき、音声取込部１０２が取り込んだ音声の音圧レベルを変化させる値を計算する。なお、話者フラグは、後述する話者選定部１１０が設定するフラグであり、現在の話者を示すフラグである。

音圧制御部１０９は、音声取込部１０２が取り込んだ音声の音圧レベルを音圧計算部１０８が算出した値に変化させる。音圧レベルを変化させた音声は、送受信部１０６により、会議に参加する全ての発言機会均等化装置１に送信される。

話者選定部１１０は、会議参加者の音声入力の有無、無音時間の長さ、および次発話推薦値から会議参加者を１人選定し、その会議参加者の話者フラグを１に設定する。話者フラグが設定された会議参加者の履歴は話者交替履歴としてメモリ１０５に格納される。

映像強調部１１１は、話者フラグが設定された会議参加者の映像を、例えば赤い枠で囲い、強調する。さらに、次発話候補者選定部１０７が選定したｎ人の次発話候補を、例えば黄色い枠で囲い、強調する。

表示装置４は、話者、次発話候補を強調して会議参加者を表示する。会議参加者の映像は、送受信部１０６が他の発言機会均等化装置１から受信する。図２に、表示装置４において会議参加者を表示する例を示す。同図には、４人の会議参加者映像４０１Ａ，４０１Ｂ，４０１Ｃ，４０１Ｄが映し出されており、会議参加者映像４０１Ｃは、強調枠４０２で強調されている。

スピーカ５は、送受信部１０６が受信した、各発言機会均等化装置１において音圧レベルを変化させた会議参加者の音声を出力する。

次に、発言機会均等化装置１の処理について説明する。

まず、次発話推薦値の算出について説明する。次発話推薦値は、話者交替履歴及び会議参加者の動作を用いて算出される。

図３は、次発話推薦値を計算する処理の流れを示すフローチャートである。

まず、次発話推薦値計算部１０４は、話者フラグを読み出して、話者フラグが１であるか否かを判定する（ステップＳ１０１）。話者フラグが１の場合、発言機会均等化装置１が担当する会議参加者（以下、「担当会議参加者」と称する）が現在の話者であるので、次発話推薦値は０のまま処理を終了する。

続いて、次発話推薦値計算部１０４は、話者交替履歴を読み出して、１つ前の話者が担当会議参加者であるか、つまり、担当会議参加者が１つ前に発言したか否か判定する（ステップＳ１０２）。話者交替履歴は、話者選定部１１０が選定した話者の履歴であり、話者フラグが１に設定された話者の名前あるいは識別子が話者交替履歴に記載される。１つ前に発言していた場合は、ステップＳ１０８に進み、動作に応じた次発話推薦値の加算処理を行う。

１つ前に発言していない場合は、次発話推薦値に１を加算する（ステップＳ１０３）。

そして、２つ前の話者が担当会議参加者であるか否か判定する（ステップＳ１０４）。２つ前に発言していた場合は、ステップＳ１０８に進み、動作に応じた次発話推薦値の加算処理を行う。２つ前に発言していない場合は、次発話推薦値に１を加算する（ステップＳ１０５）。

このように、担当会議参加者と話者交替履歴を順番に比較し、話者交替履歴に担当会議参加者が現れるまで次発話推薦値の加算処理を繰り返す（ステップＳ１０６，Ｓ１０７）。本実施の形態では、話者交替履歴のＭ番目まで判定処理、加算処理を行う。話者交替履歴のＭ番目までに担当会議参加者が現れない場合、この時点で次発話推薦値の値はＭとなる。

話者交替履歴に基づく次発話推薦値の加算処理が終了すると、動作に応じた次発話推薦値の加算処理を行う。動作の検出は、動作検出部１０３が、映像取込部１０１が取り込んだビデオカメラ２で撮影された会議参加者の映像を画像処理することにより行う。例えば、頷きは顔向きの検出を行い、顔向きが上下に動いたときに「頷き動作あり」と判定する。手の動きは、顔と隣接していない肌色の領域を検出し、その領域が単位時間当たりにあらかじめ定めた閾値を超えて移動した場合に「手の動きあり」と判定する。頭の動きは、顔領域を検出し、顔領域の中心点が単位時間当たりにあらかじめ定めた閾値を超えて移動した場合に「頭の動きあり」と判定する。

まず、頷き動作が検出されたか否か判定する（ステップＳ１０８）。頷き動作が検出されない場合は、ステップＳ１１０に進む。頷き動作が検出された場合は、次発話推薦値に１を加算する（ステップＳ１０９）。

続いて、手の動きが検出されたか否か判定する（ステップＳ１１０）。手の動きが検出されない場合は、ステップＳ１１２に進む。手の動きが検出された場合は、次発話推薦値に１を加算する（ステップＳ１１１）。

最後に、頭の動きが検出されたか否か判定する（ステップＳ１１２）。頭の動きが検出された場合は、次発話推薦値に１を加算する（ステップＳ１１３）。

このように次発話推薦値計算部１０４は次発話推薦値を算出する。算出した次発話推薦値は、メモリ１０５に格納され、送受信部１０６により他の発言機会均等化装置１に送信する。

次に、話者の選定について説明する。話者は、会議参加者の音声入力の有無、時間間隔、および次発話推薦値を用いて１人選定される。

図４は、話者フラグを設定する処理の流れを示すフローチャートである。会議に参加する発言機会均等化装置１それぞれで担当会議参加者の話者フラグを設定する。

まず、全会議参加者のなかに話者がいるか否か判定する（ステップＳ２０１）。話者がいるか否かは、話者フラグが１に設定された発言機会均等化装置１が存在するか否かで判断できる。

話者がいる場合、担当会議参加者が話者であるか否か判定する（ステップＳ２０２）。話者であるか否かは自身の話者フラグを参照することで判定する。話者フラグが１の場合、担当会議参加者が話者であり、話者フラグが０の場合、担当会議参加者は話者ではない。担当会議参加者が話者でない場合、他の会議参加者が現在の話者であるので話者フラグを０に設定する（ステップＳ２１１）。

担当会議参加者が話者の場合、音声取込部１０２が取り込んだ音声の無音時間が１秒未満であるか否か判定し（ステップＳ２０３）、無音時間が１秒未満である場合は、話者フラグを１に設定する（ステップＳ２１０）。無音時間が１秒未満である場合は、担当会議参加者はまだ発言の途中であると判定する。無音時間が１秒以上継続している場合は、話者フラグを０に設定する（ステップＳ２１１）。無音時間が１秒以上継続している場合は、担当会議参加者の発言が終了したと判定し、話者フラグを０に設定する。この時点で全会議参加者のなかに話者がいない状態となる。

一方、ステップＳ２０１で話者がいないと判定した場合は話者の選定処理となる。

まず、担当会議参加者の音声入力があるか否か判定する（ステップＳ２０４）。音声入力が無い場合は、担当会議参加者は発言していないので話者となることはなく、話者フラグを０に設定する（ステップＳ２１１）。

担当会議参加者の音声入力がある場合、他の会議参加者からの音声入力があるか否か判定する（ステップＳ２０５）。他の会議参加者からの音声入力が無い場合は、担当会議参加者を話者として選定し、話者フラグを１に設定する（ステップＳ２１２）。ステップＳ２１２では、担当会議参加者が新たな話者となるので、話者交替履歴に担当会議参加者を記載する。担当会議参加者が話者となったことは、他の発言機会均等化装置１に通知され、他の発言機会均等化装置１の話者交替履歴も更新される。

他の会議参加者から音声入力がある場合、担当会議参加者の次発話推薦値が他の会議参加者の次発話推薦値から高いか否か判定し（ステップＳ２０６）、担当会議参加者の次発話推薦値がもっとも高い場合は、話者フラグを１に設定し、話者交替履歴を更新する（ステップＳ２１２）。他の担当会議参加者の次発話推薦値が高い場合は、話者フラグを０に設定する（ステップＳ２１１）。

次に、音圧計算処理について説明する。

図５は、音圧計算処理の流れを示すフローチャートである。

まず、話者フラグが１であるか否か判定する（ステップＳ３０１）。話者フラグが１である場合、音圧をＶに設定する（ステップＳ３１０）。

話者フラグが１でない場合、次発話候補者選定部から受信した次発話候補情報を参照し、担当会議参加者が次発話候補であるか否か判定する（ステップＳ３０２）。担当会議参加者が次発話候補である場合、音圧を話者と同じＶに設定する（ステップＳ３１０）。

担当会議参加者が次発話候補でない場合、次発話推薦値を参照し、次発話推薦値が３以上であるか否か判定する（ステップＳ３０３）。次発話推薦値が３以上である場合、音圧を３／４Ｖに設定する（ステップＳ３１１）。

続いて、次発話推薦値が１以上であるか否か判定する（ステップＳ３０４）。次発話推薦値が１以上の場合は、音圧を１／２Ｖに設定し（ステップＳ３１２）、次発話推薦値が１未満の場合は、音圧を１／４Ｖに設定する（ステップＳ３１３）。

音圧制御部１０９は、マイク３から音声取込部１０２を通じて取得した音声の音圧レベルを、上記の音圧計算処理により求められた値に変化させる。図６に、音圧レベルが変化する例を示す。同図の符号５０１で示す区間では、次発話推薦値が０で、次発話候補でもなく、話者でもないから、音圧は１／４Ｖとなる。符号５０２で示す区間では、この会議参加者が次発話候補となったことから、音圧はＶとなる。このときの次発話推薦値は４であった。符号５０３で示す区間では、この会議参加者が話者となったことから、音圧はＶとなる。

音圧制御部１０９により音圧レベルを変化させた音声は、送受信部１０６を通じて全ての発言機会均等化装置１で共有され、各発言機会均等化装置１に接続されたスピーカ５から出力される。

以上説明したように、本実施の形態によれば、動作検出部１０３が会議参加者の動作を検出し、次発話推薦値計算部１０４が話者交替履歴及び会議参加者の動作に基づいて会議参加者の発言の優先度を示す次発話推薦値を求め、音圧計算部１０８が次発話推薦値に基づいて会議参加者の音声の音圧レベルを調整することにより、しばらく発言していない会議参加者、頷きや手振りなどの動作を行っている会議参加者の音声を大きくすることができ、各会議参加者に平等な発言機会を与え、円滑な話者交替を実現することが可能となる。

本実施の形態によれば、会議参加者の音声入力の有無、次発話推薦値に基づいて現在の話者を特定し、映像強調部１１１が話者や次発話候補を強調することで、現在の話者、次発話候補を容易に認知することが可能となる。

なお、本発明は映像のない音声会議にも適用することができる。その場合、会議参加者の名前の色を変えて強調することで、話者や次発話候補を表現できる。

１…発言機会均等化装置
２…ビデオカメラ
３…マイク
４…表示装置
５…スピーカ
１０１…映像取込部
１０２…音声取込部
１０３…動作検出部
１０４…次発話推薦値計算部
１０５…メモリ
１０６…送受信部
１０７…次発話候補者選定部
１０８…音圧計算部
１０９…音圧制御部
１１０…話者選定部
１１１…映像強調部

Claims (7)

1. ネットワークを介して会議参加者の音声を送受信して会議を行う発言機会均等化方法であって、
   音声取込手段による、前記会議参加者の音声を取り込むステップと、
   映像取込手段による、前記会議参加者を撮影した映像を取り込むステップと、
   動作検出手段による、前記映像から前記会議参加者の動作を検出するステップと、
   次発話推薦値計算手段による、発言した順に会議参加者を記載した話者交替履歴における順番と前記検出するステップにおいて検出した動作に応じて、発言の優先度を示す次発話推薦値を計算するステップと、
   音圧調整手段による、前記次発話推薦値の大きさに基づいて前記会議参加者の音声の音圧レベルを調節するステップと、
   送受信手段による、音圧レベルを調整した前記会議参加者の音声を送受信するステップと、
   話者選定手段による、現在発言している会議参加者を話者として選定し、前記話者交替履歴に記載するステップと、
   を有することを特徴とする発言機会均等化方法。
2. 次発話候補選定手段による、前記次発話推薦値の大きさに基づいて次発話候補を選定するステップを更に有し、
   前記音圧レベルを調節するステップは、前記次発話候補の音声の音圧レベルを大きくすることを特徴とする請求項１記載の発言機会均等化方法。
3. 前記話者を選定するステップは、話者として選定された会議参加者がいない場合、そのとき発言している会議参加者のうち前記次発話推薦値が高い会議参加者を話者として選定することを特徴とする請求項１又は２記載の発言機会均等化方法。
4. ネットワークを介して会議参加者の音声を送受信して会議を行う発言機会均等化装置であって、
   前記会議参加者の音声を取り込む音声取込手段と、
   前記会議参加者を撮影した映像を取り込む映像取込手段と、
   前記映像から前記会議参加者の動作を検出する動作検出手段と、
   発言した順に会議参加者を記載した話者交替履歴における順番と前記動作検出手段が検出した動作に応じて、発言の優先度を示す次発話推薦値を計算する次発話推薦値計算手段と、
   前記次発話推薦値の大きさに基づいて前記会議参加者の音声の音圧レベルを調節する音圧調節手段と、
   音圧レベルを調整した前記会議参加者の音声を送受信する送受信手段と、
   現在発言している会議参加者を話者として選定し、前記話者交替履歴に記載する話者選定手段と、
   を有することを特徴とする発言機会均等化装置。
5. 前記次発話推薦値の大きさに基づいて次発話候補を選定する次発話候補選定手段を更に有し、
   前記音圧調整手段は、前記次発話候補の音声の音圧レベルを大きくすることを特徴とする請求項４記載の発言機会均等化装置。
6. 前記話者選定手段は、話者として選定された会議参加者がいない場合、そのとき発言している会議参加者のうち前記次発話推薦値が高い会議参加者を話者として選定することを特徴とする請求項４又は５記載の発言機会均等化装置。
7. 請求項１乃至３のいずれかに記載の発言機会均等化方法をコンピュータに実行させることを特徴とする発言機会均等化プログラム。

Images