JP2013183183A - 会議装置、会議方法および会議プログラム - Google Patents

Abstract

【課題】特別な操作を行うことなく発話できるとともに、発話欲求の現れ方の個人差を加味して各参加者の発話欲求の度合いを表示可能とする。
【解決手段】会議装置１であって、自参加者の映像データから発話欲求があると推定される所定の動作を検出する動作検出手段２２と、検出した動作に基づいて自参加者の発話欲求スコアを算出するとともに、当該発話欲求スコアを減衰させる発話欲求スコア算出手段２３と、自参加者の音声データから発話を検出する発話検出手段２６と、発話欲求スコアが所定の閾値を超えている状態で発話が検出されなかった場合に、発話欲求スコアが減少または早く減衰させるように制御する修正手段２９と、他の会議装置から他参加者の発話欲求スコアを受信する受信手段３２と、各参加者の発話欲求スコアに応じた発話欲求の度合いを示す情報が設定された会議映像を編集し、表示する映像編集手段３１と、を有する。
【選択図】図１

Description

本発明は、ネットワークを介した遠隔会議を行う会議装置、会議方法および会議プログラムに関する。

エコや、経費削減の観点から、遠隔会議システムの需要が増加している。遠隔会議システムを利用すると、離れた場所から複数人で会議を実施できるため便利である。特に、Web会議のように、インターネットに接続できればノートPCからでも参加できるシステムは、使用場所の制限が少ない。

特許文献１には、遠隔会議での発言権をコントロールするためにトークンという概念を導入し、発言したい会議参加者がトークンを獲得することで、発言権を得ることができる多地点通信システムが記載されている。

特開2004-248145号公報

このような遠隔会議システムの欠点として、映像や音声の質が低いことが挙げられる。すなわち、映像の解像度は低く、映像表示サイズはある程度小型のものに制限され、また１つのディスプレイに並べられた複数の参加者映像から参加者の表情や仕草などの情報を読み取ることは困難であり、誰が次に発話しそうなのかが分からない。さらに、音声遅延の影響により、実際に誰が発話を開始したのかを、他の参加者が認知するまでに遅れが生じる。

以上の理由から、遠隔会議における問題として、誰が次に発話しそうなのかがわからず、同時に複数の参加者が発話を開始する発話の衝突が挙げられる。このように発話の衝突が頻繁に発生し、そこからの再開も困難な会議では、参加者に精神的なストレスが蓄積するとともに、会議の進行を停滞させてしまう。

特許文献１では、発話したいという欲求が生じた際に、まずトークンを獲得する操作をしなくてはならない。このため、参加者は、発言する際には、普段の会話では行われないトークンを獲得するという意識的な行動が必要となり、会議の円滑な進行が妨げられる可能性がある。

また、参加者の発話欲求を、参加者の動作から判定することも考えられるが、各参加者の発話欲求の現れ方（例えば、発話欲求のあるときに行う動作や頻度など）には個人差があり、共通の判定基準で判定することは困難である。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、参加者に発話したいという欲求が生じた際に、特別な操作を行うことなく発話できるとともに、発話欲求の現れ方の個人差を加味して各参加者の発話欲求の度合いを表示可能な会議装置、会議方法および会議プログラムを提供することにある。

上記目的を達成するため、本発明は、ネットワークを介して遠隔会議を行う会議装置であって、当該会議装置を使用する自参加者の映像データから発話欲求があると推定される所定の動作を検出する動作検出手段と、前記動作検出手段が検出した動作に基づいて自参加者の発話欲求スコアを算出するとともに、当該発話欲求スコアを時間に応じて減衰させる発話欲求スコア算出手段と、前記自参加者の音声データから発話を検出する発話検出手段と、前記発話欲求スコアが所定の閾値を超えている状態で、発話が検出されなかった場合に、前記発話欲求スコアが減少または早く減衰させるように制御する修正手段と、ネットワークを介して他の会議装置から他参加者の発話欲求スコアを受信する受信手段と、自参加者および他参加者の発話欲求スコアに応じた発話欲求の度合いを示す情報が設定された会議映像を編集し、表示する映像編集手段と、を有する。

本発明は、ネットワークを介して遠隔会議を行う会議方法であって、会議装置は、当該会議装置を使用する自参加者の映像データから発話欲求があると推定される所定の動作を検出するとともに、自参加者の音声データから発話を検出する検出ステップと、前記検出ステップで検出した動作に基づいて自参加者の発話欲求スコアを算出するとともに、当該発話欲求スコアを時間に応じて減衰させる算出ステップと、前記発話欲求スコアが所定の閾値を超えている状態で、発話が検出されなかった場合に、前記発話欲求スコアが減少または早く減衰させるように制御する修正ステップと、ネットワークを介して他の会議装置から他参加者の発話欲求スコアを受信する受信ステップと、自参加者および他参加者の発話欲求スコアに応じた発話欲求の度合いを示す情報が設定された会議映像を編集し、表示する映像編集ステップと、を行う。

本発明は、前記会議装置としてコンピュータを機能させるための会議プログラムである。

本発明によれば、参加者に発話したいという欲求が生じた際に、特別な操作を行うことなく発話できるとともに、発話欲求の現れ方の個人差を加味して各参加者の発話欲求の度合いを表示可能な会議装置、会議方法および会議プログラムを提供することができる。

本発明の実施形態に係る会議システムの全体構成図である。 発話欲求スコア計算部の処理を示すフローチャートである。 図２の頷きのスコア算出処理を示すフローチャートである。 図２の挙手のスコア算出処理を示すフローチャートである。 図２の手を顔に近づける動作のスコア算出処理を示すフローチャートである。 発話欲求フラグ設定部の処理を示すフローチャートである。 発話フラグ設定部の処理を示すフローチャートである。 修正値計算部の処理を示すフローチャートである。 図８の動作の影響を増加させる処理を示すフローチャートである。 修正値計算部の処理を示すフローチャートである。 図１０の動作の影響を減衰させる処理を示すフローチャートである。 発話欲求スコアを説明する説明図である。 会議映像の一例を示す図である。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る会議システムの全体構成図である。本実施形態の会議システムは、ネットワーク９に接続された複数のクライアント１を用いて、遠隔地にいる複数の会議参加者（以下、「参加者」という）が遠隔会議を行うためのシステムである。図示する会議システムは、複数の参加者の各々が使用する複数のクライアント１と、これらのクライアント１とネットワーク９を介して接続されたサーバ３とを備える。

クライアント１（会議装置）は、例えばＰＣなどであって、当該クライアント１を使用する自参加者の映像を撮影するビデオカメラ１１と、自参加者が発言した音声を集音するマイク１２と、会議映像を表示する表示装置（ディスプレイ）１３と、サーバ３から送信された他の参加者の音声を出力するスピーカ１４とを備える。

また、クライアント１は、映像取得部２１と、動作検出部２２と、発話欲求スコア計算部２３と、発話欲求フラグ設定部２４と、音声取得部２５と、発話フラグ設定部２６と、メモリ２７と、他者発話欲求値計算部２８と、修正値計算部２９と、映像生成部３０と、映像編集部３１と、通信部３２とを備える。

映像取得部２１は、ビデオカメラ１１が撮像した映像データを取り込む。動作検出部２２は、自参加者の映像データから発話欲求があると推定・想定される所定の動作を検出する。本実施形態では、動作検出部２２は、自参加者の映像データから発話欲求があると推定される複数の種類の動作を検出する。

発話欲求スコア計算部２３は、動作検出部２２が検出した動作に基づいて自参加者の発話欲求スコアを算出するとともに、当該発話欲求スコアを時間に応じて減衰させる。また、本実施形態の発話欲求スコア計算部２３は、動作検出部２２が検出した動作の種類に応じた発話欲求スコアを算出するとともに、当該発話欲求スコアを動作の種類に応じて減衰させる。また、発話欲求スコア計算部２３は、算出および減衰した発話欲求スコアをメモリ２７に記憶する。

発話欲求フラグ設定部２４は、発話欲求スコア計算部２３が算出した発話欲求スコアが所定の閾値を越えた場合、メモリ２７に記憶される発話欲求フラグに１を設定する。

音声取得部２５は、マイク１２から集音された音声データを取り込む。発話フラグ設定部２６（発話検出手段）は、自参加者の音声データから発話を検出する。そして、発話フラグ設定部２６は、発話を検出すると、メモリ２７の発話フラグを１に設定する。

他者発話欲求値計算部２８は、ネットワーク９およびサーバ３を介して、他の各クライアント１から他参加者の発話欲求フラグを受信し、これらを加算した合計値を他者発話欲求値とする。

修正値計算部２９（修正手段）は、発話欲求スコア計算部２３が算出した自参加者の発話欲求スコアが所定の閾値を超えている状態で、自参加者の発話が検出されなかった場合に、発話欲求スコアが減少または早く減衰させるように制御する。また、修正値計算部２９は、自参加者の発話が検出された場合であって、発話欲求スコアが所定の閾値を超えていない場合に、発話欲求スコアが増加または遅く減衰させるように制御する。

映像生成部３０は、映像取得部２１が取り込んだ自参加者の映像データと、通信部３２が受信した他参加者の映像データとを配置した会議映像を生成する。映像編集部３１は、自参加者および他参加者の発話欲求スコアに応じた発話欲求の度合いを示す情報を、映像生成部３０が生成した会議映像に設定・編集し、表示装置１３に表示する。

通信部３２（受信手段）は、映像取得部２１により取り込まれた映像データを、ネットワーク９およびサーバ３を介して、他のクライアント１に送信するとともに、映像生成部３０に送出する。また、通信部３２は、他の参加者の映像データをネットワーク９およびサーバ３を介して他のクライアント１から受信し、映像生成部３０に送出する。また、通信部３２は、音声取得部２５により取り込まれた音声データをネットワーク９およびサーバ３を介して他のクライアント１に送信するとともに、他の参加者の音声データを、ネットワーク９およびサーバ３を介して他のクライアント１から受信し、スピーカ１４に出力・再生する。また、通信部３２は、メモリ２７に記憶された各種情報（発話欲求スコア、発話欲求フラグ、発話フラグなど）を、ネットワーク９およびサーバ３を介して、他のクライアント１と送受信する。

サーバ３は、各参加者が使用する各クライアント１から入力される、当該参加者の映像データ、音声データおよびメモリ２７の情報をそれぞれ受信し、他のクライアント１に送信する。

クライアント１およびサーバ３は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、クライアント１およびサーバ３およびの各機能は、クライアント１用のプログラムの場合はクライアント１のＣＰＵが、そして、サーバ３用のプログラムの場合はサーバ３のＣＰＵが、それぞれ実行することにより実現される。

また、クライアント１用のプログラムおよびサーバ３用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

次に、本実施形態のクライアント１の動作について説明する。

各参加者は、それぞれ、クライアント１の前に座り、ネットワークを介した遠隔会議を行う。クライアント１の映像取得部２１は、ビデオカメラ１１で撮像された自参加者の映像データを取り込み、動作検出部２２に送出する。

動作検出部２２は、ビデオカメラ１１の映像データから自参加者の所定の動作を検出する。ここで検出される所定の動作は、例えば、「頷き」、「挙手」、「手を顔に近づける」などの発話欲求があると想定される少なくとも１つの種類の動作である。

動作検出部２２は、画像認識技術を用いて映像データに対し画像処理を行うことで、このような動作を検出する。例えば、「頷き」動作は、顔向き検出を行い、顔の向きが上下に動いた場合に、「頷き」と判別する。

「挙手」動作は、例えば、顔領域と隣接していない肌色の領域を手の領域であると識別し、この手の領域の重心が画像（映像データ）の縦軸（ｙ軸）方向に、あらかじめ定めた所定の高さ（閾値）を超えた場合、「挙手」と判別する。もしくは、例えば手と肘関節の位置座標を求め、肘関節よりも手の方が高い位置にあるときに「挙手」と判別することなどが考えられる。

「手を顔に近づける」動作は、例えば、顔領域と隣接していない肌色の領域を手の領域であると識別し、この手の領域が顔領域と重なった場合、「手を顔へ近づける」と判別する。もしくは、例えば、顔の位置座標を求め、手の領域が顔の位置座標に一定距離以内に近づいた場合に「手を顔に近づける」と判別することなどが考えられる。なお、各動作の検知方法は、どのような方法を用いてもよく、上記記載した方法に限定されるものではない。

そして、動作検出部２２で検出された動作の情報（種類）は、発話欲求スコア計算部２３に送出される。

図２は、発話欲求スコア計算部２３の処理を示すフローチャートである。発話欲求スコア計算部２３は、繰り返し図２に示す処理を行う。

発話欲求スコア計算部２３は、頷きのスコアを算出し（Ｓ１１）、挙手のスコアを算出し（Ｓ１２）、顔に手を近づける動作のスコアを算出し（Ｓ１３）、Ｓ１１〜Ｓ１３でそれぞれ算出したスコアを合計し、発話欲求スコアとしてメモリ２７に記憶する（Ｓ１４）。

そして、発話欲求スコア計算部２３は、後述する頷きの効果持続時間、挙手の効果持続時間および顔に手を近づける動作の効果持続時間から、当該フローチャートの一回分の処理時間をそれぞれ減算する（Ｓ１５）。なお、各効果持続時間の最小値は０である。また、発話欲求スコア計算部２３は、フローチャートの処理に要する時間を計測しているものとする。

図３は、図２のＳ１１の処理（頷きのスコアの算出処理）を示すフローチャートである。発話欲求スコア計算部２３は、動作検出部２２が頷きを検出した場合（Ｓ２１：ＹＥＳ）、頷きの効果持続時間をあらかじめ定めた所定の時間（Ａｔ）とし（Ｓ２２）、メモリ２７に記憶された現時点の頷きのスコアにあらかじめ定めた所定の値（加算スコアＡ）を加算する（Ｓ２３）。動作検出部２２が頷き動作を検出していない場合（Ｓ２１：ＮＯ）、Ｓ２４に進む。

そして、発話欲求スコア計算部２３は、頷きの効果持続時間が０でない場合（Ｓ２４：ＮＯ）、処理を終了する。また、発話欲求スコア計算部２３は、頷きの効果持続時間が０で（Ｓ２４：ＹＥＳ）、頷きのスコアが０の場合（Ｓ２５：ＹＥＳ）、処理を終了する。また、発話欲求スコア計算部２３は、２４：ＹＥＳの場合であって、頷きのスコアが０でない場合（Ｓ２５：ＮＯ）、頷きのスコアを時間に応じて減衰させるように制御する。本実施形態では、頷きの効果持続時間Ａｔ経過後に、時間とともに頷きの減衰傾き（１／Ａｄ）に従って減衰・減少させる（Ｓ２６）。なお、Ａｄは、Ａｄ＞０の所定の値である。

図４は、図２のＳ１２の処理（挙手のスコアの算出処理）を示すフローチャートであり、図５は、図２のＳ１３の処理（顔に手を近づける動作のスコアの算出処理）を示すフローチャートである。図４のＳ３１からＳ２６の処理、および、図５のＳ４１からＳ４６の処理は、図３のＳ２１からＳ２６の処理と同様であるため、ここでは説明を省略する。

なお、挙手用の効果持続時間Ｂｔおよび顔に手を近づける動作用の効果持続時間Ｃｔは、あらかじめ定めた所定の値であって、挙手用の効果持続時間Ａｔと異なる値であっても、同じ値であってもよい。また、挙手用の加算スコアＢおよび顔に手を近づける動作用の加算スコアＣは、あらかじめ定めた所定の値であって、頷き用の加算スコアＡと異なる値であっても、同じ値であってもよい。また、減衰傾きに使用する挙手用のＢｄおよび顔に手を近づける動作用のＣｄは、あらかじめ定めた所定の値であって、頷き用のＡｄと異なる値であっても、同じ値であってもよい。

図１２は、頷き、挙手および顔に手を近づける動作の効果持続時間と加算スコアと減衰とを説明するための説明図である。

図１２（ａ）の頷きのスコアの場合、頷きが検出されると、頷き用の効果持続時間Ａｔの間、現時点の頷きのスコアに頷き用の加算スコアＡを加算した値が頷きのスコアとして維持される。効果持続時間Ａｔが経過すると、図示するように１／Ａｄの傾きで頷きのスコアが徐々に減衰（減少）するように、頷きのスコアが制御される。

図示する頷きのスコアは、頷きのスコアが０の時点で頷きが検出され、効果持続時間Ａｔの間、頷きのスコアとして加算スコアＡが維持され、効果持続時間Ａｔが経過後、スコアＡが減衰し、減衰の途中で次の頷きが検出され、減衰途中の頷きのスコアに加算スコアＡが加算され、効果持続時間Ａｔの間、加算後の値が頷きのスコアとして維持されることを示している。

また、挙手のスコアの場合、挙手が検出されると、挙手用の効果持続時間Ｂｔの間、現時点の挙手のスコアに挙手用の加算スコアＢを加算した値が挙手のスコアとして維持される。効果持続時間Ｂｔが経過すると、図示するように１／Ｂｄの傾きで挙手のスコアを減衰（減少）するように制御する。

また、手を顔に近づける動作のスコアの場合、手を顔に近づける動作が検出されると、当該動作用の効果持続時間Ｃｔの間、現時点の当該動作のスコアに当該動作用の加算スコアＣを加算した値が当該動作のスコアとして維持される。効果持続時間Ｃｔが経過すると、図示するように１／Ｃｄの傾きで当該動作のスコアを減衰（減少）するよう制御する。

発話欲求スコア計算部２３は、図３から図５でそれぞれ算出した頷きのスコア、挙手のスコアおよび手を顔に近づける動作のスコアをメモリ２７に記憶する。また、発話欲求スコア計算部２３は、図２のＳ１４でこれらのスコアを合計した発話欲求スコアをメモリ２７に記憶するとともに、発話欲求フラグ設定部２４に送出する。図１２（ｂ）は、図１２（ａ）の各スコアを合計した発話欲求スコアの一例を示すものである。

発話欲求フラグ設定部２４は、発話欲求スコア計算部２３が算出し、メモリ２７に記憶された発話欲求スコアに基づいて、図６に示す処理を行うことで発話欲求フラグを設定し、設定した発話欲求フラグをメモリ２７に記憶する。

図６は、発話欲求フラグ設定部２４の処理を示すフローチャートである。発話欲求フラグ設定部２４は、メモリ２７に記憶された発話欲求スコアを監視し、繰り返し図６の処理を行う。
発話欲求フラグ設定部２４は、発話欲求スコアが所定の閾値（図示する例では、「１００」）以上の場合で（Ｓ５１：ＹＥＳ）、メモリ２７に記憶された発話欲求フラグに１が設定されている場合は（Ｓ５２：ＹＥＳ）、メモリ２７のフラグを更新することなく、Ｓ５１に戻る。また、発話欲求フラグ設定部２４は、Ｓ５１：ＹＥＳで、メモリ２７に記憶された発話欲求フラグに０が設定されている場合は（Ｓ５２：ＮＯ）、メモリ２７の発話欲求フラグを０に設定（更新）し（Ｓ５３）、Ｓ５１に戻る。

また、発話欲求フラグ設定部２４は、発話欲求スコアが所定の閾値（例えば「１００」）より小さい場合（Ｓ５１：ＮＯ）、メモリ２７に記憶される発話欲求フラグを０に設定し（Ｓ５４）、Ｓ５１に戻る。なお、メモリ２７に記憶された発話欲求フラグに０が設定されている場合は、メモリ２７のフラグを更新することなく、Ｓ５１に戻る。

メモリ２７に記憶された自参加者の発話欲求フラグおよび発話欲求スコアは、通信部３２によりネットワーク９およびサーバ１を介して他の全てのクライアント１に送信される。また、他の全てのクライアント１からネットワーク９を介して送信された他参加者の発話欲求フラグおよび発話欲求スコアは通信部３２より受信され、メモリ２７に記憶される。このように、各参加者の発話欲求フラグおよび発話欲求スコアは、全てのクライアント１で共有される。

そして、他者発話欲求値計算部２８は、通信部３２を介して受信した全ての他参加者の発話欲求フラグを合計し、他者発話欲求値としてメモリ２７に記憶するとともに、修正値計算部２９に送出する。

一方、音声取得部２５は、マイク１２から入力された自参加者の音声を集音し、発話フラグ設定部２６に送出する。発話フラグ設定部２６は、マイク１２から入力された自参加者の音声に基づいて、図７に示す処理を行うことで発話フラグを設定し、設定した発話フラグをメモリ２７に記憶する。

図７は、発話フラグ設定部２６の処理を示すフローチャートである。発話フラグ設定部２６は、図６の処理を繰り返し行う。発話フラグ設定部２６は、マイク１２から入力された自参加者の音声（音量、大きさ）が所定の閾値以上の場合で（Ｓ６１：ＹＥＳ）、メモリ２７に記憶された発話フラグに１が設定されている場合は（Ｓ６２：ＹＥＳ）、メモリ２７のフラグを更新することなく、Ｓ６１に戻る。また、発話フラグ設定部２６は、Ｓ６１：ＹＥＳで、メモリ２７に記憶された発話フラグに０が設定されている場合は（Ｓ６２：ＮＯ）、メモリ２７の発話フラグを０に設定（更新）し（Ｓ６３）、Ｓ６１に戻る。また、発話フラグ設定部２６は、音声が所定の閾値より小さい場合（Ｓ６１：ＮＯ）、メモリ２７に記憶される発話フラグを０に設定し（Ｓ６４）、Ｓ６１に戻る。なお、メモリ２７に記憶された発話フラグに０が設定されている場合は、メモリ２７のフラグを更新することなく、Ｓ６１に戻る。

修正値計算部２９は、メモリ２７に記憶された自参加者の発話欲求フラグおよび発話フラグをモニタし、また、他者発話欲求値計算部２８が算出した他者発話欲求値に基づいて、図８から図１１に示す処理を行うことで発話欲求スコア（動作の影響）を修正する。すなわち、各参加者の発話欲求の現れ方（例えば、発話欲求のあるときに行う動作の種類や頻度など）の個人差を加味して、発話欲求スコアの算出方法を修正する。

図８は、修正値計算部２９の動作（発話欲求スコアを増加させる動作）を示すフローチャートである。修正値計算部２９は、メモリ２７の発話フラグが０から１に変化した場合であって（Ｓ７１：ＹＥＳ）、発話欲求フラグが１の場合（Ｓ７２：ＹＥＳ）、Ｓ７１に戻り以降の処理を繰り返し行う。

また、修正値計算部２９は、Ｓ７１：ＹＥＳであって、発話欲求フラグが０の場合（Ｓ７２：ＮＯ）、図９で説明する動作の影響を増加させる処理を行い（Ｓ７３）、メモリ２７に記憶される表示用発話欲求スコアを所定の定数（例えば、１００）に設定し（Ｓ７４）、Ｓ７１に戻り以降の処理を繰り返し行う。

なお、Ｓ７４で所定の定数を設定する表示用発話欲求スコアは、後述する会議映像（図１３参照）で発話欲求の度合いを示す情報（例えば、発話欲求インジケータ）を生成する際に用いられる発話欲求スコアであって、メモリ２７の頷きのスコア、挙手のスコアおよび手を顔に近づける動作のスコアを加算した発話欲求スコアとは別のスコアである。映像編集部３１は、表示用発話欲求スコアに前記定数が設定されている場合は、表示用発話欲求スコアの定数を用いて発話欲求の度合いを示す情報を生成する。また、表示用発話欲求スコアに０が設定されている場合は、頷きのスコア、挙手のスコアおよび手を顔に近づける動作のスコアを加算した発話欲求スコアを用いて発話欲求の度合いを示す情報を生成する。これにより、発話フラグが１の発話中の参加者の発話欲求インジケータを、最大の状態（発話欲求フラグが１の状態）にすることができる。

Ｓ７１：ＹＥＳであってＳ７２：ＮＯの場合は、発話欲求スコアが閾値を超えた発話欲求状態でないにもかかわらず、自参加者が発話した場合である。この場合、自参加者の発話欲求を示す動作は控えめであると判断し、当該自参加者の発話欲求スコアが増加して算出されるように、Ｓ７４（図９の処理）で、発話欲求スコアが増加または遅く減衰するように、加算スコア（Ａ、Ｂ、Ｃ）、効果持続時間（Ａｔ、Ｂｔ、Ｃｔ）、減衰傾きに用いる値（Ａｄ、Ｂｄ、Ｃｄ）を調整する。

一方、修正値計算部２９は、Ｓ７１：ＮＯであって、メモリ２７の発話フラグが１から０に変化した場合（Ｓ７５：ＹＥＳ）、メモリ２７の発話欲求スコアを０に設定し（Ｓ７６）、Ｓ７１に戻り以降の処理を繰り返し行う。また、修正値計算部２９は、Ｓ７１：ＮＯであって、Ｓ７５：ＮＯの場合、Ｓ７１に戻り以降の処理を繰り返し行う。なお、Ｓ７６で発話欲求スコアを０に設定する場合、修正値計算部２９は、Ｓ７４で定数が設定される表示用発話欲求スコアと、頷きのスコア、挙手のスコアおよび手を顔に近づける動作のスコアとを全て０にする。また、修正値計算部２９は、頷きの効果持続時間、挙手の効果持続時間および手を顔に近づける動作の効果持続時間を０にする。

図９は、図８のＳ７３の動作の影響を増加させる処理を示すフローチャートである。修正値計算部２９は、メモリ２７に記憶された頷きのスコアが０より大きい場合（Ｓ８１：ＹＥＳ）、頷き用の加算スコアＡ、頷き用の効果持続時間Ａｔ、頷き用の減衰傾き１／ＡｄのＡｄの少なくとも１つを、あらかじめ定めた所定の値（ａ）で乗算する（Ｓ８２）。なお、ａは１より大きい値である。そして、乗算後（ａ倍後）の各値を、それぞれ新たな頷き用の加算スコアＡ、効果持続時間Ａｔ、減衰傾き１／ＡｄのＡｄとして設定し、頷きのスコアを算出する際（図３）に使用する。また、修正値計算部２９は、メモリ２７の頷きのスコアが０の場合（Ｓ８１：ＮＯ）、Ｓ８３に進む。

そして、修正値計算部２９は、メモリ２７に記憶された挙手のスコアが０より大きい場合（Ｓ８３：ＹＥＳ）、挙手用の加算スコアＢ、挙手用の効果持続時間Ｂｔ、挙手用の減衰傾き１／ＢｄのＢｄの少なくとも１つを、あらかじめ定めた所定の値（ｂ）で乗算する（Ｓ８４）。なお、ｂは１より大きい値である。そして、乗算後（ｂ倍後）の各値を、それぞれ新たな挙手用の加算スコアＢ、効果持続時間Ｂｔ、減衰傾き１／ＢｄのＢｄとして設定し、挙手のスコアを算出する際（図４）に使用する。また、修正値計算部２９は、メモリ２７の挙手のスコアが０の場合（Ｓ８３：ＮＯ）、Ｓ８５に進む。

そして、修正値計算部２９は、メモリ２７に記憶された手を顔に近づける動作のスコアが０より大きい場合（Ｓ８５：ＹＥＳ）、手を顔に近づける動作用の加算スコアＣ、手を顔に近づける動作用の効果持続時間Ｃｔ、手を顔に近づける動作用の減衰傾き１／ＣｄのＣｄの少なくとも１つを、あらかじめ定めた所定の値（ｃ）で乗算する（Ｓ８６）。なお、ｃは１より大きい値である。そして、乗算後（ｃ倍後）の各値を、それぞれ新たな手を顔に近づける動作用の加算スコアＣ、効果持続時間Ｃｔ、減衰傾き１／ＣｄのＣｄとして設定し、手を顔に近づける動作のスコアを算出する際（図５）に使用する。また、修正値計算部２９は、メモリ２７の手を顔に近づける動作のスコアが０の場合（Ｓ８５：ＮＯ）、処理を終了する。

図９の処理を行うことで、自参加者の発話欲求スコアが増加して算出されるようになり、自参加者の発話欲求の動作に現れる個人差を吸収することができる。

図１０は、修正値計算部２９の動作（発話欲求スコアを減衰させる動作）を示すフローチャートである。修正値計算部２９は、メモリ２７の発話欲求フラグおよび発話フラグをモニタし、メモリ２７の発話欲求フラグが１の間に、発話フラグが０から１への変化が発生した場合（Ｓ９１：ＹＥＳ）、Ｓ９１に戻り以降の処理を繰り返し行う。

また、修正値計算部２９は、Ｓ９１：ＮＯであって、メモリ２７の発話欲求フラグが１の間に、他者発話欲求値が１以上の場合（Ｓ９２：ＹＥＳ）、すなわち、いずれかの他参加者が発話したそうにしている場合、Ｓ９１に戻り以降の処理を繰り返し行う。

また、修正値計算部２９は、Ｓ９１：ＮＯであって、Ｓ９２：ＮＯの場合は、図１１で説明する動作の影響を減衰させる処理を行い（Ｓ９３）、Ｓ９１に戻り以降の処理を繰り返し行う。この場合、発話欲求スコアが閾値を越えた発話欲求状態であるにもかかわらず、発話していない場合であって、また、全ての他参加者の他発話欲求スコアが所定の閾値を超えていない場合（すなわち、発話欲求フラグが全て０の場合でいずれの他参加者も発話したそうにしていない場合）である。このとき、当該自参加者の発話欲求を示す動作は表に出やすいと判別し、当該自参加者の発話欲求スコアが減衰して算出されるように、Ｓ９３（図１１の処理）で発話欲求スコアが減少または早く減衰するように、加算スコア（Ａ、Ｂ、Ｃ）、効果持続時間（Ａｔ、Ｂｔ、Ｃｔ）、減衰傾きに用いる値（Ａｄ、Ｂｄ、Ｃｄ）を調整する。

図１１は、図１０のＳ９３の動作の影響を減衰させる処理を示すフローチャートである。修正値計算部２９は、メモリ２７に記憶された頷きのスコアが０より大きい場合（Ｓ１０１：ＹＥＳ）、頷き用の加算スコアＡ、効果持続時間Ａｔ、減衰傾き１／ＡｄのＡｄの少なくとも１つを、あらかじめ定めた所定の値（ａ’）で乗算する（Ｓ８２）。なお、ａ’は１より小さい値である。そして、乗算後（ａ’倍後）の各値を、それぞれ新たな頷き用の加算スコアＡ、効果持続時間Ａｔ、減衰傾き１／ＡｄのＡｄとして設定し、頷きのスコアを算出する際（図３）に使用する。また、修正値計算部２９は、メモリ２７の頷きのスコアが０の場合（Ｓ１０１：ＮＯ）、Ｓ１０３に進む。

そして、修正値計算部２９は、メモリ２７に記憶された挙手のスコアが０より大きい場合（Ｓ１０３：ＹＥＳ）、挙手用の加算スコアＢ、効果持続時間Ｂｔ、減衰傾き１／ＢｄのＢｄの少なくとも１つを、あらかじめ定めた所定の値（ｂ’）で乗算する（Ｓ１０４）。なお、ｂ’は１より小さい値である。そして、乗算後（ｂ’倍後）の各値を、それぞれ新たな挙手用の加算スコアＢ、効果持続時間Ｂｔ、減衰傾き１／ＢｄのＢｄとして設定し、挙手のスコアを算出する際（図４）に使用する。また、修正値計算部２９は、メモリ２７の挙手のスコアが０の場合（Ｓ１０３：ＮＯ）、Ｓ１０５に進む。

そして、修正値計算部２９は、メモリ２７に記憶された手を顔に近づける動作のスコアが０より大きい場合（Ｓ１０５：ＹＥＳ）、手を顔に近づける動作用の加算スコアＣ、効果持続時間Ｃｔ、減衰傾き１／ＣｄのＣｄの少なくとも１つを、あらかじめ定めた所定の値（ｃ’）で乗算する（Ｓ１０６）。なお、ｃ’は１より小さい値である。そして、乗算後（ｃ’倍後）の各値を、それぞれ新たな手を顔に近づける動作用の加算スコアＣ、効果持続時間Ｃｔ、減衰傾き１／ＣｄのＣｄとして設定し、手を顔に近づける動作のスコアを算出する際（図５）に使用する。また、修正値計算部２９は、メモリ２７の手を顔に近づける動作のスコアが０の場合（Ｓ１０５：ＮＯ）、処理を終了する。

図１１の処理を行うことで、自参加者の発話欲求スコアが減少して算出されるようになり、自参加者の発話欲求の動作に現れる個人差を吸収することができる。

映像生成部３０および映像編集部３１は、ビデオカメラ１１が撮像した自参加者の映像データと、ネットワーク９およびサーバ３を介して他のクライアント１から受信した他参加者の映像データと、メモリ２７に記憶され送受される各参加者の発話欲求スコア、発話欲求フラグおよび発話フラグを用いて会議映像を生成・編集する。表示装置１３は、映像編集部３１が編集した会議映像を表示する。

図１３は、会議映像の一例を示す図である。映像生成部３０は、図示するように、各参加者の映像データをタイル状（升目状）に所定の位置に配置する。図示する例では、４人の参加者が会議に参加している。

そして、映像編集部３１は、メモリ２７に記憶された自参加者の発話欲求スコアおよび発話欲求フラグと、ネットワーク９を介して他のクライアント１から受信した他参加者の発話欲求スコアおよび発話欲求フラグを用いて、映像生成部３０が生成した会議映像を編集する。具体的には、発話欲求スコアに応じた発話欲求の度合いを示す情報（図示する例では、発話欲求インジケータ）を、対応する参加者の映像データの近傍に設定する。

なお、映像編集部３１は、表示用発話欲求スコアに定数が設定されている場合は、表示用発話欲求スコアの定数を用いて発話欲求の度合いを示す情報を生成し、表示用発話欲求スコアに０が設定されている場合は、頷きのスコア、挙手のスコアおよび手を顔に近づける動作のスコアを加算した発話欲求スコアを用いて発話欲求の度合いを示す情報を生成する。

図示する発話欲求インジケータは、左端を０、右端を１００とし、この間を１００等分し、発話欲求スコアの値に応じた割合分だけ、左端から所定の色を設定（点灯）することとする。なお、発話欲求インジケータの最大値は１００とする。

また、映像編集部３１は、各参加者の発話欲求フラグを参照して、発話欲求フラグが１になっている（すなわち、発話欲求スコアが閾値を越えている）参加者の映像データを所定の色（例えば、黄色）の枠で囲む、または、当該参加者の映像データの近傍に所定のマーク（例えば、挙手マーク）など設定するなどし、当該参加者を目立たせ、強調するように会議映像を編集する。なお、強調する方法は、これらに限定されるものではない。

また、映像編集部３１は、各参加者の発話フラグを参照して、発話フラグが１になっている参加者（すなわち、発話している参加者）の映像データを所定の色（例えば、赤）の枠で囲む、または、当該参加者の映像データの近傍に所定のマーク（例えば、話者マーク）など設定するなどし、当該参加者を目立たせ、強調するように会議映像を編集してもよい。

以上説明した本実施形態では、ネットワークを介した遠隔会議において、発話欲求の現れ方の個人差を加味した各参加者の発話欲求の度合いを示す情報を表示することで、各参加者の発話欲求を容易に（自然に）認識することができる。そのため、参加者は、発話意思を他の参加者に示すためにマウスやキーボードなどの入力デバイスを操作することなく、各参加者の発話欲求を汲み取りながら、円滑な会議を進行することができる。例えば、発話の衝突を防止し、スムーズな話者交代を実現することができる
このように、本実施形態では、遠隔会議を行う際に、各参加者が普段どおりに会話・発言し、自然な動作をしている状態で、参加者毎の発話欲求の個人差を吸収しつつ判定し、その度合いを表示することで、相手の表情や仕草がディスプレイに表示される小さな映像から読み取れない場合であっても、円滑に会議を進行させ、また円滑な話者交代を実現することができる。

また、本実施形態では、発話欲求インジケータを用いて各参加者の発話欲求の度合いを表示することで、発話欲求の高い参加者を一目で容易に認識させることができる。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、本実施形態では各参加者の音声と映像とを送受信し、会議映像を生成・編集することとしたが、各参加者の映像データについては送受信することなく、音声と、メモリ２７に記憶される発話欲求スコア、発話欲求フラグおよび発話フラグのみを他のクライアント１に送受信することとしてもよい。このような音声会議の場合、映像生成部３０および映像編集部３１は、各参加者の名前を所定の位置に配置し、各参加者の名前の横に、発話欲求インジケータや挙手マークなどを表示することが考えられる。

１ ：クライアント
１１：ビデオカメラ
１２：マイク
１３：表示装置
１４：スピーカ
２１：映像取得部
２２：動作検出部
２３：発話欲求スコア計算部
２４：発話欲求フラグ設定部
２５：音声取得部
２６：発話フラグ設定部
２７：メモリ
２８：他者発話欲求計算部
２９：修正値計算部
３０：映像生成部
３１：映像編集部
３２：通信部
３ ：サーバ
９ ：ネットワーク

Claims (8)

1. ネットワークを介して遠隔会議を行う会議装置であって、
   当該会議装置を使用する自参加者の映像データから発話欲求があると推定される所定の動作を検出する動作検出手段と、
   前記動作検出手段が検出した動作に基づいて自参加者の発話欲求スコアを算出するとともに、当該発話欲求スコアを時間に応じて減衰させる発話欲求スコア算出手段と、
   前記自参加者の音声データから発話を検出する発話検出手段と、
   前記発話欲求スコアが所定の閾値を超えている状態で、発話が検出されなかった場合に、前記発話欲求スコアが減少または早く減衰させるように制御する修正手段と、
   ネットワークを介して他の会議装置から他参加者の発話欲求スコアを受信する受信手段と、
   自参加者および他参加者の発話欲求スコアに応じた発話欲求の度合いを示す情報が設定された会議映像を編集し、表示する映像編集手段と、を有すること
   を特徴とする会議装置。
2. 請求項１記載の会議装置であって、
   前記修正手段は、発話が検出された場合であって、前記発話欲求スコアが所定の閾値を超えていない場合に、前記発話欲求スコアが増加または遅く減衰させるように制御すること
   を特徴とする会議装置。
3. 請求項１または請求項２記載の会議装置であって、
   前記修正手段は、前記発話欲求スコアが所定の閾値を超えている状態で、発話が検出されなかった場合であって、全ての他参加者の他発話欲求スコアが所定の閾値を超えていない場合、前記発話欲求スコアが減少または早く減衰させるように制御すること
   を特徴とする会議装置。
4. 請求項１から３のいずれか一項に記載の会議装置であって、
   前記動作検出手段は、自参加者の映像データから発話欲求があると推定される複数の種類の動作を検出し、
   前記発話欲求スコア算出手段は、前記動作検出手段が検出した動作の種類に応じた発話欲求スコアを算出するとともに、当該発話欲求スコアを動作の種類に応じて減衰させること
   を特徴とする会議装置。
5. 請求項１から４のいずれか一項に記載の会議装置であって、
   前記受信手段は、ネットワークを介して他の会議装置から他参加者の映像データを受信し、
   前記映像編集手段は、自参加者および他参加者の映像データが配置された会議映像に、自参加者および他参加者の前記発話欲求の度合いを示す情報を設定し、表示すること
   を特徴とする会議装置。
6. ネットワークを介して遠隔会議を行う会議方法であって、
   会議装置は、
   当該会議装置を使用する自参加者の映像データから発話欲求があると推定される所定の動作を検出するとともに、自参加者の音声データから発話を検出する検出ステップと、
   前記検出ステップで検出した動作に基づいて自参加者の発話欲求スコアを算出するとともに、当該発話欲求スコアを時間に応じて減衰させる算出ステップと、
   前記発話欲求スコアが所定の閾値を超えている状態で、発話が検出されなかった場合に、前記発話欲求スコアが減少または早く減衰させるように制御する修正ステップと、
   ネットワークを介して他の会議装置から他参加者の発話欲求スコアを受信する受信ステップと、
   自参加者および他参加者の発話欲求スコアに応じた発話欲求の度合いを示す情報が設定された会議映像を編集し、表示する映像編集ステップと、を行うこと
   を特徴とする会議方法。
7. 請求項６記載の会議方法であって、
   前記修正ステップは、発話が検出された場合であって、前記発話欲求スコアが所定の閾値を超えていない場合に、前記発話欲求スコアが増加または遅く減衰させるように制御すること
   を特徴とする会議方法。
8. 請求項１から請求項５のいずれか１項に記載の会議装置としてコンピュータを機能させるための会議プログラム。

Images