JP2012023595A - 会議システム - Google Patents

Abstract

【課題】会議参加者の手の動きによるボディランゲージを直ちに画像化してディスプレイ装置に表示させ、会議参加者のイメージを共有させて議論の効率化を高めることのできる会議システムを得る。
【解決手段】画像を表示するためのディスプレイ装置３０（プロジェクタ３１とスクリーン３２）、ＴＶ会議端末装置４０、ビデオカメラ５０を備えた複数の会議拠点Ａ，Ｂをネットワーク１０を介して接続した会議システム。拠点Ａには画像形成複合装置２０が設置されている。スクリーン３２には、通常、接続先のビデオ画像が表示されている。会議参加者が特定のジェスチャーを行うと、そのジェスチャーをトリガとしてスクリーン３２の表示を空画像に変更する。そして、ビデオカメラ５０が撮影した特定の会議参加者の手の動作軌跡を電子データ化して線画としてスクリーン３２上に表示する。
【選択図】図１

Description

本発明は、会議システム、特に、画像を表示するディスプレイ装置を有する複数の会議拠点をネットワークを介して接続した会議システムに関する。

近年、複数の会議拠点をネットワークを介して接続し、音声だけでなく、他の拠点の状況が分かるように、それぞれの拠点に設置されたディスプレイ装置に表示しつつ会議を進行するテレビ会議システムが実用化されている。その場合、会議の進行と連動させるようにパソコンのアプリケーションやインタラクティブボードなどを使用して文字や図形などの画像を表示し、情報を共有化している。

特許文献１には、スクリーン上の発光ポインターの光とその位置を検出し、発表者が描いた光の軌跡パターンを記録し、その軌跡パターンと同じ形や位置に、光を投影することにより発光ポインターの光でスクリーン上に画像を描画する会議支援方法が記載されている。

特許文献２には、ユーザにボディマーカーとヘッドホンを付け、頭や体の動きに応じて画面上のアバターの動作を行うコンピュータ会議システムが記載されている。

特許文献３には、ユーザの動きを解析し、予め記憶しておいた動作パターンを使ってロボットを動作させるプレゼンター動作再現ロボットが記載されている。

特許文献４には、タッチパネル上に描いた軌跡から、図形データ判定部にて図形の判定を行い、ディスプレイに表示させるディスプレイ装置の制御方法が記載されている。

特許文献５には、電子資料をリアルタイムに閲覧できる画面共有ソフトウエアと、電子会議に参加する全員が議論の内容になる文字や描画などを自由に入手可能なアプリケーションソフトウエアとを同時に併用して電子会議を行うことができる電子会議システムが記載されている。

ところで、ＴＶ会議では、参加者が発言中に、手などを使用してボディランゲージにて図を描いて説明する場合があるが、そのとき表示されている映像の大きさによっては他の会議拠点にいる参加者には伝わりづらい場合がある。また、同じ会議拠点にいる参加者にとっても、ボディランゲージが消えるとともに頭に描いた図形も直ちに忘れてしまったり、分からなくなったり、人によっては誤解したままであったりする。パソコンのアプリケーションやインタラクティブボードなどを使えば、このような課題を解決することは可能であるが、予めアプリケーションを立ち上げておくなどの準備が必要で、とっさの場合には対応できず、議論の効率が低下してしまうおそれがある。

特開２０００−２４２４２７号公報 特開２０００−２４４８８６号公報 特開２００８−２５４１０３号公報 特開２００５−２２８３５３号公報 特開２００６−１６４１７７号公報

そこで、本発明の目的は、会議参加者の手の動きによるボディランゲージを直ちに画像化してディスプレイ装置に表示させ、会議参加者のイメージを共有させて議論の効率化を高めることのできる会議システムを提供することにある。

以上の目的を達成するため、本発明の一形態である会議システムは、
画像を表示するディスプレイ装置を有する複数の会議拠点をネットワークを介して接続した会議システムにおいて、
前記複数の会議拠点は、
深度を測定可能な撮影装置と、
特定のジェスチャーを行った会議参加者を前記撮影装置による撮影画像から特定する人物認識部と、
前記ディスプレイ装置に通常は接続先のビデオ画像を表示し、前記人物認識部が特定の会議参加者を認識したことをトリガとして表示を空画像に変更する画像入力／表示制御部と、
前記撮影装置が撮影した前記特定の会議参加者の手の動作軌跡を認識して電子データ化する動作認識部と、
前記動作認識部が生成した動作軌跡データを線画として画像化する画像作成部と、
を備え、
前記画像入力／表示制御部は、前記画像作成部が作成した画像を各会議拠点に設けた前記ディスプレイ装置に表示させること、
を特徴とする。

前記会議システムにおいては、発言したいという特定のジェスチャー（例えば、手のひらを閉じた状態で手を挙げる動作）を行った会議参加者を撮影画像から特定し、該会議参加者の手の動作軌跡を認識して該動作軌跡を画像化し、各会議拠点に設けたディスプレイ装置に表示する。発言者の手の動きは直ぐに消えてしまうが、あるいは、他の会議拠点にいる参加者には見えにくかったとしても、手で表現されたイメージを各会議拠点にいる参加者がディスプレイ装置によって映像として眼で認識することができる。それゆえ、会議参加者のイメージを共有させて議論の効率化を高めることが可能になる。

本発明によれば、会議参加者の手の動きによるボディランゲージを直ちに画像化してディスプレイ装置に表示させ、会議参加者のイメージを共有させて議論の効率化を高めることができる。

一実施例であるＴＶ会議システムの構成図である。 各会議拠点の構成を示すブロック図である。 ＴＶ会議システムの全体的な進行手順を示すフローチャート図である。 会議支援モードの制御手順を示すフローチャート図である。 会議支援モードの制御手順（図４の続き）を示すフローチャート図である。 会議支援モードの説明図である。 会議支援モードにおけるディスプレイ装置での表示例を示す説明図である。

以下、本発明に係る会議システムの実施例について、添付図面を参照して説明する。

一実施例であるＴＶ会議システムは、図１に示すように、会議室Ａ１を有する拠点Ａと、会議室Ｂ１を有する拠点Ｂとをネットワーク１０を介して接続したものである。拠点Ａには画像形成複合装置２０が設置され、拠点Ａ，Ｂにはディスプレイ装置３０とＴＶ会議端末装置４０とが設置され、それらはＬＡＮ１１で通信可能とされている。ディスプレイ装置３０は画像を投影するプロジェクタ３１とスクリーン３２とで構成されている。ＴＶ会議端末装置４０には、それぞれ、深度を測定可能なビデオカメラ５０とプロジェクタ３１とが接続されている。なお、画像形成複合装置は、以下、ＭＦＰとも記す。

画像形成複合装置２０は、スキャナによる原稿画像の読取りや電子写真法による画像形成機能を有するもので、さらに、図２に示すように、ＬＡＮ１１に接続されたネットワークインターフェース２１、画像作成部２２、画像管理部２３、記憶装置２４を有している。

ＴＶ会議端末装置４０は、図２に示すように、ＬＡＮ１１に接続されたネットワークインターフェース４１、画像入力／表示制御部４２、人物確認部４３、音声認識部４４、動作確認部４５を有している。

人物認識部４３は、特定のジェスチャーを行った会議参加者をビデオカメラ５０による撮影画像から特定する。特定のジェスチャーとは、通常はあまり行わない動作が好ましく、例えば、手のひらを閉じた状態で手を挙げる動作である。このような特定のジェスチャーは予め会議参加者に説明しておく。

画像入力／表示制御部４２は、プロジェクタ３１によって通常は会議資料などのビデオ画像をスクリーン３２上に表示させ、人物認識部４３が特定の会議参加者を認識したことをトリガとして表示を空画像に変更する。音声認識部４４は、図示しないマイクを通じて会議参加者の音声を収集してそれぞれの会議室Ａ１，Ｂ１に音声を流す。動作認識部４５は、ビデオカメラ５０が撮影した特定の会議参加者の手の動作軌跡を認識して電子データ化する。手の動作軌跡を認識する場合、認識しやすいように、指を伸ばして（立てて）動作させた手の動作軌跡を認識することが好ましく、そのような動作をするように予め会議参加者に説明しておくことが必要となる。また、動作認識部４５は、動作軌跡を認識する際に、音声認識部４４で収集した音声データを、動作軌跡データの表示位置とリンクした画像を生成する。

画像作成部２２は、動作認識部４５が生成した動作軌跡データを線画として画像化する。また、画像作成部２２は、動作軌跡データから得られた線画を該線画に近い多角形、円、楕円などのいずれかに置換して画像化してもよい。

さらに、画像入力／表示制御部４２は、画像作成部２２が作成した画像を各会議拠点Ａ，Ｂに設けたプロジェクタ３１にてスクリーン３２上に表示させる。このとき、画像入力／表示制御部４２は、人物認識部４３が特定した発言者の撮影画像近辺を抜き出してビデオ画像を作成し、動作認識部４５が生成した動作軌跡データをスクリーン３２に投影するに際して、スクリーン３２の隅にビデオ画像をオーバレイ表示する。

画像入力／表示制御部４２は、特定の会議参加者が特定のジェスチャーを行ったことをトリガとしてプロジェクタ３１によるスクリーン３２への特定の会議参加者に関する画像表示を停止させる。ここでの特定のジェスチャーとは、手を下した動作であることが分かりやすい。そして、画像入力／表示制御部４２は、手を下した動作を認識したことをトリガとして所定の時間は画像を表示し、所定の時間が経過したときに元のビデオ画像を表示する。発言が終了してから若干の時間、発言者に関する画像の表示を残したほうが、会議参加者にとって視覚的なイメージを維持するうえで効果的である。

ここで、以上の構成からなるＴＶ会議システムを使用した会議の全体的な進行手順を図３のフローチャートに従って説明する。まず、会議拠点Ａ，Ｂの会議システム（ＴＶ会議端末装置４０）を接続する（ステップＳ１）。このときから、ビデオカメラ５０が撮影を開始し、画像入力／表示制御部４２は、参加人物を映像として特定し、特定した人物ごとにその画像を管理する（ステップＳ２）。また、特定した人物ごとに管理している画像をスクリーン３２に表示することもできる。

通常は、会議資料などのビデオ画像がスクリーン３２上に表示され、人物認識部４３がある参加者が所定のジェスチャー（手のひらを閉じて手を挙げる）を行ったことを認識すると（ステップＳ３でＹＥＳ）、以下に詳述する会議支援モード（ステップＳ４）に移行する。会議が終了すると（ステップＳ５でＹＥＳ）、会議システムを切断する（ステップＳ６）。

ステップＳ４で実行される会議支援モードの制御手順を図４及び図５のフローチャートを参照して説明する。会議の進行中にある人物が挙手すると、人物認識部４３がその人物を特定し（ステップＳ１１）、特定した人物が既に保存している参加者の画像と同一人物であるか否かを判定する（ステップＳ１２）。同一人物であれば、スクリーン３２の画面を切り替えて当該人物の保存済み画像を表示する（ステップＳ１３）。挙手した人物が保存画像に無ければ、スクリーン３２の画面を切り替えて空画像を表示する（ステップＳ１４）。

次に、ビデオカメラ５０が撮影しているビデオ画像中の対象者（手を挙げた人物）の上半身を抽出し、スクリーン３２の隅にオーバレイ表示する（ステップＳ１５）。例えば、図６（ａ）に示すように、４人の参加者５１〜５４がおり、参加者５１が挙手すると、参加者５１の画像をスクリーン３２の隅に表示する（図６（ｂ）参照）。

表示された人物が、手を大きく左右に動かすと（ステップＳ１６でＹＥＳ）、スクリーン３２上の画像をクリアして空画像を表示し（ステップＳ１７）、前記ステップＳ１６へ戻る。表示された人物が、指を伸ばして（立てて）動かすと（ステップＳ１８でＹＥＳ）、その動作軌跡をスクリーン３２の空画像上に線画で描画し（ステップＳ１９）、ステップＳ１６へ戻る。このような表示状態を図６（ｃ）に示す。

また、発声があると（ステップＳ２０でＹＥＳ）、その音声を認識して前記線画に吹き出しを付けて文字表示し（ステップＳ２１）、ステップＳ１６へ戻る。例えば、図７は、線画６１の動きと同時に人物が「ＭＦＰがあって」と発言し、線画６２の動きと同時に「ＭＦＰから要求を出すのがよいのではないか？」と発言し、線画６３の動きと同時に「仲介サーバがあって」と発言し、線画６４の動きと同時に「ＬＤＡＰサーバがあるときに」と発言した場合を示している。

一方、表示された人物が、手を下していれば（ステップＳ２２でＹＥＳ）、所定時間経過フラグがセットされているか否かを判定する（ステップＳ２３）。経過フラグが未セットであれば、経過フラグをセットし（ステップＳ２４）、ステップＳ１６へ戻る。経過フラグがセットされており、所定時間が経過すれば（ステップＳ２５でＹＥＳ）、経過フラグをクリアするとともに人物ごとの画像を保存し（ステップＳ２６）、会議支援モードを終了する。

その後、参加者５４が挙手すると、前記同様に、参加者５４の画像をスクリーン３２の隅に表示する（図６（ｄ）参照）。指を伸ばした状態での手の動作軌跡データから得られた線画を該線画に近い多角形、円、楕円の少なくともいずれかに置換して画像化してもよく、図６（ｅ）にはこのような表示状態を示す。

（他の実施例）
なお、本発明に係る会議システムは前記実施例に限定するものではなく、その要旨の範囲内で種々に変更することができる。

例えば、前記実施例では、画像形成複合装置２０は必ずしも必要ではなく、その画像作成部２２や画像管理部２３の機能をＴＶ会議端末装置４０に格納するようにしてもよい。逆に、ＴＶ会議端末装置４０のいくつかの機能を画像形成複合装置２０に格納し、全ての会議拠点に画像形成複合装置２０を設置するようにしてもよい。また、ディスプレイ装置はスクリーンを伴ったプロジェクタ以外に液晶などの映像表示画面であってもよい。

以上のように、本発明は、会議システムに有用であり、特に、会議参加者の手の動きによるボディランゲージを直ちに画像化してディスプレイ装置に表示させ、会議参加者のイメージを共有させて議論の効率化を高めることができる。

１０…ネットワーク
２０…画像形成複合装置
２２…画像作成部
２３…画像管理部
２４…記憶装置
３０…ディスプレイ装置
３１…プロジェクタ
３２…スクリーン
４０…ＴＶ会議端末装置
４１…ネットワークインターフェース
４２…画像入力／表示制御部
４３…人物認識部
４４…音声認識部
４５…動作認識部
５０…ビデオカメラ

Claims (12)

1. 画像を表示するディスプレイ装置を有する複数の会議拠点をネットワークを介して接続した会議システムにおいて、
   前記複数の会議拠点は、
   深度を測定可能な撮影装置と、
   特定のジェスチャーを行った会議参加者を前記撮影装置による撮影画像から特定する人物認識部と、
   前記ディスプレイ装置に通常は接続先のビデオ画像を表示し、前記人物認識部が特定の会議参加者を認識したことをトリガとして表示を空画像に変更する画像入力／表示制御部と、
   前記撮影装置が撮影した前記特定の会議参加者の手の動作軌跡を認識して電子データ化する動作認識部と、
   前記動作認識部が生成した動作軌跡データを線画として画像化する画像作成部と、
   を備え、
   前記画像入力／表示制御部は、前記画像作成部が作成した画像を各会議拠点に設けた前記ディスプレイ装置に表示させること、
   を特徴とする会議システム。
2. 前記特定のジェスチャーとは、手のひらを閉じた状態で手を挙げた動作であること、を特徴とする請求項１に記載の会議システム。
3. 前記動作認識部は、指を伸ばして動作させた手の動作軌跡を認識すること、を特徴とする請求項１に記載の会議システム。
4. 前記動作認識部は、動作軌跡を認識する際に、前記特定の会議参加者の発言を音声認識し、動作軌跡データの表示位置と認識した音声データをリンクした画像を生成すること、を特徴とする請求項１に記載の会議システム。
5. 前記画像入力／表示制御部は、開催された会議において参加人物を特定し、特定した人物ごとに画像を管理すること、を特徴とする請求項１に記載の会議システム。
6. 前記画像入力／表示制御部は、前記特定した人物ごとに管理している画像を前記ディスプレイ装置に表示すること、を特徴とする請求項５に記載の会議システム。
7. 前記画像入力／表示制御部は、前記人物認識部が特定した人物の撮影画像近辺を抜き出してビデオ画像を作成し、前記動作認識部が生成した動作軌跡データを前記ディスプレイ装置に表示する際に、該ディスプレイ装置の隅に前記ビデオ画像をオーバレイ表示すること、を特徴とする請求項１に記載の会議システム。
8. さらに、前記ネットワークを介して接続された画像形成複合装置を備え、前記画像作成部は該画像形成複合装置に設けられていること、を特徴とする請求項１に記載の会議システム。
9. 前記画像作成部は、前記動作軌跡データから得られた線画を該線画に近い多角形、円、楕円の少なくともいずれかに置換して画像化すること、を特徴とする請求項１に記載の会議システム。
10. 前記画像入力／表示制御部は、前記特定の会議参加者が特定のジェスチャーを行ったことをトリガとして前記ディスプレイ装置への前記特定の会議参加者に関する画像表示を停止すること、を特徴とする請求項１に記載の会議システム。
11. 前記特定のジェスチャーとは、手を下した動作であること、を特徴とする請求項１０に記載の会議システム。
12. 前記画像入力／表示制御部は、前記トリガから所定の時間は画像を表示し、所定の時間が経過したときに元のビデオ画像を表示すること、を特徴とする請求項１０に記載の会議システム。

Images