JP2021016083A

JP2021016083A - 通信システム、情報処理装置、通信方法およびプログラム

Info

Publication number: JP2021016083A
Application number: JP2019129658A
Authority: JP
Inventors: 怜士川▲崎▼; Reiji Kawasaki
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2019-07-11
Filing date: 2019-07-11
Publication date: 2021-02-12
Anticipated expiration: 2039-07-11
Also published as: JP7400231B2

Abstract

【課題】ビデオ会議の開始前に属性情報が登録されていなくても、参加者の情報に対する表示制御を行うことができる通信システム、情報処理装置、通信方法およびプログラムを提供する。【解決手段】複数の通信端末がネットワークを介して音声データを送受信することによりビデオ会議が可能な通信システムであって、ビデオ会議の１以上の参加者を撮影した映像データを得る撮像部と、撮像部により得られた映像データから参加者を検出する検出部と、参加者が発話した音声データを入力する音声入力部と、音声入力部により入力された音声データから、参加者の属性情報を抽出する抽出部と、抽出部により抽出された属性情報に基づいて、検出部により検出された参加者の情報について、第１通信端末での表示制御を行う第１制御部と、を有する。【選択図】図６

Description

本発明は、通信システム、情報処理装置、通信方法およびプログラムに関する。

複数の地点にいる複数の参加者が、ディスプレイを用いて会議を行うビデオ会議システムにおいて、ビデオ会議の参加者の情報として例えば各参加者を仮想的に表現するアバターをディスプレイに表示させる技術が知られている。

このような、アバターを表示させるビデオ会議システムとして、ネットワーク上を伝送するデータ量を少なくしつつ、参加者が会議の状況を把握しづらくなるのを防ぐために、参加者毎の属性情報に応じて画面の表示制御を行うシステムが開示されている（特許文献１参照）。

しかしながら、特許文献１に記載された技術では、事前に参加者の属性情報が登録されていないと、表示制御を行うことができないという問題がある。

本発明は、上述の問題点に鑑みてなされたものであって、ビデオ会議の開始前に属性情報が登録されていなくても、参加者の情報に対する表示制御を行うことができる通信システム、情報処理装置、通信方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数の通信端末がネットワークを介して音声データを送受信することによりビデオ会議が可能な通信システムであって、前記ビデオ会議の１以上の参加者を撮影した映像データを得る撮像部と、前記撮像部により得られた前記映像データから前記参加者を検出する検出部と、前記参加者が発話した音声データを入力する音声入力部と、前記音声入力部により入力された前記音声データから、前記参加者の属性情報を抽出する抽出部と、前記抽出部により抽出された前記属性情報に基づいて、前記検出部により検出された前記参加者の情報について、第１通信端末での表示制御を行う第１制御部と、を有することを特徴とする。

本発明によれば、ビデオ会議の開始前に属性情報が登録されていなくても、参加者の情報に対する表示制御を行うことができる。

図１は、実施形態に係る通信システムの概略構成図である。図２は、実施形態に係る通信端末（ビデオ会議端末）のハードウェア構成の一例を示す図である。図３は、実施形態に係る通信端末（電子黒板）のハードウェア構成の一例を示す図である。図４は、実施形態に係る管理システムおよびプログラム提供システムのハードウェア構成の一例を示す図である。図５は、実施形態に係る通信端末のソフトウェア構成の一例を示す図である。図６は、実施形態に係る通信システムの機能ブロックの構成の一例を示す図である。図７は、認証管理テーブルの一例を示す図である。図８は、端末管理テーブルの一例を示す図である。図９は、グループ管理テーブルの一例を示す図である。図１０は、セッション管理テーブルの一例を示す図である。図１１は、実施形態に係る通信システムにおけるコンテンツデータおよび各種管理情報を送受信するために確立されたセッションを示す図である。図１２は、実施形態に係る通信システムにおける、通信端末が通話を開始するための認証処理を含む準備段階の処理の一例を示すシーケンス図である。図１３は、宛先リストの表示例を示す図である。図１４は、実施形態に係る通信システムにおける通話の開始を要求する処理の一例を示すシーケンス図である。図１５は、実施形態に係る通信システムにおける通話の開始の要求を許可する処理の一例を示すシーケンス図である。図１６は、開始要求受付画面の表示例を示す図である。図１７は、実施形態に係る通信システムのアバター生成処理の流れの一例を示すフローチャートである。図１８は、アバターの表示動作を説明する図である。図１９は、アバターの表示動作を説明する図である。図２０は、実施形態に係る通信端末の音声方向特定処理の流れの一例を示すフローチャートである。図２１は、実施形態に係る通信システムの属性情報取得処理の流れの一例を示すフローチャートである。図２２は、属性情報の取得動作を説明する図である。図２３は、顔・アバター・属性対応テーブルの一例を示す図である。図２４は、実施形態に係る通信システムのアバター制御処理の流れの一例を示すフローチャートである。図２５は、属性情報に基づいてアバターの配置を変更する動作を説明する図である。図２６は、発話方向と発話者との対応を説明する説明する図である。図２７は、発話者・発話方向対応テーブルの一例を示す図である。図２８は、実施形態に係る通信システムの全体動作の流れの一例を示すシーケンス図である。図２９は、音声認識による属性情報の取得を促す画面の一例を示す図である。図３０は、実施形態に係る通信端末のＷｅｂアプリを利用する場合のソフトウェア構成の一例を示す図である。

以下に、図面を参照しながら、本発明に係る通信システム、情報処理装置、通信方法およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

また、コンピュータソフトウェアとは、コンピュータの動作に関するプログラム、その他コンピュータによる処理の用に供する情報であってプログラムに準ずるものをいう（以下、コンピュータソフトウェアは、ソフトウェアという）。アプリケーションソフトとは、ソフトウェアの分類のうち、特定の作業を行うために使用されるソフトウェアの総称である。一方、オペレーティングシステム（ＯＳ）とは、コンピュータを制御し、アプリケーションソフト等がコンピュータ資源を利用可能にするためのソフトウェアのことである。オペレーティングシステムは、入出力の制御、メモリやハードディスクなどのハードウェアの管理、プロセスの管理といった、コンピュータの基本的な管理・制御を行っている。アプリケーションソフトウェアは、オペレーティングシステムが提供する機能を利用して動作する。プログラムとは、コンピュータに対する指令であって、一の結果を得ることができるように組み合わせたものをいう。また、プログラムに準ずるものとは、コンピュータに対する直接の指令ではないためプログラムとは呼べないが、コンピュータの処理を規定するという点でプログラムに類似する性質を有するものをいう。例えば、データ構造（データ要素間の相互関係で表される、データの有する論理的構造）がプログラムに準ずるものに該当する。

［実施形態］
（通信システムの全体構成）
図１は、実施形態に係る通信システムの概略構成図である。図１を参照しながら、本実施形態に係る通信システム１の構成の概略を説明する。

図１に示すように、通信システム１は、複数の通信端末１０ａａ、１０ａｂ、１０ｂａ、１０ｂｂ、１０ｃａ、１０ｃｂ、１０ｄａ、１０ｄｂと、一部の通信端末用のディスプレイ１２０ａａ、１２０ｂａ、１２０ｃａ、１２０ｄａと、一部の通信端末に接続されたＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）３０ａｂ、３０ｃｂと、管理システム５０と、プログラム提供システム９０と、を含み、通信ネットワーク２を介して互いに通信可能となるように構築されている。

なお、図１では、通信端末１０ａａ、１０ａｂ、１０ｂａ、１０ｂｂ、１０ｃａ、１０ｃｂ、１０ｄａ、１０ｄｂが示されているが、これらのうち任意の通信端末を示す場合または総称する場合、単に「通信端末１０」と称する。また、図１に示す通信システム１に含まれる複数の通信端末１０は、一例を示すものであり、異なる台数であってもよい。

また、図１では、ディスプレイ１２０ａａ、１２０ｂａ、１２０ｃａ、１２０ｄａが示されているが、これらのうち任意のディスプレイを示す場合または総称する場合、単に「ディスプレイ１２０」と称する。また、図１に示す通信システム１に含まれる複数のディスプレイ１２０は、一例を示すものであり、異なる台数であってもよい。

通信端末１０は、他の装置との間で、各種情報を送受信する端末である。通信端末１０は、他の通信端末１０との間でセッションを確立し、確立したセッションにおいて、音声データおよび画像データ（映像データ）を含むコンテンツデータの送受信による通話を行う。これにより、通信システム１において、複数の通信端末１０間のビデオ会議が実現される。なお、通信端末１０は、ディスプレイ（上述のディスプレイ１２０）が接続される専用装置（ビデオ会議端末）、電子黒板（インタラクティブホワイトボード：ＩＷＢ）、デスクトップＰＣ、ノートＰＣ、スマートフォン、またはタブレット端末等のいずれであってもよい。

ディスプレイ１２０は、通信ネットワーク２を介して、接続されている通信端末１０が受信した参加者の映像等を、表示する表示装置である。ディスプレイ１２０は、例えば、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。

ＰＣ３０は、例えば、通信端末１０に接続され、他の通信端末１０との共有する画面イメージを当該通信端末１０に送信し、管理システム５０を介して配信することによって、他の通信端末１０と画面共有の状態にする情報処理装置である。なお、ＰＣ３０は、デスクトップＰＣおよびノートＰＣ等のＰＣであることに限定されず、スマートフォンまたはタブレット端末等の情報処理装置であってもよい。

管理システム５０は、通信端末１０を一元的に管理するコンピュータである。管理システム５０は、通信端末１０間でのセッションを確立することにより、通信端末１０間における通話等によるビデオ会議を実現する。管理システム５０は、所定の通信端末１０からセッションの開始要求情報を受信した場合に、開始要求情報を送信した通信端末１０（開始要求端末）と宛先端末との間のセッションを確立し、ビデオ会議を開始させる。したがって、管理システム５０は、確立したセッションにより、複数の通信端末１０間でコンテンツデータの中継を行う。なお、管理システム５０は複数の通信端末１０間でセッションを確立するものの、実際にコンテンツデータの中継は、別の中継装置により行われるものとしてもよい。本実施形態では、説明を簡略にするため、セッションの確立、およびコンテンツデータの中継は、管理システム５０が行うものとして説明する。

プログラム提供システム９０は、通信端末１０に各種機能または各種手段を実現させるための端末用プログラムが記憶された補助記憶装置（ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等）を備えており、通信端末１０に端末用プログラム（後述する通信アプリＡ等）を提供するコンピュータである。また、プログラム提供システム９０は、管理システム５０等に各種機能または各種手段を実現させるためのプログラムも補助記憶装置に記憶しており、管理システム５０等に、対応するプログラムを送信することができる。

通信ネットワーク２は、図１に示すように、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）２ａ〜２ｄ、専用線２ａｂ、２ｃｄ、およびインターネット２ｉを含んで構築されている。なお、通信ネットワーク２は、図１に示すような構成に限定されるものではなく、その他のネットワーク機器が含まれるものとしてもよく、有線だけでなく無線による通信が行われる箇所があってもよい。

ＬＡＮ２ａ〜２ｄ、および専用線２ａｂ、２ｃｄは、それぞれルータ７０ａ〜７０ｄ、７０ａｂ、７０ｃｄを含む。ルータ７０ａ〜７０ｄ、７０ａｂ、７０ｃｄは、通信データの最適な経路の選択を行うネットワーク機器である。

通信端末１０（１０ａａ、１０ａｂ、・・・）、およびルータ７０ａは、ＬＡＮ２ａによって通信可能に接続されている。また、通信端末１０（１０ｂａ、１０ｂｂ、・・・）、およびルータ７０ｂは、ＬＡＮ２ｂによって通信可能に接続されている。また、ＬＡＮ２ａ、ＬＡＮ２ｂ、およびルータ７０ａｂは、専用線２ａｂによって通信可能に接続されており、地域Ａ内で構築されている。

一方、通信端末１０（１０ｃａ、１０ｃｂ、・・・）、およびルータ７０ｃは、ＬＡＮ２ｃによって通信可能に接続されている。また、通信端末１０（１０ｄａ、１０ｄｂ、・・・）、およびルータ７０ｄは、ＬＡＮ２ｄによって通信可能に接続されている。また、ＬＡＮ２ｃ、ＬＡＮ２ｄ、およびルータ７０ｃｄは、専用線２ｃｄによって通信可能に接続されており、地域Ｂ内で構築されている。

地域Ａおよび地域Ｂのネットワークは、それぞれルータ７０ａｂ、７０ｃｄによってインターネット２ｉを介して通信可能に接続されている。

また、管理システム５０およびプログラム提供システム９０は、インターネット２ｉを介して、各通信端末１０と通信可能に接続されている。なお、管理システム５０およびプログラム提供システム９０は、地域Ａまたは地域Ｂに設置されていてもよいし、これら以外の地域に設置されていてもよい。

また、図１において、各通信端末１０、管理システム５０、各ルータ７０およびプログラム提供システム９０の近傍に示されている４組の数字は、一般的なＩＰｖ４におけるＩＰ（ＩｎｅｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）アドレスを簡易的に示している。例えば、通信端末１０ａａのＩＰアドレスは、「１．２．１．３」であるものとしている。なお、ＩＰｖ４ではなく、ＩＰｖ６を用いてもよいが、説明を簡略化するため、ＩＰｖ４を用いて説明する。

なお、図１に示す通信システム１の構成は、一例を示すものであり、この構成に限定されるものではない。すなわち、図１に示す各装置、システムの台数は、図１に示す台数に限定されるものではない。また、図１では、地域Ａ、Ｂの２つの地域のネットワーク構成が示されているが、同一地域内のネットワークであってもよく、３つ以上の地域がネットワークで接続された構成であってもよい。

（通信端末のハードウェア構成）
図２は、実施形態に係る通信端末（ビデオ会議端末）のハードウェア構成の一例を示す図である。図３は、実施形態に係る通信端末（電子黒板）のハードウェア構成の一例を示す図である。まず、図２を参照しながら、本実施形態に係る通信端末１０がビデオ会議端末であるものとした場合のハードウェア構成の詳細について説明する。

図２に示すように、本実施形態に係る通信端末１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０３と、補助記憶装置１０５と、メディアドライブ１０７と、入力装置１０８と、を備えている。

ＣＰＵ１０１は、通信端末１０全体の動作を制御する演算装置である。ＲＯＭ１０２は、通信端末１０用のプログラム（後述する通信アプリＡ等）を記憶している不揮発性記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される揮発性記憶装置である。

補助記憶装置１０５は、画像データ、音声データおよび動画データ等の各種データを記憶するＨＤＤまたはＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の不揮発性記憶装置である。メディアドライブ１０７は、ＣＰＵ１０１の制御に従って、フラッシュメモリ等であるメディア１０６に対するデータの読み出しおよび書き込みを制御する装置である。メディア１０６は、通信端末１０に対して着脱自在の記憶装置である。なお、メディア１０６は、ＣＰＵ１０１の制御に従ってデータの読み出しおよび書き込みを行う不揮発性メモリであれば、フラッシュメモリに限定されるものではなく、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅａｎｄＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）等を用いてもよい。

入力装置１０８は、マウスまたはキーボード等の各種情報を入力するための装置、または操作ボタンおよび電源ボタン等のボタンである。

また、通信端末１０は、ネットワークＩ／Ｆ１１１と、撮像素子Ｉ／Ｆ１１３と、音声入出力Ｉ／Ｆ１１６と、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）Ｉ／Ｆ１１７と、ディスプレイＩ／Ｆ１１９と、を備えている。

ネットワークＩ／Ｆ１１１は、通信ネットワーク２を利用してデータを通信するためのインターフェースである。ネットワークＩ／Ｆ１１１は、例えば、ＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）／ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）に準拠したＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）等である。

撮像素子Ｉ／Ｆ１１３は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得るカメラ１１２との間で画像データを伝送するためのインターフェースである。カメラ１１２は、レンズ、および光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含む。カメラ１１２は、ケーブル１１２ｃによって撮像素子Ｉ／Ｆ１１３に接続される。固体撮像素子としては、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）等が用いられる。

音声入出力Ｉ／Ｆ１１６は、ＣＰＵ１０１の制御に従って、音声を入力するマイク１１４ａ、および音声を出力するスピーカ１１４ｂ（出力装置）を有するスマートスピーカ１１４との間で音声信号（音声データ）の入出力を処理するインターフェースである。スマートスピーカ１１４は、マイクロホンアレイで構成されるマイク１１４ａを備えることによって、各マイクロホンから入力された音声に対する音声処理を行うことによって、当該音声の方向を特定する装置である。なお、スマートスピーカ１１４は、マイクロホンアレイを搭載して音声の方向を特定することができる装置であれば、必ずしもスマートスピーカである必要はない。スマートスピーカ１１４は、ケーブル１１４ｃによって音声入出力Ｉ／Ｆ１１６に接続される。

ＵＳＢＩ／Ｆ１１７は、外部機器（例えばＰＣ等）と接続してデータ通信を行うためのＵＳＢ規格のインターフェースである。

ディスプレイＩ／Ｆ１１９は、ＣＰＵ１０１の制御に従って、外付けのディスプレイ１２０（表示装置）に画像データを伝送するためのインターフェースである。ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１９に接続される。ケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよく、コンポーネントビデオ用のケーブルであってもよく、ＨＤＭＩ（登録商標）(Ｈｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ)またはＤＶＩ（ＤｉｇｉｔａｌＶｉｄｅｏＩｎｔｅｒａｃｔｉｖｅ）信号用のケーブルであってもよい。

上述のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０５、メディアドライブ１０７、入力装置１０８、ネットワークＩ／Ｆ１１１、撮像素子Ｉ／Ｆ１１３、音声入出力Ｉ／Ｆ１１６、ＵＳＢＩ／Ｆ１１７およびディスプレイＩ／Ｆ１１９は、アドレスバスおよびデータバス等のバスライン１１０によって互いに通信可能に接続されている。

なお、図２に示したビデオ会議端末である通信端末１０のハードウェア構成は一例を示すものであり、図２に示した構成要素以外の構成要素を含むものとしてもよい。また、カメラ１１２、およびスマートスピーカ１１４は、通信端末１０に一体的に備えられるものとしてもよく、または、カメラ１１２、およびスマートスピーカ１１４のうち少なくともいずれかは、外付けの別体の装置であってもよい。また、ディスプレイ１２０は、図２では、通信端末１０に対して外付けされるディスプレイとしているが、これに限定されるものではなく、通信端末１０と一体的に備えられるものとしてもよい。

次に、図３を参照しながら、本実施形態に係る通信端末１０が電子黒板であるものとした場合のハードウェア構成の詳細について説明する。

図３に示すように、本実施形態に係る通信端末１０は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＳＳＤ２０４と、ネットワークＩ／Ｆ２０５と、外部機器接続Ｉ／Ｆ２０６と、を備えている。

ＣＰＵ２０１は、通信端末１０全体の動作を制御する演算装置である。ＲＯＭ２０２は、ＣＰＵ２０１およびＩＰＬ（ＩｎｉｔｉａｌＰｒｏｇｒａｍＬｏａｄｅｒ）等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する不揮発性記憶装置である。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される揮発性記憶装置である。

ＳＳＤ２０４は、画像データ、音声データおよび動作データ、ならびに通信端末１０用のプログラム等の各種データを記憶する不揮発性記憶装置である。なお、ＳＳＤ２０４の代わりにＨＤＤ等の不揮発性記憶装置を用いるものとしてもよい。

ネットワークＩ／Ｆ２０５は、通信ネットワーク２を利用してデータを通信するためのインターフェースである。ネットワークＩ／Ｆ２０５は、例えば、ＴＣＰ／ＩＰに準拠したＮＩＣ等である。

外部機器接続Ｉ／Ｆ２０６は、各種の外部機器を接続するためのＵＳＢ規格等のインターフェースである。この場合の外部機器としては、例えば、ＵＳＢメモリ２３０、スマートスピーカ２４０、およびカメラ２６０である。

スマートスピーカ２４０は、音声を入力するマイク２４１、および音声を出力するスピーカ２４２（出力装置）を有する。スマートスピーカ２４０は、マイクロホンアレイで構成されるマイク２４１を備えることによって、各マイクロホンから入力された音声に対する音声処理を行うことによって、当該音声の方向を特定することができる装置である。なお、マイクロホンアレイを搭載して音声の方向を特定することができる装置であれば、必ずしもスマートスピーカである必要はない。

カメラ２６０は、レンズ、および光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含む。固体撮像素子としては、ＣＭＯＳまたはＣＣＤ等が用いられる。

また、通信端末１０は、キャプチャデバイス２１１と、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２１２と、ディスプレイコントローラ２１３と、ディスプレイ２１４（表示装置）と、センサコントローラ２１５と、接触センサ２１６と、電子ペンコントローラ２１７と、電源スイッチ２２２と、選択スイッチ２２３と、を備えている。

キャプチャデバイス２１１は、外付けのＰＣ２７０のディスプレイに対して映像情報を静止画または動画として表示させるデバイスである。

ＧＰＵ２１２は、画像処理に特化した演算装置である。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ２１４等へ出力するために画面表示の制御および管理を行うコントローラである。

センサコントローラ２１５は、接触センサ２１６の処理を制御するコントローラである。接触センサ２１６は、赤外線遮断方式による座標の入力および座標の検出を行うセンサである。この座標の入力および座標の検出する方法は、ディスプレイ２１４の上側両端部に設置された２つ受発光装置が、ディスプレイ２１４に平行して複数の赤外線を放射し、ディスプレイ２１４の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１６は、ディスプレイ２１４上に電子ペン２９０およびユーザの手Ｈ等が接触したことを検知する。接触センサ２１６は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。

なお、接触センサ２１６は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。

電子ペンコントローラ２１７は、電子ペン２９０と通信することによって、ディスプレイ２１４へのペン先のタッチおよびペン尻のタッチの有無を判断するコントローラである。なお、電子ペンコントローラ２１７は、電子ペン２９０のペン先およびペン尻だけでなく、電子ペン２９０のユーザが握る部分、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

電源スイッチ２２２は、通信端末１０の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ２２３は、例えば、ディスプレイ２１４の表示の明暗、色合い等を調整するためのスイッチ群である。

上述のＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＳＳＤ２０４、ネットワークＩ／Ｆ２０５、外部機器接続Ｉ／Ｆ２０６、キャプチャデバイス２１１、ＧＰＵ２１２、センサコントローラ２１５、電子ペンコントローラ２１７、電源スイッチ２２２および選択スイッチ２２３は、アドレスバスおよびデータバス等のバスライン２１０によって互いに通信可能に接続されている。

なお、図３に示した電子黒板である通信端末１０のハードウェア構成は一例を示すものであり、図３に示した構成要素以外の構成要素を含むものとしてもよい。また、カメラ２６０、およびスマートスピーカ２４０は、通信端末１０に一体的に備えられるものとしてもよく、または、カメラ２６０、およびスマートスピーカ２４０のうち少なくともいずれかは、外付けの別体の装置であってもよい。

（管理システムおよびプログラム提供システムのハードウェア構成）
図４は、実施形態に係る管理システムおよびプログラム提供システムのハードウェア構成の一例を示す図である。図４を参照しながら、管理システム５０およびプログラム提供システム９０のハードウェア構成の詳細について説明する。

まず、図４を参照しながら管理システム５０のハードウェア構成について説明する。図４に示すように、管理システム５０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、補助記憶装置３０５と、メディアドライブ３０７と、ディスプレイ３０８と、ネットワークＩ／Ｆ３０９と、キーボード３１１と、マウス３１２と、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）ドライブ３１４と、を備えている。

ＣＰＵ３０１は、管理システム５０全体の動作を制御する演算装置である。ＲＯＭ３０２は、管理システム５０用のプログラムを記憶している不揮発性記憶装置である。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される揮発性記憶装置である。

補助記憶装置３０５は、後述する認証管理ＤＢ５００１、端末管理ＤＢ５００２、グループ管理ＤＢ５００３およびセッション管理ＤＢ５００４等の各種データを記憶するＨＤＤまたはＳＳＤ等の記憶装置である。メディアドライブ３０７は、ＣＰＵ３０１の制御に従って、フラッシュメモリ等の記録メディア３０６に対するデータの読み出しおよび書き込みを制御する装置である。

ディスプレイ３０８は、カーソル、メニュー、ウィンドウ、文字または画像等の各種情報を表示する液晶または有機ＥＬ等によって構成された表示装置である。ネットワークＩ／Ｆ３０９は、通信ネットワーク２を利用してデータを通信するためのインターフェースである。ネットワークＩ／Ｆ３０９は、例えば、ＴＣＰ／ＩＰに準拠したＮＩＣ等である。

キーボード３１１は、文字、数字、各種指示の選択、およびカーソルの移動等を行う入力装置である。マウス３１２は、各種指示の選択および実行、処理対象の選択、ならびにカーソルの移動等を行うための入力装置である。

ＤＶＤドライブ３１４は、着脱自在な記憶媒体の一例としてのＤＶＤ−ＲＯＭまたはＤＶＤ−Ｒ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋＲｅｃｏｒｄａｂｌｅ）等のＤＶＤ３１３に対するデータの読み出しおよび書き込みを制御する装置である。

上述のＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、補助記憶装置３０５、メディアドライブ３０７、ディスプレイ３０８、ネットワークＩ／Ｆ３０９、キーボード３１１、マウス３１２およびＤＶＤドライブ３１４は、アドレスバスおよびデータバス等のバスライン３１０によって互いに通信可能に接続されている。

なお、図３に示した管理システム５０のハードウェア構成は一例を示すものであり、図３に示した構成要素を全て含む必要はなく、または、その他の構成要素を含むものとしてもよい。

なお、プログラム提供システム９０は、上述の管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。ただし、ＲＯＭ３０２には、プログラム提供システム９０を制御するためのプログラム提供システム９０用のプログラムが記録されている。

（通信端末のソフトウェア構成）
図５は、実施形態に係る通信端末のソフトウェア構成の一例を示す図である。図５を参照しながら、本実施形態に係る通信端末１０のソフトウェア構成の詳細について説明する。

通信端末１０には、クライアントアプリとして通信アプリＡがインストールされている。ここで、アプリとは、アプリケーションソフトを意味する。図５に示すように、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）１０２０、および通信アプリＡは、通信端末１０のＲＡＭ１０３（ＲＡＭ２０３）の作業領域１０１０上で動作する。

ＯＳ１０２０は、基本的な機能を提供し、通信端末１０全体を管理する基本ソフトウェアである。通信アプリＡは、ＯＳ１０２０の制御に従って動作し、他の通信端末１０と通信（通話）するためのアプリである。

なお、通信アプリＡの通信プロトコルとしては、ＳＩＰ（ＳｅｓｓｉｏｎＩｎｉｔｉａｔｉｏｎＰｒｏｔｏｃｏｌ)、Ｈ.３２３、ＩＲＣ（ＩｎｔｅｒｎｅｔＲｅｌａｙＣｈａｔ)、またはＪｉｎｇｌｅ等が挙げられる。

（通信システムの機能ブロックの構成）
図６は、実施形態に係る通信システムの機能ブロックの構成の一例を示す図である。図６を参照しながら、本実施形態に係る通信システム１の機能ブロックの構成について説明する。

＜通信端末の機能ブロックの構成＞
図６に示すように、通信端末１０は、通信部１１と、操作入力受付部１２と、撮像部１３と、表示制御部１４（第２制御部の一例）と、音声入力部１５と、音声出力部１６（第２制御部の一例）と、記憶・読出部１７と、記憶部１８と、認証要求部１９と、発話方向特定部２０（第１特定部）と、を有している。

通信部１１は、通信ネットワーク２を介して、他の通信端末１０または各システムと各種データの送受信を行う機能部である。通信部１１は、図２に示すＣＰＵ１０１（図３に示すＣＰＵ２０１）によるソフトウェアである通信アプリＡの実行、およびネットワークＩ／Ｆ１１１（ネットワークＩ／Ｆ２０５）によって実現される。

通信部１１は、当該通信端末１０が他の通信端末１０とセッションを確立し、通話によるビデオ会議を開始する前に、管理システム５０から、宛先端末の候補としての各通信端末１０の状態を示す各状態情報の受信を開始する。ここで、宛先端末の候補とは、通信端末１０が、ビデオ会議を行う相手、すなわちセッションの相手として指定可能なビデオ会議の相手であるユーザ（参加者）が利用する宛先候補となる他の通信端末１０である。すなわち、通信端末１０は、宛先端末の候補として予め設定されていない通信端末とは、セッションを確立することができず、ビデオ会議を行うことができない。

また、状態情報は、各通信端末１０の稼動状態（オンラインかオフラインかの状態）と、オンラインにおいてはさらに通話中であるか、待受け中であるか等の詳細な状態（以下、通信状態と称する）とを示す。また、状態情報は、各通信端末１０の稼動状態および通信状態だけでなく、ケーブルが通信端末１０から外れている、音声を出力できるが画像は出力できない、または、音声が入力されないように設定されている（ミュート）等、様々な状態を示すものとしてもよいが、以下では、一例として、稼動状態および通信状態を示す場合について説明する。

通信部１１は、当該通信端末１０が開始要求端末として動作する場合には、開始要求情報を管理システム５０に送信する。ここで、開始要求情報とは、ビデオ会議に用いられるセッションの開始を要求する情報である。開始要求情報は、具体的には、開始を要求する旨を示す情報と、開始要求情報の送信元である開始要求端末の端末ＩＤと、セッションの相手となる宛先端末の端末ＩＤと、を含む。端末ＩＤは、通信端末１０を識別するための情報であって、予め通信端末１０に記憶させておく他、ユーザが直接通信端末１０へ入力して決定するものとしてもよい。

操作入力受付部１２は、ユーザによる各種入力を受け付ける機能部である。操作入力受付部１２は、図２に示す入力装置１０８（図３に示す接触センサ２１６、電源スイッチ２２２および選択スイッチ２２３）によって実現される。

例えば、ユーザが、操作入力受付部１２のうち図２に示す入力装置１０８としての電源ボタンをオンにすると、当該通信端末１０の電源がオン状態になる。また、ユーザが電源をオン状態からオフにすると、通信部１１は、管理システム５０へ、当該通信端末１０の電源がオフになった旨の状態情報を送信してから、当該通信端末１０の電源が完全にオフとなる。これによって、管理システム５０は、通信端末１０が電源オンから電源オフになったことを把握することができる。

撮像部１３は、被写体を撮像して、撮像して得た画像データを取得する機能部である。撮像部１３は、図２に示すＣＰＵ１０１（図３に示すＣＰＵ２０１）によるソフトウェアである通信アプリＡの実行、ならびに、カメラ１１２（カメラ２６０）および撮像素子Ｉ／Ｆ１１３（外部機器接続Ｉ／Ｆ２０６）によって実現される。

表示制御部１４は、ディスプレイ１２０（ディスプレイ２１４）に対して画像データ等の表示制御を行う機能部である。表示制御部１４は、図２に示すＣＰＵ１０１（図３に示すＣＰＵ２０１）によるソフトウェアである通信アプリＡの実行によって実現される。

表示制御部１４は、例えば、ビデオ会議の要求元としての当該通信端末１０が所望の宛先としての通信端末１０とビデオ会議の通話を開始する前に、通信部１１によって受信された宛先端末の候補の状態情報を反映させて、各宛先端末の候補の名前が含まれた宛先リストをディスプレイ１２０（ディスプレイ２１４）に表示させる。

音声入力部１５は、マイク１１４ａ（マイク２４１）のマイクロホンアレイによって収音された参加者（話者）の音声が音声信号に変換された後、当該音声信号を入力する機能部である。音声入力部１５は、図２に示すＣＰＵ１０１（図３に示すＣＰＵ２０１）によるソフトウェアである通信アプリＡの実行、および音声入出力Ｉ／Ｆ１１６（外部機器接続Ｉ／Ｆ２０６）によって実現される。

音声出力部１６は、音声信号をスピーカ１１４ｂ（スピーカ２４２）に出力し、スピーカ１１４ｂ（スピーカ２４２）から音声を出力させる機能部である。音声出力部１６は、図２に示すＣＰＵ１０１（図３に示すＣＰＵ２０１）によるソフトウェアである通信アプリＡの実行、および音声入出力Ｉ／Ｆ１１６（外部機器接続Ｉ／Ｆ２０６）によって実現される。

記憶・読出部１７は、記憶部１８に各種データを記憶したり、記憶部１８に記憶された各種データを読み出す処理を行う機能部である。記憶部１８には、例えば、宛先端末との通話を行う際に受信されるコンテンツデータが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ１２０（ディスプレイ２１４）に画像が表示され、上書きされる前の音声データによってスピーカ１１４ｂ（スピーカ２４２）から音声が出力される。記憶・読出部１７は、図２に示すＣＰＵ１０１（図３に示すＣＰＵ２０１）によるソフトウェアである通信アプリＡの実行によって実現される。

認証要求部１９は、当該通信端末１０の電源がオンした場合、または、操作入力受付部１２により認証要求操作が受け付けられた場合、通信部１１から通信ネットワーク２を介して管理システム５０に、ログインの認証を要求する旨を示す認証要求情報、および当該通信端末１０の現時点のＩＰアドレスを送信する機能部である。認証要求部１９は、図２に示すＣＰＵ１０１（図３に示すＣＰＵ２０１）によるソフトウェアである通信アプリＡの実行によって実現される。

発話方向特定部２０は、音声入力部１５により入力された音声信号に基づいて、音声方向（発話方向）を特定する機能部である。具体的には、音声入力部１５により入力された音声信号は、マイク１１４ａ（マイク２４１）のマイクロホンアレイに含まれる各マイクロホンから入力された各音声信号を含み、発話方向特定部２０は、各マイクロホンの音声信号に対して音声処理を行うことにより、音声の方向を特定する。発話方向特定部２０は、図２に示すＣＰＵ１０１（図３に示すＣＰＵ２０１）によるソフトウェアである通信アプリＡの実行によって実現される。

なお、上述の表示制御部１４、認証要求部１９および発話方向特定部２０のうち少なくともいずれかは、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等のハードウェア回路によって実現されるものとしてもよい。

また、図６に示した通信端末１０の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図６に示した通信端末１０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図６に示した通信端末１０の１つ機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

＜管理システムの機能ブロックの構成＞
図６に示すように、管理システム５０は、通信部５１と、認証部５２と、状態管理部５３と、端末抽出部５４と、端末状態取得部５５と、セッション制御部５６と、記憶・読出部５７と、記憶部５８と、を有している。管理システム５０は、さらに、顔検出部６１（検出部）と、比較部６２と、生成部６３と、属性情報要求部６４（要求部）と、対応付け部６５（第２特定部）と、テキスト化部６６と、抽出部６７と、登録部６８と、表示制御部６９（第１制御部、制御部）と、を有している。記憶部５８は、図４に示す補助記憶装置３０５によって実現され、図６に示すように、認証管理ＤＢ５００１と、端末管理ＤＢ５００２と、グループ管理ＤＢ５００３と、セッション管理ＤＢ５００４とを記憶している。以下、記憶部５８に記憶されている各ＤＢにおいて管理される各テーブルについて説明する。

＜＜認証管理テーブル＞＞
図７は、認証管理テーブルの一例を示す図である。

記憶部５８は、図７に示す認証管理テーブルを含む認証管理ＤＢ５００１を記憶している。認証管理テーブルでは、ログインの認証を行う通信端末１０を利用するユーザ（参加者）を識別するユーザＩＤに対して、パスワードが関連付けられて管理される。ここで、パスワードは、ログインの認証するために利用される情報である。例えば、図７に示す認証管理テーブルにおいて、ユーザＩＤが「Ａ＿１０ａａ」に関連付けられたパスワードが「ａａａａ」であることが示されている。

なお、ユーザＩＤは、通信端末１０を利用するユーザを一意に識別するために使われる文字、記号、数字または各種のしるし等の識別情報であり、例えば、当該ユーザが利用するメールアドレス等であってもよい。

＜＜端末管理テーブル＞＞
図８は、端末管理テーブルの一例を示す図である。

記憶部５８は、図８に示す端末管理テーブルを含む端末管理ＤＢ５００２を記憶している。端末管理テーブルでは、各通信端末１０の端末ＩＤ毎に、端末名、各通信端末１０にログインしたユーザのユーザＩＤ、各通信端末１０の稼動状態、他の通信端末１０との通信状態、および各通信端末１０のＩＰアドレスが関連付けられて管理される。

ここで、稼動状態としては、電源がオンされ、通信が可能または通信中の状態であるオンラインと、電源がオンされていない等、通信が可能でない状態であるオフラインとがある。また、通信状態としては、例えば、「Ｃａｌｌｉｎｇ」、「Ｒｉｎｇｉｎｇ」、「Ａｃｃｅｐｔｅｄ」、「Ｂｕｓｙ」、および「Ｎｏｎｅ」等がある。「Ｃａｌｌｉｎｇ」は、他の通信端末１０を呼び出している状態、すなわち、他の通信端末１０に対しビデオ会議に用いられるセッションを確立するための開始要求情報を送信し、応答を待っている状態を示す。「Ｒｉｎｇｉｎｇ」は、他の通信端末１０から呼び出されている状態、すなわち、他の通信端末１０から開始要求情報を受信し、受信した開始要求情報に対する応答が完了していない状態を示す。「Ａｃｃｅｐｔｅｄ」は、他の通信端末１０からの開始要求情報に対し許可の応答が完了しているが、セッションの確立が完了していない状態、および、自端末が送信した開始要求情報に対し許可の応答の受信が完了しているが、セッションの確立が完了していない状態を示す。「Ｂｕｓｙ」は、他の通信端末１０とのセッションが確立し、ビデオ会議におけるコンテンツデータの通信による通話が行われている状態を示す。「Ｎｏｎｅ」は、他の通信端末１０と通信しておらず、待ち受け中の状態を示す。

例えば、図８に示す端末管理テーブルにおいて、端末ＩＤが「１０ａｄ」の通信端末１０ａｄは、端末名が「日本東京事業所ＡＤ端末」で、ログインしているユーザのユーザＩＤが「Ｃ＿１０ａｄ」で、稼動状態が「オンライン」で、通信状態が他の通信端末１０から呼び出されている状態を示す「Ｒｉｎｇｉｎｇ」で、この通信端末１０ａｄのＩＰアドレスが「１．２．１．６」であることが示されている。

＜＜グループ管理システム＞＞
図９は、グループ管理テーブルの一例を示す図である。

記憶部５８は、図９に示すグループ管理テーブルを含むグループ管理ＤＢ５００３を記憶している。グループ管理テーブルでは、管理システム５０に予め登録されているビデオ会議のグループごとに、当該グループに含まれる通信端末１０の端末ＩＤが管理される。すなわち、グループ管理テーブルでは、グループを識別するグループＩＤと、当該グループに含まれる通信端末１０の端末ＩＤとが関連付けられて管理される。

例えば、図９に示すグループ管理テーブルにおいて、グループＩＤが「Ｇ００２」のグループは、端末ＩＤが「１０ａｃ」、「１０ｃａ」、「１０ｃｂ」である通信端末１０を含むことが示されている。

＜＜セッション管理テーブル＞＞
図１０は、セッション管理テーブルの一例を示す図である。

記憶部５８は、図１０に示すセッション管理テーブルを含むセッション管理ＤＢ５００４を記憶している。セッション管理テーブルでは、通信端末１０間でコンテンツデータが通信されるセッションを識別するためのセッションＩＤ毎に、セッションの開始要求端末の端末ＩＤ、およびセッションを確立するための開始要求情報において相手先として指定された宛先端末の端末ＩＤが関連付けられて管理される。

例えば、図１０に示すセッション管理テーブルにおいて、セッションＩＤ「ｓｅ１」で識別されるセッションは、端末ＩＤが「１０ａａ」の開始要求端末（通信端末１０ａａ）と、端末ＩＤが「１０ｄｂ」の宛先端末（通信端末１０ｄｂ）との間で確立されたことを示す。

なお、図７〜図１０に示した各テーブルで管理される情報は、テーブル形式の情報としているが、これに限定されるものではなく、管理される各情報が関連付けられることができれば、テーブル形式に限定されるものではない。

図６に戻り、管理システム５０の機能ブロックの説明に戻る。

通信部５１は、通信ネットワーク２を介して、通信端末１０または他のシステムと各種データの送受信を行う機能部である。通信部５１は、図４に示すＣＰＵ３０１によるプログラムの実行、およびネットワークＩ／Ｆ３０９によって実現される。

認証部５２は、通信部５１を介して受信された認証要求情報に含まれているユーザＩＤおよびパスワードを検索キーとし、記憶部５８の認証管理テーブル（図７参照）を検索し、認証管理テーブルに同一のユーザＩＤおよびパスワードが管理されているかを判断することによってユーザ認証を行う機能部である。認証部５２は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

状態管理部５３は、図８に示す端末管理テーブルの稼動状態および通信状態を管理する機能部である。状態管理部５３は、ログインの認証を要求してきた通信端末１０の稼動状態を管理すべく、端末管理テーブルに、この通信端末１０の端末ＩＤ、当該通信端末１０にログインしている参加者のユーザＩＤ、当該通信端末１０の稼動状態、および当該通信端末１０のＩＰアドレスを関連付けて記憶して管理する。

状態管理部５３は、通信端末１０のユーザによる入力装置１０８（電源スイッチ２２２）の操作によってオフ状態からオン状態になると、この通信端末１０から送られてきた電源をオンする旨の情報に基づいて、端末管理テーブルの稼動状態をオフラインからオンラインに更新する。また、状態管理部５３は、通信端末１０のユーザによる入力装置１０８（電源スイッチ２２２）の操作によってオン状態からオフ状態になると、この通信端末１０から送られてきた電源をオフする旨の情報に基づいて、端末管理テーブルの稼動状態をオンラインからオフラインに更新する。

状態管理部５３は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

端末抽出部５４は、ログインの認証要求した通信端末１０等、処理対象となる対象端末の端末ＩＤを検索キーとして、図９に示すグループ管理テーブルを検索し、対象端末と通話することができる、すなわちセッションを確立することのできる宛先端末の候補（同じグループの通信端末１０）の端末ＩＤを読み出す機能部である。端末抽出部５４は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

端末状態取得部５５は、端末ＩＤを検索キーとして、図８に示す端末管理テーブルを検索し、端末ＩＤ毎に稼動状態および通信状態を読み出す機能部である。これにより、端末状態取得部５５は、ログインの認証要求をしてきた通信端末１０と通話することができる宛先端末の候補の稼動状態および通信状態を取得することができる。端末状態取得部５５は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

セッション制御部５６は、図９に示すセッション管理テーブルに、生成したセッションＩＤ、開始要求端末の端末ＩＤおよび宛先端末の端末ＩＤを関連付けて記憶して管理する機能部である。セッション制御部５６は、通信端末１０間のセッションの確立をするための制御を行う。セッション制御部５６は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

記憶・読出部５７は、記憶部５８に各種テーブルに情報を記憶したり、記憶部５８に記憶された各種テーブルの情報を読み出す処理を行う機能部である。記憶・読出部５７は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

顔検出部６１は、通信部５１で受信した映像データから、写り込んでいる参加者の顔画像を検出して、顔の特徴を数値化して特徴値（以下、顔検出情報と称する場合がある）として取得する機能部である。例えば、検出された顔の目、眉毛、鼻、口等の特徴を数値化して特徴値を求め、当該特徴値ごとに「Ｍ４」、「ＥＬ２」等のＩＤ（識別情報）が割り振られる。また、各顔の部分の位置を特徴点として求め、当該位置、および特徴点間の距離等も特徴値として顔検出情報に含まれる。また、顔検出部６１は、映像データにおいて検出した参加者の顔の画像の中心座標を算出する。なお、顔検出部６１は、参加者の顔画像を検出するものとしたが、これに限定されるものではなく、検出対象は、参加者の顔を含む上半身等、参加者を判別することが可能な部位であればよい。顔検出部６１は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

比較部６２は、記憶部５８に記憶されている後述の顔・アバター・属性対応テーブル（図２３参照）を参照し、顔検出部６１により取得された顔検出情報が、顔・アバター・属性対応テーブルに登録されている顔認識情報と一致するか否か比較する機能部である。また、比較部６２により、顔検出情報と、顔・アバター・属性対応テーブルの顔認識情報とが一致すると判断されるためには、必ずしも顔検出情報と顔認識情報とが完全に一致する必要はなく、一定程度近似する場合、一致すると判断されるものとしてもよい。比較部６２は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

生成部６３は、顔・アバター・属性対応テーブルにおいて、比較部６２により顔検出情報と一致すると判断された顔認識情報に対応するアバター情報に基づいて、当該顔検出情報に対応する参加者を表すアバターを生成する機能部である。ここで、アバター情報とは、アバターを生成するために用いられる情報であり、例えば、人の顔画像に基づいてその人に似せたアバターを生成するための情報、または、当該顔画像の情報そのものであってもよい。または、アバター情報は、必ずしも参加者の顔であることが分かるようなアバターを生成するための情報である必要はなく、各参加者の代わりとなるアバター（例えば動物のアバター等）を生成するための情報であってもよい。または、アバター情報は、既存のいくつかのアバターを生成するための情報の中からどの情報を用いてアバターを生成するのかを示す種類情報であってもよい。生成部６３は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

属性情報要求部６４は、参加者に属性情報についての発話を要求するための指示を通信端末１０へ送信する機能部である。ここで、属性情報とは、ビデオ会議の参加者が属する社名および所属、ならびに参加者の役職および名前等の参加者の属性を示す情報である。属性情報要求部６４は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

対応付け部６５は、通信部５１を介して受信した参加者の音声の発話方向と、顔検出部６１により検出された顔画像、すなわち参加者とを対応付ける機能部である。なお、対応付け部６５による音声と、顔画像（すなわち参加者）とを対応付ける方法として、上記の動作に限定されるものではなく、例えば、通信部５１を介して受信した音声データおよび映像データを用いて、映像データが示す参加者の口唇動作と、音声データの音声出力のタイミングとに基づいて、音声と参加者とを対応付けるものとしてもよい。対応付け部６５は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

テキスト化部６６は、通信部５１を介して受信した音声データを、既知の音声認識技術によりテキスト化する機能部である。テキスト化部６６は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

抽出部６７は、テキスト化部６６によりテキスト化されたテキストから、予め属性情報を示す候補として登録されている登録済みワードと一致するキーワードを抽出する機能部である。登録済みワードは、例えば記憶部５８に予め記憶されているものとすればよい。なお、例えば、後述の図２３の顔・アバター・属性対応テーブルに示すように、属性情報として社名、所属、役職、および名前が登録されるものとした場合、登録済みワードとしては、社名に関する登録済みワード、所属に関する登録済みワード、役職に関する登録済みワード、および名前に関する登録済みワードがそれぞれ用意にされているものとしてもよい。また、属性情報として扱う属性は、社名、所属、役職、および名前に限定されるものではなく、他の属性（例えば、役割、年齢等）が含まれるものとしてもよい。抽出部６７は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

登録部６８は、抽出部６７により抽出されたキーワードを、テキスト化部６６によりテキスト化された音声データに対応する参加者の属性情報として、顔・アバター・属性対応テーブルにおいて比較部６２により顔認識情報と一致すると判断された参加者の顔検出情報に関連付けて登録する機能部である。登録部６８は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。

表示制御部６９は、生成部６３により生成されたアバターについて、当該アバターに対応する属性情報に基づいて表示制御を行う機能部である。具体的には、表示制御部６９は、属性情報からビデオ会議の参加者のうち、同じ会社に所属する参加者のアバターを同列となるように配置し、役職の順序に並べた表示となるように、映像データを生成する。また、表示制御部６９は、ビデオ会議の各拠点の参加者を同一の表示領域に表示させるようにしてもよく、参加者を拠点ごとに表示領域を分けて表示させるようにしてもよい。また、表示制御部６９は、アバターを役職の順序に並べると共に、または、それに代えて、役職名をアバターの近傍に表示するものとしてもよい。この際、表示制御部６９は、さらにアバターの近傍に名前、所属等を表示させるものとしてもよい。このように役職の順序に並べたり、役職名等を表示させることによって、自拠点以外の拠点の参加者（アバター）について、少なくともどの参加者がどの参加者よりも目上のものであるのか等の各参加者の立場を把握することができ、円滑に会議を進めることができる。

なお、表示制御部６９は、属性情報に基づいてアバターの配置を変更して映像データを生成した場合、当該映像データの中で手前に配置されたアバターであるほど、対応する音声データの音圧レベルを上げる処理を施しててもよい。これによって、アバターを表示する映像データであっても、ビデオ会議の臨場感を高めることができる。

また、表示制御部６９は、通信部５１を介して通信端末１０から音声データを受信すると共に、発話方向の情報を受信した場合、当該発話方向に対応するアバターが音声を発話している状態を示す映像データを生成する。これによって、参加者が相手拠点の参加者のアバターが表示されたディスプレイを見ている場合、その参加者（アバター）が発話しているのかを認識することができる。ここで、アバターが音声を発話している状態とは、例えば、口を有するアバターであれば音声データの出力に合わせて口を動かしているような状態、または、音声データの出力に合わせてアバターを上下に動かすことにより発話をしているように示した状態等が挙げられる。さらに、表示制御部６９は、参加者が発話している場合だけでなく、参加者の表情、視線等をリアルタイムに、対応するアバターに反映するものとしてもよい。

また、表示制御部６９は、映像データにアバターを含める場合、その背景の画像としては実画像の背景を用いてもよく、またはバーチャルな背景を用いるものとしてもよい。また、表示制御部６９は、背景の画像として実画像の背景を用いる場合、アバターの表示のみを明確に表示させ、実画像の背景についてはぼかすものとしてもよい。このようにバーチャルな背景を表示させたり、実画像の背景をぼかす表示によって、ビデオ会議の参加者は、自身が居る会議室等の部屋の状態を気にすることなくビデオ会議に参加することができ、背景に社外秘の情報が含まれている場合でも当該情報の流出の防止を抑制することができる。

表示制御部６９は、図４に示すＣＰＵ３０１によるプログラムの実行によって実現される。このように、表示制御部６９により参加者の実画像の映像データではなく、アバターの映像データを用いることによって、実画像の場合と比べてより少ないフレームレートで転送することができるのでデータ通信量を低減することができ、ディスプレイへのスペック要求を下げることができる。

なお、上述の認証部５２、状態管理部５３、端末抽出部５４、端末状態取得部５５、セッション制御部５６、顔検出部６１、比較部６２、生成部６３、属性情報要求部６４、対応付け部６５、テキスト化部６６、抽出部６７、登録部６８および表示制御部６９のうち少なくともいずれかは、ＡＳＩＣまたはＦＰＧＡ等のハードウェア回路によって実現されるものとしてもよい。

また、図６に示した管理システム５０の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図６に示した管理システム５０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図６に示した管理システム５０の１つ機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

また、図６に示した通信端末１０が有する機能部は、例えば管理システム５０で実現される場合があってもよく、管理システム５０が有する機能部は、例えば通信端末１０で実現する場合があったもよい。また、通信端末１０および管理システム５０が有する機能部は、通信端末１０および管理システム５０以外の装置が実現する場合があってもよい。例えば、アバター生成処理における管理システム５０の顔検出部６１による参加者の顔の検出、属性情報取得処理における管理システム５０のテキスト化部６６による音声データのテキスト化等は、管理システム５０ではなく通信端末１０が有する機能であってもよい。また、管理システム５０の認証部５２による認証処理は、通信端末１０および管理システム５０以外の他の装置が行うものとしてもよい。

（コンテンツデータおよび各種管理情報の送受信の状態）
図１１は、実施形態に係る通信システムにおけるコンテンツデータおよび各種管理情報を送受信するために確立されたセッションを示す図である。図１１を参照しながら、通信システム１におけるコンテンツデータおよび各種管理情報を送受信するために確立されたセッションについて説明する。

図１１に示すように、通信システム１では、開始要求端末と宛先端末Ａと宛先端末Ｂとの間で、管理システム５０を介して、各種の管理情報を送受信するための管理情報用セッションｓｅｉが確立される。さらに、開始要求端末と宛先端末Ａと宛先端末Ｂとの間で、管理システム５０を介して、画像データおよび音声データ等を送受信するためのコンテンツデータ用セッションｓｅｄが確立される。すなわち、コンテンツデータ用セッションｓｅｄが、ビデオ会議において直接的に用いられるセッションである。なお、このセッションの概念はあくまで一例であって、例えば、画像データのセッションでは、解像度ごとに分けられるものとしてもよい。

（通信端末が通話開始する前の準備段階における各管理情報の送受信処理）
図１２は、実施形態に係る通信システムにおける、通信端末が通話を開始するための認証処理を含む準備段階の処理の一例を示すシーケンス図である。図１３は、宛先リストの表示例を示す図である。図１２および図１３を参照しながら、通信端末１０ａａが通話を開始する前の準備段階における各情報の送受信処理について説明する。なお、図１２では、管理情報用セッションｓｅｉによって、各種管理情報が送受信される処理が示されている。

＜ステップＳ２１＞
まず、通信端末１０ａａのユーザが、図２に示す入力装置１０８に対する操作により電源をオンにすると、通信端末１０ａａの操作入力受付部１２が、電源オンを受け付けて、通信端末１０ａａの電源をオンにする。

＜ステップＳ２２＞
そして、通信端末１０ａａの認証要求部１９は、上述の通信端末１０ａａの電源オンを契機とし、通信部１１から通信ネットワーク２を介して管理システム５０に、ログインの認証要求を示す認証要求情報、および通信端末１０ａａのＩＰアドレスを送信する。この認証要求情報には、開始要求端末としての自端末である通信端末１０ａａを識別するための端末ＩＤ、通信端末１０ａａにログインしているユーザのユーザＩＤ、およびパスワードが含まれている。端末ＩＤ、ユーザＩＤおよびパスワードは、通信端末１０ａａの記憶・読出部１７によって記憶部１８から読み出されて、通信部１１に送られたデータである。また、通信端末１０ａａから管理システム５０へ認証要求情報が送信される際は、受信側である管理システム５０は、送信側である通信端末１０ａａのＩＰアドレスを把握することができる。

＜ステップＳ２３＞
次に、管理システム５０の認証部５２は、通信部５１を介して受信した認証要求情報に含まれているユーザＩＤおよびパスワードを検索キーとして、認証管理テーブル（図７参照）を検索し、認証管理テーブルに同一のユーザＩＤおよびパスワードが管理されているかを判断することによってユーザ認証を行う。

＜ステップＳ２４−１＞
認証部５２によって、正当な利用権限を有する通信端末１０からのログインの認証要求であると判断された場合には、管理システム５０の状態管理部５３は、端末管理テーブル（図８参照）に、通信端末１０ａａの端末ＩＤおよび端末名で示されるレコード毎に、ユーザＩＤおよび通信端末１０ａａのＩＰアドレスを関連付けて記憶する。これにより、端末管理テーブルには、通信端末１０ａａの端末ＩＤ「１０ａａ」に、ユーザＩＤ「Ａ＿１０ａａ」およびＩＰアドレス「１．２．１．３」が関連付けて管理されることになる。

＜ステップＳ２４−２＞
続いて、状態管理部５３は、通信端末１０ａａの稼動状態「オンライン」および通信状態「Ｎｏｎｅ」を設定し、端末管理テーブルに、通信端末１０ａａの端末ＩＤおよび端末名で示されるレコードに、稼動状態および通信状態を関連付けて記憶する。これにより、端末管理テーブルには、通信端末１０ａａの端末ＩＤ「１０ａａ」に、稼動状態「オンライン」および通信状態「Ｎｏｎｅ」が関連付けて管理されることになる。

＜ステップＳ２５＞
そして、管理システム５０の通信部５１は、認証部５２によって得られたユーザ認証の結果が示された認証結果情報を、通信ネットワーク２を介して、認証要求情報を送信してきた開始要求端末（通信端末１０ａａ）に送信する。本実施形態では、通信端末１０ａａが、認証部５２によって正当な利用権限を有するユーザが利用する端末であるとユーザ認証されたものとして、以下続けて説明する。

＜ステップＳ２６＞
通信端末１０ａａにおいて、正当な利用権限を有するユーザが利用する端末であるとユーザ認証された結果が示された認証結果情報を受信すると、通信部１１は、通信ネットワーク２を介して管理システム５０へ、宛先リストを要求する旨を示す宛先リスト要求情報を送信するこれにより、管理システム５０の通信部５１は、宛先リスト要求情報を受信する。

＜ステップＳ２７＞
次に、管理システム５０の端末抽出部５４は、開始要求端末（通信端末１０ａａ）の端末ＩＤ「１０ａａ」を検索キーとして、グループ管理テーブル（図９参照）を検索し、開始要求端末が通話することができる、すなわち、開始要求端末と同じグループ（ここでは、グループＩＤ「Ｇ００１」のグループ）に属する宛先端末の候補の端末ＩＤを抽出する。また、端末抽出部５４は、抽出した端末ＩＤを検索キーとして、端末管理テーブルを検索し、この端末ＩＤに対応する端末名、すなわち宛先端末の候補の端末名を抽出する。ここでは、開始要求端末（通信端末１０ａａ）の端末ＩＤ「１０ａａ」に対応する宛先端末の候補（通信端末１０ａｂ、１０ａｃ、１０ｄｂ）のそれぞれの端末ＩＤ（「１０ａｂ」、「１０ａｃ」、「１０ｄｂ」）と、これらに対応する端末名（「日本東京事業所ＡＢ端末」、「日本東京事業所ＡＣ端末」、「アメリカワシントン事業所ＤＢ端末」）が抽出される。

＜ステップＳ２８、Ｓ２９＞
次に、管理システム５０の通信部５１は、端末抽出部５４によって抽出された宛先端末の候補の端末ＩＤおよび端末名を含む宛先リスト情報を、開始要求端末（通信端末１０ａａ）に送信する。これにより、開始要求端末（通信端末１０ａａ）では、通信部１１が宛先リスト情報を受信し、記憶・読出部１７が記憶部１８へ宛先リスト情報を記憶する。

このように、本実施形態では、各通信端末１０で宛先リスト情報を管理するのではなく、管理システム５０がすべての通信端末１０の宛先リスト情報を一元管理している。これによって、通信システム１に新たな通信端末１０が含まれるようになったり、既に含まれている通信端末１０が除外されたりする場合でも、管理システム５０側で一括して対応するため、各通信端末１０側で宛先リスト情報の変更を行う手間を省くことができる。

＜ステップＳ３０＞
また、管理システム５０の端末状態取得部５５は、端末抽出部５４によって抽出された宛先端末の候補の端末ＩＤ（「１０ａｂ」、「１０ａｃ」、「１０ｄｂ」）を検索キーとして、端末管理テーブルを検索する。そして、端末状態取得部５５は、宛先端末の候補の端末ＩＤ毎に、対応する稼動状態および通信状態を読み出すことにより、宛先端末の候補（通信端末１０ａｂ、１０ａｃ、１０ｄｂ）それぞれの稼動状態および通信状態を取得する。

＜ステップＳ３１＞
次に、通信部５１は、ステップＳ３０で使用された検索キーである端末ＩＤと、対応する宛先端末の候補の稼動状態および通信状態とを含む状態情報を、通信ネットワーク２を介して開始要求端末に送信する。具体的には、通信部５１は、例えば、検索キーとしての端末ＩＤ「１０ａｂ」と、宛先端末の候補（通信端末１０ａｂ）の稼動状態「オフライン」とを含む状態情報を、開始要求端末（通信端末１０ａａ）に送信する。なお、稼動状態が「オフライン」の場合には、状態情報には、通信状態は含まれない。また、通信部５１は、端末ＩＤ「１０ａｃ」と、宛先端末の候補（通信端末１０ａｃ）の稼動状態「オンライン」と、通信状態「Ｎｏｎｅ」とを含む状態情報等、宛先端末の候補すべてに対する状態情報それぞれを開始要求端末（通信端末１０ａａ）へ送信する。

＜ステップＳ３２＞
次に、開始要求端末（通信端末１０ａａ）の記憶・読出部１７は、順次、管理システム５０から受信した状態情報を記憶部１８に記憶する。したがって、開始要求端末（通信端末１０ａａ）は、宛先端末の候補の状態情報を受信することで、通話することができる宛先端末の候補の現時点のそれぞれの稼動状態および通信状態を取得することができる。

＜ステップＳ３３＞
次に、開始要求端末（通信端末１０ａａ）の表示制御部１４は、記憶部１８に記憶されている宛先リスト情報、および宛先端末の候補の状態情報に基づいて、宛先端末の候補の稼動状態および通信状態を反映させた宛先リストを作成する。そして、表示制御部１４は、図１に示すディスプレイ１２０ａａに、所定のタイミングで図１３に示すような宛先リストを表示する。

図１３に示すように、ディスプレイ１２０ａａに表示される宛先リストは、宛先端末の候補の端末ＩＤ１１００−２と、端末名１１００−３と、状態情報を反映させたアイコン１１００−４ａ、１１００−４ｂ等を含む。アイコンとしては、オフラインで通話できないことを示すオフラインアイコン１１００−４ａと、オンラインで通話可能であることを示す通話可能アイコン１１００−４ｂと、がある。なお、オンラインで通話中であることを示す通話中アイコン等があってもよい。

表示制御部１４は、宛先端末の候補の稼動状態が「オンライン」であり、通信状態が「Ｎｏｎｅ」である場合には、この宛先端末の候補に対し、通話可能アイコン１１００−４ｂを割り当てる。また、表示制御部１４は、宛先端末の候補の稼動状態が「オフライン」である場合には、この宛先端末の候補に対し、オフラインアイコン１１００−４ａを割り当てる。なお、表示制御部１４は、宛先端末の候補の稼動状態が「オンライン」であり、通信状態が「Ｎｏｎｅ」以外である場合には、この宛先端末の候補に対し、通話中アイコンを割り当てればよい。

なお、他の通信端末１０でも、ステップＳ２１と同様に、ユーザが図２に示す入力装置１０８を介して電源をオンにすると、当該通信端末１０の操作入力受付部１２が、電源オンを受け付けて、上述のステップＳ２２〜Ｓ３３の処理と同様の処理が行われる。

（通信端末が他の通信端末との通信の開始を要求する場合の処理）
図１４は、実施形態に係る通信システムにおける通話の開始を要求する処理の一例を示すシーケンス図である。図１４を参照しながら、通信端末１０が他の通信端末１０との通信の開始を要求する場合の処理を説明する。なお、図１４では、すべて管理情報用セッションｓｅｉによって、各種管理情報が送受信される処理が示されている。

図１４においては、図１２においてログインが許可された通信端末１０ａａが、開始要求情報を送信する例、すなわち、通信端末１０ａａが開始要求端末として動作する例について説明する。開始要求端末としての通信端末１０ａａは、図１２のステップＳ３１で受信した宛先端末の候補の状態情報に基づいて、宛先端末の候補のうち、稼動状態が「オンライン」であり、通信状態が「Ｎｏｎｅ」である通信端末１０のうち少なくとも１つの通信端末１０と通話を行うことができる。例えば、開始要求端末（通信端末１０ａａ）は、宛先端末の候補のうち、図１２のステップＳ３１によって受信した状態情報により、稼動状態が「オンライン」であり、通信状態が「Ｎｏｎｅ」である通信端末１０ｄｂと通話を行うことができる。そこで、以下では、開始要求端末（通信端末１０ａａ）のユーザが、宛先端末（通信端末１０ｄｂ）と通話を開始することを選択した場合について説明する。

なお、図１４に示す処理が開始される前の状態において、開始要求端末としての通信端末１０ａａのディスプレイ１２０ａａには、図１３に示す宛先リストが表示されているものとする。そして、開始要求端末のユーザは、宛先リストから所望の通話相手（宛先端末）を選択することができる。

＜ステップＳ４１＞
まず、開始要求端末のユーザは、通信端末１０ａａの入力装置１０８を操作して宛先端末（通信端末１０ｄｂ）を選択する。

＜ステップＳ４２＞
すると、通信端末１０ａａの通信部１１は、開始要求端末（通信端末１０ａａ）の端末ＩＤ「１０ａａ」、および宛先端末（通信端末１０ｄｂ）の端末ＩＤ「１０ｄｂ」を含む開始要求情報を、開始要求端末のＩＰアドレスと共に管理システム５０へ送信する。これにより、管理システム５０の通信部５１は、開始要求情報を受信すると共に、送信元である開始要求端末（通信端末１０ａａ）のＩＰアドレス「１．２．１．３」を把握することになる。

＜ステップＳ４３＞
そして、状態管理部５３は、開始要求情報に含まれる開始要求端末（通信端末１０ａａ）の端末ＩＤ「１０ａａ」および宛先端末（通信端末１０ｄｂ）の端末ＩＤ「１０ｄｂ」に基づき、端末管理ＤＢ５００２の端末管理テーブルにおいて、端末ＩＤ「１０ａａ」および端末ＩＤ「１０ｄｂ」がそれぞれ含まれるレコードの通信状態のフィールド部分を変更する。具体的には、状態管理部５３は、端末管理テーブルの端末ＩＤ「１０ａａ」が含まれるレコードの通信状態を「Ｃａｌｌｉｎｇ」に変更する。同様に、状態管理部５３は、端末管理テーブルの端末ＩＤ「１０ｄｂ」が含まれるレコードの通信状態を「Ｒｉｎｇｉｎｇ」に変更する。

＜ステップＳ４４＞
そして、管理システム５０のセッション制御部５６は、開始要求端末（通信端末１０ａａ）によって要求された宛先端末との間の通信を実行するためのセッション（コンテンツデータ用セッションｓｅｄ）を識別するためのセッションＩＤ「ｓｅ１」を生成する。セッション制御部５６は、セッションＩＤを生成すると、セッションＩＤ「ｓｅ１」をセッション管理テーブル（図１０参照）に記憶する。

＜ステップＳ４５＞
続いて、セッション制御部５６は、セッション管理テーブルにおいて、セッションＩＤ「ｓｅ１」が含まれるレコードの開始要求端末の端末ＩＤおよび宛先端末の端末ＩＤのフィールド部分に、それぞれ開始要求端末の端末ＩＤ「１０ａａ」、宛先端末の端末ＩＤ「１０ｄｂ」を記憶して管理する。

＜ステップＳ４６＞
次に、通信部５１は、通信ネットワーク２を介して、開始要求端末（通信端末１０ａａ）へ、セッション制御部５６により生成されたセッションＩＤを送信する。

＜ステップＳ４７＞
また、通信部５１は、開始要求端末の端末ＩＤ「１０ａａ」と、セッションＩＤ「ｓｅ１」とを含む開始要求情報と、管理システム５０のＩＰアドレスとを宛先端末へ送信する。これにより、宛先端末（通信端末１０ｄｂ）は、開始要求情報を受信すると共に、管理システム５０のＩＰアドレス「１．１．１．２」を把握することになる。

（宛先端末が開始要求端末との間で通信開始を許可する応答を受け付けた場合の処理）
図１５は、実施形態に係る通信システムにおける通話の開始の要求を許可する処理の一例を示すシーケンス図である。図１６は、開始要求受付画面の表示例を示す図である。図１５および図１６を参照しながら、開始要求情報を受信した宛先端末のユーザが、入力装置１０８を操作することにより、開始要求端末との間の通信の開始（セッションの確立）を許可する旨の応答が受け付けられた場合の処理について説明する。

＜ステップＳ５１＞
図１５に示す送受信処理の開始時には、宛先端末（通信端末１０ｄｂ）のディスプレイ２１４には、開始要求情報を受信したことを示す開始要求受付画面１２００−１（図１６参照）が表示されている。

図１６に示す開始要求受付画面１２００−１は、開始要求情報を受信した旨を示し、開始要求端末との間の通信の開始（セッションの確立）を許可するか否かを指定するためのユーザインターフェースである。ユーザは、開始要求受付画面１２００−１を閲覧することにより、開始要求を受信したことを確認することができる。開始要求受付画面１２００−１は、セッションの確立を許可するための「はい」ボタン１２００−２と、セッションの確立を許可しない選択をするための「いいえ」ボタン１２００−３と、を含む。

＜ステップＳ５２＞
宛先端末（通信端末１０ｄｂ）の入力装置１０８の操作によって「はい」ボタン１２００−２が押下された場合、操作入力受付部１２は、開始要求端末（通信端末１０ａａ）との間の通信の開始（セッション確立）を許可する旨の応答を受け付ける。

＜ステップＳ５３＞
次に、宛先端末の通信部１１は、宛先端末の端末ＩＤ「１０ｄｂ」、開始要求端末の端末ＩＤ「１０ａａ」、およびセッションＩＤ「ｓｅ１」が含まれる開始応答情報を、管理システム５０へ送信する。

＜ステップＳ５４＞
管理システム５０の通信部５１が開始応答情報を受信すると、状態管理部５３は、開始応答情報に含まれる開始要求端末の端末ＩＤ「１０ａａ」および宛先端末の端末ＩＤ「１０ｄｂ」に基づき、端末管理テーブルにおいて、端末ＩＤ「１０ａａ」および端末ＩＤ「１０ｄｂ」がそれぞれ含まれるレコードの通信状態のフィールド部分を変更する。具体的には、状態管理部５３は、端末管理テーブルの端末ＩＤ「１０ａａ」が含まれるレコードの通信状態を「Ａｃｃｅｐｔｅｄ」に変更する。同様に、状態管理部５３は、端末管理テーブルの端末ＩＤ「１０ｄｂ」が含まれるレコードの通信状態も「Ａｃｃｅｐｔｅｄ」に変更する。

＜ステップＳ５５＞
次に、通信部５１は、宛先端末（通信端末１０ｄｂ）の端末ＩＤ「１０ｄｂ」、およびセッションＩＤ「ｓｅ１」が含まれる開始応答情報を開始要求端末（通信端末１０ａａ）へ送信する。

＜ステップＳ５６＞
開始要求端末は、この開始応答情報を受信すると、通信部１１によってセッションＩＤ「ｓｅ１」を管理システム５０に送信することにより、セッションを確立させる。

＜ステップＳ５７＞
一方、宛先端末は、通信部１１によってセッションＩＤ「ｓｅ１」を管理システム５０に送信することにより、セッションを確立させる。

なお、上述の図１２における同じグループの通信端末１０を識別する端末ＩＤを抽出する動作、ならびに図１４および図１５に示す通信端末１０ａａと通信端末１０ｄｂとの間でセッションを確立させるための動作においては、端末ＩＤを利用した動作ではなく、各通信端末にログインしているユーザのユーザＩＤ（例えばメールアドレス等）を利用した動作であってもよい。

（アバター生成処理）
図１７は、実施形態に係る通信システムのアバター生成処理の流れの一例を示すフローチャートである。図１８および図１９は、アバターの表示動作を説明する図である。図１７〜図１９を参照しながら、管理システム５０においてビデオ会議に参加する参加者のアバターを生成する処理の流れについて説明する。

＜ステップＳ６１＞
管理システム５０の顔検出部６１は、通信部５１により受信されたビデオ会議に参加する各通信端末１０から受信した映像データから、写り込んでいる参加者の顔画像を検出して、顔の特徴を数値化した特徴値を顔検出情報として取得する。そして、顔検出部６１は、映像データにおいて検出した参加者の顔の画像の中心座標を算出する。そして、ステップＳ６２へ移行する。

＜ステップＳ６２＞
管理システム５０の比較部６２は、記憶部５８に記憶されている後述の顔・アバター・属性対応テーブル（後述する図２３参照）を参照し、顔検出部６１により取得された顔検出情報が、顔・アバター・属性対応テーブルに登録されている顔認識情報と一致するか否か比較する。そして、ステップＳ６３へ移行する。

＜ステップＳ６３＞
比較部６２による顔検出情報と顔認識情報との比較の結果、一致する場合（ステップＳ６３：Ｙｅｓ）、ステップＳ６５へ移行し、一致しない場合（ステップＳ６３：Ｎｏ）、ステップＳ６４へ移行する。

＜ステップＳ６４＞
比較部６２は、顔・アバター・属性対応テーブルにおいて、顔検出部６１により取得された顔検出情報と一致する顔認識情報が存在しない場合、当該顔検出情報を新しい顔認識情報として、顔・アバター・属性対応テーブルに登録する。この時点では、顔・アバター・属性対応テーブルにおいて、新たに登録された顔認識情報のレコードには、対応する（関連付けられた）アバター情報および属性情報は登録されていない状態となる。そして、ステップＳ６５へ移行する。

＜ステップＳ６５＞
管理システム５０の生成部６３は、顔・アバター・属性対応テーブルにおいて、顔検出部６１により検出された顔検出情報と一致する顔認識情報（ステップＳ６４で新たに顔認識情報として登録された場合は、当該顔認識情報）に関連付けられたアバター情報が登録されているか否か検索する。関連付けられたアバター情報が登録されている場合（ステップＳ６５：Ｙｅｓ）、ステップＳ６６へ移行し、登録されていない場合（ステップＳ６５：Ｎｏ）、ステップＳ６７へ移行する。

＜ステップＳ６６＞
生成部６３は、顔・アバター・属性対応テーブルから、比較部６２により顔検出情報と一致すると判断された顔認識情報に対応するアバター情報を取得し、当該アバター情報に基づいて、当該顔認識情報に対応する参加者を表すアバターを生成する。そして、管理システム５０の表示制御部６９は、生成部６３により生成されたアバター（参加者の情報の一例）について、当該アバターに対応する属性情報に基づいて表示制御を行う。

例えば、図１８（ａ）に示すように、拠点ａでは、通信端末１０ａを用いてビデオ会議に参加する参加者Ａ〜Ｄがいて、拠点ｂでは、通信端末１０ｂを用いてビデオ会議に参加する参加者Ｅ、Ｆがいるものとした場合、表示制御部６９は、通信端末１０ａ、１０ｂに対して、図１８（ｂ）に示すように、ビデオ会議に参加している各拠点の参加者全員（アバター）が同一の場所にいるような映像データを生成して送信するものとしてもよい。または、図１９（ａ）および図１９（ｂ）に示すように、表示制御部６９は、生成部６３により生成されたアバターについて、自拠点以外の拠点の参加者（アバター）のみを映すような映像データを生成して、通信端末１０ａ、１０ｂに対して送信するものとしてもよい。図１９（ｂ）に示す例では、表示制御部６９は、拠点ｂの通信端末１０ｂのディスプレイ２１４に映す映像データとして、自拠点（ここでは拠点ｂ）以外の拠点（ここでは拠点ａ）の参加者Ａ〜Ｄのみを映すような映像データを生成するものとしてもよい。

また、表示制御部６９は、参加者の属性情報が顔・アバター・属性対応テーブルに登録されている場合、当該属性情報を参照して、ビデオ会議の参加者のうち同じ会社に所属する参加者のアバターを同列となるように配置し、役職の順序に並べた表示となるように、映像データを生成して送信するものとしてもよい。また、表示制御部６９は、アバターを役職の順序に並べると共に、または、それに代えて、役職名をアバターの近傍に表示するものとしてもよい。この際、表示制御部６９は、さらにアバターの近傍に名前、所属等を表示させるものとしてもよい。このように役職の順序に並べたり、役職名等を表示させることによって、自拠点以外の拠点の参加者（アバター）について、少なくともどの参加者がどの参加者よりも目上のものであるのか等の各参加者の立場を把握することができ、円滑に会議を進めることができる。なお、ここで、顔・アバター・属性対応テーブルに、参加者に対応する属性情報が登録されていない場合、図２１で後述する属性情報取得処理が実行される。

＜ステップＳ６７＞
顔・アバター・属性対応テーブルにおいて、顔検出部６１により検出された顔検出情報と一致する顔認識情報（ステップＳ６４で新たに顔認識情報として登録された場合は、当該顔認識情報）に関連付けられたアバター情報が登録されていない場合、生成部６３は、新たにアバター情報を生成する。例えば、記憶部５８にデフォルトのアバター情報が記憶されているものとし、生成部６３は、新たなアバター情報として、デフォルトのアバター情報を用いるものとしてもよい。そして、生成部６３は、新たに生成したアバター情報に基づいて、顔認識情報に対応する参加者を表すアバターを生成する。そして、生成部６３は、顔・アバター・属性対応テーブルにおいて、生成した新たなアバター情報を、当該顔認識情報に関連付けて登録する。表示制御部６９によるアバターの表示制御は、上述のステップＳ６６で説明した動作と同様である。

以上のステップＳ６１〜Ｓ６７の流れにより、管理システム５０によるアバター生成処理が実行される。

（発話方向特定処理）
図２０は、実施形態に係る通信端末の音声方向特定処理の流れの一例を示すフローチャートである。図２０を参照しながら、通信端末１０における発話方向特定処理の流れについて説明すする。

＜ステップＳ７１＞
ビデオ会議の参加者は、他拠点の参加者とコミュニケーションを取るために発話する。そして、ステップＳ７２へ移行する。

＜ステップＳ７２＞
すると、発話した参加者が利用する通信端末１０のマイク１１４ａ（マイク２４１）は、マイクロホンアレイにより発話した音声を収音して音声信号に変換し、通信端末１０の音声入力部１５は、当該音声信号を入力（取得）する。そして、ステップＳ７３へ移行する。

＜ステップＳ７３＞
通信端末１０の発話方向特定部２０は、音声入力部１５により入力された音声信号に対して音声処理を行うことにより、音声の発話方向を特定する。そして、ステップＳ７４へ移行する。

＜ステップＳ７４＞
通信端末１０の通信部１１は、音声入力部１５により入力された音声データ（音声信号）、撮像部１３により撮影された映像データ、および発話方向特定部２０により特定された発話方向の情報を、管理システム５０へ送信する。そして、発話方向特定処理を終了する。

以上のステップＳ７１〜Ｓ７４の流れで、通信端末１０による発話方向特定処理が実行される。

（属性情報取得処理）
図２１は、実施形態に係る通信システムの属性情報取得処理の流れの一例を示すフローチャートである。図２２は、属性情報の取得動作を説明する図である。図２３は、顔・アバター・属性対応テーブルの一例を示す図である。図２１〜図２３を参照しながら、通信システム１による属性情報取得処理の流れについて説明する。なお、ビデオ会議が開始され、上述の図１７で説明したように、管理システム５０の表示制御部６９がアバターを表示する場合に用いる参加者の属性情報が、顔・アバター・属性対応テーブルに登録されていないため、属性情報要求部６４によって、属性情報が登録されていない参加者の拠点の通信端末１０へ、属性情報についての発話を要求するための指示を送信したものとする。この場合、通信端末１０の表示制御部１４は、通信部１１を介して当該指示を受信すると、例えば、ディスプレイ１２０（ディスプレイ２１４）に、属性情報の発話を促すメッセージを表示させる。なお、属性情報の発話を促すメッセージの表示のほか、例えば、通信端末１０の音声出力部１６は、属性情報の発話を促す音声を、スピーカ１１４ｂ（スピーカ２４２）から出力させてもよい。

＜ステップＳ８１＞
通信端末１０のディスプレイ１２０（ディスプレイ２１４）に表示された属性情報の発話を促すメッセージを確認したビデオ会議の参加者は、自身の名前、属する会社の社名、所属および役職等の属性情報を発話する。図２２に示す例では、拠点ｂの参加者Ｅ、Ｆに対して、属性情報の発話を促すようなメッセージが表示された場合、参加者Ｅは、自身の属性情報を含む「ＡＡＡ社、技術のＢＢＢです。」と発話し、参加者Ｆは、自身の属性情報を含む「ＸＸＸ社、部長のＹＹＹです。」と発話している状態を示す。図２２の例では、拠点ｂの参加者が発話している状態を示しているが、上述の管理システム５０のアバター生成処理の際に、拠点ａの参加者の属性情報が顔・アバター・属性対応テーブルに登録されていないことが確認された場合、管理システム５０から拠点ａの通信端末１０に対しても、属性情報についての発話を要求するための指示が送信される。通信端末１０の音声入力部１５は、マイク１１４ａ（マイク２４１）により収音された参加者が発話した音声の音声データを入力（取得）する。また、通信端末１０の発話方向特定部２０は、音声入力部１５により入力された音声データに基づいて、音声方向（発話方向）を特定する。そして、通信端末１０の通信部１１は、音声入力部１５により入力された音声データ、および発話方向特定部２０により特定された発話方向の情報を、管理システム５０へ送信する。管理システム５０の通信部５１は、通信端末１０から送信された音声データおよび発話方向の情報を受信する。そして、ステップＳ８２へ移行する。

＜ステップＳ８２＞
管理システム５０のテキスト化部６６は、通信部５１により受信された音声データを、既知の音声認識技術によりテキスト化する。そして、ステップＳ８３へ移行する。

＜ステップＳ８３＞
管理システム５０の抽出部６７は、テキスト化部６６によりテキスト化されたテキストと、予め属性情報を示す候補として記憶部５８に登録されている登録済みワードとを比較する。そして、ステップＳ８４へ移行する。

＜ステップＳ８４＞
抽出部６７によるテキストと登録済みワードとの比較の結果、一致するキーワードがある（ステップＳ８４：Ｙｅｓ）、ステップＳ８５へ移行し、一致するキーワードがない（ステップＳ８４：Ｎｏ）、ステップＳ８７へ移行する。

＜ステップＳ８５＞
抽出部６７は、テキスト化部６６によりテキスト化されたテキストと、登録済みワードとの比較の結果、当該テキストに登録済みワードと一致するキーワードがある場合、当該キーワードを抽出する。例えば、図２３に示す顔・アバター・属性対応テーブルのように属性情報として、社名、所属、役職、および名前のような属性がある場合、抽出部６７は、テキストから、各属性に対応するキーワードを抽出する。そして、ステップＳ８６へ移行する。

＜ステップＳ８６＞
管理システム５０の登録部６８は、抽出部６７により抽出されたキーワードを、テキスト化部６６によりテキスト化された音声データに対応する参加者の属性情報として、顔・アバター・属性対応テーブルにおいて、比較部６２により顔認識情報と一致すると判断された参加者の顔検出情報であって、発話方向に対応する参加者の顔検出情報に関連付けて登録する。例えば、図２３に示す顔・アバター・属性対応テーブルでは、顔認識情報が「ＸＸＸ」（Ｍ４）、および「ＹＹＹ」（ＥＬ２）である参加者の属性情報として、社名「ＡＡＡ」、所属「ＢＢＢ」、役職「ＣＣＣ」、および名前「ＤＤＤ」が登録されている。そして、属性情報取得処理を終了する。

＜ステップＳ８７＞
テキスト化部６６によりテキスト化されたテキストと、登録済みワードとの比較の結果、当該テキストに登録済みワードと一致するキーワードがないため、管理システム５０の属性情報要求部６４は、属性情報が登録されていない参加者に対して、属性情報の発話を要求するための指示を、通信部５１を介して通信端末１０へ送信する。そして、通信端末１０の表示制御部１４は、通信部１１を介して当該指示を受信すると、例えば、ディスプレイ１２０（ディスプレイ２１４）に、属性情報の発話を促すメッセージを表示させる。そして、ステップＳ８１へ戻る。

以上のステップＳ８１〜Ｓ８７の流れで、通信システム１による属性情報取得処理が実行される。

（アバター制御処理）
図２４は、実施形態に係る通信システムのアバター制御処理の流れの一例を示すフローチャートである。図２５は、属性情報に基づいてアバターの配置を変更する動作を説明する図である。図２６は、発話方向と発話者との対応を説明する説明する図である。図２７は、発話者・発話方向対応テーブルの一例を示す図である。図２４〜図２７を参照しながら、通信システム１によるアバター制御処理の流れについて説明する。

＜ステップＳ９１＞
図１７に示したアバター生成処理が実行されると、管理システム５０の生成部６３により生成されたアバターは、表示制御部６９により、当該アバターに対応する属性情報に基づいて表示制御が行われ、映像データが生成される。表示制御部６９による表示制御の詳細は、図１７のステップＳ６６で説明したとおりである。ここでは、自拠点の通信端末１０が、相手拠点の参加者について生成されたアバターについて表示制御された映像データを管理システム５０から受信し、当該映像データをディスプレイ１２０（ディスプレイ２１４）に表示させているものとする。

例えば、図２５（ａ）に示すように、拠点ａの参加者をＡ社の課長、拠点ｂの参加者をＢ社の部長およびＢ社の課長、拠点ｃの参加者をＡ社の担当者およびＢ社の担当者とした場合、拠点ａの通信端末１０におけるディスプレイ１２０（ディスプレイ２１４）には、例えば図２５（ｂ）に示すように映像データが表示される。すなわち、図２５（ｂ）に示す映像データは、表示制御部６９によって、各拠点（ここでは相手拠点となる拠点ｂ、ｃ）の参加者が同一の場所にいるようにし、同じ会社に所属する参加者（Ｂ社の部長、課長および担当者）を同列、かつ役職の順序に並べた状態となるように表示制御されたものである。

そして、ステップＳ９２へ移行する。

＜ステップＳ９２＞
相手拠点の参加者が発話すると、相手拠点の通信端末１０の通信部１１は、音声入力部１５により入力された音声データ、撮像部１３により撮影された映像データ、および発話方向特定部２０により特定された発話方向の情報を、管理システム５０へ送信する。管理システム５０の通信部５１は、相手拠点の音声データ、映像データおよび発話方向の情報を、相手拠点の通信端末１０から受信する。そして、ステップＳ９３へ移行する。

＜ステップＳ９３＞
管理システム５０の対応付け部６５は、通信部５１を介して受信した参加者の音声の発話方向と、顔検出部６１により検出された顔画像、すなわち参加者とを対応付ける。具体的には、対応付け部６５は、予め記憶部５８に記憶されている図２７に示すような座標（顔中心座標）と、発話方向とを対応付けた発話者・発話方向対応テーブルを参照し、通信部５１により受信された発話方向が、どの座標（顔中心座標）に対応するのかを特定する。ここで、例えば、図２６に示すように、相手拠点の参加者がＡ〜Ｄである場合、顔検出部６１により参加者Ａ〜Ｄの顔の画像の中心座標はそれぞれ算出されている。そして、対応付け部６５は、顔検出部６１により算出された相手拠点の参加者の顔画像の中心座標のうち、特定した座標と一致する（または一致するとみなせる）中心座標を特定し、当該中心座標を有する顔画像に対応する参加者のアバターを特定する。そして、ステップＳ９４へ移行する。

＜ステップＳ９４＞
管理システム５０の表示制御部６９は、対応付け部６５により特定された参加者のアバターが、通信部５１により受信された音声データに合わせて、音声を発話している動作となるように反映した映像データを生成する。具体的に反映動作は、上述したとおりである。そして、管理システム５０の通信部５１は、相手拠点の通信端末１０から受信した音声データ、および表示制御部６９により生成された映像データを、自拠点の通信端末１０へ送信する。自拠点の通信端末１０の表示制御部１４は、管理システム５０から通信部１１を介して音声データおよび映像データを受信すると、ディスプレイ１２０（ディスプレイ２１４）に当該映像データを表示させ、音声出力部１６は、当該音声データを音声として出力する。

以上のステップＳ９１〜Ｓ９４の流れで、通信システム１によるアバター制御処理が実行される。このように、相手拠点の参加者が発話すると、発話方向が特定され、当該発話方向からどの参加者が発話しているのかが特定されるので、当該参加者のアバターに対して、発話動作を反映することができる。これによって、相手拠点のアバターを含む映像データを見ている自拠点の参加者は、アバターを介してどの参加者が発話しているのかを認識することができるので、アバターを介したビデオ会議においても、スムーズなコミュニケーションを実現することができる。

（通信システムの全体動作）
図２８は、実施形態に係る通信システムの全体動作の流れの一例を示すシーケンス図である。図２９は、音声認識による属性情報の取得を促す画面の一例を示す図である。図２８および図２９を参照しながら、通信システム１の全体的な動作の流れについて総括的に説明する。なお、図２８においては、自拠点の通信端末を通信端末１０ａ（第２通信端末）とし、相手拠点の通信端末を通信端末１０ｂ（第１通信端末）として説明する。

＜ステップＳ１０１、Ｓ１０２＞
自拠点の参加者は、相手拠点の参加者とのビデオ会議を開始するために、通信端末１０ａの入力装置１０８を介して、開始するための操作（例えば、通信端末１０ｂを宛先端末として選択する操作）を行う。これによって、上述の図１４および図１５に示した動作が実行され、通信端末１０ａと通信端末１０ｂとの間でセッションが確立される。

＜ステップＳ１０３＞
セッションの確立後、通信端末１０ａの通信部１１が、音声入力部１５により入力された音声データ、および撮像部１３により撮影された映像データを、管理システム５０へ送信したものとする。

＜ステップＳ１０４＞
管理システム５０は、通信端末１０ａから音声データおよび映像データを受信すると、図１７に示したアバター生成処理を実行する。これによって、相手拠点の通信端末１０ｂのディスプレイ１２０（ディスプレイ２１４）には、自拠点の参加者をアバターとして示す映像データが表示される。

＜ステップＳ１０５＞
ステップＳ１０４のアバター生成処理において、自拠点の参加者のうち少なくともいずれかの参加者の属性情報が顔・アバター・属性対応テーブルに登録されていない場合、管理システム５０の属性情報要求部６４は、属性情報が登録されていない参加者に対して、属性情報の発話を要求するための指示を、通信部５１を介して通信端末１０ａへ送信する。

＜ステップＳ１０６＞
通信端末１０ａの表示制御部１４は、通信部１１を介して当該指示を受信すると、例えば、ディスプレイ１２０（ディスプレイ２１４）に、属性情報の発話を促すメッセージを表示させる。例えば、図２９では、通信端末１０ａのディスプレイ２１４に、属性情報を促すメッセージとして「自己紹介をしてください。会社・所属・役職・名前」のように表示された例を示している。

＜ステップＳ１０７＞
通信端末１０ａのディスプレイ１２０（ディスプレイ２１４）に表示された属性情報の発話を促すメッセージを確認したビデオ会議の参加者は、自身の名前、属する会社の社名、所属および役職等の属性情報を自己紹介として発話する。すると、発話した参加者が利用する通信端末１０ａのマイク１１４ａ（マイク２４１）は、マイクロホンアレイにより発話した音声を収音して音声信号に変換し、通信端末１０ａの音声入力部１５は、当該音声信号を入力（取得）する。

＜ステップＳ１０８、Ｓ１０９＞
通信端末１０ａの発話方向特定部２０は、音声入力部１５により入力された音声信号に対して音声処理を行うことにより、音声の発話方向を特定する。通信端末１０の通信部１１は、音声入力部１５により入力された音声データ（音声信号）、撮像部１３により撮影された映像データ、および発話方向特定部２０により特定された発話方向の情報を、管理システム５０へ送信する。なお、ステップＳ１０９で発話方向の情報が管理システム５０へ送信されることに限られず、ビデオ会議のコミュニケーションにおいて発話される度に、通信端末１０ａにおいて発話方向が特定され、当該発話方向の情報が相手拠点の通信端末１０ｂへ送信される。

＜ステップＳ１１０＞
管理システム５０により通信端末１０ａから音声データ、映像データおよび発話方向の情報が受信されると、図２１に示した属性情報取得処理が実行される。これによって、自拠点の参加者の属性情報が、顔・アバター・属性対応テーブルに登録される。

＜ステップＳ１１１、Ｓ１１２＞
そして、アバター生成処理の実行によりアバターが生成され、属性情報取得処理により自拠点の参加者の属性情報が登録されると、アバターと属性情報との対応関係が確立し、通信端末１０ａから管理システム５０へ音声データ、映像データおよび発話方向の情報が送信されると、図２４に示したアバター制御処理が実行され、音声を発話している動作が反映したアバターの映像データが、通信端末１０ｂへ送信される。

以上のステップＳ１０１〜Ｓ１１２の流れによって、通信システム１の全体的な動作が行われる。

以上のように、本実施形態に係る通信システム１では、ビデオ会議を開始時に参加者の属性情報が登録されていない場合、管理システム５０から、参加者が用いる通信端末１０に対して、属性情報の発話を要求するための指示を送信し、通信端末１０は、属性情報の発話を促す動作（例えばメッセージ表示または音声出力等）を行う。そして、管理システム５０は、通信端末１０において入力された音声データをテキスト化して、登録済みワードと一致するキーワードを抽出して、発話した参加者の属性情報として登録するものとしている。これによって、ビデオ会議の開始前に属性情報が登録されていなくても、属性情報を取得することができるので、当該属性情報に基づいて参加者の情報（例えばアバター、実画像）に対する表示制御を行うことができる。また、このように、属性情報に基づいて参加者の情報に対する表示制御を行うことによって、参加者の立場等を把握することができ、円滑に会議を進めることができる。なお、属性情報に基づいた参加者の情報に対する表示制御としては、参加者を示すものとしてアバターを表示させることが必ずしも必須ではなく、例えば、参加者の実画像（参加者の情報の一例）の近傍に、属性情報を表示させる等の制御を行うものとしてもよい。

また、本実施形態に係る通信システム１では、管理システム５０は、通信端末１０で撮影された映像データから参加者の顔を検出し、検出した顔検出情報と一致する、登録済みの顔認識情報に対応するアバター情報から、当該参加者を示すアバターを生成している。このように参加者を示すアバターの映像データを用いることによって、実画像の場合と比べてより少ないフレームレートで転送することができるのでデータ通信量を低減することができ、ディスプレイへのスペック要求を下げることができる。

また、本実施形態に係る通信システム１では、各拠点の通信端末１０において発話した参加者の発話方向を特定し、管理システム５０で検出した参加者の顔画像と、当該発話方向とを対応付けることで、発話をした参加者のアバターを特定する。そして、管理システム５０は、発話の音声データに合わせて、アバターが音声を発話している動作となるように反映した映像データを生成し、相手拠点の通信端末１０へ送信する。これによって、自拠点のアバターを含む映像データを見た相手拠点の参加者は、アバターを介してどの参加者が発話しているのかを認識することができるので、アバターを介したビデオ会議においても、スムーズなコミュニケーションを実現することができる。

なお、ビデオ会議中に、参加者がその拠点である会議室の中で席を移動する可能性もあり、この場合には参加者の発話方向も変わることになる。この場合、例えば、顔検出部６１による参加者の顔の検出、および検出した顔の画像の中心座標の算出の処理を、一定期間ごとに実行、または、映像データから参加者の移動を検出した場合に実行する等によって対応することができる。これによって、上述のアバター制御処理の中で、対応付け部６５は、発話者・発話方向対応テーブルを参照し、変化した発話方向が、どの座標（顔中心座標）に対応するのかを特定することができ、当該中心座標を有する顔画像に対応する参加者のアバターを特定することができる。

また、上述の実施形態に係る通信端末１０のソフトウェア構成は、上述の図５に示した構成に限定されるものではなく、例えば、図３０に示す構成であってもよい。図３０は、実施形態に係る通信端末のＷｅｂアプリを利用する場合のソフトウェア構成の一例を示す図である。上述の図５では、通信端末１０で通信アプリＡが実行される動作を説明したが、同様の処理をＷｅｂアプリによっても実現できる。Ｗｅｂアプリは、ブラウザ上で動作する、例えばＪａｖａＳｃｒｉｐｔ（登録商標）によるプログラムとＷｅｂサーバ側のプログラムとが協調することによって動作し、ユーザはそれをブラウザ上で使用する。すなわち、図３０に示すように、通信端末１０は管理システム５０から、プログラムＷＡ（ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）＋ＪａｖａＳｃｒｉｐｔ（登録商標）＋ＣＳＳ等）をダウンロードして、ブラウザ１０４０上で実行する。当該ブラウザ１０４０は、ＯＳ１０２０の制御に従って動作する。通信端末１０は、ＨＴＴＰ（ＨｙｐｅｒｔｅｘｔＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）またはＨＴＴＰＳ（ＨｙｐｅｒｔｅｘｔＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌＳｅｃｕｒｅ）等のプロトコルを用いて管理システム５０とデータを送受信することによって、管理システム５０が提供しているサービスを利用できる。このような利用形態では、予め通信端末１０に通信アプリＡをダウンロードしておく必要がない。

また、上述の実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたＡＳＩＣ、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＦＰＧＡ、ＳｏＣ（Ｓｙｓｔｅｍｏｎａｃｈｉｐ)、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）や従来の回路モジュール等のデバイスを含むものとする。

また、上述の実施形態において、通信端末１０および管理システム５０の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施形態に係る通信端末１０および管理システム５０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（ＣｏｍｐａｃｔＤｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤまたはＳＤカード等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態に係る通信端末１０および管理システム５０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態に係る通信端末１０および管理システム５０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態に係る通信端末１０および管理システム５０で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述の記憶装置からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。

１通信システム
２通信ネットワーク
２ａ〜２ｄＬＡＮ
２ａｂ、２ｃｄ専用線
２ｉインターネット
１０、１０ａ、１０ａａ、１０ａｂ、１０ｂ、１０ｂａ、１０ｂｂ、１０ｃａ、１０ｃｂ、１０ｄａ、１０ｄｂ通信端末
１１通信部
１２操作入力受付部
１３撮像部
１４表示制御部
１５音声入力部
１６音声出力部
１７記憶・読出部
１８記憶部
１９認証要求部
２０発話方向特定部
３０ａｂ、３０ｃｂＰＣ
５０管理システム
５１通信部
５２認証部
５３状態管理部
５４端末抽出部
５５端末状態取得部
５６セッション制御部
５７記憶・読出部
５８記憶部
６１顔検出部
６２比較部
６３生成部
６４属性情報要求部
６５対応付け部
６６テキスト化部
６７抽出部
６８登録部
６９表示制御部
７０ａ〜７０ｄ、７０ａｂ、７０ｃｄルータ
９０プログラム提供システム
１０１ＣＰＵ
１０２ＲＯＭ
１０３ＲＡＭ
１０５補助記憶装置
１０６メディア
１０７メディアドライブ
１０８入力装置
１１０バスライン
１１１ネットワークＩ／Ｆ
１１２カメラ
１１２ｃケーブル
１１３撮像素子Ｉ／Ｆ
１１４スマートスピーカ
１１４ａマイク
１１４ｂスピーカ
１１４ｃケーブル
１１５スピーカ
１１５ｃケーブル
１１６音声入出力Ｉ／Ｆ
１１７ＵＳＢＩ／Ｆ
１１９ディスプレイＩ／Ｆ
１２０ａａ、１２０ｂａ、１２０ｃａ、１２０ｄａディスプレイ
１２０ｃケーブル
２０１ＣＰＵ
２０２ＲＯＭ
２０３ＲＡＭ
２０４ＳＳＤ
２０５ネットワークＩ／Ｆ
２０６外部機器接続Ｉ／Ｆ
２１０バスライン
２１１キャプチャデバイス
２１２ＧＰＵ
２１３ディスプレイコントローラ
２１４ディスプレイ
２１５センサコントローラ
２１６接触センサ
２１７電子ペンコントローラ
２２２電源スイッチ
２２３選択スイッチ
２３０ＵＳＢメモリ
２４０スマートスピーカ
２４１マイク
２４２スピーカ
２６０カメラ
２７０ＰＣ
２９０電子ペン
３０１ＣＰＵ
３０２ＲＯＭ
３０３ＲＡＭ
３０５補助記憶装置
３０６記録メディア
３０７メディアドライブ
３０８ディスプレイ
３０９ネットワークＩ／Ｆ
３１０バスライン
３１１キーボード
３１２マウス
３１３ＤＶＤ
３１４ＤＶＤドライブ
３１５ＵＳＢＩ／Ｆ
１０１０作業領域
１０２０ＯＳ
１０４０ブラウザ
１１００−２端末ＩＤ
１１００−３端末名
１１００−４ａオフラインアイコン
１１００−４ｂ通話可能アイコン
１２００−１開始要求受付画面
１２００−２「はい」ボタン
１２００−３「いいえ」ボタン
５００１認証管理ＤＢ
５００２端末管理ＤＢ
５００３グループ管理ＤＢ
５００４セッション管理ＤＢ
Ａ通信アプリ
ＷＡプログラム

特開２０１０−０９３５８３号公報

Claims

複数の通信端末がネットワークを介して音声データを送受信することによりビデオ会議が可能な通信システムであって、
前記ビデオ会議の１以上の参加者を撮影した映像データを得る撮像部と、
前記撮像部により得られた前記映像データから前記参加者を検出する検出部と、
前記参加者が発話した音声データを入力する音声入力部と、
前記音声入力部により入力された前記音声データから、前記参加者の属性情報を抽出する抽出部と、
前記抽出部により抽出された前記属性情報に基づいて、前記検出部により検出された前記参加者の情報について、第１通信端末での表示制御を行う第１制御部と、
を有する通信システム。
前記第１通信端末と前記ネットワークを介して通信する第２通信端末を利用する参加者に対して前記属性情報の発話を要求する指示を、前記第２通信端末へ送信する要求部と、
前記要求部から受信した前記指示に従って、前記第２通信端末において、該第２通信端末を利用する参加者に対して前記属性情報の発話を促す処理を行う第２制御部と、
をさらに有する請求項１に記載の通信システム。
前記第２制御部は、前記第２通信端末を利用する参加者に対して、前記指示を示すメッセージを該第２通信端末の表示装置に表示させる請求項２に記載の通信システム。
前記第２制御部は、前記第２通信端末を利用する参加者に対して、前記指示を示す音声を該第２通信端末の出力装置から出力させる請求項２に記載の通信システム。
前記検出部により検出された参加者を表すアバターを生成する生成部を、さらに有し、
前記第１制御部は、前記検出部により検出された前記参加者の情報として、前記生成部により生成された該参加者に対応するアバターについて、前記第１通信端末での表示制御を行う請求項１〜４のいずれか一項に記載の通信システム。
前記第１制御部は、前記属性情報に基づいて、該属性情報に対応するアバターの配置を変える請求項５に記載の通信システム。
前記第１制御部は、前記第１通信端末で表示されているアバターのうち、手前に配置されたアバターであるほど該アバターに対応する参加者の前記音声データの音圧レベルを上げて、該第１通信端末の出力装置から出力させる請求項６に記載の通信システム。
前記第１制御部は、前記属性情報を、該属性情報に対応するアバターの近傍に表示させる請求項５に記載の通信システム。
前記音声入力部により入力された前記音声データに基づいて、該音声データの音声を発話した前記参加者の発話方向を特定する第１特定部と、
前記検出部により検出された前記参加者の前記映像データ上の位置に基づいて、前記検出部により検出された前記参加者のうち、前記発話方向に対応する参加者を特定する第２特定部と、
をさらに有し、
前記第１制御部は、前記第２特定部により特定された参加者のアバターについて、前記音声データに合わせて、該音声データの音声を発話していることを示すように表示制御を行う請求項５〜８のいずれか一項に記載の通信システム。
前記第１制御部は、前記検出部により検出された前記参加者の情報を、該参加者の拠点ごとに分けて、前記第１通信端末で表示させる請求項１〜９のいずれか一項に記載の通信システム。
前記第１制御部は、前記検出部により検出された前記参加者の情報を、同一の拠点にいるように前記第１通信端末で表示させる請求項１〜９のいずれか一項に記載の通信システム。
ビデオ会議を行う複数の通信端末の間で音声データの送受信を中継する情報処理装置であって、
前記ビデオ会議の１以上の参加者を撮影した映像データを得た撮像部により得られた該映像データから前記参加者を検出する検出部と、
前記参加者が発話した音声データを入力した音声入力部により入力された該音声データから、前記参加者の属性情報を抽出する抽出部と、
前記抽出部により抽出された前記属性情報に基づいて、前記検出部により検出された前記参加者の情報について、通信端末での表示制御を行う制御部と、
を有する情報処理装置。
複数の通信端末がネットワークを介して音声データを送受信することによりビデオ会議を実現する通信方法であって、
前記ビデオ会議の１以上の参加者を撮影した映像データを得る撮像ステップと、
前記映像データから前記参加者を検出する検出ステップと、
前記参加者が発話した音声データを入力する音声入力ステップと、
入力した前記音声データから、前記参加者の属性情報を抽出する抽出ステップと、
抽出した前記属性情報に基づいて、検出した前記参加者の情報について、通信端末での表示制御を行う制御ステップと、
を有する通信方法。
ビデオ会議を行う複数の通信端末の間で音声データの送受信を中継するコンピュータに、
前記ビデオ会議の１以上の参加者を撮影した映像データを得た撮像部により得られた該映像データから前記参加者を検出する検出ステップと、
前記参加者が発話した音声データを入力した音声入力部により入力された該音声データから、前記参加者の属性情報を抽出する抽出ステップと、
抽出した前記属性情報に基づいて、検出した前記参加者の情報について、通信端末での表示制御を行う制御ステップと、
を実行させるためのプログラム。