JP2010028715A - 会議画像生成方法、会議システム、サーバ装置及び会議装置等 - Google Patents

Abstract

【課題】たとえ初対面の相手であってもその名前等の参加者に関する情報を知ることができる会議画像生成方法、会議システム、サーバ装置及び会議装置等を提供する。
【解決手段】撮影画像に基づいて、撮影された参加者を画像上で特定するための識別情報を生成し、会議装置が備える入力手段を用いて入力された参加者情報を取得し、参加者情報が取得された参加者に対して所定動作をするよう指示する指示情報を当該参加者に対して提示し、所定動作を行った参加者を撮影画像上で特定し、所定動作を行ったとして特定された参加者の識別情報と参加者情報とを対応付けて記憶手段に記憶させ、識別情報が記憶された参加者の画像を当該識別情報に基づいて撮影画像上で特定し、特定された参加者の識別情報に対応する参加者情報が撮影画像上において参加者の画像に対応して位置する参加者情報付撮影画像を生成し、他の会議装置に送信する。
【選択図】図２

Description

本発明は、複数の会議装置を含んで構成され、会議装置により撮影された会議の参加者の撮影画像を通信手段を介して他の会議装置に送信し表示させる会議システム等の技術分野に関する。

従来より、遠隔地にいる会議参加者をそれぞれの拠点にあるカメラで撮影し、参加者達の映像を相手方の拠点にあるディスプレイ上に表示させて、互いの顔映像等を見ながら会議をするテレビ会議システムが知られている。このようなテレビ会議システムにおいて、会議の参加者は、ディスプレイ上に映像が表示されている相手の名前などでその相手を呼びかけることによって、自分が話そうとする相手を特定することが一般的に行われている。

なお、本願発明が属する技術分野において、撮影された画像から会議参加者の顔画像を抽出し、顔画像中の唇部分の動きを捕捉して前駆動作を検出することにより、発話を開始しようとする参加者を発話者として特定し、この発話者の画像を他の参加者の画像よりも大きく表示する技術が提案されている（特許文献１）。
特開２００４−１１８３１４号公報

しかしながら、従来においては、会議の相手が初対面である場合には、たとえその相手の顔は分かっていても、名前が分からなければ呼びかけることができない。こうしたことから、会議の効率が下がってしまう場合があった。また、参加者同士で自己紹介を行う際に、相手の名前やプロフィールなどをメモに取るなどの作業は非率的である。

そこで、本発明は、以上の点に鑑みてなされたものであり、たとえ初対面の相手であってもその名前等の参加者に関する情報を知ることができる会議画像生成方法、会議システム、サーバ装置及び会議装置等を提供すること等を課題とする。

上記課題を解決するために、請求項１に記載の発明は、複数の会議装置を含み、前記会議装置により撮影された会議の参加者の撮影画像を通信手段を介して他の前記会議装置に送信し表示させる会議システムにおいて、前記参加者本人を特定するための参加者情報を含む前記撮影画像である参加者情報付撮影画像を生成する会議画像生成方法であって、前記撮影画像に基づいて、撮影された前記参加者を画像上で特定するための識別情報を生成する識別情報生成工程と、前記会議装置が備える入力手段を用いて入力された前記参加者情報を取得する参加者情報取得工程と、前記参加者情報が取得された前記参加者に対して所定動作をするよう指示する指示情報を当該参加者に対して提示する指示情報提示工程と、前記所定動作を行った前記参加者を前記撮影画像上で特定する所定動作者特定工程と、前記所定動作を行ったとして特定された前記参加者の前記識別情報と前記参加者情報とを対応付けて記憶手段に記憶させる記憶工程と、前記記憶された識別情報に基づいて、前記参加者の画像を前記撮影画像上で特定する参加者特定工程と、前記参加者特定工程において特定された前記参加者の前記識別情報に対応する前記参加者情報が前記撮影画像上において前記参加者の画像に対応して位置する前記参加者情報付撮影画像を生成する画像生成工程と、前記生成された参加者情報付撮影画像を前記他の会議装置に送信する送信工程と、を備えることを特徴とする。

この発明によれば、画像解析の結果等に基づいて識別情報が生成され、入力手段から参加者情報が取得される。次いで、指示情報の提示に応じて参加者が所定動作を行うと、その動作を行った参加者が画像解析等によって特定され、この参加者の識別情報と参加者情報とが対応付けて記憶される。そして、会議が行われているときに、識別情報が記憶された参加者の画像が撮影画像上で特定され、この参加者の識別情報に対応する参加者情報が撮影画像上において当該参加者の画像に対応して位置するよう参加者情報付撮影画像が生成され、他の会議装置に送信される。

従って、相手側の会議装置の画面に、撮影画像上の参加者それぞれについてその撮影画像上の位置に対応した位置で参加者本人を特定する情報が表示されるので、相手側の参加者は、画面に表示された参加者がたとえ初対面であってもその名前等の参加者に関する情報を知ることができる。

請求項２に記載の発明は、請求項１に記載の会議画像生成方法において、前記撮影画像から前記参加者の画像を抽出する抽出工程と、前記識別情報生成工程において生成された前記識別情報と一致しまたは類似する前記識別情報が、前記参加者情報に対応付けて前記記憶手段に記憶されているか否かを判定する判定工程を更に備え、前記識別情報生成工程においては、抽出された前記参加者の画像に基づいて前記識別情報を生成し、前記判定工程において前記識別情報が記憶されていないと判定された前記参加者について、前記参加者情報取得工程、前記指示情報提示工程、前記所定動作者特定工程及び前記記憶工程を実行することを特徴とする。

この発明によれば、撮影画像から参加者の画像が抽出されて識別情報が生成され、この識別情報と一致しまたは類似する識別情報が記憶手段に記憶されていない参加者について、入力手段から参加者情報取得され、指示情報が提示され、所定動作を行った参加者が特定され、この参加者の識別情報と参加者情報とが対応付けて記憶される。

従って、記憶手段に識別情報がまだ記憶されていない参加者のみの参加者情報を入力すれば良いので、一度参加者情報を入力した参加者については、会議の度に参加者情報を入力する必要がない。

請求項３に記載の発明は、請求項１または請求項２に記載の会議画像生成方法において、前記指示情報提示工程においては、予め定められた語を前記参加者に言わせる前記指示情報を提示し、前記所定動作者特定工程においては、前記撮影画像に基づいて、前記参加者の口の動きを検出し、前記会議装置が備える音声入力手段を用いて入力された前記参加者の音声に基づいて、前記参加者が発した語が前記予め定められた語であるか否かを判定し、前記参加者が発した語が前記予め定められた語である場合に、口を動かした前記参加者を、前記所定動作を行った参加者として特定することを特徴とする。

この発明によれば、入力された音声が示す語が予め定められた語であり、且つ、口を動かした参加者がいた場合に、その参加者が所定動作を行ったものとされるので、所定動作を行った参加者を適確に特定することができる。

請求項４に記載の発明は、請求項３に記載の会議画像生成方法において、前記所定動作者特定工程においては、前記参加者が口を動かしたタイミングと、前記音声が入力されたタイミングと、の時間差が所定時間以下である場合に、口を動かした前記参加者が前記予め定められた語を発したと判定することを特徴とする。

この発明によれば、たとえ撮影画像上の参加者以外の誰かが予め定められた語を発したとしても、その音声が入力されたタイミングと参加者が口を動かしたタイミングとが合わなければ、参加者が所定動作を行ったとはされないので、所定動作を行った参加者を正確に特定することができる。

請求項５に記載の発明は、請求項１乃至４の何れか１項に記載の会議画像生成方法において、前記識別情報生成工程においては、前記撮影画像に基づいて、撮影された前記参加者の顔の特徴を示す前記識別情報を生成することを特徴とする。

この発明によれば、参加者の顔の特徴に基づいて撮影画像上における参加者の画像が特定されるので、参加者を容易に識別することができる。

請求項６に記載の発明は、請求項１乃至５の何れか１項に記載の会議画像生成方法において、前記入力手段は、前記参加者本人を特定する情報が印刷された印刷物及び当該情報が記録された記録媒体の少なくとも何れか一方から当該情報を前記参加者情報として読み取ることを特徴とする。

この発明によれば、例えば、名刺や社員証などの印刷物の画像をイメージスキャナーにより読み取らせたり、参加者本人を特定する情報が記録されたＩＣカード（Integrated Circuit）などの記録媒体からカードリーダーで情報を読み取らせることなどにより、参加者情報を簡単に入力することができる。

請求項７に記載の発明は、請求項１乃至６の何れか１項に記載の会議画像生成方法において、前記指示情報提示工程においては、前記会議装置が、前記所定動作の指示を音声として出力し、または、当該指示を示す情報を表示することを特徴とする。

請求項８に記載の発明は、複数の会議装置を含み、前記会議装置により撮影された会議の参加者の撮影画像を通信手段を介して他の前記会議装置に送信し表示させる会議システムであって、前記撮影画像に基づいて、撮影された前記参加者を画像上で特定するための識別情報を生成する識別情報生成手段と、前記参加者本人を特定するための参加者情報を入力するために用いられる入力手段と、前記参加者情報が入力された前記参加者に対して所定動作をするよう指示する指示情報を当該参加者に対して提示する指示情報提示手段と、前記所定動作を行った前記参加者を前記撮影画像上で特定する所定動作者特定手段と、前記所定動作を行ったとして特定された前記参加者の前記識別情報と前記参加者情報とを対応付けて記憶手段に記憶させる記憶制御手段と、前記記憶された識別情報に基づいて、前記参加者の画像を前記撮影画像上で特定する参加者特定手段と、前記参加者特定手段により特定された前記参加者の前記識別情報に対応する前記参加者情報が前記撮影画像上において前記参加者の画像に対応して位置する前記撮影画像である参加者情報付撮影画像を生成する画像生成手段と、前記生成された参加者情報付撮影画像を前記他の会議装置に送信する送信手段と、を備えることを特徴とする。

請求項９に記載の発明は、複数の会議装置を含み、前記会議装置により撮影された会議の参加者の撮影画像を通信手段を介して他の前記会議装置に送信し表示させる会議システムにおいて、前記会議装置が前記通信手段を介して接続可能なサーバ装置であって、前記会議装置から送信された前記撮影画像を受信する撮影画像受信手段と、前記受信された撮影画像に基づいて、撮影された前記参加者を画像上で特定するための識別情報を生成する識別情報生成手段と、前記会議装置が備える入力手段を用いて入力された、前記参加者本人を特定するための参加者情報を当該会議装置から受信する参加者情報受信手段と、前記受信された参加者情報が入力された前記参加者に対して所定動作をするよう指示する要求を前記会議装置に送信する動作指示要求送信手段と、前記所定動作を行った前記参加者を前記撮影画像上で特定する所定動作者特定手段と、前記所定動作を行ったとして特定された前記参加者の前記識別情報と前記参加者情報とを対応付けて記憶手段に記憶させる記憶制御手段と、前記記憶された識別情報に基づいて、前記参加者の画像を前記撮影画像上で特定する参加者特定手段と、前記参加者特定手段により特定された前記参加者の前記識別情報に対応する前記参加者情報が前記撮影画像上において前記参加者の画像に対応して位置する前記撮影画像である参加者情報付撮影画像を生成する画像生成手段と、前記生成された参加者情報付撮影画像を前記他の会議装置に送信する送信手段と、を備えることを特徴とする。

請求項１０に記載の発明は、複数の会議装置を含み、前記会議装置により撮影された会議の参加者の撮影画像を通信手段を介して他の前記会議装置に送信し表示させる会議システムにおいて、前記撮影画像を中継するサーバ装置と前記通信手段を介して接続可能な会議装置であって、前記参加者を撮影する撮影手段と、前記撮影手段による前記撮影画像に基づいて、撮影された前記参加者を画像上で特定するための識別情報を生成する識別情報生成手段と、前記参加者本人を特定するための参加者情報を入力するために用いられる入力手段と、前記参加者情報が入力された前記参加者に対して所定動作をするよう指示する指示情報を当該参加者に対して提示する指示情報提示手段と、前記所定動作を行った前記参加者を前記撮影手段による撮影画像上で特定する所定動作者特定手段と、前記所定動作を行ったとして特定された前記参加者の前記識別情報と前記参加者情報とを対応付けて前記サーバ装置に記憶させるよう、当該識別情報と当該参加者情報とを前記サーバ装置に送信する第１送信手段と、前記記憶された識別情報に基づいて、前記参加者の画像を前記撮影画像上で特定する参加者特定手段と、前記参加者特定手段により特定された前記参加者の前記識別情報に対応する前記参加者情報を前記撮影手段による前記撮影画像上において当該参加者の画像に対応して位置させた前記撮影画像である参加者情報付撮影画像を前記サーバ装置に生成させるよう、当該撮影画像と当該識別情報とを前記サーバ装置に送信する第２送信手段と、他の会議装置により撮影された前記撮影画像に基づいて生成された前記参加者情報付撮影画像を、前記サーバ装置から受信する撮影画像受信手段と、前記受信された参加者情報付撮影画像を表示する表示手段と、を備えることを特徴とする。

請求項１１に記載の発明は、コンピュータを、請求項９に記載のサーバ装置として機能させることを特徴とする。

請求項１２に記載の発明は、コンピュータを、請求項１０に記載の会議装置として機能させることを特徴とする。

本発明によれば、相手側の会議装置の画面に、撮像画像上の参加者それぞれについてその撮像画像上の位置に対応した位置で参加者本人を特定する情報が表示されるので、相手側の参加者は、画面に表示された参加者がたとえ初対面であってもその名前等の参加者に関する情報を知ることができる。

以下、本発明の最良の実施形態を図面に基づいて説明する。なお、以下に説明する実施の形態は、会議システムに本発明を適用した場合の実施形態である。

［１．会議システムの構成等］
始めに、本実施形態に係る会議システムＳの概要構成等について、図１及び図２を用いて説明する。

図１は、本実施形態に係る会議システムの概要構成の一例を示すブロック図である。また、図２は、会議の参加者が撮影された撮像画像にプロフィール情報を合成した画像の画面表示例である。図３（ａ）乃至（ｄ）は、それそれ、撮影されている参加者のうちの１人が特定の動作を行った際の撮像画像の例である。

図１に示すように、会議システムＳは、サーバ装置１と、会議装置の一例としての複数の会議端末装置２（２Ａ、２Ｂ、２Ｃ）と、を含んで構成されている。なお、特定の会議端末装置２を示す場合には、会議端末装置２Ａ、会議端末装置２Ｂまたは会議端末装置２Ｃというものとする。

サーバ装置１と各会議端末装置２とは、通信手段の一例としてのネットワークＮＷを介して、例えば、通信プロトコルにＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等を用いて相互にデータの送受信が可能である。なお、ネットワークＮＷは、例えば、インターネットで合っても良いし、専用のネットワークであっても良い。

各会議端末装置２は、互いに離れた場所に設置されている。例えば、会議端末装置２ＡはＡ社の事業所に設置され、会議端末装置２ＢはＢ社の事業所に設置され、会議端末装置２ＣはＣ社の事業所に設置されている。なお、各会議端末装置２は、同一の建物内に設置されても良い。

このような構成の会議システムＳにおいて、サーバ装置１は、会議端末装置２からの要求等に応じて、テレビ会議を設定する。そしてサーバ装置１は、会議端末装置２において撮影された会議の参加者の画像（以下、「撮像画像」（撮影画像の一例）とも称する。）と、入力された参加者の音声とを受信し、テレビ会議の相手方の会議端末装置２に送信する。つまり、サーバ装置１は、会議の参加者の撮像画像及び音声を中継するのである。

各会議端末装置２は、カメラによって参加者を撮影するとともに、参加者の音声をマイクロフォンから入力させて、参加者の撮像画像と音声とをリアルタイムにサーバ装置１に送信する。また、各会議端末装置２は、サーバ装置１から送信されたテレビ会議の相手方の撮像画像と音声とを受信し、この画像を画面に表示するとともに、この音声をスピーカにより出力する。

更にサーバ装置１は、参加者の画像を中継する際に、この画像と、画像上に表示されている各参加者のプロフィール情報とを合成する。そして合成された画像は、図２に示すように、会議端末装置２により画面に表示される。図２は、会議端末装置２Ｃにおいて撮影された参加者の画像１００を、会議端末装置２Ａまたは２Ｂの画面に表示させた例であり、この画面には、Ｃ社製造部に所属する３人の参加者とそれぞれのプロフィール情報が表示されている。

プロフィール情報とは、それぞれの参加者本人を特定するための情報であり、例えば、氏名、所属する会社や組織の名称、所属するセクションの名称、役職名、住所、電話番号、ＦＡＸ番号、電子メールアドレス等を含む情報である。このようなプロフィール情報が、例えば、画面に表示されている相手方の参加者の頭上に１０１Ａ、Ｂ及びＣとして表示されている。

このプロフィール情報は、例えば、参加者の名刺や社員証等（印刷物の一例）の画像をイメージスキャナーで読み取ったものであったり、参加者が所有するＩＣカード等の記録媒体に記録された参加者の社員情報であったり、あるいは、当該ＩＣカード等に記録されたアクセスナンバー等の情報に基づいてデータベースから検索された社員情報等である。また、参加者自身がキーボード等で入力した情報であっても良い。

本システムは、画像上のどの参加者に対応させてどのプロフィール情報を表示させるかを、画像解析によって判断する。具体的に会議端末装置２が、会議が開始される前などに、会議端末装置２によって撮影された画像から参加者の顔認識を行う。そして、サーバ装置１が、認識された参加者の顔の特徴を示す情報を識別情報として、その参加者のプロフィール情報と関連付けて登録する。なお、以下の説明においては、この識別情報を、「顔マスク」とも称する。

この関連付けを行うために、会議端末装置２は、プロフィール情報に含まれる氏名等で関連付けさせたい参加者を指定して特定の動作（所定動作の一例）を行わせるための指示を、画面表示や音声出力によって行う。そして、会議端末装置２は、当該指示に応じて所定の動作を行った参加者を、撮影された画像の解析を行うことにより特定する。

図３は（ａ）乃至（ｄ）は、それぞれ画像上の３人の参加者Ａ、Ｂ及びＣのうち、真ん中にいる参加者Ｂが、特定の動作を行った際の画像２００の例である。ここで、図３（ａ）は、参加者Ｂが挙手した例であり、図３（ｂ）は、参加者Ｂが起立した例である。また、図３（ｃ）は、参加者Ｂが首を縦に振った例であり、図３（ｄ）は、参加者Ｂが「はい」（予め定められた語の一例）と返事をした例である。なお、特定の動作の例はこれらに限られるものではない。

以上説明した方法により、識別情報とプロフィール情報の関連付けが行われる。なお、この関連付けは、参加者毎にそれぞれ一度ずつ行えば良く、一旦関連付けが行われた後は、会議毎に関連付けをする必要はない。

［２．サーバ装置の構成等］
次に、サーバ装置１の構成等について、図４を用いて説明する。

図４は、本実施形態に係るサーバ装置１の概要構成の一例を示すブロック図である。

図４に示すように、サーバ装置１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える制御部１１と、各種データ及びプログラムを記憶する記憶手段の一例としての記憶部１２（例えば、ハードディスクドライブ等）と、ネットワークＮＷに接続して、会議端末装置２等との通信状態を制御する通信部１３と、制御部１１と表示部１５及び操作部１６との間におけるデータの入出力制御を行う入出力部１４と、文字や画像等の情報を表示する表示部１５（例えば、液晶ディスプレイ等）と、オペレータ等からの操作指示を受け付け、その指示内容を指示信号として入出力部１４に出力する操作部１６（例えば、キーボード、マウス等）と、を含んで構成されており、制御部１１と各部とはシステムバス１７を介して接続されている。

記憶部１２には、プロフィールデータベースが構築されている。このプロフィールデータベースには、表１に示すように、テレビ会議に参加したことがある（プロフィール情報を入力した）ユーザ毎に、その識別番号と、識別情報と、プロフィール情報とが関連付けて登録されている。

識別番号は、本システム側で割り当てた番号である。

また、識別情報としては、ユーザの顔マスクが登録される。この顔マスクは、ユーザの顔の特徴を示す情報である。具体的に顔マスクには、例えば、ユーザの顔の輪郭形状を示すデータ、ユーザの眉、目、鼻、唇等が顔のどの部分に位置するかを示す座標データ、及びそれらの形状を示すデータ等が含まれている。

また、プロフィール情報としては、例えば、名刺や社員証などの画像データ、ＩＣカードに記録された社員情報へのアクセスナンバー等が登録される。

制御部１１は、本実施形態において、撮像画像受信手段、参加者情報受信手段、動作指示要求送信手段、記憶制御手段、参加者特定手段、画像生成手段及び送信手段等の一例を構成する。そして、制御部１１は、ＣＰＵが、ＲＯＭや記憶部１２に記憶された各種プログラムを読み出し実行することによりサーバ装置１の各部を統括制御するとともに、撮像画像受信手段、参加者情報受信手段、動作指示要求送信手段、記憶制御手段、参加者特定手段、画像生成手段及び送信手段等として機能する。

なお、各種プログラム等は、例えば、ネットワークＮＷを介して他のサーバ装置等から取得されるようにしても良いし、ＣＤ（Compact Disc）−ＲＯＭ等の記録媒体に記録されてドライブ装置等から読み込まれるようにしても良い。

［３．会議端末装置の構成等］
次に、会議端末装置２の構成等について、図５を用いて説明する。

図５は、本実施形態に係る会議端末装置２の概要構成の一例を示すブロック図である。

図５に示すように、会議端末装置２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える制御部２１と、各種データ及びプログラムを記憶する記憶部２２（例えば、ハードディスクドライブ等）と、ネットワークＮＷに接続して、サーバ装置１等との通信状態を制御する通信部２３と、制御部２１と表示部２５、カメラ２６、マイクロフォン２７、スピーカ２８、操作部２９及びプロフィール情報入力部３０との間におけるデータの入出力制御を行う入出力部２４と、会議の相手側の撮像画像を動画として表示する表示手段の一例としての表示部２５（例えば、液晶ディスプレイ、プロジェクター等）と、会議の参加者等を動画撮影する撮影手段の一例としてのカメラ２６と、会議の参加者等の発話音声を入力し、音声信号として入出力部２４に出力する音声入力手段の一例としてのマイクロフォン２７と、会議の相手側の参加者の発話音声などの音声を出力するスピーカ２８と、会議の参加者等からの操作指示を受け付け、その指示内容を指示信号として入出力部２４に出力する操作部２９（例えば、キーボード、マウス、リモートポインティングデバイス等）と、プロフィール情報を入力するための入力手段の一例としてのプロフィール情報入力部３０と、を含んで構成されており、制御部２１と各部とはシステムバス３１を介して接続されている。

プロフィール情報入力部３０は、例えば、イメージスキャナー、接触型や非接触型などのＩＣカードリーダー等により構成されている。

制御部２１は、本実施形態において、識別情報生成手段、指示情報提示手段、所定動作者特定手段、第１送信手段、第２送信手段、撮影画像受信手段等の一例を構成する。そして、制御部２１は、ＣＰＵが、ＲＯＭや記憶部２２に記憶された各種プログラムを読み出し実行することにより会議端末装置２の各部を統括制御するとともに、識別情報生成手段、指示情報提示手段、所定動作者特定手段、第１送信手段、第２送信手段、撮影画像受信手段等として機能する。

なお、各種プログラム等は、例えば、ネットワークＮＷを介してサーバ装置１等から取得されるようにしても良いし、ＣＤ−ＲＯＭ等の記録媒体に記録されてドライブ装置等から読み込まれるようにしても良い。

［４．会議システムの動作］
［４．１ 参加者登録処理］
次に、会議システムＳの動作について説明するが、先ず、参加者の識別情報とプロフィール情報を関連付けて登録する参加者登録処理について、図６を用いて説明する。

図６は、本実施形態に係る会議システムＳの参加者登録処理における処理例を示すフローチャートである。なお、以下に説明する参加者登録処理は、イメージスキャナーを用いてプロフィール情報を読み取る場合の処理例である。

本処理は、例えば、テレビ会議の開始前やテレビ会議を始める際などに実行される処理である。先ず、会議の参加者が、会議端末装置２の操作部２９を操作することによって、会議端末装置２の制御部２１からサーバ装置１に対して会議システムＳへのログインが要求される。ログイン処理により、サーバ装置１の制御部１１がテレビ会議に用いられる端末として会議端末装置２を認識すると、図６に示すように、会議端末装置２の制御部２１は、カメラ２６を制御して参加者の撮影を開始させる（ステップＳ１）。

次いで、制御部２１は、カメラ２６から供給された撮像画像から、当該撮像画像に映されている参加者全員の顔認識を行い、その認識結果に基づいて、その参加者全員についての識別情報（顔マスク）をそれぞれ生成する（ステップＳ２）。

顔認識を行って識別情報を生成する方法としては、例えば、特開平１１−１７５７１８号公報や文献（小鶴俊幸、他2名、“監視カメラ向け実時間顔検出・認識システムの開発”、OMRON TECHNICS、2003年、第43巻、第1号、p.32-36）などに記載の技術を用いることができる。例えば、予め用意された顔の形状を示すテンプレートを撮像画像上で移動させながら、前記テンプレートと、前記テンプレートが位置する画像領域との相関値を求める。そして、最も高い相関値をもつ画像領域を顔領域とする。次いで、検出された顔領域から、目、鼻、口等の位置を検出し、これらの位置から、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴ベクトルとする。そして、特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開（Karhunen-lovee expansion ）による正規直交ベクトルを求めることにより部分空間を計算し、この部分空間を識別情報とする。

次いで、制御部２１は、生成した識別情報をサーバ装置１に送信する（ステップＳ３）。

識別情報を受信したサーバ装置１の制御部１１は（ステップＳ２１）、各識別情報がそれぞれプロフィールデータベースに既に登録されているか否かを検索する（ステップＳ２２）。具体的に制御部１１は、受信した識別情報とプロフィールデータベースに登録されている各識別情報とを比較して両者の間における類似度を算出する。この類似度は、例えば、識別情報としての顔マスクが示す顔の輪郭の形状の一致度、眉、目、鼻、唇の位置の差、及びそれらの形状の一致度等に基づいて算出される。そして、制御部１１は、プロフィールデータベースに登録されている識別情報のうち、類似度が所定値以上であり、且つ、最大の類似度となる識別情報が対応する参加者と、受信した識別情報が対応する参加者とが同一であると認定し、この受信した識別情報はプロフィールデータベースに登録されていると判定する。一方、制御部１１は、プロフィールデータベースに登録されている識別情報のうち類似度が所定値以上となる識別情報が存在しない場合には、受信した識別情報は新規の識別情報であると判定する。

次いで、制御部１１は、受信した識別情報のうち、新規の識別情報が存在するか否かを判定する（ステップＳ２３）。このとき、制御部１１は、新規の識別情報が存在する場合には（ステップＳ２３：ＹＥＳ）、関連付けリクエストを会議端末装置２に送信する。

会議端末装置２の制御部２１は、識別情報を送信してから所定時間の間に、サーバ装置１から関連付けリクエストを受信したか否かを判定し（ステップＳ４）、関連付けリクエストを受信した場合には（ステップＳ４：ＹＥＳ）、プロフィール情報入力部３０が有するイメージスキャナーを制御して、名刺等の画像を読み取らせ、この画像データをプロフィール情報として取得する（ステップＳ５）。このとき、制御部２１は、名刺等をイメージスキャナーで読み取らせるよう指示する旨のメッセージを、表示部２５に表示させたりスピーカ２８により出力させたりする。なお、識別情報及びプロフィール情報を新規に登録する参加者（本システムにおけるテレビ会議に初めて参加するユーザ）のみの名刺等を読み取れば良い。ここで、プロフィール情報が登録されていない参加者の画像を強調表示などさせた撮像画像を表示部２５に表示させるなどして、プロフィール情報を入力すべき参加者を明確に示すことが望ましい。

次いで、制御部２１は、後述する関連付け処理を実行する（ステップＳ６）。この関連付け処理では、入力されたプロフィール情報と生成された識別情報との関連付けが行われる。

次いで、制御部２１は、プロフィール情報として入力さえた名刺等全てについて関連付け処理を実行したか否かを判定する（ステップＳ７）。このとき、制御部２１は、一つ以上の名刺等について関連付け処理が未だ実行されていない場合には（ステップＳ７：ＮＯ）、ステップＳ６に以降して、残りの名刺等についての関連付け処理を実行する。

そして、制御部２１は、名刺等全てについて関連付け処理を実行すると（ステップＳ７：ＹＥＳ）、カメラ２６による撮影を終了させる（ステップＳ８）。

一方、サーバ装置１の制御部１１は、関連付けリクエストを送信した後、識別情報と関連付けされたプロフィール情報を受信したか否かを判定して（ステップＳ２５）、プロフィール情報が受信されない間は（ステップＳ２５：ＮＯ）、その受信待ちを行う（ステップＳ２５）。

そして、制御部１１は、会議端末装置２における関連付け処理によって識別情報と関連付けされたプロフィール情報を受信すると（ステップＳ２５：ＹＥＳ）、このプロフィール情報と識別情報とを関連付けてプロフィールデータベースに登録する。

次いで、制御部１１は、新規の識別情報全てについて登録を行ったか否かを判定する（ステップＳ２７）。このとき、制御部１１は、新規の識別情報のうち少なくとも一つの識別情報について登録を行っていない場合には（ステップＳ２７：ＮＯ）、ステップＳ２５に移行して、残りの識別情報についての登録を行う。

一方、制御部１１は、新規の識別情報全てについて登録を行った場合には（ステップＳ２７：ＹＥＳ）、参加者登録処理を終了させる。

また、制御部１１は、受信した識別情報のうち、新規の識別情報が存在しない場合には（ステップＳ２３：ＮＯ）、プロフィール情報と識別情報との登録を行うことなく、そのまま参加者登録処理を終了させる。このとき、会議端末装置２の制御部２１は、サーバ装置１から関連付けリクエストを受信しないので（ステップＳ４：ＮＯ）、関連付け処理を行うことなく、そのまま処理を終了させる。

なお、上記説明においては、会議端末装置２側で識別情報を生成していたが、サーバ装置１側で生成しても良い。具体的には、例えば、撮像画像を会議端末装置２からサーバ装置１に送信し、この撮像画像に基づいてサーバ装置が識別情報を生成すれば良い。

［４．２ 関連付け処理］
次に、図６のステップＳ６において示した関連付け処理について、説明する。なお、特定の動作として参加者に返事をさせない場合（図３（ａ）乃至（ｃ）を参照）と、参加者に返事をさせる場合（図３（ｄ）を参照）との間で処理が一部異なるので、分節して説明する。

［４．２．１ 参加者に返事をさせない場合］
始めに、参加者に返事をさせない場合における関連付け処理について、図７を用いて説明する。

図７は、本実施形態に係る会議端末装置２の制御部２１の関連付け処理における第１の処理例を示すフローチャートである。

図７に示すように、会議端末装置２の制御部２１は、関連付け処理を開始すると、入力されたプロフィール情報としての名刺画像データ等から、文字認識により、参加者の氏名等のプロフィールを抽出する（ステップＳ４１）。

次いで、制御部２１は、抽出したプロフィールの人物に対して、特定の動作をするよう指示する（ステップＳ４２）。具体的に、制御部２１は、特定の動作をするよう指示する旨のメッセージを表示部２５に表示させたり、その音声をスピーカ２８により出力させたりする。このメッセージの内容としては、例えば、「Ｃ社製造部部長の××さん。手を上げてください。」（図７（ａ）の場合）、「Ｃ社製造部部長の××さん。うなずいてください」（図７（ｂ）の場合）、「Ｃ社製造部部長の××さん。起立してください」（図７（ｃ）の場合）等である。

次いで、制御部２１は、撮像画像上で１人だけ特定の動作をしたか否かを画像解析によって判定する（ステップＳ４３）。具体的に制御部２１は、例えば、フレーム間差分法を用いて、撮像画像上の参加者のうち何らかの動作をした参加者を特定する。そして、制御部２１は、参加者に挙手するよう指示した場合には（図７（ａ）の場合）、例えば、認識した顔画像の左右の何れかの部分の画像が変化したか否かを判定することによって、挙手したか否かを判断する。また、制御部２１は、参加者に起立するよう指示した場合には（図７（ｂ）の場合）、例えば、参加者の顔の座標が上方に移動したか否かを判定することによって、起立したか否かを判断する。また、制御部２１は、参加者に首を縦に振るよう指示した場合には（図７（ｃ）の場合）、例えば、参加者が首を下げることによってその参加者の顔を認識することができなくなったか否かを判定するによって、首を縦に振る振ったか否かを判断する。

このようにして、制御部２１は、１人だけ特定の動作をした場合には（ステップＳ４３：ＹＥＳ）、その動作をした参加者の識別情報とプロフィール情報とを関連付けて（ステップＳ４４）、これらをサーバ装置に送信する（ステップＳ４５）。制御部２１は、この処理を終えると、関連付け処理を終了させる。

一方、制御部２１は、誰も特定の動作をしなかった場合、または、２人以上の参加者が特定の動作をした場合には（ステップＳ４３：ＮＯ）、関連付けを行うことなく、そのまま関連付け処理を終了させる。

［４．２．２ 参加者に返事をさせる場合］
次に、参加者に返事をさせる場合における関連付け処理について、図８を用いて説明する。

図８は、本実施形態に係る会議端末装置２の制御部２１の関連付け処理における第２の処理例を示すフローチャートであり、同図において、図７と同様の要素については同様の符号を付してある。

図８に示すように、会議端末装置２の制御部２１は、名刺画像データ等から参加者のプロフィールを抽出すると（ステップＳ４１）、抽出したプロフィールの人物を音声で呼び出す（ステップＳ５１）。具体的に、制御部２１は、例えば、「Ｃ社製造部部長の××さん。“はい”と返事をしてください。」というメッセージ音声をスピーカ２８により出力させる。

次いで、制御部２１は、撮像画像上で１人だけ口の形状が変化したか否かを画像解析によって判定する（ステップＳ５２）。

口の形状の変化を検出する方法としては、例えば、特開平９−１７１５５９号公報や文献（大槻恭士、他2名、“オプティカルフローとＨＭＭを用いた駅名発話画像認識の検討”、情報処理学会東北支部、2001年度第5回研究会、資料番号01-5-13）などに記載の技術を用いることができる。例えば、顔認識によって検出された顔領域の縦方向における中心線を計算する。次いで、中心線上で所定の範囲に等間隔で初期位置を決定し、それぞれの前記初期位置の周辺画素をテンプレートとして切り出す。その後、各フレームについて顔領域及び中心線を求め、前記テンプレートとのマッチングを行う。次いで、各フレームについて前記テンプレートと適合した位置と前記初期位置との距離の差を求める。そして、前記距離の差の合計値が所定値以上となった場合は、口の形状が上下に変化したと認定する。

このとき、制御部２１は、撮像画像上で１人だけ口の形状が変化した場合には（ステップＳ５２：ＹＥＳ）、次いで、指定した音声を検出したか否かを判定する（ステップＳ５３）。具体的に、制御部２１は、音声入力手段の一例としてのマイクロフォン２７から入力された音声に対応する音声データを取得し、この音声データに「はい」の音声に相当する成分が含まれているか否かを判定する。このとき、制御部２１は、音声データから参加者達の発話音声の特徴ベクトルを抽出し、「はい」の音声の特徴をモデル化した音響モデルと抽出した特徴ベクトルとの間における類似度を算出し、この類似度が所定値以上であるか否かを判定することによって、「はい」の音声に相当する成分が含まれているか否かを判定する。

そして、制御部２１は、指定した音声を検出した場合には（ステップＳ５３：ＹＥＳ）、参加者の口の形状が変化し始めたタイミングから、指定した音声の最初の音素が入力されたタイミングまでに経過した時間を算出する（ステップＳ５４）。

次いで、制御部２１は、算出した経過時間が所定値以下であるか否かを判定する（ステップＳ５５）。このとき、制御部２１は、算出した経過時間が所定値以下である場合には（ステップＳ５５：ＹＥＳ）、口の形状が変化した参加者が、指定した語を発した参加者であると判断し、その参加者の識別情報とプロフィール情報とを関連付けて（ステップＳ４４）、これらをサーバ装置に送信する（ステップＳ４５）。制御部２１は、この処理を終えると、関連付け処理を終了させる。

一方、制御部２１は、誰も口の形状が変化しなかった場合、２人以上の参加者の口の形状が変化した場合（ステップＳ５２：ＮＯ）、指定した音声を検出しなかった場合（ステップＳ５３：ＮＯ）、または、算出した経過時間が所定値を超えている場合には（ステップＳ５５：ＮＯ）、関連付けを行うことなく、そのまま関連付け処理を終了させる。

なお、上記説明においては、参加者が特定の動作をしたか否かを会議端末装置２側で判断するとともに、識別情報とプロフィール情報との関連付けも会議端末装置２側で行っていたが、これらのうち何れか一方、または、双方をサーバ装置１側で行っても良い。例えば、会議端末装置２が、特定の動作をするよう参加者に指示した後、カメラ２６からの撮像画像をサーバ装置１に送信し、この撮像画像に基づいてサーバ装置が、参加者が特定の動作をしたか否かを判定して関連付けを行い、識別情報とプロフィール情報とをプロフィールデータベースに登録すれば良い。

［４．３ 会議中の処理］
次に、参加者の識別情報とプロフィール情報を関連付けて登録する参加者登録処理について、図９を用いて説明する。

図９は、本実施形態に係る会議システムＳの会議中における処理例を示すフローチャートである。

本処理は、例えば、上述した参加者登録処理等の後、テレビ会議の開始と同時に開始され、当該テレビ会議の終了と同時に終了される処理である。

なお、以下の説明においては、Ａ社とＣ社との間でテレビ会議を行うものとする。また、各会議端末装置２において撮影された画像は、それぞれ相手方の会議端末装置２に送信されるが、以下では、会議端末装置２Ｃにおいて撮影された画像を会議端末装置２Ａに送信する場合のみについて説明し、会議端末装置２Ａにおいて撮影された画像を会議端末装置２Ｃに送信する場合については、説明を省略する。

図９に示すように、会議端末装置２Ｃの制御部２１は、カメラ２６を制御してＡ社側の参加者を撮影する（ステップＳ１０１）。

次いで、会議端末装置２Ｃの制御部２１は、カメラ２６から供給された撮像画像から、当該撮像画像に映されている参加者全員の顔認識を行い、その参加者全員についての識別情報をそれぞれ生成する（ステップＳ１０２）。

次いで、会議端末装置２Ｃの制御部２１は、撮像画像、生成した識別情報及び認識した参加者の顔の撮像画像上における座標をサーバ装置１に送信する（ステップＳ１０３）。このとき、識別情報と参加者の顔の座標とは、参加者毎に関連付けされて送信される。

次いで、会議端末装置２Ｃの制御部２１は、カメラ２６による撮影を停止させるか否かを判定する（ステップＳ１０４）。具体的に、会議端末装置２Ｃの制御部２１は、参加者が会議端末装置２Ｃの操作部２９を操作してテレビ会議の終了を指示した場合や、会議端末装置２Ａから会議を終了する旨のリクエストを受信した場合などには、撮影を停止させると判定する。

このとき、会議端末装置２Ｃの制御部２１は、撮影を停止させない場合には（ステップＳ１０４：ＮＯ）、ステップＳ１０１に移行する。つまり、会議端末装置２Ｃの制御部２１は、テレビ会議が継続している間、ステップＳ１０１乃至Ｓ１０４の処理を繰り返すのである。

そして、会議端末装置２Ｃの制御部２１は、撮影を停止させる場合には（ステップＳ１０４：ＹＥＳ）、カメラ２６を停止させて、処理を終了させる。

サーバ装置１の制御部１１は、会議端末装置２Ｃから撮像画像、識別情報及び参加者の顔の座標を受信すると（ステップＳ１２１）、番号Ｎとして１を設定する（ステップＳ１２２）。

次いで、制御部１１は、受信した識別情報のうちＮ番目の識別情報でプロフィール情報を検索する（ステップＳ１２３）。このときの検索方法は、図６のステップＳ２２において説明した方法と基本的に同様である。

次いで、制御部１１は、プロフィール情報が検索されたか否かを判定する（ステップ１２４）。このとき、制御部１１は、プロフィール情報が検索された場合には（ステップＳ１２４：ＹＥＳ）、このプロフィール情報が、Ｎ番目の参加者の顔の座標が示す撮像画像上の位置よりも上方に表示されるよう、撮像画像にプロフィール情報を重ね合わせることによって画像を合成する（ステップＳ１２５）。制御部１１は、この処理を終えると、ステップＳ１２６に移行する。

一方、制御部１１は、プロフィール情報が検索されなかった場合には（ステップＳ１２４：ＮＯ）、画像の合成を行うことなくステップＳ１２６に移行する。

そして、制御部１１は、撮像画像上の全参加者に対してプロフィール情報の検索等を実行したか否かを判定する（ステップＳ１２６）。このとき、制御部１１は、１人以上の参加者について未だ検索等を実行していない場合には（ステップＳ１２６：ＮＯ）、番号Ｎに１を加算して（ステップＳ１２７）、ステップＳ１２３に移行する。

一方、制御部１１は、全参加者に対してプロフィール情報の検索等を実行した場合には（ステップＳ１２６：ＹＥＳ）、プロフィール情報との合成によって生成された撮像画像（プロフィール情報が１人分も検索されなかった場合には、会議端末装置２Ｃから受信した撮像画像そのもの）を会議端末装置２Ａに送信して（ステップＳ１２８）、処理を終了させる。

なお、テレビ会議が行われている間は、会議端末装置２Ｃから撮像画像、識別情報及び参加者の顔の座標を受信し続けるので、テレビ会議が終了するまでは、ステップＳ１２１乃至Ｓ１２８の処理が繰り返し実行される。

会議端末装置２Ａの制御部２１は、テレビ会議が開始されると、サーバ装置１から撮像画像を受信したか否かを判定する（ステップＳ１４１）。このとき、会議端末装置２Ａの制御部２１は、撮像画像を受信した場合には（ステップＳ１４１：ＹＥＳ）、図２に示すように、この撮像画像を表示部２５に表示させて（ステップＳ１４２）、ステップＳ１４３に移行する。

一方、会議端末装置２Ａの制御部２１は、撮像画像を受信しなかった場合には（ステップＳ１４１：ＮＯ）、ステップＳ１４３に移行する。

そして、会議端末装置２Ａの制御部２１は、表示部２５による撮像画像の画面表示を停止させるか否かを判定する（ステップＳ１４３）。具体的に、会議端末装置２Ａの制御部２１は、参加者が会議端末装置２Ａの操作部２９を操作してテレビ会議の終了を指示した場合や、会議端末装置２Ｃから会議を終了する旨のリクエストを受信した場合などには、画面表示を停止させると判定する。

このとき、会議端末装置２Ａの制御部２１は、画面表示を停止させない場合には（ステップＳ１４３：ＮＯ）、ステップＳ１４１に移行する。つまり、会議端末装置２Ａの制御部２１は、テレビ会議が継続している間、ステップＳ１４１乃至Ｓ１４３の処理を繰り返すのである。

そして、会議端末装置２Ａの制御部２１は、画面表示を停止させる場合には（ステップＳ１０４：ＹＥＳ）、表示部２５を停止させて、処理を終了させる。

なお、上記説明においては、会議端末装置２側で識別情報の生成としていたが、サーバ装置１側で生成しても良い。また、上記説明においては、サーバ装置１側において、識別情報でプロフィール情報を検索することにより、撮像画像上の参加者がどの参加者であるかを特定していたが、会議端末装置２側で特定しても良い。この場合には、会議端末装置２が、当該会議端末装置２を用いる可能性のあるユーザ全員について識別情報をサーバ装置１から取得しておくことが必要である。そして、会議端末装置２は、生成した識別情報と取得した識別情報とを比較し、取得した識別情報のうち、類似度が所定値以上であって且つ当該類似度が最大となる識別情報を特定する。そして、会議端末装置２は、特定した識別情報をサーバ装置１に送信し、サーバ装置１が、この識別情報に対応するプロフィール情報をプロフィールデータベースから読み出す。

また、上記説明においては、２台の会議端末装置２を用いてテレビ会議を行う場合について説明したが、３台以上の会議端末装置２を用いてテレビ会議を行う場合においても、上記処理が適用可能であることは無論である。このとき、会議端末装置２においては、表示部２５の画面を複数の表示エリアに分割し、各エリア毎に相手方の会議端末装置２からの撮像画像を図２に示すように表示させれば良い。

以上説明したように、本実施形態によれば、会議端末装置２の制御部２１が、自己のカメラ２６で撮影した会議参加者を画像上で特定するための識別情報を生成してサーバ装置１に送信し、プロフィール情報がプロフィール情報入力部３０から入力された参加者に対して特定の動作をするよう画面表示や音声出力により指示し、特定の動作を行った参加者を識別情報に基づいて撮像画面上で特定して、この識別情報と入力されたプロフィール情報とをサーバ装置１に送信し、サーバ装置１の制御部１１が、受信した識別情報とプロフィール情報とを関連付けてプロフィールデータベースに登録する。そして、会議がおこなわれているときには、会議端末装置２の制御部２１が、自己のカメラ２６で撮影した参加者の識別情報を生成して、撮像画像と生成した識別情報とをサーバ装置１に送信し、サーバ装置１の制御部１１が、受信した識別情報でプロフィール情報を検索し、検索されたプロフィール情報がこれに対応する参加者の頭上で表示されるよう、撮像画像とプロフィール情報とを重ね合わせ合成し、合成された撮像画像を相手方の会議端末装置２に送信する。

従って、相手側の会議端末装置２の画面に、撮像画像上の参加者それぞれについてその撮像画像上の位置に対応した位置で参加者本人を特定するプロフィール情報が表示されるので、相手側の参加者は、画面に表示された参加者がたとえ初対面であってもその名前等の参加者に関する情報を知ることができる。

しかも、従来であれば、１台のカメラで複数の参加者を撮影する場合には、ＩＰアドレスなどの会議端末に割り当てられた情報からでは、この複数の参加者を個別に特定することができないので、プロフィール情報を参加者毎に表示させることは困難であったが、本実施形態であれば、それを実現することができる。

また、会議端末装置２の制御部２１が、撮像画像から各参加者の顔の画像を抽出することによって識別情報としての顔マスクを生成し、サーバ装置１の制御部１１が、この識別情報に類似する識別情報が登録されていない新規の識別情報である場合に関連付けリクエストを会議端末装置２に送信し、会議端末装置２の制御部２１が、新規の識別情報に対応する参加者について関連付け処理を行い、この処理の結果に基づいて会議端末装置２の制御部２１が、識別情報とプロフィール情報とを関連付けて登録する。

従って、プロフィールデータベースに識別情報がまだ登録されていない参加者のみのプロフィール情報を入力すれば良いので、一度プロフィールを入力した参加者については、会議の度にプロフィールを入力する必要がない。

また、参加者の顔の特徴に基づいて撮像画像上における参加者の画像が特定されるので、参加者を容易に識別することができる。

また、会議端末装置２の制御部２１が、特定の動作として参加者に「はい」と返事するよう指示し、撮像画像上で口を動かした参加者を特定するとともに、マイクロフォン２７から入力された音声に基づいて、「はい」という音声が検出されたと判定した場合には、口を動かした参加者が「はい」と言ったと判定するので、特定の動作を行った参加者を適確に特定することができる。

また、会議端末装置２の制御部２１が、参加者が口の形状が変化し始めたタイミングから、「はい」という音声の最初の音素が入力されたタイミングまでに経過した時間が所定値以下である場合に、口を動かした参加者が「はい」と言ったと判定するので、たとえ撮像画像上の参加者以外の誰かが「はい」と言ったとしても、その音声が入力されたタイミングと参加者が口を動かしたタイミングとが合わなければ、参加者が「はい」と言ったとは判定しないので、特定の動作を行った参加者を正確に特定することができる。

また、会議端末装置２の制御部２１が、名刺や社員証などの画像をイメージスキャナーにより読み取らせたり、参加者本人を特定する情報が記録されたＩＣカードなどからカードリーダーで情報を読み取らせるので、プロフィール情報を簡単に入力することができる。

なお、上記実施形態においては、テレビ会議の開始時からその参加者が全員揃っている場合について説明していたが、例えば、一部の参加者が会議の途中で参加する場合においても、この参加者のプロフィール情報を表示させることは可能である。例えば、会議中の処理において、会議端末装置２の顔認識により認識された参加者が増えた場合には、追加された参加者のみについて、参加者登録処理を行えば良い。ここで、途中で参加した人物のプロフィール情報が既に登録されていれば、このプロフィール情報が相手側の会議端末装置２の画面に表示され、プロフィール情報が未だ登録されていなかった場合には、プロフィール情報入力部３０からプロフィール情報を入力することによって、このプロフィール情報が識別情報と関連付けて登録される。

また、上記実施形態においては、場所毎（拠点毎、部屋毎など）に、１台の会議端末装置２を設置した場合について説明したが、会議の参加者それぞれに１台ずつ会議端末装置２を割り当てた場合に対しても適用可能である。この場合においては、参加者各自がログイン操作を行わなくても、プロフィール情報を自己の画像とともに他の参加者が使用する会議端末装置２の画面に表示させることができる。また、たとえ使用する会議端末装置２を会議の度に変えたとしても、プロフィール情報を他の参加者が使用する会議端末装置２の画面に表示させることができる。

一実施形態に係る会議システムの概要構成の一例を示すブロック図である。 会議の参加者が撮影された撮像画像にプロフィール情報を合成した画像の画面表示例である。 撮影されている参加者のうちの１人が特定の動作を行った際の撮像画像の例であり、（ａ）は、参加者Ｂが挙手した例であり、（ｂ）は、参加者Ｂが起立した例であり、（ｃ）は、参加者Ｂが首を縦に振った例であり、（ｄ）は、参加者Ｂが返事をした例である。 一実施形態に係るサーバ装置１の概要構成の一例を示すブロック図である。 一実施形態に係る会議端末装置２の概要構成の一例を示すブロック図である。 一実施形態に係る会議システムＳの参加者登録処理における処理例を示すフローチャートである。 一実施形態に係る会議端末装置２の制御部２１の関連付け処理における第１の処理例を示すフローチャートである。 一実施形態に係る会議端末装置２の制御部２１の関連付け処理における第２の処理例を示すフローチャートである。 一実施形態に係る会議システムＳの会議中における処理例を示すフローチャートである。

符号の説明

１ サーバ装置
２、２Ａ、２Ｂ、２Ｃ 会議端末装置
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入出力部
１５ 表示部
１６ 操作部
１７ システムバス
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 入出力部
２５ 表示部
２６ カメラ
２７ マイクロフォン
２８ スピーカ
２９ 操作部
３０ プロフィール情報入力部
３１ システムバス
ＮＷ ネットワーク
Ｓ 会議システム

Claims (12)

1. 複数の会議装置を含み、前記会議装置により撮影された会議の参加者の撮影画像を通信手段を介して他の前記会議装置に送信し表示させる会議システムにおいて、前記参加者本人を特定するための参加者情報を含む前記撮影画像である参加者情報付撮影画像を生成する会議画像生成方法であって、
   前記撮影画像に基づいて、撮影された前記参加者を画像上で特定するための識別情報を生成する識別情報生成工程と、
   前記会議装置が備える入力手段を用いて入力された前記参加者情報を取得する参加者情報取得工程と、
   前記参加者情報が取得された前記参加者に対して所定動作をするよう指示する指示情報を当該参加者に対して提示する指示情報提示工程と、
   前記所定動作を行った前記参加者を前記撮影画像上で特定する所定動作者特定工程と、
   前記所定動作を行ったとして特定された前記参加者の前記識別情報と前記参加者情報とを対応付けて記憶手段に記憶させる記憶工程と、
   前記識別情報が記憶された前記参加者の画像を当該識別情報に基づいて前記撮影画像上で特定する参加者特定工程と、
   前記参加者特定工程において特定された前記参加者の前記識別情報に対応する前記参加者情報が前記撮影画像上において前記参加者の画像に対応して位置する前記参加者情報付撮影画像を生成する画像生成工程と、
   前記生成された参加者情報付撮影画像を前記他の会議装置に送信する送信工程と、
   を備えることを特徴とする会議画像生成方法。
2. 請求項１に記載の会議画像生成方法において、
   前記撮影画像から前記参加者の画像を抽出する抽出工程と、
   前記識別情報生成工程において生成された前記識別情報と一致しまたは類似する前記識別情報が、前記参加者情報に対応付けて前記記憶手段に記憶されているか否かを判定する判定工程を更に備え、
   前記識別情報生成工程においては、抽出された前記参加者の画像に基づいて前記識別情報を生成し、
   前記判定工程において前記識別情報が記憶されていないと判定された前記参加者について、前記参加者情報取得工程、前記指示情報提示工程、前記所定動作者特定工程及び前記記憶工程を実行することを特徴とする会議画像生成方法。
3. 請求項１または請求項２に記載の会議画像生成方法において、
   前記指示情報提示工程においては、予め定められた語を前記参加者に言わせる前記指示情報を提示し、
   前記所定動作者特定工程においては、
   前記撮影画像に基づいて、前記参加者の口の動きを検出し、
   前記会議装置が備える音声入力手段を用いて入力された前記参加者の音声に基づいて、前記参加者が発した語が前記予め定められた語であるか否かを判定し、
   前記参加者が発した語が前記予め定められた語である場合に、口を動かした前記参加者を、前記所定動作を行った参加者として特定することを特徴とする会議画像生成方法。
4. 請求項３に記載の会議画像生成方法において、
   前記所定動作者特定工程においては、前記参加者が口を動かしたタイミングと、前記音声が入力されたタイミングと、の時間差が所定時間以下である場合に、口を動かした前記参加者が前記予め定められた語を発したと判定することを特徴とする会議画像生成方法。
5. 請求項１乃至４の何れか１項に記載の会議画像生成方法において、
   前記識別情報生成工程においては、前記撮影画像に基づいて、撮影された前記参加者の顔の特徴を示す前記識別情報を生成することを特徴とする会議画像生成方法。
6. 請求項１乃至５の何れか１項に記載の会議画像生成方法において、
   前記入力手段は、前記参加者本人を特定する情報が印刷された印刷物及び当該情報が記録された記録媒体の少なくとも何れか一方から当該情報を前記参加者情報として読み取ることを特徴とする会議画像生成方法。
7. 請求項１乃至６の何れか１項に記載の会議画像生成方法において、
   前記指示情報提示工程においては、前記会議装置が、前記所定動作の指示を音声として出力し、または、当該指示を示す情報を表示することを特徴とする会議画像生成方法。
8. 複数の会議装置を含み、前記会議装置により撮影された会議の参加者の撮影画像を通信手段を介して他の前記会議装置に送信し表示させる会議システムであって、
   前記撮影画像に基づいて、撮影された前記参加者を画像上で特定するための識別情報を生成する識別情報生成手段と、
   前記参加者本人を特定するための参加者情報を入力するために用いられる入力手段と、
   前記参加者情報が入力された前記参加者に対して所定動作をするよう指示する指示情報を当該参加者に対して提示する指示情報提示手段と、
   前記所定動作を行った前記参加者を前記撮影画像上で特定する所定動作者特定手段と、
   前記所定動作を行ったとして特定された前記参加者の前記識別情報と前記参加者情報とを対応付けて記憶手段に記憶させる記憶制御手段と、
   前記識別情報が記憶された前記参加者の画像を当該識別情報に基づいて前記撮影画像上で特定する参加者特定手段と、
   前記記憶された識別情報に基づいて、前記参加者の画像を前記撮影画像上で特定する参加者特定手段と、
   前記参加者特定手段により特定された前記参加者の前記識別情報に対応する前記参加者情報が前記撮影画像上において前記参加者の画像に対応して位置する前記撮影画像である参加者情報付撮影画像を生成する画像生成手段と、
   前記生成された参加者情報付撮影画像を前記他の会議装置に送信する送信手段と、
   を備えることを特徴とする会議システム。
9. 複数の会議装置を含み、前記会議装置により撮影された会議の参加者の撮影画像を通信手段を介して他の前記会議装置に送信し表示させる会議システムにおいて、前記会議装置が前記通信手段を介して接続可能なサーバ装置であって、
   前記会議装置から送信された前記撮影画像を受信する撮影画像受信手段と、
   前記受信された撮影画像に基づいて、撮影された前記参加者を画像上で特定するための識別情報を生成する識別情報生成手段と、
   前記会議装置が備える入力手段を用いて入力された、前記参加者本人を特定するための参加者情報を当該会議装置から受信する参加者情報受信手段と、
   前記受信された参加者情報が入力された前記参加者に対して所定動作をするよう指示する要求を前記会議装置に送信する動作指示要求送信手段と、
   前記所定動作を行った前記参加者を前記撮影画像上で特定する所定動作者特定手段と、
   前記所定動作を行ったとして特定された前記参加者の前記識別情報と前記参加者情報とを対応付けて記憶手段に記憶させる記憶制御手段と、
   前記識別情報が記憶された前記参加者の画像を当該識別情報に基づいて前記撮影画像上で特定する参加者特定手段と、
   前記参加者特定手段により特定された前記参加者の前記識別情報に対応する前記参加者情報が前記撮影画像上において前記参加者の画像に対応して位置する前記撮影画像である参加者情報付撮影画像を生成する画像生成手段と、
   前記生成された参加者情報付撮影画像を前記他の会議装置に送信する送信手段と、
   を備えることを特徴とするサーバ装置。
10. 複数の会議装置を含み、前記会議装置により撮影された会議の参加者の撮影画像を通信手段を介して他の前記会議装置に送信し表示させる会議システムにおいて、前記撮影画像を中継するサーバ装置と前記通信手段を介して接続可能な会議装置であって、
    前記参加者を撮影する撮影手段と、
    前記撮影手段による前記撮影画像に基づいて、撮影された前記参加者を画像上で特定するための識別情報を生成する識別情報生成手段と、
    前記参加者本人を特定するための参加者情報を入力するために用いられる入力手段と、
    前記参加者情報が入力された前記参加者に対して所定動作をするよう指示する指示情報を当該参加者に対して提示する指示情報提示手段と、
    前記所定動作を行った前記参加者を前記撮影手段による撮影画像上で特定する所定動作者特定手段と、
    前記所定動作を行ったとして特定された前記参加者の前記識別情報と前記参加者情報とを対応付けて前記サーバ装置に記憶させるよう、当該識別情報と当該参加者情報とを前記サーバ装置に送信する第１送信手段と、
    前記記憶された識別情報に基づいて、前記参加者の画像を前記撮影画像上で特定する参加者特定手段と、
    前記参加者特定手段により特定された前記参加者の前記識別情報に対応する前記参加者情報を前記撮影手段による前記撮影画像上において当該参加者の画像に対応して位置させた前記撮影画像である参加者情報付撮影画像を前記サーバ装置に生成させるよう、当該撮影画像と当該識別情報とを前記サーバ装置に送信する第２送信手段と、
    他の会議装置により撮影された前記撮影画像に基づいて生成された前記参加者情報付撮影画像を、前記サーバ装置から受信する撮影画像受信手段と、
    前記受信された参加者情報付撮影画像を表示する表示手段と、
    を備えることを特徴とする会議装置。
11. コンピュータを、
    請求項９に記載のサーバ装置として機能させることを特徴とするサーバ装置処理プログラム。
12. コンピュータを、
    請求項１０に記載の会議装置として機能させることを特徴とする会議装置処理プログラム。

Images