JP2010233045A - 会議支援装置、会議支援方法、会議システム、会議支援プログラム - Google Patents

Abstract

【課題】呼びかけを受けた会議参加者が、容易に自身が呼びかけを受けたことを認識できる会議支援装置、会議支援方法、会議システム、会議支援プログラムを提供することを目的とする。
【解決手段】ＭＣＵは、会議端末において撮影された撮影画像と、会議端末において録音された音声とを受信する。受信した撮影画像が並べられる（７１、７２、７３）。受信した音声が音声認識され、音声に含まれる語彙を表現するテキストデータ（９２、９３）が作成される。作成されたテキストデータ９３が、並べられた撮影画像のうち音声を発声した第一参加者（ＦＦＦＦさん）８６に対応付けられる。音声認識の結果に基づき、音声会話の相手方の者（第二参加者）が特定される。テキストデータの表示枠９１が、第二参加者（ＡＡＡＡさん）８１に対応付けられる。結果作成された表示画像は、会議端末のディスプレイに表示される。
【選択図】図１７

Description

本発明は、会議支援装置、会議支援方法、会議システム、会議支援プログラムに関する。より詳細には、発話内容をテキスト化して表示可能な会議支援装置、会議支援方法、会議システム、会議支援プログラムに関する。

従来のテレビ会議システムでは、テレビ会議に参加する会議参加者の撮影画像がディスプレイに表示される。また、テレビ会議に参加する会議参加者の発話した音声がスピーカから出力される。ユーザは、ディスプレイに映し出される撮影画像やスピーカから出力される音声を介し、他の拠点の会議参加者の様子を認識することができる。

他の会議参加者間で行われている会話に対して注意が及ばず、会議参加者が会話を聞き逃してしまう場合がある。これに対し、例えば特許文献１に記載のコミュニケーション把握装置では、テレビ会議における発話内容がテキスト化されてディスプレイに表示される。テキスト情報は、ディスプレイに表示された状態の会議参加者の撮影画像の其々に対応付けて表示される。従って会議参加者は、表示されたテキスト情報を参照することによって、他の会議参加者間で行われていた会話の内容を後から参照することができる。

特開２００２−３４４９１５号公報

しかしながら会議参加者は、会話に対して注意が及んでいない状態で不意に呼びかけの会話を受けた場合、この呼びかけに気づかないことがある。このような場合には、上述のような装置を使用した場合であっても、表示されているテキスト情報を直ぐに参照し、会話に参加することができないという問題点があった。

本発明は上述の問題点を解決するためになされたものであり、呼びかけを受けた会議参加者が、容易に自身が呼びかけを受けたことを認識できる会議支援装置、会議支援方法、会議システム、会議支援プログラムを提供することを目的とする。

上述の問題点を解決するために、請求項１に係る発明の会議支援装置は、複数の会議端末間の通信を制御することによって、前記会議端末を使用する会議参加者間で行われるテレビ会議を支援する会議支援装置であって、前記複数の会議端末の撮影手段によって撮影された撮影画像であって、少なくとも一名の前記会議参加者が撮影された撮影画像を、前記会議端末から受信する画像受信手段と、前記複数の会議端末のうち少なくとも一の前記会議端末である第一会議端末の音声入力手段から入力される音声であって、前記第一会議端末を使用する前記会議参加者である第一参加者によって発話された音声を、前記第一会議端末から受信する音声受信手段と、前記画像受信手段によって受信された前記撮影画像、及び、前記音声受信手段によって受信された前記音声を記憶する第一記憶手段と、前記第一記憶手段に記憶された前記音声を認識する音声認識手段と、前記音声認識手段によって認識された結果に基づいて、前記音声に含まれる語彙を表現するテキストデータを作成するテキスト作成手段と、前記音声認識手段によって認識された結果に基づいて、前記音声が発話された相手方の前記会議参加者である第二参加者を特定する相手特定手段と、前記会議端末の表示手段に表示させる表示画像であって、前記第一記憶手段に記憶された前記撮影画像から構成され、前記撮影画像のうち前記第一参加者に相当する部分に、前記テキスト作成手段によって作成された前記テキストデータが対応付けられ、且つ、前記撮影画像のうち前記第一参加者、及び、前記相手特定手段によって特定された前記第二参加者のうち少なくとも一方に相当する部分に、所定の画像が対応付けられた前記表示画像を作成する画像作成手段と、前記画像作成手段によって作成された前記表示画像を前記複数の会議端末の前記表示手段に表示させるために、前記表示画像を前記複数の会議端末に送信する送信手段とを備えている。

また、請求項２に係る発明の会議支援装置は、請求項１に記載の発明の構成に加えて、前記画像作成手段は、前記テキストデータを表示させる表示枠を前記所定の画像として、前記撮影画像のうち前記第二参加者に相当する部分に対応づけることによって、前記表示画像を作成することを特徴とする。

また、請求項３に係る発明の会議支援装置は、請求項１又は２に記載の発明の構成に加えて、前記相手特定手段は、前記音声認識手段によって認識された結果が所定の語彙を含む場合に、すべての前記会議参加者を前記第二参加者として特定し、前記画像作成手段は、前記相手特定手段において、すべての前記会議参加者が前記第二参加者として特定された場合には、前記撮影画像のうちすべての前記会議参加者に相当する部分に前記所定の画像を対応付けることによって、前記表示画像を作成することを特徴とする。

また、請求項４に係る発明の会議支援装置は、請求項１乃至３のいずれかに記載の発明の構成に加えて、前記会議参加者の画像である参加者画像を、前記会議参加者を特定する属性情報に対応付けて記憶する第二記憶手段を備え、前記音声受信手段は、前記音声とともに、前記音声を発声した前記第一参加者の前記属性情報を受信し、前記画像作成手段は、前記第二記憶手段に記憶されている前記参加者画像のうち、前記音声受信手段によって受信された前記属性情報と同一の前記属性情報に対応付けられた前記参加者画像に基づいて、前記撮影画像のうち前記第一参加者に相当する部分を特定し、特定された部分に前記テキストデータを対応付けることによって前記表示画像を作成することを特徴とする。

また、請求項５に係る発明の会議支援装置は、請求項１に記載の発明の構成に加えて、前記会議参加者の画像である参加者画像を、前記会議参加者を特定する属性情報に対応付けて記憶する第二記憶手段と、前記第二記憶手段に記憶された前記参加者画像のうち、前記相手特定手段によって特定された前記第二参加者の前記属性情報に対応付けられた前記参加者画像を第二参加者画像として選択する選択手段を備え、前記画像作成手段は、前記撮影画像のうち前記第一参加者に相当する部分に前記テキストデータが対応付けられ、且つ、前記選択手段によって選択された前記第二参加者画像を前記所定の画像として、前記撮影画像のうち前記第一参加者に相当する部分に対応付けることによって、前記表示画像を作成することを特徴とする。

また、請求項６に係る発明の会議支援装置は、請求項５に記載の発明の構成に加えて、前記音声受信手段は、前記音声とともに、前記音声を発声した前記第一参加者の前記属性情報を受信し、前記画像作成手段は、前記第二記憶手段に記憶されている前記参加者画像のうち、前記音声受信手段によって受信された前記属性情報と同一の前記属性情報に対応付けられた前記参加者画像に基づいて、前記撮影画像のうち前記第一参加者に相当する部分を特定し、特定された部分に前記テキストデータを対応付け、前記選択手段によって選択された前記第二参加者画像を前記所定の画像として、前記撮影画像のうち前記第一参加者に相当する部分に対応付けることによって、前記表示画像を作成することを特徴とする。

また、請求項７に係る発明の会議支援方法は、複数の会議端末間の通信を制御することによって、前記会議端末を使用する会議参加者間で行われるテレビ会議を支援する会議支援方法であって、前記複数の会議端末の撮影手段によって撮影された撮影画像であって、少なくとも一名の前記会議参加者が撮影された撮影画像を前記会議端末から受信する画像受信ステップと、前記複数の会議端末のうち少なくとも一の前記会議端末である第一会議端末の音声入力手段から入力される音声であって、前記第一会議端末を使用する前記会議参加者である第一参加者によって発話された音声を、前記第一会議端末から受信する音声受信ステップと、前記音声受信ステップにおいて受信され、第一記憶手段に記憶された前記音声を認識する音声認識ステップと、前記音声認識ステップによって認識された結果に基づいて、前記音声に含まれる語彙を表現するテキストデータを作成するテキスト作成ステップと、前記音声認識ステップによって認識された結果に基づいて、前記音声が発話された相手方の前記会議参加者である第二参加者を特定する相手特定ステップと、前記会議端末の表示手段に表示させる表示画像であって、前記画像受信ステップにおいて受信され、前記第一記憶手段に記憶された前記撮影画像から構成され、前記撮影画像のうち前記第一参加者に相当する部分に、前記テキスト作成ステップによって作成された前記テキストデータが対応付けられ、且つ、前記撮影画像のうち前記第一参加者、及び、前記相手特定ステップによって特定された前記第二参加者のうち少なくとも一方に相当する部分に、所定の画像が対応付けられた前記表示画像を作成する画像作成ステップと、前記画像作成ステップによって作成された前記表示画像を前記複数の会議端末の前記表示手段に表示させるために、前記表示画像を前記複数の会議端末に送信する送信ステップとを備えている。

また、請求項８に係る発明の会議システムは、複数の会議端末と、前記複数の会議端末間の通信を制御する会議支援装置とを少なくとも含む会議システムであって、前記会議支援装置は、前記複数の会議端末の撮影手段によって撮影された撮影画像であって、少なくとも一名の前記会議参加者が撮影された撮影画像を前記会議端末から受信する画像受信手段と、前記複数の会議端末のうち少なくとも一の前記会議端末である第一会議端末の音声入力手段から入力される音声であって、前記第一会議端末を使用する前記会議参加者である第一参加者によって発話された音声を、前記第一会議端末から受信する音声受信手段と、前記画像受信手段によって受信された前記撮影画像、及び、前記音声受信手段によって受信された前記音声を記憶する第一記憶手段と、前記第一記憶手段に記憶された前記音声を認識する音声認識手段と、前記音声認識手段によって認識された結果に基づいて、前記音声に含まれる語彙を表現するテキストデータを作成するテキスト作成手段と、前記音声認識手段によって認識された結果に基づいて、前記音声が発話された相手方の前記会議参加者である第二参加者を特定する相手特定手段と、前記会議端末の表示手段に表示させる表示画像であって、前記第一記憶手段に記憶された前記撮影画像から構成され、前記撮影画像のうち前記第一参加者に相当する部分に、前記テキスト作成手段によって作成された前記テキストデータが対応付けられ、且つ、前記撮影画像のうち前記第一参加者、及び、前記相手特定手段によって特定された前記第二参加者のうち少なくとも一方に相当する部分に、所定の画像が対応付けられた前記表示画像を作成する画像作成手段と、前記画像作成手段によって作成された前記表示画像を前記複数の会議端末の前記表示手段に表示させるために、前記表示画像を前記複数の会議端末に送信する送信手段とを備え、前記会議端末は、前記撮影手段によって撮影された前記撮影画像を前記会議支援装置に対して送信する端末第一送信手段と、前記音声入力手段から入力された前記音声を前記会議支援装置に対して送信する端末第二送信手段と、前記端末第一送信手段によって送信された前記撮影画像、及び、前記端末第二送信手段によって送信された前記音声に基づいて、前記会議支援装置において作成される前記表示画像を受信する端末受信手段と、前記端末受信手段において受信された前記表示画像を前記表示手段に表示させる表示制御手段とを備えている。

また、請求項９に係る発明の会議支援プログラムは、請求項１乃至６のいずれかに記載の会議支援装置の各処理手段としてコンピュータを機能させる。

請求項１に係る発明の会議支援装置は、テレビ会議に参加する複数の会議参加者のうち発話した者（第一参加者）の音声が音声認識される。会議端末の表示手段に表示させる表示画像に含まれる複数の会議参加者のうち、第一参加者に相当する部分に、音声認識された結果のテキストデータが対応付けられる。第一参加者及び第二参加者のうち少なくとも一方に相当する部分に、所定の画像が対応付けられる。このようにして作成された表示画像を会議端末に送信し、会議端末の表示手段に表示させる。これによって会議参加者は、発話者の音声履歴を後から参照することができる。また会議参加者は、所定の画像が対応付けられた表示データを視認することによって、会話の相手方が誰であるかを認識できる。

また、請求項２に係る発明の会議支援装置は、請求項１に記載の発明の効果に加えて、会議参加者は、表示画像に対応付けられた表示枠を視認することによって、会話の相手方が誰であるかを認識できる。

また、請求項３に係る発明の会議支援装置は、請求項１又は２に記載の発明の効果に加えて、会議参加者は、会議参加者が他の会議参加者全員を相手方として発話していることを認識できる。

また、請求項４に係る発明の会議支援装置は、請求項１乃至３のいずれかに記載の発明の効果に加えて、第一会議端末を使用する会議参加者が複数存在する場合であっても、第一参加者を特定してテキストデータを対応付けることが可能となる。従って、第一会議端末を使用する会議参加者が複数存在する場合であっても、音声を発声した会議参加者を特定することができる。

また、請求項５に係る発明の会議支援装置は、請求項１に記載の発明の効果に加えて、会議参加者は、第一参加者の画像に対応付けられた参加者画像を視認することによって、会話の相手方が誰であるかを認識できる。

また、請求項６に係る発明の会議支援装置は、請求項５に記載の発明の効果に加えて、第一会議端末を使用する会議参加者が複数存在する場合であっても、第一参加者を特定してテキストデータを対応付けることが可能となる。従って、第一会議端末を使用する会議参加者が複数存在する場合であっても、音声を発声した会議参加者を特定することができる。

また、請求項７に係る発明の会議支援方法では、テレビ会議に参加する複数の会議参加者のうち発話した者（第一参加者）の音声が音声認識される。会議端末の表示手段に表示させる表示画像を構成する複数の会議参加者のうち、第一参加者に相当する部分に、音声認識された結果のテキストデータが対応付けられる。第一参加者及び第二参加者のうち少なくとも一方に相当する部分に、所定の画像が対応付けられる。このようにして作成された表示データを会議端末に送信し、会議端末の表示手段に表示させる。これによって、発話者の音声履歴を後から参照することができる。また第二参加者は、所定の画像が対応付けられた表示データを視認することによって、自身に対して発話されたことを認識できる。

また、請求項８に係る発明の会議システムでは、テレビ会議に参加する複数の会議参加者のうち発話した者（第一参加者）の音声が音声認識される。会議端末の表示手段に表示させる表示画像に含まれる複数の会議参加者のうち、第一参加者に相当する部分に、音声認識された結果のテキストデータが対応付けられる。第一参加者及び第二参加者のうち少なくとも一方に相当する部分に、所定の画像が対応付けられる。このようにして作成された表示画像を会議端末に送信し、会議端末の表示手段に表示させる。これによって会議参加者は、発話者の音声履歴を後から参照することができる。また第二参加者は、所定の画像が対応付けられた表示データを視認することによって、自身に対して発話されたことを認識できる。

また、請求項９に係る発明の会議支援プログラムは、請求項１乃至６のいずれかに記載の会議支援装置の各処理手段としてコンピュータを機能させることができる。

テレビ会議システム１の概要を示す模式図である。 ＭＣＵ３の電気的構成を示す模式図である。 ＨＤＤ６１の記憶領域を示す模式図である。 ログインテーブル６１１１を示す模式図である。 会議端末４の電気的構成を示す模式図である。 ＨＤＤ３１の記憶領域を示す模式図である。 ログインテーブル３１１１を示す模式図である。 利用者テーブル３１２１を示す模式図である。 表示画像作成処理を示すフローチャートである。 表示画像作成処理を示すフローチャートである。 第一作成処理を示すフローチャートである。 第二作成処理を示すフローチャートである。 登録情報受信処理を示すフローチャートである。 ログイン処理を示すフローチャートである。 ログイン処理を示すフローチャートである。 参加者登録処理を示すフローチャートである。 ディスプレイ２８に表示される表示画像の一例を示す図である。 ディスプレイ２８に表示される表示画像の一例を示す図である。 変形例における第一作成処理を示す模式図である。 変形例においてディスプレイ２８に表示される表示画像の一例を示す図である。

以下、本発明の一実施形態であるテレビ会議システム及びＭＣＵ（Multi point Control Unit）について、図面を参照して説明する。なおこれらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、それのみに限定する趣旨ではなく、単なる説明例である。

図１を参照し、ＭＣＵ３を含むテレビ会議システム１の構成について説明する。図１に示すように、テレビ会議システム１は、ＭＣＵ３と会議端末４〜６とを備えている。ＭＣＵ３及び会議端末４〜６は、ネットワーク２を介して相互に接続される。テレビ会議システム１では、会議端末４〜６において撮影された画像（以下「撮影画像」という。）や、入力された音声のデータが、ＭＣＵ３に対して送信される。ＭＣＵ３では、会議端末４〜６から受信した撮影画像に基づいて、会議端末４〜６のディスプレイに表示させる画像（以下「表示画像」という。）が作成される。作成された表示画像及び音声が、ＭＣＵ３から会議端末４〜６に対して送信される。会議端末４〜６では、受信した表示画像をディスプレイに表示させる。また、受信した音声をスピーカから出力させる。以上のようにしてテレビ会議が実施される。

テレビ会議への参加を希望する者は、会議端末４〜６が備えるＲＦＩＤリーダにＲＦＩＤタグを接触させることによって、テレビ会議にログインする。ログインが完了すると、例えば会議端末４が備えるカメラ３４による撮影が開始される。また、会議端末４が備えるマイク３５による録音が開始される。同時に、ＭＣＵ３にて作成された表示画像が会議端末４〜６のディスプレイ２８に表示され、他の会議端末において録音された音声がスピーカ３７から出力される。テレビ会議にログインした者（以下「会議参加者」という。）は、表示画像に含まれる他の会議参加者の撮影画像や録音された音声を確認しながら、会議を行うことが可能となる。

図１に示す例では、「氏名：ＡＡＡＡ」（ユーザＩＤ：Ａ０００１）、「氏名：ＢＢＢＢ」（ユーザＩＤ：Ｂ０００１）の二名が、会議端末４を使用してテレビ会議に参加している。「氏名：ＣＣＣＣ」（ユーザＩＤ：Ｃ０００１）、「氏名：ＤＤＤＤ」（ユーザＩＤ：Ｄ０００１）、「氏名：ＥＥＥＥ」（ユーザＩＤ：Ｅ０００１）の三名が、会議端末５を使用してテレビ会議に参加している。会議参加者「氏名：ＦＦＦＦ」（ユーザＩＤ：Ｆ０００１）が、会議端末６を使用してテレビ会議に参加している。

本実施の形態では、ＭＣＵ３によって作成される表示画像は、会議端末４〜６にて撮影された撮影画像を少なくとも含む構成を有している。また、ＭＣＵ３が受信した音声は音声認識される。認識結果に基づき、音声に含まれる語彙を表現したテキストデータが作成される。撮影画像のうち音声を発声した会議参加者（以下「第一参加者」という。）に相当する部分に、作成されたテキストデータが対応付けられる。会議参加者は、ディスプレイに表示される表示画像を視認し、表示画像中に示されるテキストデータを確認することによって、第一参加者とその発話内容とを認識できる。

加えてＭＣＵ３では、音声認識結果に基づき、会話の相手方の会議参加者（以下「第二参加者」という。）が特定される。特定された第二参加者を認識可能なように、撮影画像のうち第二参加者に相当する部分に、テキストデータの表示枠が対応付けられる。会議参加者は、ディスプレイに表示される表示画像を視認し、表示画像中に示される表示枠を確認することによって、第二参加者を特定し、会話の相手方が誰であるかを認識できる。

図２を参照し、ＭＣＵ３の電気的構成について説明する。図２に示すように、ＭＣＵ３は、ＭＣＵ３の制御を司るコントローラとしてのＣＰＵ５０が設けられている。ＣＰＵ５０には、ＢＩＯＳ等を記憶したＲＯＭ５１と、各種データを一時的に記憶するＲＡＭ５２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス６０とが接続されている。Ｉ／Ｏインタフェイス６０には、各種記憶エリアを有するハードディスクドライブ６１（以下「ＨＤＤ６１」という。）が接続されている。

Ｉ／Ｏインタフェイス６０には、ネットワーク２と通信するための通信装置５３と、ＣＤ−ＲＯＭドライブ５４とが各々接続されている。ＣＤ−ＲＯＭドライブ５４に挿入されるＣＤ−ＲＯＭ５５には、ＭＣＵ３のメインプログラムや、本発明の通信制御プログラム等が記憶されている。ＣＤ−ＲＯＭ５５の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ５５からＨＤＤ６１にセットアップされて、後述するプログラム記憶領域６１６（図３参照）に記憶される。

図３を参照し、ＨＤＤ６１の各種記憶領域について説明する。ＨＤＤ６１には、ログインテーブル記憶領域６１１、参加者画像記憶領域６１２、単語辞書記憶領域６１３、撮影画像記憶領域６１４、音声記憶領域６１５、プログラム記憶領域６１６、その他の情報記憶領域６１７が設けられている。以下、記憶されている情報について説明する。

ログインテーブル記憶領域６１１には、テレビ会議にログインしている会議参加者を管理するログインテーブル６１１１（図４参照）が記憶される。参加者画像記憶領域６１２には、会議端末４〜６から受信した会議参加者の撮影画像（以下「参加者画像」という。）が記憶される。単語辞書記憶領域６１３には、音声認識処理の際に参照される単語辞書が記憶される。撮影画像記憶領域６１４には、会議端末４〜６から受信した撮影画像が記憶される。音声記憶領域６１５には、会議端末４〜６から受信した音声が記憶される。プログラム記憶領域６１６には、ＭＣＵ３のメインプログラムや、会議端末４〜６と通信を行うことによってテレビ会議を実現させるための通信制御プログラム等が記憶される。その他の情報記憶領域６１７には、ＭＣＵ３で使用されるその他の情報が記憶される。なお、ＭＣＵ３がＨＤＤ６１を備えていない専用機の場合は、ＲＯＭ５１に各種プログラムが記憶される。

図４を参照し、ログインテーブル６１１１について説明する。ログインテーブル６１１１には、テレビ会議にログインしている会議参加者に関する情報が記憶される。具体的には、ログインしている会議参加者の使用する会議端末４〜６の「端末ＩＤ」、会議参加者の「ユーザＩＤ」、会議参加者の「氏名」、及び、参加者画像の「ファイル名」が記憶される。なお、「ファイル名」に対応する参加者画像自体は、参加者画像記憶領域６１２に記憶される。

「ユーザＩＤ」としては、会議参加者を特定する為の属性情報が記憶される。本実施の形態では、「ユーザＩＤ」として、ログイン時に会議端末４〜６のＲＦＩＤリーダ３６（図５参照）にて読み出されるＲＦＩＤタグのＩＤが使用される。「端末ＩＤ」は、会議端末４〜６を特定する為の識別情報が記憶される。「端末ＩＤ」としては、会議端末４〜６のＭＡＣアドレスやＩＰアドレス等が使用可能である。「氏名」としては、会議参加者の氏名が記憶される。「ファイル名」としては、「ユーザＩＤ」及び「氏名」にて特定される会議参加者の参加者画像のファイル名が記憶される。

ログインテーブル６１１１に記憶される上述の情報は、テレビ会議へのログイン時において会議端末４〜６から送信される登録情報に含まれる。ＭＣＵ３では、会議端末４〜６から登録情報を受信した場合に、登録情報に含まれるユーザＩＤ、端末ＩＤ、氏名、及び参加者画像のファイル名が、ログインテーブル６１１１に記憶される。登録情報に含まれる参加者画像が、参加者画像記憶領域６１２に記憶される。詳細は後述する。

図４に示す例では、図１において会議端末４〜６を使用する会議参加者（氏名：ＡＡＡＡ、ユーザＩＤ：Ａ０００１）、（氏名：ＢＢＢＢ、ユーザＩＤ：Ｂ０００１）・・・の情報が記憶されている。ファイル名「Ａ．ｊｐｇ」「Ｂ．ｊｐｇ」・・・に対応する参加者画像は、参加者画像記憶領域６１２に記憶される。

図５を参照し、会議端末４の電気的構成について説明する。なお、会議端末４〜６は全て同じ構成であるので、ここでは会議端末４の構成についてのみ説明し、他の会議端末５、６については説明を省略する。

会議端末４には、会議端末４の制御を司るコントローラとしてのＣＰＵ２０が設けられている。ＣＰＵ２０には、ＢＩＯＳ等を記憶したＲＯＭ２１と、各種データを一時的に記憶するＲＡＭ２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。

Ｉ／Ｏインタフェイス３０には、ネットワーク２と通信するための通信装置２５と、各種記憶エリアを有するハードディスクドライブ３１（以下「ＨＤＤ３１」という。）と、ＲＦＩＤタグの情報を読み出すことが可能なＲＦＩＤリーダ３６と、会議端末４の利用者を撮影するためのカメラ３４と、会議端末４の利用者の音声を取り込むためのマイク３５と、音声を出力する為のスピーカ３７と、マウス２７と、ビデオコントローラ２３と、キーコントローラ２４と、ＣＤ−ＲＯＭドライブ２６とが各々接続されている。ビデオコントローラ２３には、ディスプレイ２８が接続されている。キーコントローラ２４には、キーボード２９が接続されている。ＣＤ−ＲＯＭドライブ２６に挿入されるＣＤ−ＲＯＭ１１４には、会議端末４のメインプログラムや通信制御プログラム等が記憶されている。ＣＤ−ＲＯＭ１１４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１１４からＨＤＤ３１にセットアップされて、後述するプログラム記憶領域３１６（図６参照）に記憶される。

図６を参照し、ＨＤＤ３１の各種記憶領域について説明する。ＨＤＤ３１には、ログインテーブル記憶領域３１１、利用者情報記憶領域３１２、利用者画像記憶領域３１３、撮影画像記憶領域３１４、音声記憶領域３１５、プログラム記憶領域３１６、その他の情報記憶領域３１７が設けられている。以下、記憶されている情報について説明する。

ログインテーブル記憶領域３１１には、会議端末４を使用してテレビ会議にログインしている会議参加者を管理するログインテーブル３１１１（図７参照）が記憶される。利用者情報記憶領域３１２には、会議端末４を利用する者を管理する利用者テーブル３１２１（図８参照）が記憶される。利用者画像記憶領域３１３には、会議端末４を利用する者の撮影画像が記憶される。撮影画像記憶領域３１４には、会議端末４のカメラ３４にて撮影された撮影画像が記憶される。音声記憶領域３１５には、会議端末４のマイク３５を介して入力された音声が記憶される。プログラム記憶領域３１６には、会議端末４のメインプログラムや、ＭＣＵ３と通信を行うことによって会議端末５，６との間でテレビ会議を実現させるための通信制御プログラム等が記憶される。その他の情報記憶領域３１７には、会議端末４で使用されるその他の情報が記憶される。なお、会議端末４がＨＤＤ３１を備えていない専用機の場合は、ＲＯＭ２１に各種プログラムが記憶される。

図７を参照し、ログインテーブル３１１１について説明する。ログインテーブル３１１１には、会議端末４を使用してテレビ会議にログインしている会議参加者に関する情報が記憶される。具体的には、ログインしている会議参加者の「ユーザＩＤ」、会議参加者の「氏名」、テレビ会議中に撮影される撮影画像のうち、会議参加者に相当する部分の画像が位置する「配置情報」、及び、参加者画像の「ファイル名」が記憶される。なお、「ファイル名」に対応する参加者画像自体は、利用者画像記憶領域３１３に記憶される。

上述のうち、「ユーザＩＤ」「氏名」「ファイル名」として記憶される情報の内容は、ＭＣＵ３のログインテーブル６１１１に記憶されている情報の内容と同一であるので、説明を省略する。会議端末４の利用者によってＲＦＩＤタグがＲＦＩＤリーダ３６に近付けられ、ＲＦＩＤリーダ３６によってＲＦＩＤタグのＩＤが読み込まれた場合に、読み込まれたＩＤが「ユーザＩＤ」として記憶される。読み込まれた「ユーザＩＤ」に対応する「氏名」「ファイル名」が、利用者テーブル３１２１（図８参照）から特定され記憶される。配置情報の詳細については後述する。

図７に示す例では、図１において会議端末４を使用する会議参加者（氏名：ＡＡＡＡ、ユーザＩＤ：Ａ０００１）、（氏名：ＢＢＢＢ、ユーザＩＤ：Ｂ０００１）の情報が記憶されている。配置情報として、座標情報（ａ，ｙ）（ｂ，ｙ）が其々記憶されている。ファイル名「Ａ．ｊｐｇ」「Ｂ．ｊｐｇ」・・・に対応する参加者画像は、利用者画像記憶領域３１３に記憶される。

図８を参照し、利用者テーブル３１２１について説明する。利用者テーブル３１２１には、会議端末４を利用してテレビ会議に参加する可能性のある全ての者（利用者）の「ユーザＩＤ」、「氏名」、及び、利用者を撮影した画像（以下「利用者画像」という。）の「ファイル名」が記憶される。なお、「ファイル名」に対応する利用者画像自体は、利用者画像記憶領域３１３に記憶される。「ユーザＩＤ」としては、利用者が所有するＲＦＩＤタグのＩＤが記憶される。「氏名」としては、利用者の氏名が記憶される。

「ユーザＩＤ」「氏名」の情報は、例えば、会議端末４の利用者によって予めキーボード２９を介して入力される。「利用者画像」は、例えば「ユーザＩＤ」「氏名」が利用者によって入力された際に、カメラ３４によって利用者を撮影して得られる。「ファイル名」は、得られた「利用者画像」に対して自動的に付加される。

図８に示す例では、図１にて示した会議端末４を使用してテレビ会議に参加している者（氏名：ＡＡＡＡ、ユーザＩＤ：Ａ０００１）、（氏名：ＢＢＢＢ、ユーザＩＤ：Ｂ０００１）の情報の他、現在はテレビ会議に参加していないものの、会議端末４を使用して他のテレビ会議に参加する可能性のある者（氏名：ＸＸＸＸ、ユーザＩＤ：Ｘ０００１）等が記憶されている。ファイル名「Ａ．ｊｐｇ」「Ｂ．ｊｐｇ」「Ｘ．ｊｐｇ」に対応する利用者画像は、利用者画像記憶領域３１３に記憶される。

図９〜図１３を参照し、ＭＣＵ３のＣＰＵ５０にて実行される各種処理（表示画像作成処理、登録情報受信処理）について説明する。其々の処理は、ＭＣＵ３に電源が投入された場合において、ＣＰＵ５０によって起動され実行される。なお上述の各処理は、所定の周期又は各処理に予め設定される優先順位に基づいて適宜スイッチングされ実行される。これによって、一方の処理が連続して実行され続けてしまい、他方の処理が実行されない状態を回避している。一方の処理が実行されている状態で他方の処理が実行される場合には、実行状態の処理は一旦中断される。そして他の処理が代わりに実行される。中断された処理は、次の実行タイミングで、中断時点から処理を再開する。

図９を参照し、表示画像作成処理について説明する。表示画像作成処理では、会議端末４〜６から受信した撮影画像及び音声に基づいて、会議端末４〜６のディスプレイ２８に表示させる表示画像を作成する為の処理が実行される。

表示画像作成処理では、はじめに、ログインテーブル６１１１が参照され、テレビ会議に参加している会議端末４〜６が特定される（Ｓ１１）。そして、特定された会議端末４〜６のうちいずれかから、撮影画像を含む通信データが受信される（Ｓ１３）。次いで同一の会議端末が、音声を含む通信データを送信しているかが判断される（Ｓ１５）。送信している場合（Ｓ１５：ＹＥＳ）、音声を含む通信データが受信される。通信データには、該当する音声を発声した会議参加者のユーザＩＤが含まれているので、ユーザＩＤも併せて受信される（Ｓ１７）。そしてＳ１９に移行される。音声を含む通信データを受信していない場合（Ｓ１５：ＮＯ）、そのままＳ１９に移行する。

Ｓ１９では、Ｓ１３において受信された通信データに含まれる撮影画像が、送信元の会議端末の端末ＩＤに対応付けられ、撮影画像記憶領域６１４に記憶される。Ｓ１７において音声及びユーザＩＤを含む通信データを受信している場合、音声、ユーザＩＤ、及び、送信元の会議端末の端末ＩＤが対応付けられ、音声記憶領域６１５に記憶される（Ｓ１９）。

次いで、Ｓ１１においてテレビ会議に参加していると特定された会議端末のすべてから、撮影画像を含む通信データを受信したかが判断される（Ｓ２１）。撮影画像を含む通信データを受信していない会議端末が残存する場合（Ｓ２１：ＮＯ）、Ｓ１３に戻り、残りの会議端末から撮影画像を受信する処理が継続して実行される。

テレビ会議に参加している会議端末のすべてから撮影画像を含む通信データを受信した場合（Ｓ２１：ＹＥＳ）、撮影画像記憶領域６１４に記憶された撮影画像に基づき、会議端末４〜６のディスプレイ２８に表示させる表示画像が作成される。はじめに、会議端末４〜６のディスプレイ２８の表示領域に収まるように、撮影画像が表示領域に並べられる（Ｓ２３）。撮影画像どうしが重ならないように、其々の撮影画像の大きさが調整される。

例えば図１に示すように、合計３台（会議端末４〜６）の会議端末がテレビ会議に参加している場合には、ＭＣＵ３において受信される撮影画像は三つである。この場合、ディスプレイ２８の表示領域を四分割した場合の其々の領域に、撮影画像が配置される。また例えば、合計２台の会議端末がテレビ会議に参加している場合には、ＭＣＵ３において受信される撮影画像は二つである。この場合、ディスプレイ２８の表示領域を二分割した場合の其々の領域に、撮影画像が配置される。

次いで、音声を含む通信データを受信しているかが判断される（Ｓ２５）。ログインしている会議端末のいずれからも音声を含む通信データを受信していない場合（Ｓ２５：ＮＯ）、Ｓ２３にて作成された表示画像が、ログインしている会議端末４〜６に対して送信される（Ｓ３３）。そしてＳ１３に戻り、上述の処理が繰り返し実行される。

音声を含む通信データを受信している場合（Ｓ２５：ＹＥＳ）、音声記憶領域６１５に記憶された音声が音声認識処理によって認識される（Ｓ２７）。音声認識は、従来周知の様々なアルゴリズムによって行うことが可能である。また、単語辞書記憶領域６１３に記憶されている単語辞書が適宜参照される。音声認識処理では、音声に含まれる語彙が特定される。次いで、音声認識処理によって特定された語彙を表現したテキストデータが作成される（Ｓ２９）。

次いで、Ｓ２３によって作成された表示画像を構成する撮影画像から、音声を発声した会議参加者である第一参加者に相当する部分を特定するための処理が実行される（Ｓ３１）。例えば以下の処理によって第一参加者に相当する部分が特定される。

音声と併せて受信したユーザＩＤと、音声の送信元の会議端末の端末ＩＤとが参照される。Ｓ２３によって作成された表示画像を構成する撮影画像のうち、音声の送信元の会議端末の端末ＩＤと同一の端末ＩＤが対応付けられた撮影画像が選択される。また、ログインテーブル６１１１のうち、音声と併せて受信したユーザＩＤと同一のユーザＩＤに対応付けられた参加者画像のファイル名が特定され、特定されたファイル名の参加者画像が参加者画像記憶領域６１２から選択される（選択された参加者画像を「第一参加者画像」という。）。

選択された撮影画像の中に、選択された第一参加者画像に相当する画像が含まれているかが判断される。具体的には、撮影画像に含まれる人物画像のうち特に顔部分の特徴部分が抽出される。特徴部分を抽出する為の方法としては、従来周知の様々な方法が使用される。例えば、ＨａｒｒｉｓオペレータやＳＩＦＴ（Scale Invariant Feature Transform）などのアルゴリズムが使用される。同様に、第一参加者画像のうち特に顔部分の特徴部分が抽出される。そして、撮影画像に含まれる人物画像に基づいて抽出された特徴点と、第一参加者画像のうち顔部分に基づいて抽出された特徴点とのマッチング処理が実施される。双方が良好に一致した場合に、判断の基となった撮影画像中の人物画像が、第一参加者に相当する部分の画像であると特定される。

図１０に示すように、上述の処理の結果、第一参加者が特定された場合（Ｓ３５：ＹＥＳ）、Ｓ２３（図９参照）によって作成された表示画像を構成する撮影画像のうち、特定された人物画像に相当する部分に、Ｓ２９（図９参照）にて作成されたテキストデータが対応付けられる（Ｓ３７）。本実施の形態では、テキストデータを囲うように吹き出し状の表示枠（図１７等参照）を設ける。特定された人物画像に、表示枠から延びる三角形部分の先端位置が重ねられる。このようにして、テキストデータと第一参加者とを対応付ける。以上のようにして、撮影画像のうち第一参加者にテキストデータが対応付けられた状態の表示画像が作成される。そしてＳ４１に移行される。

一方、第一参加者が特定されなかった場合（Ｓ３５：ＮＯ）、Ｓ２３（図９参照）によって作成された表示画像を構成する撮影画像のうち、音声データの送信元の会議端末の端末ＩＤと同一の端末ＩＤに対応付けられている撮影画像に、Ｓ２９（図９参照）にて作成されたテキストデータが挿入される（Ｓ３９）。特定の会議参加者へのテキストデータの対応付けは行わない。そしてＳ４１に移行される。

なお、本発明は上述の方法に限定されず、他の方法が使用可能である。例えばＭＣＵ３は、音声とともに、音声を発声した第一参加者が撮影画像のうちどの部分に位置しているかの情報（配置情報）を受信してもよい。そして受信した配置情報に基づいてテキストデータの対応付け位置を決定し、対応付けを行ってもよい。

なお本実施の形態では、過去において作成されたテキストデータは、会議参加者のユーザＩＤに対応付けられ、その他の情報記憶領域６１７に記憶される。テキストデータがその他の情報記憶領域６１７に記憶されている場合には、表示画像のうち会議参加者に相当する部分に、記憶されているテキストデータが対応付けられる。新たに作成されたテキストデータは、その他の情報記憶領域６１７に記憶されているテキストデータに付加され、表示される。これによって会議参加者は、会議参加者全員の音声の履歴を過去に遡って参照することができる。

次いで、音声記憶領域６１５に記憶されている音声が誰に対して話されているかを特定することによって、会話相手方の会議参加者である第二参加者を特定するための処理が実行される（Ｓ４１〜）。具体的には、以下の方法によって実行される。

音声記憶領域６１５に記憶された状態の音声が参照される。音声に、無音部分が所定時間（例えば２秒）以上連続している部分が存在し、且つ、無音状態となる直前の音声の語彙が助詞以外であるかが判断される（Ｓ４１）。このような条件に合致する場合、無音部分の直前の語彙に、第二参加者を特定する語彙が含まれている可能性が高いためである。

音声に上述の条件に合致する部分が存在しない場合（Ｓ４１：ＮＯ）、音声は特定の会議参加者を相手方として発声されたものではないと判断される。この場合、以下特段の処理を行うことなくＳ１３（図９参照）に戻る。そして上述の処理が繰り返し実行される。

一方、音声に上述の条件に合致する部分が存在する場合（Ｓ４１：ＹＥＳ）、無音状態となる直前の語彙が判断される。この語彙が、ログインテーブル６１１１に「氏名」として記憶されている語彙と一致するかが判断される（Ｓ４３）。いずれかの語彙と一致する場合（Ｓ４３：ＹＥＳ）、対象とする音声は、一致するとされた氏名の会議参加者を相手方として、第一参加者によって発せられた音声であると判断される。相手方の会議参加者が第二参加者に相当する。第二参加者が特定された場合、第一作成処理（図１１参照、後述）が実行される（Ｓ４７）。

図１１を参照し、第一作成処理について説明する。第一作成処理では、Ｓ３７又はＳ３９（図１０参照）においてテキストデータが対応付けられた状態の表示画像を構成する撮影画像のうち、第二参加者に相当する部分が特定される。特定された部分にテキストデータの表示枠を対応付けることによって、表示画像が作成される。

図１１に示すように、はじめに、Ｓ３７又はＳ３９（図１０参照）においてテキストデータが対応付けられた状態の表示画像を構成する撮影画像のうち一が選択される（Ｓ６１）。また、ログインテーブル６１１１のうち、Ｓ４３において氏名が一致するとされた第二参加者のユーザＩＤに対応付けられているファイル名が特定される。特定されたファイル名の参加者画像が、参加者画像記憶領域６１２から取得される（取得された参加者画像を「第二参加者画像」という。）。

選択された撮影画像が解析され（Ｓ６３）、第二参加者画像に相当する画像が撮影画像内に含まれているかが判断される（Ｓ６５）。解析の方法は、例えばＳ３１（図９参照）と同様の方法が使用可能である。第二参加者画像に相当する画像が撮影画像内に含まれていると判断された場合（Ｓ６５：ＹＥＳ）、同一であるとされた部分の画像が、第二参加者に相当する部分の画像であると特定される。

上述の処理の結果、第二参加者に相当する部分の画像が特定された場合、第二参加者に相当すると特定された人物画像に、テキストデータを表示する為の表示枠が対応付けられる（Ｓ６７）。本実施の形態では、テキストデータを囲うための吹き出し状の表示枠（図１７等参照）が第二参加者に相当する部分の近傍に配置され、表示枠から延びる三角形部分の先端部分が、第二参加者に相当する部分に重ねられる。表示枠内は所定の色にて着色され、枠内にテキストデータは表示されない。このようにして、表示枠と第二参加者とを対応付ける。その後第一作成処理を終了し、表示画像作成処理（図１０参照）に戻る。

上述の処理の結果、第二参加者に相当する部分の画像が特定されなかった場合（Ｓ６５：ＮＯ）、上述の処理が実行されていない撮影画像が残存するかが判断される（Ｓ６９）。残存する場合（Ｓ６９：ＮＯ）、Ｓ６１に戻り、未処理の撮影画像のうち一が選択されて上述の処理が繰り返し実行される。すべての撮影画像に対して上述の処理が実行された場合（Ｓ６９：ＹＥＳ）、テキストデータを表示する為の表示枠を対応付けることなく第一作成処理を終了し、表示画像作成処理（図１０参照）に戻る。

第一作成処理が終了した後、Ｓ６７（図１１参照）において表示枠が対応付けられた状態の表示画像が会議端末４〜６に対して送信される（Ｓ４９）。そしてＳ１３（図９参照）に戻り、上述の処理が繰り返し実行される。

一方、Ｓ４３において、無音状態となる直前の音声の語彙がログインテーブル６１１１の「氏名」のうちいずれとも一致しない場合（Ｓ４３：ＮＯ）、無音状態となる直前の音声の語彙が、不特定の者を相手方として話しかける場合の語彙（例えば「皆さん」など）であるかが判断される（Ｓ４５）。このような場合、すべての会議参加者を相手方として、第一参加者によって発声された音声であると判断される。なお、不特定者に対する話しかけの語彙は、ＨＤＤ６１のその他の情報記憶領域６１７に予め複数記憶されている。無音状態となる直前の音声の語彙と、その他の情報記憶領域６１７に記憶されている不特定者に対する話しかけの語彙とが一致する場合（Ｓ４５：ＹＥＳ）、第二作成処理（図１２参照）が実行される（Ｓ５１）。

図１２を参照し、第二作成処理について説明する。第二作成処理では、Ｓ３７又はＳ３９（図１０参照）においてテキストデータが対応付けられた状態の表示画像を構成する撮影画像のうち、すべての会議参加者が特定される。特定された部分にテキストデータの表示枠を対応付けることによって、表示画像が作成される。

図１２に示すように、はじめに、Ｓ３７又はＳ３９（図１０参照）においてテキストデータが対応付けられた状態の表示画像を構成する撮影画像のうち一が選択される（Ｓ７１）。選択された撮影画像が解析され、選択された撮影画像に人物画像が含まれているかが判断される（Ｓ７３）。人物画像を選択する方法としては、従来周知の様々な方法が使用可能である。例えば以下の方法が使用可能である。一般的な人物画像の特徴点（形、顔の色、目や鼻などの特徴）を示すパラメータを、ＨＤＤ６１のその他の情報記憶領域６１７に予め記憶する。撮影画像内の特徴部分が抽出される。特徴部分を抽出する為の方法としては、既述のＨａｒｒｉｓオペレータやＳＩＦＴなどのアルゴリズムが使用される。その他の情報記憶領域６１７に記憶された特徴点と、抽出された撮影画像内の特徴点とが比較される。双方が良好に一致する場合に、撮影画像内の特徴点部分にて示される画像が、人物画像として判断される。これらの画像は、撮影画像内に含まれている会議参加者に相当する。

上述の方法によって、撮影画像内に含まれる会議参加者の画像が特定された場合（Ｓ７５：ＹＥＳ）、特定された会議参加者の画像に、テキストデータを表示する為の表示枠が対応付けられる（Ｓ７７）。表示枠の詳細及び対応付けの方法は、Ｓ６７（図１１参照）における表示枠及び対応付け方法と同一である。そしてＳ７９に移行される。一方、撮影画像内に会議参加者の画像が特定されなかった場合（Ｓ７５：ＮＯ）、テキストデータを表示する為の表示枠を対応付けることなくＳ７９に移行される。

Ｓ７９では、Ｓ３７においてテキストデータが対応付けられた状態の表示画像を構成する撮影画像のすべてについて上述の処理が実行されたかが判断される（Ｓ７９）。上述の処理が実行されていない撮影画像が残存する場合（Ｓ７９：ＮＯ）、Ｓ７１に戻り、未処理の撮影画像のうち一が選択されて上述の処理が繰り返し実行される。すべての撮影画像に対して上述の処理が実行された場合（Ｓ７９：ＹＥＳ）、第二作成処理を終了し、表示画像作成処理（図１０参照）に戻る。

第二作成処理が終了した後、Ｓ７７（図１２参照）において表示枠が対応付けられた状態の表示画像が会議端末４〜６に対して送信される（Ｓ４９）。そしてＳ１３（図９参照）に戻り、上述の処理が繰り返し実行される。

図１３を参照し、登録情報受信処理について説明する。登録情報受信処理では、会議端末４〜６から登録情報を受信した場合に、登録情報の内容をログインテーブル６１１１及び参加者画像記憶領域６１２に記憶する。図１３に示すように、登録情報受信処理では、はじめに、会議端末４〜６から登録情報を受信したかが判断される（Ｓ８１）。受信していない場合（Ｓ８１：ＮＯ）、Ｓ８１に戻り、継続して登録情報の受信が監視される。

登録情報を受信した場合（Ｓ８１：ＹＥＳ）、受信した登録情報に含まれている各種情報が、ログインテーブル６１１１及び参加者画像記憶領域６１２に記憶される（Ｓ８３）。具体的には、登録情報に含まれているユーザＩＤ、端末ＩＤ、氏名、及び、参加者画像のファイル名が、ログインテーブル６１１１の「ユーザＩＤ」「端末ＩＤ」「氏名」「ファイル名」として其々記憶される。また、参加者画像記憶領域６１２に参加者画像が記憶される。そしてＳ８１に戻り、上述の処理が繰り返し実行される。

図１４〜図１６を参照し、会議端末４のＣＰＵ２０において実行されるログイン処理について説明する。ログイン処理では、テレビ会議にログインする為の処理が実行される。またログイン後は、カメラ３４によって撮影された撮影画像や、マイク３５を介して入力された音声がＭＣＵ３に対して送信される。また、ＭＣＵ３から受信した表示画像をディスプレイ２８に表示させる。ログイン処理は、会議端末４に電源が投入された場合において、ＣＰＵ２０によって起動され実行される。

図１４に示すように、ログイン処理では、はじめに、ＲＦＩＤリーダ３６を介してＲＦＩＤタグが検出されたかが判断される（Ｓ１０１）。ＲＦＩＤタグを検出していない状態では（Ｓ１０１：ＮＯ）、Ｓ１０１に戻り、ＲＦＩＤタグの監視が継続して実行される。

テレビ会議への参加を希望する者が、所有するＲＦＩＤタグをＲＦＩＤリーダ３６に接触させると、ＲＦＩＤリーダ３６を介してＲＦＩＤタグが検出される（Ｓ１０１：ＹＥＳ）。ＲＦＩＤタグが検出された場合、同時に、ＲＦＩＤタグに記憶されているユーザＩＤが読み出される。次いで、利用者テーブル３１２１が参照され、読み出されたユーザＩＤに対応付けられているファイル名の情報が特定される。特定されたファイル名の利用者画像が、利用者画像記憶領域３１３から取得される（Ｓ１０３）。

複数の利用者が会議端末４からテレビ会議に同時にログインする場合、他の利用者は、続けてＲＦＩＤタグをＲＦＩＤリーダ３６に接触させる。このような場合（Ｓ１０５：ＹＥＳ）、Ｓ１０１に戻り、ＲＦＩＤタグの監視が継続される。一方、ログイン作業を完了させるための操作がキーボード２９を介してされた場合（Ｓ１０５：ＮＯ）、Ｓ１０７に移行される。

Ｓ１０７では、利用者テーブル３１２１が参照され、ＲＦＩＤタグから読みだしたユーザＩＤに対応付けられている氏名が特定される。そして、ＲＦＩＤタグから読み出したユーザＩＤ、特定された氏名、及びＳ１０３において取得された利用者画像が、自身の端末ＩＤとともに登録情報としてＭＣＵ３に対して送信される（Ｓ１０７）。また、ユーザＩＤ、氏名、及び利用者画像のファイル名は、ログインテーブル３１１１に記憶される（Ｓ１０８）。以降、ＲＦＩＤタグを接触させるログイン操作を行った利用者は、テレビ会議に参加可能となる。

次いで、ログイン操作を行いテレビ会議に参加可能となった利用者、即ち会議参加者が、カメラ３４によって撮影された場合の撮影画像のうちどの部分に位置するかを認識する処理（参加者登録処理、図１６参照）が実行される（Ｓ１０９）。

参加者登録処理について、図１６を参照して説明する。参加者登録処理では、はじめに、ログインテーブル３１１１に記憶されている氏名の情報が順に参照される。そして参照された氏名を音声合成により音声データ化し、この氏名の会議参加者を呼び出すための音声データ（例えば「〜さん、返事をしてください。」など）を付加する。このようにして作成された音声データが、スピーカ３７を介して出力される（Ｓ１３１）。

次いで、呼び出し音声（例えば「ＡＡＡＡさん、返事をしてください。」など）に応じ、会議参加者によって発声される音声が監視される。また同時に、カメラ３４によって会議参加者が撮影される。呼び出した会議参加者からの応答がマイク３５を介して検出された場合（Ｓ１３３：ＹＥＳ）、応答時に撮影された会議参加者の撮影画像が画像解析される。そして、撮影画像のうち、呼び出しに対して応答した会議参加者に相当する部分の画像が特定される（Ｓ１３５）。特定された画像位置を示す座標情報が、ログインテーブル３１１１の配置情報として記憶される。そしてＳ１３７に移行される。一方、応答が検出されなかった場合（Ｓ１３３：ＮＯ）、特段処理を行うことなくＳ１３７に移行される。

呼び出しに対して応答した会議参加者に相当する部分の画像の特定は、例えば以下の方法によって行われる。呼び出し音声に対して応答音声を検出した場合における撮影画像が参照される。参照された撮影画像に含まれる人物画像のうち特に口部分の特徴部分が抽出される。特徴部分を抽出する為の方法としては、従来周知の様々な方法（ＨａｒｒｉｓオペレータやＳＩＦＴなど）が使用される。会議参加者が複数である場合には、口部分の特徴部分も複数抽出される。抽出された口部分の特徴部分の動きが認識される。認識された動きの程度が大きい場合に、該当する口部分を備えた者が、呼び出し音声に対して応答音声を発声した会議参加者であると特定される。撮影画像のうち特定された会議参加者に相当する部分の座標情報（例えば口部分の座標情報）が特定される。

Ｓ１３７では、ログインテーブル３１１１に記憶されている会議参加者のすべてに対して、上述の呼び出し音声が出力されたかが判断される（Ｓ１３７）。音声が出力されていない会議参加者が残存する場合（Ｓ１３７：ＹＥＳ）、Ｓ１３１に戻り、残りの会議参加者が参照され、上述の処理が繰り返し実行される。一方、すべての会議参加者に対して上述の呼び出し音声が出力された場合（Ｓ１３７：ＮＯ）、参加者登録処理を終了してログイン処理（図１４参照）に戻る。

なお、呼び出しに対して応答した会議参加者に相当する部分を特定する方法としては、上述の方法に限定されず、他の方法であってもかまわない。例えば以下の方法によって特定してもよい。参加者登録処理が開始された場合に、カメラ３４によって撮影された会議参加者の画像をディスプレイ２８に表示させる。音声合成によって作成した氏名の音声に所定の音声（例えば「〜さん、自分の画像をクリックしてください。」など）が付加される。会議参加者を呼び出すための音声（例えば、「ＡＡＡＡさん、自分の画像をクリックしてください。」など。）がスピーカ３７を介して出力される。呼び出された会議参加者によってマウス２７が操作され、画像内の特定部分が選択される。選択された部分が、撮影画像のうち呼び出された会議参加者に相当する部分の座標情報として特定される。特定された座標情報は、ログインテーブル３１１１の配置情報として記憶される。

また例えば、以下の方法によって特定してもよい。マイク３５として、入力される音声の到来方向を特定することが可能な、指向性の高いマイクを使用する。特定の氏名の者を呼び出すための音声（例えば「ＡＡＡＡさん、返事をしてください。」など。）がスピーカ３７を介して出力される。呼び出し音声に対して応答音声を検出した場合、検出された音声の到来方向がマイク３５によって特定される。特定された到来方向が、撮影画像のうち呼び出された会議参加者に相当する部分の配置情報として特定される。特定された配置情報は、ログインテーブル３１１１の配置情報として記憶される。

参加者登録処理が終了すると、ログイン処理では、図１５に示すように、カメラ３４によって撮影された撮影画像が取得される（Ｓ１１１）。取得された撮影画像は、撮影画像記憶領域３１４に記憶される。続いて、マイク３５からの入力音声が監視される。マイク３５を介して音声が入力されていない場合（Ｓ１１３：ＮＯ）、そのままＳ１１７に移行される。マイク３５を介して音声が入力された場合（Ｓ１１３：ＹＥＳ）、入力された音声が取得される。取得された音声は、音声記憶領域３１５に記憶される。また、音声取得時における撮影画像に基づいて、音声を発声した第一参加者が特定される（Ｓ１１５）。そしてＳ１１７に移行される。

第一参加者の特定は、例えば以下の方法によって行われる。音声取得時における撮影画像が参照される。参照された撮影画像に含まれる人物画像のうち特に口部分の特徴部分が抽出される。抽出された口部分の特徴部分の動きが認識される。認識された動きの程度が大きい場合に、該当する口部分の位置を示す座標情報が特定される。ログインテーブル３１１１の配置情報が参照され、上述において特定された口部分の座標情報に最も近い配置情報が選択される。ログインテーブル３１１１のうち、選択された配置情報に対応付けられているユーザＩＤが、音声を発声した第一参加者のユーザＩＤとして特定される。特定されたユーザＩＤは、入力された音声に対応付けられ音声記憶領域３１５に記憶される。

なお本発明は上述の第一参加者の特定方法に限定されない。例えば、従来周知の話者認識技術を利用し、第一参加者を特定してもよい。

Ｓ１１７では、撮影画像記憶領域３１４に記憶された状態の撮影画像を含む通信データが、ＭＣＵ３に対して送信される。また、音声記憶領域３１５に音声が記憶されている場合には、音声と、音声を発声した第一参加者のユーザＩＤとを含む通信データが、ＭＣＵ３に対して送信される（Ｓ１１７）。

次いで、ＭＣＵ３において作成され送信される表示画像を受信したかが判断される（Ｓ１１９）。表示画像を受信した場合（Ｓ１１９：ＹＥＳ）、受信した表示画像をディスプレイ２８に表示させる（Ｓ１２１）。そしてＳ１２３に移行される。表示画像を受信していない場合（Ｓ１１９：ＮＯ）、ディスプレイ２８への表示処理を行うことなくＳ１２３に移行される。

Ｓ１２３では、テレビ会議を終了させるための操作が会議参加者によってキーボード２９やマウス２７を介して行われたかが判断される（Ｓ１２３）。操作が行われた場合（Ｓ１２３：ＹＥＳ）テレビ会議からログアウトする為に必要な処理（ＭＣＵ３への通知など）を行った後、Ｓ１０１（図１４参照）に戻る。そして上述の処理が繰り返し実行される。

テレビ会議を終了させるための操作が行われていない場合（Ｓ１２３：ＮＯ）、前回ＭＣＵ３に対して撮影画像や音声を送信してから所定時間（例えば１ｍｓ）が経過しているかが判断される（Ｓ１２５）。所定時間が経過していない場合（Ｓ１２５：ＮＯ）、Ｓ１１９に戻り、表示画像の受信監視及び表示制御、テレビ会議を終了させるための操作の有無の監視等が継続して実行される。所定時間が経過した場合（Ｓ１２５：ＹＥＳ）、Ｓ１１１に戻る。そして上述の処理が繰り返し実行される。これによって、所定の周期で繰り返し撮影画像及び音声がＭＣＵ３に対して送信される。

図１７及び図１８を参照し、Ｓ１２１（図１５参照）において、会議端末４〜６のディスプレイ２８に表示される表示画像の一例について説明する。図１７では、図１にて示されるように、ＡＡＡＡさん８１、ＢＢＢＢさん８２（以上、会議端末４使用）、ＣＣＣＣさん８３、ＤＤＤＤさん８４、ＥＥＥＥさん８５（以上、会議端末５使用）、ＦＦＦＦさん８６（会議端末６使用）がテレビ会議にログインしている状態において、会議端末４のディスプレイ２８に表示される表示画像の一例が示されている。表示領域を四分割した場合の左上の領域に、会議端末４において撮影された撮影画像７１が表示されている。右上の領域に、会議端末５において撮影された撮影画像７２が表示されている。左下の領域に、会議端末６において撮影された撮影画像７３が表示されている。

表示画像には、会議参加者の其々が発声した音声の語彙を表現するテキストデータ（９２、９３等）が、各会議参加者に対応づけられて示されている。会議端末６において撮影された撮影画像７３に含まれているＦＦＦＦさん８６には、「・・・・「ＡＡＡＡさん」」というテキストデータ９３が対応付けられている。このテキストデータは、ＦＦＦＦさん８６が、ＡＡＡＡさん８１を相手方として音声を発声していることを示している。言い換えれば、第一参加者がＦＦＦＦさん８６であることを示している。

これに対し、会議端末４において撮影された撮影画像７１に含まれるＡＡＡＡさん８１には、所定の色で着色された状態のテキストデータの表示枠９１が対応付けられている。このテキストデータは、いずれかの会議参加者が、ＡＡＡＡさん８１を相手方として音声を発声していることを示している。言い換えれば、第二参加者がＡＡＡＡさん８１であることを示している。

会議参加者は、会議参加者に対応付けられたテキストデータ（９２、９３等）を参照することによって、テレビ会議における過去の音声履歴を参照することが可能となる。また、第二参加者（ＡＡＡＡさん８１）に、所定の表示枠９１が対応付けられる。これによって会議参加者は、スピーカ３７から出力される音声が、ＡＡＡＡさん８１に対して発声されたものであることを容易に特定することが可能となる。

また図１８に示す例では、会議端末６において撮影された撮影画像７３に含まれているＦＦＦＦさん８６には、「・・・・「皆さん」」というテキストデータ９７が対応付けられている。このテキストデータは、ＦＦＦＦさん８６が、他の会議参加者全員を相手方として音声を発生していることを示している。

これに対し、テレビ会議に参加する他のすべての会議参加者（ＡＡＡＡさん８１、ＢＢＢＢさん８２、ＣＣＣＣさん８３、ＤＤＤＤさん８４、ＥＥＥＥさん８５）には、所定の色で着色されたテキストデータの表示枠９４、９８、９５、９９、９６が対応付けられている。このテキストデータは、ＦＦＦＦさん８６を除く全ての会議参加者を相手方として音声を発生していることを示している。言い換えれば、「ＦＦＦＦ」を除くすべての会議参加者が第二参加者であることを示している。

以上のように、特定の会議参加者（ＦＦＦＦさん８６）によって発声された音声が、会議参加者の全てを相手方とした音声である場合には、会議参加者（ＡＡＡＡさん８１、ＢＢＢＢさん８２、ＣＣＣＣさん８３、ＤＤＤＤさん８４、ＥＥＥＥさん８５）に表示枠（９４、９５、９６等）が対応付けられる。これによって、ＦＦＦＦさん８６から出力された音声が、他の会議参加者の全てに対して発声されたものであることを容易に特定することが可能となる。

以上説明したように、ＭＣＵ３では、会議参加者の発話内容が音声認識によってテキストデータ化される。発話した会議参加者の画像にテキストデータが対応付けられる。また会話の相手方となる会議参加者（第二参加者）の画像に、テキストデータの表示枠が対応付けられる。対応付けられた状態の表示画像が会議端末４〜６に送信され、会議端末４〜６のディスプレイ２８に表示される。これによって会議参加者は、発話者と音声履歴とを対応付けて認識することができる。また会議参加者は、テレビ会議における会話の相手方を容易に特定することが可能となる。

なお、本発明は上記実施の形態に限定されるものではなく、種々の変更が可能である。本実施の形態では、第二参加者の画像に表示枠を対応付けることによって、会話相手方の会議参加者を特定可能としていた。しかしながら本発明はこの方法に限定されない。以下、本発明の変形例について説明する。

本発明の変形例における第一作成処理について、図１９を参照して説明する。変形例における第一作成処理では、第一参加者の画像にテキストデータを対応付けるとともに、第一参加者の画像に第二参加者の画像を対応付け、表示画像を作成する。なお、テレビ会議システム１の構成、ＭＣＵ３及び会議端末４〜６の電気的構成、ＭＣＵ３のＣＰＵ５０において実行される登録情報受信処理、第一作成処理を除く表示画像作成処理、会議端末４〜６のＣＰＵ２０において実行されるログイン処理については、上述の実施の形態と同様であるので、以下においては説明を省略している。

変形例における第一作成処理では、図１９に示すように、ログインテーブル６１１１が参照される。そして、Ｓ４３（図１０参照）において特定された第二参加者のユーザＩＤに対応付けられているファイル名が特定される。特定されたファイル名の参加者画像である第二参加者画像が、参加者画像記憶領域６１２から取得される（Ｓ１５１）。

次いで、Ｓ３７又はＳ３９（図１０参照）においてテキストデータが対応付けられた第一参加者の画像に、取得された第二参加者画像が対応付けられる（Ｓ１５３）。本実施の形態では、対応付けられたテキストデータの表示枠の余白部分に、第二参加者画像が配置されることによって、第一参加者の画像に第二参加者画像が対応付けられる。表示枠の余白内に第二参加者画像が収まるように、第二参加者画像の大きさが適宜変形される。そして第一作成処理を終了し、表示画像作成処理（図１０参照）に戻る。

図２０を参照し、変形例における第一作成処理の結果作成された表示画像が、会議端末４のディスプレイ２８に表示された場合の表示態様の一例について説明する。図２０に示すように、表示画像には、会議参加者の其々が発声した音声の語彙を表現するテキストデータ（１０１、１０２、１０３等）が各会議参加者に対応付けられて表示されている。会議端末６において撮影された撮影画像７３に含まれているＦＦＦＦさん８６には、「・・・・「ＡＡＡＡさん」」というテキストデータ１０４が対応付けられている。このテキストデータは、ＦＦＦＦさん８６が、ＡＡＡＡさん８１を相手方（第二参加者）として音声を発声していることを示している。言い換えれば、第一参加者がＦＦＦＦさん８６であることを示している。

また、上述のテキストデータ１０４の余白部分に、ＡＡＡＡさん８１の参加者画像１０５が挿入されている。この参加者画像１０５は、テキストデータ１０４がＡＡＡＡさん８１を相手方として発声された音声に基づくことを示している。言い換えれば、第二参加者がＡＡＡＡさん８１であることを示している。

以上説明したように、変形例では、第二参加者の画像が第一参加者に対応付けられ、表示画像が作成される。会議参加者は、第一参加者に対応付けられた第二参加者の画像を視認することによって、テキストデータが何れの会議参加者に対して発声された音声に基づくかを容易に特定することが可能となる。

なお、図９のＳ１３の処理を行うＣＰＵ５０が本発明の「画像受信手段」に相当し、Ｓ１７の処理を行うＣＰＵ５０が本発明の「音声受信手段」に相当する。図３の撮影画像記憶領域６１４、及び、音声記憶領域６１５を備えたＨＤＤ６１が本発明の「第一記憶手段」に相当する。図９のＳ２７の処理を行うＣＰＵ５０が本発明の「音声認識手段」に相当し、Ｓ２９の処理を行うＣＰＵ５０が本発明の「テキスト作成手段」に相当する。図１０のＳ３５の処理を行うＣＰＵ５０が本発明の「相手特定手段」に相当する。図９のＳ２３、図１０のＳ３７、Ｓ３９、Ｓ４７、Ｓ５１の処理を行うＣＰＵ５０が本発明の「画像作成手段」に相当し、Ｓ４９の処理を行うＣＰＵ５０が本発明の「送信手段」に相当する。図３の参加者画像記憶領域６１２を備えたＨＤＤ６１が本発明の「第二記憶手段」に相当する。図１１のＳ６１、及び図１２のＳ７１の処理を行うＣＰＵ５０が本発明の「選択手段」に相当する。図５のカメラ３４が本発明の「撮影手段」に相当し、マイク３５が本発明の「音声入力手段」に相当する。図１５のＳ１１７の処理を行うＣＰＵ２０が本発明の「端末第一送信手段」「端末第二送信手段」に相当し、Ｓ１１９の処理を行うＣＰＵ２０が本発明の「端末受信手段」に相当し、Ｓ１２１の処理を行うＣＰＵ２０が本発明の「表示制御手段」に相当する。

なお、図９のＳ１３の処理が本発明の「画像受信ステップ」に相当し、Ｓ１７の処理が本発明の「音声受信ステップ」に相当する。図９のＳ２７の処理が本発明の「音声認識ステップ」に相当し、Ｓ２９の処理が本発明の「テキスト作成ステップ」に相当する。図９のＳ３５の処理が本発明の「相手特定ステップ」に相当する。Ｓ図９の２３、図１０のＳ３７、Ｓ３９、Ｓ４７、Ｓ５１の処理が本発明の「画像作成ステップ」に相当し、Ｓ４９の処理が本発明の「送信ステップ」に相当する。

なお、本発明は上記実施の形態に限定されるものではなく、種々の変更が可能である。上述の実施の形態では、第二参加者にテキストデータの表示枠を対応付けることによって、第二参加者を特定可能としていた。しかしながら本発明はこの方法に限定されない。第二参加者を特定可能であれば、他の表示態様（矢印など）を第二参加者に対応付けることによって、第二参加者を特定可能としてもかまわない。

上述の実施の形態では、第二参加者に対応付けるテキストデータの表示枠は、テキストデータを含まない構成とした。しかしながら本発明はこの構成に限定されない。テキストデータを含む表示枠であってもかまわない。また上述の実施の形態では、第二参加者に対応付けるテキストデータの表示枠は、所定の色で着色された構成であった。しかしながら本発明はこの構成に限定されない。例えば、表示枠を太くする等によって、他の表示枠と区別できるような構成としてもかまわない。

上述の変形例では、第二参加者画像を第一参加者に対応付けることによって、第一参加者及び第二参加者を特定容易としていた。しかしながら本発明はこの方法に限定されない。例えば、第二参加者が映し出されている撮影画像を第一参加者に対応付けてもよい。撮影画像に複数の会議参加者が映し出されている場合、撮影画像を解析することによって第二参加者を特定し、特定された第二参加者を識別するための表示（矢印や、第二参加者を線で囲む等）を第二参加者に付加することによって、撮影画像のうち第二参加者を特定してもよい。この方法によっても、第二参加者画像を直接第一参加者に対応付けた場合と同様の効果を奏することが可能である。

１ テレビ会議システム
３ ＭＣＵ
４，５，６ 会議端末
２８ ディスプレイ
２０、５０ ＣＰＵ
３１、６１ ＨＤＤ
３４ カメラ
３５ マイク

Claims (9)

1. 複数の会議端末間の通信を制御することによって、前記会議端末を使用する会議参加者間で行われるテレビ会議を支援する会議支援装置であって、
   前記複数の会議端末の撮影手段によって撮影された撮影画像であって、少なくとも一名の前記会議参加者が撮影された撮影画像を、前記会議端末から受信する画像受信手段と、
   前記複数の会議端末のうち少なくとも一の前記会議端末である第一会議端末の音声入力手段から入力される音声であって、前記第一会議端末を使用する前記会議参加者である第一参加者によって発話された音声を、前記第一会議端末から受信する音声受信手段と、
   前記画像受信手段によって受信された前記撮影画像、及び、前記音声受信手段によって受信された前記音声を記憶する第一記憶手段と、
   前記第一記憶手段に記憶された前記音声を認識する音声認識手段と、
   前記音声認識手段によって認識された結果に基づいて、前記音声に含まれる語彙を表現するテキストデータを作成するテキスト作成手段と、
   前記音声認識手段によって認識された結果に基づいて、前記音声が発話された相手方の前記会議参加者である第二参加者を特定する相手特定手段と、
   前記会議端末の表示手段に表示させる表示画像であって、前記第一記憶手段に記憶された前記撮影画像から構成され、前記撮影画像のうち前記第一参加者に相当する部分に、前記テキスト作成手段によって作成された前記テキストデータが対応付けられ、且つ、前記撮影画像のうち前記第一参加者、及び、前記相手特定手段によって特定された前記第二参加者のうち少なくとも一方に相当する部分に、所定の画像が対応付けられた前記表示画像を作成する画像作成手段と、
   前記画像作成手段によって作成された前記表示画像を前記複数の会議端末の前記表示手段に表示させるために、前記表示画像を前記複数の会議端末に送信する送信手段と
   を備えた会議支援装置。
2. 前記画像作成手段は、
   前記テキストデータを表示させる表示枠を前記所定の画像として、前記撮影画像のうち前記第二参加者に相当する部分に対応づけることによって、前記表示画像を作成することを特徴とする請求項１に記載の会議支援装置。
3. 前記相手特定手段は、
   前記音声認識手段によって認識された結果が所定の語彙を含む場合に、すべての前記会議参加者を前記第二参加者として特定し、
   前記画像作成手段は、
   前記相手特定手段において、すべての前記会議参加者が前記第二参加者として特定された場合には、前記撮影画像のうちすべての前記会議参加者に相当する部分に前記所定の画像を対応付けることによって、前記表示画像を作成することを特徴とする請求項１又は２に記載の会議支援装置。
4. 前記会議参加者の画像である参加者画像を、前記会議参加者を特定する属性情報に対応付けて記憶する第二記憶手段を備え、
   前記音声受信手段は、
   前記音声とともに、前記音声を発声した前記第一参加者の前記属性情報を受信し、
   前記画像作成手段は、
   前記第二記憶手段に記憶されている前記参加者画像のうち、前記音声受信手段によって受信された前記属性情報と同一の前記属性情報に対応付けられた前記参加者画像に基づいて、前記撮影画像のうち前記第一参加者に相当する部分を特定し、特定された部分に前記テキストデータを対応付けることによって前記表示画像を作成することを特徴とする請求項１乃至３のいずれかに記載の会議支援装置。
5. 前記会議参加者の画像である参加者画像を、前記会議参加者を特定する属性情報に対応付けて記憶する第二記憶手段と、
   前記第二記憶手段に記憶された前記参加者画像のうち、前記相手特定手段によって特定された前記第二参加者の前記属性情報に対応付けられた前記参加者画像を第二参加者画像として選択する選択手段を備え、
   前記画像作成手段は、
   前記撮影画像のうち前記第一参加者に相当する部分に前記テキストデータが対応付けられ、且つ、前記選択手段によって選択された前記第二参加者画像を前記所定の画像として、前記撮影画像のうち前記第一参加者に相当する部分に対応付けることによって、前記表示画像を作成することを特徴とする請求項１に記載の会議支援装置。
6. 前記音声受信手段は、
   前記音声とともに、前記音声を発声した前記第一参加者の前記属性情報を受信し、
   前記画像作成手段は、
   前記第二記憶手段に記憶されている前記参加者画像のうち、前記音声受信手段によって受信された前記属性情報と同一の前記属性情報に対応付けられた前記参加者画像に基づいて、前記撮影画像のうち前記第一参加者に相当する部分を特定し、特定された部分に前記テキストデータを対応付け、前記選択手段によって選択された前記第二参加者画像を前記所定の画像として、前記撮影画像のうち前記第一参加者に相当する部分に対応付けることによって、前記表示画像を作成することを特徴とする請求項５に記載の会議支援装置。
7. 複数の会議端末間の通信を制御することによって、前記会議端末を使用する会議参加者間で行われるテレビ会議を支援する会議支援方法であって、
   前記複数の会議端末の撮影手段によって撮影された撮影画像であって、少なくとも一名の前記会議参加者が撮影された撮影画像を前記会議端末から受信する画像受信ステップと、
   前記複数の会議端末のうち少なくとも一の前記会議端末である第一会議端末の音声入力手段から入力される音声であって、前記第一会議端末を使用する前記会議参加者である第一参加者によって発話された音声を、前記第一会議端末から受信する音声受信ステップと、
   前記音声受信ステップにおいて受信され、第一記憶手段に記憶された前記音声を認識する音声認識ステップと、
   前記音声認識ステップによって認識された結果に基づいて、前記音声に含まれる語彙を表現するテキストデータを作成するテキスト作成ステップと、
   前記音声認識ステップによって認識された結果に基づいて、前記音声が発話された相手方の前記会議参加者である第二参加者を特定する相手特定ステップと、
   前記会議端末の表示手段に表示させる表示画像であって、前記画像受信ステップにおいて受信され、前記第一記憶手段に記憶された前記撮影画像から構成され、前記撮影画像のうち前記第一参加者に相当する部分に、前記テキスト作成ステップによって作成された前記テキストデータが対応付けられ、且つ、前記撮影画像のうち前記第一参加者、及び、前記相手特定ステップによって特定された前記第二参加者のうち少なくとも一方に相当する部分に、所定の画像が対応付けられた前記表示画像を作成する画像作成ステップと、
   前記画像作成ステップによって作成された前記表示画像を前記複数の会議端末の前記表示手段に表示させるために、前記表示画像を前記複数の会議端末に送信する送信ステップと
   を備えた会議支援方法。
8. 複数の会議端末と、前記複数の会議端末間の通信を制御する会議支援装置とを少なくとも含む会議システムであって、
   前記会議支援装置は、
   前記複数の会議端末の撮影手段によって撮影された撮影画像であって、少なくとも一名の前記会議参加者が撮影された撮影画像を前記会議端末から受信する画像受信手段と、
   前記複数の会議端末のうち少なくとも一の前記会議端末である第一会議端末の音声入力手段から入力される音声であって、前記第一会議端末を使用する前記会議参加者である第一参加者によって発話された音声を、前記第一会議端末から受信する音声受信手段と、
   前記画像受信手段によって受信された前記撮影画像、及び、前記音声受信手段によって受信された前記音声を記憶する第一記憶手段と、
   前記第一記憶手段に記憶された前記音声を認識する音声認識手段と、
   前記音声認識手段によって認識された結果に基づいて、前記音声に含まれる語彙を表現するテキストデータを作成するテキスト作成手段と、
   前記音声認識手段によって認識された結果に基づいて、前記音声が発話された相手方の前記会議参加者である第二参加者を特定する相手特定手段と、
   前記会議端末の表示手段に表示させる表示画像であって、前記第一記憶手段に記憶された前記撮影画像から構成され、前記撮影画像のうち前記第一参加者に相当する部分に、前記テキスト作成手段によって作成された前記テキストデータが対応付けられ、且つ、前記撮影画像のうち前記第一参加者、及び、前記相手特定手段によって特定された前記第二参加者のうち少なくとも一方に相当する部分に、所定の画像が対応付けられた前記表示画像を作成する画像作成手段と、
   前記画像作成手段によって作成された前記表示画像を前記複数の会議端末の前記表示手段に表示させるために、前記表示画像を前記複数の会議端末に送信する送信手段と
   を備え、
   前記会議端末は、
   前記撮影手段によって撮影された前記撮影画像を前記会議支援装置に対して送信する端末第一送信手段と、
   前記音声入力手段から入力された前記音声を前記会議支援装置に対して送信する端末第二送信手段と、
   前記端末第一送信手段によって送信された前記撮影画像、及び、前記端末第二送信手段によって送信された前記音声に基づいて、前記会議支援装置において作成される前記表示画像を受信する端末受信手段と、
   前記端末受信手段において受信された前記表示画像を前記表示手段に表示させる表示制御手段と
   を備えた会議システム。
9. 請求項１乃至６のいずれかに記載の会議支援装置の各処理手段としてコンピュータを機能させるための会議支援プログラム。

Images