JP2009089324A - テレビ会議システムおよびプログラム、記録媒体 - Google Patents

Abstract

【課題】遠隔地の参加者と会議室の参加者との顔向きを互いに一致させることができ、１対多人数のテレビ会議を円滑に進めることが可能なテレビ会議システムおよびプログラム、記録媒体を提供する。
【解決手段】画像と音声の情報の入出力を制御するための端末制御部１０と、会議室参加者を撮影した映像から会議室に設置の映像表示装置に向いた会議室参加者の角度を特定して会議室参加者情報を作成するための会議室参加者情報作成部２と、撮影した映像における遠隔参加者が向いている相手の会議室参加者を特定して遠隔参加者情報を作成するための遠隔参加者情報作成部３と、遠隔参加者が向いている相手の会議室参加者の方向の角度と一致するように遠隔参加者の画像を画像変換するための遠隔参加者画像変換部４と、会議室参加者情報作成部２と、遠隔参加者情報作成部３と、遠隔参加者画像変換部４と、がそれぞれ作成した情報を記憶するための記憶装置５を備える。
【選択図】図１

Description

本発明は、遠隔地との間で映像と音声を伝達して会議を行うテレビ会議システムおよびプログラム、記録媒体に関する。

会議の参加者が遠隔地にいて、同じ会議室に集まることができない状況において、会議を行うことを可能にするテレビ会議システムが利用されている。テレビ会議システムは、相手の姿を映すモニタ、自分の姿を撮影するカメラ、音声を入力するマイク、音声を出力するスピーカおよびヘッドホン、映像および音声を遠隔地に伝達するための通信装置から構成されている。

テレビ会議システムの中には、これらの構成をすべて備えたものもあれば、構成の一部に外部機器を想定しているものもある。例えば、モニタを備えていないテレビ会議システムは、参加者が別に用意したモニタを接続して使うことを想定している。

近年では、専用のテレビ会議システム以外の機器でテレビ会議を行うことも可能になっている。ひとつには、遠隔地に離れた者同士が映像コミュニケーションを行うための、個人向けテレビ電話装置を用いることがある。また、ＰＣにＷｅｂカメラ、マイク、ヘッドホンを接続して、テレビ会議ソフトウェアを用いてテレビ会議を行うことも可能である。個人向けテレビ電話装置やＰＣは、専用のテレビ会議システムよりも安価で供給されており、テレビ会議を経済的に行うことが可能となっている。

以上の背景から、テレビ会議の各拠点が、すべて同じ機器構成のテレビ会議システムを用いることは少なくなっており、各拠点が異なった機器を用いる形態が一般的になっている。

図１４は、テレビ会議装置を利用して行う、１人対多人数のテレビ会議の様子の一例を示す図である。

この図１４において、遠隔地と会議室の双方にテレビ会議装置が設置されている。遠隔側のテレビ会議装置ＴＶＣＯＮＦ（１）において、撮像装置ＣＡＭ（１）は遠隔参加者Ｍ（０）を撮影する。撮像装置によって撮影された遠隔側の映像はテレビ会議装置ＴＶＣＯＮＦ（１）からネットワークを経由して、会議室参加者側のテレビ会議装置ＴＶＣＯＮＦ（２）に送信される。

テレビ会議装置ＴＶＣＯＮＦ（２）は受信した映像を映像表示装置ＭＯＮ（２）に表示する。また、会議室参加者側のテレビ電話装置ＴＶＣＯＮＦ（２）において、撮像装置ＣＡＭ（２）は会議室参加者Ｍ（１）、Ｍ（２）、Ｍ（３）の様子を撮影する。撮像装置ＣＡＭ（２）によって撮影された会議室の映像は、テレビ会議装置ＴＶＣＯＮＦ（２）からネットワークを経由して、遠隔参加者側のテレビ会議装置ＴＶＣＯＮＦ（１）に送信される。遠隔参加者側のテレビ会議装置は受信した映像信号を表示ディスプレイＭＯＮ（１）に表示する。以上の処理により、遠隔参加者Ｍ（０）と会議室参加者Ｍ（１）、Ｍ（２）、Ｍ（３）はお互いの様子を目視しながらコミュニケーションをとることができる。

ところで、上述のようなテレビ会議において、遠隔参加者と会議室参加者のうちの一人が会話をするとき、会議室参加者は、表示ディスプレイＭＯＮ（２）に映し出された遠隔参加者を注視する。一方で、遠隔参加者は、表示ディスプレイＭＯＮ（１）に表示された会議室参加者の中から、議論の相手である特定の１名を注視する。このとき、会議室参加者の姿は、表示ディスプレイＭＯＮ（１）の画面サイズによって縮尺が変わるため、表示ディスプレイＭＯＮ（１）に実寸で表示されることはまれである。このため、遠隔参加者が、会議室参加者を注視する顔の向きは、会議室におけるテレビ会議装置ＴＶＣＯＮＦ（１）の位置から、実際に会議室参加者を見る場合の向きとずれてしまう。表示ディスプレイＭＯＮ（２）には、会議室参加者の本来の向きとずれた方向を向いた遠隔参加者の顔画像が表示されるため、議論の相手となっている会議室参加者にとっては、遠隔参加者が自身を向いていないことに違和感が生まれ、会話が円滑に進められないという問題がある。

上記の問題点を解決するため、１対多のテレビ会議において、参加者同士の顔の向きを一致させる方法として、遠隔参加者の周囲を、会議室参加者の人数分の台数の撮像カメラと、撮像カメラと同数の表示スクリーンで取り囲む構成を採用している装置がある。この装置では表示スクリーン１枚につき１人の会議室参加者を表示し、また、表示スクリーンに対応して撮像カメラを配置している。これにより、遠隔参加者がどの会議室参加者に注視したときにも、遠隔参加者を正面から撮像した映像を会議室参加者に提供することができる（特許文献１参照）。
特開２００５−３２８４６１

しかしながら、このような既存の装置では、遠隔参加者を取り囲む表示スクリーンを設置する空間を必要とするため現実的でない。また、多数の撮像カメラと表示スクリーンを必要とするため、不経済である。

本発明の目的は、遠隔地の参加者と会議室の参加者との顔向きを互いに一致させることができ、１対多人数のテレビ会議を円滑に進めることが可能なテレビ会議システムおよびプログラム、記録媒体を提供することにある。

上記課題を解決するために、本願発明のテレビ会議システムは、遠隔地に居る遠隔参加者と会議室に居る会議室参加者が画像と音声を情報通信網を介して会議を行うためのテレビ会議システムにおいて、前記画像と前記音声を入出力するための、入力装置と、撮像装置と、映像表示装置と、送受信装置と、が接続されて前記画像と前記音声の情報の入出力を制御するための端末制御部と、前記会議室参加者を撮影した映像から前記会議室に設置の前記映像表示装置に向いた前記会議室参加者の角度を特定して会議室参加者情報を作成するための会議室参加者情報作成部と、撮影した映像における前記遠隔参加者が向いている相手の前記会議室参加者を特定して遠隔参加者情報を作成するための遠隔参加者情報作成部と、前記遠隔参加者が向いている相手の前記会議室参加者の方向の角度と一致するように前記遠隔参加者の画像を画像変換するための遠隔参加者画像変換部と、前記会議室参加者情報作成部と、前記遠隔参加者情報作成部と、前記遠隔参加者画像変換部と、がそれぞれ作成した情報を記憶するための記憶装置と、を備える。

また、本願発明のテレビ会議システムの会議室参加者情報作成部は、前記撮像装置によって撮影された入力映像の１フレーム分の静止画像から前記会議室参加者のそれぞれに対応する画像領域を抽出するための発言対象領域抽出部と、会議室参加者・画像領域対応表に基づいて会議室参加者それぞれに対する前記撮像装置の焦点距離を求めるための発言対象焦点距離測定部と、前記会議室参加者・画像領域対応表に基づいて前記映像表示装置に対する前記会議室参加者ごとの方向の角度を発言対象角度として算出するための発言対象角度算出部と、を備える。

また、本願発明のテレビ会議システムの遠隔参加者情報作成部は、会議室参加者・画像領域対応表から正規化された画像領域を取得し、前記会議室側参加者を示す画像領域を作成して注視指示点を作成するための注視指示点作成部と、静止画像から顔特徴点を抽出するための顔特徴点抽出部と、参加者ＩＤと、この参加者ＩＤに対応する顔特徴点と、から顔特徴点・発言対象対応表を作成するための顔特徴点・発言対象対応表作成部と、正面顔特徴点に基づいて発言対象・目標顔特徴点対応表を作成するための目標顔特徴点作成部と、を備える。

また、本願発明のテレビ会議システムの遠隔参加者画像変換部は、入力された静止画像から目および口を顔特徴点として検出して顔特徴点・発言対象対応表を作成し出力するための顔特徴点抽出部と、前記顔特徴点・発言対象対応表から対象特徴点を取得して、入力顔特徴点と対象特徴点との類似度を比較し、もっとも類似度が高い前記対象特徴点をもつ発言対象を発言対象として特定するための発言対象特定部と、発言対象・目標顔特徴点対応表を取得して、発言対象の参加者ＩＤに対応する目標顔特徴点を画像変換パラメタとして取得するための画像変換パラメタ作成部と、入力映像に対して平面射影変換行列を適用して得た出力映像を送信装置に出力するための画像変換部と、を備える。

また、本願発明のテレビ会議システムの記憶装置は、前記会議室参加者・角度対応表を記憶するための会議室参加者・角度対応表記憶部と、前記焦点距離・画角対応表を記憶するための焦点距離・画角対応表記憶部と、前記会議室参加者・画像領域対応表を記憶するための会議室参加者・画像領域対応表記憶部と、前記発言対象・目標顔特徴点対応表を記憶するための発言対象・目標顔特徴点対応表記憶部と、前記顔特徴点・発言対象対応表を記憶するための顔特徴点・発言対象対応表記憶部と、を備える。

また、本願発明のテレビ会議プログラムは、遠隔地に居る遠隔参加者と会議室に居る会議室参加者が画像と音声を情報通信網を介して会議を行うためにコンピュータにインストールして実行可能なテレビ会議プログラムであって、端末制御部において前記画像と前記音声を入出力するための、入力装置と、撮像装置と、映像表示装置と、送受信装置と、が接続されて前記画像と前記音声の情報の入出力を制御するステップと、会議室参加者情報作成部において前記会議室参加者を撮影した映像から前記会議室に設置の前記映像表示装置に向いた前記会議室参加者の角度を特定して会議室参加者情報を作成するステップと、遠隔参加者情報作成部において撮影した映像における前記遠隔参加者が向いている相手の前記会議室参加者を特定して遠隔参加者情報を作成するステップと、遠隔参加者画像変換部において前記遠隔参加者が向いている相手の前記会議室参加者の方向の角度と一致するように前記遠隔参加者の画像を画像変換するステップと、前記記憶装置において前記会議室参加者情報作成部と、前記遠隔参加者情報作成部と、前記遠隔参加者画像変換部と、がそれぞれ作成した情報を記憶するステップと、して前記コンピュータにおいて実行する。

また、本願発明のテレビ会議プログラムを記録した記録媒体は、請求項６に記載のテレビ会議プログラムを記録した記録媒体である。

本発明は、遠隔地の参加者と会議室の参加者との顔向きを互いに一致させることができ、１対多人数のテレビ会議を円滑に進めることが可能なテレビ会議システムおよびプログラム、記録媒体を提供することができる。

本発明では、遠隔参加者を撮影した映像から、遠隔参加者が発言の対象としている会議室参加者を特定する。そして、対象とする会議室参加者の本来の方向を向いているように、遠隔参加者の映像を変換し、会議室側のテレビ会議装置に表示する。画像認識と画像変換によって参加者の顔向きを一致させるため、大きな空間や大規模な設備を必要とせず、経済的に顔向きの一致を実現することができる。

本発明のテレビ会議装置を用いたテレビ会議の全体の流れについて説明する。まず、参加者は、自身が遠隔参加者か会議室参加者かを、テレビ会議装置に伝える。テレビ会議装置は、参加者の種類に応じて、顔向き一致を実現するために必要な準備を行う。そして、準備がすべて完了した後、テレビ会議を開始する。テレビ会議の最中は、遠隔参加者の映像に、画像認識と画像変換を行い、会議室参加者との顔向きを一致させる。

図１に本発明のテレビ会議システムの実施の形態に係る構成図を示す。この図１には、テレビ会議システムを構成するために、中央制御処理装置１と、記憶装置５と、中央制御処理装置１に接続された入力装置１１と、撮像装置１２と、映像表示装置１３と、送受信装置１４と、が示されている。

中央制御装置１は、端末制御部１０と、会議室参加者情報作成部２と、遠隔参加者情報作成部３と、遠隔参加者画像変換部４と、から構成されている。会議室参加者情報作成部２は、発言対象領域抽出部２１と、発言対象焦点距離測定部２２と、発言対象角度算出部２３と、から構成されている。また、遠隔参加者情報作成部３は、注視指示点作成部３１と、顔特徴点抽出部３２と、顔特徴点・発言対象対応表作成部３３と、目標顔特徴点作成部３４と、から構成されている。そして、遠隔参加者情報変換部４は、顔特徴点抽出部３２と、発言対象特定部４１と、画像変換パラメタ作成部４２と、画像変換部４３と、から構成されている。

記憶装置５は、会議室参加者・角度対応表記憶部５１と、焦点距離・画角対応表記憶部５２と、会議室参加者・画像領域対応表記憶部５３と、発言対象・目標顔特徴点対応表記憶部５４と、顔特徴点・発言対象対応表記憶部５５と、から構成されている。

次に図１に示したテレビ会議システムの構成の各機能について、最初に記したテレビ会議の流れに沿って説明し、会議室参加者による会議室側のテレビ会議システムの設定手順と各機能部の処理内容も説明する。また、図１に示した構成について図１１にその設定手順を示す。

図１１において、ユーザが、入力装置１１を用いて、自身が会議室参加者であることを伝える。入力装置１１は、ユーザが会議室参加者であることを表す制御信号を、端末制御部１０に出力する。

端末制御部１０は、入力装置１１から制御信号を受けて、テレビ会議装置の状態を「会議室・準備中」に更新する。端末制御部１０は、端末の状態が「会議室・準備中」である間、会議室参加者情報作成部２が、端末制御部１０を経由して、入力装置１１、撮像装置１２、映像表示装置１３、送受信装置と情報をやりとりする。

以下、会議室参加者情報作成部２の処理を説明する。

会議室参加者情報作成部２は、撮像装置１２によって撮影（Ｓ１）された入力映像を入力とし、入力映像の１フレーム分の静止画像を、発言対象領域抽出部２１に出力する。

撮影に当たっては、会議室の状況が実際のテレビ会議中の状況になるべく近いことが望ましい。すなわち、参加者が着席しており、テレビ会議装置を注目している状態である。

入力映像は、複数のフレームによって構成される動画であり、各フレームは複数のピクセルによって構成される静止画像である。以降の処理は、１フレーム分の静止画像を想定している。

以下、発言対象領域抽出部２１の処理を説明する。

発言対象領域抽出部２１は、静止画像を入力として、会議室参加者・画像領域対応表を出力する（Ｓ３）。発言対象領域抽出部２１は、静止画像中から、会議室参加者の画像領域ｒ１、ｒ２、ｒ３を抽出する（Ｓ２）。画像領域は、左上座標（ｌｔｘ、ｌｔｙ）と右下座標（ｒｂｘ、ｒｂｙ）から構成される。

ここで、画像領域は、静止画像中から抽出した各会議室参加者の顔領域とする。静止画像から顔領域を抽出する方法には、空間周波数フィルタリングとサポートベクターマシンによる方法を用いる（例えば特開２００６−２９３７２０参照）。入力される静止画像と画像領域の模式図を図２に示す。

画像領域は、顔領域に限らず、各会議室参加者を明確に区別できる構成であればよい。例えば、参加者が着席する以前の状態を背景画像として保持しておき、会議室参加者が各自の席に着いて静止した状態の映像との差分を求める。背景差分の画像から画像領域を抽出するという方法が考えられる。

以上によって、抽出された３人の画像領域の情報を、会議室参加者・画像領域対応表に記録する。会議室参加者・画像領域対応表の一例を図３に示す。

会議室参加者・画像領域対応表は、参加者ＩＤ、画像領域ｒ、画像領域を静止画像の解像度で正規化した正規化画像領域ｒ_reg、の３つの要素から構成される。参加者ＩＤは、会議室参加者を区別するための識別番号である。本実施例では、画像領域のｌｔｘが小さい順に、０１、０２、０３とする。以降、参加者ＩＤにしたがって、会議室参加者を参加者０１、参加者０２、参加者０３と呼ぶ。

そして、会議室参加者・画像領域対応表を会議室参加者・画像領域対応表記憶部５３に記録し、発言対象焦点距離測定部２２に出力する。

発言対象焦点距離測定部２２は、会議室参加者・画像領域対応表を入力とし、会議室参加者・画像領域対応表と各画像領域に対する焦点距離を出力する。発言対象焦点距離測定部２２は、会議室参加者・画像領域対応表をもとに、会議室参加者それぞれに対する、撮像装置１２の焦点距離を求める（Ｓ４）。焦点距離の求め方には、画像のコントラスト値を用いた方法を用いる。具体的には、画像領域ｒ、焦点距離ｆにおけるコントラスト値をＣ（ｒ、ｆ）とするとき、ｆの値を変化させて、コントラスト値Ｃ（ｒ、ｆ）が最大になるときのｆを、画像領域ｒに対する焦点距離ｆｐ_rとみなす。この方式は、「山登り方式」と呼称される。

これを、画像領域ｒ１、ｒ２、ｒ３それぞれについて行い、焦点距離ｆｐ_r1、ｆｐ_r2、ｆｐ_r3を得る。そして、それぞれの焦点距離と、会議室参加者・画像領域対応表を、発言対象角度算出部２３に出力する。

以下、発言対象角度算出部２３の処理を説明する。

発言対象角度算出部２３は、焦点距離と、会議室参加者・画像領域対応表とを入力とし、会議室参加者・角度対応表を出力する。発言対象角度算出部２３は、テレビ会議装置に対する会議室参加者ごとの方向の角度を算出する。この角度を発言対象角度と呼ぶ。本実施例では、ｘ軸方向の角度のみを算出し、後述の画像変換に利用する。もちろん、ｙ軸方向の角度を算出することもできるが、本実施例ではｙ軸方向の角度は画像変換に利用しない。

以下、参加者０１について、発言対象角度を算出する例について説明する。まず、焦点距離・画角対応表記憶部５２に記憶された焦点距離・画角対応表から、焦点距離ｆｐ_r1に対応する撮像装置１２の画角を取得する。焦点距離・画角対応表の例を図４に示す。

このとき、テレビ会議装置７０と、参加者０１の位置関係の模式図を図５に示す。

図５において、αは撮像装置１２の画角である。ｘｃ_01は画像領域ｒ１のｘ軸中心であり、

で求める。Ｘは入力画像のｘ軸方向の解像度である。θ_01はテレビ会議装置に対する参加者０１の発言対象角度である。

このとき、テレビ会議装置と発言対象の間に、図６に示すような直角三角形ＳＡＢとＳＡＣの存在を仮定して、発言対象角度を求める（Ｓ５）。

以下に、図６に沿って、発言対象角度θを求める手順を説明する。

図６における斜辺ＳＢの長さＬを求める。正弦定理より、Ｌは

と表される。次に、図６における対辺ＳＡの長さＭを求める。Ｍは三平方の定理より、

と表される。そして、対辺ＳＡと対辺ＡＣより、発言対象角度θ_01を求める。

対辺ＡＣの長さＮは、

であるから、発言対象角度θ_01は、

と、算出される。ここで、会議室参加者がテレビ会議装置から見て、左側に位置するとき、θの代わりに−θを対応表に記録する。具体的には、

のとき、θ＝−θとする。

以降、同様に、参加者０２、参加者０３についても発言対象角度θ_02、θ_03を算出する（Ｓ６）。

以上より算出された、発言対象角度を、会議室参加者・角度対応表に記録する（Ｓ７）。発言対象・角度対応表の例を図７に示す。

最後に、会議室参加者・角度対応表は、会議室参加者・角度対応表記憶部５１に記録し、会議室参加者情報の作成が完了したことを通知する制御信号を、端末制御部１０に出力する。

端末制御部１０は、発言対象角度作成部からの制御信号を入力とし、会議室側テレビ会議装置の状態を「会議室・準備完了」に更新する。

このとき、会議室参加者・画像領域対応表と、会議室参加者・角度対応表を送信装置に出力する。そして、送信装置は、会議室参加者・画像領域対応表と、会議室参加者・角度対応表を、遠隔側テレビ会議装置の受信装置に送信する。

以後、撮像装置１２は、撮影した入力映像を送信装置に出力する。

送信装置は、入力映像を遠隔側テレビ会議装置の受信装置に送信する（Ｓ８）。

受信装置は、遠隔側テレビ会議装置の送信装置から出力された映像信号を受信し、映像表示装置１３に出力する。

以下、遠隔参加者による遠隔側テレビ会議装置の設定手順と各機能部の処理内容を説明する。図１２に遠隔側テレビ会議の設定手順を示す。

ユーザが、入力装置１１を用いて、自身が遠隔参加者であることを伝えると、入力装置１１は端末制御部１０にユーザが遠隔参加者であることを表す制御信号を出力する。

端末制御部１０は、入力装置１１から制御信号を受けて、テレビ会議装置の状態を「遠隔・準備中」に更新する。端末制御部１０は、端末の状態が「遠隔・準備中」である間、遠隔参加者情報作成部３に制御を移す。すなわち、遠隔参加者情報作成部３は、端末制御部１０を経由して入力装置１１、撮像装置１２、映像表示装置１３、送受信装置と情報をやりとりする。

このとき、受信装置は、会議室側テレビ会議装置から送信される、会議室参加者・画像領域対応表と、会議室参加者・角度対応表を入力とし、会議室参加者・画像領域対応表記憶部５３と、会議室参加者・角度対応表記憶部５１にそれぞれ記録する。

以降、受信装置は、会議室側テレビ会議装置から送信された、映像信号を入力とし、端末制御部１０に映像信号を出力する。

以下、遠隔参加者情報作成部３の処理を説明する。

まず、遠隔作成者情報作成部は、撮影された遠隔参加者の映像から、発言対象となる会議室参加者を特定するための、顔特徴点・発言対象対応表を作成する。

以下、顔特徴点・発言対象対応表を作成する処理を説明する。

端末制御部１０は、受信装置から出力された会議室側テレビ会議装置の映像信号を、映像表示装置１３に出力する。

注視指示点作成部３１は、会議室参加者・画像領域対応表記憶部５３から、会議室参加者・画像領域対応表を取得する（Ｓ１６）。そして、会議室参加者・画像領域対応表から、正規化された画像領域ｒ_reg01を取得する。遠隔側テレビ会議装置の映像表示装置１３の解像度をｒ_reg01に乗算することで、遠隔側テレビ会議装置の映像表示装置１３にあわせて、参加者０１を示す画像領域を作成することができる。そして、参加者０１の注視指示点０１を作成し、映像表示装置１３に出力する（Ｓ１７）。注視指示点は、画像領域の中心であってもいいし、画像領域の枠であってもいい。このとき、映像表示装置１３には、会議室参加者を撮影した映像と、注視指示点が重畳されて表示される。

遠隔参加者は、注視指示点０１に対して注視する（Ｓ１８）。端末制御部１０は、注視指示点０１を注視しているときの遠隔参加者を、撮像装置１２で撮影し、静止画像を抽出する（Ｓ１９）。静止画像を抽出するタイミングは、セルフタイマーのように、テレビ会議装置が自動で取得してもよいし、遠隔参加者が入力装置１１を用いてテレビ会議装置に撮影を指示してもよい。

以降、参加者０２、参加者０３についても同様に、画像領域ｒ_reg02、ｒ_reg03から算出した注視指示点０２、注視指示点０３を表示し、遠隔参加者を撮影する。そして、各注視指示点が対応する参加者ＩＤと、そのときの遠隔参加者の静止画像とを、顔特徴点抽出部３２に出力する（Ｓ２０）。

顔特徴点抽出部３２は、静止画像と、参加者ＩＤを入力とし、顔特徴点・発言対象対応表を出力する（Ｓ２１）。

顔特徴点抽出部３２は、静止画像から顔特徴点を抽出する。顔特徴点抽出部３２は、左目、右目、口を、矩形領域として抽出する。顔を撮影した静止画像から、目および口を検出する手法としては、テンプレートマッチングを用いる。

顔特徴点は、左目、右目、口それぞれを検出した矩形領域の左上座標と右下座標から構成される。左目の矩形領域は、左上座標ｌｅ_lt（ｌｔｘ_le、ｌｔｙ_le）、右下座標ｌｅ_rb（ｒｂｘ_le、ｒｂｙ_le）からなる。右目の矩形領域は左上座標ｒｅ_lt（ｌｔｘ_re、ｌｔｙ_re）と右下座標ｒｅ_rb（ｒｂｘ_re、ｒｂｙ_re）からなる。口の矩形領域は左上座標ｍ_lt（ｌｔｘ_m、ｌｔｙ_m）と右下座標ｍ_rb（ｒｂｘ_m、ｒｂｙ_m）からなる。これらをすべてまとめて顔特徴点と呼ぶ。

以降、それぞれの参加者ＩＤに対応する顔特徴点を対象特徴点と呼ぶ。対象特徴点は、発言対象ごとに対象特徴点０１、対象特徴点０２、対象特徴点０３と呼ぶ。

顔特徴点抽出部３２は、参加者ＩＤと、ＩＤに対応する顔特徴点を、顔特徴点・発言対象対応表作成部３３に出力する。

顔特徴点・発言対象対応表作成部３３は、参加者ＩＤと、ＩＤに対応する顔特徴点を入力とし、顔特徴点・発言対象対応表を作成する。図８に顔特徴点・発言対象対応表の一例を示す。

最後に、顔特徴点・発言対象対応表を顔特徴点・発言対象対応表記憶部５５に記録し、顔特徴点・発言対象対応表の作成を完了したことを示す制御信号を、端末制御部１０に出力する。

次に、遠隔作成者情報作成部は、遠隔参加者の画像を変換するための、発言対象・目標顔特徴点対応表を作成する。

以下、発言対象・目標顔特徴点対応表を作成する処理を説明する。

端末制御部１０は、撮像装置１２によって、遠隔参加者を撮影した映像信号を、映像表示装置１３に出力する。

遠隔作成者情報作成部は、目標顔特徴点を作成することを示す制御信号を、注視指示点作成部３１に出力する。

注視指示点作成部３１は、制御信号を入力とし、映像表示装置１３の正面を注視するための注視指示点を作成する。作成された注視指示点を、映像表示装置１３に出力する。このとき、映像表示装置１３には、遠隔参加者を撮影した映像と、注視指示点が重畳されて表示される。

遠隔参加者は、映像表示装置１３の中央に表示された注視指示点を注視する（Ｓ１０）。端末制御部１０は、注視指示点を注視しているときの遠隔参加者の映像を、撮像装置１２から取得し（Ｓ１１）、静止画像を抽出する。端末制御部１０は、このときの静止画像を、顔特徴点抽出部３２に出力する。

顔特徴点抽出部３２は、静止画像を入力とし、顔特徴点を抽出し、目標顔特徴点作成部３４に出力する（Ｓ１２）。このときの顔特徴点を、以降、正面顔特徴点と呼ぶ。

目標顔特徴点作成部３４は、正面顔特徴点を入力とし、発言対象・目標顔特徴点対応表を作成する。正面顔特徴点をｓとする。会議室参加者・角度対応表（Ｓ１３）から、参加者０１の発言対象角度θ_01を取得する。

正面顔特徴点を３次元の同次座標に変換する。このとき、ｚはすべての特徴点で同じ値を持つ。具体的には、入力画像のｘ軸解像度をＸとしたとき、ｚ＝−Ｘとする。例えば、左目の左上座標ｌｅ_ltは（ｌｔｘ_le、ｌｔｙ_le、−Ｘ、１）と表される。同様に、残りの特徴点を、３次元の同次座標に変換する。このときの正面顔特徴点をｓ’とする。次に、各特徴点に、以下の行列Ｒ_yを乗算する。これは、３次元空間の特徴点をｙ軸方向にθ_01回転させることを表す。

そして回転行列Ｒｙを適用した乗算後の特徴点ｓ’からｘ座標とｙ座標のみを取り出し、目標特徴点ｄ_01とする。図９に、正面顔特徴点ｓと目標顔特徴点ｄ_01と発言対象角度θ_01の関係を表す模式図を示す。

以降、参加者０２、参加者０３についても同様に、正面顔特徴点ｓと発言対象角度θ_02、θ_03から、目標顔特徴点ｄ_02、ｄ_03を算出する（Ｓ１４）。

以上より、参加者ＩＤと目標顔特徴点から、発言対象・目標顔特徴点対応表を作成する（Ｓ１５）。図１０に発言対象・目標顔特徴点対応表の例を示す。

発言対象・目標顔特徴点対応表を、発言対象・目標顔特徴点対応表記憶部５４に記録し、遠隔参加者情報の作成が完了したことを通知する制御信号を、端末制御部１０に出力する。

端末制御部１０は、制御信号を入力とし、遠隔側テレビ会議装置の状態を「遠隔側・準備完了」に更新する。

以降、端末制御部１０は、撮像装置１２で遠隔参加者を撮影した入力映像を、遠隔参加者画像変換部４に出力する。遠隔参加者画像変換部４は、入力映像に画像変換を行い、変換後の映像を送信装置に出力する。送信装置は、変換後映像を入力とし、遠隔側テレビ会議装置の受信装置に送信する。受信装置は、会議室側テレビ会議装置の送信装置から出力された映像信号を受信し、映像表示装置１３に出力する。

以下、テレビ会議中に動作する、遠隔参加者画像変換部４の処理内容を説明する。図１３にテレビ会議中の遠隔側テレビ会議装置の処理の流れを示す。

遠隔参加者画像変換部４は、入力映像を入力とし、顔特徴点抽出部３２と、画像変換部４３に、入力映像を出力する（Ｓ３０）。

顔特徴点抽出部３２は、入力映像を入力とし、入力映像から顔特徴点を抽出する（Ｓ３１）。以降、このときの顔特徴点を、入力顔特徴点と呼ぶ。顔特徴点抽出部３２は、入力顔特徴点を発言対象特徴部に出力する。

発言対象特定部４１は、入力顔特徴点を入力とし、顔特徴点・発言対象対応表から発言対象を特定し、入力顔特徴点と発言対象を表す参加者ＩＤを、画像変換パラメタ作成部４２に出力する。

以下、発言対象を特定する方法を説明する。

発言対象特定部４１は、顔特徴点・発言対象対応表記憶部５５から、対象特徴点を取得する。発言対象特徴部は、入力顔特徴点と、各対象特徴点との類似度を比較し、もっとも類似度が高い対象特徴点をもつ発言対象を、遠隔参加者の現在の発言対象とみなす（Ｓ３２）。

以下、類似度の算出方法を説明する。まず、入力顔特徴点の左目、右目、口の左上座標、右上座標をすべて連結して、１次元ベクトルｖ_inputに変換する。同様に、それぞれの対象特徴点を１次元ベクトルｖ_t01、ｖ_t02、ｖ_t03に変換する。ｖ_inputとｖ_t01、ｖ_t02とｖ_t03について、コサイン類似度cos（ｖ_input、ｖ_t01）、cos（ｖ_input、ｖ_t02）、cos（ｖ_input、ｖ_t03）を算出する。そして、コサイン類似度がもっとも高い発言対象を選択する。

画像変換パラメタ作成部４２は、入力顔特徴点と参加者ＩＤを入力とし、入力画像を射影変換する射影変換行列を画像変換部４３に出力する。

画像変換パラメタ作成部４２は、発言対象・目標顔特徴点対応表記憶部５４から発言対象・目標顔特徴点対応表を取得する。そして、発言対象の参加者ＩＤに対応する目標顔特徴点ｄを取得する（Ｓ３３）。入力顔特徴点ｓと、目標顔特徴点ｄは、それぞれ６つの２次元座標点から構成されており、その上、各点同士の対応がわかっていることから、公知の幾何学処理を用いて、入力映像を変換する平面射影変換行列を算出できる。そして、平面射影変換行列を画像変換部４３に出力する（Ｓ３４、Ｓ３５）。

画像変換部４３は、入力映像と平面射影変換行列を入力とし、入力映像に対して平面射影変換行列を適用し、出力映像を得る。そして、出力映像を送信装置に出力する（Ｓ３６）。

以上より、遠隔参加者画像変換部４は、遠隔参加者を撮影した入力映像から、会議室側の発言対象を特定し、入力映像を変換し、会議室側テレビ会議装置に送信する。

以上説明した本発明のテレビ会議システムの実施の形態に開示された構成は、それぞれの各構成の動作および作用について、これをコンピュータ上で実行されるコンピュータプログラムに置き換えることもできる。各構成をそれぞれ情報処理のステップとしてコンピュータ上にて実行し、その結果としてテレビ会議システムを実現することができる。

さらに、コンピュータプログラムとすることにより、これらの構成を一元にまとめることなく、たとえば相互にネットワークで接続された複数のサーバに各構成を実現するためのコンピュータプログラムをインストールして、ネットワークで結ばれたサーバ同士の連係動作によりテレビ会議システムを実現することもできる。

また、テレビ会議システムを実現するためのコンピュータプログラムを光磁気ディスクや記憶素子などの記録媒体、あるいはネットワーク上のサーバが備える記録媒体に記録させ、流通させることもできる。この流通形態としては、物理的な光磁気ディスクや記憶素子などに記録した形で流通させてもよく、あるいはサーバからネットワークを介してダウンロードさせてもよい。

以上説明した実施の形態によれば、遠隔地の参加者と会議室の参加者との顔向きを互いに一致させることができ、１対多人数のテレビ会議を円滑に進めることが可能なテレビ会議システムおよびプログラム、記録媒体を提供することができる。

本発明のテレビ会議システムの実施の形態の構成図を示す。 実施の形態に係る、静止画像と画像領域の模式図を示す。 実施の形態に係る、会議室参加者・画像領域対応表の一例を示す。 実施の形態に係る、焦点距離・画角対応表の一例を示す。 テレビ会議装置と参加者の位置関係の模式図を示す。 実施の形態に係る、発言対象角度を求めるための直角三角形ＳＡＢとＳＡＣの存在の仮想図を示す。 実施の形態に係る、発言対象・角度対応表の一例を示す。 実施の形態に係る、顔特徴点・発言対象対応表の一例を示す。 正面顔特徴点ｓと目標顔特徴点ｄ_01と発言対象角度θ_01の関係を表す模式図を示す。 実施の形態に係る、発言対象・目標顔特徴点対応表の一例を示す。 会議室参加者による会議室側のテレビ会議システムの設定手順を説明するためのフロー図を示す。 遠隔参加者による遠隔側テレビ会議装置の設定手順を説明するためのフロー図を示す。 テレビ会議中の遠隔側テレビ会議装置の処理を説明するためのフロー図を示す。 従来技術における、テレビ会議装置を利用した１人対多人数のテレビ会議の一例を示す。

符号の説明

１…中央制御処理装置
２…会議室参加者情報作成部
３…遠隔参加者情報作成部
４…遠隔参加者画像変換部
５…記憶装置
１０…端末制御部
１１…入力装置
１２…撮像装置
１３…映像表示装置
１４…送受信装置
２１…発言対象領域抽出部
２２…発言対象焦点距離測定部
２３…発言対象角度算出部
３１…注視指示点作成部
３２…顔特徴点抽出部
３３…顔特徴点・発言対象対応表作成部
３４…目標顔特徴点作成部
４１…発言対象特定部
４２…画像変換パラメタ作成部
４３…画像変換部
５１…会議室参加者・角度対応表記憶部
５２…焦点距離・画角対応表記憶部
５３…会議室参加者・画像領域対応表記憶部
５４…発言対象・目標顔特徴点対応表記憶部
５５…顔特徴点・発言対象対応表記憶部

Claims (7)

1. 遠隔地に居る遠隔参加者と会議室に居る会議室参加者が画像と音声を情報通信網を介して会議を行うためのテレビ会議システムにおいて、
   前記画像と前記音声を入出力するための、入力装置と、撮像装置と、映像表示装置と、送受信装置と、が接続されて前記画像と前記音声の情報の入出力を制御するための端末制御部と、
   前記会議室参加者を撮影した映像から前記会議室に設置の前記映像表示装置に向いた前記会議室参加者の角度を特定して会議室参加者情報を作成するための会議室参加者情報作成部と、
   撮影した映像における前記遠隔参加者が向いている相手の前記会議室参加者を特定して遠隔参加者情報を作成するための遠隔参加者情報作成部と、
   前記遠隔参加者が向いている相手の前記会議室参加者の方向の角度と一致するように前記遠隔参加者の画像を画像変換するための遠隔参加者画像変換部と、
   前記会議室参加者情報作成部と、前記遠隔参加者情報作成部と、前記遠隔参加者画像変換部と、がそれぞれ作成した情報を記憶するための記憶装置と、
   を備えることを特徴とするテレビ会議システム。
2. 前記会議室参加者情報作成部は、
   前記撮像装置によって撮影された入力映像の１フレーム分の静止画像から前記会議室参加者のそれぞれに対応する画像領域を抽出するための発言対象領域抽出部と、
   会議室参加者・画像領域対応表に基づいて会議室参加者それぞれに対する前記撮像装置の焦点距離を求めるための発言対象焦点距離測定部と、
   前記会議室参加者・画像領域対応表に基づいて前記映像表示装置に対する前記会議室参加者ごとの方向の角度を発言対象角度として算出するための発言対象角度算出部と、
   を備えることを特徴とする請求項１に記載のテレビ会議システム。
3. 前記遠隔参加者情報作成部は、
   会議室参加者・画像領域対応表から正規化された画像領域を取得し、前記会議室側参加者を示す画像領域を作成して注視指示点を作成するための注視指示点作成部と、
   静止画像から顔特徴点を抽出するための顔特徴点抽出部と、
   参加者ＩＤと、この参加者ＩＤに対応する顔特徴点と、から顔特徴点・発言対象対応表を作成するための顔特徴点・発言対象対応表作成部と、
   正面顔特徴点に基づいて発言対象・目標顔特徴点対応表を作成するための目標顔特徴点作成部と、
   を備えることを特徴とする請求項１または２に記載のテレビ会議システム。
4. 前記遠隔参加者画像変換部は、
   入力された静止画像から目および口を顔特徴点として検出して顔特徴点・発言対象対応表を作成し出力するための顔特徴点抽出部と、
   前記顔特徴点・発言対象対応表から対象特徴点を取得して、入力顔特徴点と対象特徴点との類似度を比較し、もっとも類似度が高い前記対象特徴点をもつ発言対象を発言対象として特定するための発言対象特定部と、
   発言対象・目標顔特徴点対応表を取得して、発言対象の参加者ＩＤに対応する目標顔特徴点を画像変換パラメタとして取得するための画像変換パラメタ作成部と、
   入力映像に対して平面射影変換行列を適用して得た出力映像を送信装置に出力するための画像変換部と、
   を備えることを特徴とする請求項１〜３のいずれかに記載のテレビ会議システム。
5. 前記記憶装置は、
   前記会議室参加者・角度対応表を記憶するための会議室参加者・角度対応表記憶部と、
   前記焦点距離・画角対応表を記憶するための焦点距離・画角対応表記憶部と、
   前記会議室参加者・画像領域対応表を記憶するための会議室参加者・画像領域対応表記憶部と、
   前記発言対象・目標顔特徴点対応表を記憶するための発言対象・目標顔特徴点対応表記憶部と、
   前記顔特徴点・発言対象対応表を記憶するための顔特徴点・発言対象対応表記憶部と、
   を備えることを特徴とする請求項１〜４のいずれかに記載のテレビ会議システム。
6. 遠隔地に居る遠隔参加者と会議室に居る会議室参加者が画像と音声を情報通信網を介して会議を行うためにコンピュータにインストールして実行可能なテレビ会議プログラムであって、
   端末制御部において前記画像と前記音声を入出力するための、入力装置と、撮像装置と、映像表示装置と、送受信装置と、が接続されて前記画像と前記音声の情報の入出力を制御するステップと、
   会議室参加者情報作成部において前記会議室参加者を撮影した映像から前記会議室に設置の前記映像表示装置に向いた前記会議室参加者の角度を特定して会議室参加者情報を作成するステップと、
   遠隔参加者情報作成部において撮影した映像における前記遠隔参加者が向いている相手の前記会議室参加者を特定して遠隔参加者情報を作成するステップと、
   遠隔参加者画像変換部において前記遠隔参加者が向いている相手の前記会議室参加者の方向の角度と一致するように前記遠隔参加者の画像を画像変換するステップと、
   前記記憶装置において前記会議室参加者情報作成部と、前記遠隔参加者情報作成部と、前記遠隔参加者画像変換部と、がそれぞれ作成した情報を記憶するステップと、
   して前記コンピュータにおいて実行することを特徴とするテレビ会議プログラム。
7. 請求項６に記載のテレビ会議プログラムを記録した記録媒体。

Images