JP2000152206A

JP2000152206A - 通信会議接続装置、通信会議システム、通信会議の制御方法、及び記憶媒体

Info

Publication number: JP2000152206A
Application number: JP10324118A
Authority: JP
Inventors: Ken Sakakibara; 憲榊原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-11-13
Filing date: 1998-11-13
Publication date: 2000-05-30

Abstract

(57)【要約】【課題】装置或いはシステムの処理負荷を軽減するこ
とが可能であると共に、通信会議を効率的に進行するこ
とが可能な通信会議接続装置を提供する。【解決手段】通信会議端末装置１１０（１）〜１１０
（４）を接続する通信会議接続装置１３０において、各
通信会議端末装置１１０（１）〜１１０（４）から送ら
れる映像信号に関して、人物顔画像を含む映像信号を送
信中であると確認された通信会議端末装置についてのみ
を、通信会議に参加させ、各々の通信会議端末装置間で
の映像信号の通信を行うための多地点テレビ会議制御機
能の制御対象とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なる場所に設置
された複数の端末装置を通信回線網を介して接続し、そ
れらの通信により多地点通信会議を実施するための技術
に関するものである。

【０００２】

【従来の技術】従来より、図８に示すような、異なる場
所に設置された複数の通信会議端末装置８１０（１），
８１０（２），８１０（３），・・・，８１０（ｎ）側
にいる利用者同士で会議すること（多地点通信会議）を
可能とする、通信会議システム８００が知られている。
この通信会議システム８００では、多地点通信会議接続
装置８３０により、複数の通信会議端末装置８１０
（１）〜８１０（ｎ）を各々、一般加入電話網若しくは
ＩＳＤＮ通信網等の通信回線網８２０を介して接続する
ようになされている。

【０００３】多地点通信会議接続装置８３０は、一般
に、複数の通信会議端末装置８１０（１）〜８１０
（ｎ）を同時に接続収容するための複数通信会議端末装
置接続機能８３１と、接続された各通信会議端末装置か
ら送出される音声信号や映像信号を合成又は選択して各
通信会議端末装置に送り返す多地点テレビ会議制御機能
８３２とを具備している。複数通信会議端末装置接続機
能８３１は、主に通信回線インタフェース部からなる。
この通信回線インタフェース部では、１つの通信会議端
末装置との接続に対して、１個のハードウェアを用いる
場合と、共通のハードウェアを用いながらソフトウェア
によって複数の通信会議端末装置との接続を処理する場
合とがある。このような多地点通信会議接続装置８３０
には、複数の通信会議端末装置８１０（１），８１０
（２），８１０（３），・・・，８１０（ｎ）が、各々
に対応した通信回線８２０（１），８２０（２），８２
０（３），・・・，８２０（ｎ）を介して接続される。

【０００４】そこで、上述のような通信会議システム８
００において、これを利用するにあたっては通信回線網
８２０の利用料金が従量制（利用時間の長さに応じて料
金が高くなる制度）であることから、通信会議端末装置
８１０（１），８１０（２），８１０（３），・・・，
８１０（ｎ）と多地点通信会議接続装置８３０との間の
通信回線８２０（１），８２０（２），８２０（３），
・・・，８２０（ｎ）の接続は、予め各々の通信会議端
末装置８１０（１）〜８１０（ｎ）の利用者と多地点通
信会議接続装置８３０の管理者との間で取り決めをし
た、通信会議業務の運営時間の間のみに限って行われる
ことが一般的であった。

【０００５】しかしながら、上記の従量制に対して近年
では、一般加入電話網若しくはＩＳＤＮ通信網等の通信
回線網８２０において、特定の時間帯では定額制（利用
時間の長さに関わらず一定の料金を支払う）にて利用で
きる、という課金体系によるサービスが通信事業者から
提供されるようになった。また、事業所や家庭から専用
線によって、ＴＣＰ／ＩＰ（Trasnsmission Control Pr
otocol / Internet Protocol）プロトコル網（インター
ネット）と接続する利用者が増加してきた。このため、
通信会議端末装置８１０（ｘ）と多地点通信会議接続装
置８３０との間の通信の接続時間の長短は、利用者にと
って経済的な問題ではなくなり、その結果、多地点通信
会議に参加する明確な意志の有無に関わらず、通信会議
端末装置８１０（ｘ）と多地点通信会議接続装置８３０
との接続を継続する（つなぎっぱなしの状態）利用者が
増加してきた。例えば、通信会議端末装置８１０（ｘ）
の利用者がその設置場所から離席して会議から一時的に
欠席する場合においても、利用者は、通信接続を継続し
たままの状態にしておく。

【０００６】

【発明が解決しようとする課題】しかしながら、上述し
たような従来の通信システムでは、例えば、ある通信会
議端末装置の利用者が、多地点通信会議に参加して発言
したり他の利用者の発言の内容を視聴する意思がないた
め、通信会議端末装置から離席し、且つ通信接続を継続
したままの状態にした場合、多地点通信会議の参加者の
通信会議端末装置に表示される画面は、図９に示すよう
になる。すなわち、多地点通信会議に現在参加している
利用者（出席者）の人物が映っている映像（上記図９
中”８５１”）と、離席者の通信会議端末装置の近辺の
映像（上記図９中”８５２”）が混在した画面が表示さ
れることになる。

【０００７】したがって、多地点通信会議の出席者は、
通信会議端末装置の前から離席しており会話可能でない
であろう利用者の映像（すなわち、上記図９の”８５
２”にて示したような、離席者の通信会議端末装置近辺
の映像）を、他の出席者の映像（上記図９”８５１”）
と同時に見続ける必要があった。このため、出席者は、
現在何名の者が多地点通信会議に参加しているのか等を
一目で認識しずらかった。また、上記図９の”８５２”
にて示したような必要のない映像（離席者の通信会議端
末装置での映像）を、出席者の通信会議端末装置にて画
面表示し続けることは、該通信会議端末装置での表示ス
ペースを無駄に消費することになる。さらに、このと
き、上記の映像に対しても継続して、画面表示のための
伸長復号化処理が行われることになるため、通信会議端
末装置の処理能力に無駄な負荷をかけ、その分本来必要
な処理（出席者の通信会議端末装置から送られてくる映
像や音声の伸長復号化等）の能力が低下することにな
る。さらにまた、離席者の通信会議端末装置を通信接続
しても有用性がないにも関わらず、そのまま継続して通
信接続されることにより、多地点通信会議接続装置の制
御処理能力等の資源までも無駄に消費されてしまう。

【０００８】そこで、本発明は、上記の欠点を除去する
ために成されたもので、装置或いはシステムの処理負荷
を軽減することが可能であると共に、通信会議を効率的
に進行することが可能な通信会議接続装置、通信会議シ
ステム、通信会議の制御方法、及びそれを実施するため
の処理ステップをコンピュータが読出可能に格納した記
憶媒体を提供することを目的とする。

【０００９】

【課題を解決するための手段】斯かる目的下において、
第１の発明は、少なくとも表示部を有する複数の端末装
置を通信回線網を介して接続し、各々の端末装置にて得
られる少なくとも映像信号の通信を相互に行うことで、
多地点での通信会議を可能とする通信会議接続装置であ
って、上記端末装置にて得られた映像信号から所定被写
体の映像を認識する認識手段と、上記認識手段での認識
結果に基づいて、上記映像信号の上記表示部に対する出
力を制御する制御手段とを備えることを特徴とする。

【００１０】第２の発明は、上記第１の発明において、
上記認識手段は、上記端末装置側に存在する使用者の少
なくとも顔部分を上記所定被写体として、該所定被写体
の映像が上記映像信号に含まれるか否かを認識すること
を特徴とする。

【００１１】第３の発明は、上記第１の発明において、
上記制御手段は、上記認識手段での認識結果により、上
記映像信号から所定被写体の映像が認識された場合、そ
の映像信号の上記表示部に対する出力を停止することを
特徴とする。

【００１２】第４の発明は、上記第３の発明において、
上記制御手段は、上記所定被写体の映像が認識されてか
ら所定時間経過した後に、上記出力の停止を行うことを
特徴とする。

【００１３】第５の発明は、自装置側の被写体を撮影し
て映像信号を生成する撮影部と、該撮影手段にて得られ
た映像信号及び他装置側にて得られた映像信号からなる
画面を表示する表示部を少なくとも備える複数の端末装
置と、上記複数の端末装置を通信回線網を介して接続
し、各々の端末装置にて得られる映像信号の通信を相互
に行うことで、上記複数の端末装置間での通信会議を可
能とする通信会議接続装置とを含む通信会議システムで
あって、上記通信会議接続装置は、請求項１〜４の何れ
かに記載の通信会議接続装置の機能を有することを特徴
とする。

【００１４】第６の発明は、少なくとも表示部を有する
複数の端末装置を通信回線網を介して接続し、各々の端
末装置にて得られる少なくとも映像信号の通信を相互に
行うことで、多地点での通信会議を可能とするための制
御方法であって、上記端末装置にて得られた映像信号中
に所定被写体の映像が存在するか否かを認識する認識ス
テップと、上記認識ステップでの認識結果に基づいて、
上記映像信号の上記表示部に対する出力を制御する制御
ステップとを含むことを特徴とする。

【００１５】第７の発明は、上記第６の発明において、
上記認識ステップは、上記端末装置側に存在する使用者
の少なくとも顔部分を上記所定被写体として、該所定被
写体の映像が上記映像信号に含まれるか否かを認識する
ステップを含むことを特徴とする。

【００１６】第８の発明は、上記第６の発明において、
上記制御ステップは、上記認識ステップでの認識結果に
より、上記映像信号中に所定被写体の映像が存在すると
認識された場合、その映像信号の上記表示部に対する出
力を停止するステップを含むことを特徴とする。

【００１７】第９の発明は、上記第８の発明において、
上記制御ステップは、上記所定被写体の映像が認識され
てから所定時間経過した後に、上記出力の停止を行うス
テップを含むことを特徴とする。

【００１８】第１０の発明は、少なくとも表示部を有す
る複数の端末装置を通信回線網を介して接続し、各々の
端末装置にて得られる少なくとも映像信号の通信を相互
に行うことで、多地点での通信会議を可能とするための
処理ステップをコンピュータが読出可能に格納した記憶
媒体であって、上記処理ステップは、請求項６〜９の何
れかに記載の通信会議の制御方法の処理ステップを含む
ことを特徴とする。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００２０】本発明は、例えば、図１に示すような通信
会議システム１００に適用される。この通信会議システ
ム１００は、複数の通信会議端末装置１１０（１）〜１
１０（４）が通信回線網１２０を介して同時に多地点通
信会議接続装置１３０に接続されることにより、通信会
議（多地点テレビ会議）サービスを行うものである。す
なわち、通信会議システム１００は、上記図１に示すよ
うに、複数の通信会議端末装置１１０（１）〜１１０
（４）（ここでは説明の簡単のために４台としている）
と、通信会議端末装置１１０（１）〜１１０（４）が通
信回線網１２０を介して接続された多地点通信会議接続
装置１３０と、多地点通信会議接続装置１３０に通信回
線網１２０を介して接続された遠隔操作装置１５０とを
含んでなる。

【００２１】通信会議端末装置１１０（１）〜１１１
（４）は、各々同様の構成としており、例えば、通信会
議端末装置１１０（１）は、図２に示すように、本装置
側の利用者の映像信号を入力する映像入力部２０１と、
多地点通信会議接続装置１３０から送られてくる他の通
信会議端末装置での映像信号を画面表示するための映像
表示部２０２と、本端末装置側の利用者の発言等の音声
信号を入力する音声入力部２０３と、多地点通信会議接
続装置１３０から送られてくる他の通信会議端末装置で
の音声信号を出力するための音声出力部２０４と、本装
置に対する種々の動作指示を入力するための操作部２０
５と、映像入力部２０１にて入力された映像信号や多地
点通信会議接続装置１３０から送られてくる映像信号
（圧縮映像データ）の映像圧縮伸長符号化部２０６と、
音声入力部２０３にて入力された音声や多地点通信会議
接続装置１３０から送られてくる音声信号（圧縮音声デ
ータ）の音声圧縮伸長符号化部２０７と、映像圧縮伸長
符号化部２０６にて圧縮された映像信号（圧縮映像デー
タ）と音声圧縮伸長符号化部２０７にて圧縮された音声
信号（圧縮音声データ）との多重化（送出のためのデー
タ・ストリームの生成）や、多地点通信会議接続装置１
３０からの信号（データ・ストリーム）から映像信号
（圧縮映像データ）及び音声信号（圧縮音声データ）を
分離する信号分離・多重化部２０８と、多地点通信会議
接続装置１３０と通信回線網１３０を介して通信するた
めの回線インターフェース部１１１（１）と、本装置全
体の動作制御を司る装置制御部（ＣＰＵ等）２０９とを
備えている。

【００２２】通信回線網１２０は、通信会議端末装置１
１０（１）〜１１１（４）及び遠隔操作装置１５０と、
多地点通信会議接続装置１３０とを接続するための通信
回線１２１（１）〜１２１（４）及び１２２を含んでな
る。

【００２３】多地点通信会議接続装置１３０は、本シス
テムの最も特徴とする構成部であり、通信会議端末装置
１１０（１）〜１１１（４）が通信回線網１２０（通信
回線１２１（１）〜１２１（４））を介して接続される
通信回線インターフェース部１３１と、通信回線インタ
ーフェース部１３１と接続されたメディア分離・多重部
１３２と、メディア分離・多重部１３２と接続された会
議参加端末選択制御部１３３と、会議参加端末選択制御
部１３３と接続された音声多重制御部１３４、映像多重
制御部１３５、資料データ多重制御部１４１、圧縮映像
伸長復号化部１３６、及び人物顔画像領域認識部１３７
と、遠隔操作装置１５０が通信回線網１２０（通信回線
１２２）を介して接続されるインターフェース（Ｉ／
Ｆ）部１４０と、Ｉ／Ｆ部１４０と接続された操作部１
３８と、これらの各部を含む本装置の動作制御を司る装
置制御部（ＣＰＵ等）１３９とを備えている。

【００２４】尚、通信会議端末装置１１０（１）〜１１
０（４）の各々が備える通信回線インタフェース部１１
１（１）〜１１１（４）は、その端末装置によって、一
般加入電話回線用変復調部であったり、ｌＳＤＮ回線用
回線インタフェース部であったり、或いは、ＴＣＰ／ｌ
Ｐプロトコル網接続用専用線インタフェース部であった
りする。

【００２５】以下、通信会議システム１００の動作、特
に、本システムの最も特徴とする多地点通信会議接続装
置１３０の動作について具体的に説明する。

【００２６】通信会議システム１００では、通信会議端
末装置１１０（１）〜１１０（４）と、多地点通信会議
接続装置１３０との接続開始を、通信会議端末装置１１
０（１）〜１１０（４）の各々に設けられている操作部
２０５での操作、多地点通信会議接続装置１３０の操作
部１３８、遠隔操作装置１５０での操作、の何れの操作
でも可能なようになされている。ここでは、説明の簡単
のために、通信会議端末装置１１０（１）に設けられて
いる操作部２０５での操作によって、通信会議端末装置
１１０（１）が多地点通信会議接続装置１３０に接続さ
れ、通信会議に参加する場合について説明する。

【００２７】先ず、通信会議端末装置１１０（１）にお
いて、その利用者は、操作部２０５にて多地点通信会議
接続装置１３０と接続するための所定の操作を行う。こ
の操作情報は、装置制御部２０９を介して着呼要求とし
て、回線インターフェース部１１１（１）から通信回線
網１２０へと送出される。通信回線網１２０へ送出され
た着呼要求は、通信回線１２１（１）を介して多地点通
信会議接続装置１３０へ与えられる。

【００２８】多地点通信会議接続装置１３０において、
通信回線インタフェース部１３１は、通信会議端末装置
１１０（１）からの着呼要求を受けると、その旨を示す
情報（接続したポート番号等を含む情報、ここでは通信
会議端末装置１１０（１）の接続ポート番号ｎを”１”
とする）を装置制御部１３９へ通知した上で、通信会議
端末装置１１０（１）と接続を行う。そして、この状態
にて、通信回線インタフェース部１３１は、通信会議端
末装置１１０（１）から送られてくるデータ・ストリー
ムを、メディア分離・多重部１３２へ供給する。

【００２９】装置制御部１３９は、通信回線インタフェ
ース部１３１からの上記の情報を会議参加端末選択制御
部１３３へ供給する。尚、その後の会議参加端末選択制
御部１３３での処理については後述する。

【００３０】一方、メディア分離・多重部１３２は、通
信回線インタフェース部１３１からのデータ・ストリー
ムを、圧縮音声データ、圧縮映像データ、及びその他の
データの３種のデータに分離し、これらのデータを会議
参加端末選択制御部１３３へ供給する。

【００３１】会議参加端末選択制御部１３３は、メディ
ア分離・多重部１３２からの３種のデータのうち圧縮映
像データのみを圧縮映像伸長符号化部１３６へ供給す
る。

【００３２】圧縮映像伸長符号化部１３６は、会議参加
端末選択制御部１３３からの圧縮映像データに対して、
ディジタル伸長復号化処理を施し、ディジタル共通中間
フォーマット信号形式に従った元映像データ生成し、こ
れを人物顔画像領域認識処理部１３７へ供給する。

【００３３】人物顔画像領域認識処理部１３７は、圧縮
映像伸長符号化部１３６からの元映像データに対して、
人間の顔の輪郭が楕円形で近似できることを応用した輪
郭検出及び楕円形領域探索と、肌色領域検出とを組み合
わせた方式による人物顔画像領域認識処理を施し、その
処理結果、すなわち上記の元映像データに人物顔画像が
存在するか否かの結果を、会議参加端末選択制御部１３
３へ通知する。尚、人物顔画像領域認識処理部１３７で
の処理は、装置制御部（ＣＰＵ等）１３９や、本装置に
内蔵又は本装置に外部接続可能な信号処理部（ＤＳＰや
メディアプロセッサを用いた信号処理専用装置等）を用
いて行うようにしてもよい。これにより、人物顔画像領
域認識処理部１３７での処理に必要となる演算処理能力
が相当に大きい場合でも対応することができる。

【００３４】人物顔画像領域認識処理部１３７での処理
結果が通知された会議参加端末選択制御部１３３は、次
のように動作する。

【００３５】まず、会議参加端末選択制御部１３３に
は、図３に示すような接続参加状態管理テーブルＴが設
けられている。この接続参加状態管理テーブルＴは、通
信回線インタフェース部１３１が備えるポートの接続状
態３０２、人物顔画像領域認識処理部１３７での処理結
果（人物顔画像が存在するか否かの認識結果）３０３、
人物顔画像が不在となった開始時刻３０４、及び接続さ
れている通信会議端末装置の利用者が本会議に参加中で
あるか否かの会議参加状況３０５が、通信回線インタフ
ェース部１３１が備えるポート番号（ｎ＝１，２，３，
４）３０１（１）〜３０１（４）に対応して設定される
ようになされている。

【００３６】上述のような接続参加状態管理テーブルＴ
の接続状態は、会議参加端末選択制御部１３３が装置制
御部１３９からの上述したポート番号等を含む情報を受
け取った際に、会議参加端末選択制御部１３３により設
定されるようになされている。例えば、会議参加端末選
択制御部１３３は、通信会議端末装置１１０（１）がポ
ート番号”ｎ＝１”にて接続された状態であることを示
す、装置制御部１３９からの情報を受け取ると、接続参
加状態管理テーブルＴのポート番号”ｎ＝１”の接続状
態３０２を”接続中”に設定する。このような接続参加
状態管理テーブルＴへの設定は、通信会議端末装置１１
０（２）〜１１０（４）に対しても同様に行われる。

【００３７】尚、接続参加状態管理テーブルＴの初期状
態は、接続状態３０２”未接続”、認識結果３０３”不
在”、会議参加状況３０５”不参加”に設定されている
ものとする。

【００３８】そこで、会議参加端末選択制御部１３３
は、例えば、図４に示すフローチャートに従って、次の
ように動作する。

【００３９】ステップＳ４０１：会議参加端末選択制御
部１３３は、ポート番号ｎを初期値”１”に設定する。

【００４０】ステップＳ４０２：会議参加端末選択制御
部１３３は、接続参加状態管理テーブルＴを参照するこ
とで、通信回線インタフェース部１３１のポート番号ｎ
が接続中であるか否かを判別する。この判別の結果、接
続中であった場合、次のステップＳ４０２からの処理を
実行し、そうでない場合には、後述するステップＳ４１
０の処理を介してステップＳ４０１へ戻る。尚、ここで
は、通信会議端末装置１１０（１）の接続（ポート番
号”ｎ＝１”での接続）時を一例として説明しているた
め、そのまま次のステップＳ３０２へ進む。

【００４１】ステップＳ４０３：ポート番号ｎが接続中
であった場合、会議参加端末選択制御部１３３は、上述
した人物顔画像領域認識処理部１３７からの処理結果の
通知により、ポート番号ｎにて接続されている通信会議
端末装置（ここでは通信会議端末装置１１０（１））か
らの映像中に人物顔画像が認識されたか否かを判別す
る。この判別の結果、人物顔画像が認識された場合、次
のステップＳ４０９へ進み、そうでない場合には、後述
するステップＳ４０４からの処理に進む。

【００４２】ステップＳ４０９：ポート番号ｎにて接続
されている通信会議端末装置（ここでは通信会議端末装
置１１０（１））からの映像中に人物顔画像が認識され
た場合、会議参加端末選択制御部１３３は、接続参加状
態管理テーブルＴのポート番号ｎに対する認識結果３０
３を”存在”に設定すると共に、会議参加状況を”参加
中”に設定して、直ちにその通信会議端末装置を会議に
参加させることを決定する。そして、会議参加端末選択
制御部１３３は、メディア分離多重部１３２から供給さ
れる圧縮音声データ、圧縮映像データ、及びその他のデ
ータの３種のデータ（通信会議端末装置１１０（１）か
ら送信されてきた映像や音声のデータ）を、各々対応す
る音声多重制御部１３４、映像多重制御部１３５、及び
資料データ多重制御部１４１に供給し、多地点テレビ会
議制御機能を実行開始する。これにより、例えば、他の
通信会議端末装置１１０（２）〜１１０（４）の利用者
が通信会議に参加中の状態である場合、通信会議端末装
置１１０（１）にて入力された映像や音声が、他の通信
会議端末装置１１０（２）〜１１０（４）にて出力され
ることになり、通信会議端末装置１１０（１）の利用者
が参加した通信会議が行える状態となる。

【００４３】ステップＳ４１０：その後、会議参加端末
選択制御部１３３は、次のポート番号（ｎ＋１）にて接
続されている通信会議端末装置に対して、ステップＳ３
０１からの処理を実行するために、ポート番号ｎをイン
クリメントする。尚、このステップにて、ポート番号ｎ
が”４”であった場合には、初期値（ｎ＝１）に戻す。

【００４４】ステップＳ４０４：一方、ステップＳ４０
３の判別により、ポート番号ｎにて接続されている通信
会議端末装置からの映像中に人物顔画像が認識されなか
った場合、会議参加端末選択制御部１３３は、接続参加
状態管理テーブルＴのポート番号ｎに対する会議参加状
況が現在”参加中”に設定されているか否かを判別す
る。この判別の結果、”参加中”に設定されていない場
合、ステップＳ４０８へ進み、そうでない場合には、ス
テップＳ４０５へ進む。

【００４５】ステップＳ４０８：会議参加状況が現在”
参加中”でない場合、会議参加端末選択制御部１３３
は、その通信会議端末装置を会議に参加させないことを
決定する。すなわち、会議参加端末選択制御部１３３
は、例えば、ステップＳ４０９にて説明したような、通
信会議端末装置１１０（１）から送信されてくる映像や
音声等のデータに対する処理は行わない。換言すれば、
通信会議端末装置１１０（１）と多地点通信会議接続装
置１３０との接続は継続した状態であるが、通信会議端
末装置１１０（１）から送信されてくる映像や音声は、
多地点テレビ会議制御機能の制御対象とはならない。こ
れにより、通信会議端末装置１１０（１）にて入力され
た映像や音声は、他の通信会議端末装置１１０（２）〜
１１０（４）にて出力されず、通信会議端末装置１１０
（１）の利用者は通信会議に参加しない状態となる。そ
の後、上述したステップＳ４１０へ進み、次のポート番
号（ｎ＋１）にて接続されている通信会議端末装置に対
しの処理が実行される。

【００４６】ステップＳ４０５：会議参加状況が現在”
参加中”の場合、会議参加端末選択制御部１３３は、接
続参加状態管理テーブルＴのポート番号ｎに対する認識
結果３０３及び不在開始時刻３０４を参照することで、
前回のポート番号ｎにて接続されている通信会議端末装
置に対する処理時に人物画像が認識されたか否かを判別
する。この判別の結果、前回の処理時に人物画像が認識
されていた場合、ステップＳ４０６へ進み、そうでない
場合には、ステップＳ４０７へ進む。

【００４７】ステップＳ４０６：前回の処理時に人物画
像が認識されていた場合、会議参加端末選択制御部１３
３は、接続参加状態管理テーブルＴのポート番号ｎに対
する認識結果３０３を”不在”に設定すると共に、不在
開始時刻３０４を現在時刻”hh/mm/ss”に設定する。そ
の後、上述したステップＳ４０９へ進み、ここにて、ポ
ート番号ｎにて接続されている通信会議端末装置を通信
会議に参加させる処理が実行される。

【００４８】ステップＳ４０７：前回の処理時に人物画
像が認識されてない場合、会議参加端末選択制御部１３
３は、接続参加状態管理テーブルＴのポート番号ｎに対
する不在開始時刻３０４（”hh/mm/ss”）から現在時刻
までの間の時間が、所定のタイムアウト時間Ｔoutを超
えるか否かを判別する。この判別の結果、タイムアウト
時間Ｔoutを超えた場合、会議参加端末選択制御部１３
３は、接続参加状態管理テーブルＴのポート番号ｎに対
する会議参加状況を”不参加”に設定する。その後、上
述したステップＳ４０８へ進み、ここにて、ポート番号
ｎにて接続されている通信会議端末装置を通信会議に参
加させない処理が実行される。一方、タイムアウト時間
Ｔoutを超えていない場合、上述したステップＳ４０９
へ進み、ここにて、ポート番号ｎにて接続されている通
信会議端末装置を通信会議に参加させる処理が実行され
る。

【００４９】上述のような処理の実行により、通信会議
端末装置１１０（１）〜１１０（４）の各々の映像表示
部２０２には、図５〜図７に示すような画面５００，５
００’，５００”が表示される。これらの図５〜図７に
示す画面は、例えば、通信会議端末装置１１０（１）〜
１１０（４）の合計４つの通信会議端末装置が既に多地
点通信会議接続装置１３０との接続が行われ、何れもそ
の利用者の映像が認識されたため、通信会議に参加中の
状態であったが、通信会議の途中に通信会議端末装置１
１０（３）の利用者が、その通信会議端末装置１１０
（３）の前から離席した場合を示したものである。

【００５０】具体的には、通信会議端末装置１１０
（３）は、既に多地点通信会議接続装置１３０に接続さ
れており、接続されているポート番号ｎを”３”とする
と、上記図３に示した接続参加状態管理テーブルＴのポ
ート番号ｎに対する接続状態３０２が、上述したように
して会議参加端末選択制御部１３３により”接続中”に
設定されている。他の通信会議端末装置１１０（１）、
１１０（２）、１１０（４）も同様に、それらに対する
接続状態３０２が”接続中”に設定されている。また、
通信会議端末装置１１０（１）〜１１０（４）の各々の
利用者も離席せずに、通信会議に参加した状態である。
このような状態にて上記図４に示した処理が実行される
ことで、通信会議端末装置１１０（１）〜１１０（４）
の各々の映像表示部２０２には、上記図５に示すよう
な、通信会議端末装置１１０（１）〜１１０（４）の各
々の利用者の映像５０１〜５０４からなる画面５００が
表示される。

【００５１】そこで、通信会議端末装置１１０（３）の
利用者の人物画像がその送信映像中に認識され、通信会
議に継続して参加していたが、その利用者が離席する
と、上記図６に示すような、通信会議端末装置１１０
（３）の利用者の映像５０３が該利用者が離席した映像
（通信会議端末装置１１０（３）の近辺の映像）に変化
した画面５００’が表示される。

【００５２】その後、上記図４に示した処理がポート番
号ｎ＝３に対して繰り返し実行された結果、人物顔画像
が通信会議端末装置１１０（３）の送信映像中に認識さ
れなくなり、人物顔画像が送信映像中に初めて認識され
なくなってからの認識されない時間の継続がタイムアウ
ト時間Ｔout（例えば、３０秒）を超えると（ステップ
Ｓ４０７参照）、通信会議端末装置１１０（３）を通信
会議に参加させないことが決定され（ステップＳ４０８
参照）、これにより、通信会議端末装置１１０（３）か
ら送信されてくるデータストリームの、会議参加端末選
択制御部１３３から音声多重制御部１３４、映像多重制
御部１３５、資料データ多重制御部１４１への転送が中
止される。したがって、通信会議端末装置１１０（１）
〜１１０（４）の各々の映像表示部２０２には、上記図
７に示すような、通信会議端末装置１１０（３）以外の
通信会議端末装置１１０（１）、１１０（２）、１１０
（４）の各々の利用者の映像５０１、５０２、５０３か
らなる画面５００”が表示される。このとき、装置制御
部１３９により、”通信会議端末装置１１０（３）の利
用者は通信会議に参加していない”旨を知らせるための
情報の表示を行うようにしてもよい。これにより、通信
会議に参加している利用者は、誰が参加しているのか否
かを一目で認識することができる。

【００５３】以上のことにより、本実施の形態によれ
ば、４つの通信会議端末装置１１０（１）〜１１０
（４）において、その全てが多地点通信会議接続装置１
３０に接続されているにも関わらず、実際に利用者の映
像（人物顔画像）が送られている通信会議端末装置のみ
を通信会議に参加させることができる。

【００５４】尚、上述の実施の形態では、通信会議に参
加させない通信会議端末装置１１０（Ｘ）と、多地点通
信会議接続装置１３０との間の接続をそのまま継続さ
せ、利用者の映像が復活した際には、通信会議に再参加
させるように構成したが、これに限らず、例えば、上記
図４のステップ４０８の処理後、多地点通信会議接続装
置１３０との接続を終了させてもよい。これにより、必
要に応じて、多地点通信会議接続装置１３０との接続を
終了させることができ、また、通信回線インタフェース
部１３１やメディア分離多重部１３２が通信会議不参加
の通信会議端末装置１００（Ｘ）を接続する事に関する
処理負荷を軽減することができる。

【００５５】また、人物顔画像領域認識として、人物の
顔の輪郭が楕円形で近似できることを応用した輪郭検出
及び楕円形領域検索と、肌色領域検出とを組み合わせた
方式を使用したが、これに限らず、例えば、より複雑な
方式（遺伝的アルゴリズムによる顔画像領域探索や、顔
画像領域の検出後、髪の存在や顔の対称性を認識して、
顔画像であることを確認する方式等）を使用してもよ
い。さらに、人物顔画像領域認識領域認識だけでなく、
顔画像の個人識別認識処理を行い、予め通信会議の参加
資格者として登録された利用者の画像が通信会議端末装
置の送信映像の中に出現したときのみ、通信会議に参加
させるように制御してもよい。この場合、例えば、予め
通信会議の参加者の顔画像を撮像し、これを画像ファイ
ルとして多地点通信会議接続装置１３０の会議参加端末
選択制御部１３３に保管しておく。そして、通信会議端
末装置１１０（Ｘ）と多地点通信会議接続装置１３０の
接続後、会議参加端末選択制御部１３３において、個人
顔画像識別認識及び認証処理を行う。

【００５６】また、本発明の目的は、上述した実施の形
態のホスト及び端末の機能を実現するソフトウェアのプ
ログラムコードを記憶した記憶媒体を、システム或いは
装置に供給し、そのシステム或いは装置のコンピュータ
（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログ
ラムコードを読みだして実行することによっても、達成
されることは言うまでもない。この場合、記憶媒体から
読み出されたプログラムコード自体が実施の形態の機能
を実現することとなり、そのプログラムコードを記憶し
た記憶媒体は本発明を構成することとなる。プログラム
コードを供給するための記憶媒体としては、ＲＯＭ、フ
ロッピーディスク、ハードディスク、光ディスク、光磁
気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不
揮発性のメモリカード等を用いることができる。また、
コンピュータが読みだしたプログラムコードを実行する
ことにより、各実施の形態の機能が実現されるだけでな
く、そのプログラムコードの指示に基づき、コンピュー
タ上で稼動しているＯＳ等が実際の処理の一部又は全部
を行い、その処理によって実施の形態の機能が実現され
る場合も含まれることは言うまでもない。さらに、記憶
媒体から読み出されたプログラムコードが、コンピュー
タに挿入された拡張機能ボードやコンピュータに接続さ
れた機能拡張ユニットに備わるメモリに書き込まれた
後、そのプログラムコードの指示に基づき、その機能拡
張ボードや機能拡張ユニットに備わるＣＰＵなどが実際
の処理の一部又は全部を行い、その処理によって実施の
形態の機能が実現される場合も含まれることは言うまで
もない。

【００５７】

【発明の効果】以上説明したように本発明では、異なる
場所等に設置された複数の端末装置（通信会議端末装
置）にて得られる映像信号中に、所定被写体の映像（そ
の利用者の顔のような人物顔画像等）が存在するか否か
を認識する。この認識結果に基づいて、各々の端末装置
の表示部にて画面表示される映像信号の出力を制御す
る。具体的には例えば、複数の通信会議端末装置を接続
できる通信会議接続装置（多地点通信会議接続装置）に
おいて、各通信会議端末装置から送られる圧縮符号化済
みの映像信号を伸長復号化し、それによって得られる映
像信号に関して、人物顔画像領域認識処理等を施すこと
によって、人物顔画像を含む映像信号を送信中であると
確認された通信会議端末装置については、通信会議に参
加させ、各々の通信会議端末装置間での映像信号の通信
を行うための多地点テレビ会議制御機能の制御対象とす
る。これににより、通信会議端末装置の前から離席して
いる利用者の通信会議端末装置から送られる映像音声
は、該多地点テレビ会議制御機能の制御対象から除外さ
れ、通信会議に参加中の会話可能な他の通信会議端末装
置から送られる映像のみが、表示部に表示される。した
がって、通信会議に参加中の利用者は、現在通信会議に
参加している利用者を一目で認識できる等、スムーズな
通信会議を進行させることができる。また、従来のよう
に、通信会議に参加中でない利用者の通信会議端末装置
から送られる映像信号に対しても種々の信号処理（画面
表示させるための伸長処理等）が行われることはないた
め、通信会議端末装置や多地点通信会議接続装置に不必
要な処理負荷をかけることを避けることができる。すな
わち、本発明では、通信回線網に接続された各端末装置
のなかで、人物画像がその送信映像の中に出現している
端末装置のみを会議に参加させ、通信会議に参加中の利
用者（出席者）の端末装置に、会話可能な他の利用者の
映像のみを画面表示できるように構成したことにより、
装置或いはシステムの処理負荷を軽減することが可能で
あると共に、通信会議を効率的に進行することができ
る。

【図面の簡単な説明】

【図１】本発明を適用した通信会議システムの構成を示
すブロック図である。

【図２】上記通信会議システムの通信会議端末装置の構
成を示すブロック図である。

【図３】上記通信会議システムの多地点通信会議接続装
置が備える接続参加状態管理テーブルを説明するための
図である。

【図４】上記通信会議システムの動作を説明するための
フローチャートである。

【図５】上記通信会議システムにおいて、各々の通信会
議端末装置の利用者が通信会議に参加中である状態の表
示画面を説明するための図である。

【図６】上記各々の通信会議端末装置のうち、ある通信
会議端末装置の利用者が離席した直後の表示画面を説明
するための図である。

【図７】上記各々の通信会議端末装置のうち、ある通信
会議端末装置の利用者が離席してから所定時間経過した
後の表示画面を説明するための図である。

【図８】従来の通信会議システムの構成を示すブロック
図である。

【図９】上記通信会議システムでの表示画面を説明する
ための図である。

【符号の説明】

１００通信会議システム１１０（１）〜１１０（４）通信会議端末装置１１１（１）〜１１１（４）通信回線インターフェー
ス部１２０通信回線網１２１（１）〜１２１（４）、１２２通信回線１３０多地点通信会議接続装置１３１通信回線インターフェース部１３２メディア分離・多重部１３３会議参加端末選択制御部１３４音声多重制御部１３５映像多重制御部１３６圧縮映像伸長復号化部１３７人物顔画像領域認識部１３８操作部１３９装置制御部１４０インターフェース部１４１資料データ多重制御部１５０遠隔操作装置

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１１年４月２日（１９９９．４．２）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正内容】

【００１１】第３の発明は、上記第１の発明において、
上記制御手段は、上記認識手段での認識結果により、上
記映像信号から所定被写体の映像が認識されない場合、
その映像信号の上記表示部に対する出力を停止すること
を特徴とする。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正内容】

【００１２】第４の発明は、上記第３の発明において、
上記制御手段は、上記所定被写体の映像が認識されなく
なってから所定時間経過した後に、上記出力の停止を行
うことを特徴とする。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００１６

【補正方法】変更

【補正内容】

【００１６】第８の発明は、上記第６の発明において、
上記制御ステップは、上記認識ステップでの認識結果に
より、上記映像信号中に所定被写体の映像が存在すると
認識されない場合、その映像信号の上記表示部に対する
出力を停止するステップを含むことを特徴とする。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００１７

【補正方法】変更

【補正内容】

【００１７】第９の発明は、上記第８の発明において、
上記制御ステップは、上記所定被写体の映像が認識され
なくなってから所定時間経過した後に、上記出力の停止
を行うステップを含むことを特徴とする。

Claims

【特許請求の範囲】

【請求項１】少なくとも表示部を有する複数の端末装
置を通信回線網を介して接続し、各々の端末装置にて得
られる少なくとも映像信号の通信を相互に行うことで、
多地点での通信会議を可能とする通信会議接続装置であ
って、上記端末装置にて得られた映像信号から所定被写体の映
像を認識する認識手段と、上記認識手段での認識結果に基づいて、上記映像信号の
上記表示部に対する出力を制御する制御手段とを備える
ことを特徴とする通信会議接続装置。
【請求項２】上記認識手段は、上記端末装置側に存在
する使用者の少なくとも顔部分を上記所定被写体とし
て、該所定被写体の映像が上記映像信号に含まれるか否
かを認識することを特徴とする請求項１記載の通信会議
接続装置。
【請求項３】上記制御手段は、上記認識手段での認識
結果により、上記映像信号から所定被写体の映像が認識
された場合、その映像信号の上記表示部に対する出力を
停止することを特徴とする請求項１記載の通信会議接続
装置。
【請求項４】上記制御手段は、上記所定被写体の映像
が認識されてから所定時間経過した後に、上記出力の停
止を行うことを特徴とする請求項３記載の通信会議接続
装置。
【請求項５】自装置側の被写体を撮影して映像信号を
生成する撮影部と、該撮影手段にて得られた映像信号及
び他装置側にて得られた映像信号からなる画面を表示す
る表示部を少なくとも備える複数の端末装置と、上記複数の端末装置を通信回線網を介して接続し、各々
の端末装置にて得られる映像信号の通信を相互に行うこ
とで、上記複数の端末装置間での通信会議を可能とする
通信会議接続装置とを含む通信会議システムであって、上記通信会議接続装置は、請求項１〜４の何れかに記載
の通信会議接続装置の機能を有することを特徴とする通
信会議システム。
【請求項６】少なくとも表示部を有する複数の端末装
置を通信回線網を介して接続し、各々の端末装置にて得
られる少なくとも映像信号の通信を相互に行うことで、
多地点での通信会議を可能とするための制御方法であっ
て、上記端末装置にて得られた映像信号中に所定被写体の映
像が存在するか否かを認識する認識ステップと、上記認識ステップでの認識結果に基づいて、上記映像信
号の上記表示部に対する出力を制御する制御ステップと
を含むことを特徴とする通信会議の制御方法。
【請求項７】上記認識ステップは、上記端末装置側に
存在する使用者の少なくとも顔部分を上記所定被写体と
して、該所定被写体の映像が上記映像信号に含まれるか
否かを認識するステップを含むことを特徴とする請求項
６記載の通信会議の制御方法。
【請求項８】上記制御ステップは、上記認識ステップ
での認識結果により、上記映像信号中に所定被写体の映
像が存在すると認識された場合、その映像信号の上記表
示部に対する出力を停止するステップを含むことを特徴
とする請求項６記載の通信会議の制御方法。
【請求項９】上記制御ステップは、上記所定被写体の
映像が認識されてから所定時間経過した後に、上記出力
の停止を行うステップを含むことを特徴とする請求項８
記載の通信会議の制御方法。
【請求項１０】少なくとも表示部を有する複数の端末
装置を通信回線網を介して接続し、各々の端末装置にて
得られる少なくとも映像信号の通信を相互に行うこと
で、多地点での通信会議を可能とするための処理ステッ
プをコンピュータが読出可能に格納した記憶媒体であっ
て、上記処理ステップは、請求項６〜９の何れかに記載の通
信会議の制御方法の処理ステップを含むことを特徴とす
る記憶媒体。