JP2002534009A - テレビ会議における参加者のプリセット位置の自動設定方法 - Google Patents

テレビ会議における参加者のプリセット位置の自動設定方法

Info

Publication number
JP2002534009A
JP2002534009A JP2000590377A JP2000590377A JP2002534009A JP 2002534009 A JP2002534009 A JP 2002534009A JP 2000590377 A JP2000590377 A JP 2000590377A JP 2000590377 A JP2000590377 A JP 2000590377A JP 2002534009 A JP2002534009 A JP 2002534009A
Authority
JP
Japan
Prior art keywords
camera
participant
preset
video conference
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000590377A
Other languages
English (en)
Inventor
コーエン−ソラル，エリック
ピー マーテル，エイドリアン
セングプタ，ソウミトラ
ストラッブ，ヒューゴー
カビエデス，ホルヘ
アブデル−モタレブ，モハメッド
エルガマル，アーメッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2002534009A publication Critical patent/JP2002534009A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 テレビ会議に出席している参加者に対応して適切なカメラパラメータのプリセットを自動的に決定できるテレビ会議システム及び方法を提供する。このテレビ会議システムにおいて、カメラはテレビ会議の空間をズームアウトまたは回動撮影し、参加者の顔部に基づいて参加者の検出する。参加者が検出されると、その参加者に対応するカメラパラメータのプリセットを計算して、参加者の中心がカメラの視野の中心になるようにする。これを部屋にいる参加者全員に対して行う。各参加者の最適位置及び対応するカメラパラメータは、社会文化的な傾向によって異なる。カメラを部屋でズームアウトまたは回動撮影させることにより、プリセットの更新を周期的に行うことができる。また、複数のカメラを用いて、プリセットを連続的に更新することも可能である。

Description

【発明の詳細な説明】
【０００１】 ［発明の属する技術分野］ 本発明は、テレビ会議の技術分野に関し、より詳細には、テレビ会議における
参加者の所望の撮影位置に対応してカメラの回動撮影、傾斜、ズームパラメータ
を自動的に決定する方法に関する。
【０００２】 ［従来の技術］ テレビ会議において、カメラが参加者間を素早く切り換えられるように、各参
加者のカメラパラメータを適切に把握することが必須である。これらのパラメー
タは、カメラの適切なズーム、回動撮影（パン）、傾斜の値を含み、これらのパ
ラメータを以後、「プリセット」である各参加者に関連付けられたカメラ「パラ
メータ」と一括的に称する。会議中は、複数の参加者を素早く見渡せることが必
要であり、ひとりの参加者から別の参加者へとカメラが短時間で切り換えること
がしばしば必要となる。
【０００３】 従来の装置では、ユーザが手動で、テレビ会議の各参加者のカメラパラメータ
を設定していた。使用される各カメラは、ひとりの参加者に焦点を合わせ、プリ
セットスイッチが始動する。例えば、会議に３人の参加者がいるとして、スイッ
チ１が参加者１に対応するカメラパラメータを表し、スイッチ２が参加者２に対
応するカメラパラメータを表し、スイッチ３が参加者３に対応するカメラパラメ
ータを表す。ここで、参加者１、２間の切り換えを行う場合、ユーザはスイッチ
２を始動させるだけで、カメラを移動し焦点を合わせることができる。ところが
、各参加者毎にカメラを１台設定するのは、カメラ操作者によってもユーザにと
っても、しばしば時間のかかる面倒な作業となる。その上、参加者が一人でも部
屋を出入りする度に、プリセットを再設定する必要がある。参加者ひとりが元の
位置から単に移動しただけでも、その元のカメラプリセットは適用できなくなる
。参加者ひとりが部屋の中を移動するだけで問題が生じるのである。しかも、参
加者がいすに座ったままで姿勢を変える（前寄り、後ろ寄り、片方寄りなど）だ
けでも、パラメータが変化し、その参加者は焦点の合っている位置から外れたり
、カメラの視野の中心から外れたり、カメラの視野から見て好適なサイズでなく
なってしまったり、といった不都合が生じる。
【０００４】 米国特許第５，５９８，２０９号には、ユーザが所望の物体または人物を指す
と、その対象物の中心に対応するカメラの回動撮影及び傾斜パラメータを自動的
に記憶するシステムが開示されている。しかし、部屋内の物体または人物の全て
が、ユーザの制御のもと、確実に選択及び記憶されなくてはならず、結局時間が
かかることとなる。また、参加者が部屋を出入りした場合のパラメータ更新につ
いても提案はされていない。
【０００５】 プリセット位置の自動決定は、議会形式においても有用である。一般的に、議
会形式の部屋において、カメラプリセットは各参加者に使用されるマイクロフォ
ンに基づいて設定される。参加者が自分のマイクロフォンをオンにすると、その
マイクロフォンに対応するカメラプリセットが使用される。しかし、マイクロフ
ォンが故障した場合や、別の話者に使用される場合は、話者とカメラとの相互対
応関係がくずれてしまう。
【０００６】 したがって、全ての参加者について対応するカメラパラメータを自動的に決定
し、参加者が部屋を出入りしても自動的に調節を行うテレビ会議システムが必要
とされている。テレビ会議技術の目的は、効果的なコミュニケーションと対話を
可能にする点にある。しかし、ユーザが常にプリセットパラメータの始動や更新
のためにシステムを調整しなければならないようでは、この目的は達成されがた
い。テレビ会議におけるユーザ間での対話形態は、テレビ番組において行われる
対話型形態とは異なる。この対話形態を更に進めるためにも、あまり有意義なコ
ミュニケーションを生み出すとは思えない静的なズームアウト画に頼ることなく
、可能な限りの部分を自動化したシステムを提供することが望まれる。
【０００７】 ［発明の開示］ 本発明の特徴のひとつは、テレビ会議システムの参加者に対応したカメラパラ
メータのプリセットを計算する方法にある。この方法は、傾斜、回動撮影、ズー
ムパラメータを有するカメラを備える工程と、テレビ会議システムのレイアウト
に基づいて空間を決定する工程とを含む。この方法は更に、テレビ会議システム
が位置する空間によって決定される適切な回動撮影値を通してカメラを回動する
か、または全ての参加者がカメラから視野に入るように及び各参加者の空間内で
の位置が検知されるようにカメラをズームアウトするか、のどちらかを行う工程
を含む。この方法は更に、空間内の参加者を検出する工程と、参加者に対応する
プリセットを計算する工程とを含む。このプリセットがカメラの視野を決定し、
前記プリセットは、カメラの視野内の参加者の最適位置と、参加者の頭部の中心
がカメラの視野の中心に一致する位置と、参加者の中心がカメラの視野の中心に
一致する位置とのうち少なくともいずれか一つに基づいて決定される。
【０００８】 この特徴によって、テレビ会議の参加者の自動検出及び該参加者に対応したカ
メラパラメータの更新が可能となる。
【０００９】 本発明の別の特徴によると、回動撮影と、傾斜と、ズームとのパラメータを有
する少なくとも一のカメラを備えるテレビ会議システムが提供される。これらの
パラメータは、テレビ会議の参加者に対応して割当てられたプリセット値を有す
る。各プリセットはカメラの視野を決定し、また、テレビ会議システムによって
決定される空間全体にわたってカメラを回動及びズームさせるか、参加者を検出
するか、最適位置と、参加者の頭部がカメラの視野の中心と一致する位置と、参
加者の中心がカメラの視野の中心と一致する位置とのうちいずれか一の位置に参
加者が位置するようなカメラ位置に基づくか、のいずれかによって決定される。
【００１０】 本発明の更に別の特徴によると、回動撮影と、傾斜と、ズームとのパラメータ
を有する少なくとも一のカメラを備えるテレビ会議システムが提供される。これ
らのパラメータは、テレビ会議の参加者に対応して割当てられたプリセット値を
有し、プリセットはカメラの視野を決定する。このシステムは更に、テレビ会議
システムによって決定される空間全体にわたってカメラを回動させる手段と、テ
レビ会議システムによって決定される空間を捉えるようにカメラをズームアウト
させる手段とのうち少なくとも一を備える。空間内の参加者を検出するために、
検出手段を用いる。また、最適位置と、参加者の頭部がカメラの視野の中心と一
致する位置と、参加者の中心がカメラの視野の中心と一致する位置と、のいずれ
か一の位置に参加者が位置するようなカメラ位置に基づいて、カメラのプリセッ
トを決定するために、決定手段を用いる。
【００１１】 本発明は、参加者の適切な位置についてのカメラパラメータのプリセットを自
動的に決定できるテレビ会議システム及び方法を提供することを目的とする。
【００１２】 本発明はまた、参加者の数や配置の変化に応じてカメラプリセットを絶えず更
新できるテレビ会議システム及び方法を提供することを目的とする。
【００１３】 上述の開示は、本発明の特徴を分かり易くするためのものであり、以下に続く
本発明の好ましい実施態様についての詳細な説明及び添付の図面から、本発明の
更なる理解が得られるであろう。
【００１４】 ［発明の好ましい実施の形態］ 図１Ａは、テーブルの周りに参加者が着席したテレビ会議システムを示す。図
１Ｂは、参加者が議会形式に着席した場合を示す。カメラ５０は、コントローラ
５２によって、部屋の一方から他方へと動かして撮影するよう、制御されている
。カメラ５０の回動始点と終点は同じである。例えば、図１Ｃに示すように、カ
メラ５０は、部屋の中央に設けられ、参加者がその周囲に位置する場合もある。
このような状況では、カメラ５０は、部屋全体をくまなく回動撮影するため、円
を描いて回転することになる。図１Ｂに示す議会形式においては、カメラ５０は
、異なる列をカバーするために多重の回動経路を持つ。各回動経路は、それぞれ
異なる傾斜、及び、おそらくは異なるズームを有する（ただし、会議参加者がカ
メラから放射状に同じ距離に位置する場合は、ズームも同じである）。この議会
形式においてはまた、カメラ５０は、部屋の中央に設置され、図１Ｃの場合のよ
うに、回転移動することが必要となる。
【００１５】 説明の簡略化の為、図１Ａに示す配置について、更に詳しく説明する。ただし
、以下に説明する技術は、図示の全ての配置、及び同業者には明らかである他の
全ての配置においても適用可能であることはいうまでもない。本発明は、テレビ
会議システムの調整が行われる場所ならどこにおいても適用可能である。３人の
参加者（参加者Ａ、Ｂ、Ｃ）が図示されているが、それよりも多数の参加者がい
る場合も同様である。
【００１６】 カメラ５０が、部屋の一方から他方へ回動すると、カメラの視点からは参加者
が横に回動するように見える。図２Ａ乃至２Ｃに示すように、カメラの撮影位置
によって、参加者が、カメラの視点からは異なる位置に見える。図からわかるよ
うに、３つの異なる撮影位置（Ｐ１、Ｐ２、Ｐ３）において、傾斜（Ｔ）及びズ
ーム（Ｚ）は等しい。カメラの初期走査の間、他のパラメータ（つまり、傾斜ま
たはズーム）を適切な範囲内で動かし、残りの２つのパラメータは一定にしてお
くことも可能である。また、カメラ５０が、部屋全体が一度に見渡せるようにズ
ームパラメータを設定されていることも可能である（後に述べるように、静止状
態の参加者の位置を決定するための情報が十分に得られることを前提とする）。
ここでも、簡略化の為、カメラの回動撮影の例を示すが、同業者には明らかであ
る他の手段も適切な変更と共に適用可能である。
【００１７】 初期回動の間、カメラが処理する各フレームを分析し、参加者がフレーム内に
位置するか否かを判断する。この判断の方法のひとつを、参加者検知についての
記述において後に詳しく説明する。もちろん、他の方法も適用可能である。検知
された各参加者について、回動撮影しているカメラは、その参加者を含む複数の
フレームを検出する。例えば、一つのカメラが一つの部屋について１０００枚の
フレームを処理する場合、各フレームに一人の参加者が映っていれば、１０００
人の参加者がいると解釈され得る。
【００１８】 実際の参加者の人数を増大してしまうこの問題を避けるために、検知された各
参加者にラベル付けが行われる。検出された各参加者についての質量中心を、各
フレームについて計算し、参加者を含む可能性のある続く２枚目のフレームを前
の１枚目のフレームを比較し、カメラが新しい参加者をとらえたか、それとも単
に同じ参加者が映っている別のフレームであるかを判断する。この比較を行う方
法のひとつとして、最初の質量中心と、カメラが最初の位置から回動した距離と
に基づいて、幾何学的外挿を行う方法がある。この方法から、２枚目のフレーム
が１枚目のフレームと同じ参加者を含む場合、中心がどこにあるべきかをほぼ決
定できる。同様に、１枚目のフレームの撮影位置と２枚目のフレームの撮影位置
との間のカメラの回動と共に、２枚目のフレームの質量中心を計算し、最初の中
心と比較できる。あるいは、検知された各参加者に対して署名を作成し、後続の
フレーム内の参加者の署名を最初の署名と比較してもよい。このような署名作成
は、公知の技術である。署名作成方法の例は、後に参加者識別及び位置更新の説
明において述べることにする。参加者の撮像がフレーム内にあると判断されると
、仮プリセットを計算することができる。
【００１９】 図３は、カメラの概略透視図である。このカメラのセンサ５６は、ｘ及びｙ座
標をそれぞれ有する主点ＰＰを有する。レンズ５８は、主点ＰＰから焦点距離ｆ
をおいて位置する中心を有する。カメラのズームは、この焦点距離ｆを変えるこ
とによって変更できる。焦点距離ｆが短いと、視野が広くなる（「ズームアウト
」という）。回動撮影パラメータの変化は、センサ５６の回動軸のまわりの回動
を意味する。傾斜パラメータの変化は、センサ５６の傾斜軸のまわりの回動を意
味する。
【００２０】 物体または参加者６２がカメラの視野に入ると、その参加者の空間位置が、同
一の参加者を含むフレームが２つあるか否かを判断する従来の方法を用いて、決
定できる。これは、主点ＰＰ（この時点では６０）の位置及び焦点距離ｆがわか
っているからである。カメラ５０が部屋を回動撮影すると、参加者を含む複数の
フレームが得られ、各参加者の空間位置が決定される。カメラが回動ではなくズ
ームアウトする場合、位置決定には２つのはっきりと異なる計測値が必要となる
。参加者の位置がわかれば、プロセッサ５４によって仮プリセットが計算される
（図１Ａ乃至１Ｃ参照）。
【００２１】 この仮プリセットの計算は、前述した参加者署名作成の場合のように、公知の
技術を用いて参加者の中心を決定する。例えば、参加者の輪郭の標準及びその質
量中心を計算する。その中心点は、カメラの視野の中心に置かれ、例えば図１に
示す参加者ＡのプリセットＰｓｎ、Ｔｓｎ、Ｚｓｎを作成する。こうした回動撮
影及びプリセット計算処理は、その部屋内の全ての参加者に対して繰り返され、
その結果、部屋に何人の参加者がいるかも判断する。これらはすべて会議の冒頭
部分で行われ、後に詳しく述べる更新過程の間、繰り返される。
【００２２】 部屋内の全ての参加者のラベル付け及び図４に示すように全ての仮パラメータ
の計算の後、カメラ５０は、部屋の２度目の回動撮影（またはズームアウト）を
行う。最初の回動撮影段階で行われたキャリブレーションは、たいていの場合は
十分な正確さに欠けるため、前の各プリセット映像は、ここで更に改善される。
【００２３】 図５に示すように、カメラの視野の中心を、各参加者の頭部の中心と比較し、
カメラの視野内で、中心点が一致するようにパラメータを調整する。プリセット
が改善されると、各参加者の「最適」映像に対応するプリセットを計算する。こ
れは、社会文化の違いによって異なる場合がある。例えば、米国におけるニュー
ス番組のように、参加者の胴から頭部にかかる部分が、フレーム全体の３０％か
ら６０％を占める。最適映像によって、図６に示すような更新されたプリセット
Ｐｓｎ´、Ｔｓｎ´、Ｚｓｎ´が得られる。これらの値は、システムの構造及び
更新の実行方法に対応して、後に説明するように、連続的に更新される。カメラ
が一人の参加者を捉え、その参加者が動いている場合、新しい最適位置が計算さ
れ、その計算値に従ってカメラのプリセットが連続して調整される。
【００２４】 カメラは、音声トラッキング、画像トラッキング、ユーザまたは公知の方法に
よる選択に基づいて、参加者に焦点を合わせる。音声トラッキングは、人物が遠
のくとその精度が低下するため、使用が限定され、常に４、５度の誤差があるの
で、それのみでは使用できず、参加者がしゃべるのを止めると、トラッキングが
全くできなくなる。
【００２５】 各参加者を検知すると、それぞれに名前を付ける。例えば、図１の３人の参加
者は、それぞれＡ，Ｂ、Ｃと識別され、ユーザが参加者Ａを見たいを指示すれば
カメラがＡに対する最適プリセットへ回動する。更に、このシステムは、各参加
者について特徴をつかみ、それに従って参加者にラベル付けを行うようプログラ
ミングされている。例えば、各参加者の署名を作成し、その人のシャツの色、声
のパターン、あるいは顔と声の組み合わせなどを用いて、参加者に関連付けるラ
ベルを形成できる。こうした更なる情報により、参加者Ａが部屋の中を動き回っ
た場合でも、システムはどの参加者が動いているかを把握し、参加者Ａが参加者
Ｂのパラメータに対応する撮影位置を歩いても、混同することはない。また、２
人の参加者が接近して位置し、ひとつのカメラの撮影視野に一緒に入っていても
、カメラは彼らの画像の中心に焦点を合わせてその２人の参加者を一人の参加者
として認識する。
【００２６】 前述のように、このシステムの利点のひとつは、部屋の参加者の動向が変わっ
ても、プリセットが自動的に調整されることである。もちろん、一つのプリセッ
トが選択されて、それに対応する参加者が部屋を出た場合は、システムはこれを
感知し、プリセットを更新する。更新方法のもう一つの方法として、新しいプリ
セットが選択される度、カメラ５０がズームアウト（または部屋を回動撮影）し
て、部屋に出入りした人があるか否かを判断し、カメラ５０が選択されたプリセ
ットに回動する前に、プリセットを更新する方法がある。カメラ５０は、周期的
に、選択された参加者を撮影するように指示されている間でさえ、その参加者の
撮影を一時的に止め、参加者の数が変わったか否かをチェックするために部屋の
回動撮影またはズームアウトを行うように制御されている。他の方法としては、
参加者が位置すべき場所にいないことを検出する方法がある。例えば、参加者Ｃ
の対応するプリセットから参加者Ａへと回動するようにカメラ５０が指示された
場合、または参加者Ｂが部屋を出た場合、システムはそれを感知し、適切な調整
を行う。更に他の更新方法としては、周期的、または新しいプリセットが選択さ
れる度に、カメラ５０が部屋の回動撮影（またはズームアウト）を行う方法であ
る。
【００２７】 図７は、本発明の第２実施例を示す。本実施例は、図１Ａと同様の特徴を持つ
が、第２のカメラ６４が加えられている点で異なる。初期キャリブレーションは
、前に説明したように行われる。しかし、会議の間、一方のカメラは適切な参加
者に焦点を合わせて使用され、他方はプリセットを連続的に更新するために使用
される。更新用カメラは、絶えずズームアウトを行い、いつ参加者が部屋を出入
りしたかを判断する。あるいは、更新用カメラは、絶えず部屋を回動撮影し、プ
リセットの適切な更新を行う。２つのカメラは、例えばプロセッサ５４を介して
プリセット情報を共有する。もちろん、それ以上の数のカメラを用いてもよい。
例えば、一つのカメラが会議に出席するはずの各個人に割当てられ、追加のカメ
ラ１つを更新用カメラとして使用することも可能である。
【００２８】 参加者がカメラの視野内に位置するか否かを判断する方法として、カメラが捉
えている画像内に顔があるか否かを判断する方法がある。画像の各画素は、通常
ＨＳＶ（色相、彩度、明度）の色領域で表される。これらの値は、図８に示すよ
うな円柱状の座標系に表される。図中、Ｐは明度（または輝度）、θは色相、ｒ
は彩度を示す。円柱状座標系の非線形性の為、他の色空間が、ＨＳＶ色空間に似
せて使用される。磁気媒体に記憶されたほとんどの画像情報とＭＰＥＧ２標準と
はどちらもＹＵＶ色間を使用するので、本例ではこの色空間を使用する。
【００２９】 ＲＧＢ画像をＹＵＶ領域に変換し、更にＶＵ、ＶＹ、ＶＵ平面に投影すること
によって、図９に示すようなグラフが得られる。部分円弧は、ＨＳＶ色領域の近
似を表す。肌色に対応する画素をＹＵＶ色空間で表す時は、これらの部分円弧に
内に表される。例えば、ある画素の輝度が０と２００の範囲内の値を持つ場合、
クロミナンスＵは通常、肌色画素に対して、−１００から０の範囲内の値を有す
る。これらは、実験に基づいた一般的な値である。もちろん、使用される各カメ
ラについて、色学習処理を行うことが可能である。この学習処理の結果は、肌色
部分をより正確に形成するために利用される。
【００３０】 顔部を検知するために、画像の各画素について、肌色であるか否かを判断する
。肌色の画素は、画像の他の部分から離して、顔部の可能性のある画素グループ
として保持される。少なくとも一つの画素が、肌色グループに入らない場合、そ
の画素は肌色ではないと判断され、顔部候補から除外される。
【００３１】 この肌色検出によって形成された画像は２進法で表される。なぜなら、その画
像は、肌色である部分か、肌色でない部分かのどちらかを表すものであるからで
ある。図１０Ａ、１０Ｃ、１０Ｅに示す元の画像にそれぞれ対応した図１０Ｂ，
１０Ｄ、１０Ｆにおいて、白い部分は肌色を、黒い部分は非肌色を示している。
図１０Ａ、１０Ｂに示すように、本検出工程のみで、画像の大部分を除外するこ
とができる。図１０Ａに示すような背景であれば、色と形を利用する従来の技術
で十分対処できる。しかし、図１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆを見ると、色と
形のみによる検出では、顔部の検出に十分ではないことが明らかである。図１０
Ｃ、１０Ｄ、１０Ｅ、１０Ｆにおいて、皮、木、衣服、頭髪などの物体も肌に近
い色を有する。図１０Ｄと１０Ｆからわかるように、これらの肌色の物体が顔部
の肌色のすぐ近くに位置し、顔部そのものの検出が難しい。
【００３２】 画素の色による選別の後、エッジに位置する画素は候補から除外される。ここ
でエッジとは、ひとつの画素とその隣の画素における輝度のレベルの変化をいう
。画素の除外は、肌色の各画素を取り出し、輝度についての画素内の差異を計算
する。この差異が高いと、エッジ部であると判断される。図１１に示すように、
３×３または５×５画素のボックス（「ウィンドウ」）を肌色の画素上に置く。
もちろん、四角なボックス型以外に他のタイプのマスクも使用できる。
【００３３】 差異は次のように求められる。
【００３４】
【数１】 式中、μｘは検査されているウィンドウ内の全ての画素の平均を表す。高差異
レベルは、顔部とカメラによって異なる。従って、反復ルーチンが、非常に高い
差異レベルから低い差異レベルに向かって使用される。
【００３５】 差異検出反復処理の各工程において、肌色画素の周囲のウィンドウ内の差異が
、その反復処理に試用されている差異しきい値よりも大きければ、画素が顔部候
補から除外される。すべての画素について反復処理で試験した後、結果として得
られた結合要素についての、後に詳細に述べるように顔部特徴を試験する。結合
要素とは、同じ２値（肌色部に対しては白）を有して結合されている画素のこと
である。ここでの結合は、４または８タイプのものとなる。図１２Ａに示す４タ
イプの結合では、図中「１」で示すように、中心画素は直に隣接する画素にのみ
結合していると考えられる。８タイプの結合においては、図１２Ｂに示すように
、中心画素に斜めに接している画素も、中心画素に結合していると考えられる。
【００３６】 上述のように、各反復処理の後、結合要素は、要素分類工程において、顔部で
あるか否かを検査される。この検査は、各結合要素の周囲に存在する境界ボック
スに基づく５つの基準を使用する。この例を、図１０Ｅに基づく図１４に示す。
判断基準は以下の通りである。 １．境界ボックスの面積をしきい値と比較する。顔部は通常、非常に大きくも非
常に小さくもないと認識される。 ２．境界ボックスのアスペクト比（高さ対幅）をしきい値と比較する。顔部は通
常、アスペクト比の範囲にある。 ３．境界ボックスの面積に対する検知された肌色画素の面積の比率を、しきい値
と比較する。人の顔部が占める面積は、境界ボックスの面積のうち所定の割合を
占める。 ４．境界ボックス内の細長い物体のオリエンテーションを確認する。一続きの画
素のオリエンテーションを判断する方法は多数ある。例えば、中心軸を検出すれ
ば、その軸からオリエンテーションがわかる。一般には、顔部は、画像の平面に
対して垂直な軸（ｚ軸）に対して大きく回転しないため、ｚ軸に対して回転して
いる細長い物体は、顔部の候補から除外される。 ５．境界ボックスの中心と検査される要素の質量中心との距離を確認する。一般
的には、顔部は境界ボックスの中心内に位置し、片方のみに位置したりする場合
はない。
【００３７】 差異に対する反復処理は、画像を、しきい値よりも小さくなるまで更に細かい
要素に微細化していくことにより続けられる。図１０Ｃ及び１０Ｅの画像は、反
復処理の後、図１３Ａ及び１３Ｂに示すように変化する。図からわかるように、
画像内の顔部は、差異反復検出の結果、背景の非顔部肌色領域とは区別されてい
る。検知された離間される肌色部分はしばしば、図１４に示すようになる。これ
は、顔部を遮断する物体（眼鏡やひげ等）が存在したり、高い差異レベルの為既
に除外された部分があるためである。したがって、この結果得られた要素のみを
用いて顔部を検出するのは難しい。差異反復検出及び要素分類処理の後にもまだ
顔部に属する可能性のある要素によって、図１５に示すようなグラフを形成する
ことができる。このように、類似した特徴を有し接近して位置する複数の肌色の
要素は、ひとまとめにして、更なる検査を行う。
【００３８】 図１５に示すように、得られた各要素（色検出、エッジ除外、要素分類工程を
経て残った要素）は、グラフの頂点によって表される。元の画像の空間で接近し
て位置している場合、及び元の画像で類似した色を有する場合、頂点が結合され
る。例えば、２つの要素、ｉ及びｊは、以下の式が成り立つ場合、同様な色を有
する。 |Yi-Yj|＜ ty ∧|Ui-Uj|＜ tu ANDLINE Vi-Vj|＜ tｖ 式中、Yn、Un、Vnは、ｎ番目の輝度及びクロミナンスの平均値を示し、ｔｎは
、しきい値を示す。しきい値は、顔部におけるY、U、V値の差異に基づき、同じ
顔の要素が同様であることがわかるように高レベルに維持されている。２つの要
素は、その距離が近いと、空間内で互いに接近して位置していると考えられる。
この空間条件は、ひとつの顔部内の部分は、画像中で空間的に離間して位置する
ことがないので、空間的に離間している要素をひとまとめにしないことを確実に
している。
【００３９】 頂点の間の結合部分をエッジという。各エッジは、２つの頂点間のユークリッ
ド距離に比例して重み付けがされている。頂点を結合することにより、ひとつの
グラフ、または、異なるグラフの集まりが得られる。こうした各グラフについて
、最小スパニング樹を抽出する。最小スパニング樹は通常、全ての頂点が結合さ
れており、グラフのエッジの長さ合計が可能な限り小さいグラフの部分集合であ
る。各グラフに対応する要素は、上述の要素分類工程にて決定された形状パラメ
ータを用いて、顔部か非顔部かのどちらかに分類される。その後、各グラフは、
最弱のエッジ（最大の重み付けがされたエッジ）を除外することにより２つのグ
ラフに分割され、得られた２つのグラフの対応する要素を再検査する。この分割
処理は、結果として得られるグラフの周囲に形成される境界ボックスの面積がし
きい値よりも小さくなるまで続けられる。
【００４０】 ひとつの顔部の各グラフを分割し検査することにより、画像中の顔部について
、可能性のある全ての位置及びサイズの集合が決定される。この集合は誤りを多
数含む場合もあるため、こうした誤りを除外するためにヒューリスティックを適
用する。顔部の特徴（鼻、口等）の全てを検出するには、過大な検索空間を要す
るテンプレートが必要となる。しかし、実験の結果、これらの顔部の特徴は、高
い差異レベルのエッジを有するということがわかっている。したがって、誤認部
分の多くは、顔部の候補部分内の高差異レベル画素と、その候補部分の全ての画
素数との比率を検査することによって除外される。
【００４１】 上述のヒューリスティックは、まず画像内の顔部候補に対して形態確定操作を
行うことによって実行される。当業者間では公知のように、マスクを選択し、顔
部候補の領域内の各画素に適用する。例えば、３×３マスクが利用可能である。
顔部候補の要素間の境界部を拡張するために、拡大アルゴリズムを適用する。続
いて、境界部から画素を取り除くために、エロージョン・アルゴリズムを適用す
る。これら２つのアルゴリズムは、当業者には理解されるものであり、この順序
で実行され、要素間の隙間を埋め、要素をほぼ同じスケールに維持する。もちろ
ん、同じ回数適用される限り、拡大及びエロージョン工程を複数回行うことも可
能である。
【００４２】 次に、顔部候補内における高差異の画素の比率を、顔部候補内の合計画素数と
比較する。図１６A乃至１６Dにおいて、図１６A内の元の画像について、上述の
方法を用いて顔部候補を検出し、図１６Bに示す２値画像を得る。形態確定操作
をこの２値画像に対して行い、１６Cに示す画像を得る。最後に、図１６Cの画像
内に位置する高差異の画素を検出し、図１６Dに示す画像を得る。このようにし
て、合計画素数に対する高差異画素の比率が得られる。全参加者検出方法につい
ては、図１７に示す工程S２からS１６によってまとめる。
【００４３】 図からわかるように、テレビ会議システムによって決定された空間を捉えるカ
メラを制御することによって、参加者それぞれに対応するカメラパラメータのプ
リセットが自動的に計算され、継続的に更新される。
【００４４】 以上、実施例を用いて本発明の説明を行ったが、本発明は上述の実施例や変形
例に限定されるものではなく、請求の範囲から反れない限りは様々な変更や変形
が可能なことは当業者において明らかである。
【図面の簡単な説明】
【図１】 図１Ａ，１Ｂ、１Ｃはそれぞれ、本発明に係るテレビ会議システムの部屋、議
会、円卓における配置を示す。
【図２】 図２Ａ、２Ｂ、２Ｃは、本発明に係るテレビ会議システムにおいて、カメラが
部屋内を回動撮影する際に、参加者がカメラの視野に入ってくる様子を示す図で
ある。
【図３】 図３は、本発明で使用されるカメラの概略斜視図である。
【図４】 図４は、それぞれ仮プリセットで示された、テレビ会議の参加者を示す図であ
る。
【図５】 図５は、参加者の中心が、カメラの視野におけるその参加者の中心からずれて
いる様子を示す図である。
【図６】 図６は、それぞれ更新されたプリセットを付したテレビ会議参加者を示す図で
ある。
【図７】 図７は、２つのカメラを使用する、本発明の第２実施例を示す図である。
【図８】 図８は、画像内の画素の色を図表化するための円柱状座標系を示す。
【図９】 図９Ａ、９Ｂ、９Ｃは、肌色の画素の位置を示すＹＵＶ色領域の投影図を示す
。
【図１０】 図１０Ａ乃至１０Ｆは、元の画像と、色に基づいて画素を選別して形成された
対応する２値画像を示す。
【図１１】 図１１は、本発明にしたがって、３３マスクがどのように輝度の差異検出に利
用されるかを示す図である。
【図１２】 図１２Ａ及び１２Ｂは、４及び８タイプの結合を示す図である。
【図１３】 図１３Ａ及び１３Ｂは、図１０Ｃ及び１０Ｅに示す画像が、本発明によってエ
ッジの除去が行われた後、どのように見えるかを示す。
【図１４】 図１４は、図１０Ｅの画像に境界ボックスを適用した例を示す。
【図１５】 図１５は、本発明にしたがって、ひとつの画像の要素が頂点によって表され、
結合されてひとつのグラフを形成する様子を示すシーケンス図である。
【図１６】 図１６A乃至１６Dは、本発明にしたがって、ヒューリスティックの適用を示す
一連の図である。
【図１７】 図１７は、顔部検出における一般的な工程を示すフローチャートである。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/232 Ｈ０４Ｎ 5/232 Ｚ 7/18 7/18 Ｅ Ｋ (71)出願人 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １， 5621 ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈ ｅ Ｎｅｔｈｅｒｌａｎｄｓ (72)発明者 セングプタ，ソウミトラ オランダ国，5656 アーアー アインドー フェン， プロフ・ホルストラーン ６ (72)発明者 ストラッブ，ヒューゴー オランダ国，5656 アーアー アインドー フェン， プロフ・ホルストラーン ６ (72)発明者 カビエデス，ホルヘ オランダ国，5656 アーアー アインドー フェン， プロフ・ホルストラーン ６ (72)発明者 アブデル−モタレブ，モハメッド オランダ国，5656 アーアー アインドー フェン， プロフ・ホルストラーン ６ (72)発明者 エルガマル，アーメッド オランダ国，5656 アーアー アインドー フェン， プロフ・ホルストラーン ６ Ｆターム(参考） 5B057 AA20 CE12 DA07 DA16 DB02 DB06 DB08 DC04 DC06 DC16 DC25 DC36 5C022 AA12 AB62 AB66 5C054 AA02 AA05 FC08 FC09 FC14 FF02 HA25 5C064 AA02 AB02 AC04 AC08 5L096 AA02 AA06 BA20 CA02 DA01 EA39 EA43 FA06 FA15 FA59 FA69 GA07 GA10 GA34 GA38 HA05 【要約の続き】

Claims (25)

    【特許請求の範囲】
  1. 【請求項１】 テレビ会議システムにおける参加者に対応したカメラパラメ
    ータのプリセットを計算する方法において、 傾斜、回動撮影、ズームパラメータを有するカメラを備える工程と、 テレビ会議システムのレイアウトに基づいて空間を決定する工程と、 前記テレビ会議システムが位置する前記空間によって決定される適切な回動撮
    影値にしたがって前記カメラを回動するか、または全ての参加者がカメラから視
    野に入るように及び各参加者の前記空間内での位置が検知されるように前記カメ
    ラをズームアウトするか、のどちらかを行う工程と、 前記空間内の参加者を検出する工程と、 前記参加者に対応するプリセットを計算する工程とを含み、 前記プリセットがカメラの視野を決定し、前記プリセットは、前記カメラの視
    野内の参加者の最適位置と、前記参加者の頭部の中心が前記カメラの視野の中心
    に一致する位置と、前記参加者の中心が前記カメラの視野の中心に一致する位置
    とのうち少なくともいずれか一つに基づいて決定されることを特徴とする方法。
  2. 【請求項２】 前記参加者にラベル付けを行うことにより参加者をトラッキ
    ングする工程を更に含むことを特徴とする請求項１記載の方法。
  3. 【請求項３】 ユーザがプリセットを選択した時、該プリセットの調整を行
    うか、前記空間から出て行った参加者に対応するプリセットを削除するか、前記
    処理を繰り返すか、の少なくともいずれかひとつを前記テレビ会議システムに実
    行させることにより、前記プリセットを更新する工程を更に含むことを特徴とす
    る請求項１記載の方法。
  4. 【請求項４】 前記プリセットを計算する工程において、前記カメラの視野
    内に２人以上の参加者が位置する場合、該参加者を一の画像に合体し、その合体
    画像の中心を利用して前記プリセットを決定することを特徴とする請求項１記載
    の方法。
  5. 【請求項５】 前記参加者を検出する工程は、 複数の画素からなるデジタル画像を形成する工程と、 肌色の画素を検出することにより前記デジタル画像から２値画像を形成する工
    程と、 前記２値画像の輝度要素におけるエッジに対応する画素を除去し、２値画像要
    素を形成する工程と、 前記２値画像要素を少なくとも一のグラフにマッピングする工程と、 前記マッピングされた２値画像要素を、顔部か非顔部かどちらかに分類し、顔
    部に分類された要素を顔部候補とする工程とを含むことを特徴とする請求項１記
    載の方法。
  6. 【請求項６】 ヒューリスティックを適用する工程を更に含み、 前記ヒューリスティックは、 前記顔部候補のそれぞれに形態確定操作を行い、少なくとも一の確定顔部候補
    を得る工程と、 前記確定顔部候補内における高差異レベル画素を決定する工程と、 前記確定顔部候補内における高差異レベル画素と全画素数との比率を決定する
    工程と、 前記比率としきい値とを比較する工程とを含むことを特徴とする請求項５記載
    の方法。
  7. 【請求項７】 前記画素を除去する工程は、 検査された画素を含む複数の画素にマスクを適用する工程と、 前記検査された画素と前記マスク内に位置する画素の間の差異を検出する工程
    と、 前記差異を差異しきい値と比較する工程とを含むことを特徴とする請求項５記
    載の方法。
  8. 【請求項８】 前記２値画像要素が要素サイズしきい値よりも小さくなるま
    で差異しきい値を小さくなるように、前記画素を除去する工程を繰り返し、 前記画素を除去する工程が一回終わる毎に、前記要素を分類する工程を実行す
    ることを特徴とする請求項７記載の方法。
  9. 【請求項９】 前記２値画像要素が結合されていることを特徴とする請求項
    ５記載の方法。
  10. 【請求項１０】 前記要素を分類する工程は、前記要素のうち分類された要
    素の周囲に境界ボックスを形成する工程と、 前記境界ボックスの面積を境界ボックスしきい値との比較、 前記境界ボックスのアスペクト比とアスペクト比しきい値との比較、 前記分類された要素と前記境界ボックスとを比較して面積比を決定し、該面積
    比と面積比しきい値との比較、 前記境界ボックス内の細長い物体のオリエンテーションの決定、 前記境界ボックスの中心と前記分類された要素との間の距離の決定、 のうち、少なくともいずれかひとつを実行する工程とを含むことを特徴とする
    請求項５記載の方法。
  11. 【請求項１１】 前記マッピングする工程は、 各要素を頂点で表す工程と、 空間内で接近しており色が類似している場合、エッジで頂点を結合し、少なく
    とも一の前記グラフを形成する工程とを含むことを特徴とする請求項５記載の方
    法。
  12. 【請求項１２】 各エッジは関連付けて重み付けがされており、 各グラフの最小スパニング樹を抽出する工程と、 各グラフの対応する２値画像要素を、顔部か非顔部かのいずれかに分類する工
    程と、 各グラフにおいて最大の重みが付けられているエッジを取り除き、２つの更に
    小さいグラフを形成する工程と、 前記各小さいグラフについて、前記小さいグラフの周囲の境界ボックスがグラ
    フしきい値よりも小さくなるまで、対応する２値画像要素を分類する前記工程を
    繰り返す工程と、を更に含むことを特徴とする請求項１１記載の方法。
  13. 【請求項１３】 少なくとも更にもう一つのカメラを備え、前記のようにプ
    リセットの更新を行うことを特徴とする請求項１記載の方法。
  14. 【請求項１４】 テレビ会議システムにおいて、 回動撮影と、傾斜と、ズームとのパラメータを有する少なくとも一のカメラを
    備え、 前記パラメータは、テレビ会議の参加者に対応して割当てられたプリセット値
    を有し、 前記各プリセットはカメラの視野を決定し、 前記各プリセットはまた、 テレビ会議システムによって決定される空間全体にわたって前記カメラを撮影
    回動及びズームさせるか、 参加者を検出するか、 最適位置か、前記参加者の頭部が前記カメラの視野の中心と一致する位置か、
    前記参加者の中心が前記カメラの視野の中心と一致する位置か、のいずれかの位
    置に前記参加者が位置するようなカメラ位置に基づくか、 のいずれかによって決定されることを特徴とするテレビ会議システム。
  15. 【請求項１５】 前記各参加者にラベル付けを行うことにより、前記参加者
    をトラッキングする手段を更に備えることを特徴とする請求項１４記載のテレビ
    会議システム。
  16. 【請求項１６】 一のプリセットをユーザが選択した場合該プリセットの調
    整をするか、一のプリセットに対応する参加者が前記空間から出て行った場合該
    プリセットを削除するか、前記空間全体にわたって前記カメラを回動させるか、
    前記空間全体にわたって前記カメラをズームさせるか、の少なくとも一つをテレ
    ビ会議システムに実行させることにより前記プリセットの更新を行う手段を更に
    備えることを特徴とする請求項１４記載のテレビ会議システム。
  17. 【請求項１７】 前記カメラの視野内において２人以上の参加者が存在する
    場合、該参加者は一の合体画像に合体され、該合体画像の中心を前記プリセット
    を決定するために使用することを特徴とする請求項１４記載のテレビ会議システ
    ム。
  18. 【請求項１８】 前記参加者の検出は、 複数の画素からなるデジタル画像を形成し、 肌色の画素を検出することにより前記デジタル画像から２値画像を形成し、 前記２値画像の輝度要素におけるエッジに対応する画素を除去し、２値画像要
    素を形成し、 前記２値画像要素を少なくとも一のグラフにマッピングし、 前記マッピングされた２値画像要素を、顔部か非顔部かどちらかに分類し、顔
    部に分類された要素を顔部候補とすることを特徴とする請求項１４記載のテレビ
    会議システム。
  19. 【請求項１９】 前記空間全体にわたって前記カメラを回動させるか、前記
    空間全体にわたって前記カメラをズームさせるか、の少なくともいずれか一つを
    実行することにより前記プリセットを更新する少なくとももう一つのカメラを更
    に備えることを特徴とする請求項１４記載のテレビ会議システム。
  20. 【請求項２０】 テレビ会議システムにおいて、 回動撮影と、傾斜と、ズームとのパラメータを有する少なくとも一のカメラを
    備え、 前記パラメータは、テレビ会議の参加者に対応して割当てられたプリセット値
    を有し、 前記プリセットはカメラの視野を決定し、 テレビ会議システムは更に、 テレビ会議システムによって決定される空間全体にわたって前記カメラを撮影
    回動させる手段と、前記テレビ会議システムによって決定される空間を捉えるよ
    うに前記カメラをズームアウトさせる手段とのうち少なくとも一と、 前記空間内において参加者を検出する手段と、 最適位置か、前記参加者の頭部が前記カメラの視野の中心と一致する位置か、
    前記参加者の中心が前記カメラの視野の中心と一致する位置か、のいずれかの位
    置に前記参加者が位置するようなカメラ位置に基づいて、前記カメラのプリセッ
    トを決定する決定手段とを備えることを特徴とするテレビ会議システム。
  21. 【請求項２１】 前記各参加者にラベル付けを行うことによって参加者のト
    ラッキングを行う手段を更に備えることを特徴とする請求項２０記載のテレビ会
    議システム。
  22. 【請求項２２】 一のプリセットをユーザが選択した場合該プリセットの調
    整をするか、一のプリセットに対応する参加者が前記空間から出て行った場合該
    プリセットを削除するか、前記空間全体にわたって前記カメラを回動させるか、
    前記空間全体にわたって前記カメラをズームさせるか、の少なくとも一つをテレ
    ビ会議システムに実行させることにより前記プリセットの更新を行う手段を更に
    備えることを特徴とする請求項２０記載のテレビ会議システム。
  23. 【請求項２３】 前記カメラの視野内において２人以上の参加者が存在する
    場合、該参加者は一の合体画像に合体され、該合体画像の中心を前記プリセット
    を決定するために使用することを特徴とする請求項２０記載のテレビ会議システ
    ム。
  24. 【請求項２４】 前記参加者の検出は、 複数の画素からなるデジタル画像を形成し、 肌色の画素を検出することにより前記デジタル画像から２値画像を形成し、 前記２値画像の輝度要素におけるエッジに対応する画素を除去し、２値画像要
    素を形成し、 前記２値画像要素を少なくとも一のグラフにマッピングし、 前記マッピングされた２値画像要素を、顔部か非顔部かどちらかに分類し、顔
    部に分類された要素を顔部候補とすることを特徴とする請求項２０記載のテレビ
    会議システム。
  25. 【請求項２５】 前記空間全体にわたって前記カメラを回動させるか、前記
    空間全体にわたって前記カメラをズームさせるか、の少なくともいずれか一つを
    実行することにより前記プリセットを更新する少なくとももう一つのカメラを更
    に備えることを特徴とする請求項２０記載のテレビ会議システム。
JP2000590377A 1998-12-22 1999-12-14 テレビ会議における参加者のプリセット位置の自動設定方法 Pending JP2002534009A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/218,554 1998-12-22
US09/218,554 US7057636B1 (en) 1998-12-22 1998-12-22 Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications
PCT/EP1999/010066 WO2000038414A1 (en) 1998-12-22 1999-12-14 Automatic determination of preset positions corresponding to participants in video-conferences

Publications (1)

Publication Number Publication Date
JP2002534009A true JP2002534009A (ja) 2002-10-08

Family

ID=22815560

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000590377A Pending JP2002534009A (ja) 1998-12-22 1999-12-14 テレビ会議における参加者のプリセット位置の自動設定方法

Country Status (8)

Country Link
US (1) US7057636B1 (ja)
EP (1) EP1057326B1 (ja)
JP (1) JP2002534009A (ja)
KR (1) KR100699704B1 (ja)
CN (1) CN1156151C (ja)
DE (1) DE69938173T2 (ja)
ES (1) ES2301256T3 (ja)
WO (1) WO2000038414A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002333652A (ja) * 2001-05-10 2002-11-22 Oki Electric Ind Co Ltd 撮影装置及び再生装置
JP2005341060A (ja) * 2004-05-25 2005-12-08 Fukushima Prefecture カメラ制御装置
JP2006039564A (ja) * 2004-07-28 2006-02-09 Microsoft Corp カメラシステム及びパノラマカメラシステム
JP2006508462A (ja) * 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッド 顔検出
JP2008085930A (ja) * 2006-09-29 2008-04-10 Nec Engineering Ltd テレビ会議装置
JP2017041857A (ja) * 2015-08-21 2017-02-23 キヤノン株式会社 画像処理装置、その制御方法、プログラム及び撮像装置
JP2017508351A (ja) * 2014-01-10 2017-03-23 リボルブ ロボティクス インク ロボットスタンドをビデオ会議進行中に制御するシステム及び方法

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1107584B1 (en) * 1999-12-03 2008-08-27 Fujinon Corporation Automatic following device
US7283788B1 (en) 2000-07-26 2007-10-16 Posa John G Remote microphone teleconferencing configurations
US20020130955A1 (en) * 2001-01-12 2002-09-19 Daniel Pelletier Method and apparatus for determining camera movement control criteria
US6952224B2 (en) * 2001-03-30 2005-10-04 Intel Corporation Object trackability via parametric camera tuning
US6611281B2 (en) 2001-11-13 2003-08-26 Koninklijke Philips Electronics N.V. System and method for providing an awareness of remote people in the room during a videoconference
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
JP2003284053A (ja) * 2002-03-27 2003-10-03 Minolta Co Ltd 監視カメラシステムおよび監視カメラ制御装置
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
JP4333150B2 (ja) * 2003-01-31 2009-09-16 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP4277534B2 (ja) * 2003-02-12 2009-06-10 オムロン株式会社 画像編集装置および画像編集方法
CN100448267C (zh) 2004-02-06 2008-12-31 株式会社尼康 数码相机
US7623156B2 (en) * 2004-07-16 2009-11-24 Polycom, Inc. Natural pan tilt zoom camera motion to preset camera positions
US7796827B2 (en) * 2004-11-30 2010-09-14 Hewlett-Packard Development Company, L.P. Face enhancement in a digital video
JP4770178B2 (ja) * 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
JP4824411B2 (ja) * 2005-01-20 2011-11-30 パナソニック株式会社 顔抽出装置、半導体集積回路
JP2007010898A (ja) * 2005-06-29 2007-01-18 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP4412552B2 (ja) 2005-10-05 2010-02-10 富士フイルム株式会社 画像レイアウト装置および方法並びにプログラム
US8760485B2 (en) * 2006-03-02 2014-06-24 Cisco Technology, Inc. System and method for displaying participants in a videoconference between locations
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US7710448B2 (en) 2006-04-20 2010-05-04 Cisco Technology, Inc. System and method for preventing movement in a telepresence system
US7707247B2 (en) * 2006-04-20 2010-04-27 Cisco Technology, Inc. System and method for displaying users in a visual conference between locations
US7532232B2 (en) * 2006-04-20 2009-05-12 Cisco Technology, Inc. System and method for single action initiation of a video conference
US7692680B2 (en) * 2006-04-20 2010-04-06 Cisco Technology, Inc. System and method for providing location specific sound in a telepresence system
US7679639B2 (en) * 2006-04-20 2010-03-16 Cisco Technology, Inc. System and method for enhancing eye gaze in a telepresence system
US20070250567A1 (en) * 2006-04-20 2007-10-25 Graham Philip R System and method for controlling a telepresence system
US8792005B2 (en) * 2006-11-29 2014-07-29 Honeywell International Inc. Method and system for automatically determining the camera field of view in a camera network
US8085290B2 (en) * 2006-12-06 2011-12-27 Cisco Technology, Inc. System and method for displaying a videoconference
JP4845715B2 (ja) * 2006-12-22 2011-12-28 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、及び記憶媒体
JP3132386U (ja) * 2007-03-26 2007-06-07 株式会社三菱東京Ｕｆｊ銀行 Ｔｖ会議用デジタルカメラ
US8203591B2 (en) 2007-04-30 2012-06-19 Cisco Technology, Inc. Method and system for optimal balance and spatial consistency
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
EP2007141B1 (en) * 2007-06-20 2018-11-21 Provenance Asset Group LLC A system and method for providing a video conference
NO327899B1 (no) * 2007-07-13 2009-10-19 Tandberg Telecom As Fremgangsmate og system for automatisk kamerakontroll
JP5228407B2 (ja) * 2007-09-04 2013-07-03 ヤマハ株式会社 放収音装置
JP5034819B2 (ja) 2007-09-21 2012-09-26 ヤマハ株式会社 放収音装置
US8203593B2 (en) * 2007-12-28 2012-06-19 Motorola Solutions, Inc. Audio visual tracking with established environmental regions
US8379076B2 (en) * 2008-01-07 2013-02-19 Cisco Technology, Inc. System and method for displaying a multipoint videoconference
US8797377B2 (en) * 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
KR101249737B1 (ko) * 2008-12-03 2013-04-03 한국전자통신연구원 움직이는 카메라 환경에서의 물체 추적 장치 및 그 방법
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
JP5457546B2 (ja) * 2009-04-29 2014-04-02 コーニンクレッカ フィリップス エヌ ヴェ カメラの最適視角位置を選択する方法
US20110119597A1 (en) * 2009-05-09 2011-05-19 Vivu, Inc. Method and apparatus for capability-based multimedia interactions
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US8175335B2 (en) * 2009-06-17 2012-05-08 Sony Corporation Content adaptive detection of images with stand-out object
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US8350891B2 (en) 2009-11-16 2013-01-08 Lifesize Communications, Inc. Determining a videoconference layout based on numbers of participants
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
CN102244759A (zh) * 2010-05-12 2011-11-16 宇泰华科技股份有限公司 直觉式交谈方法
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US9723260B2 (en) * 2010-05-18 2017-08-01 Polycom, Inc. Voice tracking camera with speaker identification
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US8553064B2 (en) 2010-12-08 2013-10-08 Cisco Technology, Inc. System and method for controlling video data to be rendered in a video conference environment
US8446455B2 (en) 2010-12-08 2013-05-21 Cisco Technology, Inc. System and method for exchanging information in a video conference environment
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US8957940B2 (en) 2013-03-11 2015-02-17 Cisco Technology, Inc. Utilizing a smart camera system for immersive telepresence
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
US10691398B2 (en) * 2014-09-30 2020-06-23 Accenture Global Services Limited Connected classroom
US9756286B1 (en) 2016-08-05 2017-09-05 Microsoft Technology Licensing, Llc Communication event
JP2021052325A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05196425A (ja) * 1992-01-21 1993-08-06 Ezel Inc 人間の３次元位置検出方法
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
US5742329A (en) * 1992-10-26 1998-04-21 Canon Kabushiki Kaisha Image pickup system and communication system for use in video conference system or the like
WO1995011566A1 (en) 1993-10-20 1995-04-27 Videoconferencing Systems, Inc. Adaptive videoconferencing system
US5508734A (en) 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
DE19511713A1 (de) 1995-03-30 1996-10-10 C Vis Computer Vision Und Auto Verfahren und Vorrichtung zur automatischen Bildaufnahme von Gesichtern
US5959667A (en) * 1996-05-09 1999-09-28 Vtel Corporation Voice activated camera preset selection system and method of operation
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
US6343141B1 (en) * 1996-10-08 2002-01-29 Lucent Technologies Inc. Skin area detection for video image systems
US6072522A (en) * 1997-06-04 2000-06-06 Cgc Designs Video conferencing apparatus for group video conferencing
JPH1139469A (ja) * 1997-07-24 1999-02-12 Mitsubishi Electric Corp 顔画像処理装置
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
US6275614B1 (en) * 1998-06-26 2001-08-14 Sarnoff Corporation Method and apparatus for block classification and adaptive bit allocation
US6263113B1 (en) * 1998-12-11 2001-07-17 Philips Electronics North America Corp. Method for detecting a face in a digital image

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002333652A (ja) * 2001-05-10 2002-11-22 Oki Electric Ind Co Ltd 撮影装置及び再生装置
JP2006508462A (ja) * 2002-11-29 2006-03-09 ソニー・ユナイテッド・キングダム・リミテッド 顔検出
JP2005341060A (ja) * 2004-05-25 2005-12-08 Fukushima Prefecture カメラ制御装置
JP4593172B2 (ja) * 2004-05-25 2010-12-08 公立大学法人会津大学 カメラ制御装置
JP2006039564A (ja) * 2004-07-28 2006-02-09 Microsoft Corp カメラシステム及びパノラマカメラシステム
JP2008085930A (ja) * 2006-09-29 2008-04-10 Nec Engineering Ltd テレビ会議装置
US8405704B2 (en) 2006-09-29 2013-03-26 Nec Engineering Ltd. TV conference apparatus
JP2017508351A (ja) * 2014-01-10 2017-03-23 リボルブ ロボティクス インク ロボットスタンドをビデオ会議進行中に制御するシステム及び方法
JP2017041857A (ja) * 2015-08-21 2017-02-23 キヤノン株式会社 画像処理装置、その制御方法、プログラム及び撮像装置

Also Published As

Publication number Publication date
DE69938173D1 (de) 2008-04-03
DE69938173T2 (de) 2009-02-19
US7057636B1 (en) 2006-06-06
KR100699704B1 (ko) 2007-03-27
ES2301256T3 (es) 2008-06-16
EP1057326B1 (en) 2008-02-20
WO2000038414A1 (en) 2000-06-29
CN1298601A (zh) 2001-06-06
KR20010041177A (ko) 2001-05-15
EP1057326A1 (en) 2000-12-06
CN1156151C (zh) 2004-06-30

Similar Documents

Publication Publication Date Title
JP2002534009A (ja) テレビ会議における参加者のプリセット位置の自動設定方法
US9692964B2 (en) Modification of post-viewing parameters for digital images using image region or feature information
US9129381B2 (en) Modification of post-viewing parameters for digital images using image region or feature information
US6297846B1 (en) Display control system for videoconference terminals
JP4865038B2 (ja) 顔検出と肌の色合いの情報を用いたデジタル画像処理
US8675991B2 (en) Modification of post-viewing parameters for digital images using region or feature information
JP4335565B2 (ja) 画像あるいは一連の画像内の１つあるいは複数の色領域を検出しかつ／または追跡するための方法および装置
JP3679512B2 (ja) 画像抽出装置および方法
JP4450508B2 (ja) オーディオソースの位置決定
US20060120712A1 (en) Method and apparatus for processing image
US20070268369A1 (en) Automatic Imaging Method and Apparatus
JP4514264B2 (ja) ビデオデータ信号から取得された静止画像内でのモーション表示方法
KR20120081127A (ko) 이미지 처리 시스템
CN113973190A (zh) 视频虚拟背景图像处理方法、装置及计算机设备
JP2006510109A (ja) 表情不変顔認識方法及び装置
JP2007526577A (ja) 人物画像における赤目補正
CN111597938A (zh) 活体检测、模型训练方法及装置
CN110572570B (zh) 一种多人场景的智能识别拍摄的方法、系统及存储介质
CN106161945A (zh) 拍照处理方法和装置
US20240236474A1 (en) Systems and methods for obtaining a smart panoramic image
JPH1115979A (ja) 顔検出及び顔追跡方法並びにその装置
JP3774495B2 (ja) 画像情報抽出装置および方法
JP4496005B2 (ja) 画像処理方法および画像処理装置
JP2009175745A (ja) 顔画像撮影装置および顔画像撮影方法
JP2000092368A (ja) カメラ制御装置及びコンピュータ読み取り可能な記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091013