JP2002534009A - テレビ会議における参加者のプリセット位置の自動設定方法 - Google Patents
テレビ会議における参加者のプリセット位置の自動設定方法Info
- Publication number
- JP2002534009A JP2002534009A JP2000590377A JP2000590377A JP2002534009A JP 2002534009 A JP2002534009 A JP 2002534009A JP 2000590377 A JP2000590377 A JP 2000590377A JP 2000590377 A JP2000590377 A JP 2000590377A JP 2002534009 A JP2002534009 A JP 2002534009A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- participant
- preset
- video conference
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims 6
- 230000000877 morphologic effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000012804 iterative process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100316860 Autographa californica nuclear polyhedrosis virus DA18 gene Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 101100402621 Homo sapiens MSANTD4 gene Proteins 0.000 description 1
- 102100031642 Myb/SANT-like DNA-binding domain-containing protein 4 Human genes 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
参加者の所望の撮影位置に対応してカメラの回動撮影、傾斜、ズームパラメータ
を自動的に決定する方法に関する。
加者のカメラパラメータを適切に把握することが必須である。これらのパラメー
タは、カメラの適切なズーム、回動撮影(パン)、傾斜の値を含み、これらのパ
ラメータを以後、「プリセット」である各参加者に関連付けられたカメラ「パラ
メータ」と一括的に称する。会議中は、複数の参加者を素早く見渡せることが必
要であり、ひとりの参加者から別の参加者へとカメラが短時間で切り換えること
がしばしば必要となる。
を設定していた。使用される各カメラは、ひとりの参加者に焦点を合わせ、プリ
セットスイッチが始動する。例えば、会議に3人の参加者がいるとして、スイッ
チ1が参加者1に対応するカメラパラメータを表し、スイッチ2が参加者2に対
応するカメラパラメータを表し、スイッチ3が参加者3に対応するカメラパラメ
ータを表す。ここで、参加者1、2間の切り換えを行う場合、ユーザはスイッチ
2を始動させるだけで、カメラを移動し焦点を合わせることができる。ところが
、各参加者毎にカメラを1台設定するのは、カメラ操作者によってもユーザにと
っても、しばしば時間のかかる面倒な作業となる。その上、参加者が一人でも部
屋を出入りする度に、プリセットを再設定する必要がある。参加者ひとりが元の
位置から単に移動しただけでも、その元のカメラプリセットは適用できなくなる
。参加者ひとりが部屋の中を移動するだけで問題が生じるのである。しかも、参
加者がいすに座ったままで姿勢を変える(前寄り、後ろ寄り、片方寄りなど)だ
けでも、パラメータが変化し、その参加者は焦点の合っている位置から外れたり
、カメラの視野の中心から外れたり、カメラの視野から見て好適なサイズでなく
なってしまったり、といった不都合が生じる。
と、その対象物の中心に対応するカメラの回動撮影及び傾斜パラメータを自動的
に記憶するシステムが開示されている。しかし、部屋内の物体または人物の全て
が、ユーザの制御のもと、確実に選択及び記憶されなくてはならず、結局時間が
かかることとなる。また、参加者が部屋を出入りした場合のパラメータ更新につ
いても提案はされていない。
会形式の部屋において、カメラプリセットは各参加者に使用されるマイクロフォ
ンに基づいて設定される。参加者が自分のマイクロフォンをオンにすると、その
マイクロフォンに対応するカメラプリセットが使用される。しかし、マイクロフ
ォンが故障した場合や、別の話者に使用される場合は、話者とカメラとの相互対
応関係がくずれてしまう。
し、参加者が部屋を出入りしても自動的に調節を行うテレビ会議システムが必要
とされている。テレビ会議技術の目的は、効果的なコミュニケーションと対話を
可能にする点にある。しかし、ユーザが常にプリセットパラメータの始動や更新
のためにシステムを調整しなければならないようでは、この目的は達成されがた
い。テレビ会議におけるユーザ間での対話形態は、テレビ番組において行われる
対話型形態とは異なる。この対話形態を更に進めるためにも、あまり有意義なコ
ミュニケーションを生み出すとは思えない静的なズームアウト画に頼ることなく
、可能な限りの部分を自動化したシステムを提供することが望まれる。
メータのプリセットを計算する方法にある。この方法は、傾斜、回動撮影、ズー
ムパラメータを有するカメラを備える工程と、テレビ会議システムのレイアウト
に基づいて空間を決定する工程とを含む。この方法は更に、テレビ会議システム
が位置する空間によって決定される適切な回動撮影値を通してカメラを回動する
か、または全ての参加者がカメラから視野に入るように及び各参加者の空間内で
の位置が検知されるようにカメラをズームアウトするか、のどちらかを行う工程
を含む。この方法は更に、空間内の参加者を検出する工程と、参加者に対応する
プリセットを計算する工程とを含む。このプリセットがカメラの視野を決定し、
前記プリセットは、カメラの視野内の参加者の最適位置と、参加者の頭部の中心
がカメラの視野の中心に一致する位置と、参加者の中心がカメラの視野の中心に
一致する位置とのうち少なくともいずれか一つに基づいて決定される。
メラパラメータの更新が可能となる。
する少なくとも一のカメラを備えるテレビ会議システムが提供される。これらの
パラメータは、テレビ会議の参加者に対応して割当てられたプリセット値を有す
る。各プリセットはカメラの視野を決定し、また、テレビ会議システムによって
決定される空間全体にわたってカメラを回動及びズームさせるか、参加者を検出
するか、最適位置と、参加者の頭部がカメラの視野の中心と一致する位置と、参
加者の中心がカメラの視野の中心と一致する位置とのうちいずれか一の位置に参
加者が位置するようなカメラ位置に基づくか、のいずれかによって決定される。
を有する少なくとも一のカメラを備えるテレビ会議システムが提供される。これ
らのパラメータは、テレビ会議の参加者に対応して割当てられたプリセット値を
有し、プリセットはカメラの視野を決定する。このシステムは更に、テレビ会議
システムによって決定される空間全体にわたってカメラを回動させる手段と、テ
レビ会議システムによって決定される空間を捉えるようにカメラをズームアウト
させる手段とのうち少なくとも一を備える。空間内の参加者を検出するために、
検出手段を用いる。また、最適位置と、参加者の頭部がカメラの視野の中心と一
致する位置と、参加者の中心がカメラの視野の中心と一致する位置と、のいずれ
か一の位置に参加者が位置するようなカメラ位置に基づいて、カメラのプリセッ
トを決定するために、決定手段を用いる。
動的に決定できるテレビ会議システム及び方法を提供することを目的とする。
新できるテレビ会議システム及び方法を提供することを目的とする。
本発明の好ましい実施態様についての詳細な説明及び添付の図面から、本発明の
更なる理解が得られるであろう。
1Bは、参加者が議会形式に着席した場合を示す。カメラ50は、コントローラ
52によって、部屋の一方から他方へと動かして撮影するよう、制御されている
。カメラ50の回動始点と終点は同じである。例えば、図1Cに示すように、カ
メラ50は、部屋の中央に設けられ、参加者がその周囲に位置する場合もある。
このような状況では、カメラ50は、部屋全体をくまなく回動撮影するため、円
を描いて回転することになる。図1Bに示す議会形式においては、カメラ50は
、異なる列をカバーするために多重の回動経路を持つ。各回動経路は、それぞれ
異なる傾斜、及び、おそらくは異なるズームを有する(ただし、会議参加者がカ
メラから放射状に同じ距離に位置する場合は、ズームも同じである)。この議会
形式においてはまた、カメラ50は、部屋の中央に設置され、図1Cの場合のよ
うに、回転移動することが必要となる。
、以下に説明する技術は、図示の全ての配置、及び同業者には明らかである他の
全ての配置においても適用可能であることはいうまでもない。本発明は、テレビ
会議システムの調整が行われる場所ならどこにおいても適用可能である。3人の
参加者(参加者A、B、C)が図示されているが、それよりも多数の参加者がい
る場合も同様である。
が横に回動するように見える。図2A乃至2Cに示すように、カメラの撮影位置
によって、参加者が、カメラの視点からは異なる位置に見える。図からわかるよ
うに、3つの異なる撮影位置(P1、P2、P3)において、傾斜(T)及びズ
ーム(Z)は等しい。カメラの初期走査の間、他のパラメータ(つまり、傾斜ま
たはズーム)を適切な範囲内で動かし、残りの2つのパラメータは一定にしてお
くことも可能である。また、カメラ50が、部屋全体が一度に見渡せるようにズ
ームパラメータを設定されていることも可能である(後に述べるように、静止状
態の参加者の位置を決定するための情報が十分に得られることを前提とする)。
ここでも、簡略化の為、カメラの回動撮影の例を示すが、同業者には明らかであ
る他の手段も適切な変更と共に適用可能である。
位置するか否かを判断する。この判断の方法のひとつを、参加者検知についての
記述において後に詳しく説明する。もちろん、他の方法も適用可能である。検知
された各参加者について、回動撮影しているカメラは、その参加者を含む複数の
フレームを検出する。例えば、一つのカメラが一つの部屋について1000枚の
フレームを処理する場合、各フレームに一人の参加者が映っていれば、1000
人の参加者がいると解釈され得る。
参加者にラベル付けが行われる。検出された各参加者についての質量中心を、各
フレームについて計算し、参加者を含む可能性のある続く2枚目のフレームを前
の1枚目のフレームを比較し、カメラが新しい参加者をとらえたか、それとも単
に同じ参加者が映っている別のフレームであるかを判断する。この比較を行う方
法のひとつとして、最初の質量中心と、カメラが最初の位置から回動した距離と
に基づいて、幾何学的外挿を行う方法がある。この方法から、2枚目のフレーム
が1枚目のフレームと同じ参加者を含む場合、中心がどこにあるべきかをほぼ決
定できる。同様に、1枚目のフレームの撮影位置と2枚目のフレームの撮影位置
との間のカメラの回動と共に、2枚目のフレームの質量中心を計算し、最初の中
心と比較できる。あるいは、検知された各参加者に対して署名を作成し、後続の
フレーム内の参加者の署名を最初の署名と比較してもよい。このような署名作成
は、公知の技術である。署名作成方法の例は、後に参加者識別及び位置更新の説
明において述べることにする。参加者の撮像がフレーム内にあると判断されると
、仮プリセットを計算することができる。
標をそれぞれ有する主点PPを有する。レンズ58は、主点PPから焦点距離f
をおいて位置する中心を有する。カメラのズームは、この焦点距離fを変えるこ
とによって変更できる。焦点距離fが短いと、視野が広くなる(「ズームアウト
」という)。回動撮影パラメータの変化は、センサ56の回動軸のまわりの回動
を意味する。傾斜パラメータの変化は、センサ56の傾斜軸のまわりの回動を意
味する。
一の参加者を含むフレームが2つあるか否かを判断する従来の方法を用いて、決
定できる。これは、主点PP(この時点では60)の位置及び焦点距離fがわか
っているからである。カメラ50が部屋を回動撮影すると、参加者を含む複数の
フレームが得られ、各参加者の空間位置が決定される。カメラが回動ではなくズ
ームアウトする場合、位置決定には2つのはっきりと異なる計測値が必要となる
。参加者の位置がわかれば、プロセッサ54によって仮プリセットが計算される
(図1A乃至1C参照)。
技術を用いて参加者の中心を決定する。例えば、参加者の輪郭の標準及びその質
量中心を計算する。その中心点は、カメラの視野の中心に置かれ、例えば図1に
示す参加者AのプリセットPsn、Tsn、Zsnを作成する。こうした回動撮
影及びプリセット計算処理は、その部屋内の全ての参加者に対して繰り返され、
その結果、部屋に何人の参加者がいるかも判断する。これらはすべて会議の冒頭
部分で行われ、後に詳しく述べる更新過程の間、繰り返される。
の計算の後、カメラ50は、部屋の2度目の回動撮影(またはズームアウト)を
行う。最初の回動撮影段階で行われたキャリブレーションは、たいていの場合は
十分な正確さに欠けるため、前の各プリセット映像は、ここで更に改善される。
カメラの視野内で、中心点が一致するようにパラメータを調整する。プリセット
が改善されると、各参加者の「最適」映像に対応するプリセットを計算する。こ
れは、社会文化の違いによって異なる場合がある。例えば、米国におけるニュー
ス番組のように、参加者の胴から頭部にかかる部分が、フレーム全体の30%か
ら60%を占める。最適映像によって、図6に示すような更新されたプリセット
Psn´、Tsn´、Zsn´が得られる。これらの値は、システムの構造及び
更新の実行方法に対応して、後に説明するように、連続的に更新される。カメラ
が一人の参加者を捉え、その参加者が動いている場合、新しい最適位置が計算さ
れ、その計算値に従ってカメラのプリセットが連続して調整される。
よる選択に基づいて、参加者に焦点を合わせる。音声トラッキングは、人物が遠
のくとその精度が低下するため、使用が限定され、常に4、5度の誤差があるの
で、それのみでは使用できず、参加者がしゃべるのを止めると、トラッキングが
全くできなくなる。
者は、それぞれA,B、Cと識別され、ユーザが参加者Aを見たいを指示すれば
カメラがAに対する最適プリセットへ回動する。更に、このシステムは、各参加
者について特徴をつかみ、それに従って参加者にラベル付けを行うようプログラ
ミングされている。例えば、各参加者の署名を作成し、その人のシャツの色、声
のパターン、あるいは顔と声の組み合わせなどを用いて、参加者に関連付けるラ
ベルを形成できる。こうした更なる情報により、参加者Aが部屋の中を動き回っ
た場合でも、システムはどの参加者が動いているかを把握し、参加者Aが参加者
Bのパラメータに対応する撮影位置を歩いても、混同することはない。また、2
人の参加者が接近して位置し、ひとつのカメラの撮影視野に一緒に入っていても
、カメラは彼らの画像の中心に焦点を合わせてその2人の参加者を一人の参加者
として認識する。
ても、プリセットが自動的に調整されることである。もちろん、一つのプリセッ
トが選択されて、それに対応する参加者が部屋を出た場合は、システムはこれを
感知し、プリセットを更新する。更新方法のもう一つの方法として、新しいプリ
セットが選択される度、カメラ50がズームアウト(または部屋を回動撮影)し
て、部屋に出入りした人があるか否かを判断し、カメラ50が選択されたプリセ
ットに回動する前に、プリセットを更新する方法がある。カメラ50は、周期的
に、選択された参加者を撮影するように指示されている間でさえ、その参加者の
撮影を一時的に止め、参加者の数が変わったか否かをチェックするために部屋の
回動撮影またはズームアウトを行うように制御されている。他の方法としては、
参加者が位置すべき場所にいないことを検出する方法がある。例えば、参加者C
の対応するプリセットから参加者Aへと回動するようにカメラ50が指示された
場合、または参加者Bが部屋を出た場合、システムはそれを感知し、適切な調整
を行う。更に他の更新方法としては、周期的、または新しいプリセットが選択さ
れる度に、カメラ50が部屋の回動撮影(またはズームアウト)を行う方法であ
る。
が、第2のカメラ64が加えられている点で異なる。初期キャリブレーションは
、前に説明したように行われる。しかし、会議の間、一方のカメラは適切な参加
者に焦点を合わせて使用され、他方はプリセットを連続的に更新するために使用
される。更新用カメラは、絶えずズームアウトを行い、いつ参加者が部屋を出入
りしたかを判断する。あるいは、更新用カメラは、絶えず部屋を回動撮影し、プ
リセットの適切な更新を行う。2つのカメラは、例えばプロセッサ54を介して
プリセット情報を共有する。もちろん、それ以上の数のカメラを用いてもよい。
例えば、一つのカメラが会議に出席するはずの各個人に割当てられ、追加のカメ
ラ1つを更新用カメラとして使用することも可能である。
えている画像内に顔があるか否かを判断する方法がある。画像の各画素は、通常
HSV(色相、彩度、明度)の色領域で表される。これらの値は、図8に示すよ
うな円柱状の座標系に表される。図中、Pは明度(または輝度)、θは色相、r
は彩度を示す。円柱状座標系の非線形性の為、他の色空間が、HSV色空間に似
せて使用される。磁気媒体に記憶されたほとんどの画像情報とMPEG2標準と
はどちらもYUV色間を使用するので、本例ではこの色空間を使用する。
によって、図9に示すようなグラフが得られる。部分円弧は、HSV色領域の近
似を表す。肌色に対応する画素をYUV色空間で表す時は、これらの部分円弧に
内に表される。例えば、ある画素の輝度が0と200の範囲内の値を持つ場合、
クロミナンスUは通常、肌色画素に対して、−100から0の範囲内の値を有す
る。これらは、実験に基づいた一般的な値である。もちろん、使用される各カメ
ラについて、色学習処理を行うことが可能である。この学習処理の結果は、肌色
部分をより正確に形成するために利用される。
。肌色の画素は、画像の他の部分から離して、顔部の可能性のある画素グループ
として保持される。少なくとも一つの画素が、肌色グループに入らない場合、そ
の画素は肌色ではないと判断され、顔部候補から除外される。
像は、肌色である部分か、肌色でない部分かのどちらかを表すものであるからで
ある。図10A、10C、10Eに示す元の画像にそれぞれ対応した図10B,
10D、10Fにおいて、白い部分は肌色を、黒い部分は非肌色を示している。
図10A、10Bに示すように、本検出工程のみで、画像の大部分を除外するこ
とができる。図10Aに示すような背景であれば、色と形を利用する従来の技術
で十分対処できる。しかし、図10C、10D、10E、10Fを見ると、色と
形のみによる検出では、顔部の検出に十分ではないことが明らかである。図10
C、10D、10E、10Fにおいて、皮、木、衣服、頭髪などの物体も肌に近
い色を有する。図10Dと10Fからわかるように、これらの肌色の物体が顔部
の肌色のすぐ近くに位置し、顔部そのものの検出が難しい。
でエッジとは、ひとつの画素とその隣の画素における輝度のレベルの変化をいう
。画素の除外は、肌色の各画素を取り出し、輝度についての画素内の差異を計算
する。この差異が高いと、エッジ部であると判断される。図11に示すように、
3×3または5×5画素のボックス(「ウィンドウ」)を肌色の画素上に置く。
もちろん、四角なボックス型以外に他のタイプのマスクも使用できる。
レベルは、顔部とカメラによって異なる。従って、反復ルーチンが、非常に高い
差異レベルから低い差異レベルに向かって使用される。
、その反復処理に試用されている差異しきい値よりも大きければ、画素が顔部候
補から除外される。すべての画素について反復処理で試験した後、結果として得
られた結合要素についての、後に詳細に述べるように顔部特徴を試験する。結合
要素とは、同じ2値(肌色部に対しては白)を有して結合されている画素のこと
である。ここでの結合は、4または8タイプのものとなる。図12Aに示す4タ
イプの結合では、図中「1」で示すように、中心画素は直に隣接する画素にのみ
結合していると考えられる。8タイプの結合においては、図12Bに示すように
、中心画素に斜めに接している画素も、中心画素に結合していると考えられる。
あるか否かを検査される。この検査は、各結合要素の周囲に存在する境界ボック
スに基づく5つの基準を使用する。この例を、図10Eに基づく図14に示す。
判断基準は以下の通りである。 1.境界ボックスの面積をしきい値と比較する。顔部は通常、非常に大きくも非
常に小さくもないと認識される。 2.境界ボックスのアスペクト比(高さ対幅)をしきい値と比較する。顔部は通
常、アスペクト比の範囲にある。 3.境界ボックスの面積に対する検知された肌色画素の面積の比率を、しきい値
と比較する。人の顔部が占める面積は、境界ボックスの面積のうち所定の割合を
占める。 4.境界ボックス内の細長い物体のオリエンテーションを確認する。一続きの画
素のオリエンテーションを判断する方法は多数ある。例えば、中心軸を検出すれ
ば、その軸からオリエンテーションがわかる。一般には、顔部は、画像の平面に
対して垂直な軸(z軸)に対して大きく回転しないため、z軸に対して回転して
いる細長い物体は、顔部の候補から除外される。 5.境界ボックスの中心と検査される要素の質量中心との距離を確認する。一般
的には、顔部は境界ボックスの中心内に位置し、片方のみに位置したりする場合
はない。
要素に微細化していくことにより続けられる。図10C及び10Eの画像は、反
復処理の後、図13A及び13Bに示すように変化する。図からわかるように、
画像内の顔部は、差異反復検出の結果、背景の非顔部肌色領域とは区別されてい
る。検知された離間される肌色部分はしばしば、図14に示すようになる。これ
は、顔部を遮断する物体(眼鏡やひげ等)が存在したり、高い差異レベルの為既
に除外された部分があるためである。したがって、この結果得られた要素のみを
用いて顔部を検出するのは難しい。差異反復検出及び要素分類処理の後にもまだ
顔部に属する可能性のある要素によって、図15に示すようなグラフを形成する
ことができる。このように、類似した特徴を有し接近して位置する複数の肌色の
要素は、ひとまとめにして、更なる検査を行う。
経て残った要素)は、グラフの頂点によって表される。元の画像の空間で接近し
て位置している場合、及び元の画像で類似した色を有する場合、頂点が結合され
る。例えば、2つの要素、i及びjは、以下の式が成り立つ場合、同様な色を有
する。 |Yi-Yj|< ty ∧|Ui-Uj|< tu ANDLINE Vi-Vj|< tv 式中、Yn、Un、Vnは、n番目の輝度及びクロミナンスの平均値を示し、tnは
、しきい値を示す。しきい値は、顔部におけるY、U、V値の差異に基づき、同じ
顔の要素が同様であることがわかるように高レベルに維持されている。2つの要
素は、その距離が近いと、空間内で互いに接近して位置していると考えられる。
この空間条件は、ひとつの顔部内の部分は、画像中で空間的に離間して位置する
ことがないので、空間的に離間している要素をひとまとめにしないことを確実に
している。
ド距離に比例して重み付けがされている。頂点を結合することにより、ひとつの
グラフ、または、異なるグラフの集まりが得られる。こうした各グラフについて
、最小スパニング樹を抽出する。最小スパニング樹は通常、全ての頂点が結合さ
れており、グラフのエッジの長さ合計が可能な限り小さいグラフの部分集合であ
る。各グラフに対応する要素は、上述の要素分類工程にて決定された形状パラメ
ータを用いて、顔部か非顔部かのどちらかに分類される。その後、各グラフは、
最弱のエッジ(最大の重み付けがされたエッジ)を除外することにより2つのグ
ラフに分割され、得られた2つのグラフの対応する要素を再検査する。この分割
処理は、結果として得られるグラフの周囲に形成される境界ボックスの面積がし
きい値よりも小さくなるまで続けられる。
、可能性のある全ての位置及びサイズの集合が決定される。この集合は誤りを多
数含む場合もあるため、こうした誤りを除外するためにヒューリスティックを適
用する。顔部の特徴(鼻、口等)の全てを検出するには、過大な検索空間を要す
るテンプレートが必要となる。しかし、実験の結果、これらの顔部の特徴は、高
い差異レベルのエッジを有するということがわかっている。したがって、誤認部
分の多くは、顔部の候補部分内の高差異レベル画素と、その候補部分の全ての画
素数との比率を検査することによって除外される。
行うことによって実行される。当業者間では公知のように、マスクを選択し、顔
部候補の領域内の各画素に適用する。例えば、3×3マスクが利用可能である。
顔部候補の要素間の境界部を拡張するために、拡大アルゴリズムを適用する。続
いて、境界部から画素を取り除くために、エロージョン・アルゴリズムを適用す
る。これら2つのアルゴリズムは、当業者には理解されるものであり、この順序
で実行され、要素間の隙間を埋め、要素をほぼ同じスケールに維持する。もちろ
ん、同じ回数適用される限り、拡大及びエロージョン工程を複数回行うことも可
能である。
比較する。図16A乃至16Dにおいて、図16A内の元の画像について、上述の
方法を用いて顔部候補を検出し、図16Bに示す2値画像を得る。形態確定操作
をこの2値画像に対して行い、16Cに示す画像を得る。最後に、図16Cの画像
内に位置する高差異の画素を検出し、図16Dに示す画像を得る。このようにし
て、合計画素数に対する高差異画素の比率が得られる。全参加者検出方法につい
ては、図17に示す工程S2からS16によってまとめる。
メラを制御することによって、参加者それぞれに対応するカメラパラメータのプ
リセットが自動的に計算され、継続的に更新される。
例に限定されるものではなく、請求の範囲から反れない限りは様々な変更や変形
が可能なことは当業者において明らかである。
会、円卓における配置を示す。
部屋内を回動撮影する際に、参加者がカメラの視野に入ってくる様子を示す図で
ある。
る。
いる様子を示す図である。
ある。
。
対応する2値画像を示す。
用されるかを示す図である。
ッジの除去が行われた後、どのように見えるかを示す。
結合されてひとつのグラフを形成する様子を示すシーケンス図である。
一連の図である。
Claims (25)
- 【請求項1】 テレビ会議システムにおける参加者に対応したカメラパラメ
ータのプリセットを計算する方法において、 傾斜、回動撮影、ズームパラメータを有するカメラを備える工程と、 テレビ会議システムのレイアウトに基づいて空間を決定する工程と、 前記テレビ会議システムが位置する前記空間によって決定される適切な回動撮
影値にしたがって前記カメラを回動するか、または全ての参加者がカメラから視
野に入るように及び各参加者の前記空間内での位置が検知されるように前記カメ
ラをズームアウトするか、のどちらかを行う工程と、 前記空間内の参加者を検出する工程と、 前記参加者に対応するプリセットを計算する工程とを含み、 前記プリセットがカメラの視野を決定し、前記プリセットは、前記カメラの視
野内の参加者の最適位置と、前記参加者の頭部の中心が前記カメラの視野の中心
に一致する位置と、前記参加者の中心が前記カメラの視野の中心に一致する位置
とのうち少なくともいずれか一つに基づいて決定されることを特徴とする方法。 - 【請求項2】 前記参加者にラベル付けを行うことにより参加者をトラッキ
ングする工程を更に含むことを特徴とする請求項1記載の方法。 - 【請求項3】 ユーザがプリセットを選択した時、該プリセットの調整を行
うか、前記空間から出て行った参加者に対応するプリセットを削除するか、前記
処理を繰り返すか、の少なくともいずれかひとつを前記テレビ会議システムに実
行させることにより、前記プリセットを更新する工程を更に含むことを特徴とす
る請求項1記載の方法。 - 【請求項4】 前記プリセットを計算する工程において、前記カメラの視野
内に2人以上の参加者が位置する場合、該参加者を一の画像に合体し、その合体
画像の中心を利用して前記プリセットを決定することを特徴とする請求項1記載
の方法。 - 【請求項5】 前記参加者を検出する工程は、 複数の画素からなるデジタル画像を形成する工程と、 肌色の画素を検出することにより前記デジタル画像から2値画像を形成する工
程と、 前記2値画像の輝度要素におけるエッジに対応する画素を除去し、2値画像要
素を形成する工程と、 前記2値画像要素を少なくとも一のグラフにマッピングする工程と、 前記マッピングされた2値画像要素を、顔部か非顔部かどちらかに分類し、顔
部に分類された要素を顔部候補とする工程とを含むことを特徴とする請求項1記
載の方法。 - 【請求項6】 ヒューリスティックを適用する工程を更に含み、 前記ヒューリスティックは、 前記顔部候補のそれぞれに形態確定操作を行い、少なくとも一の確定顔部候補
を得る工程と、 前記確定顔部候補内における高差異レベル画素を決定する工程と、 前記確定顔部候補内における高差異レベル画素と全画素数との比率を決定する
工程と、 前記比率としきい値とを比較する工程とを含むことを特徴とする請求項5記載
の方法。 - 【請求項7】 前記画素を除去する工程は、 検査された画素を含む複数の画素にマスクを適用する工程と、 前記検査された画素と前記マスク内に位置する画素の間の差異を検出する工程
と、 前記差異を差異しきい値と比較する工程とを含むことを特徴とする請求項5記
載の方法。 - 【請求項8】 前記2値画像要素が要素サイズしきい値よりも小さくなるま
で差異しきい値を小さくなるように、前記画素を除去する工程を繰り返し、 前記画素を除去する工程が一回終わる毎に、前記要素を分類する工程を実行す
ることを特徴とする請求項7記載の方法。 - 【請求項9】 前記2値画像要素が結合されていることを特徴とする請求項
5記載の方法。 - 【請求項10】 前記要素を分類する工程は、前記要素のうち分類された要
素の周囲に境界ボックスを形成する工程と、 前記境界ボックスの面積を境界ボックスしきい値との比較、 前記境界ボックスのアスペクト比とアスペクト比しきい値との比較、 前記分類された要素と前記境界ボックスとを比較して面積比を決定し、該面積
比と面積比しきい値との比較、 前記境界ボックス内の細長い物体のオリエンテーションの決定、 前記境界ボックスの中心と前記分類された要素との間の距離の決定、 のうち、少なくともいずれかひとつを実行する工程とを含むことを特徴とする
請求項5記載の方法。 - 【請求項11】 前記マッピングする工程は、 各要素を頂点で表す工程と、 空間内で接近しており色が類似している場合、エッジで頂点を結合し、少なく
とも一の前記グラフを形成する工程とを含むことを特徴とする請求項5記載の方
法。 - 【請求項12】 各エッジは関連付けて重み付けがされており、 各グラフの最小スパニング樹を抽出する工程と、 各グラフの対応する2値画像要素を、顔部か非顔部かのいずれかに分類する工
程と、 各グラフにおいて最大の重みが付けられているエッジを取り除き、2つの更に
小さいグラフを形成する工程と、 前記各小さいグラフについて、前記小さいグラフの周囲の境界ボックスがグラ
フしきい値よりも小さくなるまで、対応する2値画像要素を分類する前記工程を
繰り返す工程と、を更に含むことを特徴とする請求項11記載の方法。 - 【請求項13】 少なくとも更にもう一つのカメラを備え、前記のようにプ
リセットの更新を行うことを特徴とする請求項1記載の方法。 - 【請求項14】 テレビ会議システムにおいて、 回動撮影と、傾斜と、ズームとのパラメータを有する少なくとも一のカメラを
備え、 前記パラメータは、テレビ会議の参加者に対応して割当てられたプリセット値
を有し、 前記各プリセットはカメラの視野を決定し、 前記各プリセットはまた、 テレビ会議システムによって決定される空間全体にわたって前記カメラを撮影
回動及びズームさせるか、 参加者を検出するか、 最適位置か、前記参加者の頭部が前記カメラの視野の中心と一致する位置か、
前記参加者の中心が前記カメラの視野の中心と一致する位置か、のいずれかの位
置に前記参加者が位置するようなカメラ位置に基づくか、 のいずれかによって決定されることを特徴とするテレビ会議システム。 - 【請求項15】 前記各参加者にラベル付けを行うことにより、前記参加者
をトラッキングする手段を更に備えることを特徴とする請求項14記載のテレビ
会議システム。 - 【請求項16】 一のプリセットをユーザが選択した場合該プリセットの調
整をするか、一のプリセットに対応する参加者が前記空間から出て行った場合該
プリセットを削除するか、前記空間全体にわたって前記カメラを回動させるか、
前記空間全体にわたって前記カメラをズームさせるか、の少なくとも一つをテレ
ビ会議システムに実行させることにより前記プリセットの更新を行う手段を更に
備えることを特徴とする請求項14記載のテレビ会議システム。 - 【請求項17】 前記カメラの視野内において2人以上の参加者が存在する
場合、該参加者は一の合体画像に合体され、該合体画像の中心を前記プリセット
を決定するために使用することを特徴とする請求項14記載のテレビ会議システ
ム。 - 【請求項18】 前記参加者の検出は、 複数の画素からなるデジタル画像を形成し、 肌色の画素を検出することにより前記デジタル画像から2値画像を形成し、 前記2値画像の輝度要素におけるエッジに対応する画素を除去し、2値画像要
素を形成し、 前記2値画像要素を少なくとも一のグラフにマッピングし、 前記マッピングされた2値画像要素を、顔部か非顔部かどちらかに分類し、顔
部に分類された要素を顔部候補とすることを特徴とする請求項14記載のテレビ
会議システム。 - 【請求項19】 前記空間全体にわたって前記カメラを回動させるか、前記
空間全体にわたって前記カメラをズームさせるか、の少なくともいずれか一つを
実行することにより前記プリセットを更新する少なくとももう一つのカメラを更
に備えることを特徴とする請求項14記載のテレビ会議システム。 - 【請求項20】 テレビ会議システムにおいて、 回動撮影と、傾斜と、ズームとのパラメータを有する少なくとも一のカメラを
備え、 前記パラメータは、テレビ会議の参加者に対応して割当てられたプリセット値
を有し、 前記プリセットはカメラの視野を決定し、 テレビ会議システムは更に、 テレビ会議システムによって決定される空間全体にわたって前記カメラを撮影
回動させる手段と、前記テレビ会議システムによって決定される空間を捉えるよ
うに前記カメラをズームアウトさせる手段とのうち少なくとも一と、 前記空間内において参加者を検出する手段と、 最適位置か、前記参加者の頭部が前記カメラの視野の中心と一致する位置か、
前記参加者の中心が前記カメラの視野の中心と一致する位置か、のいずれかの位
置に前記参加者が位置するようなカメラ位置に基づいて、前記カメラのプリセッ
トを決定する決定手段とを備えることを特徴とするテレビ会議システム。 - 【請求項21】 前記各参加者にラベル付けを行うことによって参加者のト
ラッキングを行う手段を更に備えることを特徴とする請求項20記載のテレビ会
議システム。 - 【請求項22】 一のプリセットをユーザが選択した場合該プリセットの調
整をするか、一のプリセットに対応する参加者が前記空間から出て行った場合該
プリセットを削除するか、前記空間全体にわたって前記カメラを回動させるか、
前記空間全体にわたって前記カメラをズームさせるか、の少なくとも一つをテレ
ビ会議システムに実行させることにより前記プリセットの更新を行う手段を更に
備えることを特徴とする請求項20記載のテレビ会議システム。 - 【請求項23】 前記カメラの視野内において2人以上の参加者が存在する
場合、該参加者は一の合体画像に合体され、該合体画像の中心を前記プリセット
を決定するために使用することを特徴とする請求項20記載のテレビ会議システ
ム。 - 【請求項24】 前記参加者の検出は、 複数の画素からなるデジタル画像を形成し、 肌色の画素を検出することにより前記デジタル画像から2値画像を形成し、 前記2値画像の輝度要素におけるエッジに対応する画素を除去し、2値画像要
素を形成し、 前記2値画像要素を少なくとも一のグラフにマッピングし、 前記マッピングされた2値画像要素を、顔部か非顔部かどちらかに分類し、顔
部に分類された要素を顔部候補とすることを特徴とする請求項20記載のテレビ
会議システム。 - 【請求項25】 前記空間全体にわたって前記カメラを回動させるか、前記
空間全体にわたって前記カメラをズームさせるか、の少なくともいずれか一つを
実行することにより前記プリセットを更新する少なくとももう一つのカメラを更
に備えることを特徴とする請求項20記載のテレビ会議システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/218,554 | 1998-12-22 | ||
US09/218,554 US7057636B1 (en) | 1998-12-22 | 1998-12-22 | Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications |
PCT/EP1999/010066 WO2000038414A1 (en) | 1998-12-22 | 1999-12-14 | Automatic determination of preset positions corresponding to participants in video-conferences |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002534009A true JP2002534009A (ja) | 2002-10-08 |
Family
ID=22815560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000590377A Pending JP2002534009A (ja) | 1998-12-22 | 1999-12-14 | テレビ会議における参加者のプリセット位置の自動設定方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7057636B1 (ja) |
EP (1) | EP1057326B1 (ja) |
JP (1) | JP2002534009A (ja) |
KR (1) | KR100699704B1 (ja) |
CN (1) | CN1156151C (ja) |
DE (1) | DE69938173T2 (ja) |
ES (1) | ES2301256T3 (ja) |
WO (1) | WO2000038414A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002333652A (ja) * | 2001-05-10 | 2002-11-22 | Oki Electric Ind Co Ltd | 撮影装置及び再生装置 |
JP2005341060A (ja) * | 2004-05-25 | 2005-12-08 | Fukushima Prefecture | カメラ制御装置 |
JP2006039564A (ja) * | 2004-07-28 | 2006-02-09 | Microsoft Corp | カメラシステム及びパノラマカメラシステム |
JP2006508462A (ja) * | 2002-11-29 | 2006-03-09 | ソニー・ユナイテッド・キングダム・リミテッド | 顔検出 |
JP2008085930A (ja) * | 2006-09-29 | 2008-04-10 | Nec Engineering Ltd | テレビ会議装置 |
JP2017041857A (ja) * | 2015-08-21 | 2017-02-23 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム及び撮像装置 |
JP2017508351A (ja) * | 2014-01-10 | 2017-03-23 | リボルブ ロボティクス インク | ロボットスタンドをビデオ会議進行中に制御するシステム及び方法 |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1107584B1 (en) * | 1999-12-03 | 2008-08-27 | Fujinon Corporation | Automatic following device |
US7283788B1 (en) | 2000-07-26 | 2007-10-16 | Posa John G | Remote microphone teleconferencing configurations |
US20020130955A1 (en) * | 2001-01-12 | 2002-09-19 | Daniel Pelletier | Method and apparatus for determining camera movement control criteria |
US6952224B2 (en) * | 2001-03-30 | 2005-10-04 | Intel Corporation | Object trackability via parametric camera tuning |
US6611281B2 (en) | 2001-11-13 | 2003-08-26 | Koninklijke Philips Electronics N.V. | System and method for providing an awareness of remote people in the room during a videoconference |
US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
JP2003284053A (ja) * | 2002-03-27 | 2003-10-03 | Minolta Co Ltd | 監視カメラシステムおよび監視カメラ制御装置 |
JP4218348B2 (ja) * | 2003-01-17 | 2009-02-04 | オムロン株式会社 | 撮影装置 |
JP4333150B2 (ja) * | 2003-01-31 | 2009-09-16 | ソニー株式会社 | 信号処理装置および方法、記録媒体、並びにプログラム |
JP4277534B2 (ja) * | 2003-02-12 | 2009-06-10 | オムロン株式会社 | 画像編集装置および画像編集方法 |
CN100448267C (zh) | 2004-02-06 | 2008-12-31 | 株式会社尼康 | 数码相机 |
US7623156B2 (en) * | 2004-07-16 | 2009-11-24 | Polycom, Inc. | Natural pan tilt zoom camera motion to preset camera positions |
US7796827B2 (en) * | 2004-11-30 | 2010-09-14 | Hewlett-Packard Development Company, L.P. | Face enhancement in a digital video |
JP4770178B2 (ja) * | 2005-01-17 | 2011-09-14 | ソニー株式会社 | カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 |
JP4824411B2 (ja) * | 2005-01-20 | 2011-11-30 | パナソニック株式会社 | 顔抽出装置、半導体集積回路 |
JP2007010898A (ja) * | 2005-06-29 | 2007-01-18 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
JP4412552B2 (ja) | 2005-10-05 | 2010-02-10 | 富士フイルム株式会社 | 画像レイアウト装置および方法並びにプログラム |
US8760485B2 (en) * | 2006-03-02 | 2014-06-24 | Cisco Technology, Inc. | System and method for displaying participants in a videoconference between locations |
CN101496387B (zh) | 2006-03-06 | 2012-09-05 | 思科技术公司 | 用于移动无线网络中的接入认证的系统和方法 |
US7710448B2 (en) | 2006-04-20 | 2010-05-04 | Cisco Technology, Inc. | System and method for preventing movement in a telepresence system |
US7707247B2 (en) * | 2006-04-20 | 2010-04-27 | Cisco Technology, Inc. | System and method for displaying users in a visual conference between locations |
US7532232B2 (en) * | 2006-04-20 | 2009-05-12 | Cisco Technology, Inc. | System and method for single action initiation of a video conference |
US7692680B2 (en) * | 2006-04-20 | 2010-04-06 | Cisco Technology, Inc. | System and method for providing location specific sound in a telepresence system |
US7679639B2 (en) * | 2006-04-20 | 2010-03-16 | Cisco Technology, Inc. | System and method for enhancing eye gaze in a telepresence system |
US20070250567A1 (en) * | 2006-04-20 | 2007-10-25 | Graham Philip R | System and method for controlling a telepresence system |
US8792005B2 (en) * | 2006-11-29 | 2014-07-29 | Honeywell International Inc. | Method and system for automatically determining the camera field of view in a camera network |
US8085290B2 (en) * | 2006-12-06 | 2011-12-27 | Cisco Technology, Inc. | System and method for displaying a videoconference |
JP4845715B2 (ja) * | 2006-12-22 | 2011-12-28 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、及び記憶媒体 |
JP3132386U (ja) * | 2007-03-26 | 2007-06-07 | 株式会社三菱東京Ufj銀行 | Tv会議用デジタルカメラ |
US8203591B2 (en) | 2007-04-30 | 2012-06-19 | Cisco Technology, Inc. | Method and system for optimal balance and spatial consistency |
US8253770B2 (en) * | 2007-05-31 | 2012-08-28 | Eastman Kodak Company | Residential video communication system |
EP2007141B1 (en) * | 2007-06-20 | 2018-11-21 | Provenance Asset Group LLC | A system and method for providing a video conference |
NO327899B1 (no) * | 2007-07-13 | 2009-10-19 | Tandberg Telecom As | Fremgangsmate og system for automatisk kamerakontroll |
JP5228407B2 (ja) * | 2007-09-04 | 2013-07-03 | ヤマハ株式会社 | 放収音装置 |
JP5034819B2 (ja) | 2007-09-21 | 2012-09-26 | ヤマハ株式会社 | 放収音装置 |
US8203593B2 (en) * | 2007-12-28 | 2012-06-19 | Motorola Solutions, Inc. | Audio visual tracking with established environmental regions |
US8379076B2 (en) * | 2008-01-07 | 2013-02-19 | Cisco Technology, Inc. | System and method for displaying a multipoint videoconference |
US8797377B2 (en) * | 2008-02-14 | 2014-08-05 | Cisco Technology, Inc. | Method and system for videoconference configuration |
US8355041B2 (en) | 2008-02-14 | 2013-01-15 | Cisco Technology, Inc. | Telepresence system for 360 degree video conferencing |
US8319819B2 (en) | 2008-03-26 | 2012-11-27 | Cisco Technology, Inc. | Virtual round-table videoconference |
US8390667B2 (en) | 2008-04-15 | 2013-03-05 | Cisco Technology, Inc. | Pop-up PIP for people not in picture |
US8694658B2 (en) | 2008-09-19 | 2014-04-08 | Cisco Technology, Inc. | System and method for enabling communication sessions in a network environment |
KR101249737B1 (ko) * | 2008-12-03 | 2013-04-03 | 한국전자통신연구원 | 움직이는 카메라 환경에서의 물체 추적 장치 및 그 방법 |
US8659637B2 (en) | 2009-03-09 | 2014-02-25 | Cisco Technology, Inc. | System and method for providing three dimensional video conferencing in a network environment |
US8477175B2 (en) * | 2009-03-09 | 2013-07-02 | Cisco Technology, Inc. | System and method for providing three dimensional imaging in a network environment |
JP5457546B2 (ja) * | 2009-04-29 | 2014-04-02 | コーニンクレッカ フィリップス エヌ ヴェ | カメラの最適視角位置を選択する方法 |
US20110119597A1 (en) * | 2009-05-09 | 2011-05-19 | Vivu, Inc. | Method and apparatus for capability-based multimedia interactions |
US8659639B2 (en) | 2009-05-29 | 2014-02-25 | Cisco Technology, Inc. | System and method for extending communications between participants in a conferencing environment |
US8175335B2 (en) * | 2009-06-17 | 2012-05-08 | Sony Corporation | Content adaptive detection of images with stand-out object |
US9082297B2 (en) | 2009-08-11 | 2015-07-14 | Cisco Technology, Inc. | System and method for verifying parameters in an audiovisual environment |
US8350891B2 (en) | 2009-11-16 | 2013-01-08 | Lifesize Communications, Inc. | Determining a videoconference layout based on numbers of participants |
US9225916B2 (en) | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
USD626103S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Technology, Inc. | Video unit with integrated features |
USD626102S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Tech Inc | Video unit with integrated features |
CN102244759A (zh) * | 2010-05-12 | 2011-11-16 | 宇泰华科技股份有限公司 | 直觉式交谈方法 |
US9313452B2 (en) | 2010-05-17 | 2016-04-12 | Cisco Technology, Inc. | System and method for providing retracting optics in a video conferencing environment |
US9723260B2 (en) * | 2010-05-18 | 2017-08-01 | Polycom, Inc. | Voice tracking camera with speaker identification |
US8896655B2 (en) | 2010-08-31 | 2014-11-25 | Cisco Technology, Inc. | System and method for providing depth adaptive video conferencing |
US8599934B2 (en) | 2010-09-08 | 2013-12-03 | Cisco Technology, Inc. | System and method for skip coding during video conferencing in a network environment |
US8599865B2 (en) | 2010-10-26 | 2013-12-03 | Cisco Technology, Inc. | System and method for provisioning flows in a mobile network environment |
US8699457B2 (en) | 2010-11-03 | 2014-04-15 | Cisco Technology, Inc. | System and method for managing flows in a mobile network environment |
US9338394B2 (en) | 2010-11-15 | 2016-05-10 | Cisco Technology, Inc. | System and method for providing enhanced audio in a video environment |
US9143725B2 (en) | 2010-11-15 | 2015-09-22 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US8902244B2 (en) | 2010-11-15 | 2014-12-02 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US8730297B2 (en) | 2010-11-15 | 2014-05-20 | Cisco Technology, Inc. | System and method for providing camera functions in a video environment |
US8542264B2 (en) | 2010-11-18 | 2013-09-24 | Cisco Technology, Inc. | System and method for managing optics in a video environment |
US8723914B2 (en) | 2010-11-19 | 2014-05-13 | Cisco Technology, Inc. | System and method for providing enhanced video processing in a network environment |
US9111138B2 (en) | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
US8553064B2 (en) | 2010-12-08 | 2013-10-08 | Cisco Technology, Inc. | System and method for controlling video data to be rendered in a video conference environment |
US8446455B2 (en) | 2010-12-08 | 2013-05-21 | Cisco Technology, Inc. | System and method for exchanging information in a video conference environment |
USD678307S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678308S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678320S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678894S1 (en) | 2010-12-16 | 2013-03-26 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682294S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682293S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682854S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen for graphical user interface |
USD682864S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen with graphical user interface |
US8692862B2 (en) | 2011-02-28 | 2014-04-08 | Cisco Technology, Inc. | System and method for selection of video data in a video conference environment |
US8670019B2 (en) | 2011-04-28 | 2014-03-11 | Cisco Technology, Inc. | System and method for providing enhanced eye gaze in a video conferencing environment |
US8786631B1 (en) | 2011-04-30 | 2014-07-22 | Cisco Technology, Inc. | System and method for transferring transparency information in a video environment |
US8934026B2 (en) | 2011-05-12 | 2015-01-13 | Cisco Technology, Inc. | System and method for video coding in a dynamic environment |
US8947493B2 (en) | 2011-11-16 | 2015-02-03 | Cisco Technology, Inc. | System and method for alerting a participant in a video conference |
US8682087B2 (en) | 2011-12-19 | 2014-03-25 | Cisco Technology, Inc. | System and method for depth-guided image filtering in a video conference environment |
US9681154B2 (en) | 2012-12-06 | 2017-06-13 | Patent Capital Group | System and method for depth-guided filtering in a video conference environment |
US8957940B2 (en) | 2013-03-11 | 2015-02-17 | Cisco Technology, Inc. | Utilizing a smart camera system for immersive telepresence |
US9843621B2 (en) | 2013-05-17 | 2017-12-12 | Cisco Technology, Inc. | Calendaring activities based on communication processing |
US10691398B2 (en) * | 2014-09-30 | 2020-06-23 | Accenture Global Services Limited | Connected classroom |
US9756286B1 (en) | 2016-08-05 | 2017-09-05 | Microsoft Technology Licensing, Llc | Communication event |
JP2021052325A (ja) * | 2019-09-25 | 2021-04-01 | キヤノン株式会社 | 撮像装置、システム、撮像装置の制御方法、プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05196425A (ja) * | 1992-01-21 | 1993-08-06 | Ezel Inc | 人間の3次元位置検出方法 |
JP3298072B2 (ja) * | 1992-07-10 | 2002-07-02 | ソニー株式会社 | ビデオカメラシステム |
US5742329A (en) * | 1992-10-26 | 1998-04-21 | Canon Kabushiki Kaisha | Image pickup system and communication system for use in video conference system or the like |
WO1995011566A1 (en) | 1993-10-20 | 1995-04-27 | Videoconferencing Systems, Inc. | Adaptive videoconferencing system |
US5508734A (en) | 1994-07-27 | 1996-04-16 | International Business Machines Corporation | Method and apparatus for hemispheric imaging which emphasizes peripheral content |
DE19511713A1 (de) | 1995-03-30 | 1996-10-10 | C Vis Computer Vision Und Auto | Verfahren und Vorrichtung zur automatischen Bildaufnahme von Gesichtern |
US5959667A (en) * | 1996-05-09 | 1999-09-28 | Vtel Corporation | Voice activated camera preset selection system and method of operation |
JPH1051755A (ja) * | 1996-05-30 | 1998-02-20 | Fujitsu Ltd | テレビ会議端末の画面表示制御装置 |
US6343141B1 (en) * | 1996-10-08 | 2002-01-29 | Lucent Technologies Inc. | Skin area detection for video image systems |
US6072522A (en) * | 1997-06-04 | 2000-06-06 | Cgc Designs | Video conferencing apparatus for group video conferencing |
JPH1139469A (ja) * | 1997-07-24 | 1999-02-12 | Mitsubishi Electric Corp | 顔画像処理装置 |
US6148092A (en) * | 1998-01-08 | 2000-11-14 | Sharp Laboratories Of America, Inc | System for detecting skin-tone regions within an image |
US6275614B1 (en) * | 1998-06-26 | 2001-08-14 | Sarnoff Corporation | Method and apparatus for block classification and adaptive bit allocation |
US6263113B1 (en) * | 1998-12-11 | 2001-07-17 | Philips Electronics North America Corp. | Method for detecting a face in a digital image |
-
1998
- 1998-12-22 US US09/218,554 patent/US7057636B1/en not_active Expired - Fee Related
-
1999
- 1999-12-14 CN CNB998053384A patent/CN1156151C/zh not_active Expired - Fee Related
- 1999-12-14 JP JP2000590377A patent/JP2002534009A/ja active Pending
- 1999-12-14 ES ES99964595T patent/ES2301256T3/es not_active Expired - Lifetime
- 1999-12-14 DE DE69938173T patent/DE69938173T2/de not_active Expired - Lifetime
- 1999-12-14 EP EP99964595A patent/EP1057326B1/en not_active Expired - Lifetime
- 1999-12-14 KR KR1020007009232A patent/KR100699704B1/ko not_active IP Right Cessation
- 1999-12-14 WO PCT/EP1999/010066 patent/WO2000038414A1/en active IP Right Grant
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002333652A (ja) * | 2001-05-10 | 2002-11-22 | Oki Electric Ind Co Ltd | 撮影装置及び再生装置 |
JP2006508462A (ja) * | 2002-11-29 | 2006-03-09 | ソニー・ユナイテッド・キングダム・リミテッド | 顔検出 |
JP2005341060A (ja) * | 2004-05-25 | 2005-12-08 | Fukushima Prefecture | カメラ制御装置 |
JP4593172B2 (ja) * | 2004-05-25 | 2010-12-08 | 公立大学法人会津大学 | カメラ制御装置 |
JP2006039564A (ja) * | 2004-07-28 | 2006-02-09 | Microsoft Corp | カメラシステム及びパノラマカメラシステム |
JP2008085930A (ja) * | 2006-09-29 | 2008-04-10 | Nec Engineering Ltd | テレビ会議装置 |
US8405704B2 (en) | 2006-09-29 | 2013-03-26 | Nec Engineering Ltd. | TV conference apparatus |
JP2017508351A (ja) * | 2014-01-10 | 2017-03-23 | リボルブ ロボティクス インク | ロボットスタンドをビデオ会議進行中に制御するシステム及び方法 |
JP2017041857A (ja) * | 2015-08-21 | 2017-02-23 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
DE69938173D1 (de) | 2008-04-03 |
DE69938173T2 (de) | 2009-02-19 |
US7057636B1 (en) | 2006-06-06 |
KR100699704B1 (ko) | 2007-03-27 |
ES2301256T3 (es) | 2008-06-16 |
EP1057326B1 (en) | 2008-02-20 |
WO2000038414A1 (en) | 2000-06-29 |
CN1298601A (zh) | 2001-06-06 |
KR20010041177A (ko) | 2001-05-15 |
EP1057326A1 (en) | 2000-12-06 |
CN1156151C (zh) | 2004-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002534009A (ja) | テレビ会議における参加者のプリセット位置の自動設定方法 | |
US9692964B2 (en) | Modification of post-viewing parameters for digital images using image region or feature information | |
US9129381B2 (en) | Modification of post-viewing parameters for digital images using image region or feature information | |
US6297846B1 (en) | Display control system for videoconference terminals | |
JP4865038B2 (ja) | 顔検出と肌の色合いの情報を用いたデジタル画像処理 | |
US8675991B2 (en) | Modification of post-viewing parameters for digital images using region or feature information | |
JP4335565B2 (ja) | 画像あるいは一連の画像内の1つあるいは複数の色領域を検出しかつ/または追跡するための方法および装置 | |
JP3679512B2 (ja) | 画像抽出装置および方法 | |
JP4450508B2 (ja) | オーディオソースの位置決定 | |
US20060120712A1 (en) | Method and apparatus for processing image | |
US20070268369A1 (en) | Automatic Imaging Method and Apparatus | |
JP4514264B2 (ja) | ビデオデータ信号から取得された静止画像内でのモーション表示方法 | |
KR20120081127A (ko) | 이미지 처리 시스템 | |
CN113973190A (zh) | 视频虚拟背景图像处理方法、装置及计算机设备 | |
JP2006510109A (ja) | 表情不変顔認識方法及び装置 | |
JP2007526577A (ja) | 人物画像における赤目補正 | |
CN111597938A (zh) | 活体检测、模型训练方法及装置 | |
CN110572570B (zh) | 一种多人场景的智能识别拍摄的方法、系统及存储介质 | |
CN106161945A (zh) | 拍照处理方法和装置 | |
US20240236474A1 (en) | Systems and methods for obtaining a smart panoramic image | |
JPH1115979A (ja) | 顔検出及び顔追跡方法並びにその装置 | |
JP3774495B2 (ja) | 画像情報抽出装置および方法 | |
JP4496005B2 (ja) | 画像処理方法および画像処理装置 | |
JP2009175745A (ja) | 顔画像撮影装置および顔画像撮影方法 | |
JP2000092368A (ja) | カメラ制御装置及びコンピュータ読み取り可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090901 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091013 |