JP2012222820A - 直接的なアイコンタクトを増進するビデオ会議ユニット - Google Patents

Abstract

【課題】近位端及び遠位端の参加者の間の直接的なアイコンタクトの知覚を増進できる卓上型のビデオ会議エンドポイントを提供する。
【解決手段】参加者間の直接的なアイコンタクトを増進するデスクトップのビデオ会議エンドポイントは透過的なディスプレイ装置と、該ディスプレイ装置の後ろ側に配置され、該ディスプレイ装置の前面に位置する参加者を撮影するためのカメラを具備する。ディスプレイ装置は表示状態と非表示状態とを交互に繰り返す。カメラは、ディスプレイ装置が非表示状態のときにのみ、近位端の参加者の画像を撮影するように制御される。カメラは、ディスプレイ装置上の遠位端の参加者の瞳の画像が表示される位置の後ろ側に配置される。カメラによって撮影された画像は、遠位端の参加者に向けて表示されたとき、近位端の参加者が遠位端の参加者に直接的なアイコンタクトをしているかのような知覚的印象を与えることができる。
【選択図】図４

Description

本発明は、大略、通信システムに関し、特に、ビデオ会議ユニットに関する。

図１Ａ，１Ｂは、ビデオ会議ユニット１０１におけるカメラとディスプレイスクリーンとの配置の一例を示す。図１Ａは、遠位端の参加者の画像１０３を表示しているディスプレイスクリーン１０２の正面図である。カメラ１０４は、近位端の参加者１０５の画像を撮影するためにディスプレイスクリーン１０２の頂部に置かれる。典型的には、通信中に、近位端の参加者１０５はディスプレイスクリーン１０２に表示された遠位端の参加者の瞳を見つめるであろう。ディスプレイスクリーン１０２上に遠位端の参加者の瞳が現れる正確な位置は変化するであろうが、一般的には、ディスプレイスクリーン１０２の高さの半分より上及び２／３より下のいずれかの位置に現れるであろう。しかし、カメラ１０４はディスプレイスクリーン１０２の頂部に置かれている。よって、カメラ１０４によって撮影された近位端の参加者１０５の画像は、あたかも該近位端の参加者１０５が下を向いているように見えるであろう。その結果、遠位端の参加者は、彼らから瞳をそらして不本意に下を向いている近位端の参加者の画像を見ることになる。もし遠位端のビデオ会議ユニットが図１Ａにおける近位端のビデオ会議ユニットと同じような設定であれば、遠位端のカメラによって撮影される遠位端の参加者の画像も同様の下向きの特徴を持つことになる。そのような場合、近位端と遠位端の両方の参加者が、他方の画像の瞳を直接に見つめる（アイコンタクトする）ことができない。当然、それは望ましくない。

下向きに見られる現象は、近位端のカメラによって撮られる近位端の参加者の瞳の位置に対して、遠位端の参加者の瞳がディスプレイスクリーン１０２上に表示される位置のなす角度αが増すほど、悪化することに注意されたい。この角度αは２つの距離の関数である。１つは（ｉ）近位端の参加者とディスプレイスクリーン１０２との間の水平距離、もう１つは（ｉｉ）カメラと遠位端の参加者の瞳が表示されるディスプレイスクリーン１０２上の位置との間の（垂直方向における）知覚される距離である。角度αは前記水平距離に反比例する。つまり、角度αは、近位端の参加者とディスプレイスクリーンとの間の距離が増すほど、減少する。更に、角度αは、前記知覚される距離に直接的に比例する。つまり、角度αは、カメラと遠位端の参加者の瞳が表示されるディスプレイスクリーン上の位置との間の知覚される距離が増すほど、増加する。なお、当業者にとっては、角度αの減少に伴い、直接的なアイコンタクトの不足が減少されることが理解されよう。典型的には、角度αの値が５度以下であれば、アイコンタクトの明らかな不足が感知できないレベルにまで表現されるのに十分である。

アイコンタクトの明らかな不足の上述した問題を解決する従来の技術には、種々の解決策があった。図２Ａ及び２Ｂは解決策の一例を示す。この方法では、カメラ１０４は、ディスプレイスクリーン１０２前面の、ディスプレイスクリーン１０２上に遠位端の参加者の瞳が現れる位置に近接する位置に置かれる。その結果、角度αが直接的に比例する知覚される距離が減少するので、角度αが減少する。従って、近位端の参加者１０５の画像が遠位端で表示されたとき、近位端の参加者が遠位端の参加者と直接的にアイコンタクトをしているかのように見える。しかし、図２Ａ及び２Ｂに示す解決方法は、ディスプレイスクリーン１０２への近位端の参加者１０５の視野を遮るという欠点を持つ。図２Ａから分かるように、カメラ１０４及びカメラ支持具１０６は、遠位端の参加者の画像の見え方を妨げている。カメラ１０４及びカメラ支持具１０６は、近位端の参加者にとって極めてわずらわしい。

別の解決方法が図３に示されており、その方法では、テレプロンプター（商標）型のディスプレイとカメラの構成が角度αを最小化する。ディスプレイスクリーン１０２が水平に置かれ、その上側に、ディスプレイスクリーン１０２と略同じ幅の半透鏡１０７が、ディスプレイスクリーン１０２上に表示された画像が半透鏡１０７に反射して近位端の参加者に見えるような配置で、置かれている。カメラ１０４は半透鏡１０７の後ろに置かれて、カメラ１０４には近位端の参加者が見えるが、近位端の参加者にはカメラ１０４が見えないようになる。カメラ１０４は、近位端の参加者１０５が見る半透鏡１０７上の遠位端の参加者の瞳が現れると予期される高さに置かれる。したがって、角度αが最小になり、カメラ１０４によって撮影された画像においては、遠位端の参加者に表示されたときに、近位端の参加者が遠位端の参加者と直接的にアイコンタクトをしているかのように見えるようになる。しかし、ディスプレイ１０２の水平な配置及び角度を付けた半透鏡１０７では、著しくより多くの場所を占めてしまう。その結果、かかる構成は、卓上型のビデオ会議ユニットに不向きである。

本発明は、近位端及び遠位端の参加者の間の直接的なアイコンタクトの知覚を増進できる卓上型のビデオ会議エンドポイントを提供することを目的とする。この目的の達成のために、本発明に係るビデオ会議エンドポイントは、透過型ディスプレイ装置と、該ディスプレイ装置の後ろに置かれたカメラとを備える。前記カメラは、ディスプレイ装置の後ろの、遠位端の参加者の瞳の画像が表示されると予期される位置に、配置される。典型的には、近位端の参加者は、ディスプレイ上の、遠位端の参加者の瞳の画像が表示される位置を見ながら通信する。この位置の後ろ側のカメラのために、該カメラにより撮影された画像は、カメラを直接的に見る近位端の参加者を含む。前記撮影された画像が遠位端の参加者に表示されたとき、遠位端の参加者は、近位端の参加者が遠位端の参加者と直接的なアイコンタクトをしていることを知覚できる。

透過型ディスプレイ装置は、ガラス又はプラスチック等の透過型基体上の有機発光ダイオード（ＯＬＥＤ）ピクセルマトリックスを備える。かかるディスプレイ装置は、光が当該ディスプレイ装置を通過させることを可能とする。前記ディスプレイ装置に接続された制御ユニットは、該ディスプレイ装置が表示状態と非表示状態とを交互に繰り返すように制御する。前記表示状態では、ディスプレイ装置は画像を表示できる。表示される画像は、例えば、遠位端から受信した画像フレームである。前記非表示状態では、ディスプレイ装置はいかなる画像の表示も停止する。その結果、ディスプレイ装置が透過的になる。制御ユニットは、ディスプレイ装置が非表示状態の間に、ディスプレイ装置を通して近位端の参加者の画像を撮影するようにカメラを制御する。ディスプレイ装置が画像を表示していないので、カメラは何らの妨害物無しに近位端の参加者の画像を撮影できる。カメラは、当該カメラに当たる環境光を防ぐエンクロージャ内に収容される。これにより、カメラが近位端の参加者に知覚されないようにできる。

カメラは、シャッターの開閉によって、画像を撮影するか又は撮影しないかを制御される。前記シャッターは、前記ディスプレイ装置の非表示状態の間にのみ開く。ただし、該シャッターは、幾度かの非表示状態の間にのみ開くように制御され得る。非表示状態の間にカメラがシャッターを開くかどうかは、撮影フレームレートや露出時間等、種々の要因に依存する。

前記ビデオ会議エンドポイントは、ディスプレイスクリーン上の遠位端の参加者の瞳の画像が表示される位置の後ろに、カメラを自動的に位置させるカメラ位置決め機構を含む。顔面検出モジュールは、受信した画像フレーム上の瞳の画像の位置を決定できる。カメラ位置コントローラは、前記顔面検出モジュールから受信した画素情報に基づいて、瞳の画像の物理的位置を決定する。カメラは、当該カメラをディスプレイ装置の後ろ側で水平方向及び垂直方向の両方向に移動できる位置決め機構に取り付けられる。カメラ位置コントローラは、カメラがディスプレイ装置上に表示されている瞳の画像の後ろ側に位置されるように、位置決め機構を制御できる。カメラ位置コントローラは、ディスプレイ装置上の瞳の画像の位置の変化を追跡して、それに応じてカメラの位置を変更できる。

この発明の代表的な実施例は、以下の説明を読むこと、及び、添付図面を参照することにより、より容易に理解されるだろう。

従来技術で周知の、カメラがディスプレイスクリーンの頂部に置かれたビデオ会議エンドポイントを示す図。 従来技術で周知の、カメラがディスプレイスクリーンの頂部に置かれたビデオ会議エンドポイントを示す図。

従来技術で周知の、カメラがディスプレイスクリーンの前面に置かれたビデオ会議エンドポイントを示す図。 従来技術で周知の、カメラがディスプレイスクリーンの前面に置かれたビデオ会議エンドポイントを示す図。

従来技術で周知の、テレプロンプター型ビデオ会議エンドポイントを示す図。

カメラが透過的ディスプレイ装置の後ろ側に置かれたビデオ会議エンドポイントの一例を示す図。

ディスプレイ装置の表示状態を示す図。 ディスプレイ装置の非表示状態を示す図。

ディスプレイ装置とカメラのためのタイミング図の一例を示す図。

前記タイミング図に示す時間の値の一例のリスト。

ディスプレイ装置とカメラに接続された制御ユニットによって実行される処理ステップの一例のフローチャート。

可動式カメラ機構の一例の説明図。 可動式カメラ機構の一例のブロック図。 可動式カメラ機構の一例のフローチャート。

ビデオ会議エンドポイントの電気的構造図の一例を示す図。

図４は、カメラがディスプレイ装置の後ろに配置され得るビデオ会議ユニット２００の一例を示す。カメラ２０４は、ディスプレイ装置２０２の一方の側であって、近位端の参加者１０５に対面する側とは反対側に配置される。ディスプレイ装置２０２は、参加者１０５にフレームを表示せず、且つ、ディスプレイ装置２０２の参加者側からディスプレイ装置２０２のカメラ側に光を通過させ得る状態になることができる。この状態の間は、近位端の参加者１０５及び彼又は彼女の周囲の画像を撮影できるように、カメラ２０４のシャッターが開かれる。ディスプレイ装置２０２は、また、参加者１０５にフレームを表示する状態になることができる。この状態の間は、何の画像も撮影しないように、カメラ２０４のシャッターが閉じられる。ディスプレイ装置２０２は、所望のフレームレートで、当該ディスプレイ装置２０２がビデオフレームを表示すること、及び、カメラ２０４がビデオフレームを撮影することのいずれにとっても十分な速さで、これら２つの状態を遷移させる。

カメラ２０４は、ディスプレイ装置２０２上で遠位端の参加者の顔又は瞳が現れると予期される位置のちょうど後ろに置かれる。その結果、近位端の参加者１０５に対する角度αが極めて小さくなる。したがって、カメラ２０４によって撮影される近位端の参加者１０５の画像は、遠位端で表示されたときに、近位端の参加者が遠位端の参加者と直接的にアイコンタクトをしているかのように見えるものとなる。カメラ２０４は、角度αが５度以下になるように配置され得る。

カメラ２０４は、また、図４に示す通り、エンクロージャ２１０内に収容される。ディスプレイ装置２０２の後ろに置かれたカメラ２０４がローカルの参加者１０５に知覚されないことが望ましい。エンクロージャ２１０は、カメラ２０４に当たる光の量を極小化し得る。エンクロージャ２１０の内表面は無反射コーティング及び無反射色（例えば無光沢の黒）を持ち得る。更にはカメラ２０４も、自身の知覚され易さを減少させるために、無反射コーティング及び無反射色（例えば無光沢の黒）で被覆されてよい。カメラ２０４は、スクリーンのすぐ後ろに置かれて、ローカルの参加者１０５及び彼又は彼女の周囲の広い視野を可能にする。ディスプレイ装置２０２とエンクロージャ２１０とを共にローカルの参加者の前面の卓上に置くことができるように、ディスプレイ装置２０２及びエンクロージャ２１０の厚さをできる限り小さくすることが好ましい。１インチの何分の１かの厚さで入手可能な典型的な市販のディスプレイスクリーンと、１〜２インチの厚さの部品の形で入手可能である高精細度デジタルカメラとを用いることで、図４に示すエンドポイントの厚さは２〜３インチ以下にできる。

有機発光ダイオード（ＯＬＥＤ）、液晶ディスプレイ（ＬＣＤ）等、種々のディスプレイ装置を、ディスプレイ装置２０２として使用できる。当業者は、ＯＬＥＤ又はＬＣＤディスプレイが透明又は半透明のガラス又はプラスチックのシート材で製造できることを理解できるだろう。これにより、ＯＬＥＤディスプレイを実質的に透明にし、同時に、実質的に透明な基板上に画像を表示できる。

図５Ａ及び５Ｂは、ディプレイ装置及びカメラの２つの状態を示す。図５Ａにおいて、ディスプレイ装置２０２は、表示状態であり、遠位端の参加者の画像（シェーディングで示す）を表示できる。この状態では、カメラ２０４は、ディスプレイ装置２０２に表示される画像を撮影しないように、そのシャッターを閉じる。カメラ２０４がローカルの参加者１０５に知覚されないことを示すため、当該カメラ２０４が点線で描かれていることに注意されたい。図５Ｂにおいて、ディスプレイ装置２０２は、何らの画像も表示しない非表示状態又は透過的状態になっている。その結果、カメラ２０４は、透過的なディスプレイ装置２０２の後ろ側からローカルの参加者２０５をはっきりと見られる状態となる。カメラのシャッターは、ディスプレイ装置２０２が遠位端の参加者の画像のフレームを表示する前に再び閉じられる。典型的には、ディスプレイ装置２０２とカメラ２０４は、図５Ａと５Ｂに示す２つのシナリオを交互に繰り返す。

変形例として、透過的状態のときに、ディスプレイ装置の一部だけが透過的になるように構成されてよい。透過的になるディスプレイ装置の一部分は、カメラ２０４の位置に対応する。カメラ２０４がディスプレイ装置２０２のすぐ後ろに置かれるので、カメラ２０４が近位端の参加者１０５及び彼又は彼女の周囲の画像を撮影できるようにすることのために、ディスプレイ装置全体が透過的である必要はない。一例として、カメラ２０４の前面におけるディスプレイ装置２０２の一部の長方形、円形又は正方形等の任意の部分（領域）が選択され得る。選択された部分（領域）に対応する複数の画素（複数の画素の部分集合）は、ディスプレイ装置２０２の後ろにカメラをセットアップするときに、特定される。特定された複数の画素の位置は、ディスプレイ装置２０２のメモリに保存されるか、又は、リフレッシュサイクル毎に制御ユニットによって供給される。

図６は、タイミング図３００を用いて、ディスプレイ装置及びカメラの制御の一例を説明する。一番上の軸線は、ディスプレイ装置２０２によって表示される遠位端のビデオのリフレッシュタイミング３０１を示す。ディスプレイ装置２０２のリフレッシュレートＴｒｅｆは、入力されるビデオの撮影レートと同じ値にできる。例えば、入力ビデオが２４フレーム毎秒（ｆｐｓ）とすると、ディスプレイ装置２０２のリフレッシュレートは、各サイクルに１つの画像フレームが表示されるように２４Ｈｚに設定できる。ディスプレイ装置のリフレッシュレートが入力ビデオのフレームレートから独立していてもよい。例えば、いくつかのディスプレイ装置は、それらのリフレッシュレートを６０Ｈｚの一定値に設定される。そのような場合、１つの画像フレームは、１以上の複数サイクルで表示されることになる。

タイミング図３００の一部分３０２は、ディスプレイ装置２０２に１つのフレームを表示すること、及び、それに続いてディスプレイ装置２０２からフレームを取り去ってディスプレイ装置２０２を透過的にすることに必要とされる時間長Ｔｄｉｓを示す。Ｔｄｉｓは、入力ラグ、画素レスポンス時間、画素応答時間など、種々のレイテンシ要素に依存する。入力ラグは、メモリから画素へ画素データを伝送する電子部品のレイテンシに依存する。ＯＬＥＤディスプレイの典型的な画素応答時間は、１ミリ秒であり、また、ＬＣＤディスプレイの典型的な画素応答時間は、２〜４ミリ秒である。１リフレッシュサイクル内のＴｄｉｓ以外の全ての時間において、ディスプレイ装置２０２が透過的であると想定できる。言い換えれば、ディスプレイ装置２０２はＴｄｉｓ後に透過的状態になる。

部分３０３は、ローカルの参加者の画像を撮影するために、カメラのシャッターがリフレッシュサイクル内で潜在的に開けておくことができる時間長を示す。Ｔｃａｍは、リフレッシュサイクル内でディスプレイ装置２０２が透過的になっているときに、カメラがローカルの参加者の画像を撮影するためにシャッターを開く期間を提供する。Ｔｃａｍが、カメラ２０４のシャッター時間を規定する必要はないことに注意されたい。言い換えれば、各リフレッシュサイクルの各Ｔｃａｍ期間内にシャッターが開かれる必要はない。一例として、カメラ２０４は、ディスプレイのリフレッシュレートとは異なる撮影フレームレートを持つ。例えば、カメラ２０４の撮影フレームレートが２４ｆｐｓであり、且つ、ディスプレイ装置のリフレッシュレートが５０Ｈｚであるとすると、カメラのシャッターは、１秒あたり５０リフレッシュサイクルのうち２４サイクル分のＴｃａｍ期間だけ開く。すなわち、ディスプレイ装置２０２は表示状態と非表示状態を交互に繰り返すが、カメラ２０４は、必ずしも全ての非表示状態において画像の撮影を行う必要はなく、該ディスプレイ装置２０２の前記交互に起こる非表示状態の部分集合において画像の撮影を止める／もしくは画像を撮影するようにしてよい。更に、シャッター時間は、カメラセンサ速度と、カメラセンサに届く光量又は露出時間との関数であってもよい。例えば、カメラがフレーム毎に１／１００秒間シャッターを開けておく必要がある場合には、カメラのシャッターは、許容可能なＴｃａｍ期間のうち１０ミリ秒しか開けない。仮にＴｃａｍが要求された露出時間よりも短い場合、シャッターは、１つのフレームを撮影するために、複数のＴｃａｍ期間にわたり開く。幾つかの場合、Ｔｃａｍがとても短く（例えば高いリフレッシュレートであるため）、カメラが要求された露出時間にて要求されたフレーム毎秒の撮影をできないならば、制御ユニットは、ローカルの参加者に対するインジケータを供給する。ローカルの参加者は、露出時間を減らすように、その場の照明を増やすだろう。変形例として、制御ユニットは、追加照明を点灯するための指示を室内照明制御ユニットに自動的に送信してもよい。

図７は、図６で上述した複数の時間の値の幾つかの例を示すリストである。例えば、ディスプレイ装置２０２のリフレッシュレートが２４Ｈｚとすると、Ｔｒｅｆの期間は４１．６７ミリ秒（ｍｓ）となる。Ｔｄｉｓは２ミリ秒であるが、個々のディスプレイ毎に適切な任意の値を利用してもよい。Ｔｃａｍ＝Ｔｒｅｆ−Ｔｄｉｓであるから、Ｔｃａｍは３９．６７ミリ秒になる。したがって、カメラのシャッターは、リフレッシュサイクル中の３９．６７ミリ秒の間、開き得る。明からな通り、リフレッシュサイクルを増すにつれて、Ｔｃａｍ期間が減少する。例えば、リフレッシュサイクル２５Ｈｚ，６０Ｈｚ及び８５Ｈｚに対応するＴｃａｍ期間は、それぞれ、３８ミリ秒、１４．６７ミリ秒、９．６７ミリ秒となる。

図８は、制御ユニット（図１０に示す）の動作の一例のフローチャートを示す。ステップ４０１において、制御ユニットはディスプレイ装置を表示状態に設定する。上述した通り、表示状態において、ディスプレイ装置２０２はローカルの参加者１０５へ向けて１つの画像フレームを表示できる。ステップ４０２及び４０３において、制御ユニットは２つのタイマーを開始する。１つはリフレッシュサイクルＴｒｅｆに関するタイマーであり、もう１つは表示時間Ｔｄｉｓに関するタイマーである。ディスプレイ装置２０２の時間Ｔｄｉｓが、１つの画像フレームを表示すること、及び、後に続く透過的状態に入ることに使用されることに注意されたい。制御ユニットは、ステップ４０４において、時間Ｔｄｉｓが経過するのを待つ。その後、ステップ４０５において、制御ユニットはディスプレイ装置を透過的状態に設定する。

ステップ４０６において、制御ユニットはシャッター期間を開始する。この時に、制御ユニットは、カメラ２０４に、必要に応じて、シャッターを開けるよう指示する信号を送る。カメラ２０４は、シャッターが開かれているべき時間長を決定できる。上述した通り、カメラ２０４がシャッターを開くかどうか、また、開く場合にはどの位の長さで開いておくかは、例えば撮影フレームレートや露出時間など、種々の要因に依存する。

ステップ４０７において、制御ユニットは次のリフレッシュサイクルが到達するのを待つ。時間Ｔｒｅｆが経過したら、制御ユニットは、カメラ２０４に、シャッターを閉じるよう指示する信号を送る（ステップ４０８）。その後、制御ユニットは、次のリフレッシュサイクルが開始するステップ４０１に戻る。

図４のビデオ会議ユニット２００を再び参照すると、カメラ２０４は、ディスプレイ装置２０２上で遠位端の参加者の顔又は瞳の画像が現れる位置のちょうど後ろに配置される。一実施例において、ビデオ会議ユニット２００は、ディスプレイ装置２０２上で遠位端の参加者の顔又は瞳の画像が現れるおおよその位置を特定する機構を備える。更に、ディスプレイ装置２０２の後ろ側のカメラ２０４の位置は、前記特定されたおおよその位置を追跡するように制御可能な方法で調整される。したがって、ビデオ会議の進行中に遠位端の参加者の顔又は瞳の画像の位置が変化したときに、ディスプレイ装置２０２の後ろ側のカメラ２０４の位置も同じく変化させることができる。

図９Ａは、可動式カメラ機構を備えたビデオ会議ユニット２００の一例を説明する。カメラ２０４は、カメラ２０４の垂直方向の変位を提供できる伸縮自在のアーム６０２に取り付けられる。伸縮自在のアーム６０２自身は、水平方向の変位を提供できるレール６０４に取り付けられる。伸縮自在のアーム６０２の垂直方向及びレール６０４の水平方向の移動は、ギヤやベルトなどに加えて、ＤＣモーター、ステッピングモーターなどのモーターを用いて作動される。カメラ２０４を水平方向及び／又は垂直方向に動かすための制御信号は、カメラ位置コントローラ６１１（図９Ｂ）により供給される。

顔検出モジュール６１０（図９Ｂ）は１つの画像内の顔と瞳の位置を検出できる。例えば、１つやり方として、顔検出モジュール６１０は、受信した遠位端のビデオの各フレーム内から顔を検出するアルゴリズムを使用できる。顔検出アルゴリズムは、１つの入力画像内から顔の位置を特定できる。典型的には、顔検出システムは、例えば顔か顔でないかなどの特徴に関連付けた入力パターンを部類するように（例えばニューラルネットワークなどの機械学習法を用いて）予め学習させた複数の分類子のセットを含む。固定サイズのウィンドウは、１つの画像内の全ての位置を走査でき、顔の存在を調べるための分類子を通過させた画像パターンを抽出できる。同様に、顔検出アルゴリズムは、顔内の瞳を検出するために予め学習させた複数の分類子のセットを用いて、顔内の瞳を検出することもできる。顔及び／又は瞳が認識されたら、顔及び／又は瞳が存在する画像内の領域は、顔を追跡する移動のために監視される。遠位端の参加者の検出された顔及び／又は瞳に関連付けられた画素の位置は特定されて、カメラ位置コントローラ６１１に供給される。

カメラ位置コントローラ６１１は、顔／瞳の位置を、画素位置を表す表現からディスプレイ装置２０２の後ろ側の物理的位置を表す表現に、変換する。変換用の値は、予め較正されて、メモリ内に探索テーブルとして保存される。例えば、ディスプレイスクリーン上の任意の画素位置を、水平及び／又は垂直座標位置に対応付けできる。カメラ位置コントローラ６１１は、画素値毎の前記対応付けをメモリに保存できる。変形例として、カメラ位置コントローラ６１１は、１つの画素値の対応付けだけをメモリに保存しておき、他の画素値の対応付けを、該保存された画素値からのオフセット及びディスプレイ装置２０２の寸法に基づいて算出する。顔検出モジュール６１０及びカメラ位置コントローラ６１１は、ビデオ会議ユニット５０２の一部であり、図１０に示されている。変形例として、カメラ位置コントローラ６１１は、図１０に示す通り、カメラコントローラ５５４内に存在していてもよい。

水平及び垂直変位値が決定されたら、位置コントローラ６１１はカメラ２０４の位置を変更するための水平及び垂直機構を制御する。一例として、ブロック６１２は、典型的な伸縮自在のアーム６０２及びレール６０４を制御するために用いるモーターを示す。

図９Ｃは、カメラ２０４による顔／瞳の追跡する制御のためのフローチャートの一例を示す。ステップ６２０において、カメラ位置コントローラ６１１は、顔検出モジュール６１０から、画像フレーム上に現れた顔／瞳の画素位置を受信する。ステップ６２１において、位置コントローラ６１１は画素値を物理的位置に変換する。そして、カメラ位置コントローラ６１１は、ステップ６２２において、顔／瞳の物理的位置とカメラ２０４の現在の物理的位置を比較する。その後、ステップ６２３において、カメラ位置コントローラは、２つの物理的位置の違いが最小になるように、カメラ２０４を水平及び／又は垂直方向に移動する。当該コントローラは、顔／瞳及びカメラ２０４の物理的位置を、連続的に又は例えば３０秒毎などの所定間隔で追跡できる。

図１０の説明に移り、制御ユニット５０３に接続されたカメラ２０４及びディスプレイ装置２０２のブロック図の一例を説明する。制御ユニット５０３は、ビデオ会議ユニット５０２の一部であるか、又は、独立したモジュールであり、プロセッサ、ビデオモジュール、ネットワークインターフェース等々の、その他のビデオ会議モジュール５０４と通信可能に接続される。制御ユニット５０３は、マイクロコントローラ、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、ソフトウェア、ファームウェアなどを用いて実装される。制御ユニット５０３がＲＡＭ、ＲＯＭ、フラッシュメモリなど、揮発性及び／又は不揮発性のメモリを含んでよいことは理解されよう。

ディスプレイ装置２０２は、コモンドライバ５０６及びセグメントドライバ５０７により駆動される画素マトリックス５０５を含む。画素マトリックス５０５は、ＯＬＥＤ、ＬＣＤ、ＬＥＤなど種々の表示技術を適用できる。ドライバ５０６及び５０７は、画素マトリックス５０５の技術に基づいて変わる。コモンドライバ５０６は、画素マトリックス５０５上の複数列のいずれをアクティブ化することにも使用でき、他方、セグメントドライバ５０７は、画素マトリックス５０５上の複数行のいずれをアクティブ化することにも使用できる。コモンドライバ５０６及びセグメントドライバ５０７からのアクティブ化信号を組み合わせることで、画素マトリックス５０５上の任意の画素がアクティブ化される。ドライバ５０６及び５０７は、また、画素マトリックス５０５内の各画素による発光の色と強さも制御できる。ディスプレイコントローラ５０８は、コモンドライバとセグメントドライバ５０７に対して、画素位置及び点灯データを含む信号を供給する。ディスプレイコントローラ５０８は、画素アドレス及び点灯データをディスプレイＲＡＭ５０９から受信でき、このディスプレイＲＡＭ５０９はエンドポイント５０２からデータを順次受信できる。

ディスプレイコントローラ５０８は、また、表示状態タイミングを含む複数の信号を制御ユニット５０３から受信できる。例えば、ディスプレイコントローラは、ディスプレイ装置を表示状態にするよう当該ディスプレイコントローラ５０８に指示する１つの信号を、制御ユニット５０３から受信できる。上述した通り、この状態において、ディスプレイ装置２０２は１つの画像を表示できる。ディスプレイコントローラ５０８は、ディスプレイ装置を透過的状態にするよう当該ディスプレイコントローラ５０８に指示する別の信号を、制御ユニット５０３から受信できる。この信号を受信すると、ディスプレイコントローラ５０８は、画素マトリックス５０５内の全て又は幾つかの画素を非点灯にするか又はリセットするように、コモンドライバ５０６及びセグメントドライバ５０７を制御する。ディスプレイ装置２０２を透過的状態にする実際の方法は、使用されたディスプレイ技術に基づいて変わる。例えば、ＯＬＥＤ画素の場合、ディスプレイコントローラ５０８は、コモンドライバ５０６の１以上の電流源を無効にする。ＯＬＥＤ画素は電流駆動されているので、電流を無効にすることで、対応する画素の点灯を停止させることができる。ディスプレイコントローラ５０８は、また、制御ユニット５０３からクロック同期信号を受信できる。

カメラ２０４はローカルの参加者の画像を撮影するためのＣＣＤセンサ５５０を含む。カメラコントローラ５５４は、シャッター開／閉信号を含む複数の信号を受信するために、制御ユニット５０３と通信する。カメラ２０４は、機械式シャッター５５５又はＣＣＤ５５０内の電子式シャッターを使うことができる。カメラコントローラ５５４は、サンプルホールドモジュール５５１、ＡＤ変換器５５２、エンコーダ５５３等、カメラ以外のモジュールも制御できる。当業者は、カメラ２０４が、図示のデジタルカメラに代えて、フィルムカメラであってもよいことを理解するだろう。

上述した詳細な説明は実施例であり、制限するものではない。当業者であれば、以上の説明を再検討したときに、多数の他の実施形態が明らかであろう。本発明の範囲は、したがって、上述した詳細な説明を参照して決定されるのではなく、添付の特許請求の範囲及びそれら等価物の全範囲を参照して決定されるべきである。

１０１ ビデオ会議ユニット、１０２ ディスプレイスクリーン、１０３ 画像、１０４ カメラ、１０５ 参加者、１０６ カメラ支持具、１０７ 半透鏡、２００ ビデオ会議ユニット、２０２ ディスプレイ装置、２０４ カメラ、２０５ 参加者、２１０ エンクロージャ、３００ タイミング図、５０２ ビデオ会議ユニット、５０２ エンドポイント、５０３ 制御ユニット、５０４ ビデオ会議モジュール、５０５ 画素マトリックス、５０６ コモンドライバ、５０７ セグメントドライバ、５０８ ディスプレイコントローラ、５０９ ディスプレイＲＡＭ、５５０ センサ、５５１ サンプルホールドモジュール、５５２ ＡＤ変換器、５５３ エンコーダ、５５４ カメラコントローラ、５５５ 機械式シャッター、６０２ アーム、６０４ レール、６１０ 顔検出モジュール（顔／瞳検出モジュール）、６１１ カメラ位置コントローラ、６１２ 水平方向及び垂直方向モーター

Claims (21)

1. 実質的に透過的なディスプレイ装置と、
   前記ディスプレイ装置上で遠位端の参加者の瞳の画像が表示される位置の実質的に後ろ側に配置されるカメラと、
   前記ディスプレイ装置及び前記カメラに通信可能に接続された制御ユニットであって、非表示状態になるように該ディスプレイ装置を制御し、且つ、該ディスプレイ装置が非表示状態のときにのみ画像を撮影するように該カメラを制御する制御ユニット
   を具備することを特徴とする卓上型のビデオ会議エンドポイント。
2. 前記制御ユニットは、表示状態になるように前記ディスプレイ装置を制御し、且つ、該ディスプレイ装置が少なくとも表示状態のときに画像の撮影を止めるように前記カメラを制御することを特徴とする請求項１に記載のビデオ会議エンドポイント。
3. 前記ディスプレイ装置は前記表示状態及び前記非表示状態を交互に繰り返すことを特徴とする請求項２に記載のビデオ会議エンドポイント。
4. 前記非表示状態のときは、前記ディスプレイ装置の全ての画素が非アクティブ化されることを特徴とする請求項１に記載のビデオ会議エンドポイント。
5. 前記カメラの前面に位置する複数の画素の部分集合が非アクティブ化されることを特徴とする請求項１に記載のビデオ会議エンドポイント。
6. 前記カメラは、前記ディスプレイ装置の前記交互に起こる非表示状態の部分集合において、画像の撮影を止めることを特徴とする請求項３に記載のビデオ会議エンドポイント。
7. 前記カメラが、複数の非表示状態にわたり画像フレームを撮影することを特徴とする請求項３に記載のビデオ会議エンドポイント。
8. 前記ディスプレイ装置は、表示されるビデオのフレームレートと等しいレートで交互に繰り返すことを特徴とする請求項３に記載のビデオ会議エンドポイント。
9. 前記カメラは、当該カメラと前記遠位端の参加者の瞳の画像が表示される位置との間の角度が５度より小さくなるように配置されることを特徴とする請求項３に記載のビデオ会議エンドポイント。
10. 前記ディスプレイ装置が有機発光ダイオードを備えることを特徴とする請求項１に記載のビデオ会議エンドポイント。
11. 前記ディスプレイ装置上において前記遠位端の参加者の瞳の画像が表示される位置の後ろ側に前記カメラを自動的に位置させるカメラ位置決め機構を更に備えることを特徴とする請求項１に記載のビデオ会議エンドポイント。
12. 前記カメラを収容するエンクロージャであって、環境光が該カメラに当たることを実質的に防ぐ前記エンクロージャを更に備えることを特徴とする請求項１に記載のビデオ会議エンドポイント。
13. 実質的に透過的なディスプレイ装置と、前記ディスプレイ装置の後ろ側に配置されるカメラとを具備する卓上型のビデオ会議エンドポイントを使用するビデオ会議方法であって、
    前記ディスプレイ装置が表示状態及び非表示状態を交互に繰り返すことと、
    前記ディスプレイ装置が前記非表示状態のときにのみ、前記カメラにより画像を撮影することを含むビデオ会議方法において、
    前記カメラが前記ディスプレイ装置上で遠位端の参加者の瞳の画像が表示される位置の実質的に後ろ側に配置されることを特徴するビデオ会議方法。
14. 前記非表示状態のときは前記ディスプレイ装置の全ての画素を非アクティブ化することを更に含むことを特徴とする請求項１３に記載のビデオ会議方法。
15. 前記カメラの前面に位置する複数の画素の部分集合を非アクティブ化することを更に含むことを特徴とする請求項１３に記載のビデオ会議方法。
16. 前記撮影は、前記交互に起こる非表示状態の部分集合において実行されることを特徴とする請求項１３に記載のビデオ会議方法。
17. 前記画像の撮影は、複数の非表示状態にわたり画像フレームを撮影することを含むことを特徴とする請求項１３に記載のビデオ会議方法。
18. 前記交互に繰り返すことは、表示されるビデオのフレームレートと等しいレートで実行されることを特徴とする請求項１３に記載のビデオ会議方法。
19. 前記カメラが、当該カメラと前記遠位端の参加者の瞳の画像が表示される位置との間の角度が５度より小さくなるように配置されることを特徴とする請求項１３に記載のビデオ会議方法。
20. 前記ディスプレイ装置上で前記遠位端の参加者の瞳の画像が表示される位置の後ろ側に前記カメラを自動的に位置させることを更に含むことを特徴とする請求項１３に記載のビデオ会議方法。
21. 前記ディスプレイ装置上で前記遠位端の参加者の瞳の画像が表示される位置の変化を検出すること、及び、該位置の変化に比例する前記カメラの位置の変更を行うことを更に含むことを特徴とする請求項２０に記載のビデオ会議方法。

Images