JP2003506927A - ビデオ会議の参加者がカメラに焦点を合わせた状態で相手方ユーザの前に出現できるようにする方法と装置 - Google Patents

ビデオ会議の参加者がカメラに焦点を合わせた状態で相手方ユーザの前に出現できるようにする方法と装置

Info

Publication number
JP2003506927A
JP2003506927A JP2001513888A JP2001513888A JP2003506927A JP 2003506927 A JP2003506927 A JP 2003506927A JP 2001513888 A JP2001513888 A JP 2001513888A JP 2001513888 A JP2001513888 A JP 2001513888A JP 2003506927 A JP2003506927 A JP 2003506927A
Authority
JP
Japan
Prior art keywords
video
camera
participants
display screen
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001513888A
Other languages
English (en)
Inventor
フオン，テイモシー・ロ
アクナー，リユーベン
Original Assignee
エイサー インコーポレイテツド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エイサー インコーポレイテツド filed Critical エイサー インコーポレイテツド
Publication of JP2003506927A publication Critical patent/JP2003506927A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 ビデオ会議での視線外れを回避するためのシステムは、参加者の画像を取り込むために会議ステーションにおけるモニタスクリーンの外側の複数のカメラ２０３ａ〜２０３ｄと、カメラ２０３ａ〜２０３ｄからのビデオ・ストリームを利用できるようにするプロセッサシステム３０１と、作成されたストリームがあたかもモニタスクリーン内に設置された仮想ビデオカメラによって取り込まれたものであるかのように、参加者を表すストリームを作成するためのフィールドグラフを含めたソフトウェア３０２とを使用する。ある実施形態では、プロセッサ３０１は仮想カメラをアクティブウインドウ内に位置させるためにアクティブウインドウに関するデータを考慮にいれる。別の実施形態では、指向性の入力を有する音声システムと共に移動カメラが使用され、プロセッサは目下アクティブな参加者にカメラを向けるためにこれを利用できる。

Description

【発明の詳細な説明】
【０００１】 発明の分野 本発明はビデオ会議および関連するディジタルネットワークアプリケーション
の分野のものであり、特にビデオ会議の参加者のカメラ装置に対する明確な位置
を定める方法と装置に関する。
【０００２】 発明の背景 よく知られているインターネットネットワークのような広域通信網（ＷＡＮ）
を介した通信は、例えば遠隔会議で使用される様々な技術が改良されたことで一
層実用的で有用になってきている。例えば、この数年来、ビデオ遠隔会議は著し
く進歩してきた。ビデオカメラ、装置、およびビデオ会議のソフトウェアの改良
によってビデオの動きがより明瞭かつスムーズに流れ、音声がより明瞭になり、
画像がより鮮鋭になることが可能になった。多くの場合、ビデオコーデック方式
、データ圧縮技術、および帯域幅割当て方式の改良が画質の向上に大きな役割を
果たしてきた。しかし、カメラおよびその類似物を含むハードウェアの改良も画
質の向上に寄与してきた。
【０００３】 標準的なビデオ会議のセッションでは、ＰＣ、ビデオカメラのようなネットワ
ーク対応機器、および適宜のソフトウェアを所有する二人、またはそれ以上のユ
ーザは、各ユーザが所定のセッションに参加する他の全てのユーザのビデオ／音
声表示と対話できるように、ネットワークを介して互いに接続される。このよう
なユーザは標準的には参加者それぞれのディスプレイモニタ上に現れるフレーム
ビューウインドウに表示される。このようなモニタはＣＲＴモニタ、フラットパ
ネルディスプレイ、またはその他の適合する視聴者インターフェースでよい。
【０００４】 最も基本的な用途では、ユーザはチャネルが開かれている別の一人のユーザだ
けを視聴できる。第三者と会議するには、第２のチャネルを開き、第１のチャネ
ルを保留にして置かなければならない。高度なアプリケーションでは、一度のセ
ッションで何人かのユーザが参加できるものもある。ソフトウェアおよび適宜の
ハードウェアによって可能にできれば、何人かのユーザのいずれか一人がセッシ
ョン中にディスプレイ上の別個のフレームフインドゥで他の全ての参加者を同時
に視認できる。可能な参加者数の限度すなわちキャパシティが一般にいずれか１
つの活動中のセッションに課せられる。この数はセッションで使用されるネット
ワーク機器に保持されているソフトウェアとハードウェアの組合せの複雑さのレ
ベルによって左右される。
【０００５】 従来技術のビデオ会議システムの問題点は、一般に１ヶ所に１台のカメラしか
設置されず、そのカメラしか参加する各ユーザに向けられないことにある。した
がって、相手方がユーザのアップの顔を見るには、ユーザはカメラを覗き込まな
ければならない。ユーザの視線がカメラから離れると、ユーザと会議している相
手方はやや気まずい気分を味わうことがある。このような気まずい気分は視線を
逸らした誰かと話している状態と関係がある。言い換えると、ユーザはスクリー
ン上で戸惑ったように、または視線外れに見えるのである。この問題点はテレビ
ジョン産業では通常は人に実際に動作中であり録画しているカメラだけを見るよ
うに促すことによって解消される。彼または彼女がそれを出来ず、１台のカメラ
が別のカメラを見つめる人を捉えた場合に彼らの提示内容またはメッセージの効
果が低下しうることは一般に了解されている。
【０００６】 この問題点は幾分かは人間の本能的な不快さに関するものであり、ビデオ会議
システムの参加者によって理性的に考えて排することができるものであるが、そ
れにも関わらず、（よそ見をせずに）焦点が合い関わった状態で全ての参加者が
登場するビデオ会議システムを提供することによって上記の問題点を修正するた
めの改良を行うことが望まれる。
【０００７】 視線外れ作用の原因は、ユーザが話し中に直接カメラを見ずに、話し中の相手
（単数または複数）を見ようとすることに因るものである。ユーザがそうするの
は、視線をカメラから、相手方の一人の表示を含むディスプレイ上のフレームウ
インドウへと移すことによる。相手方の表示を含むウインドウが１つ以上あれば
、ユーザは相手方と話し中に視線を一方のウインドウから他方のウインドウへと
切換えればよく、カメラを全く見なくてよい。その結果として生じる視線外れは
、ユーザのメッセージの重要さに微妙な影響を及ぼすことがある。
【０００８】 幾つかの企業は、カメラをユーザのモニタまたはディスプレイスクリーンに組
み入れることによって上記の問題点を軽減することを試みてきた。例えばモニタ
の中心にカメラを設置すれば、カメラからいずれかのフレームウインドウまでの
横方向の距離を短縮できる。これは視線外れ作用を軽減できるが、これを除去す
ることはできない。その上、モニタが極めて大型で、対応するウインドウがこの
ようなモニタの周辺にある場合は、視線外れ作用は依然として極めて顕著になる
ことがある。
【０００９】 視線外れ作用を最小限にする別の試みは、カメラがスクリーンへと反射される
、投影型スクリーンに極めて類似した特殊なスクリーンを提供する企業によって
提案されてきた。コンポーネントを小型に抑え、密閉する必要があるこの種類の
システムの欠点は感光性である。さらに、スクリーンは標準型のＰＣモニタより
著しい大型である。したがって、相手方のウインドウがスクリーンの周囲にある
場合は依然として視線外れ作用が発生する。
【００１０】 別の開発者は２台のカメラとステレオソフトウェアを使用して仮想のカメラを
ディスプレイモニタスクリーン内に位置させることを試みてきた。米国特許第５
，８８６，７３５はこのようなシステムに関して交付され、本件特許出願に関連
して提出されたＩＤＳに記載されている。このような開発によってもなお依然と
して幾つかの問題点がある。
【００１１】 明確に必要であるのは、ビデオ会議スクリーンのどこに設置してもよい仮想カ
メラ効果を生成する方法と装置である。ユーザが実際のカメラを見ていない場合
にスクリーンへのユーザの視角を追跡するようにこのような仮想カメラを向ける
ことができることによって、ユーザを表示する顔のアップ画像ストリームを作成
し、これを視線外れを示す角度のショットの代わりに相手側に送信できるように
するものである。
【００１２】 発明の概要 本発明の好適な実施形態では、リモート参加者の画像を表示するためのディス
プレイスクリーンを有するディスプレイモニタと、ディスプレイモニタスクリー
ンの前にいる一人または複数のローカル参加者の画像を取り込むための、ディス
プレイモニタの外側にある２台以上のビデオカメラと、ビデオ会議に関連するビ
デオストリームを受信し、該ビデオストリームからの画像を表示し、ビデオスト
リームをリモート参加者に送信し、かつ、２台以上のビデオカメラによって取り
込まれた画像を処理するための、ディスプレイモニタとビデオカメラの双方に結
合されたコンピュータ処理システムとを備えたビデオ会議ステーションが提供さ
れる。この処理システムはフィールドグラフを含むソフトウェアを実行し、かつ
２台またはそれ以上のビデオカメラによって与えられる取り込まれた画像を利用
することによって、あたかもストリームがディスプレイスクリーンのエリア内に
配置された仮想ビデオカメラによって取り込まれたかのように、ローカル参加者
の画像を供給する単一のビデオストリームを生成し、かつ送信する。
【００１３】 一実施形態では、処理システムはディスプレイスクリーンの中心に、またはそ
の近傍に仮想ビデオカメラを位置させる。他の実施形態では、処理システムはデ
ィスプレイスクリーン内のアクティブウインドウに関する入力を利用して、アク
ティブウインドウと対応する位置に仮想ビデオカメラを位置させる。
【００１４】 別の実施形態では、ビデオ会議ステーションはビデオカメラの個々の１つと連
動するロボットオペレータと、モニタスクリーンの前のローカル参加者のための
２つ以上のカメラ位置と、参加者のための指向性機能を有する音声入力システム
とをさらに備え、処理システムはロボットオペレータが音声入力システムからの
指向性入力に従って、ローカル参加者の個々の一人にビデオカメラの個々の１つ
を向けるようにさせる。指向性機能は、各々のローカル参加者を必然的に必要と
し、個別のマイクロフォンを有し各個のマイクロフォンがローカル参加者用のデ
ィスプレイスクリーンの前の位置に関連するか、ステレオマイクロフォンを有し
、処理システムがステレオマイクロフォンからの入力に基づいてディスプレイス
クリーンの前のローカル参加者の位置を判定可能である。
【００１５】 本発明の別の側面では、２つ以上のビデオ会議ステーションと、２つ以上のス
テーションの間のビデオ対応リンクとを備え、１つ、または複数のステーション
は、リモート会議参加者の画像を表示するためのディスプレイスクリーンを有す
るディスプレイモニタと、ディスプレイモニタスクリーンの前にいる一人または
複数のローカル参加者の画像を取り込むための、ディスプレイモニタの外側の２
台以上のビデオカメラと、ビデオ会議に関連するビデオストリームを受信し、か
つ該ビデオストリームからの画像を表示し、リモート参加者にビデオストリーム
を送信し、かつ２台以上のビデオカメラによって取り込まれた画像を処理するた
めの、ディスプレイモニタとビデオカメラの双方と結合されたコンピュータ処理
システムとを備えたことを特徴とすると共に、該処理システムは、フィールドグ
ラフを含むソフトウェアを実行し、かつ２台またはそれ以上のビデオカメラによ
って与えられる取り込まれた画像を利用することによって、あたかもストリーム
がディスプレイスクリーンのエリア内に配置された仮想ビデオカメラによって取
り込まれたかのように、ローカル参加者の画像を供給する単一のビデオストリー
ムを生成し、かつ送信するビデオ会議システムが提供される。
【００１６】 ある実施形態では、処理システムは仮想ビデオカメラをディスプレイスクリー
ンに、またはその近傍に位置させる。別の実施形態では、処理システムはディス
プレイスクリーン内のアクティブウインドウに関する入力を利用して、アクティ
ブウインドウと対応する位置に仮想ビデオカメラを位置させる。別の実施形態で
は、ビデオカメラの個々の１つと連動するロボットオペレータと、モニタスクリ
ーンの前のローカル参加者のための２つ以上のカメラ位置と、参加者のための指
向性機能を有する音声入力システムとをさらに備え、処理システムはロボットオ
ペレータが音声入力システムからの指向性入力に従って、ローカル参加者の個々
の一人にビデオカメラの個々の１つを向けるようにさせる。指向性機能は場合に
よっては個別のマイクロフォンを有する各々のローカル参加者によって成り立ち
、個別のマイクロフォンの各々はローカル参加者のためのディスプレイスクリー
ンの前の位置と対応する。別の実施形態では、指向性機能はステレオマイクロフ
ォンによって成り立つと共に、処理システムによって、ステレオマイクロフォン
からの入力に基づいてディスプレイスクリーンの前のローカル参加者の位置を判
定可能である。
【００１７】 本発明の別の態様では、（ａ）ディスプレイスクリーンの外側に設置された２
台以上のビデオカメラによって会議参加者の画像を取り込むステップと、（ｂ）
ビデオストリームを２台以上のビデオカメラからプロセッサに伝送するステップ
と、（ｃ）２つ以上のストリームおよび記憶された変数および定数から単一のビ
デオストリームを生成し、フィールドグラフアルゴリズムを使用して、あたかも
モニタスクリーン内に設置された仮想カメラによって取り込まれたかのように会
議参加者を提示する単一のビデオストリームを生成するステップと、を含むビデ
オ会議システムにおける視線外れを修正する方法が提供される。
【００１８】 一実施形態では、プロセッサは仮想カメラをモニタスクリーンまたはその近傍
に位置させる。別の実施形態では、処理システムはディスプレイスクリーン内の
アクティブウインドウに関する入力を利用して、アクティブウインドウと対応す
る位置に仮想ビデオカメラを位置させる。ビデオカメラの個々の１つと連動する
ロボットオペレータを操作して、指向性機能を有する音声入力システムからの入
力を利用することによってモニタスクリーンの前にいる個々の参加者に焦点を合
わせるステップをさらに含んでいてもよい。指向性機能は個別のマイクロフォン
を有する各々のローカル参加者によって成り立ち、個別のマイクロフォンの各々
はローカル参加者のためのディスプレイスクリーンの前の位置と対応する。指向
性機能はステレオマイクロフォンによって成り立つと共に、処理システムによっ
て、ステレオマイクロフォンからの入力に基づいてディスプレイスクリーンの前
のローカル参加者の位置を判定可能である。
【００１９】 以下に可能な限り詳細に説明する本発明の様々な実施形態では、初めてビデオ
会議システムにおいて、仮想カメラをスクリーンエリア内に設置し、かつ参加者
が視線方向を動かすことがあればそれに応じて仮想カメラの位置を修正すること
が可能になる。
【００２０】 発明の実施の形態 図１は従来技術による活動中のセッションに従事中のビデオ会議システム１０
０を示すブロック図である。システム１００はＣＲＴモニタ、フラットパネルデ
ィスプレイ、またはビデオ会議用に適応されたその他のいずれかの標準的なディ
スプレイモニタでよいディスプレイモニタ１０３を有している。この従来技術の
実施例では、モニタ１０３は、一般的にパーソナルコンピュータと連結されるよ
うなＣＲＴモニタである。しかし、モニタ１０３はその他にビデオフォン、ＷＥ
Ｂ ＴＶ、またはネットワークビデオ会議に対応可能なその他のいずれかの知ら
れている機器でもよい。
【００２１】 カメラ１０１はほとんどの従来技術のビデオ会議でみられるような一般的な外
部搭載式で備えられる。カメラ１０１はこの実施例ではモニタ１０３の中央上部
に取り付けられるものとして示されている。より最近の従来技術のある種の実装
では、カメラ１０１をスクリーン１０３内部の一体型のユニットとして備えてい
るものでもよい。
【００２２】 ビデオ会議セッション中に、スクリーン１０３上には１つ、または複数のコン
テンツウインドウが出現する。このセッションではコンテンツウインドウ１０５
ａ〜１０５ｃがスクリーン１０３に出現するものとして示され、目下のビデオ会
議セッションに対応する。例えば、ウインドウ１０５ａ〜１０５ｃのうちの少な
くとも１つに相手方（セッション参加者）のビデオ／音声表示が含まれる。他の
ウインドウは、（２人以上が参加している場合は）参加している他の相手方、ス
クリプトまたはテキストのダイアログボックス、または特定のビデオ会議セッシ
ョンに関連するその他の情報表示を含んでいてもよい。
【００２３】 スクリーン１０３上で会議するユーザの顔のアップ画像を得るためには、その
ユーザがカメラ１０１を直接見つめることが必要であることが分かる。仮にある
ユーザがそうせずにウインドウ１０５ａ〜１０５ｃのうちの１つのコンテンツを
見ると、遠隔地からそのセッションに参加している他のいずれかのユーザはアッ
プの顔の表示ではない状態で最初の参加者を見ることになる。この逸脱によって
発明の背景の議論で説明した視線外れ作用が生ずる。
【００２４】 カメラ１０１をスクリーン１０３と一体化して、たいていは中央部であるスク
リーン１０３内の固定位置に保持されるようにすれば、視線外れ作用を軽減はで
きるが、どんな場合でも除去してしまうことはできない。
【００２５】 発明者は、スクリーン１０３内のどこからでも撮影するようにされた仮想カメ
ラを作成し、かつ必要に応じて仮想カメラ位置を調整できるようなマルチカメラ
およびソフトウェアアプリケーションを提供することによって、従来技術の実施
例で示したこの課題を解決するものである。以下に本発明の方法と装置をさらに
説明する。
【００２６】 図２は本発明の実施形態による活動中のセッションに従事中のビデオ会議シス
テム２００を示すブロック図である。モニタ２０２はこの実施形態では、本発明
を実施するように構成された、図１のモニタ１０３に関して説明したものと同様
の例えばパーソナルコンピュータで一般的なＣＲＴモニタである。しかし、モニ
タ２０２はビデオフォンまたは多分ＷＥＢ ＴＶスクリーンのようなビデオ会議
用に適応されたネットワーク機器で一般的などの種類のディスプレイでもよい。
【００２７】 従来技術のシステム１００（図１）のカメラ１０１のような単一のカメラを使
用するのではなく、発明者はスクリーン２０２の周囲に実装される複数個のカメ
ラ２０１ａ〜２０１ｄを備える。カメラ２０１ａ〜２０１ｄは、本発明の趣旨と
範囲から離れることなく、この実施例に示した位置以外の位置に取り付けてもよ
い。さらに、少なくとも２台のカメラがあれば、カメラ２０３ａ〜２０３ｄの台
数はここに図示した４台よりも少なくても多くてもよい。本発明の実施形態にお
ける仮想設置の場合は、より多くのカメラを備えることが有利であろう。一実施
形態では、おそらくは対向して取り付けられる２０１ｄおよび２０１ｂの２台の
カメラだけでもよい。より好適な実施形態では、おらくはカメラ２０１ａ、２０
１ｂ、および２０１ｄのような少なくとも３台のカメラが備えられる。３台以上
のカメラ２０１が好適である理由は、後に詳述するようにシステム２００により
多くの入力データを供給できることによるものである。
【００２８】 カメラ２０１ａ〜２０１ｄの特定の取り付けパターンは、スクリーン２０２の
ほぼ周囲に配分されていれば、本発明の実施にとって特に重要ではない。各カメ
ラ２０１ａ〜２０１ｄは、視野方向での録画（ｌｉｎｅ−ｏｆ−ｓｉｇｈｔ ｒ
ｅｃｏｒｄｉｎｇ）に際して複数のカメラアングルがあるよう、各取り付け位置
からユーザに焦点を合わせるようにされている。
【００２９】 スクリーン２０２には３つのビデオ表示ウインドウ２０３ａ〜２０３ｃが提示
されることが図示されている。ウインドウ２０３ａ〜２０３ｃは従来技術のシス
テム１００（図１）のウインドウ１０５ａ〜１０５ｃと同類のものである。例え
ば、３つのウインドウ２０３ａ〜２０３ｄの全てが、本発明を実施し、会議中に
ユーザオペレーティングシステム２００によって会議に関与する相手方の画像を
表示してもよい。一実施形態では、ウインドウ２０１ａは相手方の画像を表示し
、一方ウインドウ２０３ｂはスクリプトを含み、またはウインドウ２０３ｃはチ
ャットまたはメッセージ送信システムのような別の種類のテキストダイアログを
含む。多くの可能性がある。
【００３０】 本発明の具体的な目的はカメラ２０１ａ〜２０１ｄからの特定の画像データを
結合することによって、モニタのスクリーンエリアに仮想カメラ位置を作成でき
るようにすることである。このような仮想カメラは実際のカメラではなく、カメ
ラ２０１ａ〜２０１ｄからのリアルタイムのカメラ画像入力を結合することによ
って見いだされる一連のデータ結果から生ずるユーザの再現画像である。入力情
報、および目下セッションで使用中であるウインドウ２０３ａ〜２０３ｃの座標
位置のような可変情報、およびこれに類する情報からなるその他のデータも仮想
カメラのための計算シーケンスに組込まれる。
【００３１】 本発明の実施に際して、システム２００を使用してセッションに関与するユー
ザがウインドウ２０３ｂを見ればよく、これは本発明の目的に合わせて、セッシ
ョンにおいて目下アクティブウインドウであるものとみなされる。前述したよう
に、ウインドウ２０３ｂは相手方画像のウインドウでもよく、または例えばスク
リプトまたはテキストの表示用ウインドウでもよい。ユーザがウインドウ２０３
ｂを直接見ている間は、ユーザはカメラ２０１ａ〜２０１ｄのどれをも見ていな
い。しかし、カメラ２０３ａ〜２０３ｄは、そのユーザに向けられ、スクリーン
２０２の周囲のカメラの取り付け位置のそれぞれのアングルとパースペクティブ
から、そのユーザの別個のかつ完全な画像シーケンスを記録している。各々のカ
メラ２０３ａ〜２０３ｄの分かっている撮影アングルと共に、各カメラの正面か
らユーザの顔までの正確な距離も分かる。
【００３２】 ユーザがウインドウ２０３ｂを見ている間、カメラ２０１ａ〜２０１ｄは録画
しており、取り込み、分析のために、別個のストリームを処理装置（図２には図
示せず）に送り、ユーザの仮想画像シーケンスを生成するのに必要な結合され、
計算されたデータだけを使用している。生成された画像シーケンスは、ユーザの
視線の受け止めポイントこの場合はウインドウ２０３ｂのほぼ中心点に１台のカ
メラがあたかも設置されており、アップの顔のシーケンスを録画中のカメラが録
画しているかのように他の相手方に表示される。
【００３３】 この実施形態では、仮想カメラの位置はアクティブウインドウのほぼ中心に調
整されることに留意されたい。別のウインドウが使用状態になると、そのウイン
ドウの座標が判明し、仮想カメラの位置を新たに活動状態になったウインドウへ
と移動することができる。ユーザが目下アクティブであるいずれかのウインドウ
を見る確率が高いこと、およびユーザが意図的にウインドウを使用状態にすると
、ユーザは新たに使用状態にされたウインドウを直接見る確率が高いという事実
が利用される。
【００３４】 このようにして、仮想カメラ効果が作りだされ、その結果として生じた他の相
手方に伝送されるビデオストリームによって、視線がスクリーン２０２の１つの
エリアから他のエリアに移動した場合でも、相手方にはあたかも移動カメラが常
にユーザに対面しているかのように見える。その結果、システム２００によって
従来技術のほとんどに認められる視線外れ作用が除去される。このような仮想カ
メラを生成するための別個のデータ入力の結合と計算に関する詳細については後
述する。
【００３５】 図３は本発明の実施形態による、活動中のセッションに従事し、ソフトウェア
３０２で強化されたビデオコーデック処理ユニット３０１と対話するビデオ会議
システム２００を示すブロック図である。システム２００はビデオコーデック処
理のためのシステムである処理ユニット３０１を使用している。処理ユニット３
０１はディジタルビデオデータを処理しバッファリングするためのソフトウェア
を使用できるいずれかの適合された処理ハードウェアでもよい。
【００３６】 プロセッサ３０１はコンピュータプロセッサシステム、強化されたビデオフォ
ンユニット、または本発明によってビデオ／音声ストリームを処理するための適
宜な処理能力を有するその他のいずれかの接続されたプロセッサでよい。この実
施形態では、プロセッサ３０１はＷｉｎｄｏｗｓ（登録商標）９８のように動作
し、かつビデオ／音声処理に必要な、知られている全てのコンポーネントを含む
コンピュータプロセッサシステムである。このようなコンポーネントにはビデオ
取り込み機器、ビデオ機器駆動装置、十分な容量のランダムアクセスメモリ（Ｒ
ＡＭ）、サウンド／ビデオカードなどが含まれるが、これらに限定されるもので
はない。
【００３７】 処理ユニット３０１は、カメラ２０１ａ〜２０１ｄから発し、ユニット３０１
へと進む纏められた矢印線３０５で示すように、カメラ２０３ａ〜２０３ｄの各
々から別個のビデオデータストリームを受信する。部品番号３０３で示される双
方向性のネットワーク回線が備えられ、この分野では知られているように、シス
テム２００のための通信ネットワーク接続を促進するようにされている。この実
施形態では、接続回線３０３はインターネット回線であるものと想定されており
、これはＩＳＰを介した有線回線でもよく、または固定式、または移動式の無線
回線でもよい。一実施形態では、接続回線３０３は広域通信網（ＷＡＮ）、また
はインターネット回線に更に接続されている構内情報通信網（ＬＡＮ）でもよい
。
【００３８】 一般に、回線３０３は通信ネットワーク上で動作し本発明を実施するノード間
で接続できるなんらかの双方向生通信リンクを示す。ビデオ出力チャネル３０７
が備えられ、接続回線３０７の矢印で示す方向で示されるようにスクリーン２０
２に表示するためにユニット３０１からの入りビデオデータを搬送するようにさ
れている。接続回線３０７は従来のものであり、ほとんどコンピュータハードウ
ェアのアーキテクチャによって定められる。ビデオフォンの接続回線のような別
の実施形態では、システム２００を構成する前述のすべてのコンポーネントを１
つの物理的ユニットに格納してもよい。
【００３９】 システム２００に備えられ、接続ネットワークを介してビデオ／音声を送受信
する目的に適応された通常のビデオ処理コンポーネントに加えて、発明者は処理
ユニット３０１に備えられる通常のビデオ／音声処理ソフトウェアと一体化でき
る強化されたフィールドグラフソフトウェアアプリケーション（ＳＷ）３０２を
備える。
【００４０】 ＳＷ３０２は、その他の知られているデータ入力を含め回線３０５を介してカ
メラ２０１ａ〜２０１ｄから受信したデータを結合し、かつ上記の仮想画像スト
リームを生成する仮想データを得るよう計算を行うために必要なルーチンを含ん
でいる。ユニット３０１で処理されると、その結果として生ずる画像ストリーム
は接続回線３０３を経て、また適宜のネットワークを介して伝送される。
【００４１】 フィールドグラフはホログラフ結像の分野でよく知られている。これらは仮想
三次元空間におけるオブジェクトの特定のビューを計算するために使用される。
フィールドグラフの使用は一般にホログラフ録画をベースにしており、場合によ
ってはステレオカメラの使用をベースにしている。一般的には、フィールドグラ
フは画像に関連する干渉パターンを算出するために使用される。算出された干渉
パターンは特定の視点からのホログラフ画像を表出する。
【００４２】 この実施形態では、ＳＷ３０２は従来技術では知られていない強化されたフィ
ードグラフのアプリケーションである。フィードグラフアプリケーションの従来
技術の用例と、本発明のフィールドグラフＳＷ３０２との唯一の相違点は、カメ
ラ２０１ａ〜２０１ｄのような複数の実際のカメラによって供給されるデータか
ら生成される仮想カメラの所望の仮想の位置および方向をベースにして仮想画像
が算出されることである。Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（登録商標）ＩＩおよび
ＡＭＤ Ｋ６（登録商標）のような新型のＣＰＵはこのようなフィールドグラフ
計算を補助するために組み込まれた１組のアクセレータ機能を備えている。
【００４３】 本発明の基本的な実施に際しては、システム２００を動作させるユーザは会議
の発呼で少なくとも一人の別の遠隔地ユーザと関わる。ウインドウ２０３ａ〜２
０３ｃのようなコンテンツウインドウがセッション中にスクリーン２０２に出現
すると、ユーザは任意の期間だけいずれか１つのウインドウを直接見ようとする
傾向がある。３つのウインドウ２０２ａ〜２０２ｃの全てが、関係する相手方を
表示する受信済みのビデオストリームを含んでいる場合は、ユーザはアクティブ
な、または目下のトランザクションに関わるどのウインドウをも見ようとする傾
向がある。
【００４４】 ここでユーザオペレーティングシステム２００がウインドウ２０３ａに表出さ
れた相手方と対話しているものと想定すると、対話中にユーザがウインドウ２０
３ａを見る確率が高い。対話にはウインドウ２０３ａに表示された相手方と話す
こと、または相手方の話を聞くことが含まれる。コンピュータにはウインドウ２
０３ａがアクティブウインドウであることが分かる。シーケンスを表すこの期間
中に、カメラ２０１ａ〜２０１ｄは対話中のユーザの個々のビデオストリームを
録画する。各ストリームは各カメラ２０１ａ〜２０１ｄからそれぞれの接続回線
３０５を介して処理のためにユニット３０１に進む。
【００４５】 この実施例では、ウインドウ２０３ａのスクリーン２０２上の座標位置は判明
している。実施例によっては、ユーザがウインドウ２０３ａをクリックすること
によってそのウインドウがアクティブなものと判定されるものもある。次に、ウ
インドウ２０３ａの座標がＳＷ３０２によって行われる算出のために組み入れら
れる。ＳＷ３０２はカメラ２０１ａ〜２０１ｄから供給されたデータに基づいて
、あかも仮想位置から撮影されたものであるかのように画像を生成する。ウイン
ドウ２０３ａに関連する座標データは、カメラ２０１ａ〜２０１ｄから撮影され
た画像の座標データの割当ての全て、または最もクローズアップされたものと一
緒に使用される。
【００４６】 この実施例では、受け入れられるアップの顔の仮想画像を算出するのに必要な
全てのデータは、ユーザの最もクローズアップされた顔の描写を示すカメラ２０
１ａ〜２０１ｃのようなカメラからのデータでよい。例えば、カメラ２０１ｄは
顔の位置に関して右側におよび下のアングルに目をそらしたユーザを表示し、一
方、カメラ２０１ｃは左側におよび上のアングルに目をそらしたユーザを表示す
る。残りのカメラは、ユーザの目下の関心を受け止めるウインドウであるウイン
ドウ２０１ａからの距離に関してさらに離れている。したがって、カメラ２０１
ａと２０１ｃだけが有用なデータ用に入力される。ウインドウ２０１ｂがアクテ
ィブ（ユーザの注視を受ける）ウインドウである場合は、カメラ２０１ａ〜２０
１ｄからのデータが有用となる。
【００４７】 ＳＷ３０２は入力ストリームおよび可変データと固定データから新たな画像ス
トリームをモデリングする能力を有しており、新たなストリームはカメラ２０１
ｄおよび２０１ｃから撮影された２つの別個の画像ストリーム（最も受け入れら
れるショット）の実際のピクセルデータから生成された新規のピクセル値を含ん
でいる。モデリングされたストリーム、すなわち仮想ストリームは接続回線３０
３を経て他の全ての相手側に伝送される。その効果は、カメラがあたかもウイン
ドウ２０３ａのちょうど背後に設置されているかのように前顔のアップ位置で録
画されたように見えることである。
【００４８】 別の実施形態では、ソフトウェアもビデオカメラの仮想位置を決定するために
スクリーン上のカーソル位置を考慮に入れる。さらに別の実施形態では、本発明
を実施するため、ユーザの注視を引きつけると思われる座標を得るためにいずれ
か１つのウインドウを活動状態にする必要は特にない。この実施形態では、ＳＷ
３０２はユーザの顔の実際のカメラ画像と、ユーザの顔の事前入力された顔のア
ップ画像とを比較することによってＸ−Ｙ−Ｚ軸に沿ったユーザの顔の傾きの方
向と角度とを認識する能力で強化されることで、ＳＷ３０２は所定のどの瞬間に
もユーザの注視方向のアングルを予測することができる。例えば４台の全てのカ
メラ２０１ａ〜２０１ｄからの読み取りを組み合わせることで、ユーザの注視を
受け止めるスクリーン２０２上のいずれかのエリアでの正確な１組の座標が得ら
れる。このようにして、ユーザはスクリーン２０２上の前述の活動状態のウイン
ドウ、もしくはオブジェクトを見ることだけに制約されない。ユーザは随意にス
クリーン２０２への視線方向を変えてもよい。ユーザはツールバーエリア、サイ
ドバーエリアのようなシステム２００とは特別関連がないスクリーン部分、すな
わちワークエリアを見てもよく、またはキーボードエリアのようなスクリーン２
０２と特に関係がないエリアを見ることさえできる。十分な処理能力を備えたＳ
Ｗ３０２はユーザの顔のアップ表出を示すリアルタイムの仮想画像ストリームを
算出することができる。
【００４９】 本発明の方法と装置は前述のカメラ２０１ａ〜２０１ｄのような外部取り付け
カメラと共に使用してもよく、または本発明の趣旨と範囲を逸脱することなく、
ディスプレイスクリーンまたはモニタに一体化されたカメラと共に使用してもよ
いことが当業者には明らかであろう。
【００５０】 本発明の別の実施形態では、システム２００のようなシスシムは一人以上のユ
ーザが単一のディスプレイスクリーンを共用している場合も稼働するように構成
されていることが望ましい。発明者は、取り付けられたカメラをビデオ会議活動
中に適宜のユーザに向けることができるように、ディスプレイを共用する一人以
上のユーザのピンポイント位置への入力音声の指向性のインジケータを使用する
という強化を図った。本発明のこのような強化された実施形態を以下に説明する
。
【００５１】 図４は、本発明の実施形態による複数のユーザが１つのディスプレイスクリー
ンを共用するビデオ会議システム４０１を示したブロック図である。この実施例
ではシステム４０１は、ユーザが同じディスプレイスクリーンを共用しているこ
と以外は、前述のシステム２００と類似したシステムとして提供され図示されて
いる。システム４０１は加入者ユーザ構内機器４０３と加入者ユーザ構内機器４
０５とを備えている。加入者構内機器４０３と４０５とは通信ネットワーク４１
７によって互いに接続された遠隔装置群であり、ひいてはシステム４０１を使用
した実務用のビデオ会議を接続する。加入者構内機器４０３と４０５とは共用す
る複数のユーザを同様にサポートするように構成されていると見なしてよい。し
かし、１つの加入者構内機器が複数のユーザをサポートしていれば、このことは
特に必要ない。
【００５２】 この実施形態では加入者構内機器４０３はディスプレイモニタ４０９でステー
ションを操作するユーザ４０７によって成り立つ。ディスプレイモニタ４０９は
部品番号４１２によって図４に図示したパーソナルコンピュータに接続された修
正型の（拡大された）ＣＲＴモニタスクリーンでよい。一実施形態では、ディス
プレイモニタ４０９は前方投影スクリーン、または後方投影スクリーンでよく、
または本発明を実施可能であるネットワーク機器と対応する別の種類のスクリー
ンでもよい。単一のユーザ４０７が加入者構内機器４０３で操作しているものと
して示されているが、これは、本発明を限定するものではない。前述のように、
複数のユーザが加入者構内機器４０３を共用して操作してもよいが、説明目的の
ため、単一のユーザ４０７だけが加入者構内機器４０３の前にいるものとして図
示している。
【００５３】 複数の外部取り付けカメラ４１１が備えられ、ビデオ会議のセッション中にユ
ーザ４０７を仮想録画するようにされている。カメラ４１１は、一実施形態では
固定式、または手動調整可能であるのではなく、ロボット式に位置を調整可能で
あること以外は、図３のカメラ２０１ａ〜２０１ｄと類似している。３台のカメ
ラ４１１はモニタ４０９の周囲の取り付け位置で視認できる。３台以上のカメラ
４１１があってもよく、またはカメラ２０１ａ〜２０１ｄに関して図２で説明し
たように、僅か２台のカメラ４１１を備えてもよい。
【００５４】 この実施例では、この分野では広く知られているように、ユーザ４０７はビデ
オ会議のセッション中の音声機能を促進するために標準型のマイクロフォン（図
示せず）を使用する。マイクロフォン回線４１３は上記の実装、およびマイクロ
フォンポートすなわちジャック４１５を経たコンピュータ４１２へのアクティブ
接続を示すものである。マイクロフォンポート４１５は内蔵の複数のマイクロフ
ォンソケットを有することによって幾つかのマイクロフォンに同時に対応できる
ようにしてもよい。
【００５５】 加入者構内機器４０５はディスプレイスクリーン４２３の動作を共用する複数
のユーザ４２５ａ〜４２５ｂによって成り立つ。スクリーン４０９に関する前述
のパラメータおよびオプションは全て加入者構内機器４０５に適用できる。外部
取り付けされた複数個のカメラ４２１はスクリーン４２３の周囲に備えられ、設
置される。カメラ４２３は前述のカメラ４１１と同類のものである。ユーザ４２
５はこの分野では知られているように、ビデオ会議における音声機能を促進する
ために標準型のマイクロフォンを使用する。加入者構内機器４０５で１個以上の
マイクロフォンを使用する理由は後述する。
【００５６】 ユーザ４２５ａのマイクロフォン機能はマイクロフォンポート、すなわちジャ
ック４２７に繋がるマイクロフォン回線ｄによって図示されている。マイクロフ
ォン回線ｅおよびｆはユーザ４２５ｂおよび４２５ｃのそれぞれのマイクロフォ
ン機能を示している（実際のマイクロフォンは詳細には図示しない）。全てのマ
イクロフォン回線ｄ〜ｆは複数個のマイクロフォンソケットを含む単一のポート
４２７へと差し込まれる。本発明の趣旨と範囲から逸脱することなく、ポート４
２７はより多くの、またはより少ないマイクロフォン接続を容易にするように構
成されてもよい。
【００５７】 簡単な実施形態では、接続されたマイクロフォンには全て、ポート４２７への
利用できる各々の入り口ソケットを特定することによって特有のポートアドレス
が与えられる。ユーザ４２５ａ〜４２５ｃの場合は、各々のユーザはビデオ会議
時にスクリーン４２３の前にユーザ４２５ａ〜４２５ｃが占める座席配列を特定
するために利用できる特有のアドレスを有する個々のマイクロフォンを保有して
いる。
【００５８】 一実施形態では、カメラ４２１および４１１のロボット式の調整可能性はソフ
トウェアによって、接続されたマイクロフォン回線のアドレス指定方式にリンク
されている。例えば、ユーザ４２５ａ〜ｂのいずれかが自分のマイクロフォンに
向かって話すように指定されると、その特定のユーザはアクティブと見なされて
、それに従ってカメラ４２１の位置が調整される。このようにして、ユーザ４２
５ａ〜ｂのいずれか一方がマイクロフォンに向かって能動的に話すと、カメラ４
２１はその特定のユーザに自動的にパンする。ユーザ４２５ａ〜ｂの他方に代わ
ると、それに従ってカメラ４２１がパンする。勿論、それにはビデオ会議中に、
全てのカメラが該当する一人のユーザに向けられるような場合には、各々のユー
ザは他のユーザとは別個に順番に話をする必要がある。
【００５９】 ここに説明する実施形態に従って本発明を実施する際、ユーザ４０７はユーザ
４２５ａ〜４２５ｃとビデオ会議のセッションに関与することに留意されたい。
このような状況は、ユーザ４０７がインタビューアであり、ユーザ４２５ａ〜４
２５ｃがインタビューの対象である、インタビューまたはそれに類するものであ
ってよい。インタビューア４０７はスクリーン４０９に表示された３つのコンテ
ンツウインドウ（図示せず）を有していてもよく、各ウインドウは指定された相
手方４２５の仮想画像ストリームを表示するようにされている。
【００６０】 インタビューア４０７は一人しかいないので、カメラ４１１はパンする必要は
なく、単にユーザ４０７に向けられる。ユーザ４０７が別の席に割り当てられた
マイクロフォンへと切り換えると、カメラ４１１はユーザが話しはじめるとその
位置にパンするので、そのユーザもその席に移動しなければならない。インタビ
ューア４０７が対象者４２５ａ〜４２５ｃの一人からの返答の間に話を中断する
と、加入者構内機器４０３でのスクリーン４０９上の適当なコンテンツウインド
ウが仮想画像応答の表示を開始する。予測される応答に先立ってインジケータが
伝送されるので、カメラは応答の開始前に所定位置にパンできる。
【００６１】 一実施形態では、マイクロフォンによって起動されると、特定の１台のカメラ
４２１がパンするように指定され、一方、他は固定位置に割り振られる。その際
、多くの組合わせが可能である。システム４０１の仮想画像機能は上記の音声／
カメラコマンドの強化を除けば、図２および図３で説明したシステム２００と同
様である。多くのマイクロフォンとロボット式のカメラを有する特別のグループ
会議システムを作成できる。
【００６２】 ここで、ユーザ４２５ａ〜４２５ｃのそれぞれの画像ストリームを表出する３
つのコンテンツウインドウがスクリーン４０９に表示されるものと想定する。こ
の場合、ユーザ４０７には点線の矢印で示す３つの標準的な注視方向がある。ユ
ーザ４２５ａ〜４２５ｃのいずれか一人が話をするように指名されると、カメラ
４２１がそのユーザに向けられると仮想カメラ効果が生ずる。その結果として生
ずる画像ストリームはユーザ４０７への顔のアップ画像のストリームとして出現
し、一方、残りの二人のユーザは視線外れ作用を呈する。その理由は、全てのカ
メラ４２１が活動中のユーザにパンするからである。別の実施形態では、特定の
カメラの割当てが振り分けられてもよい。前述の例では、ユーザ４２５ａ〜４２
５ｃの全てが点線の矢印で示すように、ユーザ４０７の画像ストリームを表出す
る１つのコンテンツウインドウを見ている。ユーザ４２５ａ〜４２５ｃの話の番
に代わると、加入者構内機器４０９での仮想カメラ機能が作動して、ユーザ４０
７がユーザ４２５ａ〜４２５ｃを表すスクリーン４０９上のコンテンツウインド
ウ間で視線を切り換えたとしも、スクリーン４２３上のユーザ４０７を表すコン
テンツウインドウ内の仮想画像ストリームが常に顔のアップであることが確実に
される。
【００６３】 スクリプトボックス、またはテスト表示のような付加的なウインドウが出現す
ると、いずれのユーザもそのウインドウをアクチベートし、仮想カメラ効果を変
更して、カメラが目下アクティブテキストウインドウの真後ろにあるように見え
るようにしてもよい。このようにして、仮想画像ストリームは顔のアップ表示に
関わり、それに焦点が当たる状態を維持する。
【００６４】 別の実施形態では、本発明を実施する際に単一のアドレスを有する複数のマイ
クロフォンは必要ない。例えば、マイクロフォン接続ｄ〜ｆを使用する代わりに
、単一の、すなわちステレオのマイクロフォン実装を備えることによって、方向
と距離を検出が可能な１つまたは複数の指向性音声センサがマイクロフォンと一
体化される。このようにして、新たなユーザが話し初め、センサが彼の位置を検
出すると、カメラ４２１はそのユーザへとパンする。この実施形態の唯一の欠点
は、カメラ４２１が所定位置にパンするのに充分な時間を与えるために、ユーザ
は返答を開始する前にある種の確認応答を発しなければならないことがある点で
ある。
【００６５】 本発明の仮想画像会議システムは新規のシステムとして提供されてもよく、ま
たは本発明の趣旨と範囲から逸脱することなく、既存の会議システムに組入れて
もよいことが当業者には明白であろう。例えば、ソフトウェア／ハードウェアの
グレードアップパッケージを備え、本発明を実施できるようにする目的で特定の
既存のシステムを強化するために提供されてもよい。このようなグレードアップ
製品は勿論、グレードアップをねらいとするプラットフォームおよび支援ハード
ウェアを含む種類のシステムに特化してもよいであろう。
【００６６】 さらに別の実施形態では、システムに適宜の三次元グラフィックのソフトウェ
アおよびハードウェアを含めることによって三次元システムを備えてもよい。こ
のようなシステムでは、仮想画像ストリームを相手方ユーザの三次元表示のよう
に見えるようにできる。例えば、一人のユーザが相手側を示すコンテンツウイン
ドウからあるアングルで脇へと席を外すと、仮想画像がユーザの動きを追跡して
、ユーザを直に見るように注視方向を傾けてシフトさせるように見えるようにし
てもよい。このような複雑な実施形態には相当の処理能力が必要であり、毎日使
用するユーザには実際的ではないであろう。しかし、このような実施形態は可能
である。
【００６７】 本発明の方法と装置は、発明者によって構想され、しかしここには記載してい
ない他の用途を含めて、詳細に述べた多くの可能な実施形態にかんがみて、最も
広い範囲に及ぶべきものである。したがって、本発明の趣旨と範囲は特許請求の
範囲によってのみ限定されるものである。
【図面の簡単な説明】
【図１】 従来技術によるビデオ会議ステーションを示したブロック図である。
【図２】 本発明の実施形態によるビデオ会議ステーションを示したブロック図である。
【図３】 本発明の実施形態によるビデオコーデックプロセッサと対話する、図２のビデ
オ会議ステーションを示したブロック図である。
【図４】 本発明の実施形態によって複数のユーザが１つのビデオ会議スクリーンを共用
できるようにされたビデオ会議システムを示すブロック図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ， ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ， ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，Ｃ Ｎ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ， ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，Ｋ Ｒ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ， ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，Ｓ Ｉ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ Ｆターム(参考） 5C022 AA12 AB61 AB62 AC01 AC27 AC42 AC71 AC72 5C064 AA02 AB04 AC04 AC06 AC07 AC08 AC12 AC16 AD08

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】 ビデオ会議ステーションであって、 リモート参加者の画像を表示するためのディスプレイスクリーンを有するディ
    スプレイモニタと、 ディスプレイモニタスクリーンの前にいる一人または複数のローカル参加者の
    画像を取り込むための、ディスプレイモニタの外側にある２台以上のビデオカメ
    ラと、 ビデオ会議に関連するビデオストリームを受信し、該ビデオストリームからの
    画像を表示し、ビデオストリームをリモート参加者に送信し、かつ、２台以上の
    ビデオカメラによって取り込まれた画像を処理するための、ディスプレイモニタ
    とビデオカメラの双方に結合されたコンピュータ処理システムとを備え、 該処理システムはフィールドグラフを含むソフトウェアを実行し、かつ２台ま
    たはそれ以上のビデオカメラによって与えられる取り込まれた画像を利用するこ
    とによって、あたかもストリームがディスプレイスクリーンのエリア内に配置さ
    れた仮想ビデオカメラによって取り込まれたかのように、ローカル参加者の画像
    を供給する単一のビデオストリームを生成し、かつ送信するビデオ会議ステーシ
    ョン。
  2. 【請求項２】 処理システムはディスプレイスクリーンの中心またはその近
    傍に仮想ビデオカメラを位置させる請求項１に記載のビデオ会議ステーション。
  3. 【請求項３】 処理システムはディスプレイスクリーン内のアクティブウイ
    ンドウに関する入力を利用して、アクティブウインドウに関連する位置に仮想ビ
    デオカメラを位置させる請求項１に記載のビデオ会議ステーション。
  4. 【請求項４】 個々のビデオカメラと連動するロボットオペレータと、モニ
    タスクリーンの前のローカル参加者のための２つ以上の位置と、参加者のための
    指向性機能を有する音声入力システムとをさらに備え、処理システムはロボット
    オペレータが音声入力システムからの指向性入力に従って、ローカル参加者の個
    々の一人に個々のビデオカメラを向けるようにさせる請求項１に記載のビデオ会
    議ステーション。
  5. 【請求項５】 指向性機能が個別のマイクロフォンを有する各々のローカル
    参加者を含み、個別のマイクロフォンの各々がローカル参加者のためのディスプ
    レイスクリーンの前の位置に関連する請求項４に記載のビデオ会議ステーション
    。
  6. 【請求項６】 指向性機能がステレオマイクロフォンを備えると共に、処理
    システムが、ステレオマイクロフォンからの入力に基づいてディスプレイスクリ
    ーンの前のローカル参加者の位置を判定可能である請求項４に記載のビデオ会議
    ステーション。
  7. 【請求項７】 ２つ以上のビデオ会議ステーションと、 該２つ以上のステーションの間のビデオ対応リンクとを備えたビデオ会議シス
    テムであって、 １つ、または複数のステーションは、リモート参加者の画像を表示するための
    ディスプレイスクリーンを有するディスプレイモニタと、ディスプレイモニタス
    クリーンの前にいる一人または複数のローカル参加者の画像を取り込むための、
    ディスプレイモニタの外側の２台以上のビデオカメラと、ビデオ会議に関連する
    ビデオストリームを受信し、かつ該ビデオストリームからの画像を表示し、リモ
    ート参加者にビデオストリームを送信し、かつ２台以上のビデオカメラによって
    取り込まれた画像を処理するための、ディスプレイモニタとビデオカメラとの双
    方に結合されたコンピュータ処理システムとを備え、該処理システムは、フィー
    ルドグラフを含むソフトウェアを実行し、かつ２台またはそれ以上のビデオカメ
    ラによって与えられる取り込まれた画像を利用することによって、あたかもスト
    リームがディスプレイスクリーンのエリア内に配置された仮想ビデオカメラから
    取り込まれたかのように、ローカル参加者の画像を供給する単一のビデオストリ
    ームを生成しかつ送信するビデオ会議システム。
  8. 【請求項８】 処理システムは仮想ビデオカメラをディスプレイスクリーン
    またはその近傍に位置させる請求項７に記載のビデオ会議システム。
  9. 【請求項９】 処理システムはディスプレイスクリーン内のアクティブウイ
    ンドウに関する入力を利用して、アクティブウインドウに関連する位置に仮想ビ
    デオカメラを位置させる請求項７に記載のビデオ会議システム。
  10. 【請求項１０】 ビデオカメラの個々の１つと連動するロボットオペレータ
    と、モニタスクリーンの前のローカル参加者のための２つ以上の位置と、参加者
    のための指向性機能を有する音声入力システムとをさらに備え、処理システムは
    ロボットオペレータが、音声入力システムからの指向性入力に従って、ローカル
    参加者の個々の一人にビデオカメラの個々の１つを向けるようにさせる請求項７
    に記載のビデオ会議システム。
  11. 【請求項１１】 指向性機能は個々のマイクロフォンを有する各々のローカ
    ル参加者を含み、個別のマイクロフォンの各々はローカル参加者のためのディス
    プレイスクリーンの前の位置に関連する請求項１０に記載のビデオ会議システム
    。
  12. 【請求項１２】 指向性機能がステレオマイクロフォンを備えると共に、処
    理システムが、ステレオマイクロフォンからの入力に基づいてディスプレイスク
    リーンの前のローカル参加者の位置を判定可能である請求項１０に記載のビデオ
    会議システム。
  13. 【請求項１３】 ビデオ会議システムにおける視線外れを修正する方法であ
    って、 （ａ）ディスプレイスクリーンの外側に設置された２台以上のビデオカメラに
    よって会議参加者の画像を取り込むステップと、 （ｂ）ビデオストリームを２台以上のビデオカメラからプロセッサに伝送する
    ステップと、 （ｃ）２つ以上のストリームおよび記憶された変数および定数から単一のビデ
    オストリームを生成し、フィールドグラフアルゴリズムを使用して、あたかもモ
    ニタスクリーン内に設置された仮想カメラによって取り込まれたかのように、会
    議参加者を提示する単一のビデオストリームを生成するステップとを含む方法。
  14. 【請求項１４】 ステップ（ｃ）で、プロセッサは仮想カメラをモニタスク
    リーンのセンタまたはその近傍に位置させる請求項１３に記載の方法。
  15. 【請求項１５】 処理システムはディスプレイスクリーン内のアクティブウ
    インドウに関する入力を利用して、アクティブウインドウに関連する位置に仮想
    ビデオカメラを位置させる請求項１３に記載の方法。
  16. 【請求項１６】 ビデオカメラの個々の１つと連動するロボットオペレータ
    を操作して、指向性機能を有する音声入力システムからの入力を処理することに
    よってモニタスクリーンの前にいる個々の参加者に焦点を合わせるステップをさ
    らに含む、請求項１３に記載の方法。
  17. 【請求項１７】 指向性機能が個別のマイクロフォンを有する各々のローカ
    ル参加者を含み、個別のマイクロフォンの各々はローカル参加者のためのディス
    プレイスクリーンの前の位置に関連する請求項１６に記載の方法。
  18. 【請求項１８】 指向性機能はステレオマイクロフォンを備えると共に、処
    理システムが、ステレオマイクロフォンからの入力に基づいてディスプレイスク
    リーンの前のローカル参加者の位置を判定可能である請求項１６に記載の方法。
JP2001513888A 1999-08-02 2000-07-28 ビデオ会議の参加者がカメラに焦点を合わせた状態で相手方ユーザの前に出現できるようにする方法と装置 Pending JP2003506927A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/366,436 1999-08-02
US09/366,436 US6208373B1 (en) 1999-08-02 1999-08-02 Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users
PCT/US2000/020589 WO2001010121A1 (en) 1999-08-02 2000-07-28 Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users

Publications (1)

Publication Number Publication Date
JP2003506927A true JP2003506927A (ja) 2003-02-18

Family

ID=23442991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001513888A Pending JP2003506927A (ja) 1999-08-02 2000-07-28 ビデオ会議の参加者がカメラに焦点を合わせた状態で相手方ユーザの前に出現できるようにする方法と装置

Country Status (6)

Country Link
US (1) US6208373B1 (ja)
JP (1) JP2003506927A (ja)
CN (2) CN1373965A (ja)
AU (1) AU6388200A (ja)
DE (1) DE10084867B4 (ja)
WO (1) WO2001010121A1 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6693661B1 (en) * 1998-10-14 2004-02-17 Polycom, Inc. Conferencing system having an embedded web server, and method of use thereof
US6944586B1 (en) * 1999-11-09 2005-09-13 Interactive Drama, Inc. Interactive simulated dialogue system and method for a computer network
US6507356B1 (en) * 2000-10-13 2003-01-14 At&T Corp. Method for improving video conferencing and video calling
US6724417B1 (en) * 2000-11-29 2004-04-20 Applied Minds, Inc. Method and apparatus maintaining eye contact in video delivery systems using view morphing
US20030048353A1 (en) * 2001-08-07 2003-03-13 Michael Kenoyer System and method for high resolution videoconferencing
US7126627B1 (en) 2002-03-06 2006-10-24 Lewis Thomas B Video conferencing device and method
US6853398B2 (en) * 2002-06-21 2005-02-08 Hewlett-Packard Development Company, L.P. Method and system for real-time video communication within a virtual environment
HK1053239A2 (en) * 2002-10-09 2003-09-26 Titanium Tech Ltd Apparatus and method for recognizing images
US7057662B2 (en) * 2002-11-22 2006-06-06 Hewlett-Packard Development Company, L.P. Retractable camera apparatus
US20040240650A1 (en) * 2003-05-05 2004-12-02 Microsoft Corporation Real-time communications architecture and methods for use with a personal computer system
US7443971B2 (en) * 2003-05-05 2008-10-28 Microsoft Corporation Computer system with do not disturb system and method
US20040222978A1 (en) * 2003-05-05 2004-11-11 Bear Eric Gould Control and communications panel for a computer system
US7551199B2 (en) * 2003-05-05 2009-06-23 Microsoft Corporation Computer camera system and method for reducing parallax
US7221331B2 (en) * 2003-05-05 2007-05-22 Microsoft Corporation Method and system for auxiliary display of information for a computing device
US7827232B2 (en) * 2003-05-05 2010-11-02 Microsoft Corporation Record button on a computer system
US7424740B2 (en) * 2003-05-05 2008-09-09 Microsoft Corporation Method and system for activating a computer system
US7372371B2 (en) * 2003-05-05 2008-05-13 Microsoft Corporation Notification lights, locations and rules for a computer system
US20040235520A1 (en) * 2003-05-20 2004-11-25 Cadiz Jonathan Jay Enhanced telephony computer user interface allowing user interaction and control of a telephone using a personal computer
CN100456715C (zh) * 2003-07-31 2009-01-28 腾讯科技（深圳）有限公司 通过即时通信系统实现图象信息交流的方法和系统
US7440556B2 (en) * 2003-09-30 2008-10-21 Microsoft Corporation System and method for using telephony controls on a personal computer
US7216221B2 (en) * 2003-09-30 2007-05-08 Microsoft Corporation Method and system for unified audio control on a personal computer
US7548255B2 (en) 2003-09-30 2009-06-16 Microsoft Corporation Method and system for capturing video on a personal computer
US7324664B1 (en) * 2003-10-28 2008-01-29 Hewlett-Packard Development Company, L.P. Method of and system for determining angular orientation of an object
US7631336B2 (en) 2004-07-30 2009-12-08 Broadband Itv, Inc. Method for converting, navigating and displaying video content uploaded from the internet to a digital TV video-on-demand platform
US7590997B2 (en) 2004-07-30 2009-09-15 Broadband Itv, Inc. System and method for managing, converting and displaying video content on a video-on-demand platform, including ads used for drill-down navigation and consumer-generated classified ads
US20060083194A1 (en) * 2004-10-19 2006-04-20 Ardian Dhrimaj System and method rendering audio/image data on remote devices
US7962854B2 (en) * 2004-10-19 2011-06-14 Sony Ericsson Mobile Communications Ab Systems, methods and computer program products for displaying content on multiple display screens using handheld wireless communicators
US7711868B2 (en) 2004-11-23 2010-05-04 Microsoft Corporation Waking a main computer system to pre-fetch data for an auxiliary computing device
US7581034B2 (en) 2004-11-23 2009-08-25 Microsoft Corporation Sending notifications to auxiliary displays
US7634780B2 (en) 2004-11-23 2009-12-15 Microsoft Corporation Method and system for exchanging data between computer systems and auxiliary displays
US7784065B2 (en) 2005-02-07 2010-08-24 Microsoft Corporation Interface for consistent program interaction with auxiliary computing devices
US20060242590A1 (en) * 2005-04-21 2006-10-26 Microsoft Corporation Simple content format for auxiliary display devices
CN100545795C (zh) * 2005-06-30 2009-09-30 索尼株式会社 图形用户界面装置、操作输入处理方法以及双向通信设备
US7576766B2 (en) * 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
US20070109410A1 (en) * 2005-11-15 2007-05-17 Creative Technology Ltd. Apparatus for audio reproduction and image capturing
JPWO2007122907A1 (ja) * 2006-03-29 2009-09-03 パナソニック株式会社 画像コーデック装置
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
JP2008140271A (ja) * 2006-12-04 2008-06-19 Toshiba Corp 対話装置及びその方法
DE102007016403A1 (de) 2007-04-03 2008-10-09 Micronas Gmbh Verfahren und Vorrichtung zum Aufnehmen, Übertragen und/oder Wiedergeben von Bilddaten, insbesondere Videokonferenz-Bilddaten
US20080273078A1 (en) * 2007-05-01 2008-11-06 Scott Grasley Videoconferencing audio distribution
US20090009628A1 (en) * 2007-07-06 2009-01-08 Michael Janicek Capturing an image with a camera integrated in an electronic display
KR100867004B1 (ko) * 2007-09-19 2008-11-10 한국전자통신연구원 시청자 참여를 위한 양방향성 ｉｐｔｖ 방송 서비스 방법및 그 시스템
CN101472133B (zh) * 2007-12-28 2010-12-08 鸿富锦精密工业（深圳）有限公司 影像校正装置及影像校正方法
US9002177B2 (en) * 2008-07-08 2015-04-07 Sceneplay, Inc. Media generating system and method
EP2342894A4 (en) * 2008-11-04 2013-12-25 Hewlett Packard Development Co ADJUSTING A VIDEO WINDOW POSITION IN RELATION TO A VIDEO CAMERA POSITION
US9641884B2 (en) * 2008-11-15 2017-05-02 Adobe Systems Incorporated Method and device for establishing a content mirroring session
EP2385705A4 (en) * 2008-12-30 2011-12-21 Huawei Device Co Ltd METHOD AND DEVICE FOR GENERATING STEREOSCOPIC PANORAMIC VIDEO FLOW AND METHOD AND DEVICE FOR VISIOCONFERENCE
US8441515B2 (en) * 2009-09-17 2013-05-14 Sony Corporation Method and apparatus for minimizing acoustic echo in video conferencing
US9195377B2 (en) 2010-11-03 2015-11-24 Alcatel Lucent Method and system for providing consistency between a virtual representation and corresponding physical spaces
US8957847B1 (en) 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
US8823769B2 (en) 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
US9086798B2 (en) 2011-03-07 2015-07-21 Ricoh Company, Ltd. Associating information on a whiteboard with a user
US9716858B2 (en) * 2011-03-07 2017-07-25 Ricoh Company, Ltd. Automated selection and switching of displayed information
US9053455B2 (en) 2011-03-07 2015-06-09 Ricoh Company, Ltd. Providing position information in a collaborative environment
US8843346B2 (en) * 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
US9449583B2 (en) 2011-12-15 2016-09-20 Lenovo (Beijing) Co., Ltd. Control method and electronic apparatus
US9077846B2 (en) * 2012-02-06 2015-07-07 Microsoft Technology Licensing, Llc Integrated interactive space
US9190021B2 (en) 2012-04-24 2015-11-17 Hewlett-Packard Development Company, L.P. Visual feedback during remote collaboration
WO2013190171A1 (en) * 2012-06-20 2013-12-27 Nokia Corporation Display camera operation
US20140298246A1 (en) * 2013-03-29 2014-10-02 Lenovo (Singapore) Pte, Ltd. Automatic display partitioning based on user number and orientation
US9380263B2 (en) * 2014-01-03 2016-06-28 Aquifi, Inc. Systems and methods for real-time view-synthesis in a multi-camera setup
KR20170030463A (ko) * 2014-01-10 2017-03-17 리볼브 로보틱스 인코포레이티드 화상 회의 운영 동안 로봇식 스탠드들을 제어하기 위한 시스템들 및 방법들
US9681096B1 (en) 2016-07-18 2017-06-13 Apple Inc. Light field capture
US20180077430A1 (en) 2016-09-09 2018-03-15 Barrie Hansen Cloned Video Streaming
CN109413359B (zh) * 2017-08-16 2020-07-28 华为技术有限公司 摄像跟踪方法、装置及设备
US10616528B2 (en) * 2018-05-30 2020-04-07 Microsoft Technology Licensing, Llc Graphical display supporting multi-location camera
CN110139062B (zh) * 2019-05-09 2022-10-18 平安科技（深圳）有限公司 一种视频会议记录的创建方法、装置及终端设备
US11451746B1 (en) * 2020-03-26 2022-09-20 Amazon Technologies, Inc. Image and audio data processing to create mutual presence in a video conference
US10893231B1 (en) * 2020-04-14 2021-01-12 International Business Machines Corporation Eye contact across digital mediums
US11945893B2 (en) 2020-09-30 2024-04-02 Canon Kabushiki Kaisha Curable composition
EP3993410A1 (en) * 2020-10-28 2022-05-04 Ningbo Geely Automobile Research & Development Co., Ltd. A camera system and method for generating an eye contact image view of a person
US11553159B1 (en) * 2021-07-21 2023-01-10 EMC IP Holding Company LLC Continuous video generation from voice data
US11770499B2 (en) * 2021-09-09 2023-09-26 Jpmorgan Chase, N.A. Aligning video conference participant windows
US20240031527A1 (en) * 2022-07-20 2024-01-25 Meta Platforms Technologies, Llc Apparatus, systems, and methods for videoconferencing devices

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04373386A (ja) * 1991-06-24 1992-12-25 Nec Corp テレビ会議システム
US5359362A (en) * 1993-03-30 1994-10-25 Nec Usa, Inc. Videoconference system using a virtual camera image
JPH06351015A (ja) * 1993-06-10 1994-12-22 Olympus Optical Co Ltd テレビジョン会議システム用の撮像システム
US5886735A (en) * 1997-01-14 1999-03-23 Bullister; Edward T Video telephone headset
US6259470B1 (en) * 1997-12-18 2001-07-10 Intel Corporation Image capture system having virtual camera

Also Published As

Publication number Publication date
CN1863301A (zh) 2006-11-15
DE10084867T1 (de) 2002-08-01
DE10084867B4 (de) 2006-07-06
AU6388200A (en) 2001-02-19
WO2001010121A1 (en) 2001-02-08
CN1373965A (zh) 2002-10-09
US6208373B1 (en) 2001-03-27

Similar Documents

Publication Publication Date Title
JP2003506927A (ja) ビデオ会議の参加者がカメラに焦点を合わせた状態で相手方ユーザの前に出現できるようにする方法と装置
EP3358835B1 (en) Improved method and system for video conferences with hmds
US8614735B2 (en) Video conferencing
US7697024B2 (en) Method and system of tracking and stabilizing an image transmitted using video telephony
US6330022B1 (en) Digital processing apparatus and method to support video conferencing in variable contexts
US5438357A (en) Image manipulating teleconferencing system
JP5638997B2 (ja) 会議出席者間の相互作用に従ってｃｐ配置を適合させるための方法およびシステム
US9424678B1 (en) Method for teleconferencing using 3-D avatar
US20100118112A1 (en) Group table top videoconferencing device
US6753900B2 (en) Method and apparatus for overcoming the limitations of camera angle in video conferencing applications
CN108076307B (zh) 基于ar的视频会议系统和基于ar的视频会议方法
EP2352290B1 (en) Method and apparatus for matching audio and video signals during a videoconference
JPH07154763A (ja) 在席テレビ会議装置
US20040254982A1 (en) Receiving system for video conferencing system
MX2007015184A (es) Imagenes normalizadas para camaras.
WO2010118685A1 (zh) 一种远程呈现的系统、装置和方法
JP6157077B2 (ja) カメラ付き表示装置
Breiteneder et al. TELEPORT—an augmented reality teleconferencing environment
JP3587106B2 (ja) 視線一致テレビ会議装置
JPH11234640A (ja) 通信制御システム
JPH08256316A (ja) 通信会議システム
EP2355499A1 (en) Video conferencing method, a related system, a related client device and a related network element
JP2000217091A (ja) テレビ会議システム
KR20150113795A (ko) 눈맞춤 기능 제어 장치 및 방법
US20240257553A1 (en) Systems and methods for correlating individuals across outputs of a multi-camera system and framing interactions between meeting participants

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040921

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050301