JP2017108366A - ビデオ会議を制御する方法、システム、及びプログラム - Google Patents

Abstract

【課題】マルチディスプレイユーザ環境におけるユーザのマルチタスクを補うことができる。【解決手段】第１表示装置に接続された第１カメラによって撮影されるビデオ会議を制御する。ユーザ環境において、前記第１カメラに対する顔の向きが、第２表示装置に接続されている第２カメラに対する顔の向きよりも正面から離れている場合、又は、前記第１カメラにおいて前記顔の向きが検出できない場合であって、前記第２表示装置で入出力イベント及びアプリケーションイベントの少なくとも一方が検出されたとき、前記ビデオ会議を前記第２カメラに切り替える。【選択図】図３Ａ

Description

本発明は、ビデオ会議を制御する方法、システム、及びプログラムに関する。

一人もしくは複数のユーザは他のユーザから離隔した位置からビデオ会議に参加する可能性がある。ビデオ会議の間、ユーザは、通知、通信を受け取り、他の情報への即時アクセスを行うことができる。したがって、ユーザは、ビデオ会議の間、マルチタスクを行うことを所望する可能性がある。例えば、ビデオ会議に参加するユーザは、他の表示装置または他のデバイス（例えば、モバイルフォン）で受信した通知または通信に基づいて、自身の注意を、ビデオ会議に関連するカメラ及び表示装置から遠ざけてしまうことがある。

その際、他のユーザのビデオ会議間のマルチタスクの認識に対して、異なる計算処理構成がどのように影響するのか、に焦点が当てられている。詳細には、シングルディスプレイ構成、またはデュアルディスプレイ構成によるビデオ会議に参加しているユーザの例について、マルチタスクが検討されている。

米国特許第６，６８０，７４５号明細書

「ポリコムイーグルアイプロデューサ（Polycom Eagle Eye Producer）」、［online］、２０１５年、［２０１６年２月２４日検索］、インターネット（URL:http://www.polycom.com/products-services/hd-telepresence-video-conferencing/realpresence-accessories/eagleeye-producer.html） ギガー（Giger）ら、「シングルウェブカメラによる注視修正（Gaze Correction with a Single Webcam）」、マルチメディアに関するＩＥＥＥ国際会議及び展示（IEEE International Conference on Multimedia & Expo）、２０１４年

図１は、デュアルディスプレイ構成でのマルチタスク挙動に関与するユーザの関連技術における表示を例示する。ユーザの注視（例えば、目の位置）及びユーザの頭部の姿勢はカメラに向かわず、ユーザの左側に向かっている（もしくは、観察している参加者の右側に向かっている）。マルチタスクが明らかになり、ユーザは、ビデオ会議に関与していないように見える。

マルチタスクが行われていることがあまり明らかとならず、ユーザがビデオ会議により関与しているように見えるように、マルチディスプレイユーザ環境におけるユーザのマルチタスクを補うことができるシステム及び方法の改善が望まれている。

第１の態様は、第１表示装置に接続された第１カメラによって撮影されるビデオ会議を制御する方法であって、プロセッサが、ユーザ環境において、前記第１カメラに対する顔の向きが、第２表示装置に接続されている第２カメラに対する顔の向きよりも正面から離れている場合、又は、前記第１カメラにおいて前記顔の向きが検出できない場合であって、前記第２表示装置で入出力イベント及びアプリケーションイベントの少なくとも一方が検出されたとき、前記ビデオ会議を前記第２カメラに切り替える。

第２の態様は、第１の態様のビデオ会議制御方法であって、前記入出力イベントは、前記第２表示装置上でのカーソルアクティビティに関連するポインティングデバイスアクション及びキーボードアクションの少なくとも一方を含む。

第３の態様は、第２の態様のビデオ会議制御方法であって、前記アプリケーションイベントは、オンラインアプリケーションの機能が前記第２表示装置でアクセスされている期間が予め定められた期間よりも長い場合、前記ビデオ会議を前記第２カメラに切り替える。

第４の態様は、第１〜第３の何れかの態様のビデオ会議制御方法であって、前記ビデオ会議を前記第２カメラに切り替えることは、前記第２カメラに切り替えることを判定してから予め定めた第１期間が経過した後に、前記第１カメラから前記第２カメラに、前記ビデオ会議への入力信号を切り替え、前記第２カメラを介して、前記ビデオ会議に、ビデオを出力する、ことをさらに含む。

第５の態様は、第１〜第４の何れかの態様のビデオ会議制御方法であって、前記第２カメラに前記ビデオ会議を切り替えることは、前記第２カメラに切り替えることを判定する前の予め定めた期間、他の切り替え動作が、前記第１カメラ及び第２カメラで実行されていない場合、前記第１カメラから前記第２カメラに、前記ビデオ会議への入力信号を切り替え、前記第２カメラを介して、前記ビデオ会議にビデオを出力する、ことをさらに含む。

第６の態様は、第１〜第５の何れかの態様のビデオ会議制御方法であって、前記第１カメラ及び前記第２カメラの前記ユーザ環境は、前記ビデオ会議で表示されるべき前記ユーザ環境の面もしくはオブジェクトを示す肯定的注釈、及び、前記ビデオ会議で表示されるべきでない前記ユーザ環境の面もしくはオブジェクトを示す否定的注釈の少なくとも一方を付されている。

第７の態様は、第６の態様のビデオ会議制御方法であって、前記肯定的注釈は前記第１カメラ及び前記第２カメラに関連付けられていない前記ユーザ環境の表示板に関連付けられており、前記否定的注釈は表示されるべきではない出入り口もしくは窓の領域、もしくは他のユーザと関連付けられている。

第８の態様は、第１〜第７の何れかの態様のビデオ会議制御方法であって、ユーザ環境において、前記第１カメラによって顔が検出されない場合に、前記第１カメラ及び前記第２カメラのオフディスプレイ環境のビデオを分析し、前記ビデオ会議で表示するフォーカス領域を検出することを更に含み、前記第２カメラが、前記第１カメラよりも隠れが少ない前記フォーカス領域の画像であって、前記第１カメラよりも高品質な画像を撮影する場合に、前記ビデオ会議を前記第１カメラから前記第２カメラに切り替えるように制御することを含む。

第９の態様は、第１〜第８の何れかの態様のビデオ会議制御方法であって、予め定められた期間よりも短い期間、前記顔の向きが前記第１カメラで前記第２カメラよりも正面から離れている場合、もしくは、前記ビデオ分析及びフォーカス領域の検出が前記第２表示装置で発生した場合、前記第２カメラに前記ビデオ会議を切り替えない。

第１０の態様はビデオ会議制御システムであって、ユーザ環境において、第１表示装置に接続されている第１カメラ及び第２表示装置に接続されている第２カメラと、前記第１カメラ及び前記第２カメラに隣接し、前記第１カメラ及び前記第２カメラに接続されていない少なくとも１つの物理的な表示面を有する、ユーザ環境と、プロセッサと、を含み、前記プロセッサは、（ａ）前記第１カメラに対する顔の向きが前記第２カメラに対する顔の向きよりも正面から離れている場合、もしくは、（ｂ）前記第１カメラにおいて顔の向きが検出できない場合であって、前記第２表示装置で入出力イベント及びアプリケーションイベントの少なくとも一方が検出されたとき、ビデオ会議を前記第２カメラに切り替える。

第１１の態様は、第１０の態様のビデオ会議制御システムであって、前記アプリケーションイベントは、前記プロセッサが、前記第２表示装置でオンラインアプリケーションの機能がアクセスされている期間が予め定められた期間よりも長い場合、前記ビデオ会議を前記第２カメラに切り替える、ことを含む。

第１２の態様は、第１０の態様のビデオ会議制御システムであって、前記プロセッサは、前記第２カメラに切り替えることを判定し、前記第２カメラに切り替えることを判定してから予め定めた第１期間を経過した後に、もしくは、前記第２カメラに切り替えることを判定する前の予め定めた期間、他の切り替え動作が、前記第１カメラ及び前記第２カメラで実行されていない場合、前記第１カメラから前記第２カメラに、前記ビデオ会議への入力信号を切り替え、前記第２カメラを介して、前記ビデオ会議に、ビデオを出力する、ことにより、前記第２カメラに前記ビデオ会議を切り替える。

第１３の態様は、第１０〜第１２の何れかの態様のビデオ会議制御システムであって、前記第１カメラ及び前記第２カメラの前記ユーザ環境は、前記ビデオ会議で表示されるべき前記ユーザ環境の面もしくはオブジェクトを示す肯定的な注釈、及び、前記ビデオ会議で表示されるべきでない前記ユーザ環境の面もしくはオブジェクトを示す否定的な注釈、の少なくとも一方を付されている。

第１４の態様は、第１０〜第１３の何れかの態様のビデオ会議制御システムであって、ユーザ環境において、前記第１カメラによって顔が検出されない場合に、前記第１カメラ及び前記第２カメラのオフディスプレイ環境のビデオを分析し、前記ビデオ会議で表示するフォーカス領域を検出する、ことを更に含み、前記第２カメラが、前記第１カメラよりも隠れが少ない前記フォーカス領域の画像であって、前記第１カメラよりも高品質な画像を撮影する場合に、前記ビデオ会議を前記第１カメラから前記第２カメラに切り替えるように制御することを含む。

第１５の態様は、ビデオ会議を入力及び表示する処理をプロセッサに実行させるためのプログラムであって、ユーザ環境において、第１カメラに対する顔の向きが、第２表示装置に接続されている第２カメラに対する顔の向きよりも正面から離れている場合、又は、
前記第１カメラにおいて前記顔の向きが検出できない場合であって、前記第２表示装置で入出力イベント及びアプリケーションイベントの少なくとも一方が検出されたとき、前記ビデオ会議を前記第２カメラに切り替える。

第１６の態様は、第１５の態様のプログラムであって、前記アプリケーションイベントは、オンラインアプリケーションの機能が前記第２表示装置でアクセスされている期間が予め定められた期間よりも長い場合、前記ビデオ会議を前記第２カメラに切り替える、ことを含む。

第１７の態様は、第１５の態様のプログラムであって、前記第２カメラに前記ビデオ会議を切り替えることは、前記第２カメラに切り替えることを判定してから予め定めた第１期間が経過した後に、もしくは、前記第２カメラに切り替えることを判定する前の予め定めた期間、他の切り替え動作が、前記第１カメラ及び前記第２カメラで実行されていない場合、前記第１カメラから前記第２カメラに、前記ビデオ会議への入力信号を切り替え、
前記第２カメラを介して、前記ビデオ会議にビデオを出力する、ことを、さらに含む。

第１８の態様は、第１５〜第１７の何れかの態様のプログラムであって、前記第１カメラ及び前記第２カメラの前記ユーザ環境は、前記ビデオ会議で表示されるべき前記ユーザ環境の面もしくはオブジェクトを示す肯定的な注釈、及び、前記ビデオ会議で表示されるべきでない前記ユーザ環境の面もしくはオブジェクトを示す否定的な注釈、の少なくとも一方を付されている。

第１９の態様は、第１５〜第１８の何れかの態様のプログラムであって、ユーザ環境において、前記第１カメラによって顔が検出されない場合に、前記第１カメラ及び前記第２カメラのオフディスプレイ環境のビデオを分析し、前記ビデオ会議で表示するフォーカス領域を検出する、ことを更に含み、前記第２カメラが、前記第１カメラよりも隠れが少ない前記フォーカス領域の画像であって、前記第１カメラよりも高品質な画像を撮影する場合に、前記ビデオ会議を前記第１カメラから前記第２カメラに切り替えるように制御することを含む。

マルチディスプレイユーザ環境におけるユーザのマルチタスクを補うことができる。

関連技術において、デュアルディスプレイ構成でのマルチタスク振る舞いに関与しているユーザを例示する。 例示的な実装において、デュアルディスプレイ構成で、ビデオ会議と、マルチタスク振る舞いと、に関与しているユーザを例示する。 例示的な実装によるカメラ選択システムに関連するプロセスを例示する。 例示的な実装によるカメラ選択システムに関連するプロセスを例示する。 例示的な実装によるカメラ選択システムに関連するプロセスを例示する。 例示的な実装のいくつかに適した例示的な環境を示す。 例示的な実装のいくつかでの使用に適した例示的な計算処理装置を含む例示的な計算処理環境を示す。

本発明の概念の他の特徴及び効果は、以下の詳細な説明及び図面を参照することでより明らかとなる。

例示的な実装の構造及び動作は、以下の詳細な説明及び添付の図面を検討することで理解される。図面において、同様の構成要素は同様の参照符号を付されている。

以下の詳細な説明は、本開示の詳細な図及び実施例を含む。複数の図面にわたる冗長な構成要素の参照符号及び説明は、説明を簡潔にするために省略する。説明にわたって使用される用語は、例示であり、限定を意図していない。例えば、用語「自動的」は、全自動もしくは、実装のある態様にわたってユーザもしくはオペレータによる制御が関与する半自動の実装を含み、本開示の実装を実行する際に所望される実装に依存する。さらに、例示的な実装において、用語「表示装置」は、モニタ、ディスプレイ、表示画面、ビデオ出力、もしくは、ユーザに対して表示を行う他のよく知られたデバイスを含み、これらは、内部カメラもしくは外部カメラと関連付けられていてもよい。また、用語「マウス」は、マウス、トラックボール、タッチパッド、ポインタもしくは他のよく知られたデバイスなどを含んでいてもよい。

また、ここでは、ユーザ間のユーザインターフェイスの共有を含む遠隔ユーザ間のオンライン会議のコンテキストで実装例について説明するが、例示的な実装はこれに限定されない。

したがって、本発明の概念と関連する方法及びシステムの例示的な実装は、遠隔協働ミーティングにおけるマルチカメラユーザ環境に関連するアクティビティを検出し、検出したアクティビティに基づくアクションを判定することに関連する。詳細には、例示的な実装は、現在のカメラを維持するか、ユーザ環境の他のカメラに切り替えるかを判定するために、表示装置でのアクティビティ、表示装置以外でのアクティビティ、ユーザの頭部の姿勢を検出することを含むが、例示的な実装はこれらに限定されない。

例示的な実装の態様は、複数のカメラ（例えば、ウェブカメラ）間で表示を切り替えるための、視覚的な合図（例えば、顔検出及び姿勢推定）及び表示装置でのユーザのアクティビティ（例えば、キーボードイベント、ポインティングデバイスイベント、所定のカメラと関連するオンラインアプリケーションとのインタラクション）の使用に関連する。詳細には、例示的な実装はユーザの態様の組み込み（例えば、個々のウェブカメラ参加者）及びユーザの注意が向けられている位置を推定するための関連するアクティビティ、及びシームレスな表示装置エクスペリエンスを提供することに関連する。また、例示的な実装は、ユーザの構成及びユーザのカメラの視野内の他の領域の注釈を組み込むことに関連する。

同様に、本発明の概念は、ユーザの注視に関連する。ハードウェアについては、２つのカメラが、ユーザの注視に関する判定を行うために使用されてもよい。また、深度カメラが頭部の向きを判定するために使用されてもよい。カメラは、ユーザが実行し、表示装置上で観察され得るアクティビティを受信し、コンピュータベースイベントを撮影する機能を有する。どのカメラもユーザの顔を撮影していない場合（例えば、マーカボードへのユーザ書き込み、スケルトン追跡によるユーザ移動などの物理的なアクティビティ、もしくは近くを歩く人などを撮影していない場合）、他のアクションが採られてもよい。例えば、ビデオ会議の出力から歩いている人の画像を取り除くことによって、ビデオ会議が行われている部屋の近くを歩く人を表示することを避けることができる。

例示的な実装の態様は、オフィス環境に関連する。以下の開示において、オフィス環境について説明するが、例示的な実装の範囲はこれに限定されない。本発明の範囲から逸脱することなく、他の環境に置き替えられてもよい。例えば、マルチカメラビデオ会議が行われる他の環境が、住居（例えば、戸建て、もしくはアパートの部屋）、車両（自動車の助手席）などの、遠隔ビデオ会議が行われるプライベートな環境、及び、パブリックな環境（例えば、パブリックミーティング領域、レストラン、カフェ、公園など）を含んでもよい。

この例示的な実装が「顔」の検出もしくはその態様に関するのに対し、目、歯、頭部の形状もしくはビデオ会議に参加しているユーザを識別する他の特徴が「顔」の代わりに用いられてもよい。「顔」及び他の特徴は、頭部の姿勢に基づいて他のユーザによって観察され得るマルチタスクの程度を判定するために、ビデオ会議に関与しているカメラにユーザが向かっている程度を判定するために用いられてもよい。

例示的な実装によるオフィス環境において、複数の表示装置が提供される。したがって、複数のカメラが実装される（例えば、表示装置毎に１つのカメラが実装される）。例えば、ビルトインカメラを有する表示装置が用いられてもよいし、バス（例えば、ユニバーサルシリアルバス（ＵＳＢ）など）を介して接続された外部カメラを有する表示装置が用いられてもよい。さらに、ビデオ会議システムがソフトウェア（例えば、メモリに保存された命令を含む非一時的コンピュータ可読媒体）によって提供される。

メモリの命令（例えば、ソフトウェア）は第１カメラと第２カメラとを切り替えるように構成されている（例えば、第１表示装置のカメラと第２表示装置のカメラとを切り替えるように構成されている）。この切り替えにより、ビデオ会議を観察しているユーザにビデオ会議に関与している印象を与える。例えば、頭部の姿勢及び注視追跡が、ユーザに関連するオンディスプレイ及びオフディスプレイの双方でのアクティビティの理解と組み合わされて実装される。

図２は、マルチ表示装置環境においてビデオ会議に関与するユーザを例示する。ビデオ会議が第１表示装置に表示されている場合に、入力（例えば、ユーザに関連する頭部の姿勢、注視追跡及び／もしくはアクティビティ）に基づいて、第２表示装置の情報を見ることによって、ユーザがマルチタスクを行っている可能性があることが判定される。したがって、ビデオ会議のカメラは第１表示装置のカメラから第２表示装置のカメラに切り替えられる。したがって、ユーザはビデオ会議に関与しているように見える。

例示的な実装として、２つの表示装置が提供され、表示装置の各々が付着されたウェブカメラを（例えば、表示装置の上部に）有し、表示装置の各々は一般的にコンピュータに接続されている（例えば、通信可能に及び／もしくは電子的に、直接的にもしくは間接的に接続されている）。動作の間、ユーザは、ビデオ会議に参加することを選択する場合があり、この場合、ビデオ会議ソフトウェアを実行する。例示的な実装によれば、ビデオ会議ソフトウェアが実行されると、２つのカメラは稼動され（例えば、オンされ）、サーバ側のモジュールにビデオをストリーミングする。モジュールは、他のユーザに対してビデオ会議アプリケーションを介してビデオを送信するために２つのカメラのどちらが選択されたか判定する。

上記した例示的な実装は２つの表示装置に関連しているが、本開示はこれに限定されない。他の構成に置き替えられてもよい。例えば、例示的な実装は、ビデオ会議ソフトウェアアプリケーションに一般的に接続されている、ラップトップコンピュータ及びタブレットもしくはスマートフォンなどの複数のデバイスからカメラを用いてもよい。

上記モジュールはマルチタスクによる負の印象を低減するように、ビデオ会議に対するユーザを最適に撮影するカメラを（必要であれば、デバイスも）判定してもよい。カメラ判定に関する技術については、以下で詳細に説明する。

上記例示的な実装について、ソフトウェアモジュール（例えば、カメラを選択する命令を含む非一時的コンピュータ可読媒体）、ハードウェア（例えば、論理ゲート、回路チップ）もしくはソフトウェアモジュールとハードウェアとの組み合わせとして実装される、プロセスを提供する。以下の例示的な実装において、ソフトウェア、ハードウェアもしくはソフトウェア及びハードウェアの組み合わせで実装されてもよいカメラ選択のプロセスが開示される。

例示的な実装によれば、様々なタイプの入力から情報を受信し、選択されるカメラに関する判定を行うために受信した情報を処理する、カメラ選択プロセスが実装される。様々なタイプの入力については、図３Ａ〜図３Ｃに例示し、以下で説明する。

様々な入力タイプ及び入力タイプの各々の入力、カメラ選択を判定するための入力情報を用いたプロセス、カメラ選択の判定に関する出力及びアクションを含む、カメラ選択システム３００の例示的な実装を図３Ａ〜図３Ｃに例示する。図３Ａはシステム３００の形態を提供する。また、図３Ｂ及び図３Ｃは、プロセスフローで以下に説明する例を示す。図３Ａ〜図３Ｃの例示的なシステム及びプロセスを以下に開示する。

入力タイプは、注視及び頭部姿勢追跡手段３０１、オンディスプレイアクティビティ監視及び／もしくは分析手段３０３及びオフディスプレイアクティビティ監視及び／もしくは分析手段３０５を含む。これらの手段３０１、３０３、３０５の各々については、以下で詳細に説明する。しかしながら、この例示的な実装は、本発明の範囲から逸脱することなく追加的な他のもしくは異なる入力タイプを含んでもよい。

注視及び頭部姿勢追跡手段３０１はこの例示的な実装について入力タイプとして用いられてもよい。例えば、ユーザの顔に最も近い正面で撮影するカメラから受信したビデオが、ユーザが見ている印象と共にビデオ会議で遠隔の観察者に提供される。これは、図１と比較して、例えば、図２で、示されている。

詳細には、例示的な実装によれば、カメラ３０７、３０９、３１１の一つもしくは複数で顔検出が用いられてもよい。注視及び頭部姿勢追跡手段は、選択した表示装置（例えば、カメラに関連する表示装置）のフレームの各々について画像頭部情報を収集してもよい。３つのカメラが図３Ａの例で開示されているが、本発明の概念はこの数に限定されない。より少ない数の、もしくはより多い数のカメラがよく知られた技術による顔検出に用いられてもよい。例えば、カメラ３０７、３０９、３１１の各々に顔検出が実装されてもよい。カメラ３０７、３０９、３１１は、第１表示装置に関連付けられている第１カメラ、第２表示装置に関連付けられている第２カメラ、及びモバイルデバイスカメラに関連付けられていてもよい。

図３Ａ〜図３Ｃにおいて、動作３１９で、カメラ３０７、３０９、３１１によって、ユーザの顔が検出できるか否か判定する。判定が肯定された場合、処理は、以下で説明するように動作３２１〜３２５でカメラを切り替えるか否か判定する。カメラ３０７、３０９、３１１がユーザの顔を検出できない場合、以下で説明するように、オフディスプレイ監視及び／もしくは分析手段３０５の情報が用いられる。

動作３２１で、以下で説明するように、最適な正面撮影に関連するカメラを判定する。ビデオ会議で用いられている現在のカメラが最適な正面画像を撮影すると判定された場合、現在のカメラをビデオ会議で用いるカメラとして維持するように、動作３２７で推奨し、ビデオカメラは動作３３７でビデオを送信する。ビデオ会議で用いられていない他のカメラが最適な正面撮影画像を有すると判定された場合、動作３２５で、アクティビティが短期間変化に関連するか否か判定する（例えば、予測される短期間注視による現在のカメラへのユーザの目の迅速な戻りに関連するか否か判定する）。動作３２５において、変化が短期間ではないと判定された場合、動作３２９で、切り替えが推奨される。続いて、動作３３１で「イン」タイマー閾値がオプションで使用され、動作３３３で、「アウト」タイマー閾値がオプションで使用される。動作３３５のカメラの切り替えに続いて、動作３３７で、ビデオカメラがビデオを送信する。動作３２５で、変化が短期間であると判定された場合、動作３２７で、切り替えないことが推奨される。

詳細には、動作３２１は以下の環境の一つもしくは複数を含むことができる。カメラ３０７、３０９、３１１の内１つのカメラだけがユーザの顔を検出した場合、そのカメラに関連付けられている表示装置の方向に頭部が向いている頭部の姿勢であると推定される。ユーザの顔を検出したカメラが現在ビデオ会議に使用されているカメラでない場合、この入力はプロセスに提供され、以下で説明するように、カメラを切り替える判定が行われる。例えば、（頭部の側方もしくは後方など、頭部の顔のない領域と対向する）カメラ３０７がユーザの顔（頭部）を検出した場合、ユーザはカメラ３０７に対面していると看做される。

カメラ３０７が進行中のビデオ会議で使用されていないが、他のカメラの１つ（例えば、カメラ３０９）が現在ビデオ会議に使用されているカメラである場合、ビデオ会議の他の参加者はユーザの顔を見ていない状態であり、上記関連する印象（例えば、マルチタスクもしくは注意散漫によりユーザの非関与がより明らかであるような印象）を観察する可能性がある。このような状況に対処するために、ビデオ会議において、ユーザの顔正面が観察されるように、また、マルチタスクアクティビティに拘わらず、ユーザがよりビデオ会議に関与しているように見えるように、カメラ３０９からカメラ３０７にビデオ会議で使用されているカメラを切り替えるように、プロセスにおいて決定が行われる。切り替え決定及び切り替え実装については、以下でより詳細に説明する。

視界に複数の顔が存在することをカメラが判定した場合、カメラの切り替えは推奨されない。複数の顔はビデオ会議における複数の参加者の存在を表しているためである。しかしながら、以下で説明する代替的な実施形態によれば、ユーザがビデオ会議に他のユーザが加わることを期待しないミーティングについてはこのような構成を変更することができる。この代替的な実施形態によれば、（例えば、ユーザからの入力に関してビデオ会議における他のユーザの表示をブランクにするように、もしくは他のユーザの顔を隠すようにプロセスを適用することによって、）ユーザは他のユーザを見せることを避けることができる。

ユーザは、意図せず、ビデオ会議に加わるカメラに第２の顔が入り、ビデオ会議の他の観察者の注意がそれることを避けることができる。例えば、追加的な顔は、作業領域に存在する他のユーザ（例えば、同僚または協働作業者が存在する多くの机もしくはキュービクルが存在する部屋での会議の場合）、もしくはビデオ会議領域の背後を移動する他のユーザ（例えば、廊下もしくは部屋の反対側、もしくは窓の外を歩いている他のユーザ）の顔であり得る。

２つ以上のカメラが１つの顔を検出し、その顔が同じユーザの顔であることが判定された場合、姿勢推定プロセスが実行される。姿勢推定プロセスにおいて、表示装置の各々に向けられている顔との相対的な角度が比較される。比較の結果に応じて、ビデオ会議で現在使用されているカメラがユーザの正面に最も近い角度を有するカメラである場合、プロセスはカメラを切り替えない、という決定を行う。

ビデオ会議で現在使用されているカメラがユーザの正面に最も近い角度を有さないカメラである場合、プロセスは、正面に最も近い角度を有するカメラにカメラを切り替える決定を行う。さらに、以下に説明するように、オンディスプレイ入力監視及び／もしくは分析手段３０３が決定に関与してもよい。

何れのカメラも顔を検出しない場合、頭部姿勢追跡手段は適切なカメラについて決定を行うことができない。この場合、オフディスプレイ監視及び／もしくは分析手段３０５が以下に説明するように考慮される。

頭部姿勢追跡手段３０１が、単独で、最適な正面画像を決定できない場合（例えば、正面画像が不明瞭である場合）、動作３２３は、オンディスプレイアクティビティ監視及び／もしくは分析手段３０３を用いて、最近の関連イベントを受信したカメラに関連する表示装置を決定するように、実行されてもよい。現在のカメラが最近の関連イベントを受信したことが判定された場合、動作３２７で、現在使用されているカメラをビデオ会議で使用するカメラとして維持することが推奨され、動作３３７で、当該ビデオカメラはビデオを送信する。他のカメラに接続されている表示装置が最近の関連イベントを受信したことが判定された場合、動作３２５で、アクティビティが短期間の変化（例えば、以下で説明するような、アプリケーションの機能もしくはタイプによる、現在のカメラへのユーザの目の切迫した戻り、など）に関連するか否かについて判定される。

動作３２５で、変化が短期的な変化ではないと判定された場合、動作３２９で切り替えが推奨され、その後、動作３３１で「イン」タイマー閾値及び動作３３３で「アウト」タイマー閾値がオプションで使用され、カメラ切り替え動作３３５の後、動作３３７でビデオカメラがビデオを送信する。動作３２５で、変化が短期的な変化であると看做された場合、動作３２７で、切り替えないように推奨される。動作３２３及び動作３２５については、以下でより詳細に説明する。

より詳細には、動作３２３に関して、カメラに関連付けられている表示装置でユーザが実行している進行中の計算処理アクティビティとカメラとの相互関係に基づいて、ビデオ会議について推奨されるアクティブなカメラ（例えば、ユーザの画像及び／もしくはビデオを送受信するためにビデオ会議で現在使用されているカメラ）であるとして、当該カメラは判定されてもよい。オンディスプレイアクティビティタイプは、表示装置、他の関連する表示装置もしくはカメラに関連付けられている入出力デバイスの各々について用いられてもよい。

例えば、ユーザがポインティングデバイスイベント３１３と関連付けられているポインティングデバイスとインタラクションしている場合（例えば、移動、ポインティング、スクローリングしている場合）、もしくは、表示装置のウィンドウで、キーボードイベント３１５と関連付けられているキーボードを介してタイピングしている場合、この情報は推奨されるカメラを決定するために使用され得る。本発明の範囲から逸脱することなく、他の入出力デバイス（例えば、タッチスクリーン、マウスパッド、トラックボール、ポインタなど）と置き換えることができる。イベントに関連する信号は、ビルトインデバイスセンサ（例えば、ジャイロスコープ、慣性測定ユニット、タッチスクリーンなどを有するモバイルデバイス）によって受信されてもよい。

即ち、ユーザインタラクション（例えば、マウス、キーボードもしくは他の入出力デバイスなどのポインティングデバイスによる）が、ビデオ会議で現在使用されているカメラではないカメラと関連付けられている場合、入出力イベント及びデバイスと関連付けられている表示装置をユーザが能動的に見ている可能性が高い。したがって、表示装置に関連付けられているカメラに切り替えられるべきであることが判定され得る。

さらに、動作３２５に関して、ユーザが、現在ビデオ会議と関連付けられているカメラを有する表示装置とインタラクションしている場合、システムは、ユーザが現在インタラクションしている（おそらく見ている）アプリケーションイベント３１７に関連付けられているアプリケーションと関連付けられている情報も使用し得る。この情報はアプリケーションとのインタラクションをユーザが継続し、表示装置の部分を見る期間を推定するために使用される。推定された期間が閾値よりも短い場合、システムは、カメラの切り替えを避けるように決定を行う。

例えば、イベントが、ユーザインターフェイスを有するオンライン電子メールアプリケーションが、新しい電子メールが到着したことを示すことであり、ユーザが能動的に当該アプリケーションに関与している場合、着信電子メール報知機能が使用されていることが判定され得る。着信電子メール報知はユーザが見て、ユーザの注視がビデオ会議に迅速に戻される可能性があるアプリケーションの機能であると看做されるため、カメラは切り替えないように決定する。

しかしながら、ユーザが着信電子メールの報知をアクティベートし（例えば、クリックし）、電子メールを開いた場合、このタイプのイベントは、ユーザの時間をより多く必要とし、ユーザの注視はアプリケーション上に維持される可能性がより高いと看做される。したがって、プロセスは、アプリケーションに関連付けられている表示装置のカメラが現在使用されているカメラでない場合、当該カメラに切り替えるべきであることを判定する。

上記したオンライン電子メールアプリケーションの例は一つの例に過ぎず、ユーザがインタラクションする可能性がある他のアプリケーションと置き替えられてもよい。例えば、ブラウザ、ワードプロセッサ、スプレッドシート、プレゼンテーションもしくは設計ツールなどのアプリケーション、もしくは他のアプリケーションと置き替えられてもよい。

同様に、アプリケーションの機能もしくは特徴とユーザが当該アプリケーションにアクティブに関与する時間量とを関連付ける規則ベースが適用されてもよい。また、アプリケーションとのユーザインタラクションに基づいてカメラ切り替え決定を行うか否かに関する一つもしくは複数の規則が存在してもよい。このような規則は、ビデオ会議イベントの間、表示装置で用いられてもよいアプリケーションの規則ベースを生成するために、手動で、もしくは自動で決定されてもよい。アプリケーションからの情報は（例えば、オペレーティングシステム、ビデオ会議ソフトウェア、もしくは他の処理によって、）システムに提供されてもよい。アプリケーション情報を取得するために、オンディスプレイアクティビティ認識手段はリスニングループを含んでいてもよい。

以下に説明するように、頭部及び注視姿勢追跡手段３０１及びオンディスプレイアクティビティ監視及び分析手段３０３と共に、オフディスプレイアクティビティ入力タイプが判定に加えられてもよい。

動作３３１及び３３３については、以下で詳細に説明する。

例示的な実装によれば、ユーザの注視の小さな変化（例えば、第２の表示装置を迅速に見る）に基づいて、第１のカメラから第２のカメラに切り替えるように、判定が行われてもよい。しかしながら、この判定は、ビデオ会議の遠隔参加者にとってたいへん不愉快なエクスペリエンスとなる（例えば、カメラが痙攣したような振る舞いとなる）可能性がある。この状況に対処するために、以下に説明するように、スイッチイン及びスイッチアウト閾値が用いられてもよい。

第１の代替的な実装によれば、上記状況は、切り替えが受け入れられる前に少なくともｎミリ秒のカメラ切り替え余裕（例えば、スイッチイン閾値＝５００ミリ秒）を設定することで対処可能である。第２の代替的な実装によれば、カメラを切り替えた後、少なくともｍミリ秒（例えば、スイッチアウト閾値１０００ミリ秒）などの所定の期間の間、他のカメラへの切り替えを許可しないことで対処可能である。これらの基準によれば、切り替えは、ユーザの注視が最小期間の間移動した場合にのみ行われ、カメラの視界は、少なくともある最小期間の間、元に戻らないことが保証される。基準は、別個に用いられてもよいし、併せて用いられてもよい。また、カメラ間の遷移に、ハード的なスイッチの代わりに、クロスフェードなどの効果が適用されてもよい。

上記したように、動作３１９で、頭部姿勢追跡手段３０１がユーザの顔を検出できないと判定した場合、オフディスプレイ監視及び／もしくは分析手段３０５が実装される。動作３３９で、ビデオ会議に関連付けられている現在のカメラが、ビデオ会議についてプライベートであるとユーザが看做すアクティビティを獲得しているか、不適切であるとユーザが看做すアクティビティを獲得しているか、ユーザの嗜好（ユーザは予め情報を入力してもよいし、もしくは、以下で詳細に説明するように、他の顔の存在がこの環境に含まれることを示してもよい）に基づいて判定する。現在のカメラが当該アクティビティを含む場合、動作３３５で、カメラは切り替えられ、プライバシーを保護し、ビデオ会議における他の参加者による妨害を避ける。続いて、動作３３７で、新しく決定されたビデオ会議カメラからビデオを送信する。現在のカメラがプライベートなアクティビティを含まない場合、動作３４１で、ユーザの領域でオフディスプレイアクティビティの何れかがあるか否か判定する。判定が否定された場合、動作３２７で、カメラを切り替えないよう推奨される。判定が肯定された場合、動作３４３で、ビデオ会議で使用されている現在のカメラにおいて、オフディスプレイアクティビティがあるか否か判定される。判定が否定された場合、動作３２９で、カメラを切り替えるように推奨され、上記したように、動作３３１、３３３、３３５、３３７の切り替えプロセスが開始される。ビデオ会議で使用されている現在のカメラにおいてオフディスプレイアクティビティがある場合、動作３２７で、カメラを切り替えないように推奨される（例えば、ボードの使用など）。

これらの動作３３９〜３４３については、以下で詳細に説明する。

上記したように、オフディスプレイアクティビティ監視及び／もしくは分析手段３０５によれば、カメラ３０７、３０９、３１１の何れもユーザの顔が正面であることを判定できない場合、上記したように、どのカメラを使用するかについての決定は、オンディスプレイアクティビティ監視及び／もしくは分析手段３０３によって実行されてもよいし、ここで説明するように、オフディスプレイアクティビティ監視及び／もしくは分析手段３０５によって実行されてもよい。例えば、ビデオ会議の遠隔参加者に対して、視覚的なデモを提供するために、物理的なボード（例えば、マーカボード、黒板、ホワイトボードなど）に何かを描くために、ユーザは自分が座っている椅子を物理的に回転させてもよい。

例示的な実装によれば、カメラ３０７、３０９、３１１の視界は、縦方向面でのインタラクション（例えば、ボードに何かを描く）を推定するために用いられてもよく、ボードへの書き込み内容が遠隔参加者によりよく見える視界を提供するカメラを選択する。例えば、ボードの正面のカメラ、ユーザまたは椅子などの他のオブジェクトによる隠れが最小のカメラ、グレア、明るさ、コントラスト、明瞭さもしくはこれらのファクタの組み合わせなどのパラメータのパラメータ評価が最高のカメラが最適な視界を提供するカメラであると、システムは判定してもよい。

ボードに関連した例は、単に例示を目的としており、ユーザの周囲に関連付けられている空間を利用する他の例と、本発明の範囲から逸脱することなく置き替えることができる。また、以下に説明するように、ユーザの背後の空間についての情報は、構成及び空間注釈プロセスのためにユーザによって提供され得る。

上記例示的なシステム及びプロセスに加えて、ユーザは、以下に説明するような一つもしくは複数の態様を構成し得る。例示的な構成によれば、ユーザはビデオ会議システムのアカウントの設定に、ビデオ会議の間使用され得るユーザの空間に関連付けられている情報を含む構成を、含めることができる。例えば、ユーザは、オンラインカメラ画像上のユーザの物理的な空間内の位置に注釈を付けることができる。例示的な実装によれば、ユーザは、複数のカメラの各々から当該空間の視界（例えば、写真）を提供される。

次に、ユーザは、一つもしくは複数のカメラの視界における異なるオブジェクト、領域、もしくは面をクリックし、当該視界に（例えば、肯定的な、もしくは否定的な）注釈を付けることができる。例えば、肯定的な注釈は、ビデオ会議の間、ユーザが表示装置と対面していない、もしくは、表示装置の何れともインタラクションしていない場合、例示的な実装が、面またはオブジェクトを表示すべきことを示してもよい。ユーザが肯定的な注釈を付ける可能性がある面の例は、ホワイトボード、テーブルトップなどを含むことができる。一方、ビデオ会議の間、ユーザが表示装置に対面していない、もしくは表示装置の何れともインタラクションしていない場合、例示的な実装は当該領域の表示装置を避けるべきであることを示してもよい。ユーザが否定的な注釈を付けることを所望する領域の例は、例えば、廊下に通じる扉もしくは窓などを含む。

ユーザによる異なる例示的な構成は、例示的な実装が、複数のカメラにおける複数の顔の外観をどのように処理するか、に関連する。例えば、１つのカメラがユーザだけを撮影し、第２のカメラが第２の人（例えば、同じ部屋にいる協働作業者もしくはオフィスの傍を通る人）を撮影する場合、ユーザはシステムがユーザだけを撮影するカメラを好むべきであることを示すことができる。これにより、例えば、他の人のプライバシーを保護することができ、ビデオ会議の間、注意が逸らされることを避けることができる。

図４は、例示的な実装のいくつかに適した例示的な環境を示す。環境４００はデバイス４０５〜４４５を含み、デバイスの各々は、例えば、ネットワーク４５０を介して（例えば、有線接続及び／もしくは無線接続によって）、少なくとも１つの他のデバイスに通信可能に接続されている。デバイスのいくつかは、ストレージデバイス４３０及び４４５の一つもしくは複数に通信可能に接続されていてもよい。

デバイス４０５〜４４５の一つもしくは複数の例示は、図５に示される計算処理デバイス５０５であってよい。デバイス４０５〜４４５は、表示装置及び上記した関連付けられているウェブカメラを有するコンピュータ４０５（例えば、ラップトップ計算処理デバイス）、モバイルデバイス４１０（例えば、スマートフォンもしくはタブレット）、テレビ４１５、乗り物４２０と関連付けられているデバイス、サーバコンピュータ４２５、計算処理デバイス４３５〜４４０、ストレージデバイス４３０及び４４５、などを含んでいてもよい。上記説明したように、ユーザのミーティング環境は多様であり、オフィス環境に限定されない。

実装のいくつかにおいて、デバイス４０５〜４２０は企業のユーザに関連付けられているユーザデバイスであると看做されてもよい。デバイス４２５〜４４５は、サービスプロバイダに関連付けられているデバイスであってよい。（サービスプロバイダは、例えば、図３Ａ〜図３Ｃに関連して上記説明したサービスを提供する外部ホストによって使用され、及び／もしくは、ウェブページ、テキスト、テキスト部分、画像、画像部分、音声、音声セグメント、ビデオ、ビデオセグメント、及び／もしくはこれらに関する情報などのデータを記憶する。）

図５は、例示的な実装のいくつかにおいて使用する外部ホストに関連付けられている例示的な計算処理デバイスを含む計算処理環境を例示する。計算処理環境５００の計算処理デバイス５０５は、一つもしくは複数の処理ユニット、コア、もしくはプロセッサ５１０、メモリ５２５（例えば、ＲＡＭ、ＲＯＭなど）、内部ストレージ５２０（例えば、磁気、光、ソリッドステートストレージ及び／もしくは有機）及び／もしくは入出力インターフェイス５１５を含み、これらの何れかを情報を伝達するために通信機構もしくはバス５３０に接続し、または、計算処理デバイス５０５に埋め込んでいてもよい。

計算処理デバイス５０５は、入力／ユーザインターフェイス５３５及び出力デバイス／インターフェイス５４０に、通信可能に、接続されていてもよい。入力／ユーザインターフェイス５３５及び出力デバイス／インターフェイス５４０の何れか一方、もしくは双方は、有線または無線インターフェイスであってよく、取り外し可能である。入力／ユーザインターフェイス５３５は、入力を提供する任意のデバイス、コンポーネント、センサ、もしくはインターフェイス、物理的または仮想的なデバイス（例えば、ボタン、タッチスクリーンインターフェイス、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字手段、モーションセンサ、オプティカルリーダーなど）を含み得る。

出力デバイス／インターフェイス５４０は表示装置、テレビ、モニタ、プリンタ、スピーカ、点字手段などを含み得る。例示的な実装のいくつかにおいて、入力／ユーザインターフェイス５３５及び出力デバイス／インターフェイス５４０は計算処理デバイス５０５に物理的に接続されるか、埋め込まれていてもよい。他の例示的な実装において、他の計算処理デバイスは、計算処理デバイス５０５の入力／ユーザインターフェイス５３５及び出力デバイス／インターフェイス５４０として機能してもよいし、これらのインターフェイスの機能を提供してもよい。

計算処理デバイス５０５の例は、高度なモバイルデバイス（例えば、スマートフォン、乗り物及び他の機械のデバイス、人及び動物によって運ばれるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）及び移動可能に設計されていないデバイス（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、一つもしくは複数のプロセッサが埋め込まれているテレビ、一つもしくは複数のプロセッサに接続されているラジオなど）を含み得る。

計算処理デバイス５０５は、外部ストレージ５４５及びネットワーク５５０に（例えば、入出力インターフェイス５１５を介して、）通信可能に、同一のもしくは異なる構成の一つもしくは複数の計算処理デバイスを含む、任意の数のネットワーク接続されたコンポーネント、デバイス及びシステムと情報の伝達を行うように、接続されていてもよい。計算処理デバイス５０５もしくは任意の接続された計算処理デバイスは、サーバ、クライアント、シンサーバ、汎用機械、特定目的マシン、もしくは他のラベルとして機能し、これらとして参照され、これらのサービスを提供してもよい。

入出力インターフェイス５１５は、音声及び／もしくはデータネットワークを介して、無線通信を促進する（図示しない）無線通信コンポーネントを含んでいてもよい。無線通信コンポーネントは、一つもしくは複数のアンテナ、無線システム、ベースバンドシステムもしくはこれらの組み合わせなどを含んでいてもよい。無線周波数（ＲＦ）信号は、無線システムの管理下において、アンテナシステムによって空中で送受信され得る。

入出力インターフェイス５１５は、計算処理環境５００において接続されたコンポーネント、デバイス、及びネットワークの全てに、及び／もしくは、これらの全てから情報を伝達するために、任意の通信、入出力プロトコルもしくは標準規格（例えば、イーサネット（登録商標）、８０２．１１ｘ、ＵＳＢ、ＷｉＭａｘ、モデム、携帯電話ネットワークプロトコルなど）を用いて、有線及び／もしくは無線インターフェイスを含み得る。ネットワーク５５０は、任意のネットワークまたはネットワーク（例えば、インターネット、ＬＡＮ、ＷＡＮ、電話回線、携帯電話ネットワーク、衛星ネットワークなど）の組み合わせであってよい。

計算処理デバイス５０５は、一時的媒体及び非一時的媒体を含むコンピュータ利用可能もしくはコンピュータ可読媒体を用い、及び／もしくは、これらを用いて情報を伝達することができる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）及び他の不揮発性ストレージもしくはメモリを含む。

計算処理デバイス５０５は、例示的な計算処理環境のいくつかにおいて、技術、方法、アプリケーション、プロセス、もしくはコンピュータ実行可能命令を実装するために使用され得る。コンピュータ実行可能命令は、一時的媒体から取り出され、非一時的媒体に保存され、非一時的媒体から取り出されてもよい。実行可能命令は、プログラミング言語、記述言語、及び機械言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）及び他の言語）の何れかの一つもしくは複数によって記載されていてもよい。

プロセッサ５１０は、自然環境もしくは仮想環境において、（図示しない）任意のオペレーティングシステム（ＯＳ）の下で稼動され得る。論理ユニット５６０、アプリケーションプログラミングインターフェイス（ＡＰＩ）ユニット５６５、入力ユニット５７０、出力ユニット５７５、入力受信ユニット５８０、切り替え判定ユニット５８５、及びアクションユニット５９０及び、異なるユニット間で相互に情報を伝達するための内部ユニット通信機構５９５を含む、一つもしくは複数のアプリケーションが、（図示しない）ＯＳと共に、及び、他のアプリケーションと共に展開され得る。例えば、入力受信ユニット５８０、切り替え判定ユニット５８５、及びアクションユニット５９０は図３Ａ〜図３Ｃに示される一つもしくは複数のプロセスを実装してもよい。上記ユニット及びエレメントは、設計、機能、構成もしくは実装において変動可能であり、上記に限定されない。

例示的な実装のいくつかにおいて、情報または実行命令がＡＰＩユニット５６５によって受信されると、一つもしくは複数の他のユニット（例えば、論理ユニット５６０、入力ユニット５７０、出力ユニット５７５、入力受信ユニット５８０、切り替え判定ユニット５８５及びアクションユニット５９０）との間で通信し得る。

入力受信ユニット５８０は、ＡＰＩユニット５６５を介して、頭部姿勢追跡手段３０１、オンディスプレイアクティビティ監視及び／もしくは分析手段３０３及びオフディスプレイアクティビティ監視及び／もしくは分析手段３０５の入力情報を提供するために、切り替え判定ユニット５８５とインタラクションしてもよい。ＡＰＩユニット５６５を用いて、切り替え判定ユニット５８５は、カメラが切り替えられ、ビデオ会議のために新しいカメラが使用されるべきか否かに関する判定を行うために、アクションユニット５９０とインタラクションしてもよい。これにより、アクションユニット５９０は、カメラの切り替え及び、ビデオの送信などに関連する動作３３１〜３３７を実行してもよい。

いくつかの例において、論理ユニット５６０は、上記した例示的な実装におけるユニット間の情報フローを制御し、ＡＰＩユニット５６５、入力ユニット５７０、出力ユニット５７５、入力受信ユニット５８０、切り替え判定ユニット５８５及びアクションユニット５９０によって提供されるサービスを管理するように構成されていてもよい。例えば、一つもしくは複数のプロセスもしくは実装のフローは、論理ユニット５６０単独で制御されてもよいし、ＡＰＩユニット５６５との組み合わせで制御されてもよい。

詳細な説明のいくつかの部分は、コンピュータ内の動作を表すアルゴリズム及び象徴的表現で提示される。これらのアルゴリズム的な記述及び象徴的表現は、発明の骨子を伝えるために使用される手段である。アルゴリズムは、所望の最終状態もしくは結果を導くために定義された動作のシリーズである。例示的な実装において、実行される動作は、実体的な結果を達成するために実体的な量の物理的な操作を要求する。

特定の記載がない限り、説明から明らかなように、「処理する」、「計算処理する」、「計算する」、「判定する」、「表示する」などの用語を用いた説明は、全体にわたって、コンピュータシステムのレジスタ及びメモリの物理的な（電子的な）量として表されるデータを操作して、コンピュータシステムのメモリ、レジスタ、もしくは他の情報ストレージデバイス、情報伝送デバイス、情報表示デバイス内の物理的な量として表される同様の他のデータに、これらを変換するコンピュータシステムもしくは他の情報処理デバイスのアクション及びプロセスを含むことができる。

例示的な実装は、動作を実行するための装置に関連してもよい。この装置は、要求された目的のために特別に構成されてもよく、一つもしくは複数のコンピュータプログラムによって選択的にアクティベートされる、もしくは再構成される一つもしくは複数の汎用目的コンピュータを含んでいてもよい。このようなコンピュータプログラムは、コンピュータ可読ストレージ媒体もしくはコンピュータ可読信号媒体などのコンピュータ可読媒体に保存されていてもよい。

コンピュータ可読ストレージ媒体は、光ディスク、磁気ディスク、リードオンリーメモリ、ランダムアクセスメモリ、ソリッドステートデバイス及び電子的な情報の保存に適した他の任意のタイプの実体的な、もしくは非一時的な媒体などの実体的な媒体を含み得る。コンピュータ可読信号媒体は、搬送波などの媒体を含み得る。ここで提示されるアルゴリズム及び表示は、任意の特定のコンピュータもしくは他の装置に固有に関連するものではない。コンピュータプログラムは、所望の実装の動作を実行する命令を含む純粋ソフトウェア実装を含み得る。

様々な汎用目的システムは、例に従って、プログラム及びモジュールと共に使用されてもよく、所望の方法動作を実行するためにより特殊化された装置を構成することが適切であることが示される場合もある。加えて、例示的な実装は任意の特定のプログラミング言語を参照して説明されない。様々なプログラム言語を使用して、上記例示的な実装の教示を実装することができる。プログラム言語の命令は、一つもしくは複数のデバイス、例えば、中央処理ユニット（ＣＰＵ）、プロセッサ、コントローラなどによって実行され得る。

上記動作は、ハードウェア、ソフトウェア、もしくはハードウェア及びソフトウェアの組み合わせによって実行され得る。例示的な実装の様々な態様が、回路及び論理デバイス（ハードウェア）を用いて実装可能であるが、他の態様は、命令がプロセッサによって実行され、本アプリケーションの実装を実行するための方法をプロセッサに実行させる場合、機械可読媒体に保存された当該命令（ソフトウェア）を用いて実装可能である。

また、本アプリケーションの例示的な実装のいくつかは、ハードウェアのみで実行され、他の例示的な実装はソフトウェアのみで実行されてもよい。また、記述された様々な機能は単一のユニットで実行されてもよいし、任意の数の方法で、複数のコンポーネントにわたって分散されて実行されてもよい。ソフトウェアによって実行される場合、方法は、汎用目的コンピュータなどのプロセッサによって、コンピュータ可読媒体に保存された命令に基づいて実行されてもよい。所望されるならば、命令は、圧縮及び／もしくは暗号化されたフォーマットで媒体に保存されてもよい。

例示的な実装は、関連技術との間に様々な差異を有してもよいし、関連技術と異なる効果を有していてもよい。例えば、関連技術に関して上記したようにＪａｖａｓｃｒｉｐｔによるウェブページの計装と反対に、ビデオドキュメントにおいて、テキスト及びマウス（例えば、ポインティング）アクションが検出され、分析されてもよい。

また、本アプリケーションの他の実装は、本アプリケーションの教示の詳細及び実行を検討すれば、明らかである。上記例示的な実装の様々な態様及び／もしくはコンポーネントは単一でもしくは組み合わせて使用されてもよい。詳細な説明及び例示的な実装は説明のためのものであり、本アプリケーションの真の範囲及び思想は請求項に示される。

４００ 環境
４０５ コンピュータ
４５０ ネットワーク
５０５ 計算処理デバイス
５１０ プロセッサ
５２５ メモリ
５５０ ネットワーク

Claims (19)

1. 第１表示装置に接続された第１カメラによって撮影されるビデオ会議を制御する方法であって、
   プロセッサが、
   ユーザ環境において、前記第１カメラに対する顔の向きが、第２表示装置に接続されている第２カメラに対する顔の向きよりも正面から離れている場合、又は、
   前記第１カメラにおいて前記顔の向きが検出できない場合であって、前記第２表示装置で入出力イベント及びアプリケーションイベントの少なくとも一方が検出されたとき、前記ビデオ会議を前記第２カメラに切り替える、
   ビデオ会議制御方法。
2. 前記入出力イベントは、前記第２表示装置上でのカーソルアクティビティに関連するポインティングデバイスアクション及びキーボードアクションの少なくとも一方を含む、
   請求項１に記載のビデオ会議制御方法。
3. 前記アプリケーションイベントは、
   オンラインアプリケーションの機能が前記第２表示装置でアクセスされている期間が予め定められた期間よりも長い場合、前記ビデオ会議を前記第２カメラに切り替える、
   請求項２に記載のビデオ会議制御方法。
4. 前記ビデオ会議を前記第２カメラに切り替えることは、
   前記第２カメラに切り替えることを判定してから予め定めた第１期間が経過した後に、前記第１カメラから前記第２カメラに、前記ビデオ会議への入力信号を切り替え、
   前記第２カメラを介して、前記ビデオ会議に、ビデオを出力する、
   ことをさらに含む、
   請求項１〜請求項３の何れか１項に記載のビデオ会議制御方法。
5. 前記第２カメラに前記ビデオ会議を切り替えることは、
   前記第２カメラに切り替えることを判定する前の予め定めた期間、他の切り替え動作が、前記第１カメラ及び第２カメラで実行されていない場合、
   前記第１カメラから前記第２カメラに、前記ビデオ会議への入力信号を切り替え、
   前記第２カメラを介して、前記ビデオ会議にビデオを出力する、
   ことをさらに含む、
   請求項１〜請求項４の何れか１項に記載のビデオ会議制御方法。
6. 前記第１カメラ及び前記第２カメラの前記ユーザ環境は、前記ビデオ会議で表示されるべき前記ユーザ環境の面もしくはオブジェクトを示す肯定的注釈、及び、前記ビデオ会議で表示されるべきでない前記ユーザ環境の面もしくはオブジェクトを示す否定的注釈の少なくとも一方を付されている、
   請求項１〜請求項５の何れか１項に記載のビデオ会議制御方法。
7. 前記肯定的注釈は前記第１カメラ及び前記第２カメラに関連付けられていない前記ユーザ環境の表示板に関連付けられており、
   前記否定的注釈は表示されるべきではない出入り口もしくは窓の領域、もしくは他のユーザと関連付けられている、
   請求項６に記載のビデオ会議制御方法。
8. ユーザ環境において、前記第１カメラによって顔が検出されない場合に、前記第１カメラ及び前記第２カメラのオフディスプレイ環境のビデオを分析し、前記ビデオ会議で表示するフォーカス領域を検出することを更に含み、
   前記第２カメラが、前記第１カメラよりも隠れが少ない前記フォーカス領域の画像であって、前記第１カメラよりも高品質な画像を撮影する場合に、前記ビデオ会議を前記第１カメラから前記第２カメラに切り替えるように制御することを含む、
   請求項１〜請求項７の何れか１項に記載のビデオ会議制御方法。
9. 予め定められた期間よりも短い期間、前記顔の向きが前記第１カメラで前記第２カメラよりも正面から離れている場合、もしくは、ビデオ分析及びフォーカス領域の検出が前記第２表示装置で発生した場合、前記第２カメラに前記ビデオ会議を切り替えない、
   請求項１〜請求項８の何れか１項に記載のビデオ会議制御方法。
10. ユーザ環境において、第１表示装置に接続されている第１カメラ及び第２表示装置に接続されている第２カメラと、
    前記第１カメラ及び前記第２カメラに隣接し、前記第１カメラ及び前記第２カメラに接続されていない少なくとも１つの物理的な表示面を有する、ユーザ環境と、
    プロセッサと、
    を含み、
    前記プロセッサは、
    （ａ）前記第１カメラに対する顔の向きが前記第２カメラに対する顔の向きよりも正面から離れている場合、もしくは、（ｂ）前記第１カメラにおいて顔の向きが検出できない場合であって、前記第２表示装置で入出力イベント及びアプリケーションイベントの少なくとも一方が検出されたとき、ビデオ会議を前記第２カメラに切り替える、
    ビデオ会議制御システム。
11. 前記アプリケーションイベントは、
    前記プロセッサが、
    前記第２表示装置でオンラインアプリケーションの機能がアクセスされている期間が予め定められた期間よりも長い場合、前記ビデオ会議を前記第２カメラに切り替える、
    ことを含む、
    請求項１０に記載のビデオ会議制御システム。
12. 前記プロセッサは、
    前記第２カメラに切り替えることを判定し、
    前記第２カメラに切り替えることを判定してから予め定めた第１期間を経過した後に、もしくは、前記第２カメラに切り替えることを判定する前の予め定めた期間、他の切り替え動作が、前記第１カメラ及び前記第２カメラで実行されていない場合、
    前記第１カメラから前記第２カメラに、前記ビデオ会議への入力信号を切り替え、
    前記第２カメラを介して、前記ビデオ会議に、ビデオを出力する、
    ことにより、
    前記第２カメラに前記ビデオ会議を切り替える、
    請求項１０に記載のビデオ会議制御システム。
13. 前記第１カメラ及び前記第２カメラの前記ユーザ環境は、前記ビデオ会議で表示されるべき前記ユーザ環境の面もしくはオブジェクトを示す肯定的な注釈、及び、前記ビデオ会議で表示されるべきでない前記ユーザ環境の面もしくはオブジェクトを示す否定的な注釈、の少なくとも一方を付されている、
    請求項１０〜請求項１２の何れか１項に記載のビデオ会議制御システム。
14. ユーザ環境において、前記第１カメラによって顔が検出されない場合に、
    前記第１カメラ及び前記第２カメラのオフディスプレイ環境のビデオを分析し、
    前記ビデオ会議で表示するフォーカス領域を検出する、
    ことを更に含み、
    前記第２カメラが、前記第１カメラよりも隠れが少ない前記フォーカス領域の画像であって、前記第１カメラよりも高品質な画像を撮影する場合に、前記ビデオ会議を前記第１カメラから前記第２カメラに切り替えるように制御することを含む、
    請求項１０〜請求項１３の何れか１項に記載のビデオ会議制御システム。
15. ユーザ環境において、第１カメラに対する顔の向きが、第２表示装置に接続されている第２カメラに対する顔の向きよりも正面から離れている場合、又は、
    前記第１カメラにおいて前記顔の向きが検出できない場合であって、前記第２表示装置で入出力イベント及びアプリケーションイベントの少なくとも一方が検出されたとき、ビデオ会議を前記第２カメラに切り替える、
    ビデオ会議を入力及び表示する処理をプロセッサに実行させるためのプログラム。
16. 前記アプリケーションイベントは、
    オンラインアプリケーションの機能が前記第２表示装置でアクセスされている期間が予め定められた期間よりも長い場合、前記ビデオ会議を前記第２カメラに切り替える、
    ことを含む、
    請求項１５に記載のプログラム。
17. 前記第２カメラに前記ビデオ会議を切り替えることは、
    前記第２カメラに切り替えることを判定してから予め定めた第１期間が経過した後に、もしくは、前記第２カメラに切り替えることを判定する前の予め定めた期間、他の切り替え動作が、前記第１カメラ及び前記第２カメラで実行されていない場合、
    前記第１カメラから前記第２カメラに、前記ビデオ会議への入力信号を切り替え、
    前記第２カメラを介して、前記ビデオ会議にビデオを出力する、
    ことを、さらに含む、
    請求項１５に記載のプログラム。
18. 前記第１カメラ及び前記第２カメラの前記ユーザ環境は、前記ビデオ会議で表示されるべき前記ユーザ環境の面もしくはオブジェクトを示す肯定的な注釈、及び、前記ビデオ会議で表示されるべきでない前記ユーザ環境の面もしくはオブジェクトを示す否定的な注釈、の少なくとも一方を付されている、
    請求項１５〜請求項１７の何れか１項に記載のプログラム。
19. ユーザ環境において、前記第１カメラによって顔が検出されない場合に、
    前記第１カメラ及び前記第２カメラのオフディスプレイ環境のビデオを分析し、
    前記ビデオ会議で表示するフォーカス領域を検出する、
    ことを更に含み、
    前記第２カメラが、前記第１カメラよりも隠れが少ない前記フォーカス領域の画像であって、前記第１カメラよりも高品質な画像を撮影する場合に、前記ビデオ会議を前記第１カメラから前記第２カメラに切り替えるように制御することを含む、
    請求項１５〜請求項１８の何れか１項に記載のプログラム。