JP2016506669A

JP2016506669A - プライバシー・モードのあるカメラ

Info

Publication number: JP2016506669A
Application number: JP2015549724A
Authority: JP
Inventors: カトラー，ロス; メーラン，ラミン
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2012-12-20
Filing date: 2013-12-19
Publication date: 2016-03-03
Also published as: CN108184086A; US20150334348A1; US20170301067A1; KR20150097536A; WO2014100455A1; US9729824B2; CN104982029A; CN108234920B; EP2920958A1; CN108234920A; US20140176663A1; US9124762B2; US10181178B2; US10789685B2; CN104982029B; KR102174767B1; US20180365809A1

Abstract

カメラのアレイを含むライトフィールド・カメラまたはRGBZカメラのようなプライバシー・カメラは、選択されたプライバシー・モードに従って、画像を捕捉し、画像を表示するために使われる。プライバシー・モードは、ぼかし背景モードおよび背景置換モードを含んでいてもよく、ミーティング型、参加者、位置および装置型に基づいて自動的に選択されることができる。関心領域および／または関心オブジェクト（たとえば前景における一または複数の人）が判別され、プライバシー・カメラは、明瞭に関心領域／オブジェクトを示すとともに、選択されたプライバシー・モードに従って背景を曖昧にするまたは置換するよう構成される。表示される画像は、明瞭に示される（たとえば焦点が合っている）関心領域／オブジェクトと、限られた被写界深度をもって示される（たとえば、ぼけた／焦点が合っていない）組み合わされた画像の背景および／または別の画像および／または充填物で置換された背景中の任意のオブジェクトとを含む。

Description

ビデオ会議は、家庭でも職場でもますます一般的になりつつある。しかしながら、多くのユーザーは、共有される職場または家庭環境において自分の背景を他の参加者に明瞭に見えるようにすることを望まないことがある。たとえば、背景がちらかっている、注意をそらす、秘密情報を含んでいるなどがありうる。

いくつかのビデオ会議システムは背景置換（たとえばグリーン・スクリーン／静的な背景）を使うまたはぼかし機能を含むことがあるが、これらの方法は実装するのが難しいことがある（たとえば緑のスクリーンを必要とする）か、シーン内のコンテンツの表示に悪影響を与える（たとえば著しい画像アーチファクトをもつ）ことがある。

この概要は、下記の詳細な説明においてさらに説明される概念のセレクションを単純化した形で紹介するために与えられている。この概要は、特許請求される主題のキーとなる特徴または本質的な特徴を同定するために意図されたものではなく、特許請求される主題の範囲を決定するために補助として使われることも意図されていない。

カメラのアレイを含むライトフィールド・カメラまたはRGBZ（RGB＋奥行き）カメラ（単数または複数）のようなプライバシー・カメラは、選択されたプライバシー・モードに従って、画像を捕捉し、画像を表示するために使われる。プライバシー・モードは、ぼかし背景モードおよび背景置換モードを含んでいてもよい。関心領域および／または関心オブジェクト（単数または複数）（たとえば前景における一または複数の人）が判別され、プライバシー・カメラは、明瞭に関心領域／オブジェクトを、また選択されたプライバシー・モードに従って背景を示すよう（たとえばカメラの型に依存して）構成される。表示される画像は、明瞭に示される（たとえば焦点が合っている）関心領域／オブジェクト（単数または複数）と、限られた被写界深度をもって示される（たとえば、ぼけた／焦点が合っていない）組み合わされた画像の背景および／または別の画像および／または充填物で置換された背景中の任意のオブジェクトとを含む。プライバシー・カメラはシーン内のオブジェクトについての奥行き推定値を決定するためにも使用されてもよい。

プライバシー・カメラを使うためのシステムを示す図である。ライトフィールド・カメラにおいて使用されるカメラのアレイの例示的な配置を示す図である。非プライバシー・モードおよびプライバシー・モードを示す例示的な表示を示す図である。非プライバシー・モードおよびプライバシー・モードを示す例示的な表示を示す図である。プライバシー・モードを作り出すためにカメラ装置を使うための例示的なプロセスを示す図である。プライバシー・モードを作り出すためにカメラ装置を使うための例示的なプロセスを示す図である。プライバシー・カメラを使うビデオ会議システムを示す図である。諸実施形態が実装されうるネットワーク接続された環境を示す図である。プライバシー・カメラのための例示的なシステムを示す図である。関連する記述とともに、本発明の諸実施形態が実施されうる多様な操作環境の議論を提供する図の一つである。関連する記述とともに、本発明の諸実施形態が実施されうる多様な操作環境の議論を提供する図の一つである。関連する記述とともに、本発明の諸実施形態が実施されうる多様な操作環境の議論を提供する図の一つである。関連する記述とともに、本発明の諸実施形態が実施されうる多様な操作環境の議論を提供する図の一つである。

ここで図面を参照してさまざまな実施形態について述べる。図面において、同様の符号は同様の要素を表わす。

図１は、プライバシー・カメラを使うためのシステムを示している。図のように、システム１００は、アプリケーション・プログラム１１０と、カメラ・マネージャ２６と、プライバシー・カメラ１２０を含むタッチスクリーン入力装置／ディスプレイ１１０とを含む。

カメラ・マネージャ２６との通信を容易にするために、一つまたは複数のコールバック・ルーチンが実装されてもよい。ある実施形態によれば、アプリケーション・プログラム１１０は、MICROSOFT（登録商標） LYNCのようなビデオ会議アプリケーションである。アプリケーション・プログラムは、プライバシー・モードを使う撮像機能を利用する他のプログラムであってもよい。図のように、アプリケーション・プログラム１１０は、タッチ感応性入力装置１１０および／または他の入力装置から入力を受領するよう構成されている。たとえば、音声入力、キーボード入力（たとえば物理的なキーボードおよび／またはSIP）、ビデオ・ベースの入力など。たとえば、カメラ・マネージャ２６は、ユーザー・インターフェース要素を選択するユーザーのジェスチャー、関心領域／オブジェクトの選択、コンテンツとの対話および他のタッチベースのジェスチャーに応答して、アプリケーション１１０に情報を提供してもよい。たとえば、ジェスチャーは、ピンチ・ジェスチャー；ストレッチ・ジェスチャー；選択ジェスチャー（たとえば表示される要素上のタップ・アクション）；選択して保持するジェスチャー（たとえば、表示される要素上で受領されるタップして保持するジェスチャー）；スワイプ・アクションおよび／またはドラッグ・アクション；などを含んでいてもよいが、これに限られるものではない。

図のようなシステム１００は、タッチ入力が受領された（たとえば指がタッチスクリーンにタッチするまたはほぼタッチする）ときを検出するタッチスクリーン入力装置／ディスプレイ１１０を有する。ユーザーのタッチ入力を検出する任意の型のタッチスクリーンが利用されうる。たとえば、タッチスクリーンは、タッチ入力を検出する容量性材料の一つまたは複数の層を含んでいてもよい。容量性材料に加えてまたはその代わりに他のセンサーが使用されてもよい。たとえば、赤外（IR）センサーが使用されてもよい。ある実施形態によれば、タッチスクリーンは、タッチ可能表面と接触しているまたはタッチ可能表面の上方にあるオブジェクトを検出するよう構成される。本記述では「上方」という用語が使われるが、タッチ・パネル・システムの向きは重要でないことは理解しておくべきである。用語「上方」は、あらゆるそのような向きに適用可能であることが意図されている。タッチスクリーンは、タッチ入力が受領されるところの位置（たとえば、始点、中間点および終点）を判別するよう構成されていてもよい。タッチ可能表面とオブジェクトとの間の実際の接触は、たとえばタッチ・パネルに結合された振動センサーまたはマイクロホンによることを含め、いかなる好適な手段によって検出されてもよい。接触を検出するセンサーについての例の非網羅的なリストは、圧力ベースの機構、ミクロ機械加工された加速度計、圧電デバイス、容量性センサー、抵抗性センサー、誘導性センサー、レーザー振動計およびLED振動計を含む。

プライバシー・カメラ１２０は、画像を記録し、焦点が合っている関心領域／オブジェクト（単数または複数）と、焦点が合っていない（たとえばぼけている）背景中のオブジェクトおよび／または画像／充填物で置換された背景のような他のオブジェクトとを表示するプライバシー・モードを含む。ある実施形態によれば、プライバシー・カメラ１２０は、シーンの4Dライトフィールドを捕捉するためにカメラのマイクロレンズ・アレイ（たとえば3×2、3×3、……）を使うライトフィールド（プレノプティック）・カメラである（例示的なカメラのアレイについては図２を参照）。プライバシー・カメラ１２０は、他のセンサー／カメラ（単数または複数）を使って実装されてもよい。たとえば、プライバシー・カメラ１２０はRGBZカメラ（単一センサーRGBZ、MICROSOFT KINECTのような二センサーRGB＋奥行きなど）であってもよい。ある実施形態によれば、カメラ・マネージャ２６は、ライトフィールド・カメラの種々のカメラから得られた画像を修正して、関心領域／オブジェクト（たとえば前景にいる一または複数の人物）を決定する。次いでカメラ・マネージャ２６は、検出された関心領域／オブジェクト（単数または複数）を含む限られた被写界深度をもつようプライバシー・カメラ１２０を構成設定する。ある実施形態によれば、プライバシー・カメラ１２０を構成設定したのち、閲覧可能エリア１５２が生成される。該閲覧可能エリア内にあるオブジェクト（単数または複数）が明瞭に示され（たとえばビデオ参加者１２１）、非閲覧可能エリア１５４内にあるオブジェクトは、ビデオ参加者１２１の背後に示されているホワイトボード１２２のように、限られた被写界深度のため焦点が外れて示される（たとえばぼやける）。もう一つの実施形態によれば、背景が画像（たとえばユーザー選択されたおよび／またはあらかじめ決定されたもの）および／または充填物（たとえば背景の平均）で置換されてもよい。カメラ・マネージャ２６は、種々のカメラからの画像を組み合わせて、明瞭に示される（たとえば焦点が合っている）関心対象のオブジェクトおよびぼけて示される（たとえば焦点が合っていない）背景中の任意のオブジェクトおよび／または充填物／画像で置換された背景を含む単一の画像を生成する。複数のカメラが使われるとき、背景にあるオブジェクトは、種々のカメラ・センサー間の距離のため、ぼけて見える。背景をぼかすために背景セグメント分割を使おうとする代わりに、ライトフィールド・カメラから得られた種々の画像の組み合わせがぼかし効果を生じる。一般に、ライトフィールドに含められるカメラが多いほど、非閲覧可能エリア１５０（たとえば背景）内のオブジェクトはよりぼけて見える（図３参照）。プライバシー・カメラ１２０は、カメラ・マネージャによって、シーン内のオブジェクトについての奥行き推定値を決定するために使われてもよい。たとえば、ライトフィールド中のカメラの対が、奥行き推定値を決定するために使われてもよい。奥行き推定値を決定する（たとえば飛行時間を測定する）ために、別の距離測定装置が使用されてもよい。ライト・カメラは、スレート・デバイス、携帯電話、デスクトップ・コンピュータなどに典型的に含まれるようなコンピューティング装置によって使用される単一のカメラに比べて、よりよい信号対雑音比（SNR）をも提供する。背景のぼかしおよび／または背景置換のため、使用される帯域幅も低減されうる。ある実施形態によれば、ユーザーは、ユーザー・インターフェース要素（たとえばボタン、スライダー）を使って種々のプライバシー・モードを選択して、背景に示される詳細の量を変えたり、および／または背景の表示において使用される充填物／画像を選択したりしてもよい。さらなる詳細は後述する。

図２は、ライトフィールド・カメラにおいて使用されるカメラのアレイの例示的な配置を示している。図のように、図２は、アレイ２１０、アレイ２２０、アレイ２４０およびアレイ２５０を示している。

ある実施形態によれば、それらのカメラは、1/13インチの光学フォーマットをもつ、OMNIVISIONからの、それぞれ2.5×2.5×2.5mmのサイズのOV7690 VGAイメージ・センサーである。他のカメラが使われてもよい。たとえば、OMNIVISION OVM2722のような、それぞれ4.0×3.0×2.5mmのサイズの720pカメラが使用されてもよい。一般に、カメラは、所望される解像度、サイズおよび価格点に基づいて選択される。ベイヤー・フィルタが使われてもよく、および／または他の何らかのフィルタ（たとえばR、G、B、Wの混合）でもよい。カメラのアレイは小さな面積に収まり、今日の一般的な電子コンピューティング装置（たとえば、ノートブック、タブレット、電話、デスクトップ・ウェブカメラなど）のフレーム内に配置されうる。さらに、これらの種々のカメラは典型的には安価である。

アレイ２１０は、ベース上に配置された六つのカメラ（２１１〜２１６）の3×2アレイを示している。ある実施形態によれば、種々のアレイによって使用されるベースは、30mm×30mmより小さく、そのためモバイル・コンピューティング装置中に容易に組み込める。ある実施形態によれば、これら六つのカメラは、カメラ２１１の中心からカメラ２１３の中心までの約20mmの全幅と、カメラ２１１の中心からカメラ２１４の中心までの約10mmの高さとをもつアレイに配置されている。アレイ２１０は、ノートブック、タブレットおよび／または電話のような小型のポータブル電子装置のために構成されてもよい。

アレイ２２０は、六つのカメラ（２４１〜２４９）の3×3のアレイを示す。ある実施形態によれば、これら九つのカメラは、カメラ２４１の中心からカメラ２４３の中心までの約20mmの全幅と、カメラ２４１の中心からカメラ２４７の中心までの約20mmの高さとをもつアレイに配置されている。ある実施形態によれば、アレイ２２０は、デスクトップ・ウェブカメラのようなやや大きめの電子装置のために構成されてもよい。

アレイ２３０は、十五個のカメラ（２２１〜２３５）の5×3アレイを示している。ある実施形態によれば、これら十五個のカメラは、カメラ２２１の中心からカメラ２２５の中心までの約30mmの全幅と、カメラ２２１の中心からカメラ２３１の中心までの約20mmの高さとをもつアレイに配置されている。

アレイ２３０は、カメラ（1〜N）のN×Nアレイを示している。ある実施形態によれば、これらのカメラは、該カメラについての所望される幅および高さに基づいてアレイ内に配置される。

アレイ内の各カメラは、カメラ・マネージャ２６に画像を提供するよう構成される。アレイ内に複数のカメラが含まれるので、それらのカメラの一つまたは複数内でのピクセルの故障率は、アレイ内の他のカメラに基づいて補償されうる。それらのカメラの一つまたは複数は、プライバシー・モードを提供しつつ、アレイ内で故障することがありうる。

図３Ａおよび図３Ｂは、非プライバシー・モードおよびプライバシー・モードを示す例示的な表示を示している。図のように、図３Ａは表示３００、表示３１０および表示３２０を含む。

表示３００は、カメラについてプライバシー・モードをアクティブにすることなく、シーンの画像を示す例示的な表示を示している。見て取れるように、このシーン内の各オブジェクトは、明瞭に見え、読める。

表示３１０は、プライバシー・モードを使って表示される例示的なシーンを示している。見て取れるように、背景内のオブジェクト（３１１、３１２）は、関心オブジェクト（ビデオ参加者）に比べて、限られた被写界深度のため、焦点が合っていないように示される（たとえばぼけている）。

表示３２０は、プライバシー・モードを使って表示される例示的なシーンを示している。見て取れるように、背景内のオブジェクト（３２１、３２２）は、関心オブジェクト（ビデオ参加者）に比べて、焦点が合っていないように示される（たとえばぼけている）。表示３２０における背景オブジェクトは、表示３１０における背景オブジェクトに比べてよりぼけて見える。プライバシー・カメラにおいてカメラのより大きなアレイを使うことおよび／または該アレイにおけるカメラの異なる間隔を有することが、より大きなぼかし効果を生じさせるために使用されうる。

図３Ｂは、背景を充填物および画像で置換することを示している。図示されるように、図３Ｂは、表示３３０および表示３４０を含んでいる。

表示３３０は、背景が充填物３３５をもって示されるプライバシー・モードを使って表示される例示的なシーンを示している。見て取れるように、背景のオブジェクト（たとえば、表示３１０における３１１、３１２参照）は充填物３３５によって覆われ、一方、関心オブジェクト（ビデオ参加者）は明瞭に示されるままである。ある実施形態によれば、充填物３３５は背景オブジェクトの平均である。他の充填物／充填パターンが使用されてもよい。たとえば、あらかじめ定義されたおよび／またはユーザー選択された充填パターンが（たとえば自動的に／手動で）選択されてもよい。

表示３４０は、背景が背景画像３４５で置換されるプライバシー・モードを使って表示される例示的なシーンを示している。見て取れるように、背景のオブジェクト（たとえば、表示３１０における３１１、３１２参照）は背景画像３４５によってカバーされ、一方、関心オブジェクト（ビデオ参加者）は明瞭に示されるままである。背景画像３４５は自動的に／手動で選択されてもよい。たとえば、ユーザーが背景画像３４５を選択してもよい。異なる背景画像および／または充填物が使用されてもよい。たとえば、パリの背景画像が、家族構成員とのビデオ会議のために使われてもよく、ソリッドな背景がセキュアなビジネス・ミーティングのために選択されてもよく、および／または背景ぼかしがそれほどセキュアでないビジネス・ミーティングのために使われてもよい。

図４および図５は、プライバシー・モードを作り出すようカメラ装置を使用するための例示的なプロセス４００および５００を示している。本稿に提示されるルーチンの議論を読めば、さまざまな実施形態の論理的な動作が（１）コンピュータ実装される工程またはコンピューティング・システム上で走るプログラム・モジュールのシーケンスとして、および／または（２）コンピューティング・システム内の相互接続された機械論理回路または回路モジュールとして実装されることは理解されるはずである。実装は、本発明を実装するコンピューティング・システムのパフォーマンス要求に依存する選択の問題である。よって、図示され、本稿に記載される実施形態をなす論理的な動作は、動作、構造的な装置、工程またはモジュールのようにさまざまな称され方をする。これらの動作、構造的な装置、工程およびモジュールはソフトウェアにおいて、ファームウェアにおいて、特殊目的デジタル論理において、およびその任意の組み合わせにおいて実装されてもよい。

図４は、ビデオ会議において種々のプライバシー・モードを使ってプライバシー・カメラを使用する例を示している。

開始動作後、プロセスは動作４１０に進み、ビュー内の人物が検出される。たとえば、プライバシー・カメラからの人物の奥行きが判別されてもよく、その顔の向きが判別されてもよい、など。ある実施形態によれば、あらかじめ決定されたエリア内の各ユーザー（たとえば、プライバシー・カメラからあらかじめ決定された距離内にいる一または複数の人）であってビデオ会議に参加している人が判別される。

判断動作４２０に移り、プライバシー・モードが判別される。プライバシー・モードは：背景をぼかす；背景を置換する；またはオフである（たとえばぼかしも背景置換もなし）ことができる。プライバシー・モードは手動で／自動的に決定されてもよい。選択されたプライバシー・モードを判別する際に、種々の情報が使用されうる。ユーザー・プライバシー選好４１２が、いつプライバシー・モードを選択するかおよびプライバシー・モードが背景置換に設定されているときにどの画像／充填物を選択するかを定義する一または複数のユースのための種々の選好を含んでいてもよい。コール情報４１４（たとえば、出席者、コール位置、装置型）もプライバシー・モードを決定する際に使用されてもよい。たとえば、選好４１２および／またはコール情報４１４は、社内グループ内ミーティングについてはプライバシー・モードM1を使う；社内グループ間ミーティングについてはモードM2を使う；会社間ミーティングについてはモードM3を使う；人物XとのミーティングについてはモードM4を使う；私のスマートフォンからのミーティングについてはモードM5を使う；自宅からの個人的なコールについてはモードM6を使う；などを指定してもよい。ある実施形態によれば、各プライバシー・モードは、カスタムのぼかし設定および背景を有することができる（たとえば、家族構成員のためのパリ、セキュアなビジネス・ミーティングのためのソリッドな背景、それほどセキュアでないビジネス・ミーティングのための背景ぼかし、ビジネス・グループ・ミーティングのためのハッチングされた背景、……）。

判別されたプライバシー・モードが背景置換であるとき、プロセスは動作４３０に進み、最小／最大前景奥行きが決定され、背景が画像および／または充填物で置換される。たとえば、前景奥行き（最小、最大）は、ビデオ会議に参加している人物（単数または複数）を検出することによって自動的に、および／またはユーザーからの選択を受領することによって手動で、決定されてもよい。ある実施形態によれば、背景置換のために、前景／背景セグメント分割は、顔検出器／人物追跡器および奥行き推定を使って、視野（FOV: field of view）内の数の人およびそれぞれの奥行きに基づいて、動的に設定される。決定された背景画像／充填物は、前景にあると判定されない背景を置換するために使われる。

判別されたプライバシー・モードが背景ぼかしであるとき、プロセスは動作４４０に進む。前景を決定したのち、背景がぼかされる。背景は種々の量ぼかされうる（たとえば若干ぼかされるから大いにぼかされるまで）。ある実施形態によれば、背景ぼかしがプライバシー・モードであるとき、被写界深度（DOF: Depth of Field）は、顔検出器／人物追跡器および奥行き推定を使って、FOV内の人の数およびそれぞれの奥行きに基づいて動的に設定される。背景ぼかしおよび背景置換は、異なる型のプライバシー・カメラによって異なる仕方で実行される。たとえば、ライトフィールド・カメラは背景ぼかしのためには奥行きを使わないが、背景置換のためには奥行き情報を使う。一方、RGB＋奥行きカメラは背景ぼかしのためおよび背景置換のために奥行きを使う。

図５は、プライバシー・カメラを使うもう一つのプロセスを示している。

開始動作後、プロセスは動作５１０に進み、画像が受領される。ある実施形態によれば、画像は、シーンの4Dライトフィールドを捕捉するためにカメラのマイクロレンズ・アレイ（たとえば3×2、3×3、……）を使うライトフィールド（プレノプティック）・カメラから受領される。これらのカメラは、単一画像アプリケーションおよび／または複数画像アプリケーション（たとえばビデオ会議）のために使用されうる。ある実施形態によれば、これらのカメラは低コストで、小型であり、そのためカメラのアレイは、モバイル・パーソナル・コンピューティング装置（たとえば、ノートブック、スレート、電話、……）と一緒に含まれうる。

動作５２０に移り、カメラの空間的関係を考慮に入れるために、得られた諸画像を共通の画像に変換するために、それらの画像は修正される。

動作５３０に進み、一つまたは複数の関心領域／オブジェクトが判別される。たとえば、ビデオ会議アプリケーションでは、ビデオ会議参加者が典型的には関心オブジェクトである。一般に、関心領域／オブジェクトは、カメラの焦点が合わされていると判定されるオブジェクトである。関心領域／オブジェクトは、自動的に／手動で決定されうる。たとえば、顔検出および顔向き方法が、関心オブジェクト（たとえば人物）を自動的に検出するために使われてもよい。ユーザーが焦点を合わせるべき画像中のオブジェクトを選択してもよい（たとえば、タッチするおよび／または他の何らかの入力方法）。

動作５４０に移行して、プライバシー・カメラは、判別されたときに、焦点を合わせ直される。たとえば、プライバシー・カメラがライト・カメラであるときは、焦点を合わせ直すことは実施されない。プライバシー・カメラがRGB＋奥行きカメラ（または何らかの同様のカメラ）であるときは、カメラ（単数または複数）は、判別された関心領域／オブジェクトに焦点を合わせるよう、再合焦される。

動作５５０に移り、それらの画像が得られる。

動作５６０に進み、それらの得られた画像から組み合わされた画像が生成される。組み合わされた画像は、関心オブジェクト（および同じ焦点距離をもつ他のオブジェクト）を明瞭に示し、焦点が合っていないオブジェクトはぼけて示されるおよび／または充填物／背景で置換されるような、単一の画像を生成する。ぼかし効果は、アレイ内に配置されたカメラからの画像の組み合わせによって自動的に生成されてもよい。一般に、アレイ内のカメラの数を変えることおよび／またはカメラの空間的関係を変えることが、組み合わされた画像におけるぼかしの量を変える（たとえば、より多くのカメラは通例、焦点が合わされていないオブジェクトに対してより大きなぼけを生じる）。

動作５７０に移行して、画像が表示される。ある実施形態によれば、画像は、ビデオ会議アプリケーションにおいて表示される。

次いで、プロセスは終了動作に進み、他のアクションの処理に戻る。

図６は、プライバシー・カメラを使うビデオ会議システム６００を示している。

ビデオ捕捉システムにおいて、一つまたは複数のカメラ６５２が、ビデオ会議における参加者のビデオ画像を捕捉する。カメラ６５２は、一つまたは複数のはいってくるビデオ・フィードのようなビデオ信号を示すためのディスプレイ６５４とともに組み込まれていてもよい。ある実施形態によれば、それらのカメラの少なくとも一つは、アレイ内に配置された少なくとも六つのカメラを含むライトフィールド・カメラである。ビデオ会議管理モジュール６５０は、ビデオ画像の表示および受信／送信を管理するために使用されてもよく、本稿に記載されるカメラ・マネージャ２６の機能を含んでいてもよい。たとえば、モジュール６５０は、はいってくるビデオ・フィードを選択するために使われてもよい。モジュール６５０は、はいってくる／出て行くビデオに対してビデオ処理を実行するために使われてもよい。たとえば、モジュール６５０は、ビデオ・フレームの当該部分についての露出および／または利得の調節を通じて関心対象の人物または領域を向上させるなど、画像品質を改善するために使われてもよい。音源定位、複数人物および活動話者検出器６４２、６４４、６４６は、関心領域および／または関心オブジェクトを選択するために、聴覚および／または視覚的な手がかりを使う。音源定位検出器６４２は、複数のマイクロホンからの音検出のようなオーディオ特徴を使って、複数の人の間で話者の位置を検出する。複数人物検出器６４４は、話者を決定するために、動きおよび画像特徴（人物の輪郭、顔認識など）を使う。活動話者検出器６４６は音源定位、動きおよび画像特徴を使って、現在の話者を検出する。モジュール６５０は、ディスプレイ６５４上でのはいってくるフィードのビデオ表示を、そのビデオ表示が話者を示しているときに、より頻繁にハイライトするよう決定してもよい。たとえば、話者のビデオ・フィードは、他のはいってくるフィードの表示よりも、ディスプレイ６５４上で大きく表示されてもよい。はいってくるビデオ・フィードは、相前後して、層状に、パターンをなして、などでディスプレイ６５４上に示されてもよい。ある実施形態によれば、ディスプレイ６５４上に示すフィードが選択されてもよい。モジュール６５０は、ハードウェア、ソフトウェアまたは両者の組み合わせとして実装されてもよい。

図７は、諸実施形態が実装されうるネットワーク接続された環境を示している。ビデオ会議に参加する位置の一つまたは複数は、上記のようなカメラ装置（たとえば１２０）を含んでいてもよい。

そのようなシステムは、サーバー、クライアント、インターネット・サービス・プロバイダーおよび通信媒体の任意のトポロジーを有しうる。また、該システムは、静的なまたは動的なトポロジーを有していてもよい。諸実施形態を実装するネットワーク接続されたシステムは、ずっと多くのコンポーネントに関わることもあるが、重要なものについてこの図との関連で論じる。

装置７８１〜７８４において、ビデオ会議アプリケーションが実行されてもよく、ビデオがレンダリングされてもよい。これらの装置の一つまたは複数は、プライバシー・モードを生じるために、本稿で記述されるようなライトフィールド・カメラおよび／またはRGB＋奥行き（構造化光、ステレオ、飛行時間）カメラを含んでいてもよい。もう一つの実施形態によれば、プライバシー・モードが、約1以下のf/ナンバーをもつ単一のカメラを使って作り出されてもよい。たとえば、1080pウェブカメラは、1以下のf/ナンバー、電気機械的に調節可能な開口、電気機械的に調節可能な焦点およびVFOV＝60°（たとえば身体ジェスチャーを捕捉するため）をもつレンズを含んでいてもよい。カメラは、レンジファインダー（たとえば超音波式）をも含んでいてもよい。低いf/ナンバーをもつレンズは小さな被写界深度（DOF）をもつ。DOFは、カメラが大きなDOFをもつ「通常モード」および小さなDOFをもつ「プライバシー・モード」をもつことができるよう、開口を使って調節されることができる。より小さなf/ナンバーをもつレンズはより高いf/ナンバーをもつレンズより多くの光を獲得するので、プライバシー・モード（たとえばf/ナンバー≦1）を使うと、SNRが増す。

ビデオ・アプリケーションが通信アプリケーション（またはサービス）の一部である場合には、該アプリケーションまたはサービスは、一つまたは複数のサーバー（たとえばサーバー７８５）によって管理されてもよい。生成されたビデオの一部または全部が、瞬時にレンダリングされる代わりに、記憶されてもよい。そのシナリオでは、ビデオ・ファイルは、データ記憶部７８８のようなデータ記憶部に記憶されて、その後、諸装置内のビデオ・アプリケーション（単数または複数）に、データベース・サーバー７８６を通じて提供されてもよく、あるいはビデオ・アプリケーション（単数または複数）によって直接取り出されてもよい。

ネットワーク（単数または複数）７８０は、企業ネットワークのようなセキュアなネットワーク、無線オープン・ネットワークのようなセキュアでないネットワークまたはインターネットを含みうる。ネットワーク７８０は、本稿に記載されるノードの間の通信を提供してもよい。限定ではなく例として、ネットワーク７８０は、有線ネットワークまたは直接結線接続のような有線媒体および音響、RF、赤外および他の無線媒体のような無線媒体を含んでいてもよい。

コンピューティング装置、アプリケーション、データ源、データ配送システムの他の多くの構成が、ビデオ会議システムを実装するために用いられうる。さらに、図７において論じたネットワーク接続された環境は、単に例解目的のためである。実施形態は、例示的なアプリケーション、モジュールまたはプロセスに限定されるものではない。

図８は、プライバシー・カメラを使う例示的なシステムを示している。図のように、システム１０００は、サービス１０１０と、データ記憶部１０４５と、プライバシー・カメラ１００２を含むタッチスクリーン入力装置／ディスプレイ１０５０（たとえばスレート）と、プライバシー・カメラ１００１を含むスマートフォン１０３０とを含んでいる。

図のように、サービス１０１０は、ビデオ会議サービス（たとえばMICROSOFT LYNC, SKYPE）、電子メッセージング・サービス（たとえばMICROSOFT EXCHANGE/OUTLOOK）、生産性サービス（たとえばMICROSOFT OFFICE 365）または他の何らかのクラウド・ベース／オンラインのサービスのようなサービスを提供するよう構成されていてもよい、クラウド・ベースのおよび／または企業ベースのサービスである。サービスとは、種々の型の入出力を使って対話されてもよい。たとえば、ユーザーは、タッチ入力、ハードウェア・ベースの入力、音声入力などを使用しうる。サービスは、あらかじめ記録された発話と合成された発話を組み合わせる音声出力を提供してもよい。サービス１０１０によって提供されるサービス／アプリケーションの一つまたは複数の機能は、クライアント／サーバー・ベースのアプリケーションとして構成されてもよい。システム１０００はメッセージング・アプリケーションに関するサービスを示しているが、他のサービス／アプリケーションが構成されてもよい。

図のように、サービス１０１０は、資源１０１５およびサービスを任意の数のテナント（たとえばテナント1〜N）に提供する複数テナント・サービスである。複数テナント・サービス１０１０は、当該サービスに申し込んでいるテナントに資源／サービス１０１５を提供するクラウド・ベースのサービスであり、各テナントのデータを別個に、他のテナント・データからは保護された形で維持する。

図のようなシステム１０００は、タッチ入力が受領された（たとえば指がタッチスクリーンにタッチするまたはほとんどタッチする）ときを検出するスマートフォン１０３０およびタッチスクリーン入力装置／ディスプレイ１０５０（たとえばスレート／タブレット装置）を有する。ユーザーのタッチ入力を検出する任意の型のタッチスクリーンが利用されうる。たとえば、タッチスクリーンは、タッチ入力を検出する容量性材料の一つまたは複数の層を含んでいてもよい。容量性材料に加えてまたはその代わりに他のセンサーが使用されてもよい。たとえば、赤外（IR）センサーが使用されてもよい。ある実施形態によれば、タッチスクリーンは、タッチ可能表面と接触しているまたはタッチ可能表面の上方にあるオブジェクトを検出するよう構成される。本記述では「上方」という用語が使われるが、タッチ・パネル・システムの向きは重要でないことは理解しておくべきである。用語「上方」は、あらゆるそのような向きに適用可能であることが意図されている。タッチスクリーンは、タッチ入力が受領されるところの位置（たとえば、始点、中間点および終点）を判別するよう構成されていてもよい。タッチ可能表面とオブジェクトとの間の実際の接触は、たとえばタッチ・パネルに結合された振動センサーまたはマイクロホンによることを含め、いかなる好適な手段によって検出されてもよい。接触を検出するセンサーについての例の非網羅的なリストは、圧力ベースの機構、ミクロ機械加工された加速度計、圧電デバイス、容量性センサー、抵抗性センサー、誘導性センサー、レーザー振動計およびLED振動計を含む。

ある実施形態によれば、スマートフォン１０３０およびタッチスクリーン入力装置／ディスプレイ１０５０は、本稿に記載されるプライバシー・カメラを利用するビデオ・アプリケーションをもって構成される。

図示するところでは、タッチスクリーン入力装置／ディスプレイ１０５０およびスマートフォン１０３０は、ビデオ会議アプリケーションの使用を示している例示的なディスプレイ１０５２／１０３２を示している。ディスプレイ１０５２は、ビデオ参加者が明瞭に示され、背景オブジェクトがぼかされている、プライバシー・カメラの諸画像から生成されたプライバシー・ビューを示している。ディスプレイ１０３２は、ビデオ参加者が明瞭に示され、背景が画像／充填物で置換されている、プライバシー・カメラを使って生成されたプライバシー・ビューを示している。データは装置（たとえば、スマートフォン１０３０、スレート１０５０）上におよび／または他の何らかの位置（たとえばネットワーク・データ記憶部１０４５）に記憶されてもよい。これらの装置によって使用されるアプリケーションは、クライアント・ベースのアプリケーション、サーバー・ベースのアプリケーション、クラウド・ベースのアプリケーションおよび／または何らかの組み合わせでありうる。

カメラ・マネージャ２６は、本稿に記載されるプライバシー・ビューを生成することに関する動作を実行するよう構成されている。マネージャ２６はサービス１０１０内に示されているが、マネージャの機能は他の位置に（たとえばスマートフォン１０３０および／またはスレート装置１０５０上に）含められてもよい。

本稿に記載される実施形態および機能は、有線および無線コンピューティング・システム、モバイル・コンピューティング・システム（たとえば携帯電話、タブレットまたはスレート型コンピュータ、ラップトップ・コンピュータなど）を含む多数のコンピューティング・システムを介して動作しうる。さらに、本稿に記載される実施形態および機能は、分散された諸システム上で動作してもよく、その場合、アプリケーション機能、メモリ、データ記憶および取り出しおよびさまざまな処理機能は、インターネットまたはイントラネットのような分散式コンピューティング・ネットワークを通じて互いからリモートに動作させられてもよい。さまざまな型のユーザー・インターフェースおよび情報は、オンボード・コンピューティング装置ディスプレイを介してまたは一つまたは複数のコンピューティング装置に関連付けられたリモート・ディスプレイ・ユニットを介して表示されてもよい。たとえば、さまざまな型のユーザー・インターフェースおよび情報が、さまざまな型のユーザー・インターフェースおよび情報が投影される壁面上で表示され、対話されてもよい。本発明の実施形態が実施されうる多数のコンピューティング・システムとの対話は、キーストローク入力、タッチスクリーン入力、声または他のオーディオ入力、ジェスチャー入力（この場合、関連するコンピューティング装置はコンピューティング装置の機能を制御するためにユーザー・ジェスチャーを捕捉して解釈するための検出（たとえばカメラ）機能を備える）などを含む。

図９〜図１１は、本発明の実施形態が実施されうる多様な動作環境の議論を提供する。しかしながら、図９〜図１１に関連して図示され、論じられる装置およびシステムは、例および例解のためであり、本稿に記載される本発明の実施形態を実施するために利用されうる膨大な数のコンピューティング装置構成を限定するものではない。

図９は、本発明の実施形態が実施されうるコンピューティング装置１１００の例示的な物理的コンポーネントを示すブロック図である。以下に記述されるコンピューティング装置コンポーネントは、上記のコンピューティング装置に好適でありうる。基本的構成では、コンピューティング装置１１００は、少なくとも一つの処理ユニット１１０２およびシステム・メモリ１１０４を含みうる。コンピューティング装置の構成および型に依存して、システム・メモリ１１０４は、揮発性（たとえばランダム・アクセス・メモリ（RAM））、不揮発性（たとえば読み出し専用メモリ（ROM））、フラッシュメモリまたは任意の組み合わせを含みうる。システム・メモリ１１０４は、オペレーティング・システム１１０５、一つまたは複数のプログラミング・モジュール１１０６を含んでいてもよく、ウェブ・ブラウザー・アプリケーション１１２０を含んでいてもよい。オペレーティング・システム１１０５はたとえば、コンピューティング装置１１００の動作を制御するために好適でありうる。ある実施形態では、プログラミング・モジュール１１０６は、コンピューティング装置１１００上にインストールされた、上記のようなカメラ・マネージャ２６を含んでいてもよい。さらに、本発明の実施形態は、グラフィック・ライブラリ、他のオペレーティング・システムまたは他の任意のアプリケーション・プログラムとの関連で実施されてもよく、いかなる特定のアプリケーションまたはシステムにも限定されない。この基本的構成は、図９において、破線１１０８内のコンポーネントによって示されている。

コンピューティング装置１１００は追加的な特徴または機能を有していてもよい。たとえば、コンピューティング装置１１００は、たとえば磁気ディスク、光ディスクまたはテープのような追加的なデータ記憶装置（リムーバブルおよび／または非リムーバブル）をも含んでいてもよい。そのような追加的な記憶は、リムーバブル記憶１１０９および非リムーバブル記憶１１１０によって示されている。

上記のように、オペレーティング・システム１１０５を含めいくつかのプログラム・モジュールおよびデータ・ファイルがシステム・メモリ１１０４に記憶されていてもよい。処理ユニット１１０２上で実行される際に、上記マネージャのようなプログラミング・モジュール１１０６は、たとえば、上述した諸方法に関係した動作を含む諸プロセスを実行してもよい。上述したプロセスは例であり、処理ユニット１１０２は他のプロセスを実行してもよい。本発明の実施形態に基づいて使用されうる他のプログラミング・モジュールは、ビデオ会議アプリケーション、撮像アプリケーション、電子メールおよび連絡先アプリケーション、ワードプロセシング・アプリケーション、表計算アプリケーション、データベース・アプリケーション、スライド・プレゼンテーション・アプリケーション、描画またはコンピュータ支援アプリケーション・プログラムなどを含みうる。

一般に、本発明の実施形態と整合して、プログラム・モジュールはルーチン、プログラム、コンポーネント、データ構造ならびに特定のタスクを実行しうるまたは特定の抽象的なデータ型を実装しうる他の型の構造を含みうる。さらに、本発明の実施形態は、ハンドヘルド装置、マイクロプロセッサ・システム、マイクロプロセッサ・ベースのまたはプログラム可能な消費者電子装置、ミニコンピュータ、メインフレーム・コンピュータなどを含む他のコンピュータ・システム構成とともに実施されてもよい。本発明の実施形態は、通信ネットワークを通じてリンクされたリモートな諸処理装置によってタスクが実行される分散式のコンピューティング環境において実施されてもよい。分散式のコンピューティング環境では、プログラム・モジュールは、ローカルおよびリモートのメモリ記憶装置両方に位置していてもよい。

さらに、本発明の実施形態は、離散的な電子素子を有する電気回路、論理ゲートを含むパッケージングされたまたは集積された電子チップ、マイクロプロセッサを利用する回路においてまたは電子素子またはマイクロプロセッサを含む単一のチップ上で実施されうる。たとえば、本発明の実施形態は、図９に示したコンポーネントのそれぞれまたは多くが単一の集積回路上に統合されうるシステムオンチップ（SOC: system-on-a-chip）を介して実施されてもよい。そのようなSOCデバイスは、一つまたは複数の処理ユニット、グラフィック・ユニット、通信ユニット、システム仮想化ユニットおよびさまざまなアプリケーション機能を含んでいてもよく、そのすべてが単一の集積回路としてチップ基板上に統合されて（または「焼き込まれて」）いてもよい。SOCを介して動作するとき、マネージャ２６に関する本稿で記述された機能は、単一の集積回路（チップ）上のコンピューティング装置／システム１１００の他のコンポーネントと統合された特定用途向け論理を介して動作させられてもよい。本発明の実施形態は、機械的、流体的および量子技術を含むがそれに限られない、たとえばAND、ORおよびNOTのような論理演算を実行することができる他の技術を使って実施されてもよい。さらに、本発明の実施形態は汎用コンピュータ内でまたは他の任意の回路またはシステムにおいて実施されてもよい。

本発明の実施形態は、たとえば、コンピュータ・プロセス（方法）、コンピューティング・システムまたはコンピュータ・プログラム・プロダクトもしくはコンピュータ可読媒体のような製造物として実装されてもよい。コンピュータ・プログラム・プロダクトは、コンピュータ・システムによって読み取り可能なコンピュータ記憶媒体であってもよく、コンピュータ・プロセスを実行するための命令のコンピュータ・プログラムをエンコードしていてもよい。

本稿で使われるところの用語コンピュータ可読媒体はコンピュータ記憶媒体を含んでいてもよい。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータといった情報の記憶のための任意の方法または技術で実装される、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含んでいてもよい。システム・メモリ１１０４、リムーバブル記憶１１０９および非リムーバブル記憶１１１０はみなコンピュータ記憶媒体の例（すなわち、メモリ記憶）である。コンピュータ記憶媒体は、RAM、ROM、電気的に消去可能な読み出し専用メモリ（EEPROM）、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク（DVD）または他の光記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイスまたは情報を記憶するために使用されることができ、コンピューティング装置１１００によってアクセスされることができる他の任意の媒体を含みうるが、それに限られない。任意のそのようなコンピュータ記憶媒体が装置１１００の一部でありうる。コンピューティング装置１１００は、キーボード、マウス、ペン、音入力装置、タッチ入力装置などといった入力装置１１１２をも有していてもよい。ディスプレイ、スピーカー、プリンターなどといった他の装置１１１４も含まれてもよい。上述した装置は例であり、他のものが使用されてもよい。

カメラおよび／または他の何らかの感知装置が、一または複数のユーザーを記録し、コンピューティング装置のユーザーによってなされる動きおよび／またはジェスチャーを捕捉するよう動作してもよい。感知装置はさらに、マイクロホンによるなど、話された言葉を捕捉するよう、および／またはキーボードおよび／またはマウス（図示せず）によるなどユーザーからの他の入力を捕捉するよう動作してもよい。感知装置は、ユーザーの動きを検出することができるいかなる動き検出装置を有していてもよい。たとえば、カメラは、複数のカメラおよび複数のマイクロホンを有するMICROSOFT KINECT（登録商標）動き捕捉装置を有していてもよい。カメラは、本稿に記述されるようなライトフィールド・カメラであってもよい。

本稿で使われるところのコンピュータ可読媒体という用語は、通信媒体をも含みうる。通信媒体は、搬送波または他の転送機構のような変調されたデータ信号におけるコンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータによって具現されてもよく、任意の情報送達媒体を含む。用語「変調されたデータ信号」は、当該信号中に情報をエンコードするような仕方で設定または変更された一または複数の特徴を有する信号を記述しうる。限定ではなく例として、通信媒体は、有線ネットワークまたは直接結線接続のような有線媒体ならびに音響、無線周波（RF: radio frequency）、赤外および他の無線媒体といった無線媒体を含んでいてもよい。

図１０Ａおよび１０Ｂは、本発明の実施形態が実施される際に用いられうる好適なモバイル・コンピューティング環境、たとえば携帯電話、スマートフォン、タブレット・パーソナル・コンピュータ、ラップトップ・コンピュータなどを示している。図１０Ａを参照するに、実施形態を実装するための例示的なモバイル・コンピューティング装置１２００が示されている。基本的な構成では、モバイル・コンピューティング環境１２００は、入力要素および出力要素の両方を有するハンドヘルド・コンピュータである。入力要素は、ユーザーが情報をモバイル・コンピューティング装置１２００に入力できるようにするタッチスクリーン・ディスプレイ１２０５および入力ボタン１２１５を含んでいてもよい。モバイル・コンピューティング装置１２００は、さらなるユーザー入力を許容する任意的な副入力要素１２１５をも組み込んでいてもよい。任意的な副入力要素１２１５はロータリー・スイッチ、ボタンまたは他の任意の型の手動入力要素でありうる。代替的な実施形態では、モバイル・コンピューティング装置１２００はより多くのまたはより少数の入力要素を組み込んでいてもよい。たとえば、ディスプレイ１２０５はいくつかの実施形態ではタッチスクリーンではなくてもよい。さらにもう一つの代替的な実施形態では、モバイル・コンピューティング装置は、ディスプレイ１２０５および入力ボタン１２１５を含む携帯電話のようなポータブル電話システムである。モバイル・コンピューティング装置１２００は、任意的なキーパッド１２３５をも含んでいてもよい。任意的なキーパッド１２３５は、タッチスクリーン・ディスプレイ上で生成された物理的なキーパッドまたは「ソフト」キーパッドであってもよい。

モバイル・コンピューティング装置１２００は、グラフィカル・ユーザー・インターフェース（GUI）を表示できる、ディスプレイ１２０５のような出力要素を組み込んでいる。他の出力要素は、スピーカー１２２５およびLEDライト１２２０を含む。さらに、モバイル・コンピューティング装置１２００は、ユーザーにイベントを通知するためにモバイル・コンピューティング装置１２００に振動させる、振動モジュール（図示せず）を組み込んでいてもよい。さらにもう一つの実施形態では、モバイル・コンピューティング装置１２００は、出力信号を提供するためのもう一つの手段を提供するために、ヘッドホン・ジャック（図示せず）を組み込んでいてもよい。

本稿ではモバイル・コンピューティング装置１２００との組み合わせで記述されているが、代替的な実施形態では、本発明は、デスクトップ環境、ラップトップまたはノートブック・コンピュータ・システム、マルチプロセッサ・システム、マイクロプロセッサ・ベースのまたはプログラム可能な消費者電子装置、ネットワークPC、ミニコンピュータ、メインフレーム・コンピュータなどといった任意の数のコンピュータ・システムとの組み合わせで使用される。本発明の実施形態は、分散式のコンピューティング環境において通信ネットワークを通じてリンクされたリモートな諸処理装置によってタスクが実行される、分散式のコンピューティング環境において実施されてもよい；プログラムはローカルおよびリモートのメモリ記憶装置両方に位置していてもよい。まとめると、複数の環境センサー、ユーザーへの通知を提供するための複数の出力要素および複数の通知イベント型を有する任意のコンピュータ・システムが、本発明の実施形態を組み込みうる。

図１０Ｂは、図１０Ａに示されるコンピューティング装置のような、ある実施形態において使用されるモバイル・コンピューティング装置のコンポーネントを示すブロック図である。すなわち、モバイル・コンピューティング装置１２００は、いくつかの実施形態を実装するためにシステム１２０２を組み込むことができる。たとえば、システム１２０２は、たとえばプレゼンテーション・アプリケーション、ブラウザー、電子メール、スケジューリング、インスタント・メッセージングおよびメディア・プレーヤー・アプリケーションのような、デスクトップまたはノートブック・コンピュータのものと同様の一つまたは複数のアプリケーションを実行できる「スマートフォン」を実装することにおいて使用されることができる。いくつかの実施形態では、システム１２０２は、統合された携帯情報端末（PDA: personal digital assistant）および無線フォニームのようなコンピューティング装置として統合される。

一つまたは複数のアプリケーション・プログラム１２６６はメモリ１２６２にロードされて、オペレーティング・システム１２６４上でまたはオペレーティング・システム１２６４との関連で実行されてもよい。アプリケーション・プログラムの例は、電話ダイヤラー・プログラム、電子メール・プログラム、PIM（個人情報管理）プログラム、ワードプロセシング・プログラム、表計算プログラム、インターネット・ブラウザー・プログラム、メッセージング・プログラムなどを含む。システム１２０２は、メモリ１２６２内の不揮発性記憶１２６８をも含む。不揮発性記憶１２６８は、システム１２０２がパワーダウンされた場合に失われるべきでない持続性の情報を記憶するために使用されてもよい。アプリケーション１２６６は、電子メール・アプリケーションなどによって使用される電子メールまたは他のメッセージのような、不揮発性記憶１２６８内の情報を使用し、記憶してもよい。同期アプリケーション（図示せず）もシステム１２０２上に存在していてもよく、不揮発性記憶１２６８に記憶されている情報を、ホスト・コンピュータに記憶されている対応する情報と同期されたままにするために、ホスト・コンピュータ上に存在する対応する同期アプリケーションと対話するようプログラムされる。理解されるはずだが、上記のカメラ・マネージャ２６を含む他のアプリケーションがメモリ１２６２にロードされ、装置１２００上で実行されてもよい。

システム１２０２は、一つまたは複数のバッテリーとして実装されてもよい電源１２７０を有する。電源１２７０はさらに、ACアダプターまたは電力を受けるドッキング・クレードルのような、バッテリーを補足するまたは再充電する外部電源を含んでいてもよい。

システム１２０２は、無線周波通信を送受信する機能を実行する無線機１２７２をも含んでいてもよい。無線機１２７２は、通信搬送波またはサービス・プロバイダーを介して、システム１２０２と「外界」との間の無線接続性を容易にする。無線機１２７２との間の伝送は、OS １２６４の制御のもとで実施される。換言すれば、無線機１２７２によって受信される通信は、OS １２６４を介して諸アプリケーション・プログラム１２６６に配布されてもよく、その逆もいえる。

無線機１２７２は、システム１２０２が、ネットワークを通じてなどで、他のコンピューティング装置と通信することを許容する。無線機１２７２は通信媒体の一例である。通信媒体は典型的には、搬送波または他の転送機構のような変調されたデータ信号におけるコンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータによって具現されてもよく、任意の情報送達媒体を含む。用語「変調されたデータ信号」は、その特性の一つまたは複数が当該信号中に情報をエンコードするような仕方で設定または変更された信号を意味する。限定ではなく例として、通信媒体は、有線ネットワークまたは直接結線接続のような有線媒体ならびに音響、RF、赤外および他の無線媒体といった無線媒体を含む。本稿で使われるところの用語、コンピュータ可読媒体は、記憶媒体および通信媒体の両方を含む。

システム１２０２のこの実施形態は、二つの型の通知出力装置とともに示されている。視覚的な通知を提供するために使用できるLED １２２０と、オーディオ通知を提供するためにスピーカー１２２５とともに使用できるオーディオ・インターフェース１２７４である。これらの装置は、アクティブにされたときには、たとえプロセッサ１２６０および他のコンポーネントがバッテリー電力節約のためにシャットダウンするのであっても、通知機構によって指定される期間の間はオンのままであるよう、電源１２７０に直接結合されてもよい。LED １２２０は、装置の電源オンされた状態を示すために、ユーザーがアクションを行なうまで、無期限にオンのままとなるようプログラムされてもよい。オーディオ・インターフェース１２７４は、可聴信号をユーザーに提供し、ユーザーから可聴信号を受領するために使用される。たとえば、スピーカー１２２５に結合されることに加えて、オーディオ・インターフェース１２７４は、たとえば電話の会話を容易にするために、可聴入力を受領するためにマイクロホン１２２０にも結合されてもよい。本発明の実施形態によれば、マイクロホン１２２０は、通知の制御を容易にするためにオーディオ・センサーのはたらきをもしてもよい。これについては後述する。システム１２０２はさらに、オンボード・カメラ１２３０（たとえばカメラ１２０）の動作がスチール画像、ビデオ・ストリームなどを記録できるようにするビデオ・インターフェース１２７６を含んでいてもよい。

システム１２０２を実装するモバイル・コンピューティング装置はさらなる特徴または機能を有していてもよい。たとえば、該装置は、磁気ディスク、光ディスクまたはテープのような追加的なデータ記憶装置（リムーバブルおよび／または非リムーバブル）をも含んでいてもよい。そのような追加的な記憶は、図１０Ｂにおいて、記憶１２６８によって示される。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータといった情報の記憶のための任意の方法または技術で実装される、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含んでいてもよい。

装置１２００によって生成または捕捉されたおよびシステム１２０２を介して記憶されたデータ／情報は、上記のように装置１２００上にローカルに記憶されてもよく、あるいはデータは、無線機１２７２を介してまたは装置１２００と装置１２００に関連付けられた別個のコンピューティング装置との間の有線接続を介して装置によってアクセスされうる任意の数の記憶媒体上に記憶されてもよい。別個のコンピューティング装置とは、たとえば、インターネットのような分散式のコンピューティング・ネットワークにおけるサーバー・コンピュータである。理解されるはずだが、そのようなデータ／情報は、装置１２００を介して無線機１２７２を介してまたは分散式のコンピューティング・ネットワークを介してアクセスされてもよい。同様に、そのようなデータ／情報は、電子メールおよび協働的データ／情報共有システムを含むよく知られたデータ／情報転送および記憶手段に従って、記憶および使用のためにコンピューティング装置間で容易に転送されてもよい。

図１１は、プライバシー・カメラを使うためのシステム・アーキテクチャを示している。

カメラ・マネージャ２６および／または他のプロセスを介して管理されるコンポーネントが、種々の通信チャネルまたは他の記憶型において記憶されてもよい。たとえば、諸コンポーネントは、それらが形成されるもとになった情報とともに、ディレクトリ・サービス１３２２、ウェブ・ポータル１３２４、メールボックス・サービス１３２６、インスタント・メッセージング・ストア１３２８およびソーシャル・ネットワーキング・サイト１３３０を使って記憶されてもよい。システム／アプリケーション２６、１３２０は、これらの型のシステムの任意のものまたは同様のものを、ストア１３１６における諸コンポーネントの管理および記憶を可能にするために使用してもよい。サーバー１３３２は、ビデオ会議および／または他のイメージング・サービスに関係する通信およびサービスを提供してもよい。サーバー１３３２は、ウェブ上でのサービスおよびコンテンツをネットワーク１３０８を通じてクライアントに提供してもよい。サーバー１３３２を利用しうるクライアントの例は、任意の汎用パーソナル・コンピュータを含みうるコンピューティング装置１３０２、タブレット・コンピューティング装置１３０４および／またはスマートフォンを含みうるモバイル・コンピューティング装置１３０６を含む。これらの装置のそれぞれは、本稿で記述されるようなプライバシー・モードを含むカメラを含んでいてもよい。これらの装置の任意のものは、表示コンポーネント管理通信およびコンテンツをストア１３１６から得てもよい。

本発明の実施形態は、本発明の実施形態に基づく方法、システムおよびコンピュータ・プログラム・プロダクトのブロック図および／または動作図解を参照しつつ上記で述べている。ブロックに記される機能／工程は、任意のフローチャートに示される順序から外れて生起してもよい。たとえば、相続いて示されている二つのブロックが実際には、実質的に同時並行して実行されてもよく、あるいはそれらのブロックは、関わっている機能／工程に依存して、時には逆の順序で実行されてもよい。

上記の明細、例およびデータは、本発明の組成の製造および使用の完全な記述を提供する。本発明の多くの実施形態が本発明の精神および範囲から外れることなくなされることができるので、本発明は付属の請求項に存する。

Claims

プライバシー・カメラからのプライバシー・モードを作り出すための方法であって：
前景および背景を含むシーン内の関心オブジェクトを判別する段階と；
背景ぼかしおよび背景置換を含むプライバシー・モードからプライバシー・モードを決定する段階と；
決定されたプライバシー・モードが背景ぼかしである場合には、前景における前記シーン内の関心オブジェクトが焦点が合って見え、前記シーンの背景内のオブジェクトがあればそれは焦点が合っていないように見えるよう、前記プライバシー・カメラについて限られた被写界深度を設定することによって画像を生成する段階と；
決定されたプライバシー・モードが背景置換である場合には、前記前景を判別することにおいて使われる前記プライバシー・カメラの動的に調節可能な前景奥行きを、前記シーン内の関心オブジェクトを含むように設定し、前記背景を画像および充填物のうちの少なくとも一方で置き換えることによって画像を生成する段階と；
前記画像を表示する段階とを含む、
方法。
前記プライバシー・カメラが、少なくとも2×2のアレイ・サイズをもつカメラのアレイを有する、請求項１記載の方法。
前記プライバシー・モードが、ユーザー・プライバシー選好およびコール情報のうちの少なくとも一方を使って決定される、請求項１記載の方法。
前記プライバシー・モードを決定することがさらに、コール情報、顔検出および頭ポーズならびに装置型のうちの少なくとも一つを使うことを含む、請求項１記載の方法。
前記プライバシー・モードが、ユーザー・プライバシー選好、コール位置、装置型、顔検出、頭ポーズおよびコール参加者のうちの一つまたは複数を使って自動的に決定される、請求項１記載の方法。
前記プライバシー・カメラからの奥行き推定値を決定する段階をさらに含む、請求項１記載の方法。
プライバシー・モードを含むカメラを使うためのコンピュータ実行可能命令を記憶しているコンピュータ可読媒体であって、
前記カメラによって得られたシーンの前景における関心領域を判別する段階と；
背景ぼかしおよび背景置換を含むプライバシー・モードからプライバシー・モードを決定する段階と；
決定されたプライバシー・モードが背景ぼかしである場合には、前景における前記シーン内の関心オブジェクトが焦点が合って見え、前記シーンの背景内のオブジェクトがあればそれは焦点が合っていないように見えるよう、前記カメラについて限られた被写界深度を設定することによって画像を生成する段階と；
決定されたプライバシー・モードが背景置換である場合には、前記前景を判別することにおいて使われる前記カメラのための前景奥行きを、前記シーン内の人の数およびそのそれぞれの奥行きに少なくとも部分的に基づいて自動的に設定し、前記背景を画像および充填物のうちの少なくとも一方で置き換えることによって、画像を生成する段階と；
前記画像を表示する段階とを含む、
プライバシー・モードを含むカメラを使うためのコンピュータ実行可能命令を記憶しているコンピュータ可読媒体。
プロセッサおよびメモリと；
前記プロセッサを使って実行される動作環境と；
少なくとも四つのカメラのアレイであって、前記少なくとも四つのカメラは該少なくとも四つのカメラのそれぞれの中心の間の少なくとも五ミリメートルの間隔をもつベース上に配置されている、アレイまたはRGBZカメラのうちの一方を含むプライバシー・カメラと；
カメラ・マネージャとを有するシステムであって、
前記カメラ・マネージャは：
前記プライバシー・カメラによって得られたシーンの前景における関心領域を自動的に判別する段階と；
背景ぼかしおよび背景置換を含むプライバシー・モードからプライバシー・モードを決定する段階と；
決定されたプライバシー・モードが背景ぼかしである場合には、前景における前記シーン内の関心オブジェクトが焦点が合って見え、前記シーンの背景内のオブジェクトがあればそれは焦点が合っていないように見えるよう、前記プライバシー・カメラについて限られた被写界深度を設定することによって画像を生成する段階と；
決定されたプライバシー・モードが背景置換である場合には、前記前景を判別することにおいて使われる前記プライバシー・カメラのための前景奥行きを、前記シーン内の前記関心領域を含むように設定し、前記背景を画像および充填物のうちの少なくとも一方で置き換えることによって、画像を生成する段階と；
前記画像を表示する段階とを含むアクションを実行するよう構成されている、
システム。
前記プライバシー・モードを決定することがさらに、ユーザー・プライバシー選好、コール位置、装置型、顔検出および頭ポーズならびにミーティング型のうちの一つまたは複数を使って前記プライバシー・モードを自動的に選択することを含み、前記ミーティング型は、社内ミーティング、グループ間ミーティングおよび会社間ミーティングを含む、請求項８記載のシステム。
前記背景を前記画像および前記充填物のうちの少なくとも一方で置き換えることが、ユーザー・プライバシー選好、コール位置、顔検出および頭ポーズ、装置型、ミーティング型のうちの一つまたは複数に基づいて使うべき前記画像を決定することを含み、前記ミーティング型は、社内ミーティング、グループ間ミーティングおよび会社間ミーティングを含む、請求項８記載のシステム。