JP2017534096A - 仮想現実環境において遮られた顔部分を再構築する方法およびシステム - Google Patents

Abstract

遮蔽された顔部分を再構築する方法およびシステムが提供される。方法は、顔を遮る物体であって人物の顔の一部を遮る物体を装着していない人物の頭部の３Ｄデータであるオフライン３Ｄデータを取得するステップと、顔を遮る物体を装着した人物の頭部の３Ｄデータであるリアルタイム３Ｄデータをリアルタイムで取得するステップと、リアルタイム３Ｄデータに基づいてオフライン３Ｄデータの少なくとも一部に３Ｄ変換を適用することにより、遮蔽された顔部分に関連するリアルタイム３Ｄデータである再構築されたリアルタイム３Ｄデータを生成するステップと、リアルタイム３Ｄデータに再構築されたリアルタイム３Ｄデータをマージするステップとを含み得る。システムは、コンピュータプロセッサでこれらのステップを実行し得る。

Description

本発明は、概して仮想現実環境、特に仮想現実環境の参加者の実画像を統合する環境に関する。

本発明の背景技術の記載に先立って、以下で用いる用語の定義を記載する。
本明細書で使用する用語「仮想現実」（ＶＲ）は、現実世界または仮想世界のある場所における物理的存在をシミュレート可能なコンピュータシミュレーション環境として定義される。仮想現実は、仮想の味覚、視覚、嗅覚、聴覚、触覚などの感覚体験を再現可能である。

本明細書で使用する用語「仮想現実ヘッドセット」は、コンピュータシミュレーション環境でユーザの視点をそれぞれ僅かに変更して、ユーザの目の前に３Ｄコンピュータシミュレーション環境を立体的に投影するヘッドマウントディスプレイ（ＨＭＤ）として定義される。当該技術分野において周知のそのような仮想現実ヘッドセットの１つは、Oculus Rift（商標）である。仮想現実ヘッドセットは、任意のタイプの立体視バイザとして実装することができ、ヘルメットタイプの構造内に保持することができる。

本明細書で使用する用語「３Ｄモデル」は、物体（無生物または生物）の任意の３次元表面の数学的表現を表す処理である３Ｄモデル化の生成物として定義される。モデルは、例えば３Ｄ印刷装置を使用して物理的に生成することができ、あるいは手動でも物理的に作成することができる。３Ｄモデルは、三角形、線、曲面などの種々の幾何学的エンティティによって接続された３Ｄ空間内の点集合、つまりデータ集合（点および他の情報）を用いて３Ｄ物体を表すことができる。

本明細書で使用する用語「３Ｄデータ」は、３Ｄ物体から得られる任意の形式および種類の任意のデータ構造として定義される。３Ｄデータは、例えば、３Ｄモデル、３Ｄ画像、さらには、より少ない構造化データの形式を含むことができる。

３Ｄ仮想現実における現在の１つの課題は、ユーザ（例えば仮想現実環境の参加者）の実画像または実データを例えば他の各ユーザの視点でシームレスに組み込むことである。現在利用可能な仮想現実システムのいくつかは、ニアアイ（near eye）ディスプレイが一体化されたある種の仮想現実ヘッドセットを必要とするため、顔の少なくとも一部がヘッドセットによって遮られている。

いくつかの３Ｄ仮想現実アプリケーションでは、ユーザの画像をリアルタイムで取り込み、その画像を他の各ユーザのビューにマージすることが望まれている。このようなアプリケーションでは、仮想現実ヘッドセットなどのヘルメットやニアアイディスプレイとして機能する顔を遮る物体が、例えばユーザの顔の一部などのデータの損失を招き、ユーザ体験を損なわせる可能性がある。

図１は、従来技術の仮想現実環境１００を示している。二人の人物（ユーザ）１０６，１０８がそれぞれニアアイディスプレイユニット１０２，１０４を装着しており、それによってそれぞれの顔の少なくとも一部が遮られている。二人のそれぞれのビュー（ディスプレイを介して見ているもの）１１０，１１２は、通常、本質的に３次元であり、したがって、各表示画像は２つの視点（簡略化のために図示せず）を含む。ニアアイディスプレイを介してユーザに提示されるビュー１１０，１１２は、現実の物体１０３，１０５を示さないコンピュータシミュレーション環境を含む。コンピュータシミュレーション環境のビュー１１０，１１２は、ユーザの動きにリアルタイムに応答して調整される。ビュー１１０，１１２は、ビュー１１２，１１０内で顔の大部分を遮っているニアアイディスプレイ１０２Ａ，１０４Ａを装着している相手の参加者１０６Ａ，１０８Ａの画像を提示する。このような顔の遮蔽は望ましくない結果であり、全体としてユーザの体験を損なわせるものとなる。

本発明のいくつかの実施形態は、仮想現実環境において遮られた顔部分を再構築するための方法およびシステムを提供することによって従来技術の上記の欠点を克服する。この方法は、顔を遮る物体であって人物の顔の一部を遮る物体を装着していない人物の頭部の３Ｄデータであるオフライン３Ｄデータを取得するステップと、前記顔を遮る物体を装着した前記人物の頭部の３Ｄデータであるリアルタイム３Ｄデータをリアルタイムで取得するステップと、前記リアルタイム３Ｄデータに基づいて前記オフライン３Ｄデータの少なくとも一部に３Ｄ変換を適用することにより、遮蔽された顔部分に関連するリアルタイム３Ｄデータである再構築されたリアルタイム３Ｄデータを生成するステップと、前記リアルタイム３Ｄデータに前記再構築されたリアルタイム３Ｄデータをマージするステップとを含み得る。システムは、コンピュータプロセッサでこれらのステップを実行し得る。

本発明の実施形態の上記態様、追加の態様、および／または他の態様、および／またはそれらの利点は、以下の詳細な説明に記載されるか、その説明から推測可能であるか、および／または本発明の実施形態の実施によって得ることができる。

従来技術による仮想現実環境を示す概略ブロック図である。 本発明の実施形態による仮想現実環境を示す概略ブロック図である。 本発明の実施形態による仮想現実環境を示す概略図である。 本発明の実施形態によるシステムを示す概略図である。 本発明の実施形態によるシステムを示す概略ブロック図である。 本発明の実施形態による一連の動作を示す概略図である。 本発明の実施形態によるシステムの一態様を示す概略ブロック図である。 本発明のいくつかの実施形態による方法を示すフローチャートである。

本発明の実施形態の理解を深め、かつその実施形態をどのように実施するかを示すために、単に一例として、添付図面を参照する。図中、同様の番号は対応する要素または部分を示す。

詳細な図面に対する特定の言及について、図示されている事項は一例であって、本技術の好ましい実施形態を例示的に説明することのみを目的としたものであり、本技術の原理および概念的側面の最も有用かつ容易に理解し得るものとして提示されている。この点に関して、本技術の基本的理解に必要なもの以上に本技術の構造的詳細を示すようにはなされておらず、本発明の種々の形態を実際にどのように実施するかについては図面を用いた説明から当業者には明らかである。

本技術の少なくとも１つの実施形態を詳細に説明する。本発明は、その適用において、以下の説明に記載されるかまたは図面に示された構成要素の構成および配置に限定されない。本技術は、他の実施形態に適用可能であり、または種々の方法で実施または実行される。また、本明細書で使用する表現および用語は説明を目的としたものであり、限定的であると見なされるべきではない。

本発明のいくつかの実施形態は、通常、Oculus Rift（商標）ヘッドセットやGoogle Glass（商標）などの３Ｄ仮想現実ヘッドセットにより顔の一部が遮られている場合に仮想現実参加者の顔部分を再構築するという課題に取り組む。３Ｄ仮想現実領域での動作は、仮想現実参加者の顔の３Ｄ画像などのリアルタイム３Ｄデータを他の視聴者すなわち参加者に対してシームレスに再構築するという課題を特に解決する。

図２は、本発明の実施形態による仮想現実環境を示す概略ブロック図である。仮想現実システムにおけるシーン２００が示されている。二人の人物（参加者）２０６，２０８がそれぞれニアアイ（near eye）ディスプレイ、すなわちＶＲヘッドセット２０２，２０４を装着しており、それによってそれぞれの顔が遮られている。しかし、図１とは対照的に、ニアアイディスプレイ２０２，２０４を介して提示される二人のそれぞれのビュー２１０，２１２は、ニアアイディスプレイを装着していない相手の参加者を示している（現実世界の背景がコンピュータシミュレーション環境で置き換えられるため、現実の物体２０３，２０５も示されない）。これは、以下で詳細に説明するように、参加者の実際の動きおよび／または表現および／またはジェスチャに基づいて、遮蔽物体を含む画像部分を、リアルタイムで更新される追加または修正後の顔画像により置き換えることによって可能となる。

図３は、本発明のいくつかの実施形態による仮想現実環境を示す概略ブロック図である。ここでは、第３の参加者（図示せず）が、現実世界３００においてＶＲヘッドセット３０４Ａ，３０２Ａなどのヘルメットを装着している他の２人の参加者３０８Ａ，３０６Ａを見ている。現実世界３００は現実の物体３０３，３０５も含む。第３のユーザに提示される仮想現実ビュー３００Ｂでは、再構築された顔画像によってヘルメットがシームレスに置き換えられるため、他の２人の参加者３０８Ｂ，３０６Ｂがヘルメットなしで提示される。

図４は、本発明のいくつかの実施形態による態様を示す概略図である。ＶＲヘッドセットなどのユーザヘルメット４０４が示されている。このユーザヘルメット４０４は（ユーザの顔に取り付け可能な）その内側に沿って複数のセンサ４０２を備えている。これらのセンサは、目（例えば、目の瞳孔や眼瞼の動き）などのユーザのジェスチャを検出するように構成されており、コンピュータプロセッサは、進行中のジェスチャに基づいて顔のベース画像を修正し、それらをリアルタイムで（または可能な限り小さな遅延で）提示するように構成されている。例えば、センサ４０２は、ユーザが笑っているのかまたは微笑んでいるのかを示す顔の皮膚の動きを検知し得る。これにより、種々の部分を引き伸ばすなどの笑いや笑みの効果を適用する画像処理のプロセスが顔のベース画像に施される。このプロセスはリアルタイムで更新される。その結果、他の視聴者には、遮蔽された顔部分に代えて、ユーザの画像にシームレスに挿入される修正後のユーザの笑みの顔画像が提示される。

図５は、本発明の実施形態によるシステム５００を示す概略ブロック図である。システム５００は、顔を遮る物体を身に付けている少なくとも１人の人物を含むシーンの３Ｄデータ（例えば、画像）５１２を取得するように構成された３Ｄデータ取得装置５１０を含み得る。この３Ｄデータ５１２の取得は、特定のユーザの視点から行われる。システム５００はさらに、例えば、顔を遮る物体によって遮蔽された顔部分を示すデータ５５０を例えば顔取得モジュール５３０から取得するように構成されたコンピュータプロセッサ５２０を含み得る。顔取得モジュール５３０は、センサ５３２〜５３４、またはネットワークデータベースなどの他のソースからデータを受信する。ユーザの輪郭画像を格納し得るFacebook（商標）やLinkedIn（商標）などのソーシャルネットワークを、ユーザの顔の２Ｄ画像のソースとすることができる。ユーザの頭や顔の３Ｄデータを生成するためにこれらの２Ｄ画像を使用することができる。

コンピュータプロセッサ５２０はさらに、取得したデータに基づき、遮蔽された顔部分の（例えば画像の）３Ｄデータを再構築するように構成され得る。コンピュータプロセッサ５２０はさらに、その再構築した顔画像を、取得したシーンの画像の対応する位置にマージするように構成され得る。システム５００はさらに、そのマージされた画像を特定のユーザに提示するように構成されたニアアイディスプレイ５７０を含み得る。このマージされた画像は、特定のユーザの視点を元に調整可能なコンピュータシミュレーション環境に配置される。

本発明のいくつかの実施形態によれば、顔を遮る物体は、顔を遮る物体の内側に設けられた１つまたは複数のセンサを備える。このセンサは、顔を遮る物体によって遮蔽された顔部分を示すデータを取得するように構成される。

本発明のいくつかの実施形態によれば、センサによる検知は画像取得の形態とすることができ、この場合、取得されるデータは遮蔽された顔部分の画像である。
本発明のいくつかの実施形態によれば、センサは顔のジェスチャを検知するように構成され得る。この場合、顔画像の再構築は、以前に取得した遮蔽された顔部分のベース画像に対して顔を変化させるように、検知したジェスチャをモデル化することによって行われる。

本発明のいくつかの実施形態によれば、コンピュータプロセッサ５２０は、顔を遮る物体によって遮蔽された顔部分を示すデータを取得するように構成され得る。この取得には、以前に取得した遮蔽された顔部分のベース画像を取得することが含まれる。

本発明のいくつかの実施形態によれば、遮蔽された顔部分のベース画像をプロセッサによって取得することは、ネットワークデータベースを検索することによって行われる。
本発明のいくつかの実施形態によれば、遮蔽された顔部分の顔画像の再構築は、取得データに基づき、プロセッサによって、顔を遮る物体を装着している少なくとも１人の人物の位置、向き、輪郭、およびバイタルサイン（例えば心拍数や呼吸システムの指標など）のうちの少なくとも１つを監視し、取得データをその少なくとも１人の人物の顔の３次元モデルに適用して修正後の顔画像を生成することによって行われる。

本発明のいくつかの実施形態によれば、顔を遮る物体は、ニアアイディスプレイを備える。
本発明のいくつかの実施形態によれば、ニアアイディスプレイは、ヘルメット内に組み込まれる。

本発明のいくつかの実施形態によれば、コンピュータシミュレーション環境は、特定のユーザと顔を遮る物体を装着している少なくとも１人の人物とに共通の３次元シーンであり得る。

図６は、本発明の実施形態による一連の動作を示す概略図６００である。第１ステップでは、これに限定されないが、人物６１２，６１４，６１６の複数の２Ｄ画像に基づいて人物６１０の頭部のオフライン３Ｄデータが（例えば、３Ｄモデルの形態で）取得される。人物６１２，６１４，６１６の２Ｄ画像は、ヘルメットを装着する前にオフラインセッションで取得されてもよいしまたはネットワークデータベースなどの第三者ソースから取得されてもよい。

あるいは、仮想現実ヘッドギアを装着する前に、構造化された光技術を用いてオフライン３Ｄデータが取得されてもよい。具体的には、参照によりその全体が本明細書に組み込まれる国際出願公開第２０１３／０８８４４２に開示されるような構造化された光を使用することによって、ユーザの頭部または顔の奥行きマップを生成し、その奥行きマップからオフライン３Ｄデータを抽出することができる。

次いで、第２ステップでは、ユーザが顔を遮る物体６２２（例えば、仮想現実ヘッドセット）を装着している間に、ユーザ６２０のリアルタイム３Ｄデータ（例えば、モデル）が取得される。このリアルタイム画像は常に更新される。次いで、第３ステップでは、再構築モジュール６４０にて、オフライン３Ｄデータ６１０またはその一部６１８（３Ｄモデル６３２から分割され得る遮蔽部分６３４の境界に一致する部分）に対して３Ｄ変換が適用され得る。この３Ｄ変換は、リアルタイム３Ｄデータ（モデル）６２０、より具体的には、リアルタイムパラメータ６４４に基づくものとすることができ、このリアルタイムパラメータ６４４から遮蔽部分６３４の外観を推定することができる。

リアルタイムパラメータ６４４は、例えば、ユーザの顔の位置や向き、または表現を含むことができ、さらには、その人の疲れの程度やリアルタイムで経験している感情の種類を含むことができる。これらのリアルタイムパラメータ６４４はすべて、仮想現実ヘッドセットによって遮蔽されている顔部分を推定し再構築するために使用される。

再構築モジュール（またはステップ）の生成物は、再構築されたリアルタイムデータ（またはモデル）６５０であり、この再構築されたリアルタイムデータ６５０は、非遮蔽部分の影響を受ける領域部分６５２、通常は、外側位置の頬に対してなされたジェスチャ変更の影響を受ける内側位置の頬を含む。この領域の外観は、非遮蔽部分に関するリアルタイムパラメータ６４４に基づいて推定することができる。別の領域は、非遮蔽部分の影響を受けない領域６５４（例えば、目）である。目の外観は、別のモデルに基づいて推定することができ、リアルタイム２Ｄデータ６２２の外部のソースからのメタデータ６４２、例えば仮想現実環境においてその人が別の人と対応している（その位置も知られている）場合にその人が見ている方向などのメタデータ６４２を用いて推定することができる。最後に、再構築されたリアルタイム３Ｄデータ（またはモデル）６５０が、例えば、遮蔽部分で分割された部分を有するリアルタイム３Ｄデータ（またはモデル）６３２とマージされることにより、遮蔽部分が再構築された状態で、人物の頭部について再構築されたリアルタイム３Ｄデータ（またはモデル）が生成される。これにより、仮想現実環境に参加している他の人に提示される３Ｄ画像でモデル６６０を生成することができる。

図７は、本発明の実施形態によるシステムの一態様を示す概略ブロック図であり、具体的には、遮蔽された顔部分がどのように再構築されるかを説明する概略図である。システム７００はネットワーク７１０を含み得る。このネットワーク７１０は、参加者の顔画像のソースとして機能するインターネットであってもよい。上記したように、ベース画像７２０は、通常、Facebook（商標）などのソーシャルネットワークウェブサイトから取得され得る生画像である。

これと同時に、ソフトウェアにより実現されるモデラー７３０が、再構築する必要がある顔の３Ｄモデル７３２を生成し得る。このモデルは、顔画像を再構築する必要がある人の頭部のいくつかの２Ｄビューに基づくものとすることができる。その後、３Ｄモデル７３２と第三者ソースから取得された顔のベース画像７２０との双方がコンピュータプロセッサ７４０に送られ、顔画像を再構築する必要がある参加者の頭部の実際の位置や向き、例えば顔のジェスチャに関連するリアルタイムパラメータ７５０とともに、３Ｄモデル７３２とベース画像７２０が処理される。コンピュータプロセッサ７４０の出力は、再構築された顔画像７６０である。この再構築された顔画像７６０では、ベース画像を調整してモデルに適用するために参加者の実際の位置や近くの環境や向きが使用されることで、再構築された顔画像が仮想現実ビューにおいて可能な限り自然な状態で提示される。リアルタイムパラメータの例としては、参加者の視線の方向や、その人の身体的状態（例えば、その人の目の位置や顔の全体的な外観などに影響を及ぼし得る疲労の程度）や、その人の現在の気分（例えば、幸せである／怒っている／悲しいなど）や、その人の近くの環境（例えば、自宅にいるまたは暑い天候であり屋外のビーチにいるなど）が挙げられる。このような外観に影響を及ぼすデータをモデラーによって使用することで、当該技術分野において周知の方法（例えば、テクスチャリングおよびデジタルアニメーション）によりベース画像を再構築し修正してもよい。

いくつかの他の実施形態では、仮想世界（例えば、ゲーム内）でユーザに何が起きているのかなどの仮想現実環境を考慮して顔の表情を推定することができ、それにより再構築された顔画像を仮想現実の活動に基づいて動的に調整することができる。

図８は、本発明のいくつかの実施形態による方法８００を示す上位フローチャートである。方法８００は上記したシステム５００の構造とは異なる構造によって実現し得ることが理解される。方法８００は、顔を遮る物体であって人物の顔の一部を遮る物体を装着していない人物の頭部の３Ｄデータであるオフライン３Ｄデータを取得すること８１０と、顔を遮る物体を装着した人物の頭部の３Ｄデータであるリアルタイム３Ｄデータをリアルタイムで取得すること８２０と、リアルタイム３Ｄデータに基づいてオフライン３Ｄデータの少なくとも一部に３Ｄ変換を適用することにより、遮蔽された顔部分に関連するリアルタイム３Ｄデータである再構築されたリアルタイム３Ｄデータを生成すること８３０と、リアルタイム３Ｄデータに再構築されたリアルタイム３Ｄデータをマージすること８４０と、を含み得る。

本発明のいくつかの実施形態によれば、オフライン３Ｄデータはオフライン３Ｄモデルであってもよく、リアルタイム３Ｄデータはリアルタイム３Ｄモデルであってもよい。モデルは、空間的特徴を示す任意の数学的または実際の構造であり得る。

本発明のいくつかの実施形態によれば、方法はさらに、リアルタイム３Ｄデータと再構築されたリアルタイム３Ｄデータとのマージデータから、マージされたリアルタイム３Ｄ画像を生成するステップを含み得る。

本発明のいくつかの実施形態によれば、リアルタイム３Ｄデータは、仮想現実（ＶＲ）環境に重ね合わせられてもよい。
本発明のいくつかの実施形態によれば、リアルタイム３Ｄデータは、顔を遮る物体を装着している人の位置、向き、輪郭、およびバイタルサインのうちの少なくとも１つを監視することによって得ることができる。

本発明のいくつかの実施形態によれば、方法はさらに、得られたリアルタイム３Ｄデータを人物の顔の３Ｄモデルに適用することで修正後の顔画像を生成するステップを含み得る。

本発明のいくつかの実施形態によれば、３Ｄ変換はさらに、遮蔽されていない顔部分に対する変化の影響を受ける遮蔽された顔部分を推定するために、人物の遮蔽されていない顔部分から得られたデータを使用することを含み得る。具体的には、この推定は、リアルタイム３Ｄデータをもとに顔の表情を検知することに基づいて行うことができる。

本発明のいくつかの実施形態によれば、３Ｄ変換はさらに、遮蔽されていない顔部分に対する変化の影響を受けない遮蔽部分（例えば、目）の外観を推定し、その推定結果を３Ｄ変換に使用することを含み得る。具体的には、この推定は、その人物に関するメタデータに基づいて行うことができる。

本発明のいくつかの実施形態によれば、少なくとも１人の人物の遮蔽部分をＶＲ環境における出来事に基づいて少なくとも部分的に再構築することができる。この特徴は遮蔽されていない顔部分にも適用できる。

本発明のいくつかの実施形態によれば、オフライン３Ｄデータの取得は、コンピュータネットワークから受信した２Ｄ画像を格納可能な外部データベースを介して実行することができる。あるいは、オフライン３Ｄデータの取得は、ＶＲ環境のセッションを開始する前に、３Ｄセンサを介して実行されてもよい。

以上の説明において、実施形態は、本発明の一例または実施態様である。「一実施形態」、「実施形態」、または「いくつかの実施形態」などの種々の表現は、必ずしもすべてが同じ実施形態を指すとは限らない。

本発明の種々の特徴は、単一の実施形態として説明することができるが、それらの特徴は、別々にまたは任意の適切な組み合わせで提供することもできる。逆に言えば、本発明は、明瞭化を目的として別々の実施形態として説明することができるが、単一の実施形態で実施することもできる。

本明細書において、「いくつかの実施形態」、「実施形態」、「一実施形態」、または「他の実施形態」という言及は、実施形態に関連して説明される特定の特徴、構造、または特性が本発明の少なくともいくつかの実施形態に含まれることを意味しており、本発明のすべての実施形態に含まれることを意味するものではない。

本明細書で使用する表現および用語は、限定として解釈されるものではなく、単に例示を目的としたものである。本発明の教示の原理および使用は、添付の図面や実施例を参照することによってより理解され得る。本明細書に記載される詳細な説明は、本発明の適用を制限するものではない。また、本発明は種々の方法で実行または実施することができ、上記説明した実施形態以外の実施形態でも実現することができる。

用語「含む」や、「備える」や、「〜から構成される」などは、１つまたは複数の構成、特徴、ステップ、またはそれらの組み合わせの追加を排除するものではなく、構成、特徴、ステップを特定するものとして解釈されるものである。明細書または特許請求の範囲において「追加の」要素に言及する場合、その追加の要素が複数存在することを排除しない。明細書または特許請求の範囲において「１つ」の要素に言及する場合、そのような言及はその要素が１つのみ存在するものと解釈されるものではない。本明細書において、構成、特徴、構造、または特性が含み「得る」や含む「ことができる」と説明されている場合、その特定の構成、特徴、構造、または特性が含まれない場合もある。

適宜、状態図、フローチャート、またはその双方を用いて実施形態を説明することができるが、本発明はこれらの図面または対応する説明に限定されるものではない。例えば、フローチャートにおける処理の順序は、図示したボックスまたは状態を介した順序、すなわち図示して説明した順序と全く同じ順序である必要はない。本発明の方法は、選択されたステップまたは処理を、手動で、自動で、またはそれらの組み合わせを実行または完了することによって実施することができる。

特許請求の範囲および明細書に提示された説明、実施例、方法、および材料は、限定でなく、単なる例示と解釈されるべきものである。本明細書で使用する技術用語や科学用語の意味は、特に定義されない限り、当該技術分野に属する当業者によって一般的に理解される意味である。本発明は、本明細書に記載されたものと同等または類似の方法や材料を用いて試験または実施において実施することができる。

本発明を限られた数の実施形態に関して説明したが、これらは本発明の範囲を限定するものではなく、むしろ好ましい実施形態のいくつかの例示と解釈すべきである。他の可能な変形、変更、および適用も本発明の範囲に含まれる。したがって、本発明の範囲は、これまでに説明したものによって限定されるべきではなく、添付の特許請求の範囲およびその同等物によって限定されるべきである。

Claims (26)

1. 方法であって、
   顔を遮る物体を装着している少なくとも１人の人物を含むシーンの画像を取得すること、
   前記顔を遮る物体によって遮蔽された顔部分を示すデータを取得すること、
   前記取得したデータに基づき、前記遮蔽された顔部分の３Ｄ顔画像を再構築すること、
   前記再構築した３Ｄ顔画像を前記取得したシーンにおける前記人物の対応する３Ｄ画像にマージすること
   を備える方法。
2. 前記マージした画像を特定のユーザにディスプレイを介して提示することをさらに備える請求項１に記載の方法。
3. 前記ディスプレイがニアアイディスプレイである、請求項２に記載の方法。
4. 前記顔を遮る物体によって遮蔽された顔部分を示すデータを取得することが、前記顔を遮る物体の内側で前記遮蔽された顔部分を検知することによって行われる、請求項１に記載の方法。
5. 前記検知が画像取得を含み、前記取得したデータが前記遮蔽された顔部分の画像である、請求項４に記載の方法。
6. 前記検知が顔のジェスチャの検知であり、前記３Ｄ顔画像を再構築することが、以前に取得した前記遮蔽された顔部分のベース画像に対して顔を変化させるように、検知したジェスチャをモデル化することによって行われる、請求項４に記載の方法。
7. 前記顔を遮る物体によって遮蔽された顔部分を示すデータを取得することが、目に影響を及ぼす表情を抽出することによって行われる、請求項１に記載の方法。
8. 前記顔を遮る物体によって遮蔽された顔部分を示すデータを取得することが、他の人物と通信している人物の状況を抽出することによって行われる、請求項１に記載の方法。
9. 前記顔を遮る物体によって遮蔽された顔部分を示すデータを取得することが、以前に取得した前記遮蔽された顔部分のベース画像を取得することを含む、請求項１に記載の方法。
10. 前記遮蔽された顔部分のベース画像を取得することが外部データベースを介して行われる、請求項９に記載の方法。
11. 前記外部データベースがネットワークデータベースである、請求項１０に記載の方法。
12. 前記遮蔽された顔部分の３Ｄ顔画像を再構築することが、前記取得したデータに基づいて、位置、向き、および輪郭のうちの少なくとも１つを監視し、前記取得したデータを前記少なくとも１人の人物の顔の３次元モデルに適用して修正後の顔画像を生成することによって行われる、請求項９に記載の方法。
13. 前記遮蔽された顔部分の３Ｄ顔画像を再構築することが、前記取得したデータに基づいて、前記顔を遮る物体を装着している前記少なくとも１人の人物のバイタルサインを監視し、前記取得したデータを前記少なくとも１人の人物の顔の３次元モデルに適用して修正後の顔画像を生成することによって行われる、請求項９に記載の方法。
14. システムであって、
    顔を遮る物体を装着している少なくとも１人の人物を含むシーンの画像を取得するように構成された画像取得装置と、
    コンピュータプロセッサであって、
    前記顔を遮る物体によって遮蔽された顔部分を示すデータを取得し、
    前記取得したデータに基づき、前記遮蔽された顔部分の３Ｄ顔画像を再構築し、
    前記再構築した３Ｄ顔画像を前記取得したシーンにおける前記人物の対応する３Ｄ画像にマージするように構成された前記コンピュータプロセッサと
    を備えるシステム。
15. 前記マージした画像を提示するように構成されたディスプレイをさらに備える請求項１４に記載のシステム。
16. 前記ディスプレイがニアアイディスプレイである、請求項１５に記載のシステム。
17. 前記顔を遮る物体によって遮蔽された顔部分を示すデータを取得することが、前記顔を遮る物体の内側で前記遮蔽された顔部分を検知するように構成されたセンサによって行われる、請求項１４に記載のシステム。
18. 前記検知が画像取得を含み、前記取得したデータが前記遮蔽された顔部分の画像である、請求項１７に記載のシステム。
19. 前記検知が顔のジェスチャの検知であり、前記３Ｄ顔画像を再構築することが、以前に取得した前記遮蔽された顔部分のベース画像に対して顔を変化させるように、検知したジェスチャをモデル化することによって行われる、請求項１７に記載のシステム。
20. 前記顔を遮る物体によって遮蔽された顔部分を示すデータを取得することが、目に影響を及ぼす表情を抽出することによって行われる、請求項１４に記載のシステム。
21. 前記顔を遮る物体によって遮蔽された顔部分を示すデータを取得することが、他の人物と通信している人物の状況を抽出することによって行われる、請求項１４に記載のシステム。
22. 前記顔を遮る物体によって遮蔽された顔部分を示すデータを取得することが、以前に取得した前記遮蔽された顔部分のベース画像を取得することを含む、請求項１４に記載のシステム。
23. 前記遮蔽された顔部分のベース画像を取得することが外部データベースを介して行われる、請求項２２に記載のシステム。
24. 前記外部データベースがネットワークデータベースである、請求項２３に記載のシステム。
25. 前記遮蔽された顔部分の３Ｄ顔画像を再構築することが、前記取得したデータに基づいて、位置、向き、および輪郭のうちの少なくとも１つを監視し、前記取得したデータを前記少なくとも１人の人物の顔の３次元モデルに適用して修正後の顔画像を生成することによって行われる、請求項１４に記載のシステム。
26. 前記遮蔽された顔部分の３Ｄ顔画像を再構築することが、前記取得したデータに基づいて、前記顔を遮る物体を装着している前記少なくとも１人の人物のバイタルサインを監視し、前記取得したデータを前記少なくとも１人の人物の顔の３次元モデルに適用して修正後の顔画像を生成することによって行われる、請求項１４に記載のシステム。