JP2020052793A - システム - Google Patents

Abstract

【課題】装着者の映像視聴を阻害することなく、装着者の顔情報を適切に取得すること。【解決手段】本発明に係る頭部搭載型ディスプレイシステム１は、映像表示装置として機能する通信端末１２と、通信端末１２が表示する映像を装着者Ｙに向かって伝送する光学部品１３と、通信端末１２及び光学部品１３を収容すると共に装着者Ｙの頭部に搭載され、可視域の光を吸収し赤外線を透過させる赤外線透過フィルタ１１ｂで構成された筐体１１と、を備える頭部搭載型ディスプレイ１０と、筐体１１の外部に設置されており、装着者Ｙからの赤外線を検知することによって装着者Ｙの顔情報を取得する赤外線カメラ２０と、を備える。【選択図】図２

Description

本発明は、頭部搭載型装置を含むシステムに関する。

頭部搭載型ディスプレイ（ＨＭＤ：Head Mounted Display）では、装着者の顔が筐体で覆われてしまうため、映像を視聴する装着者の表情等の顔情報を取得することが難しい。例えば特許文献１には、装着者の顔面を写す撮像手段を備える頭部搭載型ディスプレイが開示されている。

特開２０００−２６１７０６号公報

ここで、上述したような頭部搭載型ディスプレイでは、装着者の顔情報を取得するために、装着者の映像視聴を阻害してしまうおそれがある。

本発明は上記実情に鑑みてなされたものであり、装着者の映像視聴を阻害することなく、装着者の顔情報を適切に取得することを目的とする。

本発明の一態様に係るシステムは、映像表示装置と、映像表示装置が表示する映像を装着者に向かって伝送する光学部品と、映像表示装置及び光学部品を収容すると共に装着者の頭部に搭載され、可視域の光を吸収し赤外線を透過させる赤外線透過フィルタで構成された筐体と、を備える頭部搭載型装置と、筐体の外側に付属するか又は筐体の外部に設置されており、装着者からの赤外線を検知することによって装着者の顔情報を取得するセンサ部と、を備える。

本発明の一態様に係るシステムでは、装着者に映像が表示される頭部搭載型装置において、筐体が赤外線透過フィルタで構成されている。このため、映像を視聴する装着者視点では、外光が遮蔽され、外光に阻害されることなく映像を主張することが可能になる。そして、本システムでは、筐体の外方に設けられたセンサ部が装着者からの赤外線を検知して装着者の顔情報が取得される。このように、装着者からの赤外線を検知するセンサ部を用いることによって、赤外線透過フィルタで構成された筐体の外方において装着者の顔情報を適切に取得することができる。以上のように、本発明の一態様に係るシステムによれば、装着者の映像視聴を阻害することなく、装着者の顔情報を適切に取得することができる。なお、従来、装着者の顔面情報の一部（視線や目の画像等）のみを取得することが一般的であったのに対して、本発明の一態様に係るシステムでは、赤外線透過フィルタで構成された筐体の外方から筐体自体を透過可能な赤外線を検知することによって、単一のセンサ部によって広範囲（眉から口元まで含めた領域）の顔情報を取得することができる。そのため、部分的な顔の情報（それぞれ個別に取得される視線、目の画像、口元の画像等）を組み合わせて装着者の顔情報を再構成する必要がなく、簡易な構成・処理で顔情報を取得することができる。

上記システムにおいて、センサ部は、装着者から放射される赤外線を検知して装着者の顔画像を取得する赤外線カメラであってもよい。このような赤外線カメラによれば、装着者の顔画像を適切に取得することができる。顔画像が取得されることによって、装着者の視線又は表情等の特徴を取得すること、他者（装着者と実世界で空間を共有している者又は装着者と仮想空間で空間を共有している者）に対して装着者が誰であってどんな表情をしているかを伝達すること、個人認証を実施すること等が可能になる。

上記システムにおいて、センサ部は、赤外線を装着者に照射すると共に装着者から反射する赤外線を検知し、装着者の顔の距離情報を取得する距離画像センサであってもよい。このようにして取得された距離情報（深度情報）が用いられることにより、精緻に装着者の顔の３Ｄモデルを作成すること、正確に個人認証を行うこと等が可能になる。

上記システムは、センサ部によって取得された顔情報である装着者の顔画像に色彩情報を付与する色復元処理を行う処理装置を更に備えていてもよい。これにより、顔の色を含んだ自然な顔画像を取得することができる。

上記システムは、センサ部によって取得された顔情報である装着者の顔画像を、予め取得している装着者の３Ｄモデルに適用する処理装置を更に備えていてもよい。これにより、仮想空間内において、取得された顔画像を反映させた装着者の例えば頭部全体又は身体全体の画像（３Ｄモデル）を取得することができる。

上記システムは、センサ部によって取得された顔情報である装着者の顔画像に基づき、装着者の表情を抽出し、抽出した装着者の表情を、予め取得しているキャラクタ画像に適用する処理装置を更に備えていてもよい。これにより、仮想空間内において、取得された顔画像を反映させたキャラクタとして行動することが可能になる。

本発明によれば、装着者の映像視聴を阻害することなく、装着者の顔情報を適切に取得することができる。

本発明の実施形態に係る頭部搭載型ディスプレイシステムの一部の構成の斜視図である。 本発明の実施形態に係る頭部搭載型ディスプレイシステムの一部の構成を模式的に示す図である。 本発明の実施形態に係る頭部搭載型ディスプレイシステムの処理を示すフローチャートである。 本発明の変形例に係る頭部搭載型ディスプレイシステムの一部の構成を模式的に示す図である。 処理サーバのハードウェア構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

図１は、本実施形態に係る頭部搭載型ディスプレイシステム１の一部の構成の斜視図である。図２は、本実施形態に係る頭部搭載型ディスプレイシステム１の一部の構成を模式的に示す図である。図１及び図２に示されるように、頭部搭載型ディスプレイシステム１は、頭部搭載型ディスプレイ１０（頭部搭載型装置）と、赤外線カメラ２０（センサ部）と、処理サーバ５０と備えている。

頭部搭載型ディスプレイ１０は、装着者Ｙの頭部に装着（搭載）されるディスプレイ装置である。頭部搭載型ディスプレイ１０は、コンピュータによって作られた仮想世界を現実世界のように装着者Ｙに体験させる。頭部搭載型ディスプレイ１０は、筐体１１と、通信端末１２（映像表示装置）と、光学部品１３と、を備えている。

筐体１１は、通信端末１２及び光学部品１３を収容すると共に装着者Ｙの頭部に搭載される。筐体１１は、例えばベルト状の装着具１５と連結されており、該装着具１５が装着者Ｙの頭部に装着されることにより、装着者Ｙの頭部に搭載される。筐体１１は、筐体１１の形状を形成するベース部１１ａと、ベース部１１ａを覆う赤外線透過フィルタ１１ｂとを含んで構成されている。

ベース部１１ａは、箱状に形成されており、装着者Ｙの両目を覆う位置（装着者Ｙの両目に対応する位置に設けられたレンズ部（不図示）に対応する位置）から、装着者Ｙの正面方向（且つ装着者Ｙから離間する方向）に延びている。以下では、頭部搭載型ディスプレイ１０の説明において、装着者Ｙの正面方向のうち、装着者Ｙから離間する方向を「前」、装着者Ｙに近づく方向を「後」として説明する場合がある。ベース部１１ａは、例えば、前方に延びるに従って、徐々に高さ方向に大きくなるように形成されていてもよい。

赤外線透過フィルタ１１ｂは、可視光の光を吸収し赤外線を透過させるフィルタである。赤外線透過フィルタ１１ｂは、例えばフィルム状に形成されており、ベース部１１ａの内部に可視光が入射しないように、ベース部１１ａの側面（内側面又は外側面）を覆っている。

通信端末１２は、例えばスマートフォン、タブレッド型ＰＣ等の、通信可能であって且つ映像を表示するディスプレイを有した携帯端末である。通信端末１２によって表示される映像は、装着者ＹによるＶＲ（Virtual Reality）体験に係る映像である。通信端末１２は、例えば筐体１１の上部に設けられており、筐体１１の内部に向かって映像を出力する。通信端末１２は、例えば赤外線カメラ２０及び処理サーバ５０と通信可能に構成されている。通信端末１２は、例えば赤外線カメラ２０から装着者Ｙの顔画像を取得し、処理サーバ５０に送信する。

光学部品１３は、通信端末１２が表示する映像を装着者Ｙに向かって伝送する。光学部品１３は、例えばハーフミラー等の光学系を含んで構成されている。光学部品１３は、筐体１１の内部において、通信端末１２から出力された映像を装着者Ｙの両目に対応する位置に設けられたレンズ部（不図示)に向かって反射させることが可能なように配置・傾斜させられている。装着者Ｙは、レンズ部（不図示）を介して、光学部品１３によって反射した映像を視聴する。

赤外線カメラ２０は、筐体１１の外部に配置されており、装着者Ｙからの赤外線を検知することによって装着者Ｙの顔情報を取得する。赤外線カメラ２０は、例えば連結部１６を介して筐体１１と連結されている。赤外線カメラ２０は、装着者Ｙから放射される赤外線を、赤外線透過フィルタ１１ｂをとおして検知し、装着者Ｙの顔画像を取得する。赤外線カメラ２０は、例えば魚眼レンズ等を備えていてもよい。赤外線カメラ２０は、検知した装着者Ｙの顔画像を通信端末１２に出力する。上述したように、通信端末１２は、赤外線カメラ２０から取得した装着者Ｙの顔画像を処理サーバ５０に送信する。なお、赤外線カメラ２０を用いる態様においては、その光源として、赤外線を含む環境光が用いられてもよいし、頭部搭載型ディスプレイ１０又は赤外線カメラ２０に設けられた赤外線装置が用いられてもよい。

処理サーバ５０は、通信端末１２から取得した装着者Ｙの顔画像に所定の処理を行う処理装置である。処理サーバ５０は、例えば、取得した装着者Ｙの顔画像に色彩情報を付与する色復元処理を行う。処理サーバ５０は、色復元処理を行った後に、例えば従来から周知となっている画像処理又は機械学習等の手法を用いて装着者Ｙの表情を推定する。色復元処理の方法は限定されないが、例えば、機械学習により生成したカラー化モデルを用いる方法、複数波長の赤外線ＬＥＤを装着者Ｙに照射して得た顔画像を用いる方法、事前に取得している装着者Ｙの色彩情報を付与する方法等が考えられる。

機械学習により生成したカラー化モデルを用いる方法では、事前に、カラー画像を正解データ、正解データと対になる単色画像を入力データとして、深層学習等の機械学習によって画像のカラー化モデルを生成（学習）しておく。そして、処理サーバ５０は、通信端末１２から取得した装着者Ｙの顔画像を、上記カラー化モデルを用いてカラー化する。

複数波長の赤外線ＬＥＤを装着者Ｙに照射して得た顔画像を用いる方法では、前提として、複数波長の赤外線ＬＥＤを装着者Ｙに照射する構成が必要となる。赤外線カメラ２０は、複数波長の赤外線ＬＥＤが照射された装着者Ｙからの反射光を撮像する。そして、処理サーバ５０は、赤外線の波長毎の反射率の違いに基づき色彩を推定し、推定した色彩情報を装着者Ｙの顔画像に適用して顔画像のカラー化を行う。

事前に取得している装着者Ｙの色彩情報を付与する方法では、事前に、頭部搭載型ディスプレイ１０を装着する前の装着者の顔画像を取得しておき、顔画像の色彩情報を取得する。そして、処理サーバ５０は、通信端末１２から取得した装着者Ｙの顔画像に、事前に取得している色彩情報を適用し、顔画像のカラー化を行う。

処理サーバ５０は、通信端末１２から取得した装着者Ｙの顔画像を、予め取得している装着者Ｙの３Ｄモデルに適用する処理を行ってもよい。この場合、事前に、３Ｄスキャナ等の三次元計測装置を用いて装着者Ｙの全身又は一部の３Ｄモデルを取得しておく。処理サーバ５０は、装着者Ｙの顔画像の取得前において、取得予定の顔画像と、事前に取得している上記３Ｄモデルとの対応関係を特定する。そして、処理サーバ５０は、特定した対応関係に基づき、通信端末１２から取得した装着者Ｙの顔画像を装着者Ｙの３Ｄモデルにマッピングする。

処理サーバ５０は、通信端末１２から取得した装着者Ｙの顔画像に基づき、装着者Ｙの表情を抽出し、抽出した装着者Ｙの表情を、予め取得しているキャラクタ画像に適用してもよい。処理サーバ５０は、上述したように、例えば従来から周知となっている画像処理又は機械学習等の手法を用いて装着者Ｙの表情を推定する。そして、処理サーバ５０は、キャラクタ画像に対して抽出した表情の情報を与え、キャラクタ画像の表情を変形させる。

次に、頭部搭載型ディスプレイシステム１が実施する処理の一例を図３を用いて説明する。図３は、頭部搭載型ディスプレイシステム１の処理を示すフローチャートである。

図３に示されるように、頭部搭載型ディスプレイシステム１では、まず、通信端末１２によって装着者ＹによるＶＲ体験にかかわる映像が表示される（ステップＳ１）。当該映像は、光学部品１３によって反射し、装着者Ｙに向かって伝送される。

つづいて、筐体１１の外部に配置された赤外線カメラ２０によって装着者Ｙからの赤外線を検知することにより、装着者Ｙの顔画像が撮像される（ステップＳ２）。撮像された顔画像は、通信端末１２を介して処理サーバ５０に送信される。

つづいて、処理サーバ５０によって、装着者Ｙの顔画像に色彩情報を付与する色復元処理が行われる（ステップＳ３）。処理サーバ５０は、色復元処理を行った後に、装着者Ｙの表情を推定する（ステップＳ４）。なお、処理サーバ５０は、表情を推定した後に、装着者Ｙの顔画像を３Ｄモデルに適用する処理、又は、装着者Ｙの表情をキャラクタ画像に適用する処理等を行ってもよい。

次に、頭部搭載型ディスプレイシステム１の作用効果について説明する。

上述したように、頭部搭載型ディスプレイシステム１は、映像表示装置として機能する通信端末１２と、通信端末１２が表示する映像を装着者Ｙに向かって伝送する光学部品１３と、通信端末１２及び光学部品１３を収容すると共に装着者Ｙの頭部に搭載され、可視域の光を吸収し赤外線を透過させる赤外線透過フィルタ１１ｂで構成された筐体１１と、を備える頭部搭載型ディスプレイ１０と、筐体１１の外部に設置されており、装着者Ｙからの赤外線を検知することによって装着者Ｙの顔情報を取得する赤外線カメラ２０と、を備える。

このような頭部搭載型ディスプレイシステム１では、装着者Ｙに映像が表示される頭部搭載型ディスプレイ１０において、筐体１１が赤外線透過フィルタ１１ｂで構成されている。このため、映像を視聴する装着者Ｙ視点では、外光が遮蔽され、外光に阻害されることなく映像を主張することが可能になる。そして、本頭部搭載型ディスプレイシステム１では、筐体１１の外方に設けられた赤外線カメラ２０が装着者Ｙからの赤外線を検知して装着者Ｙの顔情報が取得される。このように、装着者Ｙからの赤外線を検知する赤外線カメラ２０を用いることによって、赤外線透過フィルタ１１ｂで構成された筐体１１の外方において装着者Ｙの顔情報を適切に取得することができる。以上のように、頭部搭載型ディスプレイシステム１によれば、装着者Ｙの映像視聴を阻害することなく、装着者Ｙの顔情報を適切に取得することができる。なお、従来、装着者Ｙの顔面情報の一部（視線や目の画像等）のみを取得することが一般的であったのに対して頭部搭載型ディスプレイシステム１では、赤外線透過フィルタ１１ｂで構成された筐体１１の外方から筐体１１自体を透過可能な赤外線を検知することによって、単一のセンサ部（赤外線カメラ２０）によって広範囲（眉から口元まで含めた領域）の顔情報を取得することができる。そのため、部分的な顔の情報（それぞれ個別に取得される視線、目の画像、口元の画像等）を組み合わせて装着者Ｙの顔情報を再構成する必要がなく、簡易な構成・処理で顔情報を取得することができる。

上述したように、頭部搭載型ディスプレイシステム１では、センサ部として、装着者Ｙから放射される赤外線を検知して装着者Ｙの顔画像を取得する赤外線カメラ２０が用いられている。このような赤外線カメラ２０によれば、装着者Ｙの顔画像を適切に取得することができる。顔画像が取得されることによって、装着者Ｙの視線又は表情等の特徴を取得すること、他者（装着者Ｙと実世界で空間を共有している者又は装着者Ｙと仮想空間で空間を共有している者）に対して装着者Ｙが誰であってどんな表情をしているかを伝達すること、個人認証を実施すること等が可能になる。

頭部搭載型ディスプレイシステム１は、赤外線カメラ２０によって取得された顔画像に色彩情報を付与する色復元処理を行う処理サーバ５０を更に備えている。これにより、顔の色を含んだ自然な顔画像を取得することができる。

処理サーバ５０は、装着者Ｙの顔画像を、予め取得している装着者Ｙの３Ｄモデルに適用してもよい。これにより、仮想空間内において、取得された顔画像を反映させた装着者Ｙの例えば頭部全体又は身体全体の画像（３Ｄモデル）を取得することができる。

処理サーバ５０は、赤外線カメラ２０によって取得された顔画像に基づき、装着者Ｙの表情を抽出し、抽出した装着者Ｙの表情を、予め取得しているキャラクタ画像に適用してもよい。これにより、仮想空間内において、取得された顔画像を反映させたキャラクタとして行動すること等が可能になる。

最後に、処理サーバ５０のハードウェア構成について、図５を参照して説明する。上述の処理サーバ５０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。処理サーバ５０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

処理サーバ５０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、処理サーバ５０の制御機能はプロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、処理サーバ５０の制御機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、処理サーバ５０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

例えば、頭部搭載型ディスプレイシステム１は、頭部搭載型ディスプレイ１０に代えて、図４（ａ）〜図４（ｃ）に示される頭部搭載型ディスプレイ１０Ａ〜１０Ｃを有していてもよい。図４（ａ）に示される頭部搭載型ディスプレイ１０Ａは、赤外線カメラ２０が筐体１１の外側に付属している点において、赤外線カメラ２０が筐体１１の外部に設置されている頭部搭載型ディスプレイ１０（図２参照）と異なっている。このように、頭部搭載型ディスプレイシステムにおいて、赤外線カメラ２０は筐体１１の外部に設置されていてもよいし、筐体１１の外側に付属していてもよい。

図４（ｂ）に示される頭部搭載型ディスプレイ１０Ｂ及び図４（ｃ）に示される頭部搭載型ディスプレイ１０Ｃは、センサ部として距離画像センサ４０を用いている点において、センサ部として赤外線カメラ２０を用いている頭部搭載型ディスプレイ１０（図２参照）と異なっている。距離画像センサ４０は、赤外線を装着者Ｙに照射すると共に装着者から反射する赤外線を検知し装着者Ｙの顔の距離情報を取得する。このようにして取得された装着者Ｙの顔の距離情報は、例えば装着者Ｙの顔の３Ｄモデルを作成すること、個人認証を行うこと等に用いられる。距離情報を用いることによって、精緻に装着者Ｙの顔の３Ｄモデルを作成することが可能になると共に、正確に個人認証を行うことが可能になる。距離画像センサ４０は、図４（ｂ）に示されるように筐体１１の外部に設置されていてもよいし、図４（ｃ）に示されるように筐体１１の外側に付属していてもよい。なお、頭部搭載型ディスプレイシステムは、赤外線カメラ２０及び距離画像センサ４０のいずれか一方を用いてもよいし、両方を組み合わせて用いてもよい。

上述した実施形態では、赤外線カメラ２０が取得した顔画像を通信端末１２経由で処理サーバ５０に送信するとして説明したがこれに限定されず、赤外線カメラ２０から処理サーバ５０に直接顔画像が送信されてもよい。また、処理装置として機能する処理サーバ５０を設けずに、通信端末１２が処理装置の機能を有していてもよい。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broad-band）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-Wide Band）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

ユーザ端末は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。

本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１…頭部搭載型ディスプレイシステム（システム）、１０，１０Ａ，１０Ｂ，１０Ｃ…頭部搭載型ディスプレイ（頭部搭載型装置）、１１…筐体、１１ｂ…赤外線透過フィルタ、１２…通信端末（映像表示装置）、１３…光学部品、２０…赤外線カメラ（センサ部）、４０…距離画像センサ（センサ部）、５０…処理サーバ（処理装置）、Ｙ…装着者。

Claims (6)

1. 映像表示装置と、前記映像表示装置が表示する映像を装着者に向かって伝送する光学部品と、前記映像表示装置及び前記光学部品を収容すると共に前記装着者の頭部に搭載され、可視域の光を吸収し赤外線を透過させる赤外線透過フィルタで構成された筐体と、を備える頭部搭載型装置と、
   前記筐体の外側に付属するか又は前記筐体の外部に設置されており、前記装着者からの赤外線を検知することによって前記装着者の顔情報を取得するセンサ部と、を備えるシステム。
2. 前記センサ部は、前記装着者から放射される赤外線を検知して前記装着者の顔画像を取得する赤外線カメラである、請求項１記載のシステム。
3. 前記センサ部は、赤外線を前記装着者に照射すると共に前記装着者から反射する赤外線を検知し、前記装着者の顔の距離情報を取得する距離画像センサである、請求項１又は２記載のシステム。
4. 前記センサ部によって取得された前記顔情報である前記装着者の顔画像に色彩情報を付与する色復元処理を行う処理装置を更に備える、請求項１〜３のいずれか一項記載のシステム。
5. 前記センサ部によって取得された前記顔情報である前記装着者の顔画像を、予め取得している前記装着者の３Ｄモデルに適用する処理装置を更に備える、請求項１〜４のいずれか一項記載のシステム。
6. 前記センサ部によって取得された前記顔情報である前記装着者の顔画像に基づき、前記装着者の表情を抽出し、抽出した前記装着者の表情を、予め取得しているキャラクタ画像に適用する処理装置を更に備える、請求項１〜５のいずれか一項記載のシステム。