JP2019008513A - バーチャルリアリティシステムおよびプログラム - Google Patents

Abstract

【課題】本発明は、高品質のバーチャルリアリティ体験を提供するバーチャルリアリティシステムを提供することを目的とする。【解決手段】本発明によれば、顔を持つモックアップを使用するバーチャルリアリティシステムであって、バーチャルリアリティ画像の構成要素として、現実空間に存在する実体物に対して３次元的に位置合わせされた３Ｄオブジェクトを生成する３Ｄオブジェクト生成手段と、前記バーチャルリアリティ画像を見るユーザの視線ベクトルを取得する視線ベクトル取得手段と、前記ユーザの視線ベクトルと前記３Ｄオブジェクトの衝突判定を行う視線ベクトル衝突判定手段とを含み、前記３Ｄオブジェクト生成手段は、前記衝突判定の結果に応じて前記モックアップに３次元的に位置合わせされた３Ｄオブジェクトの視線の方向を動的に変化させる、バーチャルリアリティシステムが提供される。【選択図】図１

Description

本発明は、バーチャルリアリティシステムに関する。

近年、３Ｄコンピュータグラフィックスを利用したバーチャルリアリティがエンターテイメントの分野で注目を集めており、バーチャルリアリティ体験の品質を向上させるための手法が種々検討されている（例えば、特許文献１）。

特開２０１７−７８８９３号公報

本発明は、高品質のバーチャルリアリティ体験を提供するバーチャルリアリティシステムを提供することを目的とする。

本発明者は、高品質のバーチャルリアリティ体験を提供するバーチャルリアリティシステムにつき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、顔を持つモックアップを使用するバーチャルリアリティシステムであって、バーチャルリアリティ画像の構成要素として、現実空間に存在する実体物に対して３次元的に位置合わせされた３Ｄオブジェクトを生成する３Ｄオブジェクト生成手段と、前記バーチャルリアリティ画像を見るユーザの視線ベクトルを取得する視線ベクトル取得手段と、前記ユーザの視線ベクトルと前記３Ｄオブジェクトの衝突判定を行う視線ベクトル衝突判定手段とを含み、前記３Ｄオブジェクト生成手段は、前記衝突判定の結果に応じて前記モックアップに３次元的に位置合わせされた３Ｄオブジェクトの視線の方向を動的に変化させる、バーチャルリアリティシステムが提供される。

上述したように、本発明によれば、高品質のバーチャルリアリティ体験を提供するバーチャルリアリティシステムが提供される。

本実施形態のＶＲシステムのシステム構成図。 本実施形態のＶＲシステムの機能ブロック図。 本実施形態のＶＲシステムを利用したＶＲ体験ブースを示す図。 本実施形態におけるＨＭＤ用衛生マスクを示す図。 本実施形態のＶＲシステムが実行する処理のシーケンス図。 本実施形態におけるユーザ情報入力画面を示す図。 本実施形態における予想画像生成画面を示す図。 ３次元的に位置合わせされてたモックアップと３Ｄオブジェクトを示す図。 本実施形態のＶＲシステムが実行する処理のフローチャート。 本実施形態のＶＲシステムが実行する処理のフローチャート。 本実施形態のＶＲシステムが実行する処理のフローチャート。 視線方向を動的に変更する３Ｄオブジェクトを示す図。

以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

図１は、本発明の実施形態であるバーチャルリアリティシステム１０００のシステム構成を示す。なお、以下においては、用語“バーチャルリアリティ（Virtual Reality）”を“ＶＲ”と省略する場合がある。図１に示すように、本実施形態のＶＲシステム１０００は、ＶＲ体験ブースに設置されるＰＣ１００と、Ｗｅｂサーバ２００とを含んで構成されている。

本実施形態のＶＲ体験ブースには、ユーザが装着するヘッドマウントディスプレイ（以下、ＨＭＤという）１２およびヘッドフォン１４と、ユーザの顔写真を撮影するためのデジタルカメラ１８が用意される。

また、本実施形態のＶＲ体験ブースには、顔を持つ対象物（人間、動物、ロボットなど）のモックアップを含む１以上のモックアップが用意される。そして、これらのモックアップの少なくとも１つに振動子１６が内蔵される。

また、本実施形態のＶＲ体験ブースには、３次元位置姿勢取得手段１０が設置される。３次元位置姿勢取得手段１０は、現実空間と３次元仮想空間の幾何学的位置合わせを行うのに必要な現実空間に存在する実体物の３次元位置・姿勢を取得するための手段であり、その方式は、ビジョンベース（マーカーベース、モデルベース、自然特徴ベース）またはセンサベースのいずれであってもよい。

本実施形態のＰＣ１００は、バーチャルリアリティを提示するために必要な各種の情報処理を実行するコンピュータであり、３次元位置姿勢取得手段１０、ＨＭＤ１２、ヘッドフォン１４および振動子１６のそれぞれと有線または無線を介して通信可能に接続されている。なお、図１では、ＰＣ１００をノートＰＣとして図示しているが、ＰＣ１００は、デスクトップＰＣやタブレットＰＣであってもよい。

本実施形態のＷｅｂサーバ２００は、ＶＲ体験ブースを訪れるユーザに関連する各種の情報（以下、ユーザ情報という）を収集・管理するコンピュータであり、ＶＲ体験に設置されるＰＣ１００ならびにＶＲ体験ブースを訪れるユーザのユーザ端末３００のそれぞれと、インターネット、ＬＡＮ（Local Area Network）、携帯電話網、またはこれらの組み合わせによって構成される有線または無線の情報通信ネットワークとして参照するネットワーク４０を介して通信可能に接続されている。なお、図１では、Ｗｅｂサーバ２００を１台のサーバとして図示しているが、Ｗｅｂサーバ２００は、ネットワーク上に２以上のサーバが分散配置されてなるクラウドシステムであってもよい。また、図１では、ユーザ端末３００をスマートフォンとして図示しているが、ユーザ端末３００は、タブレットＰＣやノートＰＣであってもよい。

以上、本実施形態のＶＲシステム１０００のシステム構成を説明してきたが、続いて、図２に示す機能ブロック図に基づいて、ＶＲシステム１０００を構成する各装置の機能構成を説明する。

ＰＣ１００は、３Ｄオブジェクト生成部１０１と、ＶＲ画像生成部１０２と、視線ベクトル取得部１０３と、視線ベクトル衝突判定部１０４と、予想画像生成部１０５と、画像出力部１０６と、音声出力部１０７と、振動子制御部１０８と、記憶領域１０９とを含んで構成されている。

３Ｄオブジェクト生成部１０１は、ＨＭＤ１２に出力するＶＲ画像の構成要素として、現実空間に存在する実体物に対して３次元的に位置合わせされた３Ｄオブジェクトを生成する手段である。

ＶＲ画像生成部１０２は、３Ｄオブジェクトを含む３次元仮想空間を仮想スクリーンに透視投影することによりＶＲ画像（２次元画像）を生成する手段である。

視線ベクトル取得部１０３は、ＨＭＤ１２を装着するユーザの視線ベクトルを取得する手段である。

視線ベクトル衝突判定部１０４は、ＨＭＤ１２を装着するユーザの視線ベクトルとＶＲ画像内の３Ｄオブジェクトの衝突判定を行う手段である。

予想画像生成部１０５は、標準的な赤ちゃんの顔画像とユーザの顔画像のモーフィング画像をユーザの赤ちゃんの顔の予想画像として生成する手段である。

画像出力部１０６は、ＶＲ画像生成部１０２が生成したＶＲ画像をＨＭＤ１２に出力する手段である。

音声出力部１０７は、ヘッドフォン１４に音声信号を出力する手段である。

振動子制御部１０８は、モックアップ（顔を持つモックアップに限らない）に内蔵される振動子１６の振動を制御するための駆動信号を出力する手段である。

記憶領域１０９は、３Ｄオブジェクトに関連する音声を収めた音声ファイルなどの各種データを保持する手段である。

なお、本実施形態では、ＰＣ１００が、所定のプログラムを実行することにより、上述した各手段として機能する。

一方、Ｗｅｂサーバ２００は、ユーザ情報保存部２０２と、データベース２０４とを含んで構成されている。

一方、ユーザ端末３００は、Ｗｅｂブラウザ３０２と、２次元コードデコード手段３０４とを含んで構成されている。

以上、本実施形態のＶＲシステム１０００を構成する各装置の機能構成を説明してきたが、続いて、ＶＲシステム１０００が実行する処理の内容を具体的ンな適用例に基づいて説明する。なお、以下の説明においては、適宜、図１および図２を参照するものとする。

図３は、本実施形態のＶＲシステム１０００を適用した「育児疑似体験ブース」を示す。この「育児疑似体験ブース」は、赤ちゃんの世話を疑似体験させることを目的としたＶＲ体験ブースであり、図３に示すように、ブース内に用意された部屋５００の中央には、ベビーベッド３２が設置されており、ベビーベッド３２の中には、赤ちゃんのモックアップ３０が置かれている。また、部屋５００の隅には、チェスト３６が設置されており、チェスト３６の上には、哺乳瓶のモックアップ３４が置かれている。そして、赤ちゃんのモックアップ３０の内部には、振動子１６ａが内蔵されており、哺乳瓶のモックアップ３４の内部には、振動子１６ｂが内蔵されている。

＜ＨＭＤ用衛生マスクの配布＞
本実施形態では、「育児疑似体験ブース」では、受付を訪れたユーザの一人ひとりに対して、図４に示すＨＭＤ用衛生マスク５０（以下、衛生マスク５０という）を配布する。衛生マスク５０は、多くの人が使いまわすＨＭＤの内側部分が直に顔に触れるのを防ぐものであり、一般に、不織布や紙などで作製され、目の部分に横長の穴が空いたアイマスク様の形状を有している。

ここで、本実施形態では、衛生マスク５０に２次元コードの一種であるＱＲコード５２（「ＱＲコード」は登録商標。以下同様。）が付されている。本実施形態では、Ｗｅｂサーバ２００のＵＲＩがＱＲコード５２にエンコードされており、このＵＲＩは、ＶＲシステム１０００のシステム内で一意のユーザＩＤを暗号化してなる暗号化文字列をＧＥＴパラメータとして含む文字列として記述されている。なお、本実施形態は、ＱＲコード５２の付し方を限定するものではなく、ＱＲコード５２は、シール貼付、タグ付け、直接印刷といった任意の方法で衛生マスク５０に付される。

＜ユーザ情報の保存＞
本実施形態では、スタッフが衛生マスク５０を配る際に、ユーザに対して「衛生マスクに付されているＱＲコードをお手持ちの携帯端末で読み取ってください。」とお願いする。これを受けて、ユーザが、配布された衛生マスク５０に付されたＱＲコード５２を自身のユーザ端末３００の搭載カメラで撮影する。これを受けて、ユーザ端末３００とＷｅｂサーバ２００との間で、図５のシーケンス図に示す処理が実行される。

まず、ユーザ端末３００の２次元コードデコード手段３０４が衛生マスク５０に付されたＱＲコード５２をデコードして、暗号化文字列をＧＥＴパラメータとして含むＵＲＩを取得する（Ｓ１）。

次に、ユーザ端末３００のＷｅｂブラウザ３０２は、暗号化文字列をＧＥＴパラメータとするＧＥＴリクエストを取得したＵＲＩ（Ｗｅｂサーバ２００のＵＲＩ）に宛てて送信する（Ｓ２）。

これを受けて、Ｗｅｂサーバ２００のユーザ情報保存部２０２は、受信したＧＥＴリクエストに含まれる暗号化文字列を復号してユーザＩＤを取得した後、当該ユーザＩＤをタイムスタンプに紐付けてデータベース２０４に保存する（Ｓ３）。

その後、ユーザ情報保存部２０２は、レスポンスとして、ユーザ端末３００に対してユーザ情報入力画面を送信する（Ｓ４）。これを受けて、ユーザ端末３００のＷｅｂブラウザ３０２は、受信したユーザ情報入力画面をディスプレイに表示する（Ｓ５）。

図６（ａ）は、Ｓ６で表示されるユーザ情報入力画面の一例である「事前アンケート」入力画面を示す。図６（ａ）に示すように、「事前アンケート」入力画面は、ユーザの属性（性別、年齢、職業、結婚、興味のある分野）に関する質問への回答や、「赤ちゃんを世話したことがありますか？」、「赤ちゃんを欲しいと思ったことがありますか？」といった質問への回答を受け付けるように構成されている。

これを受けて、ユーザが「事前アンケート」入力画面に回答を入力して、送信ボタンを選択すると、ユーザ端末３００のＷｅｂブラウザ３０２は、入力された内容をユーザ情報としてＷｅｂサーバ２００に送信する（Ｓ６）。

これを受けて、Ｗｅｂサーバ２００のユーザ情報保存部２０２は、受信したユーザ情報をＳ３で取得したユーザＩＤに紐付けてデータベース２０４に保存する（Ｓ７）。

＜予想画像の生成＞
本実施形態では、ユーザを部屋５００に案内する前に、スタッフがユーザの顔をデジタルカメラ１８で撮影し、撮影したユーザの顔画像をＰＣ１００に送信する。これを受けて、ＰＣ１００は、受信したユーザの顔画像を一時記憶に保存する。

続いて、スタッフは、ＰＣ１００を操作して、図７（ａ）に示す予想画像生成画面６０を開く。予想画像生成画面６０は、ユーザの赤ちゃんの顔の予想画像を生成するためのＵＩであり、フィールド６２と、フィールド６３と、フィールド６４と、形状スライダー６５と、色相スライダー６７を含んで構成されている。

スタッフが予想画像生成画面６０を開いた時点で、ＰＣ１００の予想画像生成部１０５は、予め用意された標準的な赤ちゃんの顔画像（以下、標準画像という）を所定の記録領域から読み出してフィールド６２に表示し、先に撮影したユーザの顔画像（以下、ユーザ画像という）を一時記憶から読み出してフィールド６３に表示する。そして、このとき、予想画像生成部１０５は、標準画像とユーザ画像の対応する特徴点に基づいて、いずれか一方をソース画像とし、他方をターゲット画像とするモーフィングを実行して中間画像（以下、モーフィング画像という）を生成し、生成したモーフィング画像を予想画像としてフィールド６４に表示する。

ここで、通常、モーフィングでは、形状のモーフィング（以下、形状モーフィングという）と色相のモーフィング（以下、色相モーフィングという）が同じパラメータに基づいて行うことが一般的であるが、本実施形態の予想画像生成画面６０は、形状モーフィングと色相モーフィングを、それぞれ、個別のパラメータに基づいて行う。なお、ここでいうパラメータとは、ソース画像とターゲット画像の混合比率を意味する。

この点に関して、予想画像生成画面６０は、形状モーフィングのパラメータの設定値および色相モーフィングのパラメータの設定値を、それぞれ、形状スライダー６５および色相スライダー６７を介して、それぞれ個別に受け付けることができるように構成されている。

具体的には、予想画像生成画面６０において、形状スライダー６５のハンドルを紙面右方向に移動させるほど、形状モーフィングにおけるユーザ画像の混合比率が大きくなり、ハンドルを紙面左方向に移動させるほど、形状モーフィングにおける標準画像の混合比率が大きくなる。同様に、色相スライダー６７のハンドルを紙面右方向に移動させるほど、色相モーフィングにおけるユーザ画像の混合比率が大きくなり、ハンドルを紙面左方向に移動させるほど、色相モーフィングにおける標準画像の混合比率が大きくなる。なお、本実施形態では、形状モーフィングおよび色相モーフィングのパラメータのデフォルト値としてユーザ画像の混合比率０％が設定されているので、図７（ａ）に示すように、当初のフィールド６４には標準画像が表示される。

ここで、スタッフは、予想画像生成画面６０の操作方法をユーザに説明した後、ユーザに対して「ご自分の赤ちゃんの顔の予想画像を作って下さい。」とお願いする。これを受けて、ユーザは、２つのスライダー６５、６７を試行錯誤的に操作し、その結果、図７（ｂ）に示すような納得できる予想画像がフィールド６４には表示されたときに「保存」ボタンを選択する。これを受けて、予想画像生成画面６０は、その時点で生成された予想画像を一時記憶に保存する。このように、本実施形態では、形状と色相のモーフィングを個別のパラメータに基づいて行うことにより、赤ちゃんの予想画像のリアリティを向上させることが可能になる。

＜視覚と触覚が融合したインタラクション＞
自分の赤ちゃんの顔の予想画像を作成したユーザは、配付された衛生マスク５０の上からＨＭＤ１２とヘッドフォン１４を装着した状態で図３に示す部屋５００に入る。このとき、部屋５００に設置された３次元位置姿勢取得手段１０は、現実空間である部屋５００の中に存在する実体物（ユーザ、ＨＭＤ１２、ベビーベッド３２、モックアップ３０、チェスト３６、モックアップ３４など）の３次元位置姿勢情報をリアルタイムにトラッキングして、ＰＣ１００に送信する。

一方、ＰＣ１００の３Ｄオブジェクト生成部１０１は、３次元位置姿勢取得手段１０から送信される３次元位置姿勢情報に基づいて、部屋５００の中に存在する実体物（ベビーベッド３２、モックアップ３０、チェスト３６、モックアップ３４）に対して３次元的に位置合わせされた３Ｄオブジェクトをリアルタイムで生成する。

このとき、３Ｄオブジェクト生成部１０１は、赤ちゃんのモックアップ３０に対応する３Ｄオブジェクト（以下、赤ちゃんオブジェクトという）を生成する際に、ユーザが生成した予想画像に基づいて顔テクスチャを生成して、赤ちゃんオブジェクトの顔領域に貼り付ける。

一方、ＶＲ画像生成部１０２は、生成された３Ｄオブジェクトを構成要素として含むＶＲ画像を所定のフレームレートで生成し、画像出力部１０６は、生成されたＶＲ画像をＨＭＤ１２に出力する。

このとき、本実施形態では、ＶＲ画像に含まれる３Ｄオブジェクトが、現実空間の実体物に対して３次元的に位置合わせされているので、ＶＲ画像によってもたらされる視覚と、実体物によってもたらされる触覚（圧覚）が一致する。

例えば、ＨＭＤ１２を装着したユーザが図８（ａ）に示すアングルでベビーベッド３２に置かれているモックアップ３０を覗き込んだとき、ユーザの視界には、図８（ｂ）に示すような赤ちゃんオブジェクトが映る。このとき、赤ちゃんオブジェクトの顔が自分によく似ているので、ユーザは、ＶＲ画像内の赤ちゃんに親近感を抱きやすくなり、育児体験のリアリティが向上する。

さらに、本実施形態では、ユーザが視界に映る赤ちゃんオブジェクトを触ろうとして手を伸ばすと、その手にモックアップ３０が触知され、ユーザが視界に映る赤ちゃんオブジェクトを腕で抱きかえようとすると、その腕にモックアップ３０の重量感がもたらされる。本実施形態では、このような視覚と触覚が融合したインタラクションがＶＲ体験の品質を向上させる。

＜聴覚と触覚が融合したインタラクション＞
本実施形態では、ＰＣ１００の記憶領域１０９に、赤ちゃんオブジェクトに関連付けられた音声（赤ちゃんの泣き声、笑い声、ゲップの音、ミルクを飲む音、など）を収めた音声ファイルが保持されており、音声出力部１０７は、所定の規則に従って、記憶領域１０９から適切な音声ファイルを読み出し、それをデコードした音声信号をヘッドフォン１４に出力する。

一方、振動子制御部１０８は、音声出力部１０７が出力する音声信号の波形データを取得し、高速フーリエ変換（FFT）で取得した波形データのスペクトラム解析を行ってスペクトル強度を取得する。次に、バンドパスフィルタによって取得したスペクトル強度から特定の波長域（例えば、14700〜29400Hz）のスペクトル強度を抽出した後、抽出したスペクトル強度に対して適切な係数をかけてduration（駆動信号を送る時間）に変換して振動子１６に出力する。

これにより、音声出力部１０７が出力する音声信号に同期して駆動信号が振動子１６に出力され、ヘッドフォン１４に出力される音声の強度に応じた強度で振動子１６が振動する。具体的には、赤ちゃんの泣き声の音声がヘッドフォン１４に出力される間に、ユーザが抱きかかえる赤ちゃんのモックアップ３０に内蔵された振動子１６ａが出力音声の強度に応じた強度で振動し、赤ちゃんがミルクを飲む音の音声がヘッドフォン１４に出力される間に、ユーザが手に持つ哺乳瓶のモックアップ３４に内蔵された振動子１６ｂが適切な駆動周波数で制御され適切な強度で振動する。本実施形態では、このような聴覚と触覚が融合したインタラクションがＶＲ体験の品質を向上させる。

＜３Ｄオブジェクトの視線を利用したリアリティの創出＞
本実施形態では、赤ちゃんオブジェクトの視線方向を動的に変化させることによって高いリアリティを創出する。以下、赤ちゃんオブジェクトの視線方向を動的に変化させるための処理を図９〜図１１に示すフローチャートに基づいて説明する。

本実施形態では、赤ちゃんオブジェクトの視線に係るモードとして、下記に挙げる５つのモードを用意する。
（１）ユーザに見られたら見返す
（２）ユーザが見ているものを見る
（３）ユーザを設定された頻度で見る
（４）ユーザを常に見る
（５）ランダムな方向を見る

以下、各モードにおいて実行される処理の内容を順を追って説明する。

（モード１：ユーザに見られたら見返す）
図９（ａ）は、全モードで実行されるメインルーチンのフローチャートを示し、図９（ｂ）は、モード１で実行されるコルーチンのフローチャートを示す。

まず、メインルーチンのステップ１０１では、決められた座標０〜３を取得する。

続くステップ１０２では、視線ベクトル取得部１０３が、３次元位置姿勢取得手段１０が取得したＨＭＤ１２の３次元位置姿勢に基づいて最新のユーザの頭部座標と視線ベクトルを取得する。

続くステップ１０３では、停止しているコルーチンがあるか否かを判断する。この時点では、停止しているコルーチンがないので（ステップ１０３、Ｎｏ）、処理は、ステップ１０６に進み、コルーチンを開始する。

モード１のコルーチンが開始されると、まずステップ２０１では、視線ベクトル衝突判定部１０４が、既知の方法によって、先のステップ１０２で取得したユーザの視線ベクトルと赤ちゃんオブジェクト（の顔の部分）の衝突判定を行う。

その結果、ユーザの視線ベクトルと赤ちゃんオブジェクトが衝突している場合は（ステップ２０２、Ｙｅｓ）、処理はステップ２０３に進み、変数Targetにユーザの頭部座標を代入する。

続くステップ２０４では、３Ｄオブジェクト生成部１０１は、赤ちゃんオブジェクトの顔の方向をTargetの座標に向ける。この場合、変数Targetにはユーザの頭部座標が代入されているので、３Ｄオブジェクト生成部１０１は、顔の方向をユーザの頭部に向けた赤ちゃんオブジェクトを生成する。

その後、処理は、ステップ２０５に進んで、コルーチンを停止した後、メインルーチンに戻る。

一方、ユーザの視線ベクトルと赤ちゃんオブジェクトが衝突していない場合は（ステップ２０２、Ｎｏ）、処理はステップ２０６に進む。ステップ２０６では、乱数を用いてint型変数ａに、メインルーチンのステップ１０１（図９（ａ））で取得した０〜３までの値を代入し、続くステップ２０７で、変数Targetに座標[ａ]を代入する。

続くステップ２０４では、３Ｄオブジェクト生成部１０１は、赤ちゃんオブジェクトの顔の方向をTargetの座標に向ける。この場合、変数Targetにはランダムに決定された座標[ａ]が代入されているので、３Ｄオブジェクト生成部１０１は、顔の方向を座標[ａ]に向けた赤ちゃんオブジェクトを生成する。

その後、処理は、ステップ２０５に進んで、コルーチンを停止した後、メインルーチンに戻る。

再び、図９（ａ）に戻って説明を続ける。

コルーチンを停止した後、処理はメインルーチンのステップ１０５に進む。ステップ１０５では、３Ｄオブジェクト生成部１０１は、現在の赤ちゃんオブジェクトの顔の方向を考慮に入れた上で、赤ちゃんオブジェクトの視線の方向をTargetの座標に向ける。

ここで、変数Targetに座標[ａ]が代入されている場合（すなわち、ユーザの視線ベクトルが赤ちゃんオブジェクトに衝突していない場合）は、３Ｄオブジェクト生成部１０１は、視線の方向を座標[ａ]に向けた顔テクスチャを生成して、赤ちゃんオブジェクトの顔領域に貼り付ける。その結果、ＶＲ画像中の赤ちゃんオブジェクトは、図１２（ａ）に示すように、ユーザと目を合わさない。

一方、変数Targetにユーザの頭部座標が代入されている場合（すなわち、ユーザの視線ベクトルが赤ちゃんオブジェクトに衝突している場合）は、３Ｄオブジェクト生成部１０１は、視線の方向をユーザの頭部に向けた顔テクスチャを生成して、赤ちゃんオブジェクトの顔領域に貼り付ける。その結果、ＶＲ画像中の赤ちゃんオブジェクトは、図１２（ｂ）に示すように、ユーザと目を合わせる。

その後、処理はステップ１０２に戻り、ユーザの頭部座標と視線ベクトルを取得した後、続くステップ１０３で、停止しているコルーチンがあるか否かを判断する。この時点では、停止しているコルーチンがあるので（ステップ１０３、Ｙｅｓ）、処理は、ステップ１０４に進む。

続くステップ１０４では、コルーチンの停止時間が所定時間Ｔを経過しているか否かを判断し、停止時間が所定時間Ｔを経過しない限り（ステップ１０４、Ｎｏ）、上述したステップ１０２〜１０５の一連の処理を繰り返す。

一方、コルーチンの停止時間が所定時間Ｔを経過した時点で（ステップ１０４、Ｙｅｓ）、ステップ１０７に進んで、停止していたコルーチンを終了させた後、処理は、ステップ１０５に進む。

以降、ＰＣ１００は、上述した一連の処理を繰り返す。

（モード２：ユーザが見ているものを見る）
モード２のコルーチンで実行される処理の内容を図１０（ａ）に示すフローチャートに基づいて説明する。なお、以降の説明においては、メインルーチンの説明を適宜省略するものとする。

モード２のコルーチンが開始されると、まずステップ３０１では、ユーザの視線ベクトルと他のオブジェクトの衝突判定を行う。ここでいう“他のオブジェクト”とは、赤ちゃんオブジェクト以外の他の３Ｄオブジェクトを意味し、例えば、哺乳瓶のモックアップ３４に対応する３Ｄオブジェクトがこれに相当する。

その結果、ユーザの視線ベクトルと他のオブジェクトが衝突している場合は（ステップ３０２、Ｙｅｓ）、処理はステップ３０３に進み、変数Targetに衝突している他のオブジェクトの座標（代表座標）を代入する。

続くステップ３０４では、３Ｄオブジェクト生成部１０１は、赤ちゃんオブジェクトの顔の方向をTargetの座標に向ける。この場合、変数Targetには衝突している他のオブジェクトの座標が代入されているので、３Ｄオブジェクト生成部１０１は、顔の方向を他のオブジェクトに向けた赤ちゃんオブジェクトを生成する。

その後、処理は、ステップ３０５に進んで、コルーチンを停止した後、メインルーチンに戻る。

一方、ユーザの視線ベクトルと他のオブジェクトが衝突していない場合は（ステップ３０２、Ｎｏ）、処理はステップ３０６に進む。ステップ３０６では、乱数を用いてint型変数ａに、メインルーチンのステップ１０１（図９（ａ））で取得した０〜３までの値を代入し、続くステップ３０７で、変数Targetに座標[ａ]を代入する。

続くステップ３０４では、３Ｄオブジェクト生成部１０１は、赤ちゃんオブジェクトの顔の方向をTargetの座標に向ける。この場合、変数Targetにはランダムに決定された座標[ａ]が代入されているので、３Ｄオブジェクト生成部１０１は、顔の方向を座標[ａ]に向けた赤ちゃんオブジェクトを生成する。

その後、処理は、ステップ３０５に進んで、コルーチンを停止した後、メインルーチンに戻る。

上述したように、モード１およびモード２では、赤ちゃんオブジェクトがユーザの視線に反応しているように振る舞うので、ユーザは、これに強いリアリティを感じるようになる。

（モード３：ユーザを設定された頻度で見る）
モード３のコルーチンで実行される処理の内容を図１０（ｂ）に示すフローチャートに基づいて説明する。

まずステップ４０１では、乱数を用いてfloat型変数numに０〜１の範囲の実数を代入する。

続くステップ４０２では、変数numの値が閾値αに達しているか否かが判断される。ここで、閾値αは、ユーザを見る頻度を設定するためのパラメータであり、０以上１以下の値を取り得る。判断の結果、変数numの値が閾値αに達していない場合は（ステップ４０２、Ｎｏ）、処理はステップ４０３に進み、変数Targetにユーザの頭部座標を代入する。

続くステップ４０４では、３Ｄオブジェクト生成部１０１は、赤ちゃんオブジェクトの顔の方向をTargetの座標に向ける。この場合、変数Targetにはユーザの頭部座標が代入されているので、３Ｄオブジェクト生成部１０１は、顔の方向をユーザの頭部に向けた赤ちゃんオブジェクトを生成する。

その後、処理は、ステップ４０５に進んで、コルーチンを停止した後、メインルーチンに戻る。

一方、変数numの値が閾値αに達していた場合は（ステップ４０２、Ｙｅｓ）、処理はステップ４０６に進む。ステップ４０６では、乱数を用いてint型変数ａに０〜３までの値を代入し、続くステップ４０７で、変数Targetに座標[ａ]を代入する。

続くステップ４０４では、３Ｄオブジェクト生成部１０１は、赤ちゃんオブジェクトの顔の方向をTargetの座標に向ける。この場合、変数Targetにはランダムに決定された座標[ａ]が代入されているので、３Ｄオブジェクト生成部１０１は、顔の方向を座標[ａ]に向けた赤ちゃんオブジェクトを生成する。

その後、処理は、ステップ４０５に進んで、コルーチンを停止した後、メインルーチンに戻る。

上述したモード３では、パラメータαの大きさを所定の規則に従って動的に変化させることによって、赤ちゃんオブジェクトの振る舞いにリアリティを持たせることができる。例えば、時間の経過に伴ってαが少しずつ大きくしていけば、赤ちゃんオブジェクトは、時間の経過に伴って少しずつユーザに関心を寄せていくように振る舞う。

（モード４：ユーザを常に見る）
モード４のコルーチンで実行される処理の内容を図１１（ａ）に示すフローチャートに基づいて説明する。

まずステップ５０１では、変数Targetにユーザの頭部座標を代入する。

続くステップ５０２では、３Ｄオブジェクト生成部１０１は、赤ちゃんオブジェクトの顔の方向をTargetの座標に向ける。この場合、変数Targetにはユーザの頭部座標が代入されているので、３Ｄオブジェクト生成部１０１は、顔の方向をユーザの頭部に向けた赤ちゃんオブジェクトを生成する。

その後、処理は、ステップ５０３に進んで、コルーチンを停止した後、メインルーチンに戻る。

（モード５：ランダムな方向を見る）
モード５のコルーチンで実行される処理の内容を図１１（ｂ）に示すフローチャートに基づいて説明する。

まずステップ６０１では、乱数を用いてint型変数ａに０〜３までの値を代入し、続くステップ６０２で、変数Targetに座標[ａ]を代入する。

続くステップ６０３では、３Ｄオブジェクト生成部１０１は、赤ちゃんオブジェクトの顔の方向をTargetの座標に向ける。この場合、変数Targetにはランダムに決定された座標[ａ]が代入されているので、３Ｄオブジェクト生成部１０１は、顔の方向を座標[ａ]に向けた赤ちゃんオブジェクトを生成する。

その後、処理は、ステップ６０４に進んで、コルーチンを停止した後、メインルーチンに戻る。

本実施形態では、上述した５つのモードを所定の規則に従って切り替えることにより、赤ちゃんオブジェクトの振る舞いをより自然に見せることができる。

＜ユーザ情報の関連付けと共有＞
「育児疑似体験ブース」でのＶＲ体験を終えたユーザは、自身のユーザ端末３００を操作して、体験前に受信したユーザ情報入力画面を開き、そこに張られたリンクから、図６（ｂ）に示す「事後アンケート」入力画面を開く。

図６（ｂ）に示すように、「事後アンケート」入力画面は、「育児疑似体験ブース」でのＶＲ体験を終えたユーザに対するアンケートとして、「結婚したいと思いますか？」、「赤ちゃんを欲しいと思いますか？」といった質問への回答を受け付けるように構成されている。ここで、ユーザが「事後アンケート」入力画面に回答を入力して、送信ボタンを選択すると、ユーザ端末３００のＷｅｂブラウザ３０２は、入力された内容をＷｅｂサーバ２００に送信し、Ｗｅｂサーバ２００のユーザ情報保存部２０２がこれをユーザ情報としてデータベース２０４に保存する。この間、ユーザのセッションが維持されているため、データベース２０４において、「事後アンケート」の結果と「事前アンケート」の結果はユーザＩＤを介して関連付けられたユーザ情報となり、後に、「育児疑似体験ブース」の主催者の利用に供される。

なお、本実施形態のＶＲシステム１０００を、複数のＶＲ体験ブースを出展するＶＲ体験イベントに適用する場合には、ユーザ端末３００が衛生マスク５０のＱＲコードを最初に読み取ったときに、Ｗｅｂサーバ２００が、複数のＶＲ体験ブースに関連するユーザ情報入力画面のリンクを張ったランディングページをユーザ端末３００に送信するようにしてもよい。その場合、ユーザは、ランディングページに張られたリンクから、それぞれのＶＲ体験ブースが提供するユーザ情報入力画面にアクセスして、そのブースに関連するユーザ情報（事前・事後アンケートの回答、過去のＶＲ体験、過去の実経験の有無、各ゲーム内で共通の名前やアバターのデザイン、課金状況、ゲームスコア、ポイント、など）をＷｅｂサーバ２００のデータベース２０４に保存することができる。その場合、各ＶＲ体験ブースに設置されるＰＣ１００からデータベース２０４に保存される全てのユーザ情報を参照できるようにすれば、各ＶＲ体験ブースの主催者は、他のＶＲ体験ブースに関連するユーザ情報を利用することができるようになる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、種々の設計変更が可能である。

第１に、上述した実施形態では、ユーザＩＤを暗号化してなる暗号化文字列を含むＵＲＩをエンコードした２次元コードを、ユーザへ配布する衛生マスク５０に付する態様を説明したが、別の実施形態では、ユーザＩＤを暗号化してなる暗号化文字列を含むＵＲＩをエンコードしたコード（ユーザ端末３００がデコード可能なコード）を、任意の配布物に対して、任意の態様で付与するようにしてもよい。具体的には、当該コードを記憶したＩＣタグ（ＲＦＩＤタグ、ＮＦＣタグなど）をユーザへの配布物に任意の方法で付することで当該コードを付与するようにしてもよいし、当該コードをリングストラップや腕輪といった任意の配布物に付与するようにしてもよい。

第２に、上述した実施形態では、現実空間内に存在する顔を持つモックアップに対応する３Ｄオブジェクトの視線の方向を動的に変化させる態様を説明したが、別の実施形態では、上述したのと同様の手順で、モックアップとの対応関係を持たない顔を持つ３Ｄオブジェクトの視線の方向を動的に変化させるようにしてもよい。

第３に、上述した実施形態では、予想画像生成部１０５が、標準的な赤ちゃんの顔画像とユーザの顔画像のモーフィング画像をユーザの赤ちゃんの予想画像として生成する態様を説明したが、別の実施形態では、予想画像生成部１０５に、任意の顔画像（異性の顔、動物の顔、キャラクターの顔など）とユーザの顔画像のモーフィング画像を予想画像として生成させるようにしてもよい。

第４に、上述した実施形態では、ユーザの予想画像を生成する役割（予想画像生成部１０５）をＰＣ１００側に持たせる態様を説明したが、別の実施形態では、その役割をＷｅｂサーバ２００側に持たせてもよい。その場合、ユーザは、ユーザ端末３００の搭載カメラで撮影した自身の顔写真をＷｅｂサーバ２００に送信し、これを受けたＷｅｂサーバ２００が、図７に示したのと同様のＵＩ画面をユーザ情報入力画面としてユーザ端末３００に送信する。このＵＩ画面を介してユーザが設定したモーフィングのパラメータは、ユーザ情報としてデータベース２０４に保存され、必要に応じて利用に供される。具体的には、Ｗｅｂサーバ２００は、ユーザやオペレータからの要求に応答して、外部端末にユーザ情報を送信する他、ＰＣ１００などに搭載される外部のアプリケーション（ＡＰＩ等）からの要求に応答して、当該アプリケーションにユーザ情報を送信する。なお、ユーザ情報の第三者への提供については、ユーザがオプトアウトによってこれを制限できるようにし、情報提供に係る認証方法や設定方法をＷｅｂサーバ２００が管理する。

第５に、本発明の上述した構成は、現実世界にバーチャルな３Ｄオブジェクトを重畳する拡張現実（Augmented Reality）や複合現実（Mixed Reality）の枠組みに適用することができることはいうまでもない。ここで、本発明を拡張現実（ＡＲ）または複合現実（ＭＲ）に適用した場合の機能構成については、上述した説明における「バーチャルリアリティ（ＶＲ）」の文言を「拡張現実」または「複合現実」に読み替えて理解されたい。なお、本発明をＡＲまたはＭＲに適用する場合、ユーザに装着させるヘッドマウントディスプレイは、ユーザが現実世界を視認できるように、透過型ディスプレイ方式（ビデオ透過、光学透過）や投影方式（網膜投影、虚像投影）を採用するものとする。

その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

なお、上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＭｙＳＱＬ、ＰＨＰ、Ｐｙｔｈｏｎといった任意のプログラミング言語で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

１０…３次元位置姿勢取得手段、１２…ＨＭＤ、１４…ヘッドフォン、１６…振動子、１８…デジタルカメラ、３０…モックアップ（赤ちゃん）、３２…ベビーベッド、３４…モックアップ（哺乳瓶）、３６…チェスト、４０…ネットワーク、５０…ＨＭＤ用衛生マスク、５２…ＱＲコード、６０…予想画像生成画面、６２,６３,６４…フィールド、６５…形状スライダー、６７…色相スライダー、１０１…３Ｄオブジェクト生成部、１０２…ＶＲ画像生成部、１０３…視線ベクトル取得部、１０４…視線ベクトル衝突判定部、１０５…予想画像生成部、１０６…画像出力部、１０７…音声出力部、１０８…振動子制御部、１０９…記憶領域、２００…Ｗｅｂサーバ、２０２…ユーザ情報保存部、２０４…データベース、３００…ユーザ端末、３０２…Ｗｅｂブラウザ、３０４…２次元コードデコード手段、５００…部屋、１０００…バーチャルリアリティシステム

Claims (17)

1. 顔を持つモックアップを使用するバーチャルリアリティシステムであって、
   バーチャルリアリティ画像の構成要素として、現実空間に存在する実体物に対して３次元的に位置合わせされた３Ｄオブジェクトを生成する３Ｄオブジェクト生成手段と、
   前記バーチャルリアリティ画像を見るユーザの視線ベクトルを取得する視線ベクトル取得手段と、
   前記ユーザの視線ベクトルと前記３Ｄオブジェクトの衝突判定を行う視線ベクトル衝突判定手段とを含み、
   前記３Ｄオブジェクト生成手段は、
   前記衝突判定の結果に応じて前記モックアップに３次元的に位置合わせされた３Ｄオブジェクトの視線の方向を動的に変化させる、
   バーチャルリアリティシステム。
2. 前記３Ｄオブジェクト生成手段は、
   前記ユーザの視線ベクトルが前記モックアップに対応する３Ｄオブジェクトに衝突している場合に、該３Ｄオブジェクトの視線の方向を該ユーザの頭部に向ける、
   請求項１に記載のバーチャルリアリティシステム。
3. 前記３Ｄオブジェクト生成手段は、
   前記ユーザの視線ベクトルが前記モックアップ以外の他の実体物に対応する３Ｄオブジェクトに衝突している場合に、該モックアップに対応する３Ｄオブジェクトの視線の方向を該他の実体物に対応する３Ｄオブジェクトに向ける、
   請求項１に記載のバーチャルリアリティシステム。
4. 前記バーチャルリアリティシステムは、
   任意の顔画像とユーザの顔画像のモーフィング画像を予想画像として生成する予想画像生成手段を含み、
   前記３Ｄオブジェクト生成手段は、
   前記予想画像に基づいて前記モックアップに対応する３Ｄオブジェクトの顔のテクスチャを生成する、
   請求項１〜３のいずれか一項に記載のバーチャルリアリティシステム。
5. 前記予想画像生成手段は、
   形状モーフィングにおける混合比率に係る第１の設定値と、色相モーフィングにおける混合比率に係る第２の設定値を個別に受け付け、該第１の設定値に基づいて形状モーフィングを実行し、該第２の設定値に基づいて色相モーフィングを実行する、
   請求項４に記載のバーチャルリアリティシステム。
6. 前記バーチャルリアリティシステムは、
   前記実体物に対応する３Ｄオブジェクトに関連付けられた音声信号を出力する音声出力手段と、
   前記実体物に内蔵される振動子の振動を制御するための駆動信号を出力する振動子制御手段と
   を含み、
   前記振動子制御手段は、
   前記音声信号に同期した前記駆動信号を出力する、
   請求項１〜５のいずれか一項に記載のバーチャルリアリティシステム。
7. 前記バーチャルリアリティシステムは、
   ユーザ情報を保存するためのＷｅｂサーバを含み、
   前記Ｗｅｂサーバは、
   ユーザへの配付物に付与されたコードであって、暗号化文字列を含む該ＷｅｂサーバのＵＲＩをエンコードしたコードをデコードした端末から該暗号化文字列を受信したことに応答して、ユーザ情報の入力を受け付けるための入力用Ｗｅｂページを該端末に送信し、該入力用Ｗｅｂページを介して入力されたユーザ情報を、該暗号化文字列を復号して得られるユーザＩＤに紐付けて保存する、
   請求項１〜６のいずれか一項に記載のバーチャルリアリティシステム。
8. 前記Ｗｅｂサーバは、
   外部のアプリケーションからの要求に応答して前記ユーザ情報を送信する、
   請求項７に記載のバーチャルリアリティシステム。
9. コンピュータを、
   バーチャルリアリティ画像の構成要素として、現実空間に存在する実体物に対して３次元的に位置合わせされた３Ｄオブジェクトを生成する３Ｄオブジェクト生成手段、
   前記バーチャルリアリティ画像を見るユーザの視線ベクトルを取得する視線ベクトル取得手段、
   前記ユーザの視線ベクトルと前記３Ｄオブジェクトの衝突判定を行う視線ベクトル衝突判定手段、
   として機能させるためのプログラムであって、
   前記３Ｄオブジェクト生成手段は、
   顔を持つモックアップに３次元的に位置合わせされた３Ｄオブジェクトの視線の方向を前記衝突判定の結果に応じて動的に変化させる、
   プログラム。
10. バーチャルリアリティ画像の構成要素として、顔を持つ３Ｄオブジェクトを生成する３Ｄオブジェクト生成手段と、
    前記バーチャルリアリティ画像を見るユーザの視線ベクトルを取得する視線ベクトル取得手段と、
    前記ユーザの視線ベクトルと前記３Ｄオブジェクトの衝突判定を行う視線ベクトル衝突判定手段と
    を含み、
    前記３Ｄオブジェクト生成手段は、
    前記衝突判定の結果に応じて前記顔を持つ３Ｄオブジェクトの視線の方向を動的に変化させる、
    バーチャルリアリティシステム。
11. 顔を持つモックアップを使用するバーチャルリアリティシステムであって、
    バーチャルリアリティ画像の構成要素として、現実空間に存在する実体物に対して３次元的に位置合わせされた３Ｄオブジェクトを生成する３Ｄオブジェクト生成手段と、
    前記バーチャルリアリティ画像を見るユーザの頭部の座標を取得する手段と
    を含み、
    前記３Ｄオブジェクト生成手段は、
    前記モックアップに３次元的に位置合わせされた３Ｄオブジェクトの視線の方向を設定された頻度で前記ユーザの頭部に向ける、
    バーチャルリアリティシステム。
12. バーチャルリアリティ画像の構成要素として、顔を持つ３Ｄオブジェクトを生成する３Ｄオブジェクト生成手段と、
    前記バーチャルリアリティ画像を見るユーザの頭部の座標を取得する手段と
    を含み、
    前記３Ｄオブジェクト生成手段は、
    前記顔を持つ３Ｄオブジェクトの視線の方向を設定された頻度で前記ユーザの頭部に向ける、
    バーチャルリアリティシステム。
13. バーチャルリアリティ体験イベントに参加したユーザのユーザ情報を保存するためのＷｅｂサーバであって、
    ユーザへの配付物に付与されたコードであって、暗号化文字列を含む該ＷｅｂサーバのＵＲＩをエンコードしたコードをデコードした端末から、該暗号化文字列を受信したことに応答して、ユーザ情報の入力を受け付けるための入力用Ｗｅｂページを該端末に送信し、該入力用Ｗｅｂページを介して入力されたユーザ情報を、該暗号化文字列を復号して得られるユーザＩＤに紐付けて保存することを特徴とする、
    Ｗｅｂサーバ。
14. 拡張現実画像の構成要素として、顔を持つ３Ｄオブジェクトを生成する３Ｄオブジェクト生成手段と、
    前記拡張現実画像を見るユーザの視線ベクトルを取得する視線ベクトル取得手段と、
    前記ユーザの視線ベクトルと前記３Ｄオブジェクトの衝突判定を行う視線ベクトル衝突判定手段と
    を含み、
    前記３Ｄオブジェクト生成手段は、
    前記衝突判定の結果に応じて前記顔を持つ３Ｄオブジェクトの視線の方向を動的に変化させる、
    拡張現実システム。
15. 拡張現実画像の構成要素として、顔を持つ３Ｄオブジェクトを生成する３Ｄオブジェクト生成手段と、
    前記拡張現実画像を見るユーザの頭部の座標を取得する手段と
    を含み、
    前記３Ｄオブジェクト生成手段は、
    前記顔を持つ３Ｄオブジェクトの視線の方向を設定された頻度で前記ユーザの頭部に向ける、
    拡張現実システム。
16. 複合現実画像の構成要素として、顔を持つ３Ｄオブジェクトを生成する３Ｄオブジェクト生成手段と、
    前記複合現実画像を見るユーザの視線ベクトルを取得する視線ベクトル取得手段と、
    前記ユーザの視線ベクトルと前記３Ｄオブジェクトの衝突判定を行う視線ベクトル衝突判定手段と
    を含み、
    前記３Ｄオブジェクト生成手段は、
    前記衝突判定の結果に応じて前記顔を持つ３Ｄオブジェクトの視線の方向を動的に変化させる、
    複合現実システム。
17. 複合現実画像の構成要素として、顔を持つ３Ｄオブジェクトを生成する３Ｄオブジェクト生成手段と、
    前記複合現実画像を見るユーザの頭部の座標を取得する手段と
    を含み、
    前記３Ｄオブジェクト生成手段は、
    前記顔を持つ３Ｄオブジェクトの視線の方向を設定された頻度で前記ユーザの頭部に向ける、
    複合現実システム。