JP2020075137A - プログラム、情報処理方法及び情報処理装置 - Google Patents

Abstract

【課題】仮想空間の画像を利用するゲームのエンタテイメント性を向上させる新たな仕組みを提供する。【解決手段】情報処理装置を、撮影データから現実空間の情報を分析する分析手段、分析した前記情報を仮想空間の画像データに反映させる反映手段、前記仮想空間の画像データを表示する表示手段、前記仮想空間の画像データに反映させた前記情報に応じてゲームの進行を制御する進行制御手段、として機能させるためのプログラムが提供される。【選択図】図１４

Description

本開示はプログラム、情報処理方法及び情報処理装置に関する。

近年、ＶＲ（仮想現実：Virtual Reality）、ＡＲ（拡張現実：Augmented Reality）及びＭＲ（複合現実：Mixed Reality）などの仮想空間を作成する技術の普及に伴い、仮想空間を利用したゲームが増えつつある（例えば特許文献１参照）。

特開２０１７−１４４０３８号公報

ＶＲなどの仮想空間を利用する従来のゲームでは、映像世界への没入感が高く、エンタテイメント性を高める効果があるが、プレイヤに対するエンタテイメント性の更なる向上が期待されている。

本開示は、仮想空間の画像を利用するゲームのエンタテイメント性を向上させる新たな仕組みを提供することを課題とする。

本開示の一の態様によれば、情報処理装置を、撮影データから現実空間の情報を分析する分析手段、分析した前記情報を仮想空間の画像データに反映させる反映手段、前記仮想空間の画像データを表示する表示手段、前記仮想空間の画像データに反映させた前記情報に応じてゲームの進行を制御する進行制御手段、として機能させるためのプログラムが提供される。

一の側面によれば、仮想空間の画像を利用するゲームのエンタテイメント性を向上させる新たな仕組みを提供できる。

一実施形態に係る情報処理システムの一例を示す図である。 一実施形態に係る携帯端末のハードウェア構成の一例を示す図である。 一実施形態に係るサーバのハードウェア構成の一例を示す図である。 一実施形態に係る携帯端末の機能構成の一例を示す図である。 一実施形態に係るサーバの機能構成の一例を示す図である。 一実施形態に係る情報処理システムの処理概要の一例を示す図である。 一実施形態に係る情報処理システムの処理概要の一例を示す図である。 制御部の機能構成の一例を示す図である。 サーバ制御部の機能構成の一例を示す図である。 一実施形態に係るＳ２０の処理の一例を示すフローチャートである。 一実施形態に係るＳ２０の処理の一例を示すフローチャートである。 一実施形態に係るＳ２０の処理の一例を示すフローチャートである。 一実施形態に係るＳ２０の処理の一例を示すフローチャートである。 一実施形態に係る照明判定の処理を適用したゲームの一例のフローチャートである。 一実施形態に係る照明判定の処理を適用したゲームの一例の画面イメージ図である。 一実施形態に係る反射特性判定の処理を適用したゲームの一例のフローチャートである。 一実施形態に係る反射特性判定の処理を適用したゲームの一例の画面イメージ図である。

以下、本開示を実施するための形態について図面を参照して説明する。

［情報処理システム］
まず、一実施形態に係る情報処理システム１０について、図１を参照して説明する。一実施形態に係る情報処理システム１０は、携帯端末２０ａ、２０ｂ、２０ｃとサーバ３０とが、インターネットやＬＡＮ（ローカルエリアネットワーク）などのネットワーク４０を介して通信可能に接続された構成である。なお、携帯端末２０ａ、２０ｂ、２０ｃは総称して「携帯端末２０」とも呼ぶ。

携帯端末２０はユーザが操作する情報処理装置の一例である。情報処理装置は撮影機能を有するスマートフォンなどの携帯電話機、携帯ゲーム機、パーソナルコンピュータ、タブレット端末、家庭用ゲーム装置、業務用ゲーム装置等である。撮影機能は、内蔵のカメラにより実現されるものであっても、外付けのカメラにより実現されるものであってもよい。携帯端末２０はユーザからの操作をタッチパネル等により受け付け、その操作に応じた情報処理を行う。なお、携帯端末２０の個数は３つに限定されるものではなく、３つ以外であってもよい。

サーバ３０は携帯端末２０との間でデータを送受信することで、後述の各種機能を実現する情報処理装置の一例である。サーバ３０は、クラウドコンピュータにより実現してもよい。なお、図１に示したサーバ３０の個数は、１つに限定されるものではなく、２つ以上で分散処理してもよい。

図１の情報処理システム１０はサーバ３０が含まれる例を示したが、サーバ３０が行う各種処理を携帯端末２０が実現できるのであれば、サーバ３０が省略されてもよく、携帯端末２０がネットワーク４０に接続されていなくてもよい。

図２は、携帯端末２０のハードウェア構成の一例を示す図である。携帯端末２０は、ＣＰＵ（Central Processing Unit）１２１、記憶装置１２２、通信装置１２３、入力装置１２４、表示装置１２５及び撮影装置１２６を有する。ＣＰＵ１２１は、携帯端末２０を制御する。記憶装置１２２は、例えばＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリ、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などのストレージである。

通信装置１２３は、通信を制御するネットワーク回路などの通信デバイスである。入力装置１２４はタッチパネルのタッチパッド（位置入力装置）、カメラ、マイクなどの入力デバイスである。表示装置１２５はタッチパネルのディスプレイ、スピーカなどの出力デバイスである。タッチパネルはタッチパッドとディスプレイとを組み合わせることで実現される。撮影装置１２６はカメラであって、ユーザ操作に応じて撮影を行い、現実空間の撮影データを出力する。

図３は、サーバ３０のハードウェア構成の一例を示す図である。サーバ３０は、ＣＰＵ１３１、記憶装置１３２及び通信装置１３３を有する。ＣＰＵ１３１は、サーバ３０を制御する。記憶装置１３２は、例えばＲＯＭやＲＡＭなどのメモリ、ＨＤＤやＳＳＤなどのストレージである。通信装置１３３は、通信を制御するネットワークカードなどの通信デバイスである。

図４は、携帯端末２０の機能構成の一例を示す図である。図４の携帯端末２０は、記憶部２１、制御部２２、操作部２３、表示部２４、端末側通信部２５及び撮影部２６を有する。記憶部２１は、プログラム２７、そのプログラム２７が利用するデータなどを記憶している。なお、記憶部２１は、記憶装置１２２により実現されてもよいし、ネットワーク４０を介して接続された記憶装置により実現されてもよい。

図４に戻り、制御部２２は、携帯端末２０の全体の制御を行う。制御部２２は、ＣＰＵ１２１がプログラム２７に記載された処理を実行することにより実現される。操作部２３は入力装置１２４に対するユーザの各種操作を受け付ける。表示部２４は表示装置１２５に例えばゲーム空間などの仮想空間の画像を表示する。なお、操作部２３はＣＰＵ１２１が入力装置１２４を制御することで実現される。また、表示部２４は、ＣＰＵ１２１が表示装置１２５を制御することで実現される。

仮想空間の画像は仮想現実の画像に限定するものではなく、拡張現実及び複合現実の画像も含むものとする。制御部２２はユーザから受け付けた各種操作に基づき、ゲームなどの処理を進行させる。表示部２４は制御部２２が生成した後述のような仮想空間の画像を表示する。端末側通信部２５は、サーバ３０と通信する。端末側通信部２５はＣＰＵ１２１がプログラム２７に従って通信装置１２３を制御することで実現される。

図５は、サーバ３０の機能構成の一例を示す図である。図５のサーバ３０は、記憶部３１、サーバ制御部３２及びサーバ側通信部３３を有する。記憶部３１は、サーバプログラム３５、そのサーバプログラム３５が利用するデータなどを記憶している。なお、記憶部３１は記憶装置１３２により実現されてもよいし、ネットワーク４０を介して接続された記憶装置により実現されてもよい。

図５に戻り、サーバ制御部３２は、サーバ３０の全体の制御を行う。サーバ制御部３２は、ＣＰＵ１３１がサーバプログラム３５に記載された処理を実行することにより実現される。サーバ側通信部３３は、携帯端末２０と通信する。サーバ側通信部３３は、ＣＰＵ１３１がサーバプログラム３５を実行し、サーバプログラム３５に従って通信装置１３３を制御することで実現される。

［処理概要］
以下、一実施形態に係る情報処理システム１０の処理概要について図６及び図７を用いて説明する。図６及び図７は一実施形態に係る情報処理システムの処理概要の一例を示す図である。図６は携帯端末２０により実現する処理概要を示している。図６の情報処理システム１０の例ではサーバ３０が省略されてもよい。図７は携帯端末２０及びサーバ３０が協働して実現する処理概要を示している。

図６のステップＳ１０においてスマートデバイスなどの携帯端末２０を操作するユーザは、撮影部２６で現実空間内の人、物体、照明環境などを撮影する。ステップＳ２０において、携帯端末２０の制御部２２は受信した撮影データから現実空間の情報（人の動きや位置、物体の動き、照明環境、反射特性、弾性、慣性又は位置等）を分析し、分析した情報を表示部２４が出力する仮想空間の画像データに反映させる処理を行う。ステップＳ３０において表示部２４は、ステップＳ２０で分析された情報が反映された仮想空間の画像データを出力する。

また、図７のステップＳ１０において、スマートデバイスなどの携帯端末２０を操作するユーザは、撮影部２６で現実空間内の人、物体、照明環境などを撮影する。携帯端末２０は撮影データをサーバ３０に送信する。

ステップＳ２０において、サーバ３０は受信した撮影データから現実空間の情報を分析し、分析した情報を携帯端末２０が出力する仮想空間の画像データに反映させる処理を行う。サーバ３０は分析した情報を反映させた仮想空間の画像データを携帯端末２０に送信する。仮想空間の画像データを受信した携帯端末２０はステップＳ３０において、サーバ３０から受信した仮想空間の画像データを出力する。

なお、図６及び図７に示した情報処理システム１０の処理概要は一例であって、例えばステップＳ２０の「撮影データから現実空間の情報を分析し、分析した情報を仮想空間に反映させる処理」を携帯端末２０とサーバ３０とで分散して行うようにしてもよい。

図６に示した情報処理システム１０の処理概要の場合、携帯端末２０の制御部２２は例えば図８に示す機能構成である。図８は制御部の機能構成の一例を示す図である。図８の制御部２２は分析部５０、反映部５２、及び進行制御部５４を有する。分析部５０は撮影データから現実空間の情報を分析する。反映部５２は分析した情報を携帯端末２０が出力する仮想空間の画像データに反映させる。

進行制御部５４は仮想空間の画像を利用するゲームの進行を制御する。進行制御部５４は仮想空間の画像データに反映させた、撮影データから分析した現実空間の情報に応じてゲームの進行を制御する。

また、図７に示した情報処理システム１０の処理概要の場合、サーバ３０のサーバ制御部３２は例えば図９に示す機能構成である。図９はサーバ制御部の機能構成の一例を示す図である。図９のサーバ制御部３２は分析部６０、反映部６２、及び進行制御部６４を有する。図９の分析部６０、反映部６２、及び進行制御部６４は、図８の分析部５０、反映部５２、及び進行制御部５４と同様であるため、説明を省略する。

［ステップＳ２０の処理の詳細］
以下では、図７に示した情報処理システム１０の処理概要の場合の例を説明する。

図１０は一実施形態に係るＳ２０の処理の一例を示すフローチャートである。図１０は撮影データから、現実空間の情報を分析し、人や物体の動き、反射特性、衣類、弾性、慣性、位置、照明環境などを仮想空間で再現する処理を行う例である。

ステップＳ５１において、サーバ３０は受信した撮影データから現実空間の状態（人の動きや位置、物体の動き、反射特性、弾性、慣性又は位置、照明環境等）を分析する処理を行う。ステップＳ５２に進み、サーバ３０は分析結果を仮想空間内のキャラクタや物体などのオブジェクトで再現する以下の（１）から（７）の処理を行う。

（１）動き再現
動き再現は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクトへの動きの適用である。例えば現実空間において直接撮影した情報（人の動きなど）を仮想空間の３Ｄモデルキャラクタ等のオブジェクトの動きに適用する。

（２）照明再現
照明再現は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクトへの照明環境の適用である。例えば現実空間の明るさ、光が差す方向、間接照明の具合などの照明環境を仮想空間内の３Ｄモデルキャラクタ等のオブジェクトへの照明環境として適用する。

（３）反射特性再現
反射特性再現は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクトへの照明反射特性の適用である。例えばシャンデリアの反射や光沢のある布地に対する反射などの光の反射の仕方を、３Ｄモデルキャラクタ等のオブジェクトに適用する。また、反射特性から測定可能な表面材質に基づき、３Ｄモデルキャラクタ等のオブジェクトの「つるつる感」や「ザラザラ感」の表現に適用する。

（４）衣類再現
衣類再現は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクトの衣服への動きの適用である。例えば現実空間において衣服を着た人を動画で撮影し、動画から得られた衣服の揺れ情報を仮想空間の衣服の揺れ（動き）に適用する。例えば麻、絹などの素材による揺れの違いや、布の厚さや重さによる揺れの違いを、仮想空間の衣服の揺れに適用する。

（５）弾性再現
弾性再現は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクトへの弾性の適用である。例えば現実空間においてボールの落下を撮影し、動画から得られたボールの落ち方、弾み方、揺れ方などを、例えば仮想空間の武器に適用することで、武器を落とした時の挙動などを再現できる。また、例えば現実空間においてゼリーが揺れている状態を撮影し、その動画から得られたゼリーの揺れ方を、例えば仮想空間のペットボトルに適用することで、ゼリーのように揺れるペットボトルを仮想空間で再現できる。

（６）慣性再現
慣性再現は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクトへの動き難さの適用である。例えば現実空間において物体の動きを撮影し、動画から得られた物体の動き難さを、仮想空間のオブジェクトの動きに適用することにより、現実空間における物体の動き難さを仮想空間のオブジェクトで再現できる。また、例えば現実空間において回転する物体の動きを撮影し、動画から得られた物体の回転のし難さを、仮想空間のオブジェクトの動きに適用することにより、現実空間における物体の回転のし難さを仮想空間のオブジェクトで再現できる。

（７）位置再現
位置再現は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクトの位置の移動への適用である。例えば現実空間において移動する人やボールを撮影し、動画から得られた人やボールの位置の移動を、仮想空間の３Ｄモデルキャラクタ等のオブジェクトの位置の移動に適用することにより、現実空間における人やボールなどの位置の移動を仮想空間の３Ｄモデルキャラクタ等のオブジェクトで再現できる。

図１１は一実施形態に係るＳ２０の処理の一例を示すフローチャートである。図１１は撮影データから、現実空間の情報を分析し、人や物体の動き、衣類、弾性、慣性などを仮想空間で再適用する処理を行う例である。

ステップＳ６１において、サーバ３０は受信した撮影データから現実空間の状態（人の動き、物体の動き、弾性又は慣性等）を分析する処理を行う。ステップＳ６２に進み、サーバ３０は分析結果を仮想空間で再適用する以下の（８）から（１１）の処理を行う。

（８）動き再適用
動き再適用は、現実空間の撮影結果に応じた仮想空間内の別キャラクタ等の別オブジェクトへの動きの再適用である。例えば現実空間においてダンスが下手なユーザＡとダンスが上手なユーザＢとがダンスする様子をそれぞれ撮影する。動画から得られたユーザＡのダンスの動きを、ユーザＢのダンスの動きで補正した後、仮想空間の３Ｄモデルキャラクタの動きに適用することにより、ユーザＡの個性を残しつつユーザＢの上手なダンスの動きで補正されたユーザＡのダンスの動きを、仮想空間の３Ｄモデルキャラクタ等で再現できる。

例えばプレイヤキャラクタが敵キャラクタを爽快になぎ倒す一騎当千のゲーム（いわゆる無双ゲーム）に適用する場合は、ゲームが下手なプレイヤＡとゲームが上手なプレイヤＢとがゲームをプレイする様子をそれぞれ撮影する。動画から得られたプレイヤＡのプレイの動きを、プレイヤＢのプレイの動きで補正した後、仮想空間のプレイヤキャラクタの動きに適用することにより、プレイヤＡの個性を残しつつプレイヤＢの上手なプレイの動きで補正されたプレイヤＡのプレイヤの動きを、仮想空間のプレイヤキャラクタ等で再現できる。

（９）衣類再適用
衣類再適用は、現実空間の撮影結果に応じた仮想空間内の別キャラクタ等への衣服の動きの再適用である。例えば現実空間においてユーザＡの衣服の動き（揺れ）とユーザＢの動きとをそれぞれ撮影する。動画から得られたユーザＡの衣服の動きの特性とユーザＢの動きとを仮想空間の３Ｄモデルキャラクタに適用することで、ユーザＢに合わせて動く仮想空間の３Ｄモデルキャラクタの衣服の動きを、ユーザＡの衣服の動きの特性で再現できる。

（１０）弾性再適用
弾性再適用は、現実空間の撮影結果に応じた仮想空間内の別キャラクタ等の別オブジェクトへの弾性の再適用である。例えば現実空間において鉄球とゼリーの双方が落ちる映像をそれぞれ撮影する。動画から得られた鉄球の動きとゼリーの動きとを仮想空間の鉄球のオブジェクトに適用することで、ゼリーのように揺れながら落ちる鉄球を仮想空間で再現できる。また、例えば動画から得られた人の動きとゼリーの動きとを仮想空間の３Ｄモデルキャラクタに適用することで、ゼリーのように揺れながら動く３Ｄモデルキャラクタを仮想空間で再現できる。

（１１）慣性再適用
慣性再適用は、現実空間の撮影結果に応じた仮想空間内の別キャラクタ等の別オブジェクトへの動き難さの再適用である。例えば現実空間で物体Ａと物体Ｂの動きを撮影し、動画から得られた物体Ａの動き難さを、仮想空間における物体Ｂのオブジェクトの動きに適用することにより、現実空間における物体Ａの動き難さを仮想空間の物体Ｂのオブジェクトで再現できる。また、例えば動画から得られた怪獣の動きと人の動きとを仮想空間の３Ｄモデルキャラクタに適用することで、怪獣のように動く人の３Ｄモデルキャラクタを仮想空間で再現できる。

図１２は一実施形態に係るＳ２０の処理の一例を示すフローチャートである。図１２は撮影データから、現実空間の人や物体が指し示す位置を検出し、検出結果により仮想空間の３ＤモデルキャラクタなどがＵＩ選択の処理を行う例である。

ステップＳ７１において、サーバ３０は受信した撮影データから現実空間の状態（人の指先の位置、人が持つ指示棒の先端の位置など）を分析する処理を行う。ステップＳ７２に進み、サーバ３０は分析結果を仮想空間のＵＩ選択に適用する以下の（１２）及び（１３）の処理を行う。

（１２）ＵＩ選択（単一）
ＵＩ選択（単一）は、現実空間の撮影結果に応じた仮想空間内のキャラクタによる単一のＵＩ選択に適用する。例えば現実空間において撮影した人の体の一部（指先など）や人の持つ物体の一部（先端など）の位置を動画像から検出し、検出した位置を仮想空間の例えばポインタの表示位置に適用することにより、現実空間における人の指先の移動で仮想空間の３Ｄモデルキャラクタによる単一のＵＩの選択に適用できる。

（１３）ＵＩ選択（複数）
ＵＩ選択（複数）は、現実空間の撮影結果に応じた仮想空間内のキャラクタによる複数のＵＩ選択に適用する。例えば現実空間において撮影した人の体の一部（指先など）や人の持つ物体の一部（先端など）の位置の移動を動画像から検出し、検出した位置の移動を仮想空間の例えばポインタによる範囲選択に適用することにより、現実空間における人の指先の移動で仮想空間の３Ｄモデルキャラクタによる複数のＵＩの選択に適用できる。

図１３は一実施形態に係るＳ２０の処理の一例を示すフローチャートである。図１３は撮影データの分析結果を、仮想空間における判定や動き補正に適用する処理を行う例である。

ステップＳ８１においてサーバ３０は撮影データから現実空間の状態（人や物体の動きや位置、照明環境、反射特性等）を分析する処理を行う。ステップＳ８２に進み、サーバ３０は分析結果を仮想空間内における判定、又は、動き補正に適用する以下の（１４）から（１８）の処理を行う。

（１４）位置判定
位置判定は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクトの位置による判定への適用である。例えば位置判定は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクトの位置によるゲーム進行に利用できる。例えば現実空間のユーザの移動を「もう少し左に行って」等と指示しながら撮影し、現実空間のユーザの移動と連携して仮想空間のキャラクタ等のオブジェクトを移動させることにより、仮想空間の床スイッチをＯＮしてゲームを進行させる処理が一例として考えられる。

（１５）衝突判定
衝突判定は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクト同士の衝突による判定への適用である。例えば衝突判定は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクト同士の衝突を、ゲーム進行に利用できる。例えば現実空間で物体を投げる様子を撮影し、動画から得られた物体の動きを仮想空間の３Ｄモデルキャラクタ等のオブジェクトに適用することで、現実空間に無い別の３Ｄモデルキャラクタ等のオブジェクトと衝突させてゲームを進行させる処理が一例として考えられる。

（１６）照明判定
照明判定は、現実空間の撮影結果に応じた照明環境による判定への適用である。例えば照明判定は、現実空間の撮影結果に応じた照明環境を仮想空間に適用することで、仮想空間の照明環境を指定の照明環境に変化させてゲームを進行させる処理が一例として考えられる。なお、上記した照明判定のゲームへの適用例については後述する。

（１７）反射特性判定
反射特性判定は、現実空間の撮影結果に応じた仮想空間内のキャラクタ等のオブジェクトへの照明反射特定の判定への適用である。例えば反射特性判定は、仮想空間に「くすんだ鏡」があり、現実空間のキラキラした鏡や磨かれた金属球などの物体を撮影して仮想空間の「くすんだ鏡」に適用してキラキラした鏡に変化させることでゲームを進行させる処理が一例として考えられる。なお、上記した反射特性判定のゲームへの適用例については後述する。

（１８）動き補正
動き補正は、現実空間の撮影結果に応じた仮想空間内のキャラクタの動き補正への適用である。例えば動き補正は、現実空間において撮影したプレイヤのパンチの動きなどを仮想空間のキャラクタが再現する際に、プロのボクサーなどのパンチの動きでプレイヤのパンチの動きを補正する。

［照明判定のゲームへの適用例］
図１４は一実施形態に係る照明判定の処理を適用したゲームの一例のフローチャートである。図１５は一実施形態に係る照明判定の処理を適用したゲームの一例の画面イメージ図である。図１４及び図１５は暗闇に覆われた仮想空間に現実空間の照明環境を適用することで、隠されたオブジェクトを発見し、そのオブジェクトを用いて進行させるゲーム例を示している。

ステップＳ１００において、携帯端末２０は例えば図１５（Ａ）に示すような画面１０００を表示する。図１５（Ａ）の画面１０００は、仮想空間１００２の照度が低く、仮想空間１００２に存在しているオブジェクト（ドア１００８、鍵１０１０など）をユーザが認識できない例を表している。

また、画面１０００には、複数の選択肢の中から、仮想空間１００２の照明環境を変化させる操作の選択をユーザから受け付ける「照明環境を変化」ボタン１００４と、仮想空間１００２に存在しているオブジェクトの反射特性を変化させる操作の選択をユーザから受け付ける「反射特性を変化」ボタン１００６と、が設けられている。

仮想空間１００２の照明環境を変化させる操作の選択をユーザから受け付ける「照明環境を変化」ボタン１００４が押下されると、携帯端末２０はステップＳ１０２に続いてステップＳ１０４に進み、ユーザ操作に応じて現実空間の撮影ができるように撮影装置１２６を起動する。ユーザは周囲の風景など、照度が高い現実空間を撮影する。

撮影された現実空間の撮影データはサーバ３０に送信される。サーバ３０はステップＳ１０６に進み、受信した現実空間の撮影データから、現実空間の照明環境（照度、光の方向、色など）を計算により分析する。なお、現実空間の撮影データから、現実空間の照明環境を計算する処理は既存の技術を利用すればよい。

ステップＳ１０８に進み、サーバ３０は分析した現実空間の照明環境を、仮想空間１００２の画像データに再適用（反映）させる。ステップＳ１１０に進み、サーバ３０は仮想空間１００２に存在している物体（ドア１００８、鍵１０１０）への照度が、ユーザが物体を認識できる一定範囲内であるか否かを判定する。

仮想空間１００２に存在している物体への照度が、ユーザが物体を認識できる一定範囲内であれば、サーバ３０は携帯端末２０に例えば図１５（Ｂ）に示すような画面１０００を表示させるための仮想空間１００２の画像データを送信し、ステップＳ１１２の処理に進む。

図１５（Ｂ）の画面１０００は、仮想空間１００２の照度が高く、仮想空間１００２に存在しているオブジェクト（ドア１００８、鍵１０１０など）をユーザが認識できる例を表している。ドア１００８及び鍵１０１０は、ユーザがゲームを進行させる為に利用する物体の一例である。

ステップＳ１１２において、ユーザは携帯端末２０に表示された図１５（Ｂ）の画面１０００に存在するドア１００８及び鍵１０１０を認識できるので、鍵１０１０を使ってドア１００８から別の場所に進むなど、ゲームを進行させることができる。

このように、一実施形態に係る照明判定の処理を適用したゲームでは、現実空間の照明環境を仮想空間１００２に適用できるので、仮想空間１００２の画像を利用するゲームのエンタテイメント性を向上させる新たな仕組みを提供できる。

［反射特性判定のゲームへの適用例］
図１６は一実施形態に係る反射特性判定の処理を適用したゲームの一例のフローチャートである。図１７は一実施形態に係る反射特性判定の処理を適用したゲームの一例の画面イメージ図である。図１６及び図１７は仮想空間に存在する反射特性の弱いオブジェクトに、現実世界に存在する鏡面反射特性の強い金属などの反射特性を適用することで、そのオブジェクトに当たっている光を反射し、反射した光を用いて進行させるゲーム例を示している。

ステップＳ２００において、携帯端末２０は例えば図１７（Ａ）に示すような画面２０００を表示する。図１７（Ａ）の画面２０００は、仮想空間２００２に存在する鏡のオブジェクト２００８の反射特性が、例えば鏡がくすんでいる等の理由で弱く、オブジェクト２００８に当たっている光２０１２が反射できない例を表している。

また、画面２０００には、複数の選択肢の中から、仮想空間１００２の照明環境を変化させる操作の選択をユーザから受け付ける「照明環境を変化」ボタン２００４と、仮想空間２００２に存在しているオブジェクトの反射特性を変化させる操作の選択をユーザから受け付ける「反射特性を変化」ボタン２００６と、が設けられている。

仮想空間２００２に存在しているオブジェクトの反射特性を変化させる操作の選択をユーザから受け付ける「反射特性を変化」ボタン２００６が押下されると、携帯端末２０はステップＳ２０２に続いてステップＳ２０４に進み、ユーザ操作に応じて現実空間の撮影ができるように撮影装置１２６を起動する。ユーザは磨かれた金属球や鏡など、反射特性の強い現実空間の物体を撮影する。

撮影された現実空間の撮影データはサーバ３０に送信される。サーバ３０はステップＳ２０６に進み、受信した現実空間の撮影データから、現実空間の物体の反射特性を計算により分析する。なお、現実空間の撮影データから、現実空間の物体の反射特性を計算により分析する処理は、例えば機械学習を利用して撮影データから表面材質を推定する技術などの既存の技術を利用し、推定した表面材質の反射特性を採用すればよい。

ステップＳ２０８に進み、サーバ３０は分析した現実空間の物体の反射特性を、仮想空間２００２の画像データに存在する鏡のオブジェクト２００８に再適用（反映）させる。ステップＳ２１０に進み、サーバ３０は仮想空間１００２に存在している鏡のオブジェクト２００８の反射特性（反射率）が、光２０１２を反射できる一定の反射特性を持つか否かを判定する。

仮想空間２００２に存在している鏡のオブジェクト２００８の反射特性が、光２０１２を反射できる一定の反射特性を持っていれば、サーバ３０は携帯端末２０に例えば図１７（Ｂ）に示すような画面２０００を表示させるための仮想空間２００２の画像データを送信し、ステップＳ２１２の処理に進む。

図１７（Ｂ）の画面２０００は、仮想空間２００２に存在する鏡のオブジェクト２００８が、くすんでいる状態から磨かれた状態に変わることで反射特性が強くなり、鏡のオブジェクト２００８に当たっている光２０１２が反射できている例を表している。鏡のオブジェクト２００８により反射された光２０１２はオブジェクト２０１０の輪を通っている例を示している。オブジェクト２００８及び２０１０は、ユーザがゲームを進行させる為に利用する物体の一例である。

ステップＳ２１２において、ユーザは携帯端末２０に表示された図１７（Ｂ）の画面２０００に存在する鏡のオブジェクト２００８の反射特性を変更できるので、鏡で反射させた光２０１２を別のオブジェクト２０１０の輪を通す、別のオブジェクトを照らす、などの課題をクリアし、ゲームを進行させることができる。

このように、一実施形態に係る反射特性判定の処理を適用したゲームでは現実空間の物体の反射特性を仮想空間２００２のオブジェクト２００８に適用することができるので、仮想空間２００２の画像を利用するゲームのエンタテイメント性を向上させる新たな仕組みを提供できる。

開示した一実施形態に係る情報処理システム１０、携帯端末２０及びサーバ３０は例示であって制限的なものではないと考えられるべきである。上記の実施形態は添付の請求の範囲及びその主旨を逸脱することなく、様々な形態で変形及び改良が可能である。また、上記した複数の実施形態に記載された事項は、矛盾しない範囲で他の構成も取り得ることができ、また、矛盾しない範囲で組み合わせることができる。

また、開示した一実施形態に係る情報処理システム１０は、脱出ゲームなどのアドベンチャーゲームにおける謎解きの場面、ロールプレイングゲームにおいて課題をクリアする場面、など、様々なジャンルのゲームに適用できる。

本開示によれば、スマートデバイスなどの携帯端末２０で撮影した撮影データから現実空間の情報を分析し、分析した情報を仮想空間に反映（転写）することができる。例えば現実空間の状態（動き、照明環境、反射特性、弾性、慣性、位置など）を仮想空間へ手軽に再現できる新たな仕組みを提供することで、幅広いユーザの体験を豊かにできる。

１０ 情報処理システム
２０ 携帯端末
２１ 記憶部
２２ 制御部
２３ 操作部
２４ 表示部
２５ 端末側通信部
２６ 撮影部
２７ プログラム
３０ サーバ
３１ 記憶部
３２ サーバ制御部
３３ サーバ側通信部
３５ サーバプログラム
４０ ネットワーク
５０、６０ 分析部
５２、６２ 反映部
５４、６４ 進行制御部
１００２、２００２ 仮想空間
１００８ ドアのオブジェクト
１０１０ 鍵のオブジェクト
２００８ 鏡のオブジェクト
２０１０ 輪の形状のあるオブジェクト

Claims (7)

1. 情報処理装置を、
   撮影データから現実空間の情報を分析する分析手段、
   分析した前記情報を仮想空間の画像データに反映させる反映手段、
   前記仮想空間の画像データを表示する表示手段、
   前記仮想空間の画像データに反映させた前記情報に応じてゲームの進行を制御する進行制御手段、
   として機能させるためのプログラム。
2. 前記分析手段は、撮影データから現実空間の照明環境を計算し、
   前記反映手段は、計算した前記照明環境を仮想空間の画像データに適用し、
   前記進行制御手段は、前記仮想空間の画像データに適用した前記照明環境に応じて前記ゲームの進行を制御すること
   を特徴とする請求項１記載のプログラム。
3. 複数の選択肢の中から、前記仮想空間の照明環境に前記撮影データから計算した前記現実空間の照明環境を適用する操作の選択をユーザから受け付ける操作手段、
   を更に有することを特徴とする請求項２記載のプログラム。
4. 前記分析手段は、撮影データから現実空間の反射特性を計算し、
   前記反映手段は、計算した前記反射特性を仮想空間の画像データに含まれるオブジェクトに適用し、
   前記進行制御手段は、前記仮想空間の画像データに含まれる前記オブジェクトに適用した前記反射特性に応じて前記ゲームの進行を制御すること
   を特徴とする請求項１記載のプログラム。
5. 複数の選択肢の中から、前記仮想空間の画像データに含まれる前記オブジェクトに前記撮影データから計算した前記現実空間の反射特性を提供する操作の選択をユーザから受け付ける操作手段、
   を更に有することを特徴とする請求項４記載のプログラム。
6. 情報処理装置が、
   撮影データから現実空間の情報を分析する分析ステップと、
   分析した前記情報を仮想空間の画像データに反映させる反映ステップと、
   前記仮想空間の画像データを表示する表示ステップと、
   前記仮想空間の画像データに反映させた前記情報に応じてゲームの進行を制御する進行制御ステップと、
   を実行する情報処理方法。
7. 撮影データから現実空間の情報を分析する分析手段と、
   分析した前記情報を仮想空間の画像データに反映させる反映手段と、
   前記仮想空間の画像データを表示する表示手段と、
   前記仮想空間の画像データに反映させた前記情報に応じてゲームの進行を制御する進行制御手段と、
   を有する情報処理装置。

Images