JP2019072255A - 情報処理システムおよび情報処理方法 - Google Patents

Abstract

【課題】物体を撮像して得られたマルチスペクトルデータを活用して、ユーザに斬新な体験を提供する。【解決手段】マルチスペクトルカメラ１８は、ユーザにより指定された物体を撮像し、４つ以上の波長帯での光強度を示す被写体のマルチスペクトルデータを出力する。サーバ２０は、被写体のマルチスペクトルデータに応じて、被写体の種類を識別する。ゲーム装置１２は、被写体の種類に応じて、ゲーム内に登場させる、被写体に対応するオブジェクトを設定する。ゲーム装置１２は、被写体の種類に応じた態様で、上記オブジェクトをゲーム内に表示させる。【選択図】図１

Description

本発明は、４つ以上の波長帯での光強度を示すマルチスペクトルデータを活用した情報処理システムおよび情報処理方法に関する。

物体を撮像して得られたマルチスペクトルデータは、撮像する物体が何に属するかを識別することに使用されることがあり、また、物体がどのような状態であるのかを調べるのに使用されることがある。

特開２０１３−１０８７８８号公報

本発明者は、物体を撮像して得られたマルチスペクトルデータを活用することにより、ユーザに斬新な体験を提供できると考えた。

本発明は本発明者の上記着想に基づきなされたものであり、１つの目的は、物体を撮像して得られたマルチスペクトルデータを活用して、ユーザに斬新な体験を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理システムは、ユーザにより指定された物体を撮像し、４つ以上の波長帯での光強度を示す被写体のマルチスペクトルデータを出力する撮像部と、被写体のマルチスペクトルデータに応じて、被写体の種類を識別する識別部と、被写体の種類に応じて、ゲーム内に登場させる被写体に対応するオブジェクトを設定する設定部と、被写体の種類に応じた態様で、オブジェクトをゲーム内に表示させる表示制御部と、を備える。

本発明の別の態様もまた、情報処理システムである。この情報処理システムは、ユーザにより指定された物体を撮像し、４つ以上の波長帯での光強度を示す被写体のマルチスペクトルデータを出力する撮像部と、被写体のマルチスペクトルデータに応じて、被写体の種類を識別する識別部と、識別部により識別された被写体の種類に応じて、被写体に対して所定のアクションを実行する作用部と、を備える。

本発明のさらに別の態様もまた、情報処理システムである。この情報処理システムは、ユーザにより指定された物体を撮像し、４つ以上の波長帯での光強度を示す被写体のマルチスペクトルデータを出力する撮像部と、被写体のマルチスペクトルデータに応じて、被写体の種類を識別する識別部と、識別部により識別された被写体の種類に応じて、ユーザの身体に接触している所定装置の状態を変化させる制御部と、を備える。

本発明のさらに別の態様は、情報処理方法である。この方法は、情報処理システムが、ユーザにより指定された物体を撮像し、４つ以上の波長帯での光強度を示す被写体のマルチスペクトルデータを出力するステップと、被写体のマルチスペクトルデータに応じて、被写体の種類を識別するステップと、被写体の種類に応じて、ゲーム内に登場させる被写体に対応するオブジェクトを設定するステップと、被写体の種類に応じた態様で、オブジェクトをゲーム内に表示させるステップと、を実行する。

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、物体を撮像して得られたマルチスペクトルデータを活用して、ユーザに斬新な体験を提供することができる。

第１実施例のエンタテインメントシステムの構成を示す図である。 図１のエンタテインメントシステムの機能構成を示すブロック図である。 撮像部が備える撮像素子におけるカラーフィルタの配列を模式的に示す図である。 被写体へ照査する光の種類を変える構成を模式的に示す図である。 図１のエンタテインメントシステムの動作を示すフローチャートである。 図６（ａ）および図６（ｂ）は、ゲームの例を示す図である。 第２実施例の情報処理システムの構成を示す図である。 図７の情報処理システムの機能構成を示すブロック図である。 ヘアカッターの例を示す図である。 第３実施例のエンタテインメントシステムの構成を示す図である。 図１０のエンタテインメントシステムの機能構成を示すブロック図である。 別の刺激部の例を示す図である。

（第１実施例）
第１実施例では、現実世界の物体を撮像して得られたマルチスペクトルデータを活用して、現実世界とゲーム世界を融合させた斬新なエンタテインメントをユーザへ提供する情報処理システム（以下のエンタテインメントシステム）を提案する。

図１は、第１実施例のエンタテインメントシステム１０の構成を示す。エンタテインメントシステム１０は、ゲーム装置１２、コントローラ１４、表示装置１６、マルチスペクトルカメラ１８、サーバ２０を備える。ゲーム装置１２、コントローラ１４、表示装置１６、マルチスペクトルカメラ１８は、ユーザが所有する装置であってもよく、サーバ２０は、クラウド上に設置された装置であってもよい。図１の各装置は、有線または無線のインタフェースにより相互に接続されてもよい。また、ゲーム装置１２とサーバ２０は、ＬＡＮ・ＷＡＮ・インターネット等を介して接続されてもよい。

ゲーム装置１２は、ゲームアプリケーションを実行してゲーム画像を生成する情報処理装置である。ゲーム装置１２は、据置型ゲーム装置であってもよく、携帯型ゲーム装置であってもよく、ゲームアプリケーションがインストールされたスマートフォン、タブレット端末またはＰＣであってもよい。

コントローラ１４は、ゲーム装置１２の操作装置である。コントローラ１４は、ゲーム装置１２に対するユーザの操作を受け付け、その操作内容をゲーム装置１２へ送信する。表示装置１６は、ゲーム装置１２により生成されたゲーム画像を画面に表示させる。表示装置１６は、ヘッドマウントディスプレイであってもよい。この場合、ゲーム装置１２は、ゲーム画像として、仮想現実画像または拡張現実画像を生成してもよい。

実施例におけるマルチスペクトルは、４つ以上の波長帯（バンド）に分光されたスペクトルであり、ハイパースペクトルとも呼ばれる。マルチスペクトルカメラ１８は、被写体（言い換えれば「撮像対象物体」）から入射された光に関するデータであり、４つ以上の波長帯での光強度を示すマルチスペクトルデータを取得する。マルチスペクトルカメラ１８は、公知のマルチスペクトルカメラであってもよい。

サーバ２０は、マルチスペクトルカメラ１８から出力された被写体のマルチスペクトルデータに基づいて、被写体が何であるかを識別し、また、被写体の状態を識別する。ゲーム装置１２は、サーバ２０による識別結果に基づいて、被写体に対応するゲーム内のオブジェクト（キャラクタやアイテム等、以下「ゲームオブジェクト」とも呼ぶ。）を設定し、ゲームオブジェクトをゲーム空間に登場させる。

図２は、図１のエンタテインメントシステム１０の機能構成を示すブロック図である。エンタテインメントシステム１０は、モデル記憶部３０、撮像部３２、物体識別部３４、オブジェクト設定部３６、表示制御部３８、表示部４０、モデル更新部４２を備える。

図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムをＣＰＵが実行すること等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

また、図２に示すエンタテインメントシステム１０の複数の機能ブロックは、図１の複数の装置が分散して実行してもよく、図１の複数の装置が連携して実行してもよい。実施例では、サーバ２０が、モデル記憶部３０、物体識別部３４、モデル更新部４２の機能を提供し、マルチスペクトルカメラ１８が、撮像部３２の機能を提供する。また、ゲーム装置１２（またはゲーム装置１２にインストールされたゲームアプリケーション）が、オブジェクト設定部３６、表示制御部３８の機能を提供する。また、表示装置１６が、表示部４０の機能を提供する。

表示部４０は、表示制御部３８により指示された電子コンテンツ（例えばゲーム画像）を画面に表示させる。表示部４０は、ヘッドマウントディスプレイであってもよく、ＶＲ画像またはＡＲ画像を画面に表示させてもよい。

モデル記憶部３０は、予め定められた、被写体となり得る物体の種類と状態の組み合わせごとの複数のマルチスペクトルデータ（以下「モデルデータ」とも呼ぶ。）を記憶する。モデルデータは、種類と状態の組み合わせが異なる複数の物体を予めマルチスペクトルカメラで撮像して得られた、複数の物体それぞれのマルチスペクトルデータであってもよい。モデル記憶部３０は、物体の種類と状態の複数の組み合わせを示すデータと、複数のモデルデータとを対応付けて記憶してもよい。

物体の種類を示す情報は、当該物体が何であるかを示す情報でもよく、当該物体が何に属するかを示す情報でもよい。また、物体の状態を示す情報は、当該物体に関する属性を示す情報、特性を示す情報、性質を示す情報を含んでもよい。例えば、物体の状態を示す情報は、物体の熱さ、冷たさ、生体か否か、劣化状態、健康状態を示すものでもよい。

例えば、複数のモデルデータには、１つの物体の種類（ここではカブトムシ）について、生きている状態のマルチスペクトルデータと、死んだ状態のマルチスペクトルデータが含まれてもよい。前者のマルチスペクトルデータは、生きているカブトムシを撮像した結果として予め取得され、後者のマルチスペクトルデータは、死んだカブトムシを撮像した結果として予め取得されてもよい。また、複数のモデルデータには、別の物体の種類（ここではカップ入りのコーヒー）について、コーヒーが熱い状態のマルチスペクトルデータと、コーヒーが冷たい状態のマルチスペクトルデータが含まれてもよい。

撮像部３２は、ユーザにより指定された物体を撮像し、被写体から入射した光に基づいて４つ以上の波長帯での光強度検出し、４つ以上の波長帯での光強度を示す被写体のマルチスペクトルデータを出力する。４つ以上の波長帯は、一般的なＲＧＢの波長帯と、ＲＧＢ以外の少なくとも１つの波長帯とを含んでもよい。また、４つ以上の波長帯は、可視光に属する１つ以上の波長帯を含んでもよく含まなくてもよく、紫外線に属する波長帯を含んでもよく、赤外線に属する波長帯を含んでもよい。また、撮像部３２が検出対象とする４つ以上の波長帯のうち少なくとも一部の波長帯を、被写体の種類や性質に応じて、ユーザが指定可能であってもよい。

ここでは、被写体のマルチスペクトルを検出する方法の例として、（１）カメラ側の画素配列で４つ以上の波長帯を取得する方法と、（２）被写体（言い換えれば被写体を含みうる撮像対象の空間）へ照射する光の種類を変える方法を説明する。

（１）カメラ側の画素配列で４つ以上の波長帯を取得する：
図３は、撮像部３２が備える撮像素子７０におけるカラーフィルタの配列を模式的に示す。撮像素子７０は、波長３５０ｎｍ（ナノメートル）の光を透過するカラーフィルタ７２ａ、波長４５０ｎｍの光を透過するカラーフィルタ７２ｂ、波長５５０ｎｍの光を透過するカラーフィルタ７２ｃ、波長７００ｎｍの光を透過するカラーフィルタ７２ｄを備えてもよい。なお、カラーフィルタに代えて有機光電変換膜を用いてもよい。

図３で示すように、撮像素子側に４種類以上のカラーフィルタを設けることで、物体のマルチスペクトルを検出できる。単一の撮像素子に４種類以上のカラーフィルタを設けてもよい。または、撮像部３２（マルチスペクトルカメラ１８等）に複数の撮像素子を実装して、ある撮像素子では３種類以下の波長の組み合わせを検出し、別の撮像素子では３種類以下の波長の別の組み合わせを検出してもよい。後者の構成では、撮像部３２全体として、４種類以上の波長帯を含む被写体のマルチスペクトルを検出できる。

（２）被写体へ照射する光の種類を変える：
撮像部３２から得られる出力は、以下の式１で表される。
出力 ＝ 撮像部３２の分光 × 被写体反射率 × 環境光 ・・・（式１）
被写体は、現実空間に存在する物体であり、例えば昆虫である。また、環境光は、室内の場合は例えば蛍光灯の光、屋外の場合は例えば日光である。撮像部３２の分光は、予め計測され、既知の値である。

図４は、被写体へ照査する光の種類を変える構成を模式的に示す。同図では、マルチスペクトルカメラ１８による撮像対象となる被写体（ここでは昆虫６０）に対して、互いに異なる波長の光を照射する光源７４ａ、光源７４ｂ、光源７４ｃ（総称する場合「光源７４」と呼ぶ。）をエンタテインメントシステム１０に設ける。複数の光源７４は、マルチスペクトルカメラ１８に設けてもよい。

上記の式１により、環境光の種類（波長）が変化すれば、撮像部３２の出力も変化する。そこで、エンタテインメントシステム１０は、複数の光源７４の中から１つの光源７４を順次選択し、選択した光源７４から光を照射させてもよい。言い換えれば、エンタテインメントシステム１０は、光を照射する光源７４を順次切り替えつつ、それぞれの場合での撮像部３２の出力値を計測してもよい。この結果、式１における未知の項は、被写体反射率のみとなり、その値を得ることができる。すなわち、被写体が有する分光特性、言い換えれば、被写体のマルチスペクトルを得ることができる。

図２に戻り、物体識別部３４は、被写体のマルチスペクトルデータに応じて、被写体の種類と状態の両方を識別する。具体的には、物体識別部３４は、撮像部３２から出力された被写体のマルチスペクトルデータと、モデル記憶部３０に記憶された複数のモデルデータとの異同に応じて、被写体の種類および状態を識別する。物体識別部３４は、被写体の状態として、被写体が生体か否かを識別してもよい。

例えば、物体識別部３４は、被写体のマルチスペクトルデータが、生きているカブトムシのモデルデータと一致し、かつ、死んだカブトムシのマルチスペクトルデータと不一致の場合、被写体の種類を「カブトムシ」、被写体の状態を「生きている状態（言い換えれば生体）」として識別してもよい。マルチスペクトルデータとモデルデータが一致することは、両者の類似の度合いが所定値以上であるとを含み、マルチスペクトルデータとモデルデータが不一致であることは、両者の類似の度合いが所定値未満であることを含む。また、撮像部３２は、生体に特有とされる波長帯（例えば所定の赤外領域の波長帯）の光強度を含むマルチスペクトルデータを取得してもよい。物体識別部３４は、上記波長帯の光強度が所定の閾値以上であれば、被写体が生体であると識別してもよい。

撮像部３２は、同じ被写体を連続する異なるタイミングで撮像した複数の被写体画像を出力してもよい。この場合、複数の被写体画像は、被写体の動きを示すものになる。また、撮像部３２は、ユーザにより指定された被写体の動きを時系列で示す動画データを出力してもよい。物体識別部３４は、被写体のマルチスペクトルデータと、撮像部３２による撮像結果が示す被写体の動きの有無の両方に基づいて、被写体が生体か否かを識別してもよい。例えば、物体識別部３４は、被写体のマルチスペクトルデータが死んだカブトムシのマルチスペクトルデータと一致しても、被写体の動きを検出した場合、被写体が生体であると識別してもよい。

表示制御部３８は、ゲームの画像を表示部４０に表示させるとともに、物体識別部３４により識別された少なくとも被写体の種類に応じた態様で、被写体に対応するゲームオブジェクトの画像をゲーム内に表示させる。実施例の表示制御部３８は、オブジェクト設定部３６と連携して、表示部４０に表示させるコンテンツを制御する。オブジェクト設定部３６は、物体識別部３４により識別された少なくとも被写体の状態（実施例では被写体の種類と状態の両方）に応じて、ゲーム内におけるゲームオブジェクトの状態を設定する。

例えば、オブジェクト設定部３６は、被写体の種類に応じて、ゲームオブジェクトの外観を設定してもよい。また、オブジェクト設定部３６は、予め記憶された複数種類の画像データのうち被写体の種類に対応付けられた画像データをゲームオブジェクトの画像データとして設定してもよい。また、撮像部３２は、被写体の外観を示す画像データを出力してもよく、オブジェクト設定部３６は、撮像部３２から出力された上記画像データを、ゲームオブジェクトの画像データとして設定してもよい。

また、オブジェクト設定部３６は、ゲームオブジェクトの性質を決定する１つ以上のパラメータのそれぞれに、被写体の状態に対応する値（属性値）を設定してもよい。パラメータは、ゲームオブジェクトの外観または動作、ゲームオブジェクトに対する操作または操作に対する応答を決定するデータであってもよい。例えば、被写体が生体と識別された場合、オブジェクト設定部３６は、生体を示す値をゲームオブジェクトのパラメータに設定してもよい。

表示制御部３８は、オブジェクト設定部３６により設定されたゲームオブジェクトの画像を表示部４０に表示させる。また、表示制御部３８は、オブジェクト設定部３６により設定されたゲームオブジェクトのパラメータ値に応じた態様で、ゲームオブジェクトの画像を表示部４０に表示させる。

モデル更新部４２は、物体識別部３４による識別結果に対するユーザのフィードバックを受け付け、当該フィードバックに基づいて、モデル記憶部３０に記憶されたモデルデータを更新する。ユーザからフィードバックされるデータ（フィードバックデータ）は、ゲーム内で表示されたゲームオブジェクトのＩＤと、被写体の正しい種類および状態（「正解情報」と呼ぶ。）を対応付けたデータでもよい。

モデル更新部４２は、ゲームオブジェクトに対応する（ゲームオブジェクトの起原である）被写体のマルチスペクトルデータと、正解情報が示す被写体の種類および状態をモデルデータに反映させてもよい。例えば、モデル更新部４２は、正解情報が示す被写体の種類および状態に対応付けられた既存のモデルデータを、今回の撮像で得られたマルチスペクトルデータに置き換えてもよい。

以上の構成によるエンタテインメントシステム１０の動作を説明する。
図５は、図１のエンタテインメントシステム１０の動作を示すフローチャートである。ユーザは、ゲーム空間に取り込みたい物体をマルチスペクトルカメラ１８により撮像する。マルチスペクトルカメラ１８（撮像部３２）は、物体の撮像を指示する撮像指示操作がユーザにより入力されると（Ｓ１０のＹ）、画角内の物体を被写体として撮像する（Ｓ１２）。マルチスペクトルカメラ１８（撮像部３２）は、撮像結果として、被写体のマルチスペクトルデータをゲーム装置１２へ出力する（Ｓ１４）。ゲーム装置１２は、被写体のマルチスペクトルデータを含む被写体の識別要求をサーバ２０へ送信する。

サーバ２０（物体識別部３４）は、被写体のマルチスペクトルデータが、予めモデル記憶部３０に記憶された特定のモデルデータと一致する場合（Ｓ１６のＹ）、被写体の種類および状態が、上記特定のモデルデータに対応付けられた物体の種類および状態であると識別する（Ｓ１８）。サーバ２０は、識別した被写体の種類および状態を示すデータをゲーム装置１２へ送信する。

ゲーム装置１２（オブジェクト設定部３６）は、サーバ２０で識別された被写体の種類および状態に基づいて、ゲームオブジェクトの外観を定める画像データ、および、ゲームオブジェクトの状態を定めるパラメータ値を設定する（Ｓ２０）。ゲーム装置１２（表示制御部３８）は、ゲームオブジェクトの画像データを表示装置１６（表示部４０）へ送信して、表示装置１６に表示されたゲーム内にゲームオブジェクトを表示させる（Ｓ２２）。また、ゲーム装置１２（表示制御部３８）は、Ｓ２０で設定したゲームオブジェクトの状態（パラメータ値）に応じた態様でゲームオブジェクトを表示させ、また、ゲームを進行させる。

ユーザがコントローラ１４にフィードバック操作を入力すると（Ｓ２４のＹ）、ゲーム装置１２は、そのフィードバック操作を受け付ける。ゲーム装置１２は、フィードバック操作で指定されたゲームオブジェクトのＩＤと、被写体の正しい種類および状態とを含むフィードバックデータをサーバ２０へ送信する。サーバ２０（モデル更新部４２）は、フィードバックデータに基づいて、モデル記憶部３０のモデルデータを更新する（Ｓ２６）。フィードバック操作が未入力であれば（Ｓ２４のＮ）、Ｓ２６をスキップする。

被写体の撮像結果であるマルチスペクトルデータが全てのモデルデータと不一致であれば（Ｓ１６のＮ）、Ｓ１８〜Ｓ２２の処理をスキップする。この場合、サーバ２０は、被写体が識別できない旨の情報をゲーム装置１２へ送信し、ゲーム装置１２の表示制御部３８は、被写体の正しい種類と状態を示す正解情報を入力するようにユーザに促すメッセージを表示部４０に表示させてもよい。

正解情報が入力されると、ゲーム装置１２は、被写体の撮像結果であるマルチスペクトルデータと正解情報とを対応付けたフィードバックデータをサーバ２０へ送信し、モデルデータを更新させてもよい。例えば、サーバ２０は、被写体の撮像結果であるマルチスペクトルデータを新たなモデルデータとして、当該モデルデータを正解情報と対応付けてモデル記憶部３０に格納してもよい。マルチスペクトルカメラ１８に対して撮像指示操作が未入力であれば（Ｓ１０のＮ）、以降の処理は実行されず、すなわちＳ１２〜Ｓ２２がスキップされる。

第１実施例のエンタテインメントシステム１０によると、現実世界とゲーム世界を融合させた斬新なエンタテインメントをユーザへ提供できる。例えば、被写体の外観だけでなく、被写体の状態（熱さ、冷たさ、劣化状態等）をゲームオブジェクトに反映することができる。すなわち、現実世界における被写体をゲーム世界において精度よく、また、正確に再現できる。また、エンタテインメントシステム１０によると、ユーザのフィードバックに基づいて、ゲーム世界における被写体の再現度を向上させることができる。

第１実施例のエンタテインメントシステム１０が提供するゲームの例を示す。
第１の例として、オブジェクト設定部３６は、物体識別部３４による識別結果に応じて、被写体に対応するゲームキャラクタの画像を設定する。表示制御部３８は、そのゲームキャラクタをゲーム空間に表示させる。

表示制御部３８は、人、昆虫、動物、植物等を含む現実世界の生命体を、マルチスペクトルカメラ１８を用いた撮像という行為を介して、ゲームキャラクタとしてゲーム空間に取り込むゲームを表示させてもよい。また、表示制御部３８は、生命体に対応するゲームキャラクタを飼育するゲームや、そのゲームキャラクタを他人と交換可能なゲームを表示させてもよい。また、物体識別部３４は、撮像部３２による撮像画像に基づいて被写体の深度情報（言い換えればカメラからの距離）をさらに識別し、その深度情報を被写体の種類および／または状態の識別に使用してもよい。

図６（ａ）および図６（ｂ）は、ゲームの例を示す。図６（ａ）に示すように、ユーザは、現実空間に存在する物体（図では昆虫６０）をマルチスペクトルカメラ１８で撮影する。マルチスペクトルカメラ１８により撮影された昆虫６０は、ゲーム空間に取り込まれる。図６（ｂ）では、表示装置１６にプレイヤキャラクタ６４を含むゲーム空間が表示され、そのゲーム空間に、昆虫６０に対応するゲームオブジェクト６６が登場している。

このようなゲームによると、ユーザは、採集した昆虫をマルチスペクトルカメラ１８で取り込み、ゲーム内に登場させることができる。また、表示制御部３８は、物体識別部３４により被写体が生体と識別されたことを条件として、当該被写体に対応するゲームキャラクタをゲーム内に表示させてもよい。

第２の例として、物体識別部３４は、被写体が生体であると識別した場合に、その被写体の健康状態をさらに識別する。オブジェクト設定部３６は、物体識別部３４により識別された被写体の健康状態をゲームキャラクタに反映させる。

例えば、モデル記憶部３０は、被写体となりうる生体の種類と健康状態の組み合わせごとの複数のモデルデータを記憶してもよい。物体識別部３４は、被写体のマルチスペクトルデータと複数のモデルデータとの異同に応じて、被写体である生体の種類と健康状態を識別してもよい。また、撮像部３２は、被写体の健康状態の良否により光強度が変化する波長帯の光強度を含むマルチスペクトルデータを取得してもよい。オブジェクト設定部３６は、上記波長帯の光強度に応じて被写体の健康状態の良否を識別してもよい。

オブジェクト設定部３６は、識別された被写体の健康状態に応じて、ゲームキャラクタの強さを設定してもよい。例えば、オブジェクト設定部３６は、被写体の健康状態が良いほど、ゲームキャラクタの寿命、体力、攻撃力、防御力等のパラメータ値が高くなるように設定してもよい。

第３の例として、モデル記憶部３０は、被写体を構成しうる複数の部品（言い換えれば部材）のマルチスペクトルデータである複数の部品データを記憶する。物体識別部３４は、被写体のマルチスペクトルデータと、複数の部品データとの異同に応じて、被写体を構成する１つ以上の部品を識別する。表示制御部３８は、物体識別部３４により識別された１つ以上の部品に対応する１つ以上のゲームオブジェクトを表示させる。

例えば、モデル記憶部３０は、車両等のプラモデルを構成しうる部品に関する複数の部品データを記憶してもよい。複数の部品データは、各部品のマルチスペクトルデータと、各部品の性能や価格等の属性情報とが対応付けたデータであってもよい。撮像部３２は、プラモデルを撮像し、物体識別部３４は、撮像対象のプラモデルのマルチスペクトルデータと、複数の部品データとの異同に応じて、当該プラモデルを構成する１つ以上の部品を識別してもよい。オブジェクト設定部３６は、当該プラモデルを構成する１つ以上の部品の属性情報をモデル記憶部３０から取得し、その属性情報が示す属性（性能、価格等）を各部品に対応するゲームオブジェクトの属性として設定してもよい。

これにより、ユーザが撮像したプラモデルを、その部品の属性を引き継ぎつつ仮想空間に登場させるゲームを実現できる。例えば、各部品の属性に応じた挙動（コーナーリングの態様等）を示す車両をゲーム内で表示することができる。

以上、本発明を第１実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

第１実施例の変形例を説明する。エンタテインメントシステム１０（例えばサーバ２０）は、被写体データ記憶部をさらに備えてもよい。被写体データ記憶部は、同じ被写体を異なるタイミングで撮像した結果である複数のマルチスペクトルデータを記憶してもよい。言い換えれば、被写体データ記憶部は、撮像部３２により異なるタイミングで取得された同じ被写体の複数のマルチスペクトルデータを記憶してもよい。また、被写体データ記憶部は、同じ被写体の複数のマルチスペクトルデータを、物体識別部３４により識別された当該被写体の種類と対応付けて記憶してもよい。

物体識別部３４は、被写体になりうる複数の物体のそれぞれについて、マルチスペクトルデータの時系列での推移と、各被写体の状態の推移（例えば健康状態の良化、悪化等）とを対応付けて記憶してもよい。物体識別部３４は、異なるタイミングで取得された被写体の複数のマルチスペクトルデータについて、それらの時系列での推移に基づいて、当該被写体の状態を識別してもよい。

例えば、物体識別部３４は、今回の撮像で取得された被写体の今回のマルチスペクトルデータとモデル記憶部３０のモデルデータを比較して被写体の種類を識別し、当該被写体の種類に対応付けられた過去のマルチスペクトルデータを被写体データ記憶部から取得してもよい。物体識別部３４は、被写体の今回のマルチスペクトルデータと、過去のマルチスペクトルデータとを比較して、時系列での推移を特定してもよい。物体識別部３４は、マルチスペクトルデータの時系列での推移に対応付けられた被写体の状態の推移に基づいて、現在の被写体の状態（健康状態が悪化した状態等）を識別してもよい。

第１実施例の別の変形例を説明する。エンタテインメントシステム１０は、物体識別部３４により識別された被写体の種類と状態の少なくとも一方に基づいて、被写体に対応するゲームオブジェクトに対してゲーム内でユーザが実行可能な操作を変化させてもよい。

例えば、ゲーム装置１２は、被写体の種類と状態の少なくとも一方に対応付けて、当該被写体に対応するゲームオブジェクトに対して実行可能な操作を示す操作制限情報を記憶する操作制限記憶部を備えてもよい。操作制限情報は、例えば、ゲームオブジェクトがボールであるとき、実行可能な操作として操作「投げる」を規定したデータであってもよい。また、操作制限情報は、ゲームオブジェクトがバットであるとき、実行可能な操作として操作「振る」を規定したデータであってもよく、すなわち操作「投げる」が実行不可能であることを規定したデータであってもよい。

また、操作制限情報は、ゲームオブジェクト（ここではキャラクタ）の健康状態がよいとき、操作「歩く」と「走る」が実行可能であることを規定したデータであってもよい。また、操作制限情報は、ゲームオブジェクトの健康状態が悪いとき、操作「歩く」と「寝る」が実行可能（「走る」は実行不可）であることを規定したデータであってもよい。ゲーム装置１２（表示制御部３８）は、ゲームオブジェクトに対してユーザが選択可能な操作メニューとして、操作制限情報で当該ゲームオブジェクトに対して実行可能と規定された操作を提示してもよい。

第１実施例のさらに別の変形例を説明する。モデル記憶部３０が記憶するモデルデータは、現実世界に存在する物品を被写体として直接撮像した場合の第１のマルチスペクトルデータを含むが、本や画面等に表示された物品を撮像した場合の第２のマルチスペクトルデータを含まなくてもよい。また、オブジェクト設定部３６および表示制御部３８は、被写体のマルチスペクトルデータが上記第１のマルチスペクトルデータに一致する場合、被写体に対応するゲームオブジェクトをゲーム内に表示させるが、被写体のマルチスペクトルデータが上記第２のマルチスペクトルデータに一致する場合、被写体に対応するゲームオブジェクトの表示を抑制してもよい。これにより、実際にユーザが所持する物体のみゲーム内に取り込むことができるという制限を設けることができる。

第１実施例のさらに別の変形例を説明する。第１実施例では、ゲーム内に取り込む物体（ここでは「対象物体」と呼ぶ。）そのものが被写体となり、対象物体そのもののマルチスペクトルデータに基づいて、対象物体の種類および状態を識別した。変形例として、対象物体に関連するものの異なる物体（例えば対象物体の排泄物等）が被写体となり、当該異なる物体のマルチスペクトルデータに基づいて、対象物体の種類および状態を識別してもよい。この場合、モデル記憶部３０は、上記異なる物体のマルチスペクトルデータと、対象物体の種類および状態とを対応付けたモデルデータを記憶してもよい。

第１実施例のさらに別の変形例を説明する。図２で示した複数の機能ブロックは、複数の装置間で実施例とは異なる態様で配置されてもよい。例えば、ゲーム装置１２は、第１実施例でサーバ２０が備えた機能を備えてもよい。すなわち、ゲーム装置１２は、モデル記憶部３０、物体識別部３４、モデル更新部４２をさらに備えてもよい。この場合、ゲーム装置１２のＣＰＵは、モデル記憶部３０、物体識別部３４、オブジェクト設定部３６、表示制御部３８、モデル更新部４２の機能が実装されたアプリケーションプログラムを実行してもよい。

また、エンタテインメントシステム１０は、撮像部３２、オブジェクト設定部３６、表示制御部３８、表示部４０の機能を含む情報端末（スマートフォンやタブレット端末等）と、サーバ２０とが連携することにより実現されてもよい。この情報端末は、撮像部３２に対応するマルチスペクトルカメラと、表示部４０に対応するタッチスクリーンを備えてもよい。この場合、オブジェクト設定部３６および表示制御部３８の機能が実装されたアプリケーションプログラムを情報端末のＣＰＵが実行してもよい。

第１実施例のさらに別の変形例を説明する。エンタテインメントシステム１０は、被写体のマルチスペクトルデータに基づいて被写体の種類を識別する一方、被写体の状態を識別しなくてもよい。この場合、モデル記憶部３０は、被写体となりうる複数種類の物体に対応して予め定められた複数のモデルデータを記憶してもよい。物体識別部３４は、被写体のマルチスペクトルデータと、上記の複数のモデルデータとを比較して、被写体の種類を識別してもよい。オブジェクト設定部３６は、被写体の種類に応じて、ゲームオブジェクトのデータを設定してもよい。

この態様においても、被写体のマルチスペクトルデータを利用して、被写体の種類を精度よく識別し、被写体を忠実に再現したゲームオブジェクトをゲーム内に登場させることができる。なお、物体識別部３４は、被写体の種類に応じて被写体の状態を特定の状態に決定してもよく、また、複数の状態の候補の中から所定のアルゴリズム（ランダムでもよい）によりいずれかを被写体の状態として選択してもよい。

（第２実施例）
第２実施例では、被写体のマルチスペクトルデータに基づき識別された被写体の種類と状態の両方に応じて、被写体に対して所定のアクションを実行する情報処理システムを提案する。以下の説明において、第１実施例のエンタテインメントシステム１０を構成する要素と同一または対応する要素には同一の符号を付す。第１実施例で説明済みの内容は、再度の説明を適宜省略する。

図７は、第２実施例の情報処理システム２２の構成を示す。第２実施例の情報処理システム２２は、マルチスペクトルカメラ１８、サーバ２０、制御装置２４、実行装置２６を備える。

実行装置２６は、マルチスペクトルカメラ１８が撮像した被写体に対して所定のアクションを実行し、または、所定の作用を与える装置である。制御装置２４は、第１実施例のゲーム装置１２に対応し、物体識別部３４による識別結果に応じて、実行装置２６の動作を制御する情報処理装置である。

図８は、図７の情報処理システム２２の機能構成を示すブロック図である。同図のモデル記憶部３０、撮像部３２、物体識別部３４、モデル更新部４２は、第１実施例と同様である。第２実施例の情報処理システム２２は、作用記憶部４４、作用制御部４６、作用実行部４８を含む。実施例では、制御装置２４が、作用記憶部４４および作用制御部４６の機能を提供し、実行装置２６が、作用実行部４８の機能を提供する。

作用記憶部４４、作用制御部４６、作用実行部４８は、互いに連携することにより、被写体に対して作用を及ぼす作用部として機能する。作用記憶部４４は、被写体の種類と状態の組み合わせごとに、当該被写体に対して実行すべきアクションを対応付けたレコードを１つ以上記憶する。言い換えれば、被写体の種類と状態の組み合わせと、当該被写体に対して実行すべきアクションとを対応付けたレコードを１つ以上記憶する。

作用実行部４８は、被写体に対して所定のアクションを実行する。作用実行部４８は、所定のアクションを実行するためのアクチュエータを含む。所定のアクションは、切断、接合、接触、加熱、冷却、振動のうち少なくとも１つであってもよい。

作用制御部４６は、作用記憶部４４を参照して、物体識別部３４により識別された被写体の種類と状態の組み合わせに対応付けられたアクションを特定する。作用制御部４６は、特定したアクションを実行するよう作用実行部４８を制御し、例えば、特定したアクションの実行を指示する信号を作用実行部４８へ送信する。

第２実施例の実行装置２６は、例えば、ヘアカッター（髪切断機）であってもよい。作用記憶部４４は、被写体の種類が髪の毛で、かつ、被写体の状態が「白い」または「傷んでいる」の組み合わせと、アクション「切断」とを対応付けて記憶してもよい。撮像部３２は、ユーザの髪の毛１本１本を撮像してもよい。作用制御部４６は、物体識別部３４により、被写体の種類が髪の毛で、かつ、被写体の状態が「白い」または「傷んでいる」と識別された場合、髪の毛の切断を指示する信号を作用実行部４８へ送信してもよい。作用実行部４８は、作用制御部４６から受け付けた信号にしたがって、白髪または傷んだ髪の毛を切断してもよい。

図９は、上記のヘアカッターの例を示す。ヘアカッター８０は、筐体８２、カッター部８４、撮像部８６、可動部８８を備える。カッター部８４と撮像部８６は、可動部８８が回動することにより、筐体８２から取り出される。同図の撮像部８６は、第２実施例の撮像部３２に対応する。撮像部８６は、ユーザの髪の毛１本１本を撮像し、カッター部８４は、撮像対象の髪の毛が白髪または傷んだ髪の毛の場合、撮像対象の髪の毛を切断する。

第２実施例の情報処理システム２２によると、ユーザが撮像した被写体の種類および状態の両方に基づいて、被写体に対する好適なアクションを自動で実行させることができる。

以上、本発明を第２実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

変形例として、図５で示した複数の機能ブロックは、複数の装置間において実施例とは異なる態様で配置されてもよい。また、図５で示した複数の機能ブロックは、単体の装置（例えば実行装置２６）が備えてもよい。

別の変形例として、情報処理システム２２は、被写体のマルチスペクトルデータに基づき識別された被写体の種類に応じて、被写体に対して所定のアクションを実行してもよい。この場合、物体識別部３４は、被写体のマルチスペクトルデータに応じて、被写体の種類を識別する一方、被写体の状態を識別しなくてもよい。作用制御部４６は、被写体の種類に応じて、被写体に対するアクションを作用実行部４８に実行させてもよい。なお、物体識別部３４は、被写体の種類に応じて被写体の状態を特定の状態に決定してもよく、また、複数の状態の候補の中から所定のアルゴリズム（ランダムでもよい）によりいずれかを被写体の状態として選択してもよい。

（第３実施例）
第３実施例では、被写体のマルチスペクトルデータに基づき識別された被写体の種類と状態の両方に応じて、ユーザの身体に接触している所定装置（実施例ではグローブ装置）の状態を変化させるエンタテインメントシステムを提案する。以下の説明において、第１実施例のエンタテインメントシステム１０を構成する要素と同一または対応する要素には同一の符号を付す。第１実施例で説明済みの内容は、再度の説明を適宜省略する。

図１０は、第３実施例のエンタテインメントシステム１０の構成を示す。第３実施例のエンタテインメントシステム１０は、ゲーム装置１２、マルチスペクトルカメラ１８、サーバ２０、グローブ装置２８を備える。

グローブ装置２８は、ユーザの手に装着され、ゲーム装置１２による制御に応じてユーザの手に刺激を与える。グローブ装置２８は、触覚再現装置とも言え、ユーザの手に熱さ・冷たさ・電気等の刺激を与える。ゲーム装置１２は、被写体の種類および状態に応じた刺激をユーザに与えるゲームを実行する。

図１１は、図１０のエンタテインメントシステム１０の機能構成を示すブロック図である。同図のモデル記憶部３０、撮像部３２、物体識別部３４、モデル更新部４２は、第１実施例と同様である。第３実施例のエンタテインメントシステム１０は、動作記憶部５０、動作制御部５２、刺激部５４を含む。実施例では、ゲーム装置１２が、動作記憶部５０および動作制御部５２の機能を提供し、グローブ装置２８が、刺激部５４の機能を提供する。

動作記憶部５０は、被写体の種類と状態の組み合わせごとに、刺激部５４の状態を対応付けたレコードを１つ以上記憶する。言い換えれば、被写体の種類と状態の組み合わせと、刺激部５４の状態とを対応付けたレコードを１つ以上記憶する。刺激部５４の状態は、実施例では、刺激部５４の動作態様であり、言い換えれば、刺激部５４がユーザに与える刺激の態様である。

刺激部５４は、ユーザに所定の刺激を与え、実施例では、熱さ・冷たさ・電気等の刺激をユーザの手に与える。刺激部５４は、公知のＶＲ（Virtual Reality）グローブにより実現されてもよい。動作制御部５２は、動作記憶部５０を参照して、物体識別部３４により識別された被写体の種類と状態の組み合わせに対応づけられた刺激部５４の状態を特定する。動作制御部５２は、特定した状態になるよう刺激部５４を制御し、例えば、特定した状態へ変化するよう指示する信号を刺激部５４へ送信する。

例えば、物体識別部３４が、被写体の種類をカップ入りのコーヒー、被写体の状態を熱い（ホットコーヒー）と識別した場合、動作制御部５２は、通常状態から熱を発した状態に変化するよう刺激部５４を制御してもよい。また、物体識別部３４が、被写体の種類をカップ入りのコーヒー、被写体の状態を冷たい（アイスコーヒー）と識別した場合、動作制御部５２は、通常状態から冷気を発する状態に変化するよう刺激部５４を制御してもよい。

図１２は、別の刺激部５４の例を示す。図１２の刺激部５４は、熱伝導素子を含み、ユーザの手に熱または冷たさを伝える装置である。ユーザは、自身の視線方向の空間を撮像する眼鏡型の撮像部３２（マルチスペクトルカメラ１８）を頭部に装着してもよく、その撮像部３２を含むヘッドマウントディスプレイを頭部に装着してもよい。不図示のゲーム装置１２は、刺激部５４と接続され、撮像部３２により撮像された物体の種類および／または状態に応じて刺激部５４を制御することにより、撮像対象物体の種類および／または状態に応じた熱または冷たさをユーザに与えてもよい。例えば、ＶＲ／ＡＲ／ＭＲ（Mixed Reality）画像を表示中に、ユーザの視線方向にある物体が熱い物体と識別された場合、刺激部５４の熱伝導素子を介して、ユーザに熱を伝えてもよい。

第３実施例のエンタテインメントシステム１０によると、ユーザが撮像した被写体の種類および状態の両方に基づいて、被写体に即した刺激をユーザに与えることができ、斬新なエンタテインメントをユーザへ提供できる。

以上、本発明を第３実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

変形例として、エンタテインメントシステム１０は、被写体のマルチスペクトルデータに基づき識別された被写体の種類に応じて、ユーザの身体に接触している所定装置の状態を変化させてもよい。この場合、物体識別部３４は、被写体のマルチスペクトルデータに応じて、被写体の種類を識別する一方、被写体の状態を識別しなくてもよい。動作制御部５２は、被写体の種類に応じて、ユーザの身体に接触している刺激部５４の状態を変化させてもよい。なお、物体識別部３４は、被写体の種類に応じて被写体の状態を特定の状態に決定してもよく、また、複数の状態の候補の中から所定のアルゴリズム（ランダムを含む）によりいずれかを被写体の状態として選択してもよい。

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

１０ エンタテインメントシステム、 ２２ 情報処理システム、 ３０ モデル記憶部、 ３２ 撮像部、 ３４ 物体識別部、 ３６ オブジェクト設定部、 ３８ 表示制御部、 ４０ 表示部、 ４２ モデル更新部。

Claims (15)

1. ユーザにより指定された物体を撮像し、４つ以上の波長帯での光強度を示す被写体のマルチスペクトルデータを出力する撮像部と、
   前記被写体のマルチスペクトルデータに応じて、前記被写体の種類を識別する識別部と、
   前記被写体の種類に応じて、ゲーム内に登場させる前記被写体に対応するオブジェクトを設定する設定部と、
   前記被写体の種類に応じた態様で、前記オブジェクトを前記ゲーム内に表示させる表示制御部と、
   を備えることを特徴とする情報処理システム。
2. 複数種類の物体に対応する複数のマルチスペクトルデータを記憶する第１記憶部をさらに備え、
   前記識別部は、前記被写体のマルチスペクトルデータと、前記第１記憶部に記憶された複数のマルチスペクトルデータとの異同に応じて、前記被写体の種類を識別することを特徴とする請求項１に記載の情報処理システム。
3. 前記識別部による識別結果に対するユーザのフィードバックを受け付け、当該フィードバックに基づいて、前記第１記憶部に記憶されたデータを更新する更新部をさらに備えることを特徴とする請求項２に記載の情報処理システム。
4. 前記識別部は、前記被写体の状態をさらに識別し、
   前記設定部は、前記被写体の状態に応じて、前記ゲーム内での前記オブジェクトの状態をさらに設定することを特徴とする請求項１に記載の情報処理システム。
5. 物体の種類と状態の組み合わせごとの複数のマルチスペクトルデータを記憶する第１記憶部をさらに備え、
   前記識別部は、前記被写体のマルチスペクトルデータと、前記第１記憶部に記憶された複数のマルチスペクトルデータとの異同に応じて、前記被写体の種類と状態の両方を識別することを特徴とする請求項４に記載の情報処理システム。
6. 前記撮像部により異なるタイミングで取得された前記被写体の複数のマルチスペクトルデータを記憶する第２記憶部をさらに備え、
   前記識別部は、前記複数のマルチスペクトルデータの時系列での推移に基づいて、前記被写体の状態を識別することを特徴とする請求項４に記載の情報処理システム。
7. 前記識別部は、前記被写体の状態として、前記被写体が生体か否かを識別することを特徴とする請求項４から６のいずれかに記載の情報処理システム。
8. 前記識別部は、前記撮像部による撮像結果が示す前記被写体の動きの有無にさらに基づいて、前記被写体が生体か否かを識別することを特徴とする請求項７に記載の情報処理システム。
9. 前記表示制御部は、前記被写体に対応するキャラクタを表示させ、
   前記識別部は、前記被写体が生体であると識別した場合に、前記被写体の健康状態を識別し、
   前記設定部は、前記識別部により識別された健康状態を前記キャラクタに反映させることを特徴とする請求項７または８に記載の情報処理システム。
10. 前記第１記憶部は、前記被写体を構成しうる複数の部品それぞれのマルチスペクトルデータである部品データを記憶し、
    前記識別部は、前記被写体のマルチスペクトルデータと、前記第１記憶部に記憶された部品データとの異同に応じて、前記被写体を構成する１つ以上の部品を識別し、
    前記表示制御部は、前記識別部により識別された１つ以上の部品に対応する１つ以上のオブジェクトを表示させることを特徴とする請求項２または３に記載の情報処理システム。
11. 前記識別部により識別された前記被写体の種類と状態の少なくとも一方に基づいて、前記ゲーム内で前記オブジェクトに対してユーザが実行可能な操作が変化することを特徴とする請求項１から３のいずれかに記載の情報処理システム。
12. ユーザにより指定された物体を撮像し、４つ以上の波長帯での光強度を示す被写体のマルチスペクトルデータを出力する撮像部と、
    前記被写体のマルチスペクトルデータに応じて、前記被写体の種類を識別する識別部と、
    前記識別部により識別された前記被写体の種類に応じて、前記被写体に対して所定のアクションを実行する作用部と、
    を備えることを特徴とする情報処理システム。
13. ユーザにより指定された物体を撮像し、４つ以上の波長帯での光強度を示す被写体のマルチスペクトルデータを出力する撮像部と、
    前記被写体のマルチスペクトルデータに応じて、前記被写体の種類を識別する識別部と、
    前記識別部により識別された前記被写体の種類に応じて、ユーザの身体に接触している所定装置の状態を変化させる制御部と、
    を備えることを特徴とする情報処理システム。
14. 情報処理システムが、
    ユーザにより指定された物体を撮像し、４つ以上の波長帯での光強度を示す被写体のマルチスペクトルデータを出力するステップと、
    前記被写体のマルチスペクトルデータに応じて、前記被写体の種類を識別するステップと、
    前記被写体の種類に応じて、ゲーム内に登場させる前記被写体に対応するオブジェクトを設定するステップと、
    前記被写体の種類に応じた態様で、前記オブジェクトをゲーム内に表示させるステップと、
    を実行することを特徴とする情報処理方法。
15. コンピュータに、
    ユーザにより指定された物体を撮像し、４つ以上の波長帯での光強度を示す被写体のマルチスペクトルデータを出力する機能と、
    前記被写体のマルチスペクトルデータに応じて、前記被写体の種類を識別する機能と、
    前記被写体の種類に応じて、ゲーム内に登場させる前記被写体に対応するオブジェクトを設定する機能と、
    前記被写体の種類に応じた態様で、前記オブジェクトをゲーム内に表示させる機能と、
    を実現させるためのコンピュータプログラム。