JP2018077644A - 情報処理システム及びプログラム - Google Patents

Abstract

【課題】現実空間に存在する対象物の情報に対して処理を行う場合に、対象物の属性を取得しない構成と比較して、臨場感のある演出を行う。【解決手段】操作端末１００は、現実空間に存在する対象物の撮像情報から対象物の属性を取得する領域属性認識部１１３と、領域属性認識部１１３により取得された属性に対応する仮想の画像であって、対象物の画像に合成される画像を特定する仮想画像取得部１１５とを備える。【選択図】図３

Description

本発明は、情報処理システム及びプログラムに関する。

例えば、特許文献１には、ネットワーク上において、バーチャル構成物と当該バーチャル構成物を構成するパーツ等を閲覧し、選択可能とする閲覧選択手段と、前記バーチャル構成物とバーチャル構成物を構成するパーツ等を合成若しくは組み合わせることにより変化するバーチャル構成物の形態、性能、特徴等を確認することが可能な確認手段を有しているとともに、前記ネットワークに接続された販売装置または他の端末装置を介して前記バーチャル構成物、若しくはバーチャル構成物を構成するパーツ等に関する電子データをユーザに対して提供するデータ提供手段を有している販売提供システムが開示されている。

特開２００２−１６９９８０号公報

従来、例えば、現実空間に情報を付加して現実世界を拡張する拡張現実（ＡＲ（Augmented Reality））のように、現実空間の情報と仮想空間の情報とを合成したり、現実空間の情報を仮想空間の情報として取り込んだりする場合がある。このような場合に、現実空間の情報と仮想空間の情報との関連性が高ければ、臨場感のある演出を行うことができる。
本発明の目的は、現実空間に存在する対象物の情報に対して処理を行う場合に、対象物の属性を取得しない構成と比較して、臨場感のある演出を行うことにある。

請求項１に記載の発明は、現実空間に存在する対象物の撮像情報から当該対象物の属性を取得する属性情報取得手段と、前記属性情報取得手段により取得された属性に対応する仮想の画像であって、前記対象物の画像に合成される画像を特定する特定手段とを備える情報処理システムである。
請求項２に記載の発明は、前記特定手段により特定される画像と前記対象物の画像とを合成した合成画像を表示する表示手段をさらに備えることを特徴とする請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記対象物が存在している現実空間の場所の属性と仮想の画像とを対応付けた対応関係を記憶する記憶手段をさらに備え、前記特定手段は、前記対象物の画像に合成される画像として、前記対応関係において、前記属性情報取得手段により取得された属性に対応付けられた仮想の画像を特定することを特徴とする請求項１又は２に記載の情報処理システムである。
請求項４に記載の発明は、現実空間に存在する対象物の撮像情報から、当該対象物に相当する仮想画像を特定する特定手段と、前記対象物の性能を示す性能情報を取得する性能情報取得手段と、取得した前記性能情報と前記対象物に相当する仮想画像とを関連付けて仮想空間に取り込む取込手段とを備える情報処理システムである。
請求項５に記載の発明は、現実空間に存在する対象物が発する音から、当該対象物に相当する仮想画像を特定する特定手段と、前記対象物の性能を示す性能情報を取得する性能情報取得手段と、取得した前記性能情報と前記対象物に相当する仮想画像とを関連付けて仮想空間に取り込む取込手段とを備える情報処理システムである。
請求項６に記載の発明は、現実空間を撮像して得られた画像を取得する画像取得手段と、前記画像取得手段により取得された画像に対して予め定められた画像を合成する場合に、当該予め定められた画像の属性に基づいて、当該予め定められた画像を合成する位置を特定する位置特定手段とを備える情報処理システムである。

請求項１記載の発明によれば、現実空間に存在する対象物の情報に対して処理を行う場合に、対象物の属性を取得しない構成と比較して、臨場感のある演出を行うことができる。
請求項２記載の発明によれば、対象物の画像に対して他の画像を合成する場合に、ユーザが合成結果を確認できるようになる。
請求項３記載の発明によれば、現実空間に存在する対象物の情報に対して処理を行う場合に、対象物が存在している現実空間の場所の属性を取得しない構成と比較して、臨場感のある演出を行うことができる。
請求項４記載の発明によれば、現実空間に存在する対象物の情報に対して処理を行う場合に、対象物に相当する仮想画像を特定しない構成と比較して、臨場感のある演出を行うことができる。
請求項５記載の発明によれば、現実空間に存在する対象物の情報に対して処理を行う場合に、対象物に相当する仮想画像を特定しない構成と比較して、臨場感のある演出を行うことができる。
請求項６記載の発明によれば、現実空間を撮像して得られた画像に対して他の画像を合成する場合に、他の画像の属性を考慮しない構成と比較して、臨場感のある演出を行うことができる。

本実施の形態に係る情報処理システムの全体構成例を示した図である。 本実施の形態に係る操作端末のハードウェア構成例を示す図である。 実施の形態１に係る操作端末の機能構成例を示したブロック図である。 実施の形態１に係る仮想画像ＤＢの一例を示す図である。 実施の形態１に係る操作端末による処理の手順の一例を示したフローチャートである。 （ａ）〜（ｃ）は、実施の形態１に係る操作端末による一連の処理の流れの一例を説明するための図である。 実施の形態１に係る操作端末による処理の他の例の手順を示したフローチャートである。 実施の形態２に係る操作端末の機能構成例を示したブロック図である。 実施の形態２に係る仮想画像ＤＢの一例を示す図である。 実施の形態２に係る操作端末による処理の手順の一例を示したフローチャートである。 （ａ），（ｂ）は、実施の形態２に係る操作端末による一連の処理の流れの一例を説明するための図である。 実施の形態３に係る操作端末の機能構成例を示したブロック図である。 実施の形態３に係る仮想画像ＤＢの一例を示す図である。 実施の形態３に係る操作端末による処理の手順の一例を示したフローチャートである。 （ａ），（ｂ）は、実施の形態３に係る操作端末による一連の処理の流れの一例を説明するための図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜システム構成＞
まず、本実施の形態に係る情報処理システム１の全体構成について説明する。図１は、本実施の形態に係る情報処理システム１の全体構成例を示した図である。図示するように、この情報処理システム１は、操作端末１００と管理サーバ２００とがネットワーク３００を介して接続されることにより構成されている。

操作端末１００は、所謂ＡＲ機能を備えたコンピュータ装置である。操作端末１００としては、例えば、携帯ゲーム機や、携帯情報端末（いわゆる、スマートフォンやタブレット端末等）、ＰＣ（Personal Computer）などを例示することができる。また、操作端末１００として、例えば、眼鏡型などのウェアラブルコンピュータを用いても良い。この操作端末１００は、ユーザの操作を基にアプリケーション等の各種プログラムを実行し、現実空間の情報に仮想空間の情報を追加したり、現実空間の情報を仮想空間に取り込んだりする処理を行う。ここで、現実空間とは、実空間として現実に存在する空間である。また、仮想空間とは、実際の空間としては存在しないが、操作端末１００上で表示、操作可能な仮想的な空間である。

管理サーバ２００は、操作端末１００に対して各種の情報を提供するコンピュータ装置である。管理サーバ２００としては、例えば、ＰＣ、ワークステーション等が例示される。この管理サーバ２００は、操作端末１００に対して、例えば、仮想空間にて使用される各種データを提供する。

ネットワーク３００は、操作端末１００と管理サーバ２００との間の情報通信に用いられる通信手段であり、例えば、インターネット、公衆回線、ＬＡＮ（Local Area Network）等である。

＜操作端末のハードウェア構成＞
次に、本実施の形態に係る操作端末１００のハードウェア構成について説明する。図２は、本実施の形態に係る操作端末１００のハードウェア構成例を示す図である。

図示するように、操作端末１００は、演算手段であるＣＰＵ（Central Processing Unit）１０１と、記憶手段であるメインメモリ１０２及び磁気ディスク装置１０３とを備える。ここで、ＣＰＵ１０１は、ＯＳ（Operating System）やアプリケーション等の各種プログラムを実行し、操作端末１００の各種機能を実現する。また、メインメモリ１０２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域である。さらに、磁気ディスク装置１０３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。

また、操作端末１００は、外部との通信を行うためのインタフェースである通信部１０４と、ビデオメモリやディスプレイ等を含み、画面を表示する表示部１０５と、ユーザによって操作可能な入力装置である操作部１０６とを備える。ここで、操作部１０６はどのような入力装置であっても良いが、例えば、操作ボタン、キーボード、マウス等を例示することができる。また、画面を表示してユーザからの操作を受け付けるタッチパネル等により、表示部１０５と操作部１０６とが一体に構成されてもよい。さらに、操作端末１００は、被写体を撮像して静止画又は動画の画像データを得るカメラ等の撮像部１０７と、外部の音を検知するマイク等の音検知部１０８とを備える。

なお、図２は、本実施の形態が適用されるのに好適な操作端末１００のハードウェア構成を例示するに過ぎず、図示の構成においてのみ本実施の形態が実現されるのではない。

［実施の形態１］
＜操作端末の機能構成＞
次に、実施の形態１に係る操作端末１００の機能構成について説明する。実施の形態１において、操作端末１００は、ユーザの操作により撮像部１０７にて現実空間で撮影された画像の画像データ（以下、現実空間で撮影した画像の画像データを「現実画像データ」と称する）を取得する。また、操作端末１００は、取得した現実画像データを、それぞれのオブジェクト（対象物）の領域に分割する。さらに、操作端末１００は、分割した領域が有する属性（即ち、オブジェクトの属性）を特定する。そして、操作端末１００は、分割した領域に対して、その領域の属性に対応する仮想空間の画像の画像データ（以下、仮想空間の画像の画像データを「仮想画像データ」と称する）を合成する。

図３は、実施の形態１に係る操作端末１００の機能構成例を示したブロック図である。本実施の形態に係る操作端末１００は、現実画像取得部１１１、領域分割部１１２、領域属性認識部１１３、仮想画像格納部１１４、仮想画像取得部１１５、合成部１１６を備える。

現実画像取得部１１１は、撮像部１０７によって現実空間を撮影（撮像）して得られた画像の画像データである現実画像データを取得する。

領域分割部１１２は、現実画像取得部１１１が取得した現実画像データから抽出される特徴量に基づき、現実画像データをそれぞれのオブジェクトの領域に分割する。この領域分割には、既存の技術を利用でき、例えば、既存の領域分割アルゴリズム（領域拡張法、グラフカット法など）を利用する。また、特徴量としては、例えば、画像内の各画素の画素値（輝度、色情報など）、画像の周波数（空間周波数）等が用いられる。

領域属性認識部１１３は、領域分割部１１２にて分割された各領域の属性を認識する。この属性の認識にも、既存の技術を利用できる。
例えば、領域属性認識部１１３は、領域分割部１１２にて分割された領域の特徴量と、各属性にて予め定められた基準特徴量とを比較する。そして、分割された領域の特徴量に最も近い基準特徴量の属性を、その領域の属性として認識する。
また、例えば、領域属性認識部１１３は、機械学習により、各属性の画像のパターンや判別ルールを抽出することによって、各領域の属性を認識しても良い。この場合、例えば、ユーザは、学習用の画像として、各属性の画像を複数用意する。そして、領域属性認識部１１３は、用意された学習用の画像から特徴量を抽出し、抽出した特徴量とその画像の属性とを対応付けて学習を行う。このような学習を行うことにより、領域属性認識部１１３は、分割された領域の特徴量に最も近い特徴量の属性を、その領域の属性として認識する。

仮想画像格納部１１４は、仮想空間で用いられる画像データである仮想画像データが定められたデータベース（以下、仮想画像ＤＢと称する）を格納する。この仮想画像ＤＢは、対応関係の一例であり、仮想画像データのそれぞれには属性が対応付けられている。この属性は、仮想画像データの示すオブジェクトが存在している現実空間の場所を表すものである。より具体的には、例えば、「鳥」の仮想画像データは、「鳥」が現実空間で存在する場所である「空」の属性に対応付けられている。また、例えば、「鹿」の仮想画像データは、「鹿」が現実空間で存在する場所である「山」の属性に対応付けられている。

仮想画像取得部１１５は、現実画像データに合成する画像データとして、仮想画像格納部１１４から仮想画像データを取得する。ここで、仮想画像取得部１１５は、まず、予め定められた条件に従って、領域分割部１１２にて分割された現実画像データ内の領域（オブジェクト）のうち、１又は複数の領域を選択する。そして、仮想画像取得部１１５は、選択した１又は複数の領域について、それぞれの領域の属性に対応する仮想画像データを仮想画像格納部１１４から取得する。
なお、予め定められた条件としては、例えば、事前に付与された属性の優先度や順番に従って１又は複数の領域を選択したり、ランダム（無作為）に１又は複数の領域を選択したりすること等が挙げられる。

合成部１１６は、現実画像データ内の領域に対して、その領域の属性に対応する仮想画像データを合成する。そして、合成部１１６は、合成して得られる画像データ（以下、合成画像データと称する）を、表示部１０５の画面に表示する制御を行う。

本実施の形態では、画像取得手段の一例として、現実画像取得部１１１が用いられる。属性情報手段の一例として、領域属性認識部１１３が用いられる。特定手段の一例として、仮想画像取得部１１５が用いられる。表示手段の一例として、合成部１１６、表示部１０５が用いられる。記憶手段の一例として、仮想画像格納部１１４が用いられる。

なお、図３に示す操作端末１００を構成する各機能部は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、操作端末１００を図２に示したハードウェア構成にて実現した場合、例えば、磁気ディスク装置１０３に格納されているＯＳのプログラムやアプリケーション・プログラムが、メインメモリ１０２に読み込まれてＣＰＵ１０１に実行されることにより、現実画像取得部１１１、領域分割部１１２、領域属性認識部１１３、仮想画像取得部１１５、合成部１１６等の各機能が実現される。また、仮想画像格納部１１４は、磁気ディスク装置１０３等の記憶手段により実現される。

＜仮想画像ＤＢの説明＞
次に、仮想画像ＤＢについて説明する。図４は、実施の形態１に係る仮想画像ＤＢの一例を示す図である。

「属性」は、仮想画像データに対して予め対応付けられている属性を示す。例えば、「空」の属性に対応付けられている仮想画像データとして、「鳥」が示されている。また、例えば、「山」の属性に対応付けられている仮想画像データとして、「鹿」が示されている。また、各属性に対応付けられる仮想画像データは複数であっても良い。図示の例では、「海」の属性に対応付けられている仮想画像データとして、「魚」、「鯨」が示されている。

＜操作端末の処理手順＞
次に、本実施の形態に係る操作端末１００による処理の手順について説明する。図５は、実施の形態１に係る操作端末１００による処理の手順の一例を示したフローチャートである。

まず、ユーザが操作端末１００を操作し、撮像部１０７によって被写体を撮影すると、現実画像取得部１１１は、撮像部１０７の撮影により得られた現実画像データを取得する（ステップ１０１）。次に、領域分割部１１２は、現実画像データから抽出される特徴量に基づき、現実画像データに対して領域分割を実行する（ステップ１０２）。次に、領域属性認識部１１３は、領域分割部１１２にて分割された各領域（各オブジェクト）の属性を認識する（ステップ１０３）。

次に、仮想画像取得部１１５は、予め定められた条件に従って、分割された現実画像データ内の領域のうち、１又は複数の領域を選択する（ステップ１０４）。次に、仮想画像取得部１１５は、選択した１又は複数の領域について、それぞれの領域の属性に対応する仮想画像データを、仮想画像格納部１１４から取得する（ステップ１０５）。次に、合成部１１６は、選択された１又は複数の領域のそれぞれに対して、仮想画像格納部１１４が取得した仮想画像データを合成して、合成画像データを生成する（ステップ１０６）。次に、合成部１１６は、合成画像データを表示部１０５の画面に表示する（ステップ１０７）。そして、本処理フローは終了する。

より具体的には、例えば、ステップ１０４において、仮想画像取得部１１５により「空」の画像と「山」の画像とが選択される。また、ステップ１０５において、それぞれの領域の属性に対応する仮想画像データとして、「鳥」の仮想画像データと「鹿」の仮想画像データとが取得される。この場合、ステップ１０６において、合成部１１６は、「空」の画像に対して「鳥」の仮想画像データを合成し、「山」の画像に対して「鹿」の仮想画像データを合成して、合成画像データを生成する。

ここで、ユーザが撮像部１０７によって動画を撮影する場合について特に説明する。動画の撮影では、ユーザが撮影する被写体が時間とともに変化する。そのため、図５に示す処理フローは、例えば、１フレームの時間（例えば６０ｆｐｓの場合、約１７ｍｓｅｃ）毎に繰り返し実行される。その際、ステップ１０４では、１度取得した領域と同一の領域（又は、１度取得した領域が含まれる領域）を繰り返し取得して、ステップ１０５でも、１度取得した仮想画像データと同一の仮想画像データを繰り返し取得することにより、動画に対して仮想画像データが連続して合成されることになる。

＜操作端末による一連の処理＞
次に、本実施の形態に係る操作端末１００による一連の処理の流れについて説明する。図６（ａ）〜（ｃ）は、実施の形態１に係る操作端末１００による一連の処理の流れの一例を説明するための図である。

まず、図６（ａ）は、撮像部１０７の撮影により得られた現実画像データ１１Ａの一例を示す図である。ここでは、例えば、ユーザが操作端末１００を操作して、撮像部１０７により被写体の撮影を行う。その結果、現実画像取得部１１１は、撮像部１０７の撮影により得られた画像データとして、図６（ａ）に示す現実画像データ１１Ａを取得する。図示の現実画像データ１１Ａは、ユーザが「空」と「山」とを撮影したものであり、「空」の画像である画像データ１１Ｂと、「山」の画像である画像データ１１Ｃとを含んでいる。

現実画像取得部１１１が現実画像データ１１Ａを取得すると、領域分割部１１２は、現実画像データ１１Ａから抽出される特徴量に基づき、現実画像データ１１Ａに対して領域分割を行う。ここで、領域分割部１１２は、現実画像データ１１Ａを、画像データ１１Ｂと画像データ１１Ｃとに分割する。次に、領域属性認識部１１３は、分割された画像データ１１Ｂと画像データ１１Ｃとの属性を認識する。より具体的には、領域属性認識部１１３は、例えば、画像データ１１Ｂの特徴量と、各属性にて予め定められた基準特徴量とを比較して、画像データ１１Ｂの属性を認識する。ここでは、画像データ１１Ｂの属性は、「空」の属性として認識される。また、画像データ１１Ｃの属性は、「山」の属性として認識される。

次に、仮想画像取得部１１５は、予め定められた条件に従って、領域分割部１１２にて分割された現実画像データ内の領域のうち、１又は複数の領域を選択する。図示の例では、「空」の属性を有する領域である画像データ１１Ｂを選択したものとする。次に、仮想画像取得部１１５は、仮想画像格納部１１４から、「空」の属性に対応付けられた「鳥」の仮想画像データを取得する。次に、合成部１１６は、「空」の属性を有する画像データ１１Ｂに対して、「鳥」の仮想画像データを合成し、合成画像データを生成する。

図６（ｂ）は、合成画像データ１１Ｄの一例を示す図である。図示の合成画像データ１１Ｄでは、上述したように、「空」の属性を有する画像データ１１Ｂに対して、「鳥」の仮想画像データ１１Ｅが合成されている。
ここで、例えば、現実画像データ内の領域の属性を把握することなく、例えばＧＰＳ（Global Positioning System）などから取得可能な現実空間の位置情報を基に仮想画像データを合成することも考えられる。現実空間の位置情報を基に仮想画像データを合成する場合には、現実空間で撮像された画像がどのようなものであるかに関わらず、位置情報によって仮想画像データが合成される。そのため、図６（ｃ）に示すように、「山」の属性を有する画像データ１１Ｃに対して、「鳥」の仮想画像データ１１Ｅが合成される場合がある。この場合、「鳥」は、現実空間では「空」に存在するにも関わらず、「山」に存在するように表示されることとなり、ユーザが違和感を持つような不自然な合成結果になり、臨場感に欠けることになる。
一方、本実施の形態では、合成部１１６は、現実画像データ内の領域の属性を基に仮想画像データを合成するため、ユーザが違和感を持ちにくい自然な合成結果になり、臨場感のある演出が行われることとなる。

また、ユーザが撮像部１０７によって動画を撮影する場合、「空」の画像や「山」の画像は、その位置や大きさが時間とともに変化する。そのため、例えば、仮想画像取得部１１５が「鳥」の仮想画像データ１１Ｅを取得した場合、合成部１１６は、時間的に変化する「空」の画像データ１１Ｂに対して、「鳥」の仮想画像データ１１Ｅを合成する。付言すると、例えば、ユーザによる撮影の過程で「空」を撮影していない時間があれば、その時間には「鳥」の仮想画像データ１１Ｅは現実画像データ１１Ａに合成されない。

＜操作端末の処理の他の例＞
次に、操作端末１００の処理の他の例について説明する。上述の例では、仮想画像取得部１１５が、現実画像データ内の領域を選択し、合成部１１６が、その領域に対して仮想画像データを合成した。一方、他の例では、仮想画像取得部１１５が、予め定められた条件に従って、仮想画像データ（予め定められた画像のデータ）を取得する。そして、合成部１１６が、取得された仮想画像データの属性を特定し、特定した属性に基づいて、仮想画像データを合成する現実画像データ内の領域（位置）を決定する。なお、本実施の形態において、合成部１１６は、位置特定手段の一例として用いられる。

図７は、実施の形態１に係る操作端末１００による処理の他の例の手順を示したフローチャートである。

ステップ２０１〜２０３の処理は、図５のステップ１０１〜１０３の処理と同様であるため、ここでは説明を省略する。ステップ２０３において、領域属性認識部１１３が分割された現実画像データ内の各領域の属性を認識した後、仮想画像取得部１１５は、予め定められた条件に従って、仮想画像格納部１１４から仮想画像データを取得する（ステップ２０４）。予め定められた条件としては、例えば、各仮想画像データに事前に付与された優先度や順番に従って取得したり、ランダム（無作為）に取得したりすること等が挙げられる。

次に、合成部１１６は、仮想画像格納部１１４に格納されている情報を基に、仮想画像取得部１１５により取得された仮想画像データに対応する属性を特定する。そして、合成部１１６は、特定した属性を有する領域が、現実画像データ内に存在するか否かを判定する（ステップ２０５）。特定した属性を有する領域が存在しないと判定された場合（ステップ２０５でＮｏ）、仮想画像データは合成されずに本処理フローは終了する。

一方、特定した属性を有する領域が存在すると判定された場合（ステップ２０５でＹｅｓ）、合成部１１６は、その領域に対して仮想画像データを合成して、合成画像データを生成する（ステップ２０６）。付言すると、ステップ２０５及びステップ２０６は、仮想画像データの属性に基づいて仮想画像データを合成する位置を特定する処理として捉えることができる。次に、合成部１１６は、合成画像データを表示部１０５の画面に表示する（ステップ２０７）。そして、本処理フローは終了する。

より具体的には、例えば、ステップ２０４において、仮想画像取得部１１５は、「鳥」の仮想画像データを取得する。また、ステップ２０５において、合成部１１６は、「鳥」の仮想画像データに対応付けられた属性が「空」であることを特定する。そして、「空」の属性を有する領域が存在する場合には（ステップ２０５でＹｅｓ）、合成部１１６は、「空」の画像に対して「鳥」の仮想画像データを合成して、合成画像データを生成する。そして、本処理フローは終了する。

なお、ステップ２０４において、仮想画像取得部１１５は、複数の仮想画像データを取得しても良い。この場合、ステップ２０５及びステップ２０６では、各仮想画像データについて、その仮想画像データの属性を有する領域が存在するか否かの判定が行われ、合成が行われる。

このように、本実施の形態において、操作端末１００は、撮像部１０７の撮影により得られた現実画像データ内の領域に対して、この領域の属性に対応する仮想画像データを合成する。そのため、例えば、現実画像データ内の領域の属性や仮想画像データの属性を考慮せずに合成する構成と比較して、ユーザが違和感を持ちにくい自然な合成結果になり、臨場感のある演出が行われる。

［実施の形態２］
＜操作端末の機能構成＞
次に、実施の形態２に係る操作端末１００の機能構成について説明する。実施の形態１では、操作端末１００は、現実画像データに対して仮想画像データを合成して合成画像データを生成した。一方、実施の形態２において、操作端末１００は、現実画像データからオブジェクト（対象物）の属性を認識し、その属性に対応する仮想画像データを用いて、オブジェクトの情報を仮想空間に取り込む処理を行う。

図８は、実施の形態２に係る操作端末１００の機能構成例を示したブロック図である。本実施の形態に係る操作端末１００は、現実画像取得部１２１、オブジェクト認識部１２２、仮想画像格納部１２３、性能情報取得部１２４、仮想画像取込部１２５を備える。

現実画像取得部１２１は、撮像部１０７によって現実空間を撮影（撮像）して得られた画像の画像データである現実画像データを取得する。

オブジェクト認識部１２２は、現実画像取得部１２１が取得した現実画像データに含まれる予め定められたオブジェクトの画像から、オブジェクトの属性を認識する。この属性の認識には、既存の技術を利用できる。ユーザは、例えば、各種のオブジェクトを実際に撮影することにより、オブジェクトの画像データを用意しておく。そして、オブジェクト認識部１２２は、例えば、現実画像データに対してパターンマッチング等の画像処理を行うことによって、オブジェクトの属性を認識する。

仮想画像格納部１２３は、仮想空間で用いられる画像データである仮想画像データが定められたデータベースである仮想画像ＤＢを格納する。この仮想画像ＤＢには、予め定められたオブジェクトの属性毎に、オブジェクトに相当する仮想画像データが定められている。さらに、予め定められたオブジェクトの属性毎に、そのオブジェクトを例えば実際に撮影して得られた画像データも格納される。より具体的には、例えば仮想空間がレースゲームの場合、仮想画像ＤＢには、オートバイの排気マフラ−、タイヤ、ハンドル等のオートバイ用品の属性毎に、仮想画像データが格納される。また、オートバイ用品の属性毎に、そのオートバイ用品を実際に撮影して得られた画像データが格納される。

性能情報取得手段１２４は、オブジェクト認識部１２２により認識されたオブジェクトの性能を示す情報（以下、性能情報と称する）を取得する。ここで、性能情報取得手段１２４は、ネットワーク３００を介して、管理サーバ２００等の外部装置からオブジェクトの性能情報を取得する。より具体的には、性能情報取得手段１２４は、例えば、インターネット経由でオブジェクトを検索することにより、オブジェクトの性能情報を取得する。

仮想画像取込部１２５は、性能情報取得手段１２４が取得したオブジェクトの性能情報を、オブジェクトに相当する仮想画像データと共に仮想空間に取り込む処理を行う。ここで、仮想画像取込部１２５は、オブジェクト認識部１２２により認識されたオブジェクトに相当する仮想画像データ、言い換えると、オブジェクトの属性に対応する仮想画像データを仮想画像格納部１２３から取得する。そして、仮想画像取込部１２５は、性能情報と仮想画像データとを関連付けて仮想空間に取り込む。仮想空間に取り込むことにより、仮想画像データは、仮想空間において性能情報の性能を有する画像として機能する。

より具体的には、例えばレースゲームの場合に、オブジェクト認識部１２２によりオブジェクトの属性として排気マフラ−が認識されたとする。この場合、性能情報取得手段１２４は、インターネット経由で排気マフラ−を検索して、排気マフラ―の性能情報を取得する。また、仮想画像取込部１２５は、排気マフラ―に相当する仮想画像データを仮想画像格納部１２３から取得する。そして、仮想画像取込部１２５は、性能情報と仮想画像データとを関連付けてレースゲームに取り込む。レースゲームに取り込むことにより、ユーザは、性能情報の性能を有する排気マフラ−をレースゲーム上で利用することができる。

本実施の形態では、性能情報取得手段の一例として、性能情報取得手段１２４が用いられる。特定手段、取込手段の一例として、仮想画像取込部１２５が用いられる。

なお、図３に示す操作端末１００を構成する各機能部と同様に、図８に示す操作端末１００を構成する各機能部は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、操作端末１００を図２に示したハードウェア構成にて実現した場合、例えば、磁気ディスク装置１０３に格納されているＯＳのプログラムやアプリケーション・プログラムが、メインメモリ１０２に読み込まれてＣＰＵ１０１に実行されることにより、現実画像取得部１２１、オブジェクト認識部１２２、性能情報取得手段１２４、仮想画像取込部１２５等の各機能が実現される。また、仮想画像格納部１２３は、磁気ディスク装置１０３等の記憶手段により実現される。

＜仮想画像ＤＢの説明＞
次に、仮想画像ＤＢについて説明する。図９は、実施の形態２に係る仮想画像ＤＢの一例を示す図である。

「オブジェクトの属性」は、予め定められたオブジェクトの属性を示す。図示の例では、オートバイ用品として、Ａ社製排気マフラ−、Ｂ社製排気マフラ−、Ｃ社製タイヤが示されている。「撮影画像データ」は、各オブジェクトを実際に撮影して得られた画像データを示す。「仮想画像データ」は、オブジェクトをレースゲーム等の仮想空間内で用いる場合の画像データを示す。

＜操作端末の処理手順＞
次に、本実施の形態に係る操作端末１００による処理の手順について説明する。図１０は、実施の形態２に係る操作端末１００による処理の手順の一例を示したフローチャートである。

まず、ユーザが操作端末１００を操作し、撮像部１０７によって被写体を撮影すると、現実画像取得部１２１は、撮像部１０７の撮影により得られた現実画像データを取得する（ステップ３０１）。次に、オブジェクト認識部１２２は、仮想画像格納部１２３に格納されている情報を基に、現実画像データ内に予め定められたオブジェクトの属性が含まれているか否かを判定する（ステップ３０２）。予め定められたオブジェクトの属性が含まれていないと判定された場合（ステップ３０２でＮｏ）、本処理フローは終了する。

一方、予め定められたオブジェクトの属性が含まれていると判定された場合（ステップ３０２でＹｅｓ）、性能情報取得部１２４は、予め定められたオブジェクトに対応する性能情報を取得する（ステップ３０３）。また、仮想画像取込部１２５は、予め定められたオブジェクトに対応する仮想画像データを仮想画像格納部１２３から取得する（ステップ３０４）。次に、仮想画像取込部１２５は、性能情報を仮想画像データに関連付けて、仮想空間に取り込む（ステップ３０５）。そして、本処理フローは終了する。

＜操作端末による一連の処理＞
次に、本実施の形態に係る操作端末１００による一連の処理の流れについて説明する。図１１（ａ），（ｂ）は、実施の形態２に係る操作端末１００による一連の処理の流れの一例を説明するための図である。ここでは、仮想空間がレースゲームの場合を例に挙げて説明する。

まず、図１１（ａ）は、撮像部１０７の撮影により得られた現実画像データ２１Ａの一例を示す図である。ここでは、例えば、ユーザが操作端末１００を操作して、撮像部１０７により被写体の撮影を行う。その結果、現実画像取得部１１１は、撮像部１０７の撮影により得られた画像データとして、図１１（ａ）に示す現実画像データ２１Ａを取得する。図示の現実画像データ２１Ａは、ユーザがオートバイの排気マフラ−を撮影したものであり、排気マフラ−の画像である画像データ２１Ｂを含んでいる。

現実画像取得部１２１が現実画像データ２１Ａを取得すると、オブジェクト認識部１２２は、仮想画像格納部１２３に格納されている情報を基に、現実画像データ２１Ａ内に予め定められたオブジェクトの属性が含まれているか否かを判定する。ここで、例えば、画像データ２１Ｂが、図９に示す「Ａ社製排気マフラ−」の撮影画像データと同一（又は類似）の画像データであれば、オブジェクト認識部１２２は、パターンマッチング等により、現実画像データ２１Ａ内に「Ａ社製排気マフラ−」の属性が含まれていると判定する。

次に、性能情報取得手段１２４は、現実画像データ２１Ａ内に含まれていると判定した「Ａ社製排気マフラ−」に対応する性能情報を、ネットワーク３００を介して管理サーバ２００等の外部装置から取得する。例えば、Ａ社製排気マフラ−の性能情報として、パワー２９６ｐｓ、トルク３８ｋｇｍであることが取得される。また、仮想画像取込部１２５は、「Ａ社製排気マフラ−」に対応する仮想画像データを仮想画像格納部１２３から取得する。次に、仮想画像取込部１２５は、性能情報を仮想画像データに関連付けて、レースゲームに取り込む。

図１１（ｂ）は、レースゲームに取り込まれた結果、表示部１０５の画面に表示される画像データ２１Ｃの一例を示す図である。図示の例では、表示部１０５において、ユーザが撮影した排気マフラ−に対応する画像データとして、「Ａ社製排気マフラ−」の仮想画像データ２１Ｄがオートバイに搭載された状態で表示されている。そして、ユーザは、性能情報の性能を有する「Ａ社製排気マフラ−」をレースゲーム上で利用することができる。

このように、本実施の形態において、操作端末１００は、撮像部１０７の撮影により得られた現実画像データからオブジェクトの属性を認識する。そして、認識したオブジェクトに対応する仮想画像データ及び性能情報を仮想空間に取り込む。仮想画像データ及び性能情報を仮想空間に取り込むことにより、ユーザは、撮影された被写体のオブジェクトの情報を仮想空間上で利用することができるようになる。

なお、本実施の形態において、仮想画像取込部１２５は、ネットワーク３００を介して管理サーバ２００等の外部装置から性能情報を取得することとしたが、性能情報が仮想画像ＤＢに定められていることとしても良い。この場合、図９に示す仮想画像ＤＢでは、Ａ社製排気マフラ−、Ｂ社製排気マフラ−、Ｃ社製タイヤ等のオブジェクトの属性毎に、性能情報も格納される。

また、本実施の形態において、現実画像取得部１２１は、撮像部１０７にて実際に撮像して得られた画像を取得することとしたが、このような構成に限られるものではない。例えば、現実画像取得部１２１は、他の撮像部により撮像して得られた画像データを、ネットワーク３００を介して管理サーバ２００から取得したりＣＤ−ＲＯＭ等の記録媒体から取得したりしても良い。

［実施の形態３］
＜操作端末の機能構成＞
次に、実施の形態３に係る操作端末１００の機能構成について説明する。実施の形態２では、操作端末１００は、現実画像データからオブジェクトの属性を認識し、認識したオブジェクトの性能情報を仮想空間に取り込む処理を行った。一方、実施の形態３において、操作端末１００は、音（音データ）からオブジェクトの属性を認識し、認識したオブジェクトの性能情報を仮想空間に取り込む処理を行う。

図１２は、実施の形態３に係る操作端末１００の機能構成例を示したブロック図である。本実施の形態に係る操作端末１００は、音収集部１３１、オブジェクト認識部１３２、仮想画像格納部１３３、性能情報取得部１３４、仮想画像取込部１３５を備える。

音収集部１３１は、音検知部１０８によって現実空間で検知された音（音データ）を収集して、収集した音を磁気ディスク装置１０３等の記憶手段に録音する。

オブジェクト認識部１３２は、音収集部１３１が収集した音に含まれる予め定められたオブジェクトの音（オブジェクトが発する音）からオブジェクトの属性を認識する。この認識には、既存の技術を利用できる。例えば、ユーザは、各種のオブジェクトに対応する音を用意しておく。そして、オブジェクト認識部１３２は、例えば、音収集部１３１が収集した音の波形に対してパターンマッチング等の処理を行うことによって、オブジェクトの属性を認識する。

仮想画像格納部１３３は、仮想空間で用いられる画像データである仮想画像データが定められたデータベースである仮想画像ＤＢを格納する。この仮想画像ＤＢには、予め定められたオブジェクト毎に、オブジェクトに相当する仮想画像データが定められている。さらに、予め定められたオブジェクト毎に、そのオブジェクトに対応する音も格納される。より具体的には、例えば仮想空間がレースゲームの場合、仮想画像ＤＢには、Ａ社製自動車、Ｂ社製自動車等の自動車の属性毎に、仮想画像データが格納される。また、自動車の属性毎に、その自動車に対応する音として、例えば、自動車のエンジン音やドアを閉めた際の音が格納される。

性能情報取得手段１３４は、オブジェクト認識部１３２により認識されたオブジェクトの性能を示す性能情報を取得する。ここで、性能情報取得手段１３４は、ネットワーク３００を介して、管理サーバ２００等の外部装置からオブジェクトの性能情報を取得する。より具体的には、性能情報取得手段１３４は、例えば、インターネット経由でオブジェクトを検索することにより、オブジェクトの性能情報を取得する。

仮想画像取込部１３５は、性能情報取得手段１３４が取得したオブジェクトの性能情報を、オブジェクトに相当する仮想画像データと共に仮想空間に取り込む処理を行う。ここで、仮想画像取込部１３５は、オブジェクト認識部１３２により認識されたオブジェクトに相当する仮想画像データ、言い換えると、オブジェクトの属性に対応する仮想画像データを仮想画像格納部１３３から取得する。そして、仮想画像取込部１３５は、性能情報と仮想画像データとを関連付けて仮想空間に取り込む。仮想空間に取り込むことにより、仮想画像データは、仮想空間において性能情報の性能を有する画像として機能する。

より具体的には、例えばレースゲームの場合、オブジェクト認識部１３２によりオブジェクトの属性としてＡ社製自動車が認識されたとする。この場合、性能情報取得手段１３４は、インターネット経由でＡ社製自動車を検索して、Ａ社製自動車の性能情報を取得する。また、仮想画像取込部１３５は、Ａ社製自動車に相当する仮想画像データを仮想画像格納部１３３から取得する。そして、仮想画像取込部１３５は、性能情報と仮想画像データとを関連付けてレースゲームに取り込む。レースゲームに取り込むことにより、ユーザは、性能情報の性能を有するＡ社製自動車をレースゲーム上で利用することができる。

本実施の形態では、性能情報取得手段の一例として、性能情報取得手段１３４が用いられる。特定手段、取込手段の一例として、仮想画像取込部１３５が用いられる。

なお、図３に示す操作端末１００を構成する各機能部と同様に、図１２に示す操作端末１００を構成する各機能部は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、操作端末１００を図２に示したハードウェア構成にて実現した場合、例えば、磁気ディスク装置１０３に格納されているＯＳのプログラムやアプリケーション・プログラムが、メインメモリ１０２に読み込まれてＣＰＵ１０１に実行されることにより、音収集部１３１、オブジェクト認識部１３２、性能情報取得手段１３４、仮想画像取込部１３５等の各機能が実現される。また、仮想画像格納部１３３は、磁気ディスク装置１０３等の記憶手段により実現される。

＜仮想画像ＤＢの説明＞
次に、仮想画像ＤＢについて説明する。図１３は、実施の形態３に係る仮想画像ＤＢの一例を示す図である。

「オブジェクトの属性」は、予め定められたオブジェクトの属性を示す。図示の例では、自動車として、Ａ社製自動車、Ｂ社製自動車、Ｃ社製自動車が示されている。「音」は、オブジェクトに対応する音を示す。例えば、Ａ社製自動車の音として、Ａ社製自動車のエンジン音、Ａ社製自動車のドアを閉めた際の音が示されている。なお、図示の例では、「エンジン音」、「ドアを閉めた際の音」というように文字で示しているが、仮想画像ＤＢには、実際のエンジン音のデータ、実際にドアを閉めた際の音のデータなど、音のデータが格納される。「仮想画像データ」は、オブジェクトをレースゲーム等の仮想空間内で用いる場合の画像データを示す。

＜操作端末の処理手順＞
次に、本実施の形態に係る操作端末１００による処理の手順について説明する。図１４は、実施の形態３に係る操作端末１００による処理の手順の一例を示したフローチャートである。

まず、ユーザが操作端末１００を操作し、音検知部１０８によって音を検知すると、音収集部１３１は、検知された音を収集して記憶手段に録音する（ステップ４０１）。次に、オブジェクト認識部１３２は、仮想画像格納部１２３に格納されている情報を基に、音収集部１３１が収集した音に予め定められたオブジェクトの属性が含まれているか否かを判定する（ステップ４０２）。予め定められたオブジェクトの属性が含まれていないと判定された場合（ステップ４０２でＮｏ）、本処理フローは終了する。

一方、予め定められたオブジェクトの属性が含まれていると判定された場合（ステップ４０２でＹｅｓ）、性能情報取得部１３４は、予め定められたオブジェクトに対応する性能情報を取得する（ステップ４０３）。また、仮想画像取込部１３５は、予め定められたオブジェクトに対応する仮想画像データを仮想画像格納部１３３から取得する（ステップ４０４）。次に、仮想画像取込部１３５は、性能情報を仮想画像データに関連付けて、仮想空間に取り込む（ステップ４０５）。そして、本処理フローは終了する。

＜操作端末による一連の処理＞
次に、本実施の形態に係る操作端末１００による一連の処理の流れについて説明する。図１５（ａ），（ｂ）は、実施の形態３に係る操作端末１００による一連の処理の流れの一例を説明するための図である。ここでは、仮想空間がレースゲームの場合を例に挙げて説明する。

まず、図１５（ａ）は、音検知部１０８により得られる音の一例を説明するための図である。ここでは、例えば、ユーザが実際に自動車のエンジンを動かして、そのエンジン音を音検知部１０８により検知する。その結果、音収集部１３１は、音検知部１０８によって検知された音を収集する。

音収集部１３１がエンジン音を収集すると、オブジェクト認識部１３２は、仮想画像格納部１３３に格納されている情報を基に、収集されたエンジン音に予め定められたオブジェクトの属性が含まれているか否かを判定する。ここで、例えば、収集したエンジン音が、図１３に示すＡ社製自動車のエンジン音と同一（又は類似）の音であれば、オブジェクト認識部１３２は、パターンマッチング等により、収集したエンジン音に「Ａ社製自動車」の属性が含まれていると判定する。

次に、性能情報取得手段１３４は、収集したエンジン音に含まれていると判定した「Ａ社製自動車」に対応する性能情報を、ネットワーク３００を介して管理サーバ２００等の外部装置から取得する。例えば、Ａ社製自動車の性能情報として、排気量が５０００ＣＣ、馬力が２８０ＰＳ（pferde starke）、最高速度が２００ｋｍ／ｈであることが取得される。また、仮想画像取込部１２５は、「Ａ社製自動車」に対応する仮想画像データを仮想画像格納部１３３から取得する。次に、仮想画像取込部１３５は、性能情報を仮想画像データに関連付けて、レースゲームに取り込む。

図１５（ｂ）は、レースゲームに取り込まれた結果、表示部１０５の画面に表示される画像データ３１Ａの一例を示す図である。図示の例では、表示部１０５において、収集したエンジン音に対応する画像データとして、「Ａ社製自動車」の仮想画像データ３１Ｂが表示されている。また、性能情報は、排気量が５０００ＣＣ、馬力が２８０ＰＳ、最高速度が２００ｋｍ／ｈであることが示されている。そして、ユーザは、性能情報の性能を有する「Ａ社製自動車」をレースゲーム上で利用することができる。

このように、本実施の形態において、操作端末１００は、音収集部１３１が収集した音からオブジェクトの属性を認識する。そして、認識したオブジェクトに対応する仮想画像データ及び性能情報を仮想空間に取り込む。仮想画像データ及び性能情報を仮想空間に取り込むことにより、ユーザは、収集した音に対応するオブジェクトの情報を仮想空間上で利用することができるようになる。

なお、本実施の形態において、仮想画像取込部１３５は、ネットワーク３００を介して管理サーバ２００等の外部装置から性能情報を取得することとしたが、実施の形態２と同様に、性能情報が仮想画像ＤＢに定められていることとしても良い。この場合、図１３に示す仮想画像ＤＢでは、Ａ社製自動車、Ｂ社製自動車、Ｃ社製自動車等のオブジェクトの属性毎に、性能情報も格納される。

また、本実施の形態において、音収集部１３１は、音検知部１０８にて実際に検知された音を収集することとしたが、このような構成に限られるものではない。例えば、音収集部１３１は、ネットワーク３００を介して管理サーバ２００から受信した音のデータや、ＣＤ−ＲＯＭ等の記録媒体に格納して提供された音のデータを収集しても良い。

そして、実施の形態１〜実施の形態３に係る操作端末１００の処理を、１台の操作端末１００で行うのではなく、他の装置と分担して行うこととしても良い。例えば、実施の形態１において、操作端末１００が現実画像取得部１１１、合成部１１６の機能を有し、管理サーバ２００が領域分割部１１２、領域属性認識部１１３、仮想画像格納部１１４、仮想画像取得部１１５の機能を有することとしても良い。この場合、例えば、操作端末１００は、現実画像データを取得した後、取得した現実画像データを管理サーバ２００へ送信する。そして、管理サーバ２００は、現実画像データに合成する仮想画像データを特定し、特定した仮想画像データを操作端末１００に送信する。これにより、操作端末１００は、現実画像データに仮想画像データを合成して、合成画像データを生成する。

さらに、本発明の実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

なお、上記では、実施の形態１〜実施の形態３として、種々の実施形態および変形例を説明したが、これらの実施形態や変形例どうしを組み合わせて構成してももちろんよい。即ち、例えば、実施の形態１〜実施の形態３を全て組み合わせて操作端末１００を構成しても良いし、実施の形態１〜実施の形態３のうちの何れか２つの実施の形態を組み合わせて操作端末１００を構成しても良い。また、例えば、実施の形態１〜実施の形態３のうちの何れか１つの実施の形態を実現する操作端末１００を構成しても良い。
また、本開示は上記の実施形態に何ら限定されるものではなく、本開示の要旨を逸脱しない範囲で種々の形態で実施することができる。

１００…操作端末、１０５…表示部、１１１…現実画像取得部、１１２…領域分割部、１１３…領域属性認識部、１１４…仮想画像格納部、１１５…仮想画像取得部、１１６…合成部、１２１…現実画像取得部、１２２…オブジェクト認識部、１２３…仮想画像格納部、１２４…性能情報取得部、１２５…仮想画像取込部、１３１…音収集部、１３２…オブジェクト認識部、１３３…仮想画像格納部、１３４…性能情報取得部、１３５…仮想画像取込部、２００…管理サーバ

Claims (6)

1. 現実空間に存在する対象物の撮像情報から当該対象物の属性を取得する属性情報取得手段と、
   前記属性情報取得手段により取得された属性に対応する仮想の画像であって、前記対象物の画像に合成される画像を特定する特定手段と
   を備える情報処理システム。
2. 前記特定手段により特定される画像と前記対象物の画像とを合成した合成画像を表示する表示手段をさらに備えること
   を特徴とする請求項１に記載の情報処理システム。
3. 前記対象物が存在している現実空間の場所の属性と仮想の画像とを対応付けた対応関係を記憶する記憶手段をさらに備え、
   前記特定手段は、前記対象物の画像に合成される画像として、前記対応関係において、前記属性情報取得手段により取得された属性に対応付けられた仮想の画像を特定すること
   を特徴とする請求項１又は２に記載の情報処理システム。
4. 現実空間に存在する対象物の撮像情報から、当該対象物に相当する仮想画像を特定する特定手段と、
   前記対象物の性能を示す性能情報を取得する性能情報取得手段と、
   取得した前記性能情報と前記対象物に相当する仮想画像とを関連付けて仮想空間に取り込む取込手段と
   を備える情報処理システム。
5. 現実空間に存在する対象物が発する音から、当該対象物に相当する仮想画像を特定する特定手段と、
   前記対象物の性能を示す性能情報を取得する性能情報取得手段と、
   取得した前記性能情報と前記対象物に相当する仮想画像とを関連付けて仮想空間に取り込む取込手段と
   を備える情報処理システム。
6. 現実空間を撮像して得られた画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像に対して予め定められた画像を合成する場合に、当該予め定められた画像の属性に基づいて、当該予め定められた画像を合成する位置を特定する位置特定手段と
   を備える情報処理システム。

Images