JP2012203786A - 情報処理装置および情報処理プログラム - Google Patents

Abstract

【課題】現実の画像に含まれる立体物に合わせたリアリティのある動作をキャラクタにさせることができる情報処理装置を提供する。
【解決手段】情報処理装置１は、フィギュア８を含む現実の画像を撮像するカメラと、フィギュア８と関連付けてキャラクタＣ１を動作させる動作範囲が設定された空間情報が記憶された記憶部と、この動作範囲内でキャラクタＣ１を動作させる動作処理部と、空間情報によって規定される仮想空間内における仮想の視点を、カメラの視点に対応させて設定する視点設定部と、この仮想の視点に基づいて、キャラクタＣ１を仮想の画像に変換する画像変換部と、仮想の画像と、現実の画像とを重ね合わせて表示させるディスプレイ２とを有する。これによれば、現実の画像に含まれるフィギュア８に合わせたリアリティのある動作をキャラクタＣ１にさせることができる。
【選択図】図１

Description

本発明は、三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理装置および情報処理プログラムに関する。

特許文献１には、拡張現実（Augmented Reality）に関する発明が開示されている。具体的には、特許文献１に記載された発明では、光学コードを含む現実の画像を撮像した場合、この現実の画像内の光学コードを検出し、この光学コードと対応する三次元の形状を有する仮想のキャラクタを読み出している。そして、このキャラクタを画像に変換することによって、現実の画像に重ね合わせて表示させている。

特開２０００−３２２６０２号公報

しかしながら、特許文献１に記載された発明では、キャラクタの画像を現実の画像内の光学コードの位置に重ね合わせて表示させているだけであるので、キャラクタは、現実の画像に含まれる立体物に合わせたリアリティのある動作をすることができないという問題がある。

本発明の目的は、現実の画像に含まれる立体物に合わせたリアリティのある動作をキャラクタにさせることができる情報処理装置および情報処理プログラムを提供することである。

かかる課題を解決すべく、第１の発明は、記憶部と、撮像部と、検出部と、動作処理部と、視点取得部と、視点設定部と、画像変換部と、表示部とを有し、三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理装置を提供する。記憶部は、既知の形状および大きさを有し、立体物における既知の位置に外観から識別可能に付されたアイコンを規定するアイコン情報と、アイコンを含めた立体物の既知の形状および大きさを規定するとともに、立体物と関連付けてキャラクタを動作させる動作範囲が設定された三次元の空間情報と、動作範囲におけるキャラクタの動作を規定するキャラクタ情報とがそれぞれ関連付けて記憶される。撮像部は、立体物を含む現実の画像を撮像する。検出部は、アイコン情報を参照して現実の画像を走査することによって、現実の画像内のアイコンを検出する。動作処理部は、現実の画像内のアイコンと対応するアイコン情報に関連付けられた空間情報と、このアイコン情報に関連付けられたキャラクタ情報とを記憶部からそれぞれ読み出すとともに、記憶部から読み出されるキャラクタ情報を順々に更新することによって、動作範囲内でキャラクタを動作させる。視点取得部は、現実の画像内のアイコンの形状および大きさと、アイコン情報とを比較することによって、現実の画像を撮像したときの現実の視点を規定する視点情報を、アイコンを基準として取得する。視点設定部は、視点情報に基づいて、空間情報におけるアイコン情報を基準とする仮想の視点を、アイコンを基準とする現実の視点と対応させて設定する。画像変換部は、仮想の視点に基づいて、キャラクタを仮想の画像に変換する。表示部は、仮想の画像と、現実の画像とを重ね合わせて表示する。

ここで、第１の発明において、記憶部には、アイコンとは異なるサブアイコンを規定するサブアイコン情報と、アイコン情報およびサブアイコン情報の組み合わせに関連付けられた空間情報と、アイコン情報およびサブアイコン情報の組み合わせに関連付けられたキャラクタ情報とがそれぞれ記憶されることが好ましい。そして、動作処理部は、検出部にて現実の画像内に、アイコンおよびサブアイコンが検出された場合、このアイコンおよびこのサブアイコンと対応するアイコン情報およびサブアイコン情報の組み合わせに関連付けられた空間情報と、このアイコン情報およびこのサブアイコン情報の組み合わせに関連付けられたキャラクタ情報とを記憶部からそれぞれ読み出すことが好ましい。また、記憶部には、キャラクタの状態を規定するパラメータ情報と、パラメータ情報に関連付けられるとともに、このパラメータ情報の変化量を規定するサブアイコン情報とが記憶されることが好ましい。そして、動作処理部は、検出部にて現実の画像内に、パラメータ情報に関連付けられたサブアイコンが検出された場合、このサブアイコンと対応するサブアイコン情報によって規定される変化量に基づいて、このパラメータ情報を変化させることが好ましい。また、記憶部には、複数の時間と、複数の時間にそれぞれ関連付けられた複数のキャラクタ情報が記憶されることが好ましい。そして、動作処理部は、時間を計測するとともに、この時間に関連付けられたキャラクタ情報を記憶部から読み出すことが好ましい。さらに、記憶部には、検出部によるアイコンの検出回数に関連付けられた複数のキャラクタ情報が記憶されることが好ましい。そして、検出部は、アイコンの検出回数を取得し、動作処理部は、検出部にて取得されたアイコンの検出回数に関連付けられたキャラクタ情報を記憶部から読み出すことが好ましい。

第２の発明は、コンピュータを、記憶部と、撮像部と、検出部と、動作処理部と、視点取得部と、視点設定部と、画像変換部と、表示部とを有し、三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理装置として機能させる情報処理プログラムを提供する。記憶部は、既知の形状および大きさを有し、立体物における既知の位置に外観から識別可能に付されたアイコンを規定するアイコン情報と、アイコンを含めた立体物の既知の形状および大きさを規定するとともに、立体物と関連付けてキャラクタを動作させる動作範囲が設定された三次元の空間情報と、動作範囲におけるキャラクタの動作を規定するキャラクタ情報とがそれぞれ関連付けて記憶される。撮像部は、立体物を含む現実の画像を撮像する。検出部は、アイコン情報を参照して現実の画像を走査することによって、現実の画像内のアイコンを検出する。動作処理部は、現実の画像内のアイコンと対応するアイコン情報に関連付けられた空間情報と、このアイコン情報に関連付けられたキャラクタ情報とを記憶部からそれぞれ読み出すとともに、記憶部から読み出されるキャラクタ情報を順々に更新することによって、動作範囲内でキャラクタを動作させる。視点取得部は、現実の画像内のアイコンの形状および大きさと、アイコン情報とを比較することによって、現実の画像を撮像したときの現実の視点を規定する視点情報を、アイコンを基準として取得する。視点設定部は、視点情報に基づいて、空間情報におけるアイコン情報を基準とする仮想の視点を、アイコンを基準とする現実の視点と対応させて設定する。画像変換部は、仮想の視点に基づいて、キャラクタを仮想の画像に変換する。表示部は、仮想の画像と、現実の画像とを重ね合わせて表示する。

本発明によれば、空間情報には、立体物と関連付けてキャラクタを動作させる動作範囲が設定され、動作処理部は、この動作範囲内でキャラクタを動作させる。したがって、空間情報によって規定される仮想空間内において、立体物に合わせたリアリティのある動作をキャラクタにさせることができる。そして、視点設定部は、空間情報によって規定される仮想空間内における仮想の視点を、現実の視点に対応させて設定し、画像変換部は、この仮想の視点に基づいて、キャラクタを仮想の画像に変換する。したがって、仮想の画像と、現実の画像とを重ね合わせて表示することによって、現実の画像に含まれる立体物に合わせたリアリティのある動作をキャラクタにさせることができる。

第１の実施形態に係る情報処理装置の外観を示す模式図 第１の実施形態に係るフィギュアを拡大した拡大模式図 第１の実施形態に係る情報処理装置の詳細構成を示すブロック図 第１の実施形態に係るアイコンの正面図 第１の実施形態に係るキャラクタを示す模式図 第１の実施形態に係るカメラの視点と、仮想の視点との関係を示す模式図 第１の実施形態に係る仮想の画像と、現実の画像との関係を示す模式図 第１の実施形態に係る情報処理装置による情報処理のフローチャート 第２の実施形態に係るサブアイコンを設置した状態を示す模式図 第２の実施形態に係る情報処理装置の詳細構成を示すブロック図 第２の実施形態に係るアイコンの正面図 第２の実施形態に係るキャラクタを示す模式図 第２の実施形態に係るキャラクタの動作を示す模式図 第３の実施形態に係るキャラクタの動作を示す模式図 第４の実施形態に係る情報処理装置の詳細構成を示すブロック図 第４の実施形態に係るキャラクタの動作を示す模式図 第４の実施形態に係るサブアイコンを示す模式図

（第１の実施形態）
図１は、第１の実施形態に係る情報処理装置の外観を示す模式図である。情報処理装置１は、使用者の手によって把持して移動させることができるポータブルデバイスである。この情報処理装置１は、表示部としてのディスプレイ２と、ディスプレイ２の裏面に設けられた撮像部としてのカメラ３（図３参照）とを有する。カメラ３は、立体物としてのフィギュア８を含む現実の画像を撮像する。

図２は、フィギュア８を拡大した拡大図である。フィギュア８は、部屋を模した模型である。このフィギュア８は、床面８１と、床面８１に対して垂直に設けられる２つの壁面８２と、床面８１の略中央に設けられたデスク８３と、デスク８３の上面に付された正方形のアイコン９とを有する。ここで、フィギュア８の形状および大きさは既知であり、アイコン９の形状および大きさも既知である。また、アイコン９は、フィギュア８における既知の位置に外観から識別可能に付されている。

図３は、情報処理装置１の詳細構成を示すブロック図である。情報処理装置１は、前述したディスプレイ２およびカメラ３の他、記憶部４と、制御部５とを有する。記憶部４は、メモリ等によって構成され、ポータブルデバイスを情報処理装置１として機能させる情報処理プログラムを含む複数の情報を記憶する。制御部５は、ＣＰＵ（Central Processing Unit）等によって構成され、記憶部４に記憶された情報処理プログラムに従って情報処理を実行する。また、ディスプレイ２と、カメラ３と、記憶部４と、制御部５とは、情報を互いに送受信することができるように構成されている。

記憶部４には、アイコン情報４１と、空間情報４２と、キャラクタ情報４３とがそれぞれ関連付けて記憶されている。

図４は、アイコン９の正面図である。換言すれば、図４は、デスク８３の上面側からアイコン９を見た図である。アイコン９は、白地に黒色の模様を描いたものであり、正方形の枠線部９１と、枠線部９１の内側に描かれた絵柄部９２とによって構成される。アイコン情報４１は、このアイコン９の形状および大きさを二次元の情報で規定する。

空間情報４２は、アイコン情報４１を含んで構成され、アイコン９を含めたフィギュア８の形状および大きさを三次元の情報で規定する。すなわち、この空間情報４２によって、フィギュア８におけるアイコン９の位置も規定される。以下の説明では、空間情報４２によって規定される空間のうち、フィギュア８における床面８１と、各壁面８２とによって区画される立方体状の空間と対応する空間を仮想空間と称する。また、空間情報４２には、フィギュア８と関連付けてキャラクタＣ１（図５（ａ）参照）を動作させる動作範囲が設定される。本実施形態では、動作範囲は、デスク８３の占める空間と対応する空間を、仮想空間から差し引いた範囲に設定される。

図５は、キャラクタ情報４３によって規定されるキャラクタＣ１，Ｃ２を示す模式図である。図５（ａ）は、人物のキャラクタＣ１であり、図５（ｂ）は、デスクのキャラクタＣ２である。キャラクタ情報４３は、動作範囲におけるキャラクタＣ１の動作を三次元の情報で規定する。具体的には、キャラクタＣ１は、動作範囲内で動作を行うことができる形状および大きさを有し、複数の静止画で構成されたアニメーションによって、動作範囲内で様々な動作を行うものとして規定されている。また、キャラクタ情報４３は、キャラクタＣ２を三次元の情報で規定する。具体的には、キャラクタＣ２は、デスク８３と同一の形状および大きさを有し、フィギュア８におけるデスク８３と対応する仮想空間内の位置に設置されるものとして規定されている。なお、キャラクタＣ２は、キャラクタＣ１とは異なり、アニメーションによる動作は行わない。

なお、情報処理装置１は、無線通信によって情報をダウンロードすることができるように構成されている。したがって、アイコン情報４１、空間情報４２、およびキャラクタ情報４３は、ダウンロードすることによって必要に応じて拡張することができる。また、情報処理プログラムそのものをダウンロードすることによって、情報処理プログラムをアップデートすることもできる。

制御部５は、図３に示すように、検出部５１と、動作処理部５２と、視点取得部５３と、視点設定部５４と、画像変換部５５とを有する。

検出部５１は、アイコン情報４１を参照して現実の画像を走査することによって、現実の画像内のアイコン９を検出する。具体的には、検出部５１は、カメラ３によって撮像された濃淡のある現実の画像を、白と黒の２階調に変換して二値化する。次に、検出部５１は、二値化した画像を走査することによって、黒色によって閉じられた領域（以下、閉領域とする）を検出する。したがって、検出部５１は、現実の画像内にアイコン９が含まれる場合、枠線部９１を検出することができる。次に、検出部５１は、この閉領域を四角形であると仮定して４つの頂点を検出するとともに、この閉領域を、アイコン情報４１によって規定されるアイコン９の大きさと同じ大きさの正方形に変換する。そして、検出部５１は、正方形に変換された閉領域の形状と、アイコン情報４１によって規定されるアイコン９の形状とを比較することによって、現実の画像内のアイコン９を検出する。具体的には、検出部５１は、絵柄部９２を含めたアイコン９をテンプレートとしたテンプレートマッチング処理を行うことによって、現実の画像内のアイコン９を検出する。なお、特開２０１０−２８７１７４号公報には、検出部５１と同様の処理をする装置が開示されているので、必要ならば参照されたい。

動作処理部５２は、現実の画像内のアイコン９と対応するアイコン情報４１に関連付けられた空間情報４２と、このアイコン情報４１に関連付けられたキャラクタ情報４３とを記憶部４からそれぞれ読み出す。具体的には、動作処理部５２は、検出部５１にてアイコン９が検出された場合、キャラクタＣ１，Ｃ２を規定するキャラクタ情報４３を読み出し、ポリゴン等による三次元オブジェクトとしてモデリングする。そして、動作処理部５２は、フィギュア８を規定する空間情報４２を読み出し、キャラクタＣ１，Ｃ２を仮想空間内に設置してシーンレイアウトをする。ここで、仮想空間は、アイコン情報４１の中心を原点とし、アイコン情報４１における枠線部の縦線および横線と平行な軸をそれぞれＸ，Ｙ軸とし、ＸＹ平面と直交する軸をＺ軸とした直交座標系（Ｘ_Ｖ，Ｙ_Ｖ，Ｚ_Ｖ）で定義されている（図６（ｂ）参照）。なお、前述したモデリングや、シーンレイアウトは、一般的な三次元コンピュータグラフィックスに用いられる処理と同様であるため、詳細な説明を省略する。

また、動作処理部５２は、キャラクタＣ１を規定するキャラクタ情報４３を順々に記憶部４から読み出して更新し、アニメーションによって、動作範囲内でキャラクタＣ１を動作させる。

図６は、カメラ３の視点と、仮想の視点との関係を示す模式図である。図６（ａ）は、カメラ３の視点を示す図であり、アイコン９については外形のみを図示している。図６（ｂ）は、仮想の視点Ｃ_Ｖを示す図である。視点取得部５３は、図６（ａ）に示すように、現実の画像を撮像したときの現実の視点、すなわちカメラ３の視点を、アイコン９を基準として取得する。具体的には、視点取得部５３は、アイコン９の中心を原点とし、枠線部９１の縦線および横線と平行な軸をそれぞれＸ，Ｙ軸とし、ＸＹ平面と直交する軸をＺ軸とした直交座標系（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）を定義する。そして、視点取得部５３は、現実の画像内のアイコン９の形状と、アイコン情報４１によって規定されるアイコン９の形状とを比較することによって、カメラ３の視線方向を示す視線ベクトルＶ_Ｒを取得する。現実の画像内のアイコン９の形状は、カメラ３の視線方向によって変形するからである。また、視点取得部５３は、現実の画像内のアイコン９の大きさと、アイコン情報４１によって規定されるアイコン９の大きさとを比較することによって、カメラ３の視点位置Ｐ_Ｒを取得する。現実の画像内のアイコン９の大きさは、カメラ３の視点位置Ｐ_Ｒによって変化するからである。そして、視点取得部５３は、視線ベクトルＶ_Ｒと、視点位置Ｐ_Ｒとを含む視点情報を記憶部４に記憶させる。

視点設定部５４は、図６（ｂ）に示すように、記憶部４に記憶された視点情報に基づいて、空間情報４２におけるアイコン情報４１を基準とする仮想の視点Ｃ_Ｖを、アイコン９を基準とするカメラ３の視点と対応させて設定する。具体的には、仮想空間に定義された直交座標系（Ｘ_Ｖ，Ｙ_Ｖ，Ｚ_Ｖ）において、仮想の視点Ｃ_Ｖの視線方向を示す視線ベクトルＶ_Ｖを視線ベクトルＶ_Ｒと同一の値に設定し、仮想の視点Ｃ_Ｖの視点位置Ｐ_Ｖを視点位置Ｐ_Ｒと同一の値に設定してシーンレイアウトをする。なお、視点情報には、仮想の視点Ｃ_Ｖに基づいて、レンダリングをするための他の情報も含まれている。他の情報としては、例えば、レンダリングをする際のスクリーンの位置や大きさなどの情報を例示できる。これらの他の情報は、カメラ３の仕様に基づいて、予め規定されている。

図７は、仮想の画像と、現実の画像との関係を示す模式図である。図７では、仮想の画像を実線で示している。また、図７では、仮想の画像と、カメラ３にて撮像された現実の画像との位置関係を示すために、現実の画像を二点鎖線で示している。画像変換部５５は、仮想の視点Ｃ_Ｖに基づいて、レンダリングをすることによって、キャラクタＣ１，Ｃ２を仮想の画像に変換する。ディスプレイ２は、画像変換部５５にて変換された仮想の画像と、カメラ３にて撮像された現実の画像とを重ね合わせた画像（以下、合成画像とする）を表示する（図１参照）。

図８は、情報処理装置１による情報処理のフローチャートである。記憶部４に記憶された情報処理プログラムが実行されると、カメラ３は、現実の画像を撮像する（ステップ１）。次に、検出部５１は、アイコン情報４１を参照して現実の画像を走査することによって、現実の画像内のアイコン９を検出する（ステップ２）。ここで、記憶部４は、現実の画像内にアイコン９が検出されているか否かを管理するために、アイコン９が登録されているか否かを示す登録情報と、アイコン９が登録された回数を示す回数情報とを記憶する。具体的には、検出部５１は、アイコン９を検出した場合、アイコン９の登録情報を記憶部４に記憶させる。この場合において、検出部５１は、アイコン９の登録情報が記憶部４に既に記憶されている場合、回数情報をインクリメントする。また、検出部５１は、アイコン９を検出しなかった場合、アイコン９の登録情報と、回数情報とを記憶部４から削除する。

次に、制御部５は、登録情報が記憶部４に記憶されているか否かを判定する（ステップ３）。登録情報が記憶されていないと判定された場合、カメラ３は、再度、ステップ１を実行する。これに対して、登録情報が記憶されていると判定された場合、動作処理部５２は、モデリングと、シーンレイアウトとをすることによって、動作処理を実行する（ステップ４）。ここで、ステップ２において、回数情報がインクリメントされている場合、動作処理部５２は、回数情報に基づいて、キャラクタＣ１を規定するキャラクタ情報４３を順々に記憶部４から読み出して更新し、アニメーションによって、動作範囲内でキャラクタＣ１を動作させる。

次に、視点取得部５３は、カメラ３の視点を規定する視点情報を、アイコン９を基準として取得する（ステップ５）。次に、視点設定部５４は、仮想の視点Ｃ_Ｖを、カメラ３の視点と対応させて設定する（ステップ６）。次に、画像変換部５５は、仮想の視点Ｃ_Ｖに基づいて、レンダリングをすることによって、キャラクタＣ１，Ｃ２を仮想の画像に変換する（ステップ７）。そして、ディスプレイ２は、仮想の画像と、現実の画像とを重ね合わせた合成画像を表示する（ステップ８）。ステップ８において、合成画像が表示されると、カメラ３は、再度、ステップ１を実行する。以上のような情報処理のループを繰り返すことによって、合成画像内におけるキャラクタＣ１は、現実の画像に含まれるフィギュア８に合わせたリアリティのある動作をすることができる。例えば、デスク８３の周囲を歩きまわるような動作や、デスク８３の椅子に着席させるような動作などをキャラクタＣ１にさせることができる。なお、情報処理装置１による情報処理は、情報処理プログラムの実行を停止することによって終了する。

このように、第１の実施形態によれば、空間情報４２には、フィギュア８と関連付けてキャラクタＣ１を動作させる動作範囲が設定され、動作処理部５２は、この動作範囲内でキャラクタＣ１を動作させる。したがって、空間情報４２によって規定される仮想空間内において、フィギュア８に合わせたリアリティのある動作をキャラクタＣ１にさせることができる。そして、視点設定部５４は、空間情報４２によって規定される仮想空間内における仮想の視点Ｃ_Ｖを、カメラ３の視点に対応させて設定し、画像変換部５５は、この仮想の視点Ｃ_Ｖに基づいて、キャラクタＣ１，Ｃ２を仮想の画像に変換する。したがって、仮想の画像と、現実の画像とを重ね合わせて表示することによって、現実の画像に含まれるフィギュア８に合わせたリアリティのある動作をキャラクタＣ１にさせることができる。

（第２の実施形態）
図９は、第２の実施形態に係るサブアイコンを設置した状態を示す模式図である。図９では、サブアイコン９Ａは、矩形板状のプレート８Ａの上面における既知の位置に外観から識別可能に付されている。

図１０は、情報処理装置１の詳細構成を示すブロック図である。本実施形態の特徴は、アイコン９とは異なるサブアイコン９Ａを規定するサブアイコン情報４４と、アイコン情報４１およびサブアイコン情報４４の組み合わせに関連付けられた空間情報４２と、この組み合わせに関連付けられたキャラクタ情報４３とが記憶部４に記憶されている点にある。ここで、本実施形態では、１つのサブアイコン９Ａを採用する場合について説明しているが、２つ以上の複数のサブアイコンを採用してもよいことはもちろんである。なお、それ以外については、上述した第１の実施形態と同様なので、ここでの説明を省略する。

図１１は、サブアイコン９Ａの正面図である。換言すれば、図１１は、プレート８Ａの上面側からサブアイコン９Ａを見た図である。サブアイコン９Ａは、アイコン９と同様、白地に黒色の模様を描いたものであり、正方形の枠線部９１Ａと、枠線部９１Ａの内側に描かれた絵柄部９２Ａとによって構成される。ここで、枠線部９１Ａは、アイコン９の枠線部９１と同一の形状および大きさを有している。絵柄部９２Ａは、アイコン９の絵柄部９２とは異なる形状を有している。そして、サブアイコン情報４４は、このサブアイコン９Ａの形状および大きさを二次元の情報で規定する。

図１２は、キャラクタ情報４３によって規定されるキャラクタを示す模式図である。図１２は、植木鉢のキャラクタＣ３である。キャラクタ情報４３は、キャラクタＣ３を三次元の情報で規定する。具体的には、キャラクタＣ３は、プレート８Ａの上面内に設置できる形状および大きさを有し、プレート８Ａにおける所定の位置に設置されるものとして規定されている。なお、キャラクタＣ３についてのキャラクタ情報４３は、サブアイコン９Ａについてのサブアイコン情報４４に関連付けられている。

検出部５１は、アイコン情報４１およびサブアイコン情報４４を参照して現実の画像を走査することによって、現実の画像内のアイコン９およびサブアイコン９Ａを検出する。ここで、サブアイコン９Ａの枠線部９１Ａは、アイコン９の枠線部９１と同一の形状および大きさを有しているので、検出部５１は、アイコン９と同様の処理によって、サブアイコン９Ａを検出することができる。

図１３は、キャラクタＣ１の動作を示す模式図である。動作処理部５２は、検出部５１にて現実の画像内に、アイコン９およびサブアイコン９Ａが検出された場合、アイコン９およびサブアイコン９Ａと対応するアイコン情報４１およびサブアイコン情報４４の組み合わせに関連付けられた空間情報４２を読み出す。ここで、この空間情報４２によって規定される仮想空間および動作範囲の大きさは、上述した第１の実施形態における仮想空間および動作範囲の大きさと異なっていてもよい。例えば、フィギュア８における床面８１の範囲外にサブアイコン９Ａが設置されている場合には、アイコン９およびサブアイコン９Ａを同時に含むように仮想空間および動作範囲の大きさを拡張してもよい。また、動作処理部５２は、この組み合わせに関連付けられたキャラクタ情報４３（キャラクタＣ１〜Ｃ３を規定する情報を含む）を記憶部４から読み出す。そして、動作処理部５２は、モデリングと、シーンレイアウトとをすることによって、動作処理を実行する。具体的には、キャラクタ情報４３は、キャラクタＣ１が植木鉢のキャラクタＣ３に水を与える動作を行うものとして規定されている。

このように、本実施形態によれば、上述した第１の実施形態と同様、現実の画像に含まれるフィギュア８に合わせたリアリティのある動作をキャラクタＣ１にさせることができる。それとともに、検出部５１にて現実の画像内に、アイコン９およびサブアイコン９Ａが検出された場合、アイコン９およびサブアイコン９Ａと対応するアイコン情報４１およびサブアイコン情報４４の組み合わせに応じたリアリティのある動作をキャラクタＣ１にさせることができる。

（第３の実施形態）
図１４は、第３の実施形態に係るキャラクタＣ１の動作を示す模式図である。本実施形態の特徴は、複数の時間と、複数の時間にそれぞれ関連付けられた複数のキャラクタ情報４３が記憶部４に記憶されている点にある。具体的には、１０時、１１時、および１２時の３つの時間が記憶部４に記憶されている。１０時の時間には、キャラクタＣ１が居眠りをする動作を行うものとして規定されたキャラクタ情報４３が関連付けられている。１１時の時間には、キャラクタＣ１が読書をする動作を行うものとして規定されたキャラクタ情報４３が関連付けられている。１２時の時間には、キャラクタＣ１が食事をする動作を行うものとして規定されたキャラクタ情報４３が関連付けられている。なお、本実施形態では、キャラクタ情報４３は、時間に関連付けられているが、時間に代えて日付に関連付けられていてもよい。これによれば、例えば、クリスマスにプレゼントを他のキャラクタに渡す動作などをキャラクタＣ１にさせることもできる。

動作処理部５２は、リアルタイムクロックによって時間を計測するとともに、この時間に関連付けられたキャラクタ情報４３を記憶部４から読み出し、モデリングと、シーンレイアウトとをすることによって、動作処理を実行する。ここで、本実施形態のように、デスク８３と、デスク８３の椅子との間にキャラクタＣ１を配置するような場合、キャラクタＣ１を動作させる動作範囲は非常に狭くなる。このため、仮想の画像と、現実の画像とを重ね合わせる際に僅かなズレが生じることによって、フィギュア８と、キャラクタＣ１との位置関係にもズレが生じた場合、キャラクタＣ１の動作に違和感があるという問題がある。第１〜３の実施形態によれば、キャラクタ情報４３によって、仮想空間内に設置されるデスクのキャラクタＣ２を規定しているので、このような場合であってもリアリティのある動作をキャラクタＣ１にさせることができる。

このように、本実施形態によれば、上述した第１の実施形態と同様、現実の画像に含まれるフィギュア８に合わせたリアリティのある動作をキャラクタＣ１にさせることができる。それとともに、時間の経過に応じたリアリティのある動作をキャラクタＣ１にさせることができる。

（第４の実施形態）
図１５は、第４の実施形態に係る情報処理装置１の詳細構成を示すブロック図である。本実施形態の特徴は、キャラクタの状態を規定するパラメータ情報４５と、パラメータ情報４５に関連付けられるとともに、このパラメータ情報４５の変化量を規定するサブアイコン情報４４とが記憶部４に記憶されている点にある。なお、本実施形態では、パラメータ情報４５は、キャラクタの生命力を規定する場合について説明しているが、例えば、病気にかかっているか否かなどの他の状態を規定してもよいことはもちろんである。

図１６は、キャラクタの動作を示す模式図である。本実施形態では、上述した第１〜３の実施形態とは異なり、フィギュア８は、無人島を模した模型である。このフィギュア８は、無人島に付された正方形のアイコン９を有する。また、本実施形態では、キャラクタＣ４は、犬のキャラクタである。さらに、本実施形態では、動作範囲は、フィギュア８を含む現実の画像の占める空間と対応する範囲に設定される。すなわち、キャラクタＣ４は、現実の画像内における全ての範囲で動作することができる。なお、キャラクタＣ４についてのキャラクタ情報４３は、アイコン９についてのアイコン情報４１に関連付けられている。

ディスプレイ２は、記憶部４に記憶されたパラメータ情報４５、すなわちキャラクタＣ４の生命力をライフ（ＬＩＦＥ）と称し、このライフの大きさを示すライフゲージ２１を合成画像に重ね合わせて表示する。なお、本実施形態では、パラメータ情報４５は、時間の経過に伴って減少する。

図１７は、サブアイコンを示す模式図である。図１７（ａ）は、トランクケース８Ｂの外面に付されたサブアイコン９Ｂであり、図１７（ｂ）は、トランクケース８Ｂの内面に付されたサブアイコン９Ｃである。サブアイコン９Ｃは、模型であるトランクケース８Ｂを開けることによって外観から識別可能となる（図１７（ｂ）の矢印Ａ）。サブアイコン情報４４は、このサブアイコン９Ｂ，９Ｃの形状および大きさを二次元の情報で規定する。また、サブアイコン９Ｃと対応するサブアイコン情報４４は、パラメータ情報４５に関連付けられるとともに、このパラメータ情報４５の変化量を規定する。

動作処理部５２は、検出部５１にて現実の画像内に、アイコン９およびサブアイコン９Ｂが検出された場合、上述した第２の実施形態と同様、アイコン９およびサブアイコン９Ｂと対応するアイコン情報４１およびサブアイコン情報４４の組み合わせに関連付けられた空間情報４２を読み出す。また、動作処理部５２は、この組み合わせに関連付けられたキャラクタ情報４３を記憶部４から読み出す。そして、動作処理部５２は、モデリングと、シーンレイアウトとをすることによって、動作処理を実行する。具体的には、キャラクタ情報４３は、キャラクタＣ４がトランクケース８Ｂを泳いで取りに行く動作を行うとともに、トランクケース８Ｂを無人島に引き上げるようにユーザに促す動作を行うものとして規定されている。

また、動作処理部５２は、ユーザがトランクケース８Ｂを無人島に引き上げた後、トランクケース８Ｂを開けることによって、パラメータ情報４５に関連付けられたサブアイコン９Ｃが検出された場合、サブアイコン９Ｃと対応するサブアイコン情報４４によって規定される変化量に基づいて、パラメータ情報４５を変化させる。具体的には、動作処理部５２は、サブアイコン９Ｃと対応するサブアイコン情報４４によって規定される変化量に基づいて、パラメータ情報４５を上昇させる。これによって、ディスプレイ２に表示されたライフゲージ２１は上昇し、キャラクタＣ４の生命力は回復する。

このように、本実施形態によれば、上述した第１の実施形態と同様、現実の画像に含まれるフィギュア８に合わせたリアリティのある動作をキャラクタＣ４にさせることができる。それとともに、キャラクタＣ４の動作にゲーム性を付加することができるので、ユーザをさらに楽しませることができる。

（変形例）
なお、上述した第１〜３の実施形態では、キャラクタ情報４３によって、仮想空間内に設置されるデスクのキャラクタＣ２を規定していたが、キャラクタＣ２を規定しなくてもよい。

また、上述した各実施形態では、キャラクタ情報４３は、アイコン情報４１や、時間などに関連付けられていたが、検出部５１によるアイコン９の検出回数に関連付けられていてもよい。ここで、アイコンの検出回数とは、ユーザが情報処理プログラムを実行し、現実の画像内にアイコンを検出した回数、すなわち情報処理装置を介して立体物を見た回数の累積である。この場合、記憶部は、検出部によるアイコンの検出回数に関連付けられた複数のキャラクタ情報を記憶するように構成されていればよい。そして、検出部は、アイコンの検出回数を取得し、動作処理部は、検出部にて取得されたアイコンの検出回数に関連付けられたキャラクタ情報を記憶部から読み出すように構成されていればよい。これによれば、例えば、検出部にて取得されたアイコンの検出回数が多い場合、インセンティブを付与するように、キャラクタ情報を規定することによって、情報処理装置を介して立体物をより多く見たユーザに対してインセンティブを付与することができる。したがって、ユーザをさらに楽しませることができる。また、キャラクタ情報４３は、情報処理装置１に対するユーザの操作などに関連付けてもよい。例えば、ディスプレイ２をタッチパネルで構成し、ユーザがタッチパネルに触れることによって、居眠りをしていたキャラクタＣ１が起きるなどの所定の動作をさせるように構成してもよい。

以上のように、本発明は、三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理装置および情報処理プログラムに広く適用できる。

１ 情報処理装置
２ ディスプレイ
３ カメラ
４ 記憶部
５ 制御部
８ フィギュア
８Ａ プレート
８Ｂ トランクケース
９ アイコン
９Ａ，９Ｂ，９Ｃ サブアイコン
２１ ライフゲージ
４１ アイコン情報
４２ 空間情報
４３ キャラクタ情報
４４ サブアイコン情報
４５ パラメータ情報
５１ 検出部
５２ 動作処理部
５３ 視点取得部
５４ 視点設定部
５５ 画像変換部
８１ 床面
８２ 壁面
８３ デスク
９１，９１Ａ 枠線部
９２，９２Ａ 絵柄部
Ｃ１ 人物のキャラクタ
Ｃ２ デスクのキャラクタ
Ｃ３ 植木鉢のキャラクタ
Ｃ４ 犬のキャラクタ
Ｃ_Ｖ 仮想の視点
Ｐ_Ｒ，Ｐ_Ｖ 視点位置
Ｖ_Ｒ，Ｖ_Ｖ 視線ベクトル

Claims (6)

1. 三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理装置において、
   既知の形状および大きさを有し、前記立体物における既知の位置に外観から識別可能に付されたアイコンを規定するアイコン情報と、前記アイコンを含めた前記立体物の既知の形状および大きさを規定するとともに、前記立体物と関連付けて前記キャラクタを動作させる動作範囲が設定された三次元の空間情報と、前記動作範囲における前記キャラクタの動作を規定するキャラクタ情報とがそれぞれ関連付けて記憶された記憶部と、
   前記立体物を含む現実の画像を撮像する撮像部と、
   前記アイコン情報を参照して前記現実の画像を走査することによって、前記現実の画像内のアイコンを検出する検出部と、
   前記現実の画像内のアイコンと対応するアイコン情報に関連付けられた前記空間情報と、当該アイコン情報に関連付けられた前記キャラクタ情報とを前記記憶部からそれぞれ読み出すとともに、前記記憶部から読み出されるキャラクタ情報を順々に更新することによって、前記動作範囲内で前記キャラクタを動作させる動作処理部と、
   前記現実の画像内のアイコンの形状および大きさと、前記アイコン情報とを比較することによって、前記現実の画像を撮像したときの現実の視点を規定する視点情報を、前記アイコンを基準として取得する視点取得部と、
   前記視点情報に基づいて、前記空間情報における前記アイコン情報を基準とする仮想の視点を、前記アイコンを基準とする現実の視点と対応させて設定する視点設定部と、
   前記仮想の視点に基づいて、前記キャラクタを仮想の画像に変換する画像変換部と、
   前記仮想の画像と、前記現実の画像とを重ね合わせて表示する表示部と
   を有することを特徴とする情報処理装置。
2. 前記記憶部には、前記アイコンとは異なるサブアイコンを規定するサブアイコン情報と、前記アイコン情報および前記サブアイコン情報の組み合わせに関連付けられた前記空間情報と、前記アイコン情報および前記サブアイコン情報の組み合わせに関連付けられた前記キャラクタ情報とがそれぞれ記憶され、
   前記動作処理部は、前記検出部にて前記現実の画像内に、前記アイコンおよび前記サブアイコンが検出された場合、当該アイコンおよび当該サブアイコンと対応するアイコン情報およびサブアイコン情報の組み合わせに関連付けられた前記空間情報と、当該アイコン情報および当該サブアイコン情報の組み合わせに関連付けられた前記キャラクタ情報とを前記記憶部からそれぞれ読み出すことを特徴とする請求項１に記載された情報処理装置。
3. 前記記憶部には、前記キャラクタの状態を規定するパラメータ情報と、前記パラメータ情報に関連付けられるとともに、当該パラメータ情報の変化量を規定する前記サブアイコン情報とが記憶され、
   前記動作処理部は、前記検出部にて前記現実の画像内に、前記パラメータ情報に関連付けられた前記サブアイコンが検出された場合、当該サブアイコンと対応するサブアイコン情報によって規定される変化量に基づいて、当該パラメータ情報を変化させることを特徴とする請求項２に記載された情報処理装置。
4. 前記記憶部には、複数の時間と、前記複数の時間にそれぞれ関連付けられた複数の前記キャラクタ情報が記憶され、
   前記動作処理部は、時間を計測するとともに、当該時間に関連付けられた前記キャラクタ情報を前記記憶部から読み出すことを特徴とする請求項１から３のいずれかに記載された情報処理装置。
5. 前記記憶部には、前記検出部による前記アイコンの検出回数に関連付けられた複数の前記キャラクタ情報が記憶され、
   前記検出部は、前記アイコンの検出回数を取得し、
   前記動作処理部は、前記検出部にて取得された前記アイコンの検出回数に関連付けられた前記キャラクタ情報を前記記憶部から読み出すことを特徴とする請求項１から４のいずれかに記載された情報処理装置。
6. 三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理プログラムにおいて、
   コンピュータを、
   既知の形状および大きさを有し、前記立体物における既知の位置に外観から識別可能に付されたアイコンを規定するアイコン情報と、前記アイコンを含めた前記立体物の既知の形状および大きさを規定するとともに、前記立体物と関連付けて前記キャラクタを動作させる動作範囲が設定された三次元の空間情報と、前記動作範囲における前記キャラクタの動作を規定するキャラクタ情報とがそれぞれ関連付けて記憶された記憶部と、
   前記立体物を含む現実の画像を撮像する撮像部と、
   前記アイコン情報を参照して前記現実の画像を走査することによって、前記現実の画像内のアイコンを検出する検出部と、
   前記現実の画像内のアイコンと対応するアイコン情報に関連付けられた前記空間情報と、当該アイコン情報に関連付けられた前記キャラクタ情報とを前記記憶部からそれぞれ読み出すとともに、前記記憶部から読み出されるキャラクタ情報を順々に更新することによって、前記動作範囲内で前記キャラクタを動作させる動作処理部と、
   前記現実の画像内のアイコンの形状および大きさと、前記アイコン情報とを比較することによって、前記現実の画像を撮像したときの現実の視点を規定する視点情報を、前記アイコンを基準として取得する視点取得部と、
   前記視点情報に基づいて、前記空間情報における前記アイコン情報を基準とする仮想の視点を、前記アイコンを基準とする現実の視点と対応させて設定する視点設定部と、
   前記仮想の視点に基づいて、前記キャラクタを仮想の画像に変換する画像変換部と、
   前記仮想の画像と、前記現実の画像とを重ね合わせて表示する表示部と
   を有する情報処理装置として機能させることを特徴とする情報処理プログラム。

Images