JP2018116471A

JP2018116471A - 表示制御方法、装置及びプログラム

Info

Publication number: JP2018116471A
Application number: JP2017006752A
Authority: JP
Inventors: 友香毛利; Yuka Mori; 義春鎌田; Yoshiharu Kamata; 健二喜多; Kenji Kita; 孝治門岡; Takaharu Kadooka
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2017-01-18
Filing date: 2017-01-18
Publication date: 2018-07-26
Also published as: US10573278B2; US20180204543A1

Abstract

【課題】物体と共に表示する画像を簡易な操作で変化可能とする。【解決手段】入力部３０を介して所定の入力を受け付けると、取得部２８は、遊戯空間内に配置されたパーツの位置を取得する。表示制御部３８は、遊戯空間に近接する表示部１２〜１６における、第１画像及び第２画像のうち第１画像及び変位フラグ＝１の第２画像の表示位置を、取得したパーツの位置に応じて決定する。そして表示制御部３８は、表示部１２〜１６に第１画像及び第２画像を表示させる。また表示制御部３８は、入力部３０を介して所定の入力を受け付けた後は、遊戯空間内におけるパーツの位置の変化に応じて第１画像の表示位置を変更し、第２画像については表示位置を変更せずに表示を継続させる。【選択図】図１

Description

本発明は表示制御方法、表示制御装置及び表示制御プログラムに関する。

コンピュータによる画像の生成・表示に関し、以下の技術が提案されている。第１の技術は、或るモーションを行っている現実の物体を撮影し、現実の物体と同じモーションを行うことが可能な３次元モデルデータを作成する。そして第１の技術は、３次元モデルデータに基づく視覚オブジェクトを仮想３次元空間内に配置した画像を生成・表示し、前記視覚オブジェクトに、撮影中の現実の物体が行っているモーションにリアルタイムで追従して同じモーションを行わせる。

特開２００２−５８０４５号公報

第１の技術は、モーションを行うユーザを模した視覚オブジェクトを仮想３次元空間内に配置し、視覚オブジェクトにユーザと同じモーションを行わせる技術であり、視覚オブジェクトが模する現実の物体がモーションを行う物体であることを前提としている。このため、視覚オブジェクトが模する現実の物体として静止物体を適用したとすると、仮想３次元空間内の視覚オブジェクトも静止し続けることになり、表示される画像に変化を与えることはできない。

一つの側面では、本発明は、物体と共に表示する画像を簡易な操作で変化可能とすることが目的である。

一つの実施態様では、所定の入力を受け付けると、所定領域内に配置された物体の位置を取得する。また、前記所定領域に近接する表示装置の表示領域における、第１画像及び第２画像のうちの少なくとも前記第１画像の表示位置を、取得した前記物体の位置に応じて決定し、前記表示装置に前記第１画像及び前記第２画像を表示させる。そして、前記所定の入力を受け付けた後は、前記所定領域内における前記物体の位置の変化に応じて前記第１画像の表示位置を変更し、前記第２画像については表示位置を変更せずに表示を継続させる。

一つの側面として、物体と共に表示する画像を簡易な操作で変化可能とすることができる、という効果を有する。

遊戯装置の機能ブロック図である。表示部及びカメラの配置の一例を示す斜視図である。パーツ情報ＤＢの一例を示す図表である。表示画像ＤＢの一例を示す図表である。表示画像ＤＢに登録される情報の具体的な一例を示す図表である。遊戯装置として機能するコンピュータの概略ブロック図である。遊戯装置制御処理の一例のフローチャートである。画像生成・表示処理の一例のフローチャートである。表示更新処理の一例のフローチャートである。パーツの一例として車が配置された場合に表示される第１画像の一例を示すイメージ図である。パーツの一例として車が配置された場合に表示される第１画像及び第２画像と、車が移動された場合の第１画像の表示位置の変化の一例を示すイメージ図である。パーツの一例としてうさぎが配置された場合に表示される第１画像の一例を示すイメージ図である。パーツの一例としてうさぎが配置された場合に表示される第１画像及び第２画像と、うさぎが移動された場合の第１画像の表示位置の変化の一例を示すイメージ図である。パーツの一例として犬が配置された場合に表示される第１画像の一例を示すイメージ図である。パーツの一例として犬が配置された場合に表示される第１画像及び第２画像と、犬が移動された場合の第１画像の表示位置の変化の一例を示すイメージ図である。パーツの一例としてくじらが配置された場合に表示される第１画像の一例を示すイメージ図である。パーツの一例としてくじらが配置された場合に表示される第１画像及び第２画像と、くじらが移動された場合の第１画像の表示位置の変化の一例を示すイメージ図である。パーツの一例として花が配置された場合に表示される第１画像の一例を示すイメージ図である。パーツの一例として花が配置された場合に表示される第１画像及び第２画像と、花が移動された場合の第１画像の表示位置の変化の一例を示すイメージ図である。パーツの一例として家が配置された場合に表示される第１画像の一例を示すイメージ図である。パーツの一例として家が配置された場合に表示される第１画像及び第２画像と、家が移動され、可動部としての窓の位置が変化した場合の第１画像の変化の一例を示すイメージ図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。図１に示す遊戯装置１０は、例えば子供などのユーザによる遊戯に使用される玩具の一種であってよく、第１表示部１２、第２表示部１４及び第３表示部１６を含んでいる。第１表示部１２、第２表示部１４及び第３表示部１６は、例えばLiquid Crystal Display(LCD)、Organic Electroluminescence Display(OELD)等によって実現される。図１では３つの表示部が設けられた例を示しているが、表示部は、例えば第１表示部１２の１つのみであっても構わない。

図２に示すように、第１表示部１２は表示面１２Ａが遊戯空間１８の底面を成すように配置され、第２表示部１４は表示面１４Ａが遊戯空間１８の第１の側面を成すように第１表示部１２と連結されている。また、第３表示部１６は表示面１６Ａが遊戯空間１８の第２の側面(第１の側面とおよそ直交する側面)を成すように第１表示部１２及び第２表示部１４と連結されている。なお、第１表示部１２、第２表示部１４及び第３表示部１６は本発明における表示装置の一例であり、第１表示部１２、第２表示部１４及び第３表示部１６によって形成される遊戯空間１８は、本発明における所定領域の一例である。

なお、遊戯装置１０は、第１の側面と対向する遊戯空間１８の第３の側面を成す壁部材２０(図２では想像線で示す)と、第２の側面と対向する遊戯空間１８の第４の側面を成す壁部材２２(図２では想像線で示す)と、が着脱可能であることが好ましい。これにより、第１表示部１２、第２表示部１４及び第３表示部１６に壁部材２０,２２を装着した状態で全体が箱形状になり、例えば片づけの際には遊戯装置１０に付属する後述の「できた」ボタンユニットやパーツ等を箱形状の内側に収納することができる。

また、この状態では、遊戯空間１８の上面を閉塞する蓋部材(図示省略)を被せることも可能になり、蓋部材を被せることで、遊戯装置１０全体としての強度を高め、また箱形状の内側に収納した「できた」ボタンユニットやパーツ等の散逸も防止することができる。なお、遊戯装置１０を使用する場合には、図２に実線で示すように、蓋部材及び壁部材２０,２２が離脱されることで、遊戯空間１８を成す六面のうちの三面が露出され、表示部１２〜１６に表示された画像をユーザが視認可能な状態になる。

遊戯装置１０は、遊戯空間１８内に配置可能な模型である「パーツ」が１以上付属している。図１０,１１にはパーツの一例として車７６を示し、図１２,１３にはパーツの一例としてうさぎ８２を示し、図１４,１５にはパーツの一例として犬８８を示し、図１６,１７にはパーツの一例としてくじら９４を示す。また、図１８,１９にはパーツの一例として花１００を示し、図２０,２１にはパーツの一例として家１１０を示す。なお、図２０と図２１を比較しても明らかなように、家１１０は窓１１０Ａが開閉可能とされている。上記の各種パーツは本発明における物体の一例であり、上記の家１１０は可動部を含む物体の一例である。

図１に示すように、遊戯装置１０は、遊戯空間１８を互いに異なる位置から撮影する第１カメラ２４及び第２カメラ２６を含んでいてよい。図２には、一例として、第１カメラ２４が第２表示部１４の表示面１４Ａの上端部付近に配置され、第２カメラ２６が第３表示部１６の表示面１６Ａの上端部付近に配置された態様を示す。第１カメラ２４及び第２カメラ２６は、遊戯空間１８の底面(第１表示部１２の表示面１２Ａ)全体が撮影範囲に入るように画角が調整されており、遊戯空間１８に配置されたパーツを撮影可能とされている。

第１カメラ２４及び第２カメラ２６は取得部２８に接続されている。取得部２８は、遊戯装置１０のユーザが所定の入力をすることが可能な入力部３０、パーツ情報ＤＢ(データベース)３４及び表示画像ＤＢ３６を記憶する記憶部３２及び表示制御部３８と相互に接続されている。取得部２８は、入力部３０を介して所定の入力を受け付けると、遊戯空間１８内に配置されたパーツの位置を取得する。取得部２８は、更にパーツの種類及び向きの少なくとも一方を取得してもよい。取得部２８は撮影画像取得部２８Ａとパーツ認識部２８Ｂを含んでいる。撮影画像取得部２８Ａは、入力部３０を介して所定の入力を受け付けると、第１カメラ２４及び第２カメラ２６から撮影画像を取得する。パーツ認識部２８Ｂは、撮影画像取得部２８Ａによって取得された撮影画像と、パーツ情報ＤＢ３４に登録された情報と、に基づいて、遊戯空間１８内に配置されたパーツの種類、位置及び向きを認識する。

パーツ情報ＤＢ３４は、遊戯装置１０に付属されている１以上のパーツ毎の情報が登録されている。パーツ情報ＤＢ３４に登録されている情報は、一例として図３に示すように、個々のパーツを識別するためのパーツＩＤ、パーツを互いに異なる複数の向きから撮影したパーツ画像、及び、パーツが可動部を含むか否かを表す可動部フラグを含む。なお、上記のパーツ画像は、例えば、パーツを回転台に載せて回転台を回転させながら、パーツの向きθが所定角度αだけ変化する毎にカメラでパーツを撮影し、撮影した個々の画像からパーツに対応する画像領域を切り出すことで得ることができる。

また、表示画像ＤＢ３６は、遊戯装置１０に付属されている個々のパーツ毎に、遊戯空間１８に配置された場合に表示部１２〜１６に表示させる第１画像の情報及び第２画像の情報と、遊戯空間１８に配置された場合に出力する音声情報と、が登録されている。第１画像は、遊戯空間１８内における対応するパーツの位置の変化に応じて表示位置を変更する画像であり、本発明における第１画像の一例である。一方、第２画像は、遊戯空間１８内における対応するパーツの位置の変化に拘わらず表示位置を変更しない画像であり、本発明における第２画像の一例である。

一例として図４に示すように、表示画像ＤＢ３６に登録されている第１画像の情報は、先に説明した可動部フラグ、第１画像及びパーツの３次元モデルを含んでいる。第１画像とパーツの３次元モデルは択一的に登録される情報であり、パーツが可動部を含まない場合(可動部フラグ＝０の場合)には第１画像が登録される。また、パーツが可動部を含む場合(可動部フラグ＝１の場合)には、パーツに含まれる可動部を可動部としてモデル化した３次元モデルが登録される。例えば、図２０,２１に示す家１１０の例では、開閉可能な窓１１０Ａを可動部として家１１０をモデル化した３次元モデルが登録される。

第１画像の情報の具体例を説明する。図５に示すように、パーツが車７６又はうさぎ８２又は鳥の場合、第１画像の一例としてはパーツの影が挙げられる(図１０,１１に示す影７８、図１２,１３に示す影８４も参照)。これらのパーツは可動部を含まないため、可動部フラグ＝０に設定され、第１画像として透過率＞０の影の画像が登録される。また、パーツが犬８８又は猫の場合、第１画像の一例としてはパーツの影と足跡が挙げられる(図１４,１５に示す影・足跡９０も参照)。これらのパーツも可動部を含まないため、可動部フラグ＝０に設定され、第１画像として透過率＞０の影及び足跡の画像が登録される。

また、パーツがくじら９４の場合、第１画像の一例としては波(図１６,１７に示す波９６も参照)が挙げられる。くじら９４も可動部を含まないため、可動部フラグ＝０に設定され、第１画像として波の動画像が登録される。また、パーツが花１００の場合、第１画像の一例としては花１００の影、周辺の小さな花及び蝶が挙げられる(図１８,１９に示す影１０２、小さな花１０４及び蝶１０６も参照)。花１００も可動部を含まないため、可動部フラグ＝０に設定され、第１画像として透過率＞０の影の画像、周辺の小さな花の画像及び蝶の動画像が登録される。

また、パーツが家１１０の場合、第１画像の一例としては家１１０の影及び窓１１０Ａの開閉に応じて変化する窓１１０Ａの影が挙げられる(図２０,２１に示す影１１２及び図２１に示す影１１４も参照)。家１１０は窓１１０Ａが開閉可能なため、可動部フラグ＝１に設定され、開閉可能な窓１１０Ａを可動部として家１１０をモデル化した３次元モデルが登録される。

図４に示すように、表示画像ＤＢ３６に登録されている第２画像の情報は、第２画像、パーツの位置に応じて第２画像の表示位置を変位させるか否かを表す変位フラグ、変位フラグ＝１の場合にパーツと第２画像の表示位置との位置関係を表す変位情報を含む。また、第２画像の情報は、パーツの向きに応じて第２画像の表示方向を変化させるか否かを表す方向性フラグ、方向性フラグ＝１の場合にパーツの向きと第２画像の表示方向との関係を表す方向性情報を含む。

第２画像の情報の具体例を説明する。図５に示すように、パーツが車７６の場合、第２画像の一例としては図１１に示す道路８０が挙げられ、第２画像として道路８０の画像が登録される。道路８０は車７６に応じた位置・向きで表示することが望ましいため、変位フラグ＝１かつ方向性フラグ＝１に設定され、車７６の当初の位置・向きに応じた位置・向きで道路８０が表示されるように変位情報及び方向性情報が設定される。また、パーツがうさぎ８２の場合、第２画像の一例としては、図１３に示すように日が暮れて月が出る夜空８６が挙げられ、第２画像として夜空８６の動画像が登録される。夜空８６はうさぎ８２の位置や向きの変化に拘わらず第２表示部１４及び第３表示部１６に表示されるため、変位フラグ＝０かつ方向性フラグ＝０に設定される。

また、パーツが犬８８の場合、第２画像の一例としては図１５に示すえさ９２が挙げられ、第２画像としてえさ９２の画像が登録される。えさは犬８８に応じた位置に表示することが望ましいため、変位フラグ＝１で方向性フラグ＝０に設定され、犬８８の当初の位置に応じた位置にえさ９２が表示されるように変位情報が設定される。また、パーツが鳥の場合、第２画像の一例としては止まり木が挙げられ(図示省略)、第２画像として止まり木の画像が登録される。止まり木は鳥に応じた位置・向きで表示することが望ましいため、変位フラグ＝１かつ方向性フラグ＝１に設定され、鳥の当初の位置・向きに応じた位置・向きで止まり木が表示されるように変位情報及び方向性情報が設定される。

また、パーツが猫の場合、第２画像の一例としては毛糸玉が挙げられ(図示省略)、第２画像として毛糸玉の画像が登録される。毛糸玉は、猫に応じた位置・向きで表示することが望ましいため、変位フラグ＝１かつ方向性フラグ＝１に設定され、猫に応じた位置に毛糸玉が表示されるように変位情報が設定される。また、パーツがくじら９４の場合、第２画像の一例としては図１７に示す水面９８が挙げられ、第２画像として水面９８の画像が登録される。本実施形態ではくじら９４の当初の位置に応じた一部範囲に水面９８を表示するために、変位フラグ＝１で方向性フラグ＝０に設定され、くじら９４の当初の位置に応じた一部範囲に水面９８が表示されるように変位情報が設定される。なお、水面９８は第１表示部１２の表示面１２Ａの全面に表示してもよい。

また、パーツが花１００の場合、第２画像の一例としては図１９に示す花畑１０８が挙げられ、第２画像として花畑１０８の画像が登録される。本実施形態では花１００の当初の位置に応じた一部範囲に花畑１０８を表示するために、変位フラグ＝１で方向性フラグ＝０に設定され、花１００の当初の位置に応じた一部範囲に花畑１０８が表示されるように変位情報が設定される。なお、花畑１０８は第１表示部１２の表示面１２Ａの全面に表示してもよい。また、パーツが家１１０の場合、第２画像の一例としては図２１に示す石畳１１６が挙げられ、第２画像として石畳１１６の画像が登録される。本実施形態では家１１０の当初の位置に応じた一部範囲に石畳１１６を表示するために、変位フラグ＝１で方向性フラグ＝０に設定され、家１１０の当初の位置に応じた一部範囲に石畳１１６が表示されるように変位情報が設定される。

また、音声情報は、遊戯空間１８に配置された場合に音声を出力するパーツについてのみ表示画像ＤＢ３６に登録される。具体的な一例として、図５には、遊戯空間１８に配置されたパーツが車７６の場合に走行音(エンジン音やクラクションの音)が出力され、パーツが犬８８又は鳥又は猫の場合に鳴き声が出力され、パーツがくじら９４の場合に波の音が出力される例を示す。

表示制御部３８は、表示画像生成部３８Ａ及び表示画像出力部３８Ｂを含んでおり、表示部１２〜１６に接続されている。表示画像生成部３８Ａは、入力部３０を介して所定の入力を受け付けると、取得部２８によって取得された遊戯空間１８内に配置されているパーツの位置に基づいて、第１画像及び第２画像の表示位置を決定する。この際、表示画像生成部３８Ａは、第１画像の表示位置についてはパーツの位置に応じて決定し、第２画像の変位フラグ＝１の場合は、当該第２画像の表示位置についてもパーツの位置に応じて決定する。また、第２の画像の方向性フラグ＝１の場合は、当該第２画像の表示方向についてもパーツの向きに応じて決定する。

そして、表示画像生成部３８Ａは、決定した第１画像及び第２画像の表示位置に基づいて、表示部１２〜１６に表示させる表示画像を生成し、表示画像出力部３８Ｂは、表示画像生成部３８Ａによって生成された表示画像を表示部１２〜１６に表示させる。また、表示画像生成部３８Ａは、所定の入力を受け付けた後は、遊戯空間１８内におけるパーツの位置の変化に応じて第１画像の表示位置を変更し、第２画像については表示位置を変更せずに表示を継続させる。例えば、パーツが車である場合、所定の入力を受け付けると、車の位置に応じた位置に第１画像である影を表示し、また、第２画像である道路を表示する。その後、車の位置が変更されると、道路の表示はそのままに、影の表示は変更後の車の位置に応じた位置に変更して表示する。

遊戯装置１０は図６に示すコンピュータ５０によって実現される。コンピュータ５０は、ＣＰＵ５２、メモリ５４、記憶部５６、第１表示部１２、第２表示部１４、第３表示部１６、第１カメラ２４、第２カメラ２６、無線通信部５８及び音声出力部６０を含んでいる。ＣＰＵ５２、メモリ５４、記憶部５６、第１表示部１２、第２表示部１４、第３表示部１６、第１カメラ２４、第２カメラ２６、無線通信部５８及び音声出力部６０はバス６２を介して互いに接続されている。無線通信部５８は、「できた」ボタンが設けられると共に無線通信部を内蔵し、入力部３０として機能する「できた」ボタンユニット６４(図２も参照)と無線通信を行う。

記憶部５６はHard Disk Drive(ＨＤＤ)、Solid State Drive(ＳＳＤ)、フラッシュメモリ等によって実現される。記憶部５６には、コンピュータ５０を遊戯装置１０として機能させるための遊戯装置制御プログラム６６が記憶されている。ＣＰＵ５２は、遊戯装置制御プログラム６６を記憶部５６から読み出してメモリ５４に展開し、遊戯装置制御プログラム６６が有するプロセスを順次実行する。遊戯装置制御プログラム６６は、取得プロセス６８及び表示制御プロセス７０を含む。

ＣＰＵ５２は、取得プロセス６８を実行することで、図１に示す取得部２８として動作する。またＣＰＵ５２は、表示制御プロセス７０を実行することで、図１に示す表示制御部３８として動作する。また、記憶部５６にはパーツ情報ＤＢ記憶領域７２及び表示画像ＤＢ記憶領域７４が設けられている。パーツ情報ＤＢ記憶領域７２にはパーツ情報ＤＢ３４が予め記憶されており、表示画像ＤＢ記憶領域７４には表示画像ＤＢ３６が予め記憶されている。これにより、記憶部５６が図１に示す記憶部３２として機能し、遊戯装置制御プログラム６６を実行したコンピュータ５０が遊戯装置１０として機能することになる。なお、遊戯装置制御プログラム６６は本発明に係る表示制御プログラムの一例である。

次に本実施形態の作用を説明する。遊戯装置１０は、ユーザによって使用されていない非使用状態では、例えば、表示部１２〜１６に壁部材２０,２２が装着されて箱形状を成し、「できた」ボタンユニット６４及びパーツが箱形状の内側に収納され、蓋部材が被せられた状態とされる。この際には、遊戯装置１０の電源はオフされている。

ユーザは、遊戯装置１０を使用して遊戯を行う場合、まず、遊戯装置１０から蓋部材及び壁部材２０,２２を取り外し、蓋部材及び壁部材２０,２２を取り外すことで露出した遊戯空間１８から、全てのパーツ及び「できた」ボタンユニット６４を一旦取り出す。そして、遊戯装置１０の電源をオンにする。電源は、例えば蓋部材及び壁部材の少なくとも一方が取り外されたことを検知して自動的にオン状態にしてもよい。続いてユーザは、遊戯空間１８から一旦取り出したパーツの中から、興味を覚えたパーツを１個以上選択し、選択した１個以上のパーツを遊戯空間１８内の所望の位置に、所望の向きで配置する。遊戯空間１８内へのパーツの配置は、例えば、ユーザが選択したパーツを取り巻く風景を想像し、遊戯空間１８内におけるパーツの位置及び向きが、想像した風景に対応するように行われる。そしてユーザは、１個以上のパーツの遊戯空間１８内への配置が完了すると、「できた」ボタンユニット６４の「できた」ボタンを押下する。この「できた」ボタンの押下は、本発明における所定の入力の一例である。

「できた」ボタンユニット６４の「できた」ボタンが押下されると、図７に示す遊戯装置制御処理が遊戯装置１０(ＣＰＵ５２)によって実行される。なお、図７の処理の終了は、遊戯装置１０の電源がオフされることにより実現されてよい。遊戯装置制御処理のステップ１５０において、取得部２８の撮影画像取得部２８Ａは、第１カメラ２４から第１撮影画像を取得すると共に、第２カメラ２６から第２撮影画像を取得する。

次のステップ１５２において、取得部２８のパーツ認識部２８Ｂは、撮影画像取得部２８Ａによって取得された第１撮影画像及び第２撮影画像から、遊戯空間１８内に配置されている個々のパーツに対応する画像領域(以下、パーツ領域という)を各々探索する。パーツ領域の探索は、例えば以下の処理で実現できる。例えば、遊戯空間１８内にパーツが未配置の状態でカメラ２４,２６によって予め撮影した基準画像を用い、第１撮影画像及び第２撮影画像の各々について基準画像と差分が生じている差分領域を抽出する。そして、差分領域に対して収縮／膨張などの画像処理を行うことで、異なるパーツに対応する領域を独立した領域として分離し、分離した個々の領域に対してラベリングを行うことで、遊戯空間１８内に配置された個々のパーツに対応するパーツ領域を識別する。

ステップ１５４において、パーツ認識部２８Ｂは、遊戯装置１０が表示部１２〜１６に既に画像を表示中の状態か否か判定する。ステップ１５４の判定が否定された場合はステップ１５８へ移行し、ステップ１５８以降において、遊戯空間１８内に配置された個々のパーツの種類、位置及び向きを認識する処理を行う。

すなわち、ステップ１５８において、パーツ認識部２８Ｂは、遊戯空間１８内に配置されたパーツの数を表す変数ｃに０を設定する。次のステップ１６０において、パーツ認識部２８Ｂは、先のステップ１５２の探索で抽出した全てのパーツ領域に対してステップ１６２以降の処理を行ったか否か判定する。例えば、ステップ１５２の探索でパーツ領域が抽出されなかった等の場合は、ステップ１６０の判定が肯定されてステップ１７６へ移行する。

一方、ステップ１５２の探索でパーツ領域が１個以上抽出された場合は、ステップ１６０の判定が否定されてステップ１６２へ移行する。ステップ１６２において、パーツ認識部２８Ｂは、第１撮影画像から抽出したパーツ領域を処理対象として１つ取り出す。次のステップ１６４において、パーツ認識部２８Ｂは、処理対象のパーツ領域の画像に対し、パーツ情報ＤＢ３４に記憶されている各パーツの複数の向きの画像とのマッチングを各々行う。そして、パーツ認識部２８Ｂは、上記のマッチングで演算した一致度が最大値を示した画像に対応するパーツＩＤ及び向きを、処理対象のパーツ領域に対応するパーツのパーツＩＤ、向きとして取得する。

なお、上記のように、一致度が最大値を示した画像を単に選択することに代えて、一致度が最大値を示しかつ一致度が閾値以上の画像を、一致している画像として選択するようにしてもよい。この態様で、一致度が最大値を示した画像の一致度が所定値未満の場合は、例えば、該当するパーツが存在しないと判断し、ステップ１６０に戻るようにしてもよい。また、可動部フラグ＝１のパーツの画像については、可動部フラグ＝０のパーツの画像よりも上記の閾値を小さくしてもよい。これは、遊戯空間１８内に配置されたパーツが可動部を含む場合、当該パーツの可動部の位置が、パーツ情報ＤＢ３４に記憶されている画像における可動部の位置と相違していると、一致度が低下するためである。

次のステップ１６６において、パーツ認識部２８Ｂは、ステップ１６４のマッチングで演算した一致度が最大値を示した画像と、パーツＩＤが同一で向きが90°異なる画像をパーツ情報ＤＢ３４から読み出す。そして、パーツ認識部２８Ｂは、パーツ情報ＤＢ３４から読み出した画像に対し、第２撮影画像から抽出した全てのパーツ領域とのマッチングを各々行う。

ステップ１６８において、パーツ認識部２８Ｂは、ステップ１６６のマッチングで一致度が最大値を示したパーツ領域の一致度が閾値以上か否かに基づいて、一致度が閾値以上のパーツ領域が第２撮影画像に存在していたか否か判定する。ステップ１６８の判定が否定された場合、処理対象のパーツ領域がステップ１６４で取得したパーツＩＤ、向きである確度が不十分と判断し、ステップ１６０に戻る。

また、ステップ１６８の判定が肯定された場合は、処理対象のパーツ領域がステップ１６４で取得したパーツＩＤ、向きである確度が十分と判断できるので、ステップ１７０へ移行する。ステップ１７０において、パーツ認識部２８Ｂは、処理対象のパーツ領域の第１撮影画像での位置と、ステップ１６６のマッチングで一致度が最大値を示したパーツ領域の第２撮影画像上での位置と、から、遊戯空間１８内における対応するパーツの位置を特定する。ここで特定するパーツの位置は、第１表示部１２の表示面１２Ａ上の位置、すなわち２次元座標上の位置でよいが、遊戯空間１８に設定した３次元座標上の位置を特定してもよい。

次のステップ１７２において、パーツ認識部２８Ｂは、ステップ１６４で取得したパーツＩＤ及び向き、ステップ１７０で特定したパーツの位置及び第１及び第２撮影画像から抽出したパーツ領域の画像を、ｃ番目のパーツの情報としてメモリ５４に記憶させる。そして、ステップ１７４において、パーツ認識部２８Ｂは、変数ｃを１だけインクリメントし、ステップ１６０に戻る。これにより、ステップ１６０の判定が肯定される迄、ステップ１６０〜１７４が繰り返され、第１撮影画像から抽出した個々のパーツ領域を処理対象として、対応するパーツのパーツＩＤ、位置及び向きを認識する処理が行われる。

ステップ１６０の判定が肯定されるとステップ１７６へ移行し、ステップ１７６において、パーツ認識部２８Ｂは、変数ｃの値が１以上か否か判定する。ステップ１７６の判定が否定された場合は、遊戯空間１８内にパーツが配置されていないか、遊戯装置１０に付属するパーツ以外の物体が配置されていると判断できる。このため、この場合は表示部１２〜１６に画像を表示することなくステップ１５０へ戻る。

また、ステップ１７６の判定が肯定された場合は、遊戯空間１８内に１個以上のパーツが配置されているので、ステップ１７８へ移行し、ステップ１７８において、表示制御部３８は、画像生成・表示処理を行う。以下、この画像生成・表示処理について、図８を参照して説明する。

画像生成・表示処理のステップ１８４において、表示制御部３８の表示画像生成部３８Ａは、表示画像を生成・記憶するためのメモリ５４上の記憶領域をクリアする。ステップ１８６において、表示画像生成部３８Ａは、変数ｃの値をパーツ総数ｃmaxに代入し(図７に示す処理により、このとき変数ｃには、遊戯空間１８内に配置されたパーツの数を表す値が設定されている)、変数ｃに１を設定する。

ステップ１８８において、表示画像生成部３８Ａは、ｃ番目のパーツのパーツＩＤをキーにして表示画像ＤＢ３６を検索し、ｃ番目のパーツに対応する第２画像の情報(第２画像、変位フラグ、方向性フラグ等)を表示画像ＤＢ３６から読み出す。ステップ１９０において、表示画像生成部３８Ａは、ステップ１８８で読み出した情報に含まれる変位フラグが１か否か判定する。ステップ１９０の判定が肯定された場合はステップ１９２へ移行し、ステップ１９２において、表示画像生成部３８Ａは、ステップ１８８で読み出した情報に含まれる方向性フラグが１か否か判定する。

ステップ１９０,１９２の判定が各々肯定された場合(変位フラグ＝１で方向性フラグ＝１)、ｃ番目のパーツに対応する第２画像は、例えば図１１に示す車７６と道路８０の関係と同様に、ｃ番目のパーツに応じた位置・向きで表示することが望ましい。このため、ステップ１９２の判定が肯定された場合はステップ１９４へ移行する。ステップ１９４において、表示画像生成部３８Ａは、ステップ１８８で読み出した第２画像が、表示部１２〜１６のうち、ｃ番目のパーツの位置に応じた表示位置に、ｃ番目のパーツの向きに応じた向きで表示されるように、表示画像の記憶領域に描画する。なお、このときの表示画像の記憶領域への第２画像の描画は、ステップ１８８で読み出した情報に含まれる変位情報及び方向性情報に基づいて行われる。ステップ１９４の処理を行うとステップ２００へ移行する。

また、ステップ１９０の判定が肯定され、ステップ１９２の判定が否定された場合(変位フラグ＝１で方向性フラグ＝０)、第２画像は、例えば図１５に示す犬８８とえさ９２の関係と同様に、ｃ番目のパーツに応じた位置に表示することが望ましい。このため、ステップ１９２の判定が否定された場合はステップ１９６へ移行する。ステップ１９６において、表示画像生成部３８Ａは、ステップ１８８で読み出した第２画像が、表示部１２〜１６のうち、ｃ番目のパーツの現在の位置に応じた表示位置に表示されるように、表示画像の記憶領域に描画する。なお、このときの表示画像の記憶領域への第２画像の描画は、ステップ１８８で読み出した情報に含まれる変位情報に基づいて行われる。ステップ１９６の処理を行うとステップ２００へ移行する。

また、ステップ１９０の判定が否定された場合(変位フラグ＝０)、第２画像は、例えば図１３に示すうさぎ８２と夜空８６の関係と同様に、ｃ番目のパーツの位置に拘わらず所定の位置に表示することが望ましい。このため、ステップ１９０の判定が否定された場合はステップ１９８へ移行する。ステップ１９８において、表示画像生成部３８Ａは、ステップ１８８で読み出した第２画像が、表示部１２〜１６のうち、デフォルトの表示位置に表示されるように、表示画像の記憶領域に描画する。例えば、図１３の例では、表示部１４,１６の表示面１４Ａ,１６Ａの全面に夜空８６が表示されるように、表示画像の記憶領域への第２画像(夜空８６の画像)の描画が行われる。ステップ１９８の処理を行うとステップ２００へ移行する。

ステップ２００において、表示画像生成部３８Ａは、ｃ番目のパーツのパーツＩＤをキーにして表示画像ＤＢ３６を検索し、ｃ番目のパーツに対応する第１画像の情報(可動部フラグ、第１画像又は３次元モデル)を表示画像ＤＢ３６から読み出す。ステップ２０２において、表示画像生成部３８Ａは、ステップ２００で表示画像ＤＢ３６から読み出した第１画像の情報に基づいて、ｃ番目のパーツに対応する第１画像を生成する。そして、ステップ２０４において、表示画像生成部３８Ａは、ステップ２０２で生成した第１画像が、表示部１２〜１６のうちｃ番目のパーツの位置に応じた表示位置に表示されるように、第１画像を表示画像の記憶領域に描画する。

上記のステップ２０２,２０４の処理の具体例を説明する。ｃ番目のパーツが車７６又はうさぎ８２又は鳥の場合、第１画像の一例はパーツの影である(図１０,１１に示す影７８、図１２,１３に示す影８４も参照)。これらのパーツは可動部を含まないため、ステップ２００で表示画像ＤＢ３６から読み出した第１画像の情報には、可動部フラグ＝０と、第１画像としての透過率＞０のパーツの影の画像が含まれる。

例えば、パーツの影の画像が影の範囲と透過率を規定する形式の場合、ステップ２０２では、ｃ番目のパーツの位置に応じた影の範囲に描画されている画像を表示画像の記憶領域から読み出し、読み出した画像を規定された透過率に応じて濃度増加等の変更を加える。そしてステップ２０４では、ステップ２０２の処理を経た画像を、表示画像の記憶領域の同一の範囲に描画し直す。これにより、図１０,１１に示す影７８や、図１２,１３に示す影８４のように、対応するパーツに対応する位置にパーツの影が表示される。なお、影の画像の形式は上記に限定されるものではない。

また、ｃ番目のパーツが犬８８又は猫の場合、第１画像の一例はパーツの影と足跡である(図１４,１５に示す影・足跡９０も参照)。これらのパーツも可動部を含まないため、ステップ２００で表示画像ＤＢ３６から読み出した第１画像の情報には、可動部フラグ＝０、第１画像としての透過率＞０の影及び足跡の画像が含まれる。パーツの影及び足跡を表示する処理については、上述したパーツの影を表示する処理と同様の処理で実現できる。

また、ｃ番目のパーツがくじら９４の場合、第１画像の一例は波である (図１６,１７に示す波９６も参照)。くじら９４も可動部を含まないため、ステップ２００で表示画像ＤＢ３６から読み出した第１画像の情報には、可動部フラグ＝０、第１画像としての波の動画像が含まれる。この場合、ステップ２０２では、波の動画像から各時刻における波の静止画像を順次生成し、ステップ２０４では、ステップ２０２で生成された各時刻における波の静止画像を、表示画像の記憶領域のうちのｃ番目のパーツの位置に応じた位置に順に描画する。

また、ｃ番目のパーツが花１００の場合、第１画像の一例は花１００の影、周辺の小さな花及び蝶である(図１８,１９に示す影１０２、小さな花１０４及び蝶１０６も参照)。花１００も可動部を含まないため、ステップ２００で表示画像ＤＢ３６から読み出した第１画像の情報には、可動部フラグ＝０、第１画像としての透過率＞０の影の画像、周辺の小さな花の画像及び蝶の動画像が含まれる。このうち、蝶の動画像については、くじら９４に対応する波と同様の処理によって表示できる。また、図１８,１９に示すように、影１０２と小さな花１０４は表示領域が重なっている。このため、花の影及び周辺の小さな花については、ステップ２００で読み出した第１画像の情報に含まれる影の画像、周辺の小さな花の画像を、表示画像の記憶領域のうちのｃ番目のパーツの位置に応じた位置に順に描画する。

また、ｃ番目のパーツが家１１０の場合、第１画像の一例は家１１０の影及び窓１１０Ａの開閉に応じて変化する窓１１０Ａの影である(図２０,２１に示す影１１２及び図２１に示す影１１４も参照)。家１１０は窓１１０Ａが開閉可能なため、ステップ２００で表示画像ＤＢ３６から読み出した第１画像の情報には、可動部フラグ＝１と、開閉可能な窓１１０Ａを可動部として家１１０をモデル化した３次元モデルが含まれる。

この場合、ステップ２０２では、まずメモリ５４に記憶されているｃ番目のパーツのパーツ領域の画像に基づいて、ｃ番目のパーツの可動部の現在位置を認識する。次に、ｃ番目のパーツの３次元モデルにおける可動部の位置を、上記で認識した可動部の現在位置に合わせる。続いて、ｃ番目のパーツ及び可動部の影を形成する光源の位置を設定し、設定した光源の位置、及び、可動部の位置を合わせた３次元モデルに基づいて、ｃ番目のパーツ及び可動部の影の範囲を演算する。影の範囲を演算した以降の処理は、先に説明した車７６等の影を表示する場合の処理と同じであるので、説明を省略する。

上述したステップ２０４迄の処理により、ｃ番目のパーツに対応する第１画像及び第２画像の、表示画像の記憶領域への描画が完了する。次のステップ２０６において、表示画像生成部３８Ａは、ｃ番目のパーツに対応する音声情報が表示画像ＤＢ３６に登録されているか否か判定する。ステップ２０６の判定が肯定された場合はステップ２０８へ移行し、ステップ２０８において、表示画像生成部３８Ａは、表示画像ＤＢ３６に登録されたｃ番目のパーツに対応する音声情報を、出力対象音声としてメモリ５４に記憶させ、ステップ２１０へ移行する。なお、ステップ２０６の判定が否定された場合はステップ２０８をスキップしてステップ２１０へ移行する。

ステップ２１０において、表示画像生成部３８Ａは、変数ｃの値がパーツ総数ｃmaxに達したか否か判定する。ステップ２１０の判定が否定された場合はステップ２１２へ移行し、ステップ２１２において、表示画像生成部３８Ａは、変数ｃの値を１だけインクリメントしてステップ１１８に戻る。これにより、ステップ２１０の判定が肯定される迄、ステップ１８８〜２１２が繰り返され、遊戯空間１８内に配置された全てのパーツについて、対応する第１画像及び第２画像が表示画像の記憶領域に各々描画される。また、対応する音声情報が表示画像ＤＢ３６に登録されているパーツについては、対応する音声情報が出力対象音声としてメモリ５４に各々記憶される。

ステップ２１０の判定が肯定されるとステップ２１４へ移行し、ステップ２１４において、表示制御部３８の表示画像生成部３８Ａは、記憶領域に描画した表示画像を表示部１２〜１６に表示させる。また、次のステップ２１６において、表示制御部３８は、出力対象音声がメモリ５４に記憶されているか否か判定する。ステップ２１６の判定が肯定された場合はステップ２１８へ移行し、ステップ２１８において、表示制御部３８は、メモリ５４に記憶されている出力対象音声を音声出力部６０によって出力させ、画像生成・表示処理を終了する。また、ステップ２１６の判定が否定された場合は、ステップ２１８をスキップして画像生成・表示処理を終了する。

上記の処理により、例えば遊戯空間１８に車７６が配置された場合、図１１に示すように、第１表示部１２には、車７６の影７８が車７６に応じた位置に表示され、車７６の位置・向きに応じた位置・車７６の前後方向に延びる向きで道路８０が表示される。また、音声出力部６０によって車７６の走行音が出力される。また、例えば遊戯空間１８にうさぎ８２が配置された場合、図１３に示すように、第１表示部１２にはうさぎ８２の影８４がうさぎ８２に応じた位置に表示され、第２表示部１４及び第３表示部１６には夜空８６が表示される。

また、例えば遊戯空間１８に犬８８が配置された場合、図１５に示すように、第１表示部１２には、犬８８の位置に応じた位置に犬８８の影・足跡９０が表示されると共に、犬８８の位置に応じた位置にえさ９２が表示される。また、音声出力部６０によって犬８８の鳴き声が出力される。また、例えば遊戯空間１８にくじら９４が配置された場合、図１７に示すように、第１表示部１２には、くじら９４の位置に応じた位置に波９６が表示されると共に、くじら９４の位置に応じた一部範囲に水面９８が表示される。また、音声出力部６０によって波の音が出力される。

また、例えば遊戯空間１８に花１００が配置された場合、図１９に示すように、第１表示部１２には、花１００の位置に応じた位置に花１００の影１０２、周辺の小さな花１０４及び蝶１０６が表示される。また、花１００の位置に応じた一部範囲に花畑１０８が表示される。また、例えば遊戯空間１８に家１１０が配置された場合、図２１に示すように、第１表示部１２には、家１１０の位置に応じた位置に家１１０の影１１２が表示される。また、窓１１０Ａが開放状態であれば、窓１１０Ａの位置に応じた位置に窓１１０Ａの影１１４が表示される。更に、家１１０の位置に応じた一部範囲に石畳１１６が表示される。

上記処理によって表示部１２〜１６に表示される第１画像及び第２画像が、ユーザが遊戯空間１８内へパーツを配置する際に想像した風景と合致することは保証されない。しかし、遊戯装置１０が表示部１２〜１６に表示する第１画像及び第２画像は、ユーザが遊戯空間１８内に配置したパーツに関連する画像であるので、遊戯装置１０を使用した遊戯へのユーザの興味を刺激することができる。そして、ユーザは、表示された第１画像及び第２画像を鑑賞し、例えば、遊戯空間１８内に配置したパーツの位置を移動させたり、遊戯空間１８内にパーツを追加する等の操作を行う。

一方、画像生成・表示処理を終了すると、図７のステップ１５０に戻るが、表示部１２〜１６に第１画像及び第２画像が一旦表示された後は、ステップ１５４の判定が肯定されてステップ１５６へ移行する。ステップ１５６において、パーツ認識部２８Ｂは、「できた」ボタンユニット６４の「できた」ボタンが新たに押下されたか否か判定する。ステップ１５６の判定が否定された場合はステップ１８０へ移行し、表示更新処理を行う。以下、この表示更新処理について、図９を参照して説明する。

表示更新処理のステップ２３０において、表示画像生成部３８Ａは、パーツ総数ｃmaxが１以上か否か、すなわち遊戯空間１８内に１つ以上のパーツが配置されているか否か判定する。ステップ２３０の判定が否定された場合は表示更新処理を終了する。また、遊戯空間１８内に１つ以上のパーツが配置されている場合は、ステップ２３０の判定が肯定されてステップ２３２へ移行し、ステップ２３２において、表示画像生成部３８Ａは、変数ｃに１を設定する。

次のステップ２３４において、表示画像生成部３８Ａは、処理対象のｃ番目のパーツの情報(パーツＩＤ、位置、向き、パーツ領域の画像)をメモリ５４から読み出す。また、ステップ２３６において、表示画像生成部３８Ａは、ステップ２３４で読み出した情報に含まれるｃ番目のパーツのパーツ領域の画像を第１撮影画像及び第２撮影画像とマッチングする。そしてステップ２３８において、表示画像生成部３８Ａは、ステップ２３６のマッチングで演算した一致度が閾値未満か否かに基づいて、ｃ番目のパーツに位置などの変化が有ったか否か判定する。ステップ２３８の判定が否定された場合、処理対象のｃ番目のパーツは遊戯空間１８内に最初に配置されてから位置などが変化していないと判断できるので、ステップ２５６へ移行する。

一方、ユーザが遊戯空間１８内に一旦配置したパーツに対して、例えばパーツの位置の移動や可動部の位置の変更等の操作を行うと、当該パーツについてはステップ２３８の判定が肯定されてステップ２４２へ移行する。ステップ２４２において、表示画像生成部３８Ａは、処理対象のｃ番目のパーツのパーツ領域が第１撮影画像及び第２撮影画像上に各々存在しているかを探索する。そして、ステップ２４４において、表示画像生成部３８Ａは、ステップ２４２の探索によってｃ番目のパーツのパーツ領域が第１撮影画像及び第２撮影画像から各々抽出されたか否か判定する。

処理対象のパーツは、遊戯空間１８内に配置された際に第１撮影画像上及び第２撮影画像上で認識できているパーツである。このため、ステップ２４２の探索によって処理対象のパーツのパーツ領域が抽出されなかった場合、処理対象のパーツは遊戯空間１８内から取り除かれた可能性が高いと判断できる。このため、ステップ２４４の判定が否定された場合はステップ２５４へ移行する。

ステップ２５４において、表示画像生成部３８Ａは、処理対象のｃ番目のパーツに対応する第１画像及び第２画像を表示画像の記憶領域から消去する。そして、表示画像生成部３８Ａは、記憶領域に記憶されている表示画像を表示部１２〜１６に表示させる。これにより、処理対象のｃ番目のパーツに対応する第１画像及び第２画像は、表示部１２〜１６に表示されている画像から消去される。ステップ２５４の処理を行うとステップ２５６へ移行する。

また、ステップ２４２の探索によって処理対象のパーツのパーツ領域が抽出された場合は、ステップ２４４の判定が肯定されてステップ２４６へ移行する。ステップ２４６において、表示画像生成部３８Ａは、ステップ２４２の探索で抽出したｃ番目のパーツのパーツ領域の画像に基づき、先に説明したステップ１６４と同様の処理により、ｃ番目のパーツの位置及び向きを特定する。

次のステップ２４８において、表示画像生成部３８Ａは、先に説明したステップ２００と同様の処理により、ｃ番目のパーツに対応する第１画像の情報を表示画像ＤＢ３６から読み出す。ステップ２５０において、表示画像生成部３８Ａは、先に説明したステップ２００と同様の処理により、ｃ番目のパーツに対応する第１画像を生成する。

また、ステップ２５２において、表示画像生成部３８Ａは、先に説明したステップ２０４と同様の処理により、ステップ２５０で生成した第１画像がｃ番目のパーツの位置に応じた表示位置に表示されるように、第１画像を表示画像の記憶領域に描画する。そして、表示画像生成部３８Ａは、記憶領域に記憶されている表示画像を表示部１２〜１６に表示させる。ステップ２５２の処理を行うとステップ２５６へ移行する。

ステップ２５６において、表示画像生成部３８Ａは、変数ｃの値がパーツ総数ｃmaxに達したか否か判定する。ステップ２５６の判定が否定された場合はステップ２５８へ移行し、ステップ２５８において、表示画像生成部３８Ａは、変数ｃの値を１だけインクリメントしてステップ２３４に戻る。これにより、ステップ２５６の判定が肯定される迄、ステップ２３４〜２５８が繰り返され、遊戯空間１８内に配置されたパーツのうち位置などが変化した全てのパーツについて、対応する第１画像が更新される。そして、ステップ２５６の判定が肯定されると表示更新処理を終了する。

上記の処理により、例えば遊戯空間１８に配置された車７６が、図１１に実線で示す位置から半透明で示す位置へ移動されると、第１画像の一例である車７６の影７８は、移動後の車７６の位置に応じた表示位置へ移動される。一方、第２画像の一例である道路８０は、車７６の位置の変化に拘わらず、表示開始当初の位置・向きのままの表示が継続される。

また、例えば遊戯空間１８に配置されたうさぎ８２が、図１３に実線で示す位置から半透明で示す位置へ移動されると、第１画像の一例であるうさぎ８２の影８４は、移動後のうさぎ８２の位置に応じた表示位置へ移動される。一方、第２画像の一例である夜空８６は、うさぎ８２の位置の変化に拘わらず、表示開始当初の位置のまま表示が継続される。

また、例えば遊戯空間１８に配置された犬８８が、図１５に実線で示す位置から半透明で示す位置へ移動されると、第１画像の一例である犬８８の影・足跡９０は、移動後の犬８８の位置に応じた表示位置へ移動される。一方、第２画像の一例であるえさ９２は、犬８８の位置の変化に拘わらず、表示開始当初の位置のまま表示が継続される。

また、例えば遊戯空間１８に配置されたくじら９４が、図１７に実線で示す位置から半透明で示す位置へ移動されると、第１画像の一例である波９６は、移動後のくじら９４の位置に応じた表示位置へ移動される。一方、第２画像の一例である水面９８は、くじら９４の位置の変化に拘わらず、表示開始当初の表示範囲のまま表示が継続される。

また、例えば遊戯空間１８に配置された花１００が、図１９に実線で示す位置から半透明で示す位置へ移動されると、第１画像の一例である花１００の影１０２、周辺の小さな花１０４及び蝶１０６は、移動後の花１００の位置に応じた表示位置へ移動される。一方、第２画像の一例である花畑１０８は、花１００の位置の変化に拘わらず、表示開始当初の表示範囲のまま表示が継続される。

また、例えば遊戯空間１８に配置された家１１０の窓１１０Ａが、図２０に実線で示す閉止位置から図２１に示す開放位置へ移動されると、図２１に示すように、第１画像の一例である家１１０の影１１２に加えて窓１１０Ａの影１１４が追加表示される。一方、第２画像の一例である石畳１１６は、窓１１０Ａの位置の変化に拘わらず、表示開始当初の表示範囲のまま表示が継続される。

上記処理により、表示部１２〜１６に表示される第１画像を、ユーザが遊戯空間１８内に配置したパーツの位置を移動させる、という簡易な操作によって変化させることができる。これにより、ユーザに、遊戯空間１８内のパーツの配置が、この配置に応じて表示部１２〜１６に表示される第１画像及び第２画像を含めて自身の作品という意識が芽生え、遊戯装置１０を使用した遊戯へのユーザの興味を更に増大させることができる。

また、第１画像の表示位置が対応するパーツの位置の変化に応じて変化することで、遊戯空間１８内に配置したパーツのユーザにとっての現実感を向上させることができる。また、第１画像の表示位置をパーツの位置変化に追随させることで、ユーザがパーツの位置を動かしながら、頭の中で描いた風景を遊戯装置１０で実現することを支援することができる。

また、第２画像はパーツの位置変化に拘わらず表示が変化しないことで、遊戯空間１８内における当初のパーツの配置に応じて完成された風景が第２画像によって表現され、ユーザに安心感を与えることができる。なお、第２画像を更新したくなった場合には、ユーザが遊戯空間１８内のパーツの入れ替えなどを行って、「できた」ボタンユニット６４の「できた」ボタンを新たに押下する操作を行えばよい。これにより、図７のステップ１５６の判定が肯定されてステップ１５８へ移行し、ステップ１５８以降の処理が再度実行されることで、遊戯空間１８内の新たなパーツの配置に応じて、新たな第１画像及び第２画像が表示部１２〜１６に表示される。

このように、上記実施形態では、入力部３０を介して所定の入力を受け付けると、取得部２８が、遊戯空間１８内に配置されたパーツの種類及び位置を取得する。表示制御部３８は、遊戯空間１８に近接する表示部１２〜１６における、各々パーツの種類に関連する第１画像及び第２画像のうち第１画像及び変位フラグ＝１の第２画像の表示位置を、取得したパーツの位置に応じて決定する。そして表示制御部３８は、表示部１２〜１６に第１画像及び第２画像を表示させる。また表示制御部３８は、入力部３０を介して所定の入力を受け付けた後は、遊戯空間１８内におけるパーツの位置の変化に応じて第１画像の表示位置を変更し、第２画像については表示位置を変更せずに表示を継続させる。これにより、遊戯空間１８内に配置したパーツと表示部１２〜１６に表示された第１画像及び第２画像とがユーザの同一視野に入り、遊戯空間１８内に配置したパーツに第１画像及び第２画像を付加した拡張現実が実現される。そして、遊戯空間１８内に配置されたパーツと共に表示する第１画像及び第２画像のうちの第１画像を、ユーザが簡易な操作で変化させることを可能とすることができる。

また、上記実施形態では、取得部２８は、遊戯空間１８内に配置されたパーツの向きも取得し、表示制御部３８は、方向性フラグ＝１の第２画像の表示方向を取得部２８によって取得されたパーツの向きに応じて決定している。これにより、遊戯空間１８内に配置されたパーツに関連する少なくとも第２画像が、パーツの向きに応じた方向性を有する画像(方向性フラグ＝１)であったとしても、第２画像の表示方向に不自然さを与えることを抑制することができる。

また、上記実施形態では、取得部２８は、遊戯空間１８内に配置されたパーツが可動部を含む場合に、パーツの可動部の位置も取得し、表示制御部３８は、取得部２８によって取得された可動部の位置に応じて第１画像を変化させる。これにより、遊戯空間１８内に配置されたパーツが可動部を含む場合に、関連する第１画像の現実感を増大させることができる。

また、上記実施形態では、表示装置が、表示面１２Ａが遊戯空間１８内の底面を成す第１表示部１２と、表示面１４Ａ,１６Ａが遊戯空間１８内の側面を成す第２,３表示部１４,１６と、を含む。そして、表示制御部３８は、第１画像及び第２画像を、第１表示部１２及び第２,３表示部１４,１６の少なくとも一方に各々表示させる。このように、表示部１２〜１６は、遊戯空間１８に近接し、かつ遊戯空間１８を取り囲むように配置されている。これにより、遊戯空間１８に配置されたパーツと表示部１２〜１６に表示された第１画像及び第２画像との一体感を与えることができ、ユーザの興味を更に増大させることができる。

なお、上記では方向性フラグ＝１の第２画像(一例は図１１に示す道路８０)の表示方向を、対応するパーツの向きに応じて変化させる態様を説明したが、これに限定されるものではなく、対応するパーツの向きに応じて第１画像の向きも変化させてもよい。例えば、第１画像の一例であるパーツの影の表示にあたり、対応するパーツの向きを取得し、取得したパーツの向きに応じてパーツの影を変化させてもよい。これにより、パーツの影の表示精度を向上させることができる。

また、パーツの影の生成については、可動部を含むパーツに対応する影(一例は図２１に示す影１１２,１１４)を生成する処理同様に、光源の位置とパーツの３次元モデルから生成してもよい。例えば図１３に示す夜空８６は、日が暮れて月が出る動画像であるが、この動画像は時間経過に応じて光源の位置が変化する内容であるので、この種の背景を第２画像として表示する等の場合に、上記のパーツの影を生成する処理を適用してもよい。これにより、光源の位置変化に応じてパーツの影を変化させることができる。

また、上記では個々のパーツに対応する第１画像及び第２画像を表示画像ＤＢ３６に１種類ずつ登録する態様を説明したが、これに限定されるものではない。例えば、個々のパーツに対応する第１画像及び第２画像の少なくとも一方を表示画像ＤＢ３６に複数種登録しておき、複数種登録されている画像の中から一定の順序又はランダムに選択した画像を表示するようにしてもよい。

更に、上記では遊戯装置１０に付属するパーツを遊戯空間１８内に配置する態様を説明したが、遊戯装置１０に付属するパーツ以外の物体が遊戯空間１８内に配置された場合にも、当該物体に関連する第１画像及び第２画像を表示するようにしてもよい。具体的には、例えば、図７のステップ１６４で一致度が閾値以上の画像がパーツ情報ＤＢ３４に未登録の場合や、ステップ１６８で一致度が閾値以上のパーツ領域が第２撮影画像に存在しない場合、処理対象のパーツ領域はパーツ以外の物体と判定する。この場合、処理対象のパーツ領域の外形形状や特徴点の配置などに基づいて処理対象のパーツ領域に対応する物体の種類を判別し、判別した物体の種類からパーツ情報ＤＢ３４から物体に類似するパーツのパーツＩＤを判定する。そして、判定したパーツＩＤと表示画像ＤＢ３６上で対応付けられた第１画像及び第２画像を表示し、物体の位置変化に応じて第１画像の表示位置を変化させるようにしてもよい。

また、上記では、遊戯空間１８内に配置されたパーツの種類、位置及び向きを、遊戯空間１８を撮影した第１及び第２撮影画像に基づいて認識(取得)する態様を説明したが、これに限定されるものではない。例えば、個々のパーツにＩＣタグを付加しておき、遊戯空間１８内に配置されたパーツのＩＣタグとNear Field Communication(ＮＦＣ)などの近距離無線通信を行うことで、遊戯空間１８内に配置されたパーツの種類や位置などを取得するようにしてもよい。

この場合、図１に示した第１カメラ２４及び第２カメラ２６に代えて、ＩＣタグのリーダを少なくとも１つ設ければよく、取得部２８の撮影画像取得部２８Ａも不要になる。ＩＣタグのリーダは、例えば、互いに位置の異なる箇所に設置した複数のアンテナを接続しておき、個々のアンテナがＩＣタグから受信した電波の電界強度の分布に基づいてパーツの位置を検出するように構成してもよい。また、ＩＣタグのリーダは、例えば、ＩＣタグから受信した情報に含まれる識別情報に基づいて、ＩＣタグが付加されたパーツの種類を検出するように構成してもよい。

また、この場合、遊戯装置１０として機能するコンピュータ５０(図６)において、上記のＩＣタグのリーダは、第１カメラ２４及び第２カメラ２６に代えてバス６２に接続すればよい。更に、この場合、遊戯装置制御処理(図７)において、撮影画像の取得、パーツ領域の探索、画像のマッチングなどの処理(ステップ１５０,１５２,１６０〜１７４)は不要になる。これらの処理に代えて、例えば、ＩＣタグのリーダが検出したパーツの位置（又は、位置及び種類）をＩＣタグのリーダから取得する処理を行うことができる。

また、上記では表示装置の一例として、ＬＣＤ、ＯＥＬＤ等によって実現される第１表示部１２、第２表示部１４及び第３表示部１６を説明したが、これに限定されるものではない。表示装置は、例えば部屋の壁面等を表示領域として画像を投影表示するプロジェクタ等であってもよい。

また、上記では本発明に係る表示制御プログラムの一例である遊戯装置制御プログラム６６が記憶部５６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。本発明に係る表示制御プログラムは、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、メモリカード等の記録媒体に記録されている形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
所定の入力を受け付けると、所定領域内に配置された物体の位置を取得し、
前記所定領域に近接する表示装置の表示領域における、第１画像及び第２画像のうちの少なくとも前記第１画像の表示位置を、取得した前記物体の位置に応じて決定し、前記表示装置に前記第１画像及び前記第２画像を表示させ、
前記所定の入力を受け付けた後は、前記所定領域内における前記物体の位置の変化に応じて前記第１画像の表示位置を変更し、前記第２画像については表示位置を変更せずに表示を継続させる
処理をコンピュータが実行する表示制御方法。

（付記２）
前記取得する処理は、更に、前記物体の種類を取得し、
前記表示させる処理は、物体に関連する前記第１画像及び前記第２画像の情報が物体の種類毎に記憶された記憶部を参照して、前記物体の種類に関連する第１画像及び第２画像を特定する付記１記載の表示制御方法。

（付記３）
前記取得する処理は、更に、前記物体の向きを取得し、
前記表示させる処理は、取得した前記物体の向きに応じて少なくとも前記第２画像の表示方向を決定する付記１又は付記２記載の表示制御方法。

（付記４）
前記取得する処理は、更に、前記所定領域内に配置された物体が可動部を含む場合に、前記物体の前記可動部の位置を取得し、
前記表示させる処理は、取得した前記物体の前記可動部の位置に応じて前記第１画像を変化させる付記１〜付記３の何れか１項記載の表示制御方法。

（付記５）
前記表示装置は、表示面が前記所定領域の底面を成す第１表示部と、表示面が前記所定領域の側面を成す第２表示部と、を含み、
前記表示させる処理は、前記第１画像及び前記第２画像を、前記第１表示部及び前記第２表示部の少なくとも一方に各々表示させる付記１〜付記４の何れか１項記載の表示制御方法。

（付記６）
所定の入力を受け付けると、所定領域内に配置された物体の位置を取得する取得部と、
前記所定領域に近接する表示装置の表示領域における、第１画像及び第２画像のうちの少なくとも前記第１画像の表示位置を、前記取得部によって取得された前記物体の位置に応じて決定し、前記表示装置に前記第１画像及び前記第２画像を表示させ、前記所定の入力を受け付けた後は、前記所定領域内における前記物体の位置の変化に応じて前記第１画像の表示位置を変更し、前記第２画像については表示位置を変更せずに表示を継続させる表示制御部と、
を含む表示制御装置。

（付記７）
前記取得部は、更に、前記物体の種類を取得し、
前記表示制御部は、物体に関連する前記第１画像及び前記第２画像の情報が物体の種類毎に記憶された記憶部を参照して、前記物体の種類に関連する第１画像及び第２画像を特定する付記６記載の表示制御装置。

（付記８）
前記取得部は、更に、前記物体の向きを取得し、
前記表示制御部は、前記取得部によって取得された前記物体の向きに応じて少なくとも前記第２画像の表示方向を決定する付記６又は付記７記載の表示制御装置。

（付記９）
前記取得部は、更に、前記所定領域内に配置された物体が可動部を含む場合に、前記物体の前記可動部の位置を取得し、
前記表示制御部は、取得した前記物体の前記可動部の位置に応じて前記第１画像を変化させる付記６〜付記８の何れか１項記載の表示制御装置。

（付記１０）
前記表示装置は、表示面が前記所定領域の底面を成す第１表示部と、表示面が前記所定領域の側面を成す第２表示部と、を含み、
前記表示制御部は、前記第１画像及び前記第２画像を、前記第１表示部及び前記第２表示部の少なくとも一方に各々表示させる付記６〜付記９の何れか１項記載の表示制御装置。

（付記１１）
コンピュータに、
所定の入力を受け付けると、所定領域内に配置された物体の位置を取得し、
前記所定領域に近接する表示装置の表示領域における、第１画像及び第２画像のうちの少なくとも前記第１画像の表示位置を、取得した前記物体の位置に応じて決定し、前記表示装置に前記第１画像及び前記第２画像を表示させ、
前記所定の入力を受け付けた後は、前記所定領域内における前記物体の位置の変化に応じて前記第１画像の表示位置を変更し、前記第２画像については表示位置を変更せずに表示を継続させる
処理を実行させるための表示制御プログラム。

（付記１２）
前記取得する処理は、更に、前記物体の種類を取得し、
前記表示させる処理は、物体に関連する前記第１画像及び前記第２画像の情報が物体の種類毎に記憶された記憶部を参照して、前記物体の種類に関連する第１画像及び第２画像を特定する付記１１記載の表示制御プログラム。

（付記１３）
前記取得する処理は、更に、前記物体の向きを取得し、
前記表示させる処理は、取得した前記物体の向きに応じて少なくとも前記第２画像の表示方向を決定する付記１１又は付記１２記載の表示制御プログラム。

（付記１４）
前記取得する処理は、更に、前記所定領域内に配置された物体が可動部を含む場合に、前記物体の前記可動部の位置を取得し、
前記表示させる処理は、取得した前記物体の前記可動部の位置に応じて前記第１画像を変化させる付記１１〜付記１３の何れか１項記載の表示制御プログラム。

（付記１５）
前記表示装置は、表示面が前記所定領域の底面を成す第１表示部と、表示面が前記所定領域の側面を成す第２表示部と、を含み、
前記表示させる処理は、前記第１画像及び前記第２画像を、前記第１表示部及び前記第２表示部の少なくとも一方に各々表示させる付記１１〜付記１４の何れか１項記載の表示制御プログラム。

１０…遊戯装置、１２…第１表示部、１４…第２表示部、１６…第３表示部、１８…遊戯空間、２４…第１カメラ、２６…第１カメラ、２８…取得部、２８Ａ…撮影画像取得部、２８Ｂ…パーツ認識部、３０…入力部、３２…記憶部、３４…パーツ情報ＤＢ、３６…表示画像ＤＢ、３８…表示制御部、３８Ａ…表示画像生成部、３８Ｂ…表示画像出力部、５０…コンピュータ、５２…ＣＰＵ、５４…メモリ、５６…記憶部、６４…「できた」ボタンユニット、６６…遊戯装置制御プログラム

Claims

所定の入力を受け付けると、所定領域内に配置された物体の位置を取得し、
前記所定領域に近接する表示装置の表示領域における、第１画像及び第２画像のうちの少なくとも前記第１画像の表示位置を、取得した前記物体の位置に応じて決定し、前記表示装置に前記第１画像及び前記第２画像を表示させ、
前記所定の入力を受け付けた後は、前記所定領域内における前記物体の位置の変化に応じて前記第１画像の表示位置を変更し、前記第２画像については表示位置を変更せずに表示を継続させる
処理をコンピュータが実行する表示制御方法。
前記取得する処理は、更に、前記物体の種類を取得し、
前記表示させる処理は、物体に関連する前記第１画像及び前記第２画像の情報が物体の種類毎に記憶された記憶部を参照して、前記物体の種類に関連する第１画像及び第２画像を特定する請求項１記載の表示制御方法。
前記取得する処理は、更に、前記物体の向きを取得し、
前記表示させる処理は、取得した前記物体の向きに応じて少なくとも前記第２画像の表示方向を決定する請求項１又は請求項２記載の表示制御方法。
前記取得する処理は、更に、前記所定領域内に配置された物体が可動部を含む場合に、前記物体の前記可動部の位置を取得し、
前記表示させる処理は、取得した前記物体の前記可動部の位置に応じて前記第１画像を変化させる請求項１〜請求項３の何れか１項記載の表示制御方法。
前記表示装置は、表示面が前記所定領域の底面を成す第１表示部と、表示面が前記所定領域の側面を成す第２表示部と、を含み、
前記第１画像及び前記第２画像を、前記第１表示部及び前記第２表示部の少なくとも一方に各々表示させる請求項１〜請求項４の何れか１項記載の表示制御方法。
所定の入力を受け付けると、所定領域内に配置された物体の位置を取得する取得部と、
前記所定領域に近接する表示装置の表示領域における、第１画像及び第２画像のうちの少なくとも前記第１画像の表示位置を、前記取得部によって取得された前記物体の位置に応じて決定し、前記表示装置に前記第１画像及び前記第２画像を表示させ、前記所定の入力を受け付けた後は、前記所定領域内における前記物体の位置の変化に応じて前記第１画像の表示位置を変更し、前記第２画像については表示位置を変更せずに表示を継続させる表示制御部と、
を含む表示制御装置。
コンピュータに、
所定の入力を受け付けると、所定領域内に配置された物体の位置を取得し、
前記所定領域に近接する表示装置の表示領域における、第１画像及び第２画像のうちの少なくとも前記第１画像の表示位置を、取得した前記物体の位置に応じて決定し、前記表示装置に前記第１画像及び前記第２画像を表示させ、
前記所定の入力を受け付けた後は、前記所定領域内における前記物体の位置の変化に応じて前記第１画像の表示位置を変更し、前記第２画像については表示位置を変更せずに表示を継続させる
処理を実行させるための表示制御プログラム。