JP2012094100A - Image display system, image display device and image display method - Google Patents

Image display system, image display device and image display method Download PDF

Info

Publication number
JP2012094100A
JP2012094100A JP2010294571A JP2010294571A JP2012094100A JP 2012094100 A JP2012094100 A JP 2012094100A JP 2010294571 A JP2010294571 A JP 2010294571A JP 2010294571 A JP2010294571 A JP 2010294571A JP 2012094100 A JP2012094100 A JP 2012094100A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
left
right
position
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010294571A
Other languages
Japanese (ja)
Other versions
JP4696184B1 (en )
Inventor
Koichi Kawamoto
Hideki Konno
Kenta Kubo
Kenichi Sugino
Ryuji Umetsu
堅太 久保
憲一 杉野
隆二 梅津
浩一 河本
秀樹 紺野
Original Assignee
Nintendo Co Ltd
任天堂株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an image display system that allows a user to more readily and comfortably enjoy an application using AR technology.SOLUTION: A portable image display device includes a touch panel, a stereoscopic display device that enables a stereoscopic view by the naked eye, a first imaging unit, and a second imaging unit. The portable image display device detects a marker from a real world image taken by at least one of the first imaging unit and the second imaging unit, and determines a relative position between a virtual object and a pair of virtual cameras (a first virtual camera and a second virtual camera) in a virtual space on the basis of the detection result. Then, the portable image display device combines the real world image taken by the first imaging unit and the second imaging unit with a virtual space image drawn on the basis of the first virtual camera and the second virtual camera to display an image stereoscopically viewed by the naked eye on the stereoscopic display device.

Description

本発明は、画像表示システム、画像表示装置および画像表示方法に関し、特に、立体視可能な立体表示部に、3次元の仮想オブジェクトを合成した実世界画像を立体表示するための画像表示システム、画像表示装置および画像表示方法に関する。 The present invention relates to an image display system, a method an image display device and an image display, in particular, the stereoscopic display unit capable stereoscopic image display system for displaying a three-dimensional real world image obtained by combining the three-dimensional virtual object image to methods display and image display.

近年、実世界の画像に仮想オブジェクトを合成表示することによって、その仮想オブジェクトがあたかも実世界内に実在するかのように表示する、AR(Augmented Reality:拡張現実感)技術の研究が進んでいる。 In recent years, by combining display the virtual object in the real world of the image, it is displayed as if the virtual object as if they were actually exists in the real world, AR: is progressing research of (Augmented Reality Augmented Reality) technology .

例えば、特許文献1に開示されている立体表示装置では、ヘッドマウントディスプレイに取り付けられている右目カメラおよび左目カメラによってそれぞれ撮像された画像から、実空間に配置されたマーカーに対する右目カメラおよび左目カメラの相対位置姿勢をそれぞれ求め、その結果に基づいて、右目用の仮想オブジェクトの画像と左目用の仮想オブジェクトの画像をそれぞれ生成している。 For example, in the stereoscopic display device disclosed in Patent Document 1, from the image captured respectively by right camera and the left eye camera attached to a head mounted display, the right-eye camera and the left eye camera to the arrangement marker in the real space It obtains the relative position and orientation respectively, based on the result, and generates respectively an image of a virtual object image and the left eye of the virtual object for the right eye. そして、右目カメラおよび左目カメラによってそれぞれ撮像された画像に対して、右目用の仮想オブジェクトの画像と左目用の仮想オブジェクトの画像をそれぞれ合成して、それらの合成画像を右目LCD(液晶画面)と左目LCDにそれぞれ表示している。 Then, for each image captured by the right eye camera and the left camera, and each combining images of a virtual object image and the left eye of the virtual object for the right eye, those synthesized image and the right eye LCD (liquid crystal display) They are respectively displayed on the left LCD.

特開2008−146109号公報 JP 2008-146109 JP

しかしながら、特許文献1に開示されている立体表示装置では、ユーザはヘッドマウントディスプレイを装着しなければならず、AR技術を用いたアプリケーションを気軽にかつ快適に楽しむことができない。 However, in the stereoscopic display device disclosed in Patent Document 1, the user has to mount the head-mounted display, it is impossible to freely and comfortably enjoy the applications using AR technology.

それ故、本発明の目的は、AR技術を用いたアプリケーションを、より気軽にかつ快適に楽しむことができる画像表示システム、画像表示装置および画像表示方法を提供することである。 It is therefore an object of the present invention, an application using the AR technology, more willingly and image display system can enjoy comfortable, it is to provide an image display device and an image display method.

本発明は、上記の課題を解決するために、以下の構成を採用した。 The present invention, in order to solve the above problems, has adopted the following configuration.

本発明の画像表示システムの一構成例は、実世界画像に仮想空間画像を合成表示する画像表示システムである。 An example of a configuration of an image display system of the present invention is an image display system for synthesizing and displaying a virtual space image to the real world image. 当該画像表示システムは、手持ち型の画像表示装置と、実世界に配置されるマーカーとを備える。 The image display system includes a hand-held image display device, and a marker disposed in the real world.

前記画像表示装置は、上側ハウジングおよび下側ハウジングと、平面表示部と、タッチパネルと、立体表示部と、第1撮像部および第2撮像部と、検出手段と、決定手段と、第1仮想空間画像生成手段と、第2仮想空間画像生成手段と、表示制御手段とを含む。 The image display apparatus, an upper housing and a lower housing, and a flat display unit, a touch panel and a stereoscopic display unit, a first imaging unit and the second imaging unit, a detecting unit, a determining unit, a first virtual space including an image generation unit, a second virtual space image generating means, and display control means.

上記上側ハウジングおよび下側ハウジングは、互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状のハウジングである。 The upper housing and lower housing can be connected to a horizontally long rectangular plate-shaped housing folded via the connecting portion in the longer sides. 上記平面表示部は、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する。 The flat display portion is located adjacent to the connecting portion on the inner surface which is the upper housing and the opposite major surfaces of said lower housing when said lower housing and the upper housing is folded. 上記タッチパネルは、前記平面表示部の画面上に設けられる。 The touch panel is provided on a screen of the flat display portion. 上記立体表示部は、前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な表示部である。 The stereoscopic display unit has a screen area larger than the screen of the flat display portion, in the main surface of the upper housing opposite to the lower housing when said lower housing and the upper housing is folded there located adjacent to the connecting portion on the inner surface, an autostereoscopic capable display unit that is not a touch panel provided on the screen. 上記第1撮像部および第2撮像部は、前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向(以下、左右方向と称す)に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられる。 The first imaging unit and the second imaging unit, the inner on the outer surface, which is different from the main surface and the side surface of the upper housing, the long side direction of the upper housing (hereinafter, referred to as lateral direction) along, the positions symmetric from the center of the screen of the stereoscopic display unit is provided so the upper housing integrally. 上記検出手段は、前記第1撮像部および前記第2撮像部の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢を自動的に検出する。 It said detection means automatically detects the position and orientation of the marker from the real world image captured by at least one of the first imaging unit and the second imaging unit. 上記決定手段は、前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第1仮想カメラおよび第2仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新する。 Said determining means, without using the coordinates in the real world that indicates the position of the marker based on the position and orientation of the marker in said detected real world image by said marker detection means, in the virtual space, the first virtual camera and the position and orientation of the pair of virtual cameras to determine and update of a second virtual camera. 上記第1仮想空間画像生成手段は、前記第1仮想カメラに基づいて、前記仮想空間を描画して第1仮想空間画像を生成する。 The first virtual space image generating means, based on the first virtual camera to generate a first virtual space image by rendering the virtual space. 上記第2仮想空間画像生成手段は、前記第2仮想カメラに基づいて、前記仮想空間を描画して第2仮想空間画像を生成する。 The second virtual space image generating means, based on the second virtual camera to generate a second virtual space image by rendering the virtual space. 上記表示制御手段は、前記第1撮像部によって撮像された第1実世界画像に前記第1仮想空間画像を合成した第1合成画像と、前記第2撮像部によって撮像された第2実世界画像に前記第2仮想空間画像を合成した第2合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる。 Said display control means, wherein the first composite image of the first virtual space image on the first real world image captured by the first imaging unit, a second real world image captured by the second image pickup unit the second based on the virtual space image and a second synthesized image of displays autostereoscopic visible image on the stereoscopic display unit.

前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ、1以上の操作ボタンが設けられている。 The inner surface of the lower housing, operable position with the right hand of the user gripping the right end portion of the lower housing, and operable positions by the left hand of the user gripping the left end of the lower housing , respectively, one or more operation buttons are provided. 上記画像表示装置は、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチをさらに含んでいる。 The image display apparatus, the inner surface of the upper housing and provided at an end portion of the right side surface, further comprising a switch for switching the three-dimensional display and planar display. 前記表示制御手段は、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換える。 The display control means switches in accordance with the state of the switch, a stereoscopic display for displaying images stereoscopically, and a flat display displayed in a planar manner image.

本発明の画像表示システムの他の構成例として、前記上側ハウジングの内側面には、前記立体表示部の画面を左右に2等分する線上に第3撮像部が設けられていてもよい。 As another configuration example of the image display system of the present invention, the inner surface of the upper housing may be third image pickup unit is provided on a line bisecting the screen of the stereoscopic display unit on the left and right.

本発明の画像表示システムの他の構成例として、前記上側ハウジングには一対のスピーカが設けられており、前記上側ハウジングの内側面上には、左右方向に前記立体表示部の画面を挟むように、前記一対のスピーカに対応する一対のスピーカ孔が設けられていてもよい。 As another configuration example of the image display system of the present invention, said upper housing is provided with a pair of speakers, on the inner surface of the upper housing, as in the left-right direction to sandwich the screen of the stereoscopic display unit , a pair of speaker hole corresponding to the pair of speakers may be provided.

本発明の画像表示システムの他の構成例として、前記下側ハウジングの長辺方向に平行な2つの側面のうちの前記上側ハウジングに接続されている側の側面の右端部および左端部には操作ボタンが設けられていてもよい。 As another configuration example of the image display system of the present invention, the operation to the right end portion and left end portion of the side surface on the side where the connected to the upper housing of the two sides parallel to the long side direction of the lower housing button may be provided.

本発明の画像表示システムの他の構成例として、前記画像表示装置は、携帯型ゲーム装置であってもよい。 As another configuration example of the image display system of the present invention, the image display apparatus may be a portable game device.

本発明の画像表示装置の一構成例は、実世界画像に仮想空間画像を合成表示する手持ち型の画像表示装置であって、上側ハウジングおよび下側ハウジングと、平面表示部と、タッチパネルと、立体表示部と、第1撮像部および第2撮像部と、検出手段と、決定手段と、第1仮想空間画像生成手段と、第2仮想空間画像生成手段と、表示制御手段とを備える。 Examples of the configuration of an image display device of the present invention is a hand-held type image display apparatus for synthesizing and displaying a virtual space image to the real world image, an upper housing and a lower housing, and a flat display unit, a touch panel, three-dimensional comprising a display unit, a first imaging unit and the second imaging unit, a detecting unit, a determination unit, a first virtual space image generating means, second virtual space image generating means, and display control means.

上記上側ハウジングおよび下側ハウジングは、互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状のハウジングである。 The upper housing and lower housing can be connected to a horizontally long rectangular plate-shaped housing folded via the connecting portion in the longer sides. 上記平面表示部は、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する。 The flat display portion is located adjacent to the connecting portion on the inner surface which is the upper housing and the opposite major surfaces of said lower housing when said lower housing and the upper housing is folded. 上記タッチパネルは、前記平面表示部の画面上に設けられる。 The touch panel is provided on a screen of the flat display portion. 上記立体表示部は、前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な表示部である。 The stereoscopic display unit has a screen area larger than the screen of the flat display portion, in the main surface of the upper housing opposite to the lower housing when said lower housing and the upper housing is folded there located adjacent to the connecting portion on the inner surface, an autostereoscopic capable display unit that is not a touch panel provided on the screen. 上記第1撮像部および第2撮像部は、前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向(以下、左右方向と称す)に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられる。 The first imaging unit and the second imaging unit, the inner on the outer surface, which is different from the main surface and the side surface of the upper housing, the long side direction of the upper housing (hereinafter, referred to as lateral direction) along, the positions symmetric from the center of the screen of the stereoscopic display unit is provided so the upper housing integrally. 上記検出手段は、前記第1撮像部および前記第2撮像部の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢を自動的に検出する。 It said detection means automatically detects the position and orientation of the marker from the real world image captured by at least one of the first imaging unit and the second imaging unit. 上記決定手段は、前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第1仮想カメラおよび第2仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新する。 Said determining means, without using the coordinates in the real world that indicates the position of the marker based on the position and orientation of the marker in said detected real world image by said marker detection means, in the virtual space, the first virtual camera and the position and orientation of the pair of virtual cameras to determine and update of a second virtual camera. 上記第1仮想空間画像生成手段は、前記第1仮想カメラに基づいて、前記仮想空間を描画して第1仮想空間画像を生成する。 The first virtual space image generating means, based on the first virtual camera to generate a first virtual space image by rendering the virtual space. 上記第2仮想空間画像生成手段は、前記第2仮想カメラに基づいて、前記仮想空間を描画して第2仮想空間画像を生成する。 The second virtual space image generating means, based on the second virtual camera to generate a second virtual space image by rendering the virtual space. 上記表示制御手段は、前記第1撮像部によって撮像された第1実世界画像に前記第1仮想空間画像を合成した第1合成画像と、前記第2撮像部によって撮像された第2実世界画像に前記第2仮想空間画像を合成した第2合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させる。 Said display control means, wherein the first composite image of the first virtual space image on the first real world image captured by the first imaging unit, a second real world image captured by the second image pickup unit the second based on the virtual space image and a second synthesized image of displays autostereoscopic visible image on the stereoscopic display unit.

前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ、1以上の操作ボタンが設けられている。 The inner surface of the lower housing, operable position with the right hand of the user gripping the right end portion of the lower housing, and operable positions by the left hand of the user gripping the left end of the lower housing , respectively, one or more operation buttons are provided. 上記画像表示装置は、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチをさらに含んでいる。 The image display apparatus, the inner surface of the upper housing and provided at an end portion of the right side surface, further comprising a switch for switching the three-dimensional display and planar display. 前記表示制御手段は、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換える。 The display control means switches in accordance with the state of the switch, a stereoscopic display for displaying images stereoscopically, and a flat display displayed in a planar manner image.

本発明の画像表示装置の一構成例は、手持ち型の画像表示装置と、実世界に配置されるマーカーとを備えた画像表示システムにおいて、実世界画像に仮想空間画像を合成表示する画像表示方法である。 Examples of the configuration of an image display device of the present invention includes a hand-held image display device, the image display system comprising a marker disposed in the real world, an image display method for synthesizing and displaying a virtual space image to the real world image it is.

前記画像表示装置は、上側ハウジングおよび下側ハウジングと、平面表示部と、タッチパネルと、立体表示部と、第1撮像部および第2撮像部と、1以上の操作ボタンと、スイッチとを備える。 The image display apparatus includes an upper housing and a lower housing, and a flat display unit, a touch panel, and a stereoscopic display unit, a first imaging unit and the second imaging unit, one or more of the operation buttons, and a switch.

上記上側ハウジングおよび下側ハウジングは、互いの長辺部分において連結部を介して折り畳み可能に接続された横長の長方形の板状のハウジングである。 The upper housing and lower housing can be connected to a horizontally long rectangular plate-shaped housing folded via the connecting portion in the longer sides. 上記平面表示部は、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記上側ハウジングと対向する前記下側ハウジングの主面である内側面上に前記連結部に隣接して位置する。 The flat display portion is located adjacent to the connecting portion on the inner surface which is the upper housing and the opposite major surfaces of said lower housing when said lower housing and the upper housing is folded. 上記タッチパネルは、前記平面表示部の画面上に設けられる。 The touch panel is provided on a screen of the flat display portion. 上記立体表示部は、前記平面表示部の画面よりも面積が大きい画面を有し、前記上側ハウジングと前記下側ハウジングが折り畳まれたときに前記下側ハウジングと対向する前記上側ハウジングの主面である内側面上に前記連結部に隣接して位置する、画面上にタッチパネルが設けられていない裸眼立体視可能な表示部である。 The stereoscopic display unit has a screen area larger than the screen of the flat display portion, in the main surface of the upper housing opposite to the lower housing when said lower housing and the upper housing is folded there located adjacent to the connecting portion on the inner surface, an autostereoscopic capable display unit that is not a touch panel provided on the screen. 上記第1撮像部および第2撮像部は、前記上側ハウジングの前記内側面とは異なる主面である外側面上に、当該上側ハウジングの長辺方向(以下、左右方向と称す)に沿って、前記立体表示部の画面の中央から対称となる位置に、当該上側ハウジングと一体的に設けられる。 The first imaging unit and the second imaging unit, the inner on the outer surface, which is different from the main surface and the side surface of the upper housing, the long side direction of the upper housing (hereinafter, referred to as lateral direction) along, the positions symmetric from the center of the screen of the stereoscopic display unit is provided so the upper housing integrally. 上記1以上の操作ボタンは、前記下側ハウジングの内側面の、当該下側ハウジングの右側端部を把持したユーザの右手で操作可能な位置、および当該下側ハウジングの左側端部を把持したユーザの左手で操作可能な位置に、それぞれ設けられている。 User said one or more operation buttons are the inner surface of the lower housing, gripping operable position with the right hand of the user gripping the right end portion of the lower housing, and a left end portion of the lower housing of the operable position with the left hand, it is respectively provided. 上記スイッチは、前記上側ハウジングの内側面および右側面の端部に設けられた、立体表示と平面表示を切り替えるためのスイッチである。 The switch, the inner surface of the upper housing and provided at an end portion of the right side, a switch for switching the three-dimensional display and planar display.

上記画像表示方法は、前記画像表示装置の検出手段が、前記第1撮像部および前記第2撮像部の少なくとも一方によって撮像された実世界画像から前記マーカーの位置および姿勢に検出するステップと、前記画像表示装置の決定手段が、前記マーカーの位置を示す現実世界における座標を用いることなく、前記マーカー検出手段によって検出された前記実世界画像におけるマーカーの位置および姿勢に基づいて、仮想空間において、第1仮想カメラおよび第2仮想カメラからなる一対の仮想カメラの位置および姿勢を決定および更新するステップと、前記画像表示装置の第1仮想空間画像生成手段が、前記第1仮想カメラに基づいて、前記仮想空間を描画して第1仮想空間画像を生成するステップと、前記画像表示装置の第2仮想空間画像生 The image display method, the detection means of the image display device, comprising the steps of: detecting the real world image captured by at least one of the first imaging unit and the second imaging unit position and orientation of the marker, the determination means of the image display device, without using the coordinates in the real world that indicates the position of the marker based on the position and orientation of the marker in the real world image detected by the marker detection means, in the virtual space, the 1 determining and updating the position and orientation of the pair of virtual cameras consisting of a virtual camera and a second virtual camera, the first virtual space image generating means of said image display device, based on the first virtual camera, wherein generating a first virtual space image by rendering the virtual space, the second virtual space image generation of the image display device 手段が、前記第2仮想カメラに基づいて、前記仮想空間を描画して第2仮想空間画像を生成するステップと、前記画像表示装置の表示制御手段が、前記第1撮像部によって撮像された第1実世界画像に前記第1仮想空間画像を合成した第1合成画像と、前記第2撮像部によって撮像された第2実世界画像に前記第2仮想空間画像を合成した第2合成画像とに基づいて、前記立体表示部に裸眼立体視可能な画像を表示させるステップと、前記表示制御手段が、前記スイッチの状態に応じて、画像を立体視可能に表示する立体表示と、画像を平面的に表示する平面表示とを切り換えるステップとを備える。 Means, based on the second virtual camera, and generating a second virtual space image by rendering the virtual space, the display control unit of the image display device, the captured by the first image pickup unit 1 a first composite image of the first virtual space image on the real world image, and a second composite image of the second virtual space image on the second real world image captured by the second image pickup unit based on the steps of displaying autostereoscopic visible image on the stereoscopic display unit, the display control means, depending on the state of the switch, a stereoscopic display for displaying images stereoscopically, planar images and a step of switching a plane display for displaying the.

本発明によれば、AR技術を用いたアプリケーションを気軽にかつ快適に楽しむことができる。 According to the present invention, it is possible to enjoy freely and comfortably applications using AR technology.

開状態におけるゲーム装置A10の正面図 A front view of the game apparatus A10 in the open state 開状態におけるゲーム装置A10の側面図 Side view of the game apparatus A10 in the open state 閉状態におけるゲーム装置A10の左側面図、正面図、右側面図および背面図 Left side view of the game apparatus A10 in the closed state, a front view, a right side and rear views 図1に示す上側ハウジングA21のA−A'線断面図 A-A 'sectional view of the upper housing A21 shown in FIG. 1 3D調整スイッチA25のスライダA25aが最下点(第3の位置)に存在する様子を示す図 Diagram illustrating a state in which the slider A25a of the 3D adjustment switch A25 is present in the lowermost position (third position) 3D調整スイッチA25のスライダA25aが最下点よりも上方位置(第1の位置)に存在する様子を示す図 Diagram illustrating a state in which the slider A25a of the 3D adjustment switch A25 is present in a position above the lowermost point (the first position) 3D調整スイッチA25のスライダA25aが最上点(第2の位置)に存在する様子を示す図 Diagram illustrating a state in which the slider A25a of the 3D adjustment switch A25 is present in the uppermost position (second position) ゲーム装置A10の内部構成を示すブロック図 Block diagram showing the internal configuration of the game apparatus A10 上側LCDA22の画面に表示される立体画像の一例を示す図 It illustrates an example of a stereoscopic image displayed on the screen of the upper LCDA22 上側LCDA22の画面に表示される立体画像の他の一例を示す図 Diagram showing another example of a stereoscopic image displayed on the screen of the upper LCDA22 マーカーA61を示す図 It shows the marker A61 上側LCDA22の画面に表示される立体画像のさらに他の一例を示す図 Figure showing still another example of the three-dimensional image to be displayed on the screen of the upper LCDA22 ゲーム装置A10のメインメモリA32のメモリマップを示す図 It shows the memory map of the main memory A32 of the game device A10 メインメモリA32に格納される各種変数の一例を示す図 It shows an example of various variables stored in the main memory A32 マーカー処理の流れを示すフローチャート Flowchart showing the flow of the marker processing メイン処理の流れを示すフローチャート Flowchart showing a flow of main processing 更新処理の詳細を示すフローチャート Flowchart showing details of the update processing 仮想カメラ間隔決定処理の詳細を示すフローチャート Flowchart showing details of the virtual camera interval determination process ビュー行列生成処理の詳細を示すフローチャート Flowchart showing details of the view matrix generation process メイン実世界画像設定処理の詳細を示すフローチャート Flow chart showing the details of the main real-world image setting process 表示モード切替処理の詳細を示すフローチャート Flowchart showing details of a display mode switching process 左実世界画像および右実世界画像の一例を示す図 It illustrates an example of the left real world image and the right real world image マーカー認識処理の結果に応じて算出される左仮想カメラA63Lの位置及び姿勢を示す図 Shows the position and orientation of the left virtual camera A63L calculated according to the result of the marker recognition processing マーカー認識処理の結果に応じて算出される右仮想カメラA63Rの位置及び姿勢を示す図 Shows the position and orientation of the right virtual camera A63R calculated according to the result of the marker recognition processing 立体視ゼロ距離に基づく左実世界画像の切り出し範囲を示す図 It shows a cut-out area of ​​the left real world image based on the stereoscopic zero distance 立体視ゼロ距離に基づく右実世界画像の切り出し範囲を示す図 It shows a cut-out area of ​​the right real world image based on the stereoscopic zero distance 仮想オブジェクトA62と左仮想カメラA63Lの位置関係を示す図 Diagram showing the positional relationship between the virtual object A62 and the left virtual camera A63L 左目用画像の生成方法を示す図 It illustrates a method for generating left eye image 左仮想カメラ座標系で表される右仮想カメラA63Rの座標の計算方法を示す図 It shows a method of calculating the right virtual camera A63R represented by the left virtual camera coordinate system coordinates ewとedを示す図 Shows the ew and ed マーカー座標系で表される左仮想カメラA63L及び右仮想カメラA63Rの座標の計算方法を示す図 It shows how to calculate the coordinates of the left virtual camera A63L and right virtual camera A63R represented by the marker coordinate system 左仮想カメラA63Lの位置及び姿勢に基づいて決定される右仮想カメラA63Rの位置を示す図 It shows the position of the right virtual camera A63R determined based on the position and orientation of the left virtual camera A63L 右仮想カメラA63Rの位置及び姿勢に基づいて決定される左仮想カメラA63Lの位置を示す図 It shows the position of the left virtual camera A63L determined based on the position and orientation of the right virtual camera A63R |V. | V. z|を示す図 z | diagram showing the EyeWidthを再計算する理由を説明するための図 Diagram for explaining the reason for recalculating EyeWidth EyeWidthを再計算する理由を説明するための図 Diagram for explaining the reason for recalculating EyeWidth EyeWidthを再計算する理由を説明するための図 Diagram for explaining the reason for recalculating EyeWidth EyeWidthを再計算する理由を説明するための図 Diagram for explaining the reason for recalculating EyeWidth 左射影行列について説明するための図 Diagram for explaining the left projection matrix 右射影行列について説明するための図 Diagram for explaining the right projection matrix メイン実世界画像を左実世界画像から右実世界画像へ切り替えるか否かの判定方法を示す図 It illustrates a method of determining whether or not to switch the main real world image from the left real world image to the right real world image メイン実世界画像を右実世界画像から左実世界画像へ切り替えるか否かの判定方法を示す図 It illustrates a method of determining whether or not to switch the main real world image from the right real world image to the left real world image 開状態におけるゲーム装置B10の正面図 A front view of the game apparatus B10 in the open state 開状態におけるゲーム装置B10の側面図 Side view of the game apparatus B10 in the open state 閉状態におけるゲーム装置B10の左側面図、正面図、右側面図及び背面図 Left side view of the game apparatus B10 in the closed state, a front view, right side view and a rear view 上側ハウジングB21の内側面からスクリーンカバーB27を分離した状態を示す図 Figure showing a separated state of the screen cover B27 from the inner surface of the upper housing B21 図41に示す上側ハウジングB21のA−A'線断面図 A-A 'sectional view of the upper housing B21 shown in FIG. 41 3D調整スイッチB25のスライダB25aが最下点(第3の位置)に存在する様子を示す図 Diagram illustrating a state in which the slider B25a of the 3D adjustment switch B25 is present in the lowermost position (third position) 3D調整スイッチB25のスライダB25aが最下点よりも上方位置(第1の位置)に存在する様子を示す図 Diagram illustrating a state in which the slider B25a of the 3D adjustment switch B25 is present in a position above the lowermost point (the first position) 3D調整スイッチB25のスライダB25aが最上点(第2の位置)に存在する様子を示す図 Diagram illustrating a state in which the slider B25a of the 3D adjustment switch B25 is present in the uppermost position (second position) ゲーム装置B10の内部構成を示すブロック図 Block diagram showing the internal configuration of the game apparatus B10 ゲーム装置B10のメインメモリB32のメモリマップを示す図 It shows the memory map of the main memory B32 of the game device B10 本実施形態に係る手書きオブジェクト表示処理の詳細を示すメインフローチャート Main flowchart showing details of the handwritten object display process according to the present embodiment 下側LCDB12における手書きデータ取得処理(ステップSB5)の詳細を示すフローチャート Flowchart showing details of the handwritten data acquisition process (step SB5) in the lower LCDB12 上側LCDB22の表示処理(ステップSB8)の詳細を示すフローチャート Flowchart showing details of the display processing of the upper LCDB22 (step SB8) タッチパネルB13を用いて上側LCDB22上に表示されるオブジェクトを手書きする状態を示す図(その1) It shows a state in which handwriting objects displayed on the upper LCDB22 using the touch panel B13 (Part 1) タッチパネルB13を用いて上側LCDB22上に表示されるオブジェクトを手書きする状態を示す図(その2) It shows a state in which handwriting objects displayed on the upper LCDB22 using the touch panel B13 (Part 2) ゲーム装置B10の位置が変更された場合の表示画像の一例を示す図 It shows an example of a display image when the position of the game device B10 is changed 手書き画像(オブジェクト画像)の表示形状の変化の一例を示す図(その1) It illustrates an example of a change in the display form of hand-drawn image (object image) (Part 1) 手書き画像(オブジェクト画像)の表示形状の変化の一例を示す図(その2) It illustrates an example of a change in the display form of hand-drawn image (object image) (Part 2) 手書き画像(オブジェクト画像)の表示形状の変化の一例を示す図(その3) It illustrates an example of a change in the display form of hand-drawn image (object image) (Part 3) 開いた状態におけるゲーム装置C10の一例を示す正面図 A front view showing one example of a game device C10 in an open state 開いた状態におけるゲーム装置C10の一例を示す側面図 Side view showing an example of the game apparatus C10 in an open state 閉じた状態におけるゲーム装置C10の一例を示す左側面図 Left side view showing an example of the game apparatus C10 in the closed state 閉じた状態におけるゲーム装置C10の一例を示す正面図 A front view showing one example of a game device C10 in the closed state 閉じた状態におけるゲーム装置C10の一例を示す右側面図 Right side view showing an example of the game apparatus C10 in the closed state 閉じた状態におけるゲーム装置C10の一例を示す背面図 Rear view showing an example of the game apparatus C10 in the closed state ゲーム装置C10の内部構成の一例を示すブロック図 Block diagram showing an example of the internal configuration of the game device C10 ユーザがゲーム装置C10を両手で把持する様子の一例を示す図 Diagram illustrating an example of how the user holds the game device C10 with both hands 外側撮像部C23の撮像対象となるマーカMKの一例を示す図 It illustrates an example of a marker MK to be imaged of the outer imaging section C23 ユーザがゲーム装置C10に向かって音声を入力している様子の一例を概説する図解図 Illustrative view user outlining an example of a state that the input voice toward the game apparatus C10 上側LCDC22に表示される表示形態例を示す図 It shows an example display form displayed on the upper LCDC22 上側LCDC22に表示される表示形態例を示す図 It shows an example display form displayed on the upper LCDC22 上側LCDC22に表示される表示形態例を示す図 It shows an example display form displayed on the upper LCDC22 上側LCDC22に表示される表示形態例を示す図 It shows an example display form displayed on the upper LCDC22 画像処理プログラムを実行することに応じて、メインメモリC32に記憶される各種データの一例を示す図 In response to executing the image processing program, shows an example of various data stored in the main memory C32 図69の音声動作対応テーブルデータDiの一例を示す図 Illustrates an example of a voice activity corresponding table data Di in FIG. 69 画像処理プログラムを実行することによってゲーム装置C10が画像処理する動作の一例を示すフローチャート Flow chart illustrating an exemplary operation of the game device C10 is the image processing by executing the image processing program 図71のステップC54で行われる音声認識処理の詳細な動作の一例を示すサブルーチン Subroutine showing an example of a detailed operation of the speech recognition process performed in step C54 in FIG. 71 図71のステップC55で行われる画像合成処理の詳細な前半の動作の一例を示すサブルーチン Subroutine showing an example of a detailed first half of the operation of the image combining process performed in step C55 in FIG. 71 図71のステップC55で行われる画像合成処理の詳細な後半の動作の一例を示すサブルーチン Subroutine showing an example of a detailed second half of the operation of the image synthesis process performed in step C55 in FIG. 71 仮想キャラクタCと左仮想カメラとの位置関係の一例を示す図 Diagram showing an example of the positional relationship between the virtual character C and the left virtual camera 仮想キャラクタCと右仮想カメラとの位置関係の一例を示す図 Diagram showing an example of the positional relationship between the virtual character C and the right virtual camera 左目用画像の生成方法の一例を示す図 It illustrates an example of a method for generating the left eye image 文字情報が付加情報として撮像画像に重畳して表示される一例を示す図 It illustrates an example in which the character information is displayed superimposed on the captured image as the additional information 開状態におけるゲーム装置D10の正面図 A front view of the game apparatus D10 in the open state 開状態におけるゲーム装置D10の右側面図 A right side view of the game apparatus D10 in the open state 閉状態におけるゲーム装置D10の左側面図、正面図、右側面図および背面図 Left side view of the game apparatus D10 in the closed state, a front view, a right side and rear views ゲーム装置D10の内部構成を示すブロック図 Block diagram showing the internal configuration of the game apparatus D10 ゲーム処理が実行された場合において、実空間に予め配置されたマーカD61を外側撮像部D23で撮像したときに上側LCDD22に表示される画像の一例を示す図 In the case where the game process is performed, illustrates an example of an image displayed on the upper LCDD22 when the marker D61 which is previously placed in the real space captured by the outer imaging section D23 ユーザが所定の操作を行った場合に、マーカD61が載置された平面が波打つ様子を示した図 Figure If the user performs a predetermined operation, showing how the plane marker D61 is placed Wavy マーカ座標系の定義を示す図 Shows the definition of the marker coordinate system ゲーム装置D10のRAMのメモリマップを示す図 Diagram showing a memory map of the RAM of the game apparatus D10 ゲーム処理の詳細を示すメインフローチャート The main flow chart showing the details of the game processing マーカ認識処理(ステップSD3)の詳細を示すフローチャート Flowchart showing details of the marker recognition process (step SD3) 左仮想カメラ画像生成処理(ステップSD7)の詳細を示すフローチャート Flowchart showing details of the left virtual camera image generation process (step SD7) マーカD61と外側撮像部(左)D23aとの位置関係を示す図 Diagram showing the positional relationship between the markers D61 and the outer imaging section (left) D23a 仮想モデルD55を示す図 It shows a virtual model D55 変形オブジェクトD56を示す図 It shows a modified object D56 頂点P(i)のテクスチャ座標T(i)を示す図 Shows the texture coordinates T of the vertex P (i) (i) ステップSD35における処理を概念的に表す図であり、左目用実画像D72Lから左テクスチャ領域の画像を切り取る様子を示す図 A diagram conceptually illustrating the processing in step SD35, illustrates how the cut image to the left texture area from the real image D72L left eye ステップSD35における処理を概念的に表す図であり、図94に示す切り取られた左テクスチャ領域の画像aiを変形オブジェクトD56に張り付ける様子を示す図 Step SD35 is a diagram conceptually illustrating the process in a diagram showing how to paste the image ai left texture area, taken shown in Figure 94 to transform object D56 右目用実画像D72Rから右テクスチャ領域の画像を切り取る様子を示す図 Diagram showing how to cut the image of the right texture area from the real image D72R right eye 図96に示す切り取られた右テクスチャ領域の画像biを変形オブジェクトD56に張り付ける様子を示す図 Diagram showing how to paste the image bi of the right texture area, taken shown in Figure 96 to transform object D56 マスクオブジェクトD57によって魚オブジェクトD52がマスクされる場合を示す図 It shows a case where the fish object D52 is masked by the mask object D57 左テクスチャ領域の画像を用いて右仮想カメラ画像を生成した場合に画素情報が失われることを説明するための図 Diagram for explaining the pixel information is lost when generating the right virtual camera image using the image of the left texture area 開状態におけるゲーム装置E1の左側面図、正面図、右側面図、背面図、上面図、底面図 Left side view of the game device E1 in the open state, a front view, right side view, rear view, top view, bottom view 閉状態におけるゲーム装置E1の左側面図、正面図、右側面図、背面図、上面図、底面図 Left side view of the game device E1 in the closed state, a front view, right side view, rear view, top view, bottom view 下側ハウジングE2の左側面図、正面図、右側面図、背面図、上面図、底面図 Left side view of the lower housing E2, front view, right side view, rear view, top view, bottom view 正面側から見た場合の下側ハウジングE2の分解斜視図 Exploded perspective view of the lower housing E2 when viewed from the front side 背面側から見た場合の下側ハウジングE2の分解斜視図 Exploded perspective view of the lower housing E2 when viewed from the rear side 上側ハウジングE5の左側面図、正面図、右側面図、背面図、上面図、底面図 Left side view of the upper housing E5, front view, right side view, rear view, top view, bottom view 正面側から見た場合の上側ハウジングE5の分解斜視図 Exploded perspective view of the upper housing E5 when viewed from the front side 背面側から見た場合の上側ハウジングE5の分解斜視図 Exploded perspective view of the upper housing E5 as viewed from the rear side 下側ハウジングE2を構成する第5パーツE201の左側面図、正面図、右側面図、背面図、上面図、底面図 Left side view of the fifth part E201 constituting the lower housing E2, front view, right side view, rear view, top view, bottom view 下側ハウジングE2を構成する第4パーツE202の左側面図、正面図、右側面図、背面図、上面図、底面図 Left side view of the fourth part E202 constituting the lower housing E2, front view, right side view, rear view, top view, bottom view 下側ハウジングE2を構成する第6パーツE203の左側面図、正面図、右側面図、背面図、上面図、底面図 A left side view of a sixth part E203 constituting the lower housing E2, front view, right side view, rear view, top view, bottom view 上側ハウジングE5を構成する第1パーツE501の左側面図、正面図、右側面図、背面図、上面図、底面図 Left side view of the first part E501 constituting the upper housing E5, front view, right side view, rear view, top view, bottom view 上側ハウジングE5を構成する第2パーツE502の左側面図、正面図、右側面図、背面図、上面図、底面図、および、印刷を施したときの正面図 Left side view of the second part E502 constituting the upper housing E5, front view, right side view, rear view, top view, bottom view, and a front view when subjected to printing 上側ハウジングE5を構成する第3AパーツE504の左側面図、正面図、右側面図、背面図、上面図、底面図 Left side view of the 3A parts E504 constituting the upper housing E5, front view, right side view, rear view, top view, bottom view 上側ハウジングE5を構成する第3BパーツE505の左側面図、正面図、右側面図、背面図、上面図、底面図 Left side view of the 3B part E505 constituting the upper housing E5, front view, right side view, rear view, top view, bottom view 第5パーツE201の第2部分E3に対応する部分の正面側の縦横サイズを示す図 It shows the vertical and horizontal sizes of the front side of the portion corresponding to the second portion E3 of the fifth part E201 第3パーツE503の第1部分E6に対応する部分の縦横サイズを示す図 It shows the vertical and horizontal sizes of the portions corresponding to the first portion E6 of the third part E503 第5パーツE201の第2部分E3に対応する部分の背面側の縦横サイズを示す図 Shows the back side vertical and horizontal sizes of the portions corresponding to the second portion E3 of the fifth part E201 第4パーツE202の第2部分E3に対応する部分の正面側の縦横サイズを示す図 Shows the vertical and horizontal sizes of the front side of the portion corresponding to the second portion E3 of the fourth part E202 折り畳んだ状態のゲーム装置E1の底面の左右端部を拡大した図 Enlarged view of the right and left ends of the bottom surface of the game apparatus E1 of the folded state 折り畳んだ状態のゲーム装置E1の左側面の上下端部を拡大した図 Enlarged view of the upper and lower ends of the left side of the game device E1 of the folded state ユーザがゲーム装置E1を把持してゲーム装置E1を操作する様子を示す図 It shows how the user operates the game device E1 holding the game device E1 ゲーム装置E1を開いた状態の正面視において電源LEDE28C、充電LEDE28D、および、無線LEDE28Bが配設される部分を拡大して示した図 Power in the front view of the opened game device E1 LEDE28C, charging LEDE28D, and enlarged view showing the portion where wireless LEDE28B is disposed ゲーム装置E1の内部構成を示すブロック図 Block diagram showing the internal configuration of the game device E1

(ゲーム装置の構成) (Structure of the game apparatus)
以下、本発明の一実施形態に係るゲーム装置について説明する。 The following describes a game apparatus according to an embodiment of the present invention. 図1〜図3は、ゲーム装置A10の外観を示す平面図である。 1 to 3 are plan views showing the external appearance of a game apparatus A10. ゲーム装置A10は携帯型のゲーム装置であり、図1〜図3に示すように折り畳み可能に構成されている。 Game device A10 is a hand-held game apparatus, and is configured to be foldable as shown in FIGS. 図1および図2は、開いた状態(開状態)におけるゲーム装置A10を示し、図3は、閉じた状態(閉状態)におけるゲーム装置A10を示している。 1 and 2 show a gaming device A10 in an opened state, FIG. 3 shows the game apparatus A10 in a closed state. 図1は、開状態におけるゲーム装置A10の正面図であり、図2は、開状態におけるゲーム装置A10の右側面図である。 Figure 1 is a front view of the game apparatus A10 in the open state, FIG. 2 is a right side view of the game apparatus A10 in the open state. ゲーム装置A10は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。 Game device A10 captures the image by the imaging unit, and displays the taken image on a screen, it is possible to to store data of the captured image. また、ゲーム装置A10は、交換可能なメモリカード内に記憶され、または、サーバーや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。 The game apparatus A10 is stored in an exchangeable memory card, or is capable of executing a game program received from a server or another game apparatus, such as an image captured by a virtual camera set in a virtual space the image generated by computer graphics processing may be or displayed on the screen.

まず、図1〜図3を参照して、ゲーム装置A10の外観構成について説明する。 First, with reference to FIGS. 1 to 3, illustrating the appearance structure of the game apparatus A10. 図1〜図3に示されるように、ゲーム装置A10は、下側ハウジングA11および上側ハウジングA21を有する。 As shown in FIGS. 1 to 3, the game device A10 includes a lower housing A11 and an upper housing A21. 下側ハウジングA11と上側ハウジングA21とは、開閉可能(折り畳み可能)に接続されている。 The lower housing A11 and the upper housing A21, and is connected to allow opening and closing (be foldable). 本実施形態では、各ハウジングA11およびA21はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。 In the present embodiment, the housings A11 and A21 are both horizontally long rectangular plate shape, and is rotatably connected at their longer sides.

図1および図2に示されるように、下側ハウジングA11の上側長辺部分には、下側ハウジングA11の内側面(主面)A11Bに対して垂直な方向に突起する突起部A11Aが設けられる。 As shown in FIGS. 1 and 2, the upper long side portion of the lower housing A11, the protrusion A11A is provided which protrudes in a direction perpendicular to the inner surface (main surface) A11B of the lower housing A11 . また、上側ハウジングA21の下側長辺部分には、上側ハウジングA21の下側面から当該下側面に垂直な方向に突起する突起部A21Aが設けられる。 Furthermore, the lower long side portion of the upper housing A21, the protrusion A21A which protrudes in a direction perpendicular from the lower surface to the lower surface of the upper housing A21 is provided. 下側ハウジングA11の突起部A11Aと上側ハウジングA21の突起部A21Aとが連結されることにより、下側ハウジングA11と上側ハウジングA21とが、折り畳み可能に接続される。 By the protruding portion A21A protrusions A11A and the upper housing A21 of the lower housing A11 it is connected, and a lower housing A11 and the upper housing A21, are foldably connected.

(下側ハウジングの説明) (Description of the lower housing)
まず、下側ハウジングA11の構成について説明する。 First, the configuration of the lower housing A11. 図1〜図3に示すように、下側ハウジングA11には、下側LCD(Liquid Crystal Display:液晶表示装置)A12、タッチパネルA13、各操作ボタンA14A〜A14L(図1、図3)、アナログスティックA15、LEDA16A〜A16B、挿入口A17、および、マイクロフォン用孔A18が設けられる。 As shown in FIGS. 1 to 3, the lower housing A11, the lower LCD (Liquid Crystal Display: LCD device) A12, a touch panel A13, the operation buttons A14A~A14L (1, 3), an analog stick A15, LEDA16A~A16B, insertion openings A17, and, are provided microphone hole A18. 以下、これらの詳細について説明する。 Hereinafter, these components will be described in detail.

図1に示すように、下側LCDA12は下側ハウジングA11に収納される。 As shown in FIG. 1, the lower LCDA12 is accommodated in the lower housing A11. 下側LCDA12は横長形状であり、長辺方向が下側ハウジングA11の長辺方向に一致するように配置される。 Lower LCDA12 has a horizontally long shape, and is arranged such that a long side direction thereof corresponds to a long side direction of the lower housing A11. 下側LCDA12は下側ハウジングA11の中央に配置される。 Lower LCDA12 is located in the center of the lower housing A11. 下側LCDA12は、下側ハウジングA11の内側面(主面)に設けられ、下側ハウジングA11に設けられた開口部から当該下側LCDA12の画面が露出される。 Lower LCDA12 is provided on the inner surface of the lower housing A11 (main surface) screen of the lower LCDA12 is exposed from the opening provided in the lower housing A11. ゲーム装置A10を使用しない場合には閉状態としておくことによって、下側LCDA12の画面が汚れたり傷ついたりすることを防止することができる。 By keeping the closed state when not using the game apparatus A10, it is possible to prevent or damaged dirty screen of the lower LCDA12. 下側LCDA12の画素数は、例えば、256dot×192dot(横×縦)であってもよい。 Number of pixels of the lower LCDA12 may be, for example, a 256 dots × 192 dots (horizontal × vertical). 下側LCDA12は、後述する上側LCDA22とは異なり、画像を(立体視可能ではなく)平面的に表示する表示装置である。 Lower LCDA12 Unlike upper LCDA22 described later, the image (not in a stereoscopic view) of a display device for planar display. なお、本実施形態では表示装置としてLCDを用いているが、例えばEL(Electro Luminescence:電界発光)を利用した表示装置など、他の任意の表示装置を利用してもよい。 Incidentally, in the present embodiment an LCD is used as a display device, for example, EL: a display device using an (Electro Luminescence) may be used any other display device. また、下側LCDA12として、任意の解像度の表示装置を利用することができる。 Further, as the lower LCDA12, it is possible to use a display device having any resolution.

図1に示されるように、ゲーム装置A10は、入力装置として、タッチパネルA13を備えている。 As shown in FIG. 1, the game device A10 as an input device, and a touch panel A13. タッチパネルA13は、下側LCDA12の画面上に装着されている。 The touch panel A13 is mounted on the screen of the lower LCDA12. なお、本実施形態では、タッチパネルA13は抵抗膜方式のタッチパネルである。 In the present embodiment, the touch panel A13 is a resistive film type touch panel. ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。 However, the touch panel is not limited to the resistive film type, it can be used, for example a capacitive type, etc., a touch panel of an arbitrary method. 本実施形態では、タッチパネルA13として、下側LCDA12の解像度と同解像度(検出精度)のものを利用する。 In the present embodiment, the touch panel A13, that of the lower LCDA12 the same resolution (detection accuracy). ただし、必ずしもタッチパネルA13の解像度と下側LCDA12の解像度が一致している必要はない。 However, it may not necessarily be the resolution of the resolution and the lower LCDA12 touch panel A13 match. また、下側ハウジングA11の上側面には挿入口A17(図1および図3(d)に示す点線)が設けられている。 Further, on the side insertion opening A17 of the lower housing A11 (indicated by dashed line in FIG. 1 and FIG. 3 (d)) is provided. 挿入口A17は、タッチパネルA13に対する操作を行うために用いられるタッチペンA28を収納することができる。 Insertion opening A17 is used for accommodating a touch pen A28 used for performing an operation on the touch panel A13. なお、タッチパネルA13に対する入力は通常タッチペンA28を用いて行われるが、タッチペンA28に限らずユーザの指でタッチパネルA13に対する入力をすることも可能である。 The input to the touch panel A13 is usually made by using the touch pen A28, it is also possible to input to the touch panel A13 a finger of the user is not limited to touch pen A28.

各操作ボタンA14A〜A14Lは、所定の入力を行うための入力装置である。 Each operation buttons A14A~A14L is an input device for performing a predetermined input. 図1に示されるように、下側ハウジングA11の内側面(主面)には、各操作ボタンA14A〜A14Lのうち、十字ボタンA14A(方向入力ボタンA14A)、ボタンA14B、ボタンA14C、ボタンA14D、ボタンA14E、電源ボタンA14F、セレクトボタンA14J、HOMEボタンA14K、およびスタートボタンA14Lが、設けられる。 As shown in FIG. 1, on the inner surface of the lower housing A11 (main surface) of the operation buttons A14A~A14L, a cross button A 14a (the direction input button A 14a), button A14b, buttons A14C, button A14D, button A14E, power button A14F, select button A14J, HOME button A14K, and the start button A14L, is provided. 十字ボタンA14Aは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。 The cross button A14A has a cross shape, and has a button for instructing vertical and horizontal directions. ボタンA14B、ボタンA14C、ボタンA14D、ボタンA14Eは、十字状に配置される。 Button A14b, buttons A14C, buttons A14D, buttons A14E are arranged in a cross shape. ボタンA14A〜A14E、セレクトボタンA14J、HOMEボタンA14K、およびスタートボタンA14Lには、ゲーム装置A10が実行するプログラムに応じた機能が適宜割り当てられる。 Button A14A~A14E, select button A14J, HOME button A14K, and the start button A14L, functions in accordance with the program of the game apparatus A10 is executed appropriately assigned. 例えば、十字ボタンA14Aは選択操作等に用いられ、各操作ボタンA14B〜A14Eは例えば決定操作やキャンセル操作等に用いられる。 For example, the cross button A14A is used for a selection operation, the operation buttons A14B~A14E is used, for example, for a determination operation, a cancellation operation, and the like. また、電源ボタンA14Fは、ゲーム装置A10の電源をオン/オフするために用いられる。 The power button A14F is used to turn on / off the game apparatus A10.

アナログスティックA15は、方向を指示するデバイスであり、下側ハウジングA11の内側面の下側LCDA12より左側領域の上部領域に設けられる。 Analog stick A15 is a device for indicating the direction, is provided in the upper region of the left region from the lower side LCDA12 of the inner surface of the lower housing A11. 図1に示すように、十字ボタンA14Aは下側LCDA12より左側領域の下部領域に設けられるので、アナログスティックA15は、十字ボタンA14Aの上方に設けられる。 As shown in FIG. 1, the cross button A 14a is provided in the lower region of the left region from the lower LCDA12, analog stick A15 is provided above the cross button A 14a. また、アナログスティックA15、および、十字ボタンA14Aは、下側ハウジングを把持した左手の親指で操作可能な位置に設計される。 The analog stick A15 and, cross button A14A is designed operable position with the left thumb holding the lower housing. また、アナログスティックA15を上部領域に設けたことにより、下側ハウジングA11を把持する左手の親指が自然と位置するところにアナログスティックA15が配され、十字ボタンA14Aは、左手の親指を少し下にずらした位置に配される。 Further, by providing the analog stick A15 in the upper region, an analog stick A15 is disposed at the left thumb holding the lower housing A11 is located naturally, cross button A14A is a left thumb slightly below They are arranged in staggered position. アナログスティックA15は、そのキートップが、下側ハウジングA11の内側面に平行にスライドするように構成されている。 Analog stick A15, the key top is configured to slide parallel to the inner surface of the lower housing A11. アナログスティックA15は、ゲーム装置A10が実行するプログラムに応じて機能する。 Analog stick A15 functions according to the program by the game apparatus A10 is executed. 例えば、3次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置A10によって実行される場合、アナログスティックA15は、当該所定のオブジェクトを3次元仮想空間内で移動させるための入力装置として機能する。 For example, if the game 3-dimensional virtual space to a predetermined object appears is executed by the game apparatus A10, analog stick A15 functions as an input device for moving the predetermined object in three-dimensional virtual space. この場合において、所定のオブジェクトはアナログスティックA15のキートップがスライドした方向に移動される。 In this case, the predetermined object is moved in a direction in which the key top of the analog stick A15 is slid. なお、アナログスティックA15として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。 As analog stick A15, it may also be used which enables an analog input by being tilted by a predetermined amount in any direction of up, down, left and right and oblique directions.

十字状に配置される、ボタンA14B、ボタンA14C、ボタンA14D、ボタンA14Eの4つのボタンは、下側ハウジングA11を把持する右手の親指が自然と位置するところに配置される。 Are arranged in a cross shape, four buttons of the button A14b, buttons A14C, buttons A14D, buttons A14E is located where the thumb of the right hand holding the lower housing A11 is located naturally. また、これらの4つのボタンと、アナログスティックA15とは、下側LCDA12を挟んで、左右対称に配置される。 Further, the four buttons and the analog stick A15, across the lower LCDA12, are arranged symmetrically. これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの4つのボタンを使用して方向指示入力をすることも可能である。 Thus, depending on a game program, for example, left-handed people, it is also possible to make the direction indication input using these four buttons.

また、下側ハウジングA11の内側面には、マイクロフォン用孔A18が設けられる。 Further, on the inner surface of the lower housing A11, microphone hole A18 is provided. マイクロフォン用孔A18の下部には後述する音声入力装置としてのマイク(図6参照)が設けられ、当該マイクがゲーム装置A10の外部の音を検出する。 Under the microphone hole A18 is provided a microphone (see FIG. 6) as a sound input device described below, and the microphone detects a sound from the outside of the game apparatus A10.

図3(a)は閉状態におけるゲーム装置A10の左側面図であり、図3(b)は閉状態におけるゲーム装置A10の正面図であり、図3(c)は閉状態におけるゲーム装置A10の右側面図であり、図3(d)は閉状態におけるゲーム装置A10の背面図である。 3 (a) is a left side view of the game apparatus A10 in the closed state, FIG. 3 (b) is a front view of the game apparatus A10 in the closed state, FIG. 3 (c) of the game device A10 in the closed state is a right side view, FIG. 3 (d) is a rear view of the game apparatus A10 in the closed state. 図3(b)および(d)に示されるように、下側ハウジングA11の上側面には、LボタンA14GおよびRボタンA14Hが設けられている。 As shown in FIG. 3 (b) and (d), on the upper side surface of the lower housing A11, L button A14G and the R button A14H is provided. LボタンA14Gは、下側ハウジングA11の上面の左端部に設けられ、RボタンA14Hは、下側ハウジングA11の上面の右端部に設けられる。 L button A14G is provided at a left end portion of the upper surface of the lower housing A11, R button A14H is provided at a right end portion of the upper surface of the lower housing A11. LボタンA14GおよびRボタンA14Hは、例えば、撮像部のシャッターボタン(撮影指示ボタン)として機能することができる。 L button A14G and R button A14H, for example, can function as a shutter button of the imaging unit (imaging instruction button). また、図3(a)に示されるように、下側ハウジングA11の左側面には、音量ボタンA14Iが設けられる。 Further, as shown in FIG. 3 (a), the left side surface of the lower housing A11, volume buttons A14I is provided. 音量ボタンA14Iは、ゲーム装置A10が備えるスピーカの音量を調整するために用いられる。 Volume button A14I is used to adjust the sound volume of a speaker of the game apparatus A10 is provided.

図3(a)に示されるように、下側ハウジングA11の左側面には開閉可能なカバー部A11Cが設けられる。 As shown in FIG. 3 (a), an openable cover A11C is provided on the left side surface of the lower housing A11. このカバー部A11Cの内側には、ゲーム装置A10とデータ保存用外部メモリA45とを電気的に接続するためのコネクタ(図示せず)が設けられる。 Inside the cover A11C, connector for electrically connecting the game apparatus A10 and external data storage memory A45 (not shown) is provided. データ保存用外部メモリA45は、コネクタに着脱自在に装着される。 The external data storage memory A45 is detachably attached to the connector. データ保存用外部メモリA45は、例えば、ゲーム装置A10によって撮像された画像のデータを記憶(保存)するために用いられる。 The external data storage memory A45 is used, for example, to store data of an image captured by the game apparatus A10 (save). なお、上記コネクタおよびそのカバー部A11Cは、下側ハウジングA11の右側面に設けられてもよい。 It should be noted that the connector and its cover A11C may be provided on the right side surface of the lower housing A11.

また、図3(d)に示されるように、下側ハウジングA11の上側面には、ゲーム装置A10とゲームプログラムを記録した外部メモリA44を挿入するための挿入口A11Dが設けられ、その挿入口A11Dの内部には、外部メモリA44と電気的に着脱自在に接続するためのコネクタ(図示せず)が設けられる。 Further, as shown in FIG. 3 (d), on the upper side surface of the lower housing A11, the insertion opening A11D for inserting the external memory A44 which records a game device A10 and the game program is provided, the insertion opening inside the A11D, external memory A44 and electrically removably connector for connecting (not shown) is provided. 当該外部メモリA44がゲーム装置A10に接続されることにより、所定のゲームプログラムが実行される。 The external memory A44 is by being connected to the game device A10, predetermined game program is executed. なお、上記コネクタおよびその挿入口A11Dは、下側ハウジングA11の他の側面(例えば、右側面等)に設けられてもよい。 It should be noted that the connector and its insertion opening A11D may be provided on another side of the lower housing A11 (e.g., right side, etc.).

また、図1および図3(c)に示されるように、下側ハウジングA11の下側面にはゲーム装置A10の電源のON/OFF状況をユーザに通知する第1LEDA16A、下側ハウジングA11の右側面にはゲーム装置A10の無線通信の確立状況をユーザに通知する第2LEDA16Bが設けられる。 Further, as shown in FIGS. 1 and FIG. 3 (c), the right side surface of the 1LEDA16A, lower housing A11 for notifying the ON / OFF state of a power supply of the game apparatus A10 to a user on the lower side surface of the lower housing A11 the 2LEDA16B is provided for notifying the establishment state of the wireless communication of the game apparatus A10 to the user to. ゲーム装置A10は他の機器との間で無線通信を行うことが可能であり、第2LEDA16Bは、無線通信が確立している場合に点灯する。 Game device A10 is capable of performing wireless communication with other devices, the 2LEDA16B is lit up when the wireless communication is established. ゲーム装置A10は、例えば、IEEE802.11. Game device A10 is, for example, IEEE802.11. b/gの規格に準拠した方式により、無線LANに接続する機能を有する。 The method compliant with the b / g standards, has a function of connecting to a wireless LAN. 下側ハウジングA11の右側面には、この無線通信の機能を有効/無効にする無線スイッチA19が設けられる(図3(c)参照)。 On the right side surface of the lower housing A11, the wireless switch A19 is provided for enabling / disabling the function of the wireless communication (see Figure 3 (c)).

なお、図示は省略するが、下側ハウジングA11には、ゲーム装置A10の電源となる充電式電池が収納され、下側ハウジングA11の側面(例えば、上側面)に設けられた端子を介して当該電池を充電することができる。 Although not shown, the lower housing A11, rechargeable battery as a power source of the game apparatus A10 is accommodated, the side surface of the lower housing A11 (e.g., upper surface) via a terminal provided on the it is possible to charge the battery.

(上側ハウジングの説明) (Description of upper housing)
次に、上側ハウジングA21の構成について説明する。 Next, the configuration of the upper housing A21. 図1〜図3に示すように、上側ハウジングA21には、上側LCD(Liquid Crystal Display:液晶表示装置)A22、外側撮像部A23(外側撮像部(左)A23aおよび外側撮像部(右)A23b)、内側撮像部A24、3D調整スイッチA25、および、3DインジケータA26が設けられる。 As shown in FIGS. 1 to 3, the upper housing A21, the upper LCD (Liquid Crystal Display: LCD device) A22, the outer imaging section A23 (outer imaging section (left) A 23a and the outer imaging section (right) A23b) , inner imaging section A24,3D adjustment switch A25, and, 3D indicator A26 are provided. 以下、これらの詳細について説明する。 Hereinafter, these components will be described in detail.

図1に示すように、上側LCDA22は上側ハウジングA21に収納される。 As shown in FIG. 1, the upper LCDA22 is accommodated in the upper housing A21. 上側LCDA22は、横長形状であり、長辺方向が上側ハウジングA21の長辺方向に一致するように配置される。 The upper LCDA22 is a horizontally long shape, and is located such that a long side direction thereof corresponds to a long side direction of the upper housing A21. 上側LCDA22は上側ハウジングA21の中央に配置される。 The upper LCDA22 is located in the center of the upper housing A21. 上側LCDA22の画面の面積は、下側LCDA12の画面の面積よりも大きく設定される。 Area of ​​the screen of the upper LCDA22 is set larger than the area of ​​the screen of the lower LCDA12. また、上側LCDA22の画面は、下側LCDA12の画面よりも横長に設定される。 Further, the screen of the upper LCDA22 is set horizontally longer than the screen of the lower LCDA12. すなわち、上側LCDA22の画面のアスペクト比における横幅の割合は、下側LCDA12の画面のアスペクト比における横幅の割合よりも大きく設定される。 That is, the ratio of the horizontal width in the aspect ratio of the screen of the upper LCDA22 is set larger than the ratio of the horizontal width in the aspect ratio of the screen of the lower LCDA12.

上側LCDA22の画面は、上側ハウジングA21の内側面(主面)A21Bに設けられ、上側ハウジングA21に設けられた開口部から当該上側LCDA22の画面が露出される。 Screen of the upper LCDA22 is provided on the inner surface of the upper housing A21 (main surface) A21b, screen of the upper LCDA22 is exposed from the opening provided in the upper housing A21. また、図2に示すように、上側ハウジングA21の内側面は、透明なスクリーンカバーA27によって覆われている。 Further, as shown in FIG. 2, the inner surface of the upper housing A21 is covered by a transparent screen cover A27. 当該スクリーンカバーA27は、上側LCDA22の画面を保護するとともに、上側LCDA22と上側ハウジングA21の内側面と一体的にさせ、これにより統一感を持たせている。 The screen cover A27 protects the screen of the upper LCDA22, which is the inner surface integral with upper LCDA22 an upper housing A21, thereby to have a sense of unity. 上側LCDA22の画素数は、例えば、640dot×200dot(横×縦)であってもよい。 Number of pixels of the upper LCDA22 may be, for example, a 640 dots × 200 dots (horizontal × vertical). なお、本実施形態では上側LCDA22は液晶表示装置であるとしたが、例えばEL(Electro Luminescence:電界発光)を利用した表示装置などが利用されてもよい。 Incidentally, the upper LCDA22 in the present embodiment was to be a liquid crystal display device, for example, EL: a display device using (Electro Luminescence) may be used. また、上側LCDA22として、任意の解像度の表示装置を利用することができる。 Further, as the upper LCDA22, it is possible to use a display device having any resolution.

上側LCDA22は、立体視可能な画像を表示することが可能な表示装置である。 The upper LCDA22 is a display device capable of displaying a stereoscopically visible image. また、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。 Further, in this embodiment, the left eye image and the right eye image is displayed using substantially the same display area. 具体的には、左目用画像と右目用画像が所定単位で(例えば、1列ずつ)横方向に交互に表示される方式の表示装置である。 Specifically, a display device using a method in which left eye image and the right eye image are alternately displayed (for example, every other line) laterally in predetermined units. または、左目用画像と右目用画像とが交互に表示される方式の表示装置であってもよい。 Or it may be a display device using a method in which a left eye image and a right eye image are displayed alternately. また、本実施例では、裸眼立体視可能な表示装置である。 Further, in the present embodiment, an autostereoscopic display device capable. そして、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式(視差バリア方式)のものが用いられる。 Then, those lenticular system and a parallax barrier type as a left eye image and a right eye image displayed laterally alternately appear to decompose the respective left and right eyes (parallax barrier method) is used. 本実施形態では、上側LCDA22はパララックスバリア方式のものとする。 In the present embodiment, the upper LCDA22 of a parallax barrier method. 上側LCDA22は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像(立体画像)を表示する。 The upper LCDA22, using the right eye image and the left eye image, which is stereoscopically visible with naked eyes image (stereoscopic image). すなわち、上側LCDA22は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像(立体視可能な画像)を表示することができる。 That is, the upper LCDA22 is by viewing the right-eye image left eye image to the right eye of the user to the user's left eye using a parallax barrier, to display a stereoscopic image having a stereoscopic effect (stereoscopically visible image) for the user be able to. また、上側LCDA22は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる(上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである)。 The upper LCDA22 is possible to disable the parallax barrier, when the parallax barrier is disabled, the image can be displayed in a planar manner (plane on the opposite meaning of the above-described stereoscopic it is possible to display an image of the view. in other words, the same image displayed is the display mode as seen with a left eye and a right eye). このように、上側LCDA22は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する(平面視画像を表示する)平面表示モードとを切り替えることが可能な表示装置である。 Thus, the upper LCDA22 is a stereoscopic display mode and an image displayed in a planar manner (Show the plan view image) planar display mode and the display device capable of switching the displaying the stereoscopically visible image . この表示モードの切り替えは、後述する3D調整スイッチA25によって行われる。 The switching of the display mode is performed by the 3D adjustment switch A25 described later.

外側撮像部A23は、上側ハウジングA21の外側面(上側LCDA22が設けられた主面と反対側の背面)A21Dに設けられた2つの撮像部(A23aおよびA23b)の総称である。 Outer imaging section A23 is a general term for the outer surface of the upper housing A21 2 one imaging section provided in the (upper LCDA22 is the main surface provided opposite to the back surface) A21D (A23a and A23b). 外側撮像部(左)A23aと外側撮像部(右)A23bの撮像方向は、いずれも当該外側面A21Dの外向きの法線方向である。 Outer imaging section (left) A 23a and the outer imaging section (right) imaging direction of A23b are all outward normal direction of the outer side surface A21D. また、これらの撮像部はいずれも、上側LCDA22の表示面(内側面)の法線方向と180度反対の方向に設計される。 Moreover, none of these imaging unit is designed in the normal direction 180 degrees opposite to the direction of the display surface of the upper LCDA22 (inside surface). すなわち、外側撮像部(左)A23aの撮像方向および外側撮像部(右)A23bの撮像方向は、平行である。 That is, the outer imaging section (left) imaging direction and the outer imaging section of A 23a (right) imaging direction of A23b are parallel. 外側撮像部(左)A23aと外側撮像部(右)A23bとは、ゲーム装置A10が実行するプログラムによって、ステレオカメラとして使用することが可能である。 The outer imaging section (left) A 23a and the outer imaging section (right) A23b, the program game device A10 performs, can be used as a stereo camera. また、プログラムによっては、2つの外側撮像部(A23aおよびA23b)のいずれか一方を単独で用いて、外側撮像部A23を非ステレオカメラとして使用することも可能である。 Also, depending on the program, two outer imaging section one of (A 23a and A23b) used alone, it is also possible to use the outer imaging section A23 as a non-stereo camera. また、プログラムによっては、2つの外側撮像部(A23aおよびA23b)で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像をおこなうことも可能である。 Also, depending on the program, it is possible to perform imaging with wider imaging range by combining with or complementary use of images captured by the two outer imaging section (A 23a and A23b). 本実施形態では、外側撮像部A23は、外側撮像部(左)A23aおよび外側撮像部(右)A23bの2つの撮像部で構成される。 In this embodiment, the outer imaging section A23 is composed of the outer imaging section (left) A 23a and the outer imaging section (right) of two imaging section A23b. 外側撮像部(左)A23aおよび外側撮像部(右)A23bは、それぞれ所定の共通の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。 Outer imaging section (left) A 23a and the outer imaging section (right) A23b includes an imaging device having a common predetermined resolution (eg, CCD image sensor or a CMOS image sensor), and a lens. レンズは、ズーム機構を有するものでもよい。 The lens may have a zooming mechanism.

図1の破線および図3(b)の実線で示されるように、外側撮像部A23を構成する外側撮像部(左)A23aおよび外側撮像部(右)A23bは、上側LCDA22の画面の横方向と平行に並べられて配置される。 As indicated by the solid line in FIG dashed and FIG 1 3 (b), the outer imaging section which constitutes the outer imaging section A23 (left) A 23a and the outer imaging section (right) A23b has a horizontal direction of the screen of the upper LCDA22 are each arranged in parallel. すなわち、2つの撮像部を結んだ直線が上側LCDA22の画面の横方向と平行になるように、外側撮像部(左)A23aおよび外側撮像部(右)A23bが配置される。 That is, a straight line connecting the two imaging units is such that in parallel with the horizontal direction of the screen of the upper LCDA22, the outer imaging section (left) A 23a and the outer imaging section (right) A23b are disposed. 図1の破線で示すA23aおよびA23bは、上側ハウジングA21の内側面とは反対側の外側面に存在する外側撮像部(左)A23aおよび外側撮像部(右)A23bをそれぞれ表している。 A23a and A23b illustrated in broken lines in FIG. 1 represents the outer imaging section that exists on the outer surface of the opposite side (left) A23a and the outer imaging section (right) A23b respectively the inner surface of the upper housing A21. 図1に示すように、ユーザが上側LCDA22の画面を正面から視認した場合に、外側撮像部(左)A23aは左側に外側撮像部(右)A23bは右側にそれぞれ位置している。 As shown in FIG. 1, when the user views the screen of the upper LCDA22 from the front, the outer imaging section (left) A 23a outer imaging section to the left (right) A23b is located respectively on the right. 外側撮像部A23をステレオカメラとして機能させるプログラムが実行されている場合、外側撮像部(左)A23aは、ユーザの左目で視認される左目用画像を撮像し、外側撮像部(右)A23bは、ユーザの右目で視認される右目用画像を撮像する。 If a program that causes a outer imaging section A23 as a stereo camera is executed, the outer imaging section (left) A 23a captures an eye image to be viewed by the user's left eye, the outer imaging section (right) A23b is capturing an eye image to be viewed by the right eye of the user. 外側撮像部(左)A23aおよび外側撮像部(右)A23bの間隔は、人間の両目の間隔程度に設定され、例えば、30mm〜70mmの範囲で設定されてもよい。 Outer imaging section (left) A 23a and the outer imaging section (right) spacing A23b is set to about the human eye separation, for example, may be set in a range of 30 mm to 70 mm. なお、外側撮像部(左)A23aおよび外側撮像部(右)A23bの間隔は、この範囲に限らない。 The distance between the outer imaging section (left) A 23a and the outer imaging section (right) A23b is not limited to this range.

なお、本実施例においては、外側撮像部(左)A23aおよび外側撮像部(右)A23はハウジングに固定されており、撮像方向を変更することはできない。 In the present embodiment, the outer imaging section (left) A 23a and the outer imaging section (right) A23 is fixed to the housing, it is not possible to change the imaging direction.

また、外側撮像部(左)A23aおよび外側撮像部(右)A23bは、上側LCDA22(上側ハウジングA21)の左右方向に関して中央から対称となる位置にそれぞれ配置される。 The outer imaging section (left) A 23a and the outer imaging section (right) A23b are disposed respectively at the center to be symmetrical from the position in the left-right direction of the upper LCDA22 (upper housing A21). すなわち、外側撮像部(左)A23aおよび外側撮像部(右)A23bは、上側LCDA22を左右に2等分する線に対して対称の位置にそれぞれ配置される。 That is, the outer imaging section (left) A 23a and the outer imaging section (right) A23b are disposed at positions symmetrical with respect to a line bisecting the upper LCDA22 right and left. また、外側撮像部(左)A23aおよび外側撮像部(右)A23bは、上側ハウジングA21を開いた状態において、上側ハウジングA21の上部であって、上側LCDA22の画面の上端よりも上方の位置の裏側に配置される。 The outer imaging section (left) A 23a and the outer imaging section (right) A23b, in opened upper housing A21, a top of the upper housing A21, the upper end of the screen of the upper LCDA22 the upper position back It is placed in. すなわち、外側撮像部(左)A23aおよび外側撮像部(右)A23bは、上側ハウジングA21の外側面であって、上側LCDA22を外側面に投影した場合、投影した上側LCDA22の画面の上端よりも上方に配置される。 That is, the outer imaging section (left) A 23a and the outer imaging section (right) A23b is an outer surface of the upper housing A21, when projected upper LCDA22 the outer surface, than the upper end of the screen of the upper LCDA22 projected upward It is placed in.

このように、外側撮像部A23の2つの撮像部(A23aおよびA23b)が、上側LCDA22の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側LCDA22を正視した場合に、外側撮像部A23の撮像方向をユーザの視線方向と一致させることができる。 Thus, two imaging units of the outer imaging section A23 (A 23a and A23b) is, by being arranged from the center in the left-right direction of the upper LCDA22 positioned symmetrically, in the case where user views the upper LCDA22, outer imaging the imaging direction of the section A23 can be matched with the user's gaze direction. また、外側撮像部A23は、上側LCDA22の画面の上端より上方の裏側の位置に配置されるため、外側撮像部A23と上側LCDA22とが上側ハウジングA21の内部で干渉することがない。 The outer imaging section A23 may be placed in the upper rear position than the upper end of the screen of the upper LCDA22, never the upper LCDA22 outer imaging section A23 interfere with each other inside the upper housing A21. 従って、外側撮像部A23を上側LCDA22の画面の裏側に配置する場合と比べて、上側ハウジングA21を薄く構成することが可能となる。 Therefore, as compared with the case of arranging the outer imaging section A23 to the back side of the screen of the upper LCDA22, it is possible to construct thin upper housing A21.

内側撮像部A24は、上側ハウジングA21の内側面(主面)A21Bに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。 The inner imaging section A24 is positioned on the inner side surface (main surface) A21b of upper housing A21, which is an imaging unit for the normal direction of the inward of the inner surface and the imaging direction. 内側撮像部A24は、所定の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。 The inner imaging section A24 includes an imaging device having a predetermined resolution (eg, CCD image sensor or a CMOS image sensor), and a lens. レンズは、ズーム機構を有するものでもよい。 The lens may have a zooming mechanism.

図1に示すように、内側撮像部A24は、上側ハウジングA21を開いた状態において、上側ハウジングA21の上部であって、上側LCDA22の画面の上端よりも上方に配置され、上側ハウジングA21の左右方向に関して中央の位置(上側ハウジングA21(上側LCDA22の画面)を左右に2等分する線の線上)に配置される。 As shown in FIG. 1, the inner imaging section A24, in the opened upper housing A21, a top of the upper housing A21, the upper end of the screen of the upper LCDA22 disposed above the left and right direction of the upper housing A21 will be disposed in the center (line line bisecting the upper housing A21 (the screen of the upper LCDA22) to the left and right) with respect to. 具体的には、図1および図3(b)に示されるように、内側撮像部A24は、上側ハウジングA21の内側面であって、外側撮像部A23の左右の撮像部(外側撮像部(左)A23aおよび外側撮像部(右)A23b)の中間の裏側の位置に配置される。 Specifically, as shown in FIGS. 1 and 3 (b), the inner imaging section A24 is an inner surface of the upper housing A21, the right and left imaging units of the outer imaging section A23 (outer imaging section (left ) a 23a and the outer imaging section (located in the middle of the back side of the position of the right) A23b). すなわち、上側ハウジングA21の外側面に設けられた外側撮像部A23の左右の撮像部を上側ハウジングA21の内側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部A24が設けられる。 That is, when projecting the imaging portions of the left and right outer imaging section A23 provided on the outer surface of the upper housing A21 to the inner surface of the upper housing A21, in the middle of the imaging portions of the left and right that the projection, the inner imaging section A24 provided It is. 図3(b)で示される破線A24は、上側ハウジングA21の内側面に存在する内側撮像部A24を表している。 It dashed A24 shown in FIG. 3 (b) represents the inner imaging section A24 which exists on the inner surface of the upper housing A21.

このように、内側撮像部A24は、外側撮像部A23とは反対方向を撮像する。 Thus, the inner imaging section A24, the outer imaging section A23 imaging the opposite direction. 内側撮像部A24は、上側ハウジングA21の内側面であって、外側撮像部A23の左右の撮像部の中間位置の裏側に設けられる。 The inner imaging section A24 is an inner surface of the upper housing A21, provided on the back side of the intermediate position of the imaging unit of the left and right outer imaging section A23. これにより、ユーザが上側LCDA22を正視した際、内側撮像部A24でユーザの顔を正面から撮像することができる。 Thus, when a user views the upper LCDA22, it is possible to capture the face of the user from the front by the inner imaging section A24. また、外側撮像部A23の左右の撮像部と内側撮像部A24とが上側ハウジングA21の内部で干渉することがないため、上側ハウジングA21を薄く構成することが可能となる。 Further, since the right and left imaging units of the outer imaging section A23 and the inner imaging section A24 do not interfere with the interior of the upper housing A21, it is possible to construct thin upper housing A21.

3D調整スイッチA25は、スライドスイッチであり、上述のように上側LCDA22の表示モードを切り替えるために用いられるスイッチである。 3D adjustment switch A25 is a slide switch, and is used to switch the display mode of the upper LCDA22 as described above. また、3D調整スイッチA25は、上側LCDA22に表示された立体視可能な画像(立体画像)の立体感を調整するために用いられる。 Also, 3D adjustment switch A25 is used for adjusting the stereoscopic effect of the displayed stereoscopically visible image on the upper LCDA22 (stereoscopic image). 図1〜図3に示されるように、3D調整スイッチA25は、上側ハウジングA21の内側面および右側面の端部に設けられ、ユーザが上側LCDA22を正視した場合に、当該3D調整スイッチA25を視認できる位置に設けられる。 As shown in FIGS. 1 to 3, 3D adjustment switch A25 is provided at an end of the inner side surface and the right side surface of the upper housing A21, if the user views the upper LCDA22, viewing the 3D adjustment switch A25 It provided it position. また、3D調整スイッチA25の操作部は、内側面および右側面の両方に突出しており、どちらからも視認および操作することができる。 The operation unit of the 3D adjustment switch A25 is projected on both the inner side surface and the right side surface, it can be viewed and operated from both. なお、3D調整スイッチA25以外のスイッチは全て下側ハウジングA11に設けられる。 Note that switches other than 3D adjustment switch A25 is all provided on the lower housing A11.

図4は、図1に示す上側ハウジングA21のA−A'線断面図である。 Figure 4 is an A-A 'line cross-sectional view of the upper housing A21 shown in FIG. 図4に示すように、上側ハウジングA21の内側面の右端部には、凹部A21Cが形成され、当該凹部A21Cに3D調整スイッチA25が設けられる。 As shown in FIG. 4, the right end portion of the inner surface of the upper housing A21, the recess A21c is formed, 3D adjustment switch A25 is provided in the concave portion A21c. 3D調整スイッチA25は、図1および図2に示されるように、上側ハウジングA21の正面および右側面から視認可能に配置される。 3D adjustment switch A25, as shown in FIGS. 1 and 2, is visibly arranged from the front and right side surface of the upper housing A21. 3D調整スイッチA25のスライダA25aは、所定方向(上下方向)の任意の位置にスライド可能であり、当該スライダA25aの位置に応じて上側LCDA22の表示モードが設定される。 Slider A25a of the 3D adjustment switch A25 is slidable to any position in a predetermined direction (vertical direction), the display mode of the upper LCDA22 is set in accordance with the position of the slider A25a.

図5Aから図5Cは、3D調整スイッチA25のスライダA25aがスライドする様子を示す図である。 Figure 5C from Figure 5A, the slider A25a of the 3D adjustment switch A25 is a diagram showing a state of sliding. 図5Aは、3D調整スイッチA25のスライダA25aが最下点(第3の位置)に存在する様子を示す図である。 Figure 5A is a diagram illustrating a state in which the slider A25a of the 3D adjustment switch A25 is present in the lowermost position (third position). 図5Bは、3D調整スイッチA25のスライダA25aが最下点よりも上方位置(第1の位置)に存在する様子を示す図である。 Figure 5B is a diagram illustrating a state in which the slider A25a of the 3D adjustment switch A25 is present in a position above the lowermost point (the first position). 図5Cは、3D調整スイッチA25のスライダA25aが最上点(第2の位置)に存在する様子を示す図である。 Figure 5C is a diagram illustrating a state in which the slider A25a of the 3D adjustment switch A25 is present in the uppermost position (second position).

図5Aに示すように、3D調整スイッチA25のスライダA25aが最下点位置(第3の位置)に存在する場合、上側LCDA22は平面表示モードに設定され、上側LCDA22の画面には平面画像が表示される(なお、上側LCDA22を立体表示モードのままとして、左目用画像と右目用画像を同一の画像とすることにより平面表示してもよい)。 As shown in FIG. 5A, when the slider A25a of the 3D adjustment switch A25 is present in lowermost position (third position), the upper LCDA22 is set to the planar display mode, display planar images on the screen of the upper LCDA22 is (Incidentally, the upper LCDA22 step, while the stereoscopic display mode, may be planar display by the left eye image and the right eye image and the same image). 一方、図5Bに示す位置(最下点より上側の位置(第1の位置))から図5Cに示す位置(最上点の位置(第2の位置))までの間にスライダA25aが存在する場合、上側LCDA22は立体表示モードに設定される。 On the other hand, when the slider A25a is present between the positions shown in FIG. 5B (upper position than the lowest point (the first position)) to the position shown in FIG. 5C (the position of the uppermost point (second position)) , upper LCDA22 is set to the stereoscopic display mode. この場合、上側LCDA22の画面には立体視可能な画像が表示される。 In this case, on the screen of the upper LCDA22 is displayed stereoscopically visible image. スライダA25aが第1の位置から第2の位置の間に存在する場合、スライダA25aの位置に応じて、立体画像の見え方が調整される。 If the slider A25a is present between the first position and the second position, depending on the position of the slider A25a, the stereoscopic image is visible is adjusted. 具体的には、スライダA25aの位置に応じて、右目用画像および左目用画像の横方向の位置のずれ量が調整される。 Specifically, according to the position of the slider A25a, the deviation amount in the lateral direction of the position of the right eye image and the left eye image is adjusted. 3D調整スイッチA25のスライダA25aは、第3の位置で固定されるように構成されており、第1の位置と第2の位置との間では上下方向に任意の位置にスライド可能に構成されている。 Slider A25a of the 3D adjustment switch A25 is configured to be secured in a third position, between a first position and a second position is configured to be slid to any position in the vertical direction there. 例えば、スライダA25aは、第3の位置において、3D調整スイッチA25を形成する側面から図5Aに示す横方向に突出した凸部(図示せず)によって固定されて、所定以上の力が上方に加わらないと第3の位置よりも上方にスライドしないように構成されている。 For example, the slider A25a, in the third position, and is fixed by the convex portion that protrudes from the side surface to form a 3D adjustment switch A25 in the lateral direction shown in FIG. 5A (not shown), a predetermined or more force is applied to the upper no When is configured so as not to slide upward from the third position. 第3の位置から第1の位置にスライダA25aが存在する場合、立体画像の見え方は調整されないが、これはいわゆるあそびである。 When the third slider A25a to the first position from the position exists, the appearance of the stereoscopic image is not adjusted, which is a so-called play. 他の例においては、あそびをなくして、第3の位置と第1の位置とを同じ位置としてもよい。 In another example, to eliminate the play, the third position and the first position may be the same position. また、第3の位置を第1の位置と第2の位置の間としてもよい。 Further, the third position may be between the first and second positions. その場合、スライダを第3の位置から第1の位置の方向に動かした場合と、第2の方向に動かした場合とで、右目用画像および左目用画像の横方向の位置のずれ量の調整する方向が逆になる。 In that case, the case of moving the slider from the third position toward the first position, and the case has been moved in the second direction, the adjustment of the amount of deviation in the horizontal direction between the position of the right eye image and the left eye image direction is reversed.

3DインジケータA26は、上側LCDA22が立体表示モードか否かを示す。 3D indicator A26, the upper LCDA22 indicates whether the stereoscopic display mode. 3DインジケータA26は、LEDであり、上側LCDA22の立体表示モードが有効の場合に点灯する。 3D indicator A26 is LED, and the stereoscopic display mode of the upper LCDA22 is lit when valid. なお、3DインジケータA26は、上側LCDA22が立体表示モードになっており、かつ、立体視画像を表示するプログラム処理が実行されているとき(すなわち、3D調整スイッチが上記第1の位置から上記第2の位置にあるときに、左目用画像と右目用画像が異なるような画像処理が実行されているとき)に限り、点灯するようにしてもよい。 Incidentally, 3D indicator A26, the upper LCDA22 is in the stereoscopic display mode, and, when the program processing for displaying a stereoscopic image is performed (i.e., the first 2 3D adjustment switch from the first position when in position, only when) the left eye image and the right eye image are different image processing is performed, it may be turned. 図1に示されるように、3DインジケータA26は、上側ハウジングA21の内側面に設けられ、上側LCDA22の画面近傍に設けられる。 As shown in FIG. 1, 3D indicator A26 is provided on the inner surface of the upper housing A21, provided near the screen of the upper LCDA22. このため、ユーザが上側LCDA22の画面を正視した場合、ユーザは3DインジケータA26を視認しやすい。 Therefore, when the user views the screen of the upper LCDA22, the user easily view the 3D indicator A26. 従って、ユーザは上側LCDA22の画面を視認している状態でも、上側LCDA22の表示モードを容易に認識することができる。 Accordingly, the user even when that viewing the screen of the upper LCDA22, it is possible to recognize the display mode of the upper LCDA22 easily.

また、上側ハウジングA21の内側面には、スピーカ孔A21Eが設けられる。 Further, on the inner surface of the upper housing A21, speaker hole A21E is provided. 後述するスピーカA43からの音声がこのスピーカ孔A21Eから出力される。 Sound from below to the speaker A43 is outputted through the speaker hole A21E.

(ゲーム装置A10の内部構成) (Internal structure of the game apparatus A10)
次に、図6を参照して、ゲーム装置A10の内部の電気的構成について説明する。 Next, referring to FIG. 6, it will be described an internal electrical configuration of the game apparatus A10. 図6は、ゲーム装置A10の内部構成を示すブロック図である。 Figure 6 is a block diagram showing the internal configuration of the game apparatus A10. 図6に示すように、ゲーム装置A10は、上述した各部に加えて、情報処理部A31、メインメモリA32、外部メモリインターフェイス(外部メモリI/F)A33、データ保存用外部メモリI/FA34、データ保存用内部メモリA35、無線通信モジュールA36、ローカル通信モジュールA37、リアルタイムクロック(RTC)A38、加速度センサA39、電源回路A40、およびインターフェイス回路(I/F回路)A41等の電子部品を備えている。 As shown in FIG. 6, the game device A10 is in addition to the units described above, the information processing unit A31, the main memory A32, an external memory interface (external memory I / F) A33, external data storage memory I / FA34, data storage internal memory A35, wireless communication module A36, and includes a local communication module A37, a real time clock (RTC) A38, an acceleration sensor A39, the power supply circuit A40, and an electronic component such as an interface circuit (I / F circuit) A41. これらの電子部品は、電子回路基板上に実装されて下側ハウジングA11(または上側ハウジングA21でもよい)内に収納される。 These electronic components are accommodated in the lower housing A11 (or the upper housing A21) within is mounted on an electronic circuit board.

情報処理部A31は、所定のプログラムを実行するためのCPU(Central Processing Unit)A311、画像処理を行うGPU(Graphics Processing Unit)A312等を含む情報処理手段である。 The information processing unit A31 is, CPU for executing a predetermined program (Central Processing Unit) A311, a information processing means comprising a GPU (Graphics Processing Unit) A312 or the like for image processing. 情報処理部A31のCPUA311は、ゲーム装置A10内のメモリ(例えば外部メモリI/FA33に接続された外部メモリA44やデータ保存用内部メモリA35)に記憶されているプログラムを実行することによって、当該プログラムに応じた処理(例えば、撮影処理や、後述する画像表示処理)を実行する。 CPUA311 information processing unit A31 by executing a program stored in a memory within the game apparatus A10 (e.g. external memory I / FA33 connected external memory A44 or the internal data storage memory A35), the program processing (e.g., photographing processing, image display processing to be described later) corresponding to run a. なお、情報処理部A31のCPUA311によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。 The program executed by CPUA311 information processing unit A31 through communication with other equipment may be obtained from another device. また、情報処理部A31は、VRAM(Video RAM)A313を含む。 Further, the information processing unit A31 includes a VRAM (Video RAM) A313. 情報処理部A31のGPUA312は、情報処理部A31のCPUA311からの命令に応じて画像を生成し、VRAMA313に描画する。 GPUA312 information processing unit A31 generates an image in accordance with an instruction from CPUA311 information processing unit A31, to draw VRAMA313. そして、情報処理部A31のGPUA312は、VRAMA313に描画された画像を上側LCDA22及び/又は下側LCDA12に出力し、上側LCDA22及び/又は下側LCDA12に当該画像が表示される。 Then, GPUA312 information processing unit A31 outputs the image rendered in the VRAMA313 the upper LCDA22 and / or lower LCDA12, the image is displayed on the upper LCDA22 and / or lower LCDA12.

情報処理部A31には、メインメモリA32、外部メモリI/FA33、データ保存用外部メモリI/FA34、および、データ保存用内部メモリA35が接続される。 The information processing unit A31 includes a main memory A32, the external memory I / FA33, external data storage memory I / FA34, and the internal data storage memory A35 are connected. 外部メモリI/FA33は、外部メモリA44を着脱自在に接続するためのインターフェイスである。 The external memory I / FA33 is an interface for connecting an external memory A44 detachably. また、データ保存用外部メモリI/FA34は、データ保存用外部メモリA45を着脱自在に接続するためのインターフェイスである。 The external memory I / FA34 data storage is an interface for connecting the external data storage memory A45 detachably.

メインメモリA32は、情報処理部A31(のCPUA311)のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。 The main memory A32 is volatile storage means used as a work area or a buffer area of ​​the information processing unit A31 (CPUA311 of). すなわち、メインメモリA32は、上記プログラムに基づく処理に用いられる各種データを一時的に記憶したり、外部(外部メモリA44や他の機器等)から取得されるプログラムを一時的に記憶したりする。 That is, the main memory A32 is used for temporarily storing various data used for the process based on the program, and temporarily stores a program obtained from the outside (external memory A44 and other equipment, etc.). 本実施形態では、メインメモリA32として例えばPSRAM(Pseudo−SRAM)を用いる。 In the present embodiment, it is used as the main memory A32 example PSRAM (Pseudo-SRAM).

外部メモリA44は、情報処理部A31によって実行されるプログラムを記憶するための不揮発性の記憶手段である。 External memory A44 is a non-volatile memory means for storing a program executed by the information processing unit A31. 外部メモリA44は、例えば読み取り専用の半導体メモリで構成される。 External memory A44 is, for example, a read-only semiconductor memory. 外部メモリA44が外部メモリI/FA33に接続されると、情報処理部A31は外部メモリA44に記憶されたプログラムを読み込むことができる。 When the external memory A44 is connected to the external memory I / FA33, the information processing unit A31 can read the program stored in the external memory A44. 情報処理部A31が読み込んだプログラムを実行することにより、所定の処理が行われる。 By executing the information processing unit A31 is read program, a predetermined processing is performed. データ保存用外部メモリA45は、不揮発性の読み書き可能なメモリ(例えばNAND型フラッシュメモリ)で構成され、所定のデータを格納するために用いられる。 The external data storage memory A45 is a non-volatile readable and writable memory (for example, a NAND flash memory), and is used for storing predetermined data. 例えば、データ保存用外部メモリA45には、外側撮像部A23で撮像された画像や他の機器で撮像された画像が記憶される。 For example, the external data storage memory A45, an image captured by the captured image and other equipment in the outer imaging section A23 are stored. データ保存用外部メモリA45がデータ保存用外部メモリI/FA34に接続されると、情報処理部A31はデータ保存用外部メモリA45に記憶された画像を読み込み、上側LCDA22及び/又は下側LCDA12に当該画像を表示することができる。 When the external data storage memory A45 are connected to the external data storage memory I / FA34, the information processing unit A31 reads the image stored in the external data storage memory A45, the upward LCDA22 and / or lower LCDA12 image can be displayed.

データ保存用内部メモリA35は、読み書き可能な不揮発性メモリ(例えばNAND型フラッシュメモリ)で構成され、所定のデータを格納するために用いられる。 Internal data storage memory A35 is constituted by a nonvolatile readable and writable memory (e.g., NAND-type flash memory), and is used for storing predetermined data. 例えば、データ保存用内部メモリA35には、無線通信モジュールA36を介した無線通信によってダウンロードされたデータやプログラムが格納される。 For example, the internal data storage memory A35, the data and programs downloaded by wireless communication via the wireless communication module A36 are stored.

無線通信モジュールA36は、例えばIEEE802.11. Wireless communication module A36, for example IEEE 802.11. b/gの規格に準拠した方式により、無線LANに接続する機能を有する。 The method compliant with the b / g standards, has a function of connecting to a wireless LAN. また、ローカル通信モジュールA37は、所定の通信方式(例えば独自プロトコルによる通信や、赤外線通信)により同種のゲーム装置との間で無線通信を行う機能を有する。 The local communication module A37 has a function of performing wireless communication with a predetermined communication method (for example, communication based on a unique protocol, infrared communication) with same type of game apparatus. 無線通信モジュールA36およびローカル通信モジュールA37は情報処理部A31に接続される。 Wireless communication module A36 and a local communication module A37 are connected to the information processing unit A31. 情報処理部A31は、無線通信モジュールA36を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュールA37を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。 The information processing unit A31 may transmit and receive data between the send and receive data to and from other devices via the Internet, from another game apparatus of the same type by using the local communication module A37 using the wireless communication module A36 it can be or.

また、情報処理部A31には、加速度センサA39が接続される。 Further, the information processing section A31, the acceleration sensor A39 are connected. 加速度センサA39は、3軸(xyz軸)方向に沿った直線方向の加速度(直線加速度)の大きさを検出する。 Acceleration sensor A39 detects the size of the three axes (xyz axes) linear direction along the direction of acceleration (linear acceleration). 加速度センサA39は、下側ハウジングA11の内部に設けられる。 Acceleration sensor A39 are provided inside the lower housing A11. 加速度センサA39は、図1に示すように、下側ハウジングA11の長辺方向をx軸、下側ハウジングA11の短辺方向をy軸、下側ハウジングA11の内側面(主面)に対して垂直な方向をz軸として、各軸の直線加速度の大きさを検出する。 Acceleration sensor A39, as shown in FIG. 1, x-axis long side direction of the lower housing A11, y-axis and the short side direction of the lower housing A11, the inner surface of the lower housing A11 (main surface) and the direction perpendicular as z-axis, detects the magnitude of the linear acceleration of each axis. なお、加速度センサA39は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。 The acceleration sensor A39 is, for example, to an acceleration sensor of an electrostatic capacitance type, may be used an acceleration sensor of another type. また、加速度センサA39は1軸又は2軸方向を検出する加速度センサであってもよい。 The acceleration sensor A39 may be an acceleration sensor for detecting a uniaxial or biaxial direction. 情報処理部A31は、加速度センサA39が検出した加速度を示すデータ(加速度データ)を受信して、ゲーム装置A10の姿勢や動きを検出することができる。 The information processing unit A31 may receive data (acceleration data) representing the acceleration acceleration sensor A39 detects detects the posture and motion of the game apparatus A10.

また、情報処理部A31には、RTCA38および電源回路A40が接続される。 Further, the information processing section A31, are connected RTCA38 and the power supply circuit A40. RTCA38は、時間をカウントして情報処理部A31に出力する。 RTCA38 outputs to the information processing unit A31 counts the time. 情報処理部A31は、RTCA38によって計時された時間に基づき現在時刻(日付)を計算する。 The information processing unit A31 calculates a current time (date) based on the time counted by RTCA38. 電源回路A40は、ゲーム装置A10が有する電源(下側ハウジングA11に収納される上記充電式電池)からの電力を制御し、ゲーム装置A10の各部品に電力を供給する。 Power circuit A40 controls power from the power supply of the game apparatus A10 has (the rechargeable battery accommodated in the lower housing A11), and supplies power to each component of the game apparatus A10.

また、情報処理部A31には、I/F回路A41が接続される。 Further, the information processing unit A31, I / F circuit A41 is connected. I/F回路A41には、マイクA42およびスピーカA43が接続される。 The I / F circuit A41, microphone A42 and speaker A43 are connected. 具体的には、I/F回路A41には、図示しないアンプを介してスピーカA43が接続される。 Specifically, the I / F circuit A41, a speaker A43 is connected through an amplifier (not shown). マイクA42は、ユーザの音声を検知して音声信号をI/F回路A41に出力する。 Mike A42, and outputs a sound signal to the I / F circuit A41 detects the user's voice. アンプは、I/F回路A41からの音声信号を増幅し、音声をスピーカA43から出力させる。 The amplifier amplifies the audio signal from the I / F circuit A41, and outputs sounds from the speaker A43. また、タッチパネルA13はI/F回路A41に接続される。 The touch panel A13 is connected to the I / F circuit A41. I/F回路A41は、マイクA42およびスピーカA43(アンプ)の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。 I / F circuit A41 includes a sound control circuit for controlling the microphone A42 and speaker A43 (amp), and a touch panel control circuit for controlling the touch panel. 音声制御回路は、音声信号に対するA/D変換およびD/A変換を行ったり、音声信号を所定の形式の音声データに変換したりする。 The sound control circuit, and converts or perform A / D conversion and D / A conversion, the sound signal into sound data in a predetermined format for the audio signals. タッチパネル制御回路は、タッチパネルA13からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部A31に出力する。 The touch panel control circuit outputs to the information processing unit A31 generates a predetermined form of touch position data based on a signal from the touch panel A13. タッチ位置データは、タッチパネルA13の入力面において入力が行われた位置の座標を示す。 The touch position data indicates coordinates of a position where an input is performed on the input surface of the touch panel A13. なお、タッチパネル制御回路は、タッチパネルA13からの信号の読み込み、および、タッチ位置データの生成を所定時間に1回の割合で行う。 The touch panel control circuit reads a signal from the touch panel A13, and generates touch position data every predetermined time. 情報処理部A31は、タッチ位置データを取得することにより、タッチパネルA13に対して入力が行われた位置を知ることができる。 The information processing unit A31 by obtaining the touch position data, it is possible to know the input is made a position on the touch panel A13.

操作ボタンA14は、上記各操作ボタンA14A〜A14Lからなり、情報処理部A31に接続される。 Operation button A14 is made from the operation buttons A14A~A14L, is connected to the information processing unit A31. 操作ボタンA14から情報処理部A31へは、各操作ボタンA14A〜A14Iに対する入力状況(押下されたか否か)を示す操作データが出力される。 It is to the information processing unit A31 from the operation button A14, operation data indicating an input state (whether or not pressed) of each of the operation buttons A14A~A14I is output. 情報処理部A31は、操作ボタンA14から操作データを取得することによって、操作ボタンA14に対する入力に従った処理を実行する。 The information processing unit A31 by obtaining the operation data from the operation button A14, and executes processing in accordance with the input on the operation button A14.

下側LCDA12および上側LCDA22は情報処理部A31に接続される。 Lower LCDA12 and upper LCDA22 are connected to the information processing unit A31. 下側LCDA12および上側LCDA22は、情報処理部A31(のGPUA312)の指示に従って画像を表示する。 Lower LCDA12 and upper LCDA22 displays an image in accordance with an instruction from the information processing unit A31 (GPUA312 of). 本実施形態では、情報処理部A31は、上側LCDA22に立体画像(立体視可能な画像)を表示させる。 In the present embodiment, the information processing unit A31 displays a stereoscopic image (stereoscopically visible image) on the upper side LCDA22.

具体的には、情報処理部A31は、上側LCDA22のLCDコントローラ(図示せず)と接続され、当該LCDコントローラに対して視差バリアのON/OFFを制御する。 Specifically, the information processing unit A31 is connected to an LCD controller of the upper LCDA22 (not shown), controls the ON / OFF of the parallax barrier to the LCD controller. 上側LCDA22の視差バリアがONになっている場合、情報処理部A31のVRAMA313に格納された右目用画像と左目用画像とが、上側LCDA22に出力される。 When the parallax barrier of the upper LCDA22 is ON, and the right-eye image stored in VRAMA313 information processing unit A31 and the left eye image is outputted to the upper LCDA22. より具体的には、LCDコントローラは、右目用画像について縦方向に1ライン分の画素データを読み出す処理と、左目用画像について縦方向に1ライン分の画素データを読み出す処理とを交互に繰り返すことによって、VRAMA313から右目用画像と左目用画像とを読み出す。 More specifically, LCD controller, by repeating the process of reading the pixel data of one line in the vertical direction, and a process of reading the pixel data of one line in the vertical direction the left-eye image alternately on the right eye image Accordingly, reading the right eye and left-eye images from VRAMA313. これにより、右目用画像および左目用画像が、画素を縦に1ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側LCDA22の画面に表示される。 Thus, alternating the right eye image and the left eye image is divided into aligned rectangle-shaped image having one line for each pixel in the vertical, the strip-shaped image of the strip-like image and the left eye image of the divided right-eye image is arranged image is displayed on the screen of the upper LCDA22. そして、上側LCDA22の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。 Then, by the image through a parallax barrier in the upper LCDA22 is viewed by the user, the right eye image to the right eye of the user, the image for the left eye is viewed by the left eye of the user. 以上により、上側LCDA22の画面には立体視可能な画像が表示される。 Thus, on the screen of the upper LCDA22 is displayed stereoscopically visible image.

外側撮像部A23および内側撮像部A24は、情報処理部A31に接続される。 Outer imaging section A23 and the inner imaging section A24 is connected to the information processing unit A31. 外側撮像部A23および内側撮像部A24は、情報処理部A31の指示に従って画像を撮像し、撮像した画像データを情報処理部A31に出力する。 Outer imaging section A23 and the inner imaging section A24 may capture an image in accordance with an instruction of the information processing unit A31, and outputs the captured image data to the information processing unit A31.

3D調整スイッチA25は、情報処理部A31に接続される。 3D adjustment switch A25 is connected to the information processing unit A31. 3D調整スイッチA25は、スライダA25aの位置に応じた電気信号を情報処理部A31に送信する。 3D adjustment switch A25 transmits an electrical signal corresponding to the position of the slider A25a to the information processing unit A31.

また、3DインジケータA26は、情報処理部A31に接続される。 Also, 3D indicator A26 is connected to the information processing unit A31. 情報処理部A31は、3DインジケータA26の点灯を制御する。 The information processing unit A31 controls the lighting of the 3D indicator A26. 例えば、情報処理部A31は、上側LCDA22が立体表示モードである場合、3DインジケータA26を点灯させる。 For example, the information processing unit A31, when the upper LCDA22 is in the stereoscopic display mode, turns on the 3D indicator A26. 以上がゲーム装置A10の内部構成の説明である。 This concludes the description of the internal configuration of the game apparatus A10.

(ゲーム装置A10の動作の概要) (Overview of the operation of the game apparatus A10)
以下、本実施形態におけるゲーム装置A10の動作の概要について説明する。 Hereinafter, an outline of operation of the game device A10 according to this embodiment. 本実施形態では、画像表示プログラムに基づいて、外側撮像部A23(外側撮像部(左)A23a、外側撮像部(右)A23b)によって現在撮像されている実世界の画像と、3次元の仮想空間に存在する仮想オブジェクトの画像とを合成した合成画像が、上側LCDA22の画面に立体視可能に表示される。 In the present embodiment, based on the image display program, the outer imaging section A23 and the real world image currently being captured by the (outer imaging section (left) A 23a, the outer imaging section (right) A23b), the 3-dimensional virtual space composite image of the image of the virtual object existing in is stereoscopically visible displayed on the screen of the upper LCDA22.

(実世界画像の立体視表示) (Stereoscopic display of real-world image)
外側撮像部A23で撮影された2つの撮影画像は所定の視差を有するように上側LCDに供給されて立体視表示される。 Two images captured by the outer imaging section A23 are supplied to the upper LCD and is stereoscopically displayed so as to have a predetermined disparity.

図7は、外側撮像部A23によって3つのボールA60a〜A60c(実オブジェクト)が撮像されているときに上側LCDA22の画面に表示される立体画像の一例を示している。 Figure 7 shows an example of a stereoscopic image displayed on the screen of the upper LCDA22 when the outer imaging section A23 3 single ball A60a~A60c (actual object) is captured. 外側撮像部A23によって3つのボールA60a〜A60cが撮像されると、上側LCDA22には、これらのボールA60a〜A60cが立体視可能に表示される。 When three balls A60a~A60c the outer imaging section A23 is captured, the upper LCDA22, these balls A60a~A60c are displayed stereoscopically. 図7に示されるように、上側LCDA22の画面上では、外側撮像部A23に最も近いボールA60aが最も手前に位置するようにユーザに視認され、外側撮像部A23から最も遠いボールA60cが最も遠くに位置するようにユーザに視認される。 As shown in FIG. 7, on the screen of the upper LCDA22, is visible to the user as closest ball A60a to the outer imaging section A23 is located foremost, farthest farthest ball A60c from the outer imaging section A23 It is visible to the user so as to be located. なお、図7では、理解を容易にするために、上側LCDA22の画面からボールをはみ出して図示しているが、実際にはボールは画面内に表示される。 In FIG. 7, for ease of understanding, are illustrated protrude the ball from the screen of the upper LCDA22, actually the ball is displayed on the screen. 後述の図8や図10についても同様である。 The same applies to FIGS. 8 and 10 will be described later. なお、図7では、後述するマーカーA61(図8参照)が外側撮像部A23によって撮像されていないため、上側LCDA22の画面には仮想オブジェクトは表示されていない。 In FIG. 7, described later marker A61 (see FIG. 8) because they are not captured by the outer imaging section A23, the screen of the upper LCDA22 virtual object is not displayed. また、図7、図8、図10等においては、表示対象が飛び出ているように視認される様子を図示しているが、立体視可能に表示する、と言った場合、必ずしも飛び出し方向に視認される場合のみでなく、画面より奥側に、奥行きを持って表示される場合も含む。 Further, FIGS. 7, 8, 10, etc., are illustrated the manner to be viewed as protruding is displayed, if said stereoscopically viewable displays, necessarily viewing direction popping not only when it is, the back side of the screen, including also appear with depth.

(実世界画像およびCG画像の立体視表示) (Stereoscopic display of real-world image and the CG image)
図8は、外側撮像部A23によってマーカーA61(実オブジェクト)が撮像されているときに上側LCDA22の画面に表示される立体画像の一例を示している。 Figure 8 shows an example of a stereoscopic image displayed on the screen of the upper LCDA22 when the marker by the outer imaging section A23 A61 (the real object) is captured. 図8に示すように、マーカーA61には、矢印を含む正方形が描かれており、CPUA311は、外側撮像部A23から取得される画像に対して例えばパターンマッチング等の画像処理を行うことによって、当該画像にマーカーが含まれているか否かを判定することができる。 As shown in FIG. 8, the marker A61, are drawn square including arrows, CPUA311, by performing image processing, for example, pattern matching or the like to the image acquired from the outer imaging section A23, the it is possible to determine whether or not contain markers in the image. 外側撮像部A23によってマーカーA61が撮像されているときには、上側LCDA22には、実世界画像としてマーカーA61が立体視可能に表示されるとともに、マーカーA61の位置に仮想オブジェクトA62(例えば犬を模した仮想オブジェクト)が立体視可能に合成表示される。 Virtual When the marker A61 by the outer imaging section A23 is imaged, the upper LCDA22, together with the marker A61 is displayed stereoscopically viewable as a real world image, simulating a virtual object A62 (e.g. dog marker location A61 object) is synthesized displayed stereoscopically. なお、図9に示すように、マーカーA61には向き(前方向、右方向、上方向)が定義されており、マーカーA61の姿勢に応じた姿勢で仮想オブジェクトを配置することができる。 As shown in FIG. 9, the marker A61 direction (front direction, right direction, upward direction) are defined, it is possible to arrange the virtual objects in a posture according to the posture of the marker A61. 例えば、仮想オブジェクトA62の前方向がマーカーA61の前方向と一致するように、マーカーA61の上に仮想オブジェクトA62を配置することが可能である。 For example, as front direction of the virtual object A62 coincides with the forward direction of the marker A61, it is possible to place the virtual object A62 over the marker A61.

図10は、外側撮像部A23によってマーカーA61が撮像されているときに上側LCDA22の画面に表示される立体画像の他の一例を示している。 Figure 10 shows another example of a stereoscopic image displayed on the screen of the upper LCDA22 when the marker A61 by the outer imaging section A23 are captured. このように、ユーザーがゲーム装置A10を移動させることによって、上側LCDA22の画面に表示されるマーカーA61の位置および向きが変化すると、それに追従するように、仮想オブジェクトA62の位置および向きが変化する。 Thus, by the user moving the game device A10, the position and orientation of the marker A61 displayed on the screen of the upper LCDA22 changes, so as to follow it, the position and orientation of the virtual object A62 is changed. よって、ユーザーには仮想オブジェクトA62があたかも実世界に本当に存在しているかのように見える。 Thus, the user appears as if the virtual object A62 is really exist if it were in the real world.

以下、図11〜図40を参照して、ゲーム装置A10において画像表示プログラムに基づいて実行される画像表示処理の詳細について説明する。 Hereinafter, with reference to FIGS. 11 to 40, will be described in detail an image display process executed on the basis of the image display program in the game apparatus A10.

(メモリマップ) (Memory map)
まず、画像表示処理の際にメインメモリA32に記憶される主なデータについて説明する。 Firstly, main data stored in the main memory A32 in the image display processing will be described. 図11は、ゲーム装置A10のメインメモリA32のメモリマップを示す図である。 Figure 11 is a diagram showing a memory map of the main memory A32 of the game device A10. 図11に示されるように、メインメモリA32には、画像表示プログラムA70、最新左実世界画像A71L、最新右実世界画像A71R、表示用左実世界画像A72L、表示用右実世界画像A72R、立体視ゼロ距離A73、仮想オブジェクト情報A74、左変換行列A75L、右変換行列A75R、左ビュー行列A76L、右ビュー行列A76R、左射影行列A77L、右射影行列A77R、表示モードA78、マーカー認識モードA79、メイン実世界画像識別情報A80、各種変数A81等が記憶される。 As shown in FIG. 11, the main memory A32, an image display program A70, the latest left real world image A71L, latest right real world image A71R, display for the left real world image A72L, display the right real world image A72R, stereoscopic zero distance A73 viewing, virtual object information A74, left transformation matrix A75L, right transformation matrix A75R, left view matrix A76L, right view matrix A76R, left projection matrix A77L, right projection matrix A77R, display mode A78, a marker recognition mode A79, the main real world image identification information A80, various variables and the like A81 are stored.

画像表示プログラムA70は、CPUA311に上記画像表示処理を実行させるためのプログラムである。 The image display program A70 is a program for executing the image display processing in CPUA311.

最新左実世界画像A71Lは、外側撮像部(左)A23aによって撮像された最新の画像である。 Recently left real world image A71L is the latest image taken by the outer imaging section (left) A 23a.

最新右実世界画像A71Rは、外側撮像部(右)A23bによって撮像された最新の画像である。 Recently right real world image A71R is the latest image taken by the outer imaging section (right) A23b.

表示用左実世界画像A72Lは、外側撮像部(左)A23aによって撮像された画像のうち、上側LCDA22に表示されることが決定された最新の画像である。 Left real world image A72L display, out of the image captured by the outer imaging section (left) A 23a, the latest image determined to be displayed on the upper LCDA22.

表示用右実世界画像A72Rは、外側撮像部(右)A23bによって撮像された画像のうち、上側LCDA22に表示されることが決定された最新の画像である。 Display for the right real world image A72R the outer imaging section (right) of the image captured by A23b, the latest image determined to be displayed on the upper LCDA22.

立体視ゼロ距離A73は、外側撮像部A23から撮影方向にどれだけの距離だけ離れた物体が、上側LCDA22の画面に立体表示されたときに上側LCDA22の画面と同じ奥行き位置にあるように視認されるかを示す変数であり、例えば、センチメートルの単位で表される。 Stereoscopic zero distance A73 is apart distance of the object much from the outer imaging section A23 in shooting direction, visibility is to be in the same depth position as the screen of the upper LCDA22 when they are three-dimensional display on the screen of the upper LCDA22 a variable indicating the Luke, for example, expressed in units of centimeters. 本実施形態では、立体視ゼロ距離A73は25cmで固定とするが、これは単なる一例に過ぎず、ユーザーの指示に応じて、またはコンピュータによって自動的に、立体視ゼロ距離A73を随時変更するようにしても構わない。 In the present embodiment, the stereoscopic zero distance A73 is a fixed 25 cm, this is merely an example, depending on the user's instruction, or automatically, so as to change the stereoscopic zero distance A73 as needed by the computer it may also be in. 立体視ゼロ距離A73は、マーカーA61からの距離や、外側撮像部A23とマーカーA61の間の距離における比で指定しても構わない。 Stereoscopic zero distance A73 is and the distance from the marker A61, may be specified by a ratio of the distance between the outer imaging section A23 and the marker A61. また、必ずしも現実空間の距離として指定せず、仮想空間における距離で指定してもよい。 Moreover, not necessarily specified as a distance in the real space may be specified by the distance in the virtual space. マーカーA61のサイズが既知のときなどには、実世界における長さの単位と仮想空間における長さの単位とを一致させることができる。 The example, when the size of the marker A61 is known, it is possible to match the unit of length in the unit and the virtual space of the length in the real world. このように両者の単位を一致させることができる場合には、立体視ゼロ距離A73を実世界における長さの単位で設定できる。 If this can be matched to units of both so, you can set the stereoscopic zero distance A73 in the unit of length in the real world. しかしながら、両者の単位を一致させることができない場合には、立体視ゼロ距離A73を仮想空間における長さの単位で設定してもよい。 However, if it is not possible to match the units of both, may be set stereoscopic zero distance A73 in the unit of length in the virtual space. なお、後述の通り、本実施形態においては、マーカーA61のサイズを用いずに、実世界における長さの単位と仮想空間における長さの単位とを一致させることができる。 Incidentally, as described below, in the present embodiment, it is possible to match the unit of length in the unit and the virtual space without using the size of the marker A61, the length in the real world is.

仮想オブジェクト情報A74は、前述の仮想オブジェクトA62に関連する情報であって、仮想オブジェクトA62の形状を表す3Dモデルデータ(ポリゴンデータ)や、仮想オブジェクトA62の模様を表すテクスチャデータや、仮想空間における仮想オブジェクトA62の位置や姿勢の情報などを含む。 Virtual object information A74 is information related to the virtual object A62 described above, and 3D model data representing the shape of the virtual object A62 (polygon data), and the texture data representing the pattern of the virtual object A62, virtual in the virtual space including information on the position and posture of the object A62.

左変換行列A75Lは、左実世界画像におけるマーカーA61の位置および姿勢を認識することにより計算される行列であり、マーカーA61の位置および姿勢を基準として設定される座標系(マーカー座標系)で表された座標を外側撮像部(左)A23aの位置および姿勢を基準として表された座標系(外側撮像部(左)座標系)に変換する座標変換行列である。 Left transformation matrix A75L is a matrix which is calculated by recognizing the position and orientation of the marker A61 in the left real world image, the table in a coordinate system which is set with reference to the position and orientation of the marker A61 (marker coordinate system) a coordinate transformation matrix for transforming the coordinates that are in the outer imaging section (left) a 23a of the position and orientation coordinate system expressed as a reference (the outer imaging section (left) coordinate system). 左変換行列A75Lは、マーカーA61の位置および姿勢に対する外側撮像部(左)A23aの相対的な位置および姿勢の情報を含む行列であり、より具体的には、マーカー座標系における外側撮像部(左)A23aの位置および姿勢の情報を含む行列である。 Left transformation matrix A75L is a matrix containing information of relative position and orientation of the outer imaging section (left) A 23a with respect to the position and orientation of the marker A61, more specifically, the outer imaging section in the marker coordinate system (left ) is a matrix containing the information of the position and orientation of a 23a.

右変換行列A75Rは、右実世界画像におけるマーカーA61の位置および姿勢を認識することにより計算される行列であり、マーカー座標系で表された座標を外側撮像部(右)A23bの位置および姿勢を基準として表された座標系(外側撮像部(右)座標系)に変換する座標変換行列である。 Right transformation matrix A75R is a matrix which is calculated by recognizing the position and orientation of the marker A61 in the right real world image, the outer imaging section coordinates represented by the marker coordinate system the position and orientation of the (right) A23b criteria as expressed coordinate system is a coordinate transformation matrix for transforming the (outer imaging section (right) coordinate system). 右変換行列A75Rは、マーカーA61の位置および姿勢に対する外側撮像部(右)A23bの相対的な位置および姿勢の情報を含む行列であり、より具体的には、マーカー座標系における外側撮像部(右)A23bの位置および姿勢の情報を含む行列である。 Right transformation matrix A75R is a matrix including the position and the outer imaging section for position (right) A23b relative position and orientation information of the marker A61, more specifically, the outer imaging section in the marker coordinate system (right ) is a matrix containing the information of the position and orientation of A23b.

なお、本明細書において、マーカー座標系から外側撮像部(左)座標系または外側撮像部(右)座標系への変換行列のことを「マーカー・カメラ変換行列」と呼ぶ。 In this specification, the transform matrix from the marker coordinate system to the outer imaging section (left) coordinate system or the outer imaging section (right) coordinate system is referred to as a "marker camera transformation matrix". 左変換行列A75Lおよび右変換行列A75Rは「マーカー・カメラ変換行列」である。 Left transformation matrix A75L and right transformation matrix A75R is a "marker-camera transformation matrix".

左ビュー行列A76Lは、左仮想カメラから見た仮想オブジェクトA62を描画する際に用いられる行列であり、仮想世界のワールド座標系で表された座標を左仮想カメラ座標系で表された座標へと変換するための座標変換行列である。 Left view matrix A76L is a matrix used when rendering a virtual object A62 as seen from the left virtual camera, and to that represented the coordinates represented by the world coordinate system of the virtual world in the left virtual camera coordinate system coordinates a coordinate transformation matrix for transforming. 左ビュー行列A76Lは、仮想世界のワールド座標系における左仮想カメラの位置および姿勢の情報を含む行列である。 Left view matrix A76L is a matrix that contains the information of the position and orientation of the left virtual camera in the world coordinate system of the virtual world.

右ビュー行列A76Rは、右仮想カメラから見た仮想オブジェクトA62を描画する際に用いられる行列であり、仮想世界のワールド座標系で表された座標を右仮想カメラ座標系で表された座標へと変換するための座標変換行列である。 Right view matrix A76R is a matrix used when rendering a virtual object A62 as seen from the right virtual camera, and to that represented the coordinates represented by the world coordinate system of the virtual world in the right virtual camera coordinate system coordinates a coordinate transformation matrix for transforming. 右ビュー行列A76Rは、仮想世界のワールド座標系における右仮想カメラの位置および姿勢の情報を含む行列である。 Right view matrix A76R is a matrix that contains the information of the position and orientation of the right virtual camera in the world coordinate system of the virtual world.

左射影行列A77Lは、左仮想カメラから見た仮想世界(仮想世界に存在する仮想オブジェクトA62)を描画する際に用いられる行列であり、左仮想カメラ座標系で表された座標をスクリーン座標系で表された座標へと変換するための座標変換行列である。 Left projection matrix A77L is a matrix used in rendering the virtual world as seen from the left virtual camera (a virtual object A62 existing in the virtual world), the coordinates represented by the left virtual camera coordinate system on the screen coordinate system a coordinate transformation matrix for transforming into the represented coordinate.

右射影行列A77Rは、右仮想カメラから見た仮想世界(仮想世界に存在する仮想オブジェクトA62)を描画する際に用いられる行列であり、右仮想カメラ座標系で表された座標をスクリーン座標系で表された座標へと変換するための座標変換行列である。 Right projection matrix A77R is a matrix used in rendering the virtual world (the virtual object A62 existing in the virtual world) as seen from the right virtual camera, the coordinates represented in the right virtual camera coordinate system in the screen coordinate system a coordinate transformation matrix for transforming into the represented coordinate.

表示モードA78は、現在の処理モードを示すデータであって、より具体的には、実世界画像と仮想空間画像とを同期させて合成表示する同期表示モードか、実世界画像と仮想空間画像とを同期させずに合成表示する非同期表示モードかを示すデータである。 Display mode A78 is data indicating the current processing mode, more specifically, the real world image whether synchronous display mode for synthesizing synchronously display the virtual space image, the real world image and the virtual space image is data indicating whether the asynchronous display mode for synthesizing displayed without synchronizing.

マーカー認識モードA79は、現在の処理モードを示すデータであって、より具体的には、左実世界画像と右実世界画像のいずれか一方のみに対してマーカー認識処理を行う片画像認識モードか、左実世界画像と右実世界画像の両方に対してそれぞれマーカー認識処理を行う両画像認識モードかを示すデータである。 Marker recognition mode A79 is data indicating the current processing mode, more specifically, whether single image recognition mode for marker recognition processing to only one of the left real world image and the right real world image is data indicating whether two images recognition mode for each marker recognition processing on both the left real world image and the right real world image.

メイン実世界画像識別情報A80は、左実世界画像と右実世界画像のいずれがメイン実世界画像なのかを示すデータである。 The main real world image identification information A80 is data indicating which of the left real world image and the right real world image of main real-world image. 上記の片画像認識モードでは、メイン実世界画像に対してのみマーカー認識処理が行われ、他方の実世界画像(以下、サブ実世界画像と称す)に対してはマーカー認識処理は行われない。 In the above single image recognition mode, a marker recognition process only to the main real world image is performed, other real world image (hereinafter, referred to as sub real world image) not performed marker recognition processing for.

各種変数A81は、画像表示プログラムA70の実行の際に用いられる変数であって、図12に示すような変数を含む。 Various variables A81 is a variable used during execution of the image display program A70, including variables such as shown in FIG. 12. これらの変数の意味については、以下の説明において随時説明する。 The meaning of these variables, from time to time described in the following description.

ゲーム装置A10の電源が投入されると、ゲーム装置A10の情報処理部A31(CPUA311)は、図示しないROMに記憶されている起動プログラムを実行し、これによってメインメモリA32等の各ユニットが初期化される。 When the game device A10 is turned on, the information processing unit A31 (CPUA311) of the game device A10 executes a boot program stored in the unillustrated ROM, thereby initializing each unit such as the main memory A32 It is. 次に、データ保存用内部メモリA35に記憶された画像表示プログラムがメインメモリA32に読み込まれ、情報処理部A31のCPUA311によって当該画像表示プログラムの実行が開始される。 Next, an image display program stored in the internal data storage memory A35 is loaded to the main memory A32, the execution of the image display program is started by CPUA311 information processing unit A31.

以下、図13〜図19のフローチャートを参照して、画像表示プログラムに基づいて実行される処理の流れを説明する。 Hereinafter, with reference to the flowchart of FIGS. 13 to 19, the flow of processing executed will be described on the basis of the image display program. なお、図13〜図19のフローチャートは、単なる一例に過ぎない。 The flowchart of FIGS. 13 to 19 is merely an example. したがって、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。 Therefore, as long as the same result is obtained, it may be changed processing order of the steps. また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値を採用してもよい。 The value or variable threshold to be used in judging step also merely illustrative and may be employed other values ​​as required. また、本実施形態では、図13〜図19のフローチャートの全てのステップの処理をCPUA311が実行するものとして説明するが、図13〜図19のフローチャートの一部のステップの処理を、CPUA311以外のプロセッサや専用回路が実行するようにしてもよい。 Further, in the present embodiment, illustrating the processing of all the steps of the flowchart of FIGS. 13 to 19 as CPUA311 performs the processing of some of the steps of the flowchart of FIGS. 13 to 19, except CPUA311 processor or a dedicated circuit may be executed.

(マーカー処理) (A marker processing)
図13は、画像表示プログラムA70に基づいてCPUA311によって実行されるマーカー処理の流れを示すフローチャートである。 Figure 13 is a flowchart showing the flow of the marker processing executed by CPUA311 on the basis of the image display program A70. マーカー処理は、後述するメイン処理と並列的に実行される処理であり、本実施形態では、CPUA311がアイドル状態のときに実行される。 Marker process is a process that is performed in parallel with the main processing described later, in the present embodiment is executed when CPUA311 is idle. 以下、マーカー処理の詳細について説明する。 The following describes details of the marker processing.

図13のステップSA10において、CPUA311は、外側撮像部A23から両方の実世界画像(すなわち左実世界画像および右実世界画像)を取得したか否かを判断し、両方の実世界画像が取得されている場合には処理はステップSA11に進む。 In step SA10 in FIG. 13, CPUA311 determines whether obtain both real world image (i.e. left real world image and the right real world image) from the outer imaging section A23, both real world image is acquired in the case in which the process proceeds to step SA11. 外側撮像部A23から取得された最新の左実世界画像は、最新左実世界画像A71LとしてメインメモリA32に格納され、最新の右実世界画像は、最新右実世界画像A71RとしてメインメモリA32に格納される。 Storing latest left real world image obtained from the outer imaging section A23 is stored in the main memory A32 as the latest left real world image A71L, latest right real world image, the main memory A32 as the latest right real world image A71R It is.

なお、前述のように、上側ハウジングA21において、外側撮像部(左)A23aと外側撮像部(右)A23bは一定の間隔(例えば3.5cm、以下、撮像部間距離)だけ離れている。 As described previously, the upper housing A21, the outer imaging section (left) A 23a and the outer imaging section (right) A23b certain intervals (e.g. 3.5 cm, or less, inter imaging unit distance) are separated by. したがって、外側撮像部(左)A23aと外側撮像部(右)A23bによって同時にマーカーA61を撮像した場合、図20に示すように、外側撮像部(左)A23aによって撮像された左実世界画像におけるマーカーA61の位置及び姿勢と、外側撮像部(右)A23bによって撮像された右実世界画像におけるマーカーA61の位置及び姿勢との間には、視差によるズレが生じる。 Therefore, when an image markers A61 simultaneously by the outer imaging section (left) A 23a and the outer imaging section (right) A23b, as shown in FIG. 20, the marker in the left real world image captured by the outer imaging section (left) A 23a the position and orientation of the A61, between the position and orientation of the marker A61 in the imaged right real world image by the outer imaging section (right) A23b, deviation due parallax may occur.

ステップSA11において、CPUA311は、メイン実世界画像に対してマーカー認識処理を行う。 In step SA11, CPUA311 performs marker recognition processing to the main real-world image. より具体的には、パターンマッチング手法等によってメイン実世界画像にマーカーA61が含まれているか否かを判断し、メイン実世界画像にマーカーA61が含まれている場合には、メイン実世界画像におけるマーカーA61の位置および姿勢に基づいて、左変換行列A75Lまたは右変換行列A75Rを算出する(メイン実世界画像が左実世界画像である場合には、左変換行列A75Lを算出し、メイン実世界画像が右実世界画像である場合には、右変換行列A75Rを算出する)。 More specifically, it is determined whether contains marker A61 to the main real world image by a pattern matching method or the like, if it contains marker A61 to the main real world image in the main real world image based on the position and orientation of the marker A61, and calculates a left transformation matrix A75L or right transformation matrix A75R (when the main real world image is the left real world image may calculate a left transformation matrix A75L, the main real world image There when a right real world image, calculates a right transformation matrix A75R).

なお、左変換行列A75Lは、左実世界画像におけるマーカーA61の位置および姿勢に基づいて計算される外側撮像部(左)A23aの位置および姿勢を反映した行列である。 Incidentally, the left transformation matrix A75L is a matrix that reflects the position and the orientation of the outer imaging section (left) A 23a that is calculated based on the position and orientation of the marker A61 in the left real world image. より正確には、図21に示すように、マーカー座標系(実世界におけるマーカーA61の位置を原点とし、マーカーA61の縦方向、横方向、法線方向の各方向を各軸とする座標系)で表された座標を、左実世界画像におけるマーカーA61の位置および姿勢に基づいて計算された外側撮像部(左)A23aの位置および姿勢を基準とした外側撮像部(左)座標系で表される座標へと変換するための座標変換行列である。 More precisely, as shown in FIG. 21, the marker coordinate system (real as an origin position of the marker A61 in the world coordinate system to the longitudinal direction of the marker A61, laterally, each direction of the normal direction and each axis) the in the represented coordinates are represented by the position and the outer imaging section which is calculated based on the orientation (left) outer imaging section on the basis of the position and orientation of a 23a (left) coordinate system of the marker A61 in the left real world image a coordinate transformation matrix for transforming into that coordinate.

また、右変換行列A75Rは、右実世界画像におけるマーカーA61の位置および姿勢に基づいて計算される外側撮像部(右)A23bの位置および姿勢を反映した行列である。 The right transformation matrix A75R is a matrix that reflects the position and the orientation of the outer imaging section (right) A23b which is calculated based on the position and orientation of the marker A61 in the right real world image. より正確には、図22に示すように、マーカー座標系で表された座標を、右実世界画像におけるマーカーA61の位置および姿勢に基づいて計算された外側撮像部(右)A23bの位置および姿勢を基準とした外側撮像部(右)座標系で表される座標へと変換するための座標変換行列である。 More precisely, as shown in FIG. 22, the coordinates represented by the marker coordinate system, the position and the outer imaging section which is calculated based on the orientation of the marker A61 in the right real world image (right) position and orientation of A23b a coordinate transformation matrix for transforming into coordinates expressed by the outer imaging section on the basis (right) coordinate system.

なお、マーカー認識精度に誤差が全く無く、かつゲーム装置A10に対する外側撮像部(左)A23aおよび外側撮像部(右)A23bの取り付け精度に誤差が全く無いと仮定すると、右実世界画像のマーカー認識結果である右変換行列A75Rが示す外側撮像部(右)A23bの位置は、左実世界画像のマーカー認識結果である左変換行列A75Lが示す外側撮像部(左)A23aの位置を、外側撮像部(左)座標系のx軸方向(ゲーム装置A10の横方向であり使用時の水平方向)に沿って一定距離(撮像部間距離)だけずらした位置となり、右変換行列A75Rが示す外側撮像部(右)A23bの姿勢と左変換行列A75Lが示す外側撮像部(左)A23aの姿勢はゲーム装置A10における外側撮像部(左)A23aと外側撮像部( Incidentally, assuming that absolutely no error in the outer imaging section (left) A 23a and the outer imaging section (right) A23b mounting accuracy of the relative marker recognizing without any errors in accuracy, and the game device A10, marker recognizing the right real world image results outer imaging section indicated by the right transformation matrix A75R a (right) position of A23b are outer imaging section indicated by the left transformation matrix A75L a marker recognition result of the left real world image the position of the (left) a 23a, the outer imaging section (left) constant distance becomes the position shifted by (inter imaging unit distance) along the coordinate system of the x-axis direction (horizontal direction in the lateral direction of the game apparatus A10 used), the outer imaging section indicated by the right transformation matrix A75R (right) outer imaging section indicated posture and left transformation matrix A75L of A23b (left) orientation of A23a outer imaging section of the game device A10 (left) A23a and the outer imaging section ( )A23bの取り付け状態と同じとなる。 ) The same as the mounting state of A23b. 本実施例においては、ゲーム装置A10において外側撮像部(左)A23aと外側撮像部(右)A23bは平行に取り付けられるように設計さているので、外側撮像部(左)座標系のx軸,y軸,z軸が、外側撮像部(右)座標系のx軸,y軸,z軸とそれぞれ平行となる。 In the present embodiment, since the outer imaging section in the game device A10 (left) A 23a and the outer imaging section (right) A23b is designed to be mounted in parallel, x-axis of the outer imaging section (left) coordinate system, y axis, z-axis, the outer imaging section (right) coordinate system x-axis of, y-axis, and respectively parallel to the z-axis. しかしながら実際には、マーカー認識精度にも、ゲーム装置A10に対する外側撮像部(左)A23aおよび外側撮像部(右)A23bの取り付け精度にも誤差があるため、左変換行列A75Lが示す外側撮像部(左)A23aの位置及び姿勢と、右変換行列A75Rが示す外側撮像部(右)A23bの位置及び姿勢は、理想的な関係にはならない。 In practice, however, even the marker recognition accuracy, because there is an error in the outer imaging section (left) A 23a and the outer imaging section (right) A23b mounting accuracy of the game device A10, the outer imaging section indicated by the left transformation matrix A75L ( position and orientation of the position and the orientation of the left) a 23a, the outer imaging section indicated by the right transformation matrix A75R (right) A23b is not an ideal relationship. 例えば、左変換行列A75Lと右変換行列A75Rは、外側撮像部(左)A23aと外側撮像部(右)A23bが近すぎたり、離れすぎたり、外側撮像部(左)A23aの姿勢と外側撮像部(右)A23bの姿勢が異なったりするような行列になる。 For example, A75R left transformation matrix A75L and right transformation matrix, the outer imaging section (left) A 23a and the outer imaging section (right) A23b is too close, or too far apart, the outer imaging section (left) A 23a attitude and the outer imaging section It is a matrix, such as or different from the attitude of the (right) A23b. また、外側撮像部(左)A23aの姿勢と外側撮像部(右)A23bの姿勢が平行でないような行列になる。 The outer imaging section (left) A 23a attitude and the outer imaging section (right) A23b posture becomes matrix as not parallel.

ここで、ARでは、マーカー座標系を外側撮像部(左)座標系または外側撮像部(右)座標系に変換する行列を仮想カメラのビュー行列に指定することにより、実世界画像にCG画像を合成することができるが、単に、左変換行列A75Lを左ビュー行列A76Lに指定し、右変換行列A75Rを右ビュー行列A76Rに指定して仮想空間画像を上側LCDA22に立体表示する場合には、仮想オブジェクトA62が正常に立体視できないことがあり得る。 Here, the AR, by specifying a matrix for transforming the marker coordinate system outer imaging section (left) coordinate system or the outer imaging section (right) in the coordinate system in the view matrix of the virtual camera, the CG image to the real world image it can be synthesized simply, when a left transformation matrix A75L specified in the left view matrix A76L, stereoscopically displays the virtual space image by specifying the right transformation matrix A75R right view matrix A76R upward LCDA22 the virtual object A62 is may not be able stereoscopic successfully. そこで本実施形態では、後述する説明から明らかになるように、左実世界画像および右実世界画像のいずれか一方のマーカー認識結果(マーカー・カメラ変換行列)から計算される一方の仮想カメラの位置及び姿勢(ビュー行列)に基づいて、左仮想カメラA63Lの位置及び姿勢と右仮想カメラA63Rの位置及び姿勢が理想的な関係となるように、他方の仮想カメラの位置及び姿勢(ビュー行列)が決定される。 Therefore, in this embodiment, as will become apparent from the description below, the position of one of the virtual camera are calculated from either marker recognition result of the left real world image and the right real world image (marker camera transformation matrix) and based on the attitude (view matrix), so that the position and orientation of the position and orientation and the right virtual camera A63R left virtual camera A63L is ideal relationship, the position and orientation (view matrix) of the other of the virtual camera It is determined.

なお、ステップSA11において、メイン実世界画像からマーカーA61が認識されなかった場合には、左変換行列A75Lまたは右変換行列A75Rにヌル値が格納され、これによって、左実世界画像または右実世界画像におけるマーカーA61の認識に失敗したことが記録される。 Note that, in step SA11, if the marker A61 is not recognized from the main real world image is a null value is stored in the left transformation matrix A75L or right transformation matrix A75R, whereby the left real world image or the right real world image a failure to recognize the marker A61 in is recorded.

ステップSA12において、CPUA311は、マーカー認識モードが片画像認識モードであるかどうかを判断する。 In step SA12, CPUA311 determines whether the marker recognition mode is a single image recognition mode. そして、片画像認識モードである場合には、処理はステップSA13に進み、そうでない場合(すなわち両画像認識モードである場合)には、処理はステップSA14に進む。 When a single image recognition mode, the process proceeds to step SA13, the otherwise (i.e. if it is both image recognition mode), the process proceeds to step SA14.

ステップSA13において、CPUA311は、左実世界画像及び右実世界画像のうち、メイン実世界画像ではない方の実世界画像(以下、サブ実世界画像と称す)のマーカー認識結果を“失敗”とみなす。 In step SA13, CPUA311, of the left real world image and the right real world image, the real world image of the person is not a main real world image (hereinafter, referred to as sub real world image) marker recognition result regarded as "failure" . より具体的には、メイン実世界画像が左実世界画像である場合には、右変換行列A75Rにヌル値を格納し、メイン実世界画像が右実世界画像である場合には、左変換行列A75Lにヌル値を格納する。 More specifically, when the main real world image is the left real world image stores a null value to the right transformation matrix A75R, when the main real world image is the right real world image is left transformation matrix It stores a null value to A75L.

ステップSA14において、CPUA311は、サブ実世界画像に対してマーカー認識処理を行う。 In step SA14, CPUA311 performs marker recognition process on sub real world image. より具体的には、パターンマッチング手法等によってサブ実世界画像にマーカーA61が含まれているか否かを判断し、サブ実世界画像にマーカーA61が含まれている場合には、サブ実世界画像におけるマーカーA61の位置および姿勢に基づいて、左変換行列A75Lまたは右変換行列A75Rを算出する(サブ実世界画像が左実世界画像である場合には、左変換行列A75Lを算出し、サブ実世界画像が右実世界画像である場合には、右変換行列A75Rを算出する)。 More specifically, when it is determined whether contains marker A61 in sub real world image includes marker A61 in sub real world image by pattern matching technique or the like, in the sub-real world image based on the position and orientation of the marker A61, and calculates a left transformation matrix A75L or right transformation matrix A75R (when sub real world image is the left real world image may calculate a left transformation matrix A75L, sub real world image There when a right real world image, calculates a right transformation matrix A75R).

ステップSA15において、CPUA311は、表示モードが同期表示モードであるかどうかを判断する。 In step SA15, CPUA311 the display mode to determine whether a synchronous display mode. そして、同期表示モードである場合には、処理はステップSA17に進み、そうでない場合(すなわち非同期表示モードである場合)には、処理はステップSA16に進む。 When a synchronous display mode, the process proceeds to step SA17, the otherwise (i.e. if an asynchronous display mode), the process proceeds to step SA16.

ステップSA16において、CPUA311は、最新左実世界画像A71L及び最新右実世界画像A71Rを、表示用左実世界画像A72L及び表示用右実世界画像A72RとしてそれぞれメインメモリA32に記憶する。 In step SA16, CPUA311 is the latest left real world image A71L and latest right real world image A71R, respectively stored in the main memory A32 as a display for the left real world image A72L and display the right real world image A72R. そして、処理はステップSA10に戻る。 Then, the process returns to step SA10.

ステップSA17において、CPUA311は、マーカー認識モードが片画像認識モードかどうかを判断する。 In step SA17, CPUA311 the marker recognition mode to determine whether single image recognition mode. そして、片画像認識モードである場合には、処理はステップSA18に進み、そうでない場合(すなわち両画像認識モードである場合)には、処理はステップSA19に進む。 When a single image recognition mode, the process proceeds to step SA18, the otherwise (i.e. if it is both image recognition mode), the process proceeds to step SA19.

ステップSA18において、CPUA311は、メイン実世界画像のマーカー認識に成功したかどうかを判断する。 In step SA18, CPUA311 is, it is determined whether or not succeeded in marker recognition of the main real-world image. より具体的には、CPUA311は、メイン実世界画像が左実世界画像である場合には、左変換行列A75Lにヌル値ではない有効な行列が格納されているかどうかを判断し、メイン実世界画像が右実世界画像である場合には、右変換行列A75Rにヌル値ではない有効な行列が格納されているかどうかを判断する。 More specifically, CPUA311 the main real if world image is the left real world image, determines whether a valid matrix not null value to the left transformation matrix A75L is stored, the main real world image There when a right real world image determines whether a valid matrix not null value in the right transformation matrix A75R are stored. そして、メイン実世界画像のマーカー認識に成功したと判断された場合には、処理はステップSA16に進み、そうでない場合には、処理はステップSA10に戻る。 And, if it is determined to be successful in the marker recognition of the main real-world image, the process proceeds to step SA16, otherwise, the process returns to step SA10.

ステップSA19において、CPUA311は、左実世界画像及び右実世界画像の少なくとも一方のマーカー認識に成功したかどうかを判断する。 In step SA19, CPUA311 determines success or failure in at least one of the marker recognizing the left real world image and the right real world image. より具体的には、CPUA311は、左変換行列A75L及び右変換行列A75Rの両方に、ヌル値ではない有効な行列が格納されているかどうかを判断する。 More specifically, CPUA311 is both left transformation matrix A75L and right transformation matrix A75R, effective matrix not null value, it is determined whether it is stored. そして、左実世界画像及び右実世界画像の少なくとも一方のマーカー認識に成功したと判断された場合には、処理はステップSA16に進み、そうでない場合には、処理はステップSA10に戻る。 When it is judged to be successful on at least one marker recognizing the left real world image and the right real world image, the process proceeds to step SA16, otherwise, the process returns to step SA10.

(メイン処理) (Main processing)
図14は、画像表示プログラムA70に基づいてCPUA311によって実行されるメイン処理の流れを示すフローチャートである。 Figure 14 is a flowchart showing a flow of a main process executed by CPUA311 on the basis of the image display program A70. メイン処理は、上述したマーカー処理と並列的に実行される処理である。 The main process is a process executed in parallel with the above-described marker treated. 以下、メイン処理の詳細について説明する。 The following is a detailed explanation of the main processing.

図14のステップSA20において、CPUA311は、3次元の仮想空間の所定位置に仮想オブジェクトA62を配置する。 In step SA20 in FIG. 14, CPUA311 places the virtual object A62 to a predetermined position of the three-dimensional virtual space. 本実施形態では、仮想空間の原点(ワールド座標系の原点)に仮想オブジェクトA62を配置する。 In the present embodiment, disposing the virtual object A62 at the origin of the virtual space (the origin of the world coordinate system).

ステップSA21において、CPUA311は、更新処理を実行する。 In step SA21, CPUA311 performs the updating process. この更新処理では、仮想オブジェクトA62を描画するために用いられる種々の変数を更新するための処理である。 In this updating process is a process for updating the various variables used to render a virtual object A62. 更新処理の詳細については後述する。 For more information about the update process will be described later.

ステップSA22において、CPUA311は、仮想オブジェクト処理を実行する。 In step SA22, CPUA311 executes the virtual object processing. 仮想オブジェクト処理とは、仮想空間に配置された仮想オブジェクトA62に関する処理であり、例えば、必要に応じて、仮想オブジェクトA62の大きさを変化させたり、仮想オブジェクトA62に所定の動作(仮想空間内で移動する。例えば、仮想空間の原点の周りを歩くような移動をさせると、マーカー座標系の原点の周りを歩くような表示がされる)を行わせたりする。 A virtual object process is a process for the virtual object A62 placed in the virtual space, for example, if necessary, or to change the size of the virtual object A62, a predetermined operation (virtual space in the virtual object A62 moving. for example, or to perform the to the movement of walking around the origin of the virtual space, the such display is) to walk around the origin of the marker coordinate system. なお、仮想オブジェクトA62の移動制御は、仮想空間のワールド座標系における仮想オブジェクトの位置座標を変更することにより実現される。 The movement control of the virtual object A62 is realized by changing the position coordinates of the virtual object in the world coordinate system of the virtual space.

ステップSA23において、CPUA311は、立体視ゼロ距離A73に応じて左実世界画像のうちの表示に使う範囲である描画範囲を決定する。 In step SA 23, CPUA311 determines a drawing range in the range used for display of the left real world image in accordance with the stereoscopic zero distance A73. より具体的には、図23に示すように、外側撮像部A23から立体視ゼロ距離A73の値(例えば30cm)だけ撮影方向に離れており、かつ外側撮像部(左)A23aと外側撮像部(右)A23bから等距離にある点を立体視ゼロ点とし、外側撮像部(左)A23aから見て当該立体視ゼロ点が中心にくるような範囲を、左実世界画像の描画範囲として決定する。 More specifically, as shown in FIG. 23, from the outer imaging section A23 are separated by the shooting direction value of the stereoscopic zero distance A73 (e.g. 30 cm), and the outer imaging section (left) A 23a and the outer imaging section ( to a certain point from the right) A23b equidistant and stereoscopic zero point, the stereoscopic zero point as viewed from the outer imaging section (left) a 23a is a range so that the center is determined as a drawing range of the left real world image . 当該範囲の横方向の長さは、例えば、図23に示すように、外側撮像部(左)A23aの撮影方向に垂直な直線を、外側撮像部(左)A23aの画角を表す直線によって切り取った線分上での比として求めることができ、当該比を実世界画像の横方向の長さに対応させることによって、実世界画像上での範囲として決定される。 The length of the lateral direction of the range, for example, as shown in FIG. 23, a straight line perpendicular to the photographing direction of the outer imaging section (left) A 23a, cut by a straight line representing the angle of the outer imaging section (left) A 23a It could be obtained as the ratio of on line, by associating the ratio of the lateral length of the real world image is determined as a range in the real world image. なお、当該範囲の縦方向の長さについては、表示画面の縦横比に合うように、横方向の長さから決定される。 Note that the vertical length of the range to match the aspect ratio of the display screen is determined from the lateral length.

なお、後述するステップSA27において右実世界画像の描画範囲を決定するときには、図24に示すように、外側撮像部(右)A23bから見て当該立体視ゼロ点が中心にくるような範囲を、右実世界画像の描画範囲として決定する。 Incidentally, when determining the drawing range of the right real world image in step SA27 described later, as shown in FIG. 24, a range such that the stereoscopic zero point as viewed from the outer imaging section (right) A23b is at the center, It is determined as the drawing range of the right real world image. これにより、上側LCDA22に表示される左目用画像における立体視ゼロ点の位置と右目用画像における立体視ゼロ点の位置が、上側LCDA22の画面上で一致することになり、ユーザーから見て画面と同じ奥行き位置に存在するように見える。 Thus, the position of the stereoscopic zero point at the position and the right-eye image of the stereoscopic zero point in the left eye image displayed on the upper LCDA22 is, will be consistent on the screen of the upper LCDA22, and the screen as viewed from the user It seems to be in the same depth position.

ステップSA24において、CPUA311は、表示用左実世界画像A72Lにおける、ステップSA23で決定した描画範囲を、上側LCDA22へ供給すべき左目用画像を一時的に記憶するためのVRAMA313内の所定の記憶領域(以下、左フレームバッファと称す)に描画する。 In step SA24, CPUA311 is the display for the left real world image A72L, the drawing range determined in step SA 23, the predetermined storage area in the VRAMA313 for temporarily storing the left-eye image to be supplied to the upper LCDA22 ( below, to draw referred to as the left frame buffer).

ステップSA25において、CPUA311は、ARActive(図12参照)の値がtrueかどうかを判断する。 In step SA25, CPUA311 the value of ARActive (see FIG. 12) to determine if true. ARActiveとは、実世界画像に仮想オブジェクトを合成表示することができる状況かどうかを示す変数(フラグ)であって、実世界画像に仮想オブジェクトを合成表示することができる状況では、その値がtrueに設定され、実世界画像に仮想オブジェクトを合成表示することができない状況(例えば、マーカーA61が全く認識できていない状況など)では、その値がfalse(初期値)に設定される。 The ARActive, real world image in a variable indicating whether situations can be synthesized displaying a virtual object (flag), a situation that can be synthesized displaying the virtual object in the real world image, the value is true is set to, the situation can not be a virtual object in the real world image synthesizing display (e.g., a status marker A61 is not recognized at all), its value is set to false (default). ARActiveの値がtrueである場合には、処理はステップSA26に進み、そうでない場合(すなわちARActiveの値がfalseである場合)には、処理はステップSA27に進む。 If the value of ARActive is true, the process proceeds to step SA26, the otherwise (i.e. if the value of ARActive is false), the process proceeds to step SA27.

ステップSA26において、CPUA311は、例えば図23に示すように、左仮想カメラA63Lから見た仮想空間(以下、左目用の仮想空間画像と称す)を左フレームバッファに上書きする(実際には、典型的には、CPUA311からの指示にしたがってGPUA312によって描画される)。 In step SA26, CPUA311, for example, as shown in FIG. 23, the virtual space (hereinafter, virtual space referred to as the image for the left eye) as seen from the left virtual camera A63L Overwrite the left frame buffer (in fact, typically the, drawn by GPUA312 accordance with an instruction from CPUA311). これにより、図26に示すように、ステップSA24で左フレームバッファに描画された左実世界画像に左目用の仮想空間画像が合成される。 Thus, as shown in FIG. 26, a virtual space image for the left eye are synthesized in the left real world image drawn in the left frame buffer at step SA24. 左フレームバッファに描画された画像は、所定のタイミングで左目用画像として上側LCDA22へ供給されることになる。 Image rendered in the left frame buffer is to be supplied to the upper LCDA22 as the left-eye image at a predetermined timing. なお、当該左目用の仮想空間画像においては、仮想空間の背景は透明であり、そのため、実世界画像に仮想空間画像を合成することで、実世界画像上に仮想オブジェクトA62が存在するような画像が生成される。 Incidentally, in the virtual space image for the left eye, the background of the virtual space is transparent, therefore, the real world image by synthesizing the virtual space image, an image as a virtual object A62 is present on the real world image There is generated.

ステップSA27において、CPUA311は、立体視ゼロ距離A73に応じて右実世界画像の描画範囲を決定する。 In step SA27, CPUA311 determines the drawing range of the right real world image in accordance with the stereoscopic zero distance A73. なお、描画範囲を決定するための処理の詳細は左実世界画像の描画範囲の決定の処理と同じであるため省略する。 Incidentally, omitted for details of the processing for determining the drawing range is the same as the process of determining a drawing range of the left real world image.

ステップSA28において、CPUA311は、表示用右実世界画像A72Rにおける、ステップSA27で決定した描画範囲を、上側LCDA22へ供給すべき右目用画像を一時的に記憶するためのVRAMA313内の所定の記憶領域(以下、右フレームバッファと称す)に描画する。 In step SA28, CPUA311 is the display for the right real world image A72R, a drawing range determined in step SA27, a prescribed storage area in VRAMA313 for temporarily storing right-eye image to be supplied to the upper LCDA22 ( below, to draw it referred to as a right frame buffer).

ステップSA29において、CPUA311は、ARActiveの値がtrueかどうかを判断する。 In step SA 29, CPUA311 the value of ARActive to determine whether true. ARActiveの値がtrueである場合には、処理はステップSA30に進み、そうでない場合(すなわちARActiveの値がfalseである場合)には、処理はステップSA31に進む。 If the value of ARActive is true, the process proceeds to step SA30, the otherwise (i.e. if the value of ARActive is false), the process proceeds to step SA31.

ステップSA30において、CPUA311は、右仮想カメラA63Rから見た仮想空間(以下、右目用の仮想空間画像と称す)を右フレームバッファに上書きする(実際には、典型的には、CPUA311からの指示にしたがってGPUA312によって描画される)。 In step SA30, CPUA311 the virtual space (hereinafter, virtual space referred to as the image for the right eye) as seen from the right virtual camera A63R overwriting the right frame buffer (in fact, typically, the instruction from CPUA311 Thus drawn by GPUA312). これにより、ステップSA28で右フレームバッファに描画された右実世界画像に右目用の仮想空間画像が合成される。 Thus, a virtual space image for the right eye are synthesized drawn right real world image in the right frame buffer at step SA28. 右フレームバッファに描画された画像は、所定のタイミングで右目用画像として上側LCDA22へ供給されることになる。 Image rendered in the right frame buffer is to be supplied to the upper LCDA22 as the right-eye images at a predetermined timing.

ステップSA31において、CPUA311は、上側LCDA22からの割り込み信号(垂直同期割り込み)を待機し、当該割り込み信号が発生した場合には、処理はステップSA21に戻る。 In step SA31, CPUA311 the interrupt signal from the upper LCDA22 (vertical synchronization interrupt) to wait, when the interrupt signal is generated, the process returns to step SA21. これにより、ステップSA21〜SA31の処理が一定の周期(例えば、60分の1秒の周期)で繰り返される。 Thus, the process of step SA21~SA31 is repeated at a constant cycle (e.g., cycle of 1/60 sec).

(更新処理) (Updating)
次に、メイン処理におけるステップSA21の更新処理の詳細について、図15のフローチャートを参照して説明する。 Details of the updating process in step SA21 of the main processing will be described with reference to the flowchart of FIG. 15.

図15のステップSA40において、CPUA311は、前述のマーカー処理におけるマーカー認識結果(すなわち、左変換行列A75L及び右変換行列A75R)が更新されたかどうかを判断し、更新されている場合には処理はステップSA41に進み、まだ更新されていない場合には処理はステップSA44に進む。 In step SA40 in FIG. 15, CPUA311 the marker recognition result in the marker processing described above (i.e., left transformation matrix A75L and right transformation matrix A75R), the process when it is determined whether or not the updated are updated step proceeds to the SA41, the process in the case that have not yet been updated, the process proceeds to step SA44.

ステップSA41において、CPUA311は、左実世界画像及び右実世界画像の両方の実世界画像のマーカー認識に成功しているかどうかを判断する。 In step SA41, CPUA311 determines whether the successfully marker recognizing both the real world image of the left real world image and the right real world image. そして、両方の実世界画像のマーカー認識に成功している場合には、処理はステップSA42に進み、いずれか一方もしくは両方の実世界画像のマーカー認識に失敗している場合には、処理はステップSA44に進む。 Then, if the successful marker recognizing both the real world image, when the processing proceeds to step SA42, have failed to marker recognizing the one or both of the real world image, the process steps proceed to the SA44.

ステップSA42において、CPUA311は、EyeWidth(図12参照)の値が0であるか、または、EyeMeasure(図12参照)の値がtrueであるかどうかを判断する。 In step SA42, CPUA311 is either the value of EyeWidth (see FIG. 12) is 0, or the value of EyeMeasure (see FIG. 12) to determine whether it is true. EyeWidthとは、左変換行列A75Lと右変換行列A75Rとを用いて算出される、外側撮像部(左)A23aと外側撮像部(右)A23bとの位置関係における、両撮像部間の距離を示す。 The EyeWidth, is calculated using the left transformation matrix A75L and right transformation matrix A75R, in the positional relationship of the outer imaging section (left) A 23a and the outer imaging section (right) A23b, indicating the distance between the imaging unit . なお、ここで両撮像部間の距離とは、実世界のスケールとして求める必要はなく、仮想空間での距離として求めてもよい。 Here, the distance between the imaging unit need not be obtained as the scale of the real world, it may be determined as a distance in the virtual space. 具体的には、左変換行列A75Lが示す、マーカーA61の位置と外側撮像部(左)A23aの位置との関係と、右変換行列A75Rが示すマーカーA61の位置と外側撮像部(右)A23bの位置との関係とから、マーカーA61の位置を基準として、外側撮像部(左)A23aの位置と外側撮像部(右)A23bの位置との関係を求めた場合の距離を求めている。 Specifically, shown is a left transformation matrix A75L, the relationship between the position of the outer imaging section (left) A 23a of the marker A61, the position and the outer imaging section of the marker A61 indicating the right transformation matrix A75R (right) A23b of and a relationship between the position, with reference to the position of the marker A61, seeking distance when the obtained relation between the position of the position and the outer imaging section of the outer imaging section (left) a 23a (right) A23b. なお、当該距離が未確定の場合には、その値が0(初期値)に設定される。 Incidentally, the distance is in the case of undetermined, the value is set to 0 (initial value). なお、本実施形態では、EyeWidthはスカラー値であるが、EyeWidthを、左変換行列A75Lが示す外側撮像部(左)A23aの位置と右変換行列A75Rが示す外側撮像部(右)A23bの位置との間を結ぶベクトルにしてもよい。 In this embodiment, EyeWidth is a scalar value, the EyeWidth, the position of the outer imaging section indicated by the left transformation matrix A75L (left) outer imaging section indicated by the position and the right transformation matrix A75R of A 23a (right) A23b between it may be vector connecting. また、EyeWidthを、左変換行列A75Lが示す外側撮像部(左)A23aの位置と右変換行列A75Rが示す外側撮像部(右)A23bの位置との間を結ぶベクトルの、撮影方向に直交する成分の長さにしてもよい。 Further, EyeWidth a vector connecting between the position of the outer imaging section indicated by the left transformation matrix A75L (left) outer imaging section indicated by the position and the right transformation matrix A75R of A 23a (right) A23b, component perpendicular to the shooting direction of it may be in length. なお、後述の通り、EyeWidthは、仮想空間における左仮想カメラA63Lと右仮想カメラA63Rの距離(間隔)の設定に用いる。 Incidentally, as described below, EyeWidth is used for setting the distance of the left virtual camera A63L and the right virtual camera A63R in the virtual space (interval). EyeMeasureとは、EyeWidthを再計算すべきか否かを示す変数(フラグ)であって、EyeWidthを再計算すべき状況では、その値がtrueに設定され、そうでない状況では、その値がfalse(初期値)に設定される。 The EyeMeasure, a variable (flag) indicating whether to recalculate the EyeWidth, the situation to recalculate EyeWidth, the value is set to true, the otherwise circumstances, its value is false (initial It is set to a value). EyeWidthの値が0であるか、または、EyeMeasureの値がtrueである場合には、処理はステップSA43に進み、そうでない場合(すなわちEyeWidthの値が0以外の値であり、なおかつ、EyeMeasureの値がfalseである場合)には、処理はステップSA44に進む。 If the value of EyeWidth is 0, or, if the value of EyeMeasure is true, the process proceeds to step SA43, a value other than 0 is the value of case (i.e. EyeWidth not, yet, the value of EyeMeasure the If is a false), the process proceeds to step SA44.

ステップSA43において、CPUA311は、仮想カメラ間隔決定処理を実行する。 In step SA43, CPUA311 executes a virtual camera interval determination process. 仮想カメラ間隔決定処理では、左仮想カメラA63Lと右仮想カメラA63Rの間隔(すなわちEyeWidth)が適宜に決定および更新される。 In the virtual camera interval determination process, the left virtual camera A63L and the right virtual camera A63R interval (i.e. EyeWidth) is determined and updated as appropriate. 仮想カメラ間隔決定処理の詳細については後述する。 It will be described in detail later virtual camera interval determination process.

ステップSA44において、CPUA311は、ビュー行列生成処理を実行する。 In step SA44, CPUA311 executes the view matrix generation process. ビュー行列生成処理では、すでに決定されている左仮想カメラA63Lと右仮想カメラA63Rの間隔(すなわちEyeWidth)に基づいて、左ビュー行列A76Lと右ビュー行列A76Rが計算される。 The view matrix generation process, already on the basis of the determined by being left virtual camera A63L and the right virtual camera A63R interval (i.e. EyeWidth), left view matrix A76L and right view matrix A76R is calculated. ビュー行列生成処理の詳細については後述する。 It will be described later in detail view matrix generation process.

ステップSA45において、CPUA311は、メイン実世界画像設定処理を実行する。 In step SA45, CPUA311 executes main real world image setting processing. メイン実世界画像設定処理では、左実世界画像と右実世界画像の間で、メイン実世界画像が適宜に切り替えられる(これは、外側撮像部(左)A23aと外側撮像部(右)との間で、メイン撮像部を切り替えることと等価である)。 The main real-world image setting process, between the left real world image and the right real world image, the main real world image is switched appropriately (this outer imaging section (left) A 23a and the outer imaging section (right) between, it is equivalent to switching the main image pickup unit). メイン実世界画像設定処理の詳細については後述する。 It will be described in detail later in the main real-world image setting process.

ステップSA46において、CPUA311は、表示モード切替処理を実行し、そして更新処理を終了する。 In step SA46, CPUA311 executes the display mode switching processing, and ends the update processing. 表示モード切替処理では、同期表示モードと非同期表示モードの間で、表示モードが適宜に切り替えられる。 In the display mode switching process, between the synchronous display mode and the asynchronous display mode, the display mode is switched appropriately. 表示モード切替処理の詳細については後述する。 For more information about the display mode switching process will be described later.

(仮想カメラ間隔決定処理) (Virtual camera interval determination processing)
次に、更新処理(図15)におけるステップSA43の仮想カメラ間隔決定処理の詳細について、図16のフローチャートを参照して説明する。 Next, update processing details of the virtual camera interval determination process in step SA43 in (FIG. 15) will be described with reference to the flowchart of FIG. 16. ここでは、前述の通り、左変換行列A75Lが示すマーカーA61の位置に対する外側撮像部(左)A23aの位置と右変換行列A75Rが示すマーカーA61の位置に対する外側撮像部(右)A23bの位置との距離を求める。 Here, as described above, the outer imaging section with respect to the position of the marker A61 indicating the position and the right transformation matrix A75R the outer imaging section (left) A 23a with respect to the position of the marker A61 indicating the left transformation matrix A75L (right) between the position of A23b determine the distance. この距離を計算する方法はいくつかあるが、本実施例では、計算方法の一例として、以下の方法を採用する。 A method of calculating this distance are several, in this embodiment, as an example of the calculation method, employing the following method.

図16のステップSA50において、CPUA311は、左変換行列A75Lおよび右変換行列A75Rに基づいて、座標V0を計算する。 In step SA50 in FIG. 16, CPUA311, based on the left transformation matrix A75L and right transformation matrix A75R, calculates the coordinates V0. 以下、図27〜図29を参照して、V0の計算方法を説明する。 Hereinafter, with reference to FIGS. 27 to 29, illustrating a method of calculating V0. なお、図27〜図29においては、左実世界画像に基づいて計算される、マーカーA61に対する外側撮像部(左)A23aの相対位置及び相対姿勢と、右実世界画像に基づいて計算される、マーカーA61に対する外側撮像部(右)A23bの相対位置及び相対姿勢とが、前述したように必ずしも理想的な関係とはならないことを強調するために、外側撮像部(左)A23aの撮影方向と外側撮像部(右)A23bの撮影方向が互いに大きくずれているように図示している。 Note that, in FIGS. 27 to 29 is calculated on the basis of the left real world image, the relative position and the relative orientation of the outer imaging section (left) A 23a against a marker A61 is calculated on the basis of the right real world image, outer imaging section for marker A61 (right) and the relative position and the relative posture of A23b, in order to emphasize that not always the ideal relationship as described above, the photographing direction and the outer side of the outer imaging section (left) a 23a photographing direction of the imaging section (right) A23b is shown as greatly deviated from each other.

まず、図27に示すように、(0,0,0)に対して、左変換行列A75Lを乗算すると、外側撮像部(左)座標系で表されたマーカー座標系の原点の座標V1が求まる。 First, as shown in FIG. 27, with respect to (0,0,0), when multiplied by the left transformation matrix A75L, coordinates V1 of the origin of the marker coordinate system represented by the outer imaging section (left) coordinate system is obtained . 座標V1は、左実世界画像に基づいて計算された、外側撮像部(左)A23aに対するマーカーA61の相対位置を表している。 Coordinates V1 was calculated based on the left real world image, it represents the relative position of the marker A61 with respect to the outer imaging section (left) A 23a. この座標V1が外側撮像部(右)座標系で表された座標であると見なすと、座標V1が示す位置は、外側撮像部(右)座標系では図28に示す位置へと移動する。 When the coordinates V1 is regarded as a coordinate expressed in the outer imaging section (right) coordinate system, the position indicated by the coordinate V1, in the outer imaging section (right) coordinate system moves to the position shown in FIG. 28. この座標V1に対して、さらに右変換行列A75Rの逆行列を乗算する。 For this coordinate V1, further multiplying the inverse matrix of the right transformation matrix A75R. 右変換行列A75Rの逆行列を乗算することは、外側撮像部(右)座標系で表された座標をマーカー座標系で表された座標に変換することに相当する。 Multiplying the inverse matrix of the right transformation matrix A75R is equivalent to converting the coordinates expressed in the outer imaging section (right) coordinate system to the coordinates represented by the marker coordinate system. したがって、上記逆行列の乗算は、外側撮像部(右)座標系で表された座標V1(図28)を、図29に示すように、マーカー座標系で表された座標V0へと変換することになる。 Accordingly, the multiplication of the inverse matrix, the outer imaging section coordinates V1 represented by (right) coordinate system (FIG. 28), as shown in FIG. 29, be converted into the coordinate V0 represented by the marker coordinate system become. このようにして計算された座標V0は、左実世界画像に基づいて計算された、外側撮像部(左)A23aに対するマーカーA61の相対位置(すなわち、外側撮像部(左)座標系で表されるマーカー座標系の原点の座標)と、右実世界画像に基づいて計算された、外側撮像部(右)A23bに対するマーカーA61の相対位置(すなわち、外側撮像部(右)座標系で表されるマーカー座標系の原点の座標)との差を示している。 In this way, the calculated coordinates V0 is represented in the left real world image is calculated based on the relative position of the marker A61 with respect to the outer imaging section (left) A 23a (i.e., the outer imaging section (left) coordinate system marker coordinates) of the origin of the marker coordinate system are calculated based on the right real world image, which is represented by (the relative position of the marker A61 for the right) A23b (i.e., the outer imaging section (right) outer imaging section coordinate system shows the difference between the coordinates) of the origin of the coordinate system. 本実施形態では、このマーカーA61の相対位置の差を、外側撮像部(左)A23aと外側撮像部(右)A23bの取り付け位置の差によって生じるものであると考えて、外側撮像部(左)A23aと外側撮像部(右)A23bの取り付け位置を推定している。 In the present embodiment, the difference in the relative positions of the marker A61, and believed to be caused by a difference in attachment position of the outer imaging section (left) A 23a and the outer imaging section (right) A23b, the outer imaging section (left) A23a and the outer imaging section estimates the mounting position of the (right) A23b.

ステップSA51において、CPUA311は、左変換行列A75Lに基づいて、外側撮像部(左)座標系で表されたマーカー座標系の原点の座標V1を計算する。 In step SA51, CPUA311, based on the left transformation matrix A75L, calculates the coordinates V1 of the origin of the marker coordinate system represented by the outer imaging section (left) coordinate system. 具体的には、(0,0,0)に対して、左変換行列A75Lを乗算することで、外側撮像部(左)座標系で表されたマーカー座標系の原点の座標V1が求まる。 Specifically, with respect to (0,0,0), by multiplying the left transformation matrix A75L, coordinates V1 of the origin of the marker coordinate system represented by the outer imaging section (left) coordinate system is obtained. なお、ここでは、外側撮像部(左)座標系で表されたマーカー座標系の原点の座標をV1としたが、これに替えて、外側撮像部(右)座標系で表されたマーカー座標系の原点の座標をV1としてもよい。 Here, although the outer imaging section (left) the origin of coordinates of the marker coordinate system represented by the coordinate system set to V1, instead of this, the outer imaging section (right) marker coordinate system expressed in a coordinate system the origin of the coordinate of may be used as the V1.

ステップSA52において、CPUA311は、ステップSA50で求めたV0の大きさ(原点からの距離)(図29参照)を、ew(図12参照)に格納し、ステップSA51で求めたV1のz軸値の絶対値(図27参照)を、ed(図12参照)に格納する。 In step SA52, CPUA311 the magnitude of V0 obtained in step SA50 (distance from the origin) (see FIG. 29), ew stored (see FIG. 12), the z-axis value of V1 determined in step SA51 absolute value (see FIG. 27), and stores the ed (see FIG. 12). ただし、ewの値は、マーカー座標系における長さの単位で計算されており、実世界における長さの単位と一致するものではない。 However, the value of ew is calculated in units of length in the marker coordinate system, not consistent with the unit of length in the real world. そして、前述の通り、外側撮像部(左)A23aと外側撮像部(右)A23bの間の実距離は既知(例えば3.5cm)であるので、この実距離とewの値を用いて、実世界における長さの単位と仮想空間における長さの単位とを一致させることができる。 Then, as described above, since the actual distance between the outer imaging section (left) A 23a and the outer imaging section (right) A23b are known (e.g. 3.5 cm), using the value of the actual distance and ew, actual it can be made to coincide with the length in the length unit and the virtual space in the world of the unit. なお、マーカーA61のサイズが既知であれば、マーカー画像の認識結果に基づいて求められるマーカーA61のサイズと、実世界におけるマーカーA61のサイズとの対応関係から、実世界における長さの単位と仮想空間における長さの単位とを一致させることもできる。 Incidentally, if known size markers A61, and the size of the marker A61 obtained based on the recognition result of the marker image, the correspondence between the size of the marker A61 in the real world, a unit of length in the real world virtual it is also possible to match the unit of length in space.

なお、ゲーム装置A10に対する外側撮像部(左)A23aおよび外側撮像部(右)A23bの取り付け精度の誤差により、外側撮像部(左)A23aの撮影方向と外側撮像部(右)A23bの撮影方向が平行になっていない場合には、このようにして計算される外側撮像部(左)A23aと外側撮像部(右)A23bの間の距離(ew)は、外側撮像部A23とマーカーA61との間の撮影方向についての距離に応じて変動する。 Incidentally, the error of the mounting accuracy of the outer imaging section to the game device A10 (left) A 23a and the outer imaging section (right) A23b, the outer imaging section (left) photographing direction and the outer imaging section A 23a (right) photographed direction A23b is if not parallel, the distance between this way the outer imaging section is calculated (left) a 23a and the outer imaging section (right) A23b (ew) is arranged between the outer imaging section A23 and the marker A61 It varies according to the distance for shooting direction. それゆえ、後述するように、外側撮像部A23とマーカーA61との間の撮影方向についての距離が変化したときには、外側撮像部(左)A23aと外側撮像部(右)A23bの間の距離(後述するEyeWidth)は、そのときのマーカー・カメラ変換行列を用いて再計算される。 Therefore, as described later, when the distance for shooting direction between the outer imaging section A23 and the marker A61 changes, the outer imaging section (left) A 23a and the outer imaging section (right) distance between A23b (later to EyeWidth) it is recalculated using the marker camera transformation matrix that time.

なお、本実施形態では、ewをV0の大きさとしたが、V0の「左変換行列A75Lにより示される外側撮像部(左)A23aの位置と右変換行列A75Rにより示される外側撮像部(右)A23bの位置を結ぶ方向」の成分としてもよい。 In the present embodiment, although the ew and magnitude of V0, the outer imaging section indicated by the position and the right transformation matrix A75R the outer imaging section (left) A 23a indicated by "left transformation matrix A75L of V0 (right) A23b position may be a component in the direction "that connect the.

このようにして計算されたewは「外側撮像部(左)A23aと外側撮像部(右)A23bとの間のマーカー座標系における間隔」であるが、これを左仮想カメラA63Rと右仮想カメラA63Rとの間の間隔として用いる(後述のステップSA65またはS68)。 This way, the calculated ew is "spacing in the marker coordinate system between the outer imaging section (left) A 23a and the outer imaging section (right) A23b", which left virtual camera A63R and right virtual camera A63R used as the interval between the (later step SA65 or S68).

なお、ewを求める方法は、上述した方法以外にもある。 The method for obtaining the ew is other than the method described above. 例えば、(0,0,0)に左変換行列A75Lを乗算することによって、外側撮像部(左)座標系で表されたマーカー座標系の原点の座標Vl(すなわち、外側撮像部(左)A23aに対するマーカーA61の相対位置)を求めるとともに、(0,0,0)に右変換行列A75Rを乗算することによって、外側撮像部(右)で表されたマーカー座標系の原点の座標Vr(すなわち、外側撮像部(右)A23bに対するマーカーA61の相対位置)を求め、こうして求めた座標Vlと座標Vrの間の距離を計算することによって、ewを求めても構わない。 For example, by multiplying the left transformation matrix A75L into (0,0,0), the outer imaging section (left) coordinate marker coordinate system represented by the system of the origin of the coordinate Vl (i.e., the outer imaging section (left) A 23a together determine the relative position) of the marker A61 for, (by multiplying the right transformation matrix A75R 0,0,0), the origin of the coordinate Vr of the marker coordinate system represented by the outer imaging section (right) (i.e., by calculating the distance between the calculated outer imaging section the relative position of the marker relative (right) A23b A61), thus coordinates Vl and coordinate Vr obtained, may be seeking ew.

ステップSA53において、CPUA311は、LogIndex(図12参照)の値が1(初期値)より大きいかどうかを判断し、1より大きい場合には処理はステップSA57に進み、そうでない場合(すなわち1である場合)には処理はステップSA54に進む。 In step SA53, CPUA311 determines whether greater than the value of logIndex (see FIG. 12) is 1 (initial value), the process in greater than 1, the process proceeds to step SA57, is the case (i.e. 1 otherwise processing in the case), the process proceeds to step SA54. LogIndexは、後述する配列(LogWidth、LogDepth)の各要素を識別するための変数である。 LogIndex is a variable for identifying each element described later sequence (LogWidth, LogDepth).

ステップSA54において、CPUA311は、ステップSA52で求めたewの値を配列LogWidth[LogIndex]に格納する。 In step SA54, CPUA311 stores the value of ew obtained in step SA52 to the array LogWidth [LogIndex]. さらに、ステップSA52で求めたedの値を配列LogDepth[LogIndex]に格納する。 Moreover, to store the value of ed calculated in step SA52 in SEQ LogDepth [LogIndex]. さらに、LogIndexの値をインクリメントする。 Furthermore, it increments the value of logIndex. LogWidthは、ewの値を複数保持しておくための配列変数である。 LogWidth is an array variable for keeping holds a plurality of values ​​of ew. LogDepthは、edの値を複数保持しておくための配列変数である。 LogDepth is an array variable for keeping holds a plurality of values ​​of ed.

ステップSA55において、CPUA311は、LogIndexの値がLogMaxの値よりも大きいかどうかを判定し、大きい場合には処理はステップSA56に進み、そうでない場合(すなわちLogIndexの値がLogMaxの値以下の場合)には、仮想カメラ間隔決定処理を終了する。 In step SA55, CPUA311 determines whether the value of LogIndex is greater than the value of LogMax, advances the process to step SA56 if large, (ie, when the value of LogIndex is less than or equal to the value of LogMax) otherwise the ends of the virtual camera interval determination process.

ステップSA56において、CPUA311は、LogWidthの各要素の平均値を計算し、当該平均値をEyeWidthに格納する。 In step SA56, CPUA311 calculates the average value of each element of LogWidth, stores the average value in EyeWidth. さらに、LogDepthの各要素の平均値を計算し、当該平均値をEyeDepthに格納する。 Moreover, to calculate the average value of each element of LogDepth, it stores the average value in EyeDepth. さらに、EyeMeasureの値をfalseに設定する。 In addition, to set the value of EyeMeasure to false. さらに、マーカー認識モードA79を、片画像認識モードに設定する。 Further, a marker recognition mode A79, set on one image recognition mode. EyeDepthとは、左変換行列A75Lが示す外側撮像部(左)A23aのマーカー座標系における位置を示す座標(または右変換行列A75Rが示す外側撮像部(右)A23bのマーカー座標系における位置を示す座標)から、マーカー座標系の原点までの奥行き距離(深さ:撮影方向についての距離)を示す変数であって、後述する図17のステップSA72における判断の際の基準値として用いられる。 The EyeDepth, coordinates indicating a position in coordinates (or outer imaging section indicated by the right transformation matrix A75R (right) A23b marker coordinate system indicating the position in the marker coordinate system of the outer imaging section indicated by the left transformation matrix A75L (left) A 23a from), the depth distance (depth to the origin of the marker coordinate system: a variable indicating the distance) for shooting direction, it is used as a reference value when the determination in step SA72 of FIG. 17 to be described later. EyeDepthの初期値は0である。 The initial value of the EyeDepth is 0. ステップSA56の処理が終了すると、仮想カメラ間隔決定処理は終了する。 When the process of step SA56 is completed, the virtual camera interval determination process ends.

ステップSA57において、CPUA311は、ステップSA52で求めたewの値とLogWidth[1]の値の差の絶対値が、LogWidth[1]の値の10%よりも小さく、かつ、ステップSA52で求めたedの値とLogDepth[1]の値の差の絶対値が、LogDepth[1]の値の10%よりも小さいかどうかを判断する。 In step SA57, CPUA311 is, ed absolute value of the difference between the value and the value of LogWidth [1] of ew obtained in step SA52 is less than 10% of the value of LogWidth [1], and determined in step SA52 absolute value of the difference between the value and the value of LogDepth [1] it is determined whether less than 10% of the value of LogDepth [1]. そして、ステップSA57の判断結果が肯定である場合には処理はステップSA54に進み、ステップSA57の判断結果が否定である場合には処理はステップSA58に進む。 Then, the process proceeds to step SA54 when the determination result of step SA57 is affirmative, the processing if the determination result in step SA57 is negative, the process proceeds to step SA58.

ステップSA58において、CPUA311は、LogIndexの値を1(初期値)にリセットして、仮想カメラ間隔決定処理を終了する。 In step SA58, CPUA311 resets the value of LogIndex to 1 (initial value), and terminates the virtual camera interval determination process.

以上のように、仮想カメラ間隔決定処理では、左実世界画像に含まれるマーカーA61の位置及び姿勢に基づいて計算される外側撮像部(左)A23aの位置と、右実世界画像に含まれるマーカーA61の位置及び姿勢に基づいて計算される外側撮像部(右)A23bの位置とに基づいて、ewとedが計算される。 As described above, the marker in the virtual camera interval determination process is included in the left real outer imaging section which is calculated based on the position and orientation of the marker A61 included in the world image and the position (left) A 23a, the right real world image outer imaging section which is calculated based on the position and orientation of the A61 based on the position of the (right) A23b, ew and ed are calculated. このようにして計算されたewの値とedの値が、LogWidthとLogDepthに順次格納される。 The value of such a value of the calculated ew by and ed are sequentially stored in LogWidth and LogDepth. このとき、新たに計算されたewの値が、LogWidthに最初に格納されたewの値(すなわちLogWidth[1]の値)を基準とした所定範囲(±10%)から外れた場合や、新たに計算されたedの値が、LogDepthに最初に格納されたedの値(すなわちLogDepth[1]の値)を基準とした所定範囲(±10%)から外れた場合には、LogWidthとLogDepthに再び最初からewの値とedの値を格納し直す。 At this time, or if the value of the newly calculated ew is deviated from the originally stored ew value (i.e. LogWidth [1] the value of) a predetermined range (± 10%) relative to the in LogWidth, new the value of the calculated ed is, when deviated from the first stored value of ed (i.e. LogDepth [1] the value of) a predetermined range (± 10%) relative to the in LogDepth is the LogWidth and LogDepth re-store the value of the value of the ew and ed from the beginning again. したがって、逐次計算されるewの値とedの値に大きな変動が見られない場合(すなわち、ewの値とedの値が一定期間、ある程度安定している場合)にのみ、それらのewの値の平均値とそれらのedの値の平均値が、EyeWidthおよびEyeDepthに格納される。 Therefore, if no significant change is observed in the value and the value of the ed of ew is sequentially calculated (i.e., the value and values ​​certain period ed of ew, if somewhat stable) only, the values ​​of those ew average and the average value of the values ​​of those ed in is stored in EyeWidth and EyeDepth.

ところで、ユーザがゲーム装置A10を移動させたり回転させたりしているときには、外側撮像部A23によって撮像される左実世界画像および右実世界画像がぼけやすく、マーカーA61の認識精度が著しく低下し、逐次検出されるewの値やedの値が大きく変動しやすい。 Incidentally, when a User is or rotated to move the game device A10 is easily blurred left real world image and the right real world image is captured by the outer imaging section A23, and significantly reduced the recognition accuracy of the marker A61, sequential values ​​of and ed of the detected ew greatly tends to fluctuate. そこで、このような状況で検出される信頼性の低いewの値およびedの値に基づいてEyeWidthの値およびEyeDepthの値を決定することは避けるべきである。 Therefore, it should be avoided to determine the values ​​of and EyeDepth of EyeWidth based on the values ​​and ed of ew unreliable detected in this situation. よって、本実施形態では、逐次計算されるewの値とedの値に大きな変動が見られない場合にのみ、それらの値に基づいてEyeWidthの値およびEyeDepthの値を決定している。 Therefore, in the present embodiment, only when a large variation is not observed in the value of ew values ​​and ed to be sequentially calculated, and determines the values ​​of and EyeDepth of EyeWidth based on those values. また、複数回計算されたewの値およびedの値の平均値をEyeWidthの値およびEyeDepthの値として用いることにより、EyeWidthの値およびEyeDepthの値の精度を高めることができる。 Further, by using the average value of a plurality of times computed value values ​​and ed of ew as values ​​and values ​​EyeDepth of EyeWidth, it is possible to improve the precision of the values ​​and EyeDepth of EyeWidth.

(ビュー行列生成処理) (View matrix generation process)
次に、更新処理(図15)におけるステップSA44のビュー行列生成処理の詳細について、図17のフローチャートを参照して説明する。 Next, update processing details of view matrix generation processing in step SA44 in (FIG. 15) will be described with reference to the flowchart of FIG. 17.

図17のステップSA60において、CPUA311は、EyeWidthが0より大きいかどうかを判断し、0より大きい場合には処理はステップSA63に進み、そうでない場合(すなわち、0である場合)には処理はステップSA61に進む。 In step SA60 in FIG. 17, CPUA311 determines whether EyeWidth is greater than zero, processing is greater than 0, the process proceeds to step SA63, otherwise (i.e., if it is 0), the processing to step proceed to the SA61.

ステップSA61において、CPUA311は、表示モードが同期表示モードであるかどうかを判断する。 In step SA 61, CPUA311 the display mode to determine whether a synchronous display mode. そして、同期表示モードである場合には、ビュー行列生成処理を終了し、そうでない場合(すなわち非同期表示モードである場合)には、処理はステップSA62に進む。 When a synchronous display mode, exit the view matrix generation process, the otherwise (i.e. if an asynchronous display mode), the process proceeds to step SA62.

ステップSA62において、CPUA311は、ARActiveの値をfalseに設定する。 In step SA62, CPUA311 sets the value of ARActive to false. そして、ビュー行列生成処理を終了する。 Then, to end the view matrix generation process.

ステップSA63において、CPUA311は、左変換行列A75Lを参照して、左実世界画像のマーカー認識に成功しているかどうかを判断し、左実世界画像のマーカー認識に成功している場合には処理はステップSA64に進み、そうでない場合(すなわち、左変換行列A75Lの値がヌル値である場合)には処理はステップSA66に進む。 In step SA63, CPUA311 refers to the left transformation matrix A75L, to determine whether they successfully marker recognizing the left real world image, the process if they successfully marker recognizing the left real world image the flow proceeds to step SA64, otherwise (i.e., if the value of the left transformation matrix A75L is null value) processing the proceeds to step SA66.

ステップSA64において、CPUA311は、左変換行列A75Lの値を、左ビュー行列A76Lに格納する。 In step SA64, CPUA311 the value of the left transformation matrix A75L, stores the left view matrix A76L. これは、左実世界画像に含まれるマーカーA61の位置及び姿勢に基づいて計算されたマーカー座標系における外側撮像部(左)A23aの位置及び姿勢を、左目用の仮想空間画像を生成するための左仮想カメラA63Lの位置及び姿勢としてそのまま扱うことを意味する。 This allows the position and orientation of the outer imaging section (left) A 23a in the calculated marker coordinate system based on the position and orientation of the marker A61 included in the left real world image, for generating a virtual space image for the left eye means that treat as it is as the position and attitude of the left virtual camera A63L.

ステップSA65において、CPUA311は、左ビュー行列A76Lの値に対して平行移動行列(−EyeWidth,0,0)を乗算した結果の値を、右ビュー行列A76Rに格納する。 In step SA65, CPUA311 is translation matrix for values ​​of the left view matrix A76L (-EyeWidth, 0,0) the value of the result of multiplying and stored in the right view matrix A76R. これは、図30に示すように、前述のステップSA64において設定された仮想空間のワールド座標系における左仮想カメラA63Lの位置から、左仮想カメラ座標系のx軸の正方向にEyeWidthの値だけずらした位置を、右目用の仮想空間画像を生成するための右仮想カメラA63Rの位置として扱うことを意味する。 This is because, as shown in FIG. 30, offset from the position of the left virtual camera A63L in the world coordinate system of the set virtual space in the aforementioned step SA64, the positive direction of the x-axis of the left virtual camera coordinate system by the value of EyeWidth the position means be treated as the position of the right virtual camera A63R for generating a virtual space image for the right eye. また、右仮想カメラA63Rの姿勢は、左仮想カメラA63Lの姿勢と同じとなる(すなわち、左仮想カメラ座標系のx軸,y軸,z軸が、右仮想カメラ座標系のx軸,y軸,z軸とそれぞれ平行となる)。 Further, the posture of the right virtual camera A63R is the same as the orientation of the left virtual camera A63L (ie, x-axis of the left virtual camera coordinate system, y-axis, z-axis, x-axis of the right virtual camera coordinate system, y-axis , respectively and the z-axis becomes parallel). これにより、左仮想カメラA63Lの位置及び姿勢と、右仮想カメラA63Rの位置及び姿勢との整合性が保たれるので、上側LCDA22において正常に立体視できるように仮想オブジェクトA62を表示することができる。 Thus, the position and orientation of the left virtual camera A63L, since the consistency between the position and orientation of the right virtual camera A63R is maintained, it is possible to display the virtual object A62 to allow successful stereoscopic viewing in the upper LCDA22 .

ステップSA66において、CPUA311は、右変換行列A75Rを参照して、右実世界画像のマーカー認識に成功しているかどうかを判断し、右実世界画像のマーカー認識に成功している場合には処理はステップSA67に進み、そうでない場合(すなわち、右変換行列A75Rの値がヌル値である場合)にはビュー行列生成処理を終了する。 In step SA66, CPUA311 refers to the right transformation matrix A75R, to determine whether they successfully marker recognizing the right real world image, the process if they successfully marker recognizing the right real world image the flow proceeds to step SA67, otherwise (i.e., if the value of the right transformation matrix A75R is null value) to exit the view matrix generation process.

ステップSA67において、CPUA311は、右変換行列A75Rの値を、右ビュー行列A76Rに格納する。 In step SA67, CPUA311 the value of the right transformation matrix A75R, stored in the right view matrix A76R. これは、右実世界画像に含まれるマーカーA61の位置及び姿勢に基づいて計算されたマーカー座標系における外側撮像部(右)A23bの位置及び姿勢を、右目用の仮想空間画像を生成するための右仮想カメラA63Rの位置及び姿勢としてそのまま扱うことを意味する。 This is right the real outer imaging section in the calculated marker coordinate system based on the position and orientation of the marker A61 included in the world image the position and orientation of the (right) A23b, for generating a virtual space image for the right eye means that treat as it is, as the position and attitude of the right virtual camera A63R.

ステップSA68において、CPUA311は、右ビュー行列A76Rの値に対して平行移動行列(EyeWidth,0,0)を乗算した結果の値を、左ビュー行列A76Lに格納する。 In step SA68, CPUA311 is translation matrix for values ​​of the right view matrix A76R (EyeWidth, 0,0) the value of the result of multiplying is stored in the left view matrix A76L. これは、図31に示すように、前述のステップSA67において設定された仮想空間のワールド座標系における右仮想カメラA63Rの位置から、右仮想カメラ座標系のx軸の負方向にEyeWidthの値だけずらした位置を、左目用の仮想空間画像を生成するための左仮想カメラA63Lの位置として扱うことを意味する。 This is because, as shown in FIG. 31, offset from the position of the right virtual camera A63R in the world coordinate system of the virtual space is set in the aforementioned step SA67, the negative direction of the x-axis of the right virtual camera coordinate system by the value of EyeWidth the position means be treated as the position of the left virtual camera A63L for generating a virtual space image for the left eye. また、左仮想カメラA63Lの姿勢は、右仮想カメラA63Rの姿勢と同じとなる(すなわち、左仮想カメラ座標系のx軸,y軸,z軸が、右仮想カメラ座標系のx軸,y軸,z軸とそれぞれ平行となる)。 Also, the orientation of the left virtual camera A63L, the same as the attitude of the right virtual camera A63R (ie, x-axis of the left virtual camera coordinate system, y-axis, z-axis, x-axis of the right virtual camera coordinate system, y-axis , respectively and the z-axis becomes parallel). これにより、左仮想カメラA63Lの位置及び姿勢と、右仮想カメラA63Rの位置及び姿勢との整合性が保たれるので、上側LCDA22において正常に立体視できるように仮想オブジェクトA62を表示することができる。 Thus, the position and orientation of the left virtual camera A63L, since the consistency between the position and orientation of the right virtual camera A63R is maintained, it is possible to display the virtual object A62 to allow successful stereoscopic viewing in the upper LCDA22 .

このように、本実施例では、一方の仮想カメラ(例えば、左仮想カメラA63L)の位置および姿勢については、一方の外側撮像部(例えば、外側撮像部(左)A23a)の撮影画像から算出された「マーカー・カメラ変換行列」を用いて設定するが(より具体的には、そのまま用いる)、他方の仮想カメラ(例えば、右仮想カメラA63R)の位置および姿勢については、他方の外側撮像部(例えば、外側撮像部(右)A23b)の撮影画像から算出された「マーカー・カメラ変換行列」を用いずに設定する。 Thus, in the present example, the position and orientation of one of the virtual camera (e.g., left virtual camera A63L), is calculated from the captured image of one of the outer imaging section (e.g., the outer imaging section (left) A 23a) and although set by using the "marker camera transformation matrix" (more specifically, used as it), for the location and orientation of the other of the virtual camera (for example, right virtual camera A63R), the other outer imaging section ( for example, it sets without using the calculated from the photographed image of the outer imaging section (right) A23b) "marker camera transformation matrix".

ステレオカメラでARの立体視表示をおこなう場合においては、仮想カメラは右用と左用の2つを設定する必要があり、また、「マーカー・カメラ変換行列」は外側撮像部(左)A23aによる変換行列(左変換行列A25L)と外側撮像部(右)A23bによる変換行列(右変換行列A25R)がある。 In the case where a stereo camera performs stereoscopic display of the AR, the virtual camera should be set to two for the right and for the left hand, "Marker camera transformation matrix" is converted by the outer imaging section (left) A 23a matrix (left transformation matrix A25L) and the outer imaging section (right) A23b by the transformation matrix (right transformation matrix A25R) is. 本実施形態では、各仮想カメラA63L,A63Rを設定するときに、各変換行列A25L,A25Rを用いるのではなくて、1つの変換行列を設定して(変換行列A25L,A25Rの一方の変換行列をそのまま用いて、または、両方の変換行列A25L,A25Rから別の新たな1つの変換行列を生成して(平均位置、平均姿勢とするなど))、その1つの変換行列を用いて両方の仮想カメラA63L,A63Rの位置および姿勢を設定する。 In the present embodiment, the virtual camera A63L, when setting the A63R, each transformation matrix A25L, rather than using A25R, by setting one of the transformation matrix (transform matrix A25L, one of the transform matrix A25R used as it is, or, both the transformation matrix A25L, to produce another new one transformation matrix from A25R (average position, such as the average position)), both of the virtual camera using the one transformation matrix A63L, to set the position and attitude of the A63R. これにより、AR認識における精度の問題を解消することができる。 Thus, it is possible to solve the accuracy problem in AR recognition.

ステップSA69において、CPUA311は、ARActiveの値をtrueに設定する。 In step SA69, CPUA311 sets the value of ARActive to true. これにより、実世界画像に対する仮想オブジェクトA62の合成表示が開始または再開される。 Thus, synthetic display of the virtual object A62 is started or restarted for the real world image.

ステップSA70において、CPUA311は、EyeMeasureの値がtrueかどうかを判断し、trueである場合にはビュー行列生成処理を終了し、そうでない場合(すなわちfalseである場合)には処理はステップSA71に進む。 In step SA70, CPUA311 determines whether the value of EyeMeasure is true, if it is true terminates the view matrix generation processing, and when not, the processing (i.e. if it is false), the process proceeds to step SA71 .

ステップSA71において、CPUA311は、ステップSA64またはステップSA68で決定された左ビュー行列A76Lに基づいて、左仮想カメラ座標系で表された仮想空間の原点の座標Vを計算する。 In step SA71, CPUA311, based on the step SA64 or the left view matrix A76L determined in step SA68, calculates the coordinates V of the origin of the virtual space represented on the left virtual camera coordinate system. 具体的には、図32に示すように、(0,0,0)に対して左ビュー行列A76Lを乗算することで、左仮想カメラ座標系で表された仮想空間の原点の座標Vが求まる。 Specifically, as shown in FIG. 32, by multiplying the left view matrix A76L, the coordinate V of the origin of the virtual space represented on the left virtual camera coordinate system determined with respect to (0, 0, 0) . なお、ここでは、左仮想カメラ座標系で表された仮想空間の原点の座標をVとしたが、これに替えて、ステップSA65またはステップSA67で決定された右ビュー行列A76Rに基づいて計算された、右仮想カメラ座標系で表された仮想空間の原点の座標をVとしてもよい。 Here, although the origin of the coordinate of the virtual space represented on the left virtual camera coordinate system and is V, instead of this, which is calculated based on the right view matrix A76R determined in step SA65 or step SA67 the origin of the coordinate of the virtual space represented on the right virtual camera coordinate system may be V. このようにして求められたVは、外側撮像部(左)座標系におけるマーカーA61の位置と実質的に同一である(ただし、このVの値は、仮想空間またはマーカー座標系における長さの単位で計算されており、実世界における長さの単位と一致するものではない。)。 Such V obtained in the substantially the same as the position of the marker A61 in the outer imaging section (left) coordinate system (provided that the value of the V is a unit of length in the virtual space or the marker coordinate system in are calculated, but are not consistent with the length unit in the real world.).

ステップSA72において、CPUA311は、Vのz座標値の絶対値(|V.z|)とEyeDepthの値との差の絶対値が、EyeDepthの値の20%よりも大きいかどうかを判断し、大きい場合には処理はステップSA73に進み、そうでない場合にはビュー行列生成処理を終了する。 In step SA72, CPUA311 the absolute value of z-coordinate values ​​of V (| V.z |) the absolute value of the difference between the value of the EyeDepth judging whether greater than 20% of the value of EyeDepth, large the process proceeds to step SA73 when, otherwise terminates the view matrix generation process. |V. | V. z|は、外側撮像部A23からマーカーA61までの撮影方向についての距離(深さ)と実質的に同一である。 z | is substantially the same from the outer imaging section A23 distance for shooting direction to the marker A61 (depth) and. すなわち、ステップSA72では、仮想カメラ間隔決定処理(図16)においてEyeWidthの値を計算したときを基準として、外側撮像部A23からマーカーA61までの奥行き距離(深さ)が、±20%の範囲を超えて変化したかどうかを判断している。 That is, in step SA72, as a reference when calculating the value of EyeWidth the virtual camera interval determination process (FIG. 16), the depth distance from the outer imaging section A23 to the marker A61 (depth), the range of ± 20% it is determined whether or not changed by more than.

ステップSA73において、CPUA311は、EyeMeasureの値をtrueに設定し、さらに、LogIndexの値を1にリセットし、さらに、マーカー認識モードA79を両画像認識モードに設定して、ビュー行列生成処理を終了する。 In step SA73, CPUA311 sets the value of EyeMeasure to true, further resets the value of LogIndex 1, further set the marker recognition mode A79 in both the image recognition mode, and terminates the view matrix generation process . この結果、仮想カメラ間隔決定処理によるEyeWidthの計算処理が再び開始されることになる。 As a result, the calculation process of EyeWidth by the virtual camera interval determination process is started again.

上記のように、仮想カメラ間隔決定処理において、EyeWidthの値を前回計算したときを基準として、外側撮像部A23からマーカーA61までの奥行き距離(深さ)が所定範囲を超えて変化したときに、EyeWidthを再計算する理由は、ゲーム装置A10に対する外側撮像部(左)A23aおよび外側撮像部(右)A23bの取り付け精度の誤差により、外側撮像部A23からマーカーA61までの奥行き距離(深さ)に応じて最適な仮想カメラ間隔(EyeWidth)が変化するからである。 As described above, in the virtual camera interval determination process, based on when a value of EyeWidth the previously calculated, when the depth distance from the outer imaging section A23 to the marker A61 (depth) changes beyond a predetermined range, the reason for recalculating the EyeWidth is due to an error of mounting accuracy of the outer imaging section (left) a 23a and the outer imaging section (right) A23b to the game device A10, the depth distance (depth) from the outer imaging section A23 to the marker A61 Correspondingly optimal virtual camera interval (EyeWidth) is because changes. 例えば、外側撮像部(左)A23aの撮影方向と外側撮像部(右)A23bの撮影方向が平行になっていない状況において、図33に示すように外側撮像部A23からマーカーA61までの奥行距離がD1であるときに仮想カメラ間隔決定処理において計算されるEyeWidthの値をEyeWidth1とすると、仮想空間において、左仮想カメラA63Lと右仮想カメラA63Rは、図34に示すようにEyeWidth1の間隔を開けて配置されるのが適切である(そうすることによって、例えば仮想空間の原点に配置した仮想オブジェクトが、実世界画像のマーカーA61上に実在するかのように、適切に立体表示されるようになる。)。 For example, in situations where the outer imaging section (left) photographing direction and the outer imaging section A23a is (right) imaging direction of A23b not parallel, the depth distance from the outer imaging section A23 as shown in FIG. 33 to the marker A61 when EyeWidth1 the value of EyeWidth calculated at the virtual camera interval determination process when a D1, in the virtual space, the left virtual camera A63L and the right virtual camera A63R is an interval of EyeWidth1 as shown in FIG. 34 arrangement by it to be appropriate (Yes being, for example, a virtual object positioned at the origin of the virtual space, as if existing on the marker A61 of the real world image, suitably made to be three-dimensional display. ). そして、図35に示すように外側撮像部A23からマーカーA61までの奥行距離がD1よりも小さいD2に変化した場合には、仮想カメラ間隔決定処理において計算されるEyeWidthの値は、EyeWidth1よりも小さいEyeWidth2となり、仮想空間において、左仮想カメラA63Lと右仮想カメラA63Rは、図36に示すようにEyeWidth2の間隔を開けて配置されるのが適切である。 When the depth distance from the outer imaging section A23 as shown in FIG. 35 to the marker A61 changes to D2 smaller than D1, the value of EyeWidth calculated at determination process virtual camera interval is less than EyeWidth1 EyeWidth2 next, in the virtual space, the left virtual camera A63L and the right virtual camera A63R is suitably are arranged at intervals of EyeWidth2 as shown in FIG. 36.

(メイン実世界画像設定処理) (Main real-world image setting process)
次に、更新処理(図15)におけるステップSA45のメイン実世界画像設定処理の詳細について、図18のフローチャートを参照して説明する。 Next, update processing details of the main real world image setting processing of step SA45 in (FIG. 15) will be described with reference to the flowchart of FIG. 18.

図18のステップSA80において、CPUA311は、ARActiveの値がtrueかどうかを判断し、trueである場合には、処理はステップSA81に進み、そうでない場合(すなわちARActiveの値がfalseである場合)には、メイン実世界画像設定処理を終了する。 In step SA80 in FIG. 18, CPUA311 determines whether the value of ARActive is true, if it is true, the process proceeds to step SA81, otherwise (i.e. if the value of ARActive is false) terminates the main real-world image setting process.

ステップSA81において、CPUA311は、左射影行列A77Lおよび右射影行列A77Rを生成する。 In step SA81, CPUA311 generates a left projection matrix A77L and right projection matrices A77R. 左射影行列A77Lは、左仮想カメラA63Lから見た仮想空間の描画範囲を規定する行列であって、本実施形態では、図37に示すように、メイン処理のステップSA23で決定した左実世界画像の描画範囲に対応するような左射影行列A77Lが生成される。 Left projection matrix A77L is a matrix that defines a drawing range of the virtual space viewed from the left virtual camera A63L, in the present embodiment, as shown in FIG. 37, the left real world image determined in step SA23 of the main process left projection matrix A77L as corresponding to the drawing range is generated. 右射影行列A77Rは、右仮想カメラA63Rから見た仮想空間の描画範囲を規定する行列であって、本実施形態では、図38に示すように、メイン処理のステップSA27で決定した右実世界画像の描画範囲に対応するような右射影行列A77Rが生成される。 Right projection matrix A77R is a matrix that defines a drawing range of the virtual space viewed from the right virtual camera A63R, in the present embodiment, as shown in FIG. 38, the right real world image determined in step SA27 of the main process right projection matrix A77R to correspond to the drawing range is generated.

具体的には、左仮想カメラA63Lの射影行列は、外側撮像部(左)A23aの水平方向の画角と、当該左仮想カメラの水平方向の画角との比が、左実世界画像の横方向の長さにおける描画範囲の横方向の位置および大きさを表す比と、同じになるような画角を持つ視体積を定義する射影行列として設定される。 Specifically, the projection matrix of the left virtual camera A63L, and horizontal angle of view of the outer imaging section (left) A 23a, the ratio of the horizontal angle of view of the left virtual camera, next to the left real world image is set as the projection matrix that defines the ratio that represents the horizontal position and the size of the drawing range in the length direction, the view volume with angle of view to be the same.

ステップSA82において、CPUA311は、メイン実世界画像が左実世界画像かどうかを判断し、メイン実世界画像が左実世界画像である場合には処理はステップSA83に進み、そうでない場合(すなわち、メイン実世界画像が右実世界画像である場合)には処理はステップSA86に進む。 In step SA82, CPUA311 determines the main real world image is whether the left real world image, when the main real world image advances the process to step SA83 if a left real world image, not (i.e., the main processing when the real world image is the right real world image), the flow proceeds to step SA86.

ステップSA83において、CPUA311は、(0,0,0,1)に左ビュー行列A76Lおよび左射影行列A77Lを乗算することによって、ベクトルVを求める。 In step SA83, CPUA311, by multiplying the left view matrix A76L and left projection matrix A77L to (0,0,0,1), obtaining the vector V.

ステップSA84において、CPUA311は、ベクトルVの第1成分(x)を第4成分(w)で乗算した結果の値(V.x/V.w)が0.5より大きいかどうかを判断し、0.5より大きい場合には処理はステップSA85に進み、そうでない場合にはメイン実世界画像設定処理を終了する。 In step SA84, CPUA311 determines whether the value of the result of multiplying the first component of the vector V (x) with the fourth component (w) (V.x / V.w) is greater than 0.5, process when greater than 0.5, the process proceeds to step SA85, and ends the main real world image setting processing otherwise. 上記のV. Above V. x/V. x / V. wの値は、左目用の仮想空間画像上で、仮想空間のワールド座標系の原点が、画像の左右方向のどの位置に存在するかを示している(なお、「左目用の仮想空間画像上で、仮想空間のワールド座標系の原点が、画像の左右方向のどの位置に存在するか」は、「外側撮像部(左)A23aの撮影画像上で、マーカー座標系の原点が、画像の左右方向のどの位置に存在するか」と等価である)。 The value of w, on the virtual space image for the left eye, the origin of the world coordinate system of the virtual space, indicates how present in any position in the horizontal direction of the image (the "virtual space image for the left eye in the origin of the world coordinate system of the virtual space, or present in any position in the lateral direction of the image "," on the outer imaging section (left) a 23a of the captured image, the origin of the marker coordinate system, the left and right images either present in any position in the direction "to be equivalent). 仮想空間のワールド座標系の原点が左目用の仮想空間画像の中央に位置するときは、V. When the origin of the world coordinate system of the virtual space is positioned at the center of the virtual space image for the left eye is, V. x/V. x / V. wの値が0となり、仮想空間のワールド座標系の原点が左目用の仮想空間画像の左端に近づくほど、V. The value of w is 0, as the origin of the world coordinate system of the virtual space is close to the left edge of the virtual space image for the left eye, V. x/V. x / V. wの値が−1.0に近づき、仮想空間のワールド座標系の原点が左目用の仮想空間画像の右端に近づくほど、V. The value of w is close to -1.0, as the origin of the world coordinate system of the virtual space is close to the right edge of the virtual space image for the left eye, V. x/V. x / V. wの値が+1.0に近づく。 The value of w is closer to +1.0. V. V. x/V. x / V. wの値が0.5より大きいということは、仮想空間のワールド座標系の原点が左目用の仮想空間画像の右端領域(図39の斜線領域)に位置することを意味する。 That the value of w is greater than 0.5 means that the origin of the world coordinate system of the virtual space is positioned at the right end area of ​​the virtual space image for the left eye (the hatched area in FIG. 39). 言い換えれば、外側撮像部(左)A23aによって撮像された左実世界画像の右端領域にマーカーA61が位置していることを意味する。 In other words, it means that the marker A61 to the right end region of the left real world image captured by the outer imaging section (left) A 23a is located.

ステップSA85において、CPUA311は、メイン実世界画像を左実世界画像から右実世界画像へと変更する。 In step SA85, CPUA311 changes to the right real world image the main real-world image from the left real world image. すなわち、左仮想カメラA63Lによる仮想空間画像上で、仮想空間の原点が、画像の中心よりも所定距離だけ(または画像の左右幅の所定割合だけ)右の位置よりも右側に存在するときに、メイン実世界画像を右実世界画像に変更する。 In other words, in a virtual space image according to the left virtual camera A63L, when the origin of the virtual space, by a predetermined distance from the center of the image (or a predetermined percentage of the left-right width of the image only) present in the right side of the right position, to change the main real-world image to the right real world image. または、外側撮像部(左)A23aによる撮影画像上で、マーカー座標系の原点が、画像の中心よりも所定距離だけ(または画像の左右幅の所定割合だけ)右の位置よりも右側に存在するときに、メイン実世界画像を右実世界画像に変更する。 Or, on the photographed image by the outer imaging section (left) A 23a, the origin of the marker coordinate system, the center of the image by a predetermined distance (or a predetermined percentage of the left-right width of the image only) present in the right side of the right position when to, to change the main real-world image to the right real world image. これにより、例えば左実世界画像においてマーカーA61の位置が徐々に右方向へ移動して、最終的に左実世界画像からマーカーA61が消えてしまったとしても、左実世界画像からマーカーA61が消えてしまう前にメイン実世界画像が右実世界画像へと変更されるので、片画像認識モードにおいて継続的にマーカーA61を認識することが可能となる。 As a result, for example, the position of the marker A61 in the left real world image is moved gradually to the right direction, finally even if the marker A61 from the left real world image has disappeared, it disappeared marker A61 from the left real world image since the main real world image is changed to the right real world image before would, it is possible to recognize a continuous marker A61 in single image recognition mode. ステップSA85の処理が終わると、メイン実世界画像設定処理を終了する。 When the processing of step SA85 is completed, it ends the main real-world image setting process.

ステップSA86において、CPUA311は、(0,0,0,1)に右ビュー行列A76Rおよび右射影行列A77Rを乗算することによって、ベクトルVを求める。 In step SA86, CPUA311, by multiplying the right view matrix A76R and right projection matrix A77R to (0,0,0,1), obtaining the vector V.

ステップSA87において、CPUA311は、ベクトルVの第1成分(x)を第4成分(w)で乗算した結果の値(V.x/V.w)が−0.5より小さいかどうかを判断し、−0.5より小さい場合には処理はステップSA87に進み、そうでない場合にはメイン実世界画像設定処理を終了する。 In step SA87, CPUA311 determines whether the value of the result of multiplying the first component of the vector V (x) in the fourth component (w) (V.x / V.w) -0.5 smaller , processing in the case -0.5 smaller, the process proceeds to step SA87, to end the main real-world image setting process otherwise. 上記のV. Above V. x/V. x / V. wの値は、右目用の仮想空間画像上で、仮想空間のワールド座標系の原点が、画像の左右方向のどの位置に存在するかを示している。 The value of w, on the virtual space image for the right eye, the origin of the world coordinate system of the virtual space, indicates how present in any position in the lateral direction of the image. 仮想空間のワールド座標系の原点が右目用の仮想空間画像の中央に位置するときは、V. When the origin of the world coordinate system of the virtual space is positioned at the center of the virtual space image for the right eye, V. x/V. x / V. wの値が0となり、仮想空間のワールド座標系の原点が右目用の仮想空間画像の左端に近づくほど、V. The value of w is 0, as the origin of the world coordinate system of the virtual space is close to the left edge of the virtual space image for the right eye, V. x/V. x / V. wの値が−1.0に近づき、仮想空間のワールド座標系の原点が右目用の仮想空間画像の右端に近づくほど、V. The value of w is close to -1.0, as the origin of the world coordinate system of the virtual space is close to the right edge of the virtual space image for the right eye, V. x/V. x / V. wの値が+1.0に近づく。 The value of w is closer to +1.0. V. V. x/V. x / V. wの値が−0.5より小さいということは、仮想空間のワールド座標系の原点が右目用の仮想空間画像の左端領域(図40の斜線領域)に位置することを意味する。 That the value of w is less than -0.5 means that the origin of the world coordinate system of the virtual space is positioned at the left end area of ​​the virtual space image for the right eye (shaded region in FIG. 40). 言い換えれば、外側撮像部(右)A23bによって撮像された右実世界画像の左端領域にマーカーA61が位置していることを意味する。 In other words, it means that the marker A61 to the left end region of the imaged right real world image by the outer imaging section (right) A23b is located.

ステップSA88において、CPUA311は、メイン実世界画像を右実世界画像から左実世界画像へと変更する。 In step SA88, CPUA311 changes the main real-world image from the right real world image and to the left real world image. これにより、例えば右実世界画像においてマーカーA61の位置が徐々に左方向へ移動して、最終的に右実世界画像からマーカーA61が消えてしまったとしても、右実世界画像からマーカーA61が消えてしまう前にメイン実世界画像が左実世界画像へと変更されるので、片画像認識モードにおいて継続的にマーカーA61を認識することが可能となる。 Thus, for example, to move in the right real world image to gradually left the position of the marker A61, and finally even if the marker A61 from the right real world image has disappeared, the marker A61 disappears from the right real world image since before would main real world image is changed to the left real world image, it is possible to recognize a continuous marker A61 in single image recognition mode. ステップSA88の処理が終わると、メイン実世界画像設定処理を終了する。 When the processing of step SA88 is completed, it ends the main real-world image setting process.

(表示モード切替処理) (Display mode switching process)
次に、更新処理(図15)におけるステップSA46の表示モード切替処理の詳細について、図19のフローチャートを参照して説明する。 Details of the display mode switching process in step SA46 in the update processing (FIG. 15) will be described with reference to the flowchart of FIG. 19.

図19のステップSA90において、CPUA311は、表示モードが同期表示モードかどうかを判断し、同期表示モードである場合には処理はステップSA91に進み、そうでない場合(すなわち、非同期表示モードである場合)には処理はステップSA96に進む。 In step SA90 in FIG. 19, (ie, when an asynchronous display mode) CPUA311 determines display mode whether synchronous display mode, processing in the case of the synchronous display mode proceeds to step SA91, otherwise processing the proceeds to step SA96.

ステップSA91において、CPUA311は、EyeWidthが0より大きく、かつ、左実世界画像および右実世界画像のいずれかの実世界画像のマーカー認識に成功しているかどうかを判断する。 In step SA91, CPUA311 is, EyeWidth is greater than 0, and determines whether the successfully marker recognizing one of the real world image of the left real world image and the right real world image. そして、判断結果が肯定である場合には、処理はステップSA92に進み、判断結果が否定である場合(すなわち、EyeWidthが0であるか、もしくは、左実世界画像および右実世界画像の両方の実世界画像のマーカー認識に失敗している場合)には、処理はステップSA93に進む。 Then, if the determination result is affirmative, the process proceeds to step SA92, if the determination result is negative (i.e., whether EyeWidth is 0, or, in both the left real world image and the right real world image in this case) have failed to marker recognition of the real-world image, the process proceeds to step SA93.

ステップSA92において、CPUA311は、SyncCount(図12参照)の値を20に設定する。 In step SA92, CPUA311 sets the value of SyncCount (see FIG. 12) to 20. SyncCountは、表示モードを同期表示モードから非同期表示モードへと切り替えるタイミングを決定するための変数である。 SyncCount is a variable for determining the timing to switch the display mode from the synchronous display mode to the asynchronous display mode. ステップSA92の処理が終わると、表示モード切替処理を終了する。 When the processing of step SA92 is completed, to end the display mode switching process.

ステップSA93において、CPUA311は、SyncCountの値をデクリメントする。 In step SA93, CPUA311 decrements the value of SyncCount.

ステップSA94において、CPUA311は、SyncCountの値が0より大きいかどうかを判断し、0より大きい場合には表示モード切替処理を終了、そうでない場合(すなわち、0である場合)には処理はステップSA95に進む。 In step SA94, CPUA311 determines whether the value of SyncCount is greater than zero, terminates the display mode switching process when greater than 0, and when not, the processing (i.e., if it is 0) step SA95 proceed to.

ステップSA95において、CPUA311は、LogIndexの値を1に設定し、さらにEyeWidthおよびEyeDepthの値を0に設定し、さらに表示モードA78を同期表示モードから非同期表示モードへと変更し、さらにマーカー認識モードA79を両画像認識モードに設定する。 In step SA95, CPUA311 sets the value of LogIndex 1, further EyeWidth and the value of EyeDepth set to 0, and further changed to the display mode A78 from the synchronous display mode to the asynchronous display mode, further marker recognition mode A79 the set to both image recognition mode. ステップSA95の処理が終わると、表示モード切替処理を終了する。 When the processing of step SA95 is completed, to end the display mode switching process.

ステップSA96において、CPUA311は、EyeWidthが0より大きく、かつ、左実世界画像および右実世界画像のいずれかの実世界画像のマーカー認識に成功しているかどうかを判断する。 In step SA96, CPUA311 is, EyeWidth is greater than 0, and determines whether the successfully marker recognizing one of the real world image of the left real world image and the right real world image. そして、判断結果が肯定である場合には、処理はステップSA97に進み、判断結果が否定である場合(すなわち、EyeWidthが0であるか、もしくは、左実世界画像および右実世界画像の両方の実世界画像のマーカー認識に失敗している場合)には、表示モード切替処理を終了する。 Then, if the determination result is affirmative, the process proceeds to step SA97, if the determination result is negative (i.e., whether EyeWidth is 0, or, in both the left real world image and the right real world image in the case that is failing) to the marker recognition of the real-world image, to end the display mode switching process.

ステップSA97において、CPUA311は、SyncCountの値を20に設定し、さらに表示モードを非同期表示モードから同期表示モードへと変更する。 In step SA97, CPUA311 sets the value of SyncCount to 20, further changing the display mode from the asynchronous display mode to the synchronous display mode. ステップSA97の処理が終わると、表示モード切替処理を終了する。 When the processing of step SA97 is completed, to end the display mode switching process.

上記のように、表示モード切替処理によって、同期表示モードと非同期表示モードとの間で表示モードが適宜に切り替えられる。 As described above, the display mode switching processing, the display mode is switched appropriately between the synchronous display mode and the asynchronous display mode. より具体的には、画像表示プログラムの実行が開始された直後は表示モードは非同期表示モードとなり、上側LCDA22には常に最新の実世界画像が表示される。 More specifically, the display mode immediately after the execution of the image display program is started becomes asynchronous display mode, always the latest real world image is displayed on the upper side LCDA22. その後、マーカーA61が認識されて、上側LCDA22に表示される実世界画像に仮想オブジェクトA62を合成表示できる状態になった時点で、表示モードは非同期表示モードから同期表示モードへと変化する。 Thereafter, it is recognized that the marker A61, when it becomes a virtual object A62 in real world image displayed on the upper LCDA22 ready for composite display, the display mode is changed to the synchronous display mode from the asynchronous rendering mode. 同期表示モードでは、仮想オブジェクトA62を実世界画像内の正しい位置に合成表示するために、最後にマーカーA61を認識することができた実世界画像(必ずしも最新の実世界画像とは限らない)に仮想オブジェクトA62を合成した合成画像が、上側LCDA22に表示される。 In the synchronous display mode, a virtual object A62 to synthesize display in the correct position in the real world image, the last real-world image was able to recognize the marker A61 (not necessarily the most recent real-world image) composite image of the virtual object A62 is displayed on the upper LCDA22. これにより、実世界画像に合成表示される仮想オブジェクトA62の位置ズレを防止することができる。 Thus, it is possible to prevent positional deviation of the virtual object A62 is synthesized and displayed on the real-world image. その後、マーカーA61を認識することができない状態が一定時間継続した時点で、表示モードは同期表示モードから非同期表示モードへと変化し、上側LCDA22には常に最新の実世界画像が表示されるようになる。 Then, when the state can not recognize the marker A61 is continued for a certain time, the display mode changes from the synchronous display mode to the asynchronous display mode, as the upper LCDA22 is always displayed the latest real world image Become. これにより、マーカーA61を認識することができない状態が続いたときに、上側LCDA22に古い画像が表示され続けてしまうことを防止することができる。 Thus, it is possible to prevent when state continues can not recognize the marker A61, will continue to be displayed the old image in the upper LCDA22.

(本実施形態の効果) (Effect of this embodiment)
以上のように、本実施形態によれば、左実世界画像および右実世界画像のいずれか一方のマーカー認識結果から計算される一方の外側撮像部(外側撮像部(左)A23aまたは外側撮像部(右)A23b)のマーカー座標系における位置及び姿勢に基づいて、一方の仮想カメラの位置および姿勢が決定され、さらに、左仮想カメラA63Lの位置及び姿勢と右仮想カメラA63Rの位置及び姿勢が理想的な関係となるように、他方の仮想カメラの位置及び姿勢が決定される。 As described above, according to the present embodiment, one of the outer imaging section either be calculated from one marker recognition result of the left real world image and the right real world image (the outer imaging section (left) A 23a or the outer imaging section (right) A23b) based on the position and orientation of the marker coordinate system are determined position and orientation of one of the virtual camera, further, the position and orientation of the position and orientation of the left virtual camera A63L and the right virtual camera A63R ideally as a relationship, the position and orientation of the other of the virtual camera is determined. したがって、立体視可能な表示装置において、正常に立体視できるように仮想オブジェクトA62を表示することができる。 Accordingly, the stereoscopically visible display device, it is possible to display the virtual object A62 to allow successful stereoscopic.

また、左実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部(左)A23aの位置と、右実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部(右)A23bの位置とに基づいて、両外側撮像部の間隔を算出し、その結果に基づいて仮想カメラ間隔(EyeWidth)を決定し、一方の仮想カメラの位置を当該仮想カメラの座標系の撮影方向に直交する方向に当該間隔だけ移動させることにより他方の仮想カメラの位置を決定する。 Further, the calculated outer imaging section the position of the (left) A 23a, the position of the right real outer imaging section which is calculated based on the marker recognition result to the global image (right) A23b based on the marker recognition result for the left real world image based on the bets, direction and calculating a distance between both the outer imaging section, and determines a virtual camera interval (EyeWidth) based on the result, orthogonal to the position of one of the virtual camera in the imaging direction of the coordinate system of the virtual camera it is moved by the distance by determining the position of the other virtual camera. これにより、両仮想カメラが撮影方向に直行する方向に並ぶように設定することができる。 Thus, it is possible to set so as to be aligned in a direction in which both the virtual camera is perpendicular to the shooting direction. また、仮に、外側撮像部(左)A23aと外側撮像部(右)A23bの間隔が既知でない場合や、ゲーム装置A10に対する外側撮像部(左)A23aおよび外側撮像部(右)A23bの取り付け精度が悪い場合であっても、左仮想カメラA63Lと右仮想カメラA63Rを理想的な間隔で配置することができる。 Moreover, if, and when the outer imaging section (left) A 23a and the outer imaging section spacing (right) A23b not known, the outer imaging section to the game device A10 (left) A 23a and the outer imaging section (right) A23b mounting accuracy of even if bad, it is possible to arrange the left virtual camera A63L and the right virtual camera A63R the ideal interval.

また、仮想カメラ間隔決定処理によって仮想カメラ間隔(EyeWidth)が決定された後は、メイン実世界画像に対してのみマーカー認識処理を行えばよいため、常に左実世界画像と右実世界画像の両方に対してマーカー認識処理を行う場合と比較して、処理負担を軽減することができる。 Further, both virtual after camera interval (EyeWidth) is determined, since it is sufficient to marker recognition processing only to the main real world image, always left real world image and the right real world image by the virtual camera interval determination process compared with the case where the marker recognition process on, it is possible to reduce the processing load.

なお、外側撮像部(左)A23aと外側撮像部(右)A23bの間隔が既知である場合には、仮想カメラ間隔決定処理の結果に基づいて、実世界における外側撮像部(左)A23aと外側撮像部(右)A23bの間隔(例えば3.5cm)に対応する、マーカー座標系における外側撮像部(左)A23aと外側撮像部(右)A23bの間隔(EyeWidth)が判明する。 Note that when the distance between the outer imaging section (left) A 23a and the outer imaging section (right) A23b is known, based on the result of the virtual camera interval determination process, the actual outer imaging section in the world (left) A 23a and the outer corresponding to the imaging section (right) A23b intervals (e.g. 3.5 cm), the outer imaging section in the marker coordinate system (left) a 23a and the outer imaging section (right) spacing A23b (EyeWidth) is found. したがって、例えば、身長が30cmのキャラクタ(仮想オブジェクト)を実世界画像に合成表示したり、実世界画像に合成表示されるキャラクタ(仮想オブジェクト)を秒速10cmで移動させたりというように、仮想空間において、実世界のスケールに基づいた処理を行うことが可能となる。 Thus, for example, tall or composite display 30cm character (virtual object) in the real world image, the character that is synthesized and displayed on the real world image (virtual objects) as that or move in per second 10 cm, in the virtual space , it is possible to perform the process based on real-world scale.

(変形例) (Modification)
なお、上記実施形態では、実世界画像に含まれるマーカーA61の位置及び姿勢を認識して、その認識結果に応じて実世界画像に仮想オブジェクトA62を合成しているが、他の実施形態では、マーカーA61に限らず、任意の認識対象の位置及び/又は姿勢を認識して、その認識結果に応じて実世界画像に仮想オブジェクトA62を合成してもよい。 In the above embodiment, by recognizing the position and orientation of the marker A61 included in the real world image, but by combining the virtual object A62 in real world image in accordance with the recognition result, in another embodiment, it is not limited to the marker A61, and recognizes the position and / or orientation of any of the recognition target may be synthesized virtual object A62 in real world image in accordance with the recognition result. 認識対象の一例として、人物の顔が挙げられる。 One example of the recognition target, and a person's face.

また、上記実施形態では、外側撮像部A23によってリアルタイムに撮像される実世界画像に基づいて上側LCDA22に立体画像を表示しているが、他の実施形態では、外側撮像部A23や外部のステレオカメラ等によって過去に撮像された動画像データに基づいて上側LCDA22に立体画像を表示するようにしてもよい。 In the above embodiment, the real world on the basis of the image but displays a stereoscopic image in the upper LCDA22, in other embodiments, the outer imaging section A23 or an external stereo camera to be captured in real time by the outer imaging section A23 it may be displayed three-dimensional image in the upper LCDA22 based on moving image data captured in the past by such.

また、上記実施形態では、外側撮像部A23がゲーム装置A10に予め搭載されているが、他の実施形態では、ゲーム装置A10に着脱可能な外付け型のカメラを利用してもよい。 Further, in the above embodiment, the outer imaging section A23 is previously mounted on the game device A10, in other embodiments, may be utilized removable or external camera to the game device A10.

また、上記実施形態では、上側LCDA22がゲーム装置A10に予め搭載されているが、他の実施形態では、ゲーム装置A10に着脱可能な外付け型の立体視ディスプレイを利用してもよい。 Further, in the above embodiment, the upper LCDA22 is previously mounted on the game device A10, in other embodiments, it may be utilized removable external type stereoscopic display game device A10.

また、上記実施形態では、マーカー座標系の原点の位置に仮想オブジェクトA62を配置しているが、他の実施形態では、マーカー座標系の原点から離れた位置に仮想オブジェクトA62を配置してもよい。 Further, in the above embodiment, are arranged virtual object A62 to the position of the origin of the marker coordinate system, in other embodiments, it may be arranged a virtual object A62 at a position away from the origin of the marker coordinate system .

また、上記実施形態では、仮想空間に仮想オブジェクトを1つだけ配置しているが、他の実施形態では、仮想空間に複数の仮想オブジェクトを配置してもよい。 Further, in the above embodiment, it is arranged only one virtual object in the virtual space, in other embodiments, may be arranged a plurality of virtual objects in the virtual space.

また、上記実施形態では、仮想カメラ間隔決定処理において、マーカー座標系における外側撮像部(左)A23aと外側撮像部(右)A23bの間隔(EyeWidth)を計算した後、当該間隔に基づいて、マーカー認識結果に基づいて計算された左仮想カメラA63Lおよび右仮想カメラA63Rのいずれか一方の仮想カメラの位置及び姿勢から、他方の仮想カメラの位置及び姿勢を決定しているが、他の実施形態では、左実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部(左)A23aの位置及び姿勢と、右実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部(右)A23bの位置及び姿勢とに基づいて、外側撮像部A23の位置および姿勢(例えば、外側撮像部(右)A23aの位置と外側 In the above embodiment, the virtual camera interval determination processing, after calculating the outer imaging section in the marker coordinate system (left) A 23a and the outer imaging section (right) A23b interval (EyeWidth), based on the distance marker from any position and orientation of one of the virtual camera is calculated based on the recognition result the left virtual camera A63L and right virtual camera A63R, but determines the position and orientation of the other of the virtual camera, in other embodiments , outer imaging section which is calculated based on the marker recognition result for the left real world image (left) and the position and orientation of a 23a, the outer imaging section which is calculated based on the marker recognition result for the right real world image (right) A23b of based on the position and orientation, the position and the orientation of the outer imaging section A23 (e.g., position and outside the outer imaging section (right) a 23a 像部(左)A23bの位置の平均位置、外側撮像部(右)A23aの姿勢と外側撮像部(左)A23bの姿勢の平均姿勢)を算出し、それに基づいて、左仮想カメラA63Lおよび右仮想カメラA63Rの位置及び/又は姿勢を決定するようにしてもよい。 The average position of the position of the image portion (left) A23b, calculated outer imaging section (right) A 23a attitude and the outer imaging section an average orientation (left) A23b posture), based on it, the left virtual camera A63L and right virtual it may be determined the position and / or orientation of the camera A63R. 例えば、左仮想カメラA63Lおよび右仮想カメラA63Rの姿勢が、いずれも、左実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部(左)A23aの姿勢と、右実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部(右)A23bの姿勢のちょうど中間の姿勢となるように、左仮想カメラA63Lおよび右仮想カメラA63Rの姿勢を決定するようにしてもよい。 For example, the orientation of the left virtual camera A63L and right virtual camera A63R are both, the orientation of the outer imaging section (left) A 23a that is calculated based on the marker recognition result for the left real world image, a marker recognition for the right real world image outer imaging section which is calculated based on the results (right) just A23b posture such that the intermediate position may be determined the orientation of the left virtual camera A63L and right virtual camera A63R. また例えば、仮想カメラ間隔決定処理において外側撮像部(左)A23aと外側撮像部(右)A23bの間隔(EyeWidth)を計算した後に、左実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部(左)A23aの位置と、右実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部(右)A23bの位置の平均位置に対応する仮想空間内の位置から互いに反対方向にEyeWidth/2だけ仮想カメラの撮影方向と直交する方向にずらすことによって、左仮想カメラA63Lおよび右仮想カメラA63Rの位置を決定するようにしてもよい。 Also, for example, after the outer imaging section (left) A 23a and the outer imaging section (right) spacing A23b (EyeWidth) was calculated in the virtual camera interval determination process, the outer imaging, calculated on the basis of the marker recognition result for the left real world image part (left) and the position of a 23a, in opposite directions from the position in the virtual space corresponding to the average position of the positions of the right real outer imaging section which is calculated based on the marker recognition result to the global image (right) A23b EyeWidth / by shifting 2 only in a direction perpendicular to the shooting direction of the virtual camera may be configured to determine the position of the left virtual camera A63L and right virtual camera A63R.

また、上記実施形態では、仮想カメラ間隔決定処理によって仮想カメラ間隔(EyeWidth)が決定された後は、メイン実世界画像に対してのみマーカー認識処理を行っているが、他の実施形態では、常に左実世界画像と右実世界画像の両方に対してマーカー認識処理を行うようにしてもよい。 In the above embodiment, after being determined virtual camera interval (EyeWidth) is the virtual camera interval determination processing is performed a marker recognition process only to the main real world image, in other embodiments, always it may perform the marker recognition process on both the left real world image and the right real world image.

また、上記実施形態では、上側LCDA22がパララックスバリア方式の立体表示装置であるが、他の実施形態では、上側LCDA22がレンチキュラー方式等の他の任意の方式の立体表示装置であってもよい。 Further, in the above embodiment, the upper LCDA22 is stereoscopic display apparatus of the parallax barrier scheme, in other embodiments, the upper LCDA22 may be a stereoscopic display device of any other type such as a lenticular method. 例えば、レンチキュラー方式の立体表示装置を利用する場合には、左目用画像と右目用画像をCPUA311または他のプロセッサで合成してから、当該合成画像をレンチキュラー方式の立体表示装置に供給するようにしてもよい。 For example, when using the three-dimensional display device of the lenticular scheme, the left-eye image and the right-eye image from the synthesized CPUA311 or other processor, so as to supply the composite image to the stereoscopic display apparatus of lenticular lens type it may be.

また、上記実施形態では、ゲーム装置A10を用いて実世界画像に仮想オブジェクトを合成表示しているが、他の実施形態では、任意の情報処理装置または情報処理システム(例えば、PDA(Personal Digital Assistant)、携帯電話、パーソナルコンピュータ、カメラ等)を用いて実世界画像に仮想オブジェクトを合成表示してもよい。 Further, in the above embodiment, the virtual object in the real world image by using the game device A10 are synthesized and displayed, in other embodiments, any of the information processing apparatus or the information processing system (e.g., PDA (Personal Digital Assistant ), mobile phone, personal computer, a virtual object in the real world image by using a camera or the like) may be synthesized and displayed.

また、上記実施形態では、一台の情報処理装置(ゲーム装置A10)のみによって画像表示処理を実行しているが、他の実施形態では、互いに通信可能な複数の情報処理装置を有する画像表示システムにおいて、当該複数の情報処理装置が画像表示処理を分担して実行するようにしてもよい。 Further, in the above embodiment, running an image display processing by only a single information processing apparatus (game apparatus A10), in other embodiments, an image display system having a plurality of information processing apparatuses capable of communicating with each other in, the plurality of information processing apparatuses may be shared and executed by the image display processing.

(ゲーム装置の構成) (Structure of the game apparatus)
以下、本発明の他の一実施形態に係る情報処理装置であるゲーム装置について説明する。 The following describes a game apparatus which is an information processing apparatus according to another embodiment of the present invention. なお、本発明は、このような装置に限定されるものではなく、このような装置において実行される情報処理プログラムであっても、このような装置に関係がある情報処理システムであっても構わない。 The present invention is not limited to such a device, a processing program executed in such a device, may be a related information processing system in such a device Absent. さらに、本発明は、このような装置における情報処理方法であっても構わない。 Furthermore, the present invention may be an information processing method in such a system.

図41〜図43は、ゲーム装置B10の外観を示す平面図である。 Figures 41 43 are plan views showing the external appearance of a game device B10. ゲーム装置B10は携帯型のゲーム装置であり、図41〜図43に示すように折り畳み可能に構成されている。 Game device B10 is a hand-held game apparatus, and is configured to be foldable as shown in FIGS. 41 43. 図41及び図42は、開いた状態(開状態)におけるゲーム装置B10を示し、図43は、閉じた状態(閉状態)におけるゲーム装置B10を示している。 41 and 42 show a game device B10 in an opened state, FIG. 43 illustrates a game device B10 in a closed state. 図41は、開状態におけるゲーム装置B10の正面図であり、図42は、開状態におけるゲーム装置B10の右側面図である。 Figure 41 is a front view of the game apparatus B10 in the open state, FIG. 42 is a right side view of the game apparatus B10 in the open state. ゲーム装置B10は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。 Game device B10 captures an image by the imaging unit, and displays the taken image on a screen, it is possible to to store data of the captured image. また、ゲーム装置B10は、交換可能なメモリカード内に記憶され、又は、サーバーや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。 The game apparatus B10 is stored in an exchangeable memory card, or is capable of executing a game program received from a server or another game apparatus, such as an image captured by a virtual camera set in a virtual space the image generated by computer graphics processing may be or displayed on the screen.

まず、図41〜図43を参照して、ゲーム装置B10の外観構成について説明する。 First, with reference to FIGS. 41 to 43, illustrating the appearance structure of the game apparatus B10. 図41〜図43に示されるように、ゲーム装置B10は、下側ハウジングB11及び上側ハウジングB21を有する。 As shown in FIGS. 41 to 43, the game device B10 includes a lower housing B11 and the upper housing B21. 下側ハウジングB11と上側ハウジングB21とは、開閉可能(折り畳み可能)に接続されている。 The lower housing B11 and the upper housing B21, and is connected to allow opening and closing (be foldable). 本実施形態では、各ハウジングB11及びB21はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。 In this embodiment, the housing B11 and B21 are both horizontally long rectangular plate shape, and is rotatably connected at their longer sides.

図41及び図42に示されるように、下側ハウジングB11の上側長辺部分には、下側ハウジングB11の内側面(主面)B11Bに対して垂直な方向に突起する突起部B11Aが設けられる。 As shown in FIGS. 41 and 42, the upper long side portion of the lower housing B11, the protrusion B11A is provided which protrudes in a direction perpendicular to the inner surface (main surface) B11B of the lower housing B11 . また、上側ハウジングB21の下側長辺部分には、上側ハウジングB21の下側面から当該下側面に垂直な方向に突起する突起部B21Aが設けられる。 Furthermore, the lower long side portion of the upper housing B21, projections B21A which protrudes from the lower surface of the upper housing B21 in the direction perpendicular to the lower surface is provided. 下側ハウジングB11の突起部11Aと上側ハウジングB21の突起部B21Aとが連結されることにより、下側ハウジングB11と上側ハウジングB21とが、折り畳み可能に接続される。 By the protruding portion B21A protrusions 11A and the upper housing B21 of the lower housing B11 it is connected, and a lower housing B11 and the upper housing B21, are foldably connected.

(下側ハウジングの説明) (Description of the lower housing)
まず、下側ハウジングB11の構成について説明する。 First, the configuration of the lower housing B11. 図41〜図43に示すように、下側ハウジングB11には、下側LCD(Liquid Crystal Display:液晶表示装置)B12、タッチパネルB13、各操作ボタンB14A〜B14L(図41、図43)、アナログスティックB15、LEDB16A〜B16B、挿入口B17、及び、マイクロフォン用孔B18が設けられる。 As shown in FIGS. 41 to 43, the lower housing B11, lower LCD (Liquid Crystal Display: LCD device) B12, a touch panel B13, the operation buttons B14A~B14L (Figure 41, Figure 43), an analog stick B15, LEDB16A~B16B, insertion slot B17, and a microphone hole B18 is provided. 以下、これらの詳細について説明する。 Hereinafter, these components will be described in detail.

図41に示すように、下側LCDB12は下側ハウジングB11に収納される。 As shown in FIG. 41, the lower LCDB12 is accommodated in the lower housing B11. 下側LCDB12は横長形状であり、長辺方向が下側ハウジングB11の長辺方向に一致するように配置される。 Lower LCDB12 has a horizontally long shape, and is arranged such that a long side direction thereof corresponds to a long side direction of the lower housing B11. 下側LCDB12は下側ハウジングB11の中央に配置される。 Lower LCDB12 is located in the center of the lower housing B11. 下側LCDB12は、下側ハウジングB11の内側面(主面)に設けられ、下側ハウジングB11に設けられた開口部から当該下側LCDB12の画面が露出される。 Lower LCDB12 is provided on the inner surface of the lower housing B11 (main surface) screen of the lower LCDB12 is exposed from the opening provided in the lower housing B11. ゲーム装置B10を使用しない場合には閉状態としておくことによって、下側LCDB12の画面が汚れたり傷ついたりすることを防止することができる。 By keeping the closed state when not using the game apparatus B10, it is possible to prevent or damaged dirty screen of the lower LCDB12. 下側LCDB12の画素数は、例えば、256dot×192dot(横×縦)であってもよい。 Number of pixels of the lower LCDB12 may be, for example, a 256 dots × 192 dots (horizontal × vertical). 下側LCDB12は、後述する上側LCDB22とは異なり、画像を(立体視可能ではなく)平面的に表示する表示装置である。 Lower LCDB12 Unlike upper LCDB22 described later, the image (not in a stereoscopic view) of a display device for planar display. なお、本実施形態では表示装置としてLCDを用いているが、例えばEL(Electro Luminescence:電界発光)を利用した表示装置など、他の任意の表示装置を利用してもよい。 Incidentally, in the present embodiment an LCD is used as a display device, for example, EL: a display device using an (Electro Luminescence) may be used any other display device. また、下側LCDB12として、任意の解像度の表示装置を利用することができる。 Further, as the lower LCDB12, it is possible to use a display device having any resolution.

図41に示されるように、ゲーム装置B10は、入力装置として、タッチパネルB13を備えている。 As shown in FIG. 41, the game device B10 as an input device, and a touch panel B13. タッチパネルB13は、下側LCDB12の画面上に装着されている。 The touch panel B13 is mounted on the screen of the lower LCDB12. なお、本実施形態では、タッチパネルB13は抵抗膜方式のタッチパネルである。 In the present embodiment, the touch panel B13 is a resistive film type touch panel. ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。 However, the touch panel is not limited to the resistive film type, it can be used, for example a capacitive type, etc., a touch panel of an arbitrary method. 本実施形態では、タッチパネルB13として、下側LCDB12の解像度と同解像度(検出精度)のものを利用する。 In the present embodiment, the touch panel B13, that of the lower LCDB12 the same resolution (detection accuracy). ただし、必ずしもタッチパネルB13の解像度と下側LCDB12の解像度が一致している必要はない。 However, it may not necessarily be the resolution and the resolution of the lower LCDB12 touch panel B13 match. また、下側ハウジングB11の上側面には挿入口B17(図41及び図43(d)に示す点線)が設けられている。 Further, on the side insertion opening B17 of the lower housing B11 (dotted line shown in FIG. 41 and FIG. 43 (d)) is provided. 挿入口B17は、タッチパネルB13に対する操作を行うために用いられるタッチペンB28を収納することができる。 Insertion port B17 is capable of accommodating a touch pen B28 used for performing an operation on the touch panel B13. なお、タッチパネルB13に対する入力は通常タッチペンB28を用いて行われるが、タッチペンB28に限らずユーザの指でタッチパネルB13に対する入力をすることも可能である。 The input to the touch panel B13 is usually made by using the touch pen B28, it is also possible to input to the touch panel B13 a finger of the user is not limited to touch pen B28.

各操作ボタンB14A〜B14Lは、所定の入力を行うための入力装置である。 Each operation buttons B14A~B14L is an input device for performing a predetermined input. 図41に示されるように、下側ハウジングB11の内側面(主面)には、各操作ボタンB14A〜B14Lのうち、十字ボタンB14A(方向入力ボタンB14A)、ボタンB14B、ボタンB14C、ボタンB14D、ボタンB14E、電源ボタンB14F、セレクトボタンB14J、HOMEボタンB14K、及びスタートボタンB14Lが、設けられる。 As shown in Figure 41, the inner side surface of the lower housing B11 (main surface) of the operation buttons B14A~B14L, a cross button B14a (direction input button B14a) button B14B, buttons B14C, buttons B14D, button B14E, power button B14F, select button B14J, HOME button B14K, and start button B14L is provided. 十字ボタンB14Aは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。 The cross button B14A has a cross shape, and has a button for instructing vertical and horizontal directions. ボタンB14B、ボタンB14C、ボタンB14D、ボタンB14Eは、十字状に配置される。 Button B14B, buttons B14C, buttons B14D, buttons B14E are arranged in a cross shape. ボタンB14A〜B14E、セレクトボタンB14J、HOMEボタンB14K、及びスタートボタンB14Lには、ゲーム装置B10が実行するプログラムに応じた機能が適宜割り当てられる。 Button B14A~B14E, select button B14J, HOME button B14K, and the start button B14L, functions in accordance with the program of the game apparatus B10 is executed appropriately assigned. 例えば、十字ボタンB14Aは選択操作等に用いられ、各操作ボタンB14B〜B14Eは例えば決定操作やキャンセル操作等に用いられる。 For example, the cross button B14A is used for a selection operation, the operation buttons B14B~B14E is used, for example, for a determination operation, a cancellation operation, and the like. また、電源ボタンB14Fは、ゲーム装置B10の電源をオン/オフするために用いられる。 The power button B14F is used to turn on / off the game apparatus B10.

アナログスティックB15は、方向を指示するデバイスであり、下側ハウジングB11の内側面の下側LCDB12より左側領域の上部領域に設けられる。 Analog stick B15 is a device for indicating the direction, is provided in the upper region of the left region from the lower side LCDB12 of the inner surface of the lower housing B11. 図41に示すように、十字ボタンB14Aは下側LCDB12より左側領域の下部領域に設けられるので、アナログスティックB15は、十字ボタンB14Aの上方に設けられる。 As shown in FIG. 41, since the cross button B14a is provided in the lower region of the left region from the lower LCDB12, analog stick B15 is provided above the cross button B14a. また、アナログスティックB15、及び、十字ボタンB14Aは、下側ハウジングを把持した左手の親指で操作可能な位置に設計される。 The analog stick B15 and, cross button B14A is designed operable position with the left thumb holding the lower housing. また、アナログスティックB15を上部領域に設けたことにより、下側ハウジングB11を把持する左手の親指が自然と位置するところにアナログスティックB15が配され、十字ボタンB14Aは、左手の親指を少し下にずらした位置に配される。 Further, by providing the analog stick B15 in the upper region, an analog stick B15 is disposed at the left thumb holding the lower housing B11 is positioned naturally, cross button B14A is a left thumb slightly below They are arranged in staggered position. アナログスティックB15は、そのキートップが、下側ハウジングB11の内側面に平行にスライドするように構成されている。 Analog stick B15, the key top is configured to slide parallel to the inner surface of the lower housing B11. アナログスティックB15は、ゲーム装置B10が実行するプログラムに応じて機能する。 Analog stick B15 functions in accordance with the program of the game apparatus B10 to be executed. 例えば、3次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置B10によって実行される場合、アナログスティックB15は、当該所定のオブジェクトを3次元仮想空間内で移動させるための入力装置として機能する。 For example, if the game 3-dimensional virtual space to a predetermined object appears is executed by the game apparatus B10, the analog stick B15 functions as an input device for moving the predetermined object in three-dimensional virtual space. この場合において、所定のオブジェクトはアナログスティックB15のキートップがスライドした方向に移動される。 In this case, the predetermined object is moved in a direction in which the key top of the analog stick B15 is slid. なお、アナログスティックB15として、上下左右及び斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。 As analog stick B15, it may also be used which enables an analog input by being tilted by a predetermined amount in any direction of up, down, left and right and oblique directions.

十字状に配置される、ボタンB14B、ボタンB14C、ボタンB14D、ボタンB14Eの4つのボタンは、下側ハウジングB11を把持する右手の親指が自然と位置するところに配置される。 They are arranged in a cross shape, button B14B, buttons B14C, buttons B14D, the four buttons of the button B14E, is located where the thumb of the right hand holding the lower housing B11 is positioned with nature. また、これらの4つのボタンと、アナログスティックB15とは、下側LCDB12を挟んで、左右対称に配置される。 Further, the four buttons and the analog stick B15, across the lower LCDB12, are arranged symmetrically. これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの4つのボタンを使用して方向指示入力をすることも可能である。 Thus, depending on a game program, for example, left-handed people, it is also possible to make the direction indication input using these four buttons.

また、下側ハウジングB11の内側面には、マイクロフォン用孔B18が設けられる。 Further, on the inner surface of the lower housing B11, microphone hole B18 is provided. マイクロフォン用孔B18の下部には後述する音声入力装置としてのマイク(図47参照)が設けられ、当該マイクがゲーム装置B10の外部の音を検出する。 Under the microphone hole B18 is provided a microphone (see FIG. 47) as a sound input device described below, and the microphone detects a sound from the outside of the game apparatus B10.

図43(a)は閉状態におけるゲーム装置B10の左側面図であり、図43(b)は閉状態におけるゲーム装置B10の正面図であり、図43(c)は閉状態におけるゲーム装置B10の右側面図であり、図43(d)は閉状態におけるゲーム装置B10の背面図である。 Figure 43 (a) is a left side view of the game apparatus B10 in the closed state, FIG. 43 (b) is a front view of the game apparatus B10 in the closed state, FIG. 43 (c) is a game device B10 in the closed state is a right side view, FIG. 43 (d) is a rear view of the game apparatus B10 in the closed state. 図43(b)及び(d)に示されるように、下側ハウジングB11の上側面には、LボタンB14G及びRボタンB14Hが設けられている。 As shown in FIG. 43 (b) and (d), on the upper side surface of the lower housing B11, L button B14G and R button B14H is provided. LボタンB14Gは、下側ハウジングB11の上面の左端部に設けられ、RボタンB14Hは、下側ハウジングB11の上面の右端部に設けられる。 L button B14G is provided at a left end portion of the upper surface of the lower housing B11, R button B14H is provided at a right end portion of the upper surface of the lower housing B11. 後述のように、LボタンB14G及びRボタンB14Hは、撮像部のシャッターボタン(撮影指示ボタン)として機能する。 As described below, L button B14G and R button B14H functions as a shutter button of the imaging unit (imaging instruction button). また、図43(a)に示されるように、下側ハウジングB11の左側面には、音量ボタンB14Iが設けられる。 Further, as shown in FIG. 43 (a), the left side surface of the lower housing B11, volume buttons B14I is provided. 音量ボタンB14Iは、ゲーム装置B10が備えるスピーカの音量を調整するために用いられる。 Volume button B14I is used to adjust the sound volume of a speaker of the game apparatus B10 is provided.

図43(a)に示されるように、下側ハウジングB11の左側面には開閉可能なカバー部B11Cが設けられる。 As shown in FIG. 43 (a), an openable cover B11C is provided on the left side surface of the lower housing B11. このカバー部B11Cの内側には、ゲーム装置B10とデータ保存用外部メモリB45とを電気的に接続するためのコネクタ(図示せず)が設けられる。 Inside the cover B11C, connector for electrically connecting the game device B10 and the external data storage memory B45 (not shown) is provided. データ保存用外部メモリB45は、コネクタに着脱自在に装着される。 The external data storage memory B45 is detachably attached to the connector. データ保存用外部メモリB45は、例えば、ゲーム装置B10によって撮像された画像のデータを記憶(保存)するために用いられる。 The external data storage memory B45 is used, for example, to store data of an image captured by the game apparatus B10 (save). なお、上記コネクタ及びそのカバー部B11Cは、下側ハウジングB11の右側面に設けられてもよい。 Incidentally, the connector and its cover B11C may be provided on the right side surface of the lower housing B11.

また、図43(d)に示されるように、下側ハウジングB11の上側面には、ゲーム装置B10とゲームプログラムを記録した外部メモリB44を挿入するための挿入口B11Dが設けられ、その挿入口B11Dの内部には、外部メモリB44と電気的に着脱自在に接続するためのコネクタ(図示せず)が設けられる。 Further, as shown in FIG. 43 (d), on the upper side surface of the lower housing B11, insertion opening B11D for inserting the external memory B44 recording the game device B10 and the game program is provided, the insertion opening inside the B11D, external memory B44 and electrically removably connector for connecting (not shown) is provided. 当該外部メモリB44がゲーム装置B10に接続されることにより、所定のゲームプログラムが実行される。 The external memory B44 is by being connected to the game device B10, a predetermined game program is executed. なお、上記コネクタ及びその挿入口B11Dは、下側ハウジングB11の他の側面(例えば、右側面等)に設けられてもよい。 Note that the connector and its insertion opening B11D may be provided on another side of the lower housing B11 (e.g., right side, etc.).

また、図41及び図43(c)に示されるように、下側ハウジングB11の下側面にはゲーム装置B10の電源のON/OFF状況をユーザに通知する第1LEDB16A、下側ハウジングB11の右側面にはゲーム装置B10の無線通信の確立状況をユーザに通知する第2LEDB16Bが設けられる。 Further, as shown in FIGS. 41 and 43 (c), the right side surface of the 1LEDB16A, lower housing B11 to notify ON / OFF state of a power supply of the game apparatus B10 to the user on the lower side surface of the lower housing B11 the 2LEDB16B is provided for notifying the establishment state of the wireless communication of the game apparatus B10 to the user on. ゲーム装置B10は他の機器との間で無線通信を行うことが可能であり、第2LEDB16Bは、無線通信が確立している場合に点灯する。 Game device B10 is capable of performing wireless communication with other devices, the 2LEDB16B is lit up when the wireless communication is established. ゲーム装置B10は、例えば、IEEE802.11. Game device B10 is, for example, IEEE802.11. b/gの規格に準拠した方式により、無線LANに接続する機能を有する。 The method compliant with the b / g standards, has a function of connecting to a wireless LAN. 下側ハウジングB11の右側面には、この無線通信の機能を有効/無効にする無線スイッチB19が設けられる(図43(c)参照)。 On the right side surface of the lower housing B11, wireless switch B19 is provided for enabling / disabling the function of the wireless communication (see FIG. 43 (c)).

なお、図示は省略するが、下側ハウジングB11には、ゲーム装置B10の電源となる充電式電池が収納され、下側ハウジングB11の側面(例えば、上側面)に設けられた端子を介して当該電池を充電することができる。 Although not shown, the lower housing B11, rechargeable battery as a power source of the game apparatus B10 is accommodated, the side surface of the lower housing B11 (e.g., upper surface) via a terminal provided on the it is possible to charge the battery.

(上側ハウジングの説明) (Description of upper housing)
次に、上側ハウジングB21の構成について説明する。 Next, the configuration of the upper housing B21. 図41〜図43に示すように、上側ハウジングB21には、上側LCD(Liquid Crystal Display:液晶表示装置)B22、外側撮像部B23(外側撮像部(左)B23a及び外側撮像部(右)B23b)、内側撮像部B24、3D調整スイッチB25、及び、3DインジケータB26が設けられる。 As shown in FIGS. 41 to 43, the upper housing B21, the upper LCD (Liquid Crystal Display: LCD device) B22, the outer imaging section B23 (outer imaging section (left) B23a and the outer imaging section (right) B 23b) , inner imaging section B24,3D adjustment switch B25, and, 3D indicator B26 is provided. 以下、これらの詳細について説明する。 Hereinafter, these components will be described in detail.

図41に示すように、上側LCDB22は上側ハウジングB21に収納される。 As shown in FIG. 41, upper LCDB22 is accommodated in the upper housing B21. 上側LCDB22は、横長形状であり、長辺方向が上側ハウジングB21の長辺方向に一致するように配置される。 The upper LCDB22 is a horizontally long shape, and is located such that a long side direction thereof corresponds to a long side direction of the upper housing B21. 上側LCDB22は上側ハウジングB21の中央に配置される。 The upper LCDB22 is located in the center of the upper housing B21. 上側LCDB22の画面の面積は、下側LCDB12の画面の面積よりも大きく設定される。 Area of ​​the screen of the upper LCDB22 is set larger than the area of ​​the screen of the lower LCDB12. また、上側LCDB22の画面は、下側LCDB12の画面よりも横長に設定される。 Further, the screen of the upper LCDB22 is set horizontally longer than the screen of the lower LCDB12. すなわち、上側LCDB22の画面のアスペクト比における横幅の割合は、下側LCDB12の画面のアスペクト比における横幅の割合よりも大きく設定される。 That is, the ratio of the horizontal width in the aspect ratio of the screen of the upper LCDB22 is set larger than the ratio of the horizontal width in the aspect ratio of the screen of the lower LCDB12.

上側LCDB22の画面は、上側ハウジングB21の内側面(主面)B21Bに設けられ、上側ハウジングB21に設けられた開口部から当該上側LCDB22の画面が露出される。 Screen of the upper LCDB22 is provided on the inner surface (main surface) B21B of the upper housing B21, screen of the upper LCDB22 is exposed from the opening provided in the upper housing B21. また、図42及び図44に示すように、上側ハウジングB21の内側面は、透明なスクリーンカバーB27によって覆われている。 Further, as shown in FIGS. 42 and 44, the inner surface of the upper housing B21 is covered by a transparent screen cover B27. 図44は、上側ハウジングB21の内側面からスクリーンカバーB27を分解した状態を示す分解図である。 Figure 44 is an exploded view showing an exploded state of the screen cover B27 from the inner surface of the upper housing B21. 当該スクリーンカバーB27は、上側LCDB22の画面を保護するとともに、上側LCDB22と上側ハウジングB21の内側面と一体的にさせ、これにより統一感を持たせている。 The screen cover B27 protects the screen of the upper LCDB22, which is the inner surface integral with upper LCDB22 an upper housing B21, thereby to have a sense of unity. 上側LCDB22の画素数は、例えば、640dot×200dot(横×縦)であってもよい。 Number of pixels of the upper LCDB22 may be, for example, a 640 dots × 200 dots (horizontal × vertical). なお、本実施形態では上側LCDB22は液晶表示装置であるとしたが、例えばEL(Electro Luminescence:電界発光)を利用した表示装置などが利用されてもよい。 Incidentally, the upper LCDB22 in the present embodiment was to be a liquid crystal display device, for example, EL: a display device using (Electro Luminescence) may be used. また、上側LCDB22として、任意の解像度の表示装置を利用することができる。 Further, as the upper LCDB22, it is possible to use a display device having any resolution.

上側LCDB22は、立体視可能な画像を表示することが可能な表示装置である。 The upper LCDB22 is a display device capable of displaying a stereoscopically visible image. また、本実施例では、実質的に同一の表示領域を用いて左目用画像と右目用画像が表示される。 Further, in this embodiment, the left eye image and the right eye image is displayed using substantially the same display area. 具体的には、左目用画像と右目用画像が所定単位で(例えば、1列ずつ)横方向に交互に表示される方式の表示装置である。 Specifically, a display device using a method in which left eye image and the right eye image are alternately displayed (for example, every other line) laterally in predetermined units. 又は、左目用画像と右目用画像とが交互に表示される方式の表示装置であってもよい。 Or it may be a display device using a method in which a left eye image and a right eye image are displayed alternately. また、本実施例では、裸眼立体視可能な表示装置である。 Further, in the present embodiment, an autostereoscopic display device capable. そして、横方向に交互に表示される左目用画像と右目用画像とを左目及び右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式(視差バリア方式)のものが用いられる。 Then, those lenticular system and a parallax barrier type as a left eye image and a right eye image displayed laterally alternately appear to decompose the respective left and right eyes (parallax barrier method) is used. 本実施形態では、上側LCDB22はパララックスバリア方式のものとする。 In the present embodiment, the upper LCDB22 of a parallax barrier method. 上側LCDB22は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像(立体画像)を表示する。 The upper LCDB22, using the right eye image and the left eye image, which is stereoscopically visible with naked eyes image (stereoscopic image). すなわち、上側LCDB22は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像を視認させることにより、ユーザにとって立体感のある立体画像(立体視可能な画像)を表示することができる。 That is, the upper LCDB22 is by viewing the right-eye image left eye image to the right eye of the user to the user's left eye using a parallax barrier, to display a stereoscopic image having a stereoscopic effect (stereoscopically visible image) for the user be able to. また、上側LCDB22は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる(上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである)。 The upper LCDB22 is possible to disable the parallax barrier, when the parallax barrier is disabled, the image can be displayed in a planar manner (plane on the opposite meaning of the above-described stereoscopic it is possible to display an image of the view. in other words, the same image displayed is the display mode as seen with a left eye and a right eye). このように、上側LCDB22は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する(平面視画像を表示する)平面表示モードとを切り替えることが可能な表示装置である。 Thus, the upper LCDB22 is a stereoscopic display mode and an image displayed in a planar manner (Show the plan view image) planar display mode and the display device capable of switching the displaying the stereoscopically visible image . この表示モードの切り替えは、後述する3D調整スイッチB25によって行われる。 The switching of the display mode is performed by the 3D adjustment switch B25 which will be described later.

外側撮像部B23は、上側ハウジングB21の外側面(上側LCDB22が設けられた主面と反対側の背面)B21Dに設けられた2つの撮像部(B23a及びB23b)の総称である。 Outer imaging section B23 is a general term for the outer surface of the upper housing B21 2 one imaging section provided in the (upper LCDB22 is the main surface provided opposite to the back surface) B21D (B23a and B 23b). 外側撮像部(左)B23aと外側撮像部(右)B23bの撮像方向は、いずれも当該外側面B21Dの外向きの法線方向である。 Outer imaging section (left) B23a and the outer imaging section (right) imaging direction B23b are both outward normal direction of the outer side surface B21D. また、これらの撮像部はいずれも、上側LCDB22の表示面(内側面)の法線方向と180度反対の方向に設計される。 Moreover, none of these imaging unit is designed in the normal direction 180 degrees opposite to the direction of the display surface of the upper LCDB22 (inside surface). すなわち、外側撮像部(左)B23aの撮像方向及び外側撮像部(右)B23bの撮像方向は、平行である。 That is, the outer imaging section (left) imaging direction and the outer imaging section of B23a (right) imaging direction B23b are parallel. 外側撮像部(左)B23aと外側撮像部(右)B23bとは、ゲーム装置B10が実行するプログラムによって、ステレオカメラとして使用することが可能である。 The outer imaging section (left) B23a and the outer imaging section (right) B 23b, the program game device B10 is performed, can be used as a stereo camera. また、プログラムによっては、2つの外側撮像部(B23a及びB23b)のいずれか一方を単独で用いて、外側撮像部B23を非ステレオカメラとして使用することも可能である。 Also, depending on the program, two outer imaging section one of (B23a and B 23b) used alone, it is also possible to use the outer imaging section B23 as a non-stereo camera. また、プログラムによっては、2つの外側撮像部(B23a及びB23b)で撮像した画像を合成して又は補完的に使用することにより撮像範囲を広げた撮像をおこなうことも可能である。 Also, depending on the program, it is possible to perform imaging with wider imaging range by combining with or complementary use of images captured by the two outer imaging section (B23a and B 23b). 本実施形態では、外側撮像部B23は、外側撮像部(左)B23a及び外側撮像部(右)B23bの2つの撮像部で構成される。 In this embodiment, the outer imaging section B23 is composed of the outer imaging section (left) B23a and the outer imaging section (right) of two imaging section B 23b. 外側撮像部(左)B23a及び外側撮像部(右)B23bは、それぞれ所定の共通の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。 Outer imaging section (left) B23a and the outer imaging section (right) B 23b includes an imaging device having a common predetermined resolution (eg, CCD image sensor or a CMOS image sensor), and a lens. レンズは、ズーム機構を有するものでもよい。 The lens may have a zooming mechanism.

図41の破線及び図43(b)の実線で示されるように、外側撮像部B23を構成する外側撮像部(左)B23a及び外側撮像部(右)B23bは、上側LCDB22の画面の横方向と平行に並べられて配置される。 As indicated by the solid line in the broken line and the diagram of FIG 41 43 (b), the outer imaging section which constitutes the outer imaging section B23 (left) B23a and the outer imaging section (right) B 23b has a horizontal direction of the screen of the upper LCDB22 are each arranged in parallel. すなわち、2つの撮像部を結んだ直線が上側LCDB22の画面の横方向と平行になるように、外側撮像部(左)B23a及び外側撮像部(右)B23bが配置される。 That is, a straight line connecting the two imaging units is such that in parallel with the horizontal direction of the screen of the upper LCDB22, the outer imaging section (left) B23a and the outer imaging section (right) B 23b are arranged. 図41の破線で示すB23a及びB23bは、上側ハウジングB21の内側面とは反対側の外側面に存在する外側撮像部(左)B23a及び外側撮像部(右)B23bをそれぞれ表している。 B23a and B 23b shown by a broken line in FIG. 41 represents the outer imaging section that exists on the outer surface of the opposite side (left) B23a and the outer imaging section (right) B 23b respectively to the inner surface of the upper housing B21. 図41に示すように、ユーザが上側LCDB22の画面を正面から視認した場合に、外側撮像部(左)B23aは左側に外側撮像部(右)B23bは右側にそれぞれ位置している。 As shown in FIG. 41, when the user views the screen of the upper LCDB22 from the front, the outer imaging section (left) B23a outer imaging section to the left (right) B 23b are respectively positioned on the right side. 外側撮像部B23をステレオカメラとして機能させるプログラムが実行されている場合、外側撮像部(左)B23aは、ユーザの左目で視認される左目用画像を撮像し、外側撮像部(右)B23bは、ユーザの右目で視認される右目用画像を撮像する。 If a program that causes a outer imaging section B23 as a stereo camera is executed, the outer imaging section (left) B23a captures the left-eye image to be viewed by the user's left eye, the outer imaging section (right) B 23b is capturing an eye image to be viewed by the right eye of the user. 外側撮像部(左)B23a及び外側撮像部(右)B23bの間隔は、人間の両目の間隔程度に設定され、例えば、30mm〜70mmの範囲で設定されてもよい。 Outer imaging section (left) B23a and the outer imaging section (right) spacing B23b is set to about the human eye separation, for example, may be set in a range of 30 mm to 70 mm. なお、外側撮像部(左)B23a及び外側撮像部(右)B23bの間隔は、この範囲に限らない。 The distance between the outer imaging section (left) B23a and the outer imaging section (right) B 23b is not limited to this range.

なお、本実施例においては、外側撮像部(左)B23a及び外側撮像部(右)B23はハウジングに固定されており、撮像方向を変更することはできない。 In the present embodiment, the outer imaging section (left) B23a and the outer imaging section (right) B23 is fixed to the housing, it is not possible to change the imaging direction.

また、外側撮像部(左)B23a及び外側撮像部(右)B23bは、上側LCDB22(上側ハウジングB21)の左右方向に関して中央から対称となる位置にそれぞれ配置される。 The outer imaging section (left) B23a and the outer imaging section (right) B 23b are respectively disposed in the center are symmetrical from a position in the left-right direction of the upper LCDB22 (upper housing B21). すなわち、外側撮像部(左)B23a及び外側撮像部(右)B23bは、上側LCDB22を左右に2等分する線に対して対称の位置にそれぞれ配置される。 That is, the outer imaging section (left) B23a and the outer imaging section (right) B 23b are disposed at positions symmetrical with respect to a line bisecting the upper LCDB22 right and left. また、外側撮像部(左)B23a及び外側撮像部(右)B23bは、上側ハウジングB21を開いた状態において、上側ハウジングB21の上部であって、上側LCDB22の画面の上端よりも上方の位置の裏側に配置される。 The outer imaging section (left) B23a and the outer imaging section (right) B 23b is in an open state the upper housing B21, a top of the upper housing B21, the upper end of the screen of the upper LCDB22 the upper position back It is placed in. すなわち、外側撮像部(左)B23a及び外側撮像部(右)B23bは、上側ハウジングB21の外側面であって、上側LCDB22を外側面に投影した場合、投影した上側LCDB22の画面の上端よりも上方に配置される。 That is, the outer imaging section (left) B23a and the outer imaging section (right) B 23b is an outer surface of the upper housing B21, when projected upper LCDB22 the outer surface, than the upper end of the screen of the upper LCDB22 projected upward It is placed in.

このように、外側撮像部B23の2つの撮像部(B23a及びB23b)が、上側LCDB22の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側LCDB22を正視した場合に、外側撮像部B23の撮像方向をユーザの視線方向と一致させることができる。 Thus, two imaging units of the outer imaging section B23 (B23a and B 23b) is, by being arranged from the center in the left-right direction of the upper LCDB22 positioned symmetrically, in the case where user views the upper LCDB22, outer imaging the imaging direction of the section B23 can be matched with the user's gaze direction. また、外側撮像部B23は、上側LCDB22の画面の上端より上方の裏側の位置に配置されるため、外側撮像部B23と上側LCDB22とが上側ハウジングB21の内部で干渉することがない。 The outer imaging section B23 may be placed in the upper rear position than the upper end of the screen of the upper LCDB22, never the outer imaging section B23 and the upper LCDB22 interfere with each other inside the upper housing B21. 従って、外側撮像部B23を上側LCDB22の画面の裏側に配置する場合と比べて、上側ハウジングB21を薄く構成することが可能となる。 Therefore, as compared with the case of arranging the outer imaging section B23 on the back of the screen of the upper LCDB22, it is possible to construct thin upper housing B21.

内側撮像部B24は、上側ハウジングB21の内側面(主面)B21Bに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。 The inner imaging section B24 are provided on the inner surface (main surface) B21B of the upper housing B21, which is an imaging unit for the normal direction of the inward of the inner surface and the imaging direction. 内側撮像部B24は、所定の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。 The inner imaging section B24 includes an imaging device having a predetermined resolution (eg, CCD image sensor or a CMOS image sensor), and a lens. レンズは、ズーム機構を有するものでもよい。 The lens may have a zooming mechanism.

図41に示すように、内側撮像部B24は、上側ハウジングB21を開いた状態において、上側ハウジングB21の上部であって、上側LCDB22の画面の上端よりも上方に配置され、上側ハウジングB21の左右方向に関して中央の位置(上側ハウジングB21(上側LCDB22の画面)を左右に2等分する線の線上)に配置される。 As shown in FIG. 41, the inner imaging section B24, in opened upper housing B21, a top of the upper housing B21, the upper end of the screen of the upper LCDB22 disposed above the left and right direction of the upper housing B21 will be disposed in the center (the upper housing B21 (line of the line bisecting the screen) of the upper LCDB22 the left and right) with respect to. 具体的には、図41及び図43(b)に示されるように、内側撮像部B24は、上側ハウジングB21の内側面であって、外側撮像部B23の左右の撮像部(外側撮像部(左)B23a及び外側撮像部(右)B23b)の中間の裏側の位置に配置される。 Specifically, as shown in FIGS. 41 and 43 (b), the inner imaging section B24 is an inner surface of the upper housing B21, the right and left imaging units of the outer imaging section B23 (outer imaging section (left ) B23a and the outer imaging section (located in the middle of the back side of the position of the right) B 23b). すなわち、上側ハウジングB21の外側面に設けられた外側撮像部B23の左右の撮像部を上側ハウジングB21の内側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部B24が設けられる。 That is, when projecting the imaging portions of the left and right outer imaging section B23 provided on the outer surface of the upper housing B21 to the inner surface of the upper housing B21, in the middle of the imaging portions of the left and right that the projection, the inner imaging section B24 provided It is. 図43(b)で示される破線B24は、上側ハウジングB21の内側面に存在する内側撮像部B24を表している。 Dashed B24 shown in FIG. 43 (b) represents the inner imaging section B24 present in the inner surface of the upper housing B21.

このように、内側撮像部B24は、外側撮像部B23とは反対方向を撮像する。 Thus, the inner imaging section B24, the outer imaging section B23 imaging the opposite direction. 内側撮像部B24は、上側ハウジングB21の内側面であって、外側撮像部B23の左右の撮像部の中間位置の裏側に設けられる。 The inner imaging section B24 is an inner surface of the upper housing B21, it is provided on the back side of the intermediate position of the imaging unit of the left and right outer imaging section B23. これにより、ユーザが上側LCDB22を正視した際、内側撮像部B24でユーザの顔を正面から撮像することができる。 Thus, when a user views the upper LCDB22, it is possible to capture the face of the user from the front by the inner imaging section B24. また、外側撮像部B23の左右の撮像部と内側撮像部B24とが上側ハウジングB21の内部で干渉することがないため、上側ハウジングB21を薄く構成することが可能となる。 Further, since the right and left imaging units of the outer imaging section B23 and the inner imaging section B24 do not interfere with the interior of the upper housing B21, it is possible to construct thin upper housing B21.

3D調整スイッチB25は、スライドスイッチであり、上述のように上側LCDB22の表示モードを切り替えるために用いられるスイッチである。 3D adjustment switch B25 is a slide switch, and is used to switch the display mode of the upper LCDB22 as described above. また、3D調整スイッチB25は、上側LCDB22に表示された立体視可能な画像(立体画像)の立体感を調整するために用いられる。 Also, 3D adjustment switch B25 is used for adjusting the stereoscopic effect of the displayed stereoscopically visible image on the upper LCDB22 (stereoscopic image). 図41〜図43に示されるように、3D調整スイッチB25は、上側ハウジングB21の内側面及び右側面の端部に設けられ、ユーザが上側LCDB22を正視した場合に、当該3D調整スイッチB25を視認できる位置に設けられる。 As shown in FIGS. 41 to 43, 3D adjustment switch B25 is provided at an end of the inner side surface and right side surface of the upper housing B21, when the user views the upper LCDB22, viewing the 3D adjustment switch B25 It provided it position. また、3D調整スイッチB25の操作部は、内側面及び右側面の両方に突出しており、どちらからも視認及び操作することができる。 The operation unit of the 3D adjustment switch B25 protrudes both inside and right sides, it can be viewed and operated from both. なお、3D調整スイッチB25以外のスイッチは全て下側ハウジングB11に設けられる。 Note that switches other than 3D adjustment switch B25 is all provided on the lower housing B11.

図45は、図41に示す上側ハウジングB21のA−A'線断面図である。 Figure 45 is an A-A 'line cross-sectional view of the upper housing B21 shown in FIG. 41. 図45に示すように、上側ハウジングB21の内側面の右端部には、凹部B21Cが形成され、当該凹部B21Cに3D調整スイッチB25が設けられる。 As shown in FIG. 45, the right end portion of the inner surface of the upper housing B21, recesses B21c is formed, 3D adjustment switch B25 is provided in the concave portion B21c. 3D調整スイッチB25は、図41及び図42に示されるように、上側ハウジングB21の正面及び右側面から視認可能に配置される。 3D adjustment switch B25, as shown in FIGS. 41 and 42, are visibly disposed from the front and right side surface of the upper housing B21. 3D調整スイッチB25のスライダB25aは、所定方向(上下方向)の任意の位置にスライド可能であり、当該スライダB25aの位置に応じて上側LCDB22の表示モードが設定される。 Slider b25a of the 3D adjustment switch B25 is slidable to any position in a predetermined direction (vertical direction), the display mode of the upper LCDB22 is set in accordance with the position of the slider b25a.

図46Aから図46Cは、3D調整スイッチB25のスライダB25aがスライドする様子を示す図である。 Figure 46C Figures 46A, the slider B25a of the 3D adjustment switch B25 is a diagram showing a state of sliding. 図46Aは、3D調整スイッチB25のスライダB25aが最下点(第3の位置)に存在する様子を示す図である。 Figure 46A is a diagram illustrating a state in which the slider B25a of the 3D adjustment switch B25 is present in the lowermost position (third position). 図46Bは、3D調整スイッチB25のスライダB25aが最下点よりも上方位置(第1の位置)に存在する様子を示す図である。 Figure 46B is a diagram illustrating a state in which the slider B25a of the 3D adjustment switch B25 is present in a position above the lowermost point (the first position). 図46Cは、3D調整スイッチB25のスライダB25aが最上点(第2の位置)に存在する様子を示す図である。 Figure 46C is a diagram illustrating a state in which the slider B25a of the 3D adjustment switch B25 is present in the uppermost position (second position).

図46Aに示すように、3D調整スイッチB25のスライダB25aが最下点位置(第3の位置)に存在する場合、上側LCDB22は平面表示モードに設定され、上側LCDB22の画面には平面画像が表示される(なお、上側LCDB22を立体表示モードのままとして、左目用画像と右目用画像を同一の画像とすることにより平面表示してもよい)。 As shown in FIG. 46A, when the slider B25a of the 3D adjustment switch B25 is present in lowermost position (third position), the upper LCDB22 is set to the planar display mode, display planar images on the screen of the upper LCDB22 is (Incidentally, the upper LCDB22 step, while the stereoscopic display mode, may be planar display by the left eye image and the right eye image and the same image). 一方、図46Bに示す位置(最下点より上側の位置(第1の位置))から図46Cに示す位置(最上点の位置(第2の位置))までの間にスライダB25aが存在する場合、上側LCDB22は立体表示モードに設定される。 On the other hand, when the slider B25a is present between the positions shown in FIG. 46B (upper position than the lowest point (the first position)) to the position shown in FIG. 46C (the position of the uppermost point (second position)) , upper LCDB22 is set to the stereoscopic display mode. この場合、上側LCDB22の画面には立体視可能な画像が表示される。 In this case, on the screen of the upper LCDB22 is displayed stereoscopically visible image. スライダB25aが第1の位置から第2の位置の間に存在する場合、スライダB25aの位置に応じて、立体画像の見え方が調整される。 If the slider b25a exists between the first position and the second position, depending on the position of the slider b25a, the stereoscopic image is visible is adjusted. 具体的には、スライダB25aの位置に応じて、右目用画像及び左目用画像の横方向の位置のずれ量が調整される。 Specifically, according to the position of the slider b25a, the deviation amount in the lateral direction of the position of the right eye image and the left-eye image is adjusted. なお、立体表示モードにおける立体画像の見え方の調整については後述する。 It will be described later appearance adjustment of the stereoscopic image in the stereoscopic display mode. 3D調整スイッチB25のスライダB25aは、第3の位置で固定されるように構成されており、第1の位置と第2の位置との間では上下方向に任意の位置にスライド可能に構成されている。 Slider B25a of the 3D adjustment switch B25 is configured to be secured in a third position, between a first position and a second position is configured to be slid to any position in the vertical direction there. 例えば、スライダB25aは、第3の位置において、3D調整スイッチB25を形成する側面から図46Aに示す横方向に突出した凸部(図示せず)によって固定されて、所定以上の力が上方に加わらないと第3の位置よりも上方にスライドしないように構成されている。 For example, the slider B25a, in the third position, and is fixed by the convex portion that protrudes from the side surface to form a 3D adjustment switch B25 in the lateral direction shown in FIG. 46A (not shown), a predetermined or more force is applied to the upper no When is configured so as not to slide upward from the third position. 第3の位置から第1の位置にスライダB25aが存在する場合、立体画像の見え方は調整されないが、これはいわゆるあそびである。 When the third slider B25a to the first position from the position exists, the appearance of the stereoscopic image is not adjusted, which is a so-called play. 他の例においては、あそびをなくして、第3の位置と第1の位置とを同じ位置としてもよい。 In another example, to eliminate the play, the third position and the first position may be the same position. また、第3の位置を第1の位置と第2の位置の間としてもよい。 Further, the third position may be between the first and second positions. その場合、スライダを第3の位置から第1の位置の方向に動かした場合と、第2の方向に動かした場合とで、右目用画像及び左目用画像の横方向の位置のずれ量の調整する方向が逆になる。 In that case, the case of moving the slider from the third position toward the first position, and the case has been moved in the second direction, the adjustment of the amount of deviation in the horizontal direction between the position of the right eye image and the left eye image direction is reversed.

なお、本実施例のゲーム装置が実行するプログラムには、立体写真を表示するためのプログラムと、立体的なCG画像を表示するためのプログラムがある。 Note that the program that the game apparatus of the present embodiment is executed, there is a program for displaying a program for displaying a stereoscopic photograph, a three-dimensional CG image. 後者のプログラムでは、左目用の仮想カメラと右目用の仮想カメラで仮想空間を撮影して、左目用画像と右目用画像を生成する。 In the latter program, by photographing the virtual space with a virtual camera and a virtual camera for the right eye left eye to generate a left eye image and the right eye image. 本実施例のゲーム装置は、このようなプログラムの実行時において、3D調整スイッチB25のスライダB25aの位置に応じて、2つの仮想カメラの間隔を変更することにより、立体感を調整する。 Game device of this embodiment, at the time of execution of such a program, in accordance with the position of the slider B25a of the 3D adjustment switch B25, by changing the distance between the two virtual cameras, to adjust the stereoscopic effect.

3DインジケータB26は、上側LCDB22が立体表示モードか否かを示す。 3D indicator B26, the upper LCDB22 indicates whether the stereoscopic display mode. 3DインジケータB26は、LEDであり、上側LCDB22の立体表示モードが有効の場合に点灯する。 3D indicator B26 is LED, and the stereoscopic display mode of the upper LCDB22 is lit when valid. なお、3DインジケータB26は、上側LCDB22が立体表示モードになっており、かつ、立体視画像を表示するプログラム処理が実行されているとき(すなわち、3D調整スイッチが上記第1の位置から上記第2の位置にあるときに、左目用画像と右目用画像が異なるような画像処理が実行されているとき)に限り、点灯するようにしてもよい。 Incidentally, 3D indicator B26, the upper LCDB22 is in the stereoscopic display mode, and, when the program processing for displaying a stereoscopic image is performed (i.e., the first 2 3D adjustment switch from the first position when in position, only when) the left eye image and the right eye image are different image processing is performed, it may be turned. 図41に示されるように、3DインジケータB26は、上側ハウジングB21の内側面に設けられ、上側LCDB22の画面近傍に設けられる。 As shown in FIG. 41, 3D indicator B26 is provided on the inner surface of the upper housing B21, it is provided near the screen of the upper LCDB22. このため、ユーザが上側LCDB22の画面を正視した場合、ユーザは3DインジケータB26を視認しやすい。 Therefore, when the user views the screen of the upper LCDB22, the user easily view the 3D indicator B26. 従って、ユーザは上側LCDB22の画面を視認している状態でも、上側LCDB22の表示モードを容易に認識することができる。 Accordingly, the user even when that viewing the screen of the upper LCDB22, it is possible to recognize the display mode of the upper LCDB22 easily.

また、上側ハウジングB21の内側面には、スピーカ孔B21Eが設けられる。 Further, on the inner surface of the upper housing B21, speaker hole B21E is provided. 後述するスピーカB43からの音声がこのスピーカ孔B21Eから出力される。 Sound from below to the speaker B43 is outputted through the speaker hole B21E.

(ゲーム装置B10の内部構成) (Internal structure of the game apparatus B10)
次に、図47を参照して、ゲーム装置B10の内部の電気的構成について説明する。 Next, referring to FIG. 47, it will be described an internal electrical configuration of the game apparatus B10. 図47は、ゲーム装置B10の内部構成を示すブロック図である。 Figure 47 is a block diagram showing the internal configuration of the game apparatus B10. 図47に示すように、ゲーム装置B10は、上述した各部に加えて、情報処理部B31、メインメモリB32、外部メモリインターフェイス(外部メモリI/F)B33、データ保存用外部メモリI/FB34、データ保存用内部メモリB35、無線通信モジュールB36、ローカル通信モジュールB37、リアルタイムクロック(RTC)B38、加速度センサB39、電源回路B40、及びインターフェイス回路(I/F回路)B41等の電子部品を備えている。 As shown in FIG. 47, the game device B10, in addition to the units described above, the information processing unit B31, a main memory B32, the external memory interface (external memory I / F) B33, the external data storage memory I / FB34, data storage internal memory B35, the wireless communication module B36, and includes a local communication module B37, real time clock (RTC) B38, the acceleration sensor B39, the power supply circuit B40, and electronic components such as an interface circuit (I / F circuit) B41. これらの電子部品は、電子回路基板上に実装されて下側ハウジングB11(又は上側ハウジングB21でもよい)内に収納される。 These electronic components are accommodated in the lower housing B11 (or the upper housing B21) within is mounted on an electronic circuit board.

情報処理部B31は、所定のプログラムを実行するためのCPU(Central Processing Unit)B311、画像処理を行うGPU(Graphics Processing Unit)B312等を含む情報処理手段である。 The information processing unit B31 is, CPU for executing a predetermined program (Central Processing Unit) B311, an information processing means including a GPU (Graphics Processing Unit) B312 for performing image processing. 本実施形態では、所定のプログラムがゲーム装置B10内のメモリ(例えば外部メモリI/FB33に接続された外部メモリB44やデータ保存用内部メモリB35)に記憶されている。 In the present embodiment, the predetermined program is stored in a memory (e.g., external memory I / FB33 connected external memory B44 and the internal data storage memory B35) within the game apparatus B10. 情報処理部B31のCPUB311は、当該所定のプログラムを実行することによって、後述する手書きオブジェクト表示処理(図49)を実行する。 CPUB311 information processing unit B31 by executing the predetermined program, to execute the later-described handwritten object display process (FIG. 49). なお、情報処理部B31のCPUB311によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。 The program executed by CPUB311 information processing unit B31 through communication with other equipment may be obtained from another device. また、情報処理部B31は、VRAM(Video RAM)B313を含む。 In addition, the information processing unit B31 includes a VRAM (Video RAM) B313. 情報処理部B31のGPUB312は、情報処理部B31のCPUB311からの命令に応じて画像を生成し、VRAMB313に描画する。 GPUB312 information processing unit B31 generates an image in accordance with an instruction from CPUB311 information processing unit B31, to draw VRAMB313. そして、情報処理部B31のGPUB312は、VRAMB313に描画された画像を上側LCDB22及び/又は下側LCDB12に出力し、上側LCDB22及び/又は下側LCDB12に当該画像が表示される。 Then, GPUB312 information processing unit B31 outputs the image rendered in the VRAMB313 the upper LCDB22 and / or lower LCDB12, the image is displayed on the upper LCDB22 and / or lower LCDB12. なお、本実施形態においては、VRAMB313には、下側LCDB12用記憶領域(以下、タッチパネル用VRAMと記載)と、上側LCDB22用記憶領域(以下、テクスチャ用VRAMと記載)とがある。 In the present embodiment, the VRAMB313, storage area (hereinafter, described as VRAM for a touch panel) for the lower LCDB12 the upper LCDB22 storage area (hereinafter, described as texture for VRAM) and there is.

情報処理部B31には、メインメモリB32、外部メモリI/FB33、データ保存用外部メモリI/FB34、及び、データ保存用内部メモリB35が接続される。 The information processing unit B31, a main memory B32, the external memory I / FB33, external data storage memory I / FB34, and internal data storage memory B35 is connected. 外部メモリI/FB33は、外部メモリB44を着脱自在に接続するためのインターフェイスである。 The external memory I / FB33 is an interface for connecting an external memory B44 detachably. また、データ保存用外部メモリI/FB34は、データ保存用外部メモリB45を着脱自在に接続するためのインターフェイスである。 The external memory I / FB34 for data storage is an interface for connecting the external data storage memory B45 detachably.

メインメモリB32は、情報処理部B31(のCPUB311)のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。 The main memory B32 is volatile storage means used as a work area or a buffer area of ​​the information processing portion B31 (CPUB311 of). すなわち、メインメモリB32は、上記手書きオブジェクト表示処理に用いられる各種データを一時的に記憶したり、外部(外部メモリB44や他の機器等)から取得されるプログラムを一時的に記憶したりする。 That is, the main memory B32 is used for temporarily storing various data used in the handwritten object display process, and temporarily stores a program obtained from the outside (external memory B44 and other equipment, etc.). 本実施形態では、メインメモリB32として例えばPSRAM(Pseudo−SRAM)を用いる。 In the present embodiment, it is used as the main memory B32 e.g. PSRAM (Pseudo-SRAM).

外部メモリB44は、情報処理部B31によって実行されるプログラムを記憶するための不揮発性の記憶手段である。 External memory B44 is a non-volatile memory means for storing a program executed by the information processing unit B31. 外部メモリB44は、例えば読み取り専用の半導体メモリで構成される。 External memory B44 is, for example, a read-only semiconductor memory. 外部メモリB44が外部メモリI/FB33に接続されると、情報処理部B31は外部メモリB44に記憶されたプログラムを読み込むことができる。 When the external memory B44 is connected to the external memory I / FB33, the information processing unit B31 can read the program stored in the external memory B44. 情報処理部B31が読み込んだプログラムを実行することにより、所定の処理が行われる。 By executing the information processing unit B31 is read program, a predetermined processing is performed. データ保存用外部メモリB45は、不揮発性の読み書き可能なメモリ(例えばNAND型フラッシュメモリ)で構成され、所定のデータを格納するために用いられる。 The external data storage memory B45 is a non-volatile readable and writable memory (for example, a NAND flash memory), and is used for storing predetermined data. 例えば、データ保存用外部メモリB45には、外側撮像部B23で撮像された画像や他の機器で撮像された画像が記憶される。 For example, the external data storage memory B45 is image captured by the captured image and other equipment outside the imaging unit B23 is stored. データ保存用外部メモリB45がデータ保存用外部メモリI/FB34に接続されると、情報処理部B31はデータ保存用外部メモリB45に記憶された画像を読み込み、上側LCDB22及び/又は下側LCDB12に当該画像を表示することができる。 When the external data storage memory B45 is connected to the external data storage memory I / FB34, the information processing unit B31 reads the image stored in the external data storage memory B45, the upward LCDB22 and / or lower LCDB12 image can be displayed.

データ保存用内部メモリB35は、読み書き可能な不揮発性メモリ(例えばNAND型フラッシュメモリ)で構成され、所定のデータを格納するために用いられる。 Internal data storage memory B35 is composed of a nonvolatile readable and writable memory (e.g., NAND-type flash memory), and is used for storing predetermined data. 例えば、データ保存用内部メモリB35には、無線通信モジュールB36を介した無線通信によってダウンロードされたデータやプログラムが格納される。 For example, the internal data storage memory B35 is data or programs downloaded by wireless communication via the wireless communication module B36 is stored.

無線通信モジュールB36は、例えばIEEE802.11. Wireless communication module B36, for example IEEE 802.11. b/gの規格に準拠した方式により、無線LANに接続する機能を有する。 The method compliant with the b / g standards, has a function of connecting to a wireless LAN. また、ローカル通信モジュールB37は、所定の通信方式(例えば赤外線通信)により同種のゲーム装置との間で無線通信を行う機能を有する。 The local communication module B37 has a function of performing wireless communication with the game apparatus of the same type by a predetermined communication method (e.g., infrared communication). 無線通信モジュールB36及びローカル通信モジュールB37は情報処理部B31に接続される。 Wireless communication module B36 and the local communication module B37 is connected to the information processing unit B31. 情報処理部B31は、無線通信モジュールB36を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュールB37を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。 The information processing unit B31 includes a transmitting and receiving data between the send and receive data to and from other devices via the Internet, from another game apparatus of the same type by using the local communication module B37 using the wireless communication module B36 it can be or.

また、情報処理部B31には、加速度センサB39が接続される。 Further, the information processing unit B31, the acceleration sensor B39 are connected. 加速度センサB39は、3軸(xyz軸)方向に沿った直線方向の加速度(直線加速度)の大きさを検出する。 Acceleration sensor B39 detects the size of the three axes (xyz axes) linear direction along the direction of acceleration (linear acceleration). 加速度センサB39は、下側ハウジングB11の内部に設けられる。 Acceleration sensor B39 is provided inside the lower housing B11. 加速度センサB39は、図41に示すように、下側ハウジングB11の長辺方向をx軸、下側ハウジングB11の短辺方向をy軸、下側ハウジングB11の内側面(主面)に対して垂直な方向をz軸として、各軸の直線加速度の大きさを検出する。 Acceleration sensor B39, as shown in FIG. 41, x-axis and a long side direction of the lower housing B11, y-axis and the short side direction of the lower housing B11, with respect to the inner surface of the lower housing B11 (main surface) and the direction perpendicular as z-axis, detects the magnitude of the linear acceleration of each axis. なお、加速度センサB39は、例えば静電容量式の加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。 The acceleration sensor B39 is, for example, to an acceleration sensor of an electrostatic capacitance type, may be used an acceleration sensor of another type. また、加速度センサB39は1軸又は2軸方向を検出する加速度センサであってもよい。 The acceleration sensor B39 may be an acceleration sensor for detecting a uniaxial or biaxial direction. 情報処理部B31は、加速度センサB39が検出した加速度を示すデータ(加速度データ)を受信して、ゲーム装置B10の姿勢や動きを検出することができる。 The information processing unit B31 may receive data (acceleration data) representing the acceleration acceleration sensor B39 has detected, to detect the posture and motion of the game apparatus B10.

また、情報処理部B31には、RTCB38及び電源回路B40が接続される。 Further, the information processing unit B31, is connected RTCB38 and a power supply circuit B40. RTCB38は、時間をカウントして情報処理部B31に出力する。 RTCB38 outputs to the information processing unit B31 counts the time. 情報処理部B31は、RTCB38によって計時された時間に基づき現在時刻(日付)を計算する。 The information processing unit B31, based on the time counted by RTCB38 calculates the current time (date). 電源回路B40は、ゲーム装置B10が有する電源(下側ハウジングB11に収納される上記充電式電池)からの電力を制御し、ゲーム装置B10の各部品に電力を供給する。 Power circuit B40 controls power from the power supply of the game apparatus B10 has (the rechargeable battery accommodated in the lower housing B11), and supplies power to each component of the game apparatus B10.

また、情報処理部B31には、I/F回路B41が接続される。 Further, the information processing unit B31, I / F circuit B41 is connected. I/F回路B41には、マイクB42及びスピーカB43が接続される。 The I / F circuit B41, a microphone B42 and the speaker B43 are connected. 具体的には、I/F回路B41には、図示しないアンプを介してスピーカB43が接続される。 Specifically, the I / F circuit B41, a speaker B43 is connected through an amplifier (not shown). マイクB42は、ユーザの音声を検知して音声信号をI/F回路B41に出力する。 Mike B42 outputs the audio signal to the I / F circuit B41 detects the user's voice. アンプは、I/F回路B41からの音声信号を増幅し、音声をスピーカB43から出力させる。 The amplifier amplifies the audio signal from the I / F circuit B41, and outputs sounds from the speaker B43. また、タッチパネルB13はI/F回路B41に接続される。 The touch panel B13 is connected to the I / F circuit B41. I/F回路B41は、マイクB42及びスピーカB43(アンプ)の制御を行う音声制御回路と、タッチパネルの制御を行うタッチパネル制御回路とを含む。 I / F circuit B41 includes a sound control circuit for controlling the microphone B42 and the speaker B43 (amp), and a touch panel control circuit for controlling the touch panel. 音声制御回路は、音声信号に対するA/D変換及びD/A変換を行ったり、音声信号を所定の形式の音声データに変換したりする。 The sound control circuit, and converts or perform A / D conversion and D / A conversion, the sound signal into sound data in a predetermined format for the audio signals. タッチパネル制御回路は、タッチパネルB13からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部B31に出力する。 The touch panel control circuit outputs to the information processing unit B31 generates a predetermined form of touch position data based on a signal from the touch panel B13. タッチ位置データは、タッチパネルB13の入力面において入力が行われた位置の座標を示す。 The touch position data indicates coordinates of a position where an input is performed on the input surface of the touch panel B13. なお、タッチパネル制御回路は、タッチパネルB13からの信号の読み込み、及び、タッチ位置データの生成を所定時間に1回の割合で行う。 The touch panel control circuit reads a signal from the touch panel B13, and generates touch position data every predetermined time. 情報処理部B31は、タッチ位置データを取得することにより、タッチパネルB13に対して入力が行われた位置を知ることができる。 The information processing unit B31 by obtaining the touch position data, it is possible to know the input is made a position on the touch panel B13.

操作ボタンB14は、上記各操作ボタンB14A〜B14Lからなり、情報処理部B31に接続される。 Operation button B14 is made from the operation buttons B14A~B14L, is connected to the information processing unit B31. 操作ボタンB14から情報処理部B31へは、各操作ボタンB14A〜B14Iに対する入力状況(押下されたか否か)を示す操作データが出力される。 To the information processing unit B31 from the operation button B14, the operation data indicating an input state (whether or not pressed) of each of the operation buttons B14A~B14I is output. 情報処理部B31は、操作ボタンB14から操作データを取得することによって、操作ボタンB14に対する入力に従った処理を実行する。 The information processing unit B31 by obtaining the operation data from the operation button B14, and executes processing in accordance with the input on the operation button B14.

下側LCDB12及び上側LCDB22は情報処理部B31に接続される。 Lower LCDB12 and upper LCDB22 are connected to the information processing unit B31. 下側LCDB12及び上側LCDB22は、情報処理部B31(のGPUB312)の指示に従って画像を表示する。 Lower LCDB12 and upper LCDB22 displays an image in accordance with an instruction from the information processing portion B31 (GPUB312 of). 本実施形態では、情報処理部B31は、操作用の画像を下側LCDB12に表示させ、各撮像部B23及びB24のいずれかから取得した画像を上側LCDB22に表示させる。 In the present embodiment, the information processing unit B31 is an image for operations is displayed on the lower LCDB12, to display the image acquired from one of the imaging unit B23 and B24 in the upper LCDB22. すなわち、情報処理部B31は、上側LCDB22に外側撮像部B23で撮像した右目用画像と左目用画像とを用いた立体画像(立体視可能な画像)を表示させたり、内側撮像部B24で撮像した平面画像を上側LCDB22に表示させたりする。 That is, the information processing unit B31 is or to display the stereoscopic image (stereoscopically visible image) and using a right-eye image captured to the upper LCDB22 outside imaging unit B23 and the left eye image, captured by the inner imaging section B24 or to display the planar image in the upper LCDB22.

具体的には、情報処理部B31は、上側LCDB22のLCDコントローラ(図示せず)と接続され、当該LCDコントローラに対して視差バリアのON/OFFを制御する。 Specifically, the information processing unit B31 is connected to an LCD controller of the upper LCDB22 (not shown), controls the ON / OFF of the parallax barrier to the LCD controller. 上側LCDB22の視差バリアがONになっている場合、情報処理部B31のVRAMB313に格納された(外側撮像部B23で撮像された)右目用画像と左目用画像とが、上側LCDB22に出力される。 When the parallax barrier of the upper LCDB22 is ON, stored in VRAMB313 information processing portion B31 (captured by the outer imaging section B23) and right-eye image and the left eye image is outputted to the upper LCDB22. より具体的には、LCDコントローラは、右目用画像について縦方向に1ライン分の画素データを読み出す処理と、左目用画像について縦方向に1ライン分の画素データを読み出す処理とを交互に繰り返すことによって、VRAMB313から右目用画像と左目用画像とを読み出す。 More specifically, LCD controller, by repeating the process of reading the pixel data of one line in the vertical direction, and a process of reading the pixel data of one line in the vertical direction the left-eye image alternately on the right eye image Accordingly, reading the right eye and left-eye images from VRAMB313. これにより、右目用画像及び左目用画像が、画素を縦に1ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側LCDB22の画面に表示される。 Thus, the right eye image and the left eye image is divided into aligned rectangle-shaped image having one line for each pixel in a vertical, rectangular image and the alternating rectangular image and the left eye image of the divided right-eye image arranged image is displayed on the screen of the upper LCDB22. そして、上側LCDB22の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。 Then, by the image through a parallax barrier in the upper LCDB22 is viewed by the user, the right eye image to the right eye of the user, the image for the left eye is viewed by the left eye of the user. 以上により、上側LCDB22の画面には立体視可能な画像が表示される。 Thus, on the screen of the upper LCDB22 is displayed stereoscopically visible image.

外側撮像部B23及び内側撮像部B24は、情報処理部B31に接続される。 Outer imaging section B23 and the inner imaging section B24 is connected to the information processing unit B31. 外側撮像部B23及び内側撮像部B24は、情報処理部B31の指示に従って画像を撮像し、撮像した画像データを情報処理部B31に出力する。 Outer imaging section B23 and the inner imaging section B24 captures an image in accordance with an instruction of the information processing unit B31, and outputs the captured image data to the information processing unit B31. 本実施形態では、情報処理部B31は外側撮像部B23及び内側撮像部B24のいずれか一方に対して撮像指示を行い、撮像指示を受けた撮像部が画像を撮像して画像データを情報処理部B31に送る。 In the present embodiment, the information processing unit B31 performs imaging instruction to either one of the outer imaging section B23 and the inner imaging section B24, the information processing unit image data imaging unit that has received the imaging instruction captures a picture and it sends it to the B31. 具体的には、本実施形態では、ユーザによるタッチパネルB13を用いたタッチ操作によって使用する撮像部が選択される。 Specifically, in this embodiment, the imaging unit to be used by a touch operation using a touch panel B13 by the user is selected. 撮像部が選択されたことを情報処理部B31(CPUB311)が検知し、情報処理部B31が外側撮像部B23又は内側撮像部B24に対して撮像指示を行う。 It was detected information processing unit B31 (CPUB311) the imaging unit is selected, the information processing unit B31 performs imaging instruction to the outer imaging section B23 or inner imaging section B24.

3D調整スイッチB25は、情報処理部B31に接続される。 3D adjustment switch B25 is connected to the information processing unit B31. 3D調整スイッチB25は、スライダB25aの位置に応じた電気信号を情報処理部B31に送信する。 3D adjustment switch B25 transmits an electrical signal corresponding to the position of the slider B25a to the information processing unit B31.

また、3DインジケータB26は、情報処理部B31に接続される。 Also, 3D indicator B26 is connected to the information processing unit B31. 情報処理部B31は、3DインジケータB26の点灯を制御する。 The information processing unit B31 controls the lighting of the 3D indicator B26. 本実施形態では、情報処理部B31は、上側LCDB22が立体表示モードである場合、3DインジケータB26を点灯させる。 In the present embodiment, the information processing unit B31, when the upper LCDB22 is in the stereoscopic display mode, turns on the 3D indicator B26. 以上がゲーム装置B10の内部構成の説明である。 This concludes the description of the internal configuration of the game apparatus B10.

(手書きオブジェクト表示処理の詳細) (Details of the handwritten object display processing)
次に、図48から図51を参照して、本実施形態に係る手書きオブジェクト表示処理の詳細について説明する。 Next, with reference to FIG. 51 from FIG. 48, details of the handwritten object display process according to the present embodiment. まず、手書きオブジェクト表示処理の際にメインメモリB32に記憶される主なデータについて説明する。 First described main data stored in main memory B32 in handwritten object display process. 図48は、ゲーム装置B10のメインメモリB32のメモリマップを示す図である。 Figure 48 is a diagram showing a memory map of a main memory B32 of the game device B10. 図48に示されるように、メインメモリB32には、データ記憶領域B70が設けられる。 As shown in Figure 48, the main memory B32, the data storage area B70 is provided. データ記憶領域B70には、カメラ選択データB71、左目用画像位置データB72、右目用画像位置データB73、加速度データB74、表示モードデータB75、操作データB76、ボタン操作フラグB77、仮想カメラデータ(位置、姿勢)B78、手書きペン設定データB79等が記憶される。 The data storage area B70, camera selection data B71, the left-eye image position data B72, right eye image position data B73, acceleration data B74, the display mode data B75, operation data B76, a button operation flag B77, virtual camera data (position, posture) B78, and the like handwritten pen settings data B79 is stored. これらのデータの他、メインメモリB32には、上記撮影処理を実行するプログラムやタッチパネルB13へのタッチ位置を示すデータ、下側LCDB12に表示されるカメラ選択のための画像を示すデータ、下側LCDB12に表示される手書き入力された画像データ等が記憶される。 In addition to these data, the main memory B32 is the photographing process data indicating a touch position in the program or a touch panel B13 to be executed, data representing an image for camera selection that is displayed on the lower LCDB12, lower LCDB12 image data or the like input by handwriting is displayed on is stored. なお、以下においては、「撮像部」を「カメラ」という文言で代用して記載する場合がある。 In the following, it may be described by substitute phrase "camera" and "imaging unit".

カメラ選択データB71は、現在選択されている撮像部を示すデータである。 Camera selection data B71 is data showing an imaging unit that is currently selected. カメラ選択データB71は、現在選択されている撮像部が外側撮像部B23か内側撮像部B24かを示すデータである。 Camera selection data B71 is data indicating the imaging unit that is currently selected or outer imaging section B23 or inner imaging section B24.

左目用画像位置データB72は、外側撮像部(左)B23aによって撮像された左目用画像の上側LCDB22上の表示位置を示すデータであり、左目用画像の画像中心の座標値を示すデータである。 Left eye image position data B72 is data indicating the display position on the upper LCDB22 of the captured image for left eye by the outer imaging section (left) B23a, data indicating the coordinates of the image center of the left-eye image. 右目用画像位置データB73は、外側撮像部(右)B23bによって撮像された右目用画像の上側LCDB22上の表示位置を示すデータであり、右目用画像の画像中心の座標値を示すデータである。 Right eye image position data B73 is data indicating the display position on the upper LCDB22 of the captured eye image by the outer imaging section (right) B 23b, data indicating the coordinates of the image center of the right eye image.

加速度データB74は、加速度センサB39によって検出された最新の加速度を示すデータである。 Acceleration data B74 is data indicating the latest acceleration detected by the acceleration sensor B39. 具体的には、加速度データB74は、加速度センサB39によって検出されたx軸方向、y軸方向、及びz軸方向の加速度の値を示す。 Specifically, the acceleration data B74 shows the detected x-axis direction by the acceleration sensor B39, y-axis direction, and the acceleration values ​​of the z-axis direction. 加速度センサB39は所定時間に1回の割合で加速度を検出し、情報処理部B31(CPUB311)に送信する。 The acceleration sensor B39 detects the acceleration every predetermined time, and transmits to the information processing unit B31 (CPUB311). 情報処理部B31は、加速度センサB39が加速度を検出するたびにメインメモリB32の加速度データB74を更新する。 The information processing unit B31 updates the acceleration data B74 of main memory B32 each time the acceleration sensor B39 detects the acceleration.

表示モードデータB75は、上側LCDB22の表示モードが立体表示モードか平面表示モードかを示すデータである。 Display mode data B75, the display mode of the upper LCDB22 is data indicating whether the stereoscopic display mode or the planar display mode.

操作データB76は、各操作ボタンB14A〜E、G〜H、及び、アナログスティックB15に対して行われた操作を示すデータである。 Operation data B76 is the operation buttons B14A~E, G-H, and is data indicating an operation performed on the analog stick B15.

ボタン操作フラグB77は、2値のデータであり、特定のタイミングで操作ボタンB14B〜B14Eのいずれかが押下されたときに更新して記憶されるようになっている。 Button operation flag B77 is binary data, Update is adapted to be stored when the one of the operation buttons B14B~B14E at a specific timing is pressed. ボタン操作フラグB77として「0」(オフ)が記憶されている状態で、例えば操作ボタンB14Bが押下されると、ボタン操作フラグB77を「0」(オフ)から「1」(オン)へ更新して記憶する。 As a button operation flag B77 in a state of "0" (off) is stored, updated for example when the operation button B14B is pressed, the button operation flag B77 from "0" (OFF) "1" to (on) and stores Te. なお、以下においては、操作された状態を「1」(オン)で記憶し、操作されていない状態を「0」(オフ)で記憶するものとするが、他の操作ボタンであってもよいし、別の態様(「0」及び「1」以外)のフラグであっても構わない。 In the following, stores the state of being operated by "1" (ON), the state of not being operated but shall be stored in the "0" (off), may be another operation button and, it may be a flag of another embodiment (other than "0" and "1").

仮想カメラデータB78は、後述するマーカ認識結果に基づいて算出された、マーカ座標系における仮想カメラの位置データ及び姿勢データである。 Virtual camera data B78 was calculated based on the marker recognition result to be described later, the position data and orientation data of the virtual camera in the marker coordinate system.

手書きペン設定データB79は、タッチパネルB13にタッチペンB28を用いて手書きオブジェクトを入力する場合の、タッチペンB28の色及び太さである。 Handwritten pen settings data B79 is when the touch panel B13 enter handwritten object using the touch pen B28, which is the color and thickness of the touch pen B28. 初期値(例えば黒及び太線)を記憶しておいて、ユーザの十字ボタンB14Aの操作によりカーソルが移動して色指定アイコン又は太さ指定アイコンが選択されると、ユーザがタッチペンB28の色又は太さを変更することを要求したと判定されて、ユーザが要求したとタッチペンB28の色又は太さが変更される。 The initial value (for example, black and thick line) keep in store, when the cursor by operating the cross button B14A users move to color designation icon or thickness specified icon is selected, the user of the touch pen B28 color or bold It is determined that the request to change the, color or thickness of the touch pen B28 are changed user requests. 変更された色又は太さが手書きペン設定データB79として記憶される。 Changes color or thickness are stored as handwritten pen settings data B79.

次に、手書きオブジェクト表示処理の詳細について、図49から図51を参照して説明する。 Next, details of the handwritten object display process will be described with reference to FIG. 51 from FIG. 49. 図49は、本実施形態に係る手書きオブジェクト表示処理の詳細を示すメインフローチャートである。 Figure 49 is a main flowchart showing details of the handwritten object display process according to the present embodiment. ゲーム装置B10の電源が投入されると、ゲーム装置B10の情報処理部B31(CPUB311)は、図示しないROMに記憶されている起動プログラムを実行し、これによってメインメモリB32等の各ユニットが初期化される。 When the game device B10 is turned on, the information processing unit B31 (CPUB311) of the game apparatus B10 executes a boot program stored in the unillustrated ROM, thereby initializing each unit such as the main memory B32 It is. 次に、データ保存用内部メモリB35に記憶された手書きオブジェクト表示処理プログラムがメインメモリB32に読み込まれ、情報処理部B31のCPUB311によって当該プログラムの実行が開始される。 Then, the handwritten object display process program stored in the internal data storage memory B35 is loaded to the main memory B32, it starts executing the program by CPUB311 information processing unit B31.

図50に示すフローチャートは、図49の手描きデータ取得処理(ステップSB5)における詳細なフローチャートである。 Flowchart shown in FIG. 50 is a detailed flowchart of hand-drawn data acquisition process in FIG. 49 (step SB5). 図51に示すフローチャートは、図49の上側LCD表示処理(ステップSB8)における詳細なフローチャートである。 Flowchart shown in FIG. 51 is a detailed flow chart on the upper LCD display process of FIG. 49 (step SB8). なお、図49に示すステップSB1〜ステップSB9の処理ループは、1フレーム(例えば1/30秒。フレーム時間という)毎に繰り返し実行される。 The processing loop of steps SB1~ step SB9 shown in FIG. 49 is repeatedly executed for each frame (e.g., as 1/30 second. Frame time). また、以下においては、外側撮像部B23が選択され、立体表示モードが選択されているとして説明する。 In the following, the outer imaging section B23 is selected will be described as a three-dimensional display mode is selected. なお、本発明の適用は、立体表示モードに限定されるものではなく、平面表示モードであっても構わない。 The application of the present invention is not limited to the stereoscopic display mode, it may be a planar display mode. 以下に示す立体表示モードにおける右目用処理又は左目用処理のいずれか一方のみを行うように変更すれば、平面表示モードでの処理となる。 By changing to perform only one of the right eye processing or left eye processing in the stereoscopic display mode shown below, a process in the planar display mode.

まず、図49を参照して、手書きオブジェクト表示処理のメインルーチンについて説明する。 First, referring to FIG. 49, described the main routine of the handwritten object display process. ステップSB1にて、情報処理部B31は、カメラ画像データを取得する。 In step SB1, the information processing unit B31 obtains a camera image data. 具体的には、情報処理部B31は、現在選択されているカメラによって撮像された画像を示す画像データを取得し、VRAMB313に格納する。 Specifically, the information processing unit B31 obtains image data representing an image captured by a camera that is currently selected, is stored in VRAMB313. ここでは、外側撮像部B23が選択されているため、情報処理部B31は、外側撮像部B23によって撮像された右目用画像と左目用画像とを示す右目用画像データと左目用画像データを取得する。 Here, since the outer imaging section B23 is selected, the information processing unit B31 obtains image data and the image data for the left eye for the right eye showing the right-eye image taken by the outer imaging section B23 and the left eye image .

ステップSB2にて、情報処理部B31は、取得したカメラ画像データに基づいて、外側撮像部B23により撮像された画像の中からマーカを検出することができたか否かを判定する。 At step SB2, the information processing unit B31 determines based on the obtained camera image data, whether it was possible to detect the marker from the image captured by the outer imaging section B23. ここでは、このマーカは、白色の紙片の中央付近の黒色の四辺形が印刷され、その四辺形の中にローマ字の「M」が白抜きで印刷されたものとする。 Here, the marker is black quadrilateral near the center of the white paper is printed, it is assumed that "M" in romaji into the quadrilateral is printed in white. しかしながら、マーカはこのような形状、模様、色彩に限定されないで、マーカの位置(ここでは4点の位置)と方向とが認識できるものであればよい。 However, markers such a shape, pattern, without being limited to color, as long as the position of the marker (in this case the positions of the four points) can be recognized and the direction. 具体的には、情報処理部B31は、まず、外側撮像部B23により撮像された画像の中から4本の線分によって連結される連結領域を抽出し、抽出した連結領域の内部のパターン画像を取得する。 Specifically, the information processing unit B31, first, extracting a connected region which is connected by four line segments from the image captured by the outer imaging section B23, the interior of the pattern image of the extracted connected region get. そして、情報処理部B31は、取得したパターン画像を示すパターン画像データと外部メモリB44に予め記憶されているパターン画像データとの類似度を計算し、計算した結果としての類似度を示す値が予め定められた閾値以上である場合(ステップSB2にてYES)、処理はステップSB3に移され、類似度を示す値が予め定められた閾値未満である場合(ステップSB2にてNO)、処理はステップSB5へ移される。 Then, the information processing unit B31 calculates the similarity between the pattern image data stored in advance in the pattern image data and the external memory B44 indicating the acquired pattern image, a value indicating the degree of similarity as a result of calculation in advance If it is determined threshold or more (YES at step SB2), the process is transferred to step SB3, if the value indicating the degree of similarity is smaller than the predetermined threshold (NO in step SB2), the process steps It is transferred to SB5.

ステップSB3にて、情報処理部B31は、マーカ検出結果に基づいて、外側撮像部B23(ゲーム装置B10)とマーカとの位置関係を算出する。 In step SB3, the information processing unit B31 on the basis of the marker detection result, calculates the outer imaging section B23 and (game device B10) the positional relationship between the markers. ここで、位置関係とは、例えば、外側撮像部B23とマーカの一方を基準としたときの他方の3次元の位置及び姿勢として表される。 Here, the positional relationship, for example, expressed as the other three-dimensional position and orientation at the time of a reference one of the outer imaging section B23 and the marker. なお、位置関係を算出する処理は、従来の拡張現実感技術における処理と同様な処理で実現できる。 The processing of calculating the positional relationship can be realized by processing similar to the processing in the conventional augmented reality technology.

ステップSB4にて、情報処理部B31は、外側撮像部B23とマーカとの位置関係に基づいて、仮想カメラの位置及び姿勢を決定する。 In step SB4, the information processing unit B31 on the basis of the positional relationship between the outer imaging section B23 and the marker, determining the position and orientation of the virtual camera. このとき、立体表示モードが選択されているので、情報処理部B31は、外側撮像部(左)B23aによるカメラ画像データに基づいて左目用の仮想カメラの位置及び姿勢を算出して、外側撮像部(右)B23bによるカメラ画像データに基づいて右目用の仮想カメラの位置及び姿勢を算出する。 At this time, since the stereoscopic display mode is selected, the information processing unit B31 calculates the position and orientation of the virtual camera for left eye on the basis of the camera image data by the outer imaging section (left) B23a, the outer imaging section It calculates the position and orientation of the virtual camera for the right eye based on the camera image data by (right) B 23b. なお、仮想カメラの位置及び姿勢は、外側撮像部B23とマーカとの位置関係から仮想カメラのビュー行列を求め、求めた仮想カメラのビュー行列により求められる。 The position and orientation of the virtual camera determines the view matrix of the virtual camera from the positional relationship between the outer imaging section B23 and the marker is determined by the view matrix of the virtual camera determined. 決定した仮想カメラの位置及び姿勢は、メインメモリB32のデータ記憶領域B70の仮想カメラデータB78として記憶される。 Position and orientation of the determined virtual camera is stored as a virtual camera data B78 of the data storage area B70 of main memory B32.

ステップSB5にて、情報処理部B31は、手書きデータ取得処理を実行する。 At step SB5, the information processing unit B31 performs the handwritten data acquisition process. なお、このステップSB5の手書きデータ取得処理はサブルーチン化されており、その詳細については、後述する。 Incidentally, the handwritten data acquisition processing in step SB5 is a subroutine, it will be described in detail hereinafter.

ステップSB6にて、情報処理部B31は、所定のボタンが押下されたか否かを判定する。 In step SB6, the information processing unit B31 determines whether or not a predetermined button is pressed. このとき、ユーザが、例えば操作ボタンB14Bを押下すると、所定のボタンが押下されたと判定する。 In this case, it determines that the user is, for example, presses the operation button B14B, predetermined button is pressed. 所定のボタンが押下されたと判定されると(ステップSB6にてYES)、処理はステップSB7へ移される。 When a predetermined button is determined to have been depressed (YES at step SB6), the process goes to step SB7. もしそうでないと(ステップSB6にてNO)、この処理はステップSB8へ移される。 If not (NO at step SB6), the process proceeds to step SB8. なお、所定のボタンは操作ボタンB14Bに限定されず、他の操作ボタンであっても構わないし、別のイベントであっても構わない。 The predetermined button is not limited to the operation button B14B, to may be another operation button, it may be a separate event. イベントの一例として、ユーザによる手書き終了(一定時間以上タッチパネルB13へのタッチ入力なし)が挙げられる。 As an example of an event, handwriting termination by the user (without a touch input to a predetermined time or more touch panel B13) can be mentioned.

ステップSB7にて、情報処理部B31は、ボタン操作フラグB77を更新する。 At step SB7, the information processing unit B31 updates the button operation flag B77. このとき、上述したように操作ボタンB14Bが押下される毎に「0」が「1」に書き換えられて更新され、「1」が「0」に書き換えられて更新される。 In this case, every time the operation button B14B is depressed as described above, "0" is updated is rewritten to "1", "1" is updated is rewritten to "0".

ステップSB8にて、情報処理部B31は、上側LCD表示処理を実行する。 In step SB8, the information processing unit B31 performs the upper LCD display process. なお、このステップSB8の上側LCD表示処理はサブルーチン化されており、その詳細については、後述する。 Incidentally, the upper LCD display process of step SB8 is a subroutine, it will be described in detail hereinafter.

ステップSB9にて、情報処理部B31は、下側LCDB12に手書き入力画像を表示する。 At step SB9, the information processing unit B31 displays a handwriting input image on the lower side LCDB12. このとき、情報処理部B31は、タッチパネル用VRAMに記憶された手書き入力データに基づいて下側LCDB12に手書き入力画像を表示する。 At this time, the information processing unit B31 displays a handwriting input image to the lower LCDB12 based on the handwriting input data stored in the VRAM for a touch panel.

次に、図50を参照して、手書きデータ取得処理のサブルーチンについて説明する。 Next, referring to FIG. 50, description will be given of the subroutine of the handwritten data acquisition process. ステップSB51にて、情報処理部B31は、手書きペンの色及び/又は太さの変更要求がユーザにより入力されたか否かを判定する。 In step SB51, the information processing unit B31 determines whether the change request of the color and / or thickness of the handwritten pen input by the user. 手書きペンの色及び/又は太さの変更要求が入力されたと判定されると(ステップSB51にてYES)、処理はステップSB52へ移される。 When the change request of the color and / or thickness of the handwritten pen is determined to have been input (YES at step SB51), the process proceeds to step Sb52. もしそうでないと(ステップSB51にてNO)、この処理はステップSB53へ移される。 If not (NO at step SB51), the process proceeds to step SB53.

ステップSB52にて、情報処理部B31は、ユーザの要求に応じて、手書きペンの色及び/又は太さを変更する。 In step Sb52, the information processing unit B31 in response to a user request to change the color and / or thickness of the handwriting pen. 変更した手書きペンの色及び/又は太さは、メインメモリB32のデータ記憶領域B70の手書きペン設定データB79として保持される。 Color and / or thickness of the changed handwritten pen is held as handwritten pen settings data B79 of the data storage area B70 of main memory B32. その後、処理はステップSB54へ移される。 Thereafter, the process proceeds to step SB54.

ステップSB53にて、情報処理部B31は、メインメモリB32のデータ記憶領域B70の手書きペン設定データB79を読み出して、手書きペンの色及び/又は太さを設定する。 In step SB53, the information processing unit B31 reads the handwritten pen settings data B79 of the data storage area B70 of main memory B32, sets the color and / or thickness of the handwriting pen. このとき、手書きペンの色及び/又は太さは、手書きペン設定データB79として記憶された初期値又は保持値に設定される。 At this time, the color and / or thickness of the handwritten pen is set to an initial value or hold value stored as handwritten pen settings data B79.

ステップSB54にて、情報処理部B31は、ユーザがタッチパネルB13にタッチ入力したか否かを判定する。 In step SB54, the information processing unit B31, the user determines whether the touch input to the touch panel B13. タッチパネルB13にタッチ入力したと判定されると(ステップSB54にてYES)、処理はステップSB55へ移される。 If it is determined that the touch input to the touch panel B13 (YES at step SB54), the process proceeds to step SB55. もしそうでないと(ステップSB54にてNO)、この処理はステップSB51へ戻されて、手書きペンの設定処理及びタッチ検出処理が行われる。 If not (NO at step SB54), the process returns to step SB51, setting processing and the touch detection processing in the handwriting pen is performed.

ステップSB55にて、情報処理部B31は、タッチパネルB13へのタッチ位置を示す座標を検出する。 In step SB55, the information processing unit B31 detects coordinates indicating the touch position on the touch panel B13. ステップSB56にて、情報処理部B31は、検出した座標と、前回の処理時に検出した座標とに基づいて、タッチパネルB13上での軌跡を算出する。 In step SB56, the information processing unit B31 includes a detected coordinate, based on the coordinates detected in the previous process, to calculate the trajectory on the touch panel B13. この軌跡を繰り返し算出することにより手書きオブジェクトの画像データを検出できる。 Image data of the handwritten object by calculating repeating this locus can detect.

ステップSB57にて、情報処理部B31は、手書きペンの移動速度を算出する。 In step SB57, the information processing unit B31 calculates the moving speed of the handwriting pen. 具体的には、情報処理部B31は、軌跡の距離とこのプログラムのサイクルタイム(フレーム時間)とに基づいて、手書きペンの移動速度を算出する。 Specifically, the information processing unit B31 on the basis of the distance of the locus and the program cycle time (frame time), and calculates the moving velocity of the handwriting pen.

ステップSB58にて、情報処理部B31は、手書きペンの移動速度に基づいて、手書きペンの色を変更する。 In step SB58, the information processing unit B31 on the basis of the moving velocity of the handwriting pen, to change the color of handwriting pen. このとき、移動速度が速いと、明度を上げたり(又は下げたり)、彩度を上げたり(又は下げたり)する。 At this time, the moving speed is high, raising the brightness (or lowering), or increase the chroma (or lowering). また、移動速度が速いほど、太さを細くするようにしても構わない。 In addition, as the moving speed is high, it may be thinner the thickness.

ステップSB59にて、情報処理部B31は、手書き入力データをメインメモリB32へ記憶する。 In step SB59, the information processing unit B31 stores handwriting input data to the main memory B32. このとき、座標、色情報及び太さ情報が付加情報として記憶される。 At this time, coordinates, color information, and size information is stored as additional information. ステップSB60にて、情報処理部B31は、手書き入力データ(軌跡データ)を画像データ(ビットマップデータ)へ変換して、変換したデータをVRAMB313のタッチパネル用VRAMとテクスチャ用VRAMとに転送する。 In step SB60, the information processing unit B31 converts handwritten input data (track data) into image data (bitmap data), and transfers the converted data to the VRAM for a touch panel for VRAM and textures VRAMB313. その後、この処理は終了する(メインルーチンへ戻る)。 After that, the process ends (Back to the main routine).

次に、図51を参照して、上側LCD表示処理のサブルーチンについて説明する。 Next, with reference to FIG. 51, description will be given of the subroutine of the upper LCD display process. ステップSB81にて、情報処理部B31は、外側撮像部B23により撮像した画像の中から、マーカを一定時間以上検出できていないか否かを判定する。 In step SB81, the information processing unit B31, from the image captured by the outer imaging section B23, and determines whether or not detected marker certain period of time. このとき、ユーザがゲーム装置B10を傾けることにより、マーカの位置が外側撮像部B23の撮像範囲外である時間が一定時間以上になると、マーカを一定時間以上検出できていないと判定される。 At this time, when the user tilts the game apparatus B10, the position of the marker is determined as the time is outside the imaging range of the outer imaging section B23 is becomes more than a predetermined time, not able to detect the marker certain period of time. マーカを一定時間以上検出できていないと判定されると(ステップSB81にてYES)、処理はステップSB92へ移される。 If it is determined that no detectable markers predetermined time or more (YES at step SB81), the process proceeds to step SB92. もしそうでないと、すなわち、ユーザがゲーム装置B10を傾けた場合に一定時間が経過するまでに外側撮像部B23によりマーカを検出できると(ステップSB81にてNO)、この処理はステップSB82へ移される。 If not, i.e., if the user can detect the marker by the outer imaging section B23 until a predetermined time elapses when tilting the game apparatus B10 (NO at step SB81), the process proceeds to step SB82 . なお、マーカの検出方法は、ステップSB2で説明した処理と同様な処理で行えばよい。 The detection method of the marker may be carried in the same process as the process described in step SB2.

ステップSB82にて、情報処理部B31は、ボタン操作フラグがオンであるか否かを判定する。 In step SB82, the information processing unit B31 is a button operation flag determines whether it is turned on. ボタン操作フラグがオンであると判定されると(ステップSB82にてYES)、処理はステップSB83へ移される。 When the button operation flag is determined to be ON (YES in step SB82), the process proceeds to step SB83. もしそうでないと(ステップSB82にてNO)、この処理はステップSB85へ移される。 If not (NO at step SB82), the process proceeds to step SB85.

ステップSB83にて、情報処理部B31は、経過時間に基づいて基本ポリゴンの位置を変化させて設定する。 In step SB83, the information processing unit B31 sets by changing the position of the basic polygons based on the elapsed time. ここで、基本ポリゴンの位置の変化の一例としては、基本ポリゴンのマーカ座標系における位置を周期的に(一定の時間が経過するたびに)変化させることが挙げられる。 Here, as an example of a change in position of the fundamental polygon, (every time a predetermined time elapses) periodically position in the marker coordinate system of the basic polygon include varying. このようにすると、基本ポリゴンは、例えば上下方向又は左右方向に飛び跳ねるように設定される。 In this way, the basic polygon is set, for example, as bouncing in vertical or horizontal direction. ここで、経過時間とは、例えば、ボタン操作フラグB77がオフからオンになったときからの経過時間とする。 Here, time is elapsed, for example, the elapsed time from when the button operation flag B77 is turned on from off.

ステップSB84にて、情報処理部B31は、経過時間により基本ポリゴンの形状を変化する。 In step SB84, the information processing unit B31 changes the shape of the basic polygon by the elapsed time. ここで、基本ポリゴンの形状の変化の一例としては、基本ポリゴンの縦横比を周期的に(一定の時間が経過するたびに)変化させることが挙げられる。 Here, as an example of a change in the shape of the basic polygon, the aspect ratio of the basic polygon (each time a predetermined time has elapsed) periodically include varying. このようにすると、基本ポリゴンが、横方向及び/又は縦方向に伸びたり縮んだりするように設定される。 In this way, the basic polygon is set to shrink or stretch in the transverse direction and / or longitudinal direction. その後、処理はステップSB86へ移される。 Thereafter, the process proceeds to step SB86. ここで、経過時間とは、例えば、ボタン操作フラグB77がオフからオンになったときからの経過時間とする。 Here, time is elapsed, for example, the elapsed time from when the button operation flag B77 is turned on from off.

ステップSB85にて、情報処理部B31は、マーカ座標系原点に基本ポリゴンの位置を設定する。 In step SB85, the information processing unit B31 sets the position of the fundamental polygon marker coordinate system origin. ここで、マーカ座標系原点は、例えば、マーカの中心位置とする。 Here, the marker coordinate system origin, for example, the center position of the marker.

ステップSB86にて、情報処理部B31は、設定された基本ポリゴンの位置及び形状に応じた影表示用のポリゴンを設定する。 In step SB86, the information processing unit B31 sets the polygon for shadow display in accordance with the position and shape of the basic polygon set. このとき、情報処理部B31は、基本ポリゴンを90度倒した位置に影表示用のポリゴンを設定する。 At this time, the information processing unit B31 sets the polygon for shadow displayed at a position defeated basic polygon 90 degrees. なお、情報処理部B31は、基本ポリゴンの位置が変化されるように設定されている場合には、その変化に従った位置に影表示用のポリゴンを設定する。 The information processing unit B31, when it is set so that the position of the basic polygon is changed, sets a polygon for shadow displayed position in accordance with the change.

ステップSB87にて、情報処理部B31は、設定された基本ポリゴンの位置及び形状に応じた厚み表示用のポリゴンを設定する。 In step SB87, the information processing unit B31 sets the polygon for thickness display in accordance with the position and shape of the basic polygon set. このとき、情報処理部B31は、基本ポリゴンを予め定められた枚数だけ、基本ポリゴンの法線方向(基本ポリゴンは薄板形状とする)に並べて配置する。 At this time, the information processing unit B31, only the number defined the basic polygon advance, arranged side by side in the normal direction of the basic polygon (basic polygon is a thin plate shape). なお、情報処理部B31は、基本ポリゴンの位置が変化されるように設定されている場合には、その変化に従った位置に厚み表示用のポリゴンを設定する。 The information processing unit B31, when it is set so that the position of the basic polygon is changed, sets a polygon for thickness displayed position in accordance with the change.

ステップSB88にて、情報処理部B31は、ポリゴン(基本、影表示用、厚み表示用)に手書き画像テクスチャを貼り付ける。 In step SB88, the information processing unit B31 is a polygon (the base, for shadow display, for thickness display) pasting the handwritten image texture. なお、手書き画像テクスチャを示すテクスチャデータは、手書き入力データから変換された画像データであり、テクスチャ用VRAMから読み出される。 Note that texture data indicating the handwritten image texture is image data converted from the handwriting input data is read from the texture for VRAM. このとき、影表示用ポリゴンについては、手書き画像テクスチャの明度を所定の度合いで下げるようテクスチャデータを変更して手書き画像テクスチャを貼り付けるようになっている。 At this time, the shadow displaying polygons, so that the paste handwritten image texture by changing the texture data to reduce the brightness of the handwritten image texture at a predetermined degree. また、厚み表示用のポリゴンについては、基本ポリゴンから離れるにしたがって、手書き画像テクスチャの明度を徐々に下げていくようにテクスチャデータを変更して手書き画像テクスチャを貼り付けるようになっている。 Also, the polygon for thickness display, the distance from the base polygon, so that the paste handwritten image texture by changing the texture data as gradually lowering the brightness of the handwritten image texture.

ステップSB89にて、情報処理部B31は、仮想カメラで、手書き画像テクスチャが貼り付けられたポリゴンを撮影して手書き画像(手書きオブジェクト画像)データを生成する。 In step SB89, the information processing unit B31 is a virtual camera to generate a handwritten image (hand-drawn object image) data by photographing a polygon handwritten image texture is pasted. このとき、立体表示モードが選択されているので、左目用の仮想カメラの位置及び姿勢に基づいて左目用の手書き画像を生成するとともに、右目用の仮想カメラの位置及び姿勢に基づいて右目用の手書き画像を生成する。 At this time, since the stereoscopic display mode is selected, to generate a handwritten image for the left eye based on the position and orientation of the virtual camera for left eye, right eye based on the position and orientation of the virtual camera for right eye generating a handwritten image.

ステップSB90にて、情報処理部B31は、手書き画像データとカメラ画像データとに基づいて、手書き画像とカメラ画像とを重ね合わせる。 In step SB90, the information processing unit B31, based on the handwritten image data and the camera image data, superimposing the hand-drawn image and the camera image. このとき、立体表示モードが選択されているので、情報処理部B31は、左目用の手書き画像と外側撮像部(左)B23aにより撮影されたカメラ画像とを重ね合わせて左目用の重畳画像が作成され、右目用の手書き画像と外側撮像部(右)B23bにより撮影されたカメラ画像とを重ね合わせて右目用の重畳画像が作成される。 At this time, since the stereoscopic display mode is selected, the information processing unit B31 is superposed image creation for the left eye by superimposing a camera image photographed by the hand-drawn image and the outer imaging section (left) B23a for the left eye is, hand-drawn image and the outer imaging section for the right eye by superimposing a camera image captured by (right) B 23b is superimposed image for the right eye are created.

ステップSB91にて、情報処理部B31は、上側LCDB22に、手書き画像とカメラ画像とを重ね合わせた重畳画像を表示する。 In step SB91, the information processing unit B31 to the upper LCDB22, displays the superimposed image obtained by superimposing a handwritten image and a camera image. このとき、立体視可能なように、左目用の重畳画像と右目用の重畳画像とが合成される。 At this time, as stereoscopically viewable, and superimposed image for the left eye and superimposed image for the right eye are synthesized. その後、この処理は終了する(メインルーチンへ戻る)。 After that, the process ends (Back to the main routine).

ステップSB92にて、情報処理部B31は、上側LCDB22にカメラ画像を表示する。 In step SB92, the information processing unit B31 will display the camera image in the upper LCDB22. その後、この処理は終了する(メインルーチンへ戻る)。 After that, the process ends (Back to the main routine).

以上のような構造及びフローチャートに基づく、本実施形態に係るゲーム装置B10の動作について、図52から図57を参照して説明する。 Based on the structure and flowchart as above, the operation of the game device B10 according to this embodiment will be described with reference to FIG. 57 from FIG. 52. これらの図においては、手書き画像が表示される上側LCDB22において、手書き画像とマーカとが重畳する部分は、本来はマーカも手書き画像も表示されている。 In these figures, the upper LCDB22 handwriting image is displayed, the portion where the hand-drawn image and the marker is superimposed, originally are also hand-drawn image may be displayed marker. しかしながら、図における表現を明確にするために、マーカの一部を表示していない。 However, for clarity of representation in Figure it does not show the part of the marker. また、以下においては、マーカを動かさないでユーザがゲーム装置B10を傾ける場合について説明するが、マーカはユーザにより動かされても構わない。 In the following, the user not move the marker will be described tilting the game apparatus B10, markers may be moved by the user. さらに、マーカがユーザにより動かされて、かつ、ユーザがゲーム装置B10を傾けても構わない。 Furthermore, the marker is moved by the user, and the user may be tilting the game apparatus B10.

(手書きオブジェクトの基本的な表示) (Basic display of the handwritten object)
ユーザが、外側撮像部B23を選択して、立体表示モードを選択して、上述したプログラムが実行されるように設定する。 The user selects the outer imaging section B23, select the stereoscopic display mode, set to the program described above is executed. ユーザが、例えば机の上に置いたマーカを含めた範囲を外側撮像部B23で撮影することにより、カメラ画像データが取得される(ステップSB1)。 User, for example, by photographing a range including a marker put on the table at the outer imaging section B23, the camera image data is acquired (step SB1). マーカが検出されると(ステップSB2にてYES)、マーカの検出結果に基づいて、外側撮像部B23とマーカとの位置関係が算出され(ステップSB3)、算出された位置関係に基づいて、仮想カメラの位置及び姿勢が決定される(ステップSB4)。 When the marker is detected (YES in step SB2), based on the marker detection result, the positional relationship between the outer imaging section B23 and the marker is calculated (step SB3), on the basis of the calculated positional relationship, virtual position and orientation of the camera is determined (step SB4).

このような状態で、図52に示すように、ユーザが下側LCDB12に人物の顔を手書きする。 In this state, as shown in FIG. 52, the user handwriting a human face on the lower side LCDB12. なお、手書きペンの色及び太さの変更をユーザが要求しないで、初期値で手書きされるものとする(ステップB51にてNO)。 Incidentally, the change of the color and thickness of the handwritten pen in the user does not request, it shall be handwritten by the initial value (NO in step B51). 図52は、顔を途中まで描いた状態を示す。 Figure 52 shows a state in which the painted halfway face. ユーザがタッチペンB28を下側LCDB12にタッチすると(ステップSB54)、座標が検出され(ステップSB55)、軌跡が検出され(ステップSB56)、ペンの移動速度が算出されて(ステップSB57)、その移動速度に応じて手書きペンの色が変更される(ステップSB58)。 When the user touches the touch pen B28 on the lower LCDB12 (step SB54), the coordinates are detected (step SB55), the trajectory is detected (step SB56), the moving speed of the pen is calculated (step SB57), the moving speed the color of the handwritten pen is changed in accordance with (step SB58). 手書き入力データが画像データへ変換され、メインメモリB32へ記憶されて(ステップSB59)、タッチパネル用VRAM及びテクスチャ用VRAMへ転送される(ステップSB60)。 Handwriting input data is converted into image data, stored in the main memory B32 (step SB59), and transferred to the touch panel VRAM and texture for VRAM (step SB60).

このような手書きの途中であっても、図49から図51に示すプログラムが周期的に(所定のサイクルタイムで)繰り返し動作しているので、図52に示すように、上側LCDB22に手書き途中の手書きオブジェクトが表示される。 Even in the middle of such a hand-written (in a predetermined cycle time) program periodically as shown in FIG. 51 from FIG. 49 since the repetitive operations, as shown in Figure 52, the handwritten middle upper LCDB22 handwritten object is displayed.

この図52のように手書きオブジェクトが表示されている場合のゲーム装置B10の動作についてさらに説明する。 Furthermore the operation of the game device B10 in the case of the handwritten object is displayed as shown in FIG. 52. なお、以下においては、所定のボタンが押下されていない場合の動作を説明した後に、所定のボタンが押下されている場合の動作を説明する。 In the following, the operation of the case where after describing the operation when the predetermined button is not pressed, a predetermined button is pressed.

所定のボタンが押下されていないので(ステップSB6にてNO)、ボタン操作フラグが更新されないで「0」(オフ)が維持される。 Since the predetermined button is not pressed in (NO at step SB6), the button operation flag is not updated to "0" (OFF) is maintained. 一定時間以上経過する前にマーカが検出されると(ステップSB81にてNO)、ボタン操作フラグがオフであるので(ステップSB82にてNO)、マーカ座標系原点に基本ポリゴンの位置が設定される(ステップSB85)。 When the marker is detected (NO at step SB81), the button since the operation flag is OFF (NO at step SB82), the position of the basic polygon in the marker coordinate system origin is set for a period shorter than a predetermined time (step SB85).

必要に応じて、手書きオブジェクトに、影が付加されたり、厚みが付加されたりする。 If necessary, the handwriting objects, or shadow is added, or is added thickness. この場合の動作については後述する。 It will be described later operation in this case. 基本ポリゴンに手書き画像テクスチャが貼り付けられて(ステップSB88)、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像(手書きオブジェクト画像)データが生成される(ステップSB89)。 Handwritten image texture is pasted on the basic polygon (step SB88), the hand-drawn image (hand-drawn object image) data is generated polygons handwritten image texture is pasted on the virtual camera is photographed (step SB89). 手書き画像とカメラ画像とが重ね合わせられて(ステップSB90)、上側LCDB22に重畳画像が表示される(ステップSB91)。 A handwritten image and a camera image is superimposed (step SB90), the superimposed image is displayed on the upper LCDB22 (step SB91). このとき、図52に示すように、上側LCDB22に、手書き途中のオブジェクトが、マーカ座標系の原点に配置されて表示される。 At this time, as shown in FIG. 52, the upper LCDB22, handwritten middle of the object is displayed is located at the origin of the marker coordinate system. なお、マーカ座標系及びその原点は予め設定されているものとする。 Incidentally, the marker coordinate system and its origin is assumed to be preset. また、図52に示すように、下側LCDB12にも手書きオブジェクトが表示される(ステップSB9)。 Further, as shown in FIG. 52, the handwriting objects are displayed in the lower LCDB12 (step SB9).

さらに、ユーザが手書きを進めると、上述の動作が繰り返して行われて、図53に示すように、上側LCDB22に、ユーザが手書きしたオブジェクトが3次元仮想空間に存在するように立体表示モードで表示され、下側LCDB12に手書きオブジェクトが平面的に表示される。 Further, when the user advances the handwriting, and done repeatedly above operation, as shown in FIG. 53, displayed on the upper LCDB22, in the stereoscopic display mode as an object the user has handwritten exists in the three-dimensional virtual space is, handwritten objects are dimensionally displayed on the lower LCDB12.

(ゲーム装置B10を傾けた場合) (By tilting the game apparatus B10)
図54(a)(この図は図53からタッチペンB28を削除した図)に示すように、上側LCDB22に、ユーザが手書きしたオブジェクトが3次元仮想空間に存在するように表示されている場合に、マーカが外側撮像部B23で撮像される範囲内において、ユーザがゲーム装置B10を傾ける。 Figure 54 (a) (This figure diagram remove the touch pen B28 from Figure 53) as shown in the upper side LCDB22, if the user is displayed as objects handwriting is present in the 3-dimensional virtual space, within a marker is captured by the outer imaging section B23, the user tilts the game apparatus B10. ここでは、ゲーム装置B10を、マーカを中心にして時計回りに約90度傾けた(回転させた)ものとする。 Here, the game apparatus B10, the marker (rotated) around the the inclined approximately 90 degrees clockwise those that.

ゲーム装置B10が傾けられても、図49から図51に示すプログラムが周期的に(サイクルタイムで)繰り返し動作しているので、外側撮像部B23で撮影することにより、カメラ画像データが逐次取得され(ステップSB1)、マーカが検出され(ステップSB2にてYES)、マーカの検出結果に基づいて、外側撮像部B23とマーカとの位置関係が逐次算出され(ステップSB3)、算出された位置関係に基づいて、仮想カメラの位置及び姿勢が逐次決定される(ステップSB4)。 Be a game device B10 is tilted, since the program shown in FIG. 51 is repeatedly operate (cycle time) periodically from FIG. 49, by shooting in the outer imaging section B23, the camera image data is sequentially acquired (step SB1), the marker is detected (YES in step SB2), based on the marker detection result, the positional relationship between the outer imaging section B23 and the marker is sequentially calculated (step SB3), the calculated positional relationship based on the position and attitude of the virtual camera is sequentially determined (step SB4). マーカ座標系原点に基本ポリゴンの位置が逐次設定され(ステップSB85)、基本ポリゴンに手書き画像テクスチャが貼り付けられて(ステップSB88)、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像(手書きオブジェクト画像)データが生成され(ステップSB89)、手書き画像とカメラ画像とが重ね合わせられて(ステップSB90)、上側LCDB22に重畳画像が逐次表示される(ステップSB91)。 Position of the fundamental polygon marker coordinate system origin are sequentially set (step SB85), affixed hand-drawn image texture basic polygon (step SB88), the handwritten image polygons made by applying texture is photographed by the virtual camera handwritten image (hand-drawn object image) data is generated (step SB89), and brought the hand-drawn image and the camera image is overlaid (step SB90), the superimposed image is displayed sequentially on the upper LCDB22 (step SB91).

図54(a)に示す状態からゲーム装置B10を、マーカを中心にして時計回りに約90度傾けると、図54(b)に示す状態に上側LCDB22の表示が変更される。 The game device B10 from the state shown in FIG. 54 (a), is tilted approximately 90 degrees clockwise about the marker, the display of the upper LCDB22 is changed to the state shown in FIG. 54 (b). これらの図に示すように、仮想カメラと基本ポリゴンとの相対的位置は、外側撮像部B23により逐次撮像される画像に含まれる、マーカの認識結果に基づいて、変更される。 As shown in these figures, the relative position between the virtual camera and the basic polygon is included in the image are sequentially captured by the outer imaging section B23, based on a recognition result of the marker is changed. このため、ゲーム装置B10を傾けることにより撮像方向が変化すると、マーカの見え方の変化に対応して、仮想カメラと基本ポリゴンとの相対的位置が変更される。 Therefore, when a change in the imaging direction by tilting the game apparatus B10, in response to changes in the appearance of the marker, the relative position between the virtual camera and the basic polygon is changed. このため、ゲーム装置B10を傾けることによる撮像方向の変化に対応して、仮想カメラにより撮影された手書き画像の表示が変更される。 Therefore, in response to a change in the imaging direction of tilting the game apparatus B10, the display of the handwritten image taken by the virtual camera is changed. このように、ユーザが手書きした画像を現実世界に存在するように表示し、拡張現実感を実現することができる。 Thus, it is possible to display to present an image that the user has handwritten the real world, to realize the augmented reality.

(所定のボタンが押下されている場合:基本ポリゴンの位置変化) (When the predetermined button is pressed: the position change of the basic polygon)
所定のボタンが押下されると(ステップSB6にてYES)、ボタン操作フラグが更新されて「1」(オン)に変更される(ステップSB7)。 When a predetermined button is pressed (YES at step SB6), the button operation flag is changed is updated to "1" (ON) (step SB7). 一定時間以上経過する前にマーカが検出されると(ステップSB81にてNO)、ボタン操作フラグがオンであるので(ステップSB82にてYES)、経過時間に基づいて基本ポリゴンの位置(マーカ座標系原点に対する相対位置及び相対姿勢)が設定される(ステップSB83)。 When the marker is detected before the elapse of a predetermined time or more (NO in step SB81), the button since the operation flag is ON (YES in step SB82), the position of the basic polygons based on the elapsed time (marker coordinate system relative position and relative orientation) are set with respect to the origin (step SB83).

このとき、基本ポリゴンの表示位置が、例えば周期的に上下方向に往復移動するように変化される。 At this time, the display position of the basic polygon is changed so as to reciprocate, for example, periodically vertically. このような基本ポリゴンに手書き画像テクスチャが貼り付けられて(ステップSB88)、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像(手書きオブジェクト画像)データが生成される(ステップSB89)。 Such hand-drawn image texture is pasted on the basic polygon (step SB88), the hand-drawn image (hand-drawn object image) data is generated polygons handwritten image texture is pasted on the virtual camera is photographed (step SB89 ). 手書き画像とカメラ画像とが重ね合わせられて(ステップSB90)、上側LCDB22に重畳画像が表示される(ステップSB91)。 A handwritten image and a camera image is superimposed (step SB90), the superimposed image is displayed on the upper LCDB22 (step SB91). このとき、手書き画像は、上下方向又は左右方向に飛び跳ねるように表示される。 At this time, the hand-drawn image is displayed so as bouncing in vertical or horizontal direction. このため、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。 Therefore, more natural, it can be displayed to present an image that the user has handwritten the real world.

(所定のボタンが押下されている場合:基本ポリゴンの形状変化) (When the predetermined button is pressed: the shape change of the basic polygon)
上述したように、所定のボタンが押下される場合に、基本ポリゴンの形状が変化する場合の動作について説明する。 As described above, when a predetermined button is pressed, the operation of the case of changing the shape of the basic polygon.

ボタン操作フラグがオンであるので(ステップSB82にてYES)、経過時間により基本ポリゴンの形状が変化される(ステップSB84)。 Since the button operation flag is ON (YES in step SB82), the shape of the basic polygon is varied according to the time course (step SB84). 例えば、基本ポリゴンの縦横比が周期的に(一定の時間が経過するたびに)変化される。 For example, (each time a predetermined time has elapsed) the aspect ratio of the basic polygon is periodically changed. このような基本ポリゴンに手書き画像テクスチャが貼り付けられて(ステップSB88)、仮想カメラで手書き画像テクスチャが貼り付けられたポリゴンが撮影されて手書き画像(手書きオブジェクト画像)データが生成される(ステップSB89)。 Such hand-drawn image texture is pasted on the basic polygon (step SB88), the hand-drawn image (hand-drawn object image) data is generated polygons handwritten image texture is pasted on the virtual camera is photographed (step SB89 ). 手書き画像とカメラ画像とが重ね合わせられて(ステップSB90)、上側LCDB22に重畳画像が表示される(ステップSB91)。 A handwritten image and a camera image is superimposed (step SB90), the superimposed image is displayed on the upper LCDB22 (step SB91). このとき、手書き画像は、横方向及び/又は縦方向に伸びたり縮んだりするように表示される。 At this time, the hand-drawn image is displayed so as to shrink or stretch in the transverse direction and / or longitudinal direction.

このときの上側LCDB22における表示例を図55(a)及び図55(b)に示す。 A display example in the upper LCDB22 at this time is shown in FIG. 55 (a) and FIG. 55 (b). 図55(a)に示す表示例は、基本ポリゴンが縦方向に伸びた状態(横方向に縮んだ状態)であって、図55(b)に示す表示例は、基本ポリゴンが横方向に伸びた状態(縦方向に縮んだ状態)を、それぞれ示している。 Display example shown in FIG. 55 (a) is a state where the basic polygon is extended in the vertical direction (retracted laterally state), the display example shown in FIG. 55 (b), the basic polygon laterally extending state (the contracted longitudinally state), respectively. 実際には、基本ポリゴンの縦横比が周期的に変化するので、図55(a)に示す表示例と図55(b)に示す表示例とが、短い時間周期で繰り返し表示される。 In practice, the aspect ratio of the basic polygon is because changes periodically, and the display example shown in display example and Figure 55 shown in FIG. 55 (a) (b), is displayed repeatedly in a short time period. このため、手書き画像である顔の表情が変化するように表示される。 Accordingly, is displayed as expressions of a handwritten image face is changed. このように動作するので、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。 Since such operation, the more natural can be displayed so as to present an image that the user has handwritten the real world.

なお、このように基本ポリゴンの形状が変化することに加えて、上述したように基本ポリゴンの位置が変化するようにしても構わない。 In this way in addition to changing the shape of the basic polygon, may also be the position of the basic polygon is changed as described above. この場合、手書き画像である顔の表情が変化しながら、上下方向又は左右方向に飛び跳ねるように表示される。 In this case, facial expression is handwritten image while changing, is displayed as bouncing in vertical or horizontal direction. このため、さらに自然な拡張現実感を実現することができる。 For this reason, it is possible to realize a more natural augmented reality.

(影及び厚みが付与される場合) (If the shadow and the thickness is given)
所定のボタンが押下されているか否かに関わらず、基本ポリゴンに影及び厚みが付与される場合の動作について説明する。 Regardless of whether or not a predetermined button is pressed, it will be described operation when the shadow and thickness is applied to the basic polygon.

ボタン操作フラグがオンであるのかオフであるのかに関わらず、基本ポリゴンの位置及び形状に応じた影表示用のポリゴンが設定される(ステップSB86)。 Button operation flag whether the a is the or off ON, polygon for shadow display in accordance with the position and shape of the basic polygon is set (step SB86). このとき、基本ポリゴンの位置が変化されている場合には、その変化に従った位置に影表示用のポリゴンが設定される。 At this time, if the position of the basic polygon is changed, polygon for shadow display is set to position according to the change. このため、手書き画像が上下方向又は左右方向に飛び跳ねるように表示されるように基本ポリゴンの位置が変化される場合には、その飛び跳ねる手書き画像に対応する影が表示される。 Therefore, if the position of the basic polygon is changed such hand-drawn image is displayed, as bouncing in vertical or horizontal direction, a shadow corresponding to the jumping handwritten image is displayed.

さらに、基本ポリゴンの位置及び形状に応じた厚み表示用のポリゴンが設定される(ステップSB87)。 Furthermore, the polygon is set for a thickness display in accordance with the position and shape of the basic polygon (step SB87). このとき、予め定められた枚数だけの厚み表示用のポリゴンが並べて配置される。 At this time, it is arranged a defined number only polygons for thickness display side by side in advance. このため、基本ポリゴンの位置が変化されている場合には、その変化に従った位置に厚み表示用のポリゴンが設定される。 Therefore, if the position of the basic polygon is changed, polygons for thickness display is set to position according to the change. このため、手書き画像が上下方向又は左右方向に飛び跳ねるように表示されるように基本ポリゴンの位置が変化される場合には、その飛び跳ねる手書き画像に対応する厚みが表示される。 Therefore, if the position of the basic polygon is changed such hand-drawn image is displayed, as bouncing in vertical or horizontal direction, the thickness corresponding to the jumping handwritten image is displayed.

このような基本ポリゴン、影表示用のポリゴン及び厚み表示用のポリゴンにテクスチャが貼り付けられて(ステップSB88)、仮想カメラでテクスチャが貼り付けられたポリゴンが撮影されて手書き画像(手書きオブジェクト画像)データが生成される(ステップSB89)。 Such basic polygon, is adhered textured polygon polygon and thickness display for shadow displayed (step SB88), the hand-drawn image polygons pasted texture virtual camera is photographed (handwritten object image) data is generated (step SB89). 手書き画像とカメラ画像とが重ね合わせられて(ステップSB90)、上側LCDB22に重畳画像が表示される(ステップSB91)。 A handwritten image and a camera image is superimposed (step SB90), the superimposed image is displayed on the upper LCDB22 (step SB91).

影が表示される場合の、上側LCDB22における表示例を図56(a)及び図56(b)に示す。 When a shadow is displayed, a display example in the upper LCDB22 Figure 56 (a) and FIG. 56 (b). これらの図に示すように、手書き画像に対応する影が表示される。 As shown in these figures, the shadow corresponding to the handwriting image is displayed. このため、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。 Therefore, more natural, it can be displayed to present an image that the user has handwritten the real world.

また、厚みが表示される場合の、上側LCDB22における表示例を図57(a)及び図57(b)に示す。 Further, when the thickness is displayed, a display example in the upper LCDB22 Figure 57 (a) and FIG. 57 (b). これらの図に示すように、手書き画像に厚みが示される。 As shown in these figures, the thickness is shown in the handwritten image. このため、さらに自然に、ユーザが手書きした画像を現実世界に存在するように表示することができる。 Therefore, more natural, it can be displayed to present an image that the user has handwritten the real world.

(マーカが一定時間以上検出できない場合) (If the marker can not be detected more than a certain time)
例えば、ユーザがゲーム装置B10を傾け過ぎると、外側撮像部B23でマーカが撮像できない場合がある。 For example, if the user is too inclined game device B10, there is a case where in the outer imaging section B23 marker can not be captured. この場合には、撮像した画像の中から、マーカを一定時間以上検出できないので(ステップSB81にてYES)、基本ポリゴンの設定等を実行しないで、カメラ画像を上側LCDB22に表示する(ステップSB92)。 In this case, from the image captured, it can not detect the marker predetermined time or more (YES at step SB81), without performing the setting of the basic polygon, and displays the camera image on the upper LCDB22 (step SB92) . このとき、上側LCDB22には、マーカも手書き画像も表示されないで、外側撮像部B23で撮像した風景だけが単に表示される。 At this time, the upper LCDB22, marker also handwritten image also not displayed, only scene captured by the outer imaging section B23 is simply displayed.

以上のように、本実施形態に係るゲーム装置B10によると、外側撮像部B23で撮像した風景(背景)に、タッチパネルにユーザが手書きした画像を、表示位置を変化させたり、形状を変化させたり、影を付与したり、厚みを付与したりすることにより、自然な拡張現実感を実現した画像を上側LCDB22に表示することができる。 As described above, according to the game device B10 according to this embodiment, the scene captured by the outer imaging section B23 (background), an image that the user has handwritten on the touch panel, or changing the display position, or change shape , to attach a shadow, by grant or thickness, it is possible to display an image that realizes natural augmented reality upward LCDB22. このため、手書き画像について、ユーザに、より強い現実感を与えたり、より強い興味を与えたりすることができる。 Thus, the hand-drawn image, to the user, or give a stronger sense of reality, or can give a stronger interest. この場合において、タッチパネルに手書きしている途中の画像であっても、上側LCDB22に表示することができる。 In this case, even in the middle of the image which is handwritten on the touch panel can be displayed on the upper LCDB22. このため、拡張現実感を確認しながら、手書き画像を完成させることができる。 For this reason, while confirming the augmented reality, it is possible to complete the hand-drawn image.

(変形例) (Modification)
上記したステップSB86においては、基本ポリゴンの形状を変化させて、変化させた基本ポリゴンにテクスチャを貼り付けることにより、手書きオブジェクトの形状を変形させていた。 In step SB86 described above, by changing the shape of the basic polygon, by pasting the textures to the basic polygon is varied, were to deform the shape of the handwritten object. しかしながら、本発明はこれに限定されず、テクスチャを変形させるようにしても構わない。 However, the present invention is not limited thereto, but may be caused to deform the texture.

また、本実施形態に係るゲーム装置B10が所定のゲームを実行するようにしても構わない。 The game apparatus B10 according to the present embodiment may be configured to execute a predetermined game. 例えば、所定のゲームプログラムがデータ保存用内部メモリB35や外部メモリB44に記憶され、ゲーム装置B10が当該プログラムを実行することによりゲームが行われる。 For example, a predetermined game program stored in the internal data storage memory B35 or the external memory B44, the game device B10 game is performed by executing the program. 例えば、当該ゲームにおいて、ユーザが下側LCDB12で作成した手書きオブジェクトが上側LCDB22に表示される。 For example, in the game, hand-drawn objects that the user created in the lower LCDB12 is displayed on the upper LCDB22.

また、本発明は、本実施形態に係るゲーム装置に限らず、任意の携帯型電子機器(例えば、PDA(Personal Digital Assistant)又は携帯電話)、パーソナルコンピュータ、カメラ等に適用することが可能である。 Further, the present invention is not limited to a game apparatus of the present embodiment, any of the portable electronic device (e.g., PDA (Personal Digital Assistant) or a cellular phone), it is possible to apply a personal computer, a camera, etc. .

また、本実施形態に係るゲーム装置B10の情報処理部B31が所定のプログラムを実行することによって、上述したフローチャートによる手書きオブジェクト表示処理が行われた。 Further, by the information processing unit B31 of the game device B10 according to this embodiment executes a predetermined program, the handwritten object display process by the flow chart described above is performed. これに限定されず、手書きオブジェクト表示処理の一部又は全部は、ゲーム装置B10が備える専用回路によって行われてもよい。 Not limited thereto, some or all of the handwritten object display process may be performed by dedicated circuitry game device B10 is provided.

また、上述した処理を1台のゲーム装置(情報処理装置)だけで処理するのではなく、互いに通信可能に接続された複数の情報処理装置で分担して処理するようにしても構わない。 Also, rather than just processing the game apparatus one the above-described process (information processing device), it may be processed by sharing a plurality of information processing apparatuses communicably connected to each other.

また、1枚のポリゴンに手書き画像をテクスチャとして貼り付けるのではなく、手書き画像に応じた形状の3Dポリゴンモデルを逐次生成して、これを基本ポリゴンの代わりに配置するようにしても構わない。 Further, instead of pasting the handwritten image on one polygon as a texture, and sequentially generates a 3D polygonal model of the shape corresponding to the handwritten image, which may be arranged in place of the basic polygon.

また、本実施形態においては、手書きの軌跡で構成される手書きオブジェクトを示す手書きデータを入力する入力手段をタッチパネルB13として説明したが、本発明はこれに限定されない。 Further, in the present embodiment has described the input means for inputting handwritten data indicating the formed handwritten objects in the handwritten locus as a touch panel B13, the present invention is not limited thereto. 例えば、この入力手段は、マウスやタッチパッド等のポインティングデバイスであっても構わない。 For example, the input means may be a pointing device such as a mouse or a touch pad. また、カメラや加速度センサによって入力装置の姿勢を検出し、入力装置が指し示す所定の面上の位置を当該姿勢に基づいて算出することにより、手書きデータを入力するようになっていても構わない。 Further, to detect the orientation of the input device by a camera or an acceleration sensor, by calculating on the basis of the position on a predetermined surface of the input device indicated on the posture, it may be adapted to input handwritten data. さらに、ボタンB14Cを押下しつつ、十字ボタンB14Aで下側LCDB12に表示されるカーソルを移動させた場合に、移動するカーソルに追従するような軌跡を手書きデータとして入力するようになっていても構わない。 Furthermore, while pressing the button B14C, when moving a cursor displayed on the lower LCDB12 in cross button B14a, it may be made a locus to follow the cursor to move to the input as a handwritten data Absent.

また、本実施形態においては、外側撮像部B23により撮像したカメラ画像と手書き画像とを重ね合わせて上側LCDB22に表示させるビデオシースルー方式を説明したが、本発明はこれに限定されない。 Further, in the present embodiment, by superimposing the camera image captured by the outer imaging section B23 and handwritten image has been described video see-through method for displaying the upper LCDB22, the present invention is not limited thereto. 例えば、光学シースルー方式を実現する構成であってもよい。 For example, it may be configured to realize an optical see-through method. この場合には、少なくともカメラを備えたヘッドマウンドディスプレイで構成され、ユーザはメガネのレンズ部分に相当するディスプレイ部を通して現実空間を視認できるようになっている。 In this case, consists of a head mound display with at least a camera, the user is enabled to view the real space through the display portion corresponding to the lens portion of the spectacles. このディプレイ部は、現実空間を透過してユーザの目に直接導くことが可能な素材によって構成されている。 The di play unit is constituted by the possible material be introduced directly into the eyes of the user is transmitted through the real space. さらに、このディスプレイ部にはコンピュータにより生成した仮想オブジェクトの画像を表示させることができるようになっている。 Furthermore, so that it is possible to display an image of the virtual objects created by computer on the display unit. これにより、ユーザは、現実空間と仮想オブジェクトの画像とが重ね合わせられた像を視認することができる。 Thus, the user can visually recognize the the real space and the image of the virtual object has been superimposed image. なお、ヘッドマウンドディスプレイに備えられたカメラは現実空間に配置されたマーカを検出するために用いられる。 The camera provided in the head mound display is used to detect the markers placed in real space.

図面を参照して、本発明のさらに他の一実施形態に係る画像処理プログラムを実行する画像処理装置について説明する。 With reference to the drawings, an image processing apparatus will be described for executing the further image processing program according to another embodiment of the present invention. 本発明の画像処理プログラムは、任意のコンピュータシステムで実行されることによって適用することができるが、画像処理装置の一例として携帯型のゲーム装置C10を用い、ゲーム装置C10で実行される画像処理プログラムを用いて説明する。 The image processing program of the present invention can be applied by being executed on any computer system, using a portable game device C10 as an example of an image processing apparatus, an image processing program executed by the game device C10 It will be described with reference to. なお、図58〜図60Dは、ゲーム装置C10の外観の一例を示す平面図である。 Incidentally, FIG. 58 to FIG. 60D is a plan view showing an example of the appearance of the game device C10. ゲーム装置C10は、一例として携帯型のゲーム装置であり、図58〜図60Dに示すように折り畳み可能に構成されている。 Game device C10 is a hand-held game apparatus as an example, and is configured to be foldable as shown in FIG. 58 to FIG 60D. 図58は、開いた状態(開状態)におけるゲーム装置C10の一例を示す正面図である。 Figure 58 is a front view showing an example of the game apparatus C10 in an opened state. 図59は、開状態におけるゲーム装置C10の一例を示す右側面図である。 Figure 59 is a right side view showing an example of the game apparatus C10 in the open state. 図60Aは、閉じた状態(閉状態)におけるゲーム装置C10の一例を示す左側面図である。 Figure 60A is a left side view showing an example of the game apparatus C10 in a closed state. 図60Bは、閉状態におけるゲーム装置C10の一例を示す正面図である。 Figure 60B is a front view showing an example of the game apparatus C10 in the closed state. 図60Cは、閉状態におけるゲーム装置C10の一例を示す右側面図である。 Figure 60C is a right side view showing an example of the game apparatus C10 in the closed state. 図60Dは、閉状態におけるゲーム装置C10の一例を示す背面図である。 Figure 60D is a rear view showing an example of the game apparatus C10 in the closed state. ゲーム装置C10は、撮像部を内蔵しており、当該撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。 Game device C10 has a built-in imaging unit captures an image by the imaging unit, and displays the taken image on a screen, it is possible to to store data of the captured image. また、ゲーム装置C10は、交換可能なメモリカード内に記憶され、または、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラから見た仮想空間画像等のコンピュータグラフィックス処理により生成された画像を画面に表示することもできる。 The game apparatus C10 is stored in an exchangeable memory card, or is capable of executing a game program received from a server or another game apparatus, a virtual space image viewed from the virtual camera set in a virtual space the image generated by computer graphics processing and the like can also be displayed on the screen.

図58〜図60Dにおいて、ゲーム装置C10は、下側ハウジングC11および上側ハウジングC21を有する。 In Figure 58 to Figure 60D, the game device C10 includes a lower housing C11 and an upper housing C21. 下側ハウジングC11と上側ハウジングC21とは、開閉可能(折り畳み可能)に連結されている。 The lower housing C11 and the upper housing C21, are coupled to allow opening and closing (be foldable). 図58の例では、下側ハウジングC11および上側ハウジングC21は、それぞれ横長の長方形の板状で形成され、互いの長辺部分で回動可能に連結されている。 In the example of FIG. 58, the lower housing C11 and an upper housing C21 are formed by respective horizontally long rectangular plate, and is rotatably connected to each other at long side portions thereof. 通常、ユーザは、開状態でゲーム装置C10を使用する。 Normally, the user uses the game apparatus C10 in the open state. そして、ユーザは、ゲーム装置C10を使用しない場合には閉状態としてゲーム装置C10を保管する。 The user, when not using the game apparatus C10 keeps the game apparatus C10 as a closed state. また、ゲーム装置C10は、上記閉状態および開状態のみでなく、下側ハウジングC11と上側ハウジングC21とのなす角度が閉状態と開状態との間の任意の角度において、連結部分に発生する摩擦力などによってその開閉角度を維持することができる。 The game apparatus C10 includes not only the closed state and the open state, the angle between the lower housing C11 and the upper housing C21 in any angle between a closed position and an open position, generated in connection portions Friction it is possible to maintain the opening angle or the like force. つまり、上側ハウジングC21を下側ハウジングC11に対して任意の角度で静止させることができる。 That is, it is possible to rest at any angle to the upper housing C21 with respect to the lower housing C11.

図58および図59に示されるように、下側ハウジングC11の上側長辺部分には、下側ハウジングC11の内側面(主面)C11Bに対して垂直な方向に突起する突起部C11Aが設けられる。 As shown in FIGS. 58 and 59, the upper long side portion of the lower housing C11, projections C11A is provided which protrudes in a direction perpendicular to the inner surface (main surface) C11B of the lower housing C11 . また、上側ハウジングC21の下側長辺部分には、上側ハウジングC21の下側面から当該下側面に垂直な方向に突起する突起部C21Aが設けられる。 Furthermore, the lower long side portion of the upper housing C21, projections C21A which protrudes in a direction perpendicular from the lower surface to the lower surface of the upper housing C21 is provided. 下側ハウジングC11の突起部C11Aと上側ハウジングC21の突起部C21Aとが連結されることにより、下側ハウジングC11と上側ハウジングC21とが、折り畳み可能に接続される。 By the protruding portion C21A protrusions C11A and the upper housing C21 of the lower housing C11 is connected, and a lower housing C11 and the upper housing C21, are foldably connected.

下側ハウジングC11には、下側LCD(Liquid Crystal Display:液晶表示装置)C12、タッチパネルC13、各操作ボタンC14A〜C14L(図58、図60A〜図60D)、アナログスティックC15、LEDC16A〜C16B、挿入口C17、および、マイクロフォン用孔C18が設けられる。 The lower housing C11, lower LCD (Liquid Crystal Display: LCD device) C12, a touch panel C13, the operation buttons C14A~C14L (FIG. 58, FIG 60A~ Figure 60D), an analog stick C15, LEDC16A~C16B, insertion mouth C17, and a microphone hole C18 is provided. 以下、これらの詳細について説明する。 Hereinafter, these components will be described in detail.

図58に示すように、下側LCDC12は下側ハウジングC11に収納される。 As shown in FIG. 58, the lower LCDC12 is accommodated in the lower housing C11. 下側LCDC12は横長形状であり、長辺方向が下側ハウジングC11の長辺方向に一致するように配置される。 Lower LCDC12 has a horizontally long shape, and is arranged such that a long side direction thereof corresponds to a long side direction of the lower housing C11. 下側LCDC12は、下側ハウジングC11の中央に配置される。 Lower LCDC12 is located in the center of the lower housing C11. 下側LCDC12は、下側ハウジングC11の内側面(主面)に設けられ、下側ハウジングC11の内側面に設けられた開口部から下側LCDC12の画面が露出する。 Lower LCDC12 is provided on the inner surface of the lower housing C11 (main surface), exposing the screen of the lower LCDC12 from an opening provided on the inner surface of the lower housing C11. そして、ゲーム装置C10を使用しない場合には上記閉状態としておくことによって、下側LCDC12の画面が汚れたり傷ついたりすることを防止することができる。 Then, by keeping the above closed state when not using the game device C10, it is possible to prevent or damaged dirty screen of the lower LCDC12. 下側LCDC12の画素数は、一例として、256dot×192dot(横×縦)である。 Number of pixels of the lower LCDC12, as an example, a 256 dots × 192 dots (horizontal × vertical). 他の例として、下側LCDC12の画素数は、320dot×240dot(横×縦)である。 As another example, the number of pixels of lower LCDC12 is 320 dots × 240 dots (horizontal × vertical). 下側LCDC12は、後述する上側LCDC22とは異なり、画像を(立体視可能ではなく)平面的に表示する表示装置である。 Lower LCDC12 Unlike upper LCDC22 described later, the image (not in a stereoscopic view) of a display device for planar display. なお、本実施形態では表示装置としてLCDを用いているが、例えばEL(Electro Luminescence:電界発光)を利用した表示装置など、他の任意の表示装置を利用してもよい。 Incidentally, in the present embodiment an LCD is used as a display device, for example, EL: a display device using an (Electro Luminescence) may be used any other display device. また、下側LCDC12として、任意の解像度の表示装置を利用することができる。 Further, as the lower LCDC12, it is possible to use a display device having any resolution.

図58に示されるように、ゲーム装置C10は、入力装置として、タッチパネルC13を備えている。 As shown in FIG. 58, the game device C10 as an input device, and a touch panel C13. タッチパネルC13は、下側LCDC12の画面上を覆うように装着されている。 The touch panel C13 is mounted so as to cover the screen of the lower LCDC12. なお、本実施形態では、タッチパネルC13は、例えば抵抗膜方式のタッチパネルが用いられる。 In the present embodiment, the touch panel C13, for example a resistive film type touch panel is used. ただし、タッチパネルC13は、抵抗膜方式に限らず、例えば静電容量方式等、任意の押圧式のタッチパネルを用いることができる。 However, the touch panel C13 is not limited to the resistive film type, it can be used, for example a capacitive type, etc., any press-type touch panel. 本実施形態では、タッチパネルC13として、下側LCDC12の解像度と同解像度(検出精度)のものを利用する。 In the present embodiment, the touch panel C13, that of the lower LCDC12 the same resolution (detection accuracy). ただし、必ずしもタッチパネルC13の解像度と下側LCDC12の解像度とが一致している必要はない。 However, it is not necessary to the resolution of the resolution and the lower LCDC12 touch panel C13 match. また、下側ハウジングC11の上側面には挿入口C17(図58および図60Dに示す点線)が設けられている。 Further, on the side insertion opening C17 of the lower housing C11 (dashed line shown in FIG. 58 and FIG. 60D) is provided. 挿入口C17は、タッチパネルC13に対する操作を行うために用いられるタッチペンC28を収納することができる。 Insertion port C17 can house a touch pen C28 used for performing an operation on the touch panel C13. なお、タッチパネルC13に対する入力は通常タッチペンC28を用いて行われるが、タッチペンC28に限らずユーザの指でタッチパネルC13に対する入力をすることも可能である。 The input to the touch panel C13 is usually made by using the touch pen C28, it is possible to input to the touch panel C13 a finger of the user is not limited to the stylus C28.

各操作ボタンC14A〜C14Lは、所定の入力を行うための入力装置である。 Each operation buttons C14A~C14L is an input device for performing a predetermined input. 図58に示されるように、下側ハウジングC11の内側面(主面)には、各操作ボタンC14A〜C14Lのうち、十字ボタンC14A(方向入力ボタンC14A)、ボタンC14B、ボタンC14C、ボタンC14D、ボタンC14E、電源ボタンC14F、セレクトボタンC14J、HOMEボタンC14K、およびスタートボタンC14Lが設けられる。 As shown in Figure 58, the inner side surface of the lower housing C11 (main surface) of the operation buttons C14A~C14L, a cross button C14a (the direction input button C14a), button C14B, buttons C14C, button C14D, button C14E, power button C14F, select button C14J, HOME button C14K, and the start button C14L provided. 十字ボタンC14Aは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。 The cross button C14A has a cross shape, and has a button for instructing vertical and horizontal directions. ボタンC14B、ボタンC14C、ボタンC14D、およびボタンC14Eは、十字状に配置される。 Button C14B, buttons C14C, buttons C14D, and buttons C14E are arranged in a cross shape. ボタンC14A〜C14E、セレクトボタンC14J、HOMEボタンC14K、およびスタートボタンC14Lには、ゲーム装置C10が実行するプログラムに応じた機能が適宜割り当てられる。 Button C14A~C14E, select button C14J, HOME button C14K, and the start button C14L, functions in accordance with the program of the game apparatus C10 is performed appropriately assigned. 例えば、十字ボタンC14Aは選択操作等に用いられ、各操作ボタンC14B〜C14Eは例えば決定操作やキャンセル操作等に用いられる。 For example, the cross button C14A is used for a selection operation, the operation buttons C14B~C14E is used, for example, for a determination operation, a cancellation operation, and the like. また、電源ボタンC14Fは、ゲーム装置C10の電源をオン/オフするために用いられる。 The power button C14F is used to turn on / off the power of the game device C10.

アナログスティックC15は、方向を指示するデバイスであり、下側ハウジングC11の内側面の下側LCDC12より左側領域の上部領域に設けられる。 Analog stick C15 is a device for indicating the direction, is provided in the upper region of the left region from the lower side LCDC12 of the inner surface of the lower housing C11. 図58に示すように、十字ボタンC14Aが下側LCDC12より左側領域の下部領域に設けられ、アナログスティックC15が十字ボタンC14Aの上方に設けられる。 As shown in FIG. 58, a cross button C14a is provided in the lower region of the left region from the lower LCDC12, analog stick C15 is provided above the cross button C14a. また、アナログスティックC15および十字ボタンC14Aは、下側ハウジングC11を把持した左手の親指で操作可能な位置に設計される。 The analog stick C15 and cross button C14A is designed operable position with the thumb of the left hand holding the lower housing C11. また、アナログスティックC15を上部領域に設けたことにより、下側ハウジングC11を把持する左手の親指が自然と位置するところにアナログスティックC15が配され、十字ボタンC14Aは、左手の親指を少し下にずらした位置に配される。 Further, by providing the analog stick C15 in the upper area, the analog stick C15 is disposed at the left thumb holding the lower housing C11 is positioned naturally, cross button C14A is a left thumb slightly below They are arranged in staggered position. アナログスティックC15は、そのキートップが、下側ハウジングC11の内側面に平行にスライドするように構成されている。 Analog stick C15, the key top is configured to slide parallel to the inner surface of the lower housing C11. アナログスティックC15は、ゲーム装置C10が実行するプログラムに応じて機能する。 Analog stick C15 functions according to the program by the game apparatus C10 is executed. 例えば、3次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置C10によって実行される場合、アナログスティックC15は、当該所定のオブジェクトを3次元仮想空間内で移動させるための入力装置として機能する。 For example, if the game 3-dimensional virtual space to a predetermined object appears is executed by the game device C10, analog stick C15 functions as an input device for moving the predetermined object in three-dimensional virtual space. この場合において、所定のオブジェクトは、アナログスティックC15のキートップがスライドした方向に移動される。 In this case, the predetermined object, the key top of the analog stick C15 is moved in a direction slide. なお、アナログスティックC15として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いてもよい。 As analog stick C15, it may also be used which enables an analog input by being tilted by a predetermined amount in any direction of up, down, left and right and oblique directions.

十字状に配置される、ボタンC14B、ボタンC14C、ボタンC14D、およびボタンC14Eの4つのボタンは、下側ハウジングC11を把持する右手の親指が自然と位置するところに配置される。 Are arranged in a cross shape, four buttons of the button C14B, buttons C14C, buttons C14D, and buttons C14E is located where the thumb of the right hand holding the lower housing C11 is positioned with nature. また、これらの4つのボタンとアナログスティックC15とは、下側LCDC12を挟んで、左右対称に配置される。 Further, from these four buttons and analog stick C15, across the lower LCDC12, they are arranged symmetrically. これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの4つのボタンを使用して方向指示入力をすることも可能である。 Thus, depending on a game program, for example, left-handed people, it is also possible to make the direction indication input using these four buttons.

また、下側ハウジングC11の内側面には、マイクロフォン用孔C18が設けられる。 Further, on the inner surface of the lower housing C11, microphone hole C18 it is provided. マイクロフォン用孔C18の下部には後述する音声入力装置としてのマイク(図61参照)が設けられ、当該マイクがゲーム装置C10の外部の音を検出する。 Under the microphone hole C18 is provided a microphone (see FIG. 61) as a sound input device described below, and the microphone detects a sound from the outside of the game apparatus C10.

図60Bおよび図60Dに示されるように、下側ハウジングC11の上側面には、LボタンC14GおよびRボタンC14Hが設けられている。 As shown in FIGS. 60B and FIG. 60D, the upper side surface of the lower housing C11, L button C14G and the R button C14H is provided. LボタンC14Gは、下側ハウジングC11の上面の左端部に設けられ、RボタンC14Hは、下側ハウジングC11の上面の右端部に設けられる。 L button C14G is provided at a left end portion of the upper surface of the lower housing C11, R button C14H is provided at a right end portion of the upper surface of the lower housing C11. 後述のように、LボタンC14GおよびRボタンC14Hは、撮像部のシャッターボタン(撮影指示ボタン)として機能する。 As described below, L button C14G and the R button C14H functions as a shutter button of the imaging unit (imaging instruction button). また、図60Aに示されるように、下側ハウジングC11の左側面には、音量ボタンC14Iが設けられる。 Further, as shown in FIG. 60A, the left side surface of the lower housing C11, volume buttons C14I is provided. 音量ボタンC14Iは、ゲーム装置C10が備えるスピーカの音量を調整するために用いられる。 Volume button C14I is used to adjust the sound volume of a speaker of the game apparatus C10 includes.

図60Aに示されるように、下側ハウジングC11の左側面には開閉可能なカバー部C11Cが設けられる。 As shown in FIG. 60A, openable cover C11C is provided on the left side surface of the lower housing C11. このカバー部C11Cの内側には、ゲーム装置C10とデータ保存用外部メモリC46とを電気的に接続するためのコネクタ(図示せず)が設けられる。 Inside the cover C11C, connector for electrically connecting the game device C10 and the external data storage memory C46 (not shown) is provided. データ保存用外部メモリC46は、上記コネクタに着脱自在に装着される。 The external data storage memory C46 is detachably attached to the connector. データ保存用外部メモリC46は、例えば、ゲーム装置C10によって撮像された画像のデータを記憶(保存)するために用いられる。 The external data storage memory C46 is used, for example, to store data of an image captured by the game apparatus C10 (save). なお、上記コネクタおよびそのカバー部C11Cは、下側ハウジングC11の右側面に設けられてもよい。 It should be noted that the connector and its cover C11C may be provided on the right side surface of the lower housing C11.

図60Dに示されるように、下側ハウジングC11の上側面にはゲーム装置C10とゲームプログラムを記録した外部メモリC45を挿入するための挿入口C11Dが設けられ、その挿入口C11Dの内部には、外部メモリC45と電気的に着脱自在に接続するためのコネクタ(図示せず)が設けられる。 As shown in FIG. 60D, the insertion opening C11D for on the side of inserting the external memory C45 recording the game device C10 and the game program of the lower housing C11 are mounted on the inside of the insertion opening C11D, external memory C45 and electrically removably connector for connecting (not shown) is provided. 外部メモリC45がゲーム装置C10に接続されることにより、所定のゲームプログラムが実行される。 By external memory C45 is connected to the game device C10, a predetermined game program is executed. なお、上記コネクタおよび挿入口C11Dは、下側ハウジングC11の他の側面(例えば、右側面等)に設けられてもよい。 It should be noted that the connector and insertion opening C11D may be provided on another side of the lower housing C11 (e.g., right side, etc.).

図58に示されるように、下側ハウジングC11の下側面には、ゲーム装置C10の電源のON/OFF状況をユーザに通知する第1LEDC16Aが設けられる。 As shown in Figure 58, the lower surface of the lower housing C11, the 1LEDC16A is provided for notifying the ON / OFF state of a power supply of the game apparatus C10 user. また、図60Cに示されるように、下側ハウジングC11の右側面には、ゲーム装置C10の無線通信の確立状況をユーザに通知する第2LEDC16Bが設けられる。 Further, as shown in FIG. 60C, the right side surface of the lower housing C11, the 2LEDC16B is provided for notifying the establishment state of the wireless communication of the game apparatus C10 user. ゲーム装置C10は、他の機器との間で無線通信を行うことが可能であり、第2LEDC16Bは、他の機器との無線通信が確立している場合に点灯する。 Game device C10 is capable of performing wireless communication with other devices, the 2LEDC16B is lit up when the wireless communication with another device is established. ゲーム装置C10は、例えば、IEEE802.11. Game device C10 is, for example, IEEE802.11. b/gの規格に準拠した方式により、無線LANに接続する機能を有する。 The method compliant with the b / g standards, has a function of connecting to a wireless LAN. 下側ハウジングC11の右側面には、この無線通信の機能を有効/無効にする無線スイッチC19が設けられる(図60C参照)。 On the right side surface of the lower housing C11, wireless switch C19 is provided for enabling / disabling the function of the wireless communication (see FIG. 60C).

なお、図示は省略するが、下側ハウジングC11には、ゲーム装置C10の電源となる充電式電池が収納され、下側ハウジングC11の側面(例えば、上側面)に設けられた端子を介して当該電池を充電することができる。 Although not shown, the lower housing C11, rechargeable battery as a power source of the game device C10 is accommodated, the side surface of the lower housing C11 (e.g., upper surface) via a terminal provided on the it is possible to charge the battery.

上側ハウジングC21には、上側LCDC22、2つの外側撮像部C23(外側左撮像部C23aおよび外側右撮像部C23b)、内側撮像部C24、3D調整スイッチC25、および3DインジケータC26が設けられる。 The upper housing C21, upper LCDC22,2 one outer imaging section C23 (left outer capturing section C23a and the right outer imaging section C23b), inner imaging section C24,3D adjustment switch C25, and 3D indicator C26 is provided. 以下、これらの詳細について説明する。 Hereinafter, these components will be described in detail.

図58に示すように、上側LCDC22は、上側ハウジングC21に収納される。 As shown in FIG. 58, the upper LCDC22 is accommodated in the upper housing C21. 上側LCDC22は、横長形状であり、長辺方向が上側ハウジングC21の長辺方向に一致するように配置される。 The upper LCDC22 is a horizontally long shape, and is located such that a long side direction thereof corresponds to a long side direction of the upper housing C21. 上側LCDC22は、上側ハウジングC21の中央に配置される。 The upper LCDC22 is centrally disposed upper housing C21. 上側LCDC22の画面の面積は、一例として下側LCDC12の画面の面積よりも大きく設定される。 Area of ​​the screen of the upper LCDC22 is set larger than the area of ​​the screen of the lower LCDC12 as an example. 具体的には、上側LCDC22の画面は、下側LCDC12の画面よりも横長に設定される。 Specifically, the screen of the upper LCDC22 is set horizontally longer than the screen of the lower LCDC12. すなわち、上側LCDC22の画面のアスペクト比における横幅の割合は、下側LCDC12の画面のアスペクト比における横幅の割合よりも大きく設定される。 That is, the ratio of the horizontal width in the aspect ratio of the screen of the upper LCDC22 is set larger than the ratio of the horizontal width in the aspect ratio of the screen of the lower LCDC12.

上側LCDC22の画面は、上側ハウジングC21の内側面(主面)C21Bに設けられ、上側ハウジングC21の内側面に設けられた開口部から上側LCDC22の画面が露出する。 Screen of the upper LCDC22 is provided on the inner surface (main surface) C21b of the upper housing C21, the screen of the upper LCDC22 is exposed from the opening provided in the inner surface of the upper housing C21. また、図59に示すように、上側ハウジングC21の内側面は、透明なスクリーンカバーC27によって覆われている。 Further, as shown in FIG. 59, the inner surface of the upper housing C21 is covered by a transparent screen cover C27. スクリーンカバーC27は、上側LCDC22の画面を保護するとともに、上側LCDC22と上側ハウジングC21の内側面と一体的にさせ、これにより統一感を持たせている。 Screen cover C27 protects the screen of the upper LCDC22, which is the inner surface integral with upper LCDC22 an upper housing C21, thereby to have a sense of unity. 上側LCDC22の画素数は、一例として640dot×200dot(横×縦)である。 Number of pixels of the upper LCDC22 is 640 dots × 200 dots as an example (horizontal × vertical). 他の例として、上側LCDC22の画素数は、800dot×240dot(横×縦)である。 As another example, the number of pixels of upper LCDC22 is 800 dots × 240 dots (horizontal × vertical). なお、本実施形態では、上側LCDC22が液晶表示装置であるとしたが、例えばELを利用した表示装置などが利用されてもよい。 In the present embodiment, although the upper LCDC22 is as a liquid crystal display device, for example it may be utilized, such as a display device using the EL is. また、上側LCDC22として、任意の解像度の表示装置を利用することができる。 Further, as the upper LCDC22, it is possible to use a display device having any resolution.

上側LCDC22は、立体視可能な画像を表示することが可能な表示装置である。 The upper LCDC22 is a display device capable of displaying a stereoscopically visible image. 上側LCDC22は、実質的に同一の表示領域を用いて左目用画像と右目用画像とを表示することが可能である。 The upper LCDC22 is capable of displaying a left eye image and a right eye image using substantially the same display area. 具体的には、上側LCDC22は、左目用画像と右目用画像とが所定単位で(例えば、1列ずつ)横方向に交互に表示される方式の表示装置である。 Specifically, the upper LCDC22 is a display device using a method in which the left-eye image and the right-eye image are displayed alternately in predetermined units (e.g., one row) in the lateral direction. 一例として、上側LCDC22の画素数が800dot×240dotで構成される場合、横の800ピクセルを左目用画像と右目用画像とに交互にそれぞれ400ピクセル割り当てることによって立体視が可能となる。 As an example, the number of pixels of the upper LCDC22 be composed of 800 dots × 240 dots, it is possible to stereoscopically by assigning each 400 pixels alternately next to 800 pixels and the left-eye image and the right-eye image. なお、上側LCDC22は、左目用画像と右目用画像とが交互に表示される方式の表示装置であってもよい。 Incidentally, the upper LCDC22 may be a display device using a method in which the left-eye image and the right-eye image are displayed alternately. また、上側LCDC22は、裸眼立体視可能な表示装置である。 The upper LCDC22 is autostereoscopic display device capable. この場合、上側LCDC22は、横方向に交互に表示される左目用画像と右目用画像とを左目および右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式(視差バリア方式)のものが用いられる。 What this case, the upper LCDC22 is lenticular system and a parallax barrier type as a left eye image and a right eye image displayed laterally alternately appear to decompose the respective left and right eyes of (parallax barrier method) It is used. 本実施形態では、上側LCDC22は、パララックスバリア方式のものとする。 In the present embodiment, the upper LCDC22 is a parallax barrier type. 上側LCDC22は、右目用画像と左目用画像とを用いて、裸眼で立体視可能な画像(立体画像)を表示する。 The upper LCDC22, using the right eye image and the left eye image, which is stereoscopically visible with naked eyes image (stereoscopic image). すなわち、上側LCDC22は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像をそれぞれ視認させることにより、ユーザにとって立体感のある立体画像(立体視可能な画像)を表示することができる。 That is, the upper LCDC22 is displayed by each visible image for a right eye and left eye images to the right eye of the user to the user's left eye, the stereoscopic image (stereoscopically visible image) having a three-dimensional appearance to the user using the parallax barrier can do. また、上側LCDC22は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる(上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右目にも左目にも見えるような表示モードである。)。 The upper LCDC22 is possible to disable the parallax barrier, when the parallax barrier is disabled, the image can be displayed in a planar manner (plane on the opposite meaning of the above-described stereoscopic it is possible to display an image of the view. in other words, the same image displayed is the display mode as seen with a left eye and a right eye.). このように、上側LCDC22は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する(平面視画像を表示する)平面表示モードとを切り替えることが可能な表示装置である。 Thus, the upper LCDC22 is a stereoscopic display mode and an image displayed in a planar manner (Show the plan view image) planar display mode and the display device capable of switching the displaying the stereoscopically visible image . この表示モードの切り替えは、後述する3D調整スイッチC25によって行われる。 The switching of the display mode is performed by the 3D adjustment switch C25 to be described later.

外側撮像部C23は、上側ハウジングC21の外側面(上側LCDC22が設けられた主面と反対側の背面)C21Dに設けられた2つの撮像部(外側左撮像部C23aおよび外側右撮像部C23b)の総称である。 The outer imaging section C23, the outer surface of the upper housing C21 of two imaging section provided in the (upper LCDC22 is the main surface provided opposite to the back surface) C21d (left outer capturing section C23a and the right outer imaging section C23b) it is a generic name. 外側左撮像部C23aおよび外側右撮像部C23bの撮像方向は、いずれも外側面C21Dの外向きの法線方向である。 Imaging direction of the left outer imaging section C23a and the right outer imaging section C23b are both the outward normal direction of the outer surface C21d. また、外側左撮像部C23aおよび外側右撮像部C23bは、いずれも、上側LCDC22の表示面(内側面)の法線方向と180度反対の方向に設計される。 The outer left imaging unit C23a and the right outer imaging section C23b are both designed in the normal direction 180 degrees opposite to the direction of the display surface of the upper LCDC22 (inside surface). すなわち、外側左撮像部C23aの撮像方向および外側右撮像部C23bの撮像方向は、平行である。 That is, the imaging direction of the imaging direction and the right outer imaging section C23b of the left outer imaging section C23a are parallel. 外側左撮像部C23aと外側右撮像部C23bとは、ゲーム装置C10が実行するプログラムによって、ステレオカメラとして使用することが可能である。 The left outer imaging section C23a and an outer right imaging unit C23b, the program game device C10 is executed, it is possible to use as a stereo camera. また、プログラムによっては、2つの外側撮像部(外側左撮像部C23aおよび外側右撮像部C23b)のいずれか一方を単独で用いて、外側撮像部C23を非ステレオカメラとして使用することも可能である。 Also, depending on the program, two outer imaging section using one of (left outer capturing section C23a and the right outer imaging section C23b) alone, it is also possible to use the outer imaging section C23 as a non-stereo camera . また、プログラムによっては、2つの外側撮像部(外側左撮像部C23aおよび外側右撮像部C23b)で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像を行うことも可能である。 Further, depending on the program, also for imaging with wider imaging range by using the images captured by the two outer imaging section (left outer capturing section C23a and the right outer imaging section C23b) synthesized with or complementarily possible it is. 本実施形態では、外側撮像部C23は、外側左撮像部C23aおよび外側右撮像部C23bの2つの撮像部で構成される。 In this embodiment, the outer imaging section C23 is composed of two imaging units of the left outer imaging section C23a and the right outer imaging section C23b. 外側左撮像部C23aおよび外側右撮像部C23bは、それぞれ所定の共通の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。 Left outer capturing section C23a and the right outer imaging section C23b includes an imaging device having a common predetermined resolution (eg, CCD image sensor or a CMOS image sensor), and a lens. レンズは、ズーム機構を有するものでもよい。 The lens may have a zooming mechanism.

図58の破線および図60Bの実線で示されるように、外側撮像部C23を構成する外側左撮像部C23aおよび外側右撮像部C23bは、上側LCDC22の画面の横方向と平行に並べられて配置される。 As indicated by the solid line in broken lines and Figure 60B in FIG. 58, the left outer imaging section C23a and the right outer imaging section C23b constituting the outer imaging section C23 is arranged aligned parallel to the horizontal direction of the screen of the upper LCDC22 that. すなわち、2つの外側左撮像部C23aおよび外側右撮像部C23bを結んだ直線が上側LCDC22の画面の横方向と平行になるように、外側左撮像部C23aおよび外側右撮像部C23bが配置される。 That is, connecting the two outer left imaging unit C23a and the right outer imaging section C23b straight line so that parallel to the horizontal direction of the screen of the upper LCDC22, the outer left imaging unit C23a and the right outer imaging section C23b are located. 図58の破線C23aおよびC23bは、上側ハウジングC21の内側面とは反対側の外側面に存在する外側左撮像部C23aおよび外側右撮像部C23bをそれぞれ表している。 Dashed C23a and C23b in FIG. 58 represent respectively the left outer imaging section C23a and the right outer imaging section C23b present outside surface opposite to the inner surface of the upper housing C21. 図58に示すように、ユーザが上側LCDC22の画面を正面から視認した場合に、外側左撮像部C23aは左側に外側右撮像部C23bは右側にそれぞれ位置する。 As shown in FIG. 58, the user when viewing the screen of the upper LCDC22 from the front, the left outer imaging section C23a outer right imaging unit C23b on the left side are located respectively on the right. 外側撮像部C23をステレオカメラとして機能させるプログラムが実行されている場合、外側左撮像部C23aは、ユーザの左目で視認される左目用画像を撮像し、外側右撮像部C23bは、ユーザの右目で視認される右目用画像を撮像する。 If a program that causes a outer imaging section C23 as a stereo camera is executed, the left outer imaging section C23a, captures a left-eye image to be viewed by the user's left eye, the right outer imaging section C23b, the user's right eye capturing an eye image to be viewed. 外側左撮像部C23aおよび外側右撮像部C23bの間隔は、人間の両目の間隔程度に設定され、例えば、30mm〜70mmの範囲で設定されてもよい。 Spacing of the outer left imaging unit C23a and the right outer imaging section C23b is set to about the human eye separation, for example, may be set in a range of 30 mm to 70 mm. なお、外側左撮像部C23aおよび外側右撮像部C23bの間隔は、この範囲に限らない。 The distance between the left outer imaging section C23a and the right outer imaging section C23b is not limited to this range.

なお、本実施例においては、外側左撮像部C23aおよび外側右撮像部C23bは、ハウジングに固定されており、撮像方向を変更することはできない。 In the present embodiment, the left outer imaging section C23a and the right outer imaging section C23b is fixed to the housing, it is not possible to change the imaging direction.

外側左撮像部C23aおよび外側右撮像部C23bは、上側LCDC22(上側ハウジングC21)の左右方向に関して中央から対称となる位置にそれぞれ配置される。 Left outer capturing section C23a and the right outer imaging section C23b are located respectively at the center to be symmetrical from the position in the left-right direction of the upper LCDC22 (upper housing C21). すなわち、外側左撮像部C23aおよび外側右撮像部C23bは、上側LCDC22を左右に2等分する線に対して対称の位置にそれぞれ配置される。 That is, the left outer imaging section C23a and the right outer imaging section C23b are located at positions symmetrical with respect to a line bisecting the upper LCDC22 right and left. また、外側左撮像部C23aおよび外側右撮像部C23bは、上側ハウジングC21を開いた状態において、上側ハウジングC21の上部であって、上側LCDC22の画面の上端よりも上方の位置の裏側に配置される。 The outer left imaging unit C23a and the right outer imaging section C23b, in opened upper housing C21, a top of the upper housing C21, is arranged on the back side of a position above the upper edge of the screen of the upper LCDC22 . すなわち、外側左撮像部C23aおよび外側右撮像部C23bは、上側ハウジングC21の外側面であって、上側LCDC22を外側面に投影した場合、投影した上側LCDC22の画面の上端よりも上方に配置される。 That is, the left outer imaging section C23a and the right outer imaging section C23b, an outer surface of the upper housing C21, when projected upper LCDC22 the outer surface, is disposed above the upper end of the screen of the upper LCDC22 projected .

このように、外側撮像部C23の2つの撮像部(外側左撮像部C23aおよび外側右撮像部C23b)が上側LCDC22の左右方向に関して中央から対称の位置に配置されることにより、ユーザが上側LCDC22を正視した場合に、外側撮像部C23それぞれの撮像方向をユーザの左右の目それぞれの視線方向と一致させることができる。 Thus, by two imaging units of the outer imaging section C23 (left outer capturing section C23a and the right outer imaging section C23b) it is located in the center of the symmetrical positions with respect to the left-right direction of the upper LCDC22, user upper LCDC22 when orthoscopic, it is possible to match the respective imaging direction outer imaging section C23 and the left and right eye each viewing direction of the user. また、外側撮像部C23は、上側LCDC22の画面の上端より上方の裏側の位置に配置されるため、外側撮像部C23と上側LCDC22とが上側ハウジングC21の内部で干渉することがない。 The outer imaging section C23 is to be disposed above the rear position the upper end of the screen of the upper LCDC22, never the outer imaging section C23 and the upper LCDC22 interfere with each other inside the upper housing C21. したがって、外側撮像部C23を上側LCDC22の画面の裏側に配置する場合と比べて、上側ハウジングC21を薄く構成することが可能となる。 Therefore, as compared with the case of arranging the outer imaging section C23 on the back side of the screen of the upper LCDC22, it is possible to construct thin upper housing C21.

内側撮像部C24は、上側ハウジングC21の内側面(主面)C21Bに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。 The inner imaging section C24 is provided on the inner surface (main surface) C21b of the upper housing C21, which is an imaging unit for the normal direction of the inward of the inner surface and the imaging direction. 内側撮像部C24は、所定の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。 The inner imaging section C24 includes an imaging device having a predetermined resolution (eg, CCD image sensor or a CMOS image sensor), and a lens. レンズは、ズーム機構を有するものでもよい。 The lens may have a zooming mechanism.

図58に示すように、内側撮像部C24は、上側ハウジングC21を開いた状態において、上側ハウジングC21の上部であって、上側LCDC22の画面の上端よりも上方に配置され、上側ハウジングC21の左右方向に関して中央の位置(上側ハウジングC21(上側LCDC22の画面)を左右に2等分する線の線上)に配置される。 As shown in FIG. 58, the inner imaging section C24, in a state where the open upper housing C21, a top of the upper housing C21, the upper end of the screen of the upper LCDC22 disposed above the left and right direction of the upper housing C21 will be disposed in the center (line line bisecting the upper housing C21 (the screen of the upper LCDC22) to the left and right) with respect to. 具体的には、図58および図60Bに示されるように、内側撮像部C24は、上側ハウジングC21の内側面であって、外側左撮像部C23aおよび外側右撮像部C23bの中間の裏側の位置に配置される。 Specifically, as shown in FIGS. 58 and 60B, the inner imaging section C24 is an inner surface of the upper housing C21, in the middle of the back side of the position of the left outer capturing section C23a and the right outer imaging section C23b It is placed. すなわち、上側ハウジングC21の外側面に設けられた外側左撮像部C23aおよび外側右撮像部C23bを上側ハウジングC21の内側面に投影した場合、当該投影した外側左撮像部C23aおよび外側右撮像部C23bの中間に、内側撮像部C24が設けられる。 That is, the left outer imaging section C23a and the right outer imaging section C23b provided on the outer surface of the upper housing C21 when projected on the inner surface of the upper housing C21, the projected outer left imaging unit C23a and the right outer imaging section C23b the intermediate, the inner imaging section C24 is provided. 図60Bで示される破線C24は、上側ハウジングC21の内側面に存在する内側撮像部C24を表している。 Dashed C24 shown in FIG. 60B represents the inner imaging section C24 present on the inner surface of the upper housing C21.

このように、内側撮像部C24は、外側撮像部C23とは反対方向を撮像する。 Thus, the inner imaging section C24, the outer imaging section C23 to image the opposite direction. 内側撮像部C24は、上側ハウジングC21の内側面であって、2つの外側撮像部C23の中間位置となる裏側に設けられる。 The inner imaging section C24 is an inner surface of the upper housing C21, is provided on the back side of the middle position of the two outer imaging section C23. これにより、ユーザが上側LCDC22を正視した際、内側撮像部C24でユーザの顔を正面から撮像することができる。 Thus, when a user views the upper LCDC22, it is possible to capture the face of the user from the front by the inner imaging section C24. また、外側左撮像部C23aおよび外側右撮像部C23bと内側撮像部C24とが上側ハウジングC21の内部で干渉することがないため、上側ハウジングC21を薄く構成することが可能となる。 Further, since the outer left imaging unit C23a and the right outer imaging section C23b and an inner imaging section C24 do not interfere with the interior of the upper housing C21, it is possible to construct thin upper housing C21.

3D調整スイッチC25は、スライドスイッチであり、上述のように上側LCDC22の表示モードを切り替えるために用いられるスイッチである。 3D adjustment switch C25 is a slide switch, and is used to switch the display mode of the upper LCDC22 as described above. また、3D調整スイッチC25は、上側LCDC22に表示された立体視可能な画像(立体画像)の立体感を調整するために用いられる。 Also, 3D adjustment switch C25 is used to adjust the stereoscopic effect of the displayed stereoscopically visible image on the upper LCDC22 (stereoscopic image). 図58〜図60Dに示されるように、3D調整スイッチC25は、上側ハウジングC21の内側面および右側面の端部に設けられ、ユーザが上側LCDC22を正視した場合に、当該3D調整スイッチC25を視認できる位置に設けられる。 As shown in FIG. 58 to FIG. 60D, the 3D adjustment switch C25 is provided at an end of the inner side surface and the right side surface of the upper housing C21, when the user views the upper LCDC22, viewing the 3D adjustment switch C25 It provided it position. 3D調整スイッチC25は、所定方向(例えば、上下方向)の任意の位置にスライド可能なスライダを有しており、当該スライダの位置に応じて上側LCDC22の表示モードが設定される。 3D adjustment switch C25 is a predetermined direction (e.g., vertical direction) has a slidable slider in an arbitrary position of the display mode of the upper LCDC22 is set in accordance with the position of the slider.

例えば、3D調整スイッチC25のスライダが最下点位置に配置されている場合、上側LCDC22が平面表示モードに設定され、上側LCDC22の画面には平面画像が表示される。 For example, when the slider of the 3D adjustment switch C25 is disposed on the lowermost position, the upper LCDC22 is set to the planar display mode, on the screen of the upper LCDC22 displays planar images. なお、上側LCDC22を立体表示モードのままとして、左目用画像と右目用画像とを同一の画像とすることにより平面表示してもよい。 Incidentally, the upper LCDC22 step, while the stereoscopic display mode, may be planar display by a left eye image and a right eye image and the same image. 一方、上記最下点位置より上側にスライダが配置されている場合、上側LCDC22は立体表示モードに設定される。 On the other hand, when the slider above the said lowermost position is located, the upper LCDC22 is set to the stereoscopic display mode. この場合、上側LCDC22の画面には立体視可能な画像が表示される。 In this case, on the screen of the upper LCDC22 is displayed stereoscopically visible image. ここで、スライダが上記最下点位置より上側に配置されている場合、スライダの位置に応じて、立体画像の見え方が調整される。 Here, when the slider is placed above the said lowermost position, in accordance with the position of the slider, the stereoscopic image is visible is adjusted. 具体的には、スライダの位置に応じて、右目用画像および左目用画像における横方向の位置のずれ量が調整される。 Specifically, according to the position of the slider, the deviation amount of the position in the lateral direction of the right eye image and the left eye image is adjusted.

3DインジケータC26は、上側LCDC22が立体表示モードか否かを示す。 3D indicator C26, the upper LCDC22 indicates whether the stereoscopic display mode. 例えば、3DインジケータC26は、LEDであり、上側LCDC22の立体表示モードが有効の場合に点灯する。 For example, 3D indicator C26 is LED, and the stereoscopic display mode of the upper LCDC22 is lit when valid. 図58に示されるように、3DインジケータC26は、上側ハウジングC21の内側面に設けられ、上側LCDC22の画面近傍に設けられる。 As shown in FIG. 58, 3D indicator C26 is provided on the inner surface of the upper housing C21, provided near the screen of the upper LCDC22. このため、ユーザが上側LCDC22の画面を正視した場合、ユーザは3DインジケータC26を視認しやすい。 Therefore, when the user views the screen of the upper LCDC22, the user easily view the 3D indicator C26. したがって、ユーザは、上側LCDC22の画面を視認している状態でも、上側LCDC22の表示モードを容易に認識することができる。 Therefore, the user, even in a state in which viewing the screen of the upper LCDC22, it is possible to recognize the display mode of the upper LCDC22 easily.

また、上側ハウジングC21の内側面には、スピーカ孔C21Eが設けられる。 Further, on the inner surface of the upper housing C21, speaker hole C21E is provided. 後述するスピーカC44からの音声がこのスピーカ孔C21Eから出力される。 Sound from below to the speaker C44 is outputted through the speaker hole C21E.

次に、図61を参照して、ゲーム装置C10の内部構成を説明する。 Next, referring to FIG. 61, illustrating the internal configuration of the game device C10. なお、図61は、ゲーム装置C10の内部構成の一例を示すブロック図である。 Incidentally, FIG. 61 is a block diagram showing an example of the internal configuration of the game device C10.

図61において、ゲーム装置C10は、上述した各構成部に加えて、情報処理部C31、メインメモリC32、外部メモリインターフェイス(外部メモリI/F)C33、データ保存用外部メモリI/FC34、データ保存用内部メモリC35、無線通信モジュールC36、ローカル通信モジュールC37、リアルタイムクロック(RTC)C38、加速度センサC39、角速度センサC40、電源回路C41、およびインターフェイス回路(I/F回路)C42等の電子部品を備えている。 In Figure 61, the game device C10, in addition to the respective components described above, the information processing unit C31, a main memory C32, the external memory interface (external memory I / F) C33, external data storage memory I / FC34, data storage use the internal memory C35, the wireless communication module C36, comprising a local communication module C37, real time clock (RTC) C38, the acceleration sensor C39, the angular velocity sensor C40, power supply circuit C41, and an electronic component such as an interface circuit (I / F circuit) C42 ing. これらの電子部品は、電子回路基板上に実装されて下側ハウジングC11(または上側ハウジングC21でもよい)内に収納される。 These electronic components are accommodated in the lower housing C11 (or the upper housing C21) within is mounted on an electronic circuit board.

情報処理部C31は、所定のプログラムを実行するためのCPU(Central Processing Unit)C311、画像処理を行うGPU(Graphics Processing Unit)C312等を含む情報処理手段である。 The information processing unit C31 is, CPU for executing a predetermined program (Central Processing Unit) C311, an information processing means including a GPU (Graphics Processing Unit) C312 or the like for image processing. 本実施形態では、所定のプログラムがゲーム装置C10内のメモリ(例えば外部メモリI/FC33に接続された外部メモリC45やデータ保存用内部メモリC35)に記憶されている。 In the present embodiment, the predetermined program is stored in a memory (e.g., external memory I / FC33 connected external memory C45 and the internal data storage memory C35) in the game device C10. 情報処理部C31のCPUC311は、当該所定のプログラムを実行することによって、後述する画像処理やゲーム処理を実行する。 CPUC311 information processing unit C31 by executing the predetermined program, performs image processing and game processing described later. なお、情報処理部C31のCPUC311によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。 The program executed by CPUC311 information processing unit C31 through communication with other equipment may be obtained from another device. また、情報処理部C31は、VRAM(Video RAM)C313を含む。 In addition, the information processing unit C31 includes a VRAM (Video RAM) C313. 情報処理部C31のGPUC312は、情報処理部C31のCPUC311からの命令に応じて画像を生成し、VRAMC313に描画する。 GPUC312 information processing unit C31 generates an image in accordance with an instruction from CPUC311 information processing unit C31, to draw VRAMC313. そして、情報処理部C31のGPUC312は、VRAMC313に描画された画像を上側LCDC22および/または下側LCDC12に出力し、上側LCDC22および/または下側LCDC12に当該画像が表示される。 Then, GPUC312 information processing unit C31 outputs the image rendered in the VRAMC313 the upper LCDC22 and / or lower LCDC12, the image is displayed on the upper LCDC22 and / or lower LCDC12.

情報処理部C31には、メインメモリC32、外部メモリI/FC33、データ保存用外部メモリI/FC34、およびデータ保存用内部メモリC35が接続される。 The information processing unit C31 includes a main memory C32, the external memory I / FC33, external data storage memory I / FC34, and internal data storage memory C35 is connected. 外部メモリI/FC33は、外部メモリC45を着脱自在に接続するためのインターフェイスである。 The external memory I / FC33 is an interface for connecting an external memory C45 detachably. また、データ保存用外部メモリI/FC34は、データ保存用外部メモリC46を着脱自在に接続するためのインターフェイスである。 The external memory I / FC34 for data storage is an interface for connecting the external data storage memory C46 detachably.

メインメモリC32は、情報処理部C31(CPUC311)のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。 The main memory C32 is volatile storage means used as a work area or a buffer area of ​​the information processing unit C31 (CPUC311). すなわち、メインメモリC32は、画像処理やゲーム処理で用いられる各種データを一時的に記憶したり、外部(外部メモリC45や他の機器等)から取得されるプログラムを一時的に記憶したりする。 That is, the main memory C32 is used for temporarily storing various data used in the image processing and game processing, and temporarily stores a program obtained from the outside (external memory C45 and other equipment, etc.). 本実施形態では、メインメモリC32として例えばPSRAM(Pseudo−SRAM)を用いる。 In the present embodiment, it is used as the main memory C32 e.g. PSRAM (Pseudo-SRAM).

外部メモリC45は、情報処理部C31によって実行されるプログラムを記憶するための不揮発性の記憶手段である。 External memory C45 is nonvolatile storage means for storing a program executed by the information processing unit C31. 外部メモリC45は、例えば読み取り専用の半導体メモリで構成される。 External memory C45 may, for example, a read-only semiconductor memory. 外部メモリC45が外部メモリI/FC33に接続されると、情報処理部C31は外部メモリC45に記憶されたプログラムを読み込むことができる。 When the external memory C45 is connected to the external memory I / FC33, the information processing unit C31 can read a program stored in the external memory C45. 情報処理部C31が読み込んだプログラムを実行することにより、所定の処理が行われる。 By executing the information processing unit C31 program loaded, predetermined processing is performed. データ保存用外部メモリC46は、不揮発性の読み書き可能なメモリ(例えばNAND型フラッシュメモリ)で構成され、所定のデータを格納するために用いられる。 The external data storage memory C46 is composed of a non-volatile readable and writable memory (for example, a NAND flash memory), and is used for storing predetermined data. 例えば、データ保存用外部メモリC46には、外側撮像部C23で撮像された画像や他の機器で撮像された画像が記憶される。 For example, the external data storage memory C46, ​​the image captured by the captured image and other equipment in the outer imaging section C23 is stored. データ保存用外部メモリC46がデータ保存用外部メモリI/FC34に接続されると、情報処理部C31はデータ保存用外部メモリC46に記憶された画像を読み込み、上側LCDC22および/または下側LCDC12に当該画像を表示することができる。 When the external data storage memory C46 is connected to the external data storage memory I / FC34, the information processing unit C31 reads an image stored in the external data storage memory C46, ​​the upward LCDC22 and / or lower LCDC12 image can be displayed.

データ保存用内部メモリC35は、読み書き可能な不揮発性メモリ(例えばNAND型フラッシュメモリ)で構成され、所定のデータを格納するために用いられる。 Internal data storage memory C35 is constituted by a nonvolatile readable and writable memory (e.g., NAND-type flash memory), and is used for storing predetermined data. 例えば、データ保存用内部メモリC35には、無線通信モジュールC36を介した無線通信によってダウンロードされたデータやプログラムが格納される。 For example, the internal data storage memory C35, the data and programs downloaded by wireless communication via the wireless communication module C36 is stored.

無線通信モジュールC36は、例えばIEEE802.11. Wireless communication module C36, for example IEEE 802.11. b/gの規格に準拠した方式により、無線LANに接続する機能を有する。 The method compliant with the b / g standards, has a function of connecting to a wireless LAN. また、ローカル通信モジュールC37は、所定の通信方式(例えば赤外線通信)により同種のゲーム装置との間で無線通信を行う機能を有する。 The local communication module C37 has a function of performing wireless communication with the game apparatus of the same type by a predetermined communication method (e.g., infrared communication). 無線通信モジュールC36およびローカル通信モジュールC37は、情報処理部C31に接続される。 Wireless communication module C36 and local communication module C37 is connected to the information processing unit C31. 情報処理部C31は、無線通信モジュールC36を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュールC37を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。 The information processing unit C31 may transmit and receive data between the send and receive data to and from other devices via the Internet, from another game apparatus of the same type by using the local communication module C37 with radio communication module C36 it can be or.

情報処理部C31には、加速度センサC39が接続される。 The information processing unit C31 includes the acceleration sensor C39 is connected. 加速度センサC39は、3軸(本実施形態では、xyz軸)方向に沿った直線方向の加速度(直線加速度)の大きさを検出する。 Acceleration sensor C39 has three axes (in this embodiment, xyz axes) for detecting the magnitude of the linear direction along the direction (linear acceleration). 加速度センサC39は、例えば下側ハウジングC11の内部に設けられる。 Acceleration sensor C39 is provided, for example, within the lower housing C11. 加速度センサC39は、図58に示すように、下側ハウジングC11の長辺方向をx軸、下側ハウジングC11の短辺方向をy軸、下側ハウジングC11の内側面(主面)に対して垂直な方向をz軸として、ゲーム装置C10の各軸方向へ生じる直線加速度の大きさをそれぞれ検出する。 Acceleration sensor C39, as shown in FIG. 58, x-axis and a long side direction of the lower housing C11, y-axis and the short side direction of the lower housing C11, to the inner surface of the lower housing C11 (main surface) and the direction perpendicular as z-axis, detects the respective linear acceleration magnitude a result each axial gaming device C10. なお、加速度センサC39は、例えば静電容量式の加速度センサとするが、他の方式の加速度センサを用いるようにしてもよい。 The acceleration sensor C39 is, for example, an acceleration sensor of electrostatic capacitance type, may be used an acceleration sensor of another type. また、加速度センサC39は、1軸または2軸方向を検出する加速度センサであってもよい。 The acceleration sensor C39 may be an acceleration sensor for detecting a uniaxial or biaxial direction. 情報処理部C31は、加速度センサC39が検出した加速度を示すデータ(加速度データ)を受け取って、ゲーム装置C10の姿勢や動きを算出する。 The information processing unit C31 receives the data (acceleration data) representing the acceleration acceleration sensor C39 detects, calculates the orientation and the motion of the game apparatus C10.

情報処理部C31には、角速度センサC40が接続される。 The information processing unit C31 includes the angular velocity sensor C40 is connected. 角速度センサC40は、ゲーム装置C10の3軸(本実施形態では、xyz軸)周りに生じる角速度をそれぞれ検出し、検出した角速度を示すデータ(角速度データ)を情報処理部C31へ出力する。 The angular velocity sensor C40 is (in this embodiment, xyz axes) triaxial game device C10 detects the angular velocity generated around, and outputs data indicating the detected angular velocity (angular velocity data) to the information processing unit C31. 角速度センサC40は、例えば下側ハウジングC11の内部に設けられる。 The angular velocity sensor C40 is provided, for example, within the lower housing C11. 情報処理部C31は、角速度センサC40から出力された角速度データを受け取って、ゲーム装置C10の姿勢や動きを算出する。 The information processing unit C31 receives the angular velocity data output from the angular velocity sensor C40, calculates the orientation and the motion of the game apparatus C10.

情報処理部C31には、RTCC38および電源回路C41が接続される。 The information processing unit C31 is connected RTCC38 and the power supply circuit C41. RTCC38は、時間をカウントして情報処理部C31に出力する。 RTCC38 outputs to the information processing unit C31 counts the time. 情報処理部C31は、RTCC38によって計時された時間に基づき現在時刻(日付)を計算する。 The information processing unit C31 calculates the current time (date) based on the time counted by RTCC38. 電源回路C41は、ゲーム装置C10が有する電源(下側ハウジングC11に収納される上記充電式電池)からの電力を制御し、ゲーム装置C10の各部品に電力を供給する。 Power circuit C41 controls the power from the power supply of the game apparatus C10 has (the rechargeable battery accommodated in the lower housing C11), and supplies power to each component of the game apparatus C10.

情報処理部C31には、I/F回路C42が接続される。 The information processing unit C31 is, I / F circuit C42 is connected. I/F回路C42には、マイクC43、スピーカC44、およびタッチパネルC13が接続される。 The I / F circuit C42, a microphone C43, speakers C44, and the touch panel C13 are connected. 具体的には、I/F回路C42には、図示しないアンプを介してスピーカC44が接続される。 Specifically, the I / F circuit C42, a speaker C44 are connected through an amplifier (not shown). マイクC43は、ユーザの音声を検知して音声信号をI/F回路C42に出力する。 Mike C43, and outputs a sound signal to the I / F circuit C42 detects the user's voice. アンプは、I/F回路C42からの音声信号を増幅し、音声をスピーカC44から出力させる。 The amplifier amplifies the audio signal from the I / F circuit C42, and outputs sounds from the speaker C44. I/F回路C42は、マイクC43およびスピーカC44(アンプ)の制御を行う音声制御回路と、タッチパネルC13の制御を行うタッチパネル制御回路とを含む。 I / F circuit C42 includes a sound control circuit for controlling the microphone C43 and speaker C44 (amp), and a touch panel control circuit for controlling the touch panel C13. 音声制御回路は、音声信号に対するA/D変換およびD/A変換を行ったり、音声信号を所定の形式の音声データに変換したりする。 The sound control circuit, and converts or perform A / D conversion and D / A conversion, the sound signal into sound data in a predetermined format for the audio signals. タッチパネル制御回路は、タッチパネルC13からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部C31に出力する。 The touch panel control circuit outputs to the information processing unit C31 generates a predetermined form of touch position data based on a signal from the touch panel C13. タッチ位置データは、タッチパネルC13の入力面において入力が行われた位置(タッチ位置)の座標を示す。 The touch position data indicates coordinates of an input is made a position on the input surface of the touch panel C13 (touch position). なお、タッチパネル制御回路は、タッチパネルC13からの信号の読み込み、およびタッチ位置データの生成を所定時間に1回の割合で行う。 The touch panel control circuit reads a signal from the touch panel C13, and generates touch position data every predetermined time. 情報処理部C31は、タッチ位置データを取得することにより、タッチパネルC13に対して入力が行われたタッチ位置を知ることができる。 The information processing unit C31 is by obtaining the touch position data, it is possible to know the touch position input is performed with respect to the touch panel C13.

操作ボタンC14は、上記各操作ボタンC14A〜C14Lからなり、情報処理部C31に接続される。 Operation button C14 is made from the operation buttons C14A~C14L, is connected to the information processing unit C31. 操作ボタンC14から情報処理部C31へは、各操作ボタンC14A〜C14Iに対する入力状況(押下されたか否か)を示す操作データが出力される。 Operation buttons C14 to the information processing unit C31, operation data indicating an input state (whether or not pressed) of each of the operation buttons C14A~C14I is output. 情報処理部C31は、操作ボタンC14から操作データを取得することによって、操作ボタンC14に対する入力に応じた処理を実行する。 The information processing unit C31 by obtaining the operation data from the operation button C14, executes a process in accordance with the input on the operation button C14.

下側LCDC12および上側LCDC22は、情報処理部C31に接続される。 Lower LCDC12 and upper LCDC22 is connected to the information processing unit C31. 下側LCDC12および上側LCDC22は、情報処理部C31(GPUC312)の指示にしたがって画像を表示する。 Lower LCDC12 and upper LCDC22 displays an image in accordance with an instruction from the information processing unit C31 (GPUC312). 本実施形態では、情報処理部C31は、例えば入力操作用の画像を下側LCDC12に表示させ、外側撮像部C23および内側撮像部C24のいずれかから取得した画像を上側LCDC22に表示させる。 In the present embodiment, the information processing unit C31, for example the image for input operation is displayed on the lower LCDC12, to display the image acquired from one of the outer imaging section C23 and the inner imaging section C24 on the upper side LCDC22. すなわち、情報処理部C31は、上側LCDC22に外側撮像部C23で撮像した右目用画像と左目用画像とを用いた立体画像(立体視可能な画像)を表示させたり、内側撮像部C24で撮像した平面画像を上側LCDC22に表示させたり、上側LCDC22に外側撮像部C23で撮像した右目用画像および左目用画像の一方を用いた平面画像を表示させたりする。 That is, the information processing unit C31 may or display the stereoscopic image (stereoscopically visible image) and using a right-eye image captured to the upper LCDC22 in the outer imaging section C23 and the left eye image, captured by the inner imaging section C24 or to display the planar image in the upper LCDC22, or to display one planar image with the right eye image and the left eye image captured to the upper LCDC22 outside imaging unit C23.

具体的には、情報処理部C31は、上側LCDC22のLCDコントローラ(図示せず)と接続され、当該LCDコントローラに対して視差バリアのON/OFFを制御する。 Specifically, the information processing unit C31 is connected to an LCD controller of the upper LCDC22 (not shown), controls the ON / OFF of the parallax barrier to the LCD controller. 上側LCDC22の視差バリアがONになっている場合、情報処理部C31のVRAMC313に格納された(外側撮像部C23で撮像された)右目用画像と左目用画像とが、上側LCDC22に出力される。 When the parallax barrier of the upper LCDC22 is ON, stored in VRAMC313 information processing unit C31 (captured by the outer imaging section C23) and a right eye image and the left eye image is outputted to the upper LCDC22. より具体的には、LCDコントローラは、右目用画像について縦方向に1ライン分の画素データを読み出す処理と、左目用画像について縦方向に1ライン分の画素データを読み出す処理とを交互に繰り返すことによって、VRAMC313から右目用画像と左目用画像とを読み出す。 More specifically, LCD controller, by repeating the process of reading the pixel data of one line in the vertical direction, and a process of reading the pixel data of one line in the vertical direction the left-eye image alternately on the right eye image Accordingly, reading the right eye and left-eye images from VRAMC313. これにより、右目用画像および左目用画像が、画素を縦に1ライン毎に並んだ短冊状画像に分割され、分割された右目用画像の短冊状画像と左目用画像の短冊状画像とが交互に配置された画像が、上側LCDC22の画面に表示される。 Thus, alternating the right eye image and the left eye image is divided into aligned rectangle-shaped image having one line for each pixel in the vertical, the strip-shaped image of the strip-like image and the left eye image of the divided right-eye image is arranged image is displayed on the screen of the upper LCDC22. そして、上側LCDC22の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右目に右目用画像が、ユーザの左目に左目用画像が視認される。 Then, by the image through a parallax barrier in the upper LCDC22 is viewed by the user, the right eye image to the right eye of the user, the image for the left eye is viewed by the left eye of the user. 以上により、上側LCDC22の画面には立体視可能な画像が表示される。 Thus, on the screen of the upper LCDC22 is displayed stereoscopically visible image.

外側撮像部C23および内側撮像部C24は、情報処理部C31に接続される。 Outer imaging section C23 and the inner imaging section C24 is connected to the information processing unit C31. 外側撮像部C23および内側撮像部C24は、情報処理部C31の指示にしたがって画像を撮像し、撮像した画像データを情報処理部C31に出力する。 Outer imaging section C23 and the inner imaging section C24 captures an image in accordance with an instruction of the information processing unit C31, and outputs the captured image data to the information processing unit C31. 本実施形態では、情報処理部C31は、外側撮像部C23および内側撮像部C24のいずれか一方に対して撮像指示を行い、撮像指示を受けた撮像部が画像を撮像して画像データを情報処理部C31に送る。 In the present embodiment, the information processing unit C31 performs imaging instruction to either of the outer imaging section C23 and the inner imaging section C24, the information processing image data imaging unit which receives the imaging instruction by capturing an image and it sends it to the department C31. 具体的には、ユーザによるタッチパネルC13や操作ボタンC14を用いた操作によって使用する撮像部が選択される。 Specifically, the imaging unit to be used by an operation using the touch panel C13, operation buttons C14 by the user is selected. そして、撮像部が選択されたことを情報処理部C31(CPUC311)が検知し、情報処理部C31が外側撮像部C23または内側撮像部C24に対して撮像指示を行う。 Then, the imaging unit is selected information processing unit C31 (CPUC311) detects, the information processing unit C31 performs imaging instruction to the outer imaging section C23 or the inner imaging section C24.

3D調整スイッチC25は、情報処理部C31に接続される。 3D adjustment switch C25 is connected to the information processing unit C31. 3D調整スイッチC25は、スライダの位置に応じた電気信号を情報処理部C31に送信する。 3D adjustment switch C25 transmits an electrical signal corresponding to the position of the slider to the information processing unit C31.

3DインジケータC26は、情報処理部C31に接続される。 3D indicator C26 is connected to the information processing unit C31. 情報処理部C31は、3DインジケータC26の点灯を制御する。 The information processing unit C31 controls the lighting of the 3D indicator C26. 例えば、情報処理部C31は、上側LCDC22が立体表示モードである場合、3DインジケータC26を点灯させる。 For example, the information processing unit C31, when the upper LCDC22 is in the stereoscopic display mode, turns on the 3D indicator C26.

次に、図62〜図68を参照して、ゲーム装置C10の使用状態および表示内容の一例を示す。 Next, with reference to FIG. 62 to FIG. 68 shows an example of a usage state and display content of the game device C10. なお、図62は、ユーザがゲーム装置C10を把持して操作する様子の一例を示す図である。 Incidentally, FIG. 62 is a diagram showing an example of a state in which the user operates holding the game device C10. 図63は、外側撮像部C23の撮像対象となるマーカMKの一例を示す図である。 Figure 63 is a diagram showing an example of a marker MK to be imaged of the outer imaging section C23. 図64は、ユーザがゲーム装置C10に向かって音声を入力している様子の一例を概説する図解図である。 Figure 64 is an illustrative view for the user to review an example of a state that the input voice toward the game apparatus C10. 図65〜図68は、上側LCDC22に表示される表示形態例を示す図である。 Figure 65 Figure 68 is a diagram showing an example display form displayed on the upper LCDC22.

図62に示されるように、ユーザは、下側LCDC12および上側LCDC22がユーザの方向を向く状態で、両手の掌と中指、薬指および小指とで下側ハウジングC11の側面および外側面(内側面の反対側の面)を把持する。 As shown in FIG. 62, the user, in a state where the lower LCDC12 and upper LCDC22 are in the direction of the user, palm and middle finger of each hand, the side surface and the outer surface of the lower housing C11 in the ring finger and little finger (inner surface gripping the surface) on the opposite side. このように把持することで、ユーザは、下側ハウジングC11を把持したまま、各操作ボタンC14A〜C14EおよびアナログスティックC15に対する操作を親指で行い、LボタンC14GおよびRボタンC14Hに対する操作を人差し指で行うことができる。 By gripping this way, the user, while holding the lower housing C11, performs an operation on the operation buttons C14A~C14E and analog stick C15 with the thumb, performed by the index finger operations on L button C14G and the R button C14H be able to. そして、図62に示した一例では、外側左撮像部C23aおよび外側右撮像部C23bによってゲーム装置C10の背面側の実世界を撮像した実世界画像が、上側LCDC22に立体視表示されている。 Then, in the example shown in FIG. 62, the real world image of the captured real world rear side of the game device C10 by the outer left imaging unit C23a and the right outer imaging section C23b, it is stereoscopically displayed on the upper LCDC22.

本実施形態では、画像処理プログラムに基づいて、外側撮像部C23(外側左撮像部C23a、外側右撮像部C23b)によって現在撮像されている実世界の画像と、3次元の仮想空間に存在する仮想オブジェクトの画像とを合成した合成画像が、上側LCDC22の画面に立体視可能に表示される。 In the present embodiment, based on the image processing program will be present in the outer imaging section C23 (left outer imaging section C23a, right outer imaging section C23b) and the real world image currently captured by a three-dimensional virtual space virtual composite image of the object image is stereoscopically visible displayed on the screen of the upper LCDC22. 具体的には、外側撮像部C23で撮影された2つの撮影画像は、所定の視差を有するように上側LCDC22に供給されて立体視表示される。 Specifically, the two images captured by the outer imaging section C23 is supplied to the upper LCDC22 to be stereoscopically displayed so as to have a predetermined disparity. 上側LCDC22の画面上では、外側撮像部C23に相対的に近い被写体が相対的に手前に位置するようにユーザに視認され、外側撮像部C23から相対的に遠い被写体が相対的に遠くに位置するようにユーザに視認される。 On the screen of the upper LCDC22, it is visible to the user so relatively close subject to the outer imaging section C23 is positioned relatively forward, is relatively far object from the outer imaging section C23 positioned relatively far It is visible to the user so.

図62は、外側撮像部C23によってマーカMK(撮像対象となる実オブジェクト)が撮像されているときに、上側LCDC22の画面に表示される仮想オブジェクトである仮想キャラクタC(立体画像)の一例を示している。 Figure 62, when the marker MK (real object to be imaged) is imaged by the outer imaging section C23, shows an example of a virtual character C (stereoscopic image) which is a virtual object displayed on the screen of the upper LCDC22 ing. 図62に示すように、マーカMKは、一例として矢印を含む正方形が描かれており、CPUC311は、外側撮像部C23から取得される撮像画像に対して例えばパターンマッチング等の画像処理を行うことによって、当該撮像画像にマーカMKが含まれているか否かを判定することができる。 As shown in FIG. 62, the marker MK is depicted a square containing the arrow as an example, CPUC311 by performing the captured image acquired from the outer imaging section C23 for example an image processing such as pattern matching , it is possible to determine whether the the captured image contains a marker MK. 外側撮像部C23によってマーカMKが撮像されているときには、上側LCDC22には、実世界画像としてマーカMKが立体視可能にマーカ画像MKiとして表示されるとともに、実世界画像に含まれるマーカ画像MKiの表示位置に仮想キャラクタC(例えば、犬を模した仮想オブジェクト)が立体視可能に合成表示される。 When the marker MK is captured by the outer imaging section C23, the upper LCDC22, together with the marker MK is displayed as a marker image MKi to stereoscopically as a real world image, display the marker image MKi included in the real world image located in the virtual character C (e.g., virtual objects which simulates a dog) is synthesized displayed stereoscopically. なお、図62では、理解を容易にするために、上側LCDC22の画面から仮想キャラクタCをはみ出して図示しているが、実際には仮想キャラクタCは画面内に表示される。 In FIG. 62, for ease of understanding, are illustrated from the screen of the upper LCDC22 protrudes virtual character C, actually virtual character C are displayed on the screen. 後述の図64についても同様である。 The same applies to FIG. 64 described later. また、図62および図64等においては、表示対象が飛び出ているように視認される様子を図示しているが、立体視可能に表示する、と言った場合、必ずしも飛び出し方向に視認される場合のみでなく、画面より奥側に、奥行きを持って表示される場合も含む。 Also, if in the FIGS. 62 and 64, etc., are illustrated the manner to be viewed as protruding is displayed, if said stereoscopically viewable display, which is visible necessarily protruding direction not only, on the back side of the screen, including also appear with depth.

ここで、図63に示すように、マーカMKには、向き(前方向、右方向、上方向)が定義されており、マーカMKの配置方向に基づいた姿勢で仮想キャラクタCを配置することができる。 Here, as shown in FIG. 63, the marker MK, orientation (forward, rightward, upward) are defined, it is possible to arrange the virtual character C in a posture based on the orientation of the marker MK it can. 例えば、仮想キャラクタCの前方向がマーカ画像MKiの前方向と一致するように、マーカ画像MKiの上に仮想キャラクタCを配置することが可能である。 For example, as front direction of the virtual character C coincides with the forward direction of the marker image MKI, it is possible to place the virtual character C on the marker image MKI. なお、以下の説明では、マーカ画像MKiの前方向を「マーカの方向」と記載することがある。 In the following description, the forward direction of the marker image MKi may be referred to as "direction of the marker."

図64に示すように、ゲーム装置C10に表示された仮想キャラクタCに動作指示する場合、ユーザは、音声によって当該動作指示することが可能となっている。 As shown in FIG. 64, when the operation instruction to the virtual character C which is displayed on the game device C10, the user, it is possible to the operation instruction by voice. なお、ゲーム装置C10は、ユーザがゲーム装置C10に入力する音声は、話し言葉として発する音(言語)の他に、口笛の音、拍手の音、息の音等が考えられるが、本明細書で用いる「音声」は、これらの音を総称しているものとする。 The game apparatus C10 includes voice user inputs to the game apparatus C10 includes, in addition to the sound produced as a spoken (language), whistling sound, the sound of applause, but sounds like breath contemplated, herein use "voice" is assumed to be collectively referred to these sounds.

ゲーム装置C10にユーザの音声を判別させるためには、プレイヤは、マイクC43(マイクロフォン用孔C18)に向かって自身の音声を入力する。 To determine the user's voice to the game device C10, the player inputs his voice into the microphone C43 (microphone hole C18). 一方、ゲーム装置C10は、I/F回路C42を介して、マイクC43から入力された音声信号を示す音声データを取得し、当該音声データを解析することによってマイクC43から入力された音声を判別する。 On the other hand, the game device C10 via the I / F circuit C42, acquires speech data representing a speech signal input from microphone C43, determines the voice input from the microphone C43 by analyzing the audio data . そして、ゲーム装置C10は、マイクC43から入力された音声の判別結果に応じた処理を行い、当該判別結果に応じて仮想キャラクタCを動作させる。 Then, the game device C10 performs a process in accordance with the discrimination result of the voice input from the microphone C43, to operate the virtual character C in accordance with the determination result. 一例として、ゲーム装置C10は、マイクC43から入力された音声が、仮想キャラクタCを立ち上がらせる動作を指示する言語(例えば、「チンチン」)であると判別された場合、判別された音声に応じて仮想キャラクタCに立ち上がらせる動作を行わせて上側LCDC22に表示する(図64の状態)。 As an example, the game device C10, the audio input from the microphone C43 is, virtual language for instructing the operation to rise the character C (e.g., "cock") if it is determined that the, according to the determined voice made to perform an operation to rise to virtual character C is displayed on the upper LCDC22 (the state of FIG. 64).

次に、図65〜図68を参照して、外側撮像部C23によってマーカMKが撮像されているときに上側LCDC22の画面に表示される仮想キャラクタCの他の一例について説明する。 Next, with reference to FIG. 65 to FIG. 68, another example of the virtual character C are displayed on the screen of the upper LCDC22 be described when the marker MK is captured by the outer imaging section C23.

図65において、仮想キャラクタCは、「通常状態」で表示されている。 In Figure 65, the virtual character C are displayed in the "normal state". ここで、「通常状態」は、ユーザからの動作指示に基づいた動作を行っていない場合に仮想キャラクタCが行動している状態を示している。 Here, "normal state" indicates a state in which the virtual character C is acting when not performing an operation based on the operation instruction from the user. 例えば、「通常状態」において、仮想キャラクタCは、4つ足を地面(マーカ画像MKi上またはマーカ画像MKiと同一平面上)につけている状態で静止するまたは4つ足で自由に動いて行動する。 For example, in the "normal state", the virtual character C is act freely move in four feet to rest while wearing on the ground (the marker image MKi or on the marker image MKi flush) or four legs . 図65に示した一例では、仮想キャラクタCが4つ足を地面につけて仮想キャラクタCの前方向がマーカ画像MKiの前方向と一致する状態を「通常状態」として表示されている。 In the example shown in FIG. 65, it is displayed a state where the front direction of the virtual character C put into the ground four legs virtual character C coincides with the forward direction of the marker image MKi as "normal state".

図66では、仮想キャラクタCを座らせる動作を指示する言語(例えば、「おすわり」)をゲーム装置C10に入力した場合の動作を示している。 In Figure 66, the language for instructing the operation to sit virtual character C (e.g., "Sit") shows the operation when the input to the game device C10. 図66に示すように、ゲーム装置C10に仮想キャラクタCを座らせる動作を指示する音声が入力された場合、仮想キャラクタCは、地面(マーカ画像MKi上またはマーカ画像MKiと同一平面上)に座る動作を開始し、仮想キャラクタCの前方向をマーカ画像MKiの前方向と一致させて地面上に座る。 As shown in FIG. 66, if the sound indicating the operation to sit virtual character C to the game device C10 is input, the virtual character C is sit on the ground (the marker image MKi or on the marker image MKi flush) It starts operating, sit on the ground in front direction of the virtual character C to match with the front direction of the marker image MKI. このように、仮想キャラクタCに芸の名称を示す言語(例えば、「おすわり」や「ふせ」)をゲーム装置C10に入力した場合、仮想キャラクタCの前方向をマーカ画像MKiの前方向と一致させて仮想キャラクタCが当該言語に該当する芸をすることがある。 Thus, when the language indicating the name of tricks virtual character C (e.g., "Sit" or "face down") input to the game device C10, causes the front direction of the virtual character C coincides with the forward direction of the marker image MKi virtual character C Te is sometimes tricks corresponding to the language. また、他の例として、仮想キャラクタCの名前を示す言語をゲーム装置C10に入力した場合、仮想キャラクタCの前方向をマーカ画像MKiの前方向と一致させて仮想キャラクタCが吠えることがある。 As another example, if you enter a language representing the name of a virtual character C to the game device C10, there is a virtual character C the front direction of the virtual character C to match with the front direction of the marker image MKi barking.

例えば、図67に示すように、ユーザがゲーム装置C10を移動させることによって、撮像されるマーカMKの位置および向きが変化する、すなわち上側LCDC22の画面に表示されるマーカ画像MKiの位置および向きが変化する場合を考える。 For example, as shown in FIG. 67, by the user moves the game device C10, the position and orientation of the marker MK to be imaged is changed, that is, the position and orientation of the marker image MKi displayed on the screen of the upper LCDC22 consider the case that changes. この場合、撮像画像の変化に追従するように、仮想キャラクタCの位置および向きが変化する。 In this case, so as to follow the change of the captured image, the position and orientation of the virtual character C is changed. 例えば、図66のように仮想キャラクタCが座っている状態に対してマーカの方向が変化した場合、当該変化に追従するように仮想キャラクタCの向きが変化して座っている状態を継続している(図67の状態)。 For example, when the direction of the marker is changed with respect to a state in which the virtual character C is sitting as shown in Figure 66, and continues the state in which the orientation of the virtual character C is sitting varies so as to follow the change It is (the state shown in FIG. 67). したがって、ユーザには仮想キャラクタCがあたかも実世界に本当に存在しているかのように見える。 Therefore, the user appears as if the virtual character C is really exist if it were in the real world.

一方、本実施形態では、仮想キャラクタCに与えられた音声による動作指示に応じて、マーカの方向ではなく、画像を生成しているカメラ(すなわち、仮想キャラクタCが配置された仮想世界画像を生成する仮想カメラ)の位置に基づいた姿勢で仮想キャラクタCが動作することもできる。 On the other hand, in the present embodiment, generated in response to an operation instruction by voice given to the virtual character C, rather than the direction of the marker, the camera generating the image (i.e., a virtual world image virtual character C is placed virtual character C in a posture based on the position of the virtual camera) to can also be operated. 例えば、図68では、仮想キャラクタCを呼び寄せる動作を指示する音声(例えば、口笛の音)をゲーム装置C10に入力した場合の動作を示している。 For example, in FIG. 68 shows the operation when the voice for instructing the operation of luring virtual character C (e.g., whistling sound) input to the game device C10. 図68に示すように、ゲーム装置C10に仮想キャラクタCを呼び寄せる動作を指示する音声が入力された場合、仮想キャラクタCは、4つ足状態になって仮想キャラクタCの前方向が仮想カメラへの方向と一致するように動作する。 As shown in FIG. 68, if the sound indicating the operation of luring virtual character C to the game device C10 is input, the virtual character C is to four turned feet state of the virtual character C forward the virtual camera It operates to match the direction. すなわち、上記動作では、仮想キャラクタCが表示される向きがマーカ画像MKiの方向ではなく、仮想世界画像を生成する仮想カメラの位置に基づいて決定される。 That is, in the above operations, the direction of the virtual character C are displayed rather than the direction of the marker image MKI, is determined based on the position of the virtual camera for generating a virtual world image. なお、上述した説明では、仮想キャラクタCを呼び寄せる動作を指示する音声の一例として口笛の音を用いたが、他の音声であってもかまわない。 Incidentally, in the above description has used the sound of whistling as an example of a voice for instructing the operation of luring virtual character C, it may be another voice. 例えば、仮想キャラクタCを呼び寄せる動作を指示する音声として拍手の音を設定し、拍手の音が入力された場合に4つ足状態になって仮想キャラクタCの前方向が仮想カメラへの方向と一致するように仮想キャラクタCが動作してもかまわない。 For example, to set the sound applause as a voice for instructing the operation of luring virtual character C, consistent with the direction of the forward direction the virtual camera in the virtual character C is four feet state when the sound of applause is input virtual character C may be operated to. この場合、口笛の音が入力された場合に仮想キャラクタCの前方向が仮想カメラへの方向と一致するように仮想キャラクタCが遠吠えをする動作をしてもかまわない。 In this case, it may be the operation of the virtual character C as before direction of the virtual character C coincides with the direction of the virtual camera when the whistling sound is input to the howl.

また、本実施形態では、仮想キャラクタCに音声による動作指示を与えた場合、当該動作指示を与えた時点において仮想キャラクタCが撮像(表示)されている方向によって、仮想キャラクタCに与える動作指示が変化することがある。 Further, in the present embodiment, when given an operation instruction by voice virtual character C, depending on the direction in which the virtual character C at the time gave the operation instruction is captured (display), the operation instruction given to the virtual character C it may change. 例えば、息の音をゲーム装置C10に入力した場合、当該入力が行われた時点で仮想キャラクタCが上側LCDC22の表示範囲内に存在し、かつ、仮想キャラクタCの前方向が仮想カメラの方向付近を向いていれば、仮想キャラクタCが息を吹きかけられたことによって嫌がるように動作する。 For example, if you enter the sound of breath to the game device C10, virtual character C when the input is made it is present in the display range of the upper LCDC22, and forward the vicinity direction of the virtual camera in the virtual character C if facing operates as reluctant by virtual character C has been breathed. その一方で、息の音をゲーム装置C10に入力した時点で仮想キャラクタCの前方向が仮想カメラの方向付近を向いていなければ、仮想キャラクタCが上側LCDC22の表示範囲内に存在していても当該入力に応じた動作をすることなく、何の反応もしない。 On the other hand, if the previous direction of the virtual character C the sound of breath at the time of input to the game device C10 is not oriented around the direction of the virtual camera, even if the virtual character C is present within the display range of the upper LCDC22 without an operation corresponding to the input, without any reaction. 例えば、仮想キャラクタCが息を吹きかけられたことによって嫌がるように動作は、「通常状態」で仮想キャラクタCが表示されている場合に生じる動作である。 For example, it operates as reluctant by virtual character C has been breathed is an operation that occurs when the virtual character C are displayed in the "normal state". この場合、仮想キャラクタCの前方向がマーカ画像MKiの前方向と一致するような姿勢で表示されているため、当該動作指示は、マーカの方向と仮想カメラの位置との関係が所定の位置関係になっている場合に成立するものであると考えることもできる。 In this case, virtual since the front direction of the character C are displayed in an orientation such as to coincide with the front direction of the marker image MKI, the operation instruction, the relationship between the direction of the marker and the position of the virtual camera is a predetermined positional relationship it is also possible to assume that satisfied, the paths.

このように、本実施形態においては、実カメラにより撮像されて上側LCDC22に表示された実世界画像内に、仮想オブジェクトが配置されて付加表示され、音声認識された音声に基づいた指示に応じて当該仮想オブジェクトが動作する。 Thus, in the present embodiment, in the real world image displayed on being imaged upper LCDC22 by the real camera, is additionally displayed is arranged virtual object, according to an instruction based on the speech recognized speech the virtual object is operated. したがって、AR(拡張現実:Augmented Reality)を実現する上で、音声を現実空間とコンピュータとの間のインターフェイスとして採用することで、入力の簡便性が向上し、入力内容もバリエーションに富んだものになるため、現実空間とコンピュータとの間のインタラクティブ性は高まって興趣性および操作性が向上する。 Thus, AR (Augmented Reality: Augmented Reality) in realizing, by adopting as an interface between the real space and computer audio, improved ease of input, to the one input data even rich variation becomes therefore, interactivity between the real space and the computer interest and operability is improved increasingly. また、操作ボタン、キーボード、タッチパネル、マウス、ジョイスティック、およびトラックボード等の従来の入力装置を用いて操作する場合と比較して、音声入力による操作は、臨場感や操作の直感性を高めることができる。 The operation buttons, a keyboard, a touch panel, a mouse, a joystick, and as compared with the case of operating with a conventional input device such as a track board, control by voice input, to increase the intuitiveness of realism and operation it can. なお、上述した例では、実世界画像内に付加表示される仮想オブジェクトの一例として仮想キャラクタCを用いたが、実世界画像内に付加表示されるものは他の仮想物体や文字であってもよい。 In the example described above, using virtual character C as an example of a virtual object to be added displayed on the real world image, which is additionally displayed in the real world image can be another virtual object or character good. また、上述した例では、音声認識された音声に基づいた指示に応じて、付加表示された仮想キャラクタCが動作するが、音声認識された音声に基づいた指示に応じて、他の処理が行われてもかまわない。 Further, in the example described above, in accordance with an instruction based on the speech voice recognition, but additionally displayed virtual character C is operated in accordance with an instruction based on the speech voice recognition, other processing line it may be cracking. 例えば、音声認識された音声に基づいた指示に応じて、実世界画像内に付加表示される仮想オブジェクトや文字等の改変をする処理、表示態様を変化させる処理、選択をする処理、出現/消去をする処理等、様々な処理を行うことが考えられる。 For example, in accordance with an instruction based on the speech voice recognition, a process for the modification of such virtual objects and characters to be appended displayed in the real world image, processing for changing the display mode, the process of selection, the appearance / erase such a process for the, it is conceivable to perform various processes.

次に、図69〜図74を参照して、ゲーム装置C10で実行される画像処理プログラムによる具体的な処理動作について説明する。 Next, with reference to FIG. 69 to FIG. 74, specific processing operation by the image processing program executed by the game apparatus C10 will be described. なお、図69は、画像処理プログラムを実行することに応じて、メインメモリC32に記憶される各種データの一例を示す図である。 Incidentally, FIG. 69, in response to executing the image processing program is a diagram showing an example of various data stored in the main memory C32. 図70は、図69の音声動作対応テーブルデータDiの一例を示す図である。 Figure 70 is a diagram showing an example of a voice activity corresponding table data Di in FIG. 69. 図71は、当該画像処理プログラムを実行することによってゲーム装置C10が画像処理する動作の一例を示すフローチャートである。 Figure 71 is a game device C10 by executing the image processing program is a flowchart showing an example of the operation of the image processing. 図72は、図71のステップC54で行われる音声認識処理の詳細な動作の一例を示すサブルーチンである。 Figure 72 is a subroutine showing an example of a detailed operation of the speech recognition process performed in step C54 in FIG. 71. 図73は、図71のステップC55で行われる画像合成処理の詳細な前半の動作の一例を示すサブルーチンである。 Figure 73 is a subroutine showing an example of a detailed first half of the operation of the image combining process performed in step C55 in FIG. 71. 図74は、図71のステップC55で行われる画像合成処理の詳細な後半の動作の一例を示すサブルーチンである。 Figure 74 is a subroutine showing an example of a detailed second half of the operation of the image synthesis process performed in step C55 in FIG. 71. なお、これらの処理を実行するためのプログラムは、ゲーム装置C10に内蔵されるメモリ(例えば、データ保存用内部メモリC35)や外部メモリC45またはデータ保存用外部メモリC46に含まれており、ゲーム装置C10の電源がオンになったときに、内蔵メモリから、または外部メモリI/FC33やデータ保存用外部メモリI/FC34を介して外部メモリC45またはデータ保存用外部メモリC46からメインメモリC32に読み出されて、CPUC311によって実行される。 A program for executing these processes, a memory (e.g., internal data storage memory C35) that is built into the game apparatus C10 included in or external memory C45 or external data storage memory C46, ​​the game device when the power of the C10 is turned on, read out from the built-in memory, or to an external memory I / FC33 and data storage external memory I / FC34 main memory C32 from external memory C45 or the data storage external memory C46 through the It is, executed by CPUC311.

図69において、メインメモリC32には、内蔵メモリ、外部メモリC45、またはデータ保存用外部メモリC46から読み出されたプログラムや画像処理において生成される一時的なデータが記憶される。 In Figure 69, the main memory C32 is the built-in memory, temporary data generated in the program or the image processing that has been read from the external memory C45 or the external data storage memory C46, ​​are stored. 図69において、メインメモリC32のデータ記憶領域には、左カメラ画像データDa、右カメラ画像データDb、音声波形データDc、操作入力データDd、左カメラ画像認識結果データDe、右カメラ画像認識結果データDf、スペクトル情報データDg、メルフィルタ出力情報データDh、音声動作対応テーブルデータDi、音声登録データDj、拍手フラグデータDk、口笛フラグデータDl、息フラグデータDm、登録音声フラグデータDn、通常状態フラグデータDo、左仮想世界画像データDp、右仮想世界画像データDq、および仮想オブジェクトデータDr等が格納される。 In Figure 69, the data storage area of ​​the main memory C32, the left camera image data Da, the right camera image data Db, the audio waveform data Dc, the operation input data Dd, the left camera image recognition result data De, the right camera image recognition result data df, spectral information data Dg, Mel filter outputs information data Dh, voice operation correspondence table data Di, audio registration data Dj, clapping flag data Dk, whistling flag data Dl, breath flag data Dm, the registered voice flag data Dn, the normal state flag data Do, the left virtual world image data Dp, right virtual world image data Dq, and the virtual object data Dr and the like are stored. また、メインメモリC32のプログラム記憶領域には、画像処理プログラムを構成する各種プログラム群Paが記憶される。 The program storage area of ​​the main memory C32, various programs Pa constituting the image processing program is stored.

左カメラ画像データDaは、外側左撮像部C23aによって撮像された最新の左目用のカメラ画像を示すデータである。 Left camera image data Da is data indicating the latest camera image for the left eye taken by the outer left imaging unit C23a. 右カメラ画像データDbは、外側右撮像部C23bによって撮像された最新の右目用のカメラ画像を示すデータである。 Right camera image data Db is data indicating the latest camera image for the right eye taken by the outer right imaging unit C23b. なお、外側左撮像部C23aおよび外側右撮像部C23bが撮像し、撮像されたカメラ画像を用いて左カメラ画像データDaおよび右カメラ画像データDbをそれぞれ更新する周期は、ゲーム装置C10が処理する時間単位(例えば、1/60秒)と同じでもいいし、当該時間単位より短い時間でもかまわない。 Note that the imaging outer left imaging unit C23a and the right outer imaging section C23b, periodic updating each left camera image data Da and the right camera image data Db by using the camera image captured, the time the game device C10 is processed unit (for example, 1/60 sec.) You can either the same as, and may even shorter time than the time unit. ゲーム装置C10が処理する周期より左カメラ画像データDaおよび右カメラ画像データDbをそれぞれ更新する周期が短い場合、後述する処理とは独立して適宜左カメラ画像データDaおよび右カメラ画像データDbをそれぞれ更新してもかまわない。 If periodic updating each than a period in which the game device C10 processes the left camera image data Da and the right camera image data Db is short, later independently suitably left camera image data Da from the processing and the right camera image data Db, respectively it may be updated. この場合、後述する撮像画像を取得するステップにおいて、左カメラ画像データDaおよび右カメラ画像データDbがそれぞれ示す最新のカメラ画像を常に用いて処理すればよい。 In this case, in the step of acquiring a captured image will be described later, the left camera image data Da and the right camera image data Db may be always used the process the latest camera image respectively.

音声波形データDcは、マイクC43に入力された音声波形に対応する音声データである。 Speech waveform data Dc is an audio data corresponding to a speech waveform input to the microphone C43. 例えば、音声波形データDcは、マイクC43に対するサンプリングレート毎(例えば、ゲーム処理する時間単位(1フレーム;例えば、1/60秒)につき128サンプル)に取得された音声データであり、ゲーム装置C10がゲーム処理する時間単位毎に利用される。 For example, the speech waveform data Dc, each sampling rate for the microphone C43 (e.g., time unit (one frame for game processing; for example, 128 samples per / 60 sec)) and audio data obtained in the game device C10 is It is used for each unit of time to game processing. なお、本実施形態においては、後述する音声認識処理に必要なフレーム分の履歴が音声波形データDcの音声データとして格納されるため、当該フレーム分の音声データが音声波形データDcとして格納されるように、FIFO方式で音声波形データDcの音声データを更新するようにしてもよい。 In the present embodiment, since the history of the frames required for speech recognition processing to be described later it is stored as voice data of the speech waveform data Dc, so that the audio data of the frame is stored as the speech waveform data Dc to, it may be updated voice data of the speech waveform data Dc in a FIFO manner.

操作入力データDdは、ユーザがゲーム装置C10を操作した操作情報を示すデータである。 Operation input data Dd is data indicating an operation information that the user operates the game device C10. 例えば、操作入力データDdは、ユーザがゲーム装置C10の操作ボタンC14やアナログスティックC15等の操作子を操作したことを示すデータを含んでいる。 For example, the operation input data Dd includes data indicating that the user has operated the operator such as the operation buttons C14 and analog stick C15 game device C10. 操作ボタンC14やアナログスティックC15からの操作データは、ゲーム装置C10が処理する時間単位(例えば、1/60秒)毎に取得され、当該取得に応じて操作入力データDdに格納されて更新される。 Operation data from the operation button C14 and analog stick C15 is a time unit in which the game device C10 is processed (e.g., 1/60 seconds) is obtained for each, is updated is stored in the operation input data Dd according to the acquisition . なお、後述する処理フローでは、操作入力データDdが処理周期である1フレーム毎に更新される例を用いて説明するが、他の処理周期で更新されてもかまわない。 In the processing flow described later, will be explained using the example operation input data Dd is updated for each frame is the processing period, it may be updated in other process cycles. 例えば、操作ボタンC14やアナログスティックC15等の操作子をユーザが操作したことを検出する周期毎に操作入力データDdを更新し、当該更新された操作入力データDdを処理周期毎に利用する態様でもかまわない。 For example, to update the operation input data Dd every period for detecting that the operator such as the operation buttons C14 and analog stick C15 user operates, also in a manner that utilizes the updated operation input data Dd for each processing cycle It does not matter. この場合、操作入力データDdを更新する周期と、処理周期とが異なることになる。 In this case, the cycle of updating the operation input data Dd, so that the processing period are different.

左カメラ画像認識結果データDeは、外側左撮像部C23aによって撮像された左目用のカメラ画像を用いて算出された、外側左撮像部C23aとマーカMKとの位置関係に関するデータである。 Left camera image recognition result data De was calculated using the camera image for the left eye taken by the outer left imaging unit C23a, the data relating to the position relationship between the left outer capturing section C23a and the marker MK. 第1の例として、上記位置関係に関するデータは、外側左撮像部C23aとマーカMKとの相対的な位置関係を示すデータである。 As a first example, the data relating to the positional relationship is data indicating the relative positional relationship between the left outer capturing section C23a and the marker MK. 一例として、上記位置関係に関するデータは、マーカMKの位置を基準として実世界における外側左撮像部C23aの位置および/または姿勢を示すデータである。 As an example, data relating to the positional relationship is data indicating the position and / or orientation of the left outer capturing section C23a in the real world with reference to the position of the marker MK. 他の例として、上記位置関係に関するデータは、外側左撮像部C23aの位置および撮像方向を基準として実世界におけるマーカMKの位置および/または姿勢を示すデータである。 As another example, data relating to the positional relationship is data indicating the position and / or orientation of the marker MK in the real world position and imaging direction of the left outer imaging section C23a basis. 第2の例として、上記位置関係に関するデータは、外側左撮像部C23aによって撮像されたカメラ画像におけるマーカ画像MKiの位置および/または姿勢を認識することにより算出される行列を示すデータである。 As a second example, the data relating to the positional relationship is data showing a matrix calculated by recognizing the position and / or orientation of the marker image MKi in the camera image taken by the outer left imaging unit C23a. 例えば、上記行列は、マーカMKの位置および姿勢を基準として設定される座標系(マーカ座標系)で表された座標を、外側左撮像部C23aの位置および姿勢を基準として表された座標系(外側左撮像部座標系)に変換する座標変換行列である。 For example, the matrix coordinate is set the position and orientation of the marker MK as reference system the coordinates represented by (marker coordinate system), the coordinate system represented the position and orientation of the left outer imaging section C23a basis ( a coordinate transformation matrix for transforming the outside left imaging unit coordinate system). つまり、上記行列は、マーカMKの位置および姿勢に対する外側左撮像部C23aの相対的な位置および姿勢の情報を含む行列であり、より具体的には、マーカ座標系における外側左撮像部C23aの位置および姿勢の情報を含む行列である。 That is, the matrix is ​​a matrix containing the position and the relative position and orientation of the left outer capturing section C23a for orientation information of the marker MK, more specifically, the position of the left outer capturing section C23a in the marker coordinate system and is a matrix that contains the attitude information of the.

右カメラ画像認識結果データDfは、外側右撮像部C23bによって撮像された右目用のカメラ画像を用いて算出された、外側右撮像部C23bとマーカMKとの位置関係に関するデータである。 Right camera image recognition result data Df was calculated using the camera image for the right eye taken by the outer right imaging unit C23b, is data on the positional relationship between the outer right imaging unit C23b and the marker MK. 第1の例として、上記位置関係に関するデータは、外側右撮像部C23bとマーカMKとの相対的な位置関係を示すデータである。 As a first example, the data relating to the positional relationship is data indicating the relative positional relationship between the outer right imaging unit C23b and the marker MK. 一例として、上記位置関係に関するデータは、マーカMKの位置を基準として実世界における外側右撮像部C23bの位置および/または姿勢を示すデータである。 As an example, data relating to the positional relationship is data indicating the position and / or orientation of the outer right imaging unit C23b in the real world with reference to the position of the marker MK. 他の例として、上記位置関係に関するデータは、外側右撮像部C23bの位置を基準として実世界におけるマーカMKの位置および/または姿勢を示すデータである。 As another example, data relating to the positional relationship is data indicating the position and / or orientation of the marker MK in the real world position outside right imaging unit C23b basis. 第2の例として、上記位置関係に関するデータは、外側右撮像部C23bによって撮像されたカメラ画像におけるマーカ画像MKiの位置および/または姿勢を認識することにより算出される行列を示すデータである。 As a second example, the data relating to the positional relationship is data showing a matrix calculated by recognizing the position and / or orientation of the marker image MKi in the camera image taken by the outer right imaging unit C23b. 例えば、上記行列は、上記マーカ座標系で表された座標を、外側右撮像部C23bの位置および姿勢を基準として表された座標系(外側右撮像部座標系)に変換する座標変換行列である。 For example, the matrix, the coordinates represented by the marker coordinate system is the coordinate transformation matrix for transforming the represented position and orientation of the outer right imaging unit C23b as the reference coordinate system (right outer imaging section coordinate system) . つまり、上記行列は、マーカMKの位置および姿勢に対する外側右撮像部C23bの相対的な位置および姿勢の情報を含む行列であり、より具体的には、マーカ座標系における外側右撮像部C23bの位置および姿勢の情報を含む行列である。 That is, the matrix is ​​a matrix containing the right outer imaging section relative position and orientation information of the C23b respect to the position and orientation of the marker MK, more specifically, the position of the outer right imaging unit C23b in the marker coordinate system and is a matrix that contains the attitude information of the.

なお、本明細書において、マーカ座標系から外側左撮像部座標系または外側右撮像部座標系への変換行列のことを「マーカ・カメラ変換行列」と呼ぶ。 In this specification, that the marker coordinate system transformation matrix to the outside left imaging unit coordinate system or the outer right imaging unit coordinate system is referred to as a "marker camera transformation matrix". つまり、上述した行列は、それぞれ「マーカ・カメラ変換行列」である。 That is, the above-mentioned matrix are respectively "marker camera transformation matrix".

スペクトル情報データDgは、マイクC43に入力された音声波形を示す音声波形情報を短時間FFT(Fast Fourier Transform:高速フーリエ変換)分析することによって得られるスペクトルを示すデータであり、後述する音声認識処理に必要なフレーム分のデータが格納される。 Spectral information data Dg is briefly FFT speech waveform information indicating a speech waveform input to the microphone C43 (Fast Fourier Transform: fast Fourier transform) is data indicating a spectrum obtained by analyzing the speech recognition processing to be described later frames of data are stored necessary.

メルフィルタ出力情報データDhは、FFT分析によって得られたスペクトルをメルフィルタバンク分析することによって得られる帯域フィルタバンクの出力を示すデータであり、後述する音声認識処理に必要なフレーム分のデータが格納される。 Mel filter output information data Dh is data indicating the output of the bandpass filter bank obtained by mel filter bank analyzes the spectrum obtained by the FFT analysis, frames of data storage required for speech recognition processing described later It is.

音声動作対応テーブルデータDiは、音声認識結果に応じてそれぞれ動作指示される内容が予め記述されたテーブルを示すデータである。 Speech operation correspondence table data Di is data showing a table whose contents are described in advance to be respectively operation instruction in response to the speech recognition result. 図70に示すように、音声動作対応テーブルデータDiは、音声認識結果に応じて、キャラクタの動作内容および当該動作の基準がそれぞれ記述されている。 As shown in FIG. 70, the audio operation correspondence table data Di in response to the speech recognition result, the operation contents and reference of the operation of the character is described, respectively. 例えば、予めまたは登録操作によって登録されている登録音声1(例えば、「おすわり」)に音声認識結果が照合された場合、当該音声入力に応じてキャラクタがおすわり動作をマーカ基準で行うことが記述されている。 For example, advance or registration operation is registered by the registration voice 1 (e.g., "Sit") if the speech recognition result is verified on the character in accordance with the speech input is described that performs a sit operate with marker reference ing. また、音声認識結果において拍手が入力されたと判定された場合、当該音声入力に応じてキャラクタが4つ足でカメラの方に向く動作をカメラ基準で行うことが記述されている。 Further, when it is determined that the applause in the speech recognition result is input, to perform an operation directed towards the camera characters four legs in response to the speech input in the camera reference it is described. また、音声認識結果において口笛が入力されたと判定された場合、当該音声入力に応じてキャラクタがカメラの方に向いて遠吠えをする動作をカメラ基準で行うことが記述されている。 Also, if it is determined that whistling is input in the speech recognition result, performing the operation of the howling character is facing the camera in response to the speech input in the camera reference is described. ここで、音声動作対応テーブルデータDiに記述されている登録音声は、後述するようにゲーム装置C10から音声入力が促されることに応じて、ユーザが前もって入力した音声言語を用いてそれぞれ登録されてもいいし、当該画像処理プログラムがインストールされる時点で予め登録されたものでもよい。 Here, the registered voice described in the voice operation correspondence table data Di, in response to the speech input is prompted from the game device C10 as will be described later, are registered respectively with the spoken language inputted by the user beforehand it is also good, it may be one in which the image processing program is registered in advance at the time to be installed. また、音声動作対応テーブルデータDiに記述されている動作基準は、上記マーカの方向を基準としたキャラクタの動作が「マーカ基準」と記述されており、仮想カメラの位置や方向を基準としたキャラクタの動作が「カメラ基準」と記述されている。 The operation criteria described in the voice operation correspondence table data Di, an operation of the character relative to the direction of the marker and has been described as "marker reference", with reference to the position and direction of the virtual camera character the operation of has been described as "camera reference".

音声登録データDjは、ゲーム装置C10から音声入力が促されることに応じて、ユーザが前もって入力して登録した音声(言語)を示すデータである。 Speech registration data Dj, in response to the speech input is prompted from the game device C10, a data indicating the voice (language) registered by the user to input beforehand. 例えば、ユーザが音声を登録する際には、キャラクタに与える動作指示に対応させた音声入力が促される。 For example, when a user registers a voice, a voice input is prompted made to correspond to the operation instruction given to the character. そして、入力された音声を示すデータが、当該音声入力を促した動作指示に対応させて(例えば、音声動作対応テーブルデータDiに記述されている登録音声番号にそれぞれ対応させて)音声登録データDjに登録される。 Then, data indicating the input speech is, in correspondence with the operation instruction that prompted the speech input (e.g., each in correspondence with the registered voice number described in the voice operation correspondence table data Di) speech registration data Dj It is registered to. なお、音声登録データDjに登録される音声は、当該画像処理プログラムがインストールされる時点で予め登録されたものでもよい。 Incidentally, the audio may be one in which the image processing program is registered in advance at the time of being installed to be registered in the speech registration data Dj.

拍手フラグデータDkは、音声認識処理においてマイクC43に入力された音声が拍手であると判定された場合にオンに設定される拍手フラグを示すデータである。 Clapping flag data Dk is data representing the clap flag set ON when the voice input to the microphone C43 in the speech recognition process is judged to be applause. 口笛フラグデータDlは、音声認識処理においてマイクC43に入力された音声が口笛であると判定された場合にオンに設定される口笛フラグを示すデータである。 Whistling flag data Dl is data indicating a whistle flag voice input to the microphone C43 in the speech recognition process is set to ON when it is determined that the whistle. 息フラグデータDmは、音声認識処理においてマイクC43に入力された音声が息であると判定された場合にオンに設定される息フラグを示すデータである。 Breath flag data Dm is data indicating a breath flag set ON when the voice input to the microphone C43 in the speech recognition process is judged to be breath. 登録音声フラグデータDnは、音声認識処理においてマイクC43に入力された音声が登録音声に照合されたと判定された場合にオンに設定される登録音声フラグを示すデータである。 Registered voice flag data Dn is data representing the registered voice flag voice input to the microphone C43 in the speech recognition process is set to ON when it is judged to have been collated in the registered voice. 通常状態フラグデータDoは、仮想キャラクタCが「通常状態」である場合にオンに設定される通常状態フラグを示すデータである。 Normal status flag data Do is data that shows a normal state flag is set to ON when the virtual character C is "normal state".

左仮想世界画像データDpは、仮想オブジェクトが配置された仮想空間を、左仮想カメラから見た画像(左目用の仮想世界画像)を示すデータである。 Left virtual world image data Dp is a virtual space in which the virtual object is placed is data indicating an image (virtual world image for the left eye) as seen from the left virtual camera. 例えば、左仮想世界画像データDpは、左仮想カメラから見た仮想オブジェクトが配置された仮想空間を透視投影することによって得られる左目用の仮想世界画像を示すデータである。 For example, the left virtual world image data Dp is data showing the virtual world image for the left eye obtained by perspective projection of the virtual space in which the virtual object is disposed as viewed from the left virtual camera. 右仮想世界画像データDqは、仮想オブジェクトが配置された仮想空間を、右仮想カメラから見た画像(右目用の仮想世界画像)を示すデータである。 Right virtual world image data Dq is a virtual space in which the virtual object is placed is data indicating an image (virtual world image for the right eye) as seen from the right virtual camera. 例えば、右仮想世界画像データDqは、右仮想カメラから見た仮想オブジェクトが配置された仮想空間を透視投影することによって得られる右目用の仮想世界画像を示すデータである。 For example, right virtual world image data Dq is data showing the virtual world image for the right eye obtained by perspective projection of the virtual space in which the virtual object is placed as seen from the right virtual camera.

仮想オブジェクトデータDrは、前述の仮想オブジェクトに関連する情報であって、仮想オブジェクトの形状を表す3Dモデルデータ(ポリゴンデータ)や、仮想オブジェクトの模様を表すテクスチャデータや、仮想空間における仮想オブジェクトの位置や姿勢の情報などを含む。 Virtual object data Dr is information related to the aforementioned virtual object, and 3D model data representing the shape of the virtual object (polygon data), and the texture data representing the pattern of the virtual object, the position of the virtual object in the virtual space including and posture of the information.

次に、図71を参照して、情報処理部C31の動作について説明する。 Next, referring to FIG. 71, the operation of the information processing unit C31. まず、ゲーム装置C10の電源(電源ボタンC14F)がONされると、CPUC311によってブートプログラム(図示せず)が実行され、これにより内蔵メモリまたは外部メモリC45やデータ保存用外部メモリC46に格納されているプログラムがメインメモリC32にロードされる。 First, when the power of the game apparatus C10 (power button C14F) is turned ON, is executed the boot program (not shown) by CPUC311, thereby stored in the internal memory or external memory C45 and the external data storage memory C46 program you are is loaded into the main memory C32. そして、当該ロードされたプログラムが情報処理部C31(CPUC311)で実行されることによって、図71に示すステップ(図71〜図74では「S」と略称する)が実行される。 Then, by the loaded program is executed by the information processing unit C31 (CPUC311), the steps shown in FIG. 71 (in FIG. 71 to FIG 74 is abbreviated as "S") is executed. なお、図71〜図74においては、本発明に直接関連しない処理についての記載を省略する。 Note that in FIG. 71 to FIG. 74 will be omitted the description of the processing that is not related directly to the present invention. また、本実施形態では、図71〜図74のフローチャートの全てのステップの処理をCPUC311が実行するものとして説明するが、図71〜図74のフローチャートの一部のステップの処理を、CPUC311以外のプロセッサや専用回路が実行するようにしてもよい。 Further, in the present embodiment, illustrating the processing of all the steps of the flowchart of FIG. 71 Figure 74 as CPUC311 performs the processing of some of the steps in the flowchart of FIG. 71 to FIG. 74, except CPUC311 processor or a dedicated circuit may be executed.

図71において、CPUC311は、画像処理における初期設定を行い(ステップC51)、次のステップに処理を進める。 In Figure 71, CPUC311 performs initial setting of the image processing (step C51), and proceeds to the subsequent step. 例えば、CPUC311は、上記ステップC51において、当該画像処理で用いられる各パラメータを初期化する。 For example, CPUC311, in step C51, initializes each parameter used in the image processing. なお、CPUC311は、音声認識フラグ(拍手フラグ、口笛フラグ、息フラグ、登録音声フラグ)については全てオフに初期化し、通常状態フラグについてはオンに初期化する。 Incidentally, CPUC311 the speech recognition flag (applause flag, whistling flag, breath flag, registered voice flag) initializes all the off initializes turned on for normal state flag.

次に、CPUC311は、外側撮像部C23から出力される両方のカメラ画像(すなわち左目用のカメラ画像および右目用のカメラ画像)を示す撮像画像データ、マイクC43に入力された音声波形に対応する音声データ、およびユーザが操作ボタンC14やアナログスティックC15等の操作子を操作した操作情報を示す操作入力データを取得し(ステップC52)、次のステップに処理を進める。 Then, CPUC311 corresponds to both the camera image (i.e. camera image for camera image and the right eye left eye) image data indicating a speech waveform input to the microphone C43 output from the outer imaging section C23 speech data, and the user obtains operation input data indicating the operation information operates the operator such as the operation buttons C14 and analog stick C15 (step C52), and proceeds to the subsequent step. 例えば、CPUC311は、取得した左目用のカメラ画像を示す撮像画像データを用いて、左カメラ画像データDaを更新する。 For example, CPUC311 using the captured image data of a camera image for acquired left eye, and updates the left camera image data Da. CPUC311は、取得した右目用のカメラ画像を示す撮像画像データを用いて、右カメラ画像データDbを更新する。 CPUC311 using the captured image data of a camera image for acquired right to update the right camera image data Db. CPUC311は、取得した音声データを用いて、音声波形データDcを更新する。 CPUC311 uses the acquired speech data, and updates the voice waveform data Dc. そして、CPUC311は、取得した操作入力データを用いて、操作入力データDdを更新する。 Then, CPUC311, using the obtained operation input data, updates the operation input data Dd.

次に、CPUC311は、左右両方のカメラ画像を示す撮像画像データをそれぞれ用いて撮影画像認識処理を行い(ステップC53)、次のステップに処理を進める。 Then, CPUC311 performs photographic image recognition processing using the captured image data representing the left and right both camera images respectively (Step C53), and proceeds to the subsequent step. 以下、上記ステップC53で行う撮影画像認識処理の一例について説明する。 Hereinafter, an example of a captured image recognition process performed in step C53.

上述したように、上側ハウジングC21において、外側左撮像部C23aと外側右撮像部C23bは、一定の間隔だけ離れている。 As described above, in the upper housing C21, the left outer imaging section C23a and an outer right imaging unit C23b, spaced apart by a predetermined distance. したがって、外側左撮像部C23aと外側右撮像部C23bによって同時にマーカMKを撮像した場合、外側左撮像部C23aによって撮像された左カメラ画像におけるマーカMKの位置および姿勢と、外側右撮像部C23bによって撮像された右カメラ画像におけるマーカMKの位置および姿勢との間には、視差によるズレが生じる。 Therefore, when an image of the marker MK simultaneously by the left outer imaging section C23a and an outer right imaging unit C23b, the position and orientation of the marker MK in the left camera image captured by the outer left imaging unit C23a, imaging by the outer right imaging unit C23b between the position and orientation of the marker MK in has been right camera image, offset by the parallax may occur. そして、上記撮影画像認識処理においては、外側左撮像部C23aおよび外側右撮像部C23bとマーカMKとの位置関係が算出される。 Then, in the photographing image recognition processing, the position relationship between the left outer capturing section C23a and the right outer imaging section C23b and the marker MK is calculated.

例えば、CPUC311は、パターンマッチング手法等によって左右両方のカメラ画像にマーカMKが含まれているか否かを判断し、当該カメラ画像にマーカMK(マーカ画像MKi)が含まれている場合には、当該カメラ画像におけるマーカMKの位置および姿勢に基づいて、外側左撮像部C23aとマーカMKとの位置関係および外側右撮像部C23bとマーカMKとの位置関係を算出する。 For example, CPUC311, when the pattern matching method or the like determines whether contains marker MK in both the left and right camera images includes a marker MK (marker image MKI) on the camera image, the based on the position and orientation of the marker MK in the camera image, and calculates the positional relationship and the positional relationship between the outer right imaging unit C23b and the marker MK in the left outer capturing section C23a and the marker MK. 一例として、CPUC311は、左目用のカメラ画像におけるマーカ画像MKiの位置および/または姿勢を認識することによって、左目用のマーカ・カメラ変換行列を算出して、左カメラ画像認識結果データDeを更新する。 As an example, CPUC311 by recognizing the position and / or orientation of the marker image MKi in the camera image for the left eye, and calculates the marker camera transformation matrix for the left eye, and updates the left camera image recognition result data De . また、CPUC311は、右目用のカメラ画像におけるマーカ画像MKiの位置および/または姿勢を認識することによって、右目用のマーカ・カメラ変換行列を算出して、右カメラ画像認識結果データDfを更新する。 Further, CPUC311 by recognizing the position and / or orientation of the marker image MKi in the camera image for the right eye, and calculates the marker camera transformation matrix for the right eye, and updates the right camera image recognition result data Df.

なお、左目用のマーカ・カメラ変換行列は、左カメラ画像におけるマーカMKの位置および姿勢に基づいて計算される外側左撮像部C23aの位置および姿勢を反映した行列である。 Incidentally, the marker camera transformation matrix for the left eye is a matrix that reflects the position and orientation of the left outer imaging section C23a, which is calculated based on the position and orientation of the marker MK in the left camera image. より正確には、マーカ座標系(実世界におけるマーカMKの位置を原点とし、マーカMKの縦方向(Z軸方向)、横方向(X軸方向)、法線方向(Y軸方向)の各方向を各軸とする座標系)で表された座標を、左カメラ画像におけるマーカ画像MKiの位置および姿勢に基づいて計算された外側左撮像部C23aの位置および姿勢を基準とした外側左撮像部座標系で表される座標へと変換するための座標変換行列である。 More precisely, the origin position of the marker MK in the marker coordinate system (the real world, the vertical direction (Z-axis direction of the marker MK), the transverse direction (X axis direction), the direction of the normal direction (Y axis direction) coordinates expressed in the coordinate system) to the axis, the outer left imaging unit coordinates relative to the position and orientation of the calculated left outer imaging section C23a based on the position and orientation of the marker image MKi in the left camera image a coordinate transformation matrix for transforming into coordinates expressed in the system.

また、右目用のマーカ・カメラ変換行列は、右カメラ画像におけるマーカMKの位置および姿勢に基づいて計算される外側右撮像部C23bの位置および姿勢を反映した行列である。 Also, marker-camera transformation matrix for the right eye is a matrix that reflects the position and the orientation of the outer right imaging unit C23b which is calculated based on the position and orientation of the marker MK in the right camera image. より正確には、マーカ座標系で表された座標を、右カメラ画像におけるマーカ画像MKiの位置および姿勢に基づいて計算された外側右撮像部C23bの位置および姿勢を基準とした外側右撮像部座標系で表される座標へと変換するための座標変換行列である。 More precisely, the coordinates represented by the marker coordinate system, the right outer capturing unit coordinates relative to the position and orientation of the calculated outer right imaging unit C23b based on the position and orientation of the marker image MKi in the right camera image a coordinate transformation matrix for transforming into coordinates expressed in the system.

ここで、ARでは、マーカ座標系を外側左撮像部座標系に変換する左目用のマーカ・カメラ変換行列を左仮想カメラのビュー行列に指定し、マーカ座標系を外側右撮像部座標系に変換する右目用のマーカ・カメラ変換行列を右仮想カメラのビュー行列に指定することにより、実世界画像(左カメラ画像および右カメラ画像)にCG画像(左仮想世界画像および右仮想世界画像)をそれぞれ合成することができる。 Conversion Here, the AR, the marker camera transformation matrix for the left eye that converts the marker coordinate system in the left outer capturing unit coordinate system specified view matrix of the left virtual camera, the marker coordinate system in the right outer imaging section coordinate system by specifying the view matrix of the right virtual camera marker camera transformation matrix for the right eye, CG images to the real world image (left camera image and the right camera images) (left virtual world image and the right virtual world image) respectively to it can be synthesized.

なお、上記ステップC53において、左カメラ画像および右カメラ画像の少なくとも一方からマーカ画像MKiが認識されなかった場合には、左目用のマーカ・カメラ変換行列および/または右目用のマーカ・カメラ変換行列としてヌル値が左カメラ画像認識結果データDeおよび/または右カメラ画像認識結果データDfに格納され、これによって、左カメラ画像または右カメラ画像におけるマーカMKの認識に失敗したことが記録される。 In the above step C53, when the marker image MKi from at least one of the left camera image and the right camera image is not recognized as a marker camera transformation matrix for the left eye and / or marker camera transformation matrix for the right eye null value is stored in the left camera image recognition result data De and / or right camera image recognition result data Df, whereby, it has failed to recognize the marker MK in the left camera image or the right camera images are recorded.

なお、マーカ認識精度に誤差が全く無く、かつゲーム装置C10に対する外側左撮像部C23aおよび外側右撮像部C23bの取り付け精度に誤差が全く無いと仮定する。 Incidentally, an error without any the marker recognition accuracy, and it is assumed that without any error in the mounting accuracy of the left outer imaging section C23a and the right outer imaging section C23b to the game device C10. この場合、右カメラ画像の画像認識結果から計算される右仮想カメラの位置は、左カメラ画像の画像認識結果から計算される左仮想カメラの位置を、左仮想カメラ座標系の横方向(例えば、X軸方向)に沿って一定距離だけずらした位置となる。 In this case, the position of the right virtual camera is calculated from the image recognition result of the right camera image, the position of the left virtual camera is calculated from the image recognition result of the left camera image, the left virtual camera coordinate system in the lateral direction (e.g., constant distance position shifted along the X-axis direction). つまり、右カメラ画像の画像認識結果から計算される右仮想カメラの姿勢と、左カメラ画像の画像認識結果から計算される左仮想カメラの姿勢とは、同じとなる(すなわち、左仮想カメラ座標系のX軸,Y軸,Z軸が、右仮想カメラ座標系のX軸,Y軸,Z軸とそれぞれ平行となる)。 That is, the attitude of the right virtual camera is calculated from the image recognition result of the right camera image, and the attitude of the left virtual camera is calculated from the image recognition result of the left camera image, the same (i.e., the left virtual camera coordinate system X axis, Y axis, Z-axis, X-axis of the right virtual camera coordinate system, Y-axis, and respectively parallel to the Z axis). したがって、一方のカメラ画像(例えば、左カメラ画像)の画像認識結果から計算される一方の仮想カメラ(例えば、左仮想カメラ)の位置および姿勢に基づいて、他方の仮想カメラ(例えば、右仮想カメラ)の位置および姿勢を決定して、他方のマーカ・カメラ変換行列を算出してもよい。 Thus, one camera image (e.g., left camera image) one of the virtual camera is calculated from the image recognition result (for example, left virtual camera) based on the position and orientation of the other of the virtual camera (for example, right virtual camera the position and orientation of) determined, may calculate the other marker camera transformation matrix. この場合、他方のカメラ画像(例えば、右カメラ画像)に対する画像認識処理が不要となる。 In this case, other camera images (e.g., right camera image) image recognition processing is not required for.

次に、CPUC311は、音声認識処理を行って(ステップC54)、次のステップに処理を進める。 Then, CPUC311 performs the voice recognition process (step C54), and proceeds to the subsequent step. 以下、図72を参照して、上記ステップC54で行う音声認識処理について説明する。 Referring to FIG. 72, it will be described the speech recognition process performed in step C54.

図72において、CPUC311は、マイクC43に入力された音声波形からスペクトル情報を算出し(ステップC61)、次のステップに処理を進める。 In Figure 72, CPUC311 calculates the spectral information from the speech waveform input to the microphone C43 (step C61), and proceeds to the subsequent step. 例えば、CPUC311は、音声波形データDcに格納されている音声波形情報を、短時間FFT分析することによってスペクトルを算出し、当該スペクトルを用いてスペクトル情報データDgを更新する。 For example, CPUC311 the audio waveform information stored in the speech waveform data Dc, and calculates the spectrum by short FFT analysis, updates the spectral information data Dg by using the spectrum.

次に、CPUC311は、上記ステップC61で算出されたスペクトルからメルフィルタ出力情報を算出し(ステップC62)、次のステップに処理を進める。 Then, CPUC311 calculates the Mel filter output information from the spectrum calculated at step C61 (step C62), and proceeds to the subsequent step. 例えば、CPUC311は、スペクトル情報データDgに格納されているスペクトルを、メルフィルタバンク分析することによって帯域フィルタバンクの出力を算出し、当該出力を示すデータを用いてメルフィルタ出力情報データDhを更新する。 For example, CPUC311 is a spectrum that is stored in the spectral information data Dg, and calculates the output of the bandpass filter bank by Mel filter bank analysis, updates the Mel filter outputs information data Dh by using the data indicating the output .

次に、CPUC311は、拍手判定処理を行って(ステップC63)、次のステップに処理を進める。 Then, CPUC311 performs applause determination process (step C63), and proceeds to the subsequent step. 例えば、CPUC311は、音声波形データDcに格納されている音声波形情報を用いて、マイクC43に拍手の音が入力されたか否かを判定する。 For example, CPUC311 uses the speech waveform information stored in the speech waveform data Dc, judges whether the sound of applause microphone C43 is input. 一例として、CPUC311は、音声波形データDcに格納されている最新の1フレーム分の音声波形において、振幅レベルの最大値を取得し、当該最大値の履歴を所定期間分(例えば、9フレーム分)記憶しておく。 As an example, CPUC311, in recent one frame of the speech waveform stored in the speech waveform data Dc, obtains the maximum value of the amplitude level for a predetermined period of history of the maximum value (e.g., 9 frames) stores. そして、CPUC311は、上記最大値の履歴において上記所定期間の中間時点に相当する最大値(例えば、9フレーム分の最大値の履歴のうち、5フレーム目の最大値)が所定の閾値α以上であり、かつ、当該最大値の前後となる履歴(例えば、前後2フレーム分の履歴)に相当する最大値の値が全て所定の閾値β以下であり、かつ、上記最大値の履歴の平均値が所定の閾値γ以下である場合、入力された音声が拍手であると判定する。 Then, in CPUC311 the maximum value corresponding to the middle point of the predetermined time period in the history of the maximum value (e.g., 9 of the frame the maximum value of the history of the maximum value of the 5 th frame) is equal to or greater than a predetermined threshold value α There, and history to be before and after the maximum value (e.g., before and after two frames of the history) is less than the value of all the predetermined threshold value β of the maximum values ​​corresponding to, and the average value of the history of the maximum value If it is less than a predetermined threshold value gamma, it determines that voice input is applause. このように、上記ステップC63における拍手判定処理の一例では、マイクC43に入力された音声波形を示す情報のみを参照して、相対的に短い期間において振幅が突出した音声波形が得られた場合に、拍手の音であると判定している。 Thus, in one example of clapping determination process in step C63, with reference only information indicating a speech waveform input to the microphone C43, when the speech waveform amplitude is projected in a relatively short period is obtained , it is determined that the sound of applause.

次に、CPUC311は、上記ステップC63における拍手判定処理において、拍手の音が入力されたと判定されたか否かを判断する(ステップC64)。 Then, CPUC311, in applause determination process in step C63, the sound of applause determines whether it is determined to have been input (step C64). そして、CPUC311は、拍手の音が入力されたと判定された場合、拍手フラグをオンに設定して拍手フラグデータDkを更新し(ステップC65)、次のステップC66に処理を進める。 Then, CPUC311, when the sound of applause is determined to have been inputted, is set to turn the applause flag updates the clapping flag data Dk (step C65), and proceeds to the subsequent step C66. 一方、CPUC311は、拍手の音が入力されていないと判定された場合、そのまま次のステップC66に処理を進める。 Meanwhile, CPUC311, when the sound of applause is determined not to be input directly proceeds to the subsequent step C66.

ステップC66において、CPUC311は、口笛判定処理を行って、次のステップに処理を進める。 In step C66, CPUC311 performs whistling determination process, and proceeds to the subsequent step. 例えば、CPUC311は、スペクトル情報データDgに格納されているスペクトルを用いて、マイクC43に口笛の音が入力されたか否かを判定する。 For example, CPUC311 using the spectrum that is stored in the spectral information data Dg, determines whether whistling sound is input to the microphone C43. 一例として、CPUC311は、スペクトル情報データDgに格納されている最新の1フレーム分のスペクトルデータを対数変換してデシベルデータに変換する。 As an example, CPUC311 converts into decibels data the most recent spectral data of one frame stored in the spectral information data Dg by logarithmic transformation. 次に、CPUC311は、最新の1フレーム分の周波数領域(例えば、横軸周波数、縦軸デシベル)において、スペクトルが基準デシベル値δ以上となる回数が1回であり、かつ、低域部分のデシベル値の平均値が基準値ε未満である場合、口笛イベントが発生したとカウントする。 Then, CPUC311 the latest one frame in the frequency domain (e.g., the horizontal axis the frequency, the vertical axis decibels) in a 1 times the number of times the spectrum becomes the reference decibel value δ or more, dB low frequency range If the average value of the values ​​is less than the reference value epsilon, it counted and whistling event occurs. そして、CPUC311は、上記口笛イベントにおける直前の所定フレーム分の履歴において、当該口笛イベントのカウント数合計が閾値ζ以上であれば、入力された音声が口笛であると判定する。 It is determined CPUC311, in a predetermined number of frames of the history of the immediately preceding in the whistle event, if the whistle event count sum is greater than or equal to the threshold ζ of the input speech is whistling. このように、上記ステップC66における口笛判定処理の一例では、マイクC43に入力された音声波形から得られたスペクトル情報のみを参照して、口笛の音を判定している。 Thus, in one example of a whistling determination process in step C66, with reference only to spectral information obtained from a speech waveform input to the microphone C43, which determine the whistling sound.

次に、CPUC311は、上記ステップC66における口笛判定処理において、口笛の音が入力されたと判定されたか否かを判断する(ステップC67)。 Then, CPUC311, in whistling determination process in step C66, whistling sound is determined whether it is determined to have been input (step C67). そして、CPUC311は、口笛の音が入力されたと判定された場合、口笛フラグをオンに設定して口笛フラグデータDlを更新し(ステップC68)、次のステップC69に処理を進める。 Then, CPUC311, when whistling sound is judged to have been inputted, is set to turn the whistle flag updates the whistling flag data Dl (step C68), and proceeds to the subsequent step C69. 一方、CPUC311は、口笛の音が入力されていないと判定された場合、そのまま次のステップC69に処理を進める。 Meanwhile, CPUC311, when whistling sound is determined not to be input directly proceeds to the subsequent step C69.

ステップC69において、CPUC311は、息判定処理を行って、次のステップに処理を進める。 In step C69, CPUC311 performs breath determination process, and proceeds to the subsequent step. 例えば、CPUC311は、音声波形データDcに格納されている音声波形情報と、メルフィルタ出力情報データDhに格納されている帯域フィルタバンクの出力とを用いて、マイクC43に息の音が入力されたか否かを判定する。 For example, CPUC311 includes a speech waveform information stored in the speech waveform data Dc, by using the output of the bandpass filter bank stored in the mel filter output information data Dh, or the sound of breath microphone C43 is input and determines whether or not. 一例として、CPUC311は、音声波形データDcに格納されている音声波形の振幅平均値および振幅最大値がそれぞれ所定の範囲内にあるか否かを判定する。 As an example, CPUC311 determines amplitude average value and the maximum value of the amplitude of the speech waveform stored in the speech waveform data Dc whether each is within a predetermined range. また、CPUC311は、上記音声波形のゼロクロス(音声波形の振幅がプラスからマイナスおよびマイナスからプラスへ変化するときに0レベルと交差する点)の個数が所定の閾値η以下であるか否かを判定する。 Further, CPUC311 is determined whether the number of zero crossings of the speech waveform (the point of intersection with the 0 level when changing the positive from the negative and negative amplitude of the audio waveform from the positive) is equal to or less than a predetermined threshold value η to. さらに、CPUは、メルフィルタ出力情報データDhに格納されている帯域フィルタバンクの出力に対して、低域部分を除いた平均値が所定の閾値θ以上か否かを判定する。 Furthermore, CPU determines the output of the bandpass filter bank stored in the mel filter output information data Dh, the average value excluding the low part whether more than a predetermined threshold value theta. そして、CPUC311は、上記全ての判定がいずれも肯定判定の場合、入力された音声が息であると判定する。 Then, CPUC311, if all the above determination is any positive determination, determines that the input speech is breath. このように、上記ステップC69における息判定処理の一例では、マイクC43に入力された音声波形およびメルフィルタ出力情報を参照して、息の音を判定している。 Thus, in one example of a breath determination process in step C69, with reference to the speech waveform and Mel filter outputs information input to the microphone C43, which determine the sound of breathing.

次に、CPUC311は、上記ステップC69における息判定処理において、息の音が入力されたと判定されたか否かを判断する(ステップC70)。 Then, CPUC311, in breath determination process in step C69, the sound of breath is determined whether it is determined to have been input (step C70). そして、CPUC311は、息の音が入力されたと判定された場合、息フラグをオンに設定して息フラグデータDmを更新し(ステップC71)、次のステップC72に処理を進める。 Then, CPUC311, when the sound of breath is determined to have been input, by setting a breath flag to ON and updates the breath flag data Dm (step C71), and proceeds to the subsequent step C72. 一方、CPUC311は、息の音が入力されていないと判定された場合、そのまま次のステップC72に処理を進める。 Meanwhile, CPUC311, when the sound of breathing is determined not to be input directly proceeds to the subsequent step C72.

ステップC72において、CPUC311は、音声照合処理を行って、次のステップに処理を進める。 In step C72, CPUC311 performs voice verification process, and proceeds to the subsequent step. CPUC311は、マイクC43に入力された音声入力パターンから得られる特徴パラメータ時系列における予め登録されている特徴パラメータ時系列に対する尤度を求め、当該尤度が最大であり、かつ、所定の閾値以上となるモデルの登録音声を照合結果とする。 CPUC311 obtains a likelihood for the feature parameter time series that has been registered in advance in the feature parameter time series obtained from the speech input pattern input to the microphone C43, the likelihood is the maximum, and, above a predetermined threshold value and the registered voice of become a model to the collation result. 例えば、CPUC311は、音声波形データDcに格納されている音声波形情報と、メルフィルタ出力情報データDhに格納されている帯域フィルタバンクの出力とを用いて、マイクC43に入力された音声と照合可能な登録音声があるか否かを判定する。 For example, CPUC311 is possible collates the speech waveform information stored in the speech waveform data Dc, by using the output of the bandpass filter bank stored in the mel filter output information data Dh, and voice input to the microphone C43 It determines whether or not there is a Do not registered voice. 一例として、CPUC311は、音声波形データDcに格納されている音声波形情報と、メルフィルタ出力情報データDhに格納されている帯域フィルタバンクの出力とを用いて、マイクC43に音声が入力されている区間(音声区間)を検出する。 As an example, CPUC311 includes a speech waveform information stored in the speech waveform data Dc, by using the output of the bandpass filter bank stored in the mel filter output information data Dh, speech is input to the microphone C43 It detects a section (voice section). 具体的には、CPUC311は、帯域フィルタバンクの出力から得られるスペクトルの形状に基づいて、マイクC43に音声の入力が開始された時点を検出し、音声波形のレベルに基づいてマイクC43に音声の入力が終了した時点を検出し、これらの時点の間を音声区間とする。 Specifically, CPUC311, based on the shape of the spectra obtained from the output of the band pass filter bank, to detect when the input speech is started in the microphone C43, speech to the microphone C43 based on the level of speech waveform to detect when the input is terminated, and the voice section between these time points. なお、過去の音声波形の履歴を遡って当該音声波形のレベルを確認することによって、音声入力開始時点を決定してもかまわない。 Incidentally, by checking the level of the speech waveform back the history of past speech waveform, it may be determined voice input start time. 次に、CPUC311は、検出された音声区間中に得られた帯域フィルタバンクの出力に対して、三角窓で時間軸の正規化およびレベルの正規化を行い、動的計画法を用いて、音声登録データDjに登録されている登録音声のデータ(登録データ)との間の距離を算出する。 Then, CPUC311, to the output of the bandpass filter bank obtained during detected speech section performs normalization and level normalization of the time axis in the triangular window, using dynamic programming, audio It calculates the distance between the data of registered speech registered in the registration data Dj (registered data). そして、CPUC311は、算出された距離が所定の閾値ι以内であった場合に、当該距離が算出された登録データに入力音声が照合されたと判断する。 Then, CPUC311, when the calculated distance was within a predetermined threshold iota, it is determined that the input voice to the registration data the distance has been calculated is verified. このように、上記ステップC69における息判定処理の一例では、マイクC43に入力された音声波形およびメルフィルタ出力情報を参照して、登録音声との照合処理を行っている。 Thus, in one example of a breath determination process in step C69, with reference to the speech waveform and Mel filter outputs information input to the microphone C43, it is performed matching process between the registered voice.

次に、CPUC311は、上記ステップC72における音声照合処理において、入力音声が登録音声に照合されたと判定されたか否かを判断する(ステップC73)。 Then, CPUC311, in the speech collating processing in step C72, the input voice to determine whether it is determined to have been collated in the registered voice (step C73). そして、CPUC311は、入力音声が登録音声に照合されたと判定された場合、登録音声フラグをオンに設定して登録音声フラグデータDnを更新し(ステップC74)、当該サブルーチンによる処理を終了する。 Then, CPUC311, when the input speech is determined to be matched to the registered voice, is set to turn on the registered voice flag to update the registered voice flag data Dn (step C74), and ends the processing of this subroutine. 一方、CPUC311は、入力音声が登録音声に照合されていないと判定された場合、そのまま当該サブルーチンによる処理を終了する。 Meanwhile, CPUC311, when the input speech is determined not to be collated in the registration voice, ends the processing of this subroutine.

図71に戻り、上記ステップC54における音声認識処理の後、CPUC311は、画像合成処理を行って(ステップC55)、次のステップに処理を進める。 Returning to Figure 71, after the speech recognition process in step C54, CPUC311 performs the image synthesis process (step C55), and proceeds to the subsequent step. 以下、図73を参照して、上記ステップC55で行う画像合成処理について説明する。 Referring to FIG. 73, a description will be given of an image synthesizing processing performed in step C55.

図73において、CPUC311は、通常状態フラグデータDoが示す通常状態フラグがオンであるか否かを判断する(ステップC81)。 In Figure 73, CPUC311 usually state flag indicating the normal status flag data Do is equal to or ON (step C81). そして、CPUC311は、通常状態フラグがオンである場合、次のステップC82に処理を進める。 Then, CPUC311, when normal state flag is ON, and goes to the next step C82. 一方、CPUC311は、通常状態フラグがオフである場合、次のステップC92に処理を進める。 Meanwhile, CPUC311, when normal state flag is OFF, and goes to the next step C92.

ステップC82において、CPUC311は、登録音声フラグデータDnが示す登録音声フラグがオンであるか否かを判断する。 In step C82, CPUC311 is registered voice flag indicating that the registered voice flag data Dn is equal to or ON. そして、CPUC311は、登録音声フラグがオンである場合、次のステップC83に処理を進める。 Then, CPUC311, when registered voice flag is on, the process proceeds to the next step C83. 一方、CPUC311は、登録音声フラグがオフである場合、次のステップC84に処理を進める。 Meanwhile, CPUC311, when registered voice flag is off, it proceeds to the subsequent step C84.

ステップC83において、CPUC311は、音声入力が照合された登録音声に基づいて、仮想キャラクタCに当該登録音声に対応する動作を開始させ、次のステップC95に処理を進める。 In step C83, CPUC311, based on the registered speech sound input is collated, to start an operation corresponding to the registered voice to the virtual character C, and proceeds to the subsequent step C95. 例えば、CPUC311は、音声動作対応テーブルデータDiを参照して、音声入力が照合された登録音声に対応するキャラクタ動作および動作基準を抽出し、抽出されたキャラクタ動作および動作基準に基づいて、仮想キャラクタCの動作を開始する。 For example, CPUC311 refers to the sound operation correspondence table data Di, extracts the character movement and operation criteria corresponding to the registered voice audio input is verified, based on the extracted character movement and operation criteria, the virtual character to start the C operation.

一方、ステップC84において、CPUC311は、拍手フラグデータDkが示す拍手フラグがオンであるか否かを判断する。 On the other hand, in step C84, CPUC311 is applause flag indicating applause flag data Dk are decision on. そして、CPUC311は、拍手フラグがオンである場合、次のステップC85に処理を進める。 Then, CPUC311, if clapping flag is on, the process proceeds to the next step C85. 一方、CPUC311は、拍手フラグがオフである場合、次のステップC86に処理を進める。 Meanwhile, CPUC311, if clapping flag is off, proceeds to the subsequent step C86.

ステップC85において、CPUC311は、仮想キャラクタCに拍手の音が入力されたことに対応する動作を開始させ、次のステップC95に処理を進める。 In step C85, CPUC311 is to start an operation corresponding to the sound of applause virtual character C is input, it proceeds to the subsequent step C95. 例えば、CPUC311は、音声動作対応テーブルデータDiを参照して、拍手の音が認識されたことに対応するキャラクタ動作および動作基準を抽出し、抽出されたキャラクタ動作および動作基準に基づいて、仮想キャラクタCの動作を開始する。 For example, CPUC311 refers to the sound operation correspondence table data Di, extracts the character movement and operation criteria corresponding to the sound of applause is recognized, based on the extracted character movement and operation criteria, the virtual character to start the C operation.

一方、ステップC86において、CPUC311は、口笛フラグデータDlが示す口笛フラグがオンであるか否かを判断する。 On the other hand, in step C86, CPUC311 is whistling flag indicating the whistle flag data Dl is equal to or ON. そして、CPUC311は、口笛フラグがオンである場合、次のステップC87に処理を進める。 Then, CPUC311, when whistling flag is on, the process proceeds to the next step C87. 一方、CPUC311は、口笛フラグがオフである場合、次のステップC88に処理を進める。 Meanwhile, CPUC311, when whistling flag is off, proceeds to the subsequent step C88.

ステップC87において、CPUC311は、仮想キャラクタCに口笛の音が入力されたことに対応する動作を開始させ、次のステップC95に処理を進める。 In step C87, CPUC311 is to start an operation corresponding to the sound of the whistle to the virtual character C is input, it proceeds to the subsequent step C95. 例えば、CPUC311は、音声動作対応テーブルデータDiを参照して、口笛の音が認識されたことに対応するキャラクタ動作および動作基準を抽出し、抽出されたキャラクタ動作および動作基準に基づいて、仮想キャラクタCの動作を開始する。 For example, CPUC311 refers to the sound operation correspondence table data Di, extracts the character movement and operation criteria corresponding to the whistling sound is recognized, based on the extracted character movement and operation criteria, the virtual character to start the C operation.

一方、ステップC88において、CPUC311は、息フラグデータDmが示す息フラグがオンであるか否かを判断する。 On the other hand, in step C88, CPUC311 is breath flag indicating breath flag data Dm are decision on. そして、CPUC311は、息フラグがオンである場合、次のステップC89に処理を進める。 Then, CPUC311, when breath flag is on, the process proceeds to the next step C89. 一方、CPUC311は、息フラグがオフである場合、次のステップC91に処理を進める。 Meanwhile, CPUC311, when breath flag is off, it proceeds to the subsequent step C91.

ステップC89において、CPUC311は、仮想キャラクタCが表示されている方向が所定の範囲内か否かを判断する。 In step C89, CPUC311 the direction of the virtual character C are displayed determines whether within a predetermined range. 上述したように、息の音をゲーム装置C10に入力した場合、当該入力が行われた時点で仮想キャラクタCが上側LCDC22の表示範囲内に存在し、かつ、仮想キャラクタCの前方向が仮想カメラの方向付近を向いている場合に、当該入力に応じた動作指示が有効となる。 As described above, if you enter the sound of breath to the game device C10, virtual character C when the input is made is present in the display range of the upper LCDC22, and, forward of the virtual character C virtual camera when facing a near direction, the operation instruction corresponding to the input is valid. 例えば、CPUC311は、仮想キャラクタCの位置が上側LCDC22の表示範囲内にあり(すなわち、仮想キャラクタCの配置位置が左仮想カメラの視体積内および/または右仮想カメラの視体積内にある)、かつ、仮想キャラクタCの前方向を基準とした所定範囲内に左仮想カメラおよび/または右仮想カメラが配置されている場合に、上記ステップC89において肯定判定する。 For example, CPUC311 is in the display range of the upper LCDC22 the position of the virtual character C (i.e., location of the virtual character C is in the view volume of the left virtual camera volume within and / or right virtual camera views) and, when the left virtual camera and / or the right virtual camera is positioned within a predetermined range relative to the forward direction of the virtual character C, affirmative determines in step C89. そして、CPUC311は、上記ステップC89において肯定判定された場合、次のステップC90に処理を進める。 Then, CPUC311 is, if an affirmative determination is made in step C89, and proceeds to the subsequent step C90. 一方、CPUC311は、上記ステップC89において否定判定された場合、次のステップC91に処理を進める。 Meanwhile, CPUC311, when a negative determination is made in step C89, and proceeds to the subsequent step C91.

ステップC90において、CPUC311は、仮想キャラクタCに息の音が入力されたことに対応する動作を開始させ、次のステップC95に処理を進める。 In step C90, CPUC311 is to start an operation corresponding to the sound of breath virtual character C is input, it proceeds to the subsequent step C95. 例えば、CPUC311は、音声動作対応テーブルデータDiを参照して、息の音が認識されたことに対応するキャラクタ動作および動作基準を抽出し、抽出されたキャラクタ動作および動作基準に基づいて、仮想キャラクタCの動作を開始する。 For example, CPUC311 refers to the sound operation correspondence table data Di, the sound of breathing and extracts the corresponding character movement and operation standards that have been recognized, based on the extracted character movement and operation criteria, the virtual character to start the C operation.

一方、ステップC91において、CPUC311は、仮想キャラクタCに現時点と同じ通常状態での行動を継続させ、次のステップC101(図74参照)に処理を進める。 On the other hand, in step C91, CPUC311 is to continue the behavior of the same normal state current in the virtual character C, and goes to the next step C101 (see FIG. 74).

音声認識された入力に応じた動作を開始する処理(ステップC83、ステップC85、ステップC87、およびステップC90)の後、CPUC311は、通常状態フラグデータDoが示す通常状態フラグをオフに更新して(ステップC95)、次のステップC101に処理を進める。 After the process of starting the operation in accordance with input which is speech recognition (step C83, step C85, step C87, and step C90), CPUC311 is a normal state flag indicating the normal state flag data Do update off ( step C95), and proceeds to the subsequent step C101.

上記ステップC81において、通常状態フラグがオフであると判断された場合、CPUC311は、仮想キャラクタCに現時点で行われている動作を継続させ(ステップC92)、次のステップに処理を進める。 In step C81, when the normal state flag is determined to be off, CPUC311 is allowed to continue operation being performed at the moment the virtual character C (step C92), and proceeds to the subsequent step. ここで、後述により明らかとなるが、通常状態フラグは、音声認識された入力に応じた動作を開始した時点でオフに設定され、当該動作を終了した時点でオンに設定される。 Here, will become apparent by later, the normal state flag is set to OFF at the time of starting an operation corresponding to the input which is speech recognition, is set to ON upon completion of the operation. つまり、当該画像処理においては、仮想キャラクタCが音声認識された入力に応じた動作を行っている間に別の音声認識が行われたとしても、当該動作が優先して行われることになる。 That is, in the image processing, as another speech recognition is performed while the virtual character C is performing an operation in accordance with the input that has been recognized voice, so that the operation is performed with priority.

次に、CPUC311は、音声認識された入力に応じた仮想キャラクタCの動作が終了したか否かを判断する(ステップC93)。 Then, CPUC311 the operation of the virtual character C determines whether or not it is completed in accordance with the input which is speech recognition (step C93). そして、CPUC311は、音声認識された入力に応じた仮想キャラクタCの動作が終了した場合、通常状態フラグデータDoが示す通常状態フラグをオンに更新して(ステップC94)、次のステップC101に処理を進める。 Then, CPUC311, when operation of the virtual character C in accordance with an input that is the speech recognition is finished, the normal state flag indicating the normal state flag data Do is updated to ON (step C94), the next step C101 process the advance. 一方、CPUC311は、音声認識された入力に応じた仮想キャラクタCの動作が継続している場合、そのまま次のステップC101に処理を進める。 Meanwhile, CPUC311, when operation of the virtual character C in accordance with an input that is the speech recognition is continued, as it proceeds to the subsequent step C101.

図74に進み、ステップC101において、CPUC311は、仮想世界画像を生成して、次のステップに処理を進める。 Proceeds to FIG. 74, in step C101, CPUC311 generates a virtual world image, and proceeds to the subsequent step. 例えば、CPUC311は、図75および図76に示すように、マーカ座標系(マーカ画像MKiの位置を原点とし、マーカ画像MKiの縦方向(Z軸方向)、横方向(X軸方向)、法線方向(Y軸方向)の各方向を各軸とする座標系)で定義される仮想空間に仮想キャラクタCを配置して、必要に応じて仮想キャラクタCの大きさを変化させ、仮想キャラクタCに上記ステップC81〜ステップC95で設定された動作を行わせる。 For example, CPUC311, as shown in FIG. 75 and FIG. 76, the marker coordinate system (a position of the marker image MKi the origin, the longitudinal direction (Z-axis direction of the marker image MKi), transverse (X-axis direction), the normal each direction of the direction (Y axis direction) by placing the virtual character C in the virtual space defined by a coordinate system) to the respective axes, to change the size of the virtual character C as needed, the virtual character C to perform set operation in step C81~ step C95. 例えば、仮想キャラクタCにマーカ座標系の原点の周りを歩くような移動をさせると、マーカ画像MKiの周りを歩くような表示が行われる。 For example, it is the movement of walking around the origin of the marker coordinate system in the virtual character C, the display of walking around the marker image MKi is performed. なお、仮想キャラクタCの移動制御は、マーカ座標系の原点と一致、または当該原点付近で、かつ、マーカ画像MKiを含む平面を基準とした方向(例えば、マーカ座標系におけるXZ平面に沿った方向を基準とするY軸方向において所定範囲内の位置)に、仮想キャラクタCの位置座標を変更することにより実現される。 The direction the movement control of the virtual character C, consistent with the origin of the marker coordinate system, or in the vicinity of the origin, and the direction relative to the plane including the marker image MKI (e.g., along the XZ plane in the marker coordinate system a position) within a predetermined range in the Y-axis direction relative to the, is realized by changing the position coordinates of the virtual character C.

なお、上記ステップC101の処理では、マーカ座標系における鉛直方向(Y軸負方向)が仮想空間の鉛直方向と定義して、仮想キャラクタCを仮想空間に配置する。 In the process of step C101, the vertical direction in the marker coordinate system (Y-axis negative direction) is defined as the vertical direction of the virtual space, placing a virtual character C in the virtual space. そして、現在仮想キャラクタCが行っている動作に動作基準(例えば、マーカ基準やカメラ基準:図70参照)が設定されている場合、当該動作基準に基づいて、仮想キャラクタCの方向を設定する。 Then, the operation reference to the operation currently virtual character C performed (e.g., marker standards and camera reference: see FIG. 70) is being set, based on the operation reference, it sets the direction of the virtual character C. 例えば、動作基準がマーカ基準に設定されている動作の場合、仮想キャラクタCの前方向がマーカの方向(例えば、マーカ画像MKiの前方向)に相当するマーカ座標系の縦正方向(Z軸正方向)と一致、または当該マーカの方向から所定の範囲内となるように、仮想空間における仮想キャラクタCの姿勢を制御する。 For example, if the operation of operation reference is set to the marker reference, longitudinal forward direction (Z-axis positive in the forward direction of the marker direction of the virtual character C (e.g., forward of the marker image MKI) marker coordinate system corresponding to It coincides with the direction), or to be within a range from a direction of a predetermined the marker, to control the attitude of the virtual character C in the virtual space. また、動作基準がカメラ基準に設定されている動作の場合、仮想キャラクタCの前方向が左仮想カメラの位置と右仮想カメラの位置との中間点を通る方向と一致、または当該中間点から所定の範囲内を通るように、仮想空間における仮想キャラクタCの姿勢を制御する。 Further, when the operation of operation reference is set in the camera reference, given the direction match or the midpoint through the midpoint between the position and the right virtual camera position forward left virtual camera in the virtual character C to pass within the range of, for controlling the attitude of the virtual character C in the virtual space. なお、マーカ座標系で定義された仮想空間における左仮想カメラの位置および右仮想カメラの位置は、上記ステップC53で算出されている左目用のマーカ・カメラ変換行列および右目用のマーカ・カメラ変換行列を用いて算出することができる。 The position and the position of the right virtual camera of the left virtual camera in virtual space defined by the marker coordinate system, the marker camera transformation matrix and the marker camera transformation matrix for the right eye left eye that is calculated in step C53 it can be calculated using the.

そして、図75に示すように、CPUC311は、左仮想カメラから見た仮想空間を左目用の仮想世界画像として生成し、左仮想世界画像データDpを更新する。 Then, as shown in FIG. 75, CPUC311 generates a virtual space viewed from the left virtual camera as a virtual world image for the left eye, and updates the left virtual world image data Dp. 例えば、CPUC311は、左カメラ画像認識結果データDeが示す左目用のマーカ・カメラ変換行列を左仮想カメラのビュー行列に指定することによって、マーカ座標系で表現されたCGモデル(仮想キャラクタC)を、実世界に当該CGモデルが存在する場合に上側LCDC22に表示される場所(例えば、左カメラ画像におけるマーカ画像MKi上)と同じ位置に表示することができる。 For example, CPUC311 by specifying a marker camera transformation matrix for the left eye shown by the left camera image recognition result data De to view matrix of the left virtual camera, the CG model represented by the marker coordinate system (virtual character C) , location (e.g., the marker on the image MKi in the left camera image) displayed on the upper LCDC22 when the CG model in the real world there can be displayed in the same position as. つまり、上側LCDC22に表示される左目用の表示画像において、マーカ座標系で定義された仮想空間に配置された仮想オブジェクトを、実世界のマーカMKに関連して存在しているように表示することができる。 That is, in the display image for the left eye displayed on the upper LCDC22, to the virtual objects placed in a virtual space defined by the marker coordinate system, and displays to be present in connection with the marker MK in the real world can.

また、図76に示すように、CPUC311は、右仮想カメラから見た仮想空間を右目用の仮想世界画像として生成し、右仮想世界画像データDqを更新する。 Further, as shown in FIG. 76, CPUC311 generates a virtual space viewed from the right virtual camera as a virtual world image for the right eye, and updates the right virtual world image data Dq. 例えば、CPUC311は、右カメラ画像認識結果データDfが示す右目用のマーカ・カメラ変換行列を右仮想カメラのビュー行列に指定することによって、マーカ座標系で表現されたCGモデル(仮想キャラクタC)を、実世界に当該CGモデルが存在する場合に上側LCDC22に表示される場所(例えば、右カメラ画像におけるマーカ画像MKi上)と同じ位置に表示することができる。 For example, CPUC311 by specifying a marker camera transformation matrix for the right eye showing the right camera image recognition result data Df to the view matrix of the right virtual camera, the CG model represented by the marker coordinate system (virtual character C) , location (e.g., the marker on the image MKi in the right camera images) displayed on the upper LCDC22 when the CG model in the real world there can be displayed in the same position as. つまり、上側LCDC22に表示される右目用の表示画像において、マーカ座標系で定義された仮想空間に配置された仮想オブジェクトを、実世界のマーカMKに関連して存在しているように表示することができる。 That is, in the display image for the right eye displayed on the upper LCDC22, to the virtual objects placed in a virtual space defined by the marker coordinate system, and displays to be present in connection with the marker MK in the real world can.

次に、CPUC311は、合成処理を行い(ステップC102)、次のステップに処理を進める。 Then, CPUC311 performs synthesis processing (step C102), and proceeds to the subsequent step. 例えば、CPUC311は、実世界画像と仮想空間画像とを合成した表示画像を生成し、当該表示画像を上側LCDC22に表示する。 For example, CPUC311 generates a display image obtained by synthesizing the virtual space image and a real world image, and displays the display image on the upper LCDC22.

具体的には、CPUC311は、左カメラ画像データDaが示す左目用のカメラ画像を、上側LCDC22へ供給すべき左目用画像を一時的に記憶するためのVRAMC313内の所定の記憶領域(以下、左フレームバッファと称す)に描画する。 Specifically, CPUC311 is the camera image for the left eye shown by the left camera image data Da, a predetermined storage area in the VRAMC313 for temporarily storing the left-eye image to be supplied to the upper LCDC22 (hereinafter, left It is drawn in the frame buffer referred to). そして、CPUC311は、左仮想世界画像データDnが示す左目用の仮想世界画像(すなわち、左仮想カメラから見た仮想空間の画像)を左フレームバッファに上書きする(典型的には、CPUC311からの指示にしたがってGPUC312によって描画される)。 Then, CPUC311 the virtual world image for the left eye showing the left virtual world image data Dn (i.e., the image of the virtual space viewed from the left virtual camera) To the overwrite to the left frame buffer (typically, an instruction from CPUC311 is drawn by GPUC312 in accordance with). これによって、図77に示すように、左フレームバッファに描画された左目用のカメラ画像(左実世界画像)に左目用の仮想世界画像が合成される。 Thus, as shown in FIG. 77, the virtual world image for the left eye are synthesized in the camera image for the left eye drawn on the left frame buffer (left real world image). 左フレームバッファに描画された画像は、所定のタイミングで左目用画像として上側LCDC22へ供給されて、上側LCDC22に表示されることになる。 Image drawn in the left frame buffer is supplied to the upper LCDC22 as the left-eye image at a predetermined timing, it will be displayed on the upper LCDC22. なお、上記左目用の仮想世界画像においては、仮想空間の背景は透明であり、そのため、左実世界画像に左目用の仮想世界画像を合成することで、実世界画像上に仮想キャラクタCが存在するような画像が生成される。 In the virtual world image for the left eye, the background of the virtual space is a transparent, therefore, to synthesize the virtual world image for the left eye to the left real world image, the virtual character C present on the real world image image as that is generated.

一方、CPUC311は、右カメラ画像データDbが示す右目用のカメラ画像を、上側LCDC22へ供給すべき右目用画像を一時的に記憶するためのVRAMC313内の所定の記憶領域(以下、右フレームバッファと称す)に描画する。 Meanwhile, CPUC311 is the camera image for the right eye showing the right camera image data Db, a predetermined storage area in the VRAMC313 for temporarily storing right-eye image to be supplied to the upper LCDC22 (hereinafter, a right frame buffer to draw referred to). そして、CPUC311は、右仮想世界画像データDqが示す右目用の仮想世界画像(すなわち、右仮想カメラから見た仮想空間の画像)を右フレームバッファに上書きする。 Then, CPUC311 overwrites the virtual world image for the right eye showing the right virtual world image data Dq (i.e., the image of the virtual space viewed from the right virtual camera) in the right frame buffer. これによって、右フレームバッファに描画された右目用のカメラ画像(右実世界画像)に右目用の仮想世界画像が合成される。 Thereby, the virtual world image for the right eye are combined in the camera image for the right eye drawn on the right frame buffer (right real world image). 右フレームバッファに描画された画像は、所定のタイミングで右目用画像として上側LCDC22へ供給されて、上側LCDC22に表示されることになる。 Image rendered in the right frame buffer is supplied to the upper LCDC22 as the right-eye images at a predetermined timing, will be displayed on the upper LCDC22. なお、上記右目用の仮想世界画像においても、仮想空間の背景は透明であり、そのため、右実世界画像に右目用の仮想世界画像を合成することで、実世界画像上に仮想キャラクタCが存在するような画像が生成される。 Also in the virtual world image for the right eye, the background of the virtual space is a transparent, therefore, to synthesize the virtual world image for the right eye to the right real world image, the virtual character C present on the real world image image as that is generated.

次に、CPUC311は、音声認識フラグを全てオフに設定し(ステップC103)、当該サブルーチンによる処理を終了する。 Then, CPUC311 all speech recognition flag is set to OFF (step C103), and ends the processing of this subroutine. 例えば、CPUC311は、音声認識フラグ(拍手フラグ、口笛フラグ、息フラグ、登録音声フラグ)を全てオフに設定して、拍手フラグデータDk、口笛フラグデータDl、息フラグデータDm、および登録音声フラグデータDnをそれぞれ更新する。 For example, CPUC311 the speech recognition flag (applause flag, whistling flag, breath flag, registered voice flag) is set to all off, clapping flag data Dk, whistling flag data Dl, breath flag data Dm, and the registered voice flag data Dn to update each.

図71に戻り、上記ステップC55における画像合成処理の後、CPUC311は、現時点が撮影のタイミングか否かを判断する(ステップC56)。 Returning to Figure 71, after the image combining process in step C55, CPUC311 is currently determines whether the timing of shooting (step C56). 一例として、CPUC311は、操作入力データDdに格納されている操作入力が撮影操作を示す場合、現時点が撮影のタイミングであると判断する。 As an example, CPUC311 the operation input stored in the operation input data Dd may show photographing operation, current is judged to be the timing of shooting. 他の例として、CPUC311は、一定時間が経過すると自動的に撮影されるセルフタイマ操作を示す操作入力データを上記ステップC52において取得してから、当該一定時間が経過した場合、現時点が撮影のタイミングであると判断する。 As another example, CPUC311 is an operation input data indicating the self-timer operation is automatically captured when a predetermined time has elapsed from the acquisition in step C52, if the predetermined time has elapsed, the timing of the current shooting it is determined that it is. そして、CPUC311は、現時点が撮影のタイミングである場合、次のステップC57に処理を進める。 Then, CPUC311, when the present time is a timing of shooting, and proceeds to the next step C57. 一方、CPUC311は、現時点が撮影のタイミングでない場合、次のステップC58に処理を進める。 Meanwhile, CPUC311, if the present time is not the timing of shooting, and proceeds to the subsequent step C58. なお、上記ステップC56で判断される撮影操作は、ユーザの音声入力によって行われてもかまわない。 Incidentally, the photographing operation is determined in step C56, the may be performed by the voice input of the user. この場合、CPUC311は、音声波形データDcが示す音声波形を音声認識することによって、ユーザによる撮影指示があったか否かを判断する。 In this case, CPUC311 by recognizing speech a speech waveform indicated by the speech waveform data Dc, it is determined whether or not a photographing instruction by the user.

ステップC57において、CPUC311は、上記ステップC102で合成処理された画像を保存し、次のステップC58に処理を進める。 In step C57, CPUC311 stores the synthesized processed image at step C102, and proceeds to the subsequent step C58. 例えば、CPUC311は、上記ステップC102で合成処理された左目用画像を示す画像データおよび右目用画像を示す画像データを、データ保存用内部メモリC35やデータ保存用外部メモリC46に記憶させる。 For example, CPUC311 the image data representing the image data and the right-eye image showing the left-eye image synthesized treated in step C102, is stored in the internal data storage memory C35 and the external data storage memory C46.

ステップC58において、CPUC311は、当該画像処理を終了するか否かを判断する。 In step C58, CPUC311 determines whether or not to end the image processing. 画像処理を終了する条件としては、例えば、画像処理を自動的に終了する条件が満たされたことや、画像処理を行っているゲームがゲームオーバとなる条件が満たされたことや、ユーザが画像処理を終了する操作を行ったこと等がある。 The conditions to end the image processing, for example, the condition to end the image processing automatically is satisfied, and the game that performs image processing condition for the game over is satisfied, the user image and the like that you have performed an operation to end the process. CPUC311は、画像処理を終了しない場合、上記ステップC52に戻って処理を繰り返す。 CPUC311, if not finish the image processing, the process returns to step C52. 一方、CPUC311は、画像処理を終了する場合、当該フローチャートによる処理を終了する。 Meanwhile, CPUC311, when to end the image processing, and ends the process of the flowchart.

このように、上述した実施形態に係る画像処理では、カメラ画像に仮想キャラクタCを付加表示する際、仮想キャラクタCに対して音声で操作することができ、実世界画像に付加表示された仮想物体に対して新たな入力方法を用いて操作することができる。 Thus, in the image processing according to the embodiment described above, when adding displaying the virtual character C in the camera image, it can be operated by voice to the virtual character C, the virtual object that is additionally displayed on the real world image it can be operated using a new input method with respect.

なお、上述した説明では、実世界に配置されたマーカMKを撮像対象とし、当該マーカMKが撮像されてマーカ画像MKiとして表示されている場合にマーカ画像MKi上付近に仮想キャラクタCを付加表示している。 Incidentally, in the above description, the marker MK arranged in the real world is imaged, if the virtual character C in the vicinity of the marker image MKi additional display to which the marker MK is displayed as a marker image MKi being imaged ing. これは、実世界と撮像装置(外側撮像部C23)との相対的な位置関係や撮像装置の姿勢を認識し、当該認識結果に基づいて仮想物体や文字等を付加表示する位置を設定するためにマーカMKが用いられている。 It recognizes the posture of the relative positional relationship and the imaging device of the real world and the image pickup device (the outer imaging section C23), for setting a position of adding displaying the virtual object or characters on the basis of the recognition result marker MK is used to. しかしながら、本発明は、マーカMKを用いなくても実現することができる。 However, the present invention can be implemented without using the marker MK.

例えば、実世界と撮像装置との相対的な位置関係は、当該撮像装置が撮像する撮像画像内の特徴点(例えば、被写体のエッジや輪郭)を認識し、当該撮像画像内の水平面等を検出する撮像画像内の特徴を検出し、GPSや各種センサによって撮像装置の実世界内の位置や姿勢を取得すれば、上述した同様の画像処理が可能となる。 For example, the relative positional relationship between the real world and the image pickup apparatus, feature points in the captured image in which the imaging device takes an image (e.g., object edges and contours) recognizes, detects a horizontal plane or the like in the captured image detect a characteristic of the captured image to be, by obtaining the position and orientation in the real world of the imaging device by GPS and various sensors, thereby enabling the same image processing described above. 具体的には、撮像画像内の特徴点とその特徴量を抽出する際に用いられるアルゴリズム(例えば、SIFT(Scale−invariant feature transform))等を用いることによって、マーカMKを用いなくても撮像画像内の特徴を検出することが可能となる。 Specifically, the algorithm used for extracting the feature point and its feature amount of the captured image (e.g., SIFT (Scale-invariant feature transform)) by using a like, the captured image without using the marker MK it is possible to detect the characteristic of the inner.

例えば、図78に示すように、撮像装置で撮像されているリアルタイムの撮像画像を表示装置に表示しながら、当該撮像装置が撮像している場所や被写体(建物や看板等)に関連する情報(例えば、文字情報やアイコン)を付加情報として当該撮像画像に重畳して表示される場合でも、本発明を適用することができる。 For example, as shown in FIG. 78, while displaying realtime captured images being captured by the imaging device to the display device, information to which the imaging device is associated with the location or subject being imaged (building or signboard, etc.) ( for example, even if the additional information text information and icons) are displayed superimposed on the captured image, it is possible to apply the present invention. この表示技術は、撮像装置(ゲーム装置C10)に内蔵されたGPSを用いて現在位置を特定し、内蔵された磁気センサ(電子コンパス等)によって撮像方向を認識する。 This display technique recognizes the imaging direction by the image pickup device using the GPS incorporated in the (game device C10) identifies the current position, a built-in magnetic sensor (electronic compass). そして、特定された位置および撮像方向に対応する付加情報が撮像画像に重畳して表示される。 Then, additional information corresponding to the specified position and the imaging direction is displayed superimposed on the captured image. この場合、撮像画像に対する画像認識は不要となるが、広範囲に人工的なランドマークを配置して撮像画像に対する画像認識によって抽出された当該ランドマークの位置をさらに用いて、撮像装置の位置や姿勢を推定する方式もある。 In this case, the image recognition on the captured image becomes unnecessary, further using the position of the landmark extracted by the image recognition on the captured image extensively by placing artificial landmarks, the position and orientation of the imaging apparatus there is also a method to estimate. また、撮像画像を撮像したカメラの位置および姿勢を、撮像画像上の2次元特徴点(エッジや輪郭等)と自然特徴点の3次元位置とを対応付けることによって推定する方式もある。 Further, there is a position and orientation of a camera captures an image, also a system for estimating by associating the three-dimensional position of the two-dimensional feature point on the captured image (edge ​​or contour, etc.) and natural features.

このように、マーカMKを用いなくても実世界における撮像装置の位置や姿勢を取得することは可能であり、これらの技術を用いれば本発明は、マーカMKを用いなくても実現することが可能である。 Thus, it is possible without using the marker MK acquires the position and orientation of the image capturing apparatus in the real world, the present invention By using these techniques, be implemented without using the marker MK possible it is. 例えば、図78に示すように、4つの建物(Aデパート、Bビル、Cビル、およびD銀行)が被写体として外側撮像部C23によって撮像され、撮像された撮像画像が上側LCDC22に表示されている。 For example, as shown in FIG. 78, four buildings (A department store, B building, C buildings, and D bank) is taken by the outer imaging section C23 as a subject, captured the captured image is displayed on the upper LCDC22 . そして、表示されている4つの建物には、それぞれの建物名称を示す文字情報が付加情報として重畳して表示されており、これらの付加情報の1つを選択することによって、選択された建物のさらに詳細な情報を表示することができる。 Then, the four buildings that are displayed are displayed character information indicating respective building name superimposed to as additional information by selecting one of these additional information, the selected building it is possible to display more detailed information. このような状況において、本発明では、上記付加情報の1つを選択する操作を音声で行うことによって、音声で選択された建物のさらに詳細な情報を表示することができる。 In such a situation, in the present invention, by performing voice operation for selecting one of said additional information, can be displayed more detailed information building selected by the audio. 具体的には、ユーザが「Aデパート」を話し言葉として発する音(言語)をゲーム装置C10に入力した場合、ゲーム装置C10では音声入力された「Aデパート」を音声認識し、当該音声認識結果によって選択された文字情報(付加情報)の表示態様を変化させる。 Specifically, if you enter a sound uttered by the user as a spoken "A department store" (Language) to the game device C10, which is a game device C10 in the voice input "A department store" voice recognition by the speech recognition result changing the display mode of the selected character information (additional information). 例えば、音声入力によって選択された文字情報の色、フォント、文字サイズ、文字太さ、文字飾り、文字表示位置等の表示態様を変化させて、複数の文字情報と区別して表示することによって、ユーザに選択された文字情報を報知することができる。 For example, the color of the character information selected by the audio input, font, character size, character thickness, a character decoration, by changing the display mode such as a character display position, by displaying to distinguish a plurality of character information, the user it can inform the character information selected in. そして、ゲーム装置C10は、選択された文字情報が付与された被写体に関するさらに詳細な情報を、上側LCDC22に表示する。 Then, the game device C10 is more detailed information about the object character information selected is assigned is displayed on the upper LCDC22. このように、マーカMKを用いずに実世界における撮像装置の位置や姿勢を取得しながら、仮想オブジェクトとして文字が付加表示されている状況においても、音声入力によって当該文字を選択する操作を行うことができる。 Thus, while acquiring the position and orientation of the image capturing apparatus in the real world without using a marker MK, even in a situation where the character as a virtual object is additionally displayed, performs an operation of selecting the character through voice input can. そして、実世界画像を撮像しながら、従来の入力方法で当該実世界画像に重畳されて表示された複数の選択肢から選択する操作は煩わしい操作となるが、当該撮像装置(ゲーム装置C10)を把持しているユーザの手指を用いない音声入力で選択することによって操作性を飛躍的に向上させることができる。 Then, while imaging the real world image, the operation of selecting from a plurality of options displayed superimposed on the real world image in the conventional input method is a complicated operation, grasping the imaging device (game device C10) and by selecting a voice input without using a finger of the user is able to remarkably improve the operability.

また、上述した説明では、上側LCDC22に、裸眼で立体視可能な画像(立体画像)が上側LCDC22に表示される例を用いたが、外側撮像部C23および内側撮像部C24のいずれかから取得した実世界の平面画像(上述した立体視可能な画像とは反対の意味での平面視の画像)を上側LCDC22に表示してもよい。 Further, in the above description, the upper LCDC22, naked eye stereoscopically visible image (stereoscopic image) is used an example displayed on the upper LCDC22, obtained from one of the outer imaging section C23 and the inner imaging section C24 real world plane image (in plan view of the image in the opposite sense of the above-mentioned stereoscopically visible image) may be displayed on the upper LCDC22.

また、上記実施形態では、上側LCDC22がパララックスバリア方式の液晶表示装置であるとして、視差バリアのON/OFFを制御することにより、立体表示と平面表示とを切り替えることができる。 In the above embodiment, as the upper LCDC22 is a liquid crystal display device of the parallax barrier system, by controlling the ON / OFF of the parallax barrier, it is possible to switch between the three-dimensional display and planar display. 他の実施形態では、例えば、上側LCDC22としてレンチキュラー方式の液晶表示装置を用いて、立体画像および平面画像を表示可能としてもよい。 In other embodiments, for example, a liquid crystal display device of the lenticular scheme as the upper LCDC22, may enable displaying a stereoscopic image and a planar image. レンチキュラー方式の場合でも、外側撮像部C23で撮像した2つの画像を縦方向に短冊状に分割して交互に配置することで画像が立体表示される。 Even if the lenticular scheme, an image by alternately arranging to split the two images captured by the outer imaging section C23 longitudinally in a strip shape is three-dimensional display. また、レンチキュラー方式の場合でも、内側撮像部C24で撮像した1つの画像をユーザの左右の目に視認させることによって、当該画像を平面表示させることができる。 Further, even when the lenticular scheme, by viewing a single image taken by the inner imaging section C24 to the left and right eyes of the user, can be a flat display the image. すなわち、レンチキュラー方式の液晶表示装置であっても、同じ画像を縦方向に短冊状に分割し、これら分割した画像を交互に配置することにより、ユーザの左右の目に同じ画像を視認させることができる。 That is, even in the liquid crystal display device of the lenticular type, divided into strips of the same image in the vertical direction, by arranging these divided images alternately, be visually the same image to the left and right eyes of the user it can. これにより、内側撮像部C24で撮像された画像を平面画像として表示することが可能である。 Thus, it is possible to display the image captured by the inner imaging section C24 as a planar image.

また、上述した説明では、上側LCDC22を裸眼立体視可能な表示装置として説明したが、上側LCDC22が他の方式で立体視可能に構成されてもかまわない。 Further, in the above description has been described above LCDC22 as autostereoscopic display device capable, upper LCDC22 is may be configured to stereoscopically viewable in other ways. 例えば、偏光フィルタ方式、時分割方式、アナグリフ方式等の方式で、上側LCDC22を立体視可能に構成してもかまわない。 For example, the polarizing filter method, time division method, in a manner such as anaglyph method, may be configured upper LCDC22 the stereoscopically viewable.

また、上述した実施形態では、2画面分の液晶表示部の一例として、物理的に分離された下側LCDC12および上側LCDC22を互いに上下に配置した場合(上下2画面の場合)を説明した。 Further, in the above embodiment, as an example of a liquid crystal display portion of two screens, described the case where physically separate the lower LCDC12 and upper LCDC22 arranged one above the other (for upper and lower screen). しかしながら、本発明は、単一の表示画面(例えば、上側LCDC22のみ)を有する装置または単一の表示装置に表示する画像を画像処理する装置でも実現することができる。 However, the present invention provides a single display screen (e.g., upper LCDC22 only) can be realized even in an image device for image processing to be displayed on the device or a single display device having a. また、2画面分の表示画面の構成は、他の構成でもかまわない。 In addition, the configuration of the display screen of the two screens, may be in other configurations. 例えば、下側ハウジングC11の一方主面に下側LCDC12および上側LCDC22を左右に配置してもかまわない。 For example, it may be disposed lower LCDC12 and upper LCDC22-side on one principal surface of the lower housing C11. また、下側LCDC12と横幅が同じで縦の長さが2倍のサイズからなる縦長サイズのLCD(すなわち、物理的には1つで、表示サイズが縦に2画面分あるLCD)を下側ハウジングC11の一方主面に配設して、2つの画像(例えば、撮像画像と操作説明画面を示す画像等)を上下に表示(すなわち上下の境界部分無しに隣接して表示)するように構成してもよい。 Further, the vertical size of lower LCDC12 and lateral width of the size of two times the length of the longitudinal same LCD (i.e., physically one, LCD display size with two screens in the vertical) lower the may be disposed on one principal surface of the housing C11, 2 single image (e.g., image or the like showing a captured image operation manual screen) configured to display up and down (i.e. displayed on top of the other with no boundary portion) it may be. また、下側LCDC12と縦幅が同じで横の長さが2倍のサイズからなる横長サイズのLCDを下側ハウジングC11の一方主面に配設して、横方向に2つの画像を左右に表示(すなわち左右の境界部分無しに隣接して表示)するように構成してもよい。 Further, by disposing the LCD oblong size the length of the lateral and lower LCDC12 and vertical width are the same consists of 2 times the size of the one main surface of the lower housing C11, the two images in the horizontal direction to the left and right it may be configured to display (i.e. displayed adjacent without the left and right boundary). すなわち、物理的に1つの画面を2つに分割して使用することにより2つの画像を表示してもかまわない。 That is, it is also possible to display two images by physically used by dividing one screen into two. また、物理的に1つの画面を2つに分割して使用することにより上記2つの画像を表示する場合、当該画面全面にタッチパネルC13を配設してもかまわない。 Further, when displaying the two images by physically used by dividing one screen into two, it may be arranged a touch panel C13 on the entire screen.

また、上述した実施例では、ゲーム装置C10にタッチパネルC13が一体的に設けられているが、ゲーム装置とタッチパネルとを別体にして構成しても、本発明を実現できることは言うまでもない。 Further, in the above-described embodiment, although the touch panel C13 game device C10 is provided integrally, even if the game apparatus and the touch panel are separately provided, it is needless to say that the present invention can be realized. また、上側LCDC22の上面にタッチパネルC13を設けて上側LCDC22に下側LCDC12に表示していた表示画像を表示し、下側LCDC12に上側LCDC22に表示していた表示画像を表示してもよい。 Also, to display the display image displayed on the lower LCDC12 upward LCDC22 with a touch panel C13 provided on the upper surface of the upper LCDC22, may display the display image displayed on the upper LCDC22 the lower LCDC12. また、本発明を実現する場合に、タッチパネルC13が設けられていなくもかまわない。 Also, when realizing the present invention, the touch panel C13 is may be not be provided.

また、上記実施例では、携帯型のゲーム装置C10を用いて説明したが、据置型のゲーム装置や一般的なパーソナルコンピュータ等の情報処理装置で本発明の画像処理プログラムを実行して、本発明を実現してもかまわない。 In the above embodiment has been described using a portable game device C10, by executing the image processing program of the present invention an information processing apparatus, such as a stationary game apparatus or a general personal computer, the present invention it may be realized. また、他の実施形態では、ゲーム装置に限らず任意の携帯型電子機器、例えば、PDA(Personal Digital Assistant)や携帯電話、パーソナルコンピュータ、カメラ等であってもよい。 Further, in another embodiment, any of the portable electronic device is not limited to a game apparatus, for example, PDA (Personal Digital Assistant) or a cellular phone, a personal computer, a camera or the like.

また、上述した説明では画像処理をゲーム装置C10で行う例を用いたが、上記画像処理における処理ステップの少なくとも一部を他の装置で行ってもかまわない。 Further, although the above description was used an example of performing image processing in the game device C10, it may be performed at least some of the processing steps in the image processing by another device. 例えば、ゲーム装置C10が他の装置(例えば、サーバや他のゲーム装置)と通信可能に構成されている場合、上記画像処理における処理ステップは、ゲーム装置C10および当該他の装置が協働することによって実行してもよい。 For example, the game device C10 is another device (e.g., a server or another game apparatus) if configured to communicate with the processing steps in the image processing, the game device C10 and the other devices cooperating it may be executed by. 一例として、他の装置において、実世界画像および仮想キャラクタCを設定する処理が行われ、ゲーム装置C10が実世界画像および仮想キャラクタCに関するデータを取得して、ステップC54〜ステップC68の処理を行うことが考えられる。 Performed as an example, in another apparatus, the processing for setting the real world image and the virtual character C is performed, the game device C10 is to obtain data about real-world image and the virtual character C, the process of step C54~ step C68 it is conceivable. このように、上記画像における処理ステップの少なくとも一部を他の装置で行うことによって、上述した画像処理と同様の処理が可能となる。 Thus, by performing at least some of the processing steps in the image in another device, it is possible to process the same as the above-described image processing. 上述した画像処理は、少なくとも1つの情報処理装置により構成される情報処理システムに含まれる1つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。 The above-described image processing can be performed by the cooperation of a processor or a plurality of processors included in an information processing system constituted by at least one information processing apparatus. また、上記実施形態においては、ゲーム装置C10の情報処理部C31が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われたが、ゲーム装置C10が備える専用回路によって上記処理の一部または全部が行われてもよい。 Further, in the above embodiment, by the information processing unit C31 of the game device C10 executing a predetermined program, the processing of the flowchart described above has been performed, a portion of the processing by a dedicated circuit which game device C10 is provided or it may be entirely carried out.

また、上述したゲーム装置C10の形状や、それに設けられている各種操作ボタンC14、アナログスティックC15、タッチパネルC13の形状、数、および設置位置等は、単なる一例に過ぎず他の形状、数、および設置位置であっても、本発明を実現できることは言うまでもない。 Further, the shape of the game apparatus C10 as described above, various operation buttons C14 is provided thereto, an analog stick C15, the shape of the touch panel C13, the number, and setting position, the other shapes are merely examples, numbers, and even installation position, it may be used to realize the present invention. また、上述した画像処理で用いられる処理順序、設定値、判定に用いられる値等は、単なる一例に過ぎず他の順序や値であっても、本発明を実現できることは言うまでもない。 Further, the processing order used in the above-described image processing, a set value, the value or the like used in the determination, be in other orders or values ​​are just sample values, it is needless to say that the present invention can be realized.

また、上記画像処理プログラム(ゲームプログラム)は、外部メモリC45やデータ保存用外部メモリC46等の外部記憶媒体を通じてゲーム装置C10に供給されるだけでなく、有線または無線の通信回線を通じてゲーム装置C10に供給されてもよい。 Further, the image processing program (game program) is not only supplied to the game device C10 via an external storage medium such as an external memory C45 and the external data storage memory C46, ​​the game device C10 via a wired or wireless communication line it may be supplied. また、上記プログラムは、ゲーム装置C10内部の不揮発性記憶装置に予め記録されていてもよい。 Further, the program may be previously stored in the game device C10 internal nonvolatile storage device. なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、CD−ROM、DVD、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープなどでもよい。 The information storage medium for storing the program, in addition to the non-volatile memory, CD-ROM, DVD, or optical disc-shaped storage medium similar to them, a flexible disk, hard disk, magneto-optical disk, in a magnetic tape good. また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを記憶する揮発性メモリでもよい。 Further, the information storage medium for storing the program may be a volatile memory for storing the program.

(ゲーム装置の構成) (Structure of the game apparatus)
以下、本発明のさらに他の一実施形態に係るゲーム装置について説明する。 The following describes further game apparatus according to another embodiment of the present invention. 図79〜図81は、ゲーム装置D10の外観を示す平面図である。 Figure 79 to Figure 81 is a plan view of an outer appearance of a game device D10. ゲーム装置D10は携帯型のゲーム装置であり、図79〜図81に示すように折り畳み可能に構成されている。 Game device D10 is a hand-held game apparatus, and is configured to be foldable as shown in FIG. 79 to FIG 81. 図79および図80は、開いた状態(開状態)におけるゲーム装置D10を示し、図81は、閉じた状態(閉状態)におけるゲーム装置D10を示している。 79 and FIG. 80 shows a game apparatus D10 in an opened state, FIG. 81 shows the game apparatus D10 in a closed state. 図79は、開状態におけるゲーム装置D10の正面図であり、図80は、開状態におけるゲーム装置D10の右側面図である。 Figure 79 is a front view of the game apparatus D10 in the open state, FIG. 80 is a right side view of the game apparatus D10 in the open state. ゲーム装置D10は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。 Game apparatus D10 captures an image by the imaging unit, and displays the taken image on a screen, it is possible to to store data of the captured image. また、ゲーム装置D10は、交換可能なメモリカード内に記憶され、または、サーバや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。 The game apparatus D10 are stored in an exchangeable memory card, or is capable of executing a game program received from a server or another game apparatus, such as an image captured by a virtual camera set in a virtual space the image generated by computer graphics processing may be or displayed on the screen.

まず、図79〜図81を参照して、ゲーム装置D10の外観構成について説明する。 First, referring to FIG. 79 to FIG 81, illustrating the appearance structure of the game apparatus D10. 図79〜図81に示されるように、ゲーム装置D10は、下側ハウジングD11および上側ハウジングD21を有する。 As shown in Figure 79 to Figure 81, the game device D10 includes a lower housing D11 and an upper housing D21. 下側ハウジングD11と上側ハウジングD21とは、開閉可能(折り畳み可能)に接続されている。 The lower housing D11 and the upper housing D21, are connected to allow opening and closing (be foldable). 本実施形態では、各ハウジングD11およびD21はともに横長の長方形の板状形状であり、互いの長辺部分で回転可能に接続されている。 In the present embodiment, the housings D11 and D21 are both horizontally long rectangular plate shape, and is rotatably connected at their longer sides.

図79および図80に示されるように、下側ハウジングD11の上側長辺部分には、下側ハウジングD11の内側面(主面)D11Bに対して垂直な方向に突起する突起部D11Aが設けられる。 As shown in FIG. 79 and FIG. 80, the upper long side portion of the lower housing D11, projections D11A is provided which protrudes in a direction perpendicular to the inner surface (main surface) D11b of the lower housing D11 . また、上側ハウジングD21の下側長辺部分には、上側ハウジングD21の下側面から当該下側面に垂直な方向に突起する突起部D21Aが設けられる。 Furthermore, the lower long side portion of the upper housing D21, projections D21A which protrudes from the lower surface of the upper housing D21 in a direction perpendicular to the lower surface is provided. 下側ハウジングD11の突起部D11Aと上側ハウジングD21の突起部D21Aとが連結されることにより、下側ハウジングD11と上側ハウジングD21とが、折り畳み可能に接続される。 By the protruding portion D21A protrusions D11A an upper housing D21 of the lower housing D11 is connected, and a lower housing D11 and the upper housing D21, are foldably connected.

(下側ハウジングの説明) (Description of the lower housing)
まず、下側ハウジングD11の構成について説明する。 First, the configuration of the lower housing D11. 図79〜図81に示すように、下側ハウジングD11には、下側LCD(Liquid Crystal Display:液晶表示装置)D12、タッチパネルD13、各操作ボタンD14A〜D14L(図79、図81)、アナログスティックD15、LEDD16A〜D16B、挿入口D17、および、マイクロフォン用孔D18が設けられる。 As shown in FIG. 79 to FIG. 81, the lower housing D11, a lower LCD (Liquid Crystal Display: LCD device) D12, a touch panel D13, the operation buttons D14A~D14L (79, FIG. 81), analog stick D15, LEDD16A~D16B, insertion opening D17, and a microphone hole D18 is provided. 以下、これらの詳細について説明する。 Hereinafter, these components will be described in detail.

図79に示すように、下側LCDD12は下側ハウジングD11に収納される。 As shown in FIG. 79, the lower LCDD12 is accommodated in the lower housing D11. 下側LCDD12は横長形状であり、長辺方向が下側ハウジングD11の長辺方向に一致するように配置される。 Lower LCDD12 has a horizontally long shape, and is arranged such that a long side direction thereof corresponds to a long side direction of the lower housing D11. 下側LCDD12は下側ハウジングD11の中央に配置される。 Lower LCDD12 is located in the center of the lower housing D11. 下側LCDD12は、下側ハウジングD11の内側面(主面)に設けられ、下側ハウジングD11に設けられた開口部から当該下側LCDD12の画面が露出される。 Lower LCDD12 is provided on the inner surface of the lower housing D11 (main surface) screen of the lower LCDD12 is exposed from the opening provided in the lower housing D11. ゲーム装置D10を使用しない場合には閉状態としておくことによって、下側LCDD12の画面が汚れたり傷ついたりすることを防止することができる。 By keeping the closed state when not using the game apparatus D10, it is possible to prevent or damaged dirty screen of the lower LCDD12. 下側LCDD12の画素数は、例えば、256dot×192dot(横×縦)であってもよい。 Number of pixels of the lower LCDD12 may be, for example, a 256 dots × 192 dots (horizontal × vertical). 下側LCDD12は、後述する上側LCDD22とは異なり、画像を(立体視可能ではなく)平面的に表示する表示装置である。 Lower LCDD12 Unlike upper LCDD22 described later, the image (not in a stereoscopic view) of a display device for planar display. なお、本実施形態では表示装置としてLCDを用いているが、例えばEL(Electro Luminescence:電界発光)を利用した表示装置など、他の任意の表示装置を利用してもよい。 Incidentally, in the present embodiment an LCD is used as a display device, for example, EL: a display device using an (Electro Luminescence) may be used any other display device. また、下側LCDD12として、任意の解像度の表示装置を利用することができる。 Further, as the lower LCDD12, it is possible to use a display device having any resolution.

図79に示されるように、ゲーム装置D10は、入力装置として、タッチパネルD13を備えている。 As shown in FIG. 79, the game device D10 as input devices, and a touch panel D13. タッチパネルD13は、下側LCDD12の画面上に装着されている。 The touch panel D13 is mounted on the screen of the lower LCDD12. なお、本実施形態では、タッチパネルD13は抵抗膜方式のタッチパネルである。 In the present embodiment, the touch panel D13 is a resistive film type touch panel. ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。 However, the touch panel is not limited to the resistive film type, it can be used, for example a capacitive type, etc., a touch panel of an arbitrary method. 本実施形態では、タッチパネルD13として、下側LCDD12の解像度と同解像度(検出精度)のものを利用する。 In the present embodiment, the touch panel D13, that of the lower LCDD12 the same resolution (detection accuracy). ただし、必ずしもタッチパネルD13の解像度と下側LCDD12の解像度が一致している必要はない。 However, it may not necessarily be the resolution of the resolution and the lower LCDD12 touch panel D13 match. また、下側ハウジングD11の上側面には挿入口D17(図79および図81(d)に示す点線)が設けられている。 Further, on the side insertion opening D17 of the lower housing D11 (dotted line shown in FIG. 79 and FIG. 81 (d)) is provided. 挿入口D17は、タッチパネルD13に対する操作を行うために用いられるタッチペンD28を収納することができる。 Insertion port D17 is capable of accommodating a touch pen D28 used for performing an operation on the touch panel D13. なお、タッチパネルD13に対する入力は通常タッチペンD28を用いて行われるが、タッチペンD28に限らずユーザの指でタッチパネルD13に対する入力をすることも可能である。 The input to the touch panel D13 is usually performed using the touch pen D28, it is also possible to input to the touch panel D13 a finger of the user is not limited to touch pen D28.

各操作ボタンD14A〜D14Lは、所定の入力を行うための入力装置である。 Each operation buttons D14A~D14L is an input device for performing a predetermined input. 図79に示されるように、下側ハウジングD11の内側面(主面)には、各操作ボタンD14A〜D14Lのうち、十字ボタンD14A(方向入力ボタンD14A)、aボタンD14B、bボタンD14C、xボタンD14D、yボタンD14E、電源ボタンD14F、セレクトボタンD14J、HOMEボタンD14K、およびスタートボタンD14Lが、設けられる。 As shown in Figure 79, the inner side surface of the lower housing D11 (main surface) of the operation buttons D14A~D14L, a cross button d14a (the direction input button d14a), a button D14B, b button D14C, x button D14D, y button D14E, power button D14F, select button D14J, HOME button D14K, and the start button D14L, is provided. 十字ボタンD14Aは、十字の形状を有しており、上下左右の方向を指示するボタンを有している。 The cross button D14A has a cross shape, and has a button for instructing vertical and horizontal directions. ボタンD14B、ボタンD14C、ボタンD14D、ボタンD14Eは、十字状に配置される。 Button D14B, buttons D14C, buttons D14D, buttons D14E are arranged in a cross shape. ボタンD14A〜D14E、セレクトボタンD14J、HOMEボタンD14K、およびスタートボタンD14Lには、ゲーム装置D10が実行するプログラムに応じた機能が適宜割り当てられる。 Button D14A~D14E, select button D14J, HOME button D14K, and the start button D14L, functions in accordance with the program of the game apparatus D10 is executed appropriately assigned. 例えば、十字ボタンD14Aは選択操作等に用いられ、各操作ボタンD14B〜D14Eは例えば決定操作やキャンセル操作等に用いられる。 For example, the cross button D14A is used for a selection operation, the operation buttons D14B~D14E is used, for example, for a determination operation, a cancellation operation, and the like. また、電源ボタンD14Fは、ゲーム装置D10の電源をオン/オフするために用いられる。 The power button D14F is used to turn on / off the power of the game device D10.

アナログスティックD15は、方向を指示するデバイスであり、下側ハウジングD11の内側面の下側LCDD12より左側領域の上部領域に設けられる。 Analog stick D15 is a device for indicating the direction, is provided in the upper region of the left region from the lower side LCDD12 of the inner surface of the lower housing D11. 図79に示すように、十字ボタンD14Aは下側LCDD12より左側領域の下部領域に設けられるので、アナログスティックD15は、十字ボタンD14Aの上方に設けられる。 As shown in FIG. 79, since the cross button d14a is provided in the lower region of the left region from the lower LCDD12, analog stick D15 is provided above the cross button d14a. また、アナログスティックD15、および、十字ボタンD14Aは、下側ハウジングを把持した左手の親指で操作可能な位置に設計される。 The analog stick D15 and the cross button D14A is designed operable position with the left thumb holding the lower housing. また、アナログスティックD15を上部領域に設けたことにより、下側ハウジングD11を把持する左手の親指が自然と位置するところにアナログスティックD15が配され、十字ボタンD14Aは、左手の親指を少し下にずらした位置に配される。 Further, by providing the analog stick D15 in the upper region, an analog stick D15 is disposed at the left thumb holding the lower housing D11 is positioned naturally, cross button D14A is a left thumb slightly below They are arranged in staggered position. アナログスティックD15は、そのキートップが、下側ハウジングD11の内側面に平行にスライドするように構成されている。 Analog stick D15, the key top is configured to slide parallel to the inner surface of the lower housing D11. アナログスティックD15は、ゲーム装置D10が実行するプログラムに応じて機能する。 Analog stick D15 functions according to the program by the game apparatus D10 is executed. 例えば、3次元仮想空間に所定のオブジェクトが登場するゲームがゲーム装置D10によって実行される場合、アナログスティックD15は、当該所定のオブジェクトを3次元仮想空間内で移動させるための入力装置として機能する。 For example, if the game 3-dimensional virtual space to a predetermined object appears is executed by the game device D10, analog stick D15 functions as an input device for moving the predetermined object in three-dimensional virtual space. この場合において、所定のオブジェクトはアナログスティックD15のキートップがスライドした方向に移動される。 In this case, the predetermined object is moved in a direction in which the key top of the analog stick D15 is slid. なお、アナログスティックD15として、上下左右および斜め方向の任意の方向に所定量だけ傾倒することでアナログ入力を可能としたものを用いても良い。 As analog stick D15, it may also be used which enables an analog input by being tilted by a predetermined amount in any direction of up, down, left and right and oblique directions.

十字状に配置される、aボタンD14B、bボタンD14C、xボタンD14D、yボタンD14Eの4つのボタンは、下側ハウジングD11を把持する右手の親指が自然と位置するところに配置される。 They are arranged in a cross shape, a button D14B, b button D14C, x button D14D, 4 buttons of y button D14E is located where the thumb of the right hand holding the lower housing D11 is positioned with nature. また、これらの4つのボタンと、アナログスティックD15とは、下側LCDD12を挟んで、左右対称に配置される。 Further, the four buttons and the analog stick D15, across the lower LCDD12, are arranged symmetrically. これにより、ゲームプログラムによっては、例えば、左利きの人が、これらの4つのボタンを使用して方向指示入力をすることも可能である。 Thus, depending on a game program, for example, left-handed people, it is also possible to make the direction indication input using these four buttons.

また、下側ハウジングD11の内側面には、マイクロフォン用孔D18が設けられる。 Further, on the inner surface of the lower housing D11, microphone hole D18 is provided. マイクロフォン用孔D18の下部には後述する音声入力装置としてのマイク(図82参照)が設けられ、当該マイクがゲーム装置D10の外部の音を検出する。 Under the microphone hole D18 provided a microphone (see FIG. 82) as a sound input device described below, and the microphone detects a sound from the outside of the game apparatus D10.

図81(a)は閉状態におけるゲーム装置D10の左側面図であり、図81(b)は閉状態におけるゲーム装置D10の正面図であり、図81(c)は閉状態におけるゲーム装置D10の右側面図であり、図81(d)は閉状態におけるゲーム装置D10の背面図である。 Figure 81 (a) is a left side view of the game apparatus D10 in the closed state, FIG. 81 (b) is a front view of the game apparatus D10 in the closed state, FIG. 81 (c) is a game apparatus D10 in the closed state is a right side view, FIG. 81 (d) is a rear view of the game apparatus D10 in the closed state. 図81(b)および(d)に示されるように、下側ハウジングD11の上側面には、LボタンD14GおよびRボタンD14Hが設けられている。 As shown in FIG. 81 (b) and (d), on the upper side surface of the lower housing D11, L button D14G and the R button D14H is provided. LボタンD14Gは、下側ハウジングD11の上面の左端部に設けられ、RボタンD14Hは、下側ハウジングD11の上面の右端部に設けられる。 L button D14G is provided at a left end portion of the upper surface of the lower housing D11, R button D14H is provided at a right end portion of the upper surface of the lower housing D11. また、図81(a)に示されるように、下側ハウジングD11の左側面には、音量ボタンD14Iが設けられる。 Further, as shown in FIG. 81 (a), the left side surface of the lower housing D11, volume buttons D14I is provided. 音量ボタンD14Iは、ゲーム装置D10が備えるスピーカの音量を調整するために用いられる。 Volume button D14I is used to adjust the sound volume of a speaker of the game apparatus D10 is provided.

図81(a)に示されるように、下側ハウジングD11の左側面には開閉可能なカバー部D11Cが設けられる。 As shown in FIG. 81 (a), an openable cover D11C is provided on the left side surface of the lower housing D11. このカバー部D11Cの内側には、ゲーム装置D10とデータ保存用外部メモリD45とを電気的に接続するためのコネクタ(図示せず)が設けられる。 Inside the cover portion D11c, a connector for electrically connecting the game apparatus D10 and external data storage memory D45 (not shown) is provided. データ保存用外部メモリD45は、コネクタに着脱自在に装着される。 The external data storage memory D45 is detachably attached to the connector. データ保存用外部メモリD45は、例えば、ゲーム装置D10によって撮像された画像のデータを記憶(保存)するために用いられる。 The external data storage memory D45 is used, for example, to store data of an image captured by the game apparatus D10 (save). なお、上記コネクタおよびそのカバー部D11Cは、下側ハウジングD11の右側面に設けられてもよい。 It should be noted that the connector and its cover D11C may be provided on the right side surface of the lower housing D11.

また、図81(d)に示されるように、下側ハウジングD11の上側面には、ゲーム装置D10とゲームプログラムを記録した外部メモリD44を挿入するための挿入口D11Dが設けられ、その挿入口D11Dの内部には、外部メモリD44と電気的に着脱自在に接続するためのコネクタ(図示せず)が設けられる。 Further, as shown in FIG. 81 (d), on the upper side surface of the lower housing D11, insertion opening D11D for inserting the external memory D44 for recording a game device D10 and the game program is provided, the insertion opening inside the D 11d, the external memory D44 and electrically removably connector for connecting (not shown) is provided. 当該外部メモリD44がゲーム装置D10に接続されることにより、所定のゲームプログラムが実行される。 The external memory D44 is by being connected to the game device D10, a predetermined game program is executed. なお、上記コネクタおよびその挿入口D11Dは、下側ハウジングD11の他の側面(例えば、右側面等)に設けられてもよい。 It should be noted that the connector and its insertion opening D11D may be provided on another side of the lower housing D11 (e.g., right side, etc.).

また、図79および図81(c)に示されるように、下側ハウジングD11の下側面にはゲーム装置D10の電源のON/OFF状況をユーザに通知する第1LEDD16A、下側ハウジングD11の右側面にはゲーム装置D10の無線通信の確立状況をユーザに通知する第2LEDD16Bが設けられる。 Further, as shown in FIG. 79 and FIG. 81 (c), the right side surface of the 1LEDD16A, lower housing D11 is the lower surface of the lower housing D11 to notify the power ON / OFF status of the game device D10 user the 2LEDD16B is provided for notifying the establishment state of the wireless communication of the game apparatus D10 to the user in. ゲーム装置D10は他の機器との間で無線通信を行うことが可能であり、第2LEDD16Bは、無線通信が確立している場合に点灯する。 Game device D10 is capable of performing wireless communication with other devices, the 2LEDD16B is lit up when the wireless communication is established. ゲーム装置D10は、例えば、IEEE802.11. Game device D10 is, for example, IEEE802.11. b/gの規格に準拠した方式により、無線LANに接続する機能を有する。 The method compliant with the b / g standards, has a function of connecting to a wireless LAN. 下側ハウジングD11の右側面には、この無線通信の機能を有効/無効にする無線スイッチD19が設けられる(図81(c)参照)。 On the right side surface of the lower housing D11, wireless switch D19 is provided for enabling / disabling the function of the wireless communication (see FIG. 81 (c)).

なお、図示は省略するが、下側ハウジングD11には、ゲーム装置D10の電源となる充電式電池が収納され、下側ハウジングD11の側面(例えば、上側面)に設けられた端子を介して当該電池を充電することができる。 Although not shown, the lower housing D11, rechargeable battery as a power source of the game device D10 is accommodated, the side surface of the lower housing D11 (e.g., upper surface) via a terminal provided on the it is possible to charge the battery.

(上側ハウジングの説明) (Description of upper housing)
次に、上側ハウジングD21の構成について説明する。 Next, the configuration of the upper housing D21. 図79〜図81に示すように、上側ハウジングD21には、上側LCD(Liquid Crystal Display:液晶表示装置)D22、外側撮像部D23(外側撮像部(左)D23aおよび外側撮像部(右)D23b)、内側撮像部D24、3D調整スイッチD25、および、3DインジケータD26が設けられる。 As shown in FIG. 79 to FIG. 81, the upper housing D21, the upper LCD (Liquid Crystal Display: LCD device) D22, the outer imaging section D23 (the outer imaging section (left) D23a and the outer imaging section (right) D23b) , inner imaging section D24,3D adjustment switch D25, and, 3D indicator D26 is provided. 以下、これらの詳細について説明する。 Hereinafter, these components will be described in detail.

図79に示すように、上側LCDD22は上側ハウジングD21に収納される。 As shown in FIG. 79, upper LCDD22 is accommodated in the upper housing D21.