CN102281455A - 图像显示系统、装置以及方法 - Google Patents

图像显示系统、装置以及方法 Download PDF

Info

Publication number
CN102281455A
CN102281455A CN2011101596687A CN201110159668A CN102281455A CN 102281455 A CN102281455 A CN 102281455A CN 2011101596687 A CN2011101596687 A CN 2011101596687A CN 201110159668 A CN201110159668 A CN 201110159668A CN 102281455 A CN102281455 A CN 102281455A
Authority
CN
China
Prior art keywords
filming apparatus
virtual
posture
image
shoot part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101596687A
Other languages
English (en)
Other versions
CN102281455B (zh
Inventor
伊藤裕一朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44358250&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102281455(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Publication of CN102281455A publication Critical patent/CN102281455A/zh
Application granted granted Critical
Publication of CN102281455B publication Critical patent/CN102281455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Abstract

本发明涉及一种图像显示系统、装置及方法。首先，根据基于左现实空间图像的标记识别结果所计算出的、外侧拍摄部(左)相对于标记的相对位置及相对姿势，以及基于右现实空间图像的标记识别结果所计算出的、外侧拍摄部(右)相对于标记的相对位置及相对姿势，来决定左虚拟拍摄装置和右虚拟拍摄装置之间的间隔。在决定了左虚拟拍摄装置和右虚拟拍摄装置之间的间隔后，基于所决定的间隔，来决定左虚拟拍摄装置和右虚拟拍摄装置的位置及姿势，以使左虚拟拍摄装置的位置及姿势与右虚拟拍摄装置的位置及姿势成为理想的关系。

Description

图像显示系统、装置以及方法
技术领域
本发明涉及一种图像显示系统、装置以及方法，具体涉及用于在能够进行立体显示的立体显示装置的屏幕上，对合成有三维的虚拟对象的现实空间图像进行立体显示的图像显示系统、装置以及方法。
背景技术
近年来，有关增强现实(Augmented Reality，AR)的技术研究正在不断地取得进步，AR技术通过在现实空间的图像上合成显示虚拟对象，从而使所显示的虚拟对象犹如实际存在于现实空间一样。
例如，专利文献1(日本特开2008-146109号公报)所公开的立体显示装置中，根据安装在头戴式显示器(Head-Mounted Display)上的右眼拍摄装置以及左眼拍摄装置分别所拍摄的图像，来分别求出右眼拍摄装置以及左眼拍摄装置相对于现实空间中所配置的标记(Marker)的相对位置姿势，并基于该结果来分别生成右眼用虚拟对象的图像和左眼用虚拟对象的图像。然后，分别将右眼用虚拟对象的图像和左眼用虚拟对象的图像与由右眼拍摄装置以及左眼拍摄装置所分别拍摄的图像进行合成，并在右眼LCD(液晶屏幕)和左眼LCD上分别显示这些合成图像。
此外，非专利文献1(Hirokazu Kato，Mark Billinghurst，“MarkerTracking and HMD Calibration for a Video-Based Augmented RealityConferencing System，”iwar，pp.85，2nd IEEE and ACM InternationalWorkshop on Augmented Reality，1999)中，公开了一种基于拍摄装置所拍摄的图像中的标记的位置及姿势，来计算现实空间中的标记和拍摄装置之间的相对位置及相对姿势的方法。
然而，基于拍摄装置所拍摄的图像中的标记的位置及姿势，来计算现实空间中的标记与拍摄装置之间的相对位置及相对姿势时，在拍摄装置所拍摄的图像模糊的情况下，或在标记识别的精度不准确的情况下，计算结果中会含有误差。因此，专利文献1所公开的立体显示装置中，基于右眼拍摄装置所拍摄的图像来计算的、右眼拍摄装置相对于标记的相对位置姿势并不一定正确，同样地，基于左眼拍摄装置所拍摄的图像来计算的、左眼拍摄装置相对于标记的相对位置姿势也不一定正确。这样，因为基于不正确的计算结果而生成的右眼用虚拟对象的图像和左眼用虚拟对象的图像成为互相不匹配而矛盾的图像，从而用户不能够看到正常的立体的虚拟对象。
发明内容
因此，本发明的目的在于提供一种对虚拟对象进行立体显示时，能够确保正常的立体视觉的图像显示系统、装置以及方法。
为了解决上述技术问题，本发明采用以下结构。
本发明的图像显示系统是利用来自右眼用现实拍摄装置拍摄部以及左眼用现实拍摄装置拍摄部的输出，在能够进行立体显示的立体显示装置的屏幕上，对合成有三维虚拟对象的现实空间图像进行立体显示的图像显示系统。该图像显示系统包括：规定的拍摄对象；位置姿势计算单元，该位置姿势计算单元通过分别对所述2个现实拍摄装置拍摄部所分别输出的2个现实空间图像数据，识别该各个现实空间图像数据中的所述规定的拍摄对象，来分别计算表示所述2个现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置以及姿势的位置姿势信息；位置姿势统合单元，该位置姿势统合单元通过将所述位置姿势计算单元所算出的2个位置姿势信息统合，来计算单一的位置姿势信息；虚拟拍摄装置设定单元，该虚拟拍摄装置设定单元根据所述位置姿势统合单元所统合的所述单一的位置姿势信息，来决定右虚拟拍摄装置和左虚拟拍摄装置两者的位置及姿势，其中，右虚拟拍摄装置用于生成规定的虚拟空间中的右眼用图象，左虚拟拍摄装置用于生成规定的虚拟空间中的左眼用图象；右虚拟空间图像生成单元，该右虚拟空间图像生成单元生成表示从上述右虚拟拍摄装置看到的上述虚拟空间的右虚拟空间图像；左虚拟空间图像生成单元，该左虚拟空间图像生成单元生成表示从所述左虚拟拍摄装置看到的上述虚拟空间的左虚拟空间图像；以及显示控制单元，该显示控制单元将上述右虚拟空间图像合成在从上述右眼用现实拍摄装置输出的现实空间图像上，并且，将上述左虚拟空间图像合成在从上述左眼用现实拍摄装置输出的现实空间图像上，并向上述立体显示装置输出用于进行立体显示的图像。
此外，本发明中，所述虚拟拍摄装置设定单元决定所述右虚拟拍摄装置和所述左虚拟拍摄装置的位置及姿势，使所述虚拟拍摄装置设定单元所决定的、所述右虚拟拍摄装置与所述左虚拟拍摄装置之间的相对姿势关系，与所述右眼用现实拍摄装置拍摄部与所述左眼用现实拍摄装置拍摄部之间在设计上的相对姿势关系相同。
此外，本发明中，所述位置姿势统合单元用所述位置姿势计算单元所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息，来计算将上述各姿势的信息统合后的单一的姿势，并且，所述虚拟拍摄装置设定单元将所述位置姿势统合单元所统合的姿势，用作所述右虚拟拍摄装置及左虚拟拍摄装置的姿势。
此外，本发明中，所述位置姿势统合单元用所述位置姿势计算单元所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，来计算将上述各位置信息统合后的单一的位置，并且，所述虚拟拍摄装置设定单元将所述右虚拟拍摄装置及左虚拟拍摄装置的位置设定在，相对所述位置姿势统合单元所统合的位置对称的位置。
此外，本发明中，所述位置姿势统合单元用所述位置姿势计算单元所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息，来计算将上述各姿势信息平均后的姿势，并且，所述虚拟拍摄装置设定单元将右所述位置姿势统合单元平均后的姿势，用作所述右虚拟拍摄装置及左虚拟拍摄装置的姿势。
此外，本发明中，所述位置姿势统合单元用所述位置姿势计算单元所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，来计算上述各位置的中点，并且，所述虚拟拍摄装置设定单元将所述右虚拟拍摄装置及左虚拟拍摄装置的位置设定在，相对所述位置姿势统合单元所算出的所述中点对称的位置。
此外，本发明中，所述图像显示系统还具备：决定所述右虚拟拍摄装置与所述左虚拟拍摄装置之间的距离的虚拟拍摄装置间距决定单元，所述虚拟拍摄装置设定单元将所述右虚拟拍摄装置及左虚拟拍摄装置的位置设定在，分别与所述位置姿势统合单元所统合的位置仅相距所述虚拟拍摄装置间距决定单元所决定的所述距离，且相对所述统合的位置对称的位置。
此外，本发明中，所述虚拟拍摄装置间距决定单元可以基于所述右眼用现实拍摄装置拍摄部输出的现实空间图像数据、与所述左眼用现实拍摄装置拍摄部输出的现实空间图像数据之间的视差，来决定所述右虚拟拍摄装置与所述左虚拟拍摄装置之间的距离。
此外，本发明中，所述虚拟拍摄装置间距决定单元用所述位置姿势计算单元所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置及姿势信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置及姿势信息，来计算所述右虚拟拍摄装置与所述左虚拟拍摄装置之间的距离。
本发明的图像显示装置是利用来自右眼用现实拍摄装置拍摄部及左眼用现实拍摄装置拍摄部的输出，在能够进行立体显示的立体显示装置的屏幕上，对合成有三维虚拟对象的现实空间图像进行立体显示的图像显示系统。该图像显示装置包括：位置姿势计算单元，该位置姿势计算单元通过分别对所述2个现实拍摄装置拍摄部所分别输出的2个现实空间图像数据，识别该各个现实空间图像数据中的规定的拍摄对象，来分别计算表示所述2个现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置以及姿势的位置姿势信息；位置姿势统合单元，该位置姿势统合单元将所述位置姿势计算单元所算出的2个位置姿势信息统合，由此来计算单一的位置姿势信息；虚拟拍摄装置设定单元，该虚拟拍摄装置设定单元根据所述位置姿势统合单元所统合的所述单一的位置姿势信息，来决定右虚拟拍摄装置和左虚拟拍摄装置两者的位置及姿势，其中，右虚拟拍摄装置用于生成规定的虚拟空间中的右眼用图象，左虚拟拍摄装置用于生成规定的虚拟空间中的左眼用图象；右虚拟空间图像生成单元，该右虚拟空间图像生成单元生成表示从上述右虚拟拍摄装置看到的上述虚拟空间的右虚拟空间图像；左虚拟空间图像生成单元，该左虚拟空间图像生成单元生成表示从所述左虚拟拍摄装置看到的上述虚拟空间的左虚拟空间图像；以及显示控制单元，该显示控制单元将上述右虚拟空间图像合成在从上述右眼用现实拍摄装置拍摄部输出的现实空间图像上，并且，将上述左虚拟空间图像合成在从上述左眼用现实拍摄装置拍摄部输出的现实空间图像上，并向上述立体显示装置输出用于进行立体显示的图像。
本发明的图像显示方法是利用来自右眼用现实拍摄装置拍摄部以及左眼用现实拍摄装置拍摄部的输出，在能够进行立体显示的立体显示装置的屏幕上，对合成有三维虚拟对象的现实空间图像进行立体显示的图像显示方法。该图像显示方法包括下述步骤：位置姿势计算步骤，该位置姿势计算步骤中，通过分别对所述2个现实拍摄装置拍摄部所分别输出的2个现实空间图像数据，识别该各个现实空间图像数据中的所述规定的拍摄对象，来分别计算表示该2个现实拍摄装置拍摄部与该拍摄对象之间的相对位置以及姿势的位置姿势信息；位置姿势统合步骤，该位置姿势统合步骤中，通过将所述位置姿势计算步骤所算出的2个位置姿势信息统合，来计算单一的位置姿势信息；虚拟拍摄装置设定步骤，该虚拟拍摄装置设定步骤中，根据所述位置姿势统合单元所统合的所述单一的位置姿势信息，来决定右虚拟拍摄装置和左虚拟拍摄装置两者的位置及姿势，其中，右虚拟拍摄装置用于生成规定的虚拟空间中的右眼用图象，左虚拟拍摄装置用于生成规定的虚拟空间中的左眼用图象；右虚拟空间图像生成步骤，该右虚拟空间图像生成步骤中，生成表示从上述右虚拟拍摄装置看到的上述虚拟空间的右虚拟空间图像；左虚拟空间图像生成步骤，该左虚拟空间图像生成步骤中，生成表示从所述左虚拟拍摄装置看到的上述虚拟空间的左虚拟空间图像；以及显示控制步骤，该显示控制步骤中，将上述右虚拟空间图像合成在上述右眼用现实拍摄装置所输出的现实空间图像上，并且，将上述左虚拟空间图像合成在上述左眼用现实拍摄装置所输出的现实空间图像上，并向上述立体显示装置输出用于进行立体显示的图像。
根据本发明，在对虚拟对象进行立体显示时，能够确保正常的立体视觉。
以下结合附图，通过详细说明来进一步阐明本发明的这些及其他的目的、特征、方面以及效果。
附图说明
图1是开状态下的游戏装置10的主视图。
图2是开状态下的游戏装置10的侧视图。
图3是合状态下的游戏装置10的左视图、主视图、右视图以及后视图。
图4是图1所示的上壳体21的A-A’线剖面图。
图5A是示出3D调节开关25的滑块25a位于最低点(第3位置)时的情况的图。
图5B是示出3D调节开关25的滑块25a位于最低点的上方位置(第1位置)时的情况的图。
图5C是示出3D调节开关25的滑块25a位于顶点(第2位置)时的情况的图。
图6是示出游戏装置10的内部结构的方框图。
图7是示出上部LCD22的屏幕上所显示的立体图像的一例的图。
图8是示出上部LCD22的屏幕上所显示的立体图像的另一例的图。
图9是示出标记61的图。
图10是示出上部LCD22的屏幕上所显示的立体图像的又一例的图。
图11是示出游戏装置10的主存储器32的存储分配图表的图。
图12是示出主存储器32中所储存的各种变量的一例的图。
图13是示出标记处理的流程的流程图。
图14是示出主处理的流程的流程图。
图15是示出更新处理的内容的流程图。
图16是示出虚拟拍摄装置间隔决定处理的内容的流程图。
图17是示出视点矩阵生成处理的内容的流程图。
图18是示出主现实空间图像设定处理的内容的流程图。
图19是示出显示模式切换处理的内容的流程图。
图20是示出左现实空间图像以及右现实空间图像的一例的图。
图21是根据标记识别处理的结果而算出的左虚拟拍摄装置63L的位置及姿势的图。
图22是根据标记识别处理的结果而算出的右虚拟拍摄装置63R的位置及姿势的图。
图23是示出基于立体显示零距离的左现实空间图像的提取范围的图。
图24是示出基于立体显示零距离的右现实空间图像的提取范围的图。
图25是示出虚拟对象62与左虚拟拍摄装置63L之间的位置关系的图。
图26是示出左眼用图像的生成方法的图。
图27是示出用左虚拟拍摄装置坐标系来表示的右虚拟拍摄装置63R的坐标的计算方法的图。
图28是示出ew和ed的图。
图29是示出用标记坐标系来表示的左虚拟拍摄装置63L及右虚拟拍摄装置63R的坐标的计算方法的图。
图30是示出基于左虚拟拍摄装置63L的位置及姿势而决定的右虚拟拍摄装置63R的位置的图。
图31是示出基于右虚拟拍摄装置63R的位置及姿势而决定的左虚拟拍摄装置63L的位置的图。
图32是示出|V.z|的图。
图33是用于说明再次计算EyeWidth的理由的图。
图34是用于说明再次计算EyeWidth的理由的图。
图35是用于说明再次计算EyeWidth的理由的图。
图36是用于说明再次计算EyeWidth的理由的图。
图37是用于说明左投影矩阵的图。
图38是用于说明右投影矩阵的图。
图39是示出判定是否将主现实空间图像从左现实空间图像切换至右现实空间图像的方法的图。
图40是示出判定是否将主现实空间图像从右现实空间图像切换至左现实空间图像的方法的图。
具体实施方式
(游戏装置的结构)
以下，对本发明的一实施方式所涉及的游戏装置进行说明。图1～图3是示出游戏装置10的外观的平面图。游戏装置10是便携式游戏装置。如图1～图3所示是可以折叠的结构。图1及图2示出打开状态(开状态)下的游戏装置10，图3示出闭合状态(合状态)下的游戏装置10。图1是开状态下的游戏装置10的主视图；图2是开状态下的游戏装置10的右视图。游戏装置10能够通过拍摄部来拍摄图像，并将所拍摄的图像显示在屏幕上，或保存所拍摄的图像的数据。并且，游戏装置10能够执行储存在可更换记忆卡内的、或者从服务器或其他游戏装置接收到的游戏程序，并能够将通过计算机图形处理而生成的图像，如虚拟空间中所设定的虚拟拍摄装置所拍摄的图像等显示在屏幕上。
首先，参照图1～图3来说明游戏装置10的外观结构。如图1～图3所示，游戏装置10包括下壳体11以及上壳体21。下壳体11与上壳体21能够开合(能够折叠)地连接。在本实施方式中，下壳体11和上壳体21分别呈长方形的板状，各自的长边部分可转动地连接在一起。
如图1及图2所示，在下壳体11的上部长边部分设置有，从垂直于下壳体11的内侧面(主面)11B的方向突起的突起部11A。并且，在上壳体21的下部长边部分设置有，从上壳体21的下侧面在垂直于该下侧面的方向上突起的突起部21A。通过连接下壳体11的突起部11A和上壳体21的突起部21A，下壳体11和上壳体21能够可折叠地连接。
(下壳体的说明)
首先，说明下壳体11的结构。如图1～图3所示，在下壳体11中设置有：下部液晶显示器(Liquid Crystal Display：LCD)12、触摸面板13、各个操作按钮14A～14L(图1、图3)、模拟摇杆15、LED16A～16B、插槽17以及扩音器用孔18。以下对它们进行详细说明。
如图1所示，下部LCD12装在下壳体11中。下部LCD12为长方形，其长边方向配置成与下壳体11的长边方向一致。下部LCD12配置于下壳体11的中央。下部LCD12设置于下壳体11内侧面(主面)，并且该下部LCD12的屏幕从下壳体11上所开设的开口部露出。不使用游戏装置10时使之为合状态，能够避免弄脏下部LCD12的屏幕，或防止其受损。下部LCD12的像素数例如可以是256dot×192dot(宽×高)。下部LCD12与后述的上部LCD22不同，是对图像进行平面显示(不能够进行立体显示)的显示装置。此外，在本实施方式中使用LCD来作为显示装置，但是也可以用例如利用了电致发光(Electro Luminescence：EL)的显示装置等其他任何显示装置。此外，下部LCD12也可以使用任意解像度的显示装置。
如图1所示，游戏装置10以触摸面板13来作为输入装置。触摸面板13安装在下部LCD12的屏幕上。并且，在本实施方式中，触摸面板13是电阻膜式触摸面板。但是，触摸面板并不仅限于电阻膜式，可以用如静电容式等任何方式的触摸面板。在本实施方式中，使用与下部LCD12的解像度相同(检测精度)的触摸面板来作为触摸面板13。但触摸面板13的解像度并不需要与下部LCD12的解像度一致。此外，在下壳体11的上侧面设置有插槽17(图1及图3(d)所示的虚线)。插槽17能够收纳用于对触摸面板13进行操作的触控笔28。此外，通常使用触控笔28来对触摸面板13进行输入，但并不仅限于触控笔28，也可以通过用户的手指来对触摸面板13进行输入。
各个操作按钮14A～14L是用于进行规定的输入的输入装置。如图1所示，下壳体11的内侧面(主面)上设置了各个操作按钮14A～14L中的十字按钮14A(方向输入按钮14A)、按钮14B、按钮14C、按钮14D、按钮14E、电源按钮14F、选择按钮14J、HOME按钮14K以及开始按钮14L。十字按钮14A呈十字形状，具有指示上下左右方向的按钮。按钮14B、按钮14C、按钮14D、按钮14E呈十字形配置。按钮14A～14E、选择按钮14J、HOME按钮14K以及开始按钮14L中被适当地分配了与游戏装置10所执行的程序相应的功能。例如，十字按钮14A用于选择操作等、各个按钮14A～14E例如用于决定操作或取消操作等。此外，电源按钮14F用于打开/关闭游戏装置10的电源。
模拟摇杆15是指示方向的器件，被设置在下壳体11的内侧面靠下部LCD12的左侧区域的上部区域。如图1所示，十字按钮14A设置在靠下部LCD12的左侧区域的下部区域，模拟摇杆15设置于十字按钮14A的上方。此外，将模拟摇杆15及十字按钮14A设计在把持下壳体的左手拇指能够进行操作的位置。并且，通过将模拟摇杆15设置在上部区域，使得把持下壳体11的左手大拇指自然地落在模拟摇杆15所设置的地方，而当左手的大拇指稍向下移动时，就能够操作十字按钮14A。模拟摇杆15的键顶(keytop)被构成为能够平行于下壳体11的内侧面滑动。模拟摇杆15根据游戏装置10所执行的程序来实现相应的功能。例如，游戏装置10执行在三维虚拟空间中出现规定对象的游戏的情况下，模拟摇杆15作为输入装置实现使该规定对象在三维虚拟空间中移动的功能。该情况下，规定对象向模拟摇杆15的键顶滑动的方向移动。此外，模拟摇杆15也可以作为通过向上下左右以及斜方向的任意方向倾倒规定量来实现模拟输入。
呈十字形配置的按钮14B、按钮14C、按钮14D、按钮14E的四个按钮被配置在把持下壳体11的右手大拇指自然落在的位置。并且，这四个按钮和模拟摇杆15左右对称地配置在下部LCD12的两侧。由此，根据游戏程序，例如习惯用左手的人能够使用这四个按钮来进行方向指示输入。
此外，扬声器用孔18设置在下壳体11的内侧面上。在扬声器用孔18的下部设置有后述的作为声音输入装置的传声器(参照图6)，该传声器检测游戏装置10的外部的声音。
图3(a)是合状态下的游戏装置10的左视图，图3(b)是合状态下的游戏装置10的主视图，图3(c)是合状态下的游戏装置10的右视图，图3(d)是合状态下的游戏装置10的后视图。如图3(b)及(d)所示，在下壳体11上侧面设置有L按钮14G及R按钮14H。L按钮14G设置在下壳体11顶面的左端部，R按钮14H设置在下壳体11顶面的右端部。L按钮14G及R按钮14H例如能够实现作为拍摄部的快门按钮(拍摄指示按钮)的功能。此外，如图3(a)所示，音量按钮14I设置在下壳体11的左侧面。音量按钮14I用于调节游戏装置10所具备的扬声器的音量。
如图3(a)所示，在下壳体11的左侧面设置有可开合的翻盖部11C。在该翻盖部11C的内侧设置有用于实现游戏装置10和数据保存用外部存储器25的电连接的连接器(connector)(未图示)。数据保存用外部存储器45拆卸自由地安装于连接器。数据保存用外部存储器45例如用于存储(保存)游戏装置10所拍摄的图像的数据。此外，上述连接器及其翻盖部11C也可以设置在下壳体11的右侧面。
此外，如图3(d)所示，在下壳体11的上侧面设置有用于对游戏装置10插入存储有游戏程序的外部存储器44的插槽11D，在该插槽11D的内部设置有用于能够与外部存储器44拆卸自由地实现电连接的连接器(未图示)。当外部存储器44与游戏装置10连接时，能够执行规定的游戏程序。此外，上述连接器及其插槽11D也可以设置在下壳体11的其他侧面(例如，右侧面等)。
此外，如图1及图3(c)所示，在下壳体11的下侧面设置有向用户通知游戏装置10的电源的ON/OFF状况的第1LED16A，在下壳体11的右侧面设置有向用户通知游戏装置10的无线通信的建立状况的第2LED16B。游戏装置10与其他设备之间能够进行无线通信，当无线通信建立时第2LED16B亮灯。游戏装置10例如采用基于IEEE802.11.b/g规格的方式，而具有连接无线LAN的功能。在下壳体11的右侧面设置有使该无线通信的功能有效/无效的无线开关19(参照图3(c))。
此外，下壳体11中装有作为游戏装置10的电源的充电式电池，并且可以通过设置在下壳体11的侧面(例如，上侧面)的端子来对该电池进行充电，但图示中省略了该部分。
(上壳体的说明)
接着，说明上壳体21的结构。如图1～图3所示，上壳体21上设置有上部LCD(Liquid Crystal Display)22、外侧拍摄部23(外侧拍摄部(左)23a及外侧拍摄部(右)23b)、内侧拍摄部24、3D调节开关25以及3D指示器26。以下对它们进行详细说明。
如图1所示，上部LCD22安装在上壳体21中。上部LCD22为长方形，其长边方向配置成与上壳体21的长边方向一致。上部LCD22配置在上壳体21的中央。上部LCD22的屏幕的面积设计得比下部LCD12的屏幕的面积大。并且，上部LCD22的屏幕设计得比下部LCD12的屏幕宽。即，上部LCD22的屏幕的幅形比(aspect ratio)中的宽度比例设定得比下部LCD12的屏幕的幅形比中的宽度比例大。
上部LCD22的屏幕设置在上壳体21的内侧面(主面)21B上，并且该上部LCD22的屏幕露出于上壳体21上所设置的开口部。此外，如图2所示，上壳体21的内侧面被透明的屏盖27覆盖。该屏盖27不仅保护上部LCD22的屏幕，还使上部LCD22与上壳体21的内侧面为一体，使之具有整体感。上部LCD22的像素数例如可以是640dot×200dot(宽×高)。此外，在本实施方式中上部LCD22是液晶显示装置，但是也可以用例如利用了电致发光(Electro Luminescence：EL)的显示装置等。此外，上部LCD22也可以使用任意解像度的显示装置。
上部LCD22是能够对图像进行立体显示的显示装置。此外，在本实施方式中，用实质上相同的显示区域来显示左眼用图像和右眼用图像。具体地，它是采用以规定单位(例如，每一列)来横向交替地显示左眼用图像和右眼用图像的方式的显示装置。或者，它也可以是采用交替地显示左眼用图像和右眼用图像的方式的显示装置。此外，本实施方式中的显示装置是裸眼能够看到立体图像的显示装置。并且，可以使用柱状透镜方式(lenticular)或视差屏障方式(Paralax Barriers)，将横向交替地显示的左眼用图像和右眼用图像分别分解给左眼及右眼，以使左眼及右眼看到各自的图像。在本实施方式中，设定上部LCD22是视差屏障方式。上部LCD22用右眼用图像和左眼用图像，来显示用裸眼能够看到的有立体感的图像(立体图像)。即，上部LCD22利用视差屏障，使用户的左眼看到左眼用图像，右眼看到右眼用图像，由此能够显示对于用户而言具有立体感的立体图象(产生立体视觉的图像)。此外，上部LCD22能够使上述视差屏障无效，使视差屏障无效的情况下，能够显示平面图像(与上述的立体显示的意思相反，能够显示平面图像。即，左眼和右眼看到同样的显示图像的显示模式)。这样，上部LCD22是能够在显示立体图像的立体显示模式和，显示平面图像的平面显示模式之间进行切换的显示装置。该显示模式的切换将通过后述的3D调节开关25来进行。
外侧拍摄部23是设置在上壳体21的外侧面(与设置有上部LCD22的主面相反的背面)21D上的两个拍摄部(23a及23b)的总称。外侧拍摄部(左)23a和外侧拍摄部(右)23b的拍摄方向都是该外侧面21D向外的法线方向。并且，这些拍摄部都设计在与上部LCD22的显示面(内侧面)的法线方向呈180度相反的方向。即，外侧拍摄部(左)23a的拍摄方向与外侧拍摄部(右)23b的拍摄方向平行。外侧拍摄部(左)23a和外侧拍摄部(右)23b根据游戏装置10所执行的程序，能够作为立体摄像机使用。此外，可以根据程序单独地使用2个外侧拍摄部(23a及23b)中的任意一方，从而将外侧拍摄部23作为非立体摄像机来使用。此外，还可以根据程序，通过合成2个外侧拍摄部(23a及23b)所拍摄的图像，或者互补性地使用该2个外侧拍摄部(23a及23b)所拍摄的图像，来实现扩大了拍摄范围的拍摄。在本实施方式中，外侧拍摄部23由外侧拍摄部(左)23a和外侧拍摄部(右)23b两个拍摄部构成。外侧拍摄部(左)23a和外侧拍摄部(右)23b包含：具有各自规定的相同解像度的拍摄元件(例如，CCD图像传感器或CMOS图像传感器等)，以及镜头。镜头也可以具有变焦机构。
如图1的虚线以及图3(b)的实线所示，构成外侧拍摄部23的外侧拍摄部(左)23a和外侧拍摄部(右)23b平行排列地配置在上部LCD22的屏幕的宽度方向。即，外侧拍摄部(左)23a和外侧拍摄部(右)23b配置成使连接2个拍摄部的直线与上部LCD22的屏幕的宽度方向平行。图1的虚线所示的23a及23b分别表示位于与上壳体21的内侧面相反侧的外侧面的外侧拍摄部(左)23a和外侧拍摄部(右)23b。如图1所示，当用户从正面观看上部LCD22的屏幕时，外侧拍摄部(左)23a和外侧拍摄部(右)23b分别位于左侧和右侧。当执行使外侧拍摄部23实现立体摄像机的功能的程序时，外侧拍摄部(左)23a拍摄用户的左眼看到的左眼用图像，外侧拍摄部(右)23b拍摄用户的右眼看到的右眼用图像。外侧拍摄部(左)23a与外侧拍摄部(右)23b之间的间隔被设定为人的双眼的间隔，例如可以设定在30mm～70mm的范围内。此外，外侧拍摄部(左)23a与外侧拍摄部(右)23b之间的间隔并不仅限于该范围。
此外，在本实施方式中，外侧拍摄部(左)23a及外侧拍摄部(右)23b被固定在壳体上，不能改变拍摄方向。
此外，外侧拍摄部(左)23a和外侧拍摄部(右)23b分别配置在，上部LCD22(上壳体21)的左右方向上相对于中央对称的位置。即，外侧拍摄部(左)23a和外侧拍摄部(右)23b分别配置在相对于将上部LCD22左右2等分的直线对称的位置。此外，当上壳体21呈打开的状态下，外侧拍摄部(左)23a和外侧拍摄部(右)23b配置在上壳体21的上部，且位于比上部LCD22的屏幕的上端高的位置的背面。即，外侧拍摄部(左)23a与外侧拍摄部(右)23b被配置在上壳体21的外侧面，并且将上部LCD22投影到外侧面时，位于比上部LCD22的屏幕的投影的上端高的位置。
这样，将外侧拍摄部(左)23a和外侧拍摄部(右)23b分别配置在，上部LCD22的左右方向上相对于中央对称的位置，当用户正视上部LCD22时，能够使外侧拍摄部23的拍摄方向与用户的视线方向一致。并且，由于外侧拍摄部23被配置在比上部LCD22的屏幕的上端高的背面的位置，所以外侧拍摄部23与上部LCD22不会在上壳体21的内部彼此妨碍。因此，与将外侧拍摄部23配置在上部LCD22的屏幕的背面的情况相比，能够使上壳体21变薄。
内侧拍摄部24设置在上壳体21的内侧面(主面)21B，并且是将该内侧面的向内的法线方向作为拍摄方向的拍摄部。内侧拍摄部24包含：具有规定的解像度的拍摄元件(例如，CCD图像传感器或CMOS图像传感器等)，以及镜头。镜头也可以具有变焦机构。
如图1所示，在打开上壳体21的状态下，内侧拍摄部24被配置在上壳体21的上部，且比上部LCD22的屏幕的顶端高，而且是配置在上壳体21的左右方向上的中央位置(将上壳体21(上部LCD22的屏幕)左右2等分的线上)。具体地，如图1及图3(b)所示，内侧拍摄部24被配置在上壳体21的内侧面，且位于外侧拍摄部23的左右拍摄部(外侧拍摄部(左)23a和外侧拍摄部(右)23b)背面的中间位置。即，在将上壳体21的外侧面上所设置的外侧拍摄部23的左右拍摄部投影到上壳体21的内侧面的情况下，内侧拍摄部24设置该左右拍摄部的投影的中间。图3(b)所示的虚线24表示位于上壳体21的内侧面的内侧拍摄部24。
这样，内侧拍摄部24拍摄与外侧拍摄部23相反的方向。内侧拍摄部24设置在上壳体21的内侧面，且位于外侧拍摄部23的左右拍摄部背面的中间位置。由此，用户正视上部LCD22的情况下，通过内侧拍摄部24能够从正面拍摄用户的脸。此外，由于外侧拍摄部23的左右拍摄部与上部LCD22不会在上壳体21的内部彼此妨碍，因而能够使上壳体21变薄。
3D调节开关25是滑动开关，并且如上所述是用于切换上部LCD22的显示模式的开关。并且，3D调节开关25用于调节上部LCD22所显示的能够产生立体视觉的图像(立体图像)的立体感。如图1～图3所示，3D调节开关25设置在上壳体21的内侧面及右侧面的端部，并且设置在当用户正视上部LCD22时，能够看到该3D调节开关25的位置。并且，3D调节开关25的操作部突出于内侧面及右侧面两方，并从任何一方都能够看到并能够进行操作。此外，3D调节开关25以外的开关都设置在下壳体11。
图4是图1所示的上壳体21的A-A’线剖面图。如图4所示，在上壳体21的内侧面的右端部形成有凹部21C，且该凹部21C中设置有3D调节开关25。如图1及图2所示，3D调节开关25被配置在从上壳体21的正面及右侧面能够看到的位置。3D调节开关25的滑块25a能够在规定方向(上下方向)滑动到任意的位置，并且根据该滑块25a的位置来相应地设定上部LCD22的显示模式。
图5A到图5C是示出3D调节开关25的滑块25a滑动的情况的图。图5A是示出3D调节开关25的滑块25a位于最低点(第3位置)时的情况的图。图5B是示出3D调节开关25的滑块25a位于最低点的上方位置(第1位置)时的情况的图。图5C是示出3D调节开关25的滑块25a位于顶点(第2位置)时的情况的图。
如图5A所示，当3D调节开关25的滑块25a位于最低点(第3位置)时，上部LCD22被设定为平面显示模式，上部LCD22的屏幕上显示平面图像(此外，也可以在使上部LCD22保持立体显示模式的情况下，通过使左眼用图像和右眼用图像成为同一图像，来进行平面显示)。而当滑块25a位于图5B所示的位置(比最低点高的位置(第1位置))到图5C所示的位置(最顶点的位置(第2位置))之间时，上部LCD22被设定为立体显示模式。该情况下，上部LCD22的屏幕上显示能够产生立体视觉的立体图像。当滑块25a位于第1位置与第2位置之间时，能够根据滑块25a的位置来调节立体图像的立体感。具体地，能够根据滑块25a的位置来相应地调节右眼用图像及左眼用图像的横向位置的偏差量。3D调节开关25的滑块25a被构成为，能够在第3位置固定，并能够在第1位置和第2位置之间沿上下方向滑动到任意的位置。例如，滑块25a被构成为：被从形成3D调节开关25的侧面沿图5A所示的横向突出的凸部(未图示)固定在第3位置，且只有从上方施加规定以上的力量才能使之滑动到第3位置的上方。当滑块25a从第3位置到第1位置时，立体图像的立体感不被调节，这是所谓的闲置空间(idle space)。在其他例子中，也可以不设置闲置区间，而将第3位置和第1位置作为相同的位置。此外，也可以将第3位置设置在第2位置与第1位置之间。该情况下，使滑块从第3位置向第1位置的方向移动的情况和，向第2位置移动的情况下，调节左眼用图像以及右眼用图像的横向位置的偏差量的调节方向变反。
3D指示器26表示上部LCD22是否是立体显示模式。3D指示器26是LED，在上部LCD22的立体显示模式有效的情况下亮灯。此外，也可以使3D指示器26只有在上部LCD22为立体显示模式，且显示立体图像的程序处理被执行时(即，3D调节开关从上述第1位置到上述第2位置，执行使左眼用图像和右眼用图像不同的图像处理时)才亮灯。如图1所示，3D指示器26设置在上壳体21的内侧面，且位于上部LCD22的屏幕附近。从而，当用户正视上部LCD22的屏幕时，用户容易看到3D指示器26。因此，当用户正在确认上部LCD22的屏幕的状态下，能够容易地识别上部LCD22的显示模式。
此外，在上壳体21的内侧面设置有扬声器孔21E。从该扬声器孔21E输出来自于后述的扬声器43的声音。
(游戏装置10的内部结构)
接着，参照图6，说明游戏装置10的内部电结构。图6是示出游戏装置10的内部结构的方框图。如图6所示，游戏装置10除了上述的各个部以外，还具备：信息处理部31、主存储器32、外部存储器接口(外部存储器I/F)33、数据保存用外部存储器I/F34、数据保存用内部存储器35、无线通信模块36、局部通信模块37、实时时钟(RTC)38、加速度传感器39、电源电路40以及接口电路(I/F电路)41等电子元件。这些电子元件集成于电子电路基板，并被装在下壳体11(或者也可以是上壳体21)中。
信息处理部31是包括用于执行规定的程序的中央处理器(CentralProcessing Unit：CPU)311、进行图像处理的图形处理器(GraphicsProcessing Unit：GPU)312等的信息处理单元。信息处理部31的CPU311通过执行保存在游戏装置10内的存储器(例如连接于外部存储器I/F33的外部存储器44或数据保存用内部存储器35)中的程序，来执行与该程序相应的处理(例如，拍摄处理或后述的图像显示处理)。此外，由信息处理部31的CPU311所执行的程序可以通过与其他设备进行通信而从其他设备获得。此外，信息处理部31包括视频RAM(Video RAM，VRAM)313。信息处理部31的GPU312根据来自信息处理部31的CPU311的命令来生成图像，并绘制到VRAM313。然后，信息处理部31的GPU312将绘制到VRAM313的图像输出到上部LCD22及/或下部LCD2，从而在上部LCD22及/或下部LCD2显示该图像。
信息处理部31上连接有：主存储器32、外部存储器I/F33、数据保存用外部存储器I/F34及数据保存用内部存储器35。外部存储器I/F33是用于与外部存储器44拆卸自由地连接的接口。并且，数据保存用外部存储器I/F34是用于与数据保存用外部存储器45拆卸自由地连接的接口。
主存储器32是用作信息处理部31(的CPU311)的工作区或缓冲区的易失性存储单元。即，主存储器32暂时储存基于上述程序的处理所用的各种数据，或者暂时储存从外部(外部存储器44或其它设备等)获取的程序。在本实施方式中，例如使用虚拟静态随机存取存储器(Pseudo-SRAM：PSRAM)来作为主存储器32。
外部存储器44是用于存储信息处理部31所执行的程序的非易失性存储单元。外部存储器44例如通过读取专用的半导体存储器而构成。当外部存储器44与外部存储器I/F33连接时，信息处理部31能够载入外部存储器44中所储存的程序。通过执行信息处理部31所载入的程序，来执行规定的处理。数据保存用外部存储器45由非易失性的能够读写的存储器(例如，NAND闪存)构成，用于储存规定的数据。例如，数据保存用外部存储器45中储存有外侧拍摄部23所拍摄的图像或通过其他设备拍摄的图像。当数据保存用外部存储器45与数据保存用外部存储器I/F34连接时，信息处理部31载入数据保存用外部存储器45所储存的图像，从而能够在上部LCD22及/或下部LCD2显示该图像。
数据保存用内部存储器35由可读写的非易失性存储器(例如NAND型闪存)构成，用于储存规定的数据。例如，数据保存用内部存储器35中保存有通过经由无线通信模块36的无线通信而下载的数据或程序。
无线通信模块36例如采用基于IEEE802.11.b/g规格的方式而具有与无线LAN连接的功能。此外，局部通信模块37具有通过规定的通信方式(例如，基于独自的协议的通信或红外通信)，而在同种类的游戏装置之间进行无线通信的功能。无线通信模块36及局部通信模块37连接于信息处理部31。信息处理部31能够用无线通信模块36经由因特网而与其它设备之间进行数据的收发，或者用局部通信模块37来与其它同种类的游戏装置之间进行数据的收发。
此外，信息处理部31上连接有加速度传感器39。加速度传感器39检测沿三个轴(xyz轴)方向的直线方向的加速度(直线加速度)的大小。加速度传感器39设置在下壳体11的内部。如图1所示，加速度传感器39检测出以下壳体11的长边方向为x轴、下壳体11的短边方向为y轴、与下壳体11的内侧面(主面)垂直的方向为z轴的各个轴的直线加速度的大小。并且加速度传感器39例如是静电容量式的加速度传感器，也可以是其他方式的加速度传感器。此外，加速度传感器39也可以是检测1个或2个轴方向的加速度传感器。信息处理部31通过接收表示由加速度传感器39检测出的加速度的数据(加速度数据)，能够检测出游戏装置10的姿势或动作。
此外，信息处理部31上连接有RTC38以及电源电路40。RTC38对时间进行计数，并输出给信息处理部31。信息处理部31基于RTC38所计时的时间来计算当前时刻(日期)。电源电路40控制来自游戏装置10所具有的电源(装在下壳体11中的上述充电式电池)的电力，并向游戏装置10的各个元件供电。
此外，信息处理部31上连接有I/F电路41。I/F电路41上连接有传声器42以及扬声器43。具体地，扬声器43经由未图示的放大器连接在I/F电路41上。传声器42检测用户的声音并将声音信号输出给I/F电路41。放大器将来自I/F电路41的声音信号放大，并将声音从扬声器43输出。此外，触摸面板13连接在I/F电路41上。I/F电路41包括：对传声器42及扬声器43(放大器)进行控制的声音控制电路、以及对触摸面板进行控制的触摸面板控制电路。声音控制电路对声音信号进行A/D转换以及D/A转换，或将声音信号转换成规定格式的声音数据。触摸面板控制电路基于来自触摸面板13的信号来生成规定格式的触摸位置数据，并输出到信息处理部31。触摸位置数据表示在触摸面板13的输入面上进行输入的位置坐标。此外，触摸面板控制电路在间隔规定时间来读取来自触摸面板13的信号以及生成触摸位置数据。信息处理部31通过获取触摸位置数据，能够得知对触摸面板13进行了输入的位置。
操作按钮14包括上述各个操作按钮14A～14L，并与信息处理部31连接。从操作按钮14向信息处理部13输出表示对各个操作按钮14A～14I的输入状况(是否被按下)的操作数据。信息处理部31通过从操作按钮14获取操作数据，按照对操作按钮14所进行的输入来执行处理。
下部LCD12及上部LCD22连接于信息处理部31。下部LCD12及上部LCD22按照信息处理部31(的GPU312)的指示来显示图像。在本实施方式中，信息处理部31使立体图像(产生立体视觉的图像)显示在上部LCD22上。
具体地，信息处理部31连接于上部LCD22的LCD控制器(未图示)，并对该LCD控制器控制视差屏障的ON/OFF。当上部LCD22的视差屏障为ON时，信息处理部31的VRAM313中所储存的右眼用图像和左眼用图像被输出到上部LCD22。更具体地，LCD控制器通过交替地执行读出右眼用图像的纵向1列的像素数据的处理、和读出左眼用图像的纵向1列的像素数据的处理，来从VRAM313读出右眼用图像和左眼用图像。由此，右眼用图像和左眼用图像被分割成像素在纵向按列排列的带状图像，被分割后的右眼用图像的带状图像和左眼用图像的带状图像交替地配置的图像被显示在上部LCD22的屏幕上。然后，用户经由上部LCD22的视差屏障便能够看到该图像，由此，用户的右眼能够看到右眼用图像，用户的左眼能够看到左眼用图像。如此便能够将产生立体视觉的图像显示在上部LCD22的屏幕上。
外侧拍摄部23及内侧拍摄部24连接在信息处理部31上。外侧拍摄部23及内侧拍摄部24按照信息处理部31的指示来拍摄图像，并将所拍摄的图像数据输出到信息处理部31。
3D调节开关25连接在信息处理部31上。3D调节开关25根据滑块25a的位置相应地将电信号发送给信息处理部31。
此外，3D指示器26连接在信息处理部31上。由信息处理部31来控制3D指示器26的亮灯。例如，当上部LCD22是立体显示模式时，信息处理部31使3D指示器26亮灯。以上是有关游戏装置10的内部结构的说明。
(游戏装置10的动作概要)
以下，说明本实施方式中的游戏装置10的动作概要。在本实施方式中，基于图像显示程序，将由外侧拍摄部23(外侧拍摄部(左)23a、外侧拍摄部(右)23b)当前正在拍摄的现实空间的图像与、存在于三维虚拟空间的虚拟对象的图像合成后的合成图像，作为立体图像显示在上部LCD22的屏幕上。
(现实空间图像的立体显示)
使提供给上部LCD22的、由外侧拍摄部23拍摄的2个拍摄图像具有规定的视差，来实现立体显示。
图7是示出外侧拍摄部23正在拍摄3个球60a～60c(现实对象)时，上部LCD22的屏幕上所显示的立体图像的一例。当外侧拍摄部23拍摄3个球60a～60c时，在上部LCD22上能够显示出这些球60a～60c的立体图像。如图7所示，在上部LCD22的屏幕上，离外侧拍摄部23最近的球60a在用户看来是位于离自己最近的位置，而离外侧拍摄部23最远的球60a在用户看来是位于离自己最远的位置。此外，为了便于理解，图7中示出的是球超出了上部LCD22的屏幕，但实际上球是显示在屏幕内的。后述的图8、图10也同样。此外，图7中，由于后述的标记61(参照图8)没有被外侧拍摄部23拍摄，所以在上部LCD22的屏幕上没有显示虚拟对象。并且，在图7、图8、图10等中示出的是，看到的显示对象好像是飞出了屏幕，但是进行立体显示的情况下，看到的显示对象并不一定都是如飞出了屏幕的方向，也包括使显示对象具有深度而进行显示，从而看到的显示对象位于屏幕的内侧深处。
(现实空间图像及CG图像的立体显示)
图8示出外侧拍摄部23正在拍摄标记61(现实对象)时，上部LCD22的屏幕上所显示的立体图像的一例。如图8所示，标记61中绘制有包含箭头的正方形，CPU311通过对从外侧拍摄部23获取的图像进行如模式匹配等图像处理，能够判定该图像中是否含有标记。当外侧拍摄部23正在拍摄标记61时，上部LCD22不仅将标记61作为现实空间图像来进行立体显示，还将虚拟对象62(例如模拟狗的虚拟对象)合成在标记61的位置来进行立体显示。如图9所示，标记61被定义了朝向(前方、右方、上方)，并能够将虚拟对象的姿势配置成与标记61相应的姿势。例如，能够在标记61上将虚拟对象62配置成，虚拟对象62的前方与标记61的前方一致。
图10示出外侧拍摄部23正在拍摄标记61时，上部LCD22的屏幕上所显示的立体图像的另一例。这样，当用户移动游戏装置10，而使上部LCD22的屏幕上所显示的标记61的位置及朝向发生变化时，虚拟对象62的位置及朝向也随之而发生变化。因此，在用户看来虚拟对象62仿佛真的存在于现实空间中一样。
以下，参照图11～图40，详细说明游戏装置10中基于图像显示程序而执行的图像显示处理。
(存储分配图表)
首先，对进行图像显示处理时主存储器32中所储存的主要数据进行说明。图11是示出游戏装置10的主存储器32的存储器分配图表的图。如图11所示，主存储器32中储存有：图像显示程序70、最新左现实空间图像71L、最新右现实空间图像71R、显示用左现实空间图像72L、显示用右现实空间图像72R、立体视零距离73、虚拟对象信息74、左变换矩阵75L、右变换矩阵75R、左视点矩阵76L、右视点矩阵76R、左投影矩阵77L、右投影矩阵77R、显示模式78、标记识别模式79、主现实空间图像识别信息80以及各种变量81等。
图像显示程序70是用于使CPU311执行上述图像显示处理的程序。
最新左现实空间图像71L是由外侧拍摄部(左)23a拍摄的最新图像。
最新右现实空间图像71R是由外侧拍摄部(右)23b拍摄的最新图像。
显示用左现实空间图像72L是由外侧拍摄部(左)23a所拍摄的图像中、被决定为在上部LCD22上显示的最新的图像。
显示用右现实空间图像72R是由外侧拍摄部(右)23b所拍摄的图像中、被决定为在上部LCD22上显示的最新的图像。
立体视零距离73是一个变量，该变量表示在上部LCD22的屏幕上对某物体进行立体显示时，该物体要在拍摄方向上与外侧拍摄部23相隔多少距离才能被看到是位于与上部LCD22的屏幕相同进深的位置。立体视零距离73例如可以厘米为单位。在本实施方式中，立体视零距离73固定为25cm，但这只不过是一个例子，可以根据用户的指示，或者通过计算机来自动地随时改变立体视零距离73。立体视零距离73也可以根据与标记61相距的距离、或外侧拍摄部23与标记61之间的距离的比例来进行指定。此外，并不一定指定为现实空间的距离，也可以指定为虚拟空间中的距离。当标记61的尺寸为已知等情况时，能够使现实空间中的长度单位与虚拟空间中的长度单位一致。这样在能够使两者的单位一致的情况下，能够以现实空间中的长度单位来设定立体视零距离73。而在不能使两者的单位一致的情况下，则可以以虚拟空间中的长度单位来设定立体视零距离73。此外，如后述，在本实施方式中，不用标记61的尺寸，就能够使现实空间中的长度单位与虚拟空间中的长度单位一致。
虚拟对象信息74是与上述的虚拟对象62相关联的信息，并含有：表示虚拟对象62的形状的3D模型数据(多边形数据)、表示虚拟对象62的图案的纹理数据、或表示虚拟空间中的虚拟对象62的位置或姿势的信息等。
左变换矩阵75L是通过识别左现实空间图像中的标记61的位置及姿势来计算的矩阵，是将通过以标记61的位置及姿势为基准而设定的坐标系(标记坐标)来表示的坐标，变换为以外侧拍摄部(左)23a的位置及姿势为基准来表示的坐标系(外侧拍摄部(左)坐标系)的坐标变换矩阵。左变换矩阵75L是含有外侧拍摄部(左)23a相对于标记61的位置及姿势的相对位置及姿势信息的矩阵，更具体地，它是含有标记坐标系中外侧拍摄部(左)23a的位置及姿势的信息的矩阵。
右变换矩阵75R是通过识别右现实空间图像中的标记61的位置及姿势来计算的矩阵，是将通过标记坐标来表示的坐标变换为，以外侧拍摄部(右)23b的位置及姿势为基准来表示的坐标系(外侧拍摄部(右)坐标系)的坐标变换矩阵。右变换矩阵75R是含有外侧拍摄部(左)23b相对于标记61的位置及姿势的相对位置及姿势信息的矩阵，更具体地，它是含有标记坐标系中外侧拍摄部(右)23b的位置及姿势的信息的矩阵。
此外，在本说明书中，把从标记坐标变换成外侧拍摄部(左)坐标系或外侧拍摄部(右)坐标系的变换矩阵称为“标记/拍摄装置变换矩阵”。左变换矩阵75L和右变换矩阵75R是“标记/拍摄装置变换矩阵”。
左视点矩阵76L是绘制从左虚拟拍摄装置看到的虚拟对象62时所用的矩阵，是用于将通过虚拟世界的世界坐标系来表示的坐标变换为，通过左虚拟拍摄装置坐标系来表示的坐标的坐标变换矩阵。左视点矩阵76L是含有虚拟世界的世界坐标系中的左虚拟拍摄装置的位置及姿势的信息的矩阵。
右视点矩阵76R是绘制从右虚拟拍摄装置看到的虚拟对象62时所用的矩阵，它是用于将通过虚拟世界的世界坐标系来表示的坐标变换为，通过右虚拟拍摄装置坐标系来表示的坐标的坐标变换矩阵。右视点矩阵76R是含有虚拟世界的世界坐标系中的右虚拟拍摄装置的位置及姿势的信息的矩阵。
左投影矩阵77L是绘制从左虚拟拍摄装置看到的虚拟世界(存在于虚拟世界的虚拟对象62)时用的矩阵，是用于将通过左虚拟拍摄装置坐标系来表示的坐标变换为，通过屏幕坐标系来表示的坐标的坐标变换矩阵。
右投影矩阵77R是绘制从右虚拟拍摄装置看到的虚拟世界(存在于虚拟世界的虚拟对象62)时用的矩阵，是用于将通过右虚拟拍摄装置坐标系来表示的坐标变换为，通过屏幕坐标系来表示的坐标的坐标变换矩阵。
显示模式78是表示当前的处理模式的数据，更具体地，它是表示使现实空间图像和虚拟空间图像同步地进行合成显示的同步显示模式，或者是表示使现实空间图像和虚拟空间图像非同步地进行合成显示的非同步显示模式的数据。
标记识别模式79是表示当前的处理模式的数据，更具体地，它是表示只对左现实空间图像和右现实空间图像中的某一个进行标记识别处理的单图像识别模式，或者是表示对左现实空间图像和右现实空间图像的两者分别进行标记识别处理的双图像识别模式。
主现实空间图像识别信息80是表示左现实空间图像和右现实空间图像中的哪一个是主现实空间图像的数据。在上述单图像识别模式下，只对主现实空间图像进行标记识别处理，而不对另一方的现实空间图像(以下，称为子现实空间图像)进行标记识别处理。
各种变量81是执行图像显示程序70时所用的变量，包含图12所示的变量。以下将随时说明这些变量的含义。
当游戏装置10接通电源时，游戏装置10的信息处理部31(CPU311)执行储存在未图示的ROM中的启动程序，由此，主存储器32等各个单元被初始化。接着，数据保存用内部存储器35中所储存的图像显示程序被载入主存储器32，并通过信息处理部31的CPU311来开始执行该图像显示程序。
以下，结合图13～图19的流程图，来说明基于图像显示程序而执行的处理的流程。此外，图13～图19的流程图只不过是一个例子。因此，只要能够得到同样的结果，各个步骤的顺序也可以调换。并且，变量的值或判断步骤中所利用的阈值也仅仅是一个例子，也可以根据需要采用其它的值。此外，在本实施方式中，说明的是由CPU311执行图13～图19的流程图的所有步骤的处理的情况，但也可以设定CPU311以外的处理器或专用电路来执行图13～图19的流程图的一部分步骤的处理。
(标记处理)
图13是示出CPU311基于图像显示程序70所执行的标记处理的流程的流程图。标记处理是与后述的主处理并列执行的处理，在本实施方式中是在CPU311的闲置(Idle)状态时执行。以下详细说明标记处理。
图13的步骤S10中，CPU311判断是否从外侧拍摄部23获得两方的现实空间图像(即，左现实空间图像及右现实空间图像)，并且，在获得了两方的现实空间图像的情况下，处理进入步骤S11。从外侧拍摄部23获得的最新的左现实空间图像作为最新左现实空间图像71L被储存到主存储器32，所获得的最新的右现实空间图像作为最新右现实空间图像71R被储存到主存储器32。
此外，如上所述，在上壳体21中，外侧拍摄部(左)23a和外侧拍摄部(右)23b只间隔一定的距离(例如3.5cm，以下为拍摄部间距离)。因此，当外侧拍摄部(左)23a和外侧拍摄部(右)23b同时拍摄到标记61时，如图20所示，外侧拍摄部(左)23a所拍摄到的左现实空间图像中的标记61的位置及姿势、与外侧拍摄部(右)23b所拍摄到的右现实空间图像中的标记61的位置及姿势之间，因视差而产生了偏差。
步骤S11中，CPU311对主现实空间图像进行标记识别处理。更具体地，通过模式匹配方法等来判断主现实空间图像中是否含有标记61，并且，在主现实空间图像中含有标记61的情况下，基于主现实空间图像中的标记61的位置及姿势，来计算左变换矩阵75L或右变换矩阵75R(当主现实空间图像是左现实空间图像时，计算左变换矩阵75L，而当主现实空间图像是右现实空间图像时，计算右变换矩阵75R)。
此外，左变换矩阵75L是反映基于左现实空间图像中的标记61的位置及姿势而计算出的、外侧拍摄部(左)23a的位置及姿势的矩阵。更准确地说，如图21所示，它是坐标变换矩阵，用于将通过标记坐标系(以现实空间中的标记61的位置为原点，以标记61的纵向、横向、法线方向的各个方向为各个轴的坐标系)所表示的坐标变换为，通过外侧拍摄部(左)坐标系来表示的坐标，其中，外侧拍摄部(左)坐标系以基于左现实空间图像中的标记61的位置及姿势而计算出的外侧拍摄部(左)23a的位置及姿势为基准。
并且，右变换矩阵75R是反映基于右现实空间图像中的标记61的位置及姿势而计算出的、外侧拍摄部(右)23b的位置及姿势的矩阵。更准确地说，如图22所示，它是坐标变换矩阵，用于将通过标记坐标系所表示的坐标变换为，通过外侧拍摄部(右)坐标系来表示的坐标，其中，外侧拍摄部(右)坐标系以基于右现实空间图像中的标记61的位置及姿势而计算出的外侧拍摄部(右)23b的位置及姿势为基准。
此外，假设标记识别精度完全没有误差，且外侧拍摄部(左)23a和外侧拍摄部(右)23b相对于游戏装置10的安装精度也毫无误差，那么右现实空间图像的标记识别结果，即右变换矩阵75R所示出的外侧拍摄部(右)23b的位置则位于，使左现实空间图像的标记识别结果，即左变换矩阵75L所示出的外侧拍摄部(左)23a的位置、沿外侧拍摄部(左)坐标系的x轴方向(游戏装置10的横方向，使用时的水平方向)只移动一定距离(拍摄部间距离)的位置，并且，右变换矩阵75R所示出的外侧拍摄部(右)23b的姿势和左变换矩阵75L所示出的外侧拍摄部(左)23a的姿势，与游戏装置10上的外侧拍摄部(左)23a和外侧拍摄部(右)23b的安装状态相同。在本实施方式中，因外侧拍摄部(左)23a和外侧拍摄部(右)23b被设计为平行地安装在游戏装置10上，所以外侧拍摄部(左)坐标系的x轴、y轴、z轴分别与外侧拍摄部(右)坐标系的x轴、y轴、z轴平行。但实际上，由于标记识别精度、以及外侧拍摄部(左)23a和外侧拍摄部(右)23b相对于游戏装置10的安装精度都存在着误差，所以左变换矩阵75L所示出的外侧拍摄部(左)23a的位置及姿势与右变换矩阵75R所示出的外侧拍摄部(右)23b的位置及姿势不能成为理想的关系。例如，左变换矩阵75L和右变换矩阵75R会成为外侧拍摄部(左)23a与外侧拍摄部(右)23b要么离得太近，要么离得太远，或者外侧拍摄部(左)23a的姿势和外侧拍摄部(右)23b的姿势不同的矩阵。此外，还会成为外侧拍摄部(左)23a的姿势和外侧拍摄部(右)23b的姿势不平行的矩阵。
这里，在AR技术中，虽然通过把将标记坐标系变换成外侧拍摄部(左)坐标系或外侧拍摄部(右)坐标系的矩阵指定为虚拟拍摄装置的视点矩阵，能够将CG图像合成到现实空间图像上，但单纯地将左变换矩阵75L指定为左视点矩阵76L，将右变换矩阵75R指定为右视点矩阵76R来在上部LCD22上对虚拟空间图像进行立体显示时，可能会有不能够正常地看到立体的虚拟对象62的情况。对此，通过后述的说明可以得知，本实施方式根据基于左现实空间图像和右现实空间图像中任意一方的标记识别结果(标记/拍摄装置变换矩阵)而算出的一方的虚拟拍摄装置的位置及姿势(视点矩阵)，来决定另一方的虚拟拍摄装置的位置及姿势(视点矩阵)，从而能使左虚拟拍摄装置63L的位置及姿势与右虚拟拍摄装置63R的位置及姿势成为理想的关系。
此外，在步骤S11中，在从主现实空间图像中没有识别出标记61的情况下，通过将Null值储存到左变换矩阵75L或右变换矩阵75R中，来记录左现实空间图像或右现实空间图像中的标记61的识别失败。
步骤S12中，CPU311判断标记识别模式是否是单图像识别模式。是单图像识别模式的情况下，处理进入步骤S13，不是的情况下(即，是双图像识别模式的情况下)，处理进入步骤S14。
步骤S13中，CPU311将左现实空间图像及右现实空间图像中、不是主现实空间图像的一方的现实空间图像(以下称为子现实空间图像)的标记识别结果看成“失败”。更具体地，主现实空间图像是左现实空间图像的情况下，将Null值存储到右变换矩阵75R中，而在主现实空间图像是右现实空间图像的情况下，将Null值存储到左变换矩阵75L中。
步骤S14中，CPU311对子现实空间图像进行标记识别处理。更具体地，通过模式匹配方法等来判断子现实空间图像中是否含有标记61，并且，在子现实空间图像中含有标记61的情况下，基于子现实空间图像中的标记61的位置及姿势，来计算左变换矩阵75L或右变换矩阵75R(当子现实空间图像是左现实空间图像时，计算左变换矩阵75L，而当子现实空间图像是右现实空间图像时，计算右变换矩阵75R)。
步骤S15中，CPU311判断显示模式是否是同步显示模式。是同步显示模式的情况下，处理进入步骤S17，不是的情况下(即，是非同步显示模式的情况)，处理进入步骤S16。
步骤S16中，CPU311将最新左现实空间图像71L及最新右现实空间图像71R，分别作为显示用左现实空间图像72L及显示用右现实空间图像71R储存到主存储器32。然后，处理返回步骤S10。
步骤S17中，CPU311判断标记识别模式是否是单图像识别模式。是单图像识别模式的情况下，处理进入步骤S18，不是的情况下(即，是双图像识别模式的情况下)，处理进入步骤S19。
步骤S18中，CPU311判断主现实空间图像的标记识别是否成功。更具体地，在主现实空间图像是左现实空间图像的情况下，CPU311判断左变换矩阵75L中是否存储有不是Null值的有效的矩阵，并且，在主现实空间图像是右现实空间图像的情况下，CPU311判断右变换矩阵75R中是否存储有不是Null值的有效的矩阵。在判断为主现实空间图像的标记识别成功的情况下，处理进入步骤S16，不是的情况下处理返回步骤S10。
步骤S19中，CPU311判断左现实空间图像和右现实空间图像中的至少一方的标记识别是否成功。更具体地，CPU311判断左变换矩阵75L及右变换矩阵75R两者中是否存储有不是Null值的有效的矩阵。在判断为左现实空间图像和右现实空间图像中的至少一方的标记识别成功的情况下，处理进入步骤S16，不是的情况下处理返回步骤S10。
(主处理)
图14是示出CPU311基于图像显示程序70而执行的主处理的流程的流程图。主处理是与上述的标记处理并列执行的处理。以下对主处理进行详细说明。
图14的步骤S20中，CPU311将虚拟对象62配置在三维虚拟空间的规定位置。在本实施方式中，将虚拟对象62配置在虚拟空间的原点(世界坐标系的原点)。
步骤S21中，CPU311执行更新处理。该更新处理是用于更新绘制虚拟对象62所用的各种变量的处理。具体的更新处理将后述。
步骤S22中，CPU311执行虚拟对象处理。虚拟对象处理是与虚拟空间中所配置的虚拟对象62有关的处理，例如，根据需要来改变虚拟对象62的大小，或使虚拟对象62进行规定的动作(在虚拟空间内移动。例如，若使其在虚拟空间的原点的周围行走那样来移动虚拟对象，显示的则是其在虚拟空间的原点的周围行走)。此外，虚拟对象62的移动控制通过改变虚拟空间的世界坐标系中的虚拟对象的位置坐标来实现。
步骤S23中，CPU311根据立体视零距离73来决定左现实空间图像中用于显示的范围，即绘制范围。更具体地，如图23所示，将以在拍摄方向上与外侧拍摄部23仅相距立体视零距离73的值(例如30cm)、且分别与外侧拍摄部(左)23a和外侧拍摄部(右)23b相距等距离的点作为立体视零点，从而将从外侧拍摄部(左)23a来看该立体视频零点位于中心的范围，决定成左现实空间图像的绘制范围。如图23所示，该范围的横向的长度，例如可以通过用表示外侧拍摄部(左)23a的视角的直线来截取与外侧拍摄部(左)23a的拍摄方向垂直的直线，而得到的线段之比来定义，基于与现实空间图像的横向的长度和该比，来决定该范围的横向的长度。此外，该范围的纵向的长度根据横向的长度来决定，以符合显示屏幕的纵横比。
此外，当在后述的步骤S27中决定右现实空间图像的绘制范围时，如图24所示，将该立体视零点从外侧拍摄部(右)23b来看是中心的范围决定为右现实空间图像的绘制范围。由此，上部LCD22所显示的左眼用图像中的立体视零点的位置与右眼用图像中的立体视频零点的位置，在上部LCD22的屏幕上就变为一致，从而在用户看来就是似乎存在于与屏幕相同进深的位置。
步骤S24中，CPU311将显示用左现实空间图像72L中的、在步骤S23所决定的绘制范围，绘制到VRAM313中的规定的存储区域(以下称为左边框缓冲)，其中，VRAM313用于暂时保存要提供给上部LCD22的左眼用图像。
步骤S25中，CPU311判断ARActive(参照图12)的值是否为true。ARActive是表示是否能够将虚拟对象合成显示在现实空间图像上的状况的变量(标示，flag)，在能够在现实空间图像上合成显示虚拟对象的情况下，其值被设定为true，在不能够在现实空间图像上合成显示虚拟对象的情况(例如，完全不能识别标记61的情况)下，其值被设定为false(初始值)。ARActive的值是true的情况下，处理进入步骤S26，不是的情况(即，ARActive的值是false的情况)下，处理进入步骤S27。
步骤S26中，如图23所示，CPU311将从左虚拟拍摄装置63L看到的虚拟空间(以下称为左眼用的虚拟空间图像)，盖写在左边框缓冲上(实际上，典型的是按照来自CPU311的指示，由GPU312来绘制)。由此，如图26所示，左眼用的虚拟空间图像被合成在步骤S24中绘制到左边框缓冲的左现实空间图像上。绘制在左边框缓冲上的图像作为左眼用图像，将在规定的定时被提供给上部LCD22。此外，在该左眼用的虚拟空间图像中，虚拟空间的背景是透明的，因此通过将虚拟空间图像合成到现实空间图像上，能够生成虚拟对象62犹如存在于现实空间图像上一样的图像。
步骤S27中，CPU311根据立体视零距离73来决定右现实空间图像的绘制范围。由于决定绘制范围的具体处理与决定左现实空间图像的绘制范围的处理相同，所以这里省略其说明。
步骤S28中，CPU311将显示用右现实空间图像72R中的、在步骤S27所决定的绘制范围，绘制到VRAM313中的规定的存储区域(以下称为右边框缓冲)，其中，VRAM313用于暂时保存要提供给上部LCD22的右眼用图像。
步骤S29中，CPU311判断ARActive的值是否为true。ARActive的值是true的情况下，处理进入步骤S30，不是的情况(即，ARActive的值是false的情况)下，处理进入步骤S31。
步骤S30中，CPU311将从右虚拟拍摄装置63R看到的虚拟空间(以下称为右眼用的虚拟空间图像)，盖写在右边框缓冲上(实际上，典型的是按照来自CPU311的指示，由GPU312来绘制)。由此，右眼用的虚拟空间图像被合成在步骤S28中绘制到右边框缓冲的右现实空间图像上。绘制在右边框缓冲上的图像作为右眼用图像，将在规定的定时被提供给上部LCD22。
步骤S31中，CPU311等待来自上部LCD22的中断信号(垂直同步中断)，并在产生了该中断信号的情况下，处理返回步骤S21。由此，以一定的周期(例如，1/60秒的周期)来反复步骤S21～S31的处理。
(更新处理)
接着，参照图15的流程图来详细说明主处理中的步骤S21的更新处理。
图15的步骤S40中，CPU311判断上述的标记处理中标记识别结果(即，左变换矩阵75L和右变换矩阵75R)是否被更新，在被更新的情况下处理进入步骤S41，尚未被更新的情况下处理进入步骤S44。
步骤S41中，CPU311判断左现实空间图像和右现实空间图像两方的现实空间图像的标记识别是否成功。然后，两方的现实空间图像的标记识别成功的情况下，处理进入步骤S42，在任一方或者两方的现实空间图像的标记识别失败的情况下，处理进入步骤S44。
步骤S42中，CPU311判断EyeWidth(参照图12)的值是否为0，或者EyeMeasure(参照图12)的值是否为true。EyeWidth表示用左变换矩阵75L和右变换矩阵75R计算出的、外侧拍摄部(左)23a与外侧拍摄部(右)23b之间的位置关系中的、两拍摄部间的距离。并且，这里的两拍摄部间的距离不需要按现实空间的规模来求，可以作为在虚拟空间中的距离来求。具体地，根据左变换矩阵75L所示出的、外侧拍摄部(左)23a在标记坐标系中的位置与右变换矩阵75R所示出的、外侧拍摄部(右)23b在标记坐标系中的位置之间的距离。在该距离未确定的情况下，其值被设定为0(初始值)。此外，在本实施方式中，EyeWidth是标量值，也可以将EyeWidth设定为，连接左变换矩阵75L所示出的外侧拍摄部(左)23a的位置和右变换矩阵75R所示出的外侧拍摄部(右)23b的位置之间的矢量。此外，也可以将EyeWidth设定为，连接左变换矩阵75L所示出的外侧拍摄部(左)23a的位置和右变换矩阵75R所示出的外侧拍摄部(右)23b的位置之间的矢量的、与拍摄方向正交的分量的长度。此外，如后述，EyeWidth用于设定虚拟空间中左虚拟拍摄装置63L和右虚拟拍摄装置63R之间的距离(间隔)。EyeMeasure是表示是否要再次计算EyeWidth的变量(标示)，在要再次计算EyeWidth的情况下，其值被设定为true，不要的情况下，其值被设定为false(初始值)。在EyeWidth的值为0，或者EyeMeasure的值为true的情况下，处理进入步骤S43，不是的情况(即，EyeWidth为0以外的值，而且EyeMeasure的值为false的情况)下，处理进入步骤S44。
步骤S43中，CPU311执行虚拟拍摄装置间隔决定处理。在虚拟拍摄装置间隔决定处理中，适当地决定并更新左虚拟拍摄装置63L和右虚拟拍摄装置63R之间的间隔(即，EyeWidth)。之后将详细说明虚拟拍摄装置间隔决定处理。
步骤S44中，CPU311执行视点矩阵生成处理。在视点矩阵生成处理中，基于已经决定了的左虚拟拍摄装置63L和右虚拟拍摄装置63R之间的间隔(即，EyeWidth)，来计算左视点矩阵76L和右视点矩阵76R。之后将详细说明视点矩阵生成处理。
步骤S45中，CPU311执行主现实空间图像设定处理。在主现实空间图像设定处理中，主现实空间图像在左现实空间图像和右现实空间图像之间适当地进行切换(这等同于在外侧拍摄部(左)23a与外侧拍摄部(右)23b之间切换主拍摄部)。之后将详细说明主现实空间图像设定处理。
步骤S46中，CPU311执行显示模式切换处理，然后结束更新处理。在显示模式切换处理中，在同步显示模式与非同步显示模式之间适当地切换显示模式。之后将详细说明显示模式切换处理。
(虚拟拍摄装置间隔决定处理)
接着，参照图16的流程图来具体说明更新处理(图15)中的步骤S43的虚拟拍摄装置间隔决定处理。这里，如前所述，求出左变换矩阵75L所示出的相对于标记61的位置的外侧拍摄部(左)23a的位置、与右变换矩阵75R所示出的相对于标记61的位置的外侧拍摄部(右)23b的位置之间的距离。该距离的计算方法有几种，作为计算方法的一个例子，在本实施方式中采用下述的方法。
在图16的步骤S50中，CPU311基于左变换矩阵75L及右变换矩阵76R来计算坐标V0。以下，参照图27～图29来说明V0的计算方法。此外，如前所述的，基于左现实空间图像所计算的、外侧拍摄部(左)23a相对于标记61的相对位置及相对姿势，与基于右现实空间图像所计算的、外侧拍摄部(右)23b相对于标记61的相对位置及相对姿势，并不一定成理想关系，为了强调该情况，在图27～图29中图示出的外侧拍摄部(左)23a的拍摄方向和外侧拍摄部(右)23b的拍摄方向相互偏离较大。
首先，如图27所示，将(0，0，0)乘以左变换矩阵75L，能够求得用外侧拍摄部(左)坐标系来表示的标记坐标系的原点的坐标V1。坐标V1表示基于左现实空间图像所计算的、标记61相对于外侧拍摄部(左)23a的相对位置。若将该坐标V1看成是用外侧拍摄部(右)坐标系来表示的坐标，那么坐标V1所示出的位置在外侧拍摄部(右)坐标系中则移动到图28所示的位置。再将该坐标V1乘以右变换矩阵75R的逆矩阵。与右变换矩阵75R的逆矩阵相乘相当于，将用外侧拍摄部(右)坐标系来表示的坐标变换成用标记坐标系来表示的坐标。因此，如图29所示，上述与逆矩阵的乘算就是将用外侧拍摄部(右)坐标系来表示的坐标V1(图28)变换成用标记坐标系来表示的坐标V0。由此所计算出的坐标V0表示：基于左现实空间图像所计算的、标记61相对于外侧拍摄部(左)23a的相对位置(即，用外侧拍摄部(左)坐标系来表示的标记坐标系的原点的坐标)，与基于右现实空间图像所计算的、标记61相对于外侧拍摄部(右)23b的相对位置(即，用外侧拍摄部(右)坐标系来表示的标记坐标系的原点的坐标)的差。在本实施方式中，将该标记61的相对位置的差考虑为是因外侧拍摄部(左)23a和外侧拍摄部(右)23b的安装位置的偏差而产生的，由此来推断外侧拍摄部(左)23a和外侧拍摄部(右)23b的安装位置。
步骤S51中，CPU311基于左变换矩阵75L来计算用外侧拍摄部(左)坐标系来表示的标记坐标系的原点的坐标V1。具体地，通过将(0，0，0)乘以左变换矩阵75L，来求得通过外侧拍摄部(左)坐标系来表示的标记坐标系的原点的坐标V1。此外，这里将用外侧拍摄部(左)坐标系来表示的标记坐标系的原点的坐标作为V1，但也可以换为将用外侧拍摄部(右)坐标系来表示的标记坐标系的原点的坐标作为V1。
步骤S52中，CPU311将在步骤S50求得的V0的大小(与原点相距的距离)(参照图29)储存到ew(参照图12)，并将在步骤S51求得的V1的z轴值的绝对值(参照图27)储存到ed(参照图12)。其中，ew的值以标记坐标系中的长度单位来计算，与现实空间中的长度单位不一致。然后，如前所述，由于外侧拍摄部(左)23a和外侧拍摄部(右)23b之间的实际距离是已知的(例如3.5cm)，所以用该实际距离和ew的值，能够使现实空间中的长度单位与虚拟空间中的长度单位一致。此外，若已知标记61的尺寸，则根据基于标记图像的识别结果而求得的标记61的尺寸与、现实空间中标记61的尺寸之间的对应关系，也能够使现实空间中的长度单位与虚拟空间中的长度单位一致。
此外，在因外侧拍摄部(左)23a和外侧拍摄部(右)23b相对于游戏装置10的安装精度的误差，而致使外侧拍摄部(左)23a的拍摄方向和外侧拍摄部(右)23b的拍摄方向不平行的情况下，由此所计算出的外侧拍摄部(左)23a和外侧拍摄部(右)23b之间的距离(ew)会根据外侧拍摄部23与标记61之间的在拍摄方向上的距离而变化。因此，如后述的，当外侧拍摄部23与标记61之间的在拍摄方向的距离发生变化时，用此时的标记/拍摄装置变换矩阵来再次计算外侧拍摄部(左)23a和外侧拍摄部(右)23b之间的距离(后述的EyeWidth)。
此外，在本实施方式中，将ew作为V0的大小，也可以将ew作为V0的“连接左变换矩阵75L所示出的外侧拍摄部(左)23a的位置和右变换矩阵75R所示出的外侧拍摄部(右)23b的位置的方向”的分量。
由此计算出的ew尽管是“外侧拍摄部(左)23a和外侧拍摄部(右)23b之间在标记坐标系中的间隔”，但也将它用作左虚拟拍摄装置63L和右虚拟拍摄装置63R之间的间隔(后述的步骤S65或S68)。
此外，求ew的方法除上述方法以外还有其他方法。例如，也可以将(0，0，0)乘以左变换矩阵75L，来求得用外侧拍摄部(左)坐标系来表示的标记坐标系的原点的坐标V1(即，标记61相对于外侧拍摄部(左)23a的相对位置)，同时，将(0，0，0)乘以右变换矩阵75R，来求出用外侧拍摄部(右)坐标系所表示的标记坐标系的原点的坐标Vr(即，标记61相对于外侧拍摄部(右)23b的相对位置)，并通过计算由此所求得的坐标V1和坐标Vr之间的距离来求ew。
步骤S53中，CPU311判断LogIndex(参照图12)的值是否大于1(初始值)，大于1的情况下处理进入步骤S54，不大于1的情况下(即是1的情况)下处理进入步骤S54。LogIndex是用于识别后述的数组(LogWidth、LogDepth)的各要素的变量。
步骤S54中，CPU311将在步骤S52中求得的ew的值储存到数组LogWidth[LogIndex]，并将在步骤S52中求得的ed的值储存到数组LogDepth[LogIndex]，再将LogIndex的值增量。LogWidth是用于事先保存多个ew的值的数组变量。LogDepth是用于事先保存多个ed的值的数组变量。
步骤S55中，CPU311判定LogIndexd的值是否大于LogMax的值，大于的情况下处理进入步骤S56，不是的情况下(即，LogIndex的值为LogMax以下的情况)，结束虚拟拍摄装置间隔处理。
步骤S56中，CPU311计算LogWidth的各个要素的平均值，并将该平均值储存到EyeWidth。并且，计算LogDepth的各个要素的平均值，并将该平均值储存到EyeDepth。再将EyeMeasure的值设定为false。再将标记识别模式79设定为单图像识别模式。EyeDepth是表示，从左变换矩阵75L所示出的、表示外侧拍摄部(左)23a在标记坐标系中的位置的坐标(或，右变换矩阵75R所示出的、表示外侧拍摄部(右)23b在标记坐标系中的位置的坐标)，到标记坐标系的原点之间的进深距离(深度：在拍摄方向上的距离)的变量，并被用作后述图17的步骤S72中判断时的基准值。EyeDepth的初始值为0。步骤S56的处理结束时，虚拟拍摄装置间隔决定处理结束。
步骤S57中，CPU311判断：步骤S52中求得的ew的值和LogWidth[1]的值之差的绝对值是否小于LogWidth[1]的值的10％，且步骤S52中求得的ed的值与LogDepth[1]的值之差的绝对值是否小于LogDepth[1]的值的10％。然后，在步骤S57的判断结果是肯定的情况下处理进入步骤S54，在步骤S57的判断结果是否定的情况下处理进入步骤S58。
步骤S58中，CPU311将LogIndex的值恢复到1(初始值)后，结束虚拟拍摄装置间隔决定处理。
如上所述，在虚拟拍摄装置间隔决定处理中，根据基于左现实空间图像中所包含的标记61的位置及姿势而计算出的外侧拍摄部(左)23a的位置，和基于右现实空间图像中所包含的标记61的位置及姿势而计算出的外侧拍摄部(右)23b的位置，来计算ew和ed。由此所计算出的ew的值和ed的值被依次储存到LogWidth和LogDepth中。此时，在新计算的ew的值超过以LogWidth中最初所存储的ew的值(即，LogWidth[1]的值)为基准的规定范围(±10％)的情况下，或在新计算的ed的值超过以LogDepth中最初所存储的ed的值(即，LogWidth[1]的值)为基准的规定范围(±10％)的情况下，再次从头开始将ew的值和ed的值重新储存到LogWidth和LogDepth中。因此，只有在依次计算的ew的值和ed的值没有出现大的变化的情况(即，在一定期间内ew的值和ed的值在一定程度上稳定的情况)下，才将这些ew的值的平均值和这些ed的值的平均值储存到EyeWidth及EyeDepth。
并且，当用户使游戏装置10移动或转动时，外侧拍摄部23所拍摄的左现实空间图像和右现实空间图像容易模糊，标记61的识别精度明显降低，并且依次检测出的ew的值或ed的值容易发生大的变化。因此，应该避免基于在这样的情况下检测出的可靠性低的ew的值及ed的值，来决定EyeWidth的值及EyeDepth的值。于是，在本实施方式中，只有在依次计算的ew的值和ed的值没有出现大的变化的情况下，才基于这些值来决定EyeWidth的值及EyeDepth的值。并且，通过将多次计算的ew的值及ed的值的平均值用作EyeWidth的值及EyeDepth的值，能够提高EyeWidth的值及EyeDepth的值的精度。
(视点矩阵生成处理)
接着，参照图17的流程图来详细说明更新处理(图15)中的步骤S44的视点矩阵生成处理。
图17的步骤S60中，CPU311判断EyeWidth是否大于0，在大于0的情况下处理进入步骤S63，不是的情况(即，为0的情况)下处理进入步骤S61。
步骤S61中，CPU311判断显示模式是否是同步显示模式。是同步显示模式的情况下，结束视点矩阵生成处理，不是的情况(即，是非同步显示模式的情况)下，处理进入步骤S62。
步骤S62中，CPU311将ARActive的值设定为false。然后结束视点矩阵生成处理。
步骤S63中，CPU311参照左变换矩阵75L，来判断左现实空间图像的标记识别是否成功，在左现实空间图像的标记识别成功的情况下，处理进入步骤S64，不是的情况(即，左变换矩阵75L的值为Null值的情况)下，处理进入步骤S66。
步骤S64中，CPU311将左变换矩阵75L的值储存到左视点矩阵76L。其含义是：将根据左现实空间图像中所包含的标记61的位置及姿势而计算出的、标记坐标系中的外侧拍摄部(左)23a的位置及姿势，直接用作用于生成左眼用的虚拟空间图像的左虚拟拍摄装置63L的位置及姿势。
步骤S65中，CPU311将左视点矩阵76L的值与平行移动矩阵(-EyeWidth，0，0)相乘而得到的结果的值，储存到右视点矩阵76R。如图30所示，其含义是：将相对前述的步骤S64中所设定的虚拟空间的世界坐标系中的左虚拟拍摄装置63L的位置，在左虚拟拍摄装置坐标系的x轴的正向上仅偏离了EyeWidth的值的位置，直接用作用于生成右眼用的虚拟空间图像的右虚拟拍摄装置63R的位置。并且，右虚拟拍摄装置63R的姿势与左虚拟拍摄装置63L的姿势相同(即，左虚拟拍摄装置坐标系的x轴、y轴、z轴分别与右虚拟拍摄装置坐标系的x轴、y轴、z轴平行)。由此，使左虚拟拍摄装置63L的位置及姿势、与右虚拟拍摄装置63R的位置及姿势保持匹配性，从而能够在上部LCD22显示有正常的立体视觉的虚拟对象62。
步骤S66中，CPU311参照右变换矩阵75R，来判断右现实空间图像的标记识别是否成功，在右现实空间图像的标记识别成功的情况下，处理进入步骤S67，不是的情况(即，右变换矩阵75R的值为Null值的情况)下结束视点矩阵生成处理。
步骤S67中，CPU311将右变换矩阵75R的值储存到右视点矩阵76R。其含义是将根据右现实空间图像中所包含的标记61的位置及姿势而计算出的、标记坐标系中的外侧拍摄部(右)23b的位置及姿势，直接用作用于生成右眼用的虚拟空间图像的右虚拟拍摄装置63R的位置及姿势。
步骤S68中，CPU311将右视点矩阵76R的值与平行移动矩阵(EyeWidth，0，0)相乘而得到的结果的值，储存到左视点矩阵76L。如图31所示，其含义是：将相对前述的步骤S67中所设定的虚拟空间的世界坐标系中的右虚拟拍摄装置63R的位置，在右虚拟拍摄装置坐标系的x轴的负方向上仅偏离了EyeWidth的值的位置，直接用作用于生成左眼用的虚拟空间图像的左虚拟拍摄装置63L的位置。并且，左虚拟拍摄装置63L的姿势与右虚拟拍摄装置63R的姿势相同(即，左虚拟拍摄装置坐标系的x轴、y轴、z轴分别与右虚拟拍摄装置坐标系的x轴、y轴、z轴平行)。由此，使左虚拟拍摄装置63L的位置及姿势、与右虚拟拍摄装置63R的位置及姿势保持匹配性，从而能够在上部LCD22显示有正常的立体视觉的立体虚拟对象62。
这样，在本实施方式中，对一方的虚拟拍摄装置(例如，左虚拟拍摄装置63L)的位置及姿势，使用基于该一方的外侧拍摄部(例如，外侧拍摄部(左)23a)的拍摄图像而算出的“标记/拍摄装置变换矩阵”来进行设定(具体而言，就是直接使用)，而对于另一方的虚拟拍摄装置(例如，右虚拟拍摄装置63R)的位置及姿势，则不使用基于该另一方的外侧拍摄部(例如，外侧拍摄部(右)23b)的拍摄图像而算出的“标记/拍摄装置变换矩阵”来进行设定
在用立体摄像机来进行AR的立体显示的情况下，需要设定右用和作用2个虚拟拍摄装置，并且，“标记/拍摄装置变换矩阵”包括基于外侧拍摄部(左)23a的变换矩阵(左变换矩阵75L)和基于外侧拍摄部(右)23b的变换矩阵(右变换矩阵75R)。在本实施方式中，设定各个虚拟拍摄装置63L、63R时，不是使用各个变换矩阵75L、75R，而是设定1个变换矩阵(直接用变换矩阵75L、75R中的一方的变换矩阵，或者基于两方的变换矩阵75L、75R来生成另外的新的1个变换矩阵(作为平均位置、平均姿势等))，并用该1个变换矩阵来设定两方的虚拟拍摄装置63L、63R的位置及姿势。由此，能够解决AR识别中的精度问题。
步骤S69中，CPU311将ARActive的值设定为true。由此，开始或再次开始虚拟对象62在现实空间图像上的合成显示。
步骤S70中，CPU311判断EyeMeasure的值是否为true，是true的情况下结束视点矩阵生成处理，不是的情况(即，是false的情况)下处理进入步骤S71。
步骤S71中，CPU311基于在步骤S64或步骤S68所决定的左视点矩阵76L，来计算用左虚拟拍摄装置坐标系来表示的虚拟空间的原点的坐标V。具体地，如图32所示，通过将(0，0，0)乘以左视点矩阵76L，能够求得通过左虚拟拍摄装置坐标系来表示的虚拟空间的原点的坐标V。并且，这里将用左虚拟拍摄装置坐标系来表示的虚拟空间的原点的坐标，来作为V，但也可以换为：基于步骤S65或步骤S67所决定的右视点矩阵76R而计算的、用左虚拟拍摄装置坐标系来表示的虚拟空间的原点的坐标作为V。由此而求得的V与外侧拍摄部(左)坐标系中的标记61的位置实质上相同(其中，V的值以虚拟空间或标记坐标系中的长度单位来计算，与现实空间中的长度单位不一致)。
步骤S72中，CPU311判断V的z坐标值的绝对值(|V.z|)与EyeDepth的值之差的绝对值是否大于EyeDepth的值的20％，大于的情况下处理进入步骤S73，不是的情况下结束视点矩阵生成处理。|V.z|与拍摄方向上外侧拍摄部23到标记61的距离(深度)实质上相同。即，步骤S72中，以虚拟拍摄装置间隔决定处理(图16)中计算EyeWidth的值时为基准，判断外侧拍摄部23到标记61的进深距离(深度)是否超出±20％的范围而变化。
步骤S73中，CPU311将EyeMeasure的值设定为true，并将LogIndex的值恢复为1，再将标记识别模式79设定为双图像识别模式后，结束视点矩阵生成处理。其结果，基于虚拟拍摄装置间隔处理的EyeWidth的计算处理再次开始。
如上所述，在虚拟拍摄装置间隔决定处理中，以前次计算EyeWidth的值时为基准，当外侧拍摄部23到标记61的进深距离(深度)超出规定范围而发生变化时，再次计算EyeWidth。其理由是：因为外侧拍摄部(左)23a和外侧拍摄部(右)23b相对于拍摄装置10的安装精度误差，导致最佳的虚拟拍摄装置间隔(EyeWidth)根据外侧拍摄部23到标记61的进深距离(深度)而相应发生变化的缘故。例如，在外侧拍摄部(左)23a的拍摄方向和外侧拍摄部(右)23b的拍摄方向不平行的情况下，如图33所示，当从外侧拍摄部23到标记61的进深距离为D1时，若将在虚拟拍摄装置间隔决定处理中所计算的EyeWidth的值作为EyeWidth1，则在虚拟空间中，适当的是使左虚拟拍摄装置63L和右虚拟拍摄装置63R间隔EyeWidth1的距离而配置(由此，例如，配置在虚拟空间的原点的虚拟对象犹如实际存在于现实空间图像的标记61上一样，而得实现正常的立体显示)。并且，如图35所示，当外侧拍摄部23到标记61的进深距离变为小于D1的D2时，在虚拟拍摄装置间隔决定处理中所计算的EyeWidth的值则为小于EyeWidth1的EyeWidth2，在虚拟空间中，适当的则是使左虚拟拍摄装置63L和右虚拟拍摄装置63R如图36所示的那样间隔EyeWidth2的距离而配置。
(主现实空间图像设定处理)
接着，参照图18的流程图来详细说明更新处理(图15)中的步骤S45的主现实空间图像设定处理。
图18的步骤S80中，CPU311判断ARActive的值是否为true，为true的情况下处理进入步骤S81，不是的情况(即，ARActive的值为false的情况)下主现实空间图像设定处理结束。
步骤S81中，CPU311生成左投影矩阵77L和右投影矩阵77R。左投影矩阵77L是规定从左虚拟拍摄装置63L看到的虚拟空间的绘制范围的矩阵，在本实施方式中，如图37所示，生成的是与主处理的步骤S23中所决定的左现实空间图像的绘制范围相对应的左投影矩阵77L。右投影矩阵77R是规定从右虚拟拍摄装置63R看到的虚拟空间的绘制范围的矩阵，在本实施方式中，如图38所示，生成的是与主处理的步骤S27中所决定的右现实空间图像的绘制范围相对应的右投影矩阵77R。
具体地，左虚拟拍摄装置63L的投影矩阵被设定为定义具有下述视角的视景体积(view volum)的投影矩阵，该视角为：使外侧拍摄部(左)23a的水平方向的视角与该左虚拟拍摄装置的水平方向的视角之比，和左现实空间图像的横向的长度与该左现实空间图像的绘制范围的横向的长度之比相同的视角。
步骤S82中，CPU311判断主现实空间图像是否是左现实空间图像，在主现实空间图像是左现实空间图像的情况下，处理进入步骤S83，不是的情况(即，主现实空间图像是右现实空间图像的情况)下，处理进入步骤S86。
步骤S83中，CPU311通过将(0，0，0，1)与左视点矩阵76L和左投影矩阵77L相乘，来求矢量V。
步骤S84中，CPU311判断将矢量V的第1分量(x)除以第4份量(w)而得到的结果的值(V.x/V.w)是否大于0.5，大于0.5的情况下处理进入步骤S85，不是的情况下结束主现实空间图像设定处理。上述的V.x/V.w的值表示在左眼用的虚拟空间图像上，虚拟空间的世界坐标系的原点存在于图像的左右方向上的哪一位置(此外，“在左眼用的虚拟空间图像上，虚拟空间的世界坐标系的原点存在于图像的左右方向上的哪一位置”等同于“在外侧拍摄部(左)23a的拍摄图像上，标记坐标系的原点存在于图像的左右方向上的哪一位置”)。当虚拟空间的世界坐标系的原点位于左眼用的虚拟空间图像的中央时，V.x/V.w的值为0，并且，虚拟空间的世界坐标系的原点越接近左眼用的虚拟空间图象的左端，V.x/V.w的值就越接近于-1.0，虚拟空间的世界坐标系的原点越接近左眼用的虚拟空间图象的右端，V.x/V.w的值就越接近于+1.0。V.x/V.w的值大于0.5意味着虚拟空间的世界坐标系的原点位于左眼用的虚拟空间图象的右端区域(图39的斜线区域)。换句话说，其意味着标记61位于外侧拍摄部(左)23a所拍摄的左现实空间图像的右端区域。
步骤S85中，CPU311将主现实空间图像从左现实空间图像变更为右现实空间图像。即，在左虚拟拍摄装置63L所拍摄的虚拟空间图像上，虚拟空间的原点存在于从图像的中心只向右相隔规定距离(或仅为图像的左右宽度的规定比例)的位置的右侧时，将主现实空间图像变更为右现实空间图像。或者，在外侧拍摄部(左)23a所拍摄的拍摄图像上，标记坐标系的原点存在于从图像的中心只向右相距规定距离(或仅为图像的左右宽度的规定比例)的位置的右侧时，将主现实空间图像变更为右现实空间图像。由此，例如即使在左现实空间图像中，标记61的位置逐渐地向右移动，直至标记61最终从左现实空间图像中消失的情况下，由于在标记61从左现实空间图像消失之前，主现实空间图像就被变更到右现实空间图像，因而能够在单图像识别模式下继续识别标记61。当步骤S85的处理结束时，结束主现实空间图像设定处理。
步骤S86中，CPU311通过将(0，0，0，1)与右视点矩阵76R和右投影矩阵77R相乘，来求矢量V。
步骤S87中，CPU311判断将矢量V的第1分量(x)除以第4分量(w)而得到的结果的值(V.x/V.w)是否小于-0.5，小于-0.5的情况下处理进入步骤S87，不是的情况下结束主现实空间图像设定处理。上述的V.x/V.w的值表示在右眼用的虚拟空间图像上，虚拟空间的世界坐标系的原点存在于图像的左右方向上的哪一位置。当虚拟空间的世界坐标系的原点位于右眼用的虚拟空间图像的中央时，V.x/V.w的值为0，并且，虚拟空间的世界坐标系的原点越接近右眼用的虚拟空间图象的左端，V.x/V.w的值越接近于-1.0，虚拟空间的世界坐标系的原点越接近右眼用的虚拟空间图象的右端，V.x/V.w的值越接近于+1.0。V.x/V.w的值小于-0.5意味着虚拟空间的世界坐标系的原点位于右眼用的虚拟空间图象的左端区域(图40的斜线区域)。换句话说，其意味着标记61位于外侧拍摄部(右)23b所拍摄的右现实空间图像的左端区域。
步骤S88中，CPU311将主现实空间图像从右现实空间图像变更为左现实空间图像。由此，例如即使标记61的位置在右现实空间图像中逐渐地向左移动，直至标记61最终从右现实空间图像中消失的情况下，由于在标记61从右现实空间图像中消失之前，主现实空间图像就被变更到左现实空间图像，因而能够在单图像识别模式下继续识别标记61。当步骤S88的处理结束时，结束主现实空间图像设定处理。
(显示模式切换处理)
接着，参照图19的流程图来详细说明更新处理(图15)中的步骤S46的显示模式切换处理。
图19的步骤S90中，CPU311判断显示模式是否是同步显示模式，是同步显示模式的情况下处理进入步骤S91，不是的情况(即，是非同步显示模式的情况)下，处理进入步骤S96。
步骤S91中，CPU311判断EyeWidth是否大于0，并且左现实空间图像及右现实空间图像中任意一方的现实空间图像的标记识别是否成功。在判断结果是肯定的情况下处理进入步骤S92，判断结果是否定的情况(即，EyeWidth为0，或者，左现实空间图像及右现实空间图像中两方的现实空间图像的标记识别失败的情况)下，处理进入步骤S93。
步骤S92中，CPU311将SyncCount(参照图12)的值设定为20。SyncCount是用于决定将显示模式从同步显示模式切换到非同步显示模式的定时的变量。当步骤S92的处理结束时，结束显示模式切换处理。
步骤S93中，CPU311将SyncCount的值减量。
步骤S94中，CPU311判断SyncCount的值是否大于0，大于0的情况下结束显示模式切换处理，不是的情况(即，为0的情况)下处理进入步骤S95。
步骤S95中，CPU311将LogIndex的值设定为1，并将EyeWidth及EyeDepth的值设定为0，再将显示模式78从同步显示模式变更到非同步显示模式，然后将标记识别模式79设定为双图像识别模式。当步骤S95的处理结束时，结束显示模式切换处理。
步骤S96中，CPU311判断EyeWidth是否大于0，并且左现实空间图像及右现实空间图像中任意一方的现实空间图像的标记识别是否成功。在判断结果是肯定的情况下处理进入步骤S97，在判断结果是否定的情况(即，EyeWidth为0，或者，左现实空间图像及右现实空间图像两方的现实空间图像的标记识别失败的情况)下，结束显示模式切换处理。
步骤S97中，CPU311将SyncCount(参照图12)的值设定为20，并将显示模式从非同步显示模式变更到同步显示模式。当步骤S97的处理结束时，结束显示模式切换处理。
如上所述，通过显示模式切换处理，显示模式能够在同步显示模式与非同步显示模式之间适当地进行切换。更具体地，在刚开始执行图像显示程序后，显示模式为非同步显示模式，在上部LCD22上一直显示最新的现实空间图像。之后，在识别出标记61，成为能够将虚拟对象62合成显示在上部LCD22上所显示的现实空间图像上的状态的时点，显示模式从非同步显示模式变化到同步显示模式。在同步显示模式下，为了将虚拟对象62显示在现实空间图像中的正确位置，而将虚拟对象62被合成在最后识别出标记61的现实空间图像(并不仅限于最新的现实空间图像)上的合成图像，显示在上部LCD22上。由此，能够防止合成显示在现实空间图像上的虚拟对象62的位置发生偏移。之后，在不能够识别出标记61的状态持续了一定时间的时点，显示模式从同步显示模式变化到非同步显示模式，从而上部LCD22上总是显示最新的现实空间图像。由此，能够防止不能识别出标记61的状态持续时，上部LCD22持续显示旧图像的情况。
(本实施方式的效果)
如上所述，本发明的实施方式根据基于左现实空间图像及右现实空间图像中的任一方的标记识别结果而计算的、一方的外侧拍摄部(外侧拍摄部(左)23a或外侧拍摄部(右)23b)的标记坐标系中的位置及姿势，来决定该一方的虚拟拍摄装置的位置及姿势，并决定另一方的拍摄装置的位置及姿势，以使左虚拟拍摄装置63L的位置及姿势与右虚拟拍摄装置63R的位置及姿势成为理想的关系。因此，在能够进行立体显示的显示装置中，能够显示有正常的立体视觉的虚拟对象62。
此外，根据基于对左现实空间图像的标记识别结果而计算出的、外侧拍摄部(左)23a的位置，以及基于对左现实空间图像的标记识别结果而计算出的、外侧拍摄部(右)23b的位置，来算出两个外侧拍摄部的间隔，并基于该结果来决定虚拟拍摄装置间隔(EyeWidth)，进一步通过使一方的虚拟拍摄装置的位置沿与该虚拟拍摄装置的坐标系的拍摄方向正交的方向，仅移动该间隔，来决定另一方的虚拟拍摄装置的位置。由此，能够将两虚拟拍摄装置设定成在与拍摄方向正交的方向上并排。此外，即使在外侧拍摄部(左)23a与外侧拍摄部(右)23b之间的间隔不是已知的情况下，或者外侧拍摄部(左)23a与外侧拍摄部(右)23b相对于游戏装置10的安装精度不佳的情况下，也能够将左虚拟拍摄装置63L和右虚拟拍摄装置63R以理想的间隔来配置。
此外，在经虚拟拍摄装置间隔决定处理决定了虚拟拍摄装置间隔(EyeWidth)后，由于只对主现实空间图像进行标记识别处理便可，因此与总是要对左现实空间图像和右现实空间图像两方进行标记识别处理的情况相比，能够减轻处理负担。
此外，在外侧拍摄部(左)23a与外侧拍摄部(右)23b之间的间隔已知的情况下，基于虚拟拍摄装置间隔决定处理的结果，来判明与现实空间中的外侧拍摄部(左)23a与外侧拍摄部(右)23b之间的间隔(例如，3.5cm)相对应的、标记坐标系中的外侧拍摄部(左)23a与外侧拍摄部(右)23b之间的间隔(EyeWidth)。因此，在虚拟空间中，能够根据现实空间的规模来进行处理，例如，在现实空间图像上合成显示身高为30cm的物体(虚拟对象)，或使现实空间图像上合成显示的物体(虚拟对象)以每秒10cm的速度移动。
(变形例)
此外，在上述实施方式中，识别含在现实空间图像中的标记61的位置及姿势，并根据该识别结果将虚拟对象62合成在现实空间图像上，但在其他实施方式中，不仅限于识别标记61，也可以识别任意的识别对象的位置及/或姿势，并根据该识别结果将虚拟对象62合成在现实空间图像上。识别对象例如是人的脸。
此外，在上述实施方式中，基于外侧拍摄部23实时拍摄的现实空间图像来在上部LCD22上显示立体图像，但在其他实施方式中，可以基于外侧拍摄部23或外部的立体摄像机等所拍摄的过去的动态图像数据，来在上部LCD22上显示立体图像。
此外，在上述实施方式中，外侧拍摄部23事先搭载于游戏装置10中，但在其他实施方式中，也可以利用可从游戏装置10拆卸的外配型拍摄装置。
此外，在上述实施方式中，上部LCD22事先搭载于游戏装置10，但在其他实施方式中，也可以利用可从游戏装置10拆卸的外配型立体视频显示器。
此外，在上述实施方式中，将虚拟对象62配置在标记坐标系的原点位置，但在其他实施方式中，也可以将虚拟对象62配置在远离标记坐标系原点的位置。
此外，在上述实施方式中，在虚拟空间只配置1个虚拟对象，但在其他实施方式中，也可以在虚拟空间中配置多个虚拟对象。
此外，在上述实施方式中，在虚拟拍摄装置间隔决定处理中，在计算了标记坐标系中的外侧拍摄部(左)23a与外侧拍摄部(右)23b之间的间隔(EyeWidth)后，基于该间隔，根据基于标记识别结果而计算出的、左虚拟拍摄装置63L及右虚拟拍摄装置63R中任意一方的虚拟拍摄装置的位置及姿势，来决定另一方的虚拟拍摄装置的位置及姿势。但在其他实施方式中，也可以根据基于对左现实空间图像的标记识别结果而计算出的、外侧拍摄部(左)23a的位置及姿势，以及基于对右现实空间图像的标记识别结果而计算出的、外侧拍摄部(右)23b的位置及姿势，来计算外侧拍摄部23的位置及姿势(例如，外侧拍摄部(左)23a的位置和外侧拍摄部(右)23b的位置的平均位置、外侧拍摄部(左)23a的姿势和外侧拍摄部(右)23b的姿势的平均姿势)，并根据此来决定左虚拟拍摄装置63L及右虚拟拍摄装置63R的位置及/或姿势。例如，可以将左虚拟拍摄装置63L及右虚拟拍摄装置63R的姿势决定为：左虚拟拍摄装置63L及右虚拟拍摄装置63R的姿势都正好是，基于对左现实空间图像的标记识别结果而计算出的、外侧拍摄部(左)23a的姿势，与基于对右现实空间图像的标记识别结果而计算出的、外侧拍摄部(右)23b的姿势之间的中间姿势。此外例如，在虚拟拍摄装置间隔决定处理中决定了外侧拍摄部(左)23a与外侧拍摄部(右)23b之间的间隔(EyeWidth)后，可以通过从与外侧拍摄部(左)23a的位置与外侧拍摄部(右)23b的位置之间的平均位置相对应的虚拟空间中的位置，相互反向地在与虚拟拍摄装置的拍摄方向正交的方向上仅偏离EyeWidth/2，来决定左虚拟拍摄装置63L及右虚拟拍摄装置63R的位置，其中外侧拍摄部(左)23a的位置基于对左现实空间图像的标记识别结果而计算出，外侧拍摄部(右)23b的位置基于对右现实空间图像的标记识别结果而计算出。
此外，在上述实施方式中，在经虚拟拍摄装置间隔决定处理决定了虚拟拍摄装置间隔(EyeWidth)后，只对主现实空间图像进行标记识别处理，但在其他实施方式中，也可以总是对左现实空间图像和右现实空间图像两方进行标记识别处理。
此外，在上述实施方式中，上部LCD22是视觉屏障式立体显示装置，但在其他实施方式中，上部LCD22也可以是柱状透镜式等其他任何方式的立体显示装置。例如，利用柱状透镜式的立体显示装置的情况下，通过CPU311或其他处理器将左眼用图像和右眼用图像合成后，将该合成图像提供给柱状透镜式的立体显示装置。
此外，在上述实施方式中，用游戏装置10来将虚拟对象合成显示在现实空间图像上，但在其他实施方式中，也可以用任何信息处理装置或信息处理系统(例如，PDA(Personal Digital Assistant)、移动电话、个人电脑、照相机等)，来将虚拟对象合成显示在现实空间图像上。
此外，在上述实施方式中，只通过一台信息处理装置(游戏装置10)来执行图像显示处理，但在其他实施方式中，在具有相互能够通信的多个信息处理装置的图像显示系统中，可以由该多个信息处理装置来分担执行图像显示处理。
以上对本发明进行了详细说明，但上述说明只不过例示出了本发明的各个方面，并没有限定其范围。在不超出本发明范围的情况下，当然也可以进行各种改良及变形。

Claims (19)

1.一种图像显示系统，利用来自右眼用现实拍摄装置拍摄部以及左眼用现实拍摄装置拍摄部的输出，在能够进行立体显示的立体显示装置的屏幕上，对合成有三维虚拟对象的现实空间图像进行立体显示，其特征在于，包括：
规定的拍摄对象；
位置姿势计算单元，通过分别对从所述2个现实拍摄装置拍摄部所分别输出的2个现实空间图像数据，识别该各个现实空间图像数据中的所述规定的拍摄对象，来分别计算表示所述2个现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置以及姿势的位置姿势信息；
位置姿势统合单元，通过将所述位置姿势计算单元所算出的2个位置姿势信息统合，来计算单一的位置姿势信息；
虚拟拍摄装置设定单元，根据所述位置姿势统合单元所统合的所述单一的位置姿势信息，来决定右虚拟拍摄装置和左虚拟拍摄装置两者的位置及姿势，其中所述右虚拟拍摄装置用于生成规定的虚拟空间中的右眼用图象，所述左虚拟拍摄装置用于生成规定的虚拟空间中的左眼用图象；
右虚拟空间图像生成单元，生成表示从所述右虚拟拍摄装置看到的所述虚拟空间的右虚拟空间图像；
左虚拟空间图像生成单元，生成表示从所述左虚拟拍摄装置看到的所述虚拟空间的左虚拟空间图像；以及
显示控制单元，将所述右虚拟空间图像合成在从所述右眼用现实拍摄装置输出的现实空间图像上，并且，将所述左虚拟空间图像合成在从所述左眼用现实拍摄装置输出的现实空间图像上，并向所述立体显示装置输出用于进行立体显示的图像。
2.根据权利要求1所述的图像显示系统，其特征在于：
所述虚拟拍摄装置设定单元决定所述右虚拟拍摄装置和所述左虚拟拍摄装置的位置及姿势，使所述右虚拟拍摄装置和所述左虚拟拍摄装置之间的相对姿势关系、与所述右眼用现实拍摄装置拍摄部和所述左眼用现实拍摄装置拍摄部之间在设计上的相对姿势关系相同。
3.根据权利要求1所述的图像显示系统，其特征在于：
所述位置姿势统合单元用所述位置姿势计算单元所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息、以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息，来计算将上述各姿势信息统合后的单一的姿势，并且，
所述虚拟拍摄装置设定单元将所述位置姿势统合单元所统合的姿势，用作所述右虚拟拍摄装置及左虚拟拍摄装置的姿势。
4.根据权利要求1所述的图像显示系统，其特征在于：
所述位置姿势统合单元用所述位置姿势计算单元所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，来计算将上述各位置信息统合后的单一的位置，并且，
所述虚拟拍摄装置设定单元将所述右虚拟拍摄装置及左虚拟拍摄装置的位置设定在，相对所述位置姿势统合单元所统合的位置对称的位置。
5.根据权利要求1所述的图像显示系统，其特征在于：
所述位置姿势统合单元用所述位置姿势计算单元所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息，来计算将上述各姿势信息平均后的姿势，并且，
所述虚拟拍摄装置设定单元将由所述位置姿势统合单元平均后的姿势，用作所述右虚拟拍摄装置及左虚拟拍摄装置的姿势。
6.根据权利要求1所述的图像显示系统，其特征在于：
所述位置姿势统合单元用所述位置姿势计算单元所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，来计算上述各位置的中点，并且，
所述虚拟拍摄装置设定单元将所述右虚拟拍摄装置及左虚拟拍摄装置的位置设定在，相对所述位置姿势统合单元所算出的所述中点对称的位置。
7.根据权利要求4或6所述的图像显示系统，其特征在于，还具备：
虚拟拍摄装置间距决定单元，决定所述右虚拟拍摄装置与所述左虚拟拍摄装置之间的距离，
所述虚拟拍摄装置设定单元将所述右虚拟拍摄装置及左虚拟拍摄装置的位置设定在，分别与所述位置姿势统合单元所统合的位置仅相距所述虚拟拍摄装置间距决定单元所决定的所述距离，且相对所述统合的位置对称的位置。
8.根据权利要求4所述的图像显示系统，其特征在于：
所述虚拟拍摄装置间距决定单元基于所述右眼用现实拍摄装置拍摄部所输出的现实空间图像数据、与所述左眼用现实拍摄装置拍摄部所输出的现实空间图像数据之间的视差，来决定所述右虚拟拍摄装置与所述左虚拟拍摄装置之间的距离。
9.根据权利要求4或8所述的图像显示系统，其特征在于：
所述虚拟拍摄装置间距决定单元用所述位置姿势计算单元所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置及姿势信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置及姿势信息，来计算所述右虚拟拍摄装置与所述左虚拟拍摄装置之间的距离。
10.一种图像显示装置，利用来自右眼用现实拍摄装置拍摄部以及左眼用现实拍摄装置拍摄部的输出，在能够进行立体显示的立体显示装置的屏幕上，对合成有三维虚拟对象的现实空间图像进行立体显示，其特征在于，包括：
位置姿势计算单元，通过分别对从所述2个现实拍摄装置拍摄部所分别输出的2个现实空间图像数据，识别该各个现实空间图像数据中的规定的拍摄对象，来分别计算表示所述2个现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置及姿势的位置姿势信息；
位置姿势统合单元，通过将所述位置姿势计算单元所算出的2个位置姿势信息统合，来计算单一的位置姿势信息；
虚拟拍摄装置设定单元，根据所述位置姿势统合单元所统合的所述单一的位置姿势信息，来决定右虚拟拍摄装置和左虚拟拍摄装置两者的位置及姿势，其中，所述右虚拟拍摄装置用于生成规定的虚拟空间中的右眼用图象，所述左虚拟拍摄装置用于生成规定的虚拟空间中的左眼用图象；
右虚拟空间图像生成单元，生成表示从所述右虚拟拍摄装置看到的所述虚拟空间的右虚拟空间图像；
左虚拟空间图像生成单元，生成表示从所述左虚拟拍摄装置看到的所述虚拟空间的左虚拟空间图像；以及
显示控制单元，将所述右虚拟空间图像合成在从所述右眼用现实拍摄装置拍摄部输出的现实空间图像上，并且，将所述左虚拟空间图像合成在从所述左眼用现实拍摄装置拍摄部输出的现实空间图像上，并向所述立体显示装置输出用于进行立体显示的图像。
11.一种图像显示方法，利用来自右眼用现实拍摄装置拍摄部及左眼用现实拍摄装置拍摄部的输出，在能够进行立体显示的立体显示装置的屏幕上，对合成有三维虚拟对象的现实空间图像进行立体显示，其特征在于，包括下述步骤：
位置姿势计算步骤，通过分别对所述2个现实拍摄装置拍摄部所分别输出的2个现实空间图像数据，识别该各个现实空间图像数据中的规定的拍摄对象，来分别计算表示所述2个现实拍摄装置拍摄部与该拍摄对象之间的相对位置及姿势的位置姿势信息；
位置姿势统合步骤，通过将所述位置姿势计算步骤所算出的2个位置姿势信息统合，来计算单一的位置姿势信息；
虚拟拍摄装置设定步骤，根据所述位置姿势统合步骤所统合的所述单一的位置姿势信息，来决定右虚拟拍摄装置和左虚拟拍摄装置两者的位置及姿势，其中，所述右虚拟拍摄装置用于生成规定的虚拟空间中的右眼用图象，所述左虚拟拍摄装置用于生成规定的虚拟空间中的左眼用图象；
右虚拟空间图像生成步骤，生成表示从所述右虚拟拍摄装置看到的所述虚拟空间的右虚拟空间图像；
左虚拟空间图像生成步骤，生成表示从所述左虚拟拍摄装置看到的所述虚拟空间的左虚拟空间图像；以及
显示控制步骤，将所述右虚拟空间图像合成在从所述右眼用现实拍摄装置拍摄部输出的现实空间图像上，并且，将所述左虚拟空间图像合成在从所述左眼用现实拍摄装置拍摄部输出的现实空间图像上，并向所述立体显示装置输出用于进行立体显示的图像。
12.根据权利要求11所述的图像显示方法，其特征在于：
所述虚拟拍摄装置设定步骤中，决定所述右虚拟拍摄装置和所述左虚拟拍摄装置的位置及姿势，使所述右虚拟拍摄装置与所述左虚拟拍摄装置之间的相对姿势关系，与所述右眼用现实拍摄装置拍摄部与所述左眼用现实拍摄装置拍摄部之间在设计上的相对姿势关系相同。
13.根据权利要求11所述的图像显示方法，其特征在于：
所述位置姿势统合步骤中，用所述位置姿势计算步骤中所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息，来计算将上述各姿势信息统合后的单一的姿势，并且，
所述虚拟拍摄装置设定步骤中，将所述位置姿势统合步骤所统合的姿势，用作所述右虚拟拍摄装置及左虚拟拍摄装置的姿势。
14.根据权利要求11所述的图像显示方法，其特征在于：
所述位置姿势统合步骤中，用所述位置姿势计算步骤所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，来计算将上述各位置信息统合后的单一的位置，并且，
所述虚拟拍摄装置设定步骤中，将所述右虚拟拍摄装置及左虚拟拍摄装置的位置设定在，相对所述位置姿势统合步骤中所统合的位置对称的位置。
15.根据权利要求11所述的图像显示方法，其特征在于：
所述位置姿势统合步骤中，用所述位置姿势计算步骤中所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对姿势信息，来计算将上述各姿势信息平均后的姿势，并且，
所述虚拟拍摄装置设定步骤中，将在所述位置姿势统合步骤中平均后的姿势，用作所述右虚拟拍摄装置及左虚拟拍摄装置的姿势。
16.根据权利要求11所述的图像显示方法，其特征在于：
所述位置姿势统合步骤中，用所述位置姿势计算步骤所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置信息，来计算上述各位置的中点，并且，
所述虚拟拍摄装置设定步骤中，将所述右虚拟拍摄装置及左虚拟拍摄装置的位置设定在，相对所述位置姿势统合步骤中所算出的所述中点对称的位置。
17.根据权利要求14或16所述的图像显示方法，其特征在于，还包括：
虚拟拍摄装置间距决定步骤，决定所述右虚拟拍摄装置与所述左虚拟拍摄装置之间的距离，
所述虚拟拍摄装置设定步骤中，将所述右虚拟拍摄装置及左虚拟拍摄装置的位置设定在，分别与所述位置姿势统合步骤中所统合的位置仅相距所述虚拟拍摄装置间距决定步骤中所决定的所述距离，且相对所述统合的位置对称的位置。
18.根据权利要求14所述的图像显示方法，其特征在于：
所述虚拟拍摄装置间距决定步骤中，基于所述右眼用现实拍摄装置拍摄部所输出的现实空间图像数据、与所述左眼用现实拍摄装置拍摄部所输出的现实空间图像数据之间的视差，来决定所述右虚拟拍摄装置与所述左虚拟拍摄装置之间的距离。
19.根据权利要求14或18所述的图像显示方法，其特征在于：
所述虚拟拍摄装置间距决定步骤中，用所述位置姿势计算步骤所算出的、右眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置及姿势信息，以及左眼用现实拍摄装置拍摄部与所述规定的拍摄对象之间的相对位置及姿势信息，来计算所述右虚拟拍摄装置与所述左虚拟拍摄装置之间的距离。
CN201110159668.7A 2010-06-11 2011-06-08 图像显示系统、装置以及方法 Active CN102281455B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2010134575 2010-06-11
JP2010-134575 2010-06-11
JP2010134545 2010-06-11
JP2010-134545 2010-06-11
JP2010135507 2010-06-14
JP2010-135507 2010-06-14

Publications (2)

Publication Number Publication Date
CN102281455A true CN102281455A (zh) 2011-12-14
CN102281455B CN102281455B (zh) 2015-12-09

Family

ID=44358250

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201110159170.0A Active CN102274633B (zh) 2010-06-11 2011-06-08 图像显示系统、装置以及方法
CN201110159668.7A Active CN102281455B (zh) 2010-06-11 2011-06-08 图像显示系统、装置以及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201110159170.0A Active CN102274633B (zh) 2010-06-11 2011-06-08 图像显示系统、装置以及方法

Country Status (3)

Country Link
US (3) US10015473B2 (zh)
EP (3) EP2395769B1 (zh)
CN (2) CN102274633B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104813141A (zh) * 2012-11-21 2015-07-29 三菱电机株式会社 图像生成装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5800501B2 (ja) 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
JP6065370B2 (ja) * 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP2814000B1 (en) * 2012-02-10 2019-07-03 Sony Corporation Image processing apparatus, image processing method, and program
US20130215109A1 (en) * 2012-02-22 2013-08-22 Silka Miesnieks Designating Real World Locations for Virtual World Control
JP5950701B2 (ja) * 2012-06-11 2016-07-13 任天堂株式会社 画像表示システム、パズルゲームシステム、画像表示方法、パズルゲーム方法、画像表示装置、パズルゲーム装置、画像表示プログラム、および、パズルゲームプログラム
GB2510811A (en) * 2012-12-18 2014-08-20 Optricks Media Ltd Augmented reality systems
CA2906207C (en) * 2013-05-30 2019-09-03 Charles Anthony Smith Hud object design and display method
US9407868B2 (en) * 2013-06-17 2016-08-02 Reald Inc. Controlling light sources of a directional backlight
JP6171671B2 (ja) * 2013-07-24 2017-08-02 富士通株式会社 情報処理装置、位置指定方法および位置指定プログラム
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10146331B2 (en) * 2014-11-28 2018-12-04 Ricoh Company, Ltd. Information processing system for transforming coordinates of a position designated by a pointer in a virtual image to world coordinates, information processing apparatus, and method of transforming coordinates
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
KR20190025534A (ko) 2016-07-15 2019-03-11 게이트박스 가부시키가이샤 입체 영상 표시장치
JP6917820B2 (ja) 2016-08-05 2021-08-11 株式会社半導体エネルギー研究所 データ処理システム
JP2018049267A (ja) 2016-09-16 2018-03-29 株式会社半導体エネルギー研究所 表示システム、電子機器および表示方法
FR3058549B1 (fr) * 2016-11-04 2019-01-25 Stereolabs Procede d'affichage d'une image de realite mixte
US10424121B1 (en) * 2016-11-06 2019-09-24 Oded Melinek Generated offering exposure
CN110119195A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 视觉交互装置及标记物
KR102530278B1 (ko) * 2018-10-18 2023-05-10 삼성디스플레이 주식회사 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법
US10997630B2 (en) * 2018-12-20 2021-05-04 Rovi Guides, Inc. Systems and methods for inserting contextual advertisements into a virtual environment
KR102198851B1 (ko) 2019-11-12 2021-01-05 네이버랩스 주식회사 물체의 3차원 모델 데이터 생성 방법
US11417020B2 (en) * 2020-04-07 2022-08-16 Zebra Technologies Corporation Detection of calibration errors
JP7257370B2 (ja) * 2020-11-18 2023-04-13 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845064A (zh) * 2005-04-08 2006-10-11 佳能株式会社 信息处理方法和设备
EP1720131A1 (en) * 2005-05-03 2006-11-08 Seac02 S.r.l. An augmented reality system with real marker object identification
US7321682B2 (en) * 2002-11-12 2008-01-22 Namco Bandai Games, Inc. Image generation system, image generation method, program, and information storage medium
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
WO2009127701A1 (en) * 2008-04-16 2009-10-22 Virtual Proteins B.V. Interactive virtual reality image generating system
EP2157545A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method

Family Cites Families (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01160365A (ja) 1987-12-16 1989-06-23 Hitachi Ltd 電力変換装置
US5184830A (en) 1989-01-10 1993-02-09 Nintendo Company Limited Compact hand-held video game system
JP2627208B2 (ja) 1990-06-14 1997-07-02 株式会社セガ・エンタープライゼス ゲーム装置およびゲーム装置用テレビジョンチューナカートリッジ
JP2758274B2 (ja) 1991-02-15 1998-05-28 株式会社クボタ エンジン潤滑油の圧力異常検出装置
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
JPH06339155A (ja) 1993-05-28 1994-12-06 Sharp Corp ３次元画像撮影システム
KR0180026B1 (ko) * 1994-05-13 1999-05-01 마츠모도 세이야 입체표시방법 및 장치
KR100414629B1 (ko) 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
US6057909A (en) 1995-06-22 2000-05-02 3Dv Systems Ltd. Optical ranging camera
US6005607A (en) 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US5964830A (en) 1995-08-22 1999-10-12 Durrett; Charles M. User portal device for the world wide web to communicate with a website server
WO1997015150A1 (fr) 1995-10-19 1997-04-24 Sony Corporation Procede et dispositif de formation d'images en trois dimensions
DE69725270D1 (de) 1996-07-11 2003-11-06 Sega Enterprises Kk Spieleingabevorrichtung und Spieleingabeverfahren mit Spracherkennung
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
US20020120925A1 (en) 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
JP3962115B2 (ja) * 1996-11-08 2007-08-22 オリンパス株式会社 映像観察装置
US6342900B1 (en) 1996-12-06 2002-01-29 Nikon Corporation Information processing apparatus
US6042478A (en) 1997-02-10 2000-03-28 Tiger Electronics, Ltd. Hand held video game
JP3771989B2 (ja) 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
US6057833A (en) 1997-04-07 2000-05-02 Shoreline Studios Method and apparatus for providing real time enhancements and animations over a video image
US6252624B1 (en) 1997-07-18 2001-06-26 Idemitsu Kosan Co., Ltd. Three dimensional display
US20020113865A1 (en) 1997-09-02 2002-08-22 Kotaro Yano Image processing method and apparatus
US8202094B2 (en) 1998-02-18 2012-06-19 Radmila Solutions, L.L.C. System and method for training users with audible answers to spoken questions
CN1244762A (zh) * 1998-08-10 2000-02-16 袁灿伦 实现立体视频图象的方法及其装置
JP2000069404A (ja) 1998-08-25 2000-03-03 Konami Co Ltd 画像プリント作成装置
EP0984385B1 (en) 1998-08-31 2013-02-20 Sony Corporation Two-dimensional code recognition processing
JP3786167B2 (ja) 1998-08-31 2006-06-14 ソニー株式会社 ２次元コード認識処理方法、２次元コード認識処理装置、および２次元コード認識処理プログラム格納媒体
US6504710B2 (en) * 1998-11-27 2003-01-07 Xplore Technologies Corp. Method of interconnecting of a hand-held auxiliary unit, a portable computer and a peripheral device
US6743104B1 (en) 1999-11-18 2004-06-01 Nintendo Co., Ltd. Portable game machine
JP2001165144A (ja) 1999-12-07 2001-06-19 Fujitsu Ltd 折りたたみ型携帯電話機
JP3392801B2 (ja) 2000-03-03 2003-03-31 三洋電機株式会社 折り畳み式携帯電話機
KR100419927B1 (ko) 2000-03-03 2004-02-25 산요덴키가부시키가이샤 폴더형 휴대전화기
JP2001251399A (ja) 2000-03-03 2001-09-14 Sanyo Electric Co Ltd 折り畳み式携帯電話機
JP3459606B2 (ja) 2000-03-03 2003-10-20 三洋電機株式会社 折り畳み式携帯電話機
US6474819B2 (en) 2000-03-21 2002-11-05 Texas Instruments Incorporated Combination overhead projector and electronic display device
US6810463B2 (en) 2000-05-24 2004-10-26 Nintendo Co., Ltd. Gaming machine that is usable with different game cartridge types
US20010050756A1 (en) * 2000-06-07 2001-12-13 Lenny Lipton Software generated color organ for stereoscopic and planar applications
US7134960B1 (en) 2000-08-23 2006-11-14 Nintendo Co., Ltd. External interfaces for a 3D graphics system
JP3625184B2 (ja) 2000-09-25 2005-03-02 コナミ株式会社 ゲーム用３次元画像処理方法、装置、ゲーム用３次元画像処理プログラムを記録した可読記録媒体及びビデオゲーム装置
JP2002159019A (ja) 2000-11-16 2002-05-31 Canon Inc 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
US6820056B1 (en) 2000-11-21 2004-11-16 International Business Machines Corporation Recognizing non-verbal sound commands in an interactive computer controlled speech word recognition display system
JP2002160365A (ja) 2000-11-27 2002-06-04 Seiko Instruments Inc ヘッドチップ及びその製造方法
JP3398796B2 (ja) 2001-01-31 2003-04-21 飛島建設株式会社 複合現実感を利用した３次元測量支援用画像システム
US6997387B1 (en) * 2001-03-28 2006-02-14 The Code Corporation Apparatus and method for calibration of projected target point within an image
US7371163B1 (en) 2001-05-10 2008-05-13 Best Robert M 3D portable game system
US20040239763A1 (en) 2001-06-28 2004-12-02 Amir Notea Method and apparatus for control and processing video images
US20040077404A1 (en) 2002-10-17 2004-04-22 Schlottmann Gregory A. Transparent objects on a gaming machine
US7901289B2 (en) 2001-08-09 2011-03-08 Igt Transparent objects on a gaming machine
US20030062675A1 (en) 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
JP3584230B2 (ja) 2001-09-28 2004-11-04 キヤノン株式会社 映像体験システム、情報処理方法およびプログラム
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2004048644A (ja) * 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
JP2004007214A (ja) 2002-05-31 2004-01-08 Canon Inc 撮像装置
EP1531606A1 (en) 2002-06-07 2005-05-18 Matsushita Electric Industrial Co., Ltd. Collapsible mobile telephone
WO2004049734A1 (ja) * 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
GB2400513B (en) * 2003-03-14 2005-10-05 British Broadcasting Corp Video processing
JP2004310686A (ja) 2003-04-10 2004-11-04 Canon Inc 画像処理方法及び装置
JP4378118B2 (ja) 2003-06-27 2009-12-02 学校法人早稲田大学 立体映像呈示装置
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
GB2407635B (en) * 2003-10-31 2006-07-12 Hewlett Packard Development Co Improvements in and relating to camera control
JP4338500B2 (ja) 2003-11-14 2009-10-07 富士フイルム株式会社 撮像装置
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
JP2005165776A (ja) 2003-12-03 2005-06-23 Canon Inc 画像処理方法、画像処理装置
JP2005204754A (ja) 2004-01-20 2005-08-04 Nintendo Co Ltd タッチパネル入力を用いたゲームシステム
JP3904562B2 (ja) 2004-02-18 2007-04-11 株式会社ソニー・コンピュータエンタテインメント 画像表示システム、記録媒体及びプログラム
JP2005250950A (ja) 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP2005286714A (ja) 2004-03-30 2005-10-13 Nec Corp 携帯電話機
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4412715B2 (ja) * 2004-05-07 2010-02-10 株式会社バンダイナムコゲームス プログラム、情報記憶媒体および画像生成システム
JP2005353047A (ja) * 2004-05-13 2005-12-22 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
US7671916B2 (en) 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
JP2006024175A (ja) 2004-06-11 2006-01-26 Doshisha 携帯端末およびアダプタ
US20060244757A1 (en) 2004-07-26 2006-11-02 The Board Of Trustees Of The University Of Illinois Methods and systems for image modification
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP2006060516A (ja) 2004-08-20 2006-03-02 Sharp Corp 折り畳み式携帯電話機
US7991220B2 (en) 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
JP3841806B2 (ja) 2004-09-01 2006-11-08 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
JP4587166B2 (ja) 2004-09-14 2010-11-24 キヤノン株式会社 移動体追跡システム、撮影装置及び撮影方法
JP4302024B2 (ja) 2004-09-17 2009-07-22 株式会社ソニー・コンピュータエンタテインメント ボタン構造、携帯型電子装置
JP4708752B2 (ja) * 2004-09-28 2011-06-22 キヤノン株式会社 情報処理方法および装置
EP1814101A1 (en) 2004-11-19 2007-08-01 Daem Interactive, Sl Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method
US7787674B2 (en) 2005-01-27 2010-08-31 Aperio Technologies, Incorporated Systems and methods for viewing three dimensional virtual slides
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
JP4406615B2 (ja) 2005-02-23 2010-02-03 任天堂株式会社 コマンド処理装置およびコマンド処理プログラム
JP2006262980A (ja) 2005-03-22 2006-10-05 Olympus Corp 情報端末装置及び仮想ペット表示方法
JP2006271663A (ja) 2005-03-29 2006-10-12 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像撮像表示装置
JP4555722B2 (ja) 2005-04-13 2010-10-06 株式会社 日立ディスプレイズ 立体映像生成装置
US20080246757A1 (en) 2005-04-25 2008-10-09 Masahiro Ito 3D Image Generation and Display System
KR100662845B1 (ko) 2005-06-30 2007-01-02 삼성전자주식회사 메모리 카드 슬롯의 개폐장치 및 이를 구비한 디지털모바일기기
KR100722229B1 (ko) 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
US8189038B2 (en) 2005-12-21 2012-05-29 International Business Machines Corporation Stereographic projection apparatus with passive eyewear utilizing a continuously variable polarizing element
JP5048249B2 (ja) 2006-01-27 2012-10-17 任天堂株式会社 ゲーム装置およびゲームプログラム
JP4798358B2 (ja) * 2006-03-14 2011-10-19 セイコーエプソン株式会社 画像処理システム、表示装置および画像処理方法
US20070236514A1 (en) 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
JP4847195B2 (ja) 2006-04-21 2011-12-28 キヤノン株式会社 画像からの色情報の取得方法
EP2016562A4 (en) 2006-05-07 2010-01-06 Sony Computer Entertainment Inc METHOD FOR IMPLEMENTING AFFECTIVE PROPERTIES IN A COMPUTER GENERATED AVATAR DURING A COMPUTER GAME
WO2007148219A2 (en) 2006-06-23 2007-12-27 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
JP4804256B2 (ja) 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
JP4757142B2 (ja) 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
JP4796926B2 (ja) 2006-09-21 2011-10-19 株式会社ソニー・コンピュータエンタテインメント 電子機器用筐体及び電子機器
CA2668941C (en) 2006-11-17 2015-12-29 Thomson Licensing System and method for model fitting and registration of objects for 2d-to-3d conversion
JP2008146109A (ja) 2006-12-05 2008-06-26 Canon Inc 画像処理方法、画像処理装置
US8144148B2 (en) 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US8305428B2 (en) 2007-04-18 2012-11-06 Inlife-Handnet Co., Ltd Stereo video shooting and viewing device
JP4689639B2 (ja) * 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
JP2008277903A (ja) 2007-04-25 2008-11-13 Sony Corp 撮像装置及びフォーカス対象決定方法
EP2009868B1 (en) 2007-06-29 2016-09-07 Alcatel Lucent Method and system for improving the appearance of a person on the RTP stream coming from a media terminal
JP4947593B2 (ja) 2007-07-31 2012-06-06 Ｋｄｄｉ株式会社 局所領域分割による自由視点画像の生成装置およびプログラム
EP2039398B1 (en) 2007-08-29 2016-05-04 Nintendo Co., Ltd. Imaging apparatus
US8917985B2 (en) 2007-08-29 2014-12-23 Nintendo Co., Ltd. Imaging apparatus
US8177441B2 (en) 2007-08-29 2012-05-15 Nintendo Co., Ltd. Imaging apparatus
JP4260215B1 (ja) 2007-08-29 2009-04-30 任天堂株式会社 撮像装置
DE102007044536A1 (de) 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum Überwachen der Umgebung eines Kraftfahrzeugs
JP2009151608A (ja) 2007-12-21 2009-07-09 Nhn Corp 画像生成方法及び画像表示方法
US8471844B2 (en) * 2008-01-18 2013-06-25 Sony Corporation Streaming geometry for use in displaying and editing 3D imagery
JP2009205556A (ja) 2008-02-28 2009-09-10 Panasonic Corp ユーザインタフェース装置
CN101236653B (zh) * 2008-03-03 2010-09-29 华为技术有限公司 图像校正方法及系统
JP2010134575A (ja) 2008-12-03 2010-06-17 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US8477139B2 (en) 2008-06-09 2013-07-02 Apple Inc. Touch screen device, method, and graphical user interface for manipulating three-dimensional virtual objects
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8106924B2 (en) 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
US20100048290A1 (en) 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Image combining method, system and apparatus
US8848100B2 (en) 2008-10-01 2014-09-30 Nintendo Co., Ltd. Information processing device, information processing system, and launch program and storage medium storing the same providing photographing functionality
JP5358152B2 (ja) * 2008-10-03 2013-12-04 任天堂株式会社 手持ち型情報処理装置
JP5156571B2 (ja) 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
US9480919B2 (en) 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
KR20100053349A (ko) 2008-11-12 2010-05-20 엘지전자 주식회사 터치 모듈, 그 터치 모듈의 제조 방법 및 그 터치 모듈을 갖는 휴대 단말기
JP5168580B2 (ja) * 2008-12-01 2013-03-21 富士通株式会社 運転模擬装置、広角カメラ映像模擬装置および画像変形合成装置
JP4668315B2 (ja) 2008-12-02 2011-04-13 フェリカネットワークス株式会社 情報処理装置、通信制御方法、およびプログラム
JP5269568B2 (ja) 2008-12-03 2013-08-21 アドヴァンスド・ディスプレイ・プロセス・エンジニアリング・コーポレーション・リミテッド 基板処理装置及び基板処理装置内部の工程空間を開閉する方法
US8330802B2 (en) * 2008-12-09 2012-12-11 Microsoft Corp. Stereo movie editing
JP4653212B2 (ja) 2008-12-25 2011-03-16 富士通株式会社 折りたたみ型携帯電話機
JP4834116B2 (ja) 2009-01-22 2011-12-14 株式会社コナミデジタルエンタテインメント 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
JP5320133B2 (ja) 2009-03-31 2013-10-23 株式会社エヌ・ティ・ティ・ドコモ 情報提示システム、情報提示サーバ、通信端末、および情報提示方法
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US9025007B1 (en) * 2009-04-28 2015-05-05 Lucasfilm Entertainment Company Ltd. Configuring stereo cameras
JP5247590B2 (ja) 2009-05-21 2013-07-24 キヤノン株式会社 情報処理装置及びキャリブレーション処理方法
JP5421655B2 (ja) * 2009-05-28 2014-02-19 任天堂株式会社 ゲームプログラム及びゲーム装置
US8715031B2 (en) 2009-08-06 2014-05-06 Peter Sui Lun Fong Interactive device with sound-based action synchronization
US8711204B2 (en) 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
US8922625B2 (en) 2009-11-19 2014-12-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US8456518B2 (en) * 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
JP5649846B2 (ja) * 2010-03-31 2015-01-07 株式会社バンダイナムコゲームス プログラム及び画像生成システム
US8549126B2 (en) 2010-04-09 2013-10-01 Sony Computer Entertainment Inc. Application level broadcast in peer overlay network
US9693039B2 (en) 2010-05-27 2017-06-27 Nintendo Co., Ltd. Hand-held electronic device
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5602618B2 (ja) 2010-06-10 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5186715B2 (ja) 2010-06-14 2013-04-24 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム
KR101674956B1 (ko) 2010-07-12 2016-11-10 엘지전자 주식회사 이동 단말기 및 3차원 영상 제어 방법
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP5627973B2 (ja) * 2010-09-24 2014-11-19 任天堂株式会社 ゲーム処理をするためのプログラム、装置、システムおよび方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7321682B2 (en) * 2002-11-12 2008-01-22 Namco Bandai Games, Inc. Image generation system, image generation method, program, and information storage medium
CN1845064A (zh) * 2005-04-08 2006-10-11 佳能株式会社 信息处理方法和设备
EP1720131A1 (en) * 2005-05-03 2006-11-08 Seac02 S.r.l. An augmented reality system with real marker object identification
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
WO2009127701A1 (en) * 2008-04-16 2009-10-22 Virtual Proteins B.V. Interactive virtual reality image generating system
EP2157545A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROKAZU KATO,MARK BILLINGHURST: "Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System", 《AUGMENTED REALITY,1999.(IWAR"99)PROCEEDINGS.2ND IEEE AND ACM INTERNATIONAL WORKSHOP ON SAN FRANCISCO,CA》 *
YOKOYA N, ET AL: "《Mixed Reality-Merging Real and Virtual Worlds》", 31 December 1999 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104813141A (zh) * 2012-11-21 2015-07-29 三菱电机株式会社 图像生成装置
US9709387B2 (en) 2012-11-21 2017-07-18 Mitsubishi Electric Corporation Image generation device for acquiring distances of objects present in image space

Also Published As

Publication number Publication date
CN102274633B (zh) 2015-06-03
US20110304703A1 (en) 2011-12-15
EP2395769B1 (en) 2015-03-04
US20110304701A1 (en) 2011-12-15
EP2395769A1 (en) 2011-12-14
US20110304702A1 (en) 2011-12-15
EP2395767A1 (en) 2011-12-14
US10015473B2 (en) 2018-07-03
CN102274633A (zh) 2011-12-14
EP2395768A1 (en) 2011-12-14
CN102281455B (zh) 2015-12-09
US8780183B2 (en) 2014-07-15
EP2395767B1 (en) 2014-11-12
EP2395768B1 (en) 2015-02-25

Similar Documents

Publication Publication Date Title
CN102281455B (zh) 图像显示系统、装置以及方法
JP5739674B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
EP2394715B1 (en) Image display program, system and method
US8830231B2 (en) Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP5702653B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5814532B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法
US20120293549A1 (en) Computer-readable storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method
US8952956B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
US8854358B2 (en) Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing method, and image processing system
EP2530648B1 (en) Display control program for controlling display capable of providing stereoscopic display, display system and display control method
US20130057574A1 (en) Storage medium recorded with program, information processing apparatus, information processing system, and information processing method
JP2013050883A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
JP2011251006A (ja) ゲームプログラム、携帯型ゲーム装置、ゲームシステム、及びゲーム方法
JP5739670B2 (ja) 画像表示プログラム、装置、システムおよび方法
JP5739673B2 (ja) 画像表示プログラム、装置、システムおよび方法
JP5739672B2 (ja) 画像表示プログラム、装置、システムおよび方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant