CN102076388B - 便携式游戏装置以及便携式游戏装置的控制方法 - Google Patents

便携式游戏装置以及便携式游戏装置的控制方法 Download PDF

Info

Publication number
CN102076388B
CN102076388B CN200980125218.7A CN200980125218A CN102076388B CN 102076388 B CN102076388 B CN 102076388B CN 200980125218 A CN200980125218 A CN 200980125218A CN 102076388 B CN102076388 B CN 102076388B
Authority
CN
China
Prior art keywords
image
reference object
game device
viewpoint
portable type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980125218.7A
Other languages
English (en)
Other versions
CN102076388A (zh
Inventor
川口智史
菅原彰彦
广井聪幸
景山浩二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to CN201410641351.0A priority Critical patent/CN104353241B/zh
Publication of CN102076388A publication Critical patent/CN102076388A/zh
Application granted granted Critical
Publication of CN102076388B publication Critical patent/CN102076388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Abstract

提供能够提高由拍摄单元生成的图像的有效利用性的便携式游戏装置以及便携式游戏装置的控制方法。拍摄对象客体图像生成部(52)对拍摄对象客体进行拍摄，生成拍摄对象客体图像。拍摄对象客体距离测量部(54)测量与拍摄对象客体之间的距离。信息处理执行部(56)执行基于拍摄对象客体图像以及由拍摄对象客体距离测量部(54)测量出的距离的信息处理。

Description

便携式游戏装置以及便携式游戏装置的控制方法
技术领域
本发明涉及便携式游戏装置以及便携式游戏装置的控制方法。
背景技术
便携式游戏装置普及，玩家(player)能够在各种场所享受游戏。在这样的便携式游戏装置中存在能够与摄像机等拍摄单元连接的便携式游戏装置。在能够与摄像机连接的便携式游戏装置中，能够进行由摄像机拍摄的人物等的图像的存储、使用了所拍摄的图像的信息处理。例外，已知例如专利文献1所公开那样的、与三维虚拟物体显示装置相关的技术，该三维虚拟物体显示装置使三维虚拟物体显示得好像存在于现实世界中一样。
现有技术文献
专利文献
专利文献1：日本专利第3558104号公报
发明内容
发明要解决的课题
但是，在能够与拍摄单元连接的以往的便携式游戏装置中，只能生成将在镜头前存在的人物等拍摄对象客体(object)投影到二维的投影面的二维图像。因此，对于游戏来说，从所生成的图像中获得的数据不充分，不能说图像被充分有效利用。
本发明鉴于上述课题而完成，其目的之一在于提供一种便携式游戏装置以及便携式游戏装置的控制方法，能够提高从拍摄单元生成的图像的有效利用性。
用于解决课题的手段
为了解决上述课题，本发明的便携式游戏装置的特征在于，具有：拍摄单元，对拍摄对象客体进行拍摄，生成拍摄对象客体图像；距离测量单元，测量与所述拍摄对象客体之间的距离；以及信息处理执行单元，执行基于所述拍摄对象客体图像以及由所述距离测量单元测量的距离的信息处理。
另外，本发明的便携式游戏装置的控制方法的其特征在于，包括：拍摄步骤，对拍摄对象客体进行拍摄并生成拍摄对象客体图像；距离测量步骤，测量与所述拍摄对象客体之间的距离；以及信息处理执行步骤，执行基于所述拍摄对象客体图像以及由所述距离测量单元测量的所述距离的信息处理。
根据本发明，能够将拍摄对象客体图像、拍摄对象客体和便携式游戏装置之间的距离有效利用在信息处理中，因此能够提高由拍摄单元生成的图像的有效利用性。
在本发明的一方式中，其特征在于，所述距离测量单元依次测量所述距离，所述信息处理执行单元根据由所述距离测量单元测量的距离的变化，变更要执行的信息处理的内容。这样，能够将拍摄对象客体和便携式游戏装置之间的距离的变化有效利用在信息处理中。
在本发明的一方式中，其特征在于，所述信息处理执行单元将基于由所述距离测量单元测量的距离的图像显示在显示单元上。这样，能够在图像的显示处理中有效利用拍摄对象客体和便携式游戏装置之间的距离。
另外，在本发明的一方式中，其特征在于，所述距离测量单元依次测量所述距离，所述信息处理执行单元根据在该虚拟空间配置的视点的位置，生成虚拟空间的图像，将所生成的所述虚拟空间的图像显示在显示单元上，根据由所述距离测量单元测量的距离的变化，变更所述虚拟空间中的所述视点的位置。这样，能够在显示根据在虚拟空间配置的视点的位置所生成的虚拟空间图像的处理中，有效利用拍摄对象客体和便携式游戏装置之间的距离的变化。
另外，在该方式中，所述拍摄单元依次对拍摄对象客体进行拍摄，生成拍摄对象客体图像，所述信息处理执行单元根据由所述拍摄单元拍摄的所述拍摄对象客体图像的变化，变更在所述虚拟空间中的所述视点的位置或者朝向的至少一方也可以。这样，能够在显示根据在虚拟空间配置的视点的位置所生成的虚拟空间的图像的处理中，有效利用依次拍摄的拍摄对象客体图像的变化。
另外，在本发明的一方式中，其特征在于，所述拍摄单元和所述距离测量单元一体形成。
另外，本发明的便携式游戏装置的特征在于，具有对拍摄对象客体进行拍摄并生成拍摄对象客体图像的拍摄单元，所述拍摄单元具有：多个透镜(lens)；反射光的反射构件；以及拍摄元件，接受由所述反射构件反射的光，生成所述拍摄对象客体图像，所述反射构件以能够在将透过各个所述透镜的光朝向所述拍摄元件反射的反射构件位置之间移动的方式被支撑。
根据本发明，能够拍摄不同方向的拍摄对象客体，汇总生成拍摄对象客体图像，因此能够提高由拍摄单元生成的图像的有效利用性。
在本发明的一方式中，其特征在于，还包含反射构件驱动单元，驱动所述反射构件，使其根据预先规定的规则在各个所述反射构件位置之间进行移动。这样，能够根据预先规定的规则，生成拍摄了不同方向的拍摄对象客体的图像。
本发明的便携式游戏装置的控制方法的其特征在于，该便携式游戏装置具有对拍摄对象客体进行拍摄并生成拍摄对象客体图像的拍摄单元，所述拍摄单元具有：多个透镜；反射光的反射构件；以及接受由所述反射构件反射的光并生成所述拍摄对象客体图像的拍摄元件，所述反射构件以能够在将透过各个所述透镜的光朝向所述拍摄元件反射的反射构件位置之间移动的方式被支撑，该控制方法包括：反射构件驱动步骤，驱动所述反射构件，使其根据预先规定的规则在各个所述反射构件位置之间移动。
附图说明
图1是表示本发明的一实施方式的便携式游戏装置的一例的立体图。
图2是表示本发明的一实施方式的便携式游戏装置的硬件结构的一例的硬件结构图。
图3是表示虚拟空间的一例的图。
图4A是表示虚拟空间的图像被显示在显示部的情况的图。
图4B是表示虚拟空间的图像被显示在显示部的情况的图。
图4C是表示虚拟空间的图像被显示在显示部的情况的图。
图5A是表示虚拟空间的图像被显示在显示部的情况的图。
图5B是表示虚拟空间的图像被显示在显示部的情况的图。
图5C是表示虚拟空间的图像被显示在显示部的情况的图。
图6是本发明的一实施方式的便携式游戏装置的功能方框图。
图7是表示玩家基础图像的一例的图。
图8是表示玩家图像的一例的图。
图9是表示在本发明的一实施方式的便携式游戏装置中进行的处理的流程的一例的图。
图10是说明将本发明的一实施方式的便携式游戏装置用于将棋游戏中的情况的一例的说明图。
图11A是表示本发明的另一实施方式的便携式游戏装置的一例的图。
图11B是表示本发明的另一实施方式的便携式游戏装置的一例的图。
图11C是表示本发明的另一实施方式的便携式游戏装置的一例的图。
图12A是表示本发明的另一实施方式的便携式游戏装置的拍摄部的结构的概要的一例的概要图。
图12B是表示本发明的另一实施方式的便携式游戏装置的拍摄部的结构的概要的一例的概要图。
图13A是表示本发明的另一实施方式的便携式游戏装置的拍摄部的结构的概要的一例的概要图。
图13B是表示本发明的另一实施方式的便携式游戏装置的拍摄部的结构的概要的一例的概要图。
图14是表示在本发明的另一实施方式的便携式游戏装置中进行的处理的流程的一例的图。
图15是表示本发明的另一实施方式的便携式游戏装置的拍摄部的结构的概要的一例的概要图。
具体实施方式
以下基于附图详细说明本发明的一实施方式。
图1是表示本实施方式的便携式游戏装置1的一例的立体图。图2是表示图1所示的便携式游戏装置1的硬件结构的一例的硬件结构图。如图1以及图2所示，本实施方式的便携式游戏装置1的筐体10的形状是箱型。并且，本实施方式的便携式游戏装置1具有控制部12、存储部14、显示部16、操作部18、拍摄部20、距离测量部22、通信部24。
控制部12是CPU等程序控制设备，按照存储部14中保存的程序(例如游戏程序)动作。
存储部14是RAM等存储元件、硬盘等。在存储部14中，保存由控制部12执行的程序等。具体而言，例如，保存由控制部12执行的游戏程序。该游戏程序例如经由盘、CD-ROM、DVD-ROM等信息传递媒介，或者经由因特网等通信网络，提供给便携式游戏装置1。另外，存储部14还作为控制部12的工作存储器动作。
显示部16例如是液晶显示器等，根据来自控制部12的指示进行图像的显示。在本实施方式中，显示部16被设置在便携式游戏装置1的筐体10的正面中央部。这里，控制部12也可以对显示部16一并指示所显示的图像的分辨率或纵横(aspect)比等属性。另外，控制部12可以根据在要执行的程序中包含的、表示图像的分辨率和纵横比等属性的属性信息的内容，来指示显示部16所要显示的图像的属性。
操作部18例如为操作构件(具体而言，例如为十字键或按钮)，将与对该操作部件的操作对应的输出数据输出到控制部12。控制部12通过获得该输出数据，使用该输出数据，执行玩家对操作构件的操作所对应的处理。在本实施方式中，操作部18被设置在便携式游戏装置1的显示部16的左右。即，操作部18被分开配置在便携式游戏装置1的筐体10的正面左侧以及正面右侧。
拍摄部20例如包含公知的数字摄像机而构成，每规定时间(例如1/60秒)生成黑白、灰度(gray scale)或彩色的图像(例如JPEG形式的图像)。另外，拍摄部20为标准摄像机、望远摄像机、广角摄像机都可以。在本实施方式中，拍摄部20被设置在显示部16的上侧。即，拍摄部20被设置在筐体10的正面中央附近上侧。
距离测量部22测量便携式游戏装置1和在其外部存在的外部客体之间的距离。距离测量部22例如测量由便携式游戏装置1的正面形成的平面和外部客体之间的距离(更具体而言，例如从外部客体起下垂到由便携式游戏装置1的正面形成的平面的垂线的长度)。并且，距离测量部22对于由拍摄部20生成的图像中所包含的各个像素，将与该像素对应的外部客体上的点和便携式游戏装置1之间的距离与其建立对应。距离测量部22，具体而言例如是由多个透镜构成的立体摄像机，基于各个透镜的视差，测量外部客体和便携式游戏装置之间的距离。距离测量部22当然不限于立体摄像机，距离测量部22也可以输出红外线，测量到该红外线被拍摄对象客体反射而返回为止的时间，基于该测量出的时间，测量外部客体和便携式游戏装置之间的距离。另外，距离测量部22也可以由焦距不同的多个透镜构成，基于这些透镜中对于外部客体合焦的透镜，测量外部客体和便携式游戏装置1之间的距离。另外，在本实施方式中，距离测量部22与拍摄部20一体形成，并被设置在显示部16的上侧。即，距离测量部22被设置在正面中央附近上侧。
通信部24例如为因特网接口等(具体而言例如为无线LAN模块)，根据从控制部12输入的指示，对其它便携式游戏装置1或者因特网上的服务器(未图示)等发送信息。另外，该通信部24将所接收到的信息输出到控制部12。
在本实施方式中，便携式游戏装置1执行虚拟空间显示处理，即基于图3所示的虚拟空间26(在本实施方式中为虚拟三维空间)中的各个虚拟客体28的位置、视点30的位置以及视线方向32，如图4A～图4C和图5A～图5C所示那样，生成与便携式游戏装置1前的玩家34的面部位置或朝向对应的图像，并显示所生成的图像。
具体而言，例如玩家34的面部若前进(参照图4A)，则虚拟空间26中的视点30前进，如图4B所示那样的虚拟空间26的图像被显示在液晶显示器等显示部16上。另一方面，若玩家34的面部后退(参照图4A)，则虚拟空间26中的视点30后退，如图4C所示那样的虚拟空间26的图像被显示在显示部16上。
并且，若玩家34的面部相对于便携式游戏装置1逆时针方向转动(参照图5A)，则虚拟空间26中的视点30和视线方向32逆时针方向转动，如图5B所示那样的虚拟空间26的图像被显示在显示部16上。另一方面，若玩家34的面部相对于便携式游戏装置1顺时针方向转动(参照图5A)，则虚拟空间26中的视点30和视线方向32顺时针方向转动，如图5C所示那样的虚拟空间26的图像被显示在显示部16上。
图6是本发明的、该实施方式的便携式游戏装置1的功能方框图。如图6所示，该实施方式的便携式游戏装置1在功能性方面作为包含如下部分的装置而起作用：虚拟空间数据存储部40、视点数据存储部42、基础图像生成部44、特征量计算部46、基础图像存储部48、基础图像通信部50、拍摄对象客体图像生成部52、拍摄对象客体距离测量部54、信息处理执行部56(拍摄对象客体配置计算部56a、视点数据变更部56b以及虚拟空间显示部56c)。
虚拟空间数据存储部40主要由存储部14实现。虚拟空间数据存储部40存储例如图3所示那样的、表示虚拟空间26中的各个虚拟客体28的位置(例如坐标值)的虚拟客体位置数据。具体而言，例如如图3所示，虚拟空间数据存储部40存储表示相当于房间的房间虚拟客体28a的位置、球形的球体虚拟客体28b的位置以及长方体形状的盒子(box)虚拟客体28c的位置的虚拟客体位置数据(例如各个顶点的三维坐标值、球的中心的三维坐标值以及半径的长度等)。如图3所示，在该虚拟空间26中，在相当于房间的箱型的房间虚拟客体28a的内部配置球形的球体虚拟客体28b和长方体形状的盒子虚拟客体28c。并且，球体虚拟客体28b被配置在房间虚拟客体28a的下表面上，盒子虚拟客体28c被配置为与房间虚拟客体28a的上表面接触。
视点数据存储部42主要由存储部14实现。视点数据存储部42存储视点数据，该视点数据包含例如表示图3所示那样的虚拟空间26中的视点30的位置(例如三维坐标值)的视点位置数据和表示该视点30的视线方向32的视线方向数据。
基础图像生成部44主要由拍摄部20、控制部12和操作部18实现。基础图像生成部44生成例如图7所示那样的、表示玩家34的图像(玩家基础图像60)等的基础图像。
具体而言，例如基础图像生成部44每规定时间依次生成图像，并进行控制，使得所生成的图像与框图像62一起依次显示在显示部16上。此时，玩家34使便携式游戏装置1移动，使得自己的面部的图像(面部图像64)进入框图像62中。此时，即使玩家34自身移动当然也没关系。这里，玩家34若操作操作部18(例如按下按钮)，则基础图像生成部44将在显示部16的框图像62内所显示的图像作为玩家基础图像60，存储在后面叙述的基础图像存储部48中。
另外，玩家34也可以通过操作操作部18，能够变更图7所示的、在显示部16中显示的框图像62的位置和大小。
另外，距离测量部22测量与由拍摄部拍摄的图像对应的外部客体和便携式游戏装置1之间的距离，基础图像生成部44可以控制显示部16，对与比规定的距离短的测量距离对应的像素，显示其图像。另外，在显示部16显示图像时，基础图像生成部44也可以控制显示部16，以赋予与距离测量部22测量的距离对应的视频效果。具体而言，例如在显示部16显示图像时，基础图像生成部44也可以控制显示部16，以赋予将面部浸在水中这样的视频效果或者面部从黑暗中浮现出来这样的视频效果。
另外，在便携式游戏装置1具有闪光灯或灯的情况下，基础图像生成部44在生成图像时，可以照射闪光灯或灯。由此，在暗的状况下，基础图像生成部44也能够生成基础图像。
特征量计算部46主要由控制部12实现。特征量计算部46使用公知的图形识别技术等图像处理技术等，基于图7所示的玩家基础图像60，计算表示玩家34的特征的特征量。这里，作为特征量，具体而言，例如举出面部图像64、皮肤的颜色(RGB值和HSV值)、嘴唇的位置、大小和颜色(RGB值和HSV值)、眼睛的位置、大小和间隔、鼻子的位置、大小和高度、眉毛的位置、高度、宽度和颜色(RGB值和HSV值)、发型、头发的颜色等。
另外，特征量计算部46也根据后面叙述的拍摄对象客体图像计算特征量。关于特征量计算部46根据拍摄对象客体图像计算特征量的方面，将在后面叙述。
基础图像存储部48主要由存储部14实现。基础图像存储部48存储由基础图像生成部44生成的基础图像(在本实施方式中为玩家基础图像60)。基础图像存储部48可以将基础图像和特征量计算部46根据该基础图像计算出的特征量建立关联来存储。
另外，基础图像存储部48也可以不是存储1张图像，而是将多个图像建立关联来存储。另外，基础图像存储部48也可以将动作图像(motion portrait)这样的合成图像作为基础图像来存储。另外，基础图像存储部48也可以存储喜怒哀乐等多个表情的玩家基础图像60。具体而言，例如，基础图像存储部48不仅存储玩家43正面朝向便携式游戏装置1时的玩家基础图像60，也可以将上下左右朝向便携式游戏装置1时的玩家基础图像60相互建立关联来存储。
另外，基础图像存储部48也可以对多个种类的外部客体，将该外部客体的基础图像与用于识别该外部客体的客体识别符建立关联来存储。具体而言，对于多个玩家34，基础图像存储部48也可以将该玩家34的玩家基础图像60与该玩家34的ID、名字等建立关联来存储。
另外，基础图像存储部48也可以将表示由距离测量部22测量出的距离的数据与基础图像内的各个像素建立关联来存储。
基础图像通信部50主要由控制部12和通信部24实现。基础图像通信部50也可以将基础图像存储部48中存储的基础图像经由通信部24发送到因特网上的服务器(未图示)，并存储在该服务器具有的存储装置中。另外，基础图像通信部50也可以将表示是否公开发送到服务器的基础图像的可否公开信息经由通信部24发送到服务器。
另外，服务器可以通过将与存储的各个基础图像建立了关联的特征量进行平均等，生成平均基础图像(例如平均面部图像)。另外，也可以由便携式游戏装置1的玩家34经由通信部24可以下载被设定为公开的基础图像、平均基础图像。
拍摄对象客体图像生成部52主要由拍摄部20实现。拍摄对象客体图像生成部52拍摄作为要被拍摄的对象的拍摄对象客体，生成拍摄对象客体图像。在本实施方式中，具体而言，例如，拍摄对象客体图像生成部52生成图8所示的玩家图像66。另外，如图8所示，在玩家图像66中也可以包含多个玩家34的面部图像64(第1玩家34-1的第1面部图像64-1以及第2玩家34-2的第2面部图像64-2)。当然，拍摄对象客体图像生成部52生成的图像不限定于玩家图像66。另外，拍摄对象客体图像生成部52可以依次对拍摄对象客体进行拍摄，生成拍摄对象客体图像。
另外，在便携式游戏装置1具有闪光灯或灯的情况下，拍摄对象客体图像生成部52在生成图像时可以照射闪光灯或灯。这样，即使在暗的状况下，拍摄对象客体图像生成部52也能够生成拍摄对象客体图像，特征量计算部46能够根据拍摄对象客体图像计算特征量。
并且，上述的特征量计算部46使用公知的图形识别技术等图像处理技术等，基于由拍摄对象客体图像生成部52生成的拍摄对象客体图像(例如玩家图像66)，计算上述那样的特征量。
特征量计算部46此时也可以通过将基础图像存储部48中存储的基础图像(例如玩家基础图像60)和拍摄对象客体图像(例如玩家图像66)进行对照，从而计算特征量。具体而言，例如如图8所示，在由拍摄对象客体图像生成部52生成的玩家图像66中包含多个玩家34的图像的情况下，特征量计算部46可以将该玩家图像66和与特定的玩家34(这里为第1玩家34-1)的ID等识别符建立了关联的玩家基础图像60进行对照，使用公知的图形识别技术等，根据玩家图像66计算特定的玩家34的面部图像64(在这里为第1面部图像64-1)。
拍摄对象客体距离测量部54主要由距离测量部22实现。拍摄对象客体距离测量部54测量上述的拍摄对象客体和便携式游戏装置1之间的距离。在本实施方式中，具体而言，例如测量玩家34(更具体而言例如玩家34的表面)和便携式游戏装置1之间的距离(玩家距离)。另外，拍摄对象客体距离测量部54也可以依次测量拍摄对象客体和便携式游戏装置1之间的距离。拍摄对象客体距离测量部54对于拍摄对象客体图像(例如玩家图像66)中包含的各个像素，将关于与该像素对应的拍摄对象客体(例如玩家34)上的点的玩家距离与其建立对应。
信息处理执行部56主要由控制部12和显示部16实现。信息处理执行部56执行基于拍摄对象客体对象(例如玩家图像66)以及由拍摄对象客体距离测量部54测量的距离的信息处理。具体而言，例如信息处理执行部56执行将基于由拍摄对象客体距离测量部54测量的距离的图像显示在显示部16的信息处理。并且，在本实施方式中，信息处理执行部56包含拍摄对象客体配置计算部56a、视点数据变更部56b以及虚拟空间显示部56c。
拍摄对象客体配置计算部56a基于拍摄对象客体图像(例如玩家图像66)和由拍摄对象客体距离测量部54测量的距离(例如玩家距离)，计算拍摄对象客体(例如玩家34)在实际空间中的配置。这里，拍摄对象客体配置计算部56a可以使用由特征量计算部46基于拍摄对象客体图像(例如玩家图像66)计算出的特征量，计算拍摄对象客体(例如玩家34)在实际空间中的配置。另外，拍摄对象客体配置计算部56a也可以依次计算拍摄对象客体在实际空间中的配置。具体而言，拍摄对象客体配置计算部56a计算例如玩家34的面部在实际空间中相对于便携式游戏装置1的相对的坐标值(例如三维坐标值)以及相对于便携式游戏装置1的朝向(例如x轴方向的转动量、y轴方向的转动量以及z轴方向的转动量)。
视点数据变更部56b基于由拍摄对象客体距离测量部54测量出的距离，变更在视点数据存储部42中存储的视点数据。在拍摄对象客体距离测量部54依次测量拍摄对象客体和便携式游戏装置1之间的距离的情况下，视点数据变更部可以根据该距离的变化变更表示虚拟空间26中的视点30的位置的视点数据。
这里，视点数据变更部56b可以根据拍摄对象客体图像(例如玩家图像66)的变化，变更虚拟空间26中的视点30的位置或者朝向(视线方向32)的至少一方。即，视点数据变更部56b可以根据拍摄对象客体图像(例如玩家图像66)的变化，变更在视点数据存储部42中存储的视点位置数据和视线方向数据的至少一方。
在本实施方式中，视点数据变更部56b基于由拍摄对象客体配置计算部56a计算出的、拍摄对象客体(例如玩家34)在实际空间中的配置，变更在视点数据存储部42中存储的视点数据。具体而言，例如视点数据变更部56b基于玩家34的面部在实际空间中相对于便携式游戏装置1的相对坐标值(例如三维坐标值)、相对于便携式游戏装置1的朝向(例如x轴方向的转动量、y轴方向的转动量以及z轴方向的转动量)，变更在视点数据存储部42中存储的视点数据。
另外，在由拍摄对象客体配置计算部56a计算出拍摄对象客体相对于便携式游戏装置1配置在近处(或者远处)时，视点数据变更部56b将虚拟空间26内的视点30向前侧(或者后侧)变更即可。另外，在由拍摄对象客体配置计算部56a计算出拍摄对象客体正在接近(或者正在远离)便携式游戏装置1时，视点数据变更部56b使虚拟空间26内的视点30前进(或者后退)即可。
另外，在由拍摄对象客体配置计算部56a计算出拍摄对象客体相对于便携式游戏装置1相对地配置在右侧(或者左侧)时，视点数据变更部56b将虚拟空间26内的视点30向右侧(或者左侧)变更即可。
另外，在由拍摄对象客体配置计算部56a计算出拍摄对象客体相对于便携式游戏装置1相对地配置在右侧(或者左侧)时，视点数据变更部56b使虚拟空间26内的视点30向右侧(或者左侧)变更即可。
另外，在由拍摄对象客体配置计算部56a计算出拍摄对象客体相对于便携式游戏装置1相对地向逆时针方向(或者顺时针方向)转动时，视点数据变更部56b使虚拟空间26内的视点30的视线方向32向逆时针方向(或者顺时针方向)转动即可。
虚拟空间显示部56c根据在虚拟空间26中配置的视点30的位置，生成图3所示的虚拟空间26的图像，并显示所生成的虚拟空间26的图像。具体而言，例如，关于虚拟空间26，显示从由视点数据变更部56b变更后的视点数据中包含的视点位置数据所表示的视点30的位置观看在视点数据中所包含的视线方向数据表示的视线方向32的情况的图像。
另外，由信息处理执行部56执行的信息处理并不限于由拍摄对象客体配置计算部56a、视点数据变更部56b以及虚拟空间显示部56c执行的信息处理。例如距离测量部22依次测量拍摄对象客体和便携式游戏装置1之间的距离，信息处理执行部56根据该测量出的距离的变化，执行变更由控制部12执行的处理的内容的处理也可以。另外，信息处理执行部56执行的信息处理也不限于在显示部16显示信息的信息处理。
接着，参照图9所示的流程图说明如下的处理的流程的一例：在规定的玩家34的玩家基础图像60和从该玩家基础图像60提取出的玩家34的面部图像64建立关联，并存储在基础图像存储部48的情况下，在该玩家34存在于便携式游戏装置1前时，显示与该玩家34的面部的位置以及朝向对应的虚拟空间26的图像。另外，此时，在存储部14中存储表示图3所示的虚拟空间26中的各个虚拟客体28的位置(例如坐标值)的虚拟客体位置数据。另外，在视点数据存储部42中存储视点数据，该视点数据包含表示虚拟空间26中的视点30的位置(例如坐标值)的视点位置数据和表示该视点30的视线方向32的视线方向数据。另外，在该处理例中，拍摄部20是可变帧频的高帧频摄像机。
首先，拍摄对象客体图像生成部52生成该玩家34的玩家图像66(S101)。
然后，特征量计算部46将玩家图像66和该玩家34的玩家基础图像60进行对照，从而计算该玩家34的面部、双眼、鼻子以及嘴的图像(S102)。
然后，特征量计算部46计算该玩家34的双眼间、眼睛和鼻子、鼻子和嘴中的至少一个的玩家图像66的长度(S103)。
然后，拍摄对象客体距离测量部54测量玩家34的双眼、鼻子、以及嘴与便携式游戏装置1之间的距离(玩家距离)，从而与在玩家图像66中包含的各个像素建立对应(S104)。
然后，拍摄对象客体配置计算部56a基于玩家图像66和玩家距离，计算该玩家34在实际空间中的配置(S105)。具体而言，计算玩家34的面部分别关于x轴方向、y轴方向、z轴方向的、相对于便携式游戏装置1的相对的转动量，以及玩家34的面部相对于便携式游戏装置1的相对的坐标值。
然后，视点数据变更部56b基于根据在S105所示的处理中计算出的三维坐标值确定的、该玩家34的面部的位置以及朝向，变更在视点数据存储部42中存储的、表示虚拟空间26中的视点30的位置的视点位置数据、和表示视线方向32的视线方向数据中的至少一个(S106)。
然后，虚拟空间显示部56c在虚拟空间26中显示图像，该图像表示从在S105所示的处理中所变更的视点数据中包含的视点位置数据表示的视点30的位置，观看视线方向数据表示的视线方向32的情况(S107)。另外，此时，显示部16也可以用基于来自控制部12的指示的分辨率或纵横比等属性显示图像。
这样，对于各个帧，表示观察虚拟空间26的情况的图像被显示在液晶显示器等显示部16。
在上述的处理例的、S102以及S103所示的处理中，在特征量计算部46不能计算玩家34的面部、双眼、鼻子以及嘴的图像、或者眼睛和眼睛、眼睛和鼻子、鼻子和嘴中的至少一个在玩家图像66中的长度这样的特征量时，虚拟空间显示部56c也可以在液晶显示器等的显示部16上显示根据在液晶显示器等的显示部16上之前所显示的图像而类推的图像。
另外，在上述的情况下，也可以提高拍摄部20的帧频再次执行S101～S103所示的处理。此时，即使将S101～S103所示的处理执行规定的次数，也不能基于玩家图像66计算特征量的情况下，也可以将在液晶显示器等的显示部16上之前显示的图像显示在液晶显示器等的显示部16上。另外，此时，预先在存储部14中存储错误计数数据，在即使将S101～S103中所示的处理执行规定的次数，也不能基于玩家34计算特征量的情况下，控制部12也可以将错误计数数据的值增加1。并且，在不能基于玩家图像66计算特征量的时间超过规定的时间，或者错误计数数据的值超过规定值时，控制部12也可以将错误消息显示在显示部16上。另外，在便携式游戏装置1具有内置振动器(vibrator)、扬声器或者LED的情况下，在不能基于玩家图像66计算特征量的时间超过规定的时间，或者错误计数数据的值超过了规定值时，控制部12也可以使振动器振动，或者从便携式游戏装置1具有的扬声器发生警告声，或者使便携式游戏装置1具有的LED闪烁。
接着，以下说明将上述实施方式应用于将棋游戏的例子。
如图10所示，相对便携式游戏装置1，面对面存在第1玩家34-1和第2玩家34-2。并且，在便携式游戏装置1的显示部16显示将棋盘图像68。该将棋盘图像68为上述虚拟空间26内的虚拟客体28的一例。
并且，在轮到第1玩家34-1走棋(手番)时，根据第1玩家34-1的面部相对于便携式游戏装置1的相对的位置以及朝向，控制部12控制显示部16以显示将棋盘图像68。这样的话，从第2玩家34-2方面难以看到将棋盘图像68。另一方面，在轮到第2玩家34-2走棋时，根据第2玩家34-2的面部相对于便携式游戏装置1的相对的位置以及朝向，控制部12控制显示部16以显示将棋盘图像68。这样的话，从第1玩家34-1方面难以看到将棋盘图像68。
另外，也可以将本实施方式应用于第一人称视点射击游戏(FPS)游戏。具体而言，例如在不能通过特征量计算部46计算玩家34的面部的图像的情况下，控制部12也可以执行躲避子弹或攻击，或者装子弹的游戏处理。
另外，在游戏中的认证处理中，也可以应用本实施方式的便携式游戏装置1。具体而言，例如，在游戏的标题(title)画面显示在显示部16上时，如果玩家34将面部靠近便携式游戏装置1的拍摄部20，则控制部12也可以基于特征量计算部46根据拍摄对象客体图像生成部52生成的玩家图像66而计算出的特征量，确定将面部靠近的玩家34，进行该玩家34的认证。此时，在不能确定玩家34的情况下，控制部12也可以将该玩家34认证为匿名玩家。此时，在便携式游戏装置1中，也可以能够更新玩家基础图像60。也可以是便携式游戏装置1的控制部12在开始各种信息处理时，能够利用这样的玩家基础图像60的更新功能。
根据本实施方式，能够进行接近真实世界的感觉的三维的视频表现，并能够提高由拍摄部20生成的图像的有效利用性。
接着，基于附图详细说明本发明的另一实施方式。
本实施方式的便携式游戏装置1的硬件结构与图2所示的一样。
图11A是本实施方式的便携式游戏装置1的正视图。图11B是本实施方式的便携式游戏装置1的俯视图。图11C是本实施方式的便携式游戏装置1的后视图。
图12A、图12B、图13A以及图13B是表示本实施方式的便携式游戏装置1的拍摄部20的结构的概要的一例的概要图。如图12A、图12B、图13A以及图13B所示，本实施方式的便携式游戏装置1的拍摄部20包含如下部分构成：光学系统20a(前方光学系统20a-1、后方光学系统20a-2以及上方光学系统20a-3)、快门(shutter)20b(前方快门20b-1、后方快门20b-2以及上方快门20b-3)、反射构件20c(第1反射构件20c-1以及第2反射构件20c-2)、以及拍摄元件20d。
在本实施方式中，前方光学系统20a-1设置在便携式游戏装置1的正面中央附近上侧，后方光学系统20a-2设置在便携式游戏装置1的背面中央附近上侧，上方光学系统20a-3设置在比便携式游戏装置1的上侧面中央稍左侧。各个光学系统20a可以由一个透镜构成，也可以由多个透镜构成。另外，不管构成各个光学系统20a的透镜的种类，例如标准透镜、广角透镜、望远透镜都可以。
在本实施方式中，前方快门20b-1设置在前方光学系统20a-1的内侧，后方快门20b-2设置在后方光学系统20a-1的内侧，上方快门20b-3设置在上方光学系统20a-3的内侧。另外，这些快门20b也可以设置在光学系统20a的外侧。
反射构件20c是反射光的构件，例如是镜子。在本实施方式中，反射构件20c是板状，并设置在便携式游戏装置1的内部。
拍摄元件20d例如是CCD图像传感器、CMOS图像传感器等，接受由反射构件20c反射的光，生成图像(图像数据)。具体而言，拍摄元件20d接受光，通过光电变换生成电信号，基于该电信号生成图像(图像数据)。
并且，第1反射构件20c-1以由第1反射构件20c-1形成的平面为铅直方向的方式被设置在便携式游戏装置1的内部的上方中央附近的内部。第1反射构件20c-1以能够在将透过前方光学系统20a-1或后方光学系统20a-2的光朝向拍摄元件20d反射的各个反射构件位置间移动的方式被支撑。在本实施方式中，第1反射构件20c-1以能够以铅直方向的轴为中心旋转的方式被支撑。具体而言，铅直方向的支撑构件(未图示)贯通第1反射构件20c-1，该支撑构件支撑第1反射构件20c-1，使其可旋转。
在本实施方式中，第1反射构件20c-1以能够在将透过前方光学系统20a-1的光朝向拍摄元件20d反射的前方反射构件位置(在图12A中，配置第1反射构件20c-1的位置)和将透过后方光学系统20a-2的光朝向拍摄元件20d反射的后方反射构件位置(在图12B中，配置第1反射构件20c-1的位置)之间旋转的方式被支撑。
并且，在第1反射构件20c-1移动到前方反射构件位置时，前方快门20b-1打开，在移动到后方反射构件位置时，后方快门20b-2打开。
另外，便携式游戏装置1例如具有致动器(actuator)等反射构件驱动部(未图示)，该反射构件驱动部也可以驱动第1反射构件20c-1，使其在各个反射构件位置之间移动。另外，控制部12也可以驱动反射构件驱动部。此时，在拍摄元件20d接受光而生成图像的定时，反射构件驱动部也可以驱动第1反射构件20c-1，使第1反射构件20c-1移动到任意一个反射构件位置。
在本实施方式中，通过便携式游戏装置1的控制部12使反射构件20c和快门20b动作，从而拍摄部20以规定的帧频拍摄拍摄对象客体，生成拍摄对象客体图像。
图13A表示在上方快门20b-3打开的状况下，从上方观看拍摄部20的构造的概略。另外，图13B表示在上方快门20b-3打开的状况下，从前方观看拍摄部20的构造的概略。如图13A以及图13B所示，第2反射构件20c-2的反射面被相对水平方向倾斜配置，并设置在比便携式游戏装置1的上方中央稍左侧，使得第2反射构件20c-2将透过上方光学系统20a-3的光朝向拍摄元件20d反射。
接着，参照图14所示的流程图说明在本实施方式中生成活动图像的处理的流程的一例。
首先，反射构件驱动部使第1反射构件20c-1移动到前方反射构件位置(S201)。
然后，控制部12开闭前方快门20b-1(S202)。
于是，第1反射构件20c-1将透过前方光学系统20a-1以及前方快门20b-1的光朝向拍摄元件20d反射，拍摄元件20d接受该光，生成图像(S203)(参照图12A)。
然后，反射构件驱动部使第1反射构件20c-1移动到后方反射构件位置(S204)。
然后，控制部12开闭后方快门20b-2(S205)。
于是，第1反射构件20c-1将透过后放光学系统20a-2以及后方快门20b-2的光朝向拍摄元件20d反射，拍摄元件20d接受该光，生成图像(S206)(参照图12B)。
然后，反射构件驱动部使第1反射构件20c-1移动，使得第1反射构件20c-1的反射面与便携式游戏装置1的长边方向大致平行(S207)。
然后，控制部12开闭上方快门20b-3(S208)。
于是，第2反射构件20c-2将透过上方光学系统20a-3以及上方快门20b-3的光朝向拍摄元件20d反射，拍摄元件20d接受该光，生成图像(S209)(参照图13A以及图13B)。
并且，在重复了S201～S209的处理后，控制部12组合在S203的处理中生成的一连串的图像而生成活动图像。另外，控制部12也组合在S206的处理中生成的一连串的图像而生成其它的活动图像。另外，控制部12还组合在S209的处理中生成的一连串的图像，生成其它的活动图像。这样，本实施方式的便携式游戏装置1能够拍摄不同方向的拍摄对象客体，汇总生成拍摄对象客体图像，因此，能够提高由拍摄部20生成的图像的有效利用性。
并且，例如在本实施方式的便携式游戏装置1具有的拍摄部20的帧频为240fps的情况下，通过上述实施例所示的处理，便携式游戏装置1汇总生成帧频为80fps的三个活动图像(前方活动图像、后方活动图像以及上方活动图像)。
另外，上述的处理例只不过是生成活动图像的处理的一例，例如，反射构件驱动部根据上述的规则以外的预先规定的规则，驱动第1反射构件20c-1，使其在各个反射构件位置间移动，从而本实施方式的便携式游戏装置1能够生成各种活动图像。
具体而言，例如，通过重复在上述的处理例中S201～S206所示的处理，从而在本实施方式的便携式游戏装置1具有的拍摄部20的帧频为240fps的情况下，便携式游戏装置1汇总生成帧频为120fps的两个活动图像(前方活动图像以及后方活动图像)。
另外，通过重复执行将S201～S203所示的处理重复执行两次后，将S204～S206所示的处理执行一次的处理，在本实施方式的便携式游戏装置1具有的拍摄部20的帧频为240fps的情况下，便携式游戏装置1汇总生成帧频为160fps的活动图像(前方活动图像)和帧频为80fps的活动图像(后方活动图像)。
本发明考虑各种应用例。例如，考虑与上述的实施方式所示的虚拟空间显示处理相组合，显示表现了扩展现实的图像。具体而言，例如，首先拍摄部20拍摄在后方光学系统20a-2的方向配置的客体(例如图像或字符等)。然后，控制部12基于拍摄到的客体，生成表示虚拟客体28的位置的虚拟客体位置数据。然后，虚拟空间数据存储部40存储该虚拟客体位置数据。然后，拍摄部20拍摄前方光学系统20a-1的方向的拍摄对象客体。然后，视点数据变更部56b基于该拍摄对象客体，变更在视点数据存储部42中存储的视点数据。然后，虚拟空间显示部56c将根据变更后的视点30的位置所生成的虚拟空间26的图像显示在液晶显示器等显示部16上。这样，考虑显示表现了扩展现实的图像。
或者，通过与公知的模式识别技术相组合，能够容易地生成跟踪在各种方向上移动的拍摄对象客体的活动图像。
这样，根据本实施方式，能够汇总生成多个图像(活动图像)，并能够提高由拍摄部20生成的图像的有效利用性。
另外，本发明的适用范围并不限于上述实施方式。
具体而言，例如，光学系统20a、快门20b、反射构件20c、拍摄元件20d的配置不限于上述实施方式，拍摄元件20d接受由反射构件20c反射的光即可。
另外，光学系统20a或快门20b的个数不限于上述实施方式，例如如图15所示，便携式游戏装置1也可以具有4个方向的光学系统20a以及快门20b。这样，便携式游戏装置1能够汇总生成4个活动图像。
另外，便携式游戏装置1不需要具有物理性的快门20b。

Claims (5)

1.一种便携式游戏装置，具有：
基础图像生成单元，基于由距离测量单元测量与由拍摄单元拍摄的图像对应的对象客体和便携式游戏装置之间的距离而获得的距离，控制显示单元显示具有与比规定的距离短的测量距离对应的像素的图像；
根据用户的操作而将所述显示单元显示的图像作为基础图像存储在存储单元的单元；
拍摄对象客体图像生成单元，拍摄作为要被拍摄的对象的拍摄对象客体，生成作为拍摄对象客体的图像的拍摄对象客体图像；
特征量计算单元，通过将存储单元中存储的基础图像和拍摄对象客体图像进行对照，从而计算特征量；
拍摄对象客体距离测量单元，测量拍摄对象客体和便携式游戏装置之间的距离；
拍摄对象客体配置计算单元，基于所述拍摄对象客体图像以及由所述拍摄对象客体距离测量单元测量的距离，并利用由所述特征量计算单元基于拍摄对象客体图像计算的特征量，计算所述拍摄对象客体在实际空间中的配置；
视点数据变更单元，基于由所述拍摄对象客体配置计算单元计算的所述拍摄对象客体在实际空间中的配置，变更在视点数据存储单元中存储的视点数据，该视点数据包含表示虚拟空间中视点的位置的视点位置数据以及表示该视点的视线方向的视线方向数据；以及
虚拟空间显示单元，显示描绘从由视点数据变更单元变更的视点位置数据表示的视点位置、在视点数据所包含的视线方向数据表示的视线方向看到的虚拟空间的图像。
2.如权利要求1所述的便携式游戏装置，
还包括，信息处理执行单元，执行基于所述拍摄对象客体图像以及由所述距离测量单元测量的距离的信息处理，
其中，所述距离测量单元依次测量所述距离，
其中，所述信息处理执行单元根据由所述距离测量单元测量的距离的变化，变更要执行的信息处理的内容。
3.如权利要求1所述的便携式游戏装置，
其中，所述拍摄单元依次对拍摄对象客体进行拍摄，生成拍摄对象客体图像，
其中，所述虚拟空间显示单元根据由所述拍摄单元拍摄的所述拍摄对象客体图像的变化，变更在所述虚拟空间中的所述视点的位置或者朝向的至少一方。
4.如权利要求1所述的便携式游戏装置，其中，
所述拍摄单元和所述距离测量单元一体形成。
5.一种便携式游戏装置的控制方法，包括：
基础图像生成步骤，基于由距离测量单元测量与由拍摄单元拍摄的图像对应的对象客体和便携式游戏装置之间的距离而获得的距离，控制显示单元显示具有与比规定的距离短的测量距离对应的像素的图像；
根据用户的操作而将所述显示单元显示的图像作为基础图像存储在存储单元的步骤；
拍摄对象客体图像生成步骤，拍摄作为要被拍摄的对象的拍摄对象客体，生成作为拍摄对象客体的图像的拍摄对象客体图像；
特征量计算步骤，通过将存储单元中存储的基础图像和拍摄对象客体图像进行对照，从而计算特征量；
拍摄对象客体距离测量步骤，测量拍摄对象客体和便携式游戏装置之间的距离；
拍摄对象客体配置计算步骤，基于所述拍摄对象客体图像以及在所述拍摄对象客体距离测量步骤测量的距离，并利用在所述特征量计算步骤基于拍摄对象客体图像计算的特征量，计算所述拍摄对象客体在实际空间中的配置；
视点数据变更步骤，基于在所述拍摄对象客体配置计算步骤计算的所述拍摄对象客体在实际空间中的配置，变更在视点数据存储单元中存储的视点数据，该视点数据包含表示虚拟空间中视点的位置的视点位置数据以及表示该视点的视线方向的视线方向数据；以及
虚拟空间显示步骤，显示描绘从在视点数据变更步骤变更的视点位置数据表示的视点位置、在视点数据所包含的视线方向数据表示的视线方向看到的虚拟空间的图像。
CN200980125218.7A 2008-06-30 2009-06-22 便携式游戏装置以及便携式游戏装置的控制方法 Active CN102076388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410641351.0A CN104353241B (zh) 2008-06-30 2009-06-22 便携式游戏装置以及便携式游戏装置的控制方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP171767/08 2008-06-30
JP2008171767 2008-06-30
PCT/JP2009/061324 WO2010001756A1 (ja) 2008-06-30 2009-06-22 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410641351.0A Division CN104353241B (zh) 2008-06-30 2009-06-22 便携式游戏装置以及便携式游戏装置的控制方法

Publications (2)

Publication Number Publication Date
CN102076388A CN102076388A (zh) 2011-05-25
CN102076388B true CN102076388B (zh) 2015-04-08

Family

ID=41465856

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200980125218.7A Active CN102076388B (zh) 2008-06-30 2009-06-22 便携式游戏装置以及便携式游戏装置的控制方法
CN201410641351.0A Active CN104353241B (zh) 2008-06-30 2009-06-22 便携式游戏装置以及便携式游戏装置的控制方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410641351.0A Active CN104353241B (zh) 2008-06-30 2009-06-22 便携式游戏装置以及便携式游戏装置的控制方法

Country Status (5)

Country Link
US (1) US9662583B2 (zh)
EP (2) EP2305358B1 (zh)
JP (1) JP5174908B2 (zh)
CN (2) CN102076388B (zh)
WO (1) WO2010001756A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8315443B2 (en) * 2010-04-22 2012-11-20 Qualcomm Incorporated Viewpoint detector based on skin color area and face area
JP4971483B2 (ja) * 2010-05-14 2012-07-11 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法
EP2395474A3 (en) 2010-06-11 2014-03-26 Nintendo Co., Ltd. Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method
JP5632693B2 (ja) * 2010-09-28 2014-11-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
US9507416B2 (en) * 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
JP5261520B2 (ja) * 2011-03-08 2013-08-14 株式会社コナミデジタルエンタテインメント ゲームシステム及び、それに用いる制御方法
JP5829040B2 (ja) 2011-04-11 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5745340B2 (ja) * 2011-06-02 2015-07-08 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5839220B2 (ja) 2011-07-28 2016-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5586545B2 (ja) * 2011-09-09 2014-09-10 任天堂株式会社 ゲームシステム、携帯型ゲーム装置、情報処理部の制御方法、および情報処理部の制御プログラム
JP6255706B2 (ja) 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP6314394B2 (ja) 2013-09-13 2018-04-25 富士通株式会社 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
JP6244954B2 (ja) 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6217437B2 (ja) * 2014-02-14 2017-10-25 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US9804667B2 (en) * 2015-02-10 2017-10-31 Nintendo Co., Ltd. Electronic apparatus
JP6528193B2 (ja) * 2015-02-10 2019-06-12 任天堂株式会社 電子機器
JP2020501617A (ja) * 2016-10-24 2020-01-23 スターアギリス リミテッドＳｔａｒａｇｉｌｉｓ Ｌｉｍｉｔｅｄ 一体型モバイルゲームコントローラ
KR102494681B1 (ko) * 2018-04-13 2023-02-02 삼성전자주식회사 회전 가능한 반사 부재를 갖는 카메라 어셈블리 및 이를 포함하는 전자 장치
US10902685B2 (en) * 2018-12-13 2021-01-26 John T. Daly Augmented reality remote authoring and social media platform and system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351603A (ja) * 2001-05-25 2002-12-06 Mitsubishi Electric Corp 携帯情報処理装置
CN1531304A (zh) * 2003-03-12 2004-09-22 �ձ�������ʽ���� 便携式终端装置及改变其中使用的光照度的方法和程序
JP2006067469A (ja) * 2004-08-30 2006-03-09 Vodafone Kk 電子機器
CN1798593A (zh) * 2004-03-03 2006-07-05 科乐美股份有限公司 游戏软件和游戏机
JP2008502206A (ja) * 2004-06-04 2008-01-24 エレクトロニック アーツ インコーポレイテッド デュアル・カメラ入力を用いたセンサ

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4681415A (en) * 1985-11-01 1987-07-21 Rafael Beer Multiple image photography system
JP3558104B2 (ja) * 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
US6144366A (en) 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
GB2326732B (en) * 1997-06-28 2000-06-28 Malcolm Bailey Three dimensional imaging
WO1999035633A2 (en) 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
US7023479B2 (en) * 2000-05-16 2006-04-04 Canon Kabushiki Kaisha Image input apparatus having addition and subtraction processing
JP2002084552A (ja) 2000-09-07 2002-03-22 Fuji Xerox Co Ltd カラオケ用立体画像表示装置およびカラオケ用立体画像表示方法
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
JP4262017B2 (ja) 2002-09-26 2009-05-13 キヤノン株式会社 画像生成装置及びその方法
TWI231050B (en) * 2003-09-29 2005-04-11 Primax Electronics Ltd Moveable mirror module for an image capturing apparatus capable of taking multi angle pictures
CN2731484Y (zh) * 2004-08-07 2005-10-05 鸿富锦精密工业（深圳）有限公司 数码相机模组
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
JP4664690B2 (ja) 2005-01-20 2011-04-06 パイオニア株式会社 立体表示装置及び立体表示方法
GB0505362D0 (en) * 2005-03-15 2005-04-20 Intelligent Earth Ltd Interface control
US20060223635A1 (en) * 2005-04-04 2006-10-05 Outland Research method and apparatus for an on-screen/off-screen first person gaming experience
JP2008033521A (ja) * 2006-07-27 2008-02-14 Namco Bandai Games Inc プログラム、情報記憶媒体、及び画像生成システム
US20080211771A1 (en) * 2007-03-02 2008-09-04 Naturalpoint, Inc. Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment
US20090002797A1 (en) * 2007-06-27 2009-01-01 Wah Yiu Kwong Multi-directional camera for a mobile device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351603A (ja) * 2001-05-25 2002-12-06 Mitsubishi Electric Corp 携帯情報処理装置
CN1531304A (zh) * 2003-03-12 2004-09-22 �ձ�������ʽ���� 便携式终端装置及改变其中使用的光照度的方法和程序
CN1798593A (zh) * 2004-03-03 2006-07-05 科乐美股份有限公司 游戏软件和游戏机
JP2008502206A (ja) * 2004-06-04 2008-01-24 エレクトロニック アーツ インコーポレイテッド デュアル・カメラ入力を用いたセンサ
JP2006067469A (ja) * 2004-08-30 2006-03-09 Vodafone Kk 電子機器

Also Published As

Publication number Publication date
JP5174908B2 (ja) 2013-04-03
EP2305358A4 (en) 2011-08-03
EP2457627A2 (en) 2012-05-30
CN102076388A (zh) 2011-05-25
EP2305358A1 (en) 2011-04-06
JPWO2010001756A1 (ja) 2011-12-15
CN104353241A (zh) 2015-02-18
EP2457627A3 (en) 2012-07-11
US20110159957A1 (en) 2011-06-30
WO2010001756A1 (ja) 2010-01-07
CN104353241B (zh) 2017-08-25
US9662583B2 (en) 2017-05-30
EP2457627B1 (en) 2014-06-25
EP2305358B1 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
CN102076388B (zh) 便携式游戏装置以及便携式游戏装置的控制方法
US9495800B2 (en) Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
ES2718493T3 (es) Procedimiento de captura y visualización de aspectos
US9623332B2 (en) Method and device for augmented reality message hiding and revealing
JP7368886B2 (ja) 情報処理システム、情報処理方法、および情報処理プログラム
US8648871B2 (en) Storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method
JP5791433B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
US8384770B2 (en) Image display system, image display apparatus, and image display method
CN109479114A (zh) 光场捕获
JP2012058968A (ja) プログラム、情報記憶媒体及び画像生成システム
US9196078B2 (en) System and methods for displaying virtual space including a silhouette image
US8749571B2 (en) Storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method
US20120309529A1 (en) Apparatus and method for controlling objects on a stereoscopic display
US9022864B2 (en) Apparatus and method for controlling objects on a stereoscopic display
EP2565848B1 (en) Program, information processing apparatus, information processing system, and information processing method
US20130215112A1 (en) Stereoscopic Image Processor, Stereoscopic Image Interaction System, and Stereoscopic Image Displaying Method thereof
US20120293549A1 (en) Computer-readable storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method
EP2442280B1 (en) Blending a real world with a virtual world
CN105763829A (zh) 一种图像处理方法及电子设备
CN108830943A (zh) 一种图像处理方法及虚拟现实设备
CN106534633A (zh) 一种组合摄像系统、移动终端及图像处理方法
CN110096144A (zh) 一种基于三维重建的交互全息投影方法及系统
JP2012234411A (ja) 画像生成装置、画像生成システム、画像生成プログラムおよび画像生成方法
CN112915536A (zh) 虚拟模型的渲染方法和装置
KR100745290B1 (ko) 휴대 단말기에서의 아바타 생성방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SONY COMPUTER ENTERTAINMENT, INC.

Free format text: FORMER OWNER: SNE PLATFORM INC.

Effective date: 20120828

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: SNE platform Limited by Share Ltd.

Address before: Tokyo, Japan

Applicant before: Sony Computer Entertainment Inc.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SONY COMPUTER ENTERTAINMENT INC. TO: SNE PLATFORM INC.

TA01 Transfer of patent application right

Effective date of registration: 20120828

Address after: Tokyo, Japan

Applicant after: SONY COMPUTER ENTERTAINMENT Inc.

Address before: Tokyo, Japan

Applicant before: SNE platform Limited by Share Ltd.

C14 Grant of patent or utility model
GR01 Patent grant