具体实施方式
以下基于附图详细说明本发明的一实施方式。
图1是表示本实施方式的便携式游戏装置1的一例的立体图。图2是表示图1所示的便携式游戏装置1的硬件结构的一例的硬件结构图。如图1以及图2所示,本实施方式的便携式游戏装置1的筐体10的形状是箱型。并且,本实施方式的便携式游戏装置1具有控制部12、存储部14、显示部16、操作部18、拍摄部20、距离测量部22、通信部24。
控制部12是CPU等程序控制设备,按照存储部14中保存的程序(例如游戏程序)动作。
存储部14是RAM等存储元件、硬盘等。在存储部14中,保存由控制部12执行的程序等。具体而言,例如,保存由控制部12执行的游戏程序。该游戏程序例如经由盘、CD-ROM、DVD-ROM等信息传递媒介,或者经由因特网等通信网络,提供给便携式游戏装置1。另外,存储部14还作为控制部12的工作存储器动作。
显示部16例如是液晶显示器等,根据来自控制部12的指示进行图像的显示。在本实施方式中,显示部16被设置在便携式游戏装置1的筐体10的正面中央部。这里,控制部12也可以对显示部16一并指示所显示的图像的分辨率或纵横(aspect)比等属性。另外,控制部12可以根据在要执行的程序中包含的、表示图像的分辨率和纵横比等属性的属性信息的内容,来指示显示部16所要显示的图像的属性。
操作部18例如为操作构件(具体而言,例如为十字键或按钮),将与对该操作部件的操作对应的输出数据输出到控制部12。控制部12通过获得该输出数据,使用该输出数据,执行玩家对操作构件的操作所对应的处理。在本实施方式中,操作部18被设置在便携式游戏装置1的显示部16的左右。即,操作部18被分开配置在便携式游戏装置1的筐体10的正面左侧以及正面右侧。
拍摄部20例如包含公知的数字摄像机而构成,每规定时间(例如1/60秒)生成黑白、灰度(gray scale)或彩色的图像(例如JPEG形式的图像)。另外,拍摄部20为标准摄像机、望远摄像机、广角摄像机都可以。在本实施方式中,拍摄部20被设置在显示部16的上侧。即,拍摄部20被设置在筐体10的正面中央附近上侧。
距离测量部22测量便携式游戏装置1和在其外部存在的外部客体之间的距离。距离测量部22例如测量由便携式游戏装置1的正面形成的平面和外部客体之间的距离(更具体而言,例如从外部客体起下垂到由便携式游戏装置1的正面形成的平面的垂线的长度)。并且,距离测量部22对于由拍摄部20生成的图像中所包含的各个像素,将与该像素对应的外部客体上的点和便携式游戏装置1之间的距离与其建立对应。距离测量部22,具体而言例如是由多个透镜构成的立体摄像机,基于各个透镜的视差,测量外部客体和便携式游戏装置之间的距离。距离测量部22当然不限于立体摄像机,距离测量部22也可以输出红外线,测量到该红外线被拍摄对象客体反射而返回为止的时间,基于该测量出的时间,测量外部客体和便携式游戏装置之间的距离。另外,距离测量部22也可以由焦距不同的多个透镜构成,基于这些透镜中对于外部客体合焦的透镜,测量外部客体和便携式游戏装置1之间的距离。另外,在本实施方式中,距离测量部22与拍摄部20一体形成,并被设置在显示部16的上侧。即,距离测量部22被设置在正面中央附近上侧。
通信部24例如为因特网接口等(具体而言例如为无线LAN模块),根据从控制部12输入的指示,对其它便携式游戏装置1或者因特网上的服务器(未图示)等发送信息。另外,该通信部24将所接收到的信息输出到控制部12。
在本实施方式中,便携式游戏装置1执行虚拟空间显示处理,即基于图3所示的虚拟空间26(在本实施方式中为虚拟三维空间)中的各个虚拟客体28的位置、视点30的位置以及视线方向32,如图4A~图4C和图5A~图5C所示那样,生成与便携式游戏装置1前的玩家34的面部位置或朝向对应的图像,并显示所生成的图像。
具体而言,例如玩家34的面部若前进(参照图4A),则虚拟空间26中的视点30前进,如图4B所示那样的虚拟空间26的图像被显示在液晶显示器等显示部16上。另一方面,若玩家34的面部后退(参照图4A),则虚拟空间26中的视点30后退,如图4C所示那样的虚拟空间26的图像被显示在显示部16上。
并且,若玩家34的面部相对于便携式游戏装置1逆时针方向转动(参照图5A),则虚拟空间26中的视点30和视线方向32逆时针方向转动,如图5B所示那样的虚拟空间26的图像被显示在显示部16上。另一方面,若玩家34的面部相对于便携式游戏装置1顺时针方向转动(参照图5A),则虚拟空间26中的视点30和视线方向32顺时针方向转动,如图5C所示那样的虚拟空间26的图像被显示在显示部16上。
图6是本发明的、该实施方式的便携式游戏装置1的功能方框图。如图6所示,该实施方式的便携式游戏装置1在功能性方面作为包含如下部分的装置而起作用:虚拟空间数据存储部40、视点数据存储部42、基础图像生成部44、特征量计算部46、基础图像存储部48、基础图像通信部50、拍摄对象客体图像生成部52、拍摄对象客体距离测量部54、信息处理执行部56(拍摄对象客体配置计算部56a、视点数据变更部56b以及虚拟空间显示部56c)。
虚拟空间数据存储部40主要由存储部14实现。虚拟空间数据存储部40存储例如图3所示那样的、表示虚拟空间26中的各个虚拟客体28的位置(例如坐标值)的虚拟客体位置数据。具体而言,例如如图3所示,虚拟空间数据存储部40存储表示相当于房间的房间虚拟客体28a的位置、球形的球体虚拟客体28b的位置以及长方体形状的盒子(box)虚拟客体28c的位置的虚拟客体位置数据(例如各个顶点的三维坐标值、球的中心的三维坐标值以及半径的长度等)。如图3所示,在该虚拟空间26中,在相当于房间的箱型的房间虚拟客体28a的内部配置球形的球体虚拟客体28b和长方体形状的盒子虚拟客体28c。并且,球体虚拟客体28b被配置在房间虚拟客体28a的下表面上,盒子虚拟客体28c被配置为与房间虚拟客体28a的上表面接触。
视点数据存储部42主要由存储部14实现。视点数据存储部42存储视点数据,该视点数据包含例如表示图3所示那样的虚拟空间26中的视点30的位置(例如三维坐标值)的视点位置数据和表示该视点30的视线方向32的视线方向数据。
基础图像生成部44主要由拍摄部20、控制部12和操作部18实现。基础图像生成部44生成例如图7所示那样的、表示玩家34的图像(玩家基础图像60)等的基础图像。
具体而言,例如基础图像生成部44每规定时间依次生成图像,并进行控制,使得所生成的图像与框图像62一起依次显示在显示部16上。此时,玩家34使便携式游戏装置1移动,使得自己的面部的图像(面部图像64)进入框图像62中。此时,即使玩家34自身移动当然也没关系。这里,玩家34若操作操作部18(例如按下按钮),则基础图像生成部44将在显示部16的框图像62内所显示的图像作为玩家基础图像60,存储在后面叙述的基础图像存储部48中。
另外,玩家34也可以通过操作操作部18,能够变更图7所示的、在显示部16中显示的框图像62的位置和大小。
另外,距离测量部22测量与由拍摄部拍摄的图像对应的外部客体和便携式游戏装置1之间的距离,基础图像生成部44可以控制显示部16,对与比规定的距离短的测量距离对应的像素,显示其图像。另外,在显示部16显示图像时,基础图像生成部44也可以控制显示部16,以赋予与距离测量部22测量的距离对应的视频效果。具体而言,例如在显示部16显示图像时,基础图像生成部44也可以控制显示部16,以赋予将面部浸在水中这样的视频效果或者面部从黑暗中浮现出来这样的视频效果。
另外,在便携式游戏装置1具有闪光灯或灯的情况下,基础图像生成部44在生成图像时,可以照射闪光灯或灯。由此,在暗的状况下,基础图像生成部44也能够生成基础图像。
特征量计算部46主要由控制部12实现。特征量计算部46使用公知的图形识别技术等图像处理技术等,基于图7所示的玩家基础图像60,计算表示玩家34的特征的特征量。这里,作为特征量,具体而言,例如举出面部图像64、皮肤的颜色(RGB值和HSV值)、嘴唇的位置、大小和颜色(RGB值和HSV值)、眼睛的位置、大小和间隔、鼻子的位置、大小和高度、眉毛的位置、高度、宽度和颜色(RGB值和HSV值)、发型、头发的颜色等。
另外,特征量计算部46也根据后面叙述的拍摄对象客体图像计算特征量。关于特征量计算部46根据拍摄对象客体图像计算特征量的方面,将在后面叙述。
基础图像存储部48主要由存储部14实现。基础图像存储部48存储由基础图像生成部44生成的基础图像(在本实施方式中为玩家基础图像60)。基础图像存储部48可以将基础图像和特征量计算部46根据该基础图像计算出的特征量建立关联来存储。
另外,基础图像存储部48也可以不是存储1张图像,而是将多个图像建立关联来存储。另外,基础图像存储部48也可以将动作图像(motion portrait)这样的合成图像作为基础图像来存储。另外,基础图像存储部48也可以存储喜怒哀乐等多个表情的玩家基础图像60。具体而言,例如,基础图像存储部48不仅存储玩家43正面朝向便携式游戏装置1时的玩家基础图像60,也可以将上下左右朝向便携式游戏装置1时的玩家基础图像60相互建立关联来存储。
另外,基础图像存储部48也可以对多个种类的外部客体,将该外部客体的基础图像与用于识别该外部客体的客体识别符建立关联来存储。具体而言,对于多个玩家34,基础图像存储部48也可以将该玩家34的玩家基础图像60与该玩家34的ID、名字等建立关联来存储。
另外,基础图像存储部48也可以将表示由距离测量部22测量出的距离的数据与基础图像内的各个像素建立关联来存储。
基础图像通信部50主要由控制部12和通信部24实现。基础图像通信部50也可以将基础图像存储部48中存储的基础图像经由通信部24发送到因特网上的服务器(未图示),并存储在该服务器具有的存储装置中。另外,基础图像通信部50也可以将表示是否公开发送到服务器的基础图像的可否公开信息经由通信部24发送到服务器。
另外,服务器可以通过将与存储的各个基础图像建立了关联的特征量进行平均等,生成平均基础图像(例如平均面部图像)。另外,也可以由便携式游戏装置1的玩家34经由通信部24可以下载被设定为公开的基础图像、平均基础图像。
拍摄对象客体图像生成部52主要由拍摄部20实现。拍摄对象客体图像生成部52拍摄作为要被拍摄的对象的拍摄对象客体,生成拍摄对象客体图像。在本实施方式中,具体而言,例如,拍摄对象客体图像生成部52生成图8所示的玩家图像66。另外,如图8所示,在玩家图像66中也可以包含多个玩家34的面部图像64(第1玩家34-1的第1面部图像64-1以及第2玩家34-2的第2面部图像64-2)。当然,拍摄对象客体图像生成部52生成的图像不限定于玩家图像66。另外,拍摄对象客体图像生成部52可以依次对拍摄对象客体进行拍摄,生成拍摄对象客体图像。
另外,在便携式游戏装置1具有闪光灯或灯的情况下,拍摄对象客体图像生成部52在生成图像时可以照射闪光灯或灯。这样,即使在暗的状况下,拍摄对象客体图像生成部52也能够生成拍摄对象客体图像,特征量计算部46能够根据拍摄对象客体图像计算特征量。
并且,上述的特征量计算部46使用公知的图形识别技术等图像处理技术等,基于由拍摄对象客体图像生成部52生成的拍摄对象客体图像(例如玩家图像66),计算上述那样的特征量。
特征量计算部46此时也可以通过将基础图像存储部48中存储的基础图像(例如玩家基础图像60)和拍摄对象客体图像(例如玩家图像66)进行对照,从而计算特征量。具体而言,例如如图8所示,在由拍摄对象客体图像生成部52生成的玩家图像66中包含多个玩家34的图像的情况下,特征量计算部46可以将该玩家图像66和与特定的玩家34(这里为第1玩家34-1)的ID等识别符建立了关联的玩家基础图像60进行对照,使用公知的图形识别技术等,根据玩家图像66计算特定的玩家34的面部图像64(在这里为第1面部图像64-1)。
拍摄对象客体距离测量部54主要由距离测量部22实现。拍摄对象客体距离测量部54测量上述的拍摄对象客体和便携式游戏装置1之间的距离。在本实施方式中,具体而言,例如测量玩家34(更具体而言例如玩家34的表面)和便携式游戏装置1之间的距离(玩家距离)。另外,拍摄对象客体距离测量部54也可以依次测量拍摄对象客体和便携式游戏装置1之间的距离。拍摄对象客体距离测量部54对于拍摄对象客体图像(例如玩家图像66)中包含的各个像素,将关于与该像素对应的拍摄对象客体(例如玩家34)上的点的玩家距离与其建立对应。
信息处理执行部56主要由控制部12和显示部16实现。信息处理执行部56执行基于拍摄对象客体对象(例如玩家图像66)以及由拍摄对象客体距离测量部54测量的距离的信息处理。具体而言,例如信息处理执行部56执行将基于由拍摄对象客体距离测量部54测量的距离的图像显示在显示部16的信息处理。并且,在本实施方式中,信息处理执行部56包含拍摄对象客体配置计算部56a、视点数据变更部56b以及虚拟空间显示部56c。
拍摄对象客体配置计算部56a基于拍摄对象客体图像(例如玩家图像66)和由拍摄对象客体距离测量部54测量的距离(例如玩家距离),计算拍摄对象客体(例如玩家34)在实际空间中的配置。这里,拍摄对象客体配置计算部56a可以使用由特征量计算部46基于拍摄对象客体图像(例如玩家图像66)计算出的特征量,计算拍摄对象客体(例如玩家34)在实际空间中的配置。另外,拍摄对象客体配置计算部56a也可以依次计算拍摄对象客体在实际空间中的配置。具体而言,拍摄对象客体配置计算部56a计算例如玩家34的面部在实际空间中相对于便携式游戏装置1的相对的坐标值(例如三维坐标值)以及相对于便携式游戏装置1的朝向(例如x轴方向的转动量、y轴方向的转动量以及z轴方向的转动量)。
视点数据变更部56b基于由拍摄对象客体距离测量部54测量出的距离,变更在视点数据存储部42中存储的视点数据。在拍摄对象客体距离测量部54依次测量拍摄对象客体和便携式游戏装置1之间的距离的情况下,视点数据变更部可以根据该距离的变化变更表示虚拟空间26中的视点30的位置的视点数据。
这里,视点数据变更部56b可以根据拍摄对象客体图像(例如玩家图像66)的变化,变更虚拟空间26中的视点30的位置或者朝向(视线方向32)的至少一方。即,视点数据变更部56b可以根据拍摄对象客体图像(例如玩家图像66)的变化,变更在视点数据存储部42中存储的视点位置数据和视线方向数据的至少一方。
在本实施方式中,视点数据变更部56b基于由拍摄对象客体配置计算部56a计算出的、拍摄对象客体(例如玩家34)在实际空间中的配置,变更在视点数据存储部42中存储的视点数据。具体而言,例如视点数据变更部56b基于玩家34的面部在实际空间中相对于便携式游戏装置1的相对坐标值(例如三维坐标值)、相对于便携式游戏装置1的朝向(例如x轴方向的转动量、y轴方向的转动量以及z轴方向的转动量),变更在视点数据存储部42中存储的视点数据。
另外,在由拍摄对象客体配置计算部56a计算出拍摄对象客体相对于便携式游戏装置1配置在近处(或者远处)时,视点数据变更部56b将虚拟空间26内的视点30向前侧(或者后侧)变更即可。另外,在由拍摄对象客体配置计算部56a计算出拍摄对象客体正在接近(或者正在远离)便携式游戏装置1时,视点数据变更部56b使虚拟空间26内的视点30前进(或者后退)即可。
另外,在由拍摄对象客体配置计算部56a计算出拍摄对象客体相对于便携式游戏装置1相对地配置在右侧(或者左侧)时,视点数据变更部56b将虚拟空间26内的视点30向右侧(或者左侧)变更即可。
另外,在由拍摄对象客体配置计算部56a计算出拍摄对象客体相对于便携式游戏装置1相对地配置在右侧(或者左侧)时,视点数据变更部56b使虚拟空间26内的视点30向右侧(或者左侧)变更即可。
另外,在由拍摄对象客体配置计算部56a计算出拍摄对象客体相对于便携式游戏装置1相对地向逆时针方向(或者顺时针方向)转动时,视点数据变更部56b使虚拟空间26内的视点30的视线方向32向逆时针方向(或者顺时针方向)转动即可。
虚拟空间显示部56c根据在虚拟空间26中配置的视点30的位置,生成图3所示的虚拟空间26的图像,并显示所生成的虚拟空间26的图像。具体而言,例如,关于虚拟空间26,显示从由视点数据变更部56b变更后的视点数据中包含的视点位置数据所表示的视点30的位置观看在视点数据中所包含的视线方向数据表示的视线方向32的情况的图像。
另外,由信息处理执行部56执行的信息处理并不限于由拍摄对象客体配置计算部56a、视点数据变更部56b以及虚拟空间显示部56c执行的信息处理。例如距离测量部22依次测量拍摄对象客体和便携式游戏装置1之间的距离,信息处理执行部56根据该测量出的距离的变化,执行变更由控制部12执行的处理的内容的处理也可以。另外,信息处理执行部56执行的信息处理也不限于在显示部16显示信息的信息处理。
接着,参照图9所示的流程图说明如下的处理的流程的一例:在规定的玩家34的玩家基础图像60和从该玩家基础图像60提取出的玩家34的面部图像64建立关联,并存储在基础图像存储部48的情况下,在该玩家34存在于便携式游戏装置1前时,显示与该玩家34的面部的位置以及朝向对应的虚拟空间26的图像。另外,此时,在存储部14中存储表示图3所示的虚拟空间26中的各个虚拟客体28的位置(例如坐标值)的虚拟客体位置数据。另外,在视点数据存储部42中存储视点数据,该视点数据包含表示虚拟空间26中的视点30的位置(例如坐标值)的视点位置数据和表示该视点30的视线方向32的视线方向数据。另外,在该处理例中,拍摄部20是可变帧频的高帧频摄像机。
首先,拍摄对象客体图像生成部52生成该玩家34的玩家图像66(S101)。
然后,特征量计算部46将玩家图像66和该玩家34的玩家基础图像60进行对照,从而计算该玩家34的面部、双眼、鼻子以及嘴的图像(S102)。
然后,特征量计算部46计算该玩家34的双眼间、眼睛和鼻子、鼻子和嘴中的至少一个的玩家图像66的长度(S103)。
然后,拍摄对象客体距离测量部54测量玩家34的双眼、鼻子、以及嘴与便携式游戏装置1之间的距离(玩家距离),从而与在玩家图像66中包含的各个像素建立对应(S104)。
然后,拍摄对象客体配置计算部56a基于玩家图像66和玩家距离,计算该玩家34在实际空间中的配置(S105)。具体而言,计算玩家34的面部分别关于x轴方向、y轴方向、z轴方向的、相对于便携式游戏装置1的相对的转动量,以及玩家34的面部相对于便携式游戏装置1的相对的坐标值。
然后,视点数据变更部56b基于根据在S105所示的处理中计算出的三维坐标值确定的、该玩家34的面部的位置以及朝向,变更在视点数据存储部42中存储的、表示虚拟空间26中的视点30的位置的视点位置数据、和表示视线方向32的视线方向数据中的至少一个(S106)。
然后,虚拟空间显示部56c在虚拟空间26中显示图像,该图像表示从在S105所示的处理中所变更的视点数据中包含的视点位置数据表示的视点30的位置,观看视线方向数据表示的视线方向32的情况(S107)。另外,此时,显示部16也可以用基于来自控制部12的指示的分辨率或纵横比等属性显示图像。
这样,对于各个帧,表示观察虚拟空间26的情况的图像被显示在液晶显示器等显示部16。
在上述的处理例的、S102以及S103所示的处理中,在特征量计算部46不能计算玩家34的面部、双眼、鼻子以及嘴的图像、或者眼睛和眼睛、眼睛和鼻子、鼻子和嘴中的至少一个在玩家图像66中的长度这样的特征量时,虚拟空间显示部56c也可以在液晶显示器等的显示部16上显示根据在液晶显示器等的显示部16上之前所显示的图像而类推的图像。
另外,在上述的情况下,也可以提高拍摄部20的帧频再次执行S101~S103所示的处理。此时,即使将S101~S103所示的处理执行规定的次数,也不能基于玩家图像66计算特征量的情况下,也可以将在液晶显示器等的显示部16上之前显示的图像显示在液晶显示器等的显示部16上。另外,此时,预先在存储部14中存储错误计数数据,在即使将S101~S103中所示的处理执行规定的次数,也不能基于玩家34计算特征量的情况下,控制部12也可以将错误计数数据的值增加1。并且,在不能基于玩家图像66计算特征量的时间超过规定的时间,或者错误计数数据的值超过规定值时,控制部12也可以将错误消息显示在显示部16上。另外,在便携式游戏装置1具有内置振动器(vibrator)、扬声器或者LED的情况下,在不能基于玩家图像66计算特征量的时间超过规定的时间,或者错误计数数据的值超过了规定值时,控制部12也可以使振动器振动,或者从便携式游戏装置1具有的扬声器发生警告声,或者使便携式游戏装置1具有的LED闪烁。
接着,以下说明将上述实施方式应用于将棋游戏的例子。
如图10所示,相对便携式游戏装置1,面对面存在第1玩家34-1和第2玩家34-2。并且,在便携式游戏装置1的显示部16显示将棋盘图像68。该将棋盘图像68为上述虚拟空间26内的虚拟客体28的一例。
并且,在轮到第1玩家34-1走棋(手番)时,根据第1玩家34-1的面部相对于便携式游戏装置1的相对的位置以及朝向,控制部12控制显示部16以显示将棋盘图像68。这样的话,从第2玩家34-2方面难以看到将棋盘图像68。另一方面,在轮到第2玩家34-2走棋时,根据第2玩家34-2的面部相对于便携式游戏装置1的相对的位置以及朝向,控制部12控制显示部16以显示将棋盘图像68。这样的话,从第1玩家34-1方面难以看到将棋盘图像68。
另外,也可以将本实施方式应用于第一人称视点射击游戏(FPS)游戏。具体而言,例如在不能通过特征量计算部46计算玩家34的面部的图像的情况下,控制部12也可以执行躲避子弹或攻击,或者装子弹的游戏处理。
另外,在游戏中的认证处理中,也可以应用本实施方式的便携式游戏装置1。具体而言,例如,在游戏的标题(title)画面显示在显示部16上时,如果玩家34将面部靠近便携式游戏装置1的拍摄部20,则控制部12也可以基于特征量计算部46根据拍摄对象客体图像生成部52生成的玩家图像66而计算出的特征量,确定将面部靠近的玩家34,进行该玩家34的认证。此时,在不能确定玩家34的情况下,控制部12也可以将该玩家34认证为匿名玩家。此时,在便携式游戏装置1中,也可以能够更新玩家基础图像60。也可以是便携式游戏装置1的控制部12在开始各种信息处理时,能够利用这样的玩家基础图像60的更新功能。
根据本实施方式,能够进行接近真实世界的感觉的三维的视频表现,并能够提高由拍摄部20生成的图像的有效利用性。
接着,基于附图详细说明本发明的另一实施方式。
本实施方式的便携式游戏装置1的硬件结构与图2所示的一样。
图11A是本实施方式的便携式游戏装置1的正视图。图11B是本实施方式的便携式游戏装置1的俯视图。图11C是本实施方式的便携式游戏装置1的后视图。
图12A、图12B、图13A以及图13B是表示本实施方式的便携式游戏装置1的拍摄部20的结构的概要的一例的概要图。如图12A、图12B、图13A以及图13B所示,本实施方式的便携式游戏装置1的拍摄部20包含如下部分构成:光学系统20a(前方光学系统20a-1、后方光学系统20a-2以及上方光学系统20a-3)、快门(shutter)20b(前方快门20b-1、后方快门20b-2以及上方快门20b-3)、反射构件20c(第1反射构件20c-1以及第2反射构件20c-2)、以及拍摄元件20d。
在本实施方式中,前方光学系统20a-1设置在便携式游戏装置1的正面中央附近上侧,后方光学系统20a-2设置在便携式游戏装置1的背面中央附近上侧,上方光学系统20a-3设置在比便携式游戏装置1的上侧面中央稍左侧。各个光学系统20a可以由一个透镜构成,也可以由多个透镜构成。另外,不管构成各个光学系统20a的透镜的种类,例如标准透镜、广角透镜、望远透镜都可以。
在本实施方式中,前方快门20b-1设置在前方光学系统20a-1的内侧,后方快门20b-2设置在后方光学系统20a-1的内侧,上方快门20b-3设置在上方光学系统20a-3的内侧。另外,这些快门20b也可以设置在光学系统20a的外侧。
反射构件20c是反射光的构件,例如是镜子。在本实施方式中,反射构件20c是板状,并设置在便携式游戏装置1的内部。
拍摄元件20d例如是CCD图像传感器、CMOS图像传感器等,接受由反射构件20c反射的光,生成图像(图像数据)。具体而言,拍摄元件20d接受光,通过光电变换生成电信号,基于该电信号生成图像(图像数据)。
并且,第1反射构件20c-1以由第1反射构件20c-1形成的平面为铅直方向的方式被设置在便携式游戏装置1的内部的上方中央附近的内部。第1反射构件20c-1以能够在将透过前方光学系统20a-1或后方光学系统20a-2的光朝向拍摄元件20d反射的各个反射构件位置间移动的方式被支撑。在本实施方式中,第1反射构件20c-1以能够以铅直方向的轴为中心旋转的方式被支撑。具体而言,铅直方向的支撑构件(未图示)贯通第1反射构件20c-1,该支撑构件支撑第1反射构件20c-1,使其可旋转。
在本实施方式中,第1反射构件20c-1以能够在将透过前方光学系统20a-1的光朝向拍摄元件20d反射的前方反射构件位置(在图12A中,配置第1反射构件20c-1的位置)和将透过后方光学系统20a-2的光朝向拍摄元件20d反射的后方反射构件位置(在图12B中,配置第1反射构件20c-1的位置)之间旋转的方式被支撑。
并且,在第1反射构件20c-1移动到前方反射构件位置时,前方快门20b-1打开,在移动到后方反射构件位置时,后方快门20b-2打开。
另外,便携式游戏装置1例如具有致动器(actuator)等反射构件驱动部(未图示),该反射构件驱动部也可以驱动第1反射构件20c-1,使其在各个反射构件位置之间移动。另外,控制部12也可以驱动反射构件驱动部。此时,在拍摄元件20d接受光而生成图像的定时,反射构件驱动部也可以驱动第1反射构件20c-1,使第1反射构件20c-1移动到任意一个反射构件位置。
在本实施方式中,通过便携式游戏装置1的控制部12使反射构件20c和快门20b动作,从而拍摄部20以规定的帧频拍摄拍摄对象客体,生成拍摄对象客体图像。
图13A表示在上方快门20b-3打开的状况下,从上方观看拍摄部20的构造的概略。另外,图13B表示在上方快门20b-3打开的状况下,从前方观看拍摄部20的构造的概略。如图13A以及图13B所示,第2反射构件20c-2的反射面被相对水平方向倾斜配置,并设置在比便携式游戏装置1的上方中央稍左侧,使得第2反射构件20c-2将透过上方光学系统20a-3的光朝向拍摄元件20d反射。
接着,参照图14所示的流程图说明在本实施方式中生成活动图像的处理的流程的一例。
首先,反射构件驱动部使第1反射构件20c-1移动到前方反射构件位置(S201)。
然后,控制部12开闭前方快门20b-1(S202)。
于是,第1反射构件20c-1将透过前方光学系统20a-1以及前方快门20b-1的光朝向拍摄元件20d反射,拍摄元件20d接受该光,生成图像(S203)(参照图12A)。
然后,反射构件驱动部使第1反射构件20c-1移动到后方反射构件位置(S204)。
然后,控制部12开闭后方快门20b-2(S205)。
于是,第1反射构件20c-1将透过后放光学系统20a-2以及后方快门20b-2的光朝向拍摄元件20d反射,拍摄元件20d接受该光,生成图像(S206)(参照图12B)。
然后,反射构件驱动部使第1反射构件20c-1移动,使得第1反射构件20c-1的反射面与便携式游戏装置1的长边方向大致平行(S207)。
然后,控制部12开闭上方快门20b-3(S208)。
于是,第2反射构件20c-2将透过上方光学系统20a-3以及上方快门20b-3的光朝向拍摄元件20d反射,拍摄元件20d接受该光,生成图像(S209)(参照图13A以及图13B)。
并且,在重复了S201~S209的处理后,控制部12组合在S203的处理中生成的一连串的图像而生成活动图像。另外,控制部12也组合在S206的处理中生成的一连串的图像而生成其它的活动图像。另外,控制部12还组合在S209的处理中生成的一连串的图像,生成其它的活动图像。这样,本实施方式的便携式游戏装置1能够拍摄不同方向的拍摄对象客体,汇总生成拍摄对象客体图像,因此,能够提高由拍摄部20生成的图像的有效利用性。
并且,例如在本实施方式的便携式游戏装置1具有的拍摄部20的帧频为240fps的情况下,通过上述实施例所示的处理,便携式游戏装置1汇总生成帧频为80fps的三个活动图像(前方活动图像、后方活动图像以及上方活动图像)。
另外,上述的处理例只不过是生成活动图像的处理的一例,例如,反射构件驱动部根据上述的规则以外的预先规定的规则,驱动第1反射构件20c-1,使其在各个反射构件位置间移动,从而本实施方式的便携式游戏装置1能够生成各种活动图像。
具体而言,例如,通过重复在上述的处理例中S201~S206所示的处理,从而在本实施方式的便携式游戏装置1具有的拍摄部20的帧频为240fps的情况下,便携式游戏装置1汇总生成帧频为120fps的两个活动图像(前方活动图像以及后方活动图像)。
另外,通过重复执行将S201~S203所示的处理重复执行两次后,将S204~S206所示的处理执行一次的处理,在本实施方式的便携式游戏装置1具有的拍摄部20的帧频为240fps的情况下,便携式游戏装置1汇总生成帧频为160fps的活动图像(前方活动图像)和帧频为80fps的活动图像(后方活动图像)。
本发明考虑各种应用例。例如,考虑与上述的实施方式所示的虚拟空间显示处理相组合,显示表现了扩展现实的图像。具体而言,例如,首先拍摄部20拍摄在后方光学系统20a-2的方向配置的客体(例如图像或字符等)。然后,控制部12基于拍摄到的客体,生成表示虚拟客体28的位置的虚拟客体位置数据。然后,虚拟空间数据存储部40存储该虚拟客体位置数据。然后,拍摄部20拍摄前方光学系统20a-1的方向的拍摄对象客体。然后,视点数据变更部56b基于该拍摄对象客体,变更在视点数据存储部42中存储的视点数据。然后,虚拟空间显示部56c将根据变更后的视点30的位置所生成的虚拟空间26的图像显示在液晶显示器等显示部16上。这样,考虑显示表现了扩展现实的图像。
或者,通过与公知的模式识别技术相组合,能够容易地生成跟踪在各种方向上移动的拍摄对象客体的活动图像。
这样,根据本实施方式,能够汇总生成多个图像(活动图像),并能够提高由拍摄部20生成的图像的有效利用性。
另外,本发明的适用范围并不限于上述实施方式。
具体而言,例如,光学系统20a、快门20b、反射构件20c、拍摄元件20d的配置不限于上述实施方式,拍摄元件20d接受由反射构件20c反射的光即可。
另外,光学系统20a或快门20b的个数不限于上述实施方式,例如如图15所示,便携式游戏装置1也可以具有4个方向的光学系统20a以及快门20b。这样,便携式游戏装置1能够汇总生成4个活动图像。
另外,便携式游戏装置1不需要具有物理性的快门20b。