CN103218733B - 便携式终端装置、玩具、扩展现实感系统以及方法 - Google Patents

Abstract

一种便携式终端装置、玩具、扩展现实感系统以及方法，不需要透视变换技术而简单地生成扩展现实图像，通过再现与消费者所购入的玩具有关的扩展现实图像来提高趣向、获得玩具的促进销售的效果。便携式终端装置(20)(演出控制部(273))生成与各模型设置用底座(11)对应地准备的演出用的影像，将所生成的演出用的影像作为前景，将由图像获取部(271)获取到的模型主体(12)的图像或者存储部(26)中存储的与模型主体(12)有关的影像作为背景来重叠显示于显示部(22)，该模型设置用底座(11)是由图像获取部(271)通过拍摄而获取且由图像识别部(272)进行图像识别而得到的。

Description

便携式终端装置、玩具、扩展现实感系统以及方法

技术领域

本发明例如涉及一种能够再现与利用自动售货机等出售的胶囊玩具有关的动画CG、声音的便携式终端装置、终端程序、扩展现实感系统以及玩具。

背景技术

以扭蛋(注册商标)为代表的胶囊玩具(Capsuletoy)是一种在半透明塑料制的球状的壳体中收纳人气电视节目、游戏的角色商品等的玩具。例如，在自动售货机等中，消费者向投入口投入硬币并转动手柄，由此从取出口排出随机选择的胶囊玩具。另一方面，便携式终端向多功能化发展，最近摄影功能自不用说，强化了进行因特网连接的网络通信环境的智能手机也开始普及。

另外，以往已知一种利用计算机来扩展人所感知的现实环境的AR(AugmentedReality：扩增实境)技术。例如，在专利文献1中介绍了一种在扩展现实图像中适当地改变与表示现实世界的样子的图像合成(重叠)的对象图像的技术。

专利文献1：日本特开2011-204047号公报

发明内容

发明要解决的问题

如上述专利文献1所公开那样，AR技术是将用于三维位置识别的被称为标记的规定形状的图形配置在现实世界中，用摄影设备拍摄包括该标记的现实世界。因而，标记以进行了透视变换后的方式配置在所拍摄到的图像内。而且，对与该标记对应的对象应用透视变换技术，以拍摄到的图像为背景，与得到的对象图像进行合成来生成扩展现实图像。利用该AR技术能够再现运动图像、静止图像的CG(ComputerGraphics：计算机图形)。

另外，通过使上述智能手机与胶囊玩具协作，如果能够再现与收纳于消费者所购入的胶囊玩具的模型(figure)等内容物有关的动画CG、声音等，则能够对消费者所购入的胶囊玩具提供附加价值，应该能够提高趣向并且获得促进销售的效果。然而，根据以往的AR技术，存在如下制约：需要特殊的标记并且必须在标记附近绘制成为其背景的对象图像。

本发明是为了解决上述问题而完成的，其目的在于提供如下的便携式终端装置、终端程序、扩展现实感系统以及玩具：不需要透视变换技术而简单地生成扩展现实图像，能够通过再现与消费者所购入的玩具有关的扩展现实图像来提高趣向、获得玩具的促进销售的效果。

用于解决问题的方案

本发明的便携式终端装置至少具有摄像部、显示部以及存储部，该便携式终端装置还具备：图像获取部，其获取由上述摄像部拍摄玩具而得到的图像，该玩具包括在规定位置处施加有特定标记的模型设置用底座和模型主体；图像识别部，其对进行上述获取得到的上述模型设置用底座的图像进行图像识别；以及演出控制部，其使与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像重叠到由上述图像获取部获取到的图像或者上述存储部中存储的包含上述模型主体的影像上，并显示于上述显示部。

优选的是,在本发明的便携式终端装置中，还具备语音输出部，上述演出控制部将与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的语音输出到上述语音输出部。另外，优选的是，在本发明的便携式终端装置中，在上述显示部显示与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像之后，如果在上述图像获取部中获取了上述特定标记的60%以上的部分，则上述演出控制部使上述显示部继续显示上述演出用的影像。

优选的是，在本发明的便携式终端装置中，上述演出控制部与要由上述图像识别部识别的上述模型设置用底座的两个以上的组合相应地进行控制，以改变上述演出用的影像或上述语音、或者二者的模式。优选的是，在本发明的便携式终端装置中，上述演出控制部根据要由上述图像识别部识别的上述模型设置用底座的特定组合，在上述显示部显示一个以上的按钮开关，当检测到利用上述按钮开关进行的选择操作时，将按每个上述按钮开关预先准备的语音输出到上述语音输出部。优选的是，在本发明的便携式终端装置中，上述演出控制部基于时间监视来进行控制，以改变上述演出用的影像或语音、或者二者的模式。

本发明的方法在具有玩具和便携式终端装置的扩展现实感系统中由上述便携式终端装置执行，其中，该玩具包括在规定位置处施加有特定标记的模型设置用底座和模型主体，该便携式终端装置至少具有摄像部、显示部、语音输出部以及存储部，该便携式终端装置利用上述摄像部拍摄上述玩具来生成扩展现实图像并显示于上述显示部，该方法包括以下步骤：获取利用上述摄像部拍摄上述玩具而得到的图像；对进行上述获取得到的上述模型设置用底座的图像进行图像识别；以及使与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像重叠到获取得到的上述图像或者上述存储部中存储的上述模型主体的影像上，并显示于上述显示部。

优选的是，在本发明的方法中，还包括以下步骤：将与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的语音输出到上述语音输出部。优选的是，在本发明的方法中，在使与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像显示于上述显示部之后，如果在上述摄像部中拍摄到上述特定标记的60%以上的部分，则执行在上述显示部继续显示上述演出用的影像的处理。

本发明的扩展现实感系统具有：玩具，其包括在规定位置处施加有特定标记的模型设置用底座和模型主体；以及便携式终端装置，其至少具有摄像部、显示部、语音输出部以及存储部，获取由上述摄像部拍摄上述玩具而得到的图像，对上述模型设置用底座的图像进行图像识别，使与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像重叠到获取得到的上述图像或者上述存储部中存储的上述模型主体的影像上，并显示于上述显示部。

优选的是，在本发明的扩展现实感系统中，上述便携式终端装置将与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的语音输出到上述语音输出部。优选的是，在本发明的扩展现实感系统中，在与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像显示于上述显示部之后，如果在上述摄像部中拍摄到上述特定标记的60%以上的部分，则上述便携式终端装置使上述显示部继续显示上述演出用的影像。

本发明的玩具是一种能够使用于上述便携式终端装置、上述终端程序以及上述扩展现实感系统中的任一个的玩具。另外，优选的是，在本发明的玩具中，上述模型主体和上述模型设置用底座之间能够进行拆卸。另外，优选的是，在本发明的玩具中，上述特定标记被配置在上述模型设置用底座的上表面的、当将上述模型主体设置于上述模型设置用底座时比上述模型主体更靠近跟前的一侧。

发明的效果

根据本发明，能够提供如下的便携式终端装置、终端程序、扩展现实感系统以及玩具：不需要透视变换技术而简单地生成扩展现实图像，能够通过再现与消费者所购入的玩具有关的扩展现实图像来提高趣向、获得玩具的促进销售的效果。

附图说明

图1是表示本发明的实施方式所涉及的扩展现实感系统的图。

图2是表示本发明的实施方式所涉及的便携式终端装置的内部结构的框图。

图3是表示本发明的实施方式所涉及的便携式终端装置的动作的流程图。

图4是将本发明的实施方式所涉及的便携式终端装置的动作在画面上按时间序列展开并示出的画面变迁图。

图5是表示本发明的实施方式所涉及的便携式终端装置的画面结构的一例的图。

图6是表示本发明的实施方式所涉及的便携式终端装置的画面结构的另一例的图。

附图标记说明

10：胶囊玩具(玩具)；11：模型设置用底座(底座)；12：模型主体；20：便携式终端装置；21：摄像部；22：显示部；23：操作部；24：语音输出部；25：通信部；26：存储部；27：控制部；100：扩展现实感系统；271：图像获取部；272：图像识别部；273：演出控制部；274：显示控制部；275：语音合成部；260：终端程序。

具体实施方式

(实施方式的结构)

下面，参照所附附图对用于实施本发明的实施方式(以下，简称为本实施方式)进行详细说明。

在图1中示出了本实施方式所涉及的扩展现实感系统100。如图1所示，本实施方式所涉及的扩展现实感系统100具有：胶囊玩具10，其包括在规定位置处施加了特定标记110的模型设置用底座(以下在没有预先通知的情况下简称为底座11)和模型主体12；以及便携式终端装置20，其获取拍摄该胶囊玩具10而得到的图像，对底座11的图像进行图像识别，以与进行图像识别得到的各模型设置用底座11对应地准备的演出用的影像为前景，以同样获取到的模型主体12的图像为背景进行重叠，由此生成扩展现实图像并进行显示。

在此，作为玩具，以收纳有能够从未图示的胶囊取出的角色商品(charactergoods)等塑料制的组装式模型(模型主体12)的胶囊玩具10为例进行说明。在该胶囊玩具10中还收纳有在规定位置处施加有对应于该模型主体12的特定标记110的底座11。在此，特定标记是图像，设为被印刷或者粘贴于底座11的任意位置。便携式终端装置20对通过拍摄被印刷或者粘贴于底座11的特定标记110而得到的图像进行识别，生成与各底座11对应地准备的影像(扩展现实图像)和语音并进行再现。此外，在本实施方式中，输出与各底座11对应地准备的影像(扩展现实图像)和语音，但并不限于此，可以仅输出影像，也可以仅输出语音。此外，在本实施方式中，所生成的扩展现实图像被预先登记在便携式终端装置20内部(后述的存储部26)，或者根据需要通过经由因特网从胶囊玩具10的销售处的站点下载而无偿地获取。

在本实施方式中，例如能够使用如下结构：在底座的上部设置开口部，在模型主体的、与底座之间的设置部处设置有能够与该开口部嵌合的突起部。通过设为这样的结构，底座和模型主体之间能够进行拆卸，在底座上能够设置任意的模型主体，能够将用户喜好的模型主体设置在底座上。但是，并不限于此，如果底座和模型主体之间能够进行拆卸，则可以是任意结构。另外，当然也可以是底座和模型主体之间不能进行拆卸的方式。通过使底座和模型主体之间能够进行拆卸，用户能够设置任意的模型主体，因此能够使与各底座对应地准备的影像(扩展现实图像)或语音等与用户喜好的模型相重叠来欣赏，能够提供趣味性更强的系统。

在图2中示出了本实施方式所涉及的便携式终端装置20的内部结构。如图2所示，便携式终端装置20构成为包括摄像部21、显示部22、操作部23、语音输出部24、通信部25、存储部26以及控制部27。

摄像部21是由CCD(ChargeCoupledDevice：电荷耦合元件)、CMOS(ComplementaryMetalOxideSemiconductor：互补式金属氧化半导体)图像传感器等光电转换元件及其控制电路等构成的摄像机。将多个像素(多种颜色的发光元件的组合)纵横地配置来构成显示部22，例如利用LCD(LiquidCrystalDisplayDevice：液晶显示器)、有机EL(Electro-Luminescence：电致发光)构成显示部22，来显示由控制部27生成的、包含被写入存储部26的规定区域(VRAM区域)的扩展现实感图像的显示信息。

操作部23例如具有电源键、通话键、数字键、文字键、方向键(上下左右)、确定键、发送键、摄像键等被分配了各种功能的键式开关，在这些键被操作者操作的情况下，产生与其操作内容对应的信号，将该信号作为操作者的指示输出到控制部27。此外，也可以利用输入位置信息的触摸面板来实现该操作部23。在这种情况下，在触摸面板上显示上述键式开关种类、扩展现实图像。

语音输出部24是输出由控制部27生成的语音(声音)的扬声器。通信部25捕获无线通信系统，与连接于通信网络的未图示的基站之间进行无线通信，来进行各种数据的发送接收。在此，各种数据是语音通话时的语音数据、发送接收邮件时的邮件数据以及浏览Web(WorldWideWeb：环球信息网)时的Web页数据等。对于本发明所关联的部分，控制部27经由通信部25，通过下载从胶囊玩具销售处的站点(服务器)获取生成与胶囊玩具10(底座11)对应的扩展现实图像所需的数据。此时，通信部25例如按照依据TCP/IP(TransmissionControlProtocol/InternetProtocol：传输控制协议/因特网互联协议)的协议与未图示的服务器进行连接。

关于存储部26，除了用于保存本实施方式所涉及的终端程序260的程序区域以外，还分配了工作区域和VRAM(VideoRAM：视频随机存取存储器)区域，在工作区域中保存由控制部27生成的扩展现实感图像、或者经由因特网获取的扩展现实感图像、由摄像部21拍摄到的影像以及与模型主体12有关的模板影像等，在VRAM区域中绘制包含该扩展现实图像的显示信息。此外，作为存储部26，例如安装半导体存储元件、磁或者光存储元件。

控制部27具有以下功能：获取拍摄胶囊玩具10而得到的图像，该胶囊玩具10包括在规定位置处施加有特定标记110的底座11和模型主体12，对获取到的底座11的图像进行图像识别，将与进行该图像识别得到的各底座11对应地准备的演出用的影像作为前景，将模型主体12的图像或者存储部26中存储的与模型主体12有关的影像作为背景来进行重叠显示。该功能通过依次读出存储部26中存储的终端程序260并执行的例如微处理器来实现。

另外，控制部27生成与进行图像识别得到的各底座11对应地准备的演出用的语音，将该语音输出到语音输出部24。另外，控制部27与要进行识别的底座11(特定标记110)的两个以上的组合相应地进行控制，以改变演出用的影像或语音、或者二者的模式。另外，控制部27根据要进行识别的底座11的特定的组合，在显示部22上显示一个以上的按钮开关，当检测到利用该按钮开关进行的选择操作时，将按每个按钮开关预先准备的语音输出到语音输出部24。另外，控制部27也可以基于时间监视来进行控制以改变演出用的影像或语音、或者二者的模式。

因此，如果按功能分解并图示控制部27所执行的终端程序260的结构，则如图2所示，包括图像获取部271、图像识别部272、演出控制部273、显示控制部274以及语音合成部275。

图像获取部271获取由摄像部21拍摄玩具10而得到的图像并输出到图像识别部272，该玩具10包括在规定位置处施加有特定标记110的底座11和模型主体12。图像识别部272对由图像获取部271获取到的底座11的图像进行图像识别并输出到演出控制部273。演出控制部273将与由图像识别部272进行图像识别得到的各底座11对应地准备的演出用的影像作为前景，将由图像获取部271获取到的模型主体12的图像(静止图像、运动图像)或者预先存储于存储部26的与模型主体12有关的影像(静止图像、运动图像)作为背景进行重叠，经由显示控制部274输出到显示部22。另外，演出控制部273生成与由图像识别部272进行图像识别得到的各底座11对应地准备的演出用的语音，经由语音合成部275对语音进行合成并输出到语音输出部24。

演出控制部273与要由图像识别部272进行识别的底座11的两个以上的组合相应地进行控制，以改变演出用的影像或语音、或者二者的模式。另外，演出控制部273根据要由图像识别部272进行识别的底座11的特定的组合，在显示部22上显示一个以上的按钮开关，当检测到利用该按钮开关进行的选择操作时，将按每个按钮开关预先准备的语音经由语音合成部275输出到语音输出部24。此外，演出控制部273也可以基于时间监视来进行控制以改变演出用的影像或语音、或者二者的模式。

显示控制部274将包含由演出控制部273生成的扩展现实图像的显示信息绘制到存储部26的VRAM区域，与显示部22的显示定时同步地读出所绘制的显示信息并显示于显示部22。语音合成部275对由演出控制部273生成的语音进行解码，经由语音输出部24输出到外部。

此外，在本实施方式中，在底座11上设置有特定标记110，但并不限于此，也可以在模型主体上设置特定标记。在这种情况下，也可以将设置于模型主体的图像作为特定标记来进行识别，还可以将模型主体的形状、颜色搭配作为特定标记来进行识别。通过对模型主体设置特定标记，例如能够在想要照明(lighting)的情况下将模型主体设置于带灯的底座，在不需要照明的情况下将模型主体设置于无灯的底座，从而拓宽了底座的选择范围。

(实施方式的动作)

下面，基于图3的流程图，一边参照图4～图6的画面结构图一边对本实施方式的便携式终端装置20的动作进行详细说明。

首先，消费者对收纳在所购入的胶囊玩具10中的模型(部件)进行组装，将组装完成的模型主体12载置于与胶囊绑定在一起的底座11。接着，消费者启动便携式终端装置20的电源，按下被分配给操作部23的“撮影按钮”，由此将胶囊玩具10作为被摄体来进行拍摄。此时，要留意将施加于底座11的特定标记包含在被摄体内。此外，在本实施方式中，优选施加于底座11的特定标记被配置在底座11的上表面且将模型主体12设置于底座11时比模型主体更靠近跟前的一侧。通过以这种方式进行配置，在对施加于底座11的特定标记进行拍摄时，特定标记不会被模型主体遮挡，能够更易于识别特定标记。

控制部27通过检测到操作部23的“摄像按钮”的按下(步骤S101：“是”)来启动图像获取部271。图像获取部271将通过拍摄而获取到的底座11的图像输出到图像识别部272，将模型主体12的图像输出到演出控制部273(步骤S102)。接收到该底座11的图像之后图像识别部272对施加于底座11的特定标记的图像进行识别并将其结果输出到演出控制部273(步骤S103)。

演出控制部273首先判断由图像识别部272进行图像识别得到的特定标记是否为单数(步骤S104)。如果进行图像识别得到的特定标记的数量为单数(步骤S104：“是”)，则演出控制部273生成与由图像识别部272进行图像识别得到的底座11对应地准备的演出用的影像(效果影像)(步骤S105)，在此将生成的效果影像作为前景，将同样由图像获取部271获取到的模型主体12的图像或者存储部26中存储的模型主体12的影像作为背景进行重叠来生成合成图像(扩展现实图像)，并输出到显示控制部274(步骤S107)。此外，演出控制部273在生成效果影像的同时生成与由图像识别部272进行图像识别得到的各底座11对应地准备的演出用的语音，并输出到语音合成部275。语音合成部275对由演出控制部273生成的语音进行解码，并将该语音经由语音输出部24输出到外部(步骤S108)。

另一方面，显示控制部274与显示部22的显示定时同步地读出被绘制在存储部26的VRAM区域的、效果影像与模型主体12相重叠的影像，并输出到显示部22，由此在显示部22例如显示表示为图4(a)～(e)所示的画面变迁图的扩展现实图像。即，如在图4(a)～(e)中按时间序列所示那样，在便携式终端装置20的显示部22上，将由演出控制部273生成的效果影像12e作为前景，并且将拍摄到的模型主体12的图像或者存储部26中存储的影像作为背景来进行重叠显示，再现包含模型主体12的实拍影像的二维动画CG。在此，通过画面变迁来示出模仿角色的模型主体12变身的情况。

此外，如果由图像识别部272进行图像识别得到的特定标记的数量为多个(步骤S104：“否”)，则演出控制部273进行控制，以改变由该组合决定的效果影像或语音、或者二者的模式(步骤S106)。在这种情况下，演出控制部273也以获取到的模型主体12的图像为背景与效果影像相重叠(步骤S107)，再现输出重叠(合成)得到的效果影像和语音(步骤S108)。在图5中示出了要由图像识别部272进行图像识别的底座11为多个时的撮影画面。

此外，演出控制部273还能够基于计时器的时间监视来进行控制，以改变效果影像或语音、或者二者的模式。在这种情况下，演出控制部273也可以经由通信部25与因特网相连接，浏览胶囊玩具10的销售处的站点来例如获取与季节相匹配的效果影像。此外，在此使用的计时器是便携式终端装置20标准内置的RTC(RealTimeClock：实时时钟)，省略图示。

接着，在图像识别部272识别出的特定标记的数量例如为3个的情况下，如图6所示，演出控制部273当检测到按下作为所生成的效果影像而粘贴再现在显示部22的画面上的按钮开关220时(步骤S109：“是”)，经由语音合成部275生成与该按钮开关220对应地准备的模型主体12所模仿的角色发出的稀有特殊语音(例如，“变身!”)，并经由语音输出部24输出来提高演出效果(步骤S110)。

此外，在本实施方式中，对施加于底座11的特定标记进行识别，将其结果输出到演出控制部，在生成效果影像之后，即使是特定标记被模型主体局部遮挡、局部偏离于摄像机的撮影部的情况，如果能够识别特定标记的60%以上，则在画面上显示所生成的效果影像。由此，即使在通过从各个角度拍摄模型主体也难以识别特定标记的情况下，也能够使效果影像重叠于包含模型主体的图像并进行显示。此外，在本实施方式中，设为需要特定标记的60%以上的识别率，但并不限于此。其中，为了防止特定标记的误识别，优选设为60%以上的识别率。

如上述说明那样，根据本实施方式所涉及的便携式终端装置20，通过对施加于底座11的特定标记110进行识别来使便携式终端装置20与胶囊玩具10协作，生成与各底座11对应地准备的演出用的影像来作为前景，将通过拍摄得到的模型主体12的图像(静止图像、运动图像)或者存储部16中存储的模型主体的影像(静止图像、运动图像)作为背景来进行重叠显示，由此能够提供一种不需要透视变换技术就能够简单地再现扩展现实图像的便携式终端装置20。因此，通过再现与消费者所购入的胶囊玩具10有关的扩展现实图像，能够提高趣向、获得胶囊玩具10的促进销售的效果。同时生成与进行图像识别得到的各底座11对应地准备的演出用的语音并输出该语音，由此能够增添演出效果。

另外，与要进行图像识别的模型设置用底座的两个以上的组合相应地进行控制，以改变演出用的影像或语音、或者二者的模式，由此能够增添演出效果并且提高消费者的购买意向，从而增强胶囊玩具10的促进销售的效果。并且，通过构建根据要进行图像识别的底座11的特定的组合、通过按下在便携式终端装置20的画面上显示的按钮开关220来例如再现稀有语音的结构，来进一步增添演出效果，并且提高消费者的购买意向，从而增强胶囊玩具10的促进销售的效果。此外，通过基于时间监视来改变演出用的影像或语音、或者二者的模式，例如通过随季节变更演出模式，能够以不会使消费者厌烦的演出模式赋予连续性、期待感。

此外，例如图1和图2的框图所示，本实施方式所涉及的终端程序260是在具有玩具(胶囊玩具10)和便携式终端装置20的扩展现实感系统中由上述便携式终端装置20所使用的计算机(控制部27)控制的终端程序260，其中，该玩具(胶囊玩具10)包括在规定位置处施加有特定标记110的模型设置用底座11和模型主体12，该便携式终端装置20至少具有摄像部21、显示部22、语音输出部24以及存储部26，利用摄像部21拍摄上述玩具来生成扩展现实图像并显示在上述显示部22上。而且，例如图3所示，使计算机(控制部27)执行以下处理：获取通过上述摄像部21拍摄上述玩具(胶囊玩具10)而得到的图像(S102)；对上述获取到的上述模型设置用底座11的图像进行图像识别(S103)；使与进行上述图像识别得到的各上述模型设置用底座11对应地准备的演出用的影像重叠到所获取到的上述图像或者上述存储部26中存储的上述模型主体12的影像上并显示于上述显示部，并且将与进行上述图像识别得到的各上述模型设置用底座11对应地准备的演出用的语音输出到上述语音输出部24(S104～S108)。

根据上述本实施方式所涉及的终端程序260，计算机(便携式终端装置20的控制部27)依次读出上述终端程序260并执行该程序，由此通过对施加于模型设置用底座11的特定标记110进行识别能够使便携式终端装置20与胶囊玩具10协作。然后，生成与各模型设置用底座11对应地准备的演出用的影像来作为前景，将拍摄到的模型主体12的影像或者存储部26中存储的模型主体12的影像作为背景来进行重叠显示，由此能够提供一种不需要透视变换技术就能够简单地再现扩展现实图像的终端程序260。因此，通过再现与消费者所购入的胶囊玩具10有关的扩展现实图像，能够提高趣向、获得胶囊玩具10的促进销售的效果。同时生成与进行图像识别得到的各底座11对应地准备的演出用的语音并输出该语音，由此能够增添演出效果。

另外，例如图1、图2所示，本实施方式所涉及的扩展现实感系统100具有玩具(胶囊玩具10)和便携式终端装置20，其中，该玩具(胶囊玩具10)包括在规定位置处施加有特定标记110的模型设置用底座11和模型主体12，该便携式终端装置20至少具有摄像部21、显示部22、语音输出部24以及存储部26，获取由上述摄像部21拍摄上述玩具(胶囊玩具10)而得到的图像，对上述模型设置用底座11的图像进行图像识别，重叠到上述获取到的或者上述存储部26中存储的上述模型主体12的影像上并显示于上述显示部，并且将与进行上述图像识别得到的各上述模型设置用底座11对应地准备的演出用的语音输出到上述语音输出部24。

根据上述本实施方式所涉及的扩展现实感系统100，便携式终端装置20拍摄胶囊玩具10，生成与通过图像识别得到的各模型设置用底座11对应地准备的演出用的影像，将生成的该演出用的影像作为前景，将获取到的模型主体12的图像或者存储部中存储的模型主体12的影像作为背景来重叠显示于显示部22，由此不需要透视变换技术就能够简单地再现扩展现实图像。因此，通过再现与消费者所购入的胶囊玩具10有关的扩展现实图像，能够提高趣向、获得胶囊玩具10的促进销售的效果。同时生成与进行图像识别得到的各底座11对应地准备的演出用的语音并输出该语音，由此能够增添演出效果。

另外，例如图1所示，本实施方式所涉及的玩具(胶囊玩具10)是包括在规定位置处施加有特定标记110的模型设置用底座11和模型主体12的玩具。而且，该玩具(胶囊玩具10)用于具有便携式终端装置20的扩展现实感系统100，该便携式终端装置20获取拍摄得到的图像，对模型设置用底座11的图像进行图像识别，使与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像重叠到上述获取到的或者存储的上述模型主体的影像上并进行显示，并且输出与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的语音。

根据上述本实施方式所涉及的玩具(胶囊玩具10)，能够根据在规定位置处施加有特定标记110的模型设置用底座11，使拍摄了模型设置用底座11的便携式终端装置20生成与各模型设置用底座11对应地准备的演出用的影像，将在此生成的演出用的影像作为前景，将模型主体12的图像或者存储部26中存储的与模型主体12有关的影像作为背景来进行重叠显示。因而，不需要透视变换技术就能够简单地再现扩展现实图像。因此，通过再现与消费者所购入的玩具(胶囊玩具10)有关的扩展现实图像，能够提高趣向、获得玩具的促进销售的效果。另外，同时生成与进行图像识别得到的各底座11对应地准备的演出用的语音并输出该语音，由此能够增添演出效果。

此外，根据上述本实施方式所涉及的玩具，仅例示了收纳有组装式的模型主体12的胶囊玩具10进行说明，但是，模型主体12也可以不是组装式，而是用铸件、PVC(聚氯乙烯)制成的一体式。另外，作为由便携式终端装置20生成的演出用的影像，仅例示了二维动画CG，但也可以是三维动画CG或者简单的插图。另外，作为背景用的影像，以拍摄并获取到的模型主体12的静止图像、运动图像为例进行了说明，但也可以是预先拍摄并已存储于存储部26的与模型主体12有关的影像(静止图像、运动图像)。并且，作为便携式终端装置20，例示了智能手机，但也可以是具有摄影功能和因特网连接环境的便携式电话、PDA(PersonalDigitalAssistance：个人数字助理)或者PC(PersonalComputer：个人计算机)。

根据本实施方式，通过对施加于模型设置用底座11的特定标记110进行识别使由便携式终端装置20生成的演出用的影像与玩具10协作，使与进行图像识别得到的各模型设置用底座11对应地准备的演出用的影像重叠到通过拍摄获取到的或者所存储的模型主体12的影像上并进行显示。因而，能够提供一种不需要透视变换技术就能够简单地再现扩展现实图像的便携式终端装置20。因此，通过再现与消费者所购入的玩具10有关的扩展现实图像，能够提高趣向、获得玩具10的促进销售的效果。

另外，生成与进行图像识别得到的各模型设置用底座11对应地准备的演出用的语音并输出所生成的该语音，因此不仅再现影像还再现相关的语音，由此能够增添演出效果。

另外，设为能够根据模型设置用底座11的组合来改变演出用的影像或者语音，由此能够增添演出效果并且提高消费者的购买意向，从而增强玩具10的促进销售的效果。

另外，通过构建通过按下显示部22上显示的按钮开关220例如再现稀有语音的结构，能够进一步增添演出效果并且提高消费者的购买意向，从而增强玩具的促进销售的效果。

另外，例如通过随季节变更演出模式，不会使消费者厌烦而能够赋予购买意向的连续性、对演出的期待感。

另外，计算机(便携式终端装置20)通过依次读出上述终端程序260并执行该程序，能够使便携式终端装置20与玩具10协作，例如生成与各模型设置用底座11对应地准备的演出用的影像并作为前景，以拍摄到的模型主体12的图像为背景来进行重叠，由此能够提供一种不需要透视变换技术就能够简单地再现扩展现实图像的终端程序260。因此，通过再现与消费者所购入的玩具10有关的扩展现实图像，能够提高趣向、获得玩具10的促进销售的效果。另外，生成与进行图像识别得到的各模型设置用底座11对应地准备的演出用的语音并输出所生成的该语音。因而，不仅再现影像还再现相关的语音，由此能够增添演出效果。

另外，便携式终端装置20进行拍摄，生成与识别出的各模型设置用底座11对应地准备的演出用的影像，例如将生成的演出用的影像作为前景，将获取到的模型主体12的图像作为背景来重叠显示于显示部22。因而，能够提供一种不需要透视变换技术就能够简单地再现扩展现实图像的扩展现实感系统100。因此，通过再现与消费者所购入的玩具10有关的扩展现实图像，能够提高趣向、获得玩具10的促进销售的效果。另外，生成与进行图像识别得到的各模型设置用底座11对应地准备的演出用的语音并输出所生成的该语音。因而，不仅再现影像还再现相关的语音，由此能够增添演出效果。

另外，使便携式终端装置20对施加于模型设置用底座11的特定标记110进行识别，由此能够使玩具10与便携式终端装置20协作，便携式终端装置20生成与各模型设置用底座11对应地准备的演出用的影像作为例如前景，将拍摄到的模型主体12的图像作为背景进行重叠，由此不需要透视变换技术就能够简单地再现扩展现实图像。因此，通过再现与消费者所购入的玩具10有关的扩展现实图像，能够提高趣向、获得玩具10的促进销售的效果。另外，便携式终端装置20生成与进行图像识别得到的各模型设置用底座11对应地准备的演出用的语音并输出所生成的该语音。因而，不仅再现影像还再现相关的语音，由此能够增添演出效果。

以上，详细说明了本发明的优选实施方式，但本发明的保护范围当然并不限定于上述实施方式所记载的范围。对于本领域技术人员来说，显然能够对上述实施方式施加各种变更或改良。另外，根据权利要求书的记载可知施加了这种变更或改良的方式也包含于本发明的技术范围。

Claims (16)

1.一种便携式终端装置，至少具有摄像部、显示部以及存储部，该便携式终端装置还具备：

图像获取部，其获取由上述摄像部拍摄玩具而得到的图像，该玩具包括施加有被配置在模型设置用底座的上表面的、当将模型主体设置于上述模型设置用底座时比上述模型主体更靠近跟前的一侧的特定标记的上述模型设置用底座和上述模型主体；

图像识别部，其对进行上述获取得到的上述模型设置用底座的图像进行图像识别；以及

演出控制部，其使与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像重叠到由上述图像获取部获取到的图像或者上述存储部中存储的包含上述模型主体的影像上，并显示于上述显示部。

2.根据权利要求1所述的便携式终端装置，其特征在于，

还具备语音输出部，

上述演出控制部将与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的语音输出到上述语音输出部。

3.根据权利要求1或2所述的便携式终端装置，其特征在于，

在上述显示部显示与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像之后，如果在上述图像获取部中获取了上述特定标记的60％以上的部分，则上述演出控制部使上述显示部继续显示上述演出用的影像。

4.根据权利要求2所述的便携式终端装置，其特征在于，

上述演出控制部与要由上述图像识别部识别的上述模型设置用底座的两个以上的组合相应地进行控制，以改变上述演出用的影像或上述语音、或者二者的模式。

5.根据权利要求2所述的便携式终端装置，其特征在于，

上述演出控制部根据要由上述图像识别部识别的上述模型设置用底座的特定组合，在上述显示部显示一个以上的按钮开关，当检测到利用上述按钮开关进行的选择操作时，将按每个上述按钮开关预先准备的语音输出到上述语音输出部。

6.根据权利要求2所述的便携式终端装置，其特征在于，

上述演出控制部基于时间监视来进行控制，以改变上述演出用的影像或语音、或者二者的模式。

7.一种玩具，

与根据权利要求1或2所述的便携式终端装置一起使用。

8.一种在具有玩具和便携式终端装置的扩展现实感系统中由上述便携式终端装置执行的方法，其中，该玩具包括施加有被配置在模型设置用底座的上表面的、当将模型主体设置于上述模型设置用底座时比上述模型主体更靠近跟前的一侧的特定标记的上述模型设置用底座和上述模型主体，该便携式终端装置至少具有摄像部、显示部、语音输出部以及存储部，该便携式终端装置利用上述摄像部拍摄上述玩具来生成扩展现实图像并显示于上述显示部，

该方法包括以下步骤：

获取利用上述摄像部拍摄上述玩具而得到的图像；

对进行上述获取得到的上述模型设置用底座的图像进行图像识别；以及

使与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像重叠到获取得到的上述图像或者上述存储部中存储的上述模型主体的影像上，并显示于上述显示部。

9.根据权利要求8所述的方法，其特征在于，

还包括以下步骤：将与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的语音输出到上述语音输出部。

10.根据权利要求8或9所述的方法，其特征在于，

在使与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像显示于上述显示部之后，如果在上述摄像部中拍摄到上述特定标记的60％以上的部分，则执行在上述显示部继续显示上述演出用的影像的处理。

11.一种玩具，

与根据权利要求8或9所述的方法一起使用。

12.一种扩展现实感系统，具有：

玩具，其包括施加有被配置在模型设置用底座的上表面的、当将模型主体设置于上述模型设置用底座时比上述模型主体更靠近跟前的一侧的特定标记的上述模型设置用底座和上述模型主体；以及

便携式终端装置，其至少具有摄像部、显示部、语音输出部以及存储部，获取由上述摄像部拍摄上述玩具而得到的图像，对上述模型设置用底座的图像进行图像识别，使与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像重叠到获取得到的上述图像或者上述存储部中存储的上述模型主体的影像上，并显示于上述显示部。

13.根据权利要求12所述的扩展现实感系统，其特征在于，

上述便携式终端装置将与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的语音输出到上述语音输出部。

14.根据权利要求12或13所述的扩展现实感系统，其特征在于，

在与进行上述图像识别得到的各上述模型设置用底座对应地准备的演出用的影像显示于上述显示部之后，如果在上述摄像部中拍摄到上述特定标记的60％以上的部分，则上述便携式终端装置使上述显示部继续显示上述演出用的影像。

15.一种玩具，

在根据权利要求12或13所述的扩展现实感系统中使用。

16.根据权利要求15所述的玩具，其特征在于，

上述模型主体和上述模型设置用底座之间能够进行拆卸。