CN108986188B - Ar影像生成装置、存储介质、控制方法及玩具组件 - Google Patents

Abstract

提供一种AR影像生成装置。基于表示背景物体的三维模型的信息、表示待配置于背景物体的地面上的虚拟物体的信息和拍摄距离、拍摄角度等拍摄条件，生成虚拟物体配置完毕背景物体的虚拟图像作为AR影像生成用中间图像，以该拍摄条件对在背景物体的地面上的指定位置配置有虚拟物体的状态进行拍摄时应该能够得到虚拟物体配置完毕背景物体的虚拟图像，将中间图像在背景物体现实图像之上进行位置匹配并重叠，并且，对中间图像中的背景物体图像部分进行处理，使其透明化，以便透视看见位于其下方的背景物体现实图像，从而将作为目的的AR影像显示在显示部上。

Description

AR影像生成装置、存储介质、控制方法及玩具组件

相关申请的交叉引用

本申请要求享有于2017年5月30日提交的名称为“AR影像生成装置”的日本专利申请2017-106967的优先权，该申请的全部内容通过引用并入本文中。

技术领域

本发明涉及一种增强现实(以下称为“AR”)影像的生成装置，特别涉及一种在以任意的拍摄条件对提供虚拟物体配置面的背景物体进行拍摄而得到的现实影像上，重叠与所期望的虚拟物体相当的虚拟影像，从而生成AR影像的AR影像生成装置。

背景技术

以往已知有如下AR影像生成装置：在以任意的拍摄条件(例如，姿势、距离)对提供虚拟物体配置面(例如，地面、墙面等)的背景物体进行拍摄而得到的现实影像上，重叠(配置)与所期望的虚拟物体(例如，通过CG制作的人偶、车辆等静止物体或移动物体)相当的虚拟影像，从而生成AR影像(例如，参照专利文献1)。

但是，在这样生成的AR影像中，利用动画技法，为了使虚拟物体看起来是沿着期望的路径在背景物体的例如地面上无不协调感地移动(行走、行驶)，需要进行准确的沿面移动控制，以使得现实影像的基础图像中的沿着期望路径的背景物体地面高度与虚拟影像的基础图像中的虚拟物体基准高度始终满足一定的关系。

作为这样的沿面移动控制的一个例子，可列举为：通过对现实影像的基础图像进行图像识别处理，计算沿着期望路径的背景物体地面高度，进行沿面移动控制，以使像这样计算求得的背景物体地面高度与虚拟影像的基础图像中的虚拟物体基准高度始终满足一定的关系。

现有技术文献

专利文献

专利文献1：日本特开2011-204047号公报

发明内容

发明要解决的问题

当应用于供虚拟物体配置的地面、墙面等面较为平坦的背景物体的情况下，利用上述图像识别处理的沿面移动控制是有效的，但是在应用于虚拟物体配置面具有复杂的高低差或凹凸的背景物体的情况下，由于图像识别能力的限制，难以准确地计算背景物体的表面高度，其结果是，构成虚拟物体的CG人偶、CG车辆以离开背景物体的地面而悬浮于空中的状态行走、行驶，或者偏离期望的路径地行走、行驶，或者其一部分潜入地面地行走、行驶，产生不自然的AR影像，有时给观看的人以不协调感。

另外，在利用图像识别处理的沿面移动控制中，由于图像识别能力的限制，在与背景物体相当的二维图像中，远近感的识别较为困难，其结果是，尽管待配置的虚拟物体由于位于其他物体的背后而原本应使其一部分隐藏而不可见，但是虚拟物体却被错误识别为位于前方而整体露出，产生不自然的AR影像，有时给观看的人以不协调感。

本发明是着眼于这样的技术性背景而完成的，其目的在于，即使在应用于在虚拟物体配置面上具有复杂的高低差或凹凸的背景物体的情况下，也能够针对虚拟物体而生成确保了沿面追随性、远近识别性的视觉上自然的AR影像。

通过参照说明书的以下记载，本领域技术人员应该能够容易地理解本发明的另外其他目的以及作用效果。

用于解决问题的方法

上述技术性问题，能够通过具有以下构成的、存储有用于使便携式的信息处理终端作为AR影像生成装置而发挥功能的计算机程序的计算机可读存储介质、由此得到的AR影像生成装置、便携式的信息处理终端的控制方法以及AR影像提供用玩具组件来解决。

即，本发明的计算机可读存储介质，其中存储有计算机程序，该计算机程序用于使至少具备拍摄部、显示部和存储部的便携式的信息处理终端作为AR影像生成装置而发挥功能，

该AR影像生成装置包括：

基础信息获取单元，基于在通过上述拍摄部获取的现实图像中包含的标记信息，通过计算来获取拍摄部相对于已知的背景物体的距离、姿势等拍摄条件，该已知的背景物体提供用于配置虚拟物体的面；

三维模型信息获取单元，从上述存储部获取表示上述背景物体的三维模型的信息；

虚拟物体信息获取单元，从上述存储部获取表示待配置于上述背景物体的上述面上的虚拟物体的信息；

中间图像生成单元，基于表示上述背景物体的三维模型的信息、表示待配置于上述背景物体的上述面上的虚拟物体的信息和上述距离、姿势等拍摄条件，生成虚拟物体配置完毕背景物体的虚拟图像(即，虚拟物体在背景物体上配置完毕的虚拟图像)作为AR影像生成用中间图像，以上述拍摄条件对在上述背景物体的上述面上的指定位置配置有上述虚拟物体的状态进行拍摄时应该能够得到上述虚拟物体配置完毕背景物体的虚拟图像；以及

显示控制单元，将上述中间图像在经上述背景物体的三维模型的位置信息确定的背景物体现实图像之上进行位置匹配并重叠，并且，对上述中间图像中的背景物体图像部分进行处理，使其透明化，以便透视看见位于其下方的背景物体现实图像，从而将作为目的的AR影像显示在上述显示部上。

根据这样的构成，并非是利用图像识别技术直接对背景物体的现实图像和虚拟物体的虚拟图像(例如，CG图像)进行位置匹配，而是首先在背景物体的三维模型与虚拟物体的虚拟图像之间利用三维信息进行准确的位置匹配，然后，将对此以相同的拍摄条件进行拍摄而得到的中间图像(二维图像)以将中间图像的背景物体部分进行透明化的方式重叠在背景物体的现实图像(二维图像)之上而形成的图像，因此，在这样得到的AR影像中，将虚拟物体的影像高精度地定位在背景物体的影像上的指定位置，并且，被描绘为与周围的物体之间具有准确的远近关系。因此，例如通过应用动画技法，能够生成消除了本应沿着地面的起伏行走的CG人偶却悬浮在空中行走、或是应该在某个物体的背后行走的CG人偶却在该物体的前面行走这样的不自然的影像而不会给虚拟物体的举动带来不协调感的视觉上自然的AR影像。即，根据本发明，即使在应用于在虚拟物体配置面上具有复杂的高低差或凹凸的背景物体的情况下，也能够针对虚拟物体而生成适当地确保了沿面追随性、远近识别性的视觉上自然的AR影像。

在优选的实施方式中，上述虚拟物体信息获取单元，可以设置为能够从分别包括一个或者两个以上的虚拟物体的多个虚拟物体组之中选择并获取其中一个组。

根据这样的构成，作为多个虚拟物体组的每一个，通过预先准备各种各样的虚拟物体的组合(例如，若是CG人偶，则是性别、年龄、职业等的组合；若是CG车辆，则是两轮车、四轮车的类别、辆数、颜色等的组合；若是列车，则是新干线、普通特快、其类别、辆数、颜色等的组合)，例如能够配合背景物体的内容，一次性变更待在该影像上登场的一组虚拟物体。

此时，可以根据在预先设定的多个期间中当前时间所属的期间而自动地执行从上述虚拟物体组之中选择并获取其中一个组的动作。

根据这样的构成，作为当前时间所属的期间，例如，若采用季节(春季、夏季、秋季、冬季)、活动期间(新年期间、圣诞期间、万圣节期间、暑假期间等)，并且预先设定与各期间相符的服饰的CG人偶组，则能够在该期间到来的同时在背景影像上自动地显现出与该期间相符的服装的CG人偶等。

此时，在上述多个期间中，可以包括根据时刻而区分的期间。

根据这样的构成，作为期间，预先设定早上的通勤时间段、中午的时间段、晚上的通勤时间段等，并预先设定模仿与各期间相符的铁路使用者的CG人偶组，例如，通过采用能够俯瞰铁路车站境内及其周边设施的开放型构筑物玩具作为背景物体，能够针对各个时间段而表现出更加逼真的铁路车站境内的场景。

在优选的实施方式中，上述虚拟物体信息获取单元，可以设置为能够获取用户任意地制作的虚拟物体图像。

根据这样的构成，例如，通过将用智能手机的照相机、平板电脑型PC等对手绘的面部进行拍摄而得到的图像、用智能手机的照相机、平板电脑型PC等对家人的面部进行拍摄而得到的图像作为虚拟物体而进行注册，由此还能够使带有所希望的面部的CG人偶出现在背景物体的影像上。

在优选的实施方式中，可以设为：在上述背景物体的上述面上的指定位置配置有上述虚拟物体的状态下，当基于上述拍摄条件而判定为该虚拟物体与上述拍摄部的距离小于规定值时，上述中间图像生成单元对该虚拟物体实施规定的变化。

根据这样的构成，如果使拍摄部(例如，平板电脑型信息处理终端的照相机的镜头)向AR影像中所含有的虚拟物体(例如，CG人偶、CG车辆等)靠近并在显示部(例如，平板电脑型信息处理终端的显示器)上对该虚拟物体进行特写，则在该虚拟物体上产生变化，使虚拟物体表现为好像是在对用户的行为做出反应，能够给用户带来对于虚拟物体的亲切感。作为变化处理的方式，可以列举为颜色、亮度的变化、形状的变化、动作的变化等各种各样的变化。另外，可以在上述变化的同时加入声音的变化。

在优选的实施方式中，可以设为：在上述背景物体的上述面上的指定位置配置有上述虚拟物体的状态下，当判定为经由构成上述显示部的触摸面板而对该虚拟物体进行了指定时，上述中间图像生成单元对该虚拟物体实施规定的变化。

根据这样的构成，若通过触摸面板触摸AR影像中所包含的虚拟物体(例如，CG人偶、CG车辆等)，则在该虚拟物体上产生变化，使虚拟物体表现为好像是在对用户的行为做出反应，能够给用户带来对于虚拟物体的亲切感。作为变化处理的方式，可以列举为颜色、亮度的变化、形状的变化、动作的变化等各种各样的变化。另外，可以在上述变化的同时加入声音的变化。

此时，上述规定的变化，可以是使构成虚拟物体的人偶的面部转向上述拍摄部一侧的变化。

根据这样的构成，若使拍摄部向AR影像中所包含的各个人偶(例如，CG人偶)靠近，则上述人偶变为特写并且转向用户一侧，因此带来好像与各个人偶能够交谈的感觉，使用户感受到进一步的易亲近感。

在优选的实施方式中，上述已知的背景物体，是具有供虚拟物体在其上面配置的地面、墙面等面的能够俯瞰的开放型构筑物玩具。

根据这样的构成，通过实现在俯瞰并拍摄开放型构筑物玩具时所得到的现实影像与待在该现实影像上配置的虚拟物体的虚拟影像之间的和谐性，能够可靠地实现设计者想要的AR影像。此时，作为开放型构筑物玩具，通过模仿足球场、棒球场、赛马场、购物中心、儿童房间等并构成能够俯瞰的开放型，能够实现各种各样的表演。

此时，上述开放型构筑物玩具是能够俯瞰铁路车站境内及其周边设施的开放型构筑物玩具。

根据这样的构成，例如，通过应用于申请人所销售的普乐路路(注册商标)列车玩具上并形成能够俯瞰铁路车站境内及其周边设施的开放型构筑物玩具，并在该开放型构筑物玩具上搭载实际的列车玩具、微缩汽车玩具，在此基础上，在其空余空间上，使模仿乘客、站务员的CG人偶以虚拟影像登场，从而能够对这种列车玩具提出新的玩法方案。

从另一方面来看本发明，也可以理解为一种AR影像生成装置。即，该AR影像生成装置，具有至少具备拍摄部、显示部和存储部的便携式的信息处理终端，

上述信息处理终端包括：

基础信息获取单元，基于在通过上述拍摄部获取的现实图像中包含的标记信息，通过计算来获取拍摄部相对于已知的背景物体的距离、姿势等拍摄条件，该已知的背景物体提供用于配置虚拟物体的面；

三维模型信息获取单元，从上述存储部获取表示上述背景物体的三维模型的信息；

虚拟物体信息获取单元，从上述存储部获取表示待配置于上述背景物体的上述面上的虚拟物体的信息；

中间图像生成单元，基于表示上述背景物体的三维模型的信息、表示待配置于上述背景物体的上述面上的虚拟物体的信息和上述距离、姿势等拍摄条件，生成虚拟物体配置完毕背景物体的虚拟图像作为AR影像生成用中间图像，在以上述拍摄条件对在上述背景物体的上述面上的指定位置配置有上述虚拟物体的状态进行拍摄时应该能够得到上述虚拟物体配置完毕背景物体的虚拟图像；以及

显示控制单元，将上述中间图像在经上述背景物体的三维模型的位置信息确定的背景物体现实图像之上进行位置匹配并重叠，并且，对上述中间图像中的背景物体图像部分进行处理，使其透明化，以便透视看见位于其下方的背景物体现实图像，从而将作为目的的AR影像显示在上述显示部上。

在优选的实施方式中，上述虚拟物体信息获取单元，可以设置为能够从分别包括一个或者两个以上的虚拟物体的多个虚拟物体组之中选择并获取其中一个组。

在优选的实施方式中，可以设为：在上述背景物体的上述面上的指定位置配置有上述虚拟物体的状态下，当基于上述拍摄条件而判定为该虚拟物体与上述拍摄部的距离小于规定值时，上述中间图像生成单元对该虚拟物体实施规定的变化。

在优选的实施方式中，可以设为：在上述背景物体的上述面上的指定位置配置有上述虚拟物体的状态下，当判定为经由构成上述显示部的触摸面板而对该虚拟物体进行了指定时，上述中间图像生成单元对该虚拟物体实施规定的变化。

在优选的实施方式中，上述已知的背景物体，可以是具有供虚拟物体在其上面配置的地面、墙面等面的能够俯瞰的开放型构筑物玩具。

从另一方面来看本发明，也可以理解为一种便携式的信息处理终端的控制方法。即，该方法是至少具备拍摄部、显示部和存储部的便携式的信息处理终端的控制方法，包括：

第一步骤，基于在通过上述拍摄部获取的现实图像中包含的标记信息，通过计算来获取拍摄部相对于已知的背景物体的距离、姿势等拍摄条件，该已知的背景物体提供用于配置虚拟物体的面；

第二步骤，从上述存储部获取表示上述背景物体的三维模型的信息；

第三步骤，从上述存储部获取表示待配置于上述背景物体的上述面上的虚拟物体的信息；

第四步骤，基于表示上述背景物体的三维模型的信息、表示待配置于上述背景物体的上述面上的虚拟物体的信息和上述距离、姿势等拍摄条件，生成虚拟物体配置完毕背景物体的虚拟图像作为AR影像生成用中间图像，以上述拍摄条件对在上述背景物体的上述面上的指定位置上配置有上述虚拟物体的状态进行拍摄时应该能够得到上述虚拟物体配置完毕背景物体的虚拟图像；以及

第五步骤，将上述中间图像在经上述背景物体的三维模型的位置信息确定的背景物体现实图像之上进行位置匹配并重叠，并且，对上述中间图像中的背景物体图像部分进行处理，使其透明化，以便透视看见位于其下方的背景物体现实图像，从而将作为目的的AR影像显示在上述显示部上。

在优选的实施方式中，上述第三步骤，可以设置为能够从分别包括一个或者两个以上的虚拟物体的多个虚拟物体组之中选择并获取其中一个组。

在优选的实施方式中，可以设为：上述第四步骤，在上述背景物体的上述面上的指定位置配置有上述虚拟物体的状态下，当基于上述拍摄条件而判定为该虚拟物体与上述拍摄部的距离小于规定值时，对该虚拟物体实施规定的变化。

在优选的实施方式中，可以设为，上述第四步骤，在上述背景物体的上述面上的指定位置配置有上述虚拟物体的状态下，当判定为经由构成上述显示部的触摸面板而对该虚拟物体进行了指定时，上述中间图像生成单元对该虚拟物体实施规定的变化。

在优选的实施方式中，上述已知的背景物体，可以是具有供虚拟物体在其上面配置的地面、墙面等面的能够俯瞰的开放型构筑物玩具。

从另一方面来看本发明，也可以理解为一种用于提供AR影像的玩具组件。

即，该组件包括：

具有供虚拟物体在其上面配置的地面、墙面等面的能够俯瞰的开放型构筑物玩具；

标记表示体，以应配置为与上述玩具保持一定的相对位置关系的方式提供、且表示具有规定的图形性特征的标记；以及

计算机程序，该计算机程序使至少具备拍摄部、显示部和存储部的便携式的信息处理终端作为AR影像生成装置而发挥功能，

上述AR影像生成装置包括：

基础信息获取单元，基于在通过上述拍摄部获取的现实图像中包含的标记信息，通过计算来获取拍摄部相对于已知的背景物体的距离、姿势等拍摄条件，该已知的背景物体提供用于配置虚拟物体的面；

三维模型信息获取单元，从上述存储部获取表示上述背景物体的三维模型的信息；

虚拟物体信息获取单元，从上述存储部获取表示待配置于上述背景物体的上述面上的虚拟物体的信息；

中间图像生成单元，基于表示上述背景物体的三维模型的信息、表示待配置于上述背景物体的上述面上的虚拟物体的信息和上述距离、姿势等拍摄条件，生成虚拟物体配置完毕背景物体的虚拟图像作为AR影像生成用中间图像，以上述拍摄条件对在上述背景物体的上述面上的指定位置上配置有上述虚拟物体的状态进行拍摄时应该能够得到上述虚拟物体配置完毕背景物体的虚拟图像；以及

显示控制单元，将上述中间图像在经上述背景物体的三维模型的位置信息确定的背景物体现实图像之上进行位置匹配并重叠，并且，对上述中间图像中的背景物体图像部分进行处理，使其透明化，以便透视看见位于其下方的背景物体现实图像，从而将作为目的的AR影像显示在上述显示部上。

在优选的实施方式中，上述虚拟物体信息获取单元，可以设置为能够从分别包括一个或者两个以上的虚拟物体的多个虚拟物体组之中选择并获取其中一个组。

在优选的实施方式中，可以设为：在上述背景物体的上述面上的指定位置配置有上述虚拟物体的状态下，当基于上述拍摄条件而判定为该虚拟物体与上述拍摄部的距离小于规定值时，上述中间图像生成单元对该虚拟物体实施规定的变化。

在优选的实施方式中，可以设为：在上述背景物体的上述面上的指定位置配置有上述虚拟物体的状态下，当判定为经由构成上述显示部的触摸面板而对该虚拟物体进行了指定时，上述中间图像生成单元对该虚拟物体实施规定的变化。

在优选的实施方式中，

上述已知的背景物体，上述已知的背景物体，可以是具有供虚拟物体在其上面配置的地面、墙面等面的能够俯瞰的开放型构筑物玩具。

发明效果

根据本发明，并非是利用图像识别技术直接对背景物体的现实图像和虚拟物体的虚拟图像(例如，CG图像)进行位置匹配，而是首先在背景物体的三维模型与虚拟物体的虚拟图像之间利用三维信息进行准确的位置匹配，然后，将对此以相同的拍摄条件进行拍摄而得到的中间图像(二维图像)以将中间图像的背景物体部分进行透明化的方式重叠在背景物体的现实图像(二维图像)之上而形成的图像，因此，在这样得到的AR影像中，将虚拟物体的影像高精度地定位在背景物体的影像上的指定位置，并且，被描绘为与周围的物体之间具有准确的远近关系。因此，例如通过应用动画技法，能够生成消除了本应沿着地面的起伏行走的CG人偶却悬浮在空中行走、或是应该在某个物体的背后行走的CG人偶却在该物体的前面行走这样的不自然的影像而不会给虚拟物体的举动带来不协调感的视觉上自然的AR影像。即，根据本发明，即使在应用于在虚拟物体配置面上具有复杂的高低差或凹凸的背景物体的情况下，也能够针对虚拟物体而生成适当地确保了沿面追随性、远近识别性的视觉上自然的AR影像。

附图说明

图1是表示应用程序提供系统整体的构成的说明图。

图2是表示平板电脑型终端的一般性硬件构成的框图。

图3是表示应用程序提供服务器的硬件构成的框图。

图4是应用程序下载动作的说明图。

图5是对构成应用程序的处理的整体进行简要地说明的总体流程图。

图6是AR目标物决定处理的详细流程图。

图7是AR用中间图像生成处理的详细流程图。

图8是目标物配置处理的详细流程图。

图9是开始操作的说明图。

图10是AR影像生成用中间图像的说明图。

图11是生成的AR影像(虚拟目标物为CG人偶)的说明图(其一)。

图12是生成的AR影像(虚拟目标物为CG列车)的说明图(其二)。

图13是生成的AR影像(虚拟目标物为CG列车)的说明图(其三)。

图14是生成的AR影像(虚拟目标物为CG列车)的说明图(其四)。

图15是前面有遮挡物的情况下的AR影像的例子。

图16是不同时间段的登场人物变更处理的说明图。

图17是接近时的虚拟物体的变化方式的说明图。

具体实施方式

下面结合附图(图1～图17)对本发明的一个优选实施方式进行详细说明。此外，本发明的要点基于权利要求的范围的记载来确定，以下实施方式的描述仅表示本发明的一个例子这是不言而喻的。

本发明所涉及的计算机程序(以下称为“应用程序”)，如前面说明的那样，使至少具备拍摄部、显示部和存储部的便携式的信息处理终端(例如，智能手机、平板电脑型PC等平板电脑型终端)作为AR影像生成装置而发挥功能，该AR影像生成装置包括：基础信息获取单元、三维模型信息获取单元、虚拟物体信息获取单元、中间图像生成单元和显示控制单元。

此处，基础信息获取单元，基于在通过上述拍摄部获取的现实图像中包含的标记信息，通过计算来获取拍摄部相对于已知的背景物体的距离、姿势等拍摄条件，该已知的背景物体提供用于配置虚拟物体的面。

另外，三维模型信息获取单元，从上述存储部获取表示上述背景物体的三维模型的信息。

另外，虚拟物体信息获取单元，从上述存储部获取表示待配置于上述背景物体的上述面上的虚拟物体的信息。

另外，中间图像生成单元，基于表示上述背景物体的三维模型的信息、表示待配置于上述背景物体的上述面上的虚拟物体的信息和上述距离、姿势等拍摄条件，生成虚拟物体配置完毕背景物体的虚拟图像作为AR影像生成用中间图像，以上述拍摄条件对在上述背景物体的上述面上的指定位置上配置有上述虚拟物体的状态进行拍摄时应该能够得到上述虚拟物体配置完毕背景物体的虚拟图像。

进一步地，显示控制单元，将上述中间图像在经上述背景物体的三维模型的位置信息确定的背景物体现实图像之上进行位置匹配并重叠，并且，对上述中间图像中的背景物体图像部分进行处理，使其透明化，以便透视看见位于其下方的背景物体现实图像，从而将作为目的的AR影像显示在上述显示部上。

<AR影像生成用应用程序的提供>

关于以怎样的提供方法将上述AR影像生成用应用程序安装在平板电脑型终端侧，可以考虑通过SD存储器、USB存储器等移动存储介质来提供的方法、通过红外线等短距离无线通信提供的提供方法等各种方法，但是在本实施方式中，采用了构建作为客户端-服务器系统的应用程序提供系统并且从互联网上的应用程序提供服务器下载至平板电脑型终端的提供方法。

-应用程序提供系统的构成-

在图1中示出了表示应用程序提供系统整体的构成的说明图。如该图所示，作为平板电脑型终端6的各种机型的智能手机1、1、1……及各种机型的平板电脑型PC 2、2、2……，通过公知的方法设置为能够与互联网5无线连接，另一方面，应用程序提供服务器4通过公知的方法与互联网5连接。

-平板电脑型终端的构成-

在图2中示出了表示平板电脑型终端6的一般性硬件构成的框图。关于这种硬件构成，由于是通过各种文献而众所周知的，因此除本发明的主要部分以外，对其进行简单的说明。

在该图中，控制部(CPU)6a对终端整体进行总体控制，通常是由公知的微处理器、实现特定的电路功能的ASIC、FPGA等构成。

麦克风6b以及扬声器6c，例如用于语音通话等。触摸面板控制部6d以及触摸面板6e用于在显示画面中实现触摸面板功能。振动器6f除了用于来信通知以外，还用于向用户通知某些状态。灯驱动部6g以及LED灯6h，用于使显示各种状态的LED灯工作。

照相机模块6i是与其拍照用窗口朝向显示画面的后方的主照相机相关的功能模块，具体地，构成为包括拍摄所需的镜头、图像传感器等。该照相机模块6i获取的图像数据，通过公知的图像处理引擎编辑之后，保存至内置于控制部6a的缓冲用图像存储器之后，根据需要，在显示画面上显示，或者保存至下述的闪存6o中。该照相机模块6i相当于本发明中的拍摄部。

如本领域技术人员所周知，三轴地磁传感器6j是磁性传感器的一种，是检测地磁的朝向，并通过正交三轴(X轴、Y轴、Z轴)的值来计算出方位的传感器。即，该传感器在前后方向和左右方向的第一磁性传感器、第二磁性传感器的基础上具有对上下方向的地磁进行检测的第三地磁传感器。

无线通信部6k，用于将该平板电脑型终端以公知的方法通过无线LAN等与互联网连接的情况等。键输入装置6l，由电源接通按钮、各种按钮式操作键构成，用于对该平板电脑型终端给予必要的指示。

图像显示部6n以及显示控制器6m构成图像显示器(液晶式图像显示器、有机EL式图像显示器等)，显示控制器6m位于作为显示装置的图像显示部6n与内置在控制部6a中的未图示的视频RAM(保存待显示的图像数据的存储器)之间，管理图像显示控制。

闪存6o除了用于保存下载的各种应用程序之外，还用于保存各种设定数据。RAM6p作为用于各种运算处理的工作区域等来使用。

如本领域技术人员所周知，三轴加速度传感器6q是能够以一个装置对X轴、Y轴、Z轴的三个方向的加速度进行测定的传感器，能够检测出三维的加速度，还能够应对重力(静态加速度)的测量。

如本领域技术人员所周知，三轴角速度传感器6r是以正交三轴(X轴、Y轴、Z轴)来实现旋转角速度的测定的惯性传感器的一种，也被称为陀螺仪传感器。角速度传感器对在加速度传感器上无反应的旋转动作进行测定。

-应用程序提供服务器的构成-

在图3中示出了表示应用程序提供服务器的硬件构成的框图。关于这种硬件构成，由于是通过各种文献而众所周知的，因此除本发明的主要部分以外，对其进行简单的说明。

如该图所示，应用程序提供服务器4由以下构成：控制部4a，该控制部4a由管理服务器装置的整体控制的CPU等构成；存储部4b，该存储部4b由ROM、RAM或者硬盘等构成，并用于存储包括上述各种体验型游戏用应用程序在内的各种程序、各种数据等；通信部4c，该通信部4c用于通过LAN或者互联网等与外部机器进行通信；显示部4d，该显示部4d用于进行显示处理；I/F部4e，该I/F部4e进行与外部机器的输入输出；输入操作部4f，该输入操作部4f用于进行输入操作；等等。此外，存储部4b也可以以存储器(storage)等形式与服务器装置分别设置。

-应用程序下载动作-

在图4中示出了应用程序下载动作的说明图。用户在超市、便利店、街边的玩具店等实体店购买了与喜欢的开放型构筑物玩具8(参照图9)对应的商品之后，借助通过手册、包装箱的标示等适当的宣传媒介而获取的或者通过搜索网站获取的URL，进行从自己的平板电脑型终端6至应用程序提供服务器4的连接。

在该状态下，如果在平板电脑型终端6的一侧进行了规定的用户操作，则平板电脑型终端6在向应用程序提供服务器4发送了下载请求之后，等待从应用程序提供服务器4回传认证码请求(步骤101)。

在接收到下载请求的应用程序提供服务器4的一侧(步骤111)，在向平板电脑型终端6发送了认证码请求之后(步骤112)，等待从平板电脑型终端6回传认证码。

平板电脑型终端6在等待接收认证码请求(步骤102)并向应用程序提供服务器4发送了认证码之后(步骤103)，等待从应用程序提供服务器4回传认证错误(步骤104)或者回传作为目的的AR影像生成用应用程序(步骤105)。在此，作为认证码，可以使用之前通过购买商品套装而获取的卡片上标示的商品套装代码等。

应用程序提供服务器4在等待从平板电脑型终端6回传认证码并执行规定的认证处理(例如，作为该认证码而发送来的商品套装代码是否是已销售且未完成下载的代码或者是否是符合规定的下载许可条件的代码的判定)之后(步骤113)，在认证成功的情况下(步骤114中的是)，向平板电脑型终端6发送指定的AR影像生成用应用程序(步骤115)，与之相对地，当认证失败的情况下(步骤114中的否)，向平板电脑型终端6发送认证错误代码。

在平板电脑型终端6的一侧，当从应用程序提供服务器4发送来AR影像生成用应用程序时，在接收该应用程序之后(步骤105)，在保存至规定的存储区域(例如，闪存6o等)之后，等待规定的应用程序启动操作，执行该应用程序，另一方面，当发送来认证错误代码时，直接结束处理。

<已知的背景物体>

接下来，针对提供用于配置虚拟物体的面(例如，地面、墙面等)的已知的背景物体进行说明。作为虚拟物体，只要具有上述“面”，则可以采用任意的构筑物，但优选为具有供虚拟物体在其上面配置的地面、墙面等面的能够俯瞰的开放型构筑物玩具。作为开放型构筑物玩具，例如，通过模仿足球场、棒球场、赛马场、购物中心、儿童房间等并构成能够俯瞰的开放型，能够采用各种各样的样式。

在图9中示出了这样的开放型构筑物玩具的一个例子。该图所示的开放型构筑物玩具8，通过将铁路车站境内及其周边设施的屋顶、天花板拆除，构成为能够俯瞰的开放型构筑物玩具。该开放型构筑物玩具8，包括具有高低差或者起伏的地面，具体地，具有检票内一层地面8a、检票外一层地面8b、一层一号线的站台8c、一层二号线的站台8d、二层一号线的站台8e、将一层和二层连接的楼梯8f、用于供公共汽车及出租车上下的楼顶空间8g以及将楼顶空间和平地连接的斜坡8h。除此之外，该开放型构筑物玩具8具备检票口闸机8i、站台门收纳块8j、用于开关站台门的操作杆8k以及信号灯8l。

因此，若在上述地面8a～8h的任意一个上配置虚拟物体(例如，动画CG人偶)，则根据配置场所和拍摄方向的不同，上述虚拟物体被检票口闸机8i、站台门收纳块8j、用于开关站台门的操作杆8k以及信号灯8l等遮挡，必须去除其影像的一部分。

此外，在图中，其他物体，即，一层一号线的轨道9a、一层二号线的轨道9b、二层一号线的轨道9c、一层一号线的列车玩具10a、一层二号线的列车玩具10b、二层一号线的列车玩具10c、轿车型的微缩汽车玩具11a、公共汽车型的微缩汽车玩具11b、轿车型的微缩汽车玩具11c以及公共汽车型的微缩汽车玩具11d，并非是构成开放型构筑物玩具8的物体，而是需由用户另行购买的物体(参照图10)。

<AR影像生成用应用程序的动作>

在图5中示出了概要性地表示构成AR影像生成用应用程序的处理的整体的流程图。

在使用安装有AR影像生成用应用程序的平板电脑型终端6之前，用户执行规定的开始时操作。如下所述，为了对AR影像生成用应用程序教导与开放型构筑物玩具8相关的拍摄部(照相机)的拍摄姿势、拍摄距离而进行该开始时操作。

在图9中示出了开始时操作的说明图。如该图所示，在该开始时操作中，首先，准备表示定位用的标记的标记表示体7。图示的标记表示体7是具有大致细长长方形状的轮廓的厚质地的纸质片，其一对长边中的一条边被裁剪为非直线状并作为定位用边缘7a。另一方面，在开放型构筑物玩具8的基台上也设置有对应的非直线状的定位用边缘(未图示)。而且，通过将上述两个定位用边缘彼此凹凸匹配，能够在标记表示体7与开放型构筑物玩具8之间设定预定的相对位置关系。

另外，作为构成标记的图形图案，采用沿着标记表示体7的轮廓内周以粗线绘制轮廓线并且在被轮廓线包围的内部以相对较大的日语片假名文字绘制的“トイレール”(玩具轨道)的文字列而形成的图案。此外，标记表示体7可以一起包装在开放型构筑物玩具8的包装中，也可以预先印刷在包装所使用的纸质箱体的一部分上，并由用户方将其剪裁下来。

在该状态下，若启动AR影像生成用应用程序，则首先执行为了获取拍摄部(照相机)相对于开放型构筑物玩具8的拍摄姿势、拍摄距离等作为“拍摄条件”的一连串的处理(步骤201～204)，以及为了获取与拍摄视野内的开放型构筑物玩具8对应的图像的存在位置的处理(步骤205)。

若对上述处理进行简要说明，首先，通过执行拍摄处理(步骤201)，驱动照相机模块6i(参照图2)获取与视野对应的现实图像，并且将这样获取的现实图像写入RAM 6p(参照图2)的规定区域。

接下来，通过公知的图像解析处理(步骤202)对写入于RAM 6p(参照图2)的规定区域的现实图像执行规定的图像解析处理，通过图案匹配，以规定的检索最大时间为条件，持续执行对与在标记表示体7上表示的标记相当的图像图案进行检索的处理(步骤203中的否)。

如果找到了与标记相当的图像图案(步骤203中的是)，接下来，通过执行公知的拍摄条件的计算处理(步骤204)，获取拍摄部(照相机)相对于开放型构筑物玩具8的拍摄姿势、拍摄距离等作为“拍摄条件”。

为了获取该“拍摄条件”的计算处理(步骤204)可以通过如下方式实现，例如在将标记表示体7与开放型构筑物玩具8定位于规定的关系中的状态下，在作为规定的基准的拍摄条件(拍摄姿势、拍摄距离等)下，通过预先将拍摄标记表示体7上的标记而得到的标记图像作为基准图像图案进行存储，并且将该基准图像图案与在任意拍摄条件(拍摄姿势、拍摄距离等)下拍摄标记表示体7上的标记而得到的标记图像，在预先决定的多个对照项目(例如，整体的尺寸、特定的线段的粗细、特定的一对线段的交叉角度、特定的线段的倾斜角度等)中的各个项目上进行对照。此外，如本领域技术人员所周知，为了获取该“拍摄条件”的计算处理(步骤204)还可以通过无标记(markerless)的方式来实现。

接下来，通过执行AR对象区域的计算处理(步骤205)，在以任意的拍摄条件(拍摄姿势、拍摄距离等)经由拍摄部而获取的现实图像中，获取用于确定与开放型构筑物玩具8相当的图像(AR对象图像区域)的信息(例如，位置及姿势)。

在为了获取用于确定该AR对象区域的信息的计算处理(步骤205)中，当标记图像包含在现实图像中但未包含在相当于开放型构筑物玩具8的图像(AR对象图像区域)中的情况下，可以通过利用在标记图像和相当于开放型构筑物玩具8的图像(AR对象图像区域)之间设定的已知的相关性的推定处理来执行上述计算处理。

另外，每当每隔一定周期(例如，1/30秒、1/60秒)进行新的拍摄(步骤210)时，基于规定的算法更新用于确定上述AR对象区域的信息。作为一个算法，例如，可列举为以下算法：通过利用三轴加速度传感器6q、三轴角速度传感器6r(参照图2)的检测值变化量的所谓积分方程的跟踪控制而依次更新用于确定AR对象区域的信息。作为另一个算法，可列举为以下算法：着眼于AR对象区域的图形特征，通过图案匹配方法，通过跟踪现实图像上的AR对象区域，依次更新用于确定AR对象区域的信息。

近来，在这种AR影像生成技术的领域，在市场上已经提供能够轻松地开发AR影像生成应用程序的各种辅助工具，因此，关于上述图像解析处理(步骤202)、拍摄条件的计算处理(步骤204)以及AR对象区域的计算处理(步骤205)，通过利用这样的辅助工具(例如，索尼数字网络应用程序有限公司提供的SmartAR(注册商标))，能够容易地实现必要的功能。

接下来，执行AR用目标物的决定处理(步骤206)。将AR用目标物的决定处理的详细内容表示在图6中。如该图所示，在该AR用目标物的决定处理中，准备了三个动作模式。

在该图中，若处理开始，则首先在读入预先设定的“登场目标物设定”之后(步骤301)，进行是否是默认设定模式(步骤302)、动态设定模式(步骤304)、或者追加设定模式(步骤312)的判定。

若判定为“默认设定”模式(步骤302中的是)，则接下来选择预先决定的一组目标物作为登场目标物(步骤303)。此处，“登场目标物”相当于待配置在现实图像上的虚拟图像，可以广泛地包括人物、动物、移动体的真实图像、CG制作图像、进而它们的静止图像、动画图像等。在本例中，作为一组目标物，例如，可列举为分别通过动画技法制作的步行的五至十人的CG人偶。对上述CG人偶的性别构成比、年龄构成比、社会人员与学生的构成比等与其服装一起进行设计，以使得与构成作为目的的背景图像的开放型构筑物玩具8相匹配。

若判定为“动态设定”模式(步骤304中的是)，在读入当前时刻之后(步骤305)，针对当前时间点，判定是否是属于早上的时间段(步骤306)、属于中午的时间段(步骤308)、或者属于晚上的时段(步骤310)。此处，作为早上的时间段，例如可列举为上午6点～上午10点的时间段，作为中午的时间段，例如可列举为上午10点～下午2点的时间段，作为晚上的时间段，例如可列举为下午5点～下午10点的时间段。当不属于上述时间段时，例如通过返回至默认而能够避免不自然的表演。

若判定为早上的时间段(步骤306中的是)，则选择用于早上的时间段的一组目标物(例如，穿着学生、通勤旅客的服装的男女总数五至十名左右的CG人偶)作为登场目标物(步骤307)。

若判定为中午的时间段(步骤308中的是)，则选择用于中午的时间段的一组目标物(例如，穿着带孩子的母亲、年长者的服装的男女总数五至十名左右的CG人偶)作为登场目标物(步骤309)。

若判定为晚上的时间段(步骤310中的是)，则选择用于晚上的时间段的一组目标物(例如，以穿着通勤旅客的服装的男女为主的总数五至十名左右的CG人偶)作为登场目标物(步骤311)。

若判定为“追加设定”模式(步骤312中的是)，则追加通过将利用智能手机等对用户预先手绘的面部、家人的面部进行拍摄而形成的图像与CG人偶合成而得到的目标物作为登场目标物(步骤313)。

接下来，返回至图5，对作为本发明的主要部分的AR用中间图像生成处理(步骤207)进行说明。将AR用中间图像生成处理的详细流程图表示在图7中。

如该图所示，AR用中间图像生成处理由向AR对象区域3D模型上配置目标物的处理(步骤401)和中间图像转换处理(步骤402)构成。

将目标物配置处理的详细内容表示在图8中。在此处，“AR对象区域3D模型”是指，将背景物体(例如，能够俯瞰铁路车站境内及其周边设施的开放型构筑物玩具)的构造以三维坐标来表现的图像数据，与AR影像生成用应用程序一起安装在平板电脑型终端6上，并保存在规定的存储器(例如，闪存6o)中。另外，关于与虚拟目标物对应的虚拟图像(例如，CG制作的人偶、车辆等移动体)，优选为也赋予三维信息，并预先保存在规定的存储器(例如，闪存6o)中。

在图8中，若处理开始，则首先在按顺序执行从存储器中读出所选择的一组目标物的处理(步骤501)以及读出与AR对象区域对应的3D模型的处理(步骤502)之后，反复执行一连串的处理(步骤504～508)直至指针P达到1～Pmax(步骤503、509、510)。

首先，通过指针P将指定的目标物从存储器中读出(步骤504)，接着，将该目标物配置在3D模型上的规定的步行预定位置(步骤505)。此时，由于3D模型具有三维的位置信息，因此能够将指定的虚拟目标物准确地配置在3D模型上的指定位置。

例如，如果3D模型与能够俯瞰铁路车站境内及其周边设施的开放型构筑物玩具8对应，那么能够在三维空间上准确地识别出检票内一层地面8a、检票外一层地面8b、一层一号线的站台8c、一层二号线的站台8d、二层一号线的站台8e、将一层和二层连接的楼梯8f、用于供公共汽车及出租车上下的楼顶空间8g以及将楼顶空间和平地连接的斜坡8h等目标物配置面，并在此基础上与之形成一定的位置关系，由此能够配置作为虚拟目标物的CG人偶、CG车辆等。此时，如果在作为虚拟目标物的CG人偶等的一侧也具有三维信息或者指向信息，则能够以指定的朝向准确地将CG人偶等配置在3D模型上的指定位置。

另外，如果想要进行沿面移动，则以3D模型中的该配置面的高度与各目标物的基准位置(例如，脚部的下端、车辆的车轮下端)大致一致的方式配置虚拟目标物即可。另外，如果想要进行蹦跳移动，则以其预定蹦跳轨迹与虚拟目标物的基准位置大致一致的方式在3D模型上配置虚拟目标物即可。

此外，配置面并不限定于地面，也可以将其他任意的垂直的墙面设置为配置面。在这种情况下，以3D模型中的该墙面的高度与各目标物的基准位置(例如，脚部的下端、车辆的车轮下端)大致一致的方式配置虚拟目标物即可。

接下来，计算该目标物与拍摄视点(例如，平板电脑型终端的照相机的镜头位置)的距离(步骤506)，仅在该距离小于规定值的情况下(步骤507中的是)，执行规定的变化处理，以使作为虚拟目标物的CG人偶的面部部分朝向拍摄视点(步骤508)。

接下来，返回至图7，执行中间图像转换处理(步骤402)。该中间图像转换处理(步骤402)，将通过上述目标物配置处理(步骤401)而生成的虚拟物体配置完毕背景物体的三维虚拟图像，以与当前的拍摄条件相同的拍摄条件，用虚拟照相机拍摄，从而获取虚拟物体配置完毕背景物体的二维虚拟图像，并将其生成为AR影像生成用中间图像。

在图10中示出了这样生成的AR影像生成用中间图像的一个例子。在该图中，以双点划线绘制的部分是通过虚拟照相机对背景物体的3D模型以与实际相同的拍摄条件进行拍摄而得到的二维图像部分(以附图标记8a～8h标示)，以实线绘制的部分是通过虚拟照相机对虚拟物体的虚拟图像以与实际相同的拍摄条件进行拍摄而得到的二维图像部分(以附图标记12a～12c标示)。

接下来，返回至图5，执行显示控制处理(步骤208)。在显示控制处理(步骤208)中，使上述得到的中间图像(参照图10)在通过上述背景物体的三维模型的位置信息而确定的背景物体现实图像(参照图9)上进行位置匹配并重叠，并且，对上述中间图像中的背景物体图像部分(双点划线部分)进行处理，使其透明化，以便透视看见位于其下方的背景物体现实图像，从而使作为目的的AR影像显示在上述显示部上(参照图11)。

<AR影像生成装置的实施方式所涉及的作用效果>

如以上说明，根据安装有AR影像生成用应用程序(图5～图8)的平板电脑型终端6，在进行了规定的开始时操作(参照图9)并且进行了登场目标物设定之后，若将该平板电脑型终端6举在作为背景物体的能够俯瞰铁路车站境内及其周边设施的开放型构筑物玩具8之上，则在作为显示部的液晶屏幕上显示在俯瞰构成背景物体的铁路车站境内及其周边设施而得到的现实影像上重叠作为虚拟物体(目标物)的虚拟影像(在本例中为三个动画CG人偶12a、12b、12c)而形成的AR影像(参照图10、图11)。因此，例如，通过应用于申请人所销售的普乐路路(注册商标)列车玩具上并形成能够俯瞰铁路车站境内及其周边设施的开放型构筑物玩具，将其配置在规定的轨道(9a～9c)中，并搭载实际的列车玩具、微缩汽车玩具(11a～11d)，在此基础上，在其空余空间上，使模仿乘客、站务员的CG人偶以虚拟影像登场，从而能够对这种列车玩具提出新的玩法方案。

而且，该AR影像并非是利用图像识别技术直接对背景物体的现实图像和虚拟物体的虚拟图像进行位置匹配，而是首先在背景物体的三维模型与虚拟物体的虚拟图像之间利用三维信息进行准确的位置匹配(参照图8)，然后，将对此以相同的拍摄条件进行拍摄而得到的中间图像(参照图10)以将中间图像的背景物体部分进行透明化的方式重叠在背景物体的现实图像(参照图9)之上而得到的，因此，将虚拟物体的影像(步行的动画CG人偶12a、12b、12c)高精度地定位描绘在背景物体的影像上的指定位置。因此，即使在应用于在虚拟物体配置面上具有复杂的高低差或凹凸的背景物体的情况下，也不会出现应该沿着地面的起伏行走的CG人偶悬浮地行走的现象，成为针对虚拟物体而适当地确保了沿面追随性的视觉上自然的AR影像。

另外，根据同样的理由，这样得到的虚拟物体的影像，可明确地描绘出与周围的物体之间的远近关系。因此，如图15所示，在虚拟物体(CG人偶12d、12e)的步行中，在其前方出现遮挡物(检票口闸机8i、站台门收纳块8j)的情况下，处于一部分被上述遮挡物所遮挡的状态下的虚拟物体(CG人偶12d’、12e’)被遮挡物遮挡而无法看见，成为适当地确保了远近识别性的视觉上自然的AR影像。

另外，在登场目标物设定中，若选择“动态设定”，则执行一连串的不同时间段目标物设定处理(参照图6，步骤304～311)的结果是，如图16所示，关于通过检票口的乘降旅客(动画CG人偶)，早上的时间段主要以学生(初中生、高中生)、通勤旅客为主，中午的时间段主要以购物旅客、带孩子的旅客为主，晚上的时间段主要以通勤旅客为主，从而能够提供更进一步逼真的车站场景。

另外，在目标物配置处理中，执行距离对应变化处理(参照图8，步骤506～508)的结果是，如图17所示，若使平板电脑型终端6的拍摄部向AR影像上的特定目标物(在二层一号线的站台跟前朝向列车站立的模仿站务员的CG人偶12a)靠近，则该目标物在变成特写的同时变为向用户一侧回头，从而能够使用户对该目标物感受到亲切感。

进一步地，若将一层一号线的列车玩具10a以及一层二号线的列车玩具10b本身作为虚拟目标物，则如图13所示，尽管上述线路实际上是空置状态，也能够在上述线路上显现出列车玩具10a、10b的虚拟影像。并且，由于这样得到的列车的虚拟影像是基于三维模型的影像，因此可应对从列车的任何方向进行的拍摄，例如，如图14所示，对于从列车的前方的拍摄，能够提供从前方观察列车时的虚拟影像。

<其他>

在上述实施方式中采用了以下构成：若使平板电脑型终端6的拍摄部(照相机)向AR影像上的特定的虚拟物体靠近，则该虚拟物体发生变化(参照图8的步骤506～508以及图17)，但是作为用于使该虚拟物体发生变化的触发，不仅是使镜头靠近的动作，例如也可以通过触摸平板电脑型终端6的触摸面板而使被触摸的虚拟物体发生变化。

另外，在上述实施方式中，根据当前时刻所属的时间段自动地进行从多个虚拟物体组中选择一个虚拟物体组的动作(图6中的步骤304～311)，但是当然也可以通过用户的键操作等手动地进行上述选择动作。

另外，也可以根据在预先设定的多个期间中当前时间所属的期间而自动地执行从多个虚拟物体组中选择获取其中一个组的动作。

根据这样的构成，作为当前时间所属的期间，例如，若采用季节(春季、夏季、秋季、冬季)、活动期间(新年期间、圣诞期间、万圣节期间、暑假期间等)，并且预先设定与各期间相符的服饰的CG人偶组，则能够在该期间到来的同时在背景影像上自动地显现出与该期间相符的服装的CG人偶等。

进一步地，在上述实施方式中，作为已知的背景物体，采用了能够俯瞰铁路车站境内及其周边设施的开放型构筑物玩具8，但是除此以外，作为开放型构筑物玩具，通过模仿足球场、棒球场、赛马场、购物中心、儿童房间等并构成为能够俯瞰的开放型，能够进行各种各样的表演。

工业上的利用可能性

根据本发明，即使在应用于在虚拟物体配置面上具有复杂的高低差或凹凸的背景物体的情况下，也能够针对虚拟物体而生成适当地确保了沿面追随性、远近识别性的视觉上自然的AR影像。

【符号说明】

1 智能手机

2 平板电脑型PC

4 应用程序提供服务器

4a 控制部

4b 存储部

4c 通信部

4d 显示部

5 互联网

6 平板电脑型终端

6a 控制部

6b 麦克风

6c 扬声器

6d 触摸面板控制部

6e 触摸面板

6f 振动器

6g 灯驱动部

6h LED灯

6i 照相机模块

6j 三轴地磁传感器

6k 无线通信部

6l 键输入装置

6m 显示控制器

6n 图像显示部

6o 闪存

6p RAM

6q 三轴加速度传感器

6r 三轴角速度传感器

7 标记表示体

7a 定位用边缘

8 开放型构筑物玩具

8a 检票内一层地面

8b 检票外一层地面

8c 一层一号线的站台

8d 一层二号线的站台

8e 二层一号线的站台

8f 将一层和二层连接的楼梯

8g 用于供公共汽车及出租车上下的楼顶空间

8h 将楼顶空间和平地连接的斜坡

8i 检票口闸机

8j 站台门收纳块

8k 用于开关站台门的操作杆

8l 信号灯

9a 一层一号线的轨道

9b 一层二号线的轨道

9c 二层一号线的轨道

10a 一层一号线的列车玩具

10b 一层二号线的列车玩具

10c 二层一号线的列车玩具

11a 轿车型的微缩汽车玩具

11b 公共汽车型的微缩汽车玩具

11c 轿车型的微缩汽车玩具

11d 公共汽车型的微缩汽车玩具

12a 配置于检票内一层地面的CG人偶

12b 配置于二层一号线站台跟前的CG人偶

12c 配置于楼顶空间的CG人偶

12d 进入检票口之前的CG人偶

12d’ 正通过检票口的CG人偶

12e 进入站台门之前的CG人偶

12e’ 进入站台门之后的CG人偶。

Claims (25)

1.一种计算机可读存储介质，其中存储有计算机程序，

所述计算机程序用于使至少具备拍摄部、显示部和存储部的便携式的信息处理终端作为AR影像生成装置而发挥功能，该AR影像生成装置包括：

基础信息获取单元，设置为基于在通过所述拍摄部获取的现实图像中包含的标记信息，通过计算来获取拍摄部相对于已知的背景物体的包括距离、角度的拍摄条件，该已知的背景物体提供用于配置虚拟物体的表面；

三维模型信息获取单元，设置为从所述存储部获取表示所述背景物体的三维模型的信息；

虚拟物体信息获取单元，设置为从所述存储部获取表示待配置于所述背景物体的所述表面上的虚拟物体的信息；

中间图像生成单元，设置为基于表示所述背景物体的三维模型的信息、表示待配置于所述背景物体的所述表面上的虚拟物体的信息和所述包括距离、角度的拍摄条件，生成虚拟物体在背景物体上配置完毕的虚拟图像作为AR影像生成用中间图像，以所述拍摄条件对在所述背景物体的所述表面上的指定位置配置有所述虚拟物体的状态进行拍摄时，能够得到所述虚拟物体在背景物体上配置完毕的虚拟图像；以及

显示控制单元，设置为将所述中间图像在经所述背景物体的三维模型的位置信息确定的背景物体现实图像之上进行位置匹配并与所述背景物体现实图像重叠，并且，对所述中间图像中的背景物体图像部分进行处理，使其透明化，以便透视看见位于其下方的背景物体现实图像，从而将其作为目标的AR影像显示在所述显示部上。

2.根据权利要求1所述的计算机可读存储介质，其特征在于，

所述虚拟物体信息获取单元，设置为能够从分别包括一个或者两个以上的虚拟物体的多个虚拟物体组之中选择并获取其中一个组。

3.根据权利要求2所述的计算机可读存储介质，其特征在于，

根据在预先设定的多个期间中当前时间所属的期间而自动地执行从所述虚拟物体组之中选择并获取其中一个组的动作。

4.根据权利要求3所述的计算机可读存储介质，其特征在于，

在所述多个期间中，包括根据时刻而区分的期间。

5.根据权利要求1所述的计算机可读存储介质，其特征在于，

所述虚拟物体信息获取单元，设置为能够获取用户任意地制作的虚拟物体图像。

6.根据权利要求1所述的计算机可读存储介质，其特征在于，

在所述背景物体的所述表面上的指定位置配置有所述虚拟物体的状态下，当基于所述拍摄条件而判定为该虚拟物体与所述拍摄部的距离小于规定值时，所述中间图像生成单元设置为对该虚拟物体实施规定的变化。

7.根据权利要求1所述的计算机可读存储介质，其特征在于，

在所述背景物体的所述表面上的指定位置配置有所述虚拟物体的状态下，当判定用户通过触摸面板而对该虚拟物体进行了指定时，所述中间图像生成单元设置为对该虚拟物体实施规定的变化，所述显示部由触摸面板构成。

8.根据权利要求6或7所述的计算机可读存储介质，其特征在于，

所述规定的变化，是使构成虚拟物体的人偶的面部转向所述拍摄部一侧的变化。

9.根据权利要求1所述的计算机可读存储介质，其特征在于，

所述已知的背景物体，是具有包括地面、墙面的表面以供虚拟物体在其上面进行配置，能够俯瞰的开放型构筑物玩具。

10.根据权利要求9所述的计算机可读存储介质，其特征在于，

所述开放型构筑物玩具是能够俯瞰铁路车站境内及其周边设施的开放型构筑物玩具。

11.一种AR影像生成装置，具有至少具备拍摄部、显示部和存储部的便携式的信息处理终端，

所述信息处理终端包括：

基础信息获取单元，设置为基于在通过所述拍摄部获取的现实图像中包含的标记信息，通过计算来获取拍摄部相对于已知的背景物体的包括距离、角度的拍摄条件，该已知的背景物体提供用于配置虚拟物体的表面；

三维模型信息获取单元，设置为从所述存储部获取表示所述背景物体的三维模型的信息；

虚拟物体信息获取单元，设置为从所述存储部获取表示待配置于所述背景物体的所述表面上的虚拟物体的信息；

中间图像生成单元，设置为基于表示所述背景物体的三维模型的信息、表示待配置于所述背景物体的所述表面上的虚拟物体的信息和所述包括距离、角度的拍摄条件，生成虚拟物体在背景物体上配置完毕的虚拟图像作为AR影像生成用中间图像，在以所述拍摄条件对在所述背景物体的所述表面上的指定位置配置有所述虚拟物体的状态进行拍摄时，能够得到所述虚拟物体在背景物体上配置完毕的虚拟图像；以及

显示控制单元，设置为将所述中间图像在经所述背景物体的三维模型的位置信息确定的背景物体现实图像之上进行位置匹配并与所述背景物体现实图像重叠，并且，对所述中间图像中的背景物体图像部分进行处理，使其透明化，以便透视看见位于其下方的背景物体现实图像，从而将其作为目标的AR影像显示在所述显示部上。

12.根据权利要求11所述的AR影像生成装置，其特征在于，

所述虚拟物体信息获取单元，设置为能够从分别包括一个或者两个以上的虚拟物体的多个虚拟物体组之中选择并获取其中一个组。

13.根据权利要求11所述的AR影像生成装置，其特征在于，

在所述背景物体的所述表面上的指定位置配置有所述虚拟物体的状态下，当基于所述拍摄条件而判定为该虚拟物体与所述拍摄部的距离小于规定值时，所述中间图像生成单元设置为对该虚拟物体实施规定的变化。

14.根据权利要求11所述的AR影像生成装置，其特征在于，

在所述背景物体的所述表面上的指定位置配置有所述虚拟物体的状态下，当判定用户通过触摸面板而对该虚拟物体进行了指定时，所述中间图像生成单元设置为对该虚拟物体实施规定的变化，所述显示部由触摸面板构成。

15.根据权利要求11所述的AR影像生成装置，其特征在于，

所述已知的背景物体，是具有包括地面、墙面的表面以供虚拟物体在其上面进行配置，能够俯瞰的开放型构筑物玩具。

16.一种便携式的信息处理终端的控制方法，是至少具备拍摄部、显示部和存储部的便携式的信息处理终端的控制方法，包括：

第一步骤，基于在通过所述拍摄部获取的现实图像中包含的标记信息，通过计算来获取拍摄部相对于已知的背景物体的包括距离、角度的拍摄条件，该已知的背景物体提供用于配置虚拟物体的表面；

第二步骤，从所述存储部获取表示所述背景物体的三维模型的信息；

第三步骤，从所述存储部获取表示待配置于所述背景物体的所述表面上的虚拟物体的信息；

第四步骤，基于表示所述背景物体的三维模型的信息、表示待配置于所述背景物体的所述表面上的虚拟物体的信息和所述包括距离、角度的拍摄条件，生成虚拟物体在背景物体上配置完毕的虚拟图像作为AR影像生成用中间图像，以所述拍摄条件对在所述背景物体的所述表面上的指定位置上配置有所述虚拟物体的状态进行拍摄时，能够得到所述虚拟物体在背景物体上配置完毕的虚拟图像；以及

第五步骤，将所述中间图像在经所述背景物体的三维模型的位置信息确定的背景物体现实图像之上进行位置匹配并与所述背景物体现实图像重叠，并且，对所述中间图像中的背景物体图像部分进行处理，使其透明化，以便透视看见位于其下方的背景物体现实图像，从而将其作为目标的AR影像显示在所述显示部上。

17.根据权利要求16所述的便携式的信息处理终端的控制方法，其特征在于，

所述第三步骤，设置为能够从分别包括一个或者两个以上的虚拟物体的多个虚拟物体组之中选择并获取其中一个组。

18.根据权利要求16所述的便携式的信息处理终端的控制方法，其特征在于，

所述第四步骤，在所述背景物体的所述表面上的指定位置配置有所述虚拟物体的状态下，当基于所述拍摄条件而判定为该虚拟物体与所述拍摄部的距离小于规定值时，对该虚拟物体实施规定的变化。

19.根据权利要求16所述的便携式的信息处理终端的控制方法，其特征在于，

在所述背景物体的所述表面上的指定位置配置有所述虚拟物体的状态下，当判定用户通过触摸面板而对该虚拟物体进行了指定时，所述中间图像生成单元对该虚拟物体实施规定的变化，所述显示部由触摸面板构成。

20.根据权利要求16所述的便携式的信息处理终端的控制方法，其特征在于，

所述已知的背景物体，是具有包括地面、墙面的表面以供虚拟物体在其上面进行配置，能够俯瞰的开放型构筑物玩具。

21.一种用于提供AR影像的玩具组件，包括：

具有包括地面、墙面的表面以供虚拟物体在其上面配置，能够俯瞰的开放型构筑物玩具；

标记表示体，以应配置为与所述玩具保持相对位置关系的方式提供、且表示具有规定的图形性特征的标记；以及

计算机程序，该计算机程序使至少具备拍摄部、显示部和存储部的便携式的信息处理终端作为AR影像生成装置而发挥功能，

所述AR影像生成装置包括：

基础信息获取单元，设置为基于在通过所述拍摄部获取的现实图像中包含的标记信息，通过计算来获取拍摄部相对于已知的背景物体的包括距离、角度的拍摄条件，该已知的背景物体提供用于配置虚拟物体的表面；

三维模型信息获取单元，设置为从所述存储部获取表示所述背景物体的三维模型的信息；

虚拟物体信息获取单元，设置为从所述存储部获取表示待配置于所述背景物体的所述表面上的虚拟物体的信息；

中间图像生成单元，设置为基于表示所述背景物体的三维模型的信息、表示待配置于所述背景物体的所述表面上的虚拟物体的信息和所述包括距离、角度的拍摄条件，生成虚拟物体在背景物体上配置完毕的虚拟图像作为AR影像生成用中间图像，以所述拍摄条件对在所述背景物体的所述表面上的指定位置上配置有所述虚拟物体的状态进行拍摄时，能够得到所述虚拟物体在背景物体上配置完毕的虚拟图像；以及

显示控制单元，设置为将所述中间图像在经所述背景物体的三维模型的位置信息确定的背景物体现实图像之上进行位置匹配并与所述背景物体现实图像重叠，并且，对所述中间图像中的背景物体图像部分进行处理，使其透明化，以便透视看见位于其下方的背景物体现实图像，从而将其作为目标的AR影像显示在所述显示部上。

22.根据权利要求21所述的用于提供AR影像的玩具组件，其特征在于，

所述虚拟物体信息获取单元，设置为能够从分别包括一个或者两个以上的虚拟物体的多个虚拟物体组之中选择并获取其中一个组。

23.根据权利要求21所述的用于提供AR影像的玩具组件，其特征在于，

在所述背景物体的所述表面上的指定位置配置有所述虚拟物体的状态下，当基于所述拍摄条件而判定为该虚拟物体与所述拍摄部的距离小于规定值时，所述中间图像生成单元设置为对该虚拟物体实施规定的变化。

24.根据权利要求21所述的用于提供AR影像的玩具组件，其特征在于，

在所述背景物体的所述表面上的指定位置配置有所述虚拟物体的状态下，当判定用户通过触摸面板而对该虚拟物体进行了指定时，所述中间图像生成单元设置为对该虚拟物体实施规定的变化，所述显示部由触摸面板构成。

25.根据权利要求21所述的用于提供AR影像的玩具组件，其特征在于，

所述已知的背景物体，是具有包括地面、墙面的表面以供虚拟物体在其上面进行配置，能够俯瞰的开放型构筑物玩具。

Images