CN104571604B - 信息处理设备及方法 - Google Patents

Abstract

本发明涉及一种信息处理设备以及通过信息处理装置执行的显示控制方法。所述信息处理设备包括：控制单元，其被配置成：从第一图像数据中检测对应于参考对象的特定图像数据；在检测到特定图像数据时，控制显示器以在第一图像数据上显示对象数据，对象数据与特定图像数据相关联并且被存储在存储器中；从图像捕获装置获得第二图像数据；在检测到对图像捕获设备的特定操作时，控制显示器以继续在第一图像数据上显示对象数据；以及在没有检测到特定操作时，控制显示器以显示第二图像数据。

Description

信息处理设备及方法

技术领域

本文中讨论的实施方式涉及用于控制增强现实技术的显示模式的技术。

背景技术

下述技术是可用的，在该技术中，将被布置在与真实空间相对应的三维虚拟空间中的三维对象的模型数据叠加显示在由摄像头捕获的图像上。由于增强了要通过人类感知(例如视觉)收集的信息，因而该技术被称为增强现实(AR)技术等。也将被布置在与真实空间相对应的三维虚拟空间中的三维对象的模型数据称为内容。

AR技术使得能够基于预先指定的布置信息来生成内容的投影图像，并且使得能够将投影图像叠加在捕获图像上来显示。基于摄像头的位置与内容的布置位置之间的位置关系来生成内容的投影图像。

为了确定位置关系，使用参考项。用作参考项的典型示例是标记。因此，当从由摄像头捕获的图像中检测出标记时，基于在由摄像头所捕获的图像中捕获的标记图像来确定该标记与摄像头之间的位置关系。该位置关系被反映，以生成与该标记关联的内容的投影图像，并且将投影图像叠加在捕获图像上来显示(例如，国际专利申请第2010-531089号的日本国家公开和国际公开小册子第2005-119539号)。

发明内容

技术问题

在显示其中内容的投影图像被叠加在捕获图像上显示的合成图像的情况下，用户可以对合成图像执行操作，诸如选择操作。例如，在用于显示合成图像的显示装置是触摸面板显示器时，用户在其触摸面板上指定其中显示投影图像的区域中的位置。例如，选择指定位置处存在的内容，并且执行例如用于以较大尺寸来显示内容的投影图像和/或显示与该内容关联的其它内容的处理。

在这种情况下，为了对显示装置上所显示的合成图像执行操作，用户用一只手执行操作并且用另一只手支撑信息处理设备。信息处理设备是具有显示装置和摄像头的计算机，例如，装备有摄像头的平板个人计算机(PC)。

由于用户用一只手握持信息处理设备，因而对信息处理设备的握持可能变得不稳定，从而使得摄像头难以捕获标记的部分或全部。除非在由摄像头所捕获的图像中捕获了标记，否则信息处理设备不能显示合成图像。结果，用户可能不能在合成图像上检查选择操作等。

因此，用户在考虑摄像头的图像捕获范围的情况下用一只手握持信息处理设备，使得可以捕获标记的图像，并且用户在保持握持状态时还用另一只手执行操作。也就是说，操作期间用户的负荷很大。

此外，在用户继续查看合成图像中所显示的内容时，重要的是，用户保持摄像头的图像捕获范围使得可以捕获标记的图像。因此，用户握持装配有摄像头的信息处理设备使得保持可以识别标记的状态的负荷对于不同于选择操作的操作来说也很高。

因此，本公开内容的目的是减小用户握持信息处理设备的负荷。

问题的解决方案

根据本发明的一个方面，信息处理设备包括：控制单元，其被配置成从第一图像数据中检测对应于参考对象的特定图像数据；在检测到特定图像数据时，控制显示器以在第一图像数据上显示对象数据，对象数据与特定图像数据相关联并且被存储在存储器中；从图像捕获装置获得第二图像数据；在检测到对图像捕获装置的特定操作时，控制显示器以继续在第一图像数据上显示对象数据；以及在没有检测到特定操作时，控制显示器以显示第二图像数据。

附图说明

图1示出了摄像头坐标系与标记坐标系之间的关系；

图2示出了摄像头坐标系和标记坐标系中的内容的示例；

图3描绘了用于从标记坐标系变换到摄像头坐标系的变换矩阵以及变换矩阵中的旋转矩阵；

图4描绘了旋转矩阵；

图5示出了合成图像的示例；

图6是根据第一实施方式的系统配置的示意图；

图7是根据第一实施方式的信息处理设备的功能框图；

图8示出了图像存储单元的示例数据结构；

图9示出了模板存储单元的示例数据结构；

图10示出了内容存储单元的示例数据结构；

图11示出了根据第一实施方式的模式控制处理的流程；

图12是根据第一实施方式的合成图像生成处理的流程图；

图13A和图13B示出了用户握持信息处理设备的姿势与负荷之间的关系。

图14示出了用于描述附加内容的图像；

图15是根据第二实施方式的信息处理设备的功能框图；

图16示出了管理信息存储单元的示例数据结构；

图17示出了根据第二实施方式的模式控制处理的流程；

图18是根据第二实施方式的合成图像生成处理的流程图；

图19A和图19B示出了用于描述第三实施方式的图像；

图20是根据第三实施方式的信息处理设备的功能框图；

图21是根据第三实施方式的合成图像生成处理的流程图；

图22是内容选择处理的流程图；

图23示出了用于执行与虚拟摄像头的设置对应的变换的旋转矩阵；

图24示出了每个实施方式中的信息处理设备的示例硬件配置；

图25示出了在计算机上运行的程序的示例配置；以及

图26示出了管理设备的示例硬件配置。

具体实施方式

下面将参考附图来描述实施方式。在不引起处理细节中矛盾的范围内，也可以适当地组合下文中描述的独立的实施方式。

首先，将描述增强现实(AR)技术，在增强现实技术中，将被布置在与真实空间相对应的三维虚拟空间中的内容叠加在由摄像头所捕获的图像(被称为“输入图像”)上来显示。该内容是被布置在虚拟空间中的三维对象的模型数据。模型数据也被称为“对象”。

为了以叠加方式在捕获图像上显示内容，通过对虚拟空间中的对象的布置位置和布置姿态进行设置来执行用于创建内容的处理。该处理通常被称为内容创作处理。

对象例如是包括多个点的模型数据。针对通过以直线和/或曲线插入多个点而获得的各个面来设置图案(纹理)，并且组合各面以形成三维模型。

作为虚拟空间中的内容的布置，参考存在于真实空间中的参考项来确定用于构成对象的点的坐标。内容并不存在于真实空间中，并且通过参照参考项来在虚拟空间中虚拟地布置内容。

当在虚拟空间中布置内容时，基于在由摄像头所捕获的图像中捕获的参考项看起来如何(即，基于参考项的图像)来确定摄像头与真实空间中的参考项之间的位置关系。基于摄像头与真实空间中的参考项之间的位置关系以及虚拟空间中的内容的布置位置(参考项与内容之间的位置关系)来确定摄像头与虚拟空间中的内容之间的位置关系。然后，由于基于摄像头与虚拟空间中的内容之间的位置关系来确定在被布置在虚拟空间中的虚拟摄像头捕获内容时获取的图像，所以可以将内容叠加在捕获图像上来显示。

这种情况下的虚拟摄像头仅是虚拟地布置在虚拟空间中的摄像头，并且因此能够从任何位置(视线)虚拟地捕获虚拟空间的图像。也就是说，可以通过设置来改变虚拟摄像头的位置，从而使得可以控制合成图像中的内容的显示状态。

例如，当以与真实空间中的摄像头的位置相同的方式来设置虚拟摄像头的位置时，将从与真实空间对应的虚拟空间中的、与真实空间中的摄像头的位置相同的位置处捕获内容的图像时所获取的图像投影到合成图像上。另一方面，当与实际摄像头的位置独立地设置虚拟摄像头的位置时，将从与真实空间中的摄像头的位置不同的位置处捕获的虚拟空间的图像投影到合成图像上。虽然下面描述了细节，但是取决于虚拟摄像头的设置来生成合成图像，该合成图像例如为通过从俯视角度捕获其中布置了内容的虚拟空间的图像而获得的合成图像。

将参考图1、图2、图3及图4来进一步描述用于生成内容的图像的计算操作。图1示出了摄像头坐标系与标记坐标系之间的关系。图1所示的标记M是参考项的示例。图1所示的标记M具有尺寸预先限定的正方形形状(例如，一个边的长度是5cm等)。虽然图1中示出的标记M具有正方形形状，但是参考项可以是具有下述形状的其它项，可以基于由从视图的多个点中的任何点捕获图像而获取的图像来确定所述其它项的形状与摄像头的相对位置和定向。

摄像头坐标系由三维(Xc，Yc，Zc)组成，并且具有例如位于摄像头的焦点处的原点Oc。例如，摄像头坐标系的平面Xc-Yc平行于摄像头的图像捕获元件平面，并且轴Zc与图像捕获元件平面正交。

被设置为原点Oc的位置对应于虚拟摄像头的位置。也就是说，当设置例如从俯视角度捕获虚拟空间的图像的摄像头的虚拟摄像头时，将摄像头坐标系的平面Xc-Yc设置成与摄像头的图像捕获元件平面正交的平面，并且轴Zc用作平行于图像捕获元件平面的轴。可以使用已知的方案来设置该AR技术中的虚拟摄像头。

标记坐标系由三维(Xm，Ym，Zm)组成，并且具有例如位于标记M的中心处的原点Om。例如，标记坐标系的平面Xm-Ym平行于标记M的平面，并且轴Zm与标记M的平面正交。在摄像头坐标系中，通过坐标V1c(X1c，Y1c，Z1c)来表示原点Om。

通过旋转坐标G1c(P1c，Q1c，R1c)来表示标记坐标系(Xm，Ym，Zm)相对于摄像头坐标系(Xc，Yc，Zc)的旋转角。P1c指示绕轴Xc的旋转角，Q1c指示绕轴Yc的旋转角，以及R1c指示绕轴Zc的旋转角。在图1示出的标记坐标系中，由于仅绕轴Ym进行旋转，所以P1c和R1c为0。基于在要被处理的捕获图像中将具有已知形状的参考项捕获为什么图像来计算绕每个轴的旋转角。

图2示出了摄像头坐标系和标记坐标系中的内容E的示例。图2中示出的内容E是标注形状的对象，并且包括标注中的文本数据“有裂缝！”。由内容E的标注指示的黑点表示内容E的参考点。通过V2m(X2m，Y2m，Z2m)来表示标记坐标系中的参考点的坐标。

此外，通过旋转坐标G2m(P2m，Q2m，R2m)定义内容E的定向，并且通过放大率D(Jx，Jy，Jz)定义内容E的尺寸。内容E的旋转坐标G2m指示当布置内容E时内容E相对于标记坐标系旋转的程度。例如，当旋转坐标G2m是(0，0，0)时，以AR方式与标记M平行地显示内容E。

通过基于参考点的坐标V2m、旋转坐标G2m以及放大率D来调整在作为对象模板的定义数据(AR模板)中限定的点的坐标，来获得组成内容E的各点的坐标。在AR模板中，利用被设置成(0，0，0)的参考点的坐标来限定各个点的坐标。

此后，当设置采用AR模板的内容的参考点V2m时，基于坐标V2m来平行地移动构成AR模板的各个点的坐标。包括在AR模板中的各个坐标基于设置的旋转坐标G2m旋转，并且以放大率D被缩放。也就是说，图2中示出的内容E指示下述状态：基于根据参考点的坐标V2m、旋转坐标G2m以及放大率D而调整的点来组成在AR模板中定义的点。

将内容E的点的坐标以及在标记坐标系中设置的坐标变换成摄像头坐标系，并且基于摄像头坐标系中的坐标来计算画面上的位置，从而生成用于内容E的叠加显示的图像。

通过基于摄像头坐标系中标记M的原点Om处的坐标V1c和标记坐标系中相对于摄像头坐标系的旋转坐标G1c而对标记坐标系中的点的坐标进行坐标变换(模型视图变换)，来计算摄像头坐标系中的内容E中所包括的点的坐标。例如，对内容E的参考点V2m执行模型视图变换，从而确定标记坐标系中指定的参考点与摄像头坐标系中的哪个点V2c(X2c，Y2c，Z2c)对应。

图3描绘了用于从标记坐标系变换到摄像头坐标系的变换矩阵M以及变换矩阵M中的旋转矩阵R。变换矩阵M是4×4矩阵。确定变换矩阵M与标记坐标系中的坐标Vm的列向量(Xm，Ym，Zm，1)的乘积，以获得摄像头坐标系中的对应坐标Vc的列向量(Xc，Yc，Zc，1)。

也就是说，将标记坐标系中的要进行坐标变换(模型视图变换)的各点坐标替换成列向量(Xm，Ym，Zm，1)，并且执行矩阵计算从而以获得包括摄像头坐标系中的点坐标的列向量(Xc，Yc，Zc，1)。

旋转矩阵R(即变换矩阵M的第一行至第三行和第一列至第三列的子矩阵)对标记坐标系中的坐标进行作用，从而以执行用于将标记坐标系的定向与摄像头坐标系的定向匹配的旋转操作。变换矩阵M的第一行至第三行和第四列的子矩阵进行作用，从而执行用于将标记坐标系的定向与摄像头坐标系的位置匹配的平移操作。

图4描绘了旋转矩阵R1、R2和R3。通过旋转矩阵R1、R2及R3的乘积(R1·R2·R3)来确定图3中示出的旋转矩阵R。旋转矩阵R1指示轴Xm相对于轴Xc的旋转。旋转矩阵R2指示轴Ym相对于轴Yc的旋转。旋转矩阵R3指示轴Zm相对于轴Zc的旋转。

基于捕获图像中的参考项图像来生成旋转矩阵R1、R2及R3。也就是说，如上所述，基于在要被处理的捕获图像中将具有已知形状的参考项捕获为什么图像来计算旋转角P1c、Q1c及R1c。基于所计算的旋转角P1c、Q1c及R1c来生成旋转矩阵R1、R2及R3。对于假设在虚拟空间中存在虚拟摄像头的情况来说，通过模型视图变换获得的坐标(Xc，Yc，Zc)指示内容E相对于虚拟摄像头的相对位置。

在这种情况下，当设置用于从俯视角度捕获虚拟空间的图像的虚拟摄像头时，基于捕获图像中的参考项图像来计算旋转角P1c、Q1c及R1c，并且然后，对每个旋转角P1c的值添加-90(度)。添加了-90的P1c的值用于生成旋转矩阵R。因此，基于旋转矩阵R而获得的坐标(Xc，Yc，Zc)具有其中反映了虚拟摄像头的设置的坐标值。然而，在图1的示例中，由于将摄像头坐标的原点设置成真实空间中的摄像头的焦点，并且将虚拟摄像头设置成位于与真实空间中的摄像头的位置等同的位置处，因而基于旋转矩阵R获得的坐标(Xc，Yc，Zc)指示相对于真实空间中的摄像头的焦点的相对位置。

接下来，将摄像头坐标系中的内容E的点的坐标变换到画面坐标系。画面坐标系由两维(Xs，Ys)构成。画面坐标系(Xs，Ys)的原点Os例如位于在由摄像头执行的图像捕获处理中所获取的捕获图像的中心处。基于通过坐标变换(透视变换)获得的画面坐标系中的点的坐标，来生成用于在捕获图像上的内容E的叠加显示的图像。

例如，基于摄像头的焦距f来执行从摄像头坐标系到画面坐标系的坐标变换(透视变换)。通过下面的等式1来确定画面坐标系的坐标中与摄像头坐标系中的坐标(Xc，Yc，Zc)对应的坐标Xs。通过下面的等式2来确定画面坐标系的坐标中与摄像头坐标系中的坐标(Xc，Yc，Zc)对应的坐标Ys。

Xs＝f·Xc/Zc(等式1)

Ys＝f·Yc/Zc(等式2)

基于经由对构成内容E的各点的坐标(摄像头坐标系)进行透视变换而获得的坐标(画面坐标系)，来生成内容E的图像。通过将纹理映射到经由插入构成内容E的点而获得的面来生成内容E。用作内容E的基础的AR模板定义要插入哪些点以形成面并且定义要将特定纹理映射到哪个面。

作为上述模型视图变换和透视变换的结果，计算捕获图像上的与标记坐标系中的坐标对应的坐标，并且使用所计算的坐标来生成与摄像头的视点对应的内容E的图像。将内容E的所生成的图像称为“内容E的投影图像”。作为将内容E的投影图像与捕获图像组合的结果，增强了要呈现给信息处理设备1的用户的视觉信息。

在另一示例中，将内容E的投影图像显示在透射式显示器上。在本示例中，由于用户通过显示器获得的真实空间中的图像和内容E的投影图像相互匹配，因而增强了要呈现给用户的视觉信息。

图5示出了合成图像10的示例。在合成图像10中，内容E的投影图像被叠加显示在通过对其中存在管道11和标记M的真实空间的图像捕获而产生的输入图像上。内容E指示指向管道11上的裂缝的信息“裂缝！”。也就是说，通过捕获标记M的图像，信息处理设备1的用户可以经由合成图像10来查看不存在于真实空间中的内容E，并且可以容易地识别出裂缝的存在。

上面的描述给出了其中投影有并显示有AR内容的合成图像的生成。如在上面描述的方式中那样，在现有技术中，信息处理设备顺序地从摄像头获得输入图像，并且在识别待处理的图像中的参考项(标记)时，信息处理设备生成其中将内容的投影图像叠加显示在输入图像上的合成图像。因此，在对合成图像执行一些类型的操作期间，用户被迫握持信息处理设备使得连续地显示合成图像并且使得可以继续信息处理设备中的标记识别。

因此，根据本公开内容的信息处理设备在预定定时处在第一模式和第二模式之间切换。第一模式是下述模式：在该模式下，将从图像捕获装置顺序地获得的图像存储在存储区域中，并且当在新获得的第一图像中识别出参考项时，将与参考项对应的显示数据叠加显示在第一图像上。第二模式是下述模式：在该模式下，当检测到对信息处理设备的特定操作时，获得在检测到特定操作之前存储在存储单元中的第二图像，并且将显示数据叠加显示在第二图像上。也就是说，在检测到特定操作时，在特定的过去图像上而不是顺序地获得的图像上执行AR显示。

[第一实施方式]

首先，将描述根据第一实施方式的信息处理设备的详细处理和配置等。图6是根据第一实施方式的系统配置的示意图。该系统包括通信终端1-1、通信终端1-2以及管理设备2。通信终端1-1和通信终端1-2被统称为“信息处理设备1”。

每个信息处理设备1例如是装配有摄像头的计算机，诸如平板PC或智能电话。例如，信息处理设备1由执行检查工作的操作员携带。信息处理设备1执行第一模式和第二模式。信息处理设备1通过网络N与管理设备2进行通信。网络N例如是因特网。

管理设备2例如是服务器计算机并且管理信息处理设备1。管理设备2存储用于生成合成图像的信息(内容信息和模板信息)，并且适当地向信息处理设备1提供信息。稍后描述处理的细节。

在识别输入图像中的参考项时，每个信息处理设备1基于用于生成合成图像的信息来生成合成图像，并且将所生成的合成图像显示在显示器上。此外，将其中识别出参考项的输入图像在信息处理设备1中的缓冲器(下面描述的图像存储单元)中保持至少一段时间。在检测到特定操作时，信息处理设备1将模式从第一模式切换为第二模式。在第二模式中，信息处理设备1使用过去存储在缓冲器中的图像而不是顺序地获得的最新图像来生成合成图像。

在本实施方式中，特定操作例如是由握持信息处理设备1的用户执行的倾斜信息处理设备1的操作。稍后描述信息处理设备1用于检测特定操作的具体方案。

因此，例如，当用户用摄像头来捕获标记的图像时，信息处理设备1以第一模式生成并显示合成图像。当用户期望长时间查看合成图像或期望对合成图像执行操作时，他或她倾斜信息处理设备1。当信息处理设备1被倾斜时，信息处理设备1将模式从第一模式切换为第二模式。因此，即使在输入图像的最新图像中不能识别参考项时，信息处理设备1也可以基于过去的图像来显示合成图像。

接下来，将描述信息处理设备1的功能配置。图7是根据第一实施方式的信息处理设备1的功能框图。信息处理设备1包括控制单元100、通信单元101、图像捕获单元102、测量单元103、显示单元104以及存储单元109。

控制单元100控制整个信息处理设备1中的各种类型的处理。通信单元101与另一计算机进行通信。例如，为了生成合成图像，通信单元101从管理设备2接收内容信息和模板信息。稍后描述内容信息和模板信息的细节。

图像捕获单元102以固定的帧间隔捕获图像，并且将所捕获的图像输出到控制单元100作为输入图像。例如，图像捕获单元102为摄像头。

测量单元103测量关于被施加到信息处理设备1的旋转量的信息。例如，测量单元103包括加速度传感器和陀螺仪传感器。测量单元103测量加速度和角速度作为关于旋转量的信息。测量值(加速度和角速度)被输出到控制单元100中的检测单元105。

显示单元104显示合成图像和其它图像。显示单元104例如是触摸面板显示器。存储单元109内存储用于各种类型的处理的信息。稍后描述各种类型的处理涉及的方法。

首先，将描述控制单元100。除了上述检测单元105之外，控制单元100具有获取单元106、识别单元107以及生成单元108。检测单元105基于从测量单元103输出的测量值来检测对信息处理设备1的特定操作。检测单元105基于检测的结果来控制要由信息处理设备1执行的模式。

更具体地，检测单元105基于测量值来计算预定时间(T秒)内的旋转量。在这种情况下，也可以将用于确定预定时间内的旋转量的加速度和角速度与阈值进行比较。当旋转量大于或等于阈值Th时，检测单元105检测到对信息处理设备1的旋转操作。T例如为1秒，并且Th例如为60度。

在检测单元105检测到特定操作之前，检测单元105控制执行第一模式。另一方面，在检测到特定操作时，检测单元105控制执行第二模式。第一模式是下述模式：在该模式下，对通过图像捕获单元102新捕获的图像执行用于生成合成图像的处理。这里使用的“新捕获的图像”是指存储在存储单元109中所包括的图像存储单元110(上述缓冲器)中的图像当中的、最新存储的图像。

另一方面，第二模式是下述模式：在该模式下，对存储在图像存储单元110中的图像中的、在检测到特定操作之前捕获的图像执行用于生成合成图像的处理。例如，对在预定时间(T秒)之前捕获的图像执行用于生成合成图像的处理。对其执行处理的图像可以是比T秒之前更早地获取的图像。当图像存储单元110被配置成保持在最后T秒内捕获的图像时，对图像存储单元110中的图像当中的最旧的图像执行第二模式的处理。

用户首先捕获包括参考项的图像，并且查看合成图像。当用户期望对合成图像执行操作(诸如选择操作)时，他或她倾斜信息处理设备1。例如，用户在一秒内将信息处理设备1旋转60度或更大的量。因此，在检测到特定操作的时间之前的T秒所捕获的图像很有可能包括参考项。换言之，在检测到特定操作的时间之前的T秒所捕获的图像是以在T秒之前执行的第一模式对其进行合成图像生成处理的图像。

此外，在模式被设置成第二模式的情况下，检测单元105停止将图像数据写入图像存储单元110(前面提到的缓冲器)。例如，在所设置的模式为第一模式的情况下，每次从图像捕获单元102顺序地获得图像时，控制单元100将图像数据存储在图像存储单元110中。然而，可能以固定间隔销毁存储的图像数据。此外，当图像存储单元110被配置成保持预定数量的图像时，以最新的图像数据来更新其最旧的图像数据。

另一方面，在模式被设置成第二模式的情况下，检测单元105停止图像存储单元110中图像数据的存储。执行该停止是为了在图像存储单元110中保持要被以第二模式处理作为过去图像的图像。检测单元105还可以停止由图像捕获单元102执行的图像捕获。

接下来，获取单元106获取要经过合成图像生成处理的图像。例如，在所设置的模式为第一模式的情况下，获取单元106获取存储在图像存储单元110中的图像当中的最新的图像。另一方面，在所设置的模式为第二模式的情况下，获取单元106获取存储在图像存储单元110中的图像当中的最旧的图像。

接下来，识别单元107识别待处理的图像中的参考项。在本实施方式中，识别单元107识别标记。例如，识别单元107通过使用指定标记的形状的模板而进行模板匹配来识别标记。也可以使用其它已知的对象识别方法来识别标记。

此外，在识别出图像中包括参考项时，识别单元107获得用于标识参考项的标识信息。标识信息例如是用于标识标记的标记ID。例如，当参考项是标记时，基于白色和黑色布置(如二维条形码)来获得唯一的标记ID。也可以使用其它已知的获取方法来获得标记ID。

在识别参考项时，识别单元107基于所获取的图像中的参考项图像来确定参考项的位置坐标和旋转坐标。参考项的位置坐标和旋转坐标是摄像头坐标系中的值。识别单元107基于参考项的位置坐标和旋转坐标来进一步生成变换矩阵M。

生成单元108通过使用待处理的图像来生成合成图像。生成单元108利用模板信息、内容信息以及由识别单元107生成的变换矩阵M来生成合成图像。生成单元108控制显示单元104以显示所生成的合成图像。

接下来，将描述存储单元109。除图像存储单元110之外，存储单元109还具有模板存储单元111和内容存储单元112。在所设置的模式是第一模式的情况下，图像存储单元110内存储有在至少最后T秒内捕获的图像的图像数据。

图8示出了图像存储单元110的示例数据结构。假设图像捕获单元102的帧速率为20fps(每秒帧数)，并且以每四帧执行图像存储单元110中的图像数据的存储。还假设检测单元105基于1秒(T秒)内的旋转量来检测特定操作。

图像存储单元110内存储有最新的图像1、0.2秒之前获取的图像2、0.4秒之前获取的图像3、0.6秒之前获取的图像4、0.8秒之前获取的图像5以及1.0秒之前获取的图像6。图像存储单元110内还可以存储有1.2秒之前获取的图像7作为辅助图像。

如图8所示，图像存储单元110具有用于存储预定数量的图像的区域。在图8的示例中，保持了七幅图像的图像数据，即，六幅图像(包括最新的图像1至T秒之前获取的图像6)的图像数据以及辅助图像7的图像数据。通过例如循环缓冲器来实现图像存储单元110。当从图像捕获单元102输入新图像时，每四帧地以新图像的数据来覆盖最旧的图像的数据。

在执行第一模式期间，覆盖最新的图像1，并且处理覆盖后的图像1。另一方面，在第二模式中，停止向图像存储单元110写入图像。因此，不覆盖在将模式设置成第二模式的时间之前T秒所捕获的图像6，并且在所设置的模式为第二模式时处理同一图像6。

图9示出了模板存储单元111的示例数据结构。模板存储单元111内存储有模板信息。模板信息包含用于定义被用作对象的模板的信息。模板信息包括模板的标识信息(模板ID)、构成模板的顶点的坐标信息T21以及构成模板的各面的配置信息T22(顶点顺序和纹理ID的指定)。

每个顶点顺序指示构成面的顶点的顺序。每个纹理ID指示被映射到对应面的纹理的标识信息。每个模板中的参考点例如是第零个顶点。模板信息表中指示的信息限定了三维模型的形状和图案。

图10示出了内容存储单元112的示例数据结构。内容存储单元112内存储有关于内容的内容信息。内容是通过针对对象来设置布置信息而获得的信息。

内容信息包括内容的内容ID、标记坐标系中的参考点的位置坐标(Xm，Ym，Zm)、标记坐标系中的旋转坐标(Pm，Qm，Rm)、关于AR模板的放大率D(Jx，Jy，Jz)、AR模板的模板ID、标记ID以及附加信息。位置坐标和旋转坐标是标记坐标系中的关于通过存储在相同记录中的标记ID指示的标记的坐标。附加信息是被添加到内容E的信息。例如，将用于访问文本、网页或文件的访问信息用作附加信息。

例如，由通过下述方式获得的顶点构成具有内容ID“C1”的内容(图10所示)：在方向Xm、Ym及Zm上对AR模板“T1”中限定的对应顶点坐标进行缩放，通过使用旋转坐标(Pm1，Qm1，Rm1)来旋转所产生的顶点坐标，以及根据位置坐标(Xm1，Ym1，Zm1)来平移所产生的顶点坐标。此外，将附加信息映射到构成内容E的各面。

例如，在图10的示例中，附加信息“执行操作中的一个操作以调用手册。向上滑动：用于作业A的手册，向下滑动：用于作业B的手册”与内容ID“C1”关联。该附加信息将指令的细节指示给用户。例如，通过查看包括附加信息的内容，用户可以识别下一作业。

接下来，将描述根据本实施方式的各种类型的处理的流程。图11示出了根据第一实施方式的模式控制处理的流程。模式控制程序是用于限定由控制单元100执行的模式控制处理的过程的程序。首先，在启动模式控制程序时，控制单元100执行预处理。在预处理中，控制单元100启动测量单元103并且还将模式设置成第一模式。

检测单元105从测量单元103获得测量值(Op.11)。检测单元105基于测量值计算T秒内的旋转量，并且还确定旋转量是否大于或等于阈值Th(Op.13)。如果旋转量大于或等于阈值Th(Op.13中为“是”)，则检测单元105将模式从第一模式改变成第二模式(Op.21)。检测单元105还停止向图像存储单元110的图像数据写入(Op.23)。

另一方面，如果旋转量小于阈值Th(Op.13中为“否”)，则检测单元105确定当前所设置的模式是否是第二模式(Op.15)。如果所设置的模式不是第二模式(Op.15中为否)，则检测单元105结束处理。

另一方面，如果当前所设置的模式是第二模式(Op.15中为“是”)，则检测单元105确定是否执行用于解除第二模式的输入(Op.17)。例如，如果用户执行了用于解除第二模式的输入，或如果如在Op.13中那样在T秒内测量到大于或等于阈值Th的旋转量，则确定执行用于解除第二模式的输入。

如果执行了用于解除第二模式的输入(Op.17中为“是”)，则检测单元105解除第二模式，并且将模式设置成第一模式(Op.19)。然后，检测单元105恢复对图像存储单元110的图像写入(Op.20)。另一方面，如果没有执行用于解除第二模式的输入(Op.17中为“否”)，则检测单元105结束处理。也就是说，在将模式设置成第二模式之后，继续第二模式直到第二模式被解除为止。

接下来，将描述与模式控制处理并行执行的合成图像生成处理。图12是根据第一实施方式的合成图像生成处理的流程图。首先，当启动合成图像生成程序时，控制单元100进行预处理。在预处理中，从管理设备2获得模板信息和内容信息。在预处理中，控制单元100还发出用于启动AR显示模式的指令。在本实施方式中，将具有与存在于真实空间中的摄像头的视线基本相同的视线的摄像头设置为虚拟摄像头。

此外，在预处理中，控制单元100使得图像捕获单元102启动以预定的时间间隔执行的图像捕获。控制单元100将从图像捕获单元102获得的图像存储在图像存储单元110中。然而，在执行第二模式时停止图像写入的情况下，控制单元100不将图像存储在图像存储单元110中。

首先，获取单元106确定当前所设置的模式是否是第一模式(Op.31)。如果当前所设置的模式是第一模式(Op.31中为“是”)，则获取单元106从图像存储单元110获取最新的图像(Op.33)。另一方面，如果当前所设置的模式不是第一模式，也就是说，当前所设置的模式是第二模式(Op.31中为“否”)，则获取单元106从图像存储单元110获取在获得特定操作的时间之前的T秒所获取的图像(Op.35)。将Op.33或Op.35中所获得的图像用作要在后续处理中处理的图像。

接下来，识别单元107确定在待处理的图像中标记是否可识别(Op.37)。例如，识别单元107通过使用指定了标记的形状的模板执行模板匹配来识别标记。

如果识别出标记，则在Op.37中识别单元107读取标记的标记ID。例如，基于与标记对应的图像区域中的亮度信息来读取标记ID。例如，当标记具有正方形形状时，以预定顺序确定通过对被识别为标记的正方形图像区域进行划分而获得的多个区域中的每个区域是“1”还是“0”，其中，“1”指示亮度大于或等于预定值的区域，以及“0”指示亮度小于预定值的区域。然后，将通过该确定而产生的一系列信息用作标记ID。

此外，例如，正方形框中的亮度大于或等于预定值的区域及亮度小于预定值的区域中的布置可以是有图案的，并且可以使用与图案对应的标记ID。此外，可以预先确定用于标记ID的数值范围，当读取的标记ID不处于该数值范围内时，可以确定出对标记ID的读取失败。

如果识别单元107未能识别出标记(Op.37中为“否”)，则控制单元100确定是否发出了用于结束合成图像生成的指令(Op.45)。如果识别单元107没有识别出所设置的模式是第二模式的状态下的标记(Op.37中为“否”)，则控制单元100还确定标记在存储于图像存储单元110中的另一图像中是否是可识别的。例如，获取单元106可以将比检测到特定操作的时间早T秒获取的图像获得作为待处理的图像。然后，识别单元107可以对待处理的图像执行标记识别处理。

如果没有发出用于结束合成图像生成处理的指令(Op.45中为“否”)，则控制单元100返回到Op.31。如果发出了用于结束合成图像生成处理的指令(Op.45中为“是”)，则结束合成图像生成处理中的一系列处理。

另一方面，如果识别单元107识别出标记(Op.37中为“是”)，则识别单元107基于待处理的图像中的标记图像来计算标记的位置坐标和旋转坐标(Op.39)。此外，在Op.39中，识别单元107基于标记的位置坐标和旋转坐标生成变换矩阵M。

接下来，生成单元108通过使用待处理的图像、所识别出的参考项的内容信息、模板信息以及变换矩阵M来生成合成图像(Op.41)。在生成单元108的控制下，显示单元104显示合成图像(Op.43)。然后，控制单元100执行Op.45。

当所设置的模式是第一模式时，合成图像是将内容的投影图像叠加显示在最新的图像上的图像。另一方面，当所设置的模式是第二模式时，合成图像是将内容的投影图像叠加显示在T秒之前获取的图像上的图像。也就是说，将基于T秒之前获取的并且很可能包括参考项的图像的合成图像显示在显示单元104上。

如上所述，根据本实施方式，当信息处理设备1检测到用户执行了特定操作时，将内容叠加显示在用户执行特定操作之前捕获的图像上。因此，在关于最新的图像的AR显示(第一模式)与关于过去图像的AR显示(第二模式)之间进行切换，并且除非解除了第二模式，否则继续关于过去图像的AR显示。这使得用户能够对以第二模式继续的AR显示执行各种操作。

在本实施方式中，在被用于旋转信息处理设备1的用户操作触发时，切换第一模式和第二模式。在信息处理设备1中，有时将摄像头设置在信息处理设备1的显示器(显示单元104)的背面。因此，使用用于旋转信息处理设备1的操作作为用于在第一模式和第二模式之间进行切换的触发，使得用户能够在上述操作之后容易地在其上显示合成图像的显示器上执行操作。

图13A和图13B示出了用户握持信息处理设备的姿势与负荷之间的关系。图13A和图13B示出了标记M附接至墙的状态。在图13A中，用户通过使用设置在与信息处理设备1的显示器的表面相对的表面上的摄像头来捕获标记M的图像。将其中叠加显示与标记M对应的内容的合成图像显示在信息处理设备1的显示器上。该合成图像包括标记M的图像M'。

图13B示出了用户将图13A所示的状态下的信息处理设备1旋转了60度或更多的情况。这使得信息处理设备1的摄像头难以捕获标记M的图像。同时，在图13B中，用户可以用他或她的左手来更稳定的支撑信息处理设备1。这使得用户能够容易地用他或她的右手在显示器上执行操作。在现有技术中，在图13B所示的状态下不显示合成图像，因此，用户通常必须有意识地保持图13A所示的状态。

在本实施方式中，在用户利用信息处理设备1捕获标记M的图像之后，在如图13B所示的通过旋转信息处理设备1而触发时，将显示状态切换为关于过去图像的AR显示。也就是说，甚至在用户将如图13A所示的支撑信息处理设备1的负荷大的状态改变成如图13B所示的负荷小的状态时，信息处理设备1可以保持合成图像的显示。

[第二实施方式]

第一实施方式描述了在检测到特定操作时在第一模式与第二模式之间切换的信息处理设备1。在第二实施方式中，当将模式切换为第二模式时，从管理设备2下载与内容相关的附加内容。根据第二实施方式的信息处理设备也被称为“信息处理设备3”。

图14示出了用于描述附加内容的图像。合成图像20是下述图像：在该图像中，内容24被投影到通过捕获包括标记22和阀26的真实空间而获得的图像上。内容24包括指示“执行操作中的一个操作以调用手册。向上滑动：用于作业A的手册，向下滑动：用于作业B的手册”的文本信息。当检测到用户的滑动操作时，信息处理设备3根据该操作来新显示对应的作业手册作为附加内容。

现在，将描述获得附加内容的数据的定时。管理设备2管理附加内容。在许多情况下，附加内容可以是具有大量数据(例如手册、运动图像以及声音/语音)的数据。因此，基于用户的滑动操作等来显示附加内容，而不是与内容24同时地显示附加内容。也就是说，以逐步的方式来显示内容24和附加内容。

例如，可以想到，预先从管理设备2获得附加内容的数据作为模板信息和内容信息。然而，在这种情况下，还预先从管理设备2获得很有可能被用户调用的附加数据，使得尤其当附加数据具有大量数据时，网络N上的通信负荷增大。

因此，在本实施方式中，信息处理设备3在检测到由用户执行的特定操作的定时处，从管理设备2获得附加内容的数据。例如，当用户在一定时间段内将信息处理设备3旋转了大于或等于阈值的旋转量时，信息处理设备3请求管理设备2发送附加内容。如在第一实施方式中那样，还执行模式切换。

响应于对内容(合成图像)的用户操作而调用附加内容。因此，可以假定，在用户执行用于将模式从第一模式切换为第二模式的特定操作之后，很有可能根据对内容的操作来调用附加内容。

因此，在信息处理设备3检测到特定操作并且存在针对合成图像中所包括的内容的附加内容时，信息处理设备3从管理设备2获得附加内容。这使得如模板信息和内容信息的情况那样，与预先从管理设备2获得附加内容的情况相比，可以抑制网络N上的负荷的增大。

图15是根据第二实施方式的信息处理设备3的功能框图。信息处理设备3包括通信单元101、图像捕获单元102、测量单元103、显示单元104、控制单元300以及存储单元304。以相同的附图标记表示用于执行与由根据第一实施方式的信息处理设备1中的处理单元执行的处理相同或类似的处理的处理单元，并且下文中没有描述这些处理单元。

控制单元300包括检测单元301、获取单元106、识别单元302以及生成单元303。如在第一实施方式中那样，检测单元301检测特定操作。此外，如在第一实施方式中那样，检测单元301在检测到特定操作时将模式从第一模式切换为第二模式。此外，当检测到特定操作并且附加内容与合成图像中的内容关联时，检测单元301控制通信单元101以请求附加内容。通过管理信息来限定内容与附加内容之间的对应关系。

如在第一实施方式中那样，识别单元302识别待处理的图像中的参考项。然而，当所设置的模式是第二模式并且在图像中识别出参考项时，识别单元302将所识别的参考项的标识信息(标记ID)输出到检测单元301。

如在第一实施方式中那样，生成单元303基于待处理的图像生成合成图像。此外，在显示了合成图像之后，生成单元303控制显示单元104以根据由用户执行的操作来显示附加内容。例如，当在显示图14中的合成图像20之后用户输入向下滑动时，生成单元303控制显示单元104以显示作业B手册。

存储单元304包括图像存储单元110、模板存储单元111、内容存储单元112以及管理信息存储单元305。管理信息存储单元305内存储有管理信息。管理信息是用于管理内容的附加内容和用于调用附加内容的操作的信息。

管理信息存储单元305内存储有相互关联的内容ID、操作类型、附加内容ID、访问目的地等的信息。

图16示出了管理信息存储单元305的示例数据结构。例如，管理信息存储单元305中的数据针对具有内容ID“C1”的内容指定，当输入“向上滑动”操作时显示附加内容ID“SC1”。管理信息存储单元305中的数据还指定，从访问目的地“URL1”获得附加内容ID“SC1”。访问目的地是指示如下位置的信息：在该位置处，管理设备2存储与附加内容ID“SC1”对应的数据。

例如，在检测到特定操作时，检测单元301将模式切换为第二模式。在第二模式下，获取单元106从图像存储单元110获得在检测到特定操作的时间之前的T秒获取的图像。当识别出在T秒之前所获取的图像中的标记时，识别单元302将所识别出的标记的标记ID输出到检测单元301。

检测单元301从内容存储单元112获取与标记ID对应的内容ID，并且参考管理信息存储单元305来控制通信单元101以访问与内容ID对应的访问目的地。也就是说，检测单元301向管理设备2发出用于发送附加内容的请求。如上所述，在将模式切换为第二模式之后，在针对第二模式下识别出的参考项设置附加内容时，从管理设备2获得附加内容。

接下来，将描述根据本实施方式的各种类型的处理的流程。图17示出了根据第二实施方式的模式控制处理的流程。模式控制程序是用于限定由控制单元300执行的模式控制处理的过程的程序。通过相同的附图标记表示与根据第一实施方式的模式控制处理中的处理类似的处理，并且在下文中没有描述这些处理。

首先，在启动模式控制程序时，控制单元300执行与第一实施方式中的预处理类似的预处理。然后，检测单元301从测量单元103获得测量值(Op.11)。检测单元301基于测量值确定旋转量是否大于或等于阈值Th(Op.13)。如果旋转量大于或等于阈值Th(Op.13中为“是”)，则检测单元301将模式从第一模式改变成第二模式(Op.21)。检测单元301还停止对图像存储单元110的图像数据写入(Op.23)。

此外，检测单元301确定是否从识别单元302获得了标记ID(Op.51)。检测单元301等待直到其获得标记ID为止(Op.51中为“否”)，在下述合成图像生成处理中，当所设置的模式是第二模式并且没有识别出参考项时，可以将消息输出给用户使得再次给参考项拍照。然后，识别单元302将用于解除第二模式的指令输出到检测单元301。在这种情况下，检测单元301解除Op.51中的待机状态并且还解除第二模式。

如果获得了标记ID(Op.51中为“是”)，则检测单元301确定是否存在附加内容(Op.53)。也就是说，通过使用标记ID作为搜索关键字，检测单元301搜索内容存储单元112以获得对应的内容ID。此外，通过使用所获得的内容ID作为搜索关键字，检测单元301搜索管理信息存储单元305以标识该附加内容的对应的访问目的地。在这种情况下，当没有找到对应的内容ID和对应的访问目的地时，确定出不存在附加内容。

如果存在附加内容(Op.53中为“是”)，则检测单元301控制通信单元101以从管理设备2获得附加内容(Op.55)。另一方面，如果不存在附加内容(Op.53中为“否”)，则控制单元300结束一系列处理。

如在第一实施方式中那样，如果旋转量小于阈值Th(Op.13中为“否”)，则检测单元301确定当前所设置的模式是否是第二模式(Op.15)。如果所当前设置的模式不是第二模式(Op.15中为“否”)，则检测单元301结束处理。

另一方面，如果当前所设置的模式是第二模式(Op.15中为“是”)，则检测单元301确定是否执行用于解除第二模式的输入(Op.17)。例如，如果用户执行了用于解除第二模式的输入，如果在T秒内测量到大于或等于阈值Th的旋转量，或者如果从识别单元302输入了用于解除第二模式的指令，则确定执行用于解除第二模式的输入。

如果执行了用于解除第二模式的输入(Op.17中为“是”)，则检测单元301解除第二模式，并且将模式设置成第一模式(Op.19)。然后，检测单元301恢复对图像存储单元110的图像写入(Op.20)。另一方面，如果没有执行用于解除第二模式的输入(Op.17中为“否”)，则检测单元301结束处理。

接下来，将描述与模式控制处理并行执行的、根据第二实施方式的合成图像生成处理。图18是根据第二实施方式的合成图像生成处理的流程图。通过相同的附图标记来表示与根据第一实施方式的合成图像生成处理中的处理类似的处理，并且简要描述了这些处理。

首先，当启动合成图像生成程序时，控制单元300执行与第一实施方式中的预处理相同的预处理。然而，在该预处理中，尽管从管理设备2获得了模板信息、内容信息以及管理信息，但是没有获得附加内容的数据。

获取单元106确定当前所设置的模式是否是第一模式(Op.31)。如果当前所设置的模式是第一模式(Op.31中为“是”)，则获取单元106从图像存储单元110获得最新的图像(Op.33)。然后，识别单元302确定在最新的图像中是否可识别出标记(Op.61)。如果可识别出标记(Op.61中为“是”)，则执行Op.39。

如果当前所设置的模式不是第一模式，也就是说，当前所设置的模式是第二模式(Op.31中为“否”)，则获取单元106从图像存储单元110获得T秒之前所获取的图像(Op.35)。然后，识别单元302确定在T秒之前所获取的图像中是否可识别出标记(Op.63)。如果可识别出标记(Op.63中为“是”)，则识别单元302将所识别出的标记的标记ID输出到检测单元301(Op.65)。此后，执行Op.39。检测单元301在图17中的Op.51中获得Op.65中输出的标记ID。

另一方面，如果不能识别出标记(Op.63中为“否”)，则识别单元302向检测单元301发出用于解除第二模式的指令(Op.67)。识别单元302还可以确定在存储于图像存储单元110中的其它图像中是否可识别出标记。控制单元300还可以将表明要再次捕获标记的图像的消息经由显示单元104输出给用户。

在这种情况下，如果检测单元301获得解除指令，则解除Op.51中检测单元301等待获得标记ID的待机状态，并且暂时结束模式控制处理。此后，在恢复模式控制处理时，检测单元301确定图17中的Op.17中的结果是肯定的，并且在Op.19中解除第二模式。

接下来，识别单元302基于待处理的图像中的标记图像来计算标记的位置坐标和旋转坐标(Op.39)。识别单元302还基于标记的旋转坐标和位置坐标生成变换矩阵M。

接下来，生成单元303使用模板信息、变换矩阵M以及所识别出的参考项的内容信息来生成合成图像(Op.41)。在生成单元303的控制下，显示单元104显示合成图像(Op.43)。然后，控制单元300确定是否输入了对合成图像的用户操作(Op.69)。例如，显示单元104是触摸面板，基于时间上顺序地输入的触摸位置的变化来检测滑动操作和滑动操作的方向。

如果输入了用户操作(Op.69中为“是”)，则显示单元104在生成单元303的控制下显示附加内容(Op.71)。虽然是基于在将模式从第一模式切换为第二模式之后用户执行操作的假设而预测的，但在用户以第一模式执行操作时，在执行Op.71之前，也可以从管理设备2获得附加内容。然而，在这种情况下，在从管理设备2获得附加内容之前不显示附加内容。

如果Op.61中的确定结果是否定的，如果执行了Op.67，如果Op.69中的确定结果是否定的，或者如果执行了Op.71，则控制单元300确定是否发出了用于结束处理的指令(Op.45)。如果没有发出用于结束处理的指令(Op.45中为“否”)，则控制单元300返回到OP.31。如果发出了用于结束处理的指令(Op.45中为“是”)，则结束合成图像生成处理中的一系列处理。

如上所述，信息处理设备3在将模式切换为第二模式的定时获得附加内容。也就是说，信息处理设备3假定，作为对内容输入操作的在先阶段，用户已经将模式切换为第二模式。换言之，在将内容与附加内容关联时，信息处理设备3假定附加内容很有可能被后续的用户操作调用。因此，信息处理设备3可以减小对合成图像的用户操作的负荷，并且还可以控制在操作时很有可能被调用的附加内容的下载定时。

[第三实施方式]

第三实施方式与第一实施方式和第二实施方式的共同之处在于以第二模式执行对过去的图像的AR显示。然而，在第一模式与第二模式之间切换虚拟摄像头的设置。在第三实施方式中，虚拟摄像头被设置成在第二模式下具有俯视点。也就是说，将合成图像中的AR内容的显示状态从第一模式下的正常视图切换为第二模式下的俯视图。根据第三实施方式的信息处理设备被称为“信息处理设备4”。

更具体地，在第三实施方式中，将内容的投影图像(如通过从上方捕获其中虚拟地布置有内容的虚拟空间而获得的图像)叠加显示在待处理的图像上，从而生成合成图像。然而，由于真实空间中的用作合成图像的基础的捕获图像是由存在于真实空间中的摄像头捕获的图像，因而仅从俯视点投影并显示内容。

图19A和图19B示出了用于描述第三实施方式的图像。更具体地，图19A示出了以第一模式生成的合成图像30。图19B示出了以第二模式生成的合成图像50。

如图19A所示，合成图像30可以包括针对标记38的多个内容40。内容40是内容40-1、40-2、40-3、40-4、40-5、40-6以及40-7的通项。合成图像30是通过将内容40叠加显示在包括管道32、指示器34和36以及标记38的真实空间中的捕获图像上而获得的图像。

多个内容40以重叠的方式布置在合成图像30中，因而存在用户难以查看多个内容40中的全部内容的情况。例如，信息处理设备4可以具有如下功能：当用户指定多条内容中的任何内容时，以较大的尺寸或以前景来显示指定的内容。然而，还存在用户难以选择合成图像中的内容条中的任何内容的情况。

因此，在本实施方式中，对于以第二模式生成的合成图像的情况，控制虚拟摄像头的位置以生成图19B中的合成图像50。如在合成图像30中的情况中那样，基于包括管道32、指示器34和36以及标记38的捕获图像来生成合成图像50。然而，如从上方捕获多个内容52那样来投影多个内容52。

内容52是内容52-1、52-2、52-3、52-4、52-5、52-6以及52-7的通项。内容52-1、52-2、52-3、52-4、52-5、52-6以及52-7分别与虚拟空间中的内容40-1、40-2、40-3、40-4、40-5、40-6以及40-7相同。

也就是说，尽管多个内容40以重叠的方式显示在合成图像30中，但通过对虚拟摄像头的视线的控制使得多个内容52不重叠地显示在合成图像50中。

例如，当用户查看合成图像30并且确定由于内容40的重叠而难以对内容40执行选择操作时，他或她旋转信息处理设备4。结果，将模式设置成第二模式，使得显示通过从另一视线投影内容40而获得的合成图像50。不重叠地显示从一个视线来看部分互相重叠的多个内容40。

当用户选择了合成图像50中的多个内容52中的任何内容时，以正常视图显示所选择的内容52。例如，当选择了内容52-1时，显示内容40-1的状态下的投影图像。因此，例如，当在内容52中显示文本时，用户使得以正常视图来显示以俯视图显示的内容52，从而使得可以查看内容52中显示的文本。

在这种情况下，通常，优选的是，在创作处理中，设置(三维)内容位置坐标，使得多个内容彼此不重叠。然而，即使设置了(三维)内容位置坐标使得多个内容彼此不重叠，然而取决于摄像头的位置，在实际执行AR显示期间，多个内容可能以重叠的方式显示。

然而，除非在创作处理中给出了相同的位置坐标，否则即使在从一个视线投影中以重叠的方式显示多个内容的情况下，也在从另一视线的投影中去除重叠。因此，当模式被设置成第二模式时，很有可能去除了多个内容的重叠。

接下来，描述根据第三实施方式的信息处理设备4的功能配置。图20是根据第三实施方式的信息处理设备4的功能框图。用相同的附图标记来表示与根据第一实施方式中的处理单元类似的处理单元，并且下文中没有描述这些处理单元。

信息处理设备4包括通信单元101、图像捕获单元102、测量单元103、显示单元104、控制单元400以及存储单元109。控制单元400包括检测单元401、获取单元106、识别单元402以及生成单元108。此外，存储单元109包括图像存储单元110、模板存储单元111以及内容存储单元112。存储单元109也可以是根据第二实施方式的存储单元304。在这种情况下，控制单元400还获取附加内容。

如在第一实施方式中那样，检测单元401检测特定操作，并且还在检测到特定操作时将模式从第一模式切换为第二模式。如在第一实施方式中那样，第一模式是对最新的图像执行AR显示的模式，并且第二模式是对比检测到特定操作的时间更早的过去的图像执行AR显示的模式。

然而，在第三实施方式中，每个模式下的虚拟摄像头设置是不同的。在第一模式下，如在第一实施方式中那样，虚拟摄像头被设置为从与真实空间中的摄像头的位置等同的位置处对虚拟空间拍照。另一方面，在第二模式下，虚拟摄像头被设置在用于从俯视角来捕获虚拟空间的图像的位置。控制单元400根据通过检测单元401控制的模式来执行虚拟摄像头的设置。

如在第一实施方式中那样，识别单元402识别待处理的图像中的参考项。识别单元402还在用于生成变换矩阵M的处理期间基于虚拟摄像头的视线来生成旋转矩阵。也就是说，如上所述，例如，在第二模式下，通过将-90(度)添加到基于待处理的图像中的参考项图像而获得的P1c的值来切换显示状态。

因此，识别单元402根据由检测单元401设置的模式来设置虚拟摄像头的位置。然后，识别单元402根据每个模式下的虚拟摄像头的位置来生成变换矩阵M。如在第一实施方式中那样，生成单元108基于变换矩阵M生成合成图像，并且由于根据每个模式下的虚拟摄像头生成变换矩阵M，因而能够通过执行与上述实施方式中的处理相同或类似的处理来生成合成图像。

现在，描述根据第三实施方式的模式控制处理。根据第三实施方式的模式控制处理与图11所示的根据第一实施方式的模式控制处理或根据第二实施方式的模式控制处理类似。然而，在任意处理中，控制单元400中的检测单元401执行任意处理中的各种处理。

接下来，将描述与模式控制处理并行执行的合成图像生成处理。图21是根据第三实施方式的合成图像生成处理的流程图。用相同的附图标记来表示与第一实施方式中的处理相同或类似的处理，并且简要描述这些处理。

首先，如在第一实施方式中那样，当启动合成图像生成程序时，控制单元400执行预处理。然后，获取单元106确定当前所设置的模式是否是第一模式(Op.31)。如果当前所设置的模式是第一模式(Op.31中为“是”)，则获取单元106从图像存储单元110获得最新的图像(Op.33)。

另一方面，如果当前所设置的模式不是第一模式，也就是说，当前所设置的模式是第二模式(Op.31中为“否”)，则控制单元400改变虚拟摄像头的设置(Op.81)。通常，将虚拟摄像头设置在具有与存在于真实空间的摄像头的视线等同的视线的位置处。然而，在当前所设置的模式是第二模式时，将虚拟摄像头设置在用于从俯视角来捕获虚拟空间的图像的位置处。然后，获取单元106从图像存储单元110获取T秒之前所获取的图像(Op.35)。

接下来，识别单元402确定待处理的图像中是否可识别出标记(Op.37)。如果识别单元402没有识别出标记(Op.37中为“否”)，则控制单元400确定是否发出了用于结束处理的指令(Op.45)。如果没有发出用于结束处理的指令(Op.45中为“否”)，则控制单元400返回到Op.31。如果发出了用于结束处理的指令(Op.45中为“是”)，则结束合成图像生成处理中的一系列处理。

另一方面，如果识别单元402识别出标记(Op.37中为“是”)，则识别单元402基于待处理的图像中的标记图像来计算标记的位置坐标和旋转坐标(Op.83)。识别单元107基于标记的位置坐标和旋转坐标生成变换矩阵M。在这种情况下，在计算标记的位置坐标和旋转坐标时反映了虚拟摄像头的位置。例如，当在Op.81中改变了虚拟摄像头的设置时，根据虚拟摄像头的设置来变换所计算的旋转坐标。

在Op.83之后，生成单元108通过使用模板信息、变换矩阵M以及所识别出的参考项的内容信息来生成合成图像(Op.41)。然后，显示单元104在生成单元108的控制下显示合成图像(Op.43)。控制单元400执行内容选择处理(Op.85)。然后，控制单元400执行Op.45。

现在将描述内容选择处理。图22是内容选择处理的流程图。在显示单元104显示合成图像(Op.43)之后，控制单元400确定是否获得了指定位置信息(Op.91)。当用户对显示器执行按压操作时，从包括在显示单元104中的触摸传感器输出指定位置信息，以指示显示器上的指定位置。例如，指定位置信息指示画面坐标系中的坐标值(Xs，Ys)。

如果没有获得指定位置信息(Op.91中为“否”)，则控制单元400结束内容选择处理。另一方面，如果获得了指定位置信息(Op.91中为“是”)，则控制单元400确定是否选择了内容(Op.93)。更具体地，控制单元400确定在Op.91中获得的指定位置信息(Xs，Ys)是否包括在任何AR对象的投影图像的区域中。

在没有选择内容时(Op.93中为“否”)，控制单元400结束处理。另一方面，如果选择了内容(Op.93中为“是”)，则控制单元400标识所选择的内容并且确定当前所设置的模式是否是第一模式(Op.95)。

如果当前所设置的模式是第一模式(Op.95中为“是”)，则控制单元400控制显示单元104以较大的尺寸显示所选择的内容(Op.97)。替代以较大的尺寸显示所选择的内容，也可以以前景显示所选择的内容。此后，控制单元400结束一系列处理。

此外，如果所设置的模式不是第一模式(Op.95中为“否”)，则控制单元400以正常视图显示所选择的内容(Op.99)。此后，控制单元400结束一系列处理。

如上所述，根据第三实施方式的信息处理设备4避免了以重叠的方式显示多个内容并且用户难以对内容进行选择操作的情形。此外，当用户选择了任何内容时，在第二模式下以正常视图显示所选择的内容。因此，即使在内容包括文本的情况下，用户也可以查看内容的细节。

[第一变型]

在第一实施方式、第二实施方式以及第三实施方式中，将特定操作描述为用于旋转信息处理设备的用户操作。也就是说，当T秒内的旋转量大于或等于阈值时，信息处理设备检测到特定操作。第一变型是使用其它操作作为特定操作的示例。

例如，使用利用对象覆盖图像捕获单元102的用户操作作为特定操作。信息处理设备的壳体有时在与具有显示单元(显示器)的表面相对的表面上具有摄像头。因此，检测单元105、301或401检测如下用户操作：该用户操作将信息处理设备放置在桌面或他或她的腿上，使得装备有摄像头的表面被定向为朝向下。

更具体地，检测单元105、301或401生成输入图像的亮度直方图。然后，检测单元105、301或401确定具有预定亮度值或更小亮度值的像素的数量是否大于或等于阈值。当具有预定亮度值或更小亮度值的像素的数量大于或等于阈值时，检测单元105、301或401检测到执行了利用对象来阻挡摄像头的视场的操作。

根据该变型，用户可以在信息处理设备被放置在稳定对象上的情况下对合成图像执行操作。在该变型中，当输入图像的亮度直方图中具有预定亮度值或更小亮度值的像素的数量小于阈值时，检测单元105、301或401确定是否要解除第二模式。

如上所述，特定操作是用于将如下图像捕获方向改变成在在该方向上图像捕获装置不能捕获参考项的图像的方向：所述图像捕获方向是图像捕获装置捕获其中识别出所识别的参考项的输入图像时的图像捕获方向。

[第二变型]

第三实施方式描述了在生成了变换矩阵M的先前阶段执行虚拟摄像头的设置的情况。在第二变型中，在生成变换矩阵M之后，信息处理设备根据虚拟摄像头的设置来控制显示切换。

通过模型视图变换基于变换矩阵M将标记坐标系中的构成内容E的点的坐标(Xm，Ym，Zm)变换成摄像头坐标系中的坐标(Xc，Yc，Zc)。例如，通过模型视图变换将坐标V2m变换成坐标V2c。此后，在第二模式中，根据图23中示出的旋转矩阵R4来切换显示状态。

图23示出了用于执行与虚拟摄像头的设置对应的变换的旋转矩阵R4。首先，根据上述变换矩阵M执行模型视图变换，假设虚拟摄像头被设置在与真实空间中的摄像头的位置等同的位置处。摄像头坐标系中的要进行模型视图变换的内容坐标(Xc，Yc，Zc)被称为坐标(X2c，Y2c，Z2c)。

通过使用旋转矩阵R4将坐标(X2c，Y2c，Z2c)变换成(X2c'，Y2c'，Z2c')。也就是说，当通过θ来指示信息处理设备1的倾斜角处的旋转量时，将虚拟摄像头设置在通过在真实空间中的信息处理设备的倾斜角处的θ旋转而获得的位置处。基于上述等式1和等式2对变换后的坐标(X2c'，Y2c'，Z2c')进行透视变换，从而切换显示状态。在这种情况下，θ可以具有固定的值(例如，90度)。替代地，θ可以是从陀螺仪传感器等获得的值。

[第三变型]

在第一模式下，在上述每个实施方式中，仅将包括所识别的参考项的图像存储在图像存储单元110中。结果，在第二模式下，可以从图像存储单元110获得包括参考项的图像，使得可以生成包括参考项的合成图像。

更具体地，在根据每个实施方式的第一模式中，控制单元100、300或400从图像捕获单元102接收输入图像。当识别单元107、302或402识别输入图像中的参考项时，生成单元108或303生成合成图像，并且识别单元107、302或402将合成图像存储在图像存储单元110中。图像存储单元内110还可以仅存储(包括参考项的)最新的输入图像，并且还可以存储预定数量帧的输入图像。

当在检测单元105、301或401的控制下将模式从第一模式切换为第二模式时，获取单元106从图像存储单元110获取图像，并且所获取的图像是在检测到特定操作之前捕获的并且包括参考项的图像。虽然在上述每个实施方式中从图像存储单元110获取的图像是很有可能包括参考项的图像，但是从本变型中的图像存储单元获取的图像是几乎肯定包括参考项的图像。

如上所述，根据第三变型，能够对几乎肯定包括参考项的图像继续AR显示，该图像是在模式切换之前捕获的。

[示例硬件配置]

将描述上述每个实施方式中的装置的硬件配置。图24示出了每个实施方式中的信息处理设备的示例硬件配置。通过计算机1000来分别实现信息处理设备1、信息处理设备3以及信息处理设备4。例如，通过图24中示出的硬件配置来实现图7、图15以及图20中示出的功能框。

计算机1000包括例如处理器1001、随机存取存储器(RAM)1002、只读存储器(ROM)1003、驱动装置1004、存储介质1005、输入接口(输入I/F)1006、输入装置1007、输出接口(输出I/F)1008、输出装置1009、通信接口(通信I/F)1010、摄像头模块1011、加速度传感器1012、角速度传感器1013、显示接口(显示I/F)1014、显示装置1015以及总线1016。通过总线1016耦接各硬件部件。

通信接口1010通过网络N来控制通信。由通信接口1010控制的通信可以是用于利用无线通信经由无线基站来访问网络N的类型的通信。通信接口1010的一个示例是网络接口卡(NIC)。输入接口1006耦接到输入装置1007，以将从输入装置1007接收的输入信号发送到处理器1001。输出接口1008耦接到输出装置1009，以使输出装置1009执行与来自处理器1001的指令对应的输出。输入接口1006和输出接口1008的一个示例是输入/输出(I/O)控制器。

输入装置1007根据操作来发送输入信号。输入装置1007的示例包括键入装置(例如附接到计算机1000的主单元的键盘和按钮)，以及定点装置(例如鼠标和触摸面板)。输出装置1009根据由处理器1001进行的控制来输出信息。例如，输出装置1009是语音输出装置，例如扬声器。

显示接口1014耦接到显示装置1015。显示接口1014使显示装置1015显示由处理器1001写入设置于显示接口1014中的显示缓冲器的图像信息。显示接口1014的示例包括图形卡和图形芯片。显示装置1015根据由处理器1001进行的控制输出信息。通过图像输出装置(例如显示器或透射型显示器)来实现显示装置1015。

在通过透射型显示器来实现显示装置1015时，可以进行控制以使得将AR内容的投影图像显示在例如透射型显示器的适当位置，而不与捕获图像合成。这种控制给用户提供了处于真实空间和AR内容相互匹配的状态的景象。例如，输入/输出装置(例如触摸屏)用作输入装置1007和显示装置1015。例如，代替将输入装置1007和显示装置1015并入计算机1000，也可以将输入装置1007和显示装置1015外部连接到计算机1000。

RAM 1002是可读且可写存储器装置，并且可以通过例如半导体存储器(例如静态RAM(SRAM)或动态RAM(DRAM)或不同于RAM的闪速存储器)来实现。ROM 1003包括例如可编程ROM(PROM)。

驱动装置1004执行读取存储在存储介质1005内/上的信息和将信息写入存储介质1005中的至少之一。将由驱动装置1004写入的信息存储在存储介质1005内/上。存储介质1005是包括例如硬盘、固态驱动器(SSD)、压缩光盘(CD)、数字通用光盘(DVD)以及蓝光光盘的存储介质中的至少一个存储介质。例如，包括在计算机1000中的驱动装置1004与计算机1000中的存储介质1005的类型对应。

摄像头模块1011包括图像捕获元件(图像传感器)，并且将通过图像捕获元件的光电转换而获得的数据写入用于被包括在摄像头模块1011中的输入图像的图像缓冲器。加速度传感器1012测量作用在加速度传感器1012上的加速度。角速度传感器1013测量角速度传感器1013的操作的角速度。

处理器1001将存储在ROM 1013和/或存储介质1005内/上的程序读取到RAM 1002，并且根据所读取的程序中的过程来进行处理。例如，处理器1001基于模式控制程序和合成图像生成程序来控制其他硬件，从而实现每个实施方式中的控制单元100、控300或400的功能。

处理器1001控制通信接口1010以执行数据通信并且将所接收的数据存储在存储介质1005中，从而实现通信单元101的功能。

在ROM 1003和存储介质1005内存储程序文件和/或数据文件，并且RAM 1002用作处理器1001的工作区域，从而实现存储单元的功能。例如，内容信息、模板信息以及管理信息存储在RAM 1002中。

摄像头模块1011将图像数据写入输入图像缓冲器，并且处理器1001读取输入图像缓冲器中的图像数据，从而实现图像捕获单元102的功能。在监测模式中，例如，将图像数据写入输入图像缓冲器并且还将图像数据写入显示装置1015的显示缓冲器。

此外，将由处理器1001生成的图像数据写入设置在显示接口1014中的显示缓冲器，并且显示装置1015对显示缓冲器中的图像数据进行显示，从而实现显示单元104的功能。

图25示出了在计算机1000上运行的程序的示例配置。在计算机1000上运行用于控制硬件的操作系统(OS)3002。处理器1001根据按照OS3002的过程执行操作以控制并管理硬件(HW)3001和中间件(MW)3003，从而对HW 3001执行应用程序(AP)3004的处理。

在计算机1000中，将OS 3002、用于MW 3003的程序和AP 3004等读取到例如RAM1002，并且由处理器1001来执行这些程序。每个实施方式中的模式控制程序和合成图像生成程序是例如从AP 3004调用作为MW 3003的程序。

模式控制程序和合成图像生成程序也可以包括在AR控制程序中。例如，AR控制程序是用于将AR功能实现作为AP 3004的程序。AR控制程序存储在存储介质1005中。可以与计算机1000的主单元独立地分配存储有AR控制程序的存储介质1005。此外，存储介质1005可以被分发为仅存储有模式控制程序或合成图像生成程序。

接下来，将描述每个实施方式中的管理设备2的硬件配置。图26示出了管理设备2的示例硬件配置。通过计算机2000来实现管理设备2。通过例如图26中示出的硬件配置来实现管理设备2。计算机2000包括例如处理器2001、RAM 2002、ROM 2003、驱动装置2004、存储介质2005、输入接口(输入I/F)2006、输入装置2007、输出接口(输出I/F)2008、输出装置2009、通信接口(通信I/F)2010、存储区域网络接口(SAN I/F)2011以及总线2012。通过总线2012耦接各硬件部件。

处理器2001是例如与处理器1001相同或类似的硬件。RAM 2002是例如与RAM 1002相同或类似的硬件。ROM 2003例如是与ROM 1003相同或类似的硬件。驱动装置2004例如是与驱动装置1004相同或类似的硬件。存储介质2005例如是与存储介质1005相同或类似的硬件。输入接口(输入I/F)2006例如是与输入接口1006相同或类似的硬件。输入装置2007例如是与输入装置1007相同或类似的硬件。

输出接口(输出I/F)2008例如是与输出接口1008相同或类似的硬件。输出装置2009例如是与输出装置1009相同或类似的硬件。通信接口(通信I/F)2010例如是与通信接口1010相同或类似的硬件。存储区域网络接口(SAN I/F)2011是用于将计算机2000连接到SAN的接口，并且包括主机总线适配器(HBA)。

处理器2001将存储在ROM 2003和/或存储介质2005中的程序读取到RAM 2002，并且根据所读取的程序的步骤来进行处理。在处理期间，RAM 2002用作处理器2001的工作区域。程序可以包括用于管理设备2中的各种类型的处理的程序。例如，程序是说明用于选择要被提供给计算机1000等的模板信息、内容信息以及图像捕获条件信息的处理的程序。

ROM 2003和存储介质2005上存储有程序文件和数据文件或者将RAM 2002用作处理器2001的工作区域，从而使得管理设备2存储各种类型的信息。处理器2001还控制通信接口2010以进行通信处理。

Claims (13)

1.一种信息处理设备，包括：

控制单元，所述控制单元被配置成：

从图像捕获装置获得第一图像数据；

从第一图像数据中检测对应于参考对象的特定图像数据；

在检测到所述特定图像数据时，控制显示器以显示其上根据所述特定图像数据在所述第一图像数据中的位置而叠加有对象数据的第一图像数据，所述对象数据与所述参考对象相关联并且被存储在存储器中；

在从所述图像捕获装置获得第二图像数据时，执行对所述图像捕获装置的特定操作的检测；以及

在通过所述检测而检测到所述特定操作时，即使未从所述第二图像数据中检测到所述特定图像数据，也将所述显示器的模式从静态显示模式切换为继续显示其上根据所述特定图像数据在所述第一图像数据中的位置而叠加有所述对象数据的第一图像数据，而在通过所述检测没有检测到所述特定操作时，控制所述显示器以显示所述第二图像数据而不切换所述显示器的模式。

2.根据权利要求1所述的信息处理设备，其中，所述控制单元被配置成：

在从所述第二图像数据中检测到所述特定图像数据并且没有检测到所述特定操作时，基于所检测到的特定图像数据，在所述第二图像数据上显示所述对象数据。

3.根据权利要求1或2所述的信息处理设备，其中，

所述特定操作是用于将所述图像捕获装置的图像捕获方向从捕获到所述参考对象的第一图像捕获方向改变为没有捕获到所述参考对象的第二图像捕获方向的操作。

4.根据权利要求3所述的信息处理设备，其中，所述控制单元被配置成：

获取指示所述图像捕获装置的旋转量的信息，其中，

基于所述旋转量检测所述特定操作。

5.根据权利要求4所述的信息处理设备，其中，所述控制单元被配置成：

当指示旋转量的所述信息表明在预定时间段内所述图像捕获装置旋转了大于阈值的量时，检测到所述特定操作。

6.根据权利要求1或2所述的信息处理设备，其中，所述控制单元被配置成：

当检测到所述特定操作时，发送用于获取与所述对象数据关联的附加对象数据的请求；以及

接收包括所述附加对象数据的响应。

7.根据权利要求6所述的信息处理设备，其中，所述控制单元被配置成：

接收用于显示所述附加对象数据的指令；以及

基于所接收的指令显示所述附加对象数据。

8.根据权利要求1或2所述的信息处理设备，其中，所述控制单元被配置成：

将所述对象数据在所述第一图像数据上的显示状态从第一视图切换为第二视图。

9.根据权利要求8所述的信息处理设备，其中，

所述第一视图是所述对象数据的正视图，以及

所述第二视图是所述对象数据的俯视图。

10.根据权利要求8所述的信息处理设备，其中，

在所述第一视图中，所述对象数据为第一尺寸，以及

在所述第二视图中，所述对象数据为小于所述第一尺寸的第二尺寸。

11.根据权利要求1或2所述的信息处理设备，其中，

所述参考对象为标记。

12.根据权利要求1或2所述的信息处理设备，其中，

所述特定图像数据是所述参考对象的图像。

13.一种通过信息处理装置执行的显示控制方法，所述方法包括：

从图像捕获装置获得第一图像数据；

从所述第一图像数据中检测对应于参考对象的特定图像数据；

在检测到所述特定图像数据时，控制显示器以显示其上根据所述特定图像数据在所述第一图像数据中的位置而叠加有对象数据的第一图像数据，所述对象数据与所述参考对象相关联并且被存储在存储器中；

在从所述图像捕获装置获得第二图像数据时，执行对所述图像捕获装置的特定操作的检测；以及

在通过所述检测而检测到所述特定操作时，即使未从所述第二图像数据中检测到所述特定图像数据，也将所述显示器的模式从静态显示模式切换为继续显示其上根据所述特定图像数据在所述第一图像数据中的位置而叠加有所述对象数据的第一图像数据，而在通过所述检测没有检测到所述特定操作时，控制所述显示器以显示所述第二图像数据而不切换所述显示器的模式。