CN104808956A - 用于控制显示的系统和方法 - Google Patents

Abstract

提供了信息处理设备和由信息处理设备执行的方法。该信息处理设备包括控制单元，该控制单元被配置成：获取由图像捕获单元捕获的图像数据；基于在图像数据中检测到的对象来获取内容和与所述内容相对应的显示位置信息，该显示位置信息指示所述内容相对于所述对象的显示位置；确定所述内容是否能够以叠加的方式在所述图像数据上显示在由显示位置信息指示的显示位置处；以及在确定所述内容不能显示在由显示位置信息指示的位置处时指示要输出的告警。

Description

用于控制显示的系统和方法

技术领域

本文所讨论的实施方式涉及用于以在图像数据上叠加另外的图像数据的方式来显示该图像数据的技术。

背景技术

下述增强现实(AR)技术是已知的：在该技术中，当在显示器上显示现实世界对象的图像时，使现实世界中不存在的内容以叠加的方式显示在显示器上所显示的图像上，使得提供该内容看起来好像存在于现实世界中的组合图像。在下文中，该内容被称为“AR内容”。观看组合图像的用户可以获取被显示为AR内容的信息，并且可以捕捉到与该用户直接观看和认识现实世界时相比更多的信息。要指出的是，AR内容有时是通过使用其形状和颜色来使自身表示独特意义的图像数据，而有时是包括文本数据的图像数据。

AR包括被称为基于位置的AR的技术和被称为基于视觉的AR的技术。基于位置的AR从全球定位系统(GPS)传感器等获取配备有相机的终端的位置信息和关于该终端的方位的信息，并且根据该位置信息和该方位信息来确定要以叠加的方式进行显示的AR内容的细节和要以此方式进行显示的AR内容的位置。

基于视觉的AR对从相机获取的图像数据执行对象识别和空间感知。在识别到图像数据为捕获有特定对象的图像的数据时，基于视觉的AR根据空间感知结果以叠加的方式显示与该特定对象相对应的AR内容(例如，日本公开特许公报第2002-092647号和日本公开特许公报第2004-048674号)。要指出的是，其中标记为要识别的对象的AR有时被称为“基于视觉的标记式AR”，而其中除标记之外的对象为要识别的对象的AR有时被称为“基于视觉的无标记式AR”。

另外，下述技术是已知的：在该技术中，对于包括基于视觉的AR功能的游戏机，当包含在游戏机中的成像设备捕获到标记的图像时，在游戏机的显示器上显示用于菜单选择的选择对象(例如日本公开特许公报第2012-068984号)。此外，当用户使游戏机倾斜并且成像设备的成像方向因此与选择对象的冲突区域交叉时，游戏机确定该选择对象已被选择。

发明内容

技术问题

配备有基于视觉的AR技术的计算机对图像数据执行对象识别处理。如果识别到特定对象，则计算机执行用于使AR内容以叠加的方式显示在图像数据上的显示控制处理。在显示控制处理中，计算机通过对从相机获取的图像数据执行对象识别和空间感知来估计要识别的对象与相机之间的位置关系。对于AR内容，相对于要识别的对象的位置关系(布置位置和布置姿势)是预先确定的。因此，通过使用以上估计的相机与要识别的对象之间的位置关系来确定相机与AR内容之间的位置关系。

此处，根据现有技术，当在作为要识别的对象的特定对象呈现在图像中的假定下执行显示控制处理时，在一些情况下不会显示正常要以叠加的方式与特定对象相对应地进行显示的AR内容。对此的一个示例为通过以AR方式显示指示具体工作的AR内容来提供对工作的支持的系统。利用该系统的工作者在显示器上所显示的组合图像中识别出给出关于具体工作的指令的AR内容，并且该工作者根据该指令执行具体工作。然而，如果AR内容未显示在显示器上所示的组合图像中，则工作者当然不可能获取AR内容的信息。也就是说，工作者不可能认识到其必须执行与通过AR内容给出的指令相关的工作。

因此，本公开内容的目的是确定AR技术中AR内容实际上是否显示在显示器上并且报告未显示在显示器上的AR内容的存在性。

问题的解决方案

根据本发明的一个方面，一种信息处理设备包括控制单元，所述控制单元被配置成：获取由图像捕获单元捕获的图像数据；基于在所述图像数据中检测到的对象来获取内容和与所述内容相对应的显示位置信息，所述显示位置信息指示所述内容相对于所述对象的显示位置；确定所述内容是否能够以叠加的方式在所述图像数据上显示在由所述显示位置信息指示的显示位置处；以及在确定所述内容不能显示在由所述显示位置信息指示的位置处时指示要输出的告警。

附图说明

图1示出了相机坐标系与标记坐标系之间的关系；

图2示出了AR内容的示例；

图3描绘了从标记坐标系到相机坐标系的变换矩阵T以及变换矩阵T中的旋转矩阵R；

图4描绘了旋转矩阵R1、R2和R3；

图5是从一个视点看到的现实世界的概念性图示；

图6是从另一视点看到的现实世界的概念性图示；

图7是基于由用户110捕获的图像的AR显示的概念性图示；

图8是基于由用户120捕获的图像的AR显示的概念性图示；

图9是根据每个实施方式的系统配置图；

图10是信息处理设备1的功能框图；

图11示出了存储AR内容信息的数据表的配置的示例；

图12示出了存储模板信息的数据表的配置的示例；

图13是根据第一实施方式的显示控制处理的流程图(1)；

图14是根据第一实施方式的显示控制处理的流程图(2)；

图15是用于报告不能以叠加的方式进行显示的AR内容的屏幕的概念性图示；

图16是用于报告不能以叠加的方式进行显示的AR内容的另一屏幕的概念性图示；

图17是在显示器上显示由用户110捕获的图像时的屏幕的概念性图示；

图18是在显示器上显示由用户120捕获的图像时的屏幕的概念性图示；

图19是根据第二实施方式的信息处理设备20的功能框图；

图20描绘了在式3中使用的决定因子；

图21是根据第二实施方式的显示控制处理的流程图(1)；

图22是根据第二实施方式的显示控制处理的流程图(2)；

图23示出了实施方式中的每个实施方式的信息处理设备的硬件配置的示例；

图24示出了在计算机上操作的程序的配置的示例；以及

图25是管理设备的硬件配置的示例。

具体实施方式

在下文中，将对本公开内容的详细实施方式进行描述。要指出的是，只要在处理细节之间不出现矛盾，以下描述的实施方式可以适当地进行组合。

作为开始，将对基于视觉的AR技术进行描述。要指出的是，特别地，下面将给出使用标记的基于视觉的标记式AR的示例。然而，在实施方式中公开的技术可以应用于基于视觉的无标记式AR。在此情况下，在对象识别处理中，预先准备定义要识别的对象的形状的字典。通过使用该字典，对图像数据执行对象识别处理。

首先，对以相机为中心的相机坐标系与以标记为中心的标记坐标系之间的关系进行描述。图1是示出相机坐标系与标记坐标系之间的关系的图。要指出的是，标记为例如具有独特形状的、印刷在附接至建筑物中的墙壁、天花板或装备等的纸上的图案。在基于视觉的标记式AR中，识别目标为标记，并且因而在图像数据中包括指示标记特有的形状的特定图像数据时识别到标记。

在图1中，相机坐标系的原点为Oc(0,0,0)。相机坐标系包括三个维度(Xc,Yc,Zc)。相机坐标系的Xc-Yc平面为与相机的成像设备的面并行的面。Zc轴为与成像设备的面垂直的轴。要指出的是，原点Oc可以是实际相机的焦点，或者可以被设置在Zc方向上距相机的焦点预定距离处的位置。

接下来，如图1所示，标记坐标系的原点为Om(0,0,0)。要指出的是，原点Om为标记M的中心。标记坐标系包括三个维度(Xm,Ym,Zm)。例如，标记坐标系的Xm-Ym平面为与标记M平行的面，并且Zm轴为与标记M的面垂直的轴。要指出的是，在标记坐标统中，假定与图像数据中的一个标记相对应的大小为单位坐标。

相反，假定标记坐标系的原点Om在相机坐标系下由(X1c,Y1c,Z1c)表示。通过对从相机获取的图像数据执行对象识别和空间感知来计算Om在相机坐标系下的坐标(X1c,Y1c,Z1c)。

此处，为了执行对象识别和空间感知，采用可以用其对标记与相机之间的关系进行标识的形状作为标记的形状。标记的大小也是预先决定的。因而，可以通过对图像数据执行对象识别来识别标记，并且可以根据图像数据中标记的图形的形状和大小来确定标记相对于相机的位置关系。例如，标记M具有正方形形状，其中该正方形形状的每个边为5cm长。

另外，标记坐标系(Xm,Ym,Zm)相对于相机坐标系(Xc,Yc,Zc)旋转的角度由旋转坐标G1c(P1c,Q1c,R1c)表示。P1c为绕Xc轴旋转的角度，Q1c为绕Yc轴旋转的角度，以及R1c为绕Zc轴旋转的角度。图1所示的标记坐标系仅绕Yc轴旋转，因此P1c和R1c均为零。要指出的是，每个旋转角度是基于已知的标记形状与所捕获图像中标记的图形的形状之间的比较来计算的。

图2示出了AR内容的示例。图2所示的AR内容C为具有对话气泡形状的图像数据，并且该AR内容C在对话气泡中包含文本信息“执行工作X”。另外，针对AR内容C预先设置了相对于标记的位置信息和旋转信息。也就是说，设置了AR内容在标记坐标系下的位置信息和旋转信息。

此处，将对位置信息和旋转信息进行详细描述。在AR内容C的对话气泡的尖端处的黑色圆圈指示用于AR内容C的参考点V2m(X2m,Y2m,Z2m)。另外，AR内容C的姿势由旋转坐标G2m(P2m,Q2m,R2m)定义，并且AR内容C的大小由放大因子D(Jx,Jy,Jz)定义。要指出的是，AR内容C的旋转坐标G2m指示在布置AR内容时AR内容相对于标记坐标系旋转多少。例如，在G2m为(0,0,0)——这与图2的示例不同——的情况下，AR内容以AR方式与标记平行地进行显示。

接下来，分别对形成AR内容C的除参考点之外的点的坐标进行设置，从而对AC内容C的形状进行设置。在本实施方式中，在还将预先创建的模板用于AR内容C的形状的假定下给出描述。也就是说，在作为用于构造AR内容C的形状的模型的模板中定义了形成AR内容C的点的坐标。然而，在该模板中，参考点具有坐标(0,0,0)，并且除参考点之外的每个点被定义为相对于参考点的坐标的值。因此，当设置AR内容C的参考点V2m时，形成模板的每个点的坐标经受基于坐标V2m进行的平移。

包含在模板中的每个点的坐标还经受基于所设置的旋转坐标G2m进行的旋转，并且相邻点之间的距离通过放大因子D进行扩展或收缩。也就是说，图2的AR内容C指示该AR内容C是基于下述点来形成的状态：所述点是通过基于参考点的坐标V2m、旋转坐标G2m和放大因子D对在模板中所定义的所有点进行调节而获得的。

如上所述，AR内容相对于标记的布置是基于AR内容的位置信息和旋转信息来确定的。因此，一旦用户已经使用相机对标记拍摄照片，计算机就假定相机对具有相对于标记所确定的布置的AR内容拍摄了照片来生成表示AR内容的图形的图像数据。在生成表示AR内容的图形的图像数据的过程中，执行以下处理：将在标记坐标系下定义的点中的每个点的坐标变换成在相机坐标系下的坐标的处理；以及将变换到相机坐标系下的每个点投影到显示平面上以用于将该点绘制在显示器上的处理。此外，将表示AR内容的图形的图像数据绘制在从相机获取的图像数据的顶部，因而使AR内容以叠加的方式显示在从相机获取的图像数据上。下面将对每个处理进行描述。

首先，图3描绘了从标记坐标系到相机坐标系的变换矩阵T以及旋转矩阵R。变换矩阵T为下述决定因子：该决定因子用于基于作为标记坐标系的原点的Om在相机坐标系下的坐标值(X1c,Y1c,Z1c)和标记坐标系相对于相机坐标系的旋转坐标G1c(P1c,Q1c,R1c)将标记坐标系下所定义的AR内容的每个点从标记坐标系变换至相机坐标系。

变换矩阵T为4×4矩阵。通过将变换矩阵T与用于标记坐标系的坐标Vm的列向量(Xm,Ym,Zm,1)相乘，获得用于相机坐标系的对应坐标Vc的列向量(Xc,Yc,Zc,1)。

具有变换矩阵T的第一行至第三行以及第一列至第三列的子矩阵(旋转矩阵R)作用于标记坐标系的坐标，从而执行用于使标记坐标系的取向与相机坐标系的取向对准的旋转操作。具有变换矩阵T的第一行至第三行以及第四列的子矩阵起作用，从而执行用于使标记坐标系的位置与相机坐标系的位置一致的平移操作。

图4描绘了旋转矩阵R1、R2和R3。要指出的是，图3中描绘的旋转矩阵R是通过使旋转矩阵R1、R2和R3相乘(R1·R2·R3)来计算的。另外，旋转矩阵R1表示Xm轴相对于Xc轴的旋转。旋转矩阵R2表示Ym轴相对于Yc轴的旋转。旋转矩阵R3表示Zm轴相对于Zc轴的旋转。

旋转矩阵R1、R2和R3是基于所捕获的图像中标记的图形来生成的。也就是说，如上所述，基于在要处理的所捕获图像中何种图形被捕获作为具有已知形状的标记来计算旋转角度P1c、Q1c和R1c。基于所计算的旋转角度P1c、Q1c和R1c来生成旋转矩阵R1、R2和R3。

如上所述，通过将标记坐标系的要进行坐标变换的点坐标代入列向量(Xm,Ym,Zm,1)、然后执行矩阵操作，获得包括相机坐标系的点坐标的列向量(Xc,Yc,Zc,1)。也就是说，可以将标记坐标系的点(Xm,Ym,Zm)变换成相机坐标系的点(Xc,Yc,Zc)。要指出的是，坐标变换也被称为模型视图变换。

例如，如图2所示，对AR内容C的参考点V2m执行模型视图变换，因而确定在标记坐标系下所定义的参考点V2m与相机坐标系下的哪个点相对应。通过已经描述的处理，可以通过利用标记来计算AR内容相对于相机的位置(相机与AR内容之间的位置关系)。

接下来，将AR内容C的每个点的相机坐标系的坐标变换成屏幕坐标系的坐标。屏幕坐标系包括两个维度(Xs,Ys)。然后，将AR内容的每个点的坐标——其已经变换为相机坐标系下的坐标——投影到用作虚拟屏幕的二维平面(Xs,Ys)上，因而生成要以AR方式进行显示的AR内容C的图形。也就是说，屏幕坐标系的一部分与显示器的显示屏幕相对应。要指出的是，将相机坐标系的坐标变换成屏幕坐标系的坐标被称为“透视变换”。

此处，将用作投影平面的虚拟屏幕设置成例如与相机坐标系的Xc-Yc平面平行，并且将其设置在Zc方向上距相机坐标系的Xc-Yc平面预定距离处。在这一点上，当相机坐标系下的原点Oc(0,0,0)被设置在Zc方向上距相机的焦点一定距离处时，屏幕坐标系下的原点(0,0)还与相机的光轴上的一点相对应。

例如，基于相机的焦距f来执行透视变换。由下面给出的式1确定屏幕坐标系的与相机坐标系下的坐标(Xc,Yc,Zc)相对应的坐标的Xs坐标。由下面给出的式2确定屏幕坐标系的与相机坐标系下的坐标(Xc,Yc,Zc)相对应的坐标的Ys坐标。

Xs＝f·Xc/Zc     (1)

Ys＝f·Yc/Zc     (2)

基于通过透视变换所获得的屏幕坐标系的坐标值来生成AR内容C的图形。通过将纹理映射到通过内插构成AR内容C的多个点所获得的面上来生成AR内容C。在AR内容C所源于的模板中定义了要内插哪些点来形成面以及要将哪一纹理映射到哪一面上。

如上所述，将形成AR内容C的每个点的坐标从标记坐标系变换至相机坐标系，并且进一步变换至屏幕坐标系。此后，使用AR内容C的点中的每个点的坐标(屏幕坐标系)来执行在显示器上进行绘制的处理。存在于显示器的可显示范围之外的位置处的AR内容C的图形当然不会包含在显示器上所显示的图像中。发明人发现：即使在从相机获取的图像数据中识别到标记，相对于标记的布置已被指定的AR内容C的图形有时也不会以叠加的方式显示在显示器上所显示的组合图像中。

参照图5、图6、图7和图8，将对AR内容C的图形未以叠加的方式显示在显示器上所显示的图像上的情况进行描述。图5是从一个视点看到的现实世界的概念性图示。在图5中，阀102附接至管道100，并且管道100上还存在裂纹103。另外，标记101附接在位于管道100后面的墙壁上。另外，用户110通过使用相机从位置A对该现实世界拍摄照片，使得该照片描绘有标记101。用户120通过使用相机从位置B对该现实世界拍摄照片，使得该照片描绘有标记101。要指出的是，用户110的位置A与用户120的位置B相比较远离标记101。

图6是从另一视点看到的现实世界的概念性图示。图6中的管道100是与图5中的管道100相同的对象，并且图6中的标记101也与图5中的标记101相同。要指出的是，图6中省略了阀102和裂纹103。如图6所示，用户120从与用户110的位置相比较靠近标记101的位置对标记101拍摄照片。

图7是基于由用户110捕获的图像的AR显示的概念性图示。图8是基于由用户120捕获的图像的AR显示的概念性图示。如图7所示，在对从位置A捕获的图像执行AR显示的组合图像210中，AR内容204和AR内容205以叠加的方式进行显示。因此，用户110可以执行与AR内容204有关的工作(核查裂纹)以及与AR内容205有关的工作。

相反，如图8所示，在对从位置B捕获的图像执行AR显示的组合图像220中，AR内容205以叠加的方式显示在所捕获的图像上，但AR内容204未以叠加的方式进行显示。因此，用户120不可能执行与AR内容204有关的工作(核查裂纹)。要指出的是，尽管图8示出了现有技术中的处理结果(对比例)，但在下面描述的实施方式中可以执行如图8所示的显示。在以下实施方式中，当生成如图8所示的组合图像220时，向用户报告内容204的存在。

此处，为了避免如图8所示的情况，认为当用户预先掌握到要使AR内容以叠加的方式显示在管道上时，用户可以在使其能够捕获到整个管道的位置(例如，位置A)处捕获图像。然而，在实际的真实空间中，除管道之外还存在其他对象例如各种装备，因而存在AR内容可能会以叠加的方式显示在其他对象上的可能性。因此，用户难以合适地调节拍摄的位置，除非用户掌握上面可能会以叠加的方式显示AR内容的所有对象。

另外，在尽管用户已经拍摄到标记101的照片但显示器上所显示的组合图像中并未包含AR内容的情况下，用户可以自行地调节拍摄的位置。然而，由于如图7所示在一些情况下多个AR内容会与单个标记相关联，所以用户不可能确定的是：为了实现所有的AR内容均以叠加的方式进行显示的状态，必须以叠加的方式显示多少AR内容。

此外，即使在捕获有相同标记的图像中，要显示的AR内容的细节和AR内容的叠加显示的存在或不存在也会在一些情况下根据用户的属性而改变。在这些情况中的一些情况中，例如，即使用户X拍摄到标记的照片，但AR内容也未以叠加的方式显示在组合图像中。因此，用户X不可能掌握到是自始就不存在要以叠加的方式进行显示的AR内容，还是由于拍摄的位置而使AR内容未以叠加的方式进行显示。

因此，当在用于使与特定图像数据(标记的图像数据)相对应的另外的图像数据(AR内容的图形)以叠加的方式显示在要在显示设备(显示器)上显示的图像数据上的AR显示方法中该特定图像数据包含在上述图像数据中时，计算机基于显示在显示设备上的特定图像数据的显示位置来确定其他图像数据是否能够以叠加的方式在关于特定图像数据所预先确定的位置处进行显示，并且在确定不能显示其他图像数据时提供报告。

尽管在下面详细地进行描述，但是在第一实施方式中，计算机使用AC内容C的屏幕坐标系的坐标值来确定AC内容C的图形的投影位置是否处于显示器的可显示范围内。另外，在第二实施方式中，计算机基于从相机获取的图像数据中标记的图形将显示器的可显示范围变换成标记坐标系的范围，从而使用标记坐标系的针对AR内容C所预先设置的位置信息来确定投影位置是否处于显示器的可显示范围内。

首先，对第一实施方式和第二实施方式共同的部分进行描述。图9是根据每个实施方式的系统配置图。在图9的示例中，通信终端1-1和通信终端1-2被示为执行AR显示的信息处理设备的示例。在下文中，将这些终端统称为信息处理设备1。另外，信息处理设备1经由网络N与管理设备3进行通信。

信息处理设备1例如为具有成像设备的计算机如平板个人计算机(PC)，或者为包含成像设备如相机的智能电话。管理设备3为例如服务器计算机，并且管理设备3对信息处理设备1进行管理。网络N例如为因特网。要指出的是，根据这些实施方式的系统包括信息处理设备1和管理设备3。

信息处理设备1生成包括从相机获取的图像数据和叠加在所获取的图像数据上的另外的图像数据(AR内容)的组合图像数据。在这一点上，当从相机获取的图像数据中包含特定图像数据(标记)时，信息处理设备1根据关于标记所预先确定的位置以叠加的方式显示其他图像数据(AR内容)。在这一点上，信息处理设备1确定AR内容是否能够以叠加的方式进行显示，并且在AR内容不能以叠加的方式进行显示时提供某一报告。例如，当信息处理设备1确定存在不能以叠加的方式进行显示的AR内容时，信息处理设备1在显示器上显示警告消息或者输出警告声音。

相反，管理设备3存储AR内容信息和模板信息，并且在必要时将AR内容信息和模板信息提供至信息处理设备1。AR内容信息为与要以AR方式进行显示的对象的AR内容有关的信息。模板信息为下述信息：在通过使用模板来生成AR内容时，通过该信息来定义模板的形状和图案等。下面将对其细节进行描述。

信息处理设备1在执行AR显示之前从管理设备3获取AR内容信息和模板信息。要指出的是，尽管管理设备3存储与多个AR内容有关的AR内容信息和与多个模板有关的模板信息，但管理设备3可以向信息处理设备1提供仅下述AR内容信息和模板信息：该AR内容信息与多个AR内容中的一些AR内容有关并且该模板信息与模板中的一些模板有关。例如，根据操作信息处理设备1的用户的属性，管理设备3向信息处理设备1提供仅下述AR内容和模板：该AR内容是可能会提供至用户的AR内容，该模板与该AR内容有关的模板。

信息处理设备1可以将要处理的图像数据传送至管理设备3，管理设备3可以生成与AR显示有关的组合图像数据，并且组合图像数据可以从管理设备3传送至信息处理设备1。

[第一实施方式]

接下来，将对根据第一实施方式的信息处理设备1的功能配置进行描述。图10是根据第一实施方式的信息处理设备10的功能框图。信息处理设备10包括通信单元11、成像单元12、显示单元13、存储单元14和控制单元15。要指出的是，上述信息处理设备1的示例为第一实施方式中的信息处理设备10。

通信单元11与其他计算机进行通信。例如，通信单元11接收来自管理设备3的用以生成组合图像数据的AR内容信息和模板信息。成像单元12以规律的帧间隔捕获图像并且生成图像数据。然后，成像单元12将该图像数据输入至控制单元15。

显示单元13显示从控制单元15获取的各种图像数据。各种图像数据包括由成像单元12获取的图像数据和由控制单元15生成的组合图像数据。存储单元14在控制单元15的控制下存储各种信息。存储单元14存储AR内容信息和模板信息。要指出的是，存储单元14可以暂时存储从成像单元12获取的图像数据。

控制单元15控制整个信息处理设备1的各种处理。如下所述，控制单元15包括识别单元16、生成单元17和确定单元18。识别单元16对输入图像数据执行对象识别。具体地，通过使用其中定义有标记的形状的用于对象识别的模板，识别单元16确定输入图像数据中是否包含标记的图像数据。

另外，在已经识别出在输入图像数据中包含标记的图像数据时，识别单元16获取对标记进行标识的标识信息。例如，获取标记标识符(ID)。例如，根据白色部分和黑色部分的布置来获取唯一的标记ID，在二维条形码的情况下亦如此。可以应用另外的已知获取方法作为用于获取标记ID的方法。

在已经识别出在输入图像数据中包含标记的图像数据时，识别单元16还基于标记的图像数据来计算标记的位置坐标和旋转坐标。要指出的是，标记的位置坐标和旋转坐标为相机坐标系下的值。识别单元16将所计算的位置坐标和旋转坐标输出至生成单元17。要指出的是，如果确定在输入图像数据中未包含标记的图像数据，则识别单元16将该结果输出至生成单元17。

生成单元17基于AR内容信息和模板信息来生成用于执行AR显示的组合图像数据。要指出的是，在生成组合图像数据的过程中，利用由识别单元计算的位置坐标和旋转坐标。生成单元17还对显示单元13进行控制以用于显示组合图像数据。

此处，出于说明由生成单元17执行的处理的目的，对AR内容信息和模板信息进行描述。要指出的是，AR内容信息和模板信息存储在存储单元14中。

图11示出了存储AR内容信息的数据表的配置的示例。AR内容信息至少包括AR内容ID、位置信息和旋转信息。AR内容信息还可以包括放大信息、模板ID、标记ID和附加信息。

AR内容ID以及AR内容在标记坐标系下的位置信息和旋转信息彼此相关联地存储在数据表中。AR内容ID为唯一地标识AR内容的标识信息。位置信息为用于指定AR内容关于标记的位置的信息，并且例如为形成AR内容的参考点在标记坐标系下的位置坐标(Xm,Ym,Zm)。旋转信息为用于指定AR内容相对于标记的旋转的信息，并且例如为AR内容相对于标记坐标系的旋转坐标(Pm,Qm,Rm)。

另外，当通过使用模板来创建AR内容的模型形状时，将模板ID和放大信息存储在数据表中。模板ID为对应用至AR内容的模板进行标识的标识信息。放大信息为与在应用模板作为AR内容时所使用的放大因子D相关的信息。例如，放大信息为用于在每个轴方向上扩展或收缩的放大因子(Jx,Jy,Jz)。

此外，当用于AR显示的AR内容根据所识别的标记的标识信息进行改变时，将与各个AR内容相关联的标记的标记ID存储在数据表中。要指出的是，在即使具有相同的标记但用于AR显示的AR内容根据用户属性信息进行改变时，将用于标识针对每个AR内容的用户属性的信息与标记ID存储在一起。

在数据表中还可以存储附加信息。作为附加信息，例如存储关于在AR内容中绘制的文本的信息。在图11的AR内容ID为“C1”的示例中，文本“检查阀是否关闭”将会被绘制在AR内容中。

图12示出了存储模板信息的数据表的配置的示例。模板信息包括模板的标识信息(模板ID)、构成模板的每个顶点的坐标信息以及构成模板的每个面的配置信息(指定顶点的顺序和纹理ID)。

顶点的顺序指示构成面的顶点的顺序。纹理ID指示映射至该面的纹理的标识信息。模板的参考点为例如第0个顶点。使用模板信息表中所指示的信息来确定三维模型的形状和图案。

当生成组合图像数据时，生成单元17根据从识别单元16获取的标记ID来标识用于以AR方式进行显示的AR内容的AR内容ID。然后，生成单元17利用对应的AR内容信息、模板信息以及由识别单元16计算的位置坐标和旋转坐标来生成AR内容的用于叠加的图像数据。用于叠加的图像数据为与下述图形相对应的数据：该图形是通过将AR内容布置在虚拟空间中相对于标记所预先指定的位置处并且将AR内容投影在虚拟屏幕上来获得的。然后，生成单元17将从相机获取的图像数据和用于叠加的图像数据组合在一起，从而生成组合图像数据。

例如，图11所示的内容ID为“C1”的AR内容包括通过以下方式获得的顶点：使图12的AR模板“T1”中所定义的每个顶点的坐标在Xm、Ym和Zm方向上进行扩展或收缩；通过使用旋转坐标(Pm1,Qm1,Rm1)对经扩展或收缩的坐标进行旋转；以及根据位置坐标(Xm1,Ym1,Zm1)对经旋转的坐标进行平移。

如上所述，生成单元17使用AR内容信息、模板信息和变换矩阵T对AR内容的每个点的坐标执行从标记坐标系到相机坐标系的坐标变换。另外，生成单元17使用上述式1和式2将相机坐标系变换成屏幕坐标系。另外，生成单元17将由模板信息定义的纹理和由AR内容信息定义的附加信息映射到构成AR对象的面上，从而生成用于叠加显示的AR内容的图形(图像数据)。

参照图10，基于关于标记所预先确定的位置，确定单元18确定AR内容是否能够以叠加的方式显示在从相机获取的图像数据上。具体地，确定单元18将由生成单元17生成的图像数据与显示单元13(显示器)的可显示范围进行比较。显示器具有H×L的分辨率。要指出的是，分辨率中的“H”是在与图7等的竖直显示方向相对应的方向上布置的像素的数目，并且该竖直显示方向与屏幕坐标系的Ys方向相对应。分辨率中的“L”是在与水平显示方向相对应的方向上布置的像素的数目，并且该水平显示方向与屏幕坐标系的Xs方向相对应。

当屏幕坐标系的原点被设置在相机的光轴上并且在显示器的中心与屏幕坐标系的原点相一致的条件下执行显示时，确定单元18针对形成AR内容的每个点来确定变换到屏幕坐标系下的Xs坐标值是否处于-L/2到+L/2的范围内，并且还确定Ys坐标值是否处于-H/2到+H/2的范围内。

基于虚拟屏幕的设置位置(在Zc方向上的位置)，确定单元18还针对形成AR内容的每个点来确定变换到相机坐标系下的AR内容的Zc坐标值是否存在于虚拟屏幕的设置位置后方。这是因为：如果AR内容具有其中该AR内容在虚拟屏幕前方的位置关系，则该AR内容不会被投影到虚拟屏幕上。例如，当在其处设置虚拟屏幕的位置为与Zc轴上的N个标记相对应的位置时，确定Zc坐标值是否大于N。

如果Xs坐标值、Ys坐标值和Zc坐标值的所有确定结果均为肯定，则在显示器上显示组合图像数据时将使AR内容的兴趣点显示在显示器上。也就是说，确定能够显示兴趣点。要指出的是，如果确定形成AR内容的所有点均能够显示在显示器上，则整个AR内容将会显示在显示器上。

如果确定形成AR内容的所有点中的仅一些点能够显示在显示器上，也就是说，如果所有点中的一些点的确定结果为肯定而所有点中的其他点的确定结果为否定，则AR内容的一部分将会显示在显示器上而AR内容的另一部分将不会被显示。另外，如果确定所有点均不能显示在显示器上，也就是说，所有点的确定结果均为否定，则该AR内容不会被显示在显示器上。在本实施方式中，当所有点的确定结果均为肯定时，确定单元18确定AR内容能够被显示。然而，当所有点中的一些点的确定结果为肯定而其他点的确定结果为否定时，确定单元18可以确定AR内容能够被显示。

接下来，将描述由信息处理设备10执行的处理的流程。图13和图14示出了显示控制方法的处理流程。要指出的是，显示控制方法由执行显示控制程序的计算机来执行。

在显示控制程序开始时，控制单元15执行预处理(Op.101)。在Op.101的操作中，从管理设备3获取模板信息和AR内容信息。另外，控制单元15发出用于启动AR显示模式的指令，并且例如使成像单元12开始以预定时间间隔进行图像捕获。控制单元15还使识别单元16开始标记检测处理。当从控制单元15指示执行图像捕获时，成像单元12获取由成像设备以预定时间间隔生成的图像数据并且将该图像数据存储在存储单元14中。

存储单元14设置有存储多条图像数据的缓冲区，并且图像数据被存储在该缓冲区中。例如，设置在存储单元14中的缓冲区为存储要由显示单元13显示的图像数据的显示缓冲区。存储在显示缓冲区中的图像数据被依次传递至显示单元13并且由显示单元13显示。控制单元15还使显示单元13开始显示图像数据。此处，显示单元13实时地显示由成像单元12捕获的图像的图像数据，并且如下所述的那样在识别到标记时显示组合图像数据。

识别单元16获取设置在存储单元14中的缓冲区中所存储的图像数据(Op.103)。然后，识别单元16对所获取的图像数据执行标记识别(Op.105)。如果未识别到标记(Op.105中为否)，则控制单元15确定是否终止显示控制处理(Op.135)。如果要终止显示控制处理(Op.135中为是)，则控制单元15终止一系列显示控制处理操作。例如，当用户做出用于终止与AR显示有关的显示控制处理的输入时，控制单元15终止显示控制处理。另一方面，如果不终止显示控制处理(Op.135中为否)，则控制单元15针对新图像数据重复Op.103中的操作和Op.103之后的操作。

另一方面，如果识别到标记(Op.105中为是)，则识别单元16读取标记的标记ID(Op.107)。例如基于与对应于标记的图像区域内的亮度相关的信息来执行标记ID的读取。例如，在标记为四边形的情况下，对于通过划分被识别为标记的四边形图像区域所获得的区域，具有等于或大于预定值的亮度的区域被设置成“1”而具有小于预定值的亮度的区域被设置成“0”。然后，以预定区域顺序针对每个区域来确定该区域是“1”还是“0”，并且将通过上述确定所获得的信息的列设置为标记ID。

另外，例如，在四边形图像框的布置——其包括各自均具有等于或大于预定值的亮度的区域和各自均具有小于预定值的亮度的区域——被设置为图案的条件下，可以使用与图案相对应的标记ID。此外，如果预先确定了分配给标记ID的数值范围但所读取的标记ID未处于该数值范围内，则识别单元16可以确定尚未读取到标记ID。

接下来，识别单元16基于在图像数据中检测到的标记的图形的形状和大小来计算标记在相机坐标系下的位置坐标和旋转坐标(Op.109)。例如，识别单元16提取与标记的角相对应的特征点，并且基于四个特征点在图像数据中的位置来计算位置坐标和旋转坐标。要指出的是，识别单元16不仅将所计算的位置坐标和旋转坐标还将标记ID输出至生成单元17。

通过将从识别单元16获取的标记ID用作索引，生成单元17对存储AR内容信息的数据表进行检索。然后，生成单元17获取包含从识别单元16获取的标记ID的AR内容信息(OP.111)。此外，通过将AR内容信息中所包含的模板ID用作索引，从存储模板信息的数据表中获取对应的模板信息。

生成单元17通过使用从识别单元16获取的位置坐标和旋转坐标来生成变换矩阵T，然后生成单元17通过使用变换矩阵T来对AR内容信息和模板信息中所定义的每个点执行模型视图变换(OP.113)。也就是说，生成单元17将在标记坐标系下所定义的每个点的坐标变换成在相机坐标系下的坐标。生成单元17还将在相机坐标系下表示的每个点的坐标变换成屏幕坐标系下的坐标(Op.115)。也就是说，执行透视变换。

随后，确定单元18设置形成AR内容的图形的多个点(屏幕坐标系)中要处理的点(Op.117)。然后，确定单元18确定要处理的点是否处于显示单元13(显示器)的可显示范围内(Op.119)。也就是说，确定AR内容中要处理的点的部分是否能够以叠加的方式进行显示。如上所述，在确定过程中，除屏幕坐标系下的Xs和Ys之外，还利用在透视变换之前所计算的相机坐标系下的Zc。

如果AR内容中要处理的点的部分能够以叠加的方式进行显示(Op.119中为是)，则确定单元18确定是否剩余有尚未处理的点(Op.121)。如果剩余有尚未处理的点(Op.121中为是)，则确定单元18设置新的要处理的点(Op.117)。另一方面，如果上述部分不能以叠加的方式进行显示(Op.121中为否)，则确定单元18确定包含此要处理的点的AR内容不能以叠加的方式进行显示(Op.125)。

另一方面，如果未剩余尚未处理的点(Op.121中为否)，也就是说，如果确定所有点均能够以叠加的方式进行显示，则确定单元18确定AR内容能够以叠加的方式进行显示(Op.123)。在本实施方式中，当确定至少一个点不能以叠加的方式进行显示时，确定AR内容不能以叠加的方式进行显示。然而，当针对所有点执行了Op.119的操作并且大部分点不能以叠加的方式进行显示时，确定单元18可以确定考虑中的AR内容不能以叠加的方式进行显示。另外，考虑到AR内容被分类为下述三类而可以对AR内容进行标识：所有点均能够以叠加的方式进行显示的AR内容；所有点中的一些点能够以叠加的方式进行显示的AR内容；以及所有点均不能以叠加的方式进行显示的AR内容。

接下来，确定单元18确定是否已经针对与标记ID有关的所有AR内容信息执行了关于AR内容是否能够以叠加的方式进行显示的确定(Op.127)。如果存在尚未被处理并且与标记ID相对应的AR内容信息(Op.127中为否)，则在接收到确定单元18输出的确定结果时，控制单元15中的每个处理单元执行Op.111中的操作和Op.111之后的操作。例如，在针对一个标记设置了多个AR内容的情况下，使用与每个AR内容相对应的AR内容信息来重复Op.111中的操作和Op.111之后的操作。

要指出的是，如果在Op.107中获取到多个标记ID，则识别单元16在Op.109中计算每个标记的位置坐标和旋转坐标。而且在这样的情况下，通过使用每个标记的位置坐标和旋转坐标，针对将每个标记ID用作索引所获取的AR内容信息中的每个AR内容信息来重复Op.111中的操作和Op.111之后的操作。

另一方面，如果所有的AR内容信息均已被处理(Op.127中为是)，则确定单元18确定是否存在不能以叠加的方式进行显示的AR内容(Op.129)。如果存在不能以叠加的方式进行显示的AR内容(Op.129中为是)，则确定单元18执行报告处理(Op.131)。例如，对显示单元113进行控制使得显示警告消息，或者对未示出的声音输出单元进行控制使得示出警告消息的声音。此外，在相机(成像单元12)具有缩焦透镜的情况下，在接收到由确定单元18发出的确定结果时，控制单元15控制相机的缩焦透镜。因而，相机可以捕获较宽角度的图像。

在执行报告处理之后，或者如果不存在不能以叠加的方式进行显示的AR内容(Op.129中为否)，则显示单元13显示组合图像数据(Op.133)。要指出的是，显示单元13在生成单元17的控制下显示组合图像数据。具体地，生成单元17基于AR内容在透视变换之后的坐标值和模板信息(纹理信息等)来生成AR内容的图形的图像数据。然后，将所生成的AR内容的图形的图像数据和从成像单元12获取的图像数据组合在一起并且将其作为组合图像数据输出至显示单元13。

然后，在生成单元17的控制下，在显示单元13显示组合图像数据之后，控制单元15确定是否终止处理(Op.135)。如果做出用于终止处理的输入(Op.135中为是)，则控制单元15终止一系列显示控制处理操作。

图15是用于报告不能以叠加的方式进行显示的AR内容的屏幕的概念性图示。图16是用于报告不能以叠加的方式进行显示的AR内容的另一屏幕的概念性图示。在用于报告不能以叠加的方式进行显示的AR内容的屏幕230中，显示了用于报告不能以叠加的方式进行显示的AR内容(图7中的AR内容204)的警告消息206以及图8所示的组合图像220。指明“存在未以AR方式进行显示的AR内容。返回并且再次拍摄照片”的警告消息206为用于报告不能以叠加的方式进行显示的AR内容的信息。也就是说，警告消息206警告：尽管正常地要如图7的组合图像210中所示的那样以叠加的方式显示多个AR内容即AR内容204和AR内容205，但却如图8的组合图像220中一样仅AR内容205以叠加的方式进行显示而AR内容204未以叠加的方式进行显示。

相反，在图16所示的另一屏幕240中，显示了用于报告不能以叠加的方式进行显示的AR内容的警告消息207以及图8所示的组合图像220。指明“显示的AR内容×1，部分显示的AR内容×0，未显示的AR内容×1”的警告信息207为用于报告不能以叠加的方式进行显示的AR内容的信息。在图16的示例中，警告消息使用户能够掌握：完全能够以叠加的方式进行显示的AR内容的数目；部分不能以叠加的方式进行显示的AR内容的数目；以及完全不能以叠加的方式进行显示的AR内容的数目。

要指出的是，尽管图15和图16的示例为其中Op.131中的报告操作与组合图像数据显示操作(Op.133)一起执行的屏幕的示例，但报告操作和组合图像数据显示操作可以独立地执行。

如上所述，如果存在不能以叠加的方式进行显示的AR内容，则本实施方式中所公开的信息处理设备10可以向用户报告该事实。因此，用户可以掌握到存在未包含在显示器(显示单元13)上所视觉识别的组合图像中的AR内容。例如，已经接收到报告的用户采取措施，例如从较远的距离对标记进行图像捕获直到报告停止为止。这使用户可以在视觉上识别不能以叠加的方式显示在组合图像中的AR内容。

[第二实施方式]

在第一实施方式中，将预先设置的AR内容位置信息(标记坐标系)变换成相机坐标系和屏幕坐标系的坐标值，并且此后确定AR内容是否能够以叠加的方式显示在显示器上所显示的图像数据上。在第二实施方式中，在未做任何变换的情况下使用针对AR内容所预先设置的位置坐标(标记坐标系)来确定AR内容是否能够以叠加的方式显示在显示器上所显示的图像数据上。

图17和图18是用于说明第二实施方式的概观的图示。图17是在显示器上显示由用户110捕获的图像时的屏幕的概念性图示。图18是在显示器上显示由用户120捕获的图像时的屏幕的概念性图示。要指出的是，用户110和用户120与图5和图6中的用户110和用户120相对应。显示器与在第一实施方式中的情况一样具有L×H的分辨率。

图像250中的标记201具有宽度为Lx1并且长度为Ly1的大小，其中位置M1(Mx1，My1)为标记201的中心。因此，在图像250的状态下，允许在x坐标的从中心(Mx1,My1)起的正向上显示的标记201的数目为(L-Mx1)/Lx1，这是以与一个标记201的宽度相对应的单位为基础来计算的。而且在图像250的状态下，允许在x坐标的从中心M1(Mx1,My1)起的负向上显示的标记201的数目为Mx1/Lx1，这是以与一个标记201的宽度相对应的单位为基础来计算的。在y坐标的从中心M1(Mx1,My1)起的正向上，允许显示的标记201的数目为(H-My1)/Ly1，这是以与一个标记201的长度相对应的单位为基础来计算的；并且在y坐标的从中心M1(Mx1,My1)起的负向上，允许显示的标记201的数目为My1/Ly1，这是以与一个标记201的长度相对应的单位为基础来计算的。

此处，如上所述，标记坐标系下的单位坐标与从图像识别的一个标记的大小相对应。也就是说，在针对AR内容所预先设置的位置坐标(标记坐标系)中，如果Xm坐标值处于Mx1/Lx1至(L-Mx1)/Lx1的范围内并且Ym坐标值处于My1/Ly1至(H-My1)/Ly1的范围内，则AR内容以叠加的方式显示在显示器上。

在图17的示例中，具有下述位置坐标的AR内容能够以叠加的方式进行显示：其中，Xm坐标值被设置成-1至5.5并且Ym坐标值被设置成-6.3至1。要指出的是，图17中的刻度上的一个标度与一个标记相对应。

另外，在图18的示例中，在针对AR内容所预先设置的位置坐标(标记坐标系)中，如果Xm坐标值处于Mx2/Lx2至(L-Mx2)/Lx2的范围内并且Ym坐标值处于My2/Ly2至(H-My2)/Ly2的范围内，则AR内容以叠加的方式显示在显示器上所显示的图像260上。具有下述位置坐标的AR内容能够以叠加的方式进行显示：其中，Xm坐标值被设置成-1至3.3并且Ym坐标值被设置成-4.25至1.25。

图17中的图像250为从其产生图7的组合图像210的图像。对于标记坐标系下的AR内容，如果Xm坐标值被设置成-1至5.5的值并且Ym坐标值被设置成-6.3至1的值，则AR内容以叠加的方式显示在图像250上。相反，图18中的图像260为从其产生图8的组合图像220的图像。对于AR内容，如果Xm坐标值被设置成-1至3.3的值并且Ym坐标值被设置成-4.25至1.25的值，则AR内容以叠加的方式显示在图像260上。因此，图7中AR内容204以叠加的方式显示在组合图像210上，而图8中AR内容204未以叠加的方式显示在组合图像220上。

图19是根据第二实施方式的信息处理设备20的功能框图。信息处理设备20包括通信单元11、成像单元12、显示单元13、存储单元14以及控制单元25。要指出的是，信息处理设备1的示例为第二实施方式中的信息处理设备20。要指出的是，用相同的附图标记来指代与根据第一实施方式的信息处理设备10中的处理单元执行相同处理的处理单元，并且省略其冗余描述。

控制单元25控制整个信息处理设备20的处理。控制单元25包括识别单元26、生成单元27和确定单元28。像根据第一实施方式的识别单元16一样，识别单元26识别标记并且获取标记的标识信息(标记ID)。另外，像根据第一实施方式的识别单元16一样，识别单元26基于从成像单元12获取的图像数据中标记的图形来计算标记在相机坐标系下的位置坐标和旋转坐标。另外，识别单元26获取标记的每个边的长度Lx、Ly(像素)和标记的图像的中心点的坐标(Mx,My)，并且将它们输出至确定单元28。

生成单元27生成图形(图像数据)以使由确定单元28确定的AR内容能够以叠加的方式进行显示。具体地，如在第一实施方式中一样，生成单元27获取由识别单元26计算的标记的位置坐标和旋转坐标。然后，生成单元27基于以位置坐标和旋转坐标为基础的变换矩阵T对能够以叠加的方式进行显示的AR内容执行模型视图变换。生成单元27还执行透视变换，并且因而生成AR内容的图形的图像数据并且生成组合图像数据。

确定单元28响应于位置坐标(标记坐标系)与根据图像数据中标记的图形所计算的可显示范围之间的比较来确定AR内容是否能够以叠加的方式显示在图像数据上。具体地，应用结合图17和图18所描述的方法。

另外，应用作为结合图17和图18所描述的方法的改进版本的以下方法。结合图17和图18，已经描述了在相机与标记彼此面对的这种情形(在下文中被称为“面对情形)下捕获的图像的示例。然而，当在除面对情形之外的情形下捕获标记的图像时，根据旋转矩阵对图像中标记的每个边进行旋转，并且此后，以与上述方式相同的方式将可显示范围与AR内容的位置坐标进行比较。

首先，假定在绕Xc轴的旋转、绕Yc轴的旋转和绕Zc轴的旋转均为0的情况下(在面对情形下)捕获图像，确定单元28通过利用来自识别单元26的输出来确定该图像中标记的每边长度。具体地，通过将图像数据中标记的长度(Lx,Ly)、绕Xc轴旋转的角度P1c以及绕Yc轴旋转的角度Q1c代入式3，确定单元28计算在相机与标记彼此面对时所捕获的图像中标记的每个边的长度L。

L＝cosP1c×Lx＝cosQ1c×Ly  (式3)

在本实施方式中，由于标记为正方形，所以通过假定绕Xc轴方向的旋转和绕Yc轴方向的旋转为0来将标记的每边长度在Xs轴方向和Ys轴方向二者上均表示为L。另外，可以采用其中将标记印刷在纸等上的印刷品形式的标记。在此情况下，在Zc方向上的值(厚度)有时为零。然而，在下文中，还将由式3确定的L用作标记在图像的深度方向上的边的长度。

随后，确定单元28决定在面对情形下捕获标记的图像时在图像数据中布置AR内容的位置。首先，确定单元128计算由于将实际捕获的图像数据变换成通过在面对情形下捕获标记的图像所获得的图像数据而引起的标记坐标系中每个轴上的转变量。具体地，使用式4和由式3确定的长度L来确定轴方向上的转变量(Lx',Ly',Lz')。尽管Rx、Ry、Rz和T_L与图20中所描绘的决定因子相对应，但P1c为绕Xc轴旋转的角度，Q1c为绕Yc轴旋转的角度，以及R1c为绕Zc轴旋转的角度。

(Lx',Ly',Lz',1)＝(Rx,Ry,Rz)×T_L  (式4)

接下来，确定单元28通过使用式5将被保存为AR内容信息的位置信息(Xm,Ym,Zm)变换成(Xm',Ym',Zm')。也就是说，通过将由式4确定的每个轴方向上的转变量反映至每个AR内容的位置信息(Xm,Ym,Zm)，确定单元28决定在虚拟面对情形下捕获标记的图像时在图像数据中布置每个AR内容的位置。

(Xm',Ym',Zm',1)＝(Lx',Ly',Lz',1)×(Xm,Ym,Zm,1)(式5)

然后，确定单元28确定Xm'坐标值是否处于Mx/Lx'至(L-Mx)/Lx'范围内，并且确定Ym'坐标值是否处于My/Ly'至(H-My)/Ly'的范围内。确定单元28还确定AR内容是否被设置在与设置虚拟显示器的距离相比较短的距离处。例如，当虚拟显示器的设置位置为与N个标记相对应的距离时，确定Zm'坐标是否大于(N×Lz'-Mz)/Lz'。

参照AR内容信息和模板信息，确定单元28针对形成AR内容的每个点做出上述确定。然后，确定单元28将关于AR内容是否能够以叠加的方式进行显示的确定结果输出至生成单元27。要指出的是，如在第一实施方式中一样，确定单元28可以对AR内容进行下述区分：所有点均能够以叠加的方式进行显示的AR内容；所有点中的一些点能够以叠加的方式进行显示的AR内容；以及所有点均不能以叠加的方式进行显示的AR内容。

接下来，将对由信息处理设备20执行的处理的流程进行描述。图21和图22示出了根据第二实施方式的显示控制方法的处理流程。要指出的是，该显示控制方法由执行显示控制程序的计算机来执行。

在开始显示控制程序时，控制单元25执行预处理(Op.201)。根据第二实施方式的预处理(Op.201)与根据第一实施方式的预处理(Op.101)相类似。然后，识别单元26获取设置在存储单元14中的缓冲区中所存储的图像数据(Op.203)。然后，如在第一实施方式中一样，识别单元26对所获取的图像数据执行标记识别(Op.205)。

如果未识别到标记(Op.205中为否)，则与第一实施方式中的Op.135一样，控制单元25确定是否要终止显示控制处理(Op.247)。如果要终止显示控制处理(Op.247中为是)，则控制单元25终止一系列显示控制处理操作。另一方面，如果不终止显示控制处理(Op.247中为否)，则控制单元25返回至Op.203并且针对新图像数据重复Op.203中的操作和Op.203之后的操作。

另一方面，如果识别到标记(Op.205中为是)，则如在第一实施方式中一样，识别单元26执行对标记的标记ID的读取(Op.207)。接下来，如在第一实施方式中一样，识别单元26基于在图像数据中检测到的标记的图形的形状和大小来计算标记在相机坐标系下的位置坐标和旋转坐标(Op.209)。识别单元26不仅将所计算的位置坐标和旋转坐标还将标记ID输出至确定单元28。

识别单元26还根据图像数据中标记的图形来计算图像中标记的中心坐标(Mx,My)(Op.211)。此外，识别单元26针对图像数据中标记的每个边的长度(Lx,Ly,Lz)使用式3，从而确定在面对情形下捕获该标记的图像时图像数据中标记的每个边的长度L(Op.213)。然后，将该标记的中心坐标(Mx,My)和每个边的长度L输出至确定单元28。

接下来，确定单元28利用上述式4来计算每个轴的转变量(Lx',Ly',Lz')(Op.215)。接下来，通过将从识别单元26获取的标记ID用作索引，确定单元28获取包含该标记ID的AR内容信息(Op.217)。此外，通过将该AR内容信息中所包含的模板ID用作索引，还从存储模板信息的数据表中获取对应的模板信息。

然后，确定单元28设置要处理的点(Op.219)。要指出的是，在此处，针对AR内容的每个点，确定单元28基于AR内容信息中所定义的参考点的位置坐标和模板信息中的位置坐标(标记坐标系)来确定AR内容的每个点的位置坐标(Xm,Ym,Zm)。然后，将这些点中的任意点设置成要处理的点。

然后，针对要处理的点，确定单元28利用式5将位置坐标(Xm,Ym,Zm)变换成位置坐标(Xm',Ym',Zm')(Op.221)。使用位置信息(Xm',Ym',Zm')，确定单元28确定AR内容是否能够以叠加的方式显示在显示器的可显示范围内(Op.223)。

此处，如上所述，如果Xm'坐标值处于Mx/Lx'至(L-Mx)/Lx'的范围内、Ym'坐标值处于My/Ly'至(H-My)/Ly'的范围内并且Zm'坐标值大于(N×Lz'-Mz)/Lz'，则确定要处理的点能够显示在显示器上。

如果AR内容中要处理的点的部分不能以叠加的方式进行显示(Op.223中为否)，则确定单元28确定包括此要处理的点的AR内容不能以叠加的方式进行显示(Op.227)。另一方面，如果AR内容中要处理的点的部分能够以叠加的方式进行显示(Op.223中为是)，则确定单元28确定是否剩余有尚未处理的点(Op.225)。如果剩余有尚未处理的点(Op.225中为是)，则设置新的要处理的点(Op.219)。

如果未剩余尚未处理的点(Op.225中为否)，也就是说，如果确定所有点均能够以叠加的方式进行显示，则确定单元28确定AR内容能够以叠加的方式进行显示(Op.229)。如在第一实施方式中一样，AR内容可以被区分为下述三类：所有点均能够以叠加的方式进行显示的AR内容；所有点中的一些点能够以叠加的方式进行显示的AR内容；以及所有点均不能以叠加的方式进行显示的AR内容。

接下来，确定单元28确定是否已经针对与在Op.207中所获取的标记ID有关的所有AR内容信息执行了关于AR内容是否能够以叠加的方式进行显示的确定(Op.231)。如果尚未处理所有的AR内容信息(Op.231中为否)，则控制单元25执行Op.217中的处理和Op.217之后的处理。

另一方面，如果所有的AR内容信息已经被处理(Op.231中为是)，则确定单元28确定是否存在不能以叠加的方式进行显示的AR内容(Op.233)。如果存在不能以叠加的方式进行显示的AR内容(Op.233中为是)，则确定单元28执行报告处理(Op.235)。例如，如在第一实施方式中一样，确定单元28对显示单元13进行控制以显示警告消息，或者对未示出的声音输出单元进行控制以输出警告消息的声音。例如，执行图15和图16所示的显示。

在执行报告处理之后，或者如果不存在不能以叠加的方式进行显示的AR内容(Op.233中为否)，则生成单元27基于从确定单元28获取的确定结果来确定是否存在能够以叠加的方式进行显示的AR内容(Op.237)。如果存在能够以叠加的方式进行显示的AR内容(Op.237中为是)，则生成单元27通过使用经由确定单元28从识别单元26获取的位置坐标和旋转坐标来生成变换矩阵T，并且通过使用变换矩阵T对在模板信息中所定义的每个点执行模型视图变换(Op.239)。生成单元27还将在相机坐标系下表示的每个点的坐标变换成在屏幕坐标系下的坐标(Op.241)。此处，生成单元27基于AR内容在透视变换之后的坐标值和模板信息(纹理信息等)来生成AR内容的图形的图像数据。

然后，生成单元27确定是否剩余有能够以叠加的方式进行显示的另外的AR内容(Op.243)。如果剩余有能够以叠加的方式进行显示的另外的AR内容(Op.243中为否)，则生成单元27基于另外的AR内容信息来执行Op.239中的操作和Op.239之后的操作。另一方面，如果未剩余能够以叠加的方式进行显示的另外的AR内容(Op.243中为是)，则显示单元13显示组合图像数据(Op.245)。然后，在显示组合图像数据之后或者在Op.237中确定不存在能够以叠加的方式进行显示的AR内容(Op.237中为否)，控制单元25确定是否终止处理(Op.247)。如果做出用于终止处理的输入(Op.247中为是)，则控制单元25终止一系列显示控制处理操作。

如上所述，如果存在不能以叠加的方式进行显示的AR内容，则本实施方式中所公开的信息处理设备20可以向用户报告该事实。因此，用户可以掌握到存在未包含在由用户在显示器(显示单元13)上所视觉识别的组合图像中的AR内容。

此外，根据第二实施方式的信息处理设备20标识不能以叠加的方式进行显示的AR内容，并且此后针对能够以叠加的方式进行显示的AR内容生成要作为组合图像数据进行显示的图形的图像数据。因此，仅针对被确定为能够以叠加的方式进行显示的AR内容执行模型视图变换和透视变换的处理。也就是说，与第一实施方式相比，在某些情况下降低了处理负荷。

[硬件配置的示例]

将对实施方式中的每个实施方式所示的信息处理设备1和管理设备3的硬件配置进行描述。图23示出了实施方式中的每个实施方式的信息处理设备的硬件配置的示例。实施方式中的信息处理设备1(信息处理设备10和信息处理设备20)均由计算机300实现。图10和图19中所示的功能块例如由图23中所示的硬件配置来实现。计算机300包括例如处理器301、随机存取存储器(RAM)302、只读存储器(ROM)303、驱动设备304、存储介质305、输入接口(输入I/F)306、输入设备307、输出接口(输出I/F)308、输出设备309、通信接口(通信I/F)310、相机模块311、加速度传感器312、角速度传感器313、显示接口314、显示设备315和总线316等。硬件部件均通过总线316进行连接。

通信接口310控制通过网络N进行的通信。由通信接口310控制的通信可以是利用无线通信通过无线基站来访问网络N的方式。通信接口310的示例为网络接口卡(NIC)。输入接口306连接至输入设备307，并且将从输入设备307接收的输入信号传送至处理器301。输出接口308连接至输出设备309并且使输出设备309根据处理器301的指令来执行输出。输入接口306和输出接口308的示例为输入/输出(I/O)控制器。

输入设备307为响应于操作来传送输入信号的设备。输入设备307为例如：附接至计算机300的主体的按键设备，如键盘或按钮；或者定点设备，如鼠标或触摸板。输出设备309为根据处理器301的控制来输出信息的设备。输出设备309为例如声音输出设备如扬声器。

显示接口314耦接至显示设备315。显示接口314使显示设备315显示由处理器301写入显示接口314中所设置的显示缓冲区的图像信息。显示接口314的示例为图形卡或图形芯片。显示设备315为根据处理器301的控制来输出信息的设备。作为显示设备315，使用图像输出设备例如显示器或透射型显示器等。

在使用透射型显示器的情况下，AR内容的投影图像可以例如被控制成显示在透射型显示器的合适位置处而非与所捕获的图像组合地显示。这使用户能够获得对现实空间与AR内容彼此一致的状态的视觉感知。另外，例如，使用输入输出设备如触摸屏作为输入设备307以及显示设备315。另外，替代集成在计算机300内部的输入设备307以及显示设备315，输入设备307以及显示设备315例如可以从计算机300的外部耦接至计算机300。

RAM 302为可读写存储设备，并且例如可以使用半导体存储器如静态RAM(SRAM)或动态RAM(DRAM)或者可以使用除RAM之外的闪速存储器。ROM 303的示例包括可编程ROM(PROM)等。

驱动设备304为对存储介质305中所存储的信息执行读取和写入中的至少任一操作的设备。存储介质305存储由驱动设备304写入的信息。存储介质305例如为下述多种存储介质中的至少一种，上述多种存储介质例如为硬盘、固态驱动器(SSD)、光盘(CD)、数字化通用磁盘(DVD)和蓝光盘。另外，例如，计算机300包括与计算机300中的存储介质305的种类相对应的驱动设备304。

相机模块311包括成像设备(图像传感器)，并且例如将由成像设备通过光电转换所获得的数据写至相机模块311中所包含的输入图像图像缓冲区。加速度传感器312测量作用于加速度传感器312的加速度。角速度传感器313测量由角速度传感器313执行的操作的角速度。

处理器301将存储在ROM 303或储存介质305中的程序读至RAM302，并且根据所读取的程序的过程来执行处理。例如，控制单元15的功能通过处理器301基于定义图13和图14中所示的操作的显示控制程序对其他硬件部件进行控制来实现。另外，例如，控制单元25的功能通过处理器301基于定义图21和图22中所示的操作的显示控制程序对其他硬件部件进行控制来实现。

通信单元11的功能通过处理器301控制通信接口310执行数据通信并且将所接收的数据存储在存储介质305中来实现。成像单元12的功能通过相机模块311将图像数据写入输入图像图像缓冲区并且通过处理器301读取输入图像图像缓冲区中的图像数据来实现。在监视模式下，例如，将图像数据写入输入图像图像缓冲区并且同时将其写入显示设备315的显示缓冲区。

另外，在将由处理器301生成的图像数据写至显示接口314所包含的显示缓冲区并且显示设备315对显示缓冲区中的图像数据进行显示时，实现显示单元13的功能。存储单元14的功能通过ROM 303和存储介质305存储程序文件和数据文件来实现或者通过将RAM 302用作处理器301的工作区来实现。例如，将AR内容信息和模板信息等存储在RAM中。

接下来，图24示出了在计算机300上操作的程序的配置的示例。控制硬件组的操作系统(OS)502在计算机300上进行操作。处理器301根据OS 502在过程中进行操作以执行对硬件(HW)501的控制和管理，使得在HW 501上执行由应用程序(AP)504或中间件(MW)503进行的处理。

在计算机300上，程序——例如OS 502、MW 503和AP 504——例如被读取至RAM 302并且由处理器301执行。另外，在每个实施方式中所示的显示控制程序为例如从AP 504激活作为MW 503的程序。

可替选地，例如，显示控制程序为将AR功能实现为AP 504的程序。显示控制程序存储在存储介质305中。单独存储根据本实施方式的显示控制程序的存储介质305或者存储包括其他程序的显示控制程序的存储介质305可以与计算机300的主体分离地分布。

接下来，将对实施方式中的每个实施方式中的管理设备3的硬件配置进行描述。图25是管理设备3的硬件配置的示例。管理设备3由计算机400实现。管理设备3由图25所述的硬件配置来实现。

计算机400包括例如处理器401、RAM 402、ROM 403、驱动设备404、存储介质405、输入接口(输入I/F)406、输入设备407、输出接口(输出I/F)408、输出设备409、通信接口(通信I/F)410、存储区域网络(SAN)接口(SAN I/F)411和总线412等。每个硬件部件通过总线412进行耦合。

例如，处理器401是与处理器301相类似的硬件。RAM 402是例如与RAM 302相类似的硬件。ROM 403是例如与ROM 303相类似的硬件。驱动设备404是例如与驱动设备304相类似的硬件。存储介质405是例如与存储介质305相类似的硬件。输入接口(输入I/F)406是例如与输入接口306相类似的硬件。输入设备407是例如与输入设备307相类似的硬件。

输出接口(输出I/F)408是例如与输出接口308相类似的硬件。输出设备409是例如与输出设备309相类似的硬件。通信接口(通信I/F)410是例如与通信接口310相类似的硬件。存储接口网络(SAN)411是用于将计算机400连接至SAN的接口，并且存储接口网络(SAN)411包括主机总线适配器(HBA)。

处理器401将ROM 403或存储介质405中所存储的管理程序读取到RAM 402中并且根据所读取的管理程序的过程来执行处理。在这一点上，RAM 402被用作处理器401的工作区。要指出的是，当在管理设备3侧执行显示控制时，管理程序是依据管理设备3的管理功能的程序并且包括根据实施方式中的每个实施方式的显示控制程序。

ROM 403和存储介质405存储程序文件和数据文件，或者RAM 402被用作处理器401的工作区，使得管理设备3存储各种信息。另外，处理器401控制通信接口410执行通信处理。

[修改]

在所公开的实施方式的另一方面中，AR内容C的投影图像可以显示在透射型显示器上。而且在该方面中，用户通过显示器所获得的真实空间的图形和AR内容的投影图像彼此一致。因此，增加了提供给用户的视觉信息。

附图标记列表

1、10、20信息处理设备

11通信单元

12成像单元

13显示单元

14存储单元

15、25控制单元

16、26识别单元

17、27生成单元

18、28确定单元

3管理设备

Claims (14)

1.一种信息处理设备，包括：

控制单元，所述控制单元被配置成：

获取由图像捕获单元捕获的图像数据，

基于在所述图像数据中检测到的对象来获取内容和与所述内容相对应的显示位置信息，所述显示位置信息指示所述内容相对于所述对象的显示位置，

确定所述内容是否能够以叠加的方式在所述图像数据上显示在由所述显示位置信息指示的所述显示位置处，以及

在确定所述内容不能显示在由所述显示位置信息指示的位置处时指示要输出的告警。

2.根据权利要求1所述的信息处理设备，其中，

所述控制单元被配置成基于在所述图像数据中检测到的所述对象来确定所述对象与所述图像捕获单元之间的位置关系。

3.根据权利要求2所述的信息处理设备，其中，

所述控制单元被配置成基于所述位置关系和所述显示位置信息来标识所述内容的所述显示位置。

4.根据权利要求1至3中任一项所述的信息处理设备，其中，

所述控制单元被配置成基于所述内容的所述显示位置和显示单元的显示范围来确定所述内容是否能够被显示。

5.根据权利要求1至3中任一项所述的信息处理设备，其中，

所述显示位置信息是基于与在所述图像数据中检测到的所述对象的大小相对应的单位量来设置的。

6.根据权利要求5所述的信息处理设备，其中，

所述控制单元被配置成基于所述单位量和在所述图像数据中检测到的所述对象的位置来将显示单元的可显示范围变换成另一可显示范围。

7.根据权利要求6所述的信息处理设备，其中，

所述控制单元被配置成基于所述显示位置和所述另一可显示范围来确定所述内容是否能够被显示。

8.根据权利要求1至7中任一项所述的信息处理设备，其中，

所述告警与针对用户的用以改变所述图像捕获单元的位置的指令相对应。

9.根据权利要求8所述的信息处理设备，其中，

所述告警指示所述用户将所述图像捕获单元移动为较远离所述对象。

10.根据权利要求1至9中任一项所述的信息处理设备，其中，

所述控制单元被配置成基于在所述图像数据中检测到的所述对象来获取多个内容项和与所述多个内容项中的每个内容项相对应的显示位置信息。

11.根据权利要求10所述的信息处理设备，其中，

所述控制单元被配置成确定所述多个内容项中的每个内容项是否能够以叠加的方式在所述图像数据上显示在由所述显示位置信息指示的显示位置处。

12.根据权利要求11所述的信息处理设备，其中，

当确定所述多个内容项中的至少一个内容项不能被显示时，所述告警包括指示所述多个内容项中不能被显示的内容项的数目的信息。

13.根据权利要求1至12中任一项所述的信息处理设备，其中，

所述内容包括下述信息：所述信息指示与在所述图像数据中检测到的所述对象相对应的要执行的任务。

14.一种由信息处理设备执行的方法，所述方法包括：

获取由图像捕获设备捕获的图像数据；

基于在所述图像数据中检测到的对象来获取内容和与所述内容相对应的显示位置信息，所述显示位置信息指示所述内容相对于所述对象的显示位置；

确定所述内容是否能够以叠加的方式在所述图像数据上显示在由所述显示位置信息指示的所述显示位置处；以及

在确定所述内容不能显示在由所述显示位置信息指示的位置处时指示要输出的告警。