CN104346834A - 信息处理设备和位置指定方法 - Google Patents

Abstract

本发明提供了一种信息处理设备和一种位置指定方法。该信息处理设备包括：计算单元，计算单元被配置成基于从第一输入图像识别出的参考对象的图形来计算相对于参考对象的位置信息，位置信息指示第一输入图像的图像捕捉位置；以及生成单元，生成单元被配置成生成设定信息，在设定信息中，显示数据与作为显示数据的显示位置的、相对于参考对象的位置信息相关联，当参考对象从不同于第一输入图像的第二输入图像被识别出时，显示数据基于设定信息来被显示。

Description

信息处理设备和位置指定方法

技术领域

本实施方式中描述的技术涉及用于指定虚拟空间中的位置的技术。

背景技术

在与真实空间对应的三维虚拟空间中布置的三维对象的模型数据被按照将模型数据叠加在由成像设备拍摄到的捕捉图像上的方式显示。该技术将通过人的感知如视觉而采集的信息进行放大，因而被称为例如增强现实(AR)技术。在与真实空间对应的三维虚拟空间中布置的三维对象的模型数据被称为AR内容。应注意，三维对象的模型数据也被称为对象。

AR内容是其中事先限定了要在三维空间中的什么位置处以什么姿态布置什么类型的对象的信息。因而，借助于AR技术，可以基于事先限定的布置来生成AR对象的投影图像，并且可以按照将该投影图像叠加在捕捉图像上的方式显示。应注意，AR对象的投影图像是基于成像设备与AR内容之间的位置关系而生成的。

为了确定成像设备与AR内容之间的位置关系，使用了参考对象。例如，通常使用AR标记作为参考对象。亦即，当从由成像设备拍摄到的捕捉图像检测到AR标记时，基于在成像设备的捕捉图像中出现的AR标记的图形来确定AR标记与成像设备之间的位置关系。接着，生成反映该位置关系的与AR标记相关联的AR内容的对象的投影图像，并且将该投影图像按照叠加在捕捉图像上的方式显示(例如，国际专利公布的日本国家公布第2010-531089号、国际专利公布第WO 2005-119539号)。

此处，为了按照叠加在捕捉图像上的方式显示AR内容，必须事先进行创建AR内容(也被称为创作)的操作。应注意，创建AR内容的操作是生成对象并且设定关于该对象在三维空间中的布置的信息的操作。应注意，关于布置的信息是在相对于参考对象进行测量时的相对位置和姿态。

此处，存在信息处理设备，其在三维位置处布置虚拟对象，该三维位置对应于由用户在平面包括面上指定的指定位置，该面是反映在输入图像中的真实空间中的对象模型中并且由用户指定的面(日本公开特许公报第2012-168798号)。亦即，信息处理设备可以根据用户针对指定位置的指令在真实空间中存在的对象模型的平面上布置虚拟对象。

发明内容

前述信息处理设备可通过准备限定了存在于真实空间中的对象的面的模型数据来进行用于在该面上布置虚拟对象的创作。然而，在可能期望以高度的灵活性在各种对象的面上布置虚拟对象的情况下，难以针对要在其上布置虚拟对象的对象的每个面来生成模型数据。

信息处理设备可以从由模型数据限定的真实对象的面接受用于改变虚拟对象的布置位置的偏移。然而，操作必须在操作者理解为了使对象的布置位置能够改变成真实空间中的期望位置而要给出多大偏移的条件下进行。

因而，本文中公开的技术的目的是在创建AR内容时更简单地指定要将对象布置于的位置。

问题的解决方案

根据本发明的一个方面，一种信息处理设备包括：计算单元，计算单元被配置成基于从第一输入图像识别出的参考对象的图形来计算相对于参考对象的位置信息，位置信息指示第一输入图像的图像捕捉位置；以及生成单元，生成单元被配置成生成设定信息，在设定信息中，显示数据与作为显示数据的显示位置的、相对于参考对象的位置信息相关联，当参考对象从不同于第一输入图像的第二输入图像被识别出时，显示数据基于设定信息来被显示。

优点

根据本公开内容的一个方面，在创建AR内容时可以更简单地指定要将对象布置于的位置。

附图说明

图1示出了相机坐标系与标记坐标系之间的关系；

图2示出了相机坐标系和标记坐标系中的AR对象E的示例；

图3描绘了从标记坐标系到相机坐标系的变换矩阵M以及变换矩阵M中的旋转矩阵R；

图4描绘了旋转矩阵R1、旋转矩阵R2以及旋转矩阵R3；

图5示出了组合图像的示例；

图6示出了AR对象E的布置的示例与信息处理设备之间的位置关系；

图7示出了另一组合图像的示例；

图8示出了AR对象E的布置的示例与信息处理设备之间的另一位置关系；

图9是用于说明本实施方式中的AR对象的布置的图示；

图10是系统配置图示；

图11是信息处理设备的功能框图；

图12示出了标记管理表T1；

图13示出了模板信息表T2；

图14示出了AR内容信息表T3；

图15示出了位置指定处理的处理过程的示例；

图16示出了标记识别处理的处理过程的示例；

图17示出了编辑处理的处理过程的示例；

图18示出了模板选择画面的示例；

图19示出了根据第三实施方式的编辑处理的处理过程的示例；

图20是用于说明指示临时指定位置的引导显示的图示；

图21示出了每个实施方式的信息处理设备的硬件配置的示例；

图22示出了在计算机300上工作的程序的配置的示例；以及

图23是每个实施方式的管理设备的硬件配置的示例。

具体实施方式

在下文中，将描述本公开内容的详细的实施方式。应注意的是，只要在处理的内容中不存在矛盾，可以适当地将以下描述的实施方式进行结合。在下文中，将参考附图描述每个实施方式。

首先，将描述AR技术，在AR技术中，将布置在与真实空间对应的三维虚拟空间中的AR对象按照将AR对象叠加在由相机拍摄到的捕捉图像上的方式显示。AR对象是在虚拟空间中布置的三维对象的模型数据。另外，AR内容是限定将什么类型的AR对象以何种方式布置在虚拟空间中的信息。

AR对象是例如包括多个点的模型数据。针对通过用直线和曲线对多个点进行插值而获取多个面中的每个面来设定图案(纹理)，并且通过将多个面相组合来形成三维模型。通过限定构成AR对象的所有的点相对于真实空间中存在的参考对象的坐标来布置虚拟空间中的AR对象。该对象并不存在于真实空间中的所有的点的坐标的位置处，而是相对于参考对象虚拟空间中限定了所有的点的坐标。

虽然AR对象被布置在虚拟空间中，但是就相机与真实空间中的参考对象之间的位置而言的关系是基于由相机拍摄到的捕捉图像中出现的参考对象的视觉外观(图形)而确定的。使用相对于真实空间中存在的参考对象的虚拟空间中坐标以及就相机与真实空间中的参考对象之间的位置而言的关系来确定就相机与在对应于真实空间的三维虚拟空间中的AR对象的所有的点的坐标之间的位置而言的关系。

基于这些就位置而言的关系来确定在相机捕捉AR对象的图像时获得的AR对象的图形。亦即，显示叠加在捕捉图像上的AR内容。下面将参考图1、图2、图3和图4进一步描述用于计算AR对象的图形的操作。

图1示出了相机坐标系和标记坐标系之间的关系。图1中例示的标记M是示例性参考对象。图1中示出的标记M是正方形的，并且其大小被事先确定(例如，一条边长是5cm)。应注意，尽管图1中示出的标记M是正方形的，但是可以使用具有下述形状的另一对象作为参考对象：即使基于通过从多个视点中的任何视点的图像捕捉而获得的图形也可以通过该形状来确定与相机的相对位置和取向。例如，可以使用从捕捉图像生成的特征点等来作为参考对象。

相机坐标系包括三个维度(Xc、Yc以及Zc)，并且使用例如相机的焦点作为原点(原点Oc)。例如，相机坐标系的Xc-Yc平面是与相机的成像设备的面平行的面，而Zc轴是垂直于成像设备的轴。

标记坐标系包括三个维度(Xm、Ym以及Zm)，并且使用例如标记M的中心作为原点(原点Om)。例如，标记坐标系的Xm-Ym平面是平行于标记M的面，而Zm轴垂直于标记M的面。原点Om在相机坐标系中用坐标V1c(X1c,Y1c,Z1c)表示。

另外，标记坐标系(Xm,Ym,Zm)相对于相机坐标系(Xc,Yc,Zc)的旋转角度用旋转坐标G1c(P1c,Q1c,R1c)表示。P1c是相对于Xc轴的旋转角度，Q1c是相对于Yc轴的旋转角度，R1c是相对于Zc轴的旋转角度。图1中例示的标记坐标系仅相对于Ym轴旋转，因此P1c和R1c为零。应注意，在待处理的捕捉图像中，基于具有已知形状的参考对象被捕捉为什么图形来计算每个旋转角度。

图2示出了相机坐标系和标记坐标系中的AR对象E的示例。图2中示出的AR对象E是具有对话气泡的形状，并且在对话气泡中包含文本数据“破裂！”的对象。AR对象E的对话气泡的尖端的黑色圆形指示针对AR对象E的参考点。假设AR对象E在标记坐标中的坐标系是V2m(X2m,Y2m,Z2m)。另外，AR对象E的取向用旋转坐标G2m(P2m,Q2m,R2m)来限定，AR对象E的大小用放大率D(Jx,Jy,Jz)来限定。

构成AR对象E的每个点的坐标是通过调整在限定数据(AR模板)中限定的每个点的坐标而获得的坐标，限定数据(AR模板)是基于参考点、旋转坐标G2m以及放大率D的坐标V2m的针对AR对象E的模型。应注意，在AR模板中，每个点的坐标是基于坐标参考点是(0,0,0)的假设而限定的。

因此，在采用AR模板来设定AR对象的参考点V2m时，构成AR模板的每个点的坐标都基于坐标V2m而被平移。另外，在AR模板中包括的坐标中的每个坐标都基于设定的旋转坐标G2m而被旋转，并且按放大率D被放大和缩小。亦即，图2的AR对象E指示一种状态，在该状态中，基于通过调整AR模板中限定的点中的每个点而获得的点来构建AR对象E，该AR模板是基于参考点、旋转坐标G2m以及放大率D的坐标V2m的。

在标记坐标系中针对其设定了坐标的AR对象E的每个点的坐标被变换成相机坐标系中的坐标，并且进一步基于相机坐标系的坐标来计算屏幕中的位置，以使得生成按照叠加的方式显示的AR对象E的图形。

基于标记的原点Om在相机坐标系中的坐标Vic以及相对于相机坐标系的标记坐标系中的旋转坐标G1c，通过对该点在标记坐标系中的坐标进行坐标变换(模型视图变换)来计算包括在AR对象E中的每个点的相机坐标系中的坐标。例如，对AR对象E的参考点V2m进行模型视图变换，由此确定在标记坐标系中限定的参考点对应于相机坐标系中的哪个点V2c(X2c,Y2c,Z2c)。

图3描绘了从标记坐标系到相机坐标系的变换矩阵M以及变换矩阵M中的旋转矩阵R。变换矩阵M是4×4矩阵。由变换矩阵M与针对标记坐标系中的坐标Vm的列向量(Xm,Ym,Zm,1)的乘积获得针对相机坐标系中的相应的坐标Vc的列向量(Xc,Yc,Zc,1)。

亦即，用要被进行坐标变换(模型视图变换)的标记坐标系中的点坐标代替列向量(Xm,Ym,Zm,1)，接着，进行矩阵操作，以获得包括相机坐标系中的点坐标的列向量(Xc,Yc,Zc,1)。

具有变换矩阵M的第一行至第三行以及第一列至第三列的子矩阵(旋转矩阵R)作用于标记坐标系中的坐标，使得进行用于使标记坐标系的取向与相机坐标系的取向一致的旋转操作。具有变换矩阵M的第一行至第三行以及第四列的子矩阵起作用，以进行用于使标记坐标系的位置与相机坐标系的位置一致的平移操作。

图4描绘了旋转矩阵R1、旋转矩阵R2以及旋转矩阵R3。应注意，图3中描绘的旋转矩阵R是通过旋转矩阵R1、旋转矩阵R2以及旋转矩阵R3的乘积(R1·R2·R3)来计算的。另外，旋转矩阵R1表示Xm轴相对于Xc轴的旋转。旋转矩阵R2表示Ym轴相对于Yc轴的旋转。旋转矩阵R3表示Zm轴相对于Zc轴的旋转。

旋转矩阵R1、旋转矩阵R2以及旋转矩阵R3是基于捕捉图像中的参考对象的图形而生成的。亦即，如前面所描述的那样，P1c、Q1c以及R1c的旋转角度是基于具有已知形状的参考对象在待处理的捕捉图像中被捕捉为什么图形来计算的。基于计算的P1c、Q1c以及R1c的旋转角度，分别生成旋转矩阵R1、旋转矩阵R2以及旋转矩阵R3。

通过基于变换矩阵M的模型视图变换将构成AR对象E的每个点的标记坐标系中的坐标(Xm,Ym,Zm)变换成相机坐标系中的坐标(Xc,Yc,Zc)。例如，通过模型视图变换将坐标V2m变换成坐标V2c。如果AR对象E存在的虚拟空间中存在相机的话，则通过模型视图变换获得的坐标(Xc,Yc,Zc)表示与相机的相对位置。

接着，将AR对象E的每个点的相机坐标系中的坐标变换成屏幕坐标系中的坐标。屏幕坐标系在二维(Xs,Ys)中。屏幕坐标系(Xs,Ys)将例如通过相机的图像捕捉处理而获得的捕捉图像的中心作为原点(原点Os)。基于通过坐标变换(透视变换)而获得的每个点在屏幕坐标系中的坐标，生成用于将AR对象E按照叠加在捕捉图像上的方式显示的图形。

例如基于相机的焦距f，进行从相机坐标系到屏幕坐标系的坐标变换(透视变换)。由以下给出的公式1来确定与相机坐标系中的坐标(Xc,Yc,Zc)对应的屏幕坐标系的坐标中的Xs坐标。由以下给出的公式2来确定与相机坐标系中的坐标(Xc,Yc,Zc)对应的屏幕坐标系的坐标中的Ys坐标。Xs＝f·Xc/Zc(公式1)Ys＝f·Yc/Zc(公式2)

基于通过对构成AR对象E的每个点的坐标(相机坐标系)进行透视变换而获得的坐标(屏幕坐标系)来生成AR对象E的图形。通过将纹理映射到通过对构成AR对象E的多个点进行插值而获取的面来生成AR对象E。在AR对象E源自的AR模板中，限定了哪个点要被插值以形成面以及哪个纹理要被映射到哪个面。

通过上述模型视图变换和透视变换来计算与标记坐标系中的坐标对应的捕捉图像上的坐标，并且通过使用计算的坐标来生成符合相机的视点的AR对象E的图形。应注意，生成的AR对象E的图像被称为AR对象E的投影图像。AR对象E的投影图像被组合到捕捉图像中，以使得提供给用户的视觉信息被放大。

另外，在另一方式中，AR对象E的投影图像被显示在透射式显示器上。同样，在这种方式中，用户通过该显示器获得的空间中的图形与AR对象E的投影图像一致，由此提供给用户的视觉信息被放大。

在该实施方式中，要对其应用上述AR技术的AR对象E的位置和取向由具有相机功能和显示功能的信息处理设备1指定。信息处理设备1根据用户的输入来指定AR对象E的位置和取向。

图5示出了组合图像的示例。图5中的组合图像S1是其中将AR对象E的投影图像与包含标记M的图形与对象H的图形的捕捉图像相组合的组合图像的示例。捕捉图像是例如使用在下文中将要描述的信息处理设备1的相机功能并且抓取真实空间中存在的对象的图形而获取的图像。应注意，即使用户没有对图像捕捉进行指令，信息处理设备1的相机功能也会按照规则的帧间隔来捕捉图像。

该捕捉图像是在工厂中拍摄到的图像，并且在捕捉图像中出现的对象H是弯管。在对象H的弯曲部分中发生了破裂。在工厂的维护检查等操作中，如果发生了破裂等，则破裂位置的指示被作为消息记录给随后的检查员。

通过在与破裂位置一致的位置处设定具有包含消息“破裂！”的对话气泡的形状的AR对象来进行给随后的检查员的消息的记录。应注意，在与破裂位置一致的位置处布置具有对话气泡形状的AR对象的操作是创建AR内容的示例性操作。

后来访问实际地点的用户可以通过查看组合图像来识别破裂位置，在该组合图像中，按照图1至图4中示出的方式在包含对象H的图形和标记M的捕捉图像上生成由先前操作者设定的AR对象E的投影图像。

如果创建了关于包含AR对象E的AR内容的数据，则该数据被上传至例如管理设备。接着，在前往实际地点之前或者在实际地点处，由后来访问实际地点的用户操作的信息处理设备1通过从管理设备下载数据来从管理设备获取数据。应注意，关于AR内容的数据被称为AR内容信息。在下文中将描述AR内容信息的详情。另外，创建AR内容的信息处理设备和由后来访问实际地点的用户操作的信息处理设备可以是同一设备，也可以是不同的设备。

接着，信息处理设备1基于捕捉图像中包含的标记M的图形(形状和大小)来确定标记M相对于相机的位置坐标V1c和旋转坐标G1c。另外，信息处理设备1基于标记M的图案来读取如标记的标识信息(标记ID)等信息。在使用图像的特征作为参考对象的情况下，例如，信息处理设备1事先将关于特征的信息与标记ID相关联，并且基于关联关系来获取标记ID。至于本实施方式中的标记M，其在真实空间中的位置和取向是固定的。

基于位置坐标V1c和旋转坐标G1c，通过对AR对象E中设定的每个点的坐标(标记坐标系)进行模型视图变换来获得AR对象E的坐标(相机坐标系)。信息处理设备1基于通过对AR对象的每个点的坐标(相机坐标系)进行透视变换而获得的屏幕坐标系的坐标来生成AR对象E的投影图像。该坐标变换如同前面所描述的那样。

通过上述坐标变换，信息处理设备1生成在从信息处理设备1的相机的视角看到AR对象E的虚拟情况中的AR对象的图形(投影图像)。而且，信息处理设备1将生成的投影图像与捕捉图像相组合，由此能够使AR对象看起来仿佛在真实空间中存在AR对象中一样。

如上所述，使用AR技术生成的组合图像S1被用于将通过人的感知而采集的信息放大。在图5中例示的组合图像S1中，具有陈述“破裂！”的对话气泡的AR对象E被添加到管道的破裂位置，由此将信息添加到真实空间中存在的对象。

此处，如同前面所描述的那样，为了生成组合图像S1，必须事先创建AR内容。然而，如果在AR内容的创建中没有正确地指定AR对象的布置位置，则可以取决于信息处理设备1的位置将AR对象的投影图像显示在与添加信息的目的地不一致的位置处。因此，没有达到将信息添加到真实空间中存在的对象的目的。

例如，如果AR对象E被布置在与破裂位置不同的位置处，则有可能通过AR对象E接收给随后的检查员的消息的用户将不能够发现破裂。而且，如果AR对象E的位置被指定为与添加信息的目的地的对象不同的对象的位置，则会提供错误的信息。

如果AR对象E被布置在另一管道位置处，则在通过AR对象E接收到给随后的检查员的消息时，将在没有破裂的位置处进行检查破裂的不必要的操作。因此，期望AR对象E的位置被设定为在一定程度上与真实空间一致，以使得通过AR对象E接收给随后的检查员的消息的用户能够掌握AR对象E与真实空间中的对象(例如，破裂位置)之间的关联关系。

此处，描述AR内容的创建。应注意，在AR内容的创建中，生成AR对象并且指定标记坐标系中的AR对象的位置(例如，参考点的位置坐标)。例如，以用户从事先创建的AR模板中选择期望的模板的方式生成AR对象。

与此相反，至于位置指定，可以设想例如用户可以在显示的捕捉图像中指定位置。亦即，进行位置指定的用户可以在捕捉图像中指定用户希望显示AR对象E的投影图像的位置。

使用该指定方法，用户可以估计AR对象E的投影图像将会被组合到捕捉图像的哪个位置处，并且指定AR对象的布置位置。因此，用户在确认在其上显示捕捉图像的画面时进行位置指定，由此将AR对象E的投影图像布置在投影图像与对象H的破裂位置一致的位置处。依次，由接收为随后的检查员提供消息的用户处理的信息处理设备1可以生成组合图像S1在组合图像S1中，以在与破裂位置一致的位置处叠加的方式显示AR对象E。

此处描述上面提及的指定方法中的问题。图6示出了AR对象E的布置的各示例与信息处理设备1之间的位置关系。在图6中例示的布置的各示例指示了在拍摄图5中示出的标记M、对象H以及AR对象E的鸟瞰视图的状态下就位置而言的关系。然而，在真实空间中并不存在AR对象E，因此这是被虚拟地布置的图形。

而且，在图6中例示的布置的各示例还示出了包括捕捉标记M和对象H的成像设备的信息处理设备1。应注意，图6是其中信息处理设备1、标记M、对象H以及AR对象E被投影在相机坐标系的Xc轴和Zc轴的二维空间上的图示。

图6示出了作为图5中例示的AR对象E的布置的两种方式的示例。图6中示出了当布置在信息处理设备1附近时的AR对象E(E1)。作为另一示例，也示出了当布置在一定距离处的AR对象E(E2)。

亦即，如果AR对象E的位置被设定在用图5例示的组合图像S1中，则不确定AR对象E是像对象E(E1)那种情况还是像对象E(E2)那种情况来布置的。在图5中示出的投影图像中，使用从某一位置拍摄到的捕捉图像将这两个示例二者都识别为组合图像中的同一AR对象E。

然而，如同可以从鸟瞰视图中看出的那样，如果像AR对象E(E1)那样布置AR对象E，则AR对象E也被设定在Zc方向上与管道的破裂一致的位置处。另一方面，如果像AR对象E(E2)那样布置AR对象E，则AR对象E被设定在与管道不一致的位置处(基本上较远的位置)。

图7示出了另一组合图像的示例。类似于组合图像S1，在图7中例示的组合图像S2，是在其上将由包括在信息处理设备1中的成像设备拍摄到的捕捉图像与AR对象E的投影图像相组合并且显示的画面。然而，信息处理设备1拍摄捕捉图像的位置与图5和图6的示例中的位置不同。例如，存在这样的可能性：在设定AR对象E后访问实际地点的用户将会确认AR对象E在如同用于组合图像S2那样的视角处。

组合图像S2中的AR对象E(E1)和AR对象E(E2)的图形是与在图6中例示的AR对象E(E1)和AR对象E(E2)对应的投影图像。应注意，任何AR对象都必须被显示在实际的组合图像中；然而，如同参考图6所描述的那样，如果没有指定Zc方向上的位置，则如图7所示，多个AR对象可能会被显示在不同的位置。

图8示出了AR对象E的布置的各示例与信息处理设备之间的另一位置关系。与图6类似，图8示出了在拍摄在图5中示出的信息处理设备1、标记M、对象H以及AR对象E的鸟瞰视图的状态下就位置而言的关系。在图7中例示的组合图像S2的捕捉图像是在由图8中示出的位置处布置的信息处理设备1拍摄到的捕捉图像。

如果AR对象E的位置是图6中的AR对象E(E1)的位置，则AR对象E的投影图像被显示在与对象H一致的位置处，如同图7中示出的组合图像S2的AR对象E(E1)的情况。

另一方面，如果AR对象E的位置是图8中的AR对象E(E2)的位置，则AR对象E的投影图像被显示与对象H的位置不同的位置处，如同图7中示出的组合图像S2的AR对象E(E2)的情况。

如果如同AR对象E(E2)的情况来进行显示，则添加了信息“破裂！”的位置处不存在破裂，因此没有达到添加信息的目的。另外，这种显示可能会误导用户相信在由AR对象E(E2)指示的位置处有破裂。亦即，AR对象E被设定在E2的位置处，由此必须提供的信息发生泄露并且提供了不必要的信息。

以这种方式，在创建AR内容的操作中，即使针对捕捉图像指定了AR对象E的位置(例如，从图5的组合图像S1中排除AR对象E来获得图像)，除非在Zc方向上适当地指定布置位置，否则也会创建图7中示出的组合图像S2。亦即，不可能适当地指定AR对象的布置位置(例如，AR对象的参考点的坐标V2m)。

此处，为了唯一地限定AR对象的布置位置，进行如下步骤。应注意，下述方法是用于唯一地限定AR对象的布置位置的方法，而不一定在适当位置处确定AR对象的布置。

例如，在传统的位置指定方法中，获取相机坐标系中的标记的原点坐标(X1c,Y1c,Z1c)。接着，使用标记的原始坐标“Z1c”和在捕捉图像中指定的位置(Xs,Ys)来确定AR对象的位置V2m(Xm,Ym,Zm)。

在传统的位置指定方法中，AR对象作为图6中示出的AR对象E(E1)和AR对象E(E2)的标记，被虚拟地布置在深度方向(Zc方向)上具有同一位置的AR对象E(E2)的位置处。因此，在图7的组合图像S2中，AR对象E(E2)的投影图像被显示在组合图像上，因此查看组合图像的用户难以获取适当的信息。

如上所述，即使在确认了在捕捉图像上显示的对象H的图形时指定AR对象E的投影图像的位置，也没有适当地指定AR对象E在Zc方向上的位置。因此，发生这样的情况：在从另一角度拍摄到的组合图像S2中，AR对象的投影图像被显示在与对象H中的破裂位置不一致的位置处。

应注意，除了向随后的检查员发出消息的操作以外，AR技术可用于针对由操作者进行的操作的内容给出的指令。例如，创建AR内容的用户创建提供检查关闭了为管道提供的阀(未示出)的操作的指令的AR内容。在那种情况下，具有包含消息“检查关闭了阀”的对话气泡形状的AR对象E'(未示出)必须被布置在与阀的位置一致的位置处。

在AR内容被创建之后，进行检查操作的用户通过使用信息处理设备来拍摄布置在管道附近的参考对象的图像，由此能够浏览将AR对象E'按照叠加的方式显示在其上的组合图像。接着，用户可以识别出期望检查关闭了阀。然而，如同给随后的检查员的消息的示例那样，如果AR对象E'被显示在与阀的位置不一致的位置处，则用户不可能准确地或者顺利地进行检查操作。

在本实施方式中公开的技术中，在创建AR内容的时候，首先，用户在用户希望布置AR对象的位置处进行图像捕捉操作。应注意，与其中成像设备以预定帧数的间隔拍摄图像的操作不同，在本文中使用的图像捕捉操作是按下快门按钮。

接着，根据本实施方式的信息处理设备1获取捕捉图像作为输入图像，并且，基于从输入图像识别出的参考对象的图形，计算指示相对于参考对象的图像捕捉位置的位置信息。接着，信息处理设备1将位置信息设定为AR对象的布置位置。

例如，用户从管道H的破裂存在于的位置捕捉标记M的图像。接着，获取了作为输入图像的捕捉图像的信息处理设备1计算标记坐标系中的图像捕捉位置的坐标。接着，将该坐标设定为AR对象的参考点的坐标V2m。

图9是用于说明本实施方式中的AR对象的布置的图示。包括在信息处理设备1中的成像设备在管道H的破裂位置附近捕捉图像。应注意，优选的是，不但就Xc和Zc而言，而且就高度Yc而言，成像设备也在破裂的位置附近。另外，成像设备在可以捕捉标记M的位置和视角处拍摄图片。

接着，信息处理设备1计算指示标记坐标系中的信息处理设备1的坐标的位置信息(Xm,Ym,Zm)。亦即，确定相机坐标系的原点对应的标记坐标系中的坐标。在下文中将描述其详情。接着，将位置信息设定为AR对象的布置位置。

例如，AR对象被虚拟地布置在图9中的信息处理设备1的位置处。因而，后来捕捉与先前类似的标记M的图像的信息处理设备1将按照如下方式生成组合图像：将其中AR对象被布置在图9中的信息处理设备1的位置处的虚拟空间捕捉为图像。应注意，即使后来捕捉与先前类似的标记M的图像的信息处理设备1的位置是任意位置，也会将AR对象的投影图像显示在组合图像中的适当位置处。

如上所述，创建AR内容的用户可以仅通过进行图像捕捉操作来指定AR对象的布置位置。亦即，创建AR内容的操作可以被简化。应注意，图像捕捉操作在与由AR内容指示的内容相关的目的地位置附近的位置处进行。

[第一实施方式]

首先，将描述根据第一实施方式的详细处理和信息处理设备的配置等。图10是系统配置图示。在图10的示例中，示出了通信终端1-1和通信终端1-2作为信息处理设备的示例。在下文中，将其统称为信息处理设备1。另外，信息处理设备1通过网络N与管理设备2进行通信。

信息处理设备1是例如计算机，如具有成像设备的平板个人计算机(PC)或者智能电话。管理设备2是例如服务器计算机并且对信息处理设备1进行管理。网络N是例如因特网。应注意，根据本实施方式的系统包括信息处理设备1和管理设备2。

信息处理设备1创建AR内容。具体而言，信息处理设备1创建AR对象并且确定AR对象在标记坐标系中的布置位置。接着，信息处理设备1生成关于创建的AR内容的AR内容信息。另外，信息处理设备1可以使用创建的AR内容信息来生成组合图像。

与此相反，管理设备2对关于由信息处理设备1创建的AR内容的信息进行管理。例如，如果完成AR内容的创建，则信息处理设备1将关于创建的AR内容的AR内容信息发送给管理设备2。在接收到AR内容信息时，管理设备2将AR内容信息存储在管理设备2的存储单元中。

另外，在信息处理设备1使用AR内容信息来生成组合图像的情况下，管理设备2从信息处理设备1接收针对AR内容信息的请求。管理设备2响应于该请求，将AR内容信息发送给信息处理设备1。应注意，如在下文中将要描述的那样，在AR显示中，除了AR内容信息以外，还使用定义了AR对象的模板的模板信息。因而，管理设备2将模板信息连同AR内容信息一起发送给信息处理设备1。

AR内容信息是用于限定AR内容的信息，在下文中将描述其详情。在本实施方式中，AR内容信息由信息处理设备1创建。模板信息是用于绘制AR内容的模型数据的信息。另外，AR内容信息是示例性设定信息。

接着，将描述信息处理设备1的功能性配置。图11是信息处理设备1的功能框图。信息处理设备1包括通信单元11、成像单元12、控制单元13、存储单元14以及显示单元15。另外，如果信息处理设备1不包括成像单元12，则可以以通信的方式从另一成像设备获取捕捉图像。在此情况下，使用由另一成像设备捕捉图像的位置来创建AR内容。

通信单元11与其他计算机通信。例如，通信单元11将生成的AR内容信息发送给管理设备2。另外，为了生成组合图像，从管理设备2接收AR内容信息和模板信息。

成像单元12捕捉图像。接着，成像单元12将捕捉图像输入至控制单元13。

控制单元13对由信息处理设备1进行的各种类型的处理进行控制。例如，控制单元13将由成像单元12拍摄到的捕捉图像作为输入图像进行接收，并且计算关于相对于标记的图像捕捉位置的位置信息。而且，控制单元13生成AR内容信息。应注意，控制单元13包括识别单元16、计算单元17、内容生成单元18和图像生成单元19。

识别单元16从输入图像中识别参考对象。在本实施方式中，识别单元16识别标记M。传统的对象识别方法被应用到用于识别标记M的方法中。例如，识别单元16使用预定了标记M的形状的模板，并且进行模板匹配，由此识别标记M。

而且，当识别出参考对象被包括在成像设备中时，识别单元16获取用于标识参考对象的标识信息。例如，获取标记ID。应注意，标记ID是用于标识标记的标识信息。另外，传统的获取方法被应用到用于获取标记ID方法中。例如，在参考对象是标记的情况下，从黑白布置获取唯一的标记ID，参考对象是二维条形码的情况也是如此。

另外，如果识别单元16识别出参考对象，则识别单元16基于参考对象的图形来计算参考对象的位置和旋转坐标。应注意，参考对象的位置和旋转坐标是相机坐标系中的值。而且，识别单元16基于参考对象的位置和旋转坐标来生成变换矩阵M。

接着，基于由识别单元16识别出的参考对象的图形，计算单元17计算指示相对于参考对象的输入图像的图像捕捉位置的位置信息。应注意，此处，使用了由识别单元16生成的变换矩阵M。例如，计算单元17基于输入图像中的标记的图形的形状来计算标记坐标系的坐标位置。

此处，参考图1、图3和图4描述用于计算位置信息的方法。首先，识别单元16生成变换矩阵M。应注意，用于生成变换矩阵M的方法如上所述。在由识别单元16生成变换矩阵M之后，计算单元17通过从标记坐标系到相机坐标系的变换矩阵M的逆矩阵M^-1与列向量Ac(Xc,Yc,Zc,1)的乘积来确定列向量Am(Xm,Ym,Zm,1)。具体而言，计算单元17根据下面给出的公式3来确定列向量Am(Xm,Ym,Zm,1)。

Am＝M^-1·Ac(公式3)

应注意，假设图像捕捉位置与相机坐标系的原点大体上一致，图像捕捉位置是(0,0,0)。因而，通过用列向量(0,0,0,1)替换Ac，从公式3可以确定相机坐标系的原点对应于标记坐标系的哪个点。

在下文中，假设与相机坐标系的原点对应的标记坐标系的点是U(Xu,Yu,Zu)。应注意，点U是由通过公式3确定的列向量Au(Xu,Yu,Zu,1)的三个维度中的值构成的点。亦即，计算单元17计算U(Xu,Yu,Zu)作为位置信息。

现在，返回来描述图11。内容生成单元18生成AR内容信息。亦即，内容生成单元18将位置信息与关于AR对象的显示数据相关联，并且生成AR内容信息。应注意，显示数据包括例如指定要应用的模板的信息、在模板内作为文本信息显示的所附信息等。在下文中将描述其详情。

图像生成单元19基于通过创建AR内容和模板信息的处理而生成的AR内容信息来生成组合图像。应注意，使用由识别单元16生成的变换矩阵M来生成组合图像。

另外，除了组合图像以外，图像生成单元19生成各种图像。例如，显示用于模板选择的图像，在该图像中了事先准备了模板的列表。应注意，在下文中将描述用于模板选择的图像。图像生成单元19通过控制显示单元15来显示生成的图像。

存储单元14存储受控于控制单元13的各种类型的信息。存储单元14存储在创建AR内容的时候生成的AR内容信息。另外，还临时存储如标记管理信息的信息。应注意，标记管理信息是从输入图像识别出的关于标记的信息。在下文中将描述其详情。

而且，如果除了在创建AR内容的时候生成的AR内容信息以外，还从管理设备2获取模板信息与过去生成的AR内容信息，则存储单元14存储这些信息。

最后，显示单元15显示由图像生成单元19生成的组合图像及其他图像。

接着，将描述各种类型的信息。图12、图13和图14示出了用于指定AR对象E的位置的处理的数据的数据结构。

图12示出了标记管理表T1。标记管理表T1存储标记管理信息。应注意，标记管理信息是关于从输入图像中包含的标记M的图形获得的识别结果的信息。在识别出标记M时，识别单元16将标记管理信息存储在标记管理表T1中。

标记管理表T1包含信息如标记ID、相机坐标系中的坐标(Xc,Yc,Zc,Pc,Qc,Rc)以及针对由识别单元识别出的标记中的每个标记的内容添加标志。

根据标记管理表T1中存储的信息，本实施方式中的标记M的标记ID是“100”，位置坐标是(X1c,Y1c,Z1c)，旋转坐标是(P1c,Q1c,R1c)。内容添加标志是用于标识要针对其添加内容的标记的信息。例如，当与标记ID“100”的标记相关联的AR内容被创建时，与标记ID“100”对应的内容标志被设定为“1”。

图13示出了模板信息表T2。模板信息表T2存储模板信息，该模板信息用于定义被应用为AR对象的模型数据的每个模板。模板信息包括模板的标识信息(模板ID)，构成模板的每个顶点T21的坐标信息以及构成模板的每个面T22的配置信息(对顶点和纹理ID的顺序的指定)。

顶点的顺序指示构成面的顶点的顺序。纹理ID指示映射到面的纹理的标识信息。模板的参考点是例如第0个顶点。使用模板信息表T2中指示的信息来限定三维模型的形状和图案。

图14示出了AR内容信息表T3。AR内容信息表T3存储关于AR内容的AR内容信息。在AR内容信息表T3中存储AR内容的内容ID、参考点在标记坐标系中的位置坐标(Xm,Ym,Zm)和标记坐标系中的旋转坐标(Pm,Qm,Rm)、相对于AR模板的放大率D(Jx,Jy,Jz)、AR模板的模板ID、标记ID以及附加信息。

存储在AR内容信息表T3中的位置坐标是相对于由存储在与位置坐标相同的记录中的标记ID标识的标记的标记坐标系中的坐标。计算单元17计算位置坐标作为位置信息。

另外，在本实施方式中，假设旋转坐标(Pm,Qm,Rm)是(0,0,0)。亦即，AR内容的AR对象被限定在与标记坐标系的轴平行的三个轴中。

当图像生成单元19生成AR对象E的投影图像时，基于AR内容信息(位置、方向以及大小)来调整图13中示出的AR模板。亦即，通过设定AR内容信息表T3中管理的信息来指定AR对象E的位置、方向以及大小。另外，附加信息是添加到AR对象E的信息。作为附加信息，使用了文本、对网页文件的访问信息等。

例如，图14中示出的内容ID为“1000”的AR内容包括以将AR模板“10”中限定的每个顶点的坐标分别在Xm、Ym以及Zm方向上乘以1、由旋转坐标(0,0,0)旋转并且根据位置坐标(20,25,10)平移的方式获得的顶点。而且，针对AR内容，附加信息被映射到构成AR对象E的面。

内容生成单元18生成AR内容信息并且将AR内容信息存储在存储单元14的AR内容信息表T3中。应注意，虽然AR内容信息表T3存储关于新生成的AR内容的AR内容信息，但是AR内容信息表T3还可以将过去生成的AR内容信息与新生成的AR内容的AR内容信息一起存储。

应注意，过去生成的AR内容信息是从管理设备2获取的。例如，即使在创建AR内容的时候，也向用户提供包含过去创建的AR内容信息的组合图像，该图像针对的标记被认为是与AR内容新关联的。因而，在识别出过去生成的AR内容的布置的情况下，创建AR内容的用户可以指定与新的AR内容相关的AR对象的布置位置。

接着，将描述关于本实施方式的各种处理的流程。图15示出了位置指定处理的处理过程的示例。其中限定了位置指定处理的位置指定程序是其中限定了由控制单元13进行的位置指定处理的过程的程序。

在位置指定程序开始时，控制单元13进行位置指定的预处理(Op.101)。在Op.101的处理中，从管理设备2获取模板信息。

当进行Op.101的预处理时，控制单元13发出用于启动AR显示模式的指令(Op.102)。在Op.102中，控制单元13使例如成像单元12开始以预定时间间隔拍摄并且使识别单元16开始针对拍摄图像的标记检测处理。而且，控制单元13使显示单元15显示由成像单元12拍摄到的捕捉图像。

当控制单元13指令成像单元12进行拍摄时，成像单元12以预定时间间隔获取通过使用成像设备而生成的图像，并且将获取的图像存储在存储单元14中。为存储单元14设置了存储多个图像的缓冲器，并且将由成像单元12拍摄到的图像存储在缓冲器中。例如，在存储单元14中设置的缓冲器是其中存储显示单元15显示的图像的显示缓冲器。存储在显示缓冲器中的图像被顺序显示在显示单元15上。

识别单元16获取存储在存储单元14中设置的缓冲器中的图像并且确定标记M的特征是否被包含在获取的图像中(Op.103)。识别单元16可以进行针对存储在缓冲器中的预定数目个图像中的一个图像的检测处理。

另外，识别单元16读取标记M的标记ID。例如，基于关于四边形框架内的亮度的信息来进行标记ID的读取。例如，针对通过划分四边形框架而获得的区域，将其亮度的值等于或大于预定值的区域设定为“1”，将将其亮度的值小于预定值的区域设定为“0”，并且针对按照预定顺序的区域中的每个区域，确定区域是“1”还是“0”，并且由该确定获得的这列信息被设定为标记ID。

另外，例如，在四边形框架中，在亮度的值等于或大于预定值的区域和亮度的值小于预定值的区域的布置被设定为图案的条件下，可以使用对应于该图案的标记ID。而且，如果分配给标记ID的数值范围被事先确定并且读取的标记ID不在该数值范围内，则可以没有确定读取到标记ID。

识别单元16将读取的标记ID存储在存储单元14中存储的标记管理表T1中。而且，识别单元16将标记M的图形的位置坐标(屏幕坐标系)通知给控制单元13。

如果识别单元16检测到标记M(Op.103：是)，则进行标记识别处理(步骤S104)。如果识别单元16没有检测到标记M(Op.103：否)，则确定是否给出了用于结束程序的指令(Op.108)。如果没有给出用于结束程序的指令(Op.108：否)，则控制单元13确定是否检测到标记(Op.103)。

图16示出了标记识别处理的处理过程的示例。在开始标记识别处理时，图像生成单元19响应于来自识别单元16的指令，作出突出(突出显示)，该突出指示在显示单元14的显示屏内显示识别出的标记M的位置处存在标记(Op.201)。例如，通过在显示标记M的位置处显示四边形框架来进行突出，并且扮演通知用户检测标记M的角色。

识别单元16将标记M的位置坐标(屏幕坐标系)通知给图像生成单元19。图像生成单元19将根据来自识别单元16的通知的位置处的突出形状与显示单元15中显示的图像(显示缓冲器中的图像)相组合。突出形状是例如红色方框等显示元素。

在进行Op.201的处理时，识别单元16计算标记M的位置和旋转坐标(Op.202)。亦即，计算用于生成变换矩阵M的信息。识别单元16基于在Op.103中检测到的标记M的图形来计算标记M的位置和旋转坐标(相机坐标系)。例如，基于标记M的图形的形状以及图像中的标记M的位置来计算标记M的位置和旋转坐标(相机坐标系)。计算的位置和旋转坐标(相机坐标系)被存储在标记管理表T1中。

接着，图像生成单元19对与在标记管理表T1中登记的标记相关联的AR内容的显示进行处理(Op.203、Op.204、Op.205)。应注意，如果与被识别出的标记相关联的AR内容(过去创建的AR内容)是从管理设备2获取的，则进行显示AR内容的处理。如果AR内容不存在，则忽略显示AR内容的处理。

图像生成单元19从AR内容信息表T3中登记的AR内容信息中搜索包括在标记管理表T1中登记的标记ID的AR内容信息。如果存在满足需求的AR内容，则图像生成单元19从AR内容信息表T3获取AR内容信息。接着，读取与在获取的AR内容信息中包括的模板ID对应的模板信息表。

接着，图像生成单元19将由模板信息定义的AR对象的每个点的坐标从标记坐标系变换到相机坐标系(Op.203)。接着，图像生成单元19将AR对象的每个点的坐标从相机坐标系变换到屏幕坐标系，由此生成AR对象的投影图像(Op.204)。

在针对AR对象生成投影图像时，图像生成单元19将投影图像与显示缓冲器中的拍摄图像相组合(Op.205)。在进行Op.205的处理时，控制单元13使显示单元15显示编辑开始按钮B10(Op.206)。在进行Op.206的处理时，控制单元13完成图16中示出的标记识别处理，并且返回图15中示出的位置指定处理的流程图。

随后，控制单元13确定在Op.206中显示编辑开始按钮B10之后的预定时间段内是否检测到至编辑开始按钮B10的输入(Op.105)。如果检测到至编辑开始按钮的输入(Op.105：是)，则控制单元13进行图18中示出的编辑处理(Op.106)。如果在预定时间段内没有检测到至编辑开始按钮的输入(Op.105：否)，则控制单元13确定控制单元13是否被指令结束程序(Op.108)。

图17示出了编辑处理的处理过程的示例。在开始编辑处理时，控制单元13确定是否接收到来自用户的图像捕捉的指令(Op.301)。此处，例如，确定是否用户按下了快门按钮。应注意，成像单元12在没有接收来自用户的用于图像捕捉的指令的情况下以预定数目的帧的间隔进行图像捕捉。如果接收到由用户发出的用于图像捕捉的指令，则成像单元12在用于图像捕捉的指令的时机分别地捕捉图像。

控制单元13等待直到接收到用于图像捕捉的指令获为止(Op.301：否)。否则，如果接收到用于图像捕捉的指令(Op.301：是)，则成像单元12捕捉图像，并且计算单元17从成像单元12获取该图像。接着，计算单元17假设捕捉图像是输入图像，并且基于输入图像中的参考对象的图形，计算指示相对于参考对象的图像捕捉位置的位置信息(Op.302)。应注意，旋转坐标是被设定为例如(0,0,0)。

接着，内容生成单元18接受模板的选择(Op.303)。例如，在计算图像捕捉位置之后，计算单元17请求图像生成单元19生成模板选择画面。在显示单元15显示模板选择画面之后，内容生成单元18获取由用户在模板选择画面上指定的模板的模板ID。应注意，在下文中将描述模板选择画面。应注意，可以在获取用于图像捕捉的指令之前选择模板。

接着，内容生成单元18生成AR内容信息，该AR内容信息包括由计算单元17计算的位置信息和指定的模板的模板ID(Op.304)。应注意，在Op.303中，针对被采用作为AR对象的模板，可以接受放大率信息和附加信息的输入。在此情况下，AR内容信息包括放大率信息和附加信息。

在进行Op.304的处理时，控制单元13完成图17中示出的编辑处理，并且返回图15中示出的位置指定处理的流程图的处理。通信单元11在控制单元13的控制下将生成的AR内容信息发送给管理设备2(Op.107)。应注意，通信单元11可以只将关于存储单元14中的AR内容信息表中的新创建的AR内容的AR内容信息发送给管理设备2。

接着，如果控制单元13被指令完成Op.108的处理中的程序(Op.108：是)，则控制单元13完成位置指定程序的处理。否则，如果控制单元13没有被指令完成程序(Op.108：否)，则控制单元13返回Op.103的处理。

此处，描述模板选择画面。图18示出了模板选择画面的示例。在图17中示出的Op.303的处理中显示了模板选择画面S3。在模板选择画面上，显示一组按钮(按钮1至按钮9)，该按钮的AR模板的类型是可选择的。在模板选择画面的描述中，按照基于各自的按钮区域中描绘的数字来标识按钮的方式描述模板选择画面。例如，其中描绘了数字“1”的正方形按钮是“按钮1”。另外，模板选择画面包含图18中描绘的那组按钮以外的按钮组，并且包含用于对显示那些按钮组进行滚动操作的滚动按钮B11。另外，模板选择画面包含用于终止对AR模板进行选择的菜单关闭按钮B12。

按钮对应于各自的单个模板ID。亦即，提供了对应于各自的按钮的模板信息表。在向任何按钮进行输入时，选择对应于该按钮的模板ID，并且基于所选择的模板ID来启动模板信息表。

对话气泡类型的AR模板与按钮1相关联。在对话气泡类型的AR模板中，文本信息被添加在对话气泡形状的图形内。标注框类型的AR模板与按钮2相关联。在标注框类型的AR模板中，包括指引线和与指引线的尖端接合的四边形图形，并且文本信息被添加在四边形图形内。

文本框类型的AR模板与按钮3相关联的。在文本框类型的AR模板中，文本信息被添加到类似于框架的四边形图形。图片类型的AR模板与按钮4相关联。在图片类型的AR模板中，图像数据被映射到类似于框架的四边形图形内。存储在存储单元14中的图像文件被用作为图像数据。

摄影类型的AR模板与按钮5相关联。摄影类型的AR模板是与图片类型的AR模板类似的AR模板；然而，这些类型在获取图像数据的来源上是不同的。在使用摄影类型的AR模板时，摄影模式被启动，并且由成像单元12进行图像捕捉处理。使用摄影类型的AR模板，通过拍摄处理捕捉到的图像数据被映射在类似于框架的四边形图形内。使用图片类型的AR模板和摄影类型的AR模板映射的图像数据可以是静态图像或动画。

按钮6是手写类型的AR模板。手写类型的AR模板是四边形的透明图形，进一步地，图形的图案通过手写操作来编辑。按钮7是链接类型的AR模板，并且是与文本框类型的AR模板类似的模板。在选择了链接类型的AR模板时，显示网页的列表，并且对从该列表中选择的网页的访问信息被添加到AR模板。例如从网页浏览器的书签和访问历史来获取网页的列表。

按钮8与图形类型的AR模板相关联。在图形类型的AR模板中限定了三维立体模型图形。例如，响应于对按钮8的输入，可以进行用于立体模型图形的形状的选择的画面显示。立体模型图形的形状是例如立方体、长方体、圆柱体、半球体、圆锥体、三棱柱等。另外，响应于对按钮8的输入，可以启动计算机辅助设计(CAD)数据。作为CAD数据，选择例如在存储单元14中存储的CAD数据的文件。

按钮9与文件类型的AR模板相关联。文件类型的AR模板是映射了表示该文件的图标图像的四边形图形。在选择文件类型的AR模板时，存储单元14中的文件被选择，并且被选择的文件的链接被添加到AR模板。

如上所述，本实施方式中的信息处理设备1使用标记坐标系中的图像捕捉位置，由此能够简单地创建AR内容。亦即，用户可以通过在用户希望布置AR对象的位置处进行参考对象的图像捕捉的操作，将AR对象的布置位置与虚拟空间中的图像捕捉位置相关联。

[第二实施方式]

在第一实施方式中，描述了其中使用与标记坐标系中的相机原点对应的点作为AR对象的布置位置的示例。第二实施方式虚拟地改变相机坐标系中的原点的位置，由此在不同于成像设备的实际位置(图像捕捉位置)的位置处布置AR对象。应注意，虚拟地改变相机坐标系中的原点的位置被称为设定偏移。另外，可以针对相机坐标系中的Xc、Yc、以及Zc中的每个维度来设定偏移值。例如，如果要在相机的深度方向改变AR对象的布置位置，则给出针对Zc的偏移值。

取决于要布置AR对象的位置与标记的布置位置之间的关系，难以从布置AR对象的位置来捕捉标记的图像。例如，如果标记M被布置在设备的前方并且AR对象被布置设备的后方，则难度增加。

第二实施方式使用偏移，由此将AR对象布置在不同于图像捕捉位置的位置处。将描述根据第二实施方式的位置指定方法。应注意，根据第二实施方式的信息处理设备1的功能性配置与第一实施方式中的信息处理设备1的功能性配置类似。

例如，在调用图15中示出的Op.105中进行的编辑处理之后，控制单元13确定在图17中示出的编辑处理中的Op.301的处理之前是否从用户接收到对偏移模式的指定。应注意，如果没有接收到对偏移模式的指定，则进行与第一实施方式中的处理类似的处理。否则，如果接收到对偏移模式的指定，则在Op.302的处理之前，进行将相机的原点Oc变换成临时相机原点Oc'的处理。

亦即，当给出针对Xc坐标的Xo、针对Yc坐标的Yo以及针对Zc坐标的Zo作为偏移值时，虚拟相机原点是(Xo,Yo,Zo)。应注意，假设相机原点是虚拟图像捕捉位置。

接着，计算单元17使用虚拟图像捕捉位置(Xo,Yo,Zo)来生成相应的列向量Ac(Xo,Yo,Zo,1)。接着，通过用Ac替换公式3，计算指示与虚拟图像捕捉位置对应的标记坐标系中的位置的位置信息(Op.302)。应注意，余下的处理类似于第一实施方式中的处理。

此处，偏移值可以是设定事先的值或者由用户输入的值。应注意，事先确定了真实空间中的什么长度等于相机坐标系中的每个轴上的“1”。例如，当使用5cm立方体标记作为参考对象时，可以使每个轴上的“1”对应于真实空间中的例如5cm。

[第三实施方式]

在第三实施方式中，如同在第二实施方式中那样，使用偏移来指定AR对象的位置。然而，在第三实施方式中，为了更有助于指定AR对象的位置，将AR对象的估计的布置位置显示为引导。在浏览引导显示时，用户可以掌握AR对象将被布置在什么位置。接着，在阅读了引导显示的用户输入确定指令的时间点确定AR对象的位置。

将参照图19描述根据第三实施方式的位置指定处理中的编辑处理。应注意，根据第三实施方式的信息处理设备1的功能性配置与第一实施方式的信息处理设备1的功能性配置类似。图19示出了根据第三实施方式的编辑处理的处理过程的示例。

应注意，如同在第二实施方式中那样，如果接收到对偏移模式的指定，则控制单元13进行下述处理。如果没有接收到对偏移模式的指定，则进行与第一实施方式中的处理类似的处理。

控制单元13通过接收由用户对偏移值的输入或者通过从存储单元14获取事先设定的偏移值(Op.401)来获取偏移值。接着，识别单元16从存储单元14的缓冲器获取最新近的捕捉图像(Op.402)。接着，从最新近的捕捉图像识别出参考对象(Op.403)。接着，识别单元16基于参考对象的图形来生成变换矩阵。

当识别单元16生成变换坐标时，计算单元17使用变换矩阵来计算位置坐标(Op.404)。具体而言，首先，如同在第二实施方式中那样，图像捕捉位置被从(0,0,0)变换到虚拟图像捕捉位置。如果获取了针对Xc坐标的Xo的值、针对Yc坐标的Yo的值以及针对Ac坐标的Zo的值作为偏移值，则计算(Xo,Yo,Zo)作为虚拟图像捕捉位置。

接着，计算单元17使用虚拟图像捕捉位置(Xo,Yo,Zo)来生成列向量Ac(Xo,Yo,Zo,1)。接着，通过用Ac替换针对公式3，计算指示与虚拟图像捕捉位置对应的标记坐标系中的位置的位置信息。

接着，图像生成单元19基于在Op.404中计算的位置信息生成引导显示画面，该引导显示画面在Op.402中获取的捕捉图像上显示AR对象的临时布置位置(Op.405)。接着，显示单元15在图像生成单元19的控制下显示引导显示画面。

图20是用于说明指示临时指定位置的引导显示的图示。图20中示出的引导显示图像S4是其中引导显示102被叠加在捕捉图像上的图像，在该捕捉图像中，捕捉了真实空间中存在的立柱100、在立柱100上布置的标记M'、监视器101等。

基于Op.404中计算的位置信息来确定引导显示102的尖端。如同组合图像中的AR内容的投影图像的情况那样，通过将使用位置信息而指定的位置坐标(标记坐标系)被变换到屏幕坐标系来获得引导显示的尖端位置。应注意，临时指定位置可以仅与引导显示的尖端部分一起显示，或者可以在如图20所示，在条形中显示。

现在返回图19，控制单元13确定是否接收到来自用户的确定输入(Op.406)。例如，如果在显示图像S4上布置了确定按钮，则通过按压确定按钮来进行确定输入。另外，如果按压了图像捕捉按钮，则可以确定进行了确定输入。

如果没有接收到确定输入(Op.406：否)，则控制单元13指令识别单元16获取最新近的新的图像(至Op.402)。否则，已接受确定输入(Op.406：是)，内容生成单元18接受对模板的选择(Op.407)。接着，内容生成单元18生成包括由计算单元17计算的位置信息和指定模板的模板ID的AR内容信息(Op.408)。

如上所述，根据第三实施方式，创建AR内容的用户可以通过使用显示画面S4来确认AR对象的临时布置位置。接着，在检查合适的布置位置之后，可以确定AR对象的布置位置。

[第四实施方式]

虽然前述第一实施方式、第二实施方式以及第三实施方式被描述为基于具有成像设备的信息处理设备1生成AR内容信息的假设，但是实施方式不限于此。

例如，管理设备2可以生成AR内容信息。亦即，管理设备2从具有成像设备的信息处理设备1获取捕捉图像，并由此基于捕捉图像是输入图像的假设来进行位置指定处理。

如果管理设备2进行第一实施方式和第二实施方式中示出的位置指定处理，则可以从信息处理设备1实时获取捕捉图像，或者可以在另一时间点获取捕捉图像。应注意，从信息处理设备1获取的捕捉图像是在先于并且最接近于由用户发出的用于图像捕捉的指令的时间点的时间拍摄到的图像。

与此相反，如果管理设备2进行第三实施方式中示出的位置指定处理，则管理设备2从信息处理设备1适当地获取捕捉图像，并且如果创建了显示图像4则将显示图像S4发送到信息处理设备1。

[硬件配置的示例]

将描述每个实施方式中示出的信息处理设备1和管理设备2的硬件配置。图21示出了每个实施方式的信息处理设备的硬件配置的示例。每个实施方式中的信息处理设备1由计算机300实现。图11中示出的功能框图由例如图21中示出的硬件配置来实现。计算机300包括例如处理器301、随机存取存储器(RAM)302、只读存储器(ROM)303、驱动设备304、存储介质305、输入接口306、输入设备307、输出接口308、输出设备309、通信接口310、相机模块311、加速度传感器312、角速度传感器313、显示接口314、显示设备315、总线316等。每个硬件通过总线316连接。

通信接口310控制通过网络3的通信。由通信接口310控制的通信可以是通过使用无线通信的无线基站来访问网络N的方式。输入接口306被连接到输入设备307，并且将从输入设备307接收的输入信号发送到处理器301。输出接口308被连接到输出设备309，并且根据处理器301的指令向输出设备309进行输出。

输入设备307是响应于操作而发送输入信号的设备。输入设备307是例如按键设备，如计算机300的主体所附的键盘或者按钮、鼠标、触摸屏的指示设备等。输出设备309是根据处理器301的控制输出信息的设备。输出设备309是例如声音输出设备如扬声器。

显示接口314被连接到显示设备315。显示接口314使显示设备315显示由处理器301写入在显示接口314中设置的显示缓冲器的图像信息。显示设备315是根据处理器301的控制输出信息的设备。作为显示设备315，使用图像输出设备如显示器、透射式显示器等。

在使用透射式显示器的情况下，AR内容的投影图像可以例如被控制为在透射式显示器中的合适位置处显示，而不是与捕捉图像相组合地显示。这使得用户能够获得其中真实空间与AR内容彼此一致的状态的视觉。另外，例如使用既作为输入设备307又作为显示设备315的输入输出设备如触摸屏。另外，例如输入设备307以及显示设备315可以从计算机300的外部连接到计算机300，而不是输入设备307以及显示设备315被集成在计算机300内。

RAM302是可读并且可写的存储设备，并且可以使用半导体存储器，例如，如静态RAM(SRAM)或者动态RAM(DRAM)或者闪存而不是RAM。ROM303的示例包括可编程ROM(PROM)等。

驱动设备304是至少进行对存储介质305中存储的信息的读取或写入的设备。存储介质305存储由驱动设备304写入的信息。存储介质305是例如硬盘、固态驱动器(SSD)、压缩盘(CD)，数字通用盘(DVD)以及蓝光盘等类型的存储介质中的至少一种类型的存储介质。另外，例如，计算机300包括与计算机300中的存储介质305的类型对应的驱动设备304。

相机模块311包括成像设备(图像传感器)并且例如读取由成像设备测量的值并且将所读取的值写入包括在相机模块311中的输入图像图像缓冲器。加速度传感器312测量作用于加速度传感器312的加速度。角速度传感器313测量由角速度传感器313进行的操作的角速度。

处理器301将存储在ROM303或者存储介质305中的程序读取到RAM302并且根据读取程序的过程进行处理。例如，控制单元13的功能由基于图15中示出的位置指定程序来控制其他硬件的处理器301。通信单元11的功能由控制通信接口310进行数据通信并且将接收的数据存储在存储介质305中的处理器301来实现。

存储单元14的功能由存储程序文件和数据文件的ROM303和存储介质305实现，或者由被用作处理器301的工作区域的RAM302实现。例如，AR内容信息、模板信息等被存储在RAM302中。

成像单元12的功能由将图像数据写入输入图像图像缓冲器的相机模块311，并且由对输入图像图像缓冲器中的图像数据进行读取的处理器301实现。在监视模式中，例如，图像数据被写入输入图像图像缓冲器并且同时被写入显示设备315的显示缓冲器。

另外，当由处理器301生成的图像数据被写入包括在显示接口314中的显示缓冲器并且显示设备315对显示缓冲器中的图像数据进行显示时，实现了显示单元15的功能。

接着，图22示出了在计算机300上工作的程序的配置的示例。控制硬件组的操作系统502在计算机300上工作。处理器301在根据操作系统502的过程中工作以对硬件501进行控制和管理，以使得由应用程序504或者中间件503的处理在硬件501上进行。

在计算机300上，程序如操作系统502、中间件503和应用程序504被例如读取到RAM302并且由处理器301执行。另外，包括在每个实施方式中示出的位置指定程序的AR控制程序是例如从应用程序504启动作为中间件503的程序。

可替选地，例如，包括位置指定程序的AR控制程序是如同应用程序504那样实现AR功能的程序。AR控制程序被存储在存储介质305中。处于下述状态的存储介质305可以从计算机300的主体分离地循环：根据本实施方式的位置指定程序被单独存储，或者包括位置指定程序的AR控制程序被存储。

接着，将描述每个实施方式中的管理设备2的硬件配置。图23是每个实施方式的管理设备的硬件配置的示例。管理设备2由计算机400实现。

管理设备2由例如图23中示出的硬件配置实现。计算机400包括例如处理器401、RAM402、ROM403、驱动设备404、存储介质405、输入接口406、输入设备407、输出接口408、输出设备409、通信接口410、存储接口网络(SAN)411和总线412等。每个硬件通过总线412连接。

例如，处理器401是类似于处理器301的硬件。RAM402是例如类似于RAM302的硬件。ROM403是例如类似于ROM303的硬件。驱动设备404是例如类似于驱动设备304的硬件。存储介质405是例如类似于存储介质305的硬件。输入接口406是例如类似于输入接口306的硬件。输入设备407是例如类似于输入设备307的硬件。

输出接口408是例如类似于输出接口308的硬件。输出设备409是例如类似于输出设备309的硬件。通信接口410是例如类似于通信接口310的硬件。存储接口网络(SAN)411是用于将计算机400连接到SAN的接口，存储接口网络(SAN)411包括主机总线适配器(HBA)。

处理器401将ROM403或者存储介质405中存储的管理程序读取到RAM402中并且根据读取管理程序的过程进行处理。此时，RAM402被用作为处理器401的工作区域。应注意，管理程序包括根据管理设备2中的位置指定处理的位置指定程序。

ROM403和存储介质405存储程序文件和数据文件，或者RAM402被用作为处理器401的工作区域，以使得管理设备2存储各种类型的信息。另外，处理器401控制通信接口410进行通信处理。

参考符号

1 信息处理设备

11 通信单元

12 成像单元

13 控制单元

14 存储单元

15 显示单元

16 识别单元

17 计算单元

18 内容生成单元

19 图像生成单元

2 管理设备

Claims (10)

1.一种信息处理设备，包括：

计算单元，所述计算单元被配置成基于从第一输入图像识别出的参考对象的图形来计算相对于所述参考对象的位置信息，所述位置信息指示所述第一输入图像的图像捕捉位置；以及

生成单元，所述生成单元被配置成生成设定信息，在所述设定信息中，显示数据与作为所述显示数据的显示位置的、相对于所述参考对象的所述位置信息相关联，当所述参考对象从不同于所述第一输入图像的第二输入图像被识别出时，所述显示数据基于所述设定信息来被显示。

2.根据权利要求1所述的信息处理设备，其中，

所述位置信息是相对于所述参考对象的三维空间中的三维位置。

3.根据权利要求1或2所述的信息处理设备，其中，

所述计算单元在获取了用于调整所述图像捕捉位置的偏移值时基于所述偏移值和所述参考对象的所述图形来计算与所述偏移值被施加于的所述图像捕捉位置对应的所述位置信息。

4.根据权利要求3所述的信息处理设备，还包括：

显示单元，所述显示单元被配置成在所述第一输入图像上显示指示所述偏移值被施加于的所述位置信息的引导显示，

其中，当确定指令从用户输入时，所述生成单元生成包含所述位置信息的所述设定信息，所述确定指令指示所述偏移值要由用户最终确定。

5.根据权利要求1至4中的任一项所述的信息处理设备，还包括：

识别单元，所述识别单元被配置成获取所述第二输入图像并且从所述第二输入图像识别出所述参考对象；以及

图像生成单元，所述图像生成单元被配置成基于所述设定信息来生成用于在所述第二输入图像中相对于所述参考对象的特定位置处显示所述显示数据的图像数据。

6.一种由计算机执行的位置指定方法，包括：

基于从第一输入图像识别出的参考对象的图形来计算相对于所述参考对象的位置信息，所述位置信息指示所述第一输入图像的图像捕捉位置；以及

生成设定信息，在所述设定信息中，显示数据与作为所述显示数据的显示位置的、相对于所述参考对象的所述位置信息相关联，当从不同于所述第一输入图像的第二输入图像识别出所述参考对象时，基于所述设定信息来显示所述显示数据。

7.根据权利要求6所述的位置指定方法，其中，

所述位置信息是相对于所述参考对象的三维空间中的三维位置。

8.根据权利要求6或7中的任一项所述的位置指定方法，还包括：

获取用于调整所述图像捕捉位置的偏移值，以及

其中，基于所述偏移值和所述参考对象的所述图形来计算与所述图像捕捉位置对应的所述位置信息。

9.根据权利要求8所述的位置指定方法，还包括：

在所述第一输入图像上显示指示所述偏移值被施加于的所述位置信息的引导显示，并且

其中，当从用户输入确定指令时，生成包含所述位置信息的所述设定信息，所述确定指令指示所述偏移值要由用户最终确定。

10.根据权利要求6至9中的任一项所述的位置指定方法，还包括：

获取所述第二输入图像；

从所述第二输入图像识别出所述参考对象；以及

基于所述设定信息来生成用于在所述第二输入图像中相对于所述参考对象的特定位置处显示所述显示数据的图像数据。