CN104463975B

CN104463975B - 设置方法以及信息处理装置

Info

Publication number: CN104463975B
Application number: CN201410424661.7A
Authority: CN
Inventors: 古贺奖
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-09-13
Filing date: 2014-08-26
Publication date: 2019-01-08
Anticipated expiration: 2034-08-26
Also published as: CN104463975A; US10078914B2; AU2014210571B2; EP2849156A2; EP2849156A3; AU2014210571A1; JP2015056106A; JP6314394B2; US20150077435A1

Abstract

本发明涉及一种信息处理装置以及通过计算机执行的设置方法。所述设置方法包括：获取要与从第一输入图像数据中检测到的参考对象相关联并且要在从另一输入图像中检测到所述参考对象时进行显示的显示数据；基于表示用户施加于所述计算机的旋转的幅度的旋转信息，通过计算机来生成表示所述显示数据相对于所述参考对象的布置姿态的姿态信息；以及基于用户对显示数据的布置姿态的确认，将包括所述姿态信息、所述显示数据以及所述参考对象的标识信息的设置信息存储在存储装置中。

Description

设置方法以及信息处理装置

技术领域

实施方式中所公开的技术涉及用于设置以叠加在所捕获的图像上的方式进行显示的显示数据的布置姿态的技术。

背景技术

将布置在对应于真实空间的三维虚拟空间中的三维对象的模型数据以叠加在由成像装置所拍摄的捕获图像上的方式显示该模型数据。该技术对通过人类感知(例如视觉感知)所收集的信息进行扩展，因而被称为例如增强现实(AR)技术。布置在对应于真实空间的三维虚拟空间中的三维对象的模型数据被称为AR内容。注意，三维对象的模型数据也被称为对象。

AR内容为如下信息：在该信息中预先定义了哪种类型的对象要以什么姿态布置在虚拟空间中的哪个位置。因此，利用AR技术，可以基于预先定义的布置来生成对象的投影图像，并且该投影图像可以以叠加在所捕获的图像上的方式进行显示。注意，AR对象的投影图像是基于成像装置和AR内容之间的位置关系生成的。

为了确定成像装置与AR内容之间的位置关系，使用参考对象。例如，通常使用AR标记作为参考对象。也就是说，当从成像装置所获得的捕获图像中检测到AR标记时，基于呈现在成像装置的捕获图像中的AR标记的图形(figure)来确定AR标记与成像装置之间的位置关系。然后，通过反映位置关系，生成与AR标记相关联的AR内容的对象的投影图像，并且该投影图像以叠加在捕获图像上的方式进行显示(例如，国际专利申请的日本国家公布No.2010-531089和国际公开单行本No.WO2005-119539)。

为了以叠加的方式显示AR内容，预先执行创建AR内容(也称为制作)的操作。注意，创建AR内容的操作为生成对象并且设置该对象在三维空间中的布置的操作。注意，按照在关于参考对象进行测量时的相对位置和姿态来指定该布置。也就是说，在制作操作中，将AR对象在关于参考对象的虚拟空间中的位置设置为布置位置。另外，将AR对象在关于参考对象的虚拟空间中的倾斜度设置为布置姿态。

在此，存在下述信息处理装置：该信息处理装置将虚拟对象布置在与由用户在包括面的平面上指定的指定位置相对应的三维位置处，所述面是在输入图像中所反映的真实空间中的对象模型的面并且所述面是由用户指定的(例如，日本公开特许公报No.2012-168798)。也就是说，信息处理装置可以根据用户针对指定位置的指令而将虚拟对象布置在存在于真实空间中的对象模型的平面上。

另外，存在下述技术：在该技术中，当正显示在监视器上的数据以使其它图像数据叠加在该正显示的数据上的方式进行显示时，由数字摄像头捕获的摄影对象的图像的相对运动反映在其它图像数据中(例如，日本公开特许公报No.2006-285475)。通过增加或减少数字摄像头与摄影对象的距离，在三维方向上左右及前后调整其它图像数据的显示位置。

发明内容

本发明要解决的问题

根据在专利文献3和专利文献4中公开的技术，可以调整或设置以叠加的方式进行显示的图像数据的显示位置。然而，在制作AR内容时，不仅需要控制布置位置而且还需要控制布置姿态。利用这些技术，不能设置例如布置姿态。

另外，在另一传统制作方法中，具体地，制作操作者手动地输入用于改变姿态的旋转值，并且从而能够控制姿态。然而，利用该方案，由于制作操作者必须输入具体的旋转值，所以用户的负荷较高。

因此，实施方式中公开的技术的目的在于：在用于设置AR对象的布置位置和布置姿态的创建AR内容的操作中容易地设置AR对象的姿态。用于解决问题的手段

根据本发明的方面，通过计算机执行的设置方法包括：获取要与从第一输入图像数据中检测到的参考对象相关联并且要在从另一输入图像中检测到该参考对象时进行显示的显示数据；基于表示用户施加于计算机的旋转的幅度的旋转信息，通过计算机来生成表示显示数据相对于参考对象的布置姿态的姿态信息；以及基于用户对显示数据的布置姿态的确认，将包括姿态信息、显示数据以及参考对象的标识信息的设置信息存储在存储装置中。

根据另一个方面，一种信息处理装置包括：第一获取单元，被配置成获取要与从第一输入图像数据中检测到的参考对象相关联并且要在从另一输入图像中检测到参考对象时进行显示的显示数据；生成单元，被配置成基于表示用户施加于计算机的旋转的幅度的旋转信息，通过计算机生成表示显示数据相对于参考对象的布置姿态的姿态信息；以及储存单元，被配置成基于用户对显示数据的布置姿态的确认，将包括姿态信息、显示数据以及参考对象的标识信息的设置信息存储在存储单元中。

根据一个实施例，一种通过计算机执行的设置方法包括：获取第一输入图像数据；在从第一输入图像数据检测到参考对象时，获取要与参考对象相关联并且要在从另一输入图像中检测到参考对象时基于设置信息进行显示的显示数据；基于旋转信息，通过计算机生成姿态信息，姿态信息表示显示数据相对于参考对象的显示倾斜度，旋转信息表示用户在设置信息的调整过程中施加于计算机的旋转的幅度；基于用户对显示数据的布置姿态的确认，将包括与参考对象的标识信息相关联的姿态信息和显示数据的设置信息存储在存储单元中；在调整过程完成之后获取另一输入图像数据；在从另一输入图像数据检测到参考对象时，从存储单元检索设置信息；基于与另一输入图像数据中的参考对象相对应的区域的图形来确定当前位置信息；以及基于当前位置信息和在调整过程中生成的设置信息两者来显示显示数据，使得相对于另一输入图像数据中的参考对象以对应于显示倾斜度的倾斜度显示显示数据。

根据另一个实施例，一种信息处理装置包括：第一获取单元，被配置成获取第一输入图像数据，以及在从第一输入图像数据检测到参考对象时，获取要与参考对象相关联并且要在从另一输入图像中检测到参考对象时基于设置信息进行显示的显示数据；生成单元，被配置成基于旋转信息，通过计算机生成姿态信息，姿态信息表示显示数据相对于参考对象的显示倾斜度，旋转信息表示用户在设置信息的调整过程中施加于计算机的旋转的幅度；以及储存单元，被配置成基于用户对显示数据的布置姿态的确认，将包括与参考对象的标识信息相关联的姿态信息和显示数据的设置信息存储在存储单元中，其中，第一获取单元还被配置成在调整过程完成之后获取另一输入图像数据，在从另一输入图像数据检测到参考对象时，从存储单元检索设置信息，以及基于与另一输入图像数据中的参考对象相对应的区域的图形来确定当前位置信息，并且信息处理装置还包括显示单元，显示单元被配置为基于当前位置信息和在调整过程中生成的设置信息两者来显示显示数据，使得相对于另一输入图像数据中的参考对象以对应于显示倾斜度的倾斜度显示显示数据。

优点

根据本公开内容的方面，可以将用户执行的对装置的旋转操作反映在AR对象的布置姿态中。也就是说，制作操作者可以更直观地设置布置姿态，因此有助于AR内容的制作操作。

附图说明

图1示出了摄像头坐标系与标记坐标系之间的关系；

图2示出了摄像头坐标系和标记坐标系中的AR对象E的示例；

图3描绘了从标记坐标系到摄像头坐标系的变换矩阵M，以及变换矩阵M中的旋转矩阵R；

图4描绘了旋转矩阵R1、R2和R3；

图5示出了真实空间中的对象的布置的示例；

图6示出了当AR内容的姿态的设置不适当时的组合图像的示例；

图7示出了当AR内容的姿态的设置适当时的组合图像的示例；

图8是系统配置图示；

图9是根据第一实施方式的信息处理装置的功能框图；

图10A和图10B是用于说明旋转信息和姿态信息之间的关系的图示；

图11示出了标记管理表格；

图12示出了模板信息表格；

图13示出了设置信息表格；

图14示出了由位置指定程序执行的处理的流程；

图15示出了标记识别处理的处理过程的示例；

图16示出了编辑处理的处理过程的示例；

图17示出了模板选择画面的示例；

图18是根据第二实施方式的信息处理装置的功能框图；

图19A和图19B是用于说明用于计算旋转信息的方法的图示；

图20示出了编辑处理的处理过程示例(1)；

图21示出了编辑处理的处理过程示例(2)；

图22示出了每个实施方式的信息处理装置的硬件配置的示例；

图23示出了计算机上运行的程序的配置的示例；以及

图24是每个实施方式的管理装置的硬件配置的示例。

具体实施方式

下文中将描述本公开内容的具体实施方式。要注意的是，只要处理的内容之间不出现矛盾，可以对下面描述的实施方式适当地进行组合。将在下文中参照附图描述每个实施方式。

首先，将描述AR技术，在AR技术中，将布置在对应于真实空间的三维虚拟空间中的AR对象以叠加在由摄像头获得的捕获图像上的方式显示该AR对象。AR对象为布置在虚拟空间中的三维对象的模型数据。另外，AR内容为如下信息：在该信息中定义了哪种类型的对象以什么方式布置在虚拟空间中。注意，下面描述的制作为创建AR内容的操作以及关于AR对象在虚拟空间中设置布置位置和布置姿态的操作。

AR对象例如为包括多个点的模型数据。针对通过利用直线和曲线插入多个点获得的多个面中的每个面来设置图案(纹理)，并且通过组合多个面来形成三维模型。通过关于存在于真实空间中的参考对象定义构成AR对象的所有点的坐标，来将AR对象布置在虚拟空间中。该对象不存在于真实空间中所有点的坐标的位置处，并且所有点的坐标是定义在关于参考对象的虚拟空间中的。

当将AR对象布置在虚拟空间中时，基于呈现在通过摄像头获得的捕获图像中的参考对象的视觉外观(图形)来确定关于真实空间中摄像头和参考对象之间的位置的关系。使用关于存在于真实空间中的参考对象的虚拟空间中的坐标以及关于真实空间中摄像头和参考对象之间的位置的关系，确定关于摄像头与对应于真实空间的三维虚拟空间中AR对象的所有点的坐标之间的位置的关系。

基于这些关于位置的关系，确定当摄像头捕获参考对象时获得的AR对象的图形。然后，显示叠加在捕获图像上的AR对象的图形。将参照图1、图2、图3以及图4进一步描述用于计算AR对象的图形的操作。

图1示出了摄像头坐标系与标记坐标系之间的关系。图1中所示的标记M是示例性参考对象。图1中所示的标记M是方形的，并且其尺寸是预先确定的(例如，一边的长度为5cm)。注意，虽然图1中所示的标记M是方形的，但是具有下述形状的另一对象也可以用于参考对象：利用该形状，甚至能够基于通过从多个视点中图像捕获任何视点所获得的图形来区分与摄像头的相对位置和定向。例如，可以将从捕获图像生成的特征点等用作参考对象。

摄像头坐标系包括(Xc,Yc,Zc)三个维度，并且使用例如摄像头的焦点作为原点(原点Oc)。例如，摄像头坐标系的Xc-Yc平面是与摄像头的成像装置的面平行的面，并且Zc轴是与成像装置的面垂直的轴。

标记坐标系包括(Xm,Ym,Zm)三个维度，并且例如使用标记M的中心作为原点(原点Om)。例如，标记坐标系的Xm-Ym平面是平行于标记M的面，并且Zm轴垂直于标记M的面。原点Om在摄像头坐标系中由坐标V1c(X1c,Y1c,Z1c)表示。

另外，通过旋转坐标G1c(P1c,Q1c,R1c)表示标记坐标系(Xm,Ym,Zm)相对于摄像头坐标系(Xc,Yc,Zc)的旋转角度。P1c是围绕Xc轴的旋转角度，Q1c是围绕Yc轴的旋转角度，并且R1c是围绕Zc轴的旋转角度。图1中例示的标记坐标系仅围绕Ym轴旋转，并且因此P1c和R1c为零。注意，基于具有已知形状的参考对象在待处理的捕获图像中被捕获为何种图形来计算每个旋转角度。

图2示出了摄像头坐标系和标记坐标系中的AR对象E的示例。图2中所示的AR对象E为具有气球形状的对象，并且该AR对象E在气球中包含文本数据“裂缝！”。AR对象E的气球的尖端处的黑圈表示AR对象E的参考点。假定参考点在标记坐标系中的坐标为V2m(X2m,Y2m,Z2m)。

此外，通过旋转坐标G2m(P2m,Q2m,R2m)来定义AR对象E的定向，并且通过放大因数D(Jx,Jy,Jz)来定义AR对象E的尺寸。注意，AR对象E的旋转坐标G2m表示在布置AR对象时该AR对象相对于标记坐标系旋转多少。例如，当G2m为(0,0,0)时，将给出平行于标记的AR对象的AR显示。

构成AR对象E的每个点的坐标是通过基于参考点的坐标V2m、旋转坐标G2m以及放大因数D而对在定义数据(AR模板)中定义的每个点的坐标进行调整所获得的坐标，该定义数据是AR对象E的模型。注意，在AR模板中，每个点的坐标是在假定参考点的坐标为(0,0,0)的情况下定义的。

其后，一旦设置了采用AR模板的AR对象的参考点V2m，就基于坐标V2m对构成AR模板的每个点的坐标进行平移。另外，基于所设置的旋转坐标G2m对包括在AR模板中的每个坐标进行旋转，并且通过放大因数D对包括在AR模板中的每个坐标进行扩展或收缩。也就是说，图2的AR对象E表示基于如下点来构造AR对象E的状态：上述点是通过基于参考点的坐标V2m、旋转坐标G2m以及放大因数D来调整AR模板中定义的每个点而获得的。

注意，可以通过如下方式生成AR对象E：生成作为基于参考点的坐标V2m和放大因数D调整的一组点的AR对象E’，并且根据旋转坐标G2m对AR对象E’的每个轴进行旋转。

将AR对象E的每个点的坐标(该坐标为标记坐标系中已经设置的坐标)变换至摄像头坐标系中的坐标，并且进一步基于摄像头坐标系的坐标来计算屏幕中的位置，使得生成用于以叠加的方式显示AR对象E的图形。

基于标记的原点Om在摄像头坐标系中的坐标Vic和标记坐标系相对于摄像头坐标系的旋转坐标G1c，通过包括在AR对象E中的每个点在标记坐标系中的坐标的坐标变换(模型视图变换)，计算每个点在摄像头坐标系中的坐标。例如，对AR对象E的参考点V2m执行模型视图变换，从而确定在标记坐标系中定义的参考点与摄像头坐标系中的哪个点V2c(X2c，Y2c，Z2c)相对应。

图3描绘了从标记坐标系到摄像头坐标系的变换矩阵M，以及变换矩阵M中的旋转矩阵R。变换矩阵M为4×4矩阵。根据变换矩阵M与标记坐标系中的坐标Vm的列向量(Xm,Ym,Zm,1)的乘积，获得摄像头坐标系中的相应坐标Vc的列向量(Xc,Yc,Zc,1)。

也就是说，标记坐标系中要进行坐标变换(模型视图变换)的点坐标被列向量(Xm,Ym,Zm,1)代替，然后执行矩阵操作，从而获得包括摄像头坐标系中的点坐标的列向量(Xc,Yc,Zc,1)。

具有变换矩阵M的第一行至第三行以及第一列至第三列的子矩阵(旋转矩阵R)作用于标记坐标系中的坐标，使得执行用于使标记坐标系的定向与摄像头坐标系的定向一致的旋转操作。具有变换矩阵M的第一行至第三行以及第四列的子矩阵作用，以使得执行用于使标记坐标系的位置与摄像头坐标系的位置一致的平移操作。

图4描绘了旋转矩阵R1、R2和R3。注意，图3中所示的旋转矩阵R是通过旋转矩阵R1、R2和R3的乘积(R1·R2·R3)计算的。另外，旋转矩阵R1表示Xm轴相对于Xc轴的旋转。旋转矩阵R2表示Ym轴相对于Yc轴的旋转。旋转矩阵R3表示Zm轴相对于Zc轴的旋转。

旋转矩阵R1、R2和R3是基于捕获图像中的参考对象的图形生成的。也就是说，如之前所描述的，旋转角度P1c、Q1c和R1c是基于具有已知形状的参考对象在待处理的捕获图像中被捕获为何种图形来计算的。基于计算出的旋转角度P1c、Q1c和R1c，分别生成旋转矩阵R1、R2和R3。

通过基于变换矩阵M的模型视图变换，将构成AR对象E的每个点在标记坐标系中的坐标(Xm,Ym,Zm)变换成摄像头坐标系中的坐标(Xc,Yc,Zc)。例如，通过模型视图变换将坐标V2m变换成坐标V2c。通过模型视图变换获得的坐标(Xc,Yc,Zc)表示在摄像头存在于AR对象E存在的虚拟空间中时距摄像头的相对位置。

然后，将AR对象E的每个点在摄像头坐标系中的坐标变换成屏幕坐标系中的坐标。屏幕坐标系具有两个维度(Xs,Ys)。屏幕坐标系(Xs,Ys)例如以通过摄像头的图像捕获处理获得的捕获图像的中心作为原点(原点Os)。基于通过该坐标变换(透视变换)获得的每个点在屏幕坐标系中的坐标，生成用于以叠加在捕获图像上的方式显示AR对象E的图形。

例如基于摄像头的焦距f来执行从摄像头坐标系到屏幕坐标系的坐标变换(透视变换)。通过下面给出的公式1来确定屏幕坐标系中的与摄像头坐标系中的坐标(Xc,Yc,Zc)相对应的坐标的Xs坐标。通过下面给出的公式1和公式2来确定屏幕坐标系中的与摄像头坐标系中的坐标(Xc,Yc,Zc)相对应的坐标的Ys坐标。

Xs＝f·Xc/Zc (公式1)

Ys＝f·Yc/Zc (公式2)

基于通过对构成AR对象E的每个点的坐标(摄像头坐标系)进行透视变换所获得的坐标(屏幕坐标系)来生成AR对象E的图形。通过将纹理映射到通过插入构成AR对象E的多个点所获得的面上来生成AR对象E。在AR对象E所源于的AR模板中，定义了要插入哪个点以形成面并且定义了要将哪种纹理映射到哪个面。

通过上述的模型视图变换和透视变换，计算与标记坐标系中的坐标相对应的捕获图像上的坐标，并且通过利用所计算的坐标来生成根据摄像头的视点的AR对象E的图形。注意，所生成的AR对象E的图像被称为AR对象E的投影图像。AR对象E的投影图像被组合到捕获图像中，从而增强了提供给用户的视觉信息。

另外，以另一种方式，将AR对象E的投影图像显示在透射式显示器上。而且以这种方式，用户通过该显示器获得的真实空间中的图形与AR对象的投影图像一致，因而增强了提供给用户的视觉信息。

在实施方式中，通过具有摄像头功能和显示器功能的信息处理装置1来设置要对其应用上述AR技术的AR对象E的位置坐标和旋转坐标。信息处理装置1根据来自用户的输入来设置AR对象E的位置坐标和旋转坐标。特别地，在实施方式中，信息处理装置1设置与AR对象的旋转坐标相对应的姿态。

图5示出了真实空间中的对象的布置的示例。如图5所示，在真实空间中，布置了具有阀102的管道100和标记101。注意，在实施方式中，标记101是印刷品，在该印刷品中印有其中嵌入每个标记的标识信息的图像。标记101还被粘在墙等的上面。另外，管道100具有裂缝103。

针对这种方式的真实空间，可以想象的是：执行制作的操作者可以创建表示针对阀102的“查看阀是否关闭”的操作内容的AR内容以及表示阀102的旋转方向的AR内容。还可以想象的是：操作者可以创建表示给后续检查者的针对裂缝103的消息“裂缝！”的AR内容。

注意，在创建AR内容之后，检查操作者捕获包含标记101的图像，从而将对应于标记101的以叠加在捕获图像上的方式进行显示的AR内容提供给检查操作者。检查操作者能够在参考由AR内容表示的信息时执行检查操作。

在此，描述了用于在AR内容的创建(制作操作)中设置AR内容的创建和布置的方法。例如，操作者选择AR对象并且设置AR对象的布置位置和姿态。

例如，以用户从预先创建的AR模板中选择期望模板的方式来生成AR对象。关于位置指定，例如可以想象的是，用户指定在所显示的捕获图像中的位置。也就是说，执行位置指定的用户在上面显示有捕获图像的触摸屏上指定用户希望在其处显示AR对象E的投影图像的位置。另外，对于深度方向上的位置，可以执行以下操作：输入数值或在鸟瞰图图像中指定位置。在实施方式中，可以应用传统方法来指定AR内容的位置。

接下来，图6示出了当AR内容的姿态的设置不适当时的组合图像的示例。注意，组合图像是AR内容的投影图像以叠加在对应于真实空间的捕获图像上的方式进行显示的图像。标记201、阀202、裂缝203等的图形呈现在组合图像200中。另外，显示了AR内容204、AR内容205以及AR内容206的投影图像。

在此，AR内容205和AR内容206显示在各自的适当位置处。例如，AR内容206“裂缝！”被显示为表示裂缝203的位置。由于气球部分被显示为表示存在于AR内容206的右下方的裂缝203，所以可以说该姿态也是合适的。

相反，虽然将AR内容204布置在阀202附近，但是可以说布置位置是合适的而布置姿态是不合适的。例如，假定当在与图6的图垂直的平面上顺时针旋转把手时阀202关闭，而在逆时针旋转把手时阀202打开。

如果操作者必须查看阀是否关闭，优选地是以操作者能够识别把手在与图6的图垂直的平面上的顺时针旋转的方式来布置AR内容204。然而，由图6中的AR内容204表示的箭头似乎表示在与图6的图平行的平面上顺时针旋转把手。也就是说，在图6中，存在于真实空间中的阀的把手的旋转方向与由AR内容204表示的旋转方向彼此不一致。

也就是说，组合图像200的状态下的显示展现出在创建中没有适当地设置AR内容的姿态。在此情况下，存在下述可能性：参考以不合适的姿态显示的AR内容的检查操作者将执行错误的操作。

图7示出了当AR内容的姿态的设置适当时的组合图像的示例。如图6中一样，在组合图像210中描绘了标记201、阀202、裂缝203等的图形并且描绘了AR内容205和AR内容206的投影图像。在此，代替图6中的AR内容204，图7的组合图像210包含AR内容211。

AR内容211适当地表示阀的旋转方向。也就是说，已查看了组合图像210的检查操作者能够理解的是，可以通过在与图7的图垂直的平面上顺时针旋转把手来“查看阀是否关闭”。

在下面更详细地描述的每个实施方式中，当操作者设置AR对象的布置的姿态时，操作者沿其希望旋转AR对象的方向来旋转由操作者持有的信息处理装置。然后，信息处理装置获取关于其自身旋转的信息，并且在与AR对象的布置有关的姿态信息中反映该信息。因此，操作者可以直观地创建AR内容。

[第一实施方式]

首先，将描述根据第一实施方式的详细处理以及信息处理装置的配置等。图8是系统配置图示。在图8的示例中，示出了通信终端1-1和通信终端1-2作为信息处理装置的示例。下文中，通信终端1-1和通信终端1-2被统称为信息处理装置1。另外，信息处理装置1通过网络N与管理装置3通信。

信息处理装置1例如为具有成像装置的计算机，诸如平板个人计算机(PC)或智能手机。管理装置3例如为服务器计算机并且对信息处理装置1进行管理。网络N例如为因特网。注意，根据本实施方式的系统包括信息处理装置1和管理装置3。

信息处理装置1创建AR内容。信息处理装置1基于与信息处理装置1的旋转有关的旋转信息来生成表示布置在虚拟空间中的显示数据的布置姿态的姿态信息，并且信息处理装置1生成与姿态信息、显示数据以及用作虚拟空间中的参考的参考对象的标识信息相关联的设置信息。注意，示例性姿态信息为上述旋转坐标。也就是说，信息处理装置根据操作者所执行的旋转操作将与对该信息处理装置的旋转动作有关的旋转信息反映到与AR对象的布置姿态有关的旋转坐标中。

设置信息包括：表示AR内容的布置姿态的姿态信息；关于显示数据的显示信息；以及用于识别与AR内容相关联的标记的标识信息。设置信息还可以包括表示布置位置的位置信息。

姿态信息例如为标记坐标系中的旋转坐标Gm。另外，显示信息例如为识别AR模板的模板ID或模板中所描绘的文本信息。此外，标识信息例如为识别标记的标记ID。另外，位置信息例如为参考点的位置坐标Vm。

在此，给出由操作者执行的旋转操作的示例。如随后详细描述的，例如以其中包括操作者旋转信息处理装置1的操作作为示例。如果信息处理装置1设置有能够检测加速度和角速度的传感器，则该传感器可以检测信息处理装置1的旋转操作。另外，如在随后描述的第二实施方式中，还可以从由成像装置捕获的图像中检测旋转操作。

此外，给予终端装置的旋转操作不限于直接旋转终端装置的操作。例如，用户指示在触摸屏类型的显示器上显示的AR对象旋转的操作也是旋转操作的示例。在此情况下，信息处理装置1将输入到触摸屏的操作识别为旋转操作。另外，如果信息处理装置1具有声音识别功能，则可以将用户输入的声音信号检测为旋转操作。例如，当识别出用户的话语“向后旋转40度”时，该话语被检测为旋转操作(因此，沿z轴方向给出了40度的倾斜)。

相反，管理装置3管理针对信息处理装置1所创建的AR内容的设置信息。例如，如果完成了AR内容的创建，则信息处理装置1将针对所创建的AR内容的设置信息发送至管理装置3。一旦接收到设置信息，管理装置3就将设置信息存储在管理装置3的存储单元中。

另外，在信息处理装置1利用设置信息生成组合图像的情况下，信息处理装置1将对设置信息的请求发送至管理装置3。管理装置3响应于从信息处理装置1接收的请求而发送设置信息。注意，如随后所描述的，在AR显示中，除设置信息之外，还期望用于定义AR对象的模板的模板信息。因此，管理装置3将模板信息与设置信息一起发送至信息处理装置1。注意，随后将描述模板信息的细节。

接下来，将描述信息处理装置1的功能配置。图9是信息处理装置1的功能框图。信息处理装置1包括控制单元10、通信单元11、成像单元12、测量单元13、存储单元14以及显示单元15。另外，如果信息处理装置1不包括成像单元12，则可以通过通信而从另一成像装置获取捕获图像。在此情况下，利用另一成像装置捕获图像的位置来创建AR内容。

控制单元10控制整个信息处理装置1的各种处理。控制单元10还执行如随后所描述的AR内容的创建、组合图像的生成等。注意，控制单元10包括识别单元16、内容生成单元17以及图像生成单元18。

通信单元11与其它计算机进行通信。例如，通信单元11将所生成的设置信息发送至管理装置3。另外，为了生成组合图像，从管理装置3接收设置信息和模板信息。

成像单元12以预定数目的帧的间隔捕获图像。然后，成像单元12将捕获的图像输入到控制单元10。测量单元13测量信息处理装置1的旋转信息。然后，旋转信息被输入到控制单元10。

存储单元14在控制单元10的控制下存储各种信息。存储单元14存储创建AR内容时所生成的设置信息。另外，还临时存储例如标记管理信息的信息。注意，标记管理信息为与从输入图像中识别的标记有关的信息。随后将描述其细节。此外，除创建AR内容时所生成的设置信息之外，如果从管理装置3获取到模板信息和过去生成的设置信息，则存储单元14存储这些信息。

显示单元15显示由图像生成单元18生成的组合图像和其它图像。

识别单元16从输入图像中识别参考对象。在本实施方式中，识别单元16识别标记。例如，识别单元16使用预先确定了标记的形状的模板并且执行模板匹配，从而识别标记。可以应用其它已知的对象识别方法作为用于识别标记的方法。

此外，一旦识别出捕获图像中包括参考对象，识别单元16获取用于识别参考对象的标识信息。例如，获取标记ID。注意，标记ID是用于识别标记的标识信息。例如，在参考对象为标记的情况下，从黑和白的布置获取唯一的标记ID，在二维条形码的情况下也是同样的。可以应用其它已知的获取方法作为用于获取标记ID的方法。

另外，当识别参考对象时，识别单元16基于参考对象的图形来计算参考对象的位置坐标和旋转坐标。注意，参考对象的位置坐标和旋转坐标是摄像头坐标系中的值。此外，识别单元16基于参考对象的位置坐标和旋转坐标来生成变换矩阵M。

内容生成单元17生成设置信息。也就是说，内容生成单元17将位置信息和姿态信息、关于AR对象的显示数据以及标记的标识信息彼此相关联，并且生成设置信息。例如，内容生成单元17根据用户在屏幕上指定的点来计算摄像头坐标系中的相应三维位置。然后，基于变换矩阵将摄像头坐标系中的三维位置(Xc,Yc,Zc)变换到标记坐标系中。假定变换之后的三维位置(Xm,Ym,Zm)为表示AR对象的布置位置的位置信息。

另外，内容生成单元17从测量单元13获取旋转信息。然后，内容生成单元17基于旋转信息来生成姿态信息。在此，在第一实施方式中，从信息处理装置1所设置的传感器获取旋转信息。注意，传感器为加速度传感器、陀螺仪传感器等。也就是说，传感器为利用其能够测量与信息处理装置1的旋转和姿态有关的信息的装置。

也就是说，在本实施方式中，内容生成单元17从传感器获取表示关于信息处理装置1所设置的三个轴方向中的每个轴方向的倾斜度的旋转信息。然后，基于所获取的旋转信息，内容生成单元17生成旋转坐标。注意，旋转坐标为示例性姿态信息。

例如，在信息处理装置1中，将显示器(显示单元15)布置在壳体的前面，并且在作为壳体的背面的相对面处设置有成像装置。成像装置被设置为使得视角的中心方向与显示器的面的法线方向一致。以上的三个轴方向被设置为使得：在信息处理装置1中，显示器的水平方向为第一轴方向，显示器的垂直方向为第二轴方向，以及成像装置的视角的中心方向为第三轴方向。

例如，内容生成单元17设置三个轴方向的倾斜度作为旋转坐标。通过设置三个轴方向中的每个轴方向的旋转信息的每个数值范围的值，内容生成单元17还将与其中包括由所获取的旋转信息表示的倾斜度的范围相对应的值设置为旋转坐标。例如，如果传感器的识别精度较低，则可以使用后者的设置方式。

图10A和图10B是用于说明旋转信息与姿态信息之间的关系的图示。图10A是用于说明旋转信息的图示。制作操作者持有信息处理装置1并且通过使用信息处理装置1来捕获标记M的图像。

识别单元16从图像中识别标记M并且获取标记M的标记ID。一旦接收到来自操作者的用于启动制作的输入，内容生成单元17就生成AR内容并且将识别出的标记与AR内容相关联。

在此，操作者使信息处理装置1旋转。然后，测量单元13测量关于信息处理装置1所设置的三个轴方向(Xt,Yt,Zt)中的每个轴方向的旋转量(θx,θy,θz)。注意，旋转量(θx,θy,θz)为示例性旋转信息。另外，虽然在测量单元13中被设置为参考的三个坐标轴方向(Xt,Yt,Zt)不必与形成关于成像装置的摄像头坐标系的三个轴(Xc,Yc,Zc)一致，但是二者可以一致。

图10B是用于说明姿态信息的图示。作为初始值，对内容C分配相对于构成标记坐标系的坐标轴(Xm,Ym,Zm)的旋转坐标(0,0,0)作为初始值。注意，如果访问实际地点的操作者后来对在管理装置3中简单设置的姿态信息进行调整并且从而最终创建了AR内容，则将在管理装置3中给出的旋转坐标用作初始值。

接下来，如果内容生成单元17获取了旋转量(θx,θy,θz)，则将旋转量(θx,θy,θz)反映在构成标记坐标系的轴(Xm,Ym,Zm)中。也就是说，设置姿态信息(θx,θy,θz)。注意，可以以将旋转信息添加至初始值的方式来设置姿态信息。例如，当在初始值为(θx1,θy1,θz1)的假定下获取旋转量(θx2,θy2,θz2)时，内容生成单元17设置姿态信息(θx1+θx2,θy1+θy2,θz1+θz2)。

注意，并行执行针对多个内容的制作操作，通过操作者预先指定要在其中反映姿态信息的内容C。针对指定的内容C，内容生成单元17设置在其中反映旋转量(θx,θy,θz)的姿态信息。

在此，测量单元13(传感器)以预定时间间隔将旋转信息输出到内容生成单元17。每当获取旋转信息时，内容生成单元17可以基于所获取的旋转信息来生成临时姿态信息。此时，图像生成单元18利用临时姿态信息生成临时组合图像，并且将所生成的图像输出到显示单元15。制作操作者可以确认在当前时间点以叠加的方式进行显示的AR内容的状态。

另外，在第一实施方式中，从用户接收用于启动制作的输入和用于结束制作的输入。注意，如果在接收用于结束制作的输入之前识别单元16已经变得无法识别标记，则内容生成单元17可以中断生成姿态信息或者可以在之后继续生成姿态信息。

一旦接收到用于结束制作的输入，内容生成单元17基于接收到用于结束制作的输入时的旋转信息来生成最终姿态信息。另外，可以采用紧接在用于结束制作的输入之前所生成的临时姿态信息作为最终姿态信息。

图像生成单元18基于设置信息和模板信息来生成组合图像。注意，利用通过识别单元16生成的变换矩阵M来生成组合图像。另外，图像生成单元18生成除组合图像之外的各种图像。例如，显示用于模板选择的图像，在图像中预先准备有模板列表。注意，随后将描述用于模板选择的图像。图像生成单元18通过控制显示单元15来显示所生成的图像。

接下来，将描述各种信息。图11示出了标记管理表格。标记管理表格存储标记管理信息。注意，标记管理信息为与从包含在输入图像中的标记的图形所获得的识别结果有关的信息。一旦识别出标记，识别单元16将标记管理信息存储在标记管理表格中。

标记管理表格管理信息，例如标记ID、摄像头坐标系中的坐标(Xc,Yc,Zc,Pc,Qc,Rc)以及通过识别单元16所识别出的标记中的每个标记的内容添加标志。

根据标记管理信息，本实施方式中的标记的标记ID为“M1”，位置坐标为(X1c,Y1c,Z1c)，以及旋转坐标为(P1c,Q1c,R1c)。内容添加标志为用于识别内容要添加或更新的标记的信息。例如，当创建与具有标记ID“M1”的标记相关联的AR内容时，将对应于标记ID“M1”的内容添加标志设置为“1”。

图12示出了模板信息表格。模板信息表格存储用于定义用作AR对象的模型数据的每个模板的模板信息。模板信息包括模板的标识信息(模板ID)、构成模板的每个顶点T21的坐标信息以及构成模板的每个面T22的配置信息(顶点的顺序和纹理ID的指定)。

顶点的顺序表示构成面的顶点的顺序。纹理ID表示映射到面的纹理的标识信息。模板的参考点例如为第零个顶点。使用模板信息表格中表示的信息，定义三维模型的形状和图案。

图13示出了设置信息表格。AR内容信息表格存储关于AR内容的设置信息。在设置信息表格中，存储AR内容的内容ID、参考点在标记坐标系中的位置坐标(Xm,Ym,Zm)以及在标记坐标系中的旋转坐标(Pm,Qm,Rm)、关于AR模板的放大率D(Jx,Jy,Jz)、AR模板的模板ID、标记ID以及附加信息。

存储在设置信息表格中的位置坐标为标记坐标系中的如下坐标：该坐标为关于通过存储在与该位置坐标相同的记录中的标记ID所标识的标记的坐标。注意，一旦从制作操作者接收到表示AR内容的布置位置的位置指定，内容生成单元17如期望的那样将位置变换到标记坐标系中的坐标，并且将这些坐标存储在设置信息表格中。

另外，在本实施方式中，内容生成单元17基于从测量单元13获取的旋转信息来生成姿态信息。也就是说，内容生成单元17生成旋转坐标(Pm,Qm,Rm)作为姿态信息。

当图像生成单元18生成AR对象E的投影图像时，基于设置信息(位置、定向和尺寸)来调整图13中所示的AR模板。也就是说，通过在设置信息表格T3中管理的设置信息来指定AR对象E的位置、姿态和尺寸。另外，附加信息为添加到AR对象E的信息。作为附加信息，使用文本、对网页或文件的访问信息等。

例如，图13中所示的、内容ID为“C1”的AR内容包括以如下方式所获得的顶点：在AR模板“T1”中定义的每个顶点的坐标沿相应的Xm，Ym和Zm方向延伸，通过旋转坐标(Pm1,Qm1,Rm1)进行旋转以及根据位置坐标(Xm1,Ym1,Zm1)进行平移。此外，针对AR内容，将附加信息映射到构成AR对象E的面。

如之前所描述的，内容生成单元17生成设置信息并且将设置信息存储在存储单元14的设置信息表格中。注意，尽管设置信息表格存储与新生成的AR内容有关的设置信息，但是设置信息表格还可以使过去生成的设置信息与上述设置信息一起存储。

注意，从管理装置3获取过去生成的设置信息。例如，甚至在创建AR内容时，也将包含针对认为要与AR内容新关联的标记在过去创建的设置信息的组合图片提供给用户。因此，在识别过去生成的AR内容的布置的情况下，创建AR内容的用户可以另外地创建新的AR内容。

接下来，将描述关于本实施方式的各种处理的流程。图14示出了通过位置指定程序执行的处理的流程。设置信息生成程序为其中定义了通过控制单元10执行的设置信息生成处理的过程的程序。

一旦启动设置信息生成程序，控制单元10执行预处理(Op.101)。在Op.101的处理中，从管理装置3获取模板信息和过去生成的设置信息。

当执行了Op.101的预处理时，然后控制单元10发出用于激活AR显示模式的指令(Op.102)。在Op.102中，控制单元10例如使成像单元12以预定时间间隔启动图像捕获并且使识别单元16启动针对捕获图像的标记检测处理。此外，控制单元10使显示单元15显示由成像单元12获得的捕获图像。

当从控制单元10指示成像单元12捕获图像时，成像单元12以预定时间间隔获取通过使用成像装置所生成的图像，并且将所获取的图像存储在存储单元14中。存储单元14设置有存储多个图像的缓冲器，并且通过成像单元12所获得的图像被存储在缓冲器中。例如，设置在存储单元14中的缓冲器为其中存储有显示单元15将显示的图像的显示缓冲器。将存储在显示缓冲器中的图像顺次显示在显示单元15上。

识别单元16获取存储在设置于存储单元14中的缓冲器中的图像并且确定标记的特征是否包含在所获取的图像中(Op.103)。例如，识别单元16使用用于限定标记的形状的模板来执行模板匹配，从而识别该标记。识别单元16可以针对存储在缓冲器中的预定数目的图像中的一个图像来执行检测处理。

另外，识别单元16读取标记的标记ID。例如，基于与在对应于标记的图像区域内的亮度有关的信息执行标记ID的读取。例如，在标记具有四边形形状的情况下，对于通过对识别为标记框的四边形图像区域进行划分所获得的区域，将亮度具有等于或大于预定值的值的区域设置为“1”，而将亮度具有小于预定值的值的区域设置为“0”，并且以预定顺序针对每个区域确定该区域是“1”还是“0”，并且将通过该确定获得的信息列设置为标记ID。

另外，例如，在四边形框中亮度具有等于或大于预定值的值的区域和亮度具有小于预定值的值的区域的布置被设置为图案的情况下，可以使用对应于该图案的标记ID。此外，如果预先确定了用作标记ID的数值范围并且所读取的标记ID不在该数值范围内，则可以确定尚未读取该标记ID。

识别单元16将所读取的标记ID存储在存储单元14中所存储的标记管理表格中。此外，识别单元16向控制单元10通知该标记的图形的位置坐标(屏幕坐标系)。

如果识别单元16已经检测到标记(Op.103：是)，则执行标记识别处理(Op.104)。如果识别单元16尚未检测到标记(Op.103：否)，则确定是否已经给出用于结束程序的指令(Op.108)。如果尚未给出用于结束程序的指令(Op.108：否)，则控制单元10确定是否已经检测到标记(Op.103)。

图15示出了标记识别处理的处理过程的示例。一旦启动标记识别处理，在来自识别单元16的指令下，图像生成单元18在显示单元15的显示屏内的显示识别出的标记的位置处给出表示存在标记的突出(突出显示)(Op.201)。例如，通过在显示标记的位置处显示四边形框来执行突出，并且突出起到向用户通知检测到标记的作用。

识别单元16向图像生成单元18通知标记的位置坐标(屏幕坐标系)。图像生成单元18将要在显示单元15中显示的图像(显示缓冲器中的图像)与突出形状在根据来自识别单元16的通知的位置处组合。突出形状例如为显示要素，例如四边形红色框。

当执行了Op.201的处理时，然后识别单元16计算标记的位置坐标和旋转坐标(Op.202)。也就是说，计算用于生成变换矩阵M的信息。基于Op.103中检测到的标记的图形，识别单元16计算标记的位置坐标和旋转坐标(摄像头坐标系)。例如，基于图像中标记的图形的形状及其位置来计算标记的位置坐标和旋转坐标(摄像头坐标系)。将计算出的位置坐标和旋转坐标(摄像头坐标系)存储在标记管理表格中。

接下来，图像生成单元18执行用于显示与标记管理表格中登记的标记相关联的AR内容的处理(Op.203、Op.204、Op.205)。注意，如果从管理装置3中获取了与识别出的标记相关联的AR内容(过去创建的AR内容)，则执行用于显示AR内容的处理。显示与识别出的标记相关联的过去创建的AR内容。例如，显示在管理装置3侧简单创建的AR内容等。相反，如果不存在AR内容，则省略用于显示AR内容的处理。

图像生成单元18在设置信息表格中所登记的设置信息中查找包括登记在标记管理表格中的标记ID的设置信息。如果存在满足要求的AR内容，则图像生成单元18从设置信息表格中获取该设置信息。然后，读取与所获取的设置信息中所包括的模板ID相对应的模板信息表格。

然后，图像生成单元18使用变换矩阵M将通过模板信息定义的AR对象的每个点的坐标从标记坐标系变换到摄像头坐标系(Op.203)。然后，图像生成单元18将AR对象的每个点的坐标从摄像头坐标系变换到屏幕坐标系，从而生成AR对象的投影图像(Op.204)。

当生成了针对AR对象的投影图像时，图像生成单元18将投影图像与显示缓冲器中的捕获图像组合(Op.205)。当执行了Op.205的处理时，控制单元10使显示单元15显示编辑启动按钮(Op.206)。当执行了Op.206的处理时，控制单元10完成图15中所示的标记识别处理，并且返回图14中所示的位置指定处理的流程图的处理。

随后，控制单元10确定在Op.206中已经显示编辑启动按钮之后的预定时间段内是否检测到对编辑启动按钮的输入(Op.105)。如果检测到对编辑启动按钮的输入(Op.105：是)，则控制单元10执行图18所示的编辑处理(Op.106)。如果在该预定时间段内未检测到对编辑启动按钮的输入(Op.105：否)，则控制单元10确定控制单元10是否被指示来完成程序(Op.108)。

图16示出了编辑处理的处理过程的示例。注意，编辑处理也被称为姿态信息生成处理。一旦启动编辑处理，内容生成单元17根据来自制作操作者的输入生成显示数据(Op.301)。例如，在Op.301的处理之前，图像生成单元18显示模板选择画面。基于操作者所选择的模板，内容生成单元17生成显示数据。注意，在此，可以接收放大信息、附加信息等的输入。

接下来，内容生成单元17生成表示显示数据(AR对象)的布置位置的位置信息(Op.302)。例如，生成与由用户指定的位置相对应的、表示在标记坐标系中的坐标值的位置坐标。

注意，在编辑处理中，用于编辑位置信息的处理和用于编辑姿态信息的处理中的任一者或者这二者均能够由用户选择。例如，如果用户选择对位置信息进行编辑，则执行Op.302中的处理。另外，如果用户选择对姿态信息进行编辑，则执行Op.303、Op.304、Op.305、Op.306以及Op.307中的处理。此外，如果在完成位置信息的生成之后，用户进一步选择对姿态信息进行编辑，则可以在Op.302中的处理之后执行Op.303中的处理和Op.303之后的处理。注意，可以在用于编辑姿态信息的处理之后执行用于编辑位置信息的处理。

接下来，内容生成单元17激活传感器(Op.303)。也就是说，内容生成单元17激活测量单元13。然后，内容生成单元17从测量单元13获取旋转信息(Op.304)。例如，获取表示信息处理装置1相对于测量单元13中的参考轴的姿态的旋转信息(θx,θy,θz)。

内容生成单元17基于所获取的旋转信息生成临时姿态信息(Op.305)。接下来，图像生成单元18使用包括临时姿态信息、显示数据、位置信息等的临时设置信息来生成临时组合图像(Op.306)。注意，临时组合图像是以类似于之前描述的生成组合图像的方法生成的。另外，临时组合图像为其中基于临时设置信息的AR内容的投影图像以叠加在在如下时间点处获得的捕获图像上的方式进行显示的图像：该时间点为调用编辑处理(Op.105：是)时的时间点或者为与调用编辑处理时的时间点紧接的时间点。

显示单元15显示临时组合图像(Op.307)。接下来，内容生成单元17确定是否执行了完成编辑处理的输入(Op.308)。例如，当制作操作者执行了结束输入时，或者当标记已经变为无法识别时，内容生成单元17结束编辑处理。

如果编辑处理未结束(Op.308：否)，则内容生成单元17获取新的旋转信息并且重复Op.304至Op.307的处理。另外，如果编辑处理已结束(Op.308：是)，则内容生成单元17考虑紧接在输入编辑处理的结束之前的临时姿态信息作为最终确定的姿态信息，并且生成设置信息(Op.309)。也就是说，生成包括姿态信息、位置信息、显示数据、标记ID等的设置信息。

接下来，内容生成单元17将设置信息存储在存储单元14中(Op.310)。然后，内容生成单元17结束编辑处理。

当执行Op.310的处理时，控制单元10完成图16中所示的编辑处理，并且返回图14中所示的设置信息处理的流程图的处理。在控制单元10的控制下，通信单元11将所生成的AR内容信息发送至管理装置3(Op.107)。注意，通信单元11可以仅向管理装置3发送与存储单元14中的AR内容信息表格中的新创建AR内容有关的AR内容信息。

然后，如果在Op.108的处理中指示控制单元10完成程序(Op.108：是)，则控制单元10完成程序的处理。否则，如果未指示控制单元10完成程序(Op.108：否)，则控制单元10返回至Op.103的处理。

在此，描述模板选择画面。图17示出了模板选择画面的示例。在图16中所示的Op.301的处理中，显示模板选择画面S3。在模板选择画面上，显示能够用来选择多种类型的AR模板的一组按钮(按钮1至按钮9)。在模板选择画面的描述中，以基于在各个按钮区域中描绘的数字来识别按钮的方式描述模板选择画面。例如，其中描绘有数字“1”的方形按钮为“按钮1”。另外，模板选择画面包含除图17中所描绘的该组按钮之外的一组可选择按钮，并且包含用于执行滚动操作的滚动按钮B11以显示那些按钮组。另外，模板选择画面包含用于结束AR模板的选择的菜单关闭按钮B12。

按钮对应于各个相应模板ID。也就是说，设置了对应于相应按钮的模板信息表格。一旦对任何按钮进行输入，就选择了对应于该按钮的模板ID，并且基于所选择的模板ID来激活模板信息表格。

对话框类型的AR模板与按钮1相关联。在对话框类型的AR模板中，将文本信息添加到对话框形状的图形中。具有表示旋转方向的箭头的AR模板与按钮2相关联。

文本框类型的AR模板与按钮3相关联。在文本框类型的AR模板中，将文本信息添加到四边形的框状图形。图片类型的AR模板与按钮4相关联。在图片类型的AR模板中，将图像数据映射到四边形的框状图形中。将存储在存储单元14中的图像文件用作图像数据。

图像捕获类型的AR模板与按钮5相关联。图像捕获类型的AR模板是与图片类型的AR模板类似的AR模板；然而，这两种类型的区别在于从其获取图像数据的源不同。当使用图像捕获类型的AR模板时，激活图像捕获模式，并且由成像单元12执行图像捕获处理。使用图像捕获类型的AR模板，将通过图像捕获处理捕获的图像数据映射到四边形的框状图形中。使用图片类型的AR模板和图像捕获类型的AR模板所映射的图像数据可以是静态图像或动画。

按钮6是手写类型的AR模板。手写类型的AR模板是四边形的透明图形，并且此外通过手写操作来编辑图形的图案。按钮7是链接类型的AR模板，并且是与文本框类型的AR模板类似的模板。一旦选择链接类型的AR模板，则显示网页列表，并且将对从列表所选择的网页的访问信息添加到AR模板。例如，从网页浏览器的书签和访问历史来获取网页列表。

按钮8与图形类型的AR模板相关联。在图形类型的AR模板中定义三维立体模型图形。例如，响应于对按钮8的输入，可以执行用于选择立体模型图形的形状的画面显示。立体模型图形的形状例如为立方体、长方体、圆柱体、球体、圆锥体、三棱柱等。另外，响应于对按钮8的输入，可以激活计算机辅助设计(CAD)数据。作为CAD数据，例如选择存储在存储单元14中的CAD数据的文件。

按钮9与文件类型的AR模板相关联。文件类型的AR模板为对其映射表示文件的图标图像的四边形图形。一旦选择文件类型的AR模板，则选择存储单元14中的文件并且将到所选择文件的链接添加至AR模板。

如上所述，本实施方式中的信息处理装置1可以基于与信息处理装置1的旋转有关的旋转信息来设置AR内容的姿态。因此，制作操作者可以较直观地执行制作操作。

[第二实施方式]

在第二实施方式中，基于由成像装置捕获的图像来获得旋转信息。具体地，根据捕获图像之间标记的图形的变化来计算表示信息处理装置的旋转量的旋转信息。也就是说，根据第二实施方式的信息处理装置从第一输入图像中识别参考对象的第一图形，从与第一输入图像相比较迟地捕获的第二输入图像中识别参考对象的第二图形，并且基于第一图形和第二图形来生成旋转信息。第二实施方式中的旋转信息为捕获第一输入图像时的图像捕获方向与捕获第二输入图像时的图像捕获方向之间的差异。

图18是根据第二实施方式的信息处理装置2的功能框图。注意，由相似的附图标记表示用于执行与根据第一实施方式的处理单元的处理类似的处理的处理单元，并且省略其描述。

信息处理装置2包括控制单元20、通信单元11、成像单元12、存储单元14以及显示单元15。注意，控制单元20控制整个信息处理装置2的处理。控制单元20具有识别单元16、计算单元21、内容生成单元22以及图像生成单元18。

计算单元21根据多个输入图像来计算旋转信息以生成姿态信息。也就是说，计算单元将从第一输入图像提取的特征点与从第二输入图像提取的特征点相关联。然后，计算单元21根据相应特征点的位置的变化来获得成像装置的旋转量和移动量。

具体地，根据第一输入图像和第二输入图像之间参考对象的图形的变化来计算信息处理装置2的旋转量。第一输入图像为启动编辑处理时的时间点处所捕获的图像或者在与非常靠近启动时间点的时间点处所捕获的图像。第二输入图像为晚于第一输入图像捕获的图像。例如，第二输入图像为在输入编辑处理的完成的时间点处所捕获的图像或者为在接近完成时间点的时间点处所捕获的图像。

在此，描述用于计算旋转信息的方法。图19A和图19B是说明用于计算旋转信息的方法的图示。图19A包含第一输入图像以及第一输入图像中的标记的图形。图19B包含第二输入图像以及第二输入图像中的标记的图形。

首先，一旦识别出标记，识别单元16将与预设特征点的位置有关的信息输出到计算单元21。在本实施方式中，将标记的四个角的位置坐标输出到计算单元21。例如，计算单元21获取第一输入图像中的特征点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)。接下来，计算单元21基于下面给出的公式3和公式4针对每个轴方向(屏幕坐标系)来获得与标记的每侧相对应的矢量。

此外，基于屏幕坐标系中的每个矢量，通过根据下面给出的公式5的外积计算来确定沿z轴方向的矢量。

接下来，当获取第二输入图像中的特征点的坐标(x1',y1')，(x2',y2')，(x3',y3')，(x4',y4')时，根据下面给出的公式6、公式7以及公式8来获得第二输入图像中沿轴方向的矢量。注意，可以在标记的预定位置处设置用于校准的图案。例如，在标记的右下位置处添加图案使得：甚至当信息处理装置在图像之间旋转180度时，也能够使第一输入图像中的特征点与第二输入图像中的特征点相关联。

利用分别从第一输入图像和第二输入图像中获得的矢量，计算单元21分别基于下面给出的公式9、公式10以及公式11来确定信息处理装置的旋转量(θx,θy,θz)中的项。注意，旋转量为示例性旋转信息。

内容生成单元22基于计算单元21所计算出的旋转信息来生成姿态信息。例如，如在第一实施方式中一样，将作为示例性旋转信息的旋转量反映在作为示例性姿态信息的旋转坐标中。另外，如在第一实施方式中一样，姿态信息为表示相对于构成标记坐标系的每个轴的倾斜度的信息。然后，内容生成单元22生成包括姿态信息、位置信息等的设置信息。

接下来，使用图20和图21来描述根据第二实施方式的编辑处理。图20和图21示出了编辑处理的处理过程示例。注意，除编辑处理之外的处理的处理过程与第一实施方式中的处理过程类似。也就是说，执行图14和图15中所示的处理。

在图14中，当调用编辑处理时(Op.105：是)，控制单元20执行图20中所示的编辑处理。注意，由相似的附图标记表示与第一实施方式中的编辑处理类似的处理，并且省略其描述。此外，还如在第一实施方式中一样，位置信息的编辑处理和姿态信息的编辑处理中的任一者或二者均能够由用户选择。

首先，一旦启动编辑处理，则内容生成单元22根据来自制作操作者的输入生成显示数据(Op.301)。接下来，内容生成单元22生成表示显示数据(AR对象)的布置位置的位置信息(Op.302)。

接下来，识别单元16从成像单元12获取第一输入图像(Op.401)。注意，第一输入图像是在编辑处理启动时的时间点处所捕获的图像或者在与启动的时间点紧接的时间点处所捕获的图像。然后，从第一输入图像中识别参考对象的图形(Op.402)。例如，识别标记。注意，如果在该时间点处不能识别标记，则可以使用其中输出错误消息等的配置。

接下来，计算单元21基于第一输入图像中的标记的特征点的坐标来计算第一矢量(Op.403)。接下来，识别单元16获取晚于第一输入图像捕获的第二输入图像(Op.404)。

然后，如在Op.402中一样，识别单元16从第二输入图像中识别标记(Op.405)。然后，如在Op.403中一样，计算单元21基于第二输入图像中的标记的特征点的坐标来计算第二矢量(Op.406)。

然后，计算单元21基于第一矢量和第二矢量来计算表示信息处理装置2的旋转量的旋转信息(Op.407)。注意，例如使用参照图19A和图19B所描述的方法来执行Op.403、Op.406以及Op.407中的各种处理。

接下来，内容生成单元22基于所计算的旋转信息来生成临时姿态信息(Op.408)。接下来，图像生成单元18使用包括临时姿态信息、显示数据、位置信息等的临时设置信息来生成临时组合图像(Op.306)。显示单元15显示临时组合图像(Op.307)。

接下来，内容生成单元22确定是否输入了结束编辑处理(Op.308)。例如，如果制作操作者执行了结束的输入，则内容生成单元22结束编辑处理。另外，如果标记已经变为无法识别，则不能获取包含标记的输入图像，并且因此内容生成单元22结束编辑处理。

如果编辑处理未结束(Op.308：否)，则内容生成单元22获取新的第二输入图像(Op.404)并且重复Op.405到Op.408以及Op.306到Op.308的处理。也就是说，内容生成单元22在不破坏从第一输入图像获得的第一矢量的情况下获得新的第二矢量，从而计算新的旋转信息。

另外，如果编辑处理结束(Op.308：是)，则内容生成单元22在如下假定下生成设置信息：在紧接结束编辑处理的输入之前的临时姿态信息为最终确定的姿态信息(Op.309)。也就是说，生成包括姿态信息、位置信息、显示数据、标记ID等的设置信息。接下来，内容生成单元22将设置信息存储在存储单元14中(Op.310)。然后，内容生成单元22结束编辑处理。

如上所述，根据本实施方式的信息处理装置2可以基于图像来计算自身的旋转信息。然后，可以基于所计算的旋转信息来生成姿态信息。因此，即使利用例如未设置有例如传感器等的仪器的信息处理装置2，制作操作者也可以通过仅将旋转添加到制作操作者持有的信息处理装置而容易地执行AR内容的制作。

[硬件配置的示例]

将描述每个实施方式中示出的信息处理装置1或2以及管理装置3的硬件配置。图22示出了每个实施方式的信息处理装置的硬件配置的示例。通过计算机300实现每个实施方式中的信息处理装置1或2。例如通过图22中所示的硬件配置来实现图9和图18中所示的功能块。计算机300例如包括处理器301、随机存取存储器(RAM)302、只读存储器(ROM)303、驱动装置304、存储介质305、输入接口(输入I/F)306、输入装置307、输出接口(输出I/F)308、输出装置309、通信接口(通信I/F)310、摄像头模块311、加速度传感器312、角速度传感器313、显示接口(显示I/F)314、显示装置315、总线316等。通过总线316连接每件硬件。

通信接口310通过网络3来控制通信。通过通信接口310所控制的通信可以为通过利用无线通信的无线基站来访问网络N的方式。通信接口310的示例为网络接口卡(NIC)。输入接口306连接至输入装置307，并且输入接口306将从输入装置307接收的输入信号发送至处理器301。输出接口308连接至输出装置309，并且输出接口308使输出装置309根据处理器301的指令执行输出。输入接口306和输出接口308的示例为输入/输出(I/O)控制器。

输入装置307为响应于操作而发送输入信号的装置。输入装置307例如为附接至计算机300的主体的按键装置(例如键盘或按钮)，或者为定位装置(例如鼠标或触摸屏)。输出装置309为根据处理器301的控制而输出信息的装置。输出装置309例如为声音输出装置，如扬声器。

显示接口314连接至显示装置315。显示接口314使显示装置315显示已经由处理器301写入设置在显示接口314中的显示缓冲器中的图像信息。显示接口314的示例为显卡或图形芯片。显示装置315为根据处理器301的控制而输出信息的装置。作为显示装置315，使用图像输出装置，例如显示器、透射式显示器等。

在使用透射式显示器的情况下，AR内容的投影图像例如可以被控制为显示在透射式显示器中的适当位置处而不与捕获图像组合。这使用户能够获得对真实空间与AR内容彼此一致的状态的视觉感知。另外，例如将输入输出装置(如触摸屏)用作输入装置307以及显示装置315。另外，代替将输入装置307以及显示装置315集成在计算机300内部，例如可以将输入装置307以及显示装置315从计算机300外部连接至计算机300。

RAM 302为可读写的存储装置，并且例如可以使用半导体存储器(如静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM))或除RAM之外的闪速存储器。ROM 303的示例包括可编程只读存储器(PROM)。

驱动装置304为执行存储在存储介质305中的信息的读取和写入中的至少一个的装置。存储介质305存储由驱动装置304写入的信息。存储介质305例如为以下多种存储介质中的至少一种：例如，硬盘、固态驱动器(SSD)、光盘(CD)、数字通用光盘(DVD)以及蓝光光盘。另外，例如计算机300包括与计算机300中的存储介质305的种类相对应的驱动装置304。

摄像头模块311包括成像装置(图像传感器)，并且摄像头模块311例如将通过由成像装置执行的光电转换所获得的数据写入包括在摄像头模块311中的输入图像图像缓冲器中。加速度传感器312测量作用于加速度传感器312的加速度。角速度传感器313测量由角速度传感器313执行的操作的角速度。

处理器301将存储在ROM 303或存储介质305中的程序读取到RAM 302，并且根据所读取的程序的过程来执行处理。例如，以处理器301基于图14、图15、图16、图20和图21中所示的设置信息生成程序来控制其他硬件的方式实现控制单元10的功能。以处理器301控制通信接口310执行数据通信并且将所接收的数据存储在存储介质305中的方式实现通信单元11的功能。

以如下方式实现存储单元14的功能：ROM 303和存储介质305存储程序文件和数据文件，并且RAM 302被用作处理器301的工作区域。例如将设置信息、模板信息等存储在RAM302中。

以如下方式实现成像单元12的功能：摄像头模块311将图像数据写入输入图像图像缓冲器，并且处理器301读取输入图像图像缓冲器中的图像数据。在监视模式下，例如，将图像数据写入输入图像图像缓冲器并且同时将其写入显示装置315的显示缓冲器。

另外，以如下方式来实现显示单元15的功能：将由处理器301生成的图像数据写入包括在显示接口314中的显示缓冲器，并且显示装置315对显示缓冲器中的图像数据进行显示。

接下来，图23示出了在计算机300上运行的程序的配置的示例。在计算机300上，运行用于控制硬件组的操作系统(OS)502。处理器301在根据OS 502的过程中运行以执行对硬件(HW)501的控制和管理，使得在HW 501上执行通过应用程序(AP)504或中间件(MW)503进行的处理。

在计算机300上，例如将诸如OS 502、MW 503和AP 504的程序读取到RAM 302并且由处理器301执行该程序。另外，包括在每个实施方式中所示的设置信息生成程序的AR控制程序例如为来自AP 504的作为MW 503激活的程序。

可替代地，例如包括设置信息生成程序的AR控制程序为将AR功能实现为AP 504的程序。AR控制程序存储在存储介质305中。下述状态下的存储介质305可以独立于计算机300的主体进行传播：在该状态下，单独存储根据本实施方式的设置信息生成程序或者存储包括设置信息生成程序的AR控制程序。

接下来，将描述每个实施方式中的管理装置3的硬件配置。图24是每个实施方式的管理装置的硬件配置的示例。由计算机400实现管理装置3。例如，通过图24中所示的硬件配置来实现管理装置3。计算机400包括例如处理器401、RAM 402、ROM 403、驱动装置404、存储介质405、输入接口(输入I/F)406、输入装置407、输出接口(输出I/F)408、输出装置409、通信接口(通信I/F)410、存储域网络(SAN)接口(SAN I/F)411、总线412等。通过总线412来连接每件硬件。

例如，处理器401为类似于处理器301的硬件。RAM 402为例如类似于RAM 302的硬件。ROM 403为例如类似于ROM 303的硬件。驱动装置404为例如类似于驱动装置304的硬件。存储介质405为例如类似于存储介质305的硬件。输入接口(输入I/F)406为例如类似于输入接口306的硬件。输入装置407为例如类似于输入装置307的硬件。

输出接口(输出I/F)408为例如类似于输出接口(输出I/F)308的硬件。输出装置409为例如类似于输出装置309的硬件。通信接口(通信I/F)410为例如类似于通信接口310的硬件。存储域网络(SAN)接口(SAN I/F)411为用于将计算机400连接至SAN的接口，并且接口411包括主机总线适配器(HBA)。

处理器401将存储在ROM 403或存储介质405中的管理程序读取到RAM 402，并且根据所读取的管理程序的过程来执行处理。在这点上，将RAM 402用作处理器401的工作区域。注意，管理程序包括根据管理装置3中的设置信息生成处理的设置信息生成程序。

ROM 403和存储介质405存储程序文件和数据文件，或者将RAM 402用作处理器401的工作区域，使得管理装置3存储各种信息。另外，处理器401对通信接口410进行控制以执行通信处理。

注意，管理装置3的功能配置包括：通信单元，该通信单元被配置成从信息处理装置获取与姿态信息、显示数据以及参考对象的标识信息相关联的设置信息，该姿态信息表示布置在关于参考对象的空间中的显示数据的布置姿态，该布置姿态是基于与信息处理装置的旋转有关的旋转信息而生成的；以及存储单元，该存储单元被配置成存储所获取的设置信息。管理装置3还包括控制单元，该控制单元被配置成控制各种处理。例如，通过通信接口410来实现通信单元。例如，通过ROM 403和存储介质405来实现存储单元。此外，例如，通过处理器401来实现控制单元。

附图标记

1 信息处理装置

10 控制单元

11 通信单元

12 成像单元

13 测量单元

14 存储单元

15 显示单元

16 识别单元

17 内容生成单元

18 图像生成单元

2 信息处理装置

20 控制单元

21 计算单元

22 内容生成单元

3 管理装置

Claims

1.一种通过计算机执行的设置方法，包括：

获取第一输入图像数据；

在从所述第一输入图像数据检测到参考对象时，获取要与所述参考对象相关联并且要在从另一输入图像中检测到所述参考对象时基于设置信息进行显示的显示数据；

基于旋转信息，通过所述计算机生成姿态信息，所述姿态信息表示所述显示数据相对于所述参考对象的显示倾斜度，所述旋转信息表示用户在所述设置信息的调整过程中施加于所述计算机的旋转的幅度；

基于所述用户对所述显示数据的布置姿态的确认，将包括与所述参考对象的标识信息相关联的所述姿态信息和所述显示数据的所述设置信息存储在存储单元中；

在所述调整过程完成之后获取另一输入图像数据；

在从所述另一输入图像数据检测到所述参考对象时，从所述存储单元检索所述设置信息；

基于与所述另一输入图像数据中的所述参考对象相对应的区域的图形来确定当前位置信息；以及

基于所述当前位置信息和在所述调整过程中生成的所述设置信息两者来显示所述显示数据，使得相对于所述另一输入图像数据中的所述参考对象以对应于所述显示倾斜度的倾斜度显示所述显示数据。

2.根据权利要求1所述的设置方法，其中，所述旋转信息表示在从所述第一输入图像数据中检测到所述参考对象时的第一时间点和晚于所述第一时间点的第二时间点之间施加于所述计算机的旋转的幅度。

3.根据权利要求1或2所述的设置方法，其中，所述布置姿态表示所述显示数据相对于关于所述参考对象的三维空间的每个参考轴的倾斜度。

4.根据权利要求1或2所述的设置方法，还包括：

当从所述第一输入图像数据中检测到所述参考对象时，从所述第一输入图像数据中获取所述参考对象的第一图形；

当从与所述第一输入图像数据相比稍后输入的第二输入图像数据中检测到所述参考对象时，从所述第二输入图像数据中获取所述参考对象的第二图形；以及

基于所述第一图形与所述第二图形之间的差异来生成所述旋转信息。

5.根据权利要求4所述的设置方法，其中，

所述第一输入图像数据和所述第二输入图像数据是从安装在所述计算机上的成像装置输入的，以及

所述旋转信息是基于在捕获所述第一输入图像数据时的第一时间处所述成像装置的第一捕获方向与在捕获所述第二输入图像数据时的第二时间处所述成像装置的第二捕获方向之间的差异的。

6.根据权利要求1或2所述的设置方法，还包括：

从传感器获取所述旋转信息，所述传感器安装在所述计算机上并且测量相对于设置在所述计算机中的参考轴的倾斜度。

7.根据权利要求1或2所述的设置方法，其中，所述姿态信息为所述旋转信息。

8.根据权利要求1或2所述的设置方法，其中，所述姿态信息是根据如下范围来设置的：该范围是针对由所述旋转信息表示的旋转的每个幅度而预先设置的。

9.一种信息处理装置，包括：

第一获取单元，被配置成获取第一输入图像数据，以及在从所述第一输入图像数据检测到参考对象时，获取要与所述参考对象相关联并且要在从另一输入图像中检测到所述参考对象时基于设置信息进行显示的显示数据；

生成单元，被配置成基于旋转信息，通过计算机生成姿态信息，所述姿态信息表示所述显示数据相对于所述参考对象的显示倾斜度，所述旋转信息表示用户在所述设置信息的调整过程中施加于所述计算机的旋转的幅度；以及

储存单元，被配置成基于所述用户对所述显示数据的布置姿态的确认，将包括与所述参考对象的标识信息相关联的所述姿态信息和所述显示数据的所述设置信息存储在所述存储单元中，

其中，所述第一获取单元还被配置成在所述调整过程完成之后获取另一输入图像数据，在从所述另一输入图像数据检测到所述参考对象时，从所述存储单元检索所述设置信息，以及基于与所述另一输入图像数据中的所述参考对象相对应的区域的图形来确定当前位置信息，并且

所述信息处理装置还包括显示单元，所述显示单元被配置为基于所述当前位置信息和在所述调整过程中生成的所述设置信息两者来显示所述显示数据，使得相对于所述另一输入图像数据中的所述参考对象以对应于所述显示倾斜度的倾斜度显示所述显示数据。

10.根据权利要求9所述的信息处理装置，其中，所述旋转信息表示从所述第一输入图像数据中检测到所述参考对象时的第一时间点和晚于所述第一时间点的第二时间点之间施加于所述计算机的旋转的幅度。

11.根据权利要求9或10所述的信息处理装置，其中，所述布置姿态表示所述显示数据相对于关于所述参考对象的三维空间的每个参考轴的倾斜度。

12.根据权利要求9或10所述的信息处理装置，还包括：

第二获取单元，所述第二获取单元被配置成：当从所述第一输入图像数据中检测到所述参考对象时，从所述第一输入图像数据中获取所述参考对象的第一图形；以及当从与所述第一输入图像数据相比稍后输入的第二输入图像数据中检测到所述参考对象时，从所述第二输入图像数据中获取所述参考对象的第二图形；以及

其中，所述生成单元基于所述第一图形与所述第二图形之间的差异来生成所述旋转信息。

13.根据权利要求12所述的信息处理装置，其中，

14.根据权利要求9或10所述的信息处理装置，还包括：

第三获取单元，被配置成从传感器获取所述旋转信息，所述传感器安装在所述计算机上并且测量相对于设置在所述计算机中的参考轴的倾斜度。

15.根据权利要求9或10所述的信息处理装置，其中，所述姿态信息为所述旋转信息。