CN103198286A - 信息处理终端、信息处理方法和程序 - Google Patents

Abstract

本发明提供了一种信息处理终端、信息处理方法和程序。所述信息处理终端包括：识别单元，其识别投射在图像上的标识符；获取单元，其获取与所述标识符相对应的对象的数据；处理单元，其根据所述信息处理终端自身与基于所述图像所指定的所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据所述信息处理终端自身与基于传感器数据所指定的所述标识符之间的位置关系来改变所述对象的方位；以及显示控制单元，其使得以叠加方式显示在所述图像上根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。

Description

信息处理终端、信息处理方法和程序

技术领域

本发明涉及一种信息处理终端、信息处理方法和程序，尤其涉及一种即使在不再能够识别标识符的情况下也能够连续显示与该标识符相对应的信息的信息处理终端、信息处理方法和程序。

背景技术

近年来，与扩展现实感(或AR(增强现实))有关的技术已受到关注。在AR应用中存在如下应用，其中该应用对用户使用所谓的智能手机等拍摄的图像中的对象进行识别，并且以叠加方式在所拍摄图像中显示与识别出的对象有关的信息。

例如，通过拍摄打印在产品的广告海报上的二维标记，用户可以从叠加显示在显示器上的海报图像上的信息中找到产品的详细内容。这种二维标记利用具有白色区域和黑色区域的图案来表示预定信息。通过对期望表现的信息进行编码，确定了具有白色区域和黑色区域的图案。日本未审查专利申请公开2011-204047为上述现有技术的示例。

发明内容

在通过识别二维标记来显示信息的标记型AR应用中，当然需要将二维标记投射在所拍摄图像上。

因而，例如，在识别出二维标记时连续显示与该二维标记相对应的信息的情况下，如果此时已投射的二维标记偏离图像，则停止该二维标记的识别，并且结束信息的显示。

期望即使在不再能够识别标识符的情况下也能够连续显示与该标识符相对应的信息。

根据本发明的实施例，提供一种信息处理终端，包括：识别单元，其识别投射在图像上的标识符；获取单元，其获取与所述标识符相对应的对象的数据；处理单元，其根据基于所述图像所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位；以及显示控制单元，其使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。不仅可以改变对象的方位，而且可以改变对象的显示大小。

还可以设置拍摄单元。在这种情况下，识别单元可以对投射在由拍摄单元所拍摄的图像上的标识符进行识别。

在不再能够识别标识符的情况下，处理单元可以根据基于最后能够识别出标识符时和之后检测到的传感器数据所指定的信息处理终端自身与标识符之间的位置关系来改变对象的方位。

还可以设置有用于检测传感器数据的传感器单元。

传感器单元可以包括陀螺仪传感器。

标识符可以是包括具有不同颜色的区域的二维码。

根据本发明的另一实施例，提供一种信息处理方法，包括：识别投射在图像上的标识符以及获取与该标识符相对应的对象的数据。另外，进行如下处理：根据基于所述图像所指定的信息处理终端自身与标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方向；以及使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的对象。

根据本发明，即使在不再能够识别标识符的情况下，也能够连续显示与该标识符相对应的信息。

附图说明

图1是示出根据本发明实施例的信息处理终端的正面的配置示例的图；

图2是示出根据本发明实施例的信息处理终端的背面的配置示例的图；

图3是示出根据本发明实施例的二维标记的示例的图；

图4是示出根据本发明实施例的3维（3D）对象的示例的图；

图5是示出根据本发明实施例的打印有二维标记的纸张所放置的实空间的立体图；

图6是示出根据本发明实施例的显示单元的显示示例的图；

图7是示出根据本发明实施例的显示单元的另一显示示例的图；

图8是示出根据本发明实施例的显示单元的又一显示示例的图；

图9是示出根据本发明实施例的信息处理终端与二维标记之间的位置关系的图；

图10是示出根据本发明实施例的显示单元的显示示例的图；

图11是示出根据本发明实施例的信息处理终端的硬件配置示例的图；

图12是示出根据本发明实施例的由陀螺仪传感器所测量到的角速度的图；

图13是示出根据本发明实施例的控制单元的功能配置示例的框图；

图14是用于说明根据本发明实施例的由信息处理终端所进行的3D对象显示处理的流程图；

图15是用于说明根据本发明实施例的图14的步骤S6中进行的旋转矩阵计算处理的流程图；

图16是示出根据本发明实施例的坐标系的示例的图；

图17是示出根据本发明实施例的基于传感器数据的旋转矩阵的计算的图；以及

图18是示出根据本发明实施例的计算机的配置示例的框图。

具体实施方式

信息处理终端的外观构造

图1是示出根据本发明实施例的信息处理终端的外观的示例的图。

信息处理终端1是诸如所谓的智能手机的移动终端，该移动终端的壳体的大小足够大以由用户单手把持。在信息处理终端1的壳体的正面1A上，设置有包括LCD(液晶显示器)等的显示单元11。在显示单元11上，层压有触摸面板，并且用户可以通过利用手指直接触摸显示单元11上所显示的按钮等来进行各种操作。

如图2所示，在信息处理终端1的壳体的背面1B上设置有摄像头12。通过摄像头12拍摄的图像(所拍摄图像)被实时地显示在显示单元11上。用户观看显示单元11上的显示，然后可以识别所拍摄图像中的对象。

具有上述外观构造的信息处理终端1配备有识别二维标记的功能。当识别出所拍摄图像中的二维标记时，信息处理终端1获取与所识别出的二维标记相对应的信息，并且以叠加方式在所拍摄图像上显示所获取的图像。

如后面所述，经由因特网等获取3D对象的数据作为与该二维标记相对应的信息，然后以叠加方式在所拍摄图像上显示该数据。3D对象的方位和位置基于二维标记和信息处理终端1之间的位置关系而改变。

二维标记的示例

图3是示出二维标记的示例的图。

以如下方式配置二维标记21：白色区域和黑色区域被布置在由虚线表示的范围内。作为具有大致正方形形状的黑色区域的标记M1表示二维标记21的左上角并且标记M2表示二维标记21的左下角。标记M3表示二维标记21的右下角，并且标记M4表示二维标记21的右上角。被布置在标记M2和标记M3的下方并且具有矩形形状的标记M5表示二维标记21的方位的基准，其中该矩形在长边方向上的长度与二维标记21在左右方向上的长度基本相同。

在将二维标记21投射至所拍摄图像上时，信息处理终端1可以根据标记M1~M4的位置指定二维标记21在实空间内的范围。另外，信息处理终端1可以根据标记M5的位置指定二维标记21在实空间内的方位。

布置在标记M1与标记M2之间的标记M11的形状和布置在标记M2与标记M3之间的标记M12的形状表示识别信息。信息处理终端1识别标记M11的形状和标记M12的形状，并且获取与由所识别出的形状所表示的识别信息相对应的3D对象的数据作为对应于二维标记21的信息。使用二维标记21的识别信息的表现方法不限于使用标记M12的形状的方法，可以使用其它方法。另外，在仅要显示特定3D对象的情况下，不需要识别信息。

3D对象的显示示例

图4是示出3D对象的示例的图。

图4所示的对象31是具有数字静态照相机外观的3D对象。在信息处理终端1中，经由因特网等获取从不同角度观看的图4的数字静态照相机的外观的数据，并且准备该数据作为对象31的数据。在对象31的正面上设置有镜头等，并且在顶面上设置有快门按钮。

当用户将信息处理终端1的摄像头12指向图3的二维标记21时，信息处理终端1识别出投射在所拍摄图像上的二维标记21。在信息处理终端1的显示单元11上，以叠加方式在所拍摄图像上显示图4的对象31。

图5是示出打印有二维标记21的纸张所放置的实空间的立体图。

将二维标记21打印在放置在桌子等的水平面上的纸张P上，使得标记M5在长边方向上的边与纸张P的下边大致平行。用户将摄像头12指向以这种状态准备的二维标记21，以使得信息处理终端1识别二维标记21。

在下文中，将通过以下设置提供说明：将图5的左右方向适当设置为X轴方向(右方向为+并且左方向为-)；将从左下方到右上方的方向适当设置为Y轴方向(右上方向为+并且左下方向为-)；并且将上下方向适当设置为Z轴方向(上方向为+并且下方向为-)。以摄像头12的位置作为基准，白色箭头#1的方向是从上侧向+Y方向倾斜地观看二维标记21的方向，并且白色箭头#2时从上侧向-X轴方向倾斜地观看二维标记21的方向。

图6是示出在识别出图5的二维标记21的情况下显示单元11的显示示例的图。

图6示出如下情况下的显示示例：在摄像头12面向图5的白色箭头#3的方向的状态下进行拍摄，使得二维标记21大致被布置在显示单元11的中心处。在识别出二维标记21时，将对象31显示在与二维标记21被投影在所拍摄图像上的位置接近的位置处，仿佛在实空间内该对象略微浮在二维标记21上方。

关于对象31的方位，将设置有镜头等的正面设置成面向标记M5。在正面总是面向标记M5的状态下显示对象31。因此，通过拍摄图5所示的状态的二维标记21，用户可以从相对于右侧略微倾斜的上方位置处观看表示为对象31的数字静态照相机的正面。

图7示出如下情况下的另一显示示例：在摄像头12面向图5的白色箭头#1的方向的状态下进行拍摄，使得二维标记21大致被布置在显示单元11的中心处。在该示例中，从斜上位置看到以叠加方式显示在所拍摄图像上的作为对象31的数字静态照相机的大致正面。

图8示出如下情况下的另一显示示例：在摄像头12面向图5的白色箭头#2的方向的状态下进行拍摄，使得二维标记21大致被布置在显示单元11的中心处。在该示例中，从斜上位置观看到以叠加方式显示在所拍摄图像上的作为对象31的数字静态照相机的右侧面。

如上所述，在信息处理终端1中准备从各种位置观看数字静态照相机时的数据，并且以叠加方式显示在所拍摄图像上的对象31的方位和位置根据信息处理终端1与二维标记21之间的位置关系而改变。

通过改变拍摄位置、然后从各种位置拍摄打印在纸张P上的二维标记21，用户可以根据各位置来观看数字静态照相机的外观。尽管图中没有示出，例如，通过以标记M5被置于后侧且标记M1和标记M4被置于前侧的方式拍摄二维标记21，用户可以观看数字静态照相机的背面。

在识别出二维标记21的情况下，图6~8所示的对象31的显示实时地继续。在通过改变位置来进行所拍摄图像的拍摄、以使得二维标记21相对于所拍摄范围没有偏离的情况下，根据投射在所拍摄图像上的二维标记21的方向来顺次显示从不同方向观看到的对象31。

另外，即使在不再能够识别二维标记21之后，对象31的显示也基于使用陀螺仪传感器的传感器数据所估计的信息处理终端1与二维标记21之间的位置关系而继续。信息处理终端1设置有诸如陀螺仪传感器的传感器。

图9是示出信息处理终端1与二维标记21之间的位置关系的图。图9是通过从与桌子的顶面的高度相同的高度在-X方向上观看图5的环境所获得的截面图。

例如，在信息处理终端1位于位置p1时，在显示单元11上，以叠加方式将处于正被从右前侧观看的状态的对象31显示在所拍摄图像上，其中，位置p1为可以从二维标记21的右前侧拍摄二维标记21的位置。位置p1是摄像头12的光轴L与二维标记21的平面(打印有二维标记21的纸张P所放置的水平面)的垂线平行的位置。图9所示的对象31不位于实空间内，而是为了描述从信息处理终端1观看对象的方式而示出的。

将说明如下情况：在摄像头12固定面向二维标记21并且摄像头12与二维标记21之间的距离固定的状态下，使信息处理终端1如箭头A1所示地从位置p1接近水平面。在这种情况下，对象31的可视性改变，由此根据从所拍摄图像指定的二维标记21与信息处理终端1之间的位置关系来逐渐显示对象31的正面。在摄像头12位于位置p2处的情况下，对象31如图7所示显示在显示单元11上。

在使信息处理终端1接近水平面且其位置超过位置p3的情况下，信息处理终端1不能识别投射在所拍摄图像上的二维标记21。位置p3是由摄像头12的光轴L与水平面所形成的角是角α的位置。由于投射在所拍摄图像上的二维标记21的倾斜度增大，位置p3是可以在其处识别出二维标记21的极限位置。

在该终端超过位置p3的情况下，信息处理终端1在基于传感器数据最后可以识别出二维标记21的时间之后指定其自身位置的改变，并且根据当前位置处的信息处理终端1与二维标记21之间的位置关系来继续对象31的显示。

图10是示出在信息处理终端1的位置位于比位置p3低的位置处的情况下显示单元11的显示示例的图。在这种情况下，从比图7的位置低的位置观看以叠加方式显示在所拍摄图像上的作为对象31的数字静态照相机的大致右前侧。

这样，信息处理终端1可以在从比作为二维标记21的识别极限位置的位置p3低的位置观看的状态下显示对象31。换句话说，在对基于所拍摄图像所指定的信息处理终端1与二维标记21之间的位置关系进行校正时使用诸如陀螺仪传感器的传感器的测量值等，由此继续对象31的显示。

后面将参考流程图来说明信息处理终端1的用于以上述方式显示对象31的一系列处理。

信息处理终端1的配置示例

图11是示出信息处理终端1的硬件配置示例的图。

除了上述的显示单元11和摄像头12以外，信息处理终端1还设置有控制单元51、陀螺仪传感器52、存储器53和通信单元54。

控制单元51使得执行存储在存储器53中的程序等，并且控制信息处理终端1的整体操作。例如，在可以识别出投射在从摄像头12供给的所拍摄图像上的二维标记21的情况下，控制单元51获取与由二维标记21所表示的识别信息相对应的3D对象的数据。控制单元51基于所拍摄图像来指定信息处理终端1与二维标记21之间的位置关系，并且使显示单元11以叠加方式在所拍摄图像上显示方位和位置根据所指定的关系而改变的3D对象。

另外，在不再能够识别二维标记21的情况下，控制单元51参考最后能够识别出二维标记21的状态，基于陀螺仪传感器52的输出来指定二维标记21与当前位置处的信息处理终端1之间的位置关系。控制单元51根据信息处理终端1与二维标记21之间的位置关系来改变3D对象的方位和位置，并且即使在不再能够识别二维标记21之后也继续使显示单元11以叠加方式在所拍摄图像上显示3D对象。

如图12所示，陀螺仪传感器52测量绕X轴、Y轴和Z轴中每个轴发生的角速度，并将测量值作为传感器数据输出至控制单元51。

存储器53包括闪速存储器等，并且存储由控制单元51执行的程序以及从因特网上的服务器发送来的3D对象的数据。利用控制单元51适当读取存储在存储器53中的数据。

通信单元54根据控制单元51所进行的控制来与外部装置进行通信。例如，通信单元54经由因特网与服务器进行通信，并且请求发送与由二维标记21所表示的识别信息相对应的3D对象的数据。通信单元54接收根据该请求从服务器发送来的数据，并将该数据输出至控制单元51。输出至控制单元51的数据用在显示单元11的显示中并且被供给至存储器53来保持。

图13是示出控制单元51的功能配置示例的框图。通过由图11的控制单元51执行预定程序来实现图13所示的功能部的至少一部分。

在控制单元51中，实现图像分析部61、标记识别部62、对象数据获取部63、旋转矩阵计算部64、旋转处理部65和显示控制部66。将摄像头12拍摄的所拍摄图像输入至图像分析部61和显示控制部66。

图像分析部61对所拍摄图像进行分析并且获取二维标记21的位置。在图像分析部61所获取的二维标记21的位置信息中，包括与构成二维标记21的各黑色区域的位置有关的信息。将由图像分析部61获取的二维标记21的位置信息作为所拍摄图像的分析结果供给至标记识别部62和旋转矩阵计算部64。

标记识别部62基于图像分析部61的分析结果来识别二维标记21。在能够识别出二维标记21的情况下，标记识别部62将表示该识别的信息输出至旋转矩阵计算部64，并且将由二维标记21所表示的识别信息输出至对象数据获取部63。另外，在不再能够识别二维标记21的情况下，标记识别部62将表示未识别的信息输出至旋转矩阵计算部64。

对象数据获取部63通过从存储器53读取数据或者通过控制通信单元54与服务器进行通信，来获取与从标记识别部62供给的识别信息相对应的3D对象的数据。对象数据获取部31将所获取的3D对象的数据输出至旋转处理部65。

在标记识别部62识别出二维标记21的情况下，旋转矩阵计算部64基于图像分析部61的分析结果来计算旋转矩阵，该旋转矩阵表示以叠加方式显示在所拍摄图像上的3D对象的方位的旋转量和位置的变换量。在标记识别部62识别出二维标记21的情况下所获得的旋转矩阵基于根据所拍摄图像所指定的信息处理终端1与二维标记21之间的位置关系。后面将说明旋转矩阵的计算。

另外，在不再能够识别二维标记21的情况下，旋转矩阵计算部64基于从陀螺仪传感器52供给的传感器数据来计算旋转矩阵。在不再能够识别二维标记21的情况下所获得的旋转矩阵基于根据该传感器数据所指定的当前位置处的信息处理终端1与二维标记21之间的位置关系。

旋转矩阵计算部64将通过该计算所获得的旋转矩阵输出至旋转处理部65。

旋转处理部65将从旋转矩阵计算部64获得的旋转矩阵应用于由从对象数据获取部63供给的数据所表示的3D对象，并将应用旋转矩阵之后的3D对象的数据输出至显示控制部66。通过应用旋转矩阵，3D对象的方位和位置根据信息处理终端1与二维标记21之间的位置关系而改变。

显示控制部66使显示单元11以叠加方式在所拍摄图像上显示从旋转处理部65供给的已经历旋转矩阵的应用的3D对象。

信息处理终端1的操作

这里，将参考图14的流程图来说明由信息处理终端1进行的3D对象的显示处理。

图14的处理例如在从显示单元11上所显示的菜单画面指示了启动具有二维标记21的识别功能的应用之后开始。在启动了该应用时，开始获取利用摄像头12所拍摄的图像。在陀螺仪传感器52中按预定间隔重复测量角速度。

在步骤S1中，摄像头12获取所拍摄图像。

在步骤S2中，图像分析部61对摄像头12所获取的所拍摄图像进行分析，并且获取二维标记21的位置。

在步骤S3中，标记识别部62基于图像分析部61的分析结果来识别二维标记21。

在步骤S4中，标记识别部62确定是否能够识别出二维标记21。

在步骤S4中确定能够识别出二维标记21的情况下，在步骤S5中，对象数据获取部63获取与由二维标记21所表示的识别信息相对应的3D对象的数据。在能够识别出二维标记21的情况下，标记识别部62将作为二维标记21的识别结果的识别信息供给至对象数据获取部63。

在步骤S6中，旋转矩阵计算部64进行旋转矩阵计算处理。后面将参考图15的流程图来说明该旋转矩阵计算处理。根据该旋转矩阵计算处理，从旋转矩阵计算部64获得3D对象的方位旋转和位置变换时所使用的矩阵。

在步骤S7中，旋转处理部65将从旋转矩阵计算处理所获得的旋转矩阵应用于由从对象数据获取部63供给的数据所表示的3D对象。

在步骤S8中，显示控制部66使显示单元11以叠加方式在所拍摄图像上显示已经历旋转矩阵应用的3D对象。

另一方面，在步骤S4中确定不能识别出二维标记21的情况下，在步骤S9中，旋转矩阵计算部64确定是否是要进行陀螺仪校正的时间段（换句话说，是否是要基于陀螺仪传感器52的输出来校正信息处理终端1与二维标记21之间的位置关系的时间段）。例如，将从最后能够识别出二维标记21的时间点起的预定时间内的时间段或者直到测量出等于或高于预定值的角速度的时间为止的时间段设置为用于进行陀螺仪校正的时间段。

在步骤S9中确定该时间段在用于进行陀螺仪校正的时间段内的情况下，在步骤S10中，旋转矩阵计算部64计算陀螺仪传感器52的当前测量值与先前测量值之间的差。

在步骤S11中，旋转矩阵计算部64基于通过计算所获得的差来计算旋转矩阵。这里所获得的旋转矩阵被设置为表示根据由陀螺仪传感器52的测量值的差所表示的信息处理终端1的位置的变化估计出的、与当前位置处的信息处理终端1与二维标记21之间的位置关系相对应的3D对象的方位的旋转量和位置的变换量。可以使3D对象的旋转轴固定至能够最后识别出二维标记21的轴。

在基于陀螺仪传感器52的当前测量值与先前测量值之间的差获得旋转矩阵之后，进行步骤S7及其之后的处理。换句话说，将基于当前测量值与先前测量值之间的差所获得的旋转矩阵应用于3D对象，并且以叠加方式在所拍摄图像上显示已经历旋转矩阵应用的3D对象。

在步骤S8中以叠加方式在所拍摄图像上显示已经历旋转矩阵应用的3D对象之后、或者在步骤S9中确定该时间段不再用于进行陀螺仪校正的时间段内的情况下，该处理结束。

在每次获取到所拍摄图像时重复上述处理，并且实现了如参考图6~8和图9所述的对象31的显示。即使在用户将摄像头12的位置移动至低于作为所拍摄图像上的二维标记21的识别极限位置的位置p3的情况下，也可以显示和识别处于从该位置观看的状态下的对象31。

接着，将参考图15的流程图来说明图14的步骤S6中所进行的旋转矩阵计算处理。

旋转矩阵计算处理是用于计算4×4矩阵的处理，该4×4矩阵用于将三维空间(实空间)内的作为二维标记21的坐标系的标记坐标系变换成同一三维空间内的作为信息处理终端1的坐标系的照相机坐标系。

这里，假定基于来自图像分析部61的分析结果来指定具有表示二维标记21的四个角的标记M1~M4的所拍摄图像中的中心位置的坐标。

另外，将作为变换目标的照相机坐标系设置为如下表示的坐标系：将所拍摄图像的右方向设置为+X方向、将其下方向设置为+Y方向并且将其深度方向设置为+Z方向。原点为摄像头12的位置。

此外，将作为变换源的标记坐标系设置为以图3的方位作为基准的、如下表述的坐标系：将二维标记21的右方向设置为+X方向、将其下方向设置为+Y方向并且将从其表面到背面的方向设置为+Z方向。原点为二维标记21的中心。由1×1的长度表示二维标记21的大小。

将所拍摄图像的二维坐标设置为由被设置为+X方向的右方向和被设置为+Y方向的下方向所表示的坐标。将所拍摄图像的中心位置设置为原点。

将三维空间内的照相机的位置设置为O。另外，将二维标记21的左上角的标记M1、左下角的标记M2、右下角的标记M3和右上角的标记M4分别设置为点A、B、C和D。在标记坐标系中，分别由A=(-0.5,-0.5)、B=(-0.5,0.5)、C=(0.5,0.5)和D=(0.5,-0.5)来表示点A、B、C和D。将点A、B、C和D设置为所拍摄图像中的点A2、B2、C2和D2。

在步骤S21中，如图16所示，旋转矩阵计算部64在照相机坐标系中定义Z=Z1(Z1是正常数)的平面，并且将点A2、B2、C2和D2投射到该平面上。该平面上的投射点分别被设置为点A3、B3、C3和D3。利用照相机位置O以及点A3、B3、C3和D3定义ΔOA3B3、ΔOB3C3、ΔOC3D3和ΔOD3A3这四个三角形。

在步骤S22中，旋转矩阵计算部64通过外积计算来获得所定义的四个三角形的法线矢量。ΔOA3B3、ΔOB3C3、ΔOC3D3和ΔOD3A3的法线矢量分别被设置为Vab、Vbc、Vcd和Vda。

在步骤S23中，旋转矩阵计算部64计算外积Vab×Vcd和Vbc×Vda，并且将各计算结果设置为V1和V2。另外，旋转矩阵计算部64执行V1×V2，并且将该计算结果设置为V3。矢量V3是平面ABCD的法线矢量、即标记坐标系的Z轴。

在步骤S24中，旋转矩阵计算部64利用连接照相机位置O与点A3和C3的对角线的两端来定义ΔOA3C3，并且利用连接照相机位置O与点B3和D3的对角线的两端来定义ΔOB3D3。另外，旋转矩阵计算部64使用外积计算来获得所定义的这两个三角形的法线矢量，并且将所获得的法线矢量分别设置为Vac和Vbd。

在步骤S25中，旋转矩阵计算部64计算外积Vac×V3和Vbd×V3，并且将这些计算结果分别设置为对角线矢量V4和V5。

在步骤S26中，旋转矩阵计算部64获得对角线矢量V4与V5的和V4+V5，并将该和设置为矢量AB。矢量AB用作标记坐标系的Y轴。

在步骤S27中，旋转矩阵计算部64获得对角线矢量V4与V5的差V4-V5，并将该差设置为矢量AD。矢量AD用作标记坐标系的X轴。因此，获得了二维标记21的X、Y和Z轴每个方向的单位矢量。

在步骤S28中，旋转矩阵计算部64使用三个方向的元素将这些单位矢量设置为(x1,x2,x3)、(y1,y2,y3)和(z1,z2,z3)，并且获得作为以下的表达式(1)的4×4矩阵的旋转矩阵。之后，处理返回至图14的步骤S6，并且执行之后的处理。

$\left[\begin{array}{cccc}x1& x2& x3& 0\\ y1& y2& y3& 0\\ z1& z2& z3& 0\\ 0& 0& 0& 1\end{array}\right]...\left(1\right)$

关于4×4矩阵

将说明如上所获得的4×4矩阵。该4×4矩阵是用于表示三维坐标中的旋转和平行移动(坐标的变换)的表达式。

创建4×4矩阵的处理包括如下三个步骤。

1．创建用于旋转变换的3×3矩阵

2．创建用于平行移动的3×1矩阵

3．通过合并这两个矩阵来创建4×4矩阵

1．创建用于旋转变换的3×3矩阵

在三维坐标由具有x、y和z三个分量的3行1列矢量表示的情况下，通过以下等式(2)来表示将旋转前的3×1矩阵变换成旋转后的3×1矩阵的计算，在等式(2)中，在3×3矩阵的右侧乘以旋转前的矢量。

$\left[\begin{array}{c}{x}^{,}\\ y^{,}\\ z^{,}\end{array}\right]=\left[\begin{array}{ccc}r11& r12& r3\\ r21& r22& r23\\ r31& r32& r33\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]...\left(2\right)$

2．创建用于平行移动的3×1矩阵

进行具有[x'y'z']这三个分量的矢量的平行移动等同于向其添加平行移动分量[x1y1z1]的矢量。通过以下等式(3)来表示移动之后的[x″y″z'']的矢量。

$\left[\begin{array}{c}{x}^{,,}\\ y^{,,}\\ z^{,,}\end{array}\right]=\left[\begin{array}{c}{x}^{,}\\ y^{,}\\ z^{,}\end{array}\right]+\left[\begin{array}{c}x1\\ y1\\ z1\end{array}\right]...\left(3\right)$

3．通过合并这两个矩阵来创建4×4矩阵

存在通过一次矩阵计算来执行旋转变换和平行移动的方法。通过向三维矢量添加第四个分量1来创建4×1矢量[x y z1]。将3×3旋转变换矩阵代入4×4矩阵的第一行至第三行和第一列至第三列，并且将平行移动矢量代入第四列的第一行至第三行。在4×4矩阵的第四行中，将0代入第一列~第三列，并且将1代入第四列。作为结果所获得的矩阵用作通过使4×1矢量[x y z1]旋转所获得的矩阵并且执行平行移动，以变换成[x″y″z″1]。到[x″y″z″1]的变换公式如以下等式(4)所示。

$\left[\begin{array}{c}{x}^{,,}\\ y^{,,}\\ z^{,,}\\ 1\end{array}\right]=\left[\begin{array}{cccc}r11& r12& r13& x1\\ r21& r22& r23& y1\\ r31& r32& r33& z1\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]...\left(4\right)$

基于传感器数据计算旋转矩阵

这里，将说明基于传感器数据计算旋转矩阵。图17是示出基于传感器数据计算旋转矩阵的具体示例以及使用该计算中所获得的旋转矩阵的描绘的流程。

图17的处理(1)是用于获取陀螺仪传感器52的当前测量值的处理。另外，处理(2)是用于计算表示陀螺仪传感器52的当前测量值和相对于先前测量值的转动的3×3矩阵的处理。通过组合处理(1)和(2)所获得的处理与以上所述的图14的步骤S10和S11的处理相对应。

通过以下表达式(5)示出表示通过处理(2)所获得的旋转的3×3矩阵。

图17的处理(3)是用于根据表示旋转的旋转矩阵的值来创建4×4矩阵的处理。通过以下表达式(6)来表示通过处理(3)所获得的4×4矩阵。

$\begin{array}{cccc}m11& m21& m31& 0\\ m12& m22& m32& 0\\ m13& m23& m33& 0\\ 0& 0& 0& 1\end{array}...\left(6\right)$

图17的处理(4)是用于使用4×4矩阵来绘制3D对象的处理。处理(4)与图14的步骤S10和S11的处理之后进行的步骤S7和S8的处理相对应。

变形例

将说明针对具有数字静态照相机外观的对象31的显示的切换，然而当然，在识别出二维标记21的情况下所显示的3D对象不限于具有数字静态照相机外观的对象。

另外，将信息处理终端1不再能够识别二维标记21之后在校正信息处理终端1与二维标记21之间的位置关系时使用的传感器数据设置为陀螺仪传感器52的输出，但诸如加速度传感器或地磁传感器等的其它传感器的输出也是可以的。

将要识别的目标设置为二维标记，但即使在识别出投射在所拍摄图像上的其它标识符并且显示与所识别出的标识符相对应的3D对象的情况下也可应用上述技术。作为要识别为标识符的目标，除了一维条形码以外，还存在投射在所拍摄图像上的人物的面部和建筑物等。

3D对象的方位和位置的变换被设置成使用4×4矩阵来执行，但如果在该方法中，3D对象的方位和位置根据信息处理终端1与二维标记21之间的位置关系而改变，则可以使用其它方法执行变换。

计算机的配置示例

可以利用硬件以及软件来执行上述一系列处理。在利用软件来执行这一系列处理的情况下，将构成该软件的程序从程序记录介质安装至内置于专用硬件的计算机或通用个人计算机等中。

图18是示出使用程序来执行上述一系列处理的计算机的硬件配置示例的框图。

CPU(中心处理单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103经由总线104彼此连接。

在总线104上，还连接有输入和输出接口105。输入和输出接口105连接有包括键盘和鼠标等的输入单元106、以及包括显示器和扬声器等的输出单元107。另外，输入和输出接口105连接有：存储单元108，其包括硬盘和非易失性存储器等；通信单元109，其包括网络接口等；以及驱动器110，用于驱动可移除介质111。

在如上配置的计算机中，CPU101通过将存储在例如存储单元108中的程序经由输入和输出接口105及总线104载入RAM103上执行，从而执行上述一系列处理。

例如，将CPU101所执行的程序记录在可移除介质111上或者经由诸如局域网、因特网或数字广播等的有线或无线传输介质来提供该程序，然后将其安装在存储单元108中。

计算机所执行的程序可以是按照本说明书中所述的顺序来以时序方式进行处理的程序，或者可以是并行地或者在存在调用的必要时间点处进行处理的程序等。

本发明的实施例不限于上述实施例，并且可以在没有背离本发明的主旨的范围内进行各种修改。

本技术可以具有云计算的结构，其中，一个功能经由网络被分割给多个装置，并且一起进行处理。

另外，上述流程图中所述的各步骤可以在一个装置中执行或者可以通过分割至多个装置来执行。

此外，在多个处理包括在一个步骤中的情况下，包括在该步骤中的这些多个处理可以在一个装置内执行或者可以通过分割至多个装置来执行。

配置的组合示例

本发明可以具有以下配置。

(1)一种信息处理终端，包括：识别单元，其识别投射在图像上的标识符；获取单元，其获取与所述标识符相对应的对象的数据；处理单元，其根据基于所述图像所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位；以及显示控制单元，其使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。

(2)根据上述(1)所述的信息处理终端，还包括拍摄单元，其中，所述识别单元对投射在由所述拍摄单元拍摄的所述图像上的所述标识符进行识别。

(3)根据上述(1)或(2)所述的信息处理终端，其中，在不再能够识别所述标识符的情况下，所述处理单元根据基于在最后能够识别出所述标识符时和之后检测到的所述传感器数据所指定的所述信息处理终端自身与标识符之间的位置关系来改变所述对象的方位。

(4)根据上述(1)至(3)中任一项所述的信息处理终端，还包括传感器单元，其检测所述传感器数据。

(5)根据上述(4)所述的信息处理终端，其中，所述传感器单元包括陀螺仪传感器。

(6)根据上述(1)至(5)中任一项所述的信息处理终端，其中，所述标识符是包括具有不同颜色的区域的二维码。

(7)一种信息处理方法，包括以下步骤：识别投射在图像上的标识符；获取与所述标识符相对应的对象的数据；根据基于所述图像所指定的信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位；以及使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。

(8)一种程序，用于使计算机执行如下处理，所述处理包括：识别投射在图像上的标识符；获取与所述标识符相对应的对象的数据；根据基于所述图像所指定的信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位；以及使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。

本发明包含与2011年12月26日提交至日本专利局的日本优先权专利申请JP2011-283007中所公开的主题有关的主题，其全部内容通过引用包含于此。

本领域的技术人员应当理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和改变，只要它们在所附权利要求书及其等同物的范围内即可。

Claims (8)

1.一种信息处理终端，包括：

识别单元，其识别投射在图像上的标识符；

获取单元，其获取与所述标识符相对应的对象的数据；

处理单元，其根据基于所述图像所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位；以及

显示控制单元，其使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。

2.根据权利要求1所述的信息处理终端，还包括：

拍摄单元，

其中，所述识别单元对投射在由所述拍摄单元拍摄的所述图像上的所述标识符进行识别。

3.根据权利要求1所述的信息处理终端，其中，在不再能够识别所述标识符的情况下，所述处理单元根据基于在最后能够识别出所述标识符时和之后检测到的传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位。

4.根据权利要求1所述的信息处理终端，还包括：

传感器单元，其检测所述传感器数据。

5.根据权利要求4所述的信息处理终端，其中，所述传感器单元包括陀螺仪传感器。

6.根据权利要求1所述的信息处理终端，其中，所述标识符是包括具有不同颜色的区域的二维码。

7.一种信息处理方法，包括：

识别投射在图像上的标识符；

获取与所述标识符相对应的对象的数据；

根据基于所述图像所指定的信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位；以及

使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。

8.一种程序，用于使计算机执行如下处理，所述处理包括：

识别投射在图像上的标识符；

获取与所述标识符相对应的对象的数据；

根据基于所述图像所指定的信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位，并且在不再能够识别所述标识符的情况下，根据基于传感器数据所指定的所述信息处理终端自身与所述标识符之间的位置关系来改变所述对象的方位；以及

使得以叠加方式在所述图像上显示根据所述信息处理终端自身与所述标识符之间的位置关系而改变方位的所述对象。

Images