CN104574267A

CN104574267A - 引导方法和信息处理设备

Info

Publication number: CN104574267A
Application number: CN201410564548.9A
Authority: CN
Inventors: 上野步美; 小松龙太
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-10-24
Filing date: 2014-10-21
Publication date: 2015-04-29
Anticipated expiration: 2034-10-21
Also published as: AU2014250736A1; US9390488B2; US20160247269A1; EP2866197A2; US9760987B2; JP2015082830A; CN104574267B; JP6264834B2; EP2866197A3; US20150117752A1

Abstract

本申请涉及引导方法和信息处理设备。由计算机执行的引导方法，包括：获得第一图像的数据；在第一图像的数据中检测与参考对象对应的参考图像数据；基于第一图像中的参考对象的外观来计算第一条件，该第一条件指示在拍摄第一图像时的成像设备的操作条件；以及针对待拍摄的第二图像输出引导信息，该引导信息指示如何调整第一条件以与参考条件匹配，该参考条件对应于在参考条件下拍摄的参考图像中的参考对象的外观。

Description

引导方法和信息处理设备

技术领域

本实施方式中公开的技术涉及当拍摄供观察的图像时进行引导。

背景技术

为了便于维护与管理服务，存在将多个图像数据项进行叠加以生成一个静态图像的显示设备(例如，日本公开特许公报第2001-14316号)。显示设备在生成静态图像时评估每个图像的绝对位置和多个图像数据项之间的相对位置以使得该位置相互对应。在将摄像机引导到预定方向之后，安装有摄像机的汽车沿着对象行进，由此收集多个图像数据项。在针对建筑物、道路、桥梁等的维护与管理服务中，该显示设备意在将如通过道路的桥梁、斜坡等结构作为一个静态图像来进行管理。

发明内容

技术问题

在检查服务等中，将在不同钟表时间拍摄的对象的多个图像进行比较。在这种情况下，优选的是从近似相同的位置拍摄该多个图像以准确和方便地进行比较。

于是，例如，考虑将照相机在物理上进行固定的方法以从大约相同的位置处拍摄多个图像。然而，当有多个成像对象时，必须针对每个成像对象来设置照相机。

另外，当日本公开特许公报第2001-14316号中公开的显示设备合成静态图像时，通过由操作者将摄像机引导到预定方向来收集要成为合成的来源的多个图像数据项。然而，因为摄像机的方向由操作者的判断来决定，所以合成的静态图像不一定是适合用于比较的静态图像。

于是，为了观察特定对象随时间的变化，本实施方式中公开的技术的目的是在特定成像条件下拍摄对象的图像。

问题的解决方案

根据本发明的一个方面，由计算机执行的引导方法包括：获取第一图像的数据；在第一图像的数据中检测与参考对象对应的参考图像数据；基于第一图像中的参考对象的外观来计算第一条件，该第一条件指示当第一图像被拍摄时成像设备的操作条件；以及针对待拍摄的第二图像，输出引导信息，该引导信息指示如何调整第一条件以与参考条件匹配，该参考条件对应于在参考条件下拍摄的参考图像中的参考对象的外观。

附图说明

图1A和图1B示出了在不同的钟表时间对同一观察对象拍摄的两个图像；

图2是合成图像的示意图；

图3示出了照相机坐标系与标记物坐标系之间的关系；

图4示出了AR对象E在照相机坐标系和在标记物坐标系中的示例；

图5示出了从标记物坐标系到照相机坐标系的变换矩阵M以及变换矩阵M中的旋转矩阵R；

图6示出了旋转矩阵R1、旋转矩阵R2以及旋转矩阵R3；

图7A和图7B示出了在不同的成像条件下拍摄的图像；

图8是根据第一实施方式的系统配置图；

图9是根据第一实施方式的信息处理设备的功能框图；

图10示出了模板信息表；

图11示出了内容信息表；

图12示出了成像条件信息表；

图13示出了存储图像表；

图14是管理设备的功能框图；

图15示出了根据第一实施方式的引导处理的流程图；

图16是包括引导显示的合成图像的示例；

图17A和图17B示出了根据第二实施方式的引导显示；

图18是根据第二实施方式的信息处理设备的功能框图；

图19示出了第二实施方式中的成像条件信息表；

图20示出了根据第二实施方式的引导处理的流程图；

图21示出了第一变型中的成像条件信息表；

图22是描绘了用户的移动轨迹的地图数据的示意图；

图23是每个实施方式中的信息处理设备的硬件配置示例；

图24示出了在计算机1000中运行的程序的配置示例；以及

图25是管理设备的硬件配置示例。

具体实施方式

下面对本公开内容的详细实施方式进行描述。可以在与处理内容不矛盾的情况下将下述每个实施方式进行适当地合并。下面基于附图对每个实施方式进行描述。

首先，对在检查服务和维护与管理服务中观察在特定对象中随时间变化的活动进行描述。在下文中，将待观察的对象称为观察对象。图1A和图1B示出了在不同钟表时间对同一观察对象拍摄的两个图像。

图1A和图1B是在针对这两个图像中的每个图像的成像条件不同的情况下拍摄管道中裂缝(作为同一观察对象)所获得的图像。本实施方式中的成像条件是成像位置和成像方向。成像位置是照相机的位置。成像方向是拍摄图像时照相机的光轴的方向。

具体而言，图1A中的图像100包括管道102中存在的裂缝104，图1B中的图像106包括管道108中存在的裂缝110。当假设图像106是在图像100之后拍摄的时，进行观察的操作者难以从本质上知晓裂缝110的大小和位置是否与裂缝104的状态不同。实际上，管道102和管道108是相同的对象，并且裂缝104和裂缝110也是相同的对象。

如果图像106是在与拍摄图像100时的成像条件类似的成像条件下拍摄的图像，则操作者能够仅通过从视觉上将图像100与图像106进行比较来确认裂缝104是否有变化。虽然也考虑通过图像处理将图像100和图像106变换成容易进行比较的图像，但是这就必须引进图像处理技术。

同时，目前为了提高各种服务(如检查服务和维护与管理服务)的效率而引进增强现实(AR)技术的情况越来越多。AR技术虚拟地设置与实空间对应的三维虚拟空间并且将三维对象的模型数据放置在该虚拟空间中。接着，AR技术将放置了模型数据的虚拟空间叠加在由照相机拍摄的拍摄图像上，由此生成将从特定视点(照相机位置)察看到的模型数据叠加显示在实空间中的拍摄图像上的合成图像。也就是说，浏览合成图像的用户可以通过显示有合成图像的显示器而识别到在实空间中不存在的模型数据仿佛在实空间中存在一样。

以这种方式，根据AR技术，通过人类感知(如视觉)而收集的信息得以延伸。例如，当模型数据指示关于实空间中存在的对象的描述信息、关于活动的内容的指令信息、唤起注意力的信息等时，用户可以理解该信息。

图2是合成图像的示意图。合成图像200包括实空间中存在的管道202和裂缝204以及实空间中不存在的AR对象E。管道202和裂缝204分别对应于图1A中的管道102和裂缝104。AR对象E是放置在虚拟空间中的三维模型数据。合成图像200还包括实空间中存在的标记物M。稍后将对标记物M与AR技术之间的关系进行描述。

当AR技术被应用于检查服务时，检查服务的操作者浏览合成图像200，由此能够理解在管道202中的特定位置处存在裂缝204。也就是说，与操作者直接察看实空间的情况相比，操作者可以容易地理解裂缝204的存在。以这种方式，AR技术作为用于共享情报材料和活动内容的工具而被引进，由此促进设施中的检查活动等的效率。

接着，对图2中的标记物M进行描述。为了将AR对象E显示在图2中的裂缝204的位置处，必须将存在有裂缝204的实空间与放置了AR对象E的虚拟空间之间的位置关系进行关联。标记物M被用于将实空间与虚拟空间之间的位置关系进行关联。

放置了AR对象E的虚拟空间是使用标记物M作为参考的三维空间。也就是说，在AR对象中设置了相对于标记物的放置位置和放置姿势。同时，因为标记物M也存在于实空间中，所以当从拍摄了实空间的拍摄图像中识别出标记物M时，虚拟空间和实空间经由标记物M而被关联。在AR技术中，作为虚拟空间的参考的对象(如标记物M)被称为参考对象。

也就是说，当AR对象被放置在虚拟空间中时，基于包括在由照相机拍摄的拍摄图像中的参考对象的外观(照片)来获得实空间中的照相机与参考对象之间的位置关系。接着，使用实空间中存在的作为参考的参考对象以及实空间中的照相机与参考对象之间的位置关系，通过虚拟空间中的坐标来获得与实空间对应的三维虚拟空间中的AR对象与照相机的各自点的坐标之间的位置关系。基于该位置关系来确定当由虚拟空间中的照相机对参考对象进行成像时所获得的AR对象的照片。接着，AR对象的照片通过叠加在拍摄图像上来显示。

下面，详细描述对AR对象的照片进行计算以生成合成图像的方法。图3示出了照相机坐标系与标记物坐标系之间的关系。图3中例示的标记物M呈正方形并且事先按一定大小(例如，每条边的长度是5cm等)来建立。虽然图3中示出的标记物M呈正方形，但是基于通过从多个视点中的任何视点进行拍摄而获得的照片，能够在形状上区别与照相机的相对位置和方向的另一对象也可以用被作参考对象。

用(Xc,Yc,Zc)来三维地配置照相机坐标系，并且将例如照相机的焦点假设为原点(原点Oc)。例如，照相机坐标系中的Xc-Yc平面是平行于照相机的成像装置的平面，Zc轴是垂直于成像装置平面的轴。

用(Xm,Ym,Zm)来三维地配置标记物坐标系，并且将例如标记物M的中心假设为原点(原点Om)。例如，标记物坐标系中的Xm-Ym平面是平行于标记物M的平面，Zm轴垂直于标记物M的平面。原点Om在照相机坐标系中被表示成坐标V1c(X1c,Y1c,Z1c)。在标记物坐标系中配置的空间是虚拟空间。

标记物坐标系(Xm,Ym,Zm)相对于照相机坐标系(Xc,Yc,Zc)的旋转角度被表示成旋转坐标G1c(P1c,Q1c,R1c)。P1c是关于Xc轴的旋转角度，Q1c是关于Yc轴的旋转角度，R1c是关于Zc轴的旋转角度。因为图3中例示的标记物坐标系仅关于Ym轴旋转，所以P1c和R1c为0。基于将具有已知形状的参考对象在经处理的拍摄图像中被成像为哪种类型的照片来计算各旋转角度。

图4示出了照相机坐标系和标记物坐标系中的AR对象E的示例。图4中示出的AR对象E是呈气球形的对象并且在该气球中包括文本数据“有裂缝！”。

AR对象E的气球的尖端处的黑点指示AR对象E的参考点。假设标记物坐标系中的参考点的坐标是V2m(X2m,Y2m,Z2m)。此外，通过旋转坐标G2m(P2m,Q2m,R2m)来建立AR对象E的方向，并且通过放大率D(Jx,Jy,Jz)建立AR对象E的大小。AR对象E的旋转坐标G2m指示将AR对象在相对于标记物坐标系旋转的状态放置成什么程度。例如，当G2m是(0,0,0)时，AR对象是平行于标记物M而显示的AR对象。

构成AR对象E的每个点的坐标是基于参考点的坐标V2m、旋转坐标G2m以及放大率D通过对定义数据(AR模板)中定义的各个点的坐标进行调整而获得的坐标，其中所述定义数据(AR模板)是AR对象E的原型。

在AR模板中，每个点的坐标被定义成以(0,0,0)作为参考点的坐标。因此，当采用AR模板的AR对象E的参考点V2m被设置时，构成AR模板的每个点的坐标基于坐标V2m而被平行地移动。

此外，包括在AR模板中的每个坐标基于设置的旋转坐标G2m而被旋转并且以放大率D放大或缩小。也就是说，图4中的AR对象E示出了定义在AR模板中的每个点的状态基于下述点来配置：该点是基于参考点的坐标V2m、旋转坐标G2m以及放大率D而被调整的点。

另外，也可以通过下述方法来生成AR对象E：先生成AR对象E'，该AR对象E'是基于参考点的坐标V2m和放大率D而被调整的一组点，之后根据旋转坐标G2m来旋转AR对象E’的每个轴。

接着，因为将AR对象E放置在标记物坐标系中，所以将AR对象E的每个点的坐标从标记物坐标系变换到照相机坐标系。此外，为了将AR对象E投影到拍摄图像上，进行从照相机坐标系到屏幕坐标系的变换。也就是说，生成将AR对象E叠加显示在拍摄图像上的照片。

下面对坐标系进行变换的处理进行描述。首先，对将标记物坐标系变换到照相机坐标系的模型/视图变换进行描述。关于包括在AR对象E中的每个点，标记物坐标系中的坐标基于标记物的原点Om在照相机坐标系中的坐标V1c和标记物坐标系相对于照相机坐标系的旋转坐标G1c来经历坐标变换，由此计算照相机坐标系中的坐标。

例如，通过对AR对象E的参考点V2m进行模型/视图变换，获得了与标记物坐标系中规定的参考点所对应的照相机坐标系中的点。实际上，获得了与V2m对应的照相机坐标系中的坐标V2c。

图5示出了从标记物坐标系到照相机坐标系的变换矩阵M和变换矩阵M中的旋转矩阵R。变换矩阵M是4×4矩阵。通过变换矩阵M与关于标记物坐标系中的坐标Vm的列向量(Xm,Ym,Zm,1)的乘积，获得关于照相机坐标系中的对应坐标Vc的列向量(Xc,Yc,Zc,1)。

换言之，通过将经历模型/视图变换的标记物坐标系中的点坐标替换成列向量(Xm,Ym,Zm,1)来执行矩阵计算，获得包括照相机坐标系中的点坐标的列向量(Xc,Yc,Zc,1)。

变换矩阵M的第1行到第3行以及第1列到第3列的子矩阵(旋转矩阵R)作用于标记物坐标系中的坐标，由此进行旋转操作以使标记物坐标系的方向与照相机坐标系的方向匹配。变换矩阵M的第1行到第3行以及第4列的子矩阵起作用，由此进行平移操作以使标记物坐标系的方向与照相机坐标系的位置匹配。

图6示出了旋转矩阵R1、旋转矩阵R2以及旋转矩阵R3。由旋转矩阵R1、旋转矩阵R2以及旋转矩阵R3的乘积(R1·R2·R3)来计算图5中示出的旋转矩阵R。旋转矩阵R1指示Xm轴相对于Xc轴的旋转。旋转矩阵R2指示Ym轴相对于Yc轴的旋转。旋转矩阵R3指示Zm轴相对于Zc轴的旋转。

基于拍摄图像中的参考对象的照片来生成旋转矩阵R1、旋转矩阵R2以及旋转矩阵R3。也就是说，如上所述，基于将具有已知形状的参考对象在经处理的拍摄图像中被成像为哪种类型的照片来计算旋转角度P1c、Q1c以及R1c。接着，基于旋转角度P1c、Q1c以及R1c来生成各自的旋转矩阵R1、旋转矩阵R2以及旋转矩阵R3。

如刚才描述的那样，通过基于变换矩阵M的模型/视图变换来将构成AR对象E的每个点在标记物坐标系中的坐标(Xm,Ym,Zm)变换成照相机坐标系中的坐标(Xc,Yc,Zc)。由模型/视图变换获得的坐标(Xc,Yc,Zc)指示当假设照相机虚拟地存在于具有AR对象的虚拟空间中时相对于照相机的相对位置。

接着，将AR对象E的每个点在照相机坐标系中的坐标变换到屏幕坐标系。将照相机的坐标系变换到屏幕坐标系被称为透视变换。用(Xs,Ys)来二维地配置屏幕坐标系。屏幕坐标系(Xs,Ys)将例如通过照相机的成像处理而获得的拍摄图像的中心作为原点(原点Os)。基于通过透视变换而获得的每个点在屏幕坐标系中的坐标来生成用于将AR对象E叠加显示在拍摄图像上的照片。

基于例如照相机的焦距f来进行透视变换。由下式1获得与照相机坐标系中的坐标(Xc,Yc,Zc)对应的屏幕坐标系中的坐标“Xs坐标”。由下式2获得与照相机坐标系中的坐标(Xc,Yc,Zc)对应的屏幕坐标系中的坐标“Ys坐标”。

Xs＝f·Xc/Zc (式1)

Ys＝f·Yc/Zc (式2)

基于通过透视变换而获得的坐标来生成AR对象E的照片。通过在对构成AR对象E的多个点进行插值而获得的平面上描绘纹理(mappinga texture)来生成AR对象E。在要成为AR对象E的来源的AR模板中，定义了要对哪些点进行插值以形成平面以及要将哪些纹理描绘到哪个平面上。

通过模型/视图变换和透视变换以利用坐标来计算与标记物坐标系中的坐标对应的拍摄图像中的坐标，由此根据照相机的视点生成AR对象E的照片。这样生成的AR对象E的照片被称为AR对象E的投影图像。AR对象E的投影图像被合成到拍摄图像中，由此生成合成图像。于是，合成图像延伸了为用户提供的视觉信息。

另外，在另一实施方式中，AR对象E的投影图像被显示在透射式显示器上。同样在这个实施方式中，用户经由透射过显示器而获得的实空间中的照片与AR对象E的投影图像相匹配，因此为用户提供的视觉信息得以延伸。

此处，发明人注意到通过使用图像中的参考对象的照片来估计相对于参考对象的成像位置和成像方向的能力。接着，发明人发现，只要参考对象与观察对象之间的位置关系没有变化，就可以通过使用AR技术在特定成像条件下拍摄多个供观察的图像。

于是，在根据本实施方式的技术中，在能够知晓事先指定的成像位置和成像方向(成像条件)与输入图像的成像位置和成像方向(成像条件)之间的差异的实施方式中进行引导。因此，根据本实施方式的技术将待被引导的用户引向事先指定的成像位置和成像方向上。可以将相对于参考对象的成像位置和成像方向认为是相对于观察对象的成像位置和成像方向。

图7A和图7B示出了在不同的成像条件下拍摄的图像。图7A和图7B是在与图1A和图1B类似的实空间中拍摄的拍摄图像。应该注意的是，与图1A和图1B不同，在图7A和图7B中，在管道上附接了标记物以应用AR技术。

此外，在本实施方式中，由照相机以固定帧间隔拍摄的图像被称为拍摄图像。当拍摄图像被临时存储在信息处理设备(下面将要描述的)的缓冲区中时，用于观察观察对象随时间的变化的图像被分离地存储在存储器中，作为存储图像。

图7A中的图像300是当观察作为观察对象的裂缝304随时间的变化时作为参考的图像。因此，操作者将图像300与另一图像进行比较以确认图像300中的裂缝304是延长了还是没有延长。此处，如上所述，优选的是该另一图像是在与图像300类似的成像条件下拍摄的。图像300包括管道302、裂缝304以及标记物306。

接着，虽然图7B中的图像308是包括作为观察对象的裂缝312的图像，但是图像308不适合作为与图像300进行比较的图像。这是因为图像300中的标记物306的照片与图像308中的标记物314的照片以不同的大小和不同的位置呈现，因此认为图像308是在不同于图像300的成像位置处拍摄的。当成像方向也不同时，其结果是标记物306的照片的形状也不同于标记物314的照片的形状。

于是，本实施方式中公开的技术引导操作者在与待参考的图像300的成像条件匹配的成像条件下拍摄图像。应当注意，本实施方式中的“匹配”不但包括完全匹配，而且包括近似匹配。也就是说，匹配可以精确到到如下程度：对观察对象随时间的变化进行观察的人能够将待被比较的多个图像识别为在相同的成像条件下拍摄的图像。

[第一实施方式]

首先，对根据第一实施方式的信息处理设备的详细处理和配置等进行描述。图8是根据第一实施方式的系统配置图。该系统包括通信终端1-1、通信终端1-2以及管理设备2。在下文中，通信终端1-1和通信终端1-2被统称为作为信息处理设备1。

信息处理设备1是计算机，如具有例如摄像头的平板PC和智能电话。信息处理设备1被进行检查活动的操作者持有。信息处理设备1生成合成图像并且还进行对成像条件的引导。此外，信息处理设备1经由网络N与管理设备2通信。管理设备2是例如服务器计算机，并且管理多个信息处理设备1。网络N是例如互联网。

首先，当识别到拍摄图像中的参考对象时，信息处理设备1向管理设备2发送对所识别的参考对象进行标识的标识信息(例如，标记物ID)。当从信息处理设备1接收到标识信息时，管理设备2向信息处理设备1提供与该标识信息对应的成像条件信息。成像条件信息是指示待参考的成像位置和成像方向的信息。

信息处理设备1基于从拍摄图像识别到的参考对象的照片来估计成像条件并且还进行引导，以使得操作者能够知晓估计的成像条件与待参考的成像条件之间的差异。

例如，信息处理设备1获得估计的成像位置与待参考的成像位置之间的差异并且在拍摄图像上显示作为引导的箭头，该箭头提示在消除差异的方向上移动。当操作者根据引导显示而改变成像位置，由此使新的成像位置与待参考的成像位置近似匹配时，信息处理设备1获得在近似匹配时拍摄的图像，作为存储图像。另外，当近似匹配时，信息处理设备1命令操作者在当前成像位置处进行成像确定输入。例如，信息处理设备1命令操作者按下快门按钮。

接着，信息处理设备1将获得的存储图像和获得的时间和日期发送到管理设备2。管理设备2将该获得的存储图像和获得的时间和日期与从信息处理设备1接收的存储图像一起进行存储。

另外，在本实施方式中，管理设备2向信息处理设备1提供成像条件信息以及期望生成合成图像的信息(内容信息和模板信息)。下面将详细地进行描述。信息处理设备1以上述方法生成合成图像并且还将该图像显示在显示器上。这时，操作者可以浏览AR内容(例如，投影有图4中的对象E的投影图像)以理解裂缝存在的位置。另外，还可以进一步显示AR内容，该AR内容包括指示活动内容“对裂缝成像”的消息。

将成像条件信息、内容信息、模板信息等从管理设备2提供到信息处理设备1的时机不限于在信息处理设备1中识别到参考对象之后。例如，还可以在识别到参考对象之前将关于多个参考对象的成像条件信息等从管理设备2提供到信息处理设备1。

接着，对信息处理设备1的功能配置进行描述。图9是根据第一实施方式的信息处理设备的功能框图。信息处理设备1包括通信单元11、成像单元12、显示单元13、存储单元14以及控制单元15。

通信单元11与另一计算机进行通信。例如，通信单元11从管理设备2接收成像条件信息、内容信息以及模板信息。在存储图像被存储之后，通信单元11还将该存储图像发送到管理设备2。

成像单元12以固定帧间隔拍摄图像。照相机等同于成像单元12。接着，成像单元12将拍摄图像输入到控制单元15。显示单元13显示图像。例如，显示单元13显示包括AR对象的投影图像的合成图像以及包括引导显示的合成图像。

存储单元14在控制单元15的控制下存储各种类型的信息。存储单元14存储内容信息、模板信息、成像条件信息等。此外，存储单元14在控制单元15的控制下对存储图像进行存储。

控制单元15控制整个信息处理设备1的各种类型的处理。控制单元15包括识别单元16、引导执行单元17以及图像生成单元18。识别单元16从输入图像识别参考对象。在本实施方式中，识别单元16识别标记物。例如，识别单元16使用识别模板来识别标记物，在该模板中给出了标记物的形状以进行模板匹配。

此外，识别单元16获得对参考对象进行标识的标识信息。例如，获得标记物ID。基于例如与标记物对应的图像区域内的亮度信息来进行标记物ID的读取。例如，当标记物呈四边形时，识别单元16判定通过对被识别为标记物的四边形图像区域进行分割而获得的每个区域是按预定顺序的“1”还是“0”，从而将通过判定而获得的信息的列设置为标记物ID，其中，亮度不小于预定值的区域是“1”，亮度小于预定值的区域是“0”。

另外，例如，在四边形框中对亮度不小于预定值的区域和亮度小于预定值的区域的放置也可以形成一定图案，以使识别单元16使用与该图案对应的标记物ID。此外，还可以事先建立用作标记物ID的数值范围，以当读取的标记物ID不在该数值范围内时判定标记物ID未被读取。

接着，识别单元16基于参考对象的照片来计算参考对象的位置坐标和旋转坐标。参考对象的位置坐标和旋转坐标是照相机坐标系中的值。此外，识别单元16基于参考对象的位置坐标和旋转坐标来生成变换矩阵M。在上文中已经对基于参考对象的位置坐标和旋转坐标来生成变换矩阵M的详情进行了描述。

引导执行单元17生成引导信息，通过该引导信息能够知晓基于输入图像中的参考对象的照片而估计的第一成像条件与事先指定的第二成像条件之间的差异。例如，引导执行单元17基于输入图像中的参考对象的照片来估计输入图像的成像位置。接着，引导执行单元17计算在成像条件信息中设置的适当成像位置与输入图像的成像位置之间的差异。接着，引导执行单元17生成引导信息以绘制指示消除差异的方向箭头。还可以根据差异的幅度来调整箭头的长度等。

此处描述了估计作为成像条件之一的成像位置的方法。作为第一方法，使用由识别单元16计算的参考对象的位置(Xc1,Yc1,Zc1)。参考对象的位置(Xc1,Yc1,Zc1)是照相机坐标系中的参考对象的位置，其中，照相机的焦点是原点。

如图3所示，当参考对象在照相机坐标系中的位置是(Xc1,Yc1,Zc1)时，与此相反，照相机的焦点在以参考对象的中心为原点的标记物坐标系中的位置变成了(-Xc1,-Yc1,-Zc1)。也就是说，引导执行单元17可以将(-Xc1,-Yc1,-Zc1)估计为标记物坐标系中的成像位置(照相机的焦点的位置)。

作为第二方法，使用了由识别单元16生成的变换矩阵M。具体而言，引导执行单元17由从标记物坐标系到照相机坐标系的变换矩阵M的逆矩阵M-1与列向量Ac(Xc,Yc,Zc,1)的乘积来获得列向量Am(Xm,Ym,Zm,1)。具体而言，引导执行单元17由下式3获得列向量Am(Xm,Ym,Zm,1)。

Am＝M^-1·Ac (式3)

当认为成像位置与照相机坐标系中的原点近似匹配时，成像位置是(0,0,0)。因此，通过将列向量(0,0,0,1)替换成Ac，引导执行单元17可以由式3获得照相机坐标系中的原点对应于标记物坐标系中的哪个点。也就是说，引导执行单元17可以估计标记物坐标系中的成像位置。

接着，描述了作为成像条件之一的成像方向。引导执行单元17可以基于由识别单元16计算的参考对象的旋转坐标(P1c,Q1c,R1c)将输入图像的成像方向估计为(-P1c,-Q1c,-R1c)。

同上，引导执行单元17可以估计输入图像的成像条件。在下文中，假设输入图像的成像位置是(Xcm，Ycm，Zcm)。例如，(Xcm，Ycm，Zcm)是(-Xc1,-Yc1,-Zc1)。假设包括在成像条件信息中的成像位置是(Xcon，Ycon，Zcon)。假设输入图像的成像方向是(Pcm，Qcm，Rcm)。例如，(Pcm，Qcm，Rcm)是(-Pc1，-Qc1，-Rc1)。假设包括在成像条件信息中的成像方向是(Pcon，Qcon，Rcon)。

接着，引导执行单元17计算输入图像的成像条件与包括在成像条件信息中的成像条件之间的差异。当只采用成像位置和成像方向中的任何一个作为成像条件时，只针对成像位置或者成像方向来计算差异。

例如，引导执行单元17针对标记物坐标系中的每个坐标值计算差异(Xcon–Xcm,Ycon-Ycm,Zcon-Zcm)。当X轴上的差异的值为正值时，引导执行单元17生成指示左方向的箭头，即朝着平行于包括在信息处理设备1中的显示单元13(显示器)的平面。当X轴上的差异的值为负值时，引导执行单元17生成指示右方向的箭头。

当Y轴上的差异的值为正值时，引导执行单元17生成指示向上方向的箭头，即朝着平行于包括在信息处理设备1中的显示单元13(显示器)的平面。当Y轴上的差异的值为负值时，引导执行单元17生成指示向下方向的箭头。

当Z轴上的差异的值为正值时，引导执行单元17生成指示向前方向的箭头，即朝着与包括在信息处理设备1中的显示单元13(显示器)垂直的平面。当Z轴上的差异的值为负值时，引导执行单元17生成指示向后方向的箭头。

此外，引导执行单元17还可以生成提示改变成像条件的声音来代替箭头作为引导信息。例如，当X轴上的差异的值为正值时，引导执行单元17生成“向左移动”的声音。在这种情况下，这样生成的引导信息是从例如声音输出单元(未示出)(如扬声器)输出的。

此外，引导执行单元17计算输入图像的旋转坐标(Pcm,Qcm,Rcm)与在成像条件信息中设置的关于每个旋转轴的适当旋转坐标(Pcon,Qcon,Rcon)之间的同样在成像方向上的差异。接着，引导执行单元17根据旋转坐标的差异来生成提示使信息处理设备旋转的引导信息。例如，当Pcon-Pcm的值为正时，因为P1c指示关于Xc轴的旋转角度，所以引导执行单元17生成引导信息，以使得信息处理设备1关于构成平行于照相机的成像装置平面的平面的坐标轴逆时针旋转。

此外，当差异变得不超过阈值时，引导执行单元17获得存储图像。例如，当差异变得不超过阈值时，引导执行单元17将输入图像作为存储图像存储在存储单元14中。此外，引导执行单元17还可以经由显示单元13向用户输出结束正在观察的成像处理的消息。

可替换地，当差异变得不超过阈值时，引导执行单元17还可以请求操作者按下确定按钮以经由显示单元13在成像位置处对观察对象成像。接着，引导执行单元17从成像单元12获得图像并且将该图像作为存储图像存储在存储单元14中。

引导执行单元17将存储图像的图像数据与成像的时间和日期进行关联并且将关联后的内容存储在存储单元14中。此外，引导执行单元17还可以将标记物ID和指示存储图像的成像条件的信息存储在存储单元14中。

接着，图像生成单元18生成待显示在显示单元13上的图像。例如，图像生成单元18生成通过将AR内容叠加显示在拍摄图像上而获得的合成图像。基于由识别单元16输出的变换矩阵M以及由通信单元11从管理设备2获得的内容信息和模板信息来生成合成图像。

图像生成单元18基于由引导执行单元17生成的引导信息来生成图像以显示引导信息。例如，图像生成单元18将引导显示合成在拍摄图像上。图像生成单元18还可以将引导显示合成在包括AR对象的投影图像的合成图像上。

接着，对存储在存储单元14中的各种类型的信息进行描述。假设将模板信息、内容信息以及成像条件信息从管理设备2提供到信息处理设备1。接着，将这样提供的各种类型的信息存储在存储单元14中。

图10示出了模板信息表。模板信息表存储对每个模板进行定义的模板信息，模板被应用作为AR对象的模型数据。模板信息包括模板的标识信息(模板ID)、构成模板的每个顶点的坐标信息T21以及构成模板的每个平面的配置信息T22(顶点顺序和纹理ID的规格)。

顶点顺序指示构成平面的顶点的顺序。纹理ID指示描绘在平面上的纹理的标识信息。模板的参考点是例如第0个顶点。通过模板信息表中指示的信息来建立三维模型的形状和图案。

图11示出了内容信息表。内容信息表存储关于AR内容的内容信息。在内容信息表中存储了AR内容的内容ID、标记物坐标系中的参考点的位置坐标(Xm,Ym,Zm)、标记物坐标系中的旋转坐标(Pm，Qm，Rm)、使用AR模板作为参考的放大率D(Jx，Jy，Jz)、AR模板的模板ID、标记物ID以及附加信息。

当图像生成单元18生成AR对象E的投影图像时，基于内容信息(位置、方向以及大小)来调整图10中示出的AR模板。换言之，通过设置由内容信息表管理的信息来对AR对象E的位置、姿势以及大小进行规定。附加信息是添加到AR对象E的信息。作为附加信息，使用了文本、对网页和文件的访问信息等。

例如，图11中示出的具有内容ID“C1”的AR内容用每个顶点来进行配置，该顶点通过将定义为AR模板“T1”的每个顶点坐标在Xm,Ym,Zm各个方向上放大或者缩小、按旋转坐标(Pm1,Qm1,Rm1)进行旋转以及根据位置坐标(Xm1,Ym1,Zm1)进行平移而获得。AR内容还将附加信息描绘在构成AR对象E的平面上。

接着，图12示出了成像条件信息表。成像条件信息表存储当对观察对象进行成像时关于待参考的成像条件的成像条件信息。在成像条件信息表中存储了标记物ID、关于成像位置的成像条件(Xcon,Ycon,Zcon)以及关于成像方向的成像条件(Pcon,Qcon,Rcon)。

成像条件可以是由管理员事先设置的信息，也可以是最初拍摄的观察对象的图像的成像位置和成像方向。例如，如图7A所示，假设操作者发现存在裂缝304并且拍摄图像300。此时，基于图像300中的标记物306(参考对象)的照片来生成待参考的成像条件。生成成像条件的方法与当引导执行单元17估计输入图像的成像位置时的计算方法类似。

接着，描述对存储图像进行存储的存储图像表。图13示出了存储图像表。存储图像表将标记物ID、图像数据、成像的时间和日期以及存储图像被拍摄的成像条件以关联的方式存储。在图13的示例中，成像位置和成像方向作为成像条件而被存储。图像数据还可以是指示图像数据存储位置的信息，而不是图像数据本身。

接着，对根据第一实施方式的管理设备2的功能配置进行描述。图14是管理设备的功能框图。管理设备2具有通信单元21、控制单元22以及存储单元23。通信单元21是与另一计算机进行通信的处理单元。例如，通信单元21与信息处理设备1进行通信。

控制单元22是控制整个管理设备2的各种类型的处理的处理单元。例如，控制单元22根据来自信息处理设备1的请求从存储单元23中读取内容信息、模板信息以及成像条件信息。该请求包括由信息处理设备1识别的参考对象的标识信息(标记物ID)。具体而言，控制单元22从存储单元23中读取与标识信息对应的内容信息和成像条件信息。从存储单元23中还一起读取了应用到内容的模板的模板信息。

接着，控制单元22控制通信单元21并且对读取到信息处理设备1的各种类型的信息进行发送。另外，当经由通信单元21从信息处理设备1接收到存储图像时，控制单元22将存储图像存储在存储单元23中。

存储单元23存储各种类型的信息。例如，存储单元23通过与图10类似的模板信息表来存储模板信息。另外，存储单元23通过与图11类似的内容信息表来存储内容信息。此外，存储单元23通过与图12类似的成像条件信息表来存储成像条件信息。另外，存储单元23通过与图13类似的存储图像表来存储存储图像。

接着，对由引导程序执行的引导处理的流程进行描述。图15示出了引导处理的流程图。引导程序是定义了由信息处理设备1的控制单元15执行的引导处理的过程的程序。

控制单元15在进行引导处理之前进行预处理。在预处理中，从管理设备2获得模板信息、内容信息以及成像条件信息。另外，执行AR显示模式的激活指令。控制单元15使例如成像单元12以预定时间间隔开始成像并且使识别单元16开始关于拍摄图像的标记物感应处理。此外，控制单元15将由成像单元12拍摄的拍摄图像显示在显示单元13上。

当控制单元15命令成像时，成像单元12获得由成像装置以预定时间间隔生成的图像并且将这样获得的图像存储在存储单元14中。在存储单元14中提供了用于存储多个图像的缓冲区，并且将由成像单元12拍摄的图像存储在缓冲区中。例如，存储单元14中提供的缓冲区是用于显示的缓冲区，其存储了待由显示单元13显示的图像。存储在缓冲区中用于显示的图像被连续地显示在显示单元13上。

识别单元16获得在设置于存储单元14中的缓冲区内存储的图像(Op.1(操作1))。此处获得的图像变成了输入图像。识别单元16判定是否从输入图像(Op.3)识别到标记物。例如，识别单元16通过使用给出标记物的形状的模板来识别标记物以进行模板匹配。

在标记物的识别过程中(Op.3)，识别单元16进行标记物的标记物ID的读取。另外，识别单元16基于输入图像中的标记物的照片来计算照相机坐标系中的参考对象的位置(Xc1,Yc1,Zc1)和参考对象的旋转坐标(P1c,Q1c,R1c)。另外，识别单元16基于参考对象的位置(Xc1,Yc1,Zc1)和参考对象的旋转坐标(P1c,Q1c,R1c)来生成变换矩阵M。

当没有识别到标记物时(在Op.3中为否)，识别单元16返回Op.1。与此相反，当识别到标记物时(在Op.3中为是)，识别单元16将识别到的标记物的标记物ID输出到引导执行单元17并且引导执行单元17判定存在观察对象(Op.5)。也就是说，引导执行单元17参考成像条件信息表并且判定是否存储了与所获得的标记物ID对应的成像条件。当存储了条件时，判定存在与从输入图像识别到的标记物关联的观察对象。

当不存在观察对象时(在Op.5中为否)，图像生成单元18生成使用内容信息、模板信息以及变换矩阵M将AR内容的投影图像叠加在输入图像上的合成图像(Op.7)。接着，显示单元13显示合成图像(Op.9)。接着，处理结束。

此处，当不存在观察对象时(在Op.5中为否)，引导执行单元17还可以判定是否添加观察对象。例如，当用户新发现裂缝时，进行将裂缝添加为观察对象的输入。引导执行单元17使用识别单元16的输出来生成成像条件。生成的成像条件与待管理的标记物ID一起发送到管理设备2。

与此相反，当存在观察对象时(在Op.5中为是)，引导执行单元17使用从识别单元16获得的照相机坐标系中的参考对象的位置(Xc1,Yc1,Zc1)和旋转坐标(P1c,Q1c,R1c)来计算成像位置和成像方向(Op.11)。例如，引导执行单元17基于照相机坐标系中的参考对象的位置(Xc1,Yc1,Zc1)将输入图像的成像位置(Xcm，Ycm，Zcm)计算为(-Xc1,-Yc1,-Zc1)。

接着，引导执行单元17为了进行匹配而将待参考的成像条件与计算的成像条件进行比较(Op.13)。此处，匹配可以是完全，也可以是近似匹配。对用于判定是否匹配的阈值，设置考虑到人类视觉的精确度的值。

当待参考的成像条件与计算的成像条件不匹配时(在Op.13中为否)，引导执行单元17生成引导信息(Op.15)。例如，引导信息是绘制箭头的信息，该箭头提示在消除包括在成像条件中的成像位置与计算的成像位置之间的差异的方向上移动。

接着，图像生成单元18使用内容信息、模板信息以及变换矩阵M来生成合成图像并且还基于引导信息在合成图像上绘制引导显示(Op.17)。绘制引导信息的位置是任意的。例如，在合成图像的接近中心等处进行引导显示。

接着，显示单元13显示包括引导显示的合成图像(Op.19)。之后，控制单元15判定是否结束处理(Op.21)。例如，当由用户执行结束处理的输入时，判定结束处理。当处理结束时(在Op.21中为是)，直接结束一系列的引导处理。与此相反，当处理未结束时(在Op.21中为否)，处理返回Op.1。

另外，当在Op.13中待参考的成像条件与计算的成像条件匹配时(在Op.13中为是)，引导执行单元17将在Op.1中获得的输入图像作为存储图像进行存储(Op.25)。引导执行单元17还可以使操作者分离地进行成像操作，然后将新的图像作为存储图像进行存储。

接着，控制单元15经由通信单元11将存储图像发送到管理设备2(Op.27)。发送处理还可以在其他时机进行。例如，当从操作者输入结束一系列的服务时，通信单元11还可以将在一系列的服务期间存储的所有存储图像发送到管理设备2。图13中示出的存储图像表中存储的各种类型的信息也连同存储图像一起被发送到管理设备2。

图16是包括引导显示的合成图像的示例。包括引导显示的合成图像400包括管道402、裂缝404、标记物406、AR对象E、引导显示408以及引导显示410。在图16的示例中，向操作者作出了指示向“左”以及向“后”移动的引导显示。

图16是当待参考的成像条件与计算的成像条件之间的差异对于X值是正值并且对于Z值是正值时的引导显示的示例。根据引导显示，用户进行向左和向后的移动，直到信息处理设备1判定待参考的成像位置与实际成像位置匹配为止，由此使得存储图像在与待参考的成像位置匹配的位置处进行成像。

同上，使用AR技术中相对于参考对象的成像位置和成像方向，本实施方式中的信息处理设备1可以估计关于多个图像的成像位置和成像方向。该多个图像在与参考对象的位置关系没有变化的情形下对观察对象进行成像。接着，通过执行指示成像位置和成像方向的当前状态与参考状态之间的差异的引导，信息处理设备1可以使操作者拍摄多个图像。在该多个图像中，在近似相同的成像条件下对观察对象进行拍摄。最后，管理设备2可以从信息处理设备1收集在近似相同的成像条件下拍摄的存储图像。因此，即使通过人眼也可以容易地比较观察对象随时间的变化。

[第二实施方式]

在第一实施方式中，描述了根据标记物的照片来估计标记物坐标系中的成像条件以进行引导的信息处理设备1。在第二实施方式中，描述了根据图像中的参考对象的照片的区域来估计成像条件以进行引导的信息处理设备3。

在第二实施方式中，与第一实施方式类似，前提是参考对象与观察对象之间的位置关系没有变化，并且参考对象和观察对象被拍摄在一个图像中。在第二实施方式中，当第一图像和第二图像在相同的成像条件下被拍摄时，请注意，第一图像中的参考对象的照片和第二图像中的参考对象的照片变成相同大小和相同形状。

信息处理设备3从待参考的图像提取参考对象区域并将提取的区域的信息用作成像条件。待参考的图像包括参考对象和观察对象。接着，当重新对观察对象进行成像时，显示了指示待参考的图像中的参考对象的区域的引导显示。例如，引导显示是适配参考对象的框。操作者移动到将参考对象适配在框中的位置以对观察对象进行成像。

图17A和图17B示出了根据第二实施方式的引导显示。图17A示出了待参考的图像500。信息处理设备3使用图像500中的标记物506(参考对象)的照片的区域来生成成像条件。图像500还包括作为观察对象的裂缝504和管道502。

信息处理设备3使用从图像500识别到的标记物506的照片的区域作为裂缝504成像条件。如上所述，标记物506的照片的区域是能够用于估计裂缝504的成像位置和成像方向的信息。

图17B示出了包括引导显示516的合成图像508。合成图像508包括具有成像时的标记物514、管道510以及裂缝512的照片。引导显示516指示待参考的图像500中的标记物506的照片的区域。操作者参考引导显示516来移动以使标记物514适配引导显示516，由此能够在与图像500类似的成像条件下拍摄图像。

根据第二实施方式的系统包括信息处理设备3和管理设备2。接着，对根据第二实施方式的信息处理设备3的功能配置进行描述。图18是根据第二实施方式的信息处理设备的功能框图。关于进行与根据第一实施方式的信息处理设备1类似的处理的处理单元，给出了相同的附图标记并且省略对其的描述。

信息处理设备3包括通信单元11、成像单元12、显示单元13、存储单元31以及控制单元32。此外，控制单元32包括识别单元33、条件生成单元34、引导执行单元35以及图像生成单元36。

在与识别单元16类似的方法中，识别单元33从输入图像中识别参考对象并且也获得对该参考对象进行标识的标识信息。此外，与识别单元16类似，识别单元33生成变换矩阵M。另外，识别单元33生成输入图像中的参考对象的区域信息。例如，获得等同于参考对象的特征点的像素的位置作为区域信息。

条件生成单元34生成待参考的图像的成像条件。例如，当由操作者命令添加新的观察对象时，条件生成单元34从识别单元33获得待参考的图像中的区域信息。接着，条件生成单元34通过将区域信息与标记物ID进行关联来生成成像条件信息。这样生成的成像条件信息经由通信单元11被发送到管理设备2。

接着，与引导执行单元17类似，引导执行单元35生成使得能够知晓基于输入图像中的参考对象的照片而估计的第一成像位置与事先指定的第二成像位置之间的差异的引导信息。应当注意，引导执行单元35生成引导信息以显示待参考的图像中的参考对象的区域信息。

与图像生成单元18类似，图像生成单元36生成合成图像。图像生成单元36基于引导信息在输入图像上绘制适配参考对象的框。

与第一实施方式类似，存储单元31具有模板信息表、内容信息表、成像条件信息表以及存储图像表。应当注意，成像条件信息表的数据配置与第一实施方式不同。

图19示出了第二实施方式中的成像条件信息表。在二实施方式中，将指示标记物(即参考对象)的区域的区域信息与标记物ID关联地存储，作为成像条件信息。

区域信息是例如指示等同于构成参考对象的多个特征点的像素的位置的信息。当采用呈正方形的参考对象(如标记物M)时，如图19所示，等同于标记物的四个角的像素成为特征点。接着，将各个特征点的位置作为第一特征点位置、第二特征点位置、第三特征点位置以及第四特征点位置存储在成像条件信息表中。此处，作为每个特征点的位置存储的坐标值可以是任何坐标系中的值。应该注意的是，当采用屏幕坐标系中的坐标值时，可以在无需坐标变换的情况下绘制用于引导显示的框。

另外，在根据第二实施方式的管理设备2的存储单元23中同样保存了具有与图19类似的数据配置的成像条件信息表。

接着，对关于第二实施方式的各种类型的处理的流程进行描述。图20示出了根据第二实施方式的引导处理的流程图。引导程序是定义了由控制单元32进行的引导处理的过程的程序。控制单元32在主引导处理之前进行预处理。预处理是与第一实施方式类似的处理。

识别单元33获得存储在设置于存储单元31中的缓冲区内的图像(Op.31)。此处获得的图像变成输入图像。识别单元33判定是否从输入图像中识别到标记物(Op.33)。另外，与Op.3类似，识别单元33读取标记物ID。此外，与Op.3类似，识别单元33计算位置坐标(Xc1,Yc1,Zc1)和旋转坐标(P1c,Q1c,R1c)以生成变换矩阵M。另外，识别单元33生成输入图像中的参考对象的照片的区域信息。

当没有识别到标记物时(在Op.33中为否)，识别单元33返回Op.31。与此相反，当识别到标记物时(在Op.33中为是)，识别单元33向引导执行单元35输出标记物ID，并且引导执行单元35判定观察对象(Op.35)的存在。

当不存在观察对象时(在Op.35中为否)，图像生成单元36使用内容信息、模板信息以及变换矩阵M来生成合成图像(Op.37)。接着，显示单元13显示合成图像(Op.39)。接着，处理结束。此处，与第一实施方式类似，当不存在观察对象时，引导执行单元35还可以判定是否添加新的观察对象。

与此相反，当存在观察对象时(在Op.35中为是)，引导执行单元35从存储单元31获得与识别的标记物ID对应的成像条件信息(Op.41)。如图19所示，成像条件信息是待参考的图像中的参考对象的区域信息。

接着，图像生成单元36生成使用内容信息、模板信息以及变换矩阵M将AR内容投影到输入图像上的合成图像，并且还基于从引导执行单元35输出的成像条件信息来绘制引导显示(Op.43)。

接着，显示单元13显示包括引导显示的合成图像(Op.45)。接着，引导执行单元35判定是否从用户接收了确定输入来存储图像(Op.47)。在当前输入的图像中的参考对象与引导显示近似匹配时，用户执行确定输入以使输入图像成为存储图像。在Op.45中显示的合成图像上还可以设置用于确定输入的按钮。

当没有接收到确定输入时(在Op.47中为否)，控制单元32判定是否结束处理(Op.49)。例如，当由用户进行处理结束的输入时(在Op.49中为是)，判定结束处理。当处理结束时，直接结束一系列的引导处理。与此相反，当处理未结束时(在Op.49中为否)，处理返回Op.31。

当在Op.47中接收到确定输入时(在Op.47中为是)，引导执行单元35将在Op.31中获得的输入图像作为存储图像进行存储(Op.53)。接着，控制单元32将该存储图像经由通信单元11发送到管理设备2(Op.55)。接着，一系列的处理结束。

虽然引导执行单元35基于在Op.47中来自用户的输入来判定存在确定输入，但是当被显示为引导显示的参考对象的区域信息与输入图像中的参考对象的区域信息匹配时，还可以类似于第一实施方式那样对存储图像进行存储。

具体而言，引导执行单元35将规定为成像条件的参考对象的区域信息与输入图像中的参考对象的区域信息进行比较。分别针对标记物M的多个特征点，引导执行单元35判定位置是否近似匹配。例如，当针对所有四个特征点而判定近似匹配时，引导执行单元35将输入图像作为存储图像存储在存储单元31中。

同上，根据第二实施方式的信息处理设备3将参考图像中的参考对象的区域信息作为指示存储图像的成像位置和成像方向的信息进行显示。操作者基于参考图像中的参考对象的区域信息来调整成像位置和成像方向，由此使得信息处理设备3能够存储在与参考图像类似的成像条件下所拍摄的图像。

[第一变型]

作为第一实施方式和第二实施方式的第一变型，还可以将多个成像条件信息项与一个参考对象关联。例如，存在这样的情况：要与某个参考对象一起被成像的观察对象在检查服务中和在维护与管理服务中是不同的。因此，第一变型针对每个服务类型管理不同的成像条件信息。使用情景ID作为标识服务类型的信息。

首先，操作者输入情景ID以标识事先由他/她自己执行的服务内容，由此根据情景ID唯一地指定参考对象的标识信息(标记物ID)和成像条件信息。管理设备2还可以被配置成当从信息处理设备1或者信息处理设备3接收到成像条件信息请求时获得标记物ID以及情景ID，并且还可以被配置成事先接收情景ID的规格。

即使在检查服务中，也存在这样的情况：要与某个参考对象一起被成像的观察对象在检查服务A中与在检查服务B中是不同的。在第一变型中，即使在相同的服务类型中，也根据活动的特定内容来进一步管理成像条件信息。使用场景ID作为对活动的内容进行标识的信息。在选择情景ID之后，操作者进一步选择场景ID，由此唯一地指定与服务内容和活动的内容对应的成像条件信息。

同上，在第一变型中，可以使用情景和场景来设置相对于某个参考对象的多个成像条件。因此，可以对一个参考对象设置多个成像条件而无需针对每个情景和场景安装参考对象，由此减轻参考对象的安装负担。

图21示出了第一变型中的成像条件信息表。图21的示例示出了当第一变型被应用于根据第一实施方式的成像条件信息表时的情况。成像条件信息表将标记物ID、情景ID、场景ID以及成像条件关联地进行存储。成像条件是成像位置和成像方向。根据第一变型的信息处理设备1能够根据情景ID和场景ID来切换针对标记物ID“M1”的成像条件。该实施方式还可以仅设置情景ID和场景ID中之一。

[第二变型]

管理设备2还可以进行引导处理。管理设备2的控制单元22进行例如图15中示出的Op.1、Op.3、Op.5、Op.7、Op.9、Op.11、Op.13、Op.15、Op.17、Op.19、Op.21以及Op.25。在Op.9和Op.19中，合成图像被发送到信息处理设备1并且显示在信息处理设备1上。在Op.1和Op.21中，从信息处理设备1接收输入图像。类似地，根据第二实施方式的引导处理还可以由管理设备2的控制单元22来进行。

在第二变型中，可以不向信息处理设备1提供模板信息、内容信息以及成像条件信息。因为信息处理设备1或者信息处理设备3只进行图像的成像以及图像的显示，因此减轻了处理负担。

[第三变型]

此外，根据第一实施方式的信息处理设备1还可以将相对于标记物的成像位置和成像方向记录为日志信息，以生成用户的移动轨迹。具体而言，信息处理设备1识别参考对象并且还以与第一实施方式类似的方法获得相对于参考对象的成像位置和成像方向。接着，信息处理设备1将识别到的参考对象的标识信息(标记物ID)与成像位置、成像方向以及成像的时间和日期关联地记录为日志信息。此外，还可以将标识用户的用户ID包括在日志信息中。

从识别标记物开始到识别结束连续地进行对日志信息的记录，并且当识别到新的标记物时，开始对包括新的标记物ID的日志信息的记录。以这种方式，信息处理设备1能够收集在对标记物的识别期间关于用户移动(相对于标记物的成像位置)的日志信息。

此外，根据本变型的信息处理设备1还可以基于收集的日志信息来生成用户的移动轨迹。具体而言，将实空间中的每个标记物的位置信息(关于设施中的安装位置的信息)与设施中的地图信息相关联的地图数据被事先准备。接着，信息处理设备在地图上绘制用户相对于每个标记物的位置(成像位置)，由此在地图数据上将用户位置的变化描绘为移动轨迹。

用户的移动轨迹被记录为标记物坐标系中的标记物相对坐标。在全局坐标系中设置了地图数据以在全局坐标中保存标记物位置和方向。信息处理设备坐标使用地图数据上的标记物位置作为参考来将用户的移动轨迹的标记物相对坐标变换到全局坐标系，由此绘制地图数据上的移动轨迹。

图22是描绘有用户的移动轨迹的地图数据的示意图。图22是在地图数据上描绘用户的移动轨迹602、604、606、608、610以及612的示例，在该地图数据中包括工作场所600和安装在工作场所600中的标记物M1、M2、M3、M4、M5以及M6。还可以通过缩窄标记物的放置间隔来对用户的移动轨迹进行不间断的追踪。

根据包括标记物M1的标记物ID的日志信息来生成移动轨迹602。根据包括标记物M2的标记物ID的日志信息来生成移动轨迹604。根据包括标记物M3的标记物ID的日志信息来生成移动轨迹606。根据包括标记物M4的标记物ID的日志信息来生成移动轨迹608。根据包括标记物M5的标记物ID的日志信息来生成移动轨迹610。根据包括标记物M6的标记物ID的日志信息来生成移动轨迹612。

具体而言，移动轨迹602具有包括标记物M1的标记物ID的日志信息的绘制的成像位置。此外，各绘制点按照日志信息中的更早的成像时间和日期的顺序来被连接。

以这种方式，在每个标记物的识别期间所生成的日志信息被描绘在地图数据上，由此使得能够对用户的停留位置和移动轨迹进行视觉识别。例如，在图22中，应该理解的是，用户停留在由614指示的区域中。此外，在地图数据中，还可以将用户的停留时间和日期显示在一起。

[另一应用]

本实施方式中公开的技术可以应用在不同于通过控制成像条件来拍摄供观察的图像的应用中。此处，对另一应用进行描述。

即使当识别到拍摄图像中的标记物时，也存在AR对象没有被叠加显示在拍摄图像上的情况。这是AR对象的放置位置处于能够被叠加显示在拍摄图像上的区域之外的情况。具体而言，当操作者处于靠近标记物的状态时，设置得距标记物较远的AR内容没有包括在合成图像中。因此，用户无法理解AR内容。

为了避免这种情况，应用上述实施方式。也就是说，将适当的成像条件引向用户。具体而言，管理员根据成像位置和成像方向事先在成像条件中进行设置。接着，在能够知晓根据由操作者拍摄的拍摄图像所设想的成像条件与事先设置的成像条件之间的差异的实施方式中进行引导显示。操作者根据引导显示进行移动，由此能够避免由于成像条件的影响而没有显示与参考对象关联的AR对象的情况。

[硬件配置示例]

对每个实施方式中示出的信息处理设备1和管理设备2的硬件配置进行描述。图23是每个实施方式中的信息处理设备的硬件配置示例。信息处理设备1和信息处理设备3由计算机1000来实现。也就是说，图9和图18中示出的功能框由例如图23中示出的硬件配置来实现。

计算机1000包括例如处理器1001、随机存取存储器(RAM)1002、只读存储器(ROM)1003、驱动设备1004、存储介质1005、输入接口(输入I/F)1006、输入装置1007、输出接口(输出I/F)1008、输出装置1009、通信接口(通信I/F)1010、照相机模块1011、加速度传感器1012、角速度传感器1013、显示接口(显示I/F)1014、显示装置1015、总线1016等。各自的硬件经由总线1016连接。

通信接口1010经由网络N进行通信控制。由通信接口1010控制的通信还可以是经由使用无线通信的无线基站来访问网络N的实施方式。通信接口1010的一个示例是网络接口卡(NIC)。输入接口1006被连接到输入装置1007并且将从输入装置1007接收的输入信号发送到处理器1001。输出接口1008被连接到输出装置1009并且使输出装置1009根据处理器1001的指令进行输出。输入接口1006和输出接口1008的一个示例是I/O控制器。

输入装置1007是根据操作而发送输入信号的设备。输入信号是例如按键设备，如安装在计算机1000的主体中的键盘和按钮；以及指示装置如鼠标和触摸屏。输出装置1009是根据处理器1001的控制输出信息的设备。输出装置1009是例如声音输出设备，如扬声器。

显示接口1014被连接到显示装置1015。显示接口1014将由处理器1001写入用于显示的缓冲区中的图像信息显示在显示装置1015上，所述用于显示的缓冲区设置在显示接口1014中。显示接口1014的一个示例是图形卡和图形芯片。显示装置1015是根据处理器1001的控制输出信息的设备。对于显示装置1015，使用如显示器、透射式显示器等图像输出设备。

当使用透射式显示器时，AR内容的投影图像没有与拍摄图像合成，但是例如还可以被控制为显示在透射式显示器中的适当位置上。这样，用户获得在实空间与AR内容匹配的状态下的视觉。另外，例如，将输入/输出设备(如触摸屏)用作输入装置1007和显示装置1015。另外，代替在计算机1000内建立输入装置1007和显示装置1015，例如还可以将输入装置1007和显示装置1015从外部连接到计算机1000。

RAM 1002是可读并且可写的存储器设备，并且还可以使用例如半导体存储器，如静态RAM(SRAM)和动态RAM(DRAM)以及除RAM以外的快闪存储器等。ROM 1003包括可编程ROM(PROM)。

驱动设备1004是对存储在存储介质1005中的信息进行读取和写入中的至少一种操作的设备。存储介质1005存储由驱动设备1004写入的信息。存储介质1005例如是以下类型的存储介质中的至少一种：如硬盘、固态驱动器(SSD)、致密盘(CD)，数字通用盘(DVD)以及蓝光盘。另外，例如，计算机1000包括与计算机1000中的存储介质1005的类型兼容的驱动设备1004。

照相机模块1011包括成像装置(图像传感器)，并且该成像装置将通过光电转换而获得的数据写入包括在照相机模块1011中的用于输入图像的图像缓冲区中。加速度传感器1012测量施加到加速度传感器1012的加速度。角速度传感器1013测量由角速度传感器1013的行为产生的角速度。

处理器1001将存储在ROM 1003或者存储介质1005中的程序读取到RAM 1002并且根据所读取的程序的过程来进行处理。例如，控制单元15的功能由处理器1001基于根据第一实施方式的引导程序对其他硬件进行控制来实现。例如，控制单元32的功能由处理器1001基于根据第二实施方式的引导程序对其他硬件进行控制来实现。

通信单元11的功能由处理器1001通过对通信接口1010进行控制来进行数据通信并且将接收的数据存储在存储介质1005中来实现。

存储单元14和存储单元31的功能由ROM 1003和存储介质1005以及RAM 1002来实现，其中ROM 1003和存储介质1005存储程序文件和数据文件，RAM 1002被用作为针对处理器1001的工作区域。例如，内容信息、模板信息、成像条件信息等被存储在RAM 1002中。

成像单元12的功能通过照相机模块1011将图像数据写入用于输入图像的图像缓冲区中并且处理器1001读取用于输入图像的图像缓冲区中的图像数据来实现。图像数据处于监视模式下，例如，被写入用于输入图像的图像缓冲区中并且还被并行地写入显示装置1015的用于显示的缓冲区中。

另外，显示单元13的功能通过将处理器1001生成的图像数据写入设置有显示接口1014的用于显示的缓冲区中并且显示装置1015对用于显示的缓冲区中的图像数据进行显示来实现。

接着，图24示出了在计算机1000中运行的程序的配置示例。在计算机1000中，操作系统(OS)3002控制一组硬件的运行。处理器1001根据OS 3002在过程中运行，以对硬件(HW)3001进行控制和管理，由此由HW 3001上的应用程序(AP)3004和中间件(MW)3003执行处理。

在计算机1000中，如OS 3002、MW 3003以及AP 3004等程序例如被RAM 1002读取并且被处理器1001执行。另外，在每个实施方式中描述的引导程序是例如作为MW 3003从AP 3004调用的程序。

可替换地，例如包括引导程序的AR控制程序是实现作为AP 3004的AR功能的程序。AR控制程序被存储在存储介质1005中。存储介质1005可以作为根据本实施方式的引导程序而在独立状态下分布，或者在存储有包括引导程序的AR控制程序的状态下，与计算机1000的主体分离地分布。

接着，对每个实施方式中的管理设备2的硬件配置进行描述。图25是管理设备的硬件配置示例。管理设备2由计算机2000来实现。管理设备2由例如图25中示出的硬件配置来实现。计算机2000包括例如处理器2001、RAM 2002、ROM 2003、驱动设备2004、存储介质2005、输入接口(输入I/F)2006、输入装置2007、输出接口(输出I/F)2008、输出装置2009、通信接口(通信I/F)2010、存储区域网络(SAN)接口(SANI/F)2011、总线2012等。各个硬件经由总线2012连接。

例如，处理器2001是与处理器1001类似的硬件。RAM 2002是例如与RAM 1002类似的硬件。ROM 2003是例如与ROM 1003类似的硬件。驱动设备2004是例如与驱动设备1004类似的硬件。存储介质2005是例如与存储介质1005类似的硬件。输入接口(输入I/F)2006是例如与输入接口1006类似的硬件。输入装置2007是例如与输入装置1007类似的硬件。

输出接口(输出I/F)2008是例如与输出接口1008类似的硬件。输出装置2009是例如与输出装置1009类似的硬件。通信接口(通信I/F)2010是例如与通信接口1010类似的硬件。存储区域网络(SAN)接口(SANI/F)2011是将计算机2000连接到SAN的接口并且包括主机总线适配器(HBA)。

处理器2001读取存储在ROM 2003和存储介质2005中的程序并且根据所读取的程序的过程进行处理。此时，RAM 2002被用作为针对处理器2001的工作区域。程序包括根据管理设备2中的各种类型的处理的程序。例如，程序是描述了对要提供给计算机1000的模板信息、内容信息、成像条件信息等进行选择的处理的程序。

管理设备2通过ROM 2003和存储介质2005或者RAM 2002来存储各种类型的信息，其中ROM 2003和存储介质2005存储程序文件和数据文件，RAM 2002被用作针对处理器2001的工作区域。处理器2001通过控制通信接口2010来进行通信处理。

Claims

1.一种由计算机执行的引导方法，包括：

获取第一图像的数据；

在所述第一图像的数据中检测与参考对象对应的参考图像数据；

基于所述第一图像中的参考对象的外观来计算第一条件，所述第一条件指示在拍摄第一图像时的成像设备的操作条件；以及

针对待拍摄的第二图像输出引导信息，所述引导信息指示如何调整所述第一条件以与参考条件匹配，所述参考条件对应于在所述参考条件下拍摄的参考图像中的参考对象的外观。

2.根据权利要求1所述的引导方法，还包括：

将所述第二图像的数据与时间信息相关联地存储到存储器中。

3.根据权利要求1或2所述的引导方法，还包括：

将所述第二图像的数据与所述参考对象的标识信息相关联地存储到存储器中。

4.根据权利要求1至3中任一项所述的引导方法，还包括：

在所述输出之后，获取所述第二图像的数据；

确定与所述第二图像相关联的第二条件是否与所述参考条件匹配；以及

当确定出所述第二图像的第二条件与所述参考条件匹配时，将所述第二图像的数据存储到存储器中。

5.根据权利要求1至3中任一项所述的引导方法，还包括：

在所述输出之后，获取以下指令：该指令包括用户确定的第二图像的第二条件，所述第二条件与所述参考条件匹配；以及

将所述第二图像的数据存储到存储器中。

6.根据权利要求1至5中任一项所述的引导方法，其中，所述引导信息包括调整所述第一条件以与所述参考条件匹配的方向信息。

7.根据权利要求1至5中任一项所述的引导方法，其中，所述输出包括将所述引导信息显示为被拍摄在所述参考图像中的参考对象的引导图像。

8.根据权利要求1至5中任一项所述的引导方法，其中，所述第一条件和所述参考条件包括所述参考对象的位置信息和关于所述参考对象的角度信息。

9.根据权利要求8所述的引导方法，其中，所述引导信息指示所述第一条件的位置信息与另外的所述参考条件的位置信息之间的第一差异以及所述第一条件的角度信息与另外的所述参考条件的角度信息之间的第二差异。

10.根据权利要求5所述的引导方法，其中，所述指令是用户指定的并且由另一计算机提供。

11.一种信息处理设备，包括：

获取单元，所述获取单元被配置成获取第一图像的数据；

检测单元，所述检测单元被配置成在所述第一图像的数据中检测与参考对象对应的参考图像数据，并且基于所述第一图像中的参考对象的外观来计算第一条件，所述第一条件指示在拍摄第一图像时的成像设备的操作条件；以及

输出单元，所述输出单元被配置成针对待拍摄的第二图像输出引导信息，所述引导信息指示如何调整所述第一条件以与参考条件匹配，所述参考条件对应于在所述参考条件下拍摄的参考图像中的参考对象的外观。