CN104160426B

CN104160426B - 图像处理装置和图像处理方法

Info

Publication number: CN104160426B
Application number: CN201280069773.4A
Authority: CN
Inventors: 伊藤和彦
Original assignee: Co Ltd's Microgrid
Current assignee: Co Ltd's Microgrid
Priority date: 2012-02-22
Filing date: 2012-10-31
Publication date: 2017-03-15
Anticipated expiration: 2032-10-31
Also published as: EP2819099A4; CA2864988A1; JP2013171523A; CN104160426A; TWI496108B; WO2013125099A1; AU2016203902B2; US20150022552A1; HK1202692A1; CA2864988C; JP5872923B2; NZ628782A; AU2016203902A1; EP2819099A1; TW201335888A; AU2012370662A1; US9501872B2

Abstract

本发明涉及增强现实(AR)技术，其能够在由相机所捕获的自然背景等的数字图像上实时地合成及显示具有合适位置、尺寸及定向的CG对象，而无需手动定位操作。本发明的特征在于：通过第一AR分析器(3A)分析由相机(1)捕获并且包括AR标记图像的第一捕获图像，以便确定AR标记图像在视场中的位置、定向和缩放；在视场中的位置处虚拟放置对应的CG，以便具有AR标记图像的位置、定向和缩放；第二AR分析器(3B)计算CG对象相对于在由相机随后捕获的第二捕获图像在视场中的位置处虚拟放置的立体图；CG呈现单元(5)在第二捕获图像中相应位置处合成具有所述位置、定向和缩放的CG对象的图像；并且在显示器(7)上显示所合成的图像。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及采用了AR标记和自然特征追踪方法的组合的AR图像处理装置和方法。

背景技术

在许多领域中，已经采用了这样的AR图像处理装置，所述AR图像处理装置被配置为通过使用增强现实(AR)技术来在诸如AR标记图像之类的目标对象图像上实时地合成CG对象，所述目标对象图像是由作为诸如网络相机或数字视频相机之类的图像捕获设备的相机所捕获的。

基于标记的AR技术涉及：在形成具有数字图像中的特定形状的组的高级特征点中进行登记；通过使用单应矩阵等来从由图像捕获设备捕获的数字图像中检测所登记的特征点；估计组的位置和姿态等；并且在与组的位置和姿态等对应的AR标记图像的位置处合成并显示CG对象。

在该AR技术中，事先登记并且具有特定形状的特征点被称为AR标记(或简称为“标记”)。通过在标记的登记中增加用于指示现实世界中的标记的尺寸和姿态的额外信息，可以在一定程度上准确地估计到从图像捕获设备获取的数字图像中的AR标记的距离和所述AR标记的尺寸。而且，当在数字图像中不存在可识别的特征点时，显然无法估计标记的位置和姿态。

基于自然特征追踪的AR技术(其典型代表为PTAM(“Parallel Tracking andMapping for Small AR Workspaces(小型AR工作空间的并行追踪和映射)",牛津大学))是优秀的方法，其不需要在数字图像中事先登记特征点，并且其允许以任意方向和向任何位置移动图像捕获设备，只要能够追踪特征点即可，即便当连续移动图像捕获设备的位置时也是如此。

然而，由于需要首先指定基础位置，因此需要以特定方式来移动图像捕获设备，以根据随着相机的移动而捕获的多个图像中的特征点的移动量来确定基础位置，并且需要额外地提供位置和姿态信息。在这个过程中，除非正确地移动图像捕获设备，否则无法准确地确定基础平面。此外，在基于自然特征追踪的AR技术中，由于因为技术的特性而通常没有执行特征点的事先登记，因此无法准确地知晓与所捕获的数字图像中的特征点的尺寸和所述特征点之间的距离相关的信息。因此，存在通常使用的这样的方法，即相对于基础平面来手动设置CG对象的尺寸、方向和位置。

现有技术文献

专利文献

专利文献1：日本专利申请公开No.2011-141828

专利文献2：日本专利申请公开No.2012-003598

发明内容

本发明要解决的问题

本发明的目的在于提供一种AR图像处理方法和装置，其集成了常规的基于标记的AR技术和常规的基于自然特征追踪的AR技术这两者的优势，并且在由相机捕获的自然景致等的数字图像上适当地合成并显示CG对象。

更具体而言，本发明的目的在于提供一种AR图像处理方法和装置，其能够以准确的位置、尺寸和姿态而不需要手动定位操作，在由相机捕获的自然景致等的数字图像上实时地合成并显示CG对象，并且即使在向各个位置并且在各个方向上移动所述相机时，其也能够实现实际再现。

解决问题的方案

本发明提供的AR图像处理方法包括如下步骤：包括如下步骤：获取由相机捕获并且包括AR标记及其周边环境的固定视场中的场景；使得第一AR分析器分析由所述相机捕获并且包括AR标记图像及其周边环境的所述场景的第一捕获图像，确定所述AR标记图像在所述视场中的位置、姿态和缩放，并且在与所述AR标记图像的位置、姿态和缩放相对应的所述视场中在适当的位置处虚拟放置对应的CG对象；使得第二AR分析器针对在第一视场中在适当的位置处虚拟放置的CG对象来计算所述CG对象在由所述相机在第二视场中随后捕获的第二捕获图像中的所述相机的所述第二视场中的外观；使得CG呈现单元在所述相机的第二捕获图像中的适当的位置处合成在所计算出的外观中的所述CG对象的图像；以及使得显示单元显示所合成的图像。

此外，本发明提供的AR图像处理装置包括：相机；第一AR分析器，被配置为分析由所述相机捕获并且包括AR标记及其周边环境的视场中的场景的第一捕获图像，确定AR标记图像在所述视场中的位置、姿态和缩放，并且在与所述AR标记图像的位置、姿态和缩放相对应的所述视场中在适当的位置处虚拟放置对应的CG对象；第二AR分析器，被配置为针对在所述第一视场中在适当的位置处虚拟放置的所述CG对象来计算所述CG对象在由所述相机在第二视场中随后捕获的第二捕获图像中的所述相机的所述第二视场中的外观；CG呈现单元，被配置为在由所述第二AR分析器获取的所述相机的第二捕获图像中的适当的位置处合成所述CG对象在计算出的外观中的图像；以及显示单元，被配置为显示由所述CG呈现单元所合成的图像。

本发明的效果

本发明的AR图像处理技术能够以准确的位置、准确的尺寸和姿态而不需要手动定位操作，在由相机捕获的自然景致等的数字图像上实时地合成并显示CG对象，并且即使在向各个位置并且在各个方向上移动所述相机时，其也能够实现实际再现。

附图说明

图1是示出了本发明中的第一AR分析器的视景体空间和第二AR分析器的视景体空间的示意图。

图2是示出了本发明中的第一AR分析器的视景体空间和以在视景体空间中检测到的标记图像的位置为原点的坐标之间的关系的示意图。

图3是在本发明中使用的AR标记和与所述AR标记对应的CG对象图像的示意图。

图4是示出了本发明中的第一AR分析器的视景体空间中检测到的标记图像和与所述标记图像相对应的CG对象的示意图。

图5是通常的针孔相机模型中的视景体的定义的示意图。

图6是本发明一个实施例中的AR图像处理装置的框图。

图7是本发明一个实施例中的AR图像处理方法的流程图。

图8A是实施例中的AR合成图像，并且是以相机能够捕获整个AR标记的角度捕获的图像的AR合成图像。

图8B是实施例中的AR合成图像，并且是以相机无法捕获AR标记的向上角度捕获的图像的AR合成图像。

具体实施方式

在下文中基于附图详细地描述本发明的实施例。

首先，描述本发明的主旨。总体而言，为了分析由诸如网络相机或数字视频相机之类的具有AR分析器的相机捕获的数字图像，并且随后基于数字图像中的特定目标对象的图像上的位置信息在数字图像上合成并显示CG对象，需要将空间中的CG对象投影变换为数字图像。在执行这样的投影变换的AR分析器中，需要创建4×4的投影矩阵P和4×4的模型视图矩阵M。被配置为检测由相机捕获的数字图像中的目标对象图像的位置的第一AR分析器A的投影变换被表达为：

[数学公式1]

Ma'＝Sa·Pa·Ma

而且，被配置为通过追踪自然特征来检测数字图像中的目标对象图像的位置的第二AR分析器B的投影变换被表达为：

[数学公式2]

Mb'＝Sb·Pb·Mb

这里，Sa和Sb是常量，并且是其上投影了CG对象的数字图像的适当的缩放参数。投影矩阵Pa和Pb是通过预先执行相机校准而确定的投影矩阵，其作为用于图像捕获的相机的相机参数。矩阵Pa和Pb可以根据第一AR分析器A和第二AR分析器B的特性而采用彼此不同的值。这是本发明的特性之一。

鉴于作为图1中所示的投影变换的几何示意图的AR分析器A、B的相应的视景体11A、11B，可以考虑这两个不同的投影变换矩阵Pa、Pb共享相同的正规化的屏幕平面SCR-A，即当使用相同的图像捕获设备(相机)时的投影平面。

在本发明中首先执行第二AR分析器B的初始化处理。具体而言，执行自然特征追踪的第二AR分析器B假定由相机捕获的数字图像被投影在屏幕平面SCR-A上，并且根据已知的投影矩阵Pb确定初始模型视图矩阵Mb。该操作使用例如公知的方法，在所述公知的方法中，用于捕获图像的相机的图像捕获位置被改变，并且通过使用极线几何来根据特征点的移动量估计相机的位置。

该初始的模型视图矩阵Mb确定相机在第二AR分析器B的坐标系统中的位置和姿态，并且基于自然特征追踪的AR分析器根据捕获的特征点的移动量估计相机的图像捕获位置，即从这样确定的初始位置的模型视图矩阵Mb。

模型视图矩阵Mb包括缩放元素。然而，无法从与自然特征点相关的信息获取数字图像中观测到的自然特征点之间的距离和它们的尺寸。相应地，在常规的技术中，需要执行手动校正的工作，同时合成CG图像以代表数字图像上的给定值。

然而，在本发明中，作为后继步骤执行以下处理来解决此问题。在第二AR分析器B的上述初始化步骤中，第一AR分析器A使用其缩放、姿态和位置事先已知的AR标记，以确定视景体，即通过投影变换Pa获取的模型视图矩阵Ma，形成由相机捕获的数字图像的规格化的屏幕平面SCR-A。

如图2中所示，该模型视图矩阵Ma具有与空间中的方向、尺寸和标记位置坐标相关的信息，其中所述空间与在第一AR分析器A的投影变换中捕获的数字图像中检测到的标记图像MRK的位置相对应，并且允许第一AR分析器A的视景体空间11A中的图像捕获位置相对于原点O3被确定，其中视景体空间中的标记图像MRK的位置被设置为原点O3。

在本发明中，仅在外观方面确定图像捕获位置。仅需要的是，正确代表数字图像中的位置关系，并且无需代表几何上精确的位置。

根据上述处理，在第一AR分析器A的坐标系统中估计在屏幕平面SCR-A上投影的标记图像MRK的缩放、姿态和位置，并且获取第二AR分析器B的坐标系统中的初始模型视图矩阵Mb。然而，总体而言，第一AR分析器A的坐标系统(原点O1)和第二AR分析器B的坐标系统(原点O2)被完全不同地解释，并且如图1中所示，包括光学中心轴的视景体11A、11B的相应配置也彼此不同。

在本发明中，考虑视景体11A、11B的正规化的屏幕平面SCR-A处于相同的位置，并且通过使用与屏幕平面SCR-A相关的空间位置信息作为线索来执行这两个坐标系统之间的转换。从而在外观方面匹配在屏幕平面SCR-A上投影的映射。这意味着，由第一AR分析器A估计的实际标记图像MRK的位置、姿态和尺寸用来确定与由第二AR分析器B映射在屏幕平面SCR-A上的自然特征点相关的位置信息的适当的位置、姿态和缩放的参数。

考虑第一AR分析器A的坐标系统中的模型视图矩阵Ma的平移分量代表AR标记图像MRK的空间坐标中的原点O3，并且考虑其缩放和旋转分量代表第一AR分析器A的坐标空间中的标记图像MRK的尺寸和姿态。

第一AR分析器A的坐标系统的4×4投影矩阵被表达为Pa，而4×4模型视图矩阵被表达为Ma，并且假定如下方式确定Pa和Ma。

[数学公式3]

a0＝2n/(r-l)

b0＝2n/(t-b)

a1＝(r+l)(r-l)

b1＝(t+b)/(t-b)

c0＝-(f+n)/(f-n)

c1＝-2fn(f-n)

如图5中所示，从第一AR分析器A的相机坐标系统(X,Y,Z)中的原点O1的视景体柱身11A的近侧上的投影平面PJ-A1的左上顶点的坐标是(l,t,-n)，左下顶点的坐标是(l,b,-n)，右上顶点的坐标是(r,t,-n)，右下顶点的坐标是(r,b,-n)，并且到远侧平面PJ-A2的距离被表达为f。

考虑这样的情形：

[数学公式4]

M[X,Y,Z,1]^T

其中第一AR分析器A的坐标系统中的任意空间坐标被远交转换为与屏幕平面SCR-A相对应的数字图像中的AR标记观测的位置。这是按如下方式计算的。

首先，通过使用模型视图矩阵Ma和n，如下方式表达通过数学公式5

[数学公式5]

Ma·M[X,Y,Z,1]^T

移动到屏幕平面SCR-A的位置的平移矢量Tr。

[数学公式6]

Tr(-e12,-13,-e14,+n)

如下表达考虑到投影矩阵P的投影变换的缩放参数s

[数学公式7]

s＝-(1/e14·Vb)/(t-b)

这里，Vb是常量，并且是屏幕平面SCR-A的高度缩放。

如下表达考虑到光学中心轴的偏转分量的屏幕平面SCR-A的位置处的移动量Tp。

[数学公式8]

Tp(sx/sz·Vb·Ax,sy/sz·Vb,0)

其中，

sx＝a0·e12+a1·e14

sy＝b0·e13+b1·e14

sz＝c0·e14+e14

这里，Ax是表达屏幕平面SCR-A在水平方向上的长宽比的常量。如果数字图像是16:9的图像，则Ax采用16/9的值，并且如果数字图像是4:3的图像，则Ax采用4/3的值。

Mp代表4×4矩阵，其用于通过使用上述的参数，在齐次坐标表示中，将第一AR分析器A的坐标系统中的任意空间坐标远交转换为

[数学公式9]

M[X,Y,Z,1]^T

与屏幕平面SCR-A相对应的数字图像中的AR标记观测的位置。通过使用作为平移矢量的齐次坐标表示的4×4矩阵的[Tp]和[Tr]，如下方式表达Mp。

[数学公式10]

Mp＝[Tp]·s·[Tr]·Ma

相应地，在第一AR分析器A的坐标系统中，表达数学公式11

[数学公式11]

M[X,Y,Z,1]^T

到屏幕平面SCR-A的映射的ma'能够被如下方式计算。

[数学公式12]

ma'＝Mq·Mp·M[X,Y,Z,1]^T

仅关注于标记坐标的原点O3，如下方式计算ma'。

[数学公式13]

ma'＝Mq·Mp·[0,0,0,1]^T

这里，考虑在第二AR分析器B的坐标系统中，也能够按照相同的方式观测到到屏幕平面SCR-A的映射ma'。在这种情况下，类似于Pa，第二AR分析器B的投影变换矩阵Pb以如下方式定义。

[数学公式14]

此外，如同在Pa的情形中，能够如下方式计算第二AR分析器B的视景体11B的顶点参数。

[数学公式15]

r＝n(a1+1)/a0

l＝n(a1-1)/a0

t＝n(b1+1)/b0

b＝n(b1-1)/b0

在第一AR分析器A和第二AR分析器B分别使用相同的长宽比的数字图像的情形中，视景体11A、11B的相应的投影平面PJ-A、PJ-B也具有相同的长宽比。相应地，如果S'代表第一AR分析器A和第二AR分析器B之间的缩放解释的比率，则可以考虑下述：

[数学公式16]

S'＝Pb[n(b1+1)/b0]/Pa[n(b1+1)/b0]

需要注意的是，Pb[n(b1+1)/b0]表示第二AR分析器B的坐标系统中的Pb的参数，而Pa[n(b1+1)/b0]表示第二AR分析器B的坐标系统中的Pa的参数。

在第一AR分析器A和第二AR分析器B之间的缩放解释上，直接考虑这是不同的。

当考虑在第一AR分析器A的坐标系统中估计的标记图像MRK的位置表示第二AR分析器B的坐标系统中的空间坐标的原点位置O3时，通过第二AR分析器B的投影变换，能够将第二AR分析器B的坐标系统的原点位置[0,0,0,1]T观测为ma'。相应地，

[数学公式17]

S'·ma'＝Mo·Mb[0,0,0,1]^T

被设置。这里，Mo是4×4常量矩阵。

由于在上述的公式中已知ma'，因此能够根据以下公式确定常量矩阵Mo。

[数学公式18]

Mo＝S'·ma'/Mb·[0,0,0,1]^T

当偏移矩阵Mo被应用于第二AR分析器B的投影变换时，能够确定以下的公式。

[数学公式19]

Mb'＝Sb·Pb·Mo·Mb

上述确定的常量矩阵Mo是表示第二AR分析器B的投影变换Mb中的原点处的标记图像MRK的姿态和尺寸的偏移矩阵，其中由第一AR分析器A分析的标记图像MRK的位置被设置为原点。在执行常规的自然特征追踪的第二AR分析器B中，用户在观看合成屏幕的同时手动确定该偏移矩阵。

接下来，使用图6和图7来描述本发明的一个实施例的AR图像处理装置以及由该装置执行的AR图像处理方法。图6示出了实施例的AR图像处理装置的配置。AR图像处理装置主要包括相机1、基于AR标记识别的第一AR分析器3A、基于自然特征追踪的第二AR分析器3B、CG呈现单元5和显示单元7。

基于AR标记识别的第一AR分析器3A分析由相机1捕获并且包括AR标记图像MRK的视场中的场景的捕获图像，确定视场中的AR标记图像MRK的位置、姿态和缩放，在与AR标记图像的位置、姿态和缩放对应的相机1的视景体11A中的适当的位置处再现对应的CG对象OBJ，并且确定AR标记图像MRK的坐标。第一AR分析器3A包括：存储部3A1(其被配置为存储对于存储部3A1的该处理所需的各条数据)、相机校准部3A3、AR标记图像分析部3A5、远交转换矩阵确定部3A7、映射处理部3A9和投影变换处理部3A11。由投影变换处理部3A11算出的第一AR分析器3A的视景体空间11A中的AR标记图像的空间坐标数据被输出到第二AR分析器3B。

第二AR分析器3B是基于自然特征追踪的AR分析器，并且包括存储部3B1(其被配置为存储各条数据)、相机校准部3B3、初始化处理部3B5(其被配置为执行第二AR分析器3B的初始化处理)、模型视图矩阵估计部3B7、投影变换处理部3B9和偏移矩阵确定部3B11。

CG呈现单元5包括存储部51(其被配置为存储各条数据)、相机图像输入部53(其被配置为接收由相机1捕获的图像)、CG对象图像生成部55(其被配置为通过使用第二AR分析器3B的偏移矩阵Mo来生成CG对象图像)、以及CG图像合成部57。CG呈现单元5的CG图像合成部57合成相机图像输入部53的相机捕获图像和CG对象图像生成部55的对象图像两者，并且将合成图像输出到显示单元7。

如图8B中所示，显示单元7显示这样的图像，在所述图像中，以对应的姿态在对应的位置处在相机1的当前视场中捕获的图像上合成CG对象OBJ。

接下来，使用图7来描述上述的AR图像处理装置执行的AR图像处理方法。总而言之，实施例的AR图像处理方法的特征在于，所述方法包括：使得相机1捕获包括AR标记MRK及其周边环境的视场中的场景：使得第一AR分析器3A分析由相机1捕获并且包括AR标记图像MRK及其周边环境的场景的捕获图像，确定视景体11A中的AR标记图像MRK的位置、姿态和缩放，在与AR标记图像ARK的位置、姿态和缩放对应的视景体空间中的适当的位置处虚拟放置对应的CG对象OBJ；使得第二AR分析器3B计算由相机1当前捕获的图像的相机的视场中的CG对象OBJ的外观；在由相机1捕获的图像中的适当的位置处以适当的外观来合成所述CG对象OBJ；并且在显示器7上显示所合成的图像。

更具体而言，执行以下步骤。

步骤1：存储与AR标记相对应的CG对象。

步骤3：通过分别在第一AR分析器3A和第二AR分析器3B中的相机校准来计算相机参数Pa、Pb，并且所述相机参数Pa、Pb被分别存储在存储部3A1、3B1中。

步骤5：在第二AR分析器3B中，执行初始化处理以确定模型视图矩阵Mb并存储模型视图矩阵Mb。

上述步骤被包括在预处理中。

步骤7：包括AR标记MRK的场景被由相机1捕获，并且所捕获的图像被输入到第一AR分析器3A中。

步骤9、步骤11：在第一AR分析器3A中，根据所捕获的图像找到AR标记图像MRK，算出AR标记图像MRK的位置、姿态和缩放，并且确定视图模型矩阵Ma。

步骤13：在第一AR分析器3A中，通过使用矩阵Pa、Ma将AR标记图像MRK投影到屏幕SCR-A上，并且投影的结果被输出到第二AR分析器3B。

步骤15：在第二AR分析器3B中，确定标记图像MRK的偏移矩阵Mo。

步骤17：在第二AR分析器中，确定与相机的当前位置和中心轴方向相对应的CG对象的外观(位置、姿态和缩放)，CG对象被投影到屏幕平面SCR-A上，并且投影的结果被输出到CG呈现单元5。

步骤19：从存储部51读取CG对象OBJ的图像数据，通过使用来自第二AR分析器3B的投影变换矩阵的数据来生成CG对象的当前相机角度处观看到的CG对象的形状的图像，并且该图像是在由相机1当前捕获的图像中对应的空间坐标位置处合成的CG。

步骤21：在显示单元7上显示合成图像。

在本发明的实施例中，基于标记识别的第一AR分析器3A能够自动确定目标标记图像MRK的位置、姿态和尺寸，并且即使当标记图像MRK处于屏幕之外时，基于自然特征追踪的第二AR分析器3B也能够继续进行位置估计。相应地，如图8中所示，可以在正确的位置处以正确的尺寸和正确的姿态，在由相机1捕获的数字图像中的自然景致上实时地合成并显示CG对象OBJ而无需手动定位操作，并且可以向各个位置并且以各个方向移动相机1。在图8A中，针对该标记图像MRK合成并显示与其中捕获了几乎整个AR标记的标记图像MRK相对应的CG对象OBJ。在屏幕的右上部分中，还捕获了汽车CAR的前保险杠的下部的小部分。在这种情形中，即使当相机被向上移动并且被设置到其中在屏幕中没有包括AR标记的相机角度时(如图8B中所示)，也能够以如同从移动的相机中观看到的那样的位置和姿态来在相机捕获的图像上合成并显示CG对象OBJ。具体而言，在图8B的CG合成图像中，以从较高位置的视线中观看的方式来显示图8A的图像中所示的CG对象OBJ。此外，在图8B中，还应当注意的是，由于相机1的向上移动，因此在图像中捕获了几乎整个的汽车CAR。

附图标记的解释

MRK AR标记(图像)

OBJ CG对象

1 固定的相机

3A 第一AR分析器

3B 第二AR分析器

5 CG呈现单元

7 显示单元

Claims

1.一种使用增强现实AR图像处理装置的AR图像处理方法，所述AR图像处理装置包括：用于捕获作为数字图像的图片的相机、基于AR标记识别的第一AR分析器、基于自然特征追踪的第二AR分析器、CG呈现单元、显示单元和用于存储各种数字图像数据的存储器，所述AR图像处理方法的特征在于包括如下步骤：

使得所述存储器存储与AR标记相对应的CG对象的图像数据；

使得所述相机从第一捕获位置处捕获第一场景的第一捕获图像，在第一场景的第一捕获图像中使得AR标记被放置在真实空间中并且被AR标记的周边环境所包围；

使得所述第一AR分析器获取所述第一捕获图像，执行AR标记识别处理以便从所述第一捕获图像中识别出AR标记图像，并且确定在所述第一AR分析器的第一坐标系统中定义的AR标记图像在第一视景体中的位置、姿态和缩放；

使得处于第二位置处的相机捕获第二场景的第二捕获图像；

使得所述第二AR分析器获取所述第一捕获图像和关于所确定的AR标记图像在第一视景体中的位置、姿态和缩放的数据，并且计算在所述第二AR分析器的第二坐标系统中定义的AR标记图像在第二视景体中的位置、姿态和缩放；

使得所述第二AR分析器获取所述第二捕获图像，并且执行所述第一捕获图像和所述第二捕获图像之间的自然特征追踪处理，以便确定CG对象在第二AR分析器的第二视景体中的位置、姿态和缩放；

使得所述CG呈现单元从所述存储器中读取与所述AR标记相对应的CG对象的图像数据，再现与所计算得到的第二视景体中的位置、姿态和缩放相对应的CG对象的图像，并且将CG对象的再现图像投影到屏幕平面，以便与在所述屏幕平面上再现的所述相机的第二捕获图像进行合成；以及

使得所述显示单元显示所合成的图像。

2.一种AR图像处理装置，所述AR图像处理装置的特征在于包括：

用于捕获作为数字图像的图片的相机，被配置为从第一捕获位置处捕获第一场景的第一捕获图像，在第一场景的第一捕获图像中使得AR标记被放置在真实空间中并且被AR标记的周边环境所包围，并且使得处于第二位置处的相机捕获第二场景的第二捕获图像；

用于存储各种数字图像数据的存储器，被配置为存储与AR标记相对应的CG对象的图像数据；

基于AR标记识别的第一AR分析器，被配置为获取所述第一捕获图像，执行AR标记识别处理以便从所述第一捕获图像中识别出AR标记图像，并且确定在所述第一AR分析器的第一坐标系统中定义的AR标记图像在第一视景体中的位置、姿态和缩放；

基于自然特征追踪的第二AR分析器，被配置为获取所述第一捕获图像和关于所确定的AR标记图像在第一视景体中的位置、姿态和缩放的数据，计算在所述第二AR分析器的第二坐标系统中定义的AR标记图像在第二视景体中的位置、姿态和缩放，并且使得所述第二AR分析器获取所述第二捕获图像，并且执行所述第一捕获图像和所述第二捕获图像之间的自然特征追踪处理，以便确定CG对象在第二AR分析器的第二视景体中的位置、姿态和缩放；

CG呈现单元，被配置为从所述存储器中读取与所述AR标记相对应的CG对象的图像数据，再现与所计算得到的第二视景体中的位置、姿态和缩放相对应的CG对象的图像，并且将CG对象的再现图像投影到屏幕平面，以便与在所述屏幕平面上再现的所述相机的第二捕获图像进行合成；以及

显示单元，被配置为显示所合成的图像。