CN101101505A - 一种实现三维增强现实的方法及系统 - Google Patents

Abstract

本发明公开了一种实现三维增强现实的方法及系统，该方法具体包括：视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧；对视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧进行增强现实处理，得到处理后的虚拟图形帧；虚实合成模块将得到的虚拟图形帧与视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧进行合成，得到增强现实环境的合成视频帧。本发明能够更好的支持增强现实技术在计算资源相对有限的手持移动计算设备上的实施，拓展了增强现实技术的应用领域。

Description

一种实现三维增强现实的方法及系统

技术领域

本发明涉及增强现实技术，尤其涉及一种实现三维增强现实的方法及系统。

背景技术

增强现实(AR，Augmented Reality)是利用虚拟物体对真实场景进行现实增强的技术。增强现实保留用户实际身处的物理环境作为用户的主要感知和交互环境，通过将文本、二维图像、三维模型等虚拟生成的信息标注在显示屏上所显示的物理环境中的物体上，从而实现对用户身处的现实物理环境的注释、说明，或者增强、强调现实环境的某些效果，比如用户戴上专用的增强现实显示眼镜，亲身到故宫实地游览，当参观到一个文物时，他不仅可以看到文物和其周围环境本身，还可以同时看到通过增强现实技术附加的多媒体方式呈现的对该文物的介绍信息。增强现实技术给用户一种虚拟对象与现实环境两相融合的体验，它能有效地帮助用户认知周围环境，实现用户与周围环境的交互。

文献《H.Billinghurst，M.Marker Tracking and HMD Calibration for avideo-based Augmented Reality Conferencing System.In Proceedings of the 2ndInternational Workshop on Augmented Reality.San Francisco，USA，October.1999》中提出了一种基于标志物的增强现实算法，并由此设计出一个开源软件包(ARToolkit)。ARToolkit使用计算机视觉技术来计算真实摄像场景与标记符号之间的相对位置关系。ARToolkit的主要算法流程为：输入实时捕获的视频图像帧，通过可设定的阈值将其转换成黑白二值图；搜索场景中标志物的黑框颜色所对应的连通区域，作为标志物黑框的候选对象；得到各连通区域的轮廓线，若能提取出四条相交的直边，则作为可能的标志物；利用四条直边找到的角特征，进行形变矫正，并计算出标志物变换成前视图的一个单应性矩阵(homography)变换；利用该homography在标志物的黑框内部区域进行采样，采样模板一般为16×16，共得到256个采样点构成一个采样向量；将这个采样向量与预先存放在标志物数据库的标志物逐个进行比较，计算标志物上相应点构成的向量与采样向量的归一化向量点积，得到一个可信度值；如果可信度值低于一个阈值，就当作是未匹配成功，否则就是匹配成功。根据匹配成功的标志物查找到相对应的虚拟物体，将虚拟物体按相机与标志物的当前相对方位进行变换，使之与标志物相吻合。

由于ARToolkit所采用的标志物中间区域内容是随意的，不是统一规范的。这带来以下主要问题：模式匹配过程计算慢，随着标志物数据库中的数量增加而计算时间增长；误配率高；需要将虚拟物体与具体标志物图案直接关联，虚实匹配关系的建立与维护都不方便。

另一方面，二维可视编码是类似于条形码的一种编码图案。如图1所示，这种二维可视化编码可以贴在物品上作为识别物品的信息和功能的唯一的标志物。手机等移动平台很适合实现二维可视化编码，因为现在手机的使用已经非常普及，并且带有摄像头的手机也越来越流行。在手机等移动计算设备上集成的摄像头用作传感器可以让用户及时地在周围环境中检测到带有二维可视化编码的物体，然后解码得到相关的数字编号，并通过编号来提供相应的信息。目前已经有一些作为商务用途的二维可视化编码软件被开发出来。

文献《Michael Rohs.Real-World Interaction with Camera-Phones.2ndInternational Symposium on Ubiquitous Computing Systems，Tokyo，Japan，November 2004》提出了一种二维可视化编码(Visual Code)技术，其编码图案如图2所示，该文献中提到通过手机所带相机来识别该编码图案，同时计算得到手机与该编码图案的一些相对运动信息，手机的相机与编码的相对倾角等运动信息可以作为手机与数字信息交互的一个参数。

上述文献的目标是得到图像的编码，并利用手机的部分运动信息进行二维的交互，因此从编码检测中得到的是编码所对应的数字、及手机与编码图案的相应倾角信息。通过手机等移动计算设备上的相机捕捉到图2中的编码图案，可解析出该二维编码图案所唯一对应的一个76位的数字。然后，利用该数字来检索出一些二维图片与文字信息，显示在手机等移动计算设备的屏幕上。但上述二维可视化编码不支持类似于ARToolkit中的三维信息的增强现实功能。

发明内容

本发明要解决的第一技术问题是提供一种实现三维增强现实的方法，用于为虚实物体之间映射关系的建立，提供一种快速、可靠的方法。

本发明要解决的第二技术问题是提供一种实现三维增强现实的系统，用于为虚实物体之间映射关系的建立，提供一种快速、可靠的系统。

为解决上述第一技术问题，本发明的目的是通过以下技术方案实现的，提供一种实现三维增强现实的方法，该方法具体包括步骤：

A：获得二维可视编码标志物的视频帧；

B：对所述视频帧进行增强现实处理，得到虚拟图形帧；

C：将所述虚拟图形帧与视频帧进行合成，得到合成视频帧。

优选地，所述步骤A中标志物中包含图案，所述图案按照编码规则排布。

优选地，所述步骤A之前进一步包括步骤：

A1：初始化三维图形系统环境、相机内部参数以及标志物文件；

A2：抓取视频帧图像，并将该图像缩放使其作为图形系统中的纹理贴图；

A3：将纹理贴图绘制为背景并存储在图形系统提供的帧缓存中；

A4：对步骤A2中抓取的视频帧进行图像处理；

A5：将所述视频帧图像经过图像处理的标志物与标志物文件中规定的标志物进行比较，并判断误差是否小于设定值，如果是，则判定找到标志物；

A6：记录该标志物在标志物坐标系和图像坐标系中的顶点坐标，并计算与该标志物对应的编码值。

优选地，所述步骤A4具体包括步骤：

A41：对抓取的视频帧进行图像灰度处理和二值化；

A42：对抓取的视频帧进行图像标记；

A43：对抓取的视频帧进行轮廓提取。

优选地，所述步骤B具体包括步骤：

B1：获得标志物坐标系和图像坐标系中对应的标志物顶点坐标，并计算从标志物坐标系到相机坐标系的变换矩阵；

B2：采样二维可视编码中编码图案，得出编码值。

优选地，所述步骤B2后进一步包括步骤：

B3：检索对应于该编码的三维模型，获取该三维模型，并获得所述三维模型的顶点数组。

优选地，所述步骤B3后还包括步骤：

B4：获得顶点数组中的顶点与变换矩阵的乘积，所述乘积是该三维图形在相机坐标系下的坐标数组；

B5：绘制以该坐标数组对应的三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧。

为解决上述第二技术问题，本发明还提供一种实现三维增强现实的系统，该系统包括：视频帧捕获模块、视频跟踪模块、虚拟图形系统模块、虚实合成模块以及视频显示模块；

视频帧捕获模块用于捕获二维可视编码标志物的视频帧，并将该视频帧发送给视频跟踪模块；

虚拟图形系统模块用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的三维图形；

虚实合成模块用于将获得的虚拟图形帧与二维可视编码标志物的视频帧进行合成，得到合成视频帧。

优选地，视频跟踪模块用于计算处理获得的标志物视频帧，根据计算处理结果获得从标志物坐标系到相机坐标系的变换矩阵；通过采样二维可视编码中编码图案，获得标志物编码值，检索出与该编码值对应的三维模型，并根据该三维模型的顶点数组与变换矩阵的乘积，得到该三维图形在相机坐标系下的坐标数组。

优选地，虚拟图形系统模块用于绘制与该坐标数组对应的三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧。

以上技术方案可以看出，由于本发明将二维可视编码结合到三维增强现实技术中，带来以下有益效果：

1、在现有的三维增强现实技术中引入规范的二维可视化编码图像作为跟踪所用标志物，以代替现有技术中ARTolkit采用的任意形状的标志物，从而提高了其中跟踪算法速度以及可靠性低、并且加快了模式匹配处理速度。

2、在现有的二维可视化编码基础上引入对三维相对变换信息的计算与提取，检索出相应的三维媒体信息并且三维注册合成的增强现实技术，该技术不仅能识别出二维可视编码，还能将得到的其对应的三维空间位置，通过编码检索到的三维模型实时地增强显示在编码图形上，进而实现增强现实功能。

3、本方案能够更好的支持增强现实技术在计算资源相对有限的手持移动计算设备上实施，拓展增强现实技术的应用领域，并通过统一规范的编码方式，为增强现实技术中虚实物体之间的映射关系的建立提供了一种非常便捷、易用和规范的手段，为新型增强现实应用的诞生提供了新的技术基础。

附图说明

图1是一些二维可视化编码标志物与它们对应的编码值示意图；

图2是二维可视编码Visual Code的编码图案；

图3是实现三维增强现实的方法流程图；

图4是实现三维增强现实的系统功能模块示意图；

图5是基于二维可视化编码标志物的增强现实算法流程图；

图6是图像灰度处理采用不同方向对象素点进行扫描示意图。

具体实施方式

请参见图3，本发明提供一种实现三维增强现实的方法，其主要通过以下步骤实现：

301：初始化三维图形系统环境、相机内部参数和标志物文件；

其中，图形系统环境初始化的目标是设置能够同时支持二维图形和三维图形的绘图环境，包括取得设置显示模式、设置显示参数列表、显示设备、创建显示表面、设置显示表面参数、设置视点位置和视平面等。

相机内部参数是指摄像头相机的焦距和形变等内部固有参数，该参数确定了摄像头相机的投影变换矩阵，它取决于相机本身的属性，所以对同一个相机来说其内部参数是恒定不变的。相机内部参数是通过一个独立的相机校准程序事先获得的，这里所做的是将这组参数读取到内存中。

标志物文件记录了环境标志物信息的说明文件，在程序初始化时把这些信息由文件读入内存。

302：通过相机抓取一个视频帧图像，并将该视频帧图像进行缩放，使之适合作为图形系统中的纹理贴图，然后将它绘制为背景并存储在图形系统提供的帧缓存中；

303：对步骤302中抓取的视频帧图像进行图像处理；

具体包括对图像进行灰度处理和二值化、标记以及轮廓提取处理。

其中，对于图像灰度处理和二值化，为了得到彩色图像的灰度值，国际电信联盟(ITU)中有一个标准亮度的计算公式：

Y＝0.2126*red+0.7152*green+0.0722*blue

由于RGB在图像的锐利度和对比度中所产生的影响最小，因此其蓝色的成分被略去，于是可以采用简化公式grey＝(red+green)/2来代替上述标准亮度公式。因为计算灰度值和二值化需要对每一个象素点都进行处理，计算过程比较复杂，效率也比较低。通过上述简化公式得出的灰度值比采用ITU的标准亮度公式的更为准确，而且效率要高。而得到灰度值后，要对图像进一步地进行二值化处理，但是灰度值并不能真实地再现图像的原貌，原因在于相机图像的光亮不稳定会导致编码标志物的不均匀亮度。

为了解决这一问题，采用自适应的阈值确定方法来进行处理，其基本思路如图6中的逐行采用不同方向对象素点进行扫描，采用该扫描方式可以在相机图像的光亮不稳定的情况下也能使编码标志物的亮度均匀。

请参见图6，图中的扫描路径类似于一种“蛇形”的扫描路径。由于在光照不均匀的情况下，自左向右扫描与自右向左扫描将会产生不同的二值化结果，而采用这种“蛇行”扫描路径相当于取得一个比较平均的区域，从而使光照不均匀的情况得到改善。

平均的阈值g_s(n)将依据下式来进行推算：

g_s(n)＝g_s(n-1)*(1-1/s)+p_n其中p_n表示第n个象素点的灰度值，s＝w/8表示图像移动中的平均宽度(w表示图像宽度)g_s的初始值为cs/2(其中c是最大的灰度值)。由此，就可以用下式确定每个象素点在二值化后的结果：

T(n)＝1，若p_n＜(g_s(n)/s)*(1-t/100)

其中t＝15

或T(n)＝0，若是其他情况。

接下来就是对图像进行区域搜索和标记，这一步骤的主要工作是找到黑象素点的相邻区域，并对区域记数，对每个区域赋予一个序号。对图像进行逐行扫描，为找到的区域预先赋值。扫描时采用之前所述的“蛇形”扫描法，具体

算法如下(以自左向右的扫描过程为例)：

for(i为最左端象素点；i＜图像宽度；i++){

if[p_n＜(g_s(n)/s)*(1-t/100)]{

取得当前象素点的正上方点的标签，记为top；

取得当前象素点的左边点的标签，记为left；

If(top！＝背景颜色&&left！＝背景颜色){

在top的equals链表中进行搜索；

If(top的equals链表中没有left){

将left的equals链表和top的链表进行连接

}

  }

  else if(top！＝背景颜色){

当前象素点的标签记为top；

}

else if(left！＝背景颜色){

当前象素点的标签记为left；

}

else{

currentcluster++；

equals[currentcluster]＝currentcluster；

当前象素点标签＝currentcluster；  //新标签

      }

}

}

自右向左的过程与之相似，只是此时需要取得当前象素点正上方点和右方点的标签来进行比较以决定当前点的标签。

在区域搜索的过程中，有可能产生的一个问题是：两个具有不同标签的区域事实上属于同一区域。在这种情况下，将这两个区域记录在equals链表中并进行合成，而这一部分的工作就是把这样的区域连接到一起，并给每一区域赋一个新的标签。

确定编码标志物的位置要在图像中确定编码标志物，就需要先找到引导条和相应的角基石。寻找候选引导条的方法是，如果某区域的轴比率落在一个给定的理想值邻近范围内，就将其当作候选引导条，然后，根据区域的大小与方向来确定第二个引导条与三个角基石的位置，如果当前图像中相应位置确有这些特征，就算是找到了真正的引导条。

304：将经过图像处理的标志物通过特性匹配算法与标志物文件中的合法标志物进行比较，找到合法的二维可视编码标志物；

其中，对于满足大小、形状的标志物都要通过特征匹配算法与标志物文件中的合法标志物进行比较。如果误差在允许的范围内，则判定已寻找到合法的标志物，此时记录该标志物在图像坐标系中的位置，该图像坐标系是二维坐标系，以图像的横向为X轴，纵向为Y轴。利用二维可视化编码都是正方形的特征，依次记录该标志物顶点的位置，以及该标志物中的图像以及像素值信息，计算对应于该标志物的编码值。如果没有寻找到合法的标志物，则直接退出程序。

305～309：视频跟踪模块获得标志物坐标系和图像坐标系中对应的标志物顶点坐标，并计算从标志物坐标系到相机坐标系的变换矩阵，标志物在相平面上成相的过程，相当于点从三维标志物坐标系上变换到相机坐标系上，然后投影到相平面上形成标志物的二维图像；视频跟踪模块通过采样二维可视编码中间编码部分的图案，得出编码值，然后通过识别到的标志物编码值从虚实对应数据库中检索到对应于该编码的三维模型，并获得该三维模型的顶点数组，最后对顶点数组中的顶点坐标乘以变换矩阵得到该三维图形在相机坐标系下的坐标；虚拟图形系统模块绘制以该坐标数组对应的三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧；虚实合成模块将得到的虚拟图形帧与视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧进行合成，得到增强现实环境的合成视频帧。

其中，在获得了标志物坐标系和图像坐标系中对应的标志物顶点的坐标后，通过联立方程组可以解得投影矩阵和T的乘积。而投影矩阵完全取决于相机的内部参数，因此可推算得到变换矩阵T。

对基于标志物的增强现实来说，一个标志物实际上就定义了一个标志物坐标系，在标志物平面上的三维虚拟图形，事实上都是建立在标志物坐标系内的。从标志物坐标系到相机坐标系的变换与之前所提到的变换过程基本相同，假设标志物坐标系相当于一个Z＝0的坐标系，这样有：

$\left[\begin{array}{c}x1\\ x2\\ x3\end{array}\right]=\left[\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{p}_{11}& p_{12}& p_{14}\\ p_{21}& p_{22}& p_{24}\\ p_{31}& p_{32}& p_{34}\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_w\\ y_w\\ 1\end{array}\right]---\mathrm{Eq}1-1$

其中p_ij表示之前所提到的透视投影矩阵的第i行第j列的元素，而H则是一个将二维标志物坐标变换到二维图像坐标的3×3的投影矩阵，称作homography。如果进行归一化处理的话，则Eq1-1又可以表示成：

$\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ 1\end{array}\right]=\mathrm{\λ}\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$

其中λ是比例系数。

有了这样的一个矩阵，可以将它写成等式的形式：

$x^{\′}=\frac{h_{11}x+h_{12}y+h_{13}}{h_{31}x+h_{32}y+h_{33}}$

$y^{\′}=\frac{h_{21}x+h_{22}y+h_{23}}{h_{31}x+h_{32}y+h_{33}}---\mathrm{Eq}1-2$

其中h_ij定义了H的第i行第j列元素，将其转化成线性形式：

x′(h₃₁x+h₃₂y+h₃₃)＝h₁₁x+h₁₂y+h₁₃

y′(h₃₁x+h₃₂y+h₃₃)＝h₂₁x+h₂₂y+h₂₃

以矩阵形式来表示：

$\left[\begin{array}{ccccccccc}x& y& 1& 0& 0& 0& {-x}^{\′}x& {-x}^{\′}y& {-x}^{\′}\\ 0& 0& 0& x& y& 1& {-y}^{\′}x& {-y}^{\′}y& {-y}^{\′}\end{array}\right]h=0---\mathrm{Eq}1-3$

h＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂ h₃₃]^T是一个9×1的向量，其中的元素正对应着H中的每个元素。通过归一化的处理，另h₃₃＝1，则h中还有8个未知量，需要由8个方程采进行求解。此时需要得到4个顶点(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)以及它们在分别图像平面中的对应点(x₁′，y₁′)，(x₂′，y₂′)，(x₃′，y₃′)，(x₄′，y₄′)，其中(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)在其标志物坐标系中的坐标已知。在这4个顶点的信息完整的情况下，得到如下的矩阵方程：

$\left[\begin{array}{ccccccccc}{x}_1& y_1& 1& 0& 0& 0& {{-x}_1}^{\′}{x}_1& {{-x}_1}^{\′}{y}_1& {{-x}_1}^{\′}\\ 0& 0& 0& x_1& y_1& 1& {{-y}_1}^{\′}{x}_1& {{-y}_1}^{\′}{y}_1& {{-y}_1}^{\′}\\ x_2& y_2& 1& 0& 0& 0& {{-x}_2}^{\′}{x}_2& {{-x}_2}^{\′}{y}_2& {{-x}_2}^{\′}\\ 0& 0& 0& x_2& y_2& 1& {{-y}_2}^{\′}{x}_2& {{-y}_2}^{\′}{y}_2& {{-y}_2}^{\′}\\ x_3& y_3& 1& 0& 0& 0& {{-x}_3}^{\′}{x}_3& {{-x}_3}^{\′}{y}_3& {{-x}_3}^{\′}\\ 0& 0& 0& x_3& y_3& 1& {{-y}_3}^{\′}{x}_3& {{-y}_3}^{\′}{y}_3& {{-y}_3}^{\′}\\ x_4& y_4& 1& 0& 0& 0& {{-x}_4}^{\′}{x}_4& {{-x}_4}^{\′}{y}_4& {{-x}_4}^{\′}\\ 0& 0& 0& x_4& y_4& 1& {{-y}_4}^{\′}{x}_4& {{-y}_4}^{\′}{y}_4& {{-y}_4}^{\′}\end{array}\right]h=\mathrm{Ah}=0---\mathrm{Eq}1-4$

在求解h的过程中，需要做这样的变形

$\left[\begin{array}{cccccccc}{x}_1& y_1& 1& 0& 0& 0& {{-x}_1}^{\′}{x}_1& {{-x}_1}^{\′}{y}_1\\ 0& 0& 0& x_1& y_1& 1& {{-y}_1}^{\′}{x}_1& {{-y}_1}^{\′}{y}_1\\ x_2& y_2& 1& 0& 0& 0& {{-x}_2}^{\′}{x}_2& {{-x}_2}^{\′}{y}_2\\ 0& 0& 0& x_2& y_2& 1& {{-y}_2}^{\′}{x}_2& {{-y}_2}^{\′}{y}_2\\ x_3& y_3& 1& 0& 0& 0& {{-x}_3}^{\′}{x}_3& {{-x}_3}^{\′}{y}_3\\ 0& 0& 0& x_3& y_3& 1& {{-y}_3}^{\′}{x}_3& {{-y}_3}^{\′}{y}_3\\ x_4& y_4& 1& 0& 0& 0& {{-x}_4}^{\′}{x}_4& {{-x}_4}^{\′}{y}_4\\ 0& 0& 0& x_4& y_4& 1& {{-y}_4}^{\′}{x}_4& {{-y}_4}^{\′}{y}_4\end{array}\right]h=\mathrm{Ch}=\left[\begin{array}{c}{x_1}^{\′}\\ {y_1}^{\′}\\ {x_2}^{\′}\\ {y_2}^{\′}\\ {x_3}^{\′}\\ {y_3}^{\′}\\ {x_4}^{\′}\\ {y_4}^{\′}\end{array}\right]=B---\mathrm{Eq}1-5$

则h＝C^-1B，整个h的求解过程就可以归为对C的求逆过程和一次矩阵的乘法。在得到h之后，对应的图像平面上的点的坐标就可以由Eq1-2求出。

目前为止，得到的H只能用来进行2D-2D的转换，这是因为在Eq1-1里做了一定的限制，假设标志物坐标系中Z分量始终等于0，这也就限制了暂时不能在Marker坐标系中定义三维的物体。为了能够实现从标志物坐标系到图像平面坐标系的3D-2D的转换，必须得到Eq1-1中p₁₃，p₂₃，p₃₃的值。

从Eq1-1中可以看出H只是在Z＝0的情况下，透视投影矩阵的一个简化形式，同样可以把H定义成如下的形式：

$H=\left[\begin{array}{ccc}{f_{u}r}_{11}& {f_{u}r}_{12}& {f_{u}t}_1\\ f_v{r}_{21}& {f_{v}r}_{22}& {f_{v}t}_2\\ r_{31}& r_{32}& t_3\end{array}\right]---\mathrm{Eq}1-6$

由于R是一个旋转矩阵，则根据其正交属性可以得到：

r₁₁ ²+r₂₁ ²+r₃₁ ²＝1                               Eq1-7

r₁₂ ²+r₂₂ ²+r₃₂ ²＝1                               Eq1-8

r₁₁r₁₂+r₂₁r₂₂+r₃₁r₃₂＝0                         Eq1-9

将Eq1-6代入Eq1-9，可以得到：

h₁₁h₁₂/f_u ²+h₂₁h₂₂/f_v ²+h₃₁h₃₂＝0                 Eq1-10

类似的，将Eq1-7和Eq1-8代入后可以得到：

λ²(h₁₁/f_u ²+h₂₁/f_v ²+h₃₁ ²)＝0                    Eq1-11

λ²(h₁₂/f_u ²+h₂₂/f_v ²+h₃₂ ²)＝0                    Eq1-12

通过消去Eq1-10和Eq1-11中的λ²，可以得到下式：

(h₁₁ ²-h₁₂ ²)/f_u ²+(h₂₁ ²-h₂₂ ²)/f_v ²+h₃₁ ²-h₃₂ ²＝0    Eq1-13

再结合Eq1-10和Eq1-13，可以得到f_u和f_v的计算公式：

$f_u=\sqrt{\frac{h_{11}{h}_{12}({h_{21}}^2-{h_{22}}^2)-h_{21}{h}_{22}({h_{11}}^2-{h_{12}}^2)}{-h_{31}{h}_{32}({h_{21}}^2-{h_{22}}^2)+h_{21}{h}_{22}({h_{31}}^2-{h_{32}}^2)}}---\mathrm{Eq}1-14$

$f_v=\sqrt{\frac{h_{11}{h}_{12}({h_{21}}^2-{h_{22}}^2)-h_{21}{h}_{22}({h_{11}}^2-{h_{12}}^2)}{{-h}_{31}{h}_{32}\left({h_{11}}^2{h_{12}}^2\right)+h_{11}{h}_{12}({h_{31}}^2-{h_{32}}^2)}}---\mathrm{Eq}1-15$

在得到了相机内部参数f_u和f_v之后，可以利用Eq1-11或者Eq1-12来计算λ的值：

$\mathrm{\λ}=\frac{1}{\sqrt{{h11}^2/{\mathrm{fu}}^2+{h21}^2/{\mathrm{fv}}^2+{h31}^2}}$

再根据Eq1-1，所有的相机外部参数也可以通过计算得到：

r₁₁＝λh₁₁/f_u    r₁₂＝λh₁₂/f_u    r₁₃＝r₂₁r₃₂-r₃₁r₂₂   t₁＝λh₁₃/f_u

r₂₁＝λh₂₁/f_v    r₂₂＝λh₂₂/f_v    r₂₃＝r₃₁r₁₂-r₁₁r₃₂   t₂＝λh₂₃/f_v

r₃₁＝λh₃₁       r₃₂＝λh₃₂       r₃₃＝r₁₁r₂₂-r₂₁r₁₂   t₃＝λh₃₃

得到了所有的相机内部参数和外部参数以后，就可以由

$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]\left[\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

来实现从标志物坐标系到图像平面的3D-2D变换。

310：视频显示模块获得增强现实环境的合成视频帧，并将其输出到显示屏上。

其中，在本方案里使用OpenGL ES作为三维图形API(应用程序编程接口)。OpenGL ES是OpenGL的一个小空间子集，应用于高级的嵌入式图形处理，能支持3D游戏功能，并可用在包括定点处理器在内的广泛的平台上。为了将三维模型显示在背景前面，绘图API全部采用OpenGL ES，于是将背景作为纹理，贴在一块和屏幕同样大小的长方形上，其中设置相关数组和绘制的代码是：

glVertexPointer(3，GL_SHORT，0，vertices)；//设置顶点坐标数组

glTexCoordPointer(2，GL_BYTE，0，texCoords)；//设置纹理坐标数组

glDrawElements(GL_TRIANGLES，2*3，GL_UNSIGNED_BYTE，triangles)；//绘制背景

在前面已经求出了三维模型在图像坐标系下的位置，只要把求出的位置坐标设置在OpenGL ES对应的顶点数组中就可以显示它了。显示三维模型的代码是：

glVertexPointer(3，GL_FLOAT，0，iVertexPointer)；//设置三维物体顶点数组

glDrawElements(GL_TRIANGLES，faceNum*3，GL_UNSIGNED_SHORT，iIndex)；//绘制三维物体。

本发明还提供一种实现三维增强现实的系统，该系统包括：视频帧捕获模块、视频跟踪模块、虚拟图形系统模块、虚实合成模块以及视频显示模块；

视频帧捕获模块用于捕获真实环境中二维可视编码标志物的视频帧，并将该视频帧发送给视频跟踪模块；

视频跟踪模块用于对获得的视频帧进行计算处理，得到环境和相机的相对方位；

虚拟图形系统模块用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的三维图形；

虚实合成模块用于将获得的虚拟图形帧与真实环境中二维可视编码标志物的视频帧进行合成，得到增强现实环境的合成视频帧。

请参见图4与图5，图4为实现三维增强现实的系统功能模块示意图，图5为基于二维可视化编码标志物的增强现实算法流程图，下面将结合图4与图5对本发明进行详细描述。

401：视频帧捕获模块捕获真实环境中二维可视编码标志物的视频帧，并将该视频帧发送给视频跟踪模块；

其中，在视频帧捕获模块捕获真实环境中二维可视编码标志物的视频帧前，需要寻找到合法的二维可视编码标志物，请参见图5，其中包括501～504具体步骤如下：

初始化三维图形系统环境、相机内部参数和标志物文件，图形系统环境初始化的目标是设置能够同时支持二维图形和三维图形的绘图环境，包括取得设置显示模式、设置显示参数列表、显示设备、创建显示表面、设置显示表面参数、设置视点位置和视平面等。

相机内部参数是指摄像头相机的焦距和形变等内部固有参数，该参数确定了摄像头相机的投影变换矩阵，它取决于相机本身的属性，所以对同一个相机来说其内部参数是恒定不变的。相机内部参数是通过一个独立的相机校准程序事先获得的，这里所做的是将这组参数读取到内存中。

标志物文件记录了环境标志物信息的说明文件，在程序初始化时把这些信息由文件读入内存。

通过相机抓取一个视频帧图像，并将该视频帧图像进行缩放，使之适合作为图形系统中的纹理贴图，然后将它绘制为背景并存储在图形系统提供的帧缓存中。

对抓取的视频帧图像进行图像处理，具体包括对图像进行灰度处理和二值化、标记以及轮廓提取处理。

其中，对于图像灰度处理和二值化，为了得到彩色图像的灰度值，国际电信联盟(ITU)中有一个标准亮度的计算公式：

Y＝0.2126*red+0.7152*green+0.0722*blue

由于RGB在图像的锐利度和对比度中所产生的影响最小，因此其蓝色的成分被略去，于是可以采用简化公式grey＝(red+green)/2来代替上述标准亮度公式。因为计算灰度值和二值化需要对每一个象素点都进行处理，计算过程比较复杂，效率也比较低。通过上述简化公式得出的灰度值比采用ITU的标准亮度公式的更为准确，而且效率要高。而得到灰度值后，要对图像进一步地进行二值化处理，但是灰度值并不能真实地再现图像的原貌，原因在于相机图像的光亮不稳定会导致编码标志物的不均匀亮度。

请参见图6，图中的扫描路径类似于一种“蛇形”的扫描路径。由于在光照不均匀的情况下，自左向右扫描与自右向左扫描将会产生不同的二值化结果，而采用这种“蛇行”扫描路径相当于取得一个比较平均的区域，从而使光照不均匀的情况得到改善。

平均的阈值g_s(n)将依据下式来进行推算：

g_s(n)＝g_s(n-1)*(1-1/s)+p_n其中p_n表示第n个象素点的灰度值，s＝w/8表示图像移动中的平均宽度(w表示图像宽度)g_s的初始值为cs/2(其中c是最大的灰度值)。由此，就可以用下式确定每个象素点在二值化后的结果：

T(n)＝1，若p_n＜(g_s(n)/s)*(1-t/100)

其中t＝15

或T(n)＝0，若是其他情况。

接下来就是对图像进行区域搜索和标记，这一步骤的主要工作是找到黑象素点的相邻区域，并对区域记数，对每个区域赋予一个序号。对图像进行逐行扫描，为找到的区域预先赋值。扫描时采用之前所述的“蛇形”扫描法，具体

算法如下(以自左向右的扫描过程为例)：

for(i为最左端象素点；i＜图像宽度；i++){

if[p_n＜(g_s(n)/s)*(1-t/100)]{

取得当前象素点的正上方点的标签，记为top；

取得当前象素点的左边点的标签，记为left；

If(top！＝背景颜色&&left！＝背景颜色){

在top的equals链表中进行搜索；

If(top的equals链表中没有left){

将left的equals链表和top的链表进行连接

}

 }

 else if(top！＝背景颜色){

当前象素点的标签记为top；

}

else if(left！＝背景颜色){

当前象素点的标签记为left；

}

else{

currentcluster++；

equals[currentcluster]＝currentcluster；

当前象素点标签＝currentcluster；  //新标签

      }

}

}

自右向左的过程与之相似，只是此时需要取得当前象素点正上方点和右方点的标签来进行比较以决定当前点的标签。

在区域搜索的过程中，有可能产生的一个问题是：两个具有不同标签的区域事实上属于同一区域。在这种情况下，将这两个区域记录在equals链表中并进行合成，而这一部分的工作就是把这样的区域连接到一起，并给每一区域赋一个新的标签。

确定编码标志物的位置要在图像中确定编码标志物，就需要先找到引导条和相应的角基石。寻找候选引导条的方法是，如果某区域的轴比率落在一个给定的理想值邻近范围内，就将其当作候选引导条，然后，根据区域的大小与方向来确定第二个引导条与三个角基石的位置，如果当前图像中相应位置确有这些特征，就算是找到了真正的引导条。

将经过图像处理的标志物通过特性匹配算法与标志物文件中的合法标志物进行比较，找到合法的二维可视编码标志物；

其中，对于满足大小、形状的标志物都要通过特征匹配算法与标志物文件中的合法标志物进行比较。如果误差在允许的范围内，则判定已寻找到合法的标志物，此时记录该标志物在图像坐标系中的位置，该图像坐标系是二维坐标系，以图像的横向为X轴，纵向为Y轴。利用二维可视化编码都是正方形的特征，依次记录该标志物顶点的位置，以及该标志物中的图像以及像素值信息，计算对应于该标志物的编码值。如果没有寻找到合法的标志物，则直接退出程序。

402：视频跟踪模块获得来自视频帧捕获模块的真实环境的视频帧，并对该视频帧进行计算处理；

请参见图5中505～506，其具体步骤如下：

视频跟踪模块获得标志物坐标系和图像坐标系中对应的标志物顶点坐标，并计算从标志物坐标系到相机坐标系的变换矩阵，标志物在相平面上成相的过程，相当于点从三维标志物坐标系上变换到相机坐标系上，然后投影到相平面上形成标志物的二维图像；并通过采样二维可视编码中间编码部分的图案，得出编码值，然后通过识别到的标志物编码值从虚实对应数据库中检索到对应与该编码的三维模型，并获得该三维模型的顶点数组，最后对顶点数组中的顶点坐标乘以变换矩阵得到该三维图形在相机坐标系下的坐标；

其中，在获得了标志物坐标系和图像坐标系中对应的标志物顶点的坐标后，通过联立方程组可以解得投影矩阵和T的乘积。而投影矩阵完全取决于相机的内部参数，因此可推算得到变换矩阵T。

对基于标志物的增强现实来说，一个标志物实际上就定义了一个标志物坐标系，在标志物平面上的三维虚拟图形，事实上都是建立在标志物坐标系内的。从标志物坐标系到相机坐标系的变换与之前所提到的变换过程基本相同，假设标志物坐标系相当于一个Z＝0的坐标系，这样有：

$\left[\begin{array}{c}x1\\ x2\\ x3\end{array}\right]=\left[\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{p}_{11}& p_{12}& p_{14}\\ p_{21}& p_{22}& p_{24}\\ p_{31}& p_{32}& p_{34}\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_w\\ y_w\\ 1\end{array}\right]---\mathrm{Eq}1-1$

其中p_ij表示之前所提到的透视投影矩阵的第i行第j列的元素，而H则是一个将二维标志物坐标变换到二维图像坐标的3×3的投影矩阵，称作homography。如果进行归一化处理的话，则Eq1-1又可以表示成：

$\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ 1\end{array}\right]=\mathrm{\λ}\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$

其中λ是比例系数。

有了这样的一个矩阵，可以将它写成等式的形式：

$x^{\′}=\frac{h_{11}x+h_{12}y+h_{13}}{h_{31}x+h_{32}y+h_{33}}$

$y^{\′}=\frac{h_{21}x+h_{22}y+h_{23}}{h_{31}x+h_{32}y+h_{33}}---\mathrm{Eq}1-2$

其中h_ij定义了H的第i行第j列元素，将其转化成线性形式：

x′(h₃₁x+h₃₂y+h₃₃)＝h₁₁x+h₁₂y+h₁₃

y′(h₃₁x+h₃₂y+h₃₃)＝h₂₁x+h₂₂y+h₂₃

以矩阵形式来表示：

$\left[\begin{array}{ccccccccc}x& y& 1& 0& 0& 0& {-x}^{\′}x& {-x}^{\′}y& {-x}^{\′}\\ 0& 0& 0& x& y& 1& {-y}^{\′}x& {-y}^{\′}y& {-y}^{\′}\end{array}\right]h=0---\mathrm{Eq}1-3$

h＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂ h₃₃]^T是一个9×1的向量，其中的元素正对应着H中的每个元素。通过归一化的处理，另h₃₃＝1，则h中还有8个未知量，需要由8个方程来进行求解。此时需要得到4个顶点(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)以及它们在分别图像平面中的对应点(x₁′，y₁′)，(x₂′，y₂′)，(x₃′，y₃′)，(x₄′，y₄′)，其中(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)在其标志物坐标系中的坐标已知。在这4个顶点的信息完整的情况下，得到如下的矩阵方程：

$\left[\begin{array}{ccccccccc}{x}_1& y_1& 1& 0& 0& 0& {{-x}_1}^{\′}{x}_1& {{-x}_1}^{\′}{y}_1& {{-x}_1}^{\′}\\ 0& 0& 0& x_1& y_1& 1& {{-y}_1}^{\′}{x}_1& {{-y}_1}^{\′}{y}_1& {{-y}_1}^{\′}\\ x_2& y_2& 1& 0& 0& 0& {{-x}_2}^{\′}{x}_2& {{-x}_2}^{\′}{y}_2& {{-x}_2}^{\′}\\ 0& 0& 0& x_2& y_2& 1& {{-y}_2}^{\′}{x}_2& {{-y}_2}^{\′}{y}_2& {{-y}_2}^{\′}\\ x_3& y_3& 1& 0& 0& 0& {{-x}_3}^{\′}{x}_3& {{-x}_3}^{\′}{y}_3& {{-x}_3}^{\′}\\ 0& 0& 0& x_3& y_3& 1& {{-y}_3}^{\′}{x}_3& {{-y}_3}^{\′}{y}_3& {{-y}_3}^{\′}\\ x_4& y_4& 1& 0& 0& 0& {{-x}_4}^{\′}{x}_4& {{-x}_4}^{\′}{y}_4& {{-x}_4}^{\′}\\ 0& 0& 0& x_4& y_4& 1& {{-y}_4}^{\′}{x}_4& {{-y}_4}^{\′}{y}_4& {{-y}_4}^{\′}\end{array}\right]h=\mathrm{Ah}=0---\mathrm{Eq}1-4$

在求解h的过程中，需要做这样的变形

$\left[\begin{array}{cccccccc}{x}_1& y_1& 1& 0& 0& 0& {{-x}_1}^{\′}{x}_1& {{-x}_1}^{\′}{y}_1\\ 0& 0& 0& x_1& y_1& 1& {{-y}_1}^{\′}{x}_1& {{-y}_1}^{\′}{y}_1\\ x_2& y_2& 1& 0& 0& 0& {{-x}_2}^{\′}{x}_2& {{-x}_2}^{\′}{y}_2\\ 0& 0& 0& x_2& y_2& 1& {{-y}_2}^{\′}{x}_2& {{-y}_2}^{\′}{y}_2\\ x_3& y_3& 1& 0& 0& 0& {{-x}_3}^{\′}{x}_3& {{-x}_3}^{\′}{y}_3\\ 0& 0& 0& x_3& y_3& 1& {{-y}_3}^{\′}{x}_3& {{-y}_3}^{\′}{y}_3\\ x_4& y_4& 1& 0& 0& 0& {{-x}_4}^{\′}{x}_4& {{-x}_4}^{\′}{y}_4\\ 0& 0& 0& x_4& y_4& 1& {{-y}_4}^{\′}{x}_4& {{-y}_4}^{\′}{y}_4\end{array}\right]h=\mathrm{Ch}=\left[\begin{array}{c}{x_1}^{\′}\\ {y_1}^{\′}\\ {x_2}^{\′}\\ {y_2}^{\′}\\ {x_3}^{\′}\\ {y_3}^{\′}\\ {x_4}^{\′}\\ {y_4}^{\′}\end{array}\right]=B---\mathrm{Eq}1-5$

则h＝C^-1B，整个h的求解过程就可以归为对C的求逆过程和一次矩阵的乘法。

在得到h之后，对应的图像平面上的点的坐标就可以由Eq1-2求出。

目前为止，得到的H只能用来进行2D-2D的转换，这是因为在Eq1-1里做了一定的限制，假设标志物坐标系中Z分量始终等于0，这也就限制了暂时不能在Marker坐标系中定义三维的物体。为了能够实现从标志物坐标系到图像平面坐标系的3D-2D的转换，必须得到Eq1-1中p₁₃，p₂₃，p₃₃的值。

从Eq1-1中可以看出H只是在Z＝0的情况下，透视投影矩阵的一个简化形式，同样可以把H定义成如下的形式：

$H=\left[\begin{array}{ccc}{f}_u{r}_{11}& f_u{r}_{12}& f_u{t}_1\\ f_v{r}_{21}& f_v{r}_{22}& f_v{t}_2\\ r_{31}& r_{32}& t_3\end{array}\right]---\mathrm{Eq}1-6$

由于R是一个旋转矩阵，则根据其正交属性可以得到：

r₁₁ ²+r₂₁ ²+r₃₁ ²＝1                               Eq1-7

r₁₂ ²+r₂₂ ²+r₃₂ ²＝1                               Eq1-8

r₁₁r₁₂+r₂₁r₂₂+r₃₁r₃₂＝0                         Eq1-9

将Eq1-6代入Eq1-9，可以得到：

h₁₁h₁₂/f_u ²+h₂₁h₂₂/f_v ²+h₃₁h₃₂＝0                 Eq1-10

类似的，将Eq1-7和Eq1-8代入后可以得到：

λ²(h₁₁/f_u ²+h₂₁/f_v ²+h₃₁ ²)＝0                    Eq1-11

λ²(h₁₂/f_u ²+h₂₂/f_v ²+h₃₂ ²)＝0                    Eq1-12

通过消去Eq1-10和Eq1-11中的λ²，可以得到下式：

(h₁₁ ²-h₁₂ ²)/f_u ²+(h₂₁ ²-h₂₂ ²)/f_v ²+h₃₁ ²-h₃₂ ²＝0    Eq1-13

再结合Eq1-10和Eq1-13，可以得到f_u和f_v的计算公式：

$f_u=\sqrt{\frac{h_{11}{h}_{12}({h_{21}}^2-{h_{22}}^2)-h_{21}{h}_{22}({h_{11}}^2-{h_{12}}^2)}{-h_{31}{h}_{32}({h_{21}}^2-{h_{22}}^2)+h_{21}{h}_{22}({h_{31}}^2-{h_{32}}^2)}}---\mathrm{Eq}1-14$

$f_v=\sqrt{\frac{h_{11}{h}_{12}({h_{21}}^2-{h_{22}}^2)-h_{21}{h}_{22}({h_{11}}^2-{h_{12}}^2)}{-h_{31}{h}_{32}({h_{11}}^2-{h_{12}}^2)+h_{11}{h}_{12}({h_{31}}^2-{h_{32}}^2)}}---\mathrm{Eq}1-15$

在得到了相机内部参数f_u和f_v之后，可以利用Eq1-11或者Eq1-12来计算λ的值：

$\mathrm{\λ}=\frac{1}{\sqrt{{h11}^2/{\mathrm{fu}}^2+{h21}^2/{\mathrm{fv}}^2+{h31}^2}}$

再根据Eq1-1，所有的相机外部参数也可以通过计算得到：

r₁₁＝λh₁₁/f_u    r₁₂＝λh₁₂/f_u     r₁₃＝r₂₁r₃₂-r₃₁r₂₂   t₁＝λh₁₃/f_u

r₂₁＝λh₂₁/f_v    r₂₂＝λh₂₂/f_v     r₂₃＝r₃₁r₁₂-r₁₁r₃₂   t₂＝λh₂₃/f_v

r₃₁＝λh₃₁       r₃₂＝λh₃₂        r₃₃＝r₁₁r₂₂-r₂₁r₁₂   t₃＝λh₃₃

得到了所有的相机内部参数和外部参数以后，就可以由

$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

来实现从标志物坐标系到图像平面的3D-2D变换。

403：虚拟图形系统模块绘制以该坐标数组对应的三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧；

请参见图5中507～508，虚拟图形系统模块根据变换矩阵T绘制编码C对应的三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧。

404：虚实合成模块将得到的虚拟图形帧与视频帧捕获模块捕获到真实环境中二维可视编码标志物的视频帧进行合成，得到增强现实环境的合成视频帧；

405：视频显示模块获得增强现实环境的合成视频帧，并将其输入到显示器上。

其中，在本方案里使用OpenGL ES作为三维图形API(应用程序编程接口)。OpenGL ES是OpenGL的一个小空间子集，应用于高级的嵌入式图形处理，能支持3D游戏功能，并可用在包括定点处理器在内的广泛的平台上。为了将三维模型显示在背景前面，绘图API全部采用OpenGL ES，于是将背景作为纹理，贴在一块和屏幕同样大小的长方形上，其中设置相关数组和绘制的代码是：

glVertexPointer(3，GL_SHORT，0，vertices)；//设置顶点坐标数组

glTexCoordPointer(2，GL_BYTE，0，texCoords)；//设置纹理坐标数组

glDrawElements(GL_TRIANGLES，2*3，GL_UNSIGNED_BYTE，triangles)；//绘制背景

在前面已经求出了三维模型在图像坐标系下的位置，只要把求出的位置坐标设置在OpenGL ES上，对应的顶点数组中就可以显示它了。显示三维模型的代码是：

glVertexPointer(3，GL_FLOAT，0，iVertexPointer)；//设置三维物体顶点数组

glDrawElements(GL_TRIANGLES，faceNum*3，GL_UNSIGNED_SHORT，iIndex)；//绘制三维物体。

以上对本发明所提供的一种二维可视编码结合到三维增强现实的方法进行了详细介绍，上述方案中二维可视编码的编码规则并不是唯一的，通过改变编码的位数、改变编码中图像的形状以及改变编码图像的识别特征或特征个数，从而获得新的编码规则的数字编码；或者采用其他三维图形应用程序编程接口，或采用其他虚拟图形生成和绘制方法，或改变虚拟图形与视频帧合成的前后顺序，均可达到本发明目的。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想和算法，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1、一种实现三维增强现实的方法，其特征在于，具体包括步骤：

A：获得二维可视编码标志物的视频帧；

B：对所述视频帧进行增强现实处理，得到虚拟图形帧；

C：将所述虚拟图形帧与视频帧进行合成，得到合成视频帧。

2、根据权利要求1所述的实现三维增强现实的方法，其特征在于，所述步骤A中二维可视编码标志物中包含图案，所述图案按照编码规则排布。

3、根据权利要求1所述的实现三维增强现实的方法，其特征在于，所述步骤A之前进一步包括步骤：

A1：初始化三维图形系统环境、相机内部参数以及标志物文件；

A2：抓取标志物的视频帧图像，并将该图像缩放使其作为图形系统中的纹理贴图；

A3：将纹理贴图绘制为背景并存储在图形系统提供的帧缓存中；

A4：对步骤A2中抓取的视频帧图像进行图像处理；

A5：将所述视频帧图像经过图像处理的标志物与标志物文件中规定的标志物进行比较，并判断误差是否小于设定值，如果是，则判定找到标志物；

A6：记录该标志物在标志物坐标系和图像坐标系中的顶点坐标，并计算与该标志物对应的编码值。

4、根据权利要求3所述的实现三维增强现实的方法，其特征在于，所述步骤A4具体包括步骤：

A41：对抓取的视频帧进行图像灰度处理和二值化；

A42：对抓取的视频帧进行图像标记；

A43：对抓取的视频帧进行轮廓提取。

5、根据权利要求1或3所述的实现三维增强现实的方法，其特征在于，所述步骤B具体包括步骤：

B1：获得标志物坐标系和图像坐标系中对应的标志物顶点坐标，并计算从标志物坐标系到相机坐标系的变换矩阵；

B2：采样二维可视编码中编码图案，得出编码值。

6、根据权利要求5所述的实现三维增强现实的方法，其特征在于，所述步骤B2后进一步包括步骤：

B3：检索对应于该编码的三维模型，获取该三维模型，并获得所述三维模型的顶点数组。

7、根据权利要求6所述的实现三维增强现实的方法，其特征在于，所述步骤B3后还包括步骤：

B4：获得顶点数组中的顶点与变换矩阵的乘积，所述乘积是该三维图形在相机坐标系下的坐标数组；

B5：绘制以该坐标数组对应的三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧。

8、一种实现三维增强现实的系统，其特征在于，该系统包括：视频帧捕获模块、视频跟踪模块、虚拟图形系统模块以及虚实合成模块；

视频帧捕获模块用于捕获二维可视编码标志物的视频帧，并将该视频帧发送给视频跟踪模块；

虚拟图形系统模块用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的三维图形；

虚实合成模块用于将获得的虚拟图形帧与二维可视编码标志物的视频帧进行合成，得到合成视频帧。

9、根据权利要求8所述的实现三维增强现实的系统，其特征在于，视频跟踪模块用于计算处理获得的标志物视频帧，根据计算处理结果获得从标志物坐标系到相机坐标系的变换矩阵；还用于采样二维可视编码中编码图案，获得标志物编码值，检索出与该编码值对应的三维模型，并根据该三维模型的顶点数组与变换矩阵的乘积，得到该三维图形在相机坐标系下的坐标数组。

10、根据权利要求9所述的实现三维增强现实的系统，其特征在于，虚拟图形系统模块用于绘制与该坐标数组对应的三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧。

Images