CN108986163A - 基于多标识识别的增强现实定位算法 - Google Patents

Abstract

本发明公开了一种基于多标识识别的增强现实定位算法。程序不停读取视频帧信息，对于某一视频帧，首先检测其中是否存在标识1即主标识：当检测到标识1时，则直接相机相对于标识1的位置和角度；如果检测不到标识1，则继续检测是否存在标识2即辅标识。若存在标识2，则在计算出相机相对于标识2的位置和角度后，根据事先确定的标识2和标识1的位置关系，推算相机相对于标识1的位置和角度；若不存在标识2，则继续检测是否存在标识3……以此类推。本算法通过已经确定相对位置关系的多个标识，当某一标识不在可视范围内时，可以通过其他标识定位，增加了可定位的范围。

Description

基于多标识识别的增强现实定位算法

技术领域

本发明属于虚拟现实领域，具体是一种基于多标识识别的增强现实定位算法。

背景技术

现有的基于标识识别的增强现实定位算法都是基于单个标识进行识别，以定位手机或其他可穿戴智能设备的相机在三维现实空间中的位置，但是定位的范围有限：当相机移动到无法拍到完整的标识或标识被遮挡时，无法完成增强现实设备(运行增强现实应用的手机或其他可穿戴智能设备)的定位，增强现实的应用体验不佳。

发明内容

本发明针对背景技术中存在的问题，提出一种基于多标识识别的增强现实定位算法，以在更大范围内实现对增强现实设备的定位。

技术方案：一种基于多标识识别的增强现实定位算法，包括以下步骤：

(1)、数据库中存储标识模板，所述标识模板存储多个标识以及多个标识之间的位置关系，所有标识均放置在同一平面内，并以其中一个作为主标识，其余标识作为辅标识，以标识所在平面为Z平面，以主标识中心为原点建立右手坐标系；

(2)、读取视频帧；

(3)、判断视频帧是否可以检测到完整标识：若是则进行步骤(4A)，若否则进行步骤(4B-1)；

(4A)、基于步骤(1)存储的标识模板和步骤(3)检测到的标识进行匹配，计算摄像机在真实场景中的旋转矩阵R和平移向量t，进行步骤(5)；

(4B)、判断所有已保存的标识是否完全遍历：若否则进行步骤(4B-1)，若是则进行步骤(4B-2)；

(4B-1)、检测下一个标识并重复步骤(3)；

(4B-2)、当前视频帧无效，返回步骤(2)；

(5)、计算摄像机在真实场景中的姿态和坐标，为渲染提供依据；返回步骤(2)。

具体的，所述标识模板包括：

标识为正方形；标识有连续的黑色边界，边界外侧为浅色背景，标识边界内部的区域为标识图案用于区别不同的标识；标识不可以有轴对称性和旋转对称性；

数据库中的标识模板保存标识的尺寸、各个标识之间的距离和标识图案的特征值，规定真实场景中所有标识均放置在同一平面内，并将此平面设为Z平面，坐标原点位于主标识中心位置，则可以确定每个标识的四个顶点在真实场景中的坐标(x_w,y_w,0)。

具体的，步骤(3)中，检测到完整标识的判断步骤为：

(3-1)、采集视频流，对采集的每一帧图像，首先转换为灰度图像，然后进行二值化处理，即对图像的每一个像素按照下式进行处理：

其中u为二值化阈值，I(x,y)为灰度值，g(x,y)为像素二值化处理结果，标记为1的区域表示标识的浅色背景区域，标记为0的区域表示可能的标识区域；

(3-2)、检测标识：对二值化图像，寻找像素值为0的连通区域，并找到所有的四边形区域，作为候选区域；

(3-3)、模板匹配：将可能的标识区域正则化为正方形区域M_n，然后与标识模板库中的每一模板T进行匹配，计算正方形区域M_n和模板T的相异程度S_m：

其中，T_m为标识模板中第m个模板，w和h分别为模板的宽度和高度，为异或运算，S_m表示当前候选区域与模板T_m的相异度，当S_m小于某一设定阈值时，则认为M_n与T_m匹配，M_n为可识别的标识。

具体的，所述步骤(4A)中，计算摄像机在真实场景中的旋转矩阵R和平移向量t的具体步骤为：

(4A-1)、在真实场景中以标识所在平面为Z平面，分别以每个标识中心为原点建立n个世界坐标系：O₀X₀Y₀Z₀、O₁X₁Y₁Z₁……O_n-1X_n-1Y_n-1Z_n-1，O₀X₀Y₀Z₀为以主标识中心为原点建立的主世界坐标系，最终的计算结果都要统一到基于主标识建立的主世界坐标系O₀X₀Y₀Z₀中；

(4A-2)、对于检测到完整标识j的四个顶点，j∈[1，n-1]，每个顶点在标识j的世界坐标系O_jX_jY_jZ_j的齐次坐标为(x_wj,y_wj,z_wj,1)，其中Z_w1＝0；每个顶点对应在摄像机坐标系中的齐次坐标为(x_c,y_c,z_c,1)，坐标变换关系为：

其中，R₁为旋转矩阵，t₁为平移向量；

将匹配的四个顶点在标识j的世界坐标系O_jX_jY_jZ_j的齐次坐标(x_wj,y_wj,z_wj,1)以及在摄像机坐标系中的齐次坐标为(x_c,y_c,z_c,1)带入式(1)，获得方程组，解算方程组获得：摄像机在世界坐标系O_jX_jY_jZ_j中的旋转矩阵R₁和平移向量t₁；

(4A-3)、若标识j为主标识，则旋转矩阵R₁和平移向量t₁即为摄像机在真实场景中的旋转矩阵R和平移向量t并结束计算；若标识j非主标识，则进行步骤(4A-4)；

(4A-4)、计算摄像机在真实场景中的旋转矩阵R和平移向量t：

(4A-4-1)、旋转矩阵R＝旋转矩阵R₁；

(4A-4-2)、平移向量式中，a表示非主标识j与主标识之间的横向距离，b表示非主标识j与主标识之间的纵向距离。

具体的，所述步骤(5)中，计算摄像机在真实场景中的姿态和坐标的具体步骤为：

在以标识所在平面为Z平面，标识中心为坐标原点建立的世界坐标系中，摄像头的姿态直接用旋转矩阵R表示，坐标(X_w,Y_w,Z_w)用旋转矩阵R和平移向量t计算得到，计算公式为：

其中，矩阵R^-1为旋转矩阵R的逆矩阵。

本发明的有益效果

现有技术中，基于单标识的增强现实定位在相机移动到标识不在可视范围内时，不能有效定位。本算法通过已经确定相对位置关系的多个标识，当某一标识不在可视范围内时，可以通过其他标识定位，增加了可定位的范围。

附图说明

图1为标识样式示意图

图2为本发明的算法流程示意图

具体实施方式

下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：

结合图1，本发明所涉及的标识具有以下特点：

(1)标识为正方形；标识有连续的黑色边界，边界外侧为浅色背景，标识边界内部的区域为标识图案用于区别不同的标识；标识不可以有轴对称性和旋转对称性；

(2)数据库中的标识模板保存标识的尺寸、各个标识之间的距离和标识图案的特征值(位置关系，所有标识均放置在同一平面内，并以其中一个作为主标识，其余标识作为辅标识)，规定真实场景中所有标识均放置在同一平面内，并将此平面设为Z平面，坐标原点位于主标识中心位置，则可以确定每个标识的四个顶点在真实场景中的坐标(x_w,y_w,0)。

结合图2，为本发明的算法具体流程图，程序不停读取视频帧信息，对于某一视频帧，首先检测其中是否存在标识1即主标识：当检测到标识1时，则直接相机相对于标识1的位置和角度；如果检测不到标识1，则继续检测是否存在标识2即辅标识。若存在标识2，则在计算出相机相对于标识2的位置和角度后，根据事先确定的标识2和标识1的位置关系，推算相机相对于标识1的位置和角度；若不存在标识2，则继续检测是否存在标识3……以此类推，当检测到某一标识时，均可以根据其与标识1的位置关系，确定相机在现实世界中的位置和角度，而当所有的标识遍历结束，仍然未检测到任何一个标识时，则认为该视频帧无效。

具体计算如技术方案所记载，此处不再赘述，下面对具体解算过程所涉及原理进行说明：

结合图2，以标识1(主标识)和标识2(辅标识)为例，以标识1中心为原点，建立三维直角坐标系O₀X₀Y₀Z₀，并将之确定为主世界坐标系，以标识2中心为原点，建立三维直角坐标系O₁X₁Y₁Z₁，标识1和标识2在同一平面内，标识1中心和标识2中心的横向距离为a，纵向距离为b。

原理一：

(1)、由于所有标识的均同向放置，故旋转矩阵R＝旋转矩阵R₁；

(2)、基于摄像机在世界坐标系O₁X₁Y₁Z₁中的旋转矩阵R₁和平移向量t₁获得摄像机在世界坐标系O₁X₁Y₁Z₁中的坐标(X_w1,Y_w1,Z_w1)：

式中，矩阵为旋转矩阵R₁的逆矩阵；

(3)、计算摄像机在主世界坐标系O₀X₀Y₀Z₀中的坐标(X_w0,Y_w0,Z_w0)，计算公式为：

式中，a表示标识2与主标识之间的横向距离，b表示标识2与主标识之间的纵向距离；

(4)、计算摄像机在主坐标系O₀X₀Y₀Z₀中的平移向量t：

式中，R通过步骤(1)获得，通过步骤(3)获得，最终获得摄像机在主坐标系O₀X₀Y₀Z₀中的平移向量t。

原理二：

由坐标系O₀X₀Y₀Z₀到坐标系O₁X₁Y₁Z₁的齐次坐标变换矩阵T₀可以表示为：

其中：R₀＝I₃为三维单位矩阵，a表示标识2与标识1之间的横向距离，b表示标识2到标识1的纵向距离(a和b均为矢量)；

由O₀X₀Y₀Z₀的齐次坐标变换矩阵为T，O₁X₁Y₁Z₁的齐次坐标变换矩阵为T₁，故有：T＝T₁T₀，即：

由上式可知，R＝R₁，

经验算，原理一和原理二所得摄像机在真实场景中的旋转矩阵R和平移向量t结果相同，原理二的结论更加简单易求，故本申请的权利要求保护原理二的结论。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于多标识识别的增强现实定位算法，其特征在于包括以下步骤：

(1)、数据库中存储标识模板，所述标识模板存储多个标识以及多个标识之间的位置关系，所有标识均放置在同一平面内，并以其中一个作为主标识，其余标识作为辅标识，以标识所在平面为Z平面，以主标识中心为原点建立右手坐标系；

(2)、读取视频帧；

(3)、判断视频帧是否可以检测到完整标识：若是则进行步骤(4A)，若否则进行步骤(4B-1)；

(4A)、基于步骤(1)存储的标识模板和步骤(3)检测到的标识进行匹配，计算摄像机在真实场景中的旋转矩阵R和平移向量t，进行步骤(5)；

(4B)、判断所有已保存的标识是否完全遍历：若否则进行步骤(4B-1)，若是则进行步骤(4B-2)；

(4B-1)、检测下一个标识并重复步骤(3)；

(4B-2)、当前视频帧无效，返回步骤(2)；

(5)、计算摄像机在真实场景中的姿态和坐标，为渲染提供依据；返回步骤(2)。

2.根据权利要求1所述的基于多标识识别的增强现实定位算法，其特征在于所述标识模板包括：

标识为正方形；标识有连续的黑色边界，边界外侧为浅色背景，标识边界内部的区域为标识图案用于区别不同的标识；标识不可以有轴对称性和旋转对称性；

数据库中的标识模板保存标识的尺寸、各个标识之间的距离和标识图案的特征值，规定真实场景中所有标识均放置在同一平面内，并将此平面设为Z平面，坐标原点位于主标识中心位置。

3.根据权利要求1所述的基于多标识识别的增强现实定位算法，其特征在于步骤(3)中，检测到完整标识的判断步骤为：

(3-1)、采集视频流，对采集的每一帧图像，首先转换为灰度图像，然后进行二值化处理，即对图像的每一个像素按照下式进行处理：

其中u为二值化阈值，I(x,y)为灰度值，g(x,y)为像素二值化处理结果，标记为1的区域表示标识的浅色背景区域，标记为0的区域表示可能的标识区域；

(3-2)、检测标识：对二值化图像，寻找像素值为0的连通区域，并找到所有的四边形区域，作为候选区域；

(3-3)、模板匹配：将可能的标识区域正则化为正方形区域M_n，然后与标识模板库中的每一模板T进行匹配，计算正方形区域M_n和模板T的相异程度S_m：

其中，T_m为标识模板中第m个模板，w和h分别为模板的宽度和高度，为异或运算，S_m表示当前候选区域与模板T_m的相异度，当S_m小于某一设定阈值时，则认为M_n与T_m匹配，M_n为可识别的标识。

4.根据权利要求1所述的基于多标识识别的增强现实定位算法，其特征在于所述步骤(4A)中，计算摄像机在真实场景中的旋转矩阵R和平移向量t的具体步骤为：

(4A-1)、在真实场景中以标识所在平面为Z平面，分别以每个标识中心为原点建立n个世界坐标系：O₀X₀Y₀Z₀、O₁X₁Y₁Z₁……O_n-1X_n-1Y_n-1Z_n-1，O₀X₀Y₀Z₀为以主标识中心为原点建立的主世界坐标系；

(4A-2)、对于检测到完整标识j的四个顶点，j∈[1，n-1]，每个顶点在标识j的世界坐标系O_jX_jY_jZ_j的齐次坐标为(x_wj,y_wj,z_wj,1)，其中Z_w1＝0；每个顶点对应在摄像机坐标系中的齐次坐标为(x_c,y_c,z_c,1)，坐标变换关系为：

其中，R₁为旋转矩阵，t₁为平移向量；

将匹配的四个顶点在标识j的世界坐标系O_jX_jY_jZ_j的齐次坐标(x_wj,y_wj,z_wj,1)以及在摄像机坐标系中的齐次坐标为(x_c,y_c,z_c,1)带入式(1)，获得方程组，解算方程组获得：摄像机在世界坐标系O_jX_jY_jZ_j中的旋转矩阵R₁和平移向量t₁；

(4A-3)、若标识j为主标识，则旋转矩阵R₁和平移向量t₁即为摄像机在真实场景中的旋转矩阵R和平移向量t并结束计算；若标识j非主标识，则进行步骤(4A-4)；

(4A-4)、计算摄像机在真实场景中的旋转矩阵R和平移向量t：

(4A-4-1)、旋转矩阵R＝旋转矩阵R₁；

(4A-4-2)、平移向量式中，a表示非主标识j与主标识之间的横向距离，b表示非主标识j与主标识之间的纵向距离。

5.根据权利要求1所述的基于多标识识别的增强现实定位算法，其特征在于所述步骤(5)中，计算摄像机在真实场景中的姿态和坐标的具体步骤为：

在以标识所在平面为Z平面，标识中心为坐标原点建立的世界坐标系中，摄像头的姿态直接用旋转矩阵R表示，坐标(X_w,Y_w,Z_w)用旋转矩阵R和平移向量t计算得到，计算公式为：

其中，矩阵R^-1为旋转矩阵R的逆矩阵。