CN106204744A - 利用编码光源为标志物的增强现实三维注册方法 - Google Patents

Abstract

本发明公开了一种利用编码光源为标识物的增强现实三维注册方法，其实现步骤为：(1)光源时分编码。(2)确定光源图像位置。(3)跟踪光源。(4)判断跟踪是否成功，若是执行步骤(5)，否则执行步骤(2)。(5)确定光源空间位置。(6)判断已解码光源数是否少于三个，若是执行步骤(2)，否则执行步骤(7)。(7)确定相机位置参数。(8)三维注册。(9)判断视频拍摄是否停止，若是则结束，否则返回步骤(2)。本发明利用自然场景中空间位置已知的编码光源为标志进行三维注册，解决人工图像标识在自然环境中受限等问题，具有不降低增强系统真实性，实时性高等优点。

Description

利用编码光源为标志物的增强现实三维注册方法

技术领域

本发明属于计算机技术领域，更进一步涉及计算机视觉技术领域中的一种利用编码光源为标志物的增强现实三维注册方法。本发明以自然场景中光源为标志物，在计算机中将虚拟三维模型与真实世界的坐标无缝融合，然后将融合后的画面在屏幕上呈献给用户，从而增强用户对真实世界的感知。

背景技术

三维注册技术是增强现实系统最为关键的技术之一，三维注册就是将计算机生成的虚拟物体信息和真实场景的景物“精准对齐”。只有采用高精度的注册方法，虚拟物体和真实场景才能做到精准无缝融合。

天津戛唛影视动漫文化传播有限公司在其申请的专利“一种实现三维增强现实的方法”(申请日：2012年10月18日，申请号：201210398142.9，公开号：102903142A)中公开了一种基于图像标志物虚实三维注册方法。该方法首先初始化多媒体设备、摄像装置，然后通过摄像装置获得标志物的视频帧，所述标志物为图片或卡片，其上的图案是全彩色的，其次读取所述视频后，检索到三维模型数据库中其对应的虚拟三维模型，接着对虚拟的三维模型和视频帧的坐标轴进行定位，最后将检索到的虚拟的三维模型调出与视频帧进行合成，并输出到显示器进行显示。该方法存在的不足之处是，需要在真实环境中放置人工标志，这样不仅会使场景有突兀的感觉，这些人工标志还容易受到人为遮挡等因素的干扰，同时人工标志必须在每张拍摄的画面中出现，这使得大场景使用人工标志物做增强现实应用变得不可能。

北京航空航天大学在其申请的专利“一种基于多自然特征的自适应虚实三维注册方法”(申请日：2011年10月20日，申请号：201110321794.8，公开号：102360504A)中公开了一种基于多自然特征的自适应虚实三维注册方法。该方法首先在现实场景的视频序列中分析出多个种类的自然特征，并生成各类自然特征的集合，然后对各类自然特征的状态进行综合分析，得到各类自然特征对虚实三维注册的优先级，再根据所述优先级或用户交互选择用于虚实三维注册的自然特征种类，接着在现实场景的视频序列中检测选定种类的自然特征集合中的各自然特征，筛选其中稳定性和识别性高的自然特征作为最终注册用自然特征，最后利用最终注册用自然特征进行现实场景的虚拟对象三维注册。该方法存在的不足之处是，由于要对复杂的自然场景图像进行多项特征分析，计算量庞大，无法再实时性要求高的增强现实系统中得到应用。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种利用编码光源作为标志的增强现实三维注册方法。

本发明对自然场景中空间位置坐标已知且拟作为标志的光源进行时分编码，将视频图像中亮度值局部极大的像素区域，作为光源在视频图像中的检测位置，跟踪视频图像中检测到的光源，在一个完整解码周期内，对跟踪到的光源进行解码，确定光源在自然场景中的空间位置坐标值，判断视频图像中成功解码的光源数是否少于三个，若少于则返回继续在视频图像中进行光源检测，否则，确定视频设备在自然场景中的旋转矩阵和平移向量，将旋转矩阵和平移向量参数值赋值给增强现实系统的虚拟相机，实现三维注册，判断视频图像是否停止拍摄，否没有停止，则继续返回进行视频图像中光源的检测，若停止则系统结束工作，这样就规避了使用人工标志功能受限，以及会给自然场景带来突兀感等劣势。

为实现上述目标，本实现包括如下步骤：

(1)光源时分编码：

利用时分编码硬件电路，对自然场景中空间位置已知且拟作为标志物的所有光源进行通断控制，每个光源在视频图像的连续25帧中呈现不同的亮灭变化，获得其编码序列，将这些自然场景中空间位置已知且做了亮灭状态编码的光源作为增强现实的标志物；

(2)确定视频图像中光源检测位置：

(2a)在自然场景中的光源处于亮的状态时，将视频设备所拍摄视频图像中呈现的高光区域作为目标检测区域；

(2b)比较视频设备所拍摄视频图像中，目标检测区域的每个像素点与其相邻所有像素点之间的亮度值，得到亮度值局部极大像素点，将亮度值局部极大像素点进行聚类，得到多个聚类中心，将多个聚类中心作为该视频图像的光源位置；

(3)跟踪视频图像中出现的光源：

(3a)利用卡尔曼滤波算法，由当前时刻视频图像中待跟踪光源位置，计算光源下一时刻在视频图像中的坐标位置状态的预测值；

(3b)按照下式，更新待跟踪光源在当前时刻视频图像中的坐标位置状态的估计值：

${\hat{x}}_{k+1}={\hat{x}}_{k+1|k}+G_k(x_{k+1}-H_{k+1}{\hat{x}}_{k+1|k})$

其中，表示第k+1时刻光源在视频图像中坐标位置状态的估计值，表示第k+1时刻被跟踪光源在视频图像中坐标位置状态的预测值，G_k表示第k时刻的卡尔曼滤波器的增益，x_k+1表示第k+1时刻光源在视频图像中坐标位置状态的观测值，H_k+1表示第k+1时刻的转换矩阵；

(3c)计算当前时刻光源在视频图像中坐标位置状态的估计值与观测值之间的绝对误差值；

(4)判断在一个完整解码周期内估计值与观测值之间的绝对误差值是否小于门限值，若是，则表示跟踪成功，执行步骤(5)，否则，执行步骤(2)；

(5)确定自然场景中光源空间位置坐标值：

记录视频图像中当前完整编码周期内图像帧中出现的光源的亮灭状态，将光源亮时的解码设定为1，将光源灭时的解码设定为0，得到与每个光源在视频图像中的亮灭状态对应的(0,1)解码序列，将该(0,1)解码序列对应的空间位置坐标值，作为图像帧中的光源在自然场景中对应的空间位置坐标值；

(6)判断视频图像中当前完整编码周期内已解码的光源数目是否少于3个，若是，执行步骤(2)，否则，执行步骤(7)；

(7)确定视频设备在自然场景中的旋转矩阵和平移向量：

在当前视频图像中，随机选取视频图像中已跟踪的三个光源，获得三组光源在视频图像中的像素坐标值及其在自然环境里对应的空间坐标值，将三组对应坐标值带入下式，实时计算拍摄视频图像的视频设备在自然场景中的旋转矩阵和平移向量：

${\mathrm{\λ}}_i\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& u_0& 0\\ 0& \mathrm{\α}f& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_{wi}\\ Y_{wi}\\ Z_{wi}\\ 1\end{array}\right],(i=1,2,3)$

其中，λ_i表示常数因子，i表示当前亮灭状态已解码光源的编号，取1，2，3，u_i表示视频图像中第i个亮灭状态已解码光源的像素坐标的横坐标，v_i表示视频图像中第i个亮灭状态已解码光源的像素坐标的纵坐标，f表示拍摄视频图像的视频设备的相机焦距，α表示比例因子，u₀表示相机主点在视频图像上的横坐标，v₀表示相机主点在视频图像上的纵坐标，R表示旋转矩阵，t表示平移向量，X_wi表示第i个亮灭状态已解码光源在自然场景里的世界坐标系下的x方向的坐标，Y_wi表示第i个亮灭状态已解码光源在自然场景里的世界坐标系下的y方向的坐标，Z_wi表示第i个亮灭状态已解码光源在自然场景里的世界坐标系下的z方向的坐标；

(8)三维注册：

将当前视频图像中确定的视频设备在自然场景中的旋转矩阵和平移向量，赋值给增强现实系统中的虚拟相机，将虚拟三维模型与自然场景无缝融合，实现当前时刻增强现实系统的实时跟踪三维注册；

(9)判断增强现实系统的视频设备是否停止拍摄，若是，执行步骤(10)，否则，执行步骤(2)；

(10)结束。

与现有技术相比，本发明具有以下优点：

第一，本发明直接利用场景中已经存在的光源作为增强现实系统的标志进行识别，克服了现有技术在自然场景中额外布置人工图像作为标志的三维注册技术，给真实场景带来突兀感的不足，使得本发明更适用于大场景中的增强现实的三维注册。

第二，本发明在计算视频设备的旋转矩阵和平移向量时，只检测和跟踪视频图像中少量的光源坐标，克服了现有技术的在视频图像中进行大量特征点检测和特征匹配时计算量庞大的不足，使得本发明在进行增强现实的实时跟踪三维注册时，效率更高。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合图1对本发明实现的步骤作进一步的详细描述。

步骤1，光源时分编码。

利用时分编码硬件电路，对自然场景中空间位置已知且拟作为标志物的所有光源进行通断控制，每个光源在视频图像的连续25帧中呈现不同的亮灭变化，获得其编码序列，将这些自然场景中空间位置已知且做了亮灭状态编码的光源作为增强现实的标志物。

通常，视频帧不低于20帧每秒时就可以保证人眼视觉感官的流畅性，常用视频设备的帧率可以达到每秒25帧到30帧，所以在光源的一个编码周期中，划分25个时隙进行光源编码。对于每一个时隙，灯亮则编码为1，等灭则编码为0。

直接利用这些自然场景中已经存在的光源作为增强现实的标志，规避了人工标志给场景带来的突兀感。

步骤2，确定视频图像中光源检测位置。

在自然场景中的光源处于亮的状态时，将视频设备所拍摄视频图像中呈现的高光区域作为目标检测区域。

比较视频设备所拍摄视频图像中，目标检测区域的每个像素点与其相邻所有像素点之间的亮度值，得到亮度值局部极大像素点，将亮度值局部极大像素点进行聚类，得到多个聚类中心，将多个聚类中心作为该视频图像的光源位置。

步骤3，跟踪视频图像中出现的光源。

利用卡尔曼滤波算法，由当前时刻视频图像中待跟踪光源位置，计算光源下一时刻在视频图像中的坐标位置状态的预测值按照下式进行：

${\hat{x}}_{k+1|k}={\mathrm{\φ}}_{k+1,k}{\hat{x}}_k$

其中，表示第k+1时刻被跟踪光源在视频图像中坐标位置状态的预测值，φ_k+1,k表示第k时刻到第k+1时刻的一步状态转移矩阵，表示第k时刻被跟踪光源在视频图像中的坐标位置状态的估计值。

按照下式，更新待跟踪光源在当前时刻视频图像中的坐标位置状态的估计值：

${\hat{x}}_{k+1}={\hat{x}}_{k+1|k}+G_k(x_{k+1}-H_{k+1}{\hat{x}}_{k+1|k})$

其中，表示第k+1时刻光源在视频图像中坐标位置状态的估计值，表示第k+1时刻被跟踪光源在视频图像中坐标位置状态的预测值，G_k表示第k时刻的卡尔曼滤波器的增益，x_k+1表示第k+1时刻光源在视频图像中坐标位置状态的观测值，H_k+1表示第k+1时刻的转换矩阵。

按照下式，计算当前时刻光源在视频图像中坐标位置状态的估计值与观测值之间的绝对误差值：

${\mathrm{\ϵ}}_{k+1}=|{\hat{x}}_{k+1}-x_{k+1}|$

其中，ε_k+1表示第k+1时刻光源在视频图像中坐标位置状态的估计值与观测值之间的的绝对误差，表示第k+1时刻光源在视频图像中坐标位置状态的估计值，x_k+1表示第k+1时刻光源在视频图像中坐标位置状态的观测值，|·|表示取绝对值操作。

步骤4，判断在一个完整解码周期内估计值与观测值之间的绝对误差值是否小于门限值，若是，则表示跟踪成功，执行步骤5，否则，执行步骤2。

门限值是指，被跟踪光源在视频图像中坐标位置状态的估计值与观测值的最大像素坐标偏移距离。

步骤5，确定自然场景中光源空间位置坐标值。

记录视频图像中当前完整编码周期内图像帧中出现的光源的亮灭状态，将光源亮时的解码设定为1，将光源灭时的解码设定为0，得到与每个光源在视频图像中的亮灭状态对应的(0,1)解码序列，将该(0,1)解码序列对应的空间位置坐标值，作为图像帧中的光源在自然场景中对应的空间位置坐标值。

步骤6，判断视频图像中当前完整编码周期内已解码的光源数目是否少于3个，若是，执行步骤2，否则，执行步骤7。

步骤7，确定视频设备在自然场景中的旋转矩阵和平移向量。

在当前视频图像中，随机选取视频图像中已跟踪的三个光源，获得三组光源在视频图像中的像素坐标值及其在自然环境里对应的空间坐标值，将三组对应坐标值带入下式，实时计算拍摄视频图像的视频设备在自然场景中的旋转矩阵和平移向量：

${\mathrm{\λ}}_i\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& u_0& 0\\ 0& \mathrm{\α}f& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_{wi}\\ Y_{wi}\\ Z_{wi}\\ 1\end{array}\right],(i=1,2,3)$

其中，λ_i表示常数因子，i表示当前亮灭状态已解码光源的编号，取1，2，3，u_i表示视频图像中第i个亮灭状态已解码光源的像素坐标的横坐标，v_i表示视频图像中第i个亮灭状态已解码光源的像素坐标的纵坐标，f表示拍摄视频图像的视频设备的相机焦距，α表示比例因子，u₀表示相机主点在视频图像上的横坐标，v₀表示相机主点在视频图像上的纵坐标，R表示旋转矩阵，t表示平移向量，X_wi表示第i个亮灭状态已解码光源在自然场景里的世界坐标系下的x方向的坐标，Y_wi表示第i个亮灭状态已解码光源在自然场景里的世界坐标系下的y方向的坐标，Z_wi表示第i个亮灭状态已解码光源在自然场景里的世界坐标系下的z方向的坐标；

步骤8，三维注册。

将当前视频图像中确定的视频设备在自然场景中的旋转矩阵和平移向量，赋值给增强现实系统中的虚拟相机，将虚拟三维模型与自然场景无缝融合，实现当前时刻增强现实系统的实时跟踪三维注册。

步骤9，判断增强现实系统的视频设备是否停止拍摄，若是，执行步骤10，否则，执行步骤2。

步骤10，结束。

Claims (4)

1.一种利用编码光源为标志物的增强现实三维注册方法，包括如下步骤：

(1)光源时分编码：

利用时分编码硬件电路，对自然场景中空间位置已知且拟作为标志物的所有光源进行通断控制，每个光源在视频图像的连续25帧中呈现不同的亮灭变化，获得其编码序列，将这些自然场景中空间位置已知且做了亮灭状态编码的光源作为增强现实的标志物；

(2)确定视频图像中光源检测位置：

(2a)在自然场景中的光源处于亮的状态时，将视频设备所拍摄视频图像中呈现的高光区域作为目标检测区域；

(2b)比较视频设备所拍摄视频图像中，目标检测区域的每个像素点与其相邻所有像素点之间的亮度值，得到亮度值局部极大像素点，将亮度值局部极大像素点进行聚类，得到多个聚类中心，将多个聚类中心作为该视频图像的光源位置；

(3)跟踪视频图像中出现的光源：

(3a)利用卡尔曼滤波算法，由当前时刻视频图像中待跟踪光源位置，计算光源下一时刻在视频图像中的坐标位置状态的预测值；

(3b)按照下式，更新待跟踪光源在当前时刻视频图像中的坐标位置状态的估计值：

${\hat{x}}_{k+1}={\hat{x}}_{k+1|k}+G_k(x_{k+1}-H_{k+1}{\hat{x}}_{k+1|k})$

其中，表示第k+1时刻光源在视频图像中坐标位置状态的估计值，表示第k+1时刻被跟踪光源在视频图像中坐标位置状态的预测值，G_k表示第k时刻的卡尔曼滤波器的增益，x_k+1表示第k+1时刻光源在视频图像中坐标位置状态的观测值，H_k+1表示第k+1时刻的转换矩阵；

(3c)计算当前时刻光源在视频图像中坐标位置状态的估计值与观测值之间的绝对误差值；

(4)判断在一个完整解码周期内估计值与观测值之间的绝对误差值是否小于门限值，若是，则表示跟踪成功，执行步骤(5)，否则，执行步骤(2)；

(5)确定自然场景中光源空间位置坐标值：

记录视频图像中当前完整编码周期内图像帧中出现的光源的亮灭状态，将光源亮时的解码设定为1，将光源灭时的解码设定为0，得到与每个光源在视频图像中的亮灭状态对应的(0,1)解码序列，将该(0,1)解码序列对应的空间位置坐标值，作为图像帧中的光源在自然场景中对应的空间位置坐标值；

(6)判断视频图像中当前完整编码周期内已解码的光源数目是否少于3个，若是，执行步骤(2)，否则，执行步骤(7)；

(7)确定视频设备在自然场景中的旋转矩阵和平移向量：

在当前视频图像中，随机选取视频图像中已跟踪的三个光源，获得三组光源在视频图像中的像素坐标值及其在自然环境里对应的空间坐标值，将三组对应坐标值带入下式，实时计算拍摄视频图像的视频设备在自然场景中的旋转矩阵和平移向量：

${\mathrm{\λ}}_i\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& u_0& 0\\ 0& \mathrm{\α}f& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_{wi}\\ Y_{wi}\\ Z_{wi}\\ 1\end{array}\right],(i=1,2,3)$

其中，λ_i表示常数因子，i表示当前亮灭状态已解码光源的编号，取1，2，3，u_i表示视频图像中第i个亮灭状态已解码光源的像素坐标的横坐标，v_i表示视频图像中第i个亮灭状态已解码光源的像素坐标的纵坐标，f表示拍摄视频图像的视频设备的相机焦距，α表示比例因子，u₀表示相机主点在视频图像上的横坐标，v₀表示相机主点在视频图像上的纵坐标，R表示旋转矩阵，t表示平移向量，X_wi表示第i个亮灭状态已解码光源在自然场景里的世界坐标系下的x方向的坐标，Y_wi表示第i个亮灭状态已解码光源在自然场景里的世界坐标系下的y方向的坐标，Z_wi表示第i个亮灭状态已解码光源在自然场景里的世界坐标系下的z方向的坐标；

(8)三维注册：

将当前视频图像中确定的视频设备在自然场景中的旋转矩阵和平移向量，赋值给增强现实系统中的虚拟相机，将虚拟三维模型与自然场景无缝融合，实现当前时刻增强现实系统的实时跟踪三维注册；

(9)判断增强现实系统的视频设备是否停止拍摄，若是，执行步骤(10)，否则，执行步骤(2)；

(10)结束。

2.根据权利要求1所述的利用编码光源为标志物的增强现实三维注册方法，其特征在于：步骤(3a)中所述的利用卡尔曼滤波算法，计算待跟踪光源在当前时刻视频图像中的坐标位置状态的预测值按照下式进行：

${\hat{x}}_{k+1|k}={\mathrm{\φ}}_{k+1,k}{\hat{x}}_k$

其中，表示第k+1时刻被跟踪光源在视频图像中坐标位置状态的预测值，φ_k+1,k表示第k时刻到第k+1时刻的一步状态转移矩阵，表示第k时刻被跟踪光源在视频图像中的坐标位置状态的估计值。

3.根据权利要求1所述的利用编码光源为标志物的增强现实三维注册方法，其特征在于：步骤(3c)中所述的当前时刻光源在视频图像中坐标位置状态的估计值与观测值之间的绝对误差值是按照下式计算的：

${\mathrm{\ϵ}}_{k+1}=|{\hat{x}}_{k+1}-x_{k+1}|$

其中，ε_k+1表示第k+1时刻光源在视频图像中坐标位置状态的估计值与观测值之间的的绝对误差，表示第k+1时刻光源在视频图像中坐标位置状态的估计值，x_k+1表示第k+1时刻光源在视频图像中坐标位置状态的观测值，|·|表示取绝对值操作。

4.根据权利要求1所述的利用编码光源为标志物的增强现实三维注册方法，其特征在于：步骤(4)中所述的门限值是指，被跟踪光源在视频图像中坐标位置状态的估计值与观测值的最大像素坐标偏移距离。