CN109685913A - 基于计算机视觉定位的增强现实实现方法 - Google Patents
基于计算机视觉定位的增强现实实现方法 Download PDFInfo
- Publication number
- CN109685913A CN109685913A CN201811568227.0A CN201811568227A CN109685913A CN 109685913 A CN109685913 A CN 109685913A CN 201811568227 A CN201811568227 A CN 201811568227A CN 109685913 A CN109685913 A CN 109685913A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- point
- pose
- characteristic point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于计算机视觉定位的增强现实实现方法，该方法针对单目相机，其实现过程包括：首先，对所用相机进行离线标定；然后在相机拍摄图像上提取特征点，计算描述子，对提取到的特征点进行图像畸变矫正处理；再者，围绕图像特征点计算相机位姿；最后，将相机位姿输入三维引擎模块，在现实图像背景上叠加虚拟三维模型，实现了增强现实效果。本发明通过单目相机获取图像信息，围绕图像特征点计算相机位姿，降低了增强现实实现的复杂性，拓展了增强现实的应用范围。
Description
技术领域
本发明属于计算机技术领域，更进一步涉及图像处理技术领域中的一种基于计算机视觉空间定位的增强现实实现方法。本发明可以用于对单目相机获取的图像实现增强现实效果。
背景技术
增强现实是一种实时地计算摄影机影像的位置及角度并叠加相应图像、视频、三维模型的技术，其目标是在屏幕上把虚拟世界叠加在现实世界上并进行互动。增强现实不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。真实与虚拟的相结合作为增强现实的优点之一，使得它在医疗，教育，军事，工业，游戏，媒体等领域均有广泛的应用与发展前景。目前，增强现实技术的实现方法受限于硬件平台，特定的视觉传感器组合限制了增强现实应用的应用场景，不利于增强现实的广泛应用。
同济大学在其申请的专利文献“一种互动区域可调的增强现实实现方法”(申请号：201610717548.7，公开号：CN 106371586.B)中公开一种互动区域可调的增强现实实现方法。该实现方法构建一套云台系统，云台系统上面固定的三维扫描设备与投影显示设备之间的相对位置可调，由配套操作与算法实现两者的快速空间匹配，获得一个新的互动区域。该方法存在的不足之处是，过于依赖特定的云台系统，多传感器信息融合操作复杂，增强现实应用的可适用范围小。
深圳奥比中光科技有限公司在其申请的专利文献“一种增强现实的实现方法”(申请号：201610988804.6，公开号：CN 106600638 A)中公开一种增强现实的实现方法。该方法的步骤是，利用深度相机获取场景图像，根据场景图像中物体的边缘轮廓，将增强现实内容与现实场景中的物体精准定位。该方法存在的不足之处是，深度相机获取原始深度信息时易受环境光照因素影响，导致后续处理中过多噪声参与计算，增强现实难以应用于室外场景，应用场景受限。
发明内容
本发明的目的在于针对上述现有技术的不足，提出了一种仅借助单目相机获取图像信息基于计算机视觉的定位技术，用于增强现实的实现，可适用范围较广。
实现本发明目的的思路是，通过单目相机获取的图像信息，围绕图像特征点展开计算，基于对极约束关系初始化相机位姿，通过二维图像点与三维空间点的映射关系，实时获取相机的位置与姿态，以现实相机的实时位姿为依据，调整三维引擎模块中虚拟相机的位姿，在现实图像背景上叠加虚拟三维模型，实现增强现实效果。
本发明的具体实现步骤如下：
(1)标定相机：
采用基于移动平面模板的相机标定方法，标定摄像机内参数矩阵，三个径向畸变参数，二个切向畸变参数；
(2)提取图像特征点：
采用加速段测试的特征FAST检测方法，从标定后相机拍摄的图像中提取特征点；
(3)计算特征点描述子：
(3a)用方差为2，9×9个像素点的高斯窗口，对提取特征点后的图像进行高斯滤波，得到滤波后的图像；
(3b)从滤波后的图像中任意选取一个图像特征点，作为当前图像特征点；
(3c)以当前图像特征点为中心，将其31×31个像素点邻域范围内的所有像素点组成一个图像邻域块；
(3d)在每个图像邻域块中随机选取一对5×5像素点大小的图像子块；
(3e)利用比特位计算公式，计算描述子中的每个比特位：
(3f)判断是否选取完图像邻域块中的所有图像子块，若是，则执行步骤(3g)，否则，执行步骤(3c)；
(3g)判断是否选取完滤波后的图像中所有图像特征点，若是，则执行步骤(4)，否则，执行步骤(3b)；
(4)矫正图像畸变：
(4a)对提取到的每一个图像特征点，进行图像特征点的坐标归一化处理；
(4b)利用径向畸变矫正公式，对归一化后的图像特征点坐标进行径向畸变矫正；
(4c)利用切向畸变矫正公式，对径向畸变矫正后图像坐标进行切向畸变矫正；
(5)判断当前处理的相机拍摄图像帧数是否为相机拍摄图像的第一帧，若是，执行步骤(6)；若当前处理图像为相机拍摄图像的第二帧，执行步骤(7)，若当前处理图像帧数大于等于三，执行步骤(9)；
(6)初始化三维引擎模块：
(6a)以当前相机坐标系为基准，建立世界坐标系，用单位矩阵表征相机位姿；
(6b)将三维引擎模块中的虚拟相机内参数矩阵设置为标定相机的内参数矩阵，将三维引擎模块中虚拟相机的位姿设置为单位矩阵；
(6c)三维引擎模块读取由三维动画软件制作的三维模型后执行步骤(2)；
(7)初始化相机位姿：
(7a)选取相机拍摄的最初的两个图像帧，对两组二维图像特征点描述子进行匹配，用汉明距离表征图像特征点描述子匹配程度；
(7b)对于满足对极约束关系的所有图像特征点匹配对中的任意一对图像特征点，计算相机位姿的本征矩阵：
Pi TEQj＝0
其中，Pi表示选取的第一帧图像的第i个图像特征点的齐次坐标，T表示转置
操作，E表示相机位姿的本征矩阵，Qj表示选取的第二帧图像中与Pi满足对极约
束关系的第j个图像特征点的齐次坐标；
(7c)分别计算相机位姿的旋转矩阵和平移向量，公式如下：
E＝cR
RRT＝I
其中，c表示相机位姿的平移向量的反对称矩阵，R表示相机位姿的旋转矩阵，I表示单位矩阵；
(7d)利用变换矩阵计算公式，计算相机位姿的变换矩阵：
O＝[R|t]
其中，O表示相机位姿的变换矩阵，t表示相机位姿的平移向量；
(7e)基于当前相机位姿的变换矩阵，建立当前相机坐标系后执行步骤(8)；
(8)映射三维空间点：
(8a)在当前相机位姿对应的相机坐标系中，按照下式，计算当前图像帧中二维图像特征点对应的三维空间坐标：
Ba＝KDa
其中，Ba表示当前图像帧的第a个图像特征点的齐次坐标，Da表示与Ba对应的当前相机位姿对应的相机坐标系中的三维空间点坐标；
(8b)将当前相机坐标系变换到世界坐标系，将当前相机坐标系中的三维空间点添加到世界坐标系三维空间点集合后执行步骤(10)；
(9)获取相机实时位姿：
(9a)将当前三维空间点集合中的三维空间点与当前图像帧提取到的二维图像点匹配，用欧氏距离和汉明距离表征匹配程度；
(9b)采用基于点特征的定位PnP方法，得到准确的当前相机位姿的变换矩阵；
(9c)基于当前相机位姿的变换矩阵，建立当前相机坐标系后执行步骤(8)；
(10)渲染增强现实效果：
(10a)三维引擎模块将当前图像帧放入帧缓冲区，作为增强现实的现实部分；
(10b)根据当前现实相机的位姿信息，调整三维引擎模块中的虚拟相机位姿，使得虚拟相机位姿与当前现实相机的位姿一致；
(10c)基于虚拟相机的当前位姿，将世界坐标系中的的三维模型变换到当前图像帧对应的相机坐标系中；
(10d)基于虚拟相机的内参数矩阵，将当前相机坐标系中的三维模型投影至二维平面，投影结果放入帧缓冲区，叠加在当前图像帧之上，作为增强现实的虚拟部分；
(10e)将帧缓冲区映射到屏幕上，呈现出现实与虚拟相融合的虚拟现实效果。
本发明与现有的相比，具有以下优点：
第一，由于本发明采用加速段测试的特征FAST检测方法，从标定后相机拍摄的图像中提取特征点，对于满足对极约束关系的所有图像特征点匹配对中的任意一对图像特征点，计算相机位姿的变换矩阵，克服了现有技术存在的难以应用于室外场景的不足，使得本发明具有可应用于室外场景的优点；
第二，由于本发明的三维引擎模块将当前图像帧作为背景渲染到屏幕上，作为增强现实的现实部分，克服了现有技术存在的多传感器信息融合操作复杂的不足，使得本发明具有操作简洁，易于实现的优点；
第三，由于本发明将当前相机坐标系中的三维模型投影至二维平面，投影结果放入帧缓冲区，叠加在当前图像帧之上，作为增强现实的虚拟部分，克服了现有技术存在的依赖特定硬件系统的不足，使得本发明具有适用性广的优点。
附图说明
图1是本发明的流程图；
图2是本发明仿真实验中所使用的相机拍摄的4张原始图；
图3是本发明仿真实验中在每个原始图上提取的对应图像特征点的效果图；
图4是本发明仿真实验中在每个原始图上实现增强现实效果的对应效果图。
具体实施方式
以下结合附图对本发明作进一步的详细说明。
参照图1，对本发明的具体步骤作进一步的详细说明。
步骤1.标定相机。
采用基于移动平面模板的相机标定方法，标定摄像机内参数矩阵，三个径向畸变参数，二个切向畸变参数。
所述的基于移动平面模板的相机标定方法的步骤如下：
第1步，打印一张黑白相间棋盘模板并贴在一个标定平面上。
第2步，用待标定的相机从不同角度拍摄多张模板图像。
第3步，根据标定平面到图像平面的单应性关系，确定待标定相机的内参数矩阵，三个径向畸变参数，二个切向畸变参数。
所述的标定相机的内参数矩阵如下：
其中，K表示相机的内参数矩阵，f表示标定后相机的镜头焦距值，x0，y0分别表示标定后相机镜头的主点坐标。
步骤2.提取图像特征点。
采用加速段测试的特征FAST检测方法，从标定后相机拍摄的图像中提取特征点，所述的加速段测试的特征FAST检测方法的步骤如下：
第1步，将标定相机拍摄图像处理为8层金字塔图像。
第2步，将加速段测试的特征FAST特征点的阈值设置为20。
第3步，在金字塔图像上提取均匀分布的1000个图像特征点。
步骤3.计算特征点描述子。
(3.1)用方差为2，9×9个像素点的高斯窗口，对提取特征点后的图像进行高斯滤波，得到滤波后的图像。
(3.2)从滤波后的图像中任意选取一个图像特征点，作为当前图像特征点。
(3.3)以当前图像特征点为中心，将其31×31个像素点邻域范围内的所有像素点组成一个图像邻域块。
(3.4)在每个图像邻域块中随机选取一对5×5像素点大小的图像子块。
(3.5)利用比特位计算公式，计算描述子中的每个比特位，所述的比特位计算公式如下：
其中，τb表示描述子中的第b个比特位，k1表示所选一对5×5像素点中的第一个图像子块的像素和，k2表示所选一对5×5像素点中的的第二个图像子块的像素和。
(3.6)判断是否选取完图像邻域块中的所有图像子块，若是，则执行本步骤的(3.7)，否则，执行本步骤的(3.3)。
(3.7)判断是否选取完滤波后的图像中所有图像特征点，若是，则执行步骤4，否则，执行本步骤的(3.2)。
步骤4.矫正图像畸变。
对提取到的每一个图像特征点，进行图像特征点的坐标归一化处理。
利用径向畸变矫正公式，对归一化后的图像特征点坐标进行径向畸变矫正。
所述的径向畸变矫正公式如下：
u＝x(1+k1r2+k2r4+k3r6)
v＝y(1+k1r2+k2r4+k3r6)
其中，u表示径向畸变矫正后归一化图像特征点的横向坐标值，x表示径向畸变矫正前归一化图像特征点的横向坐标值，k1，k2，k3分别表示相机标定后的三个径向畸变参数，v表示径向畸变矫正后归一化图像特征点的纵向坐标值，y表示径向畸变矫正前归一化图像特征点的纵向坐标值，r表示径向畸变矫正前归一化图像特征点坐标到图像中心之间的距离。
利用切向畸变矫正公式，对径向畸变矫正后图像坐标进行切向畸变矫正。
所述的切向畸变公式如下：
m＝u+2p1uv+p2(s2+2u2)
n＝v+p1(s2+2v2)+2p2uv
其中，m表示切向畸变矫正后归一化图像特征点的横向坐标值，p1，p2分别表示相机标定后的二个切向畸变参数，n表示切向畸变矫正后归一化图像特征点的纵向坐标值，s表示径向畸变矫正后归一化坐标到图像中心之间的距离。
步骤5.判断当前处理的相机拍摄图像帧数是否为相机拍摄图像的第一帧，若是，执行步骤6；若当前处理图像为相机拍摄图像的第二帧，执行步骤7，若当前处理图像帧数大于等于三，执行步骤9。
步骤6.初始化三维引擎模块：
以当前相机坐标系为基准，建立世界坐标系，用单位矩阵表征相机位姿。
将三维引擎模块中的虚拟相机内参数矩阵设置为标定相机的内参数矩阵，将三维引擎模块中虚拟相机的位姿设置为单位矩阵。
三维引擎模块读取由三维动画软件制作的三维模型后执行步骤2。
步骤7.初始化相机位姿。
选取相机拍摄的最初的两个图像帧，对两组二维图像特征点描述子进行匹配，用汉明距离表征图像特征点描述子匹配程度。
对于满足对极约束关系的所有图像特征点匹配对中的任意一对图像特征点，对极约束关系是指，两个不同二维图像点是同一个三维空间点在不同位姿相机下的成像。
按照下式，计算相机位姿的本征矩阵：
其中，Pi表示选取的第一帧图像的第i个图像特征点的齐次坐标，T表示转置操作，E表示相机位姿的本征矩阵，Qj表示选取的第二帧图像中与Pi满足对极约束关系的第j个图像特征点的齐次坐标。
按照下式，分别计算相机位姿的旋转矩阵和平移向量：
E＝cR
RRT＝I
其中，c表示相机位姿的平移向量的反对称矩阵，R表示相机位姿的旋转矩阵，I表示单位矩阵。
按照下式，计算相机位姿的变换矩阵：
O＝[R|t]
其中，O表示相机位姿的变换矩阵，t表示相机位姿的平移向量。
所述的基于当前相机位姿的变换矩阵，建立当前相机坐标系是指，以相机位置为坐标系原点，相机朝向为z轴正方向，相机上方为y轴正方向，相机右侧为x轴正方向，建立三维空间坐标系。
步骤8.映射三维空间点：
在当前相机位姿对应的相机坐标系中，按照下式，计算当前图像帧中二维图像特征点对应的三维空间坐标：
Ba＝KDa
其中，Ba表示当前图像帧的第a个图像特征点的齐次坐标，Da表示与Ba对应的当前相机位姿对应的相机坐标系中的三维空间点坐标。
将当前相机坐标系变换到世界坐标系，将当前相机坐标系中的三维空间点添加到世界坐标系三维空间点集合后执行步骤10。
步骤9.获取相机实时位姿。
将当前三维空间点集合中的三维空间点与当前图像帧提取到的二维图像点匹配，用欧氏距离和汉明距离表征匹配程度。
采用基于点特征的定位PnP方法，得到准确的当前相机位姿的变换矩阵。
所述的基于点特征的定位PnP方法步骤如下：
第1步，从当前相机坐标系中任意选取相匹配的六对三维空间点，将每对三维空间点在当前相机坐标系中投影为二维图像点，根据六对二维图像点与三维空间点之间的投影关系，得到一个粗糙的当前相机位姿的变换矩阵。
第2步，构建最小二乘优化问题，对粗糙的当前相机位姿变换矩阵进行调整，获取一个准确的当前相机位姿的变换矩阵。
所述的基于当前相机位姿的变换矩阵，建立当前相机坐标系是指，以相机位置为坐标系原点，相机朝向为z轴正方向，相机上方为y轴正方向，相机右侧为x轴正方向，建立三维空间坐标系。
步骤10.渲染增强现实效果。
三维引擎模块将当前图像帧放入帧缓冲区，作为增强现实的现实部分。
根据当前现实相机的位姿信息，调整三维引擎模块中的虚拟相机位姿，使得虚拟相机位姿与当前现实相机的位姿一致。
基于虚拟相机的当前位姿，将世界坐标系中的的三维模型变换到当前图像帧对应的相机坐标系中。
基于虚拟相机的内参数矩阵，将当前相机坐标系中的三维模型投影至二维平面，投影结果放入帧缓冲区，叠加在当前图像帧之上，作为增强现实的虚拟部分。
将帧缓冲区映射到屏幕上，呈现出现实与虚拟相融合的虚拟现实效果。
以下结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件：
本发明的仿真实验是在处理器主频2.8GHz，内存8GB的硬件环境的VS 2017的软件环境下进行的。
2.仿真内容及结果分析：
实验内容：本发明的仿真实验中使用Kinect相机拍摄RGB图像大小为640×480像素，帧率为30Hz。
图2为所用相机拍摄的四幅原始图，相机分别从不同的位置和姿态拍摄同一个场景，得到图2中的图(a)、(b)、(c)、(d)存在公共可视区域的四幅图像。
图3为在所用相机拍摄原始图像上提取图像特征点的效果图。
对比图3与图2中的各个子图可见，图3中绿色像素点表示提取到的图像特征点，图像特征点坐标经过图像畸变矫正处理，后续相机位姿计算围绕提取到的图像特征点展开。
图4为在所用相机拍摄原始图像上增强现实实现效果图，增强现实效果为在现实背景图像上叠加的三维模型为一个虚拟立方体，虚拟立方体前后面为绿色，上下面为蓝色，左右面为红色。
对比图4与图2中的各个子图可见，图(a)从左前方观察虚拟立方体，图(b)从右上方观察虚拟立方体，图(c)从侧上观察虚拟立方体，图(d)从右前方观察虚拟立方体，随着现实中相机位置和姿态的变化，叠加到背景图像上的立方体呈现出相应的变化，而虚拟立方体相当于现实环境的位置不变，实现了现实与虚拟融为一体的效果。
综上所述，本发明提出的基于计算机视觉定位的增强现实实现方法，利用单目相机获取的图像数据，围绕图像特征点进行计算，实时地获取摄像机的位置与姿态信息，弥补现有增强现实实现中空间定位技术的不足，实现了增强现实的效果。
Claims (10)
1.一种基于计算机视觉定位的增强现实实现方法，其特征在于，初始化相机位姿，渲染增强现实效果，该方法的步骤包括如下：
(1)标定相机：
采用基于移动平面模板的相机标定方法，标定摄像机内参数矩阵，三个径向畸变参数，二个切向畸变参数；
(2)提取图像特征点：
采用加速段测试的特征FAST检测方法，从标定后相机拍摄的图像中提取特征点；
(3)计算特征点描述子：
(3a)用方差为2，9×9个像素点的高斯窗口，对提取特征点后的图像进行高斯滤波，得到滤波后的图像；
(3b)从滤波后的图像中任意选取一个图像特征点，作为当前图像特征点；
(3c)以当前图像特征点为中心，将其31×31个像素点邻域范围内的所有像素点组成一个图像邻域块；
(3d)在每个图像邻域块中随机选取一对5×5像素点大小的图像子块；
(3e)利用比特位计算公式，计算描述子中的每个比特位：
(3f)判断是否选取完图像邻域块中的所有图像子块，若是，则执行步骤(3g)，否则，执行步骤(3c)；
(3g)判断是否选取完滤波后的图像中所有图像特征点，若是，则执行步骤(4)，否则，执行步骤(3b)；
(4)矫正图像畸变：
(4a)对提取到的每一个图像特征点，进行图像特征点的坐标归一化处理；
(4b)利用径向畸变矫正公式，对归一化后的图像特征点坐标进行径向畸变矫正；
(4c)利用切向畸变矫正公式，对径向畸变矫正后图像坐标进行切向畸变矫正；
(5)判断当前处理的相机拍摄图像帧数是否为相机拍摄图像的第一帧，若是，执行步骤(6)；若当前处理图像为相机拍摄图像的第二帧，执行步骤(7)，若当前处理图像帧数大于等于三，执行步骤(9)；
(6)初始化三维引擎模块：
(6a)以当前相机坐标系为基准，建立世界坐标系，用单位矩阵表征相机位姿；
(6b)将三维引擎模块中的虚拟相机内参数矩阵设置为标定相机的内参数矩阵，将三维引擎模块中虚拟相机的位姿设置为单位矩阵；
(6c)三维引擎模块读取由三维动画软件制作的三维模型后执行步骤(2)；
(7)初始化相机位姿：
(7a)选取相机拍摄的最初的两个图像帧，对两组二维图像特征点描述子进行匹配，用汉明距离表征图像特征点描述子匹配程度；
(7b)对于满足对极约束关系的所有图像特征点匹配对中的任意一对图像特征点，计算相机位姿的本征矩阵：
Pi TEQj＝0
其中，Pi表示选取的第一帧图像的第i个图像特征点的齐次坐标，T表示转置操作，E表示相机位姿的本征矩阵，Qj表示选取的第二帧图像中与Pi满足对极约束关系的第j个图像特征点的齐次坐标；
(7c)按照下式，分别计算相机位姿的旋转矩阵和平移向量：
E＝cR
RRT＝I
其中，c表示相机位姿的平移向量的反对称矩阵，R表示相机位姿的旋转矩阵，I表示单位矩阵；
(7d)利用变换矩阵计算公式，计算相机位姿的变换矩阵：
O＝[R|t]
其中，O表示相机位姿的变换矩阵，t表示相机位姿的平移向量；
(7e)基于当前相机位姿的变换矩阵，建立当前相机坐标系后执行步骤(8)；
(8)映射三维空间点：
(8a)在当前相机位姿对应的相机坐标系中，按照下式，计算当前图像帧中二维图像特征点对应的三维空间坐标：
Ba＝KDa
其中，Ba表示当前图像帧的第a个图像特征点的齐次坐标，Da表示与Ba对应的当前相机位姿对应的相机坐标系中的三维空间点坐标；
(8b)将当前相机坐标系变换到世界坐标系，将当前相机坐标系中的三维空间点添加到世界坐标系三维空间点集合后执行步骤(10)；
(9)获取相机实时位姿：
(9a)将当前三维空间点集合中的三维空间点与当前图像帧提取到的二维图像点匹配，用欧氏距离和汉明距离表征匹配程度；
(9b)采用基于点特征的定位PnP方法，得到准确的当前相机位姿的变换矩阵；
(9c)基于当前相机位姿的变换矩阵，建立当前相机坐标系后执行步骤(8)；
(10)渲染增强现实效果：
(10a)三维引擎模块将当前图像帧放入帧缓冲区，作为增强现实的现实部分；
(10b)根据当前现实相机的位姿信息，调整三维引擎模块中的虚拟相机位姿，使得虚拟相机位姿与当前现实相机的位姿一致；
(10c)基于虚拟相机的当前位姿，将世界坐标系中的的三维模型变换到当前图像帧对应的相机坐标系中；
(10d)基于虚拟相机的内参数矩阵，将当前相机坐标系中的三维模型投影至二维平面，投影结果放入帧缓冲区，叠加在当前图像帧之上，作为增强现实的虚拟部分；
(10e)将帧缓冲区映射到屏幕上，呈现出现实与虚拟相融合的虚拟现实效果。
2.根据权利要求1所述的基于计算机视觉定位的增强现实实现方法，其特征在于，步骤(1)中所述的基于移动平面模板的相机标定方法的步骤如下：
第一步，打印一张黑白相间棋盘模板并贴在一个标定平面上；
第二步，用待标定的相机从不同角度拍摄多张模板图像；
第三步，根据标定平面到图像平面的单应性关系，确定待标定相机的内参数矩阵，三个径向畸变参数，二个切向畸变参数。
3.根据权利要求1所述的基于计算机视觉定位的增强现实实现方法，其特征在于，步骤(1)中所述的摄像机内参数矩阵如下：
其中，K表示摄像机的内参数矩阵，f表示标定后相机的镜头焦距值，x0，y0分别表示标定后相机镜头的主点坐标。
4.根据权利要求1所述的基于计算机视觉定位的增强现实实现方法，其特征在于，步骤(2)中所述的加速段测试的特征FAST检测方法的步骤如下：
第一步，将标定相机拍摄图像处理为8层金字塔图像；
第二步，将加速段测试的特征FAST特征点的阈值设置为20；
第三步，在金字塔图像上提取均匀分布的1000个图像特征点。
5.根据权利要求1所述的基于计算机视觉定位的增强现实实现方法，其特征在于，步骤(3e)中所述的比特位计算公式如下：
其中，τb表示描述子中的第b个比特位，k1表示所选一对5×5像素点中的第一个图像子块的像素和，k2表示所选一对5×5像素点中的的第二个图像子块的像素和。
6.根据权利要求1所述的基于计算机视觉定位的增强现实实现方法，其特征在于，步骤(4b)中所述的径向畸变矫正公式如下：
u＝x(1+k1r2+k2r4+k3r6)
v＝y(1+k1r2+k2r4+k3r6)
其中，u表示径向畸变矫正后归一化图像特征点的横向坐标值，x表示径向畸变矫正前归一化图像特征点的横向坐标值，k1，k2，k3分别表示相机标定后的三个径向畸变参数，v表示径向畸变矫正后归一化图像特征点的纵向坐标值，y表示径向畸变矫正前归一化图像特征点的纵向坐标值，r表示径向畸变矫正前归一化图像特征点坐标到图像中心之间的距离。
7.根据权利要求1所述的基于计算机视觉定位的增强现实实现方法，其特征在于，步骤(4c)中所述的切向畸变矫正公式如下：
m＝u+2p1uv+p2(s2+2u2)
n＝v+p1(s2+2v2)+2p2uv
其中，m表示切向畸变矫正后归一化图像特征点的横向坐标值，p1，p2分别表示相机标定后的二个切向畸变参数，n表示切向畸变矫正后归一化图像特征点的纵向坐标值，s表示径向畸变矫正后归一化坐标到图像中心之间的距离。
8.根据权利要求1所述的基于计算机视觉定位的增强现实实现方法，其特征在于，步骤(7b)中所述的对极约束关系是指，两个不同二维图像点是同一个三维空间点在不同位姿相机下的成像。
9.根据权利要求1所述的基于计算机视觉定位的增强现实实现方法，其特征在于，步骤(7e)和(9c)中所述的基于当前相机位姿的变换矩阵，建立当前相机坐标系是指，以相机位置为坐标系原点，相机朝向为z轴正方向，相机上方为y轴正方向，相机右侧为x轴正方向，建立三维空间坐标系。
10.根据权利要求1所述的基于计算机视觉定位的增强现实实现方法，其特征在于，步骤(9b)中所述的基于点特征的定位PnP方法步骤如下：
第一步，从当前相机坐标系中任意选取相匹配的六对三维空间点，将每对三维空间点在当前相机坐标系中投影为二维图像点，根据六对二维图像点与三维空间点之间的投影关系，得到一个粗糙的当前相机位姿；
第二步，构建最小二乘优化问题，对粗糙的当前相机位姿进行调整，获取一个准确的当前相机位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811568227.0A CN109685913B (zh) | 2018-12-21 | 2018-12-21 | 基于计算机视觉定位的增强现实实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811568227.0A CN109685913B (zh) | 2018-12-21 | 2018-12-21 | 基于计算机视觉定位的增强现实实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109685913A true CN109685913A (zh) | 2019-04-26 |
| CN109685913B CN109685913B (zh) | 2022-12-02 |
Family
ID=66188619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811568227.0A Active CN109685913B (zh) | 2018-12-21 | 2018-12-21 | 基于计算机视觉定位的增强现实实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109685913B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120101A (zh) * | 2019-04-30 | 2019-08-13 | 中国科学院自动化研究所 | 基于三维视觉的圆柱体增强现实方法、系统、装置 |
| CN110378990A (zh) * | 2019-07-03 | 2019-10-25 | 北京悉见科技有限公司 | 增强现实场景展现方法、装置及存储介质 |
| CN110598139A (zh) * | 2019-08-14 | 2019-12-20 | 四川致和博视科技有限公司 | 基于5G云计算的Web浏览器增强现实实时定位的方法 |
| CN112258555A (zh) * | 2020-10-15 | 2021-01-22 | 佛山科学技术学院 | 实时姿态估计运动分析方法、系统、计算机设备及存储介质 |
| CN112381841A (zh) * | 2020-11-27 | 2021-02-19 | 广东电网有限责任公司肇庆供电局 | 一种动态场景下基于gms特征匹配的语义slam方法 |
| CN113112545A (zh) * | 2021-04-15 | 2021-07-13 | 西安电子科技大学 | 基于计算机视觉的手持移动打印装置定位方法 |
| CN113673283A (zh) * | 2020-05-14 | 2021-11-19 | 惟亚(上海)数字科技有限公司 | 一种基于增强现实的平滑跟踪方法 |
| CN114419259A (zh) * | 2022-03-30 | 2022-04-29 | 中国科学院国家空间科学中心 | 一种基于物理模型成像仿真的视觉定位方法及系统 |
| US20220138979A1 (en) * | 2020-11-05 | 2022-05-05 | Streem, Inc. | Remote measurements from a live video stream |
| CN114549766A (zh) * | 2022-04-24 | 2022-05-27 | 成都纵横自动化技术股份有限公司 | 一种实时ar可视化方法、装置、设备及存储介质 |
| CN114926552A (zh) * | 2022-06-17 | 2022-08-19 | 中国人民解放军陆军炮兵防空兵学院 | 一种基于无人机图像计算像素点高斯坐标方法及系统 |
| WO2023088383A1 (zh) * | 2021-11-22 | 2023-05-25 | 中兴通讯股份有限公司 | 目标物体的重定位方法、装置、存储介质及电子装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831401A (zh) * | 2012-08-03 | 2012-12-19 | 樊晓东 | 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统 |
| JP2013003970A (ja) * | 2011-06-20 | 2013-01-07 | Nippon Telegr & Teleph Corp <Ntt> | 物体座標系変換装置、物体座標系変換方法、及び物体座標系変換プログラム |
| CN107292965A (zh) * | 2017-08-03 | 2017-10-24 | 北京航空航天大学青岛研究院 | 一种基于深度图像数据流的虚实遮挡处理方法 |
| WO2018019272A1 (zh) * | 2016-07-29 | 2018-02-01 | 成都理想境界科技有限公司 | 基于平面检测实现增强现实的方法及装置 |
-
2018
- 2018-12-21 CN CN201811568227.0A patent/CN109685913B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013003970A (ja) * | 2011-06-20 | 2013-01-07 | Nippon Telegr & Teleph Corp <Ntt> | 物体座標系変換装置、物体座標系変換方法、及び物体座標系変換プログラム |
| CN102831401A (zh) * | 2012-08-03 | 2012-12-19 | 樊晓东 | 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统 |
| WO2018019272A1 (zh) * | 2016-07-29 | 2018-02-01 | 成都理想境界科技有限公司 | 基于平面检测实现增强现实的方法及装置 |
| CN107292965A (zh) * | 2017-08-03 | 2017-10-24 | 北京航空航天大学青岛研究院 | 一种基于深度图像数据流的虚实遮挡处理方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120101B (zh) * | 2019-04-30 | 2021-04-02 | 中国科学院自动化研究所 | 基于三维视觉的圆柱体增强现实方法、系统、装置 |
| CN110120101A (zh) * | 2019-04-30 | 2019-08-13 | 中国科学院自动化研究所 | 基于三维视觉的圆柱体增强现实方法、系统、装置 |
| CN110378990A (zh) * | 2019-07-03 | 2019-10-25 | 北京悉见科技有限公司 | 增强现实场景展现方法、装置及存储介质 |
| CN110378990B (zh) * | 2019-07-03 | 2023-01-10 | 北京悉见科技有限公司 | 增强现实场景展现方法、装置及存储介质 |
| CN110598139A (zh) * | 2019-08-14 | 2019-12-20 | 四川致和博视科技有限公司 | 基于5G云计算的Web浏览器增强现实实时定位的方法 |
| CN113673283A (zh) * | 2020-05-14 | 2021-11-19 | 惟亚(上海)数字科技有限公司 | 一种基于增强现实的平滑跟踪方法 |
| CN112258555A (zh) * | 2020-10-15 | 2021-01-22 | 佛山科学技术学院 | 实时姿态估计运动分析方法、系统、计算机设备及存储介质 |
| US20220138979A1 (en) * | 2020-11-05 | 2022-05-05 | Streem, Inc. | Remote measurements from a live video stream |
| US11830213B2 (en) * | 2020-11-05 | 2023-11-28 | Streem, Llc | Remote measurements from a live video stream |
| CN112381841A (zh) * | 2020-11-27 | 2021-02-19 | 广东电网有限责任公司肇庆供电局 | 一种动态场景下基于gms特征匹配的语义slam方法 |
| CN113112545A (zh) * | 2021-04-15 | 2021-07-13 | 西安电子科技大学 | 基于计算机视觉的手持移动打印装置定位方法 |
| CN113112545B (zh) * | 2021-04-15 | 2023-03-21 | 西安电子科技大学 | 基于计算机视觉的手持移动打印装置定位方法 |
| WO2023088383A1 (zh) * | 2021-11-22 | 2023-05-25 | 中兴通讯股份有限公司 | 目标物体的重定位方法、装置、存储介质及电子装置 |
| CN114419259A (zh) * | 2022-03-30 | 2022-04-29 | 中国科学院国家空间科学中心 | 一种基于物理模型成像仿真的视觉定位方法及系统 |
| CN114419259B (zh) * | 2022-03-30 | 2022-07-12 | 中国科学院国家空间科学中心 | 一种基于物理模型成像仿真的视觉定位方法及系统 |
| CN114549766B (zh) * | 2022-04-24 | 2022-09-09 | 成都纵横自动化技术股份有限公司 | 一种实时ar可视化方法、装置、设备及存储介质 |
| CN114549766A (zh) * | 2022-04-24 | 2022-05-27 | 成都纵横自动化技术股份有限公司 | 一种实时ar可视化方法、装置、设备及存储介质 |
| CN114926552A (zh) * | 2022-06-17 | 2022-08-19 | 中国人民解放军陆军炮兵防空兵学院 | 一种基于无人机图像计算像素点高斯坐标方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109685913B (zh) | 2022-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685913A (zh) | 基于计算机视觉定位的增强现实实现方法 | |
| Huang et al. | Universal physical camouflage attacks on object detectors | |
| CN110335292B (zh) | 一种基于图片跟踪实现模拟场景跟踪的方法、系统及终端 | |
| EP2930689B1 (en) | Method for rendering | |
| EP2718903B1 (en) | Controlling objects in a virtual environment | |
| WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| CN106462944A (zh) | 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图 | |
| CN108389232A (zh) | 基于理想视点的非规则表面投影图像几何校正方法 | |
| CN110910431B (zh) | 一种基于单目相机多视点三维点集恢复方法 | |
| CN107862718B (zh) | 4d全息视频捕捉方法 | |
| CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
| CN108510545A (zh) | 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质 | |
| CN107145224B (zh) | 基于三维球面泰勒展开的人眼视线跟踪方法和装置 | |
| CN108648264A (zh) | 基于运动恢复的水下场景重建方法及存储介质 | |
| CN103093426B (zh) | 恢复定标板遮挡区域的纹理和光照的方法 | |
| CN109996048A (zh) | 一种基于结构光的投影校正方法及其系统 | |
| CN112184807A (zh) | 一种高尔夫球落地式检测方法、系统及存储介质 | |
| CN114913308A (zh) | 摄像机跟踪方法、装置、设备及存储介质 | |
| WO2023040176A1 (zh) | 一种电器产品绝缘测试电源口定位方法及系统 | |
| GB2585197A (en) | Method and system for obtaining depth data | |
| WO2022133683A1 (zh) | 一种混合现实显示的方法、混合现实设备及存储介质 | |
| CN112365589B (zh) | 一种虚拟三维场景展示方法、装置及系统 | |
| CN113763544A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
| CN109410272A (zh) | 一种变压器螺母识别与定位装置及方法 | |
| CN108830804A (zh) | 基于线扩展函数标准差的虚实融合模糊一致性处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |