CN110288657B - 一种基于Kinect的增强现实三维注册方法 - Google Patents
一种基于Kinect的增强现实三维注册方法 Download PDFInfo
- Publication number
- CN110288657B CN110288657B CN201910434938.7A CN201910434938A CN110288657B CN 110288657 B CN110288657 B CN 110288657B CN 201910434938 A CN201910434938 A CN 201910434938A CN 110288657 B CN110288657 B CN 110288657B
- Authority
- CN
- China
- Prior art keywords
- depth
- color
- point
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000009616 inductively coupled plasma Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 3
- 230000008439 repair process Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000731396 Pueraria montana var. thomsonii Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种基于Kinect的增强现实三维注册方法，采用融合RGB‑D信息的深度图像修复方法，解决了由深度图中空洞、抖动以及边缘不稳定等问题造成的标定和图像对齐误差，为后续三维注册的精确度提供了保证；采用基于深度直方图的近景模式自动判断方法，非近景模式下，采用基于Fast ICP的三维注册方法计算摄像机位姿；近景模式下，采用融合Fast ICP(Fast Iterative Closest Point)和ORB(Oriented FAST and Rotated BRIEF)的三维注册方法计算摄像机位姿，解决了由于硬件限制造成的注册失败问题，不论是非近景模式还是近景模式都能获得精确、稳定的三维注册结果。本发明算法复杂度低，易理解，易实现，不受光照和复杂场景的影响，满足增强现实系统实时性要求，能够解决互遮挡问题。
Description
技术领域
本发明属于三维注册技术领域，涉及一种基于Kinect的增强现实三维注册方法。
背景技术
在增强现实系统中，进行三维注册的目的是通过对摄像机的动态跟踪，计算摄像机位姿，使得虚拟物体能够正确的叠加在真实场景中，对真实场景进行增强。为了使增强现实技术获得更广泛的应用，三维注册是必须解决的重要问题。三维注册的实时性、精确性、稳定性直接影响了增强现实系统的适用性和可信度。
基于计算机视觉的虚实注册因其硬件成本低、精确性好、健壮性强等特点，已经成为当前解决AR中三维注册问题的主流方法。Kinect传感器作为一款出色的体感外部设备，能够捕获人的骨骼点信息，不受光照变化和复杂背景的干扰。将其应用于增强现实中，不但能够实现三维注册，不易受外在环境的干扰，还可为人机交互带来新的机会。
但是，由于Kinect深度摄像机的成像模式容易导致获取的深度图像出现黑洞、抖动以及场景中物体轮廓不准确等问题，严重影响了后续三维注册的精确度。另外，Kinect硬件的深度检测最小范围不能低于0.4m。受此制约，当Kinect在移动的过程中，若距离场景太近，将无法获取场景深度信息，从而导致三维注册失败。
吴倩等人提出一种结合彩色图像局部分割的Kinect深度图修复算法，通过空洞类型判断和局部区域分割获得空洞像素的有效支撑区域，并利用该像素的有效支撑区域对其进行深度计算。该方法提高了场景深度信息的精确度，但对同色不同距的空洞修复存在着不足。
刘书曼等人针对Kinect彩色摄像头分辨率不高，远距离的增强现实会因为图像清晰度不够，影响增强现实效果的问题，利用Kinect传感器与高清摄像头的配准，解决了远距离图像清晰度问题。但是，他们的方法在近景模式下，要求人距离摄像头1～2米才能获得较好的三维注册结果。
王月等人提出了一种面向AR机械装配辅助系统的三维跟踪注册方法，该方法利用基于方向向量一致性的视觉特征匹配策略，解决了在光滑、无纹理的装配环境中获取足够数量的视觉特征匹配点对的问题。同时，设计了一种点云和视觉特征匹配相结合的三维跟踪注册方法，既避免了因初始匹配数据点集不足导致的相机跟踪注册失败，又保证了相机位姿估计精度。但是这种方法只能在Kinect的有效范围内获得准确的位姿，没有解决距离的制约问题。
公开号为CN105096311A的专利文件公开了一种基于的深度图修复和虚实场景结合技术，所述方法的主要步骤为：(1)采集深度图和彩色图；(2)对图像进行下采样，以保证实时的修复速度；(3)使用QuickShift算法对彩色图像进行分割；(4)利用彩色图的分割结果，对存在缺失深度数据的分割块进行处理。(5)对图像进行上采样。该方法解决了Kinect深度图的漏洞修复问题。并在此基础上，进行虚拟物体与真实物体的叠加，实现虚拟物体与真实物体之间的遮挡，从而实现增强现实互动。该方法虽然修复了深度图中的空洞，但是没有解决距离的制约对三维注册的影响问题。
相关参考文献如下：
[1]吴倩,史晋芳,王德娇,刘桂华.结合彩色图像局部分割的Kinect深度图修复算法[J].计算机应用研究,2017,34(12):3852-3854+3884.
[2]刘书曼,葛水英,徐士彪.基于深度传感器的远距增强现实注册技术研究[J].微电子学与计算机,2017,34(05):89-94.
[3]王月,张树生,白晓亮.点云和视觉特征融合的增强现实装配系统三维跟踪注册方法[J].西北工业大学学报,2019,37(01):143-151.
[4]葛水英,王波.基于GPU的深度图修复和虚实场景结合技术.中国专利:CN201510328820.8,2015.06.15.
发明内容
本发明针对现有技术的不足，提出一种基于Kinect的增强现实三维注册方法，克服Kinect硬件的制约，提高三维注册的精度，扩大增强现实系统的适用范围。
本发明的技术解决方案是：基于Kinect的增强现实三维注册方法，包括如下步骤：
步骤1，对Kinect彩色摄像机和深度摄像机进行标定；
步骤2，基于Kinect获得彩色图像和深度图像，生成三维点云，并将三维点云进一步转换为深度图，融合点云信息和快速步进算法(Fast Marching Method，FMM)修复深度图；
步骤3，深度图像与彩色图像对齐；
步骤4，基于深度直方图的近景模式自动判断；
步骤5，非近景模式下，采用基于Fast ICP的三维注册方法计算摄像机位姿，完成非近景模式下的三维注册；
步骤6，近景模式下，采用融合Fast ICP和ORB的三维注册方法计算摄像机位姿，完成近景模式下的三维注册；
步骤7，将虚拟物体叠加在真实场景的彩色图像中，显示虚实叠加结果。
进一步的，所述步骤1的具体实现包括以下子步骤，
步骤1.1，彩色摄像机标定：利用Kinect读取彩色图像数据，使用基于黑白棋盘格的视觉标定方法完成Kinect彩色摄像机的内外参数的标定，获得内参矩阵Acolor和外参矩阵Rcolor、Tcolor；
步骤1.2，深度摄像机标定：利用Kinect读取红外图像数据，使用基于黑白棋盘格的视觉标定方法完成Kinect深度摄像机的内外参数的标定，获得内参矩阵Adepth和外参矩阵Rdepth、Tdepth。
进一步的，所述步骤2的具体实现包括以下子步骤：
步骤2.1，利用Kinect实时获取真实场景的彩色图像Ic和深度图像Id，生成三维点云；
步骤2.2，将三维点云转换成深度图I′d，具体实施方法为，假设P(x，y，z)是三维点云中的一点，利用下式计算出其对应于深度图像I′d中的点p(u，v，d)的坐标：
上式中，u,v是深度图像中每个像素点的横坐标和纵坐标，d是深度数据，fx、fy是摄像机在X、Y轴上的焦距，cx、cy描述了摄像机的光圈中心，s是深度缩放因子；
步骤2.3，遍历I′d中的像素点，将深度值不为零的点设置为可靠区域，具体实施方法是：首先，创建与深度图像Id大小相同的待修复图像repairImg；然后，遍历repairImg中的每个像素点，查找其对应于I′d中的像素点的深度值d；若d大于零，则代表点云信息完好，将该像素区域设置为可靠区域；若d等于零，则代表点云信息缺失，将该像素区域设置为不可靠区域；
步骤2.4，对原始深度图像Id进行过滤，具体实施方法是：对于可靠区域内的像素点，将深度图像I′d中对应的深度值拷贝到待修复图像repairImg中；对于不可靠区域内的像素点，则将原始深度图像Id中对应的像素值拷贝到待修复图像repairImg中，由此获得物体边缘清晰且无抖动的平滑的深度图像；
步骤2.5，利用FMM算法进一步修复深度图中的空洞，具体实施方法是：首先，对空洞的边缘进行膨胀处理，获得一条窄边；然后，将窄边附近区域分为三部分：窄边上、窄边外(图像未损坏部分)以及窄边内(待修复空洞)；设T为空洞边缘上某一像素与窄边之间的距离，将边缘上所有像素的T值按照升序方式存储到队列NarrowBand中，依次进行处理，方法是假设起始点为P，先处理点P的四邻域点，如果其类型为在空洞中，则重新计算像素值，修改其类型为在窄边内，并将其加入NarrowBand，依次处理NarrowBand中存放的每个像素，直到修补完成。
进一步的，所述步骤3的具体实现包括以下子步骤，
步骤3.1，构建深度摄像机坐标系与彩色摄像机坐标系的变换关系，求取两个摄像机的相对位姿，利用下式求取深度摄像机和彩色摄像机间的旋转关系R和平移关系T：
步骤3.2，利用两个摄像机的相对位姿关系构建彩色图像上的点与深度图像上对应点的变换关系，具体实施方法是：利用标定求得的彩色摄像机和深度摄像机的内参和外参以及位姿映射变换关系R和T，利用下式将深度图像上的点Pdepth＝[Xdepth Ydepth Zdepth 1]T映射到彩色图像中：
ZcolorPcolor＝R′ZdepthPdepth+T′
其中，
上式中，Pcolor＝[Xcolor Ycolor Zcolor 1]T是点Pdepth在彩色摄像机坐标系下的坐标；
步骤3.3，将深度图像与彩色图像对齐，具体实施方法是：利用步骤3.2所得公式，求取深度图像中所有像素点与彩色图像的关系，达到对齐效果。
进一步的，所述步骤4的具体实现包括以下子步骤，
步骤4.1，将当前摄像机坐标下的点云数据转换为深度图像，统计深度图像直方图；
步骤4.2，根据深度图像直方图，判断是非近景模式还是近景模式，具体方法是：计算像素的灰度区间，根据大部分像素灰度值范围的下限确定灰度阈值δ，设Tpoint表示图像中灰度值大于δ的像素点个数与图像像素点总数的比值；若Tpoint＞50，则判断为非近景模式；否则，判断为近景模式。
进一步的，所述步骤5的具体实现包括以下子步骤：
步骤5.1，移动Kinect传感器使深度摄像机位姿发生改变，由深度图像实时生成曲面点集；
步骤5.2，筛选初始帧深度图与当前帧深度图对应的曲面点集中待匹配的点集Vi和Vi′，具体方法是：首先利用四邻域顶点计算顶点法向量；然后根据法向量，在Vi中查找与Vi′中最近的点，组成点对，这些点对构成了将要进行匹配的两个点集，
步骤5.3，进行点集匹配并获得点集变换位姿，具体方法是：首先根据筛选的点对，将Vi中的三维顶点和所对应Vi′中的三维顶点转化为深度图像坐标系下的点vi-1和vi-1′，构成一组点对；然后计算这两个点集的重心位置，并将点集中心化产生两个新的点集；接下来，通过最小化两个新点集的差别，求取二者对应的深度摄像机的相对变换位姿，并根据顶点法向量一致性，给每个点分配权重去除不合适的点集边界；
步骤5.4，对步骤5.1-步骤5.3进行迭代运算，获得最优点集变换位姿，完成非近景模式下的三维注册，求得R’depth和T’depth。
进一步的，所述步骤6的具体实现包括以下子步骤：
步骤6.1，特征点检测和特征描述，具体方法是：对Kinect彩色摄像机进行跟踪，设置初始帧和当前帧，检测两幅图像的FAST特征点，用BRIEF描述子描述特征点的属性，获得描述图像特征的二进制串；
步骤6.2，利用暴力匹配法对特征点描述子进行距离测试，获得两帧图像中最佳匹配的特征点；
步骤6.3，计算匹配成功的特征点的世界坐标，结合摄像机内参矩阵计算摄像机位姿，并优化位姿，完成近景模式下的三维注册，具体方法是：首先，由彩色摄像机和深度摄像机的映射关系计算匹配成功的特征点的世界坐标；然后，结合特征点的图像坐标、对应的世界坐标以及彩色摄像机的内参矩阵Acolor，获得特征点所在世界坐标系和彩色摄像机坐标系之间的外参；最后，根据外参优化位姿；
其中优化位姿的具体方法为：首先，在特征点中随机选取四个不同特征点作为输入，计算出一组彩色摄像机外参；然后，利用当前特征点对应世界坐标和彩色摄像机内参外参矩阵，经过反投影计算一组新的二维点集；最后，比较此点集与当前特征点，当距离小于阈值T1的点的数量大于阈值T2时，则将此外参作为优化后的彩色摄像机位姿，完成近景模式下的三维注册，求得最优的T’color和R’color。
进一步的，步骤7显示虚实叠加结果的具体实施方式为，近景模式时，直接利用步骤6.3求得的T’color和R′color将虚拟物体叠加到真实场景中。非近景模式时，利用下式，将步骤5.4求得的R’depth和T’depth转换成T”color和R”color，然后将虚拟物体叠加到真实场景中。
其中，R和T分别表示深度摄像机和彩色摄像机间的旋转关系和平移关系。
与现有技术相比，本发明的优点及有益效果是：
(1)采用融合RGB-D信息的深度图像修复方法，解决了由深度图中空洞、抖动以及边缘不稳定等问题造成的标定和图像对齐误差，为后续三维注册的精确度提供了保证。
(2)采用基于深度直方图的近景模式自动判断方法，非近景模式下，采用基于FastICP的三维注册方法计算摄像机位姿；近景模式下，采用融合Fast ICP(Fast IterativeClosest Point)和ORB(Oriented FAST and Rotated BRIEF)的三维注册方法计算摄像机位姿，解决了由于硬件限制造成的注册失败问题，不论是非近景模式还是近景模式都能获得精确、稳定的三维注册结果。
(3)算法复杂度低，易理解，易实现，不受光照和复杂场景的影响，满足增强现实系统实时性要求，能够解决互遮挡问题。
附图说明
图1是本发明实施例的流程图；
具体实施方式
本发明在研究增强现实三维注册的基础上，以Kinect彩色数据和深度数据作为输入，通过获取近景和非近景下的摄像机相对位姿进行三维注册。
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本实施例的具体实施包括以下步骤：
步骤1，对Kinect彩色摄像机和深度摄像机进行标定；
步骤1.1，彩色摄像机标定。利用Kinect读取彩色图像数据，使用基于黑白棋盘格的视觉标定方法完成Kinect彩色摄像机的内外参数的标定，获得内参矩阵Acolor和外参矩阵Rcolor、Tcolor。
步骤1.2，深度摄像机标定。利用Kinect读取红外图像数据，使用基于黑白棋盘格的视觉标定方法完成Kinect深度摄像机的内外参数的标定，获得内参矩阵Adepth和外参矩阵Rdepth、Tdepth。
步骤2，融合点云信息和FMM算法修复深度图，步骤2的具体实施方式包括如下子步骤：
步骤2.1，利用Kinect实时获取真实场景的彩色图像Ic和深度图像Id，生成三维点云；
步骤2.2，将三维点云转换成深度图I′d。具体方法是，假设P(x，y，z)是三维点云中的一点，利用下式计算出其对应于深度图I′d中的点p(u，v，d)的坐标：
上式中，u,v是深度图像中每个像素点的横坐标和纵坐标，d是深度数据，fx、fy是摄像机在X、Y轴上的焦距，cx、cy描述了摄像机的光圈中心，s是深度缩放因子。
步骤2.3，遍历I′d中的像素点，将深度值不为零的点设置为可靠区域，具体实施方法是：首先，创建与深度图像Id大小相同的待修复图像repairImg。然后，遍历repairImg中的每个像素点，查找其对应于I′d中的像素点的深度值d。若d大于零，则代表点云信息完好，将该像素区域设置为可靠区域；若d等于零，则代表点云信息缺失，将该像素区域设置为不可靠区域。
步骤2.4，对原始深度图像Id进行过滤，具体实施方法是：对于可靠区域内的像素点，将深度图像I′d中对应的深度值拷贝到待修复图像repairImg中；对于不可靠区域内的像素点，则将原始深度图像Id中对应的像素值拷贝到待修复图像repairImg中，由此获得物体边缘清晰且无抖动的平滑的深度图像。
步骤2.5，利用FMM算法进一步修复深度图中的空洞，具体实施方法是：首先，对空洞的边缘进行膨胀处理，获得一条窄边。然后，将窄边附近区域分为三部分：窄边上、窄边外(图像未损坏部分)以及窄边内(待修复空洞)。设T为空洞边缘上某一像素与窄边之间的距离，将边缘上所有像素的T值按照升序方式存储到队列NarrowBand中，依次进行处理，方法是假设起始点为P，先处理点P的四邻域点，如果其类型为在空洞中，则重新计算像素值，修改其类型为在窄边内，并将其加入NarrowBand。依次处理NarrowBand中存放的每个像素，直到修补完成。
步骤3，深度图像与彩色图像对齐，步骤3的具体实施方式包括如下子步骤：
步骤3.1，构建深度摄像机坐标系与彩色摄像机坐标系的变换关系，求取两个摄像机的相对位姿。利用下式求取深度摄像机和彩色摄像机间的旋转关系R和平移关系T：
步骤3.2，利用两个摄像机的相对位姿关系构建彩色图像上的点与深度图像上对应点的变换关系。具体实施方法是：利用标定求得的彩色摄像机和深度摄像机的内参和外参以及位姿映射变换关系R和T，利用下式将深度图像上的点Pdepth＝[Xdepth Ydepth Zdepth 1]T映射到彩色图像中：
ZcolorPcolor＝R′ZdepthPdepth+T′
其中，
上式中，Pcolor＝[Xcolor Ycolor Zcolor 1]T是点Pdepth在彩色摄像机坐标系下的坐标。
步骤3.3，将深度图像与彩色图像对齐。具体实施方法是：利用步骤3.2所得公式，求取深度图像中所有像素点与彩色图像的关系，达到对齐效果。该变换符合一致性约束：对深度图像上任意点，在彩色图像上一定存在一点与之匹配，反之亦然。
步骤4，基于深度直方图的近景模式自动判断，步骤4的具体实施方式包括如下子步骤：
步骤4.1，将当前摄像机坐标下的点云数据转换为深度图像，统计深度图像直方图。
步骤4.2，根据深度图像直方图，判断是非近景模式还是近景模式。具体方法是：计算像素的灰度区间，根据大部分像素灰度值范围的下限确定灰度阈值δ。设Tpoint表示图像中灰度值大于δ的像素点个数与图像像素点总数的比值。若Tpoint＞50，则判断为非近景模式；否则，判断为近景模式。
步骤5，非近景模式下，采用基于Fast ICP的三维注册方法计算摄像机位姿，步骤5的具体实施方式包括如下子步骤：
步骤5.1，移动Kinect传感器使深度摄像机位姿发生改变，由深度图像实时生成曲面点集，该点集描述了深度图像对应的真实场景的三维顶点集合。
步骤5.2，筛选初始帧深度图与当前帧深度图对应的曲面点集中待匹配的点集Vi和Vi′。具体方法是：首先利用四邻域顶点计算顶点法向量；然后根据法向量，在Vi中查找与Vi′中最近的点，组成点对，这些点对构成了将要进行匹配的两个点集。
步骤5.3，进行点集匹配并获得点集变换位姿。具体方法是：首先根据筛选的点对，将Vi中的三维顶点和所对应Vi′中的三维顶点转化为深度图像坐标系下的点vi-1和vi-1′，构成一组点对。然后计算这两个点集的重心位置，并将点集中心化产生两个新的点集；接下来，通过最小化两个新点集的差别，求取二者对应的深度摄像机的相对变换位姿，并根据顶点法向量一致性，给每个点分配权重去除不合适的点集边界。
步骤5.4，对步骤5.1-步骤5.3进行迭代运算，获得最优点集变换位姿，完成非近景模式下的三维注册。具体方法是：在迭代过程中，不断将新获取的深度数据转换的点集与上一次计算得到的点集进匹配，得到点集最优变换位姿，即当前摄像机相对于初始状态下的相对变换位姿，完成非近景模式下的三维注册，求得R’depth和T’depth。
步骤6，近景模式下，采用融合Fast ICP和ORB的三维注册方法计算摄像机位姿，步骤6的具体实施方式包括如下子步骤：
步骤6.1，特征点检测和特征描述。具体方法是：对Kinect彩色摄像机进行跟踪，设置初始帧和当前帧，检测两幅图像的FAST特征点，用BRIEF描述子描述特征点的属性，获得描述图像特征的二进制串。
步骤6.2，利用暴力匹配法对特征点描述子进行距离测试，获得两帧图像中最佳匹配的特征点。
步骤6.3，计算匹配成功的特征点的世界坐标，结合摄像机内参矩阵计算摄像机位姿，并优化位姿，完成近景模式下的三维注册。具体方法是：首先，由彩色摄像机和深度摄像机的映射关系计算匹配成功的特征点的世界坐标。然后，结合特征点的图像坐标、对应的世界坐标以及彩色摄像机的内参矩阵Acolor，获得特征点所在世界坐标系和彩色摄像机坐标系之间的外参；最后，根据外参优化位姿。
其中优化位姿的具体方法为：首先，在特征点中随机选取四个不同特征点作为输入，计算出一组彩色摄像机外参。然后，利用当前特征点对应世界坐标和彩色摄像机内参、外参矩阵，经过反投影计算一组新的二维点集。最后，比较此点集与当前特征点，当距离小于阈值T1的点的数量大于阈值T2时，则将此外参作为优化后的彩色摄像机位姿，完成近景模式下的三维注册，求得最优的T’color和R’color。
步骤7，显示虚实叠加结果。具体实施方法是：近景模式时，直接利用步骤6.3求得的T’color和R’color将虚拟物体叠加到真实场景中。非近景模式时，利用下式，将步骤5.4求得的R’depth和T’depth转换成T”color和R”color，然后将虚拟物体叠加到真实场景中。
其中，R和T分别表示深度摄像机和彩色摄像机间的旋转关系和平移关系。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (8)
1.一种基于Kinect的增强现实三维注册方法，其特征在于，包括如下步骤：
步骤1，对Kinect彩色摄像机和深度摄像机进行标定；
步骤2，基于Kinect获得彩色图像Ic和深度图像Id，生成三维点云，并将三维点云进一步转换为深度图I′d，融合点云信息和快速步进算法获得修复后的深度图像repairImg；
步骤3，修复后的深度图像repairImg与彩色图像Ic对齐；
步骤4，基于深度直方图的近景模式自动判断；
步骤5，非近景模式下，采用基于Fast ICP的三维注册方法计算摄像机位姿，完成非近景模式下的三维注册；
步骤6，近景模式下，采用融合Fast ICP和ORB的三维注册方法计算摄像机位姿，完成近景模式下的三维注册；
步骤7，将虚拟物体叠加在真实场景的彩色图像中，显示虚实叠加结果。
2.如权利要求1所述的一种基于Kinect的增强现实三维注册方法，其特征在于：所述步骤1的具体实现包括以下子步骤，
步骤1.1，彩色摄像机标定：利用Kinect读取彩色图像数据，使用基于黑白棋盘格的视觉标定方法完成Kinect彩色摄像机的内外参数的标定，获得内参矩阵Acolor和外参矩阵Rcolor、Tcolor；
步骤1.2，深度摄像机标定：利用Kinect读取红外图像数据，使用基于黑白棋盘格的视觉标定方法完成Kinect深度摄像机的内外参数的标定，获得内参矩阵Adepth和外参矩阵Rdepth、Tdepth。
3.如权利要求1或2所述的一种基于Kinect的增强现实三维注册方法，其特征在于：所述步骤2的具体实现包括以下子步骤，
步骤2.1，利用Kinect实时获取真实场景的彩色图像Ic和深度图像Id，生成三维点云；
步骤2.2，将三维点云转换成深度图I′d，具体实施方法为，假设P(x,y,z)是三维点云中的一点，利用下式计算出其对应于深度图像I′d中的点p(u,v,d)的坐标：
上式中，u,v是深度图像I′d中每个像素点的横坐标和纵坐标，d是深度数据，fx、fy是摄像机在X、Y轴上的焦距，cx、cy描述了摄像机的光圈中心，s是深度缩放因子；
步骤2.3，遍历I′d中的像素点，将深度值不为零的点设置为可靠区域，具体实施方法是：首先，创建与I′d大小相同的图像repairImg；然后，遍历repairImg中的每个像素点，查找其对应于I′d中的像素点的深度值d；若d大于零，则代表点云信息完好，将该像素点设置为可靠区域；若d等于零，则代表点云信息缺失，将该像素点设置为不可靠区域；
步骤2.4，对原始深度图像Id进行过滤，具体实施方法是：对于可靠区域内的像素点，将深度图像I′d中对应的深度值拷贝到图像repairImg中；对于不可靠区域内的像素点，则将原始深度图像Id中对应的像素值拷贝到图像repairImg中，由此获得物体边缘清晰且无抖动的平滑的深度图像；
步骤2.5，利用FMM算法进一步修复repairImg中的空洞，具体实施方法是：首先，对空洞的边缘进行膨胀处理，获得一条窄边；然后，将窄边附近区域分为三部分：窄边上、窄边外，即图像未损坏部分，以及窄边内，即待修复空洞；设T为空洞边缘上某一像素与窄边之间的距离，将边缘上所有像素的T值按照升序方式存储到队列NarrowBand中，依次进行处理，方法是假设起始点为P，先处理点P的四邻域点，如果其类型为在空洞中，则重新计算像素值，修改其类型为在窄边内，并将其加入NarrowBand，依次处理NarrowBand中存放的每个像素，直到修补完成，最终获得修复后的深度图repairImg。
4.如权利要求2所述的一种基于Kinect的增强现实三维注册方法，其特征在于：所述步骤3的具体实现包括以下子步骤，
步骤3.1，构建深度摄像机坐标系与彩色摄像机坐标系的变换关系，求取两个摄像机的相对位姿，利用下式求取深度摄像机和彩色摄像机间的旋转关系R和平移关系T：
步骤3.2，利用两个摄像机的相对位姿关系构建彩色图像Ic上的点与修复后的深度图像repairImg上对应点的变换关系，具体实施方法是：利用标定求得的彩色摄像机和深度摄像机的内参和外参以及位姿映射变换关系R和T，利用下式将修复后的深度图像repairImg上的点Pdepth＝[Xdepth Ydepth Zdepth 1]T映射到彩色图像Ic中：
ZcolorPcolor＝R′ZdepthPdepth+T′
其中，
上式中，Pcolor＝[Xcolor Ycolor Zcolor 1]T是点Pdepth在彩色摄像机坐标系下的坐标；
步骤3.3，将修复后的深度图像repairImg与彩色图像Ic对齐，具体实施方法是：利用步骤3.2所得公式，求取修复后的深度图像repairImg中所有像素点与彩色图像Ic的关系，达到对齐效果。
5.如权利要求4所述的一种基于Kinect的增强现实三维注册方法，其特征在于：所述步骤4的具体实现包括以下子步骤，
步骤4.1，将当前摄像机坐标下的点云数据转换为深度图像I′d，统计深度图像直方图；
步骤4.2，根据深度图像直方图，判断是非近景模式还是近景模式，具体方法是：计算像素的灰度区间，根据大部分像素灰度值范围的下限确定灰度阈值δ，设Tpoint表示图像中灰度值大于δ的像素点个数与图像像素点总数的比值；若Tpoint>0.5，则判断为非近景模式；否则，判断为近景模式。
6.如权利要求5所述的一种基于Kinect的增强现实三维注册方法，其特征在于：所述步骤5的具体实现包括以下子步骤，
步骤5.1，移动Kinect传感器使深度摄像机位姿发生改变，由深度图像实时生成曲面点集；
步骤5.2，筛选初始帧深度图与当前帧深度图对应的曲面点集中待匹配的点集Vi和Vi′，具体方法是：首先利用相邻顶点计算顶点法向量；然后根据法向量，在Vi中查找与Vi′中最近的点，组成点对，这些点对构成了将要进行匹配的两个点集；
步骤5.3，进行点集匹配并获得点集变换位姿，具体方法是：首先根据筛选的点对，将Vi中的三维顶点和所对应Vi′中的三维顶点转化为深度图像坐标系下的点vi-1和vi-1′，构成一组点对；然后计算这两个点集的重心位置，并将点集中心化产生两个新的点集；接下来，通过最小化两个新点集的差别，求取二者对应的深度摄像机的相对变换位姿，并根据顶点法向量一致性，给每个点分配权重去除不合适的点集边界；
步骤5.4，对步骤5.1-步骤5.3进行迭代运算，获得最优点集变换位姿，完成非近景模式下的三维注册，求得R’depth和T’depth。
7.如权利要求6所述的一种基于Kinect的增强现实三维注册方法，其特征在于：所述步骤6的具体实现包括以下子步骤，
步骤6.1，特征点检测和特征描述，具体方法是：对Kinect彩色摄像机进行跟踪，设置初始帧和当前帧，检测两幅图像的FAST特征点，用BRIEF描述子描述特征点的属性，获得描述图像特征的二进制串；
步骤6.2，利用暴力匹配法对特征点描述子进行距离测试，获得两帧图像中最佳匹配的特征点；
步骤6.3，计算匹配成功的特征点的世界坐标，结合摄像机内参矩阵计算摄像机位姿，并优化位姿，完成近景模式下的三维注册，具体方法是：首先，由彩色摄像机和深度摄像机的映射关系计算匹配成功的特征点的世界坐标；然后，结合特征点的图像坐标、对应的世界坐标以及彩色摄像机的内参矩阵Acolor，获得特征点所在世界坐标系和彩色摄像机坐标系之间的外参，最后，根据外参优化位姿；
其中优化位姿的具体方法为：首先，在特征点中随机选取四个不同特征点作为输入，计算出一组彩色摄像机外参；然后，利用当前特征点对应世界坐标和彩色摄像机内参、外参矩阵，经过反投影计算一组新的二维点集；最后，比较此点集与当前特征点，当距离小于阈值T1的点的数量大于阈值T2时，则将此外参作为优化后的彩色摄像机位姿，完成近景模式下的三维注册，求得R’color和T’color。
8.如权利要求7所述的一种基于Kinect的增强现实三维注册方法，其特征在于：步骤7显示虚实叠加结果的具体实施方式为，
近景模式时，直接利用步骤6.3求得的T’color和R’color将虚拟物体叠加到真实场景中；非近景模式时，利用下式，将步骤5.4求得的R’depth和T’depth转换成T”color和R”color，然后将虚拟物体叠加到真实场景中：
其中，R和T分别表示深度摄像机和彩色摄像机间的旋转关系和平移关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910434938.7A CN110288657B (zh) | 2019-05-23 | 2019-05-23 | 一种基于Kinect的增强现实三维注册方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910434938.7A CN110288657B (zh) | 2019-05-23 | 2019-05-23 | 一种基于Kinect的增强现实三维注册方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110288657A CN110288657A (zh) | 2019-09-27 |
| CN110288657B true CN110288657B (zh) | 2021-05-04 |
Family
ID=68002447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910434938.7A Active CN110288657B (zh) | 2019-05-23 | 2019-05-23 | 一种基于Kinect的增强现实三维注册方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110288657B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766800B (zh) * | 2019-10-15 | 2023-03-14 | 西安电子科技大学 | 基于空间三点对齐的重建模型注册方法 |
| CN110853075B (zh) * | 2019-11-05 | 2021-08-06 | 北京理工大学 | 一种基于稠密点云与合成视图的视觉跟踪定位方法 |
| CN111179341B (zh) * | 2019-12-09 | 2022-05-20 | 西安交通大学 | 一种增强现实设备与移动机器人的配准方法 |
| CN112053447B (zh) * | 2020-07-29 | 2022-10-25 | 清华大学 | 一种增强现实三维注册方法及装置 |
| WO2022040970A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| CN112070884A (zh) * | 2020-08-29 | 2020-12-11 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| CN111899293B (zh) * | 2020-09-29 | 2021-01-08 | 成都索贝数码科技股份有限公司 | Ar应用中的虚实遮挡处理方法 |
| CN112288814A (zh) * | 2020-11-04 | 2021-01-29 | 江南大学 | 一种面向增强现实的三维跟踪注册方法 |
| CN113012298B (zh) * | 2020-12-25 | 2022-04-08 | 浙江大学 | 一种基于区域检测的弯曲mark三维注册增强现实方法 |
| CN112949754B (zh) * | 2021-03-29 | 2022-10-14 | 中国科学院合肥物质科学研究院 | 一种基于图像融合的文本识别数据合成方法 |
| CN113269729B (zh) * | 2021-05-10 | 2022-10-11 | 青岛理工大学 | 一种基于深度图像对比的装配体多视角检测方法和系统 |
| CN113269785A (zh) * | 2021-05-13 | 2021-08-17 | 北京字节跳动网络技术有限公司 | 图像处理方法、设备、存储介质及程序产品 |
| CN113436559B (zh) * | 2021-05-19 | 2023-04-14 | 吉林大学 | 一种沙盘动态景观实时显示系统及显示方法 |
| CN115249254B (zh) * | 2022-09-21 | 2022-12-30 | 江西财经大学 | 一种基于ar技术的目标跟踪方法及系统 |
| CN115890654B (zh) * | 2022-10-09 | 2023-08-11 | 北京微链道爱科技有限公司 | 基于三维特征点的深度相机自动标定算法 |
| CN115619855A (zh) * | 2022-12-05 | 2023-01-17 | 合肥的卢深视科技有限公司 | 深度图像的稳像方法、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9870624B1 (en) * | 2017-01-13 | 2018-01-16 | Otsaw Digital Pte. Ltd. | Three-dimensional mapping of an environment |
| CN109255813A (zh) * | 2018-09-06 | 2019-01-22 | 大连理工大学 | 一种面向人机协作的手持物体位姿实时检测方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9129432B2 (en) * | 2010-01-28 | 2015-09-08 | The Hong Kong University Of Science And Technology | Image-based procedural remodeling of buildings |
| CN102568026B (zh) * | 2011-12-12 | 2014-01-29 | 浙江大学 | 一种多视点自由立体显示的三维增强现实方法 |
| CN102609941A (zh) * | 2012-01-31 | 2012-07-25 | 北京航空航天大学 | 基于ToF深度相机的三维注册方法 |
| CN103607584B (zh) * | 2013-11-27 | 2015-05-27 | 浙江大学 | 一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法 |
| CN105096311A (zh) * | 2014-07-01 | 2015-11-25 | 中国科学院科学传播研究中心 | 基于gpu的深度图修复和虚实场景结合技术 |
| US9972067B2 (en) * | 2016-10-11 | 2018-05-15 | The Boeing Company | System and method for upsampling of sparse point cloud for 3D registration |
| CN107292965B (zh) * | 2017-08-03 | 2020-10-13 | 北京航空航天大学青岛研究院 | 一种基于深度图像数据流的虚实遮挡处理方法 |
-
2019
- 2019-05-23 CN CN201910434938.7A patent/CN110288657B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9870624B1 (en) * | 2017-01-13 | 2018-01-16 | Otsaw Digital Pte. Ltd. | Three-dimensional mapping of an environment |
| CN109255813A (zh) * | 2018-09-06 | 2019-01-22 | 大连理工大学 | 一种面向人机协作的手持物体位姿实时检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| A fast and robust local descriptor for 3D point cloud registration;Jiaqi Yang et al.;《Information Sciences》;20160206;第163-179页 * |
| Registration with the Point Cloud Library:A Modular Framework for Aligning in 3-D;Dirk Holz et al.;《IEEE ROBOTICS & AUTOMATION MAGAZINE》;20151231;第110-124页 * |
| 利用Kinect深度信息的三维点云配准方法研究;王 欢 等;《计算机工程与应用》;20161231;第52卷(第12期);第153-157页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110288657A (zh) | 2019-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288657B (zh) | 一种基于Kinect的增强现实三维注册方法 | |
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| JP4785880B2 (ja) | 三次元オブジェクト認識のためのシステムおよび方法 | |
| CN105096317B (zh) | 一种复杂背景中的高性能相机全自动标定方法 | |
| US7522163B2 (en) | Method and apparatus for determining offsets of a part from a digital image | |
| CN105741346B (zh) | 用于校准深度照相机的方法 | |
| CN103503025B (zh) | 基于对对象的模型进行变换来确定模型参数 | |
| CN112053447B (zh) | 一种增强现实三维注册方法及装置 | |
| CN108122256B (zh) | 一种逼近状态下旋转目标位姿测量的方法 | |
| CN108648194B (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| CN109961506A (zh) | 一种融合改进Census图的局部场景三维重建方法 | |
| CN106327532A (zh) | 一种单幅图像的三维配准方法 | |
| JP2005308553A (ja) | 三次元画像計測装置及び方法 | |
| CN110111248A (zh) | 一种基于特征点的图像拼接方法、虚拟现实系统、照相机 | |
| WO2023116430A1 (zh) | 视频与城市信息模型三维场景融合方法、系统及存储介质 | |
| CN108960267A (zh) | 用于模型调整的系统和方法 | |
| CN113160421A (zh) | 一种基于投影的空间式实物交互虚拟实验方法 | |
| JP2018063693A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN113012298B (zh) | 一种基于区域检测的弯曲mark三维注册增强现实方法 | |
| JP2018173882A (ja) | 情報処理装置、方法、及びプログラム | |
| CN112712566B (zh) | 基于结构参数在线校正的双目立体视觉传感器测量方法 | |
| CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
| Zhang | Binocular Stereo Vision | |
| CN116402904A (zh) | 一种基于激光雷达间和单目相机的联合标定方法 | |
| KR102558095B1 (ko) | 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |