CN111009005A - 几何信息与光度信息相结合的场景分类点云粗配准方法 - Google Patents
几何信息与光度信息相结合的场景分类点云粗配准方法 Download PDFInfo
- Publication number
- CN111009005A CN111009005A CN201911178831.7A CN201911178831A CN111009005A CN 111009005 A CN111009005 A CN 111009005A CN 201911178831 A CN201911178831 A CN 201911178831A CN 111009005 A CN111009005 A CN 111009005A
- Authority
- CN
- China
- Prior art keywords
- scene
- matching
- point
- information
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000009466 transformation Effects 0.000 claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 46
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 239000013598 vector Substances 0.000 claims description 33
- 238000012706 support-vector machine Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 12
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及机器视觉领域、图像处理，为实现鲁棒有效的室内场景点云粗配准。为此，本发明采取的技术方案是，几何信息与光度信息相结合的场景分类点云粗配准方法，通过对每一帧的点云数据与图像数据进行关键点的检测、描述与匹配，依据当前场景的类别，将几何信息和光度信息适应性地结合，估计刚性变换矩阵，进而进行室内场景的稀疏建图。本发明主要应用于场景分类点云粗配准场合。
Description
技术领域
本发明涉及机器视觉领域、图像处理，具体涉及几何信息与光度信息相结合的场景分类点云粗配准方法。
背景技术
场景重建是机器视觉领域中许多应用的重要问题，如地图构建、增强现实、语义分割等。近几年，随着RGB-D(RGB-Depth，RGB-深度)传感器进入市场，凭借其尚可的精度和低廉的价格，使用RGB-D传感器的室内场景重建得到更加广泛的关注与研究。RGB-D传感器能够同时获得视场范围内场景的RGB图和深度图，并且依据已经对齐的RGB图和深度图方便地获取场景的彩色点云表达。但是由于RGB-D传感器的视场范围有限，单帧点云均处在各自的相机坐标系下，因此要想获得更大规模的室内场景三维点云，需要对不同帧进行点云配准。
点云配准是指确定最佳的刚性变换矩阵使得由不同位置姿态的传感器获得的处在各自坐标系下的点云统一到同一坐标系下。点云配准按照配准结果的精确程度可分为粗配准和精配准。粗配准可通过基于局部特征描述的关键点匹配以及RANSAC(RANdom SAmpleConsensus，随机采样一致性)算法获得粗略的变换矩阵估计，而精配准多采用ICP(Iterative Closest Point，迭代最近点)及其变种算法，以获得更加精确的变换矩阵估计。精配准一般要求以一个粗略的变换矩阵估计作为迭代初始值，从而加快算法迭代过程并且避免落入错误的局部最优解。
基于RGB-D传感器的场景重建可分为稀疏建图和稠密建图两大类。稀疏建图是指稀疏地选取关键帧，通过将关键帧的点云进行配准与融合，快速地实现相对粗糙的场景重建。稠密建图是指使用全部的RGB-D数据，对每一连续帧进行配准融合，从而实现更加精细的场景重建。稀疏建图中，由于关键帧之间的相机位姿变化较大，两帧点云之间的重叠度相对较小，往往先基于局部特征描述实现点云的粗配准，再将粗配准的结果作为ICP迭代的初始值实现点云的精配准，即完成了由粗到精的配准过程。而在稠密建图中，考虑到RGB-D传感器本身帧率足够高，连续帧间相机位姿变化较小，点云之间有相当大的重叠度，因此一般可直接采用ICP算法实现帧间配准。尽管在稠密建图中利用足够多的RGB-D数据可以产生更加精细的场景模型，但是稠密建图会产生大量的存储开销与运算开销，对硬件和软件都提出了极高的要求，对大规模的场景重建尤其如此，而且稠密建图中大量的连续帧间的配准会产生更大的累积误差，降低场景重建精度。而稀疏建图则能够以更小的开销更加高效地构建出大规模场景，并且由于其配准次数远少于稠密建图，在采用了有效的从粗到精的配准算法的情况下，累积误差也相对较小。如前所述，好的粗配准结果有助于实现之后高效正确的精配准。因此，鲁棒有效的粗配准算法是保证稀疏建图质量的关键一步。
基于局部特征描述的粗配准算法流程包括关键点检测、关键点描述、关键点匹配以及基于RANSAC的变换矩阵估计。对于使用RGB-D传感器的室内场景点云配准问题，RGB图和深度图为点云配准提供了更多可利用的信息。依据场景的几何结构信息，可直接对三维点云进行三维关键点的检测、描述与匹配。而依据场景的光度纹理信息，可先对RGB图进行二维关键点的检测、描述与匹配，再依据关键点的深度值，将二维匹配点对映射至三维空间。而三维几何信息与二维光度信息相结合的方法也被研究与应用，并被认为在多数情况下对于点云配准是有帮助的。但在复杂多变的现实场景中，几何信息与光度信息并不总是都足够丰富且均衡。因此判断当前待配准场景的性质，以不同的方式将几何信息与光度信息相结合将有助于提高粗配准算法的鲁棒性与有效性。
发明内容
为克服现有技术的不足，本发明旨在实现鲁棒有效的室内场景点云粗配准。为此，本发明采取的技术方案是，几何信息与光度信息相结合的场景分类点云粗配准方法，通过对每一帧的点云数据与图像数据进行关键点的检测、描述与匹配，依据当前场景的类别，将几何信息和光度信息适应性地结合，估计刚性变换矩阵，进而进行室内场景的稀疏建图。
具体步骤是，对RGB-D传感器采集到的两帧关键帧，分别记作源帧与目标帧，依据针孔模型将深度图转换为对应的三维点云，分别记作源点云与目标点云，首先使用法矢对齐径向特征NARF(Normal Aligned Radial Feature)与快速点特征直方图FPFH(FastPoint Feature Histograms)分别对两帧的三维点云进行关键点的检测、描述与匹配，得到几何匹配点对集，使用尺度不变特征变换SIFT(Scale-Invariant Feature Transform)分别对两帧的RGB图进行关键点的检测、描述与匹配，并结合关键点的深度值将匹配点对映射到三维空间，得到光度匹配点对集；然后对源帧的RGB图和深度图，分别使用局部二值模式LBP(Local Binary Pattern)与曲率局部二值模式CLBP(Curvature Local BinaryPattern)提取特征向量表达当前场景的特征，使用支持向量机SVM(Support VectorMachine)对其进行分类；依据分类结果，适应性地结合几何匹配点对集与光度匹配点对集；最后采用RANSAC算法进行变换矩阵估计，进而实现关键帧之间的点云粗配准。
关键点的检测与匹配首先分别对源点云与目标点云进行直通滤波，采用NARF与FPFH进行三维关键点的检测与描述，根据高维描述向量间的欧式距离寻求最近邻，建立源点云与目标点云关键点间的匹配关系，并依据匹配点对特征描述的欧氏距离升序排序，构成三维空间中的有序的匹配点对集；由于该匹配点对集的建立源于场景的三维几何信息，故记作几何匹配点对集Mg，然后分别对源帧与目标帧的RGB图，采用SIFT进行二维关键点的检测与描述，同样依据描述寻求最近邻，建立二维关键点间的匹配关系，由双线性插值获得各个关键点的深度值并依据针孔模型将二维关键点映射至三维空间并依据匹配点对特征描述的欧氏距离升序排序，构成三维空间中的有序的匹配点对集，由于该匹配点对集的建立源于场景的二维光度信息，故记作光度匹配点对集Mp。
场景分类是通过对RGB图和深度图提取特征向量，由三分类SVM对当前配准场景进行类别判断，考虑到源点云与目标点云的场景仍有足够大的重叠度，认为两者类别具有一致性，故仅对源帧进行特征向量的提取来表征配准场景的特征，对于源帧的RGB图，采用Uniform LBP算子扫描全图，得到每个像素点的LBP值，由所有像素点LBP值构成统计直方图，对统计直方图归一化得到一个10维向量，表征当前场景的光度纹理特征；同样，对于源帧的深度图，采用Uniform CLBP进行描述，由所有像素点的CLBP值构成统计直方图，归一化后得到一个10维向量，表征当前场景的几何结构特征；将两个向量简单连接得到20维的特征向量，该特征向量是对当前场景特征的总体描述；将该特征向量作为SVM的输入，由SVM判断当前场景的类别。
使用支持向量机SVM进行场景分类需要先构建有标记的数据集完成SVM的训练，具体步骤如下：将场景分为三类：光度信息更丰富的场景标记为-1，光度信息和几何信息均衡的场景标记为0，几何信息更丰富的场景标记为+1，选取连续两帧，逐次标记配准场景类别为-1、0和+1进行帧间粗配准，将各配准结果与真值比较，并以最优结果所对应的类别作为源帧的标记类别；其中，选取连续两帧是考虑到连续帧具有最大程度的重叠度，连续帧间的配准将对同一场景的性质进行表征；粗配准过程是进行关键点的检测与匹配、依据给定的场景类别结合几何信息与光度信息以及由RANSAC算法估计变换矩阵，其中检测三维关键点的方法采用均匀采样；最终，对构建好的数据集提取特征向量，用于三分类SVM的训练；
依据场景分类结果，适应性地结合几何信息与光度信息，即以不同的策略结合几何匹配点对集Mg和光度匹配点对集Mp，结合后的混合匹配点对集Mc表示为：
其中|·|表示匹配点对集的基数，
表示向上取整，Mcg表示Mc中的几何匹配点对子集，Mcp表示Mc中的光度匹配点对子集，α表示不同的场景分类结果对应的结合系数：当分类结果为-1时，α取0.2；当分类结果为0时，α取0.5；当分类结果为+1时，α取0.8。
采用改进的RANSAC算法估计变换矩阵，在迭代开始前，设当前最优变换Tbest＝I，其对应的最优内点数pbest＝0，最优内点误差ebest＝∞，在一次迭代中，引入服从参数为α的伯努利分布的随机变量，当随机变量值为1时，随机从Mcg中选取一个几何匹配点对，当随机变量值为0时，随机从Mcp中选取一个光度匹配点对，将随机选取的匹配点对加入到随机采样匹配点对集Mr，重复上述采样过程直到|Mr|＝3，依据Mr采用SVD(Singular ValueDecomposition，奇异值分解)算法解出变换矩阵假设Th，根据Th对源点云进行坐标变换，遍历Mc，当匹配点对间距离小于设定阈值dth时，认为其是一个正确匹配，即一个内点，统计Th下的内点数ph并以MSE(Mean Squared Error，均方误差)计算内点误差eh，引入上限比例参数βub和下限比例参数βlb，0≤βub≤1，0≤βlb≤1，如果ph＞(1+βub)pbest，认为Th优于Tbest；如果(1-βlb)pbest＜ph≤(1+βub)pbest且eh＜ebest，认为Th优于Tbest；否则，认为Th差于Tbest，对于Th更优的情况，更新Tbest＝Th，pbest＝ph，ebest＝eh，将上述过程不断迭代直到满足迭代终止条件，即迭代次数达到上限或者ebest小于误差阈值eth，最后，依据Tbest下的所有正确匹配点对，采用SVD算法重新解算变换矩阵并更新Tbest，将最优变换矩阵Tbest作为最终的变换矩阵估计输出。
本发明的特点及有益效果是：
本发明提出了一种几何信息与光度信息相结合的场景分类点云粗配准算法。该算法对当前待配准场景的类别做出判断，以相适应的策略结合几何信息与光度信息，并采用改进的RANSAC算法，最终获得鲁棒有效的变换矩阵估计。图1为粗配准算法流程图。图2和图3分别显示了两帧关键帧粗配准前后的彩色点云。
为对本发明提出的算法进行评估，以每15帧选取1帧的方式对公开的RGB-D数据集选取关键帧，连续进行20次关键帧间配准，覆盖了时长10s的RGB-D数据流。采用RPE(Relative Pose Error,相对姿态误差)评价单次帧间配准与整体配准效果，即对每次帧间配准，由变换矩阵真值的逆与变换矩阵估计的乘积得到RPE，RPE中平移部分的二范数可作为单次配准误差的量化指标；计算所有帧间配准的RMSE(Root Mean Squared Error，均方根误差)，表征整体配准效果。为降低RANSAC算法随机性对测试带来的影响，对每次帧间配准重复进行5次，取5次误差值的中位数作为此次帧间配准误差。如果该误差值高于0.1m认为配准失败。为了减少配准失败时异常误差值对整体评价的影响，取配准失败的误差值为0.1m参与到RMSE的计算，同时统计配准失败的次数。表1为在Microsoft Research建立的RGB-D Dataset 7Scenes中的chess、fire与office三个数据集上进行测试的结果。表格中数据展示了不同算法在各数据集上测试的配准误差与配准失败次数。本发明提出的几何信息与光度信息相结合的场景分类点云粗配准算法在有效性与鲁棒性上均优于其他的算法，因此该算法也将提高之后的精配准与整体的稀疏建图的效率与质量。
附图说明：
图1几何信息与光度信息相结合的场景分类点云粗配准算法流程图。
图2粗配准前彩色点云。
图3粗配准后彩色点云。
具体实施方式
本发明设计用于室内场景点云的粗配准，对RGB-D传感器采集到的RGB图和深度图及依据深度图生成的三维点云，通过关键点匹配、场景分类、几何信息与光度信息的结合以及改进的RANSAC算法进行粗略的变换矩阵估计，进而实现室内场景的稀疏建图。
本发明的目的在于实现鲁棒有效的室内场景点云粗配准。RGB-D传感器采集室内场景的RGB图和深度图，根据RGB图和深度图可以得到相应的三维点云，本发明用于稀疏建图中点云粗配准，通过对每一帧的点云数据与图像数据进行关键点的检测、描述与匹配，依据当前场景的类别，将几何信息和光度信息适应性地结合，估计刚性变换矩阵，进而进行室内场景的稀疏建图。
本发明分为四步进行室内场景点云的粗配准，分别为关键点的检测与匹配、场景分类、几何信息与光度信息的结合以及变换矩阵估计。对RGB-D传感器采集到的两帧关键帧，分别记作源帧与目标帧，可依据针孔模型将深度图转换为对应的三维点云，分别记作源点云与目标点云，首先使用NARF与FPFH分别对两帧的三维点云进行关键点的检测、描述与匹配，得到几何匹配点对集，使用SIFT分别对两帧的RGB图进行关键点的检测、描述与匹配，并结合关键点的深度值将匹配点对映射到三维空间，得到光度匹配点对集；然后对源帧的RGB图和深度图，分别使用LBP(Local Binary Pattern，局部二值模式)与CLBP(CurvatureLocal Binary Pattern，曲率局部二值模式)提取特征向量表达当前场景的特征，使用SVM(Support Vector Machine，支持向量机)对其进行分类；依据分类结果，适应性地结合几何匹配点对集与光度匹配点对集；最后提出一种改进的RANSAC算法实现更加鲁棒有效的变换矩阵估计，进而实现关键帧之间的点云粗配准。具体的几何信息与光度信息相结合的场景分类点云粗配准算法流程如下所述。
关键点的检测与匹配首先分别对源点云与目标点云进行直通滤波，采用NARF与FPFH进行三维关键点的检测与描述，根据高维描述向量间的欧式距离寻求最近邻，建立源点云与目标点云关键点间的匹配关系，并依据匹配点对特征描述的欧氏距离升序排序，构成三维空间中的有序的匹配点对集。由于该匹配点对集的建立源于场景的三维几何信息，故记作几何匹配点对集Mg。然后分别对源帧与目标帧的RGB图，采用SIFT进行二维关键点的检测与描述，同样依据描述寻求最近邻，建立二维关键点间的匹配关系，由双线性插值获得各个关键点的深度值并依据针孔模型将二维关键点映射至三维空间并依据匹配点对特征描述的欧氏距离升序排序，构成三维空间中的有序的匹配点对集。由于该匹配点对集的建立源于场景的二维光度信息，故记作光度匹配点对集Mp。
场景分类是通过对RGB图和深度图提取特征向量，由三分类SVM对当前配准场景进行类别判断。考虑到源点云与目标点云的场景仍有足够大的重叠度，可认为两者类别具有一致性，故仅对源帧进行特征向量的提取来表征配准场景的特征。对于源帧的RGB图，采用半径为1、采样点数为8的Uniform LBP算子扫描全图，得到每个像素点的LBP值，由所有像素点LBP值构成统计直方图，对统计直方图归一化可得到一个10维向量，表征当前场景的光度纹理特征。同样，对于源帧的深度图，采用半径为1、采样点数为8的Uniform CLBP进行描述，由所有像素点的CLBP值构成统计直方图，归一化后可得到一个10维向量，表征当前场景的几何结构特征。将两个向量简单连接得到20维的特征向量，该特征向量是对当前场景特征的总体描述。将该特征向量作为SVM的输入，由SVM判断当前场景的类别。
作为一种有监督学习算法，SVM用于分类判断之前需要依据有标记的数据集进行训练。因此，对公开的RGB-D数据集中的若干帧进行类别标记，从而构建用于训练此分类器的有标记的数据集。本发明将场景分为三类：光度信息更丰富的场景标记为-1，光度信息和几何信息均衡的场景标记为0，几何信息更丰富的场景标记为+1。不同类别将在后续的步骤中采取不同的匹配点集结合方法。类别标记方法叙述如下：选取连续两帧，逐次标记配准场景类别为-1、0和+1进行帧间粗配准，将各配准结果与真值比较，并以最优结果所对应的类别作为源帧的标记类别。其中，选取连续两帧是考虑到连续帧具有最大程度的重叠度，连续帧间的配准将对同一场景的性质进行表征；粗配准的方法与本发明的粗配准方法基本一致，即进行关键点的检测与匹配、依据给定的场景类别结合几何信息与光度信息以及由改进的RANSAC算法估计变换矩阵，唯一的不同在于检测三维关键点的方法采用均匀采样而不是NARF，原因是对于连续帧间配准，均匀采样效果更好且速度更快。最终，对构建好的数据集提取特征向量，用于三分类SVM的训练。
依据场景分类结果，适应性地结合几何信息与光度信息，即以不同的策略结合几何匹配点对集Mg和光度匹配点对集Mp。结合后的混合匹配点对集Mc可表示为：
其中|·|表示匹配点对集的基数，
表示向上取整，Mcg表示Mc中的几何匹配点对子集，Mcp表示Mc中的光度匹配点对子集，α表示不同的场景分类结果对应的结合系数：当分类结果为-1时，α取0.2；当分类结果为0时，α取0.5；当分类结果为+1时，α取0.8。上式表示，面对不同的场景，选取Mg中的前
个匹配与Mp中前
个匹配合并作为Mc。直观地，当面对光度信息更丰富的场景时，会依序选取更少的几何匹配、更多的光度匹配；当面对光度信息与几何信息均衡的场景时，会依序均衡选取几何匹配与光度匹配；当面对几何信息更丰富的场景时，会依序选取更多的几何匹配、更少的光度匹配。
变换矩阵估计是粗配准中重要的一步。由于室内场景中往往环境复杂，且关键帧的重叠区域相对较小，Mc中仍存在大量的错误匹配。错误匹配会使变换矩阵的估计出现偏差，因此采用RANSAC算法剔除错误匹配，估计变换矩阵。RANSAC算法是一种迭代算法，在一次迭代中，通过随机采样做出参数假设并对假设以某种方式进行评价，迭代终止时将以具有最优评价的参数假设作为最终的参数估计。点云配准中的RANSAC算法大致步骤为:在一次迭代中，从Mc中随机采样若干(不小于3)匹配点对，由SVD(Singular ValueDecomposition，奇异值分解)算法解出变换矩阵假设Th。将源点云依据Th进行坐标变换。遍历Mc，统计Th下的内点数并计算内点误差，如果内点数大于固定阈值pth，且内点误差小于当前最优变换的内点误差，则更新当前最优变换及其内点误差。将上述过程不断迭代，直到达到迭代终止条件。保留的最优变换矩阵即为最终的变换矩阵估计。
然而，对于混合匹配点对集Mc而言，上述的RANSAC算法存在两个问题：第一，对Mc简单随机采样并不合理。Mc是由Mg的前α部分和Mp的前(1-α)部分合并组成。事实上，由于关键点检测算法的不同，|Mg|往往远小于|Mp|。如果简单随机采样，无论哪种分类结果，相较于光度匹配，几何匹配被采样到的概率总是小很多。这也就意味着，在解算变换矩阵假设时，几何匹配并不能做出与分类结果相适应的贡献，而这也将不利于最终的变换矩阵估计。第二，内点数阈值pth不易确定。在RANSAC算法中，pth限制了只有内点数足够多，Th才被认为是最优候选，并进一步比较内点误差。作为一种启发式的评价标准，合适的pth十分重要。但由于|Mg|与|Mp|的严重失衡，当α不同时，|Mc|的变化十分显著，而这也使得pth不易确定：如果设置过大，在α＝0.8时可能拒绝大多数甚至全部的变换矩阵假设；如果设置过小，在α＝0.2时由于大多数的变换矩阵假设符合要求，最优评价将严重依赖内点误差的比较。这两种情况都不利于确定最优变换矩阵。
针对以上问题，本发明提出一种改进的RANSAC算法。算法叙述如下：在迭代开始前，设当前最优变换Tbest＝I，其对应的最优内点数pbest＝0，最优内点误差ebest＝∞。在一次迭代中，引入服从参数为α的伯努利分布的随机变量，当随机变量值为1时，随机从Mcg中选取一个几何匹配点对，当随机变量值为0时，随机从Mcp中选取一个光度匹配点对。将随机选取的匹配点对加入到随机采样匹配点对集Mr，重复上述采样过程直到|Mr|＝3。依据Mr采用SVD算法解出变换矩阵假设Th。根据Th对源点云进行坐标变换。遍历Mc，当匹配点对间距离小于设定阈值dth时，认为其是一个正确匹配，即一个内点。统计Th下的内点数ph并以MSE计算内点误差eh。引入上限比例参数βub和下限比例参数βlb(0≤βub≤1，0≤βlb≤1)，如果ph＞(1+βub)pbest，认为Th优于Tbest；如果(1-βlb)pbest＜ph≤(1+βub)pbest且eh＜ebest，认为Th优于Tbest；否则，认为Th差于Tbest。对于Th更优的情况，更新Tbest＝Th，pbest＝ph，ebest＝eh。将上述过程不断迭代直到满足迭代终止条件，即迭代次数达到上限或者ebest小于误差阈值eth。最后，依据Tbest下的所有正确匹配点对，采用SVD算法重新解算变换矩阵并更新Tbest。将最优变换矩阵Tbest作为最终的变换矩阵估计输出。
改进的RANSAC算法相较于原始的RANSAC算法在以下几个方面做出了提升。第一，改进了随机采样方法。引入服从参数为α的伯努利分布的随机变量，使得随机采样过程选取到Mc中几何匹配点对与光度匹配点对的概率取决于场景分类结果，并且每个几何匹配点对被取到的概率始终为1/|Mg|，每个光度匹配点对被取到的概率始终为1/|Mp|，而与|Mc|无关，且与α＝0、α＝1这两种边界情况保持一致。第二，改进了对Th的评价标准。通过引入上限比例参数βub与下限比例参数βlb并以当前最优变换矩阵的pbest、ebest作为参考，构成了自适应的评价标准。(1+βub)pbest与(1-βlb)pbest将对ph的考察划分为三种情况：ph＞(1+βub)pbest为接受域，认为ph已经相当多，可以直接接受Th为当前最优变换；(1-βlb)pbest＜ph≤(1+βub)pbest为待定域，认为ph足够多，但仍需进一步通过eh与ebest的比较来判断Th是否优于Tbest；而ph≤(1-βlb)pbest为拒绝域，认为ph过少，直接拒绝Th。容易得出，当pbest较小时，待定域较窄，Th的评价主要依赖于内点数量的比较；而随着pbest的增大，待定域也将随之拓宽，Th也会更多地需要eh与ebest的比较来做进一步的评价。这样的特性将有助于提升变换矩阵估计的鲁棒性与有效性。值得注意的是，该自适应标准对α＝0与α＝1的边界情况同样适用。第三，在迭代结束后，基于所有正确匹配更新变换矩阵估计，进一步提高变换矩阵估计的稳定性。
表1配准算法测试误差(单位：m/次)
对RGB-D传感器采集到的连续帧数据，以固定间隔或者人工选定的方式选取若干关键帧，对相邻关键帧分别进行关键点的检测与匹配、场景分类、几何信息与光度信息的结合以及改进的RANSAC算法，得到粗略的变换矩阵估计，并将其作为初始估计进行精配准；连续进行上述从粗到精的配准过程，并进行表面重建，进而实现场景的稀疏建图。
Claims (6)
1.一种几何信息与光度信息相结合的场景分类点云粗配准方法，其特征是，通过对每一帧的点云数据与图像数据进行关键点的检测、描述与匹配，依据当前场景的类别，将几何信息和光度信息适应性地结合，估计刚性变换矩阵，进而进行室内场景的稀疏建图。
2.如权利要求1所述的几何信息与光度信息相结合的场景分类点云粗配准方法，其特征是，具体步骤是，对RGB-D传感器采集到的两帧关键帧，分别记作源帧与目标帧，依据针孔模型将深度图转换为对应的三维点云，分别记作源点云与目标点云，首先使用法矢对齐径向特征NARF(Normal Aligned Radial Feature)与快速点特征直方图FPFH(Fast PointFeature Histograms)分别对两帧的三维点云进行关键点的检测、描述与匹配，得到几何匹配点对集，使用尺度不变特征变换SIFT(Scale-Invariant Feature Transform)分别对两帧的RGB图进行关键点的检测、描述与匹配，并结合关键点的深度值将匹配点对映射到三维空间，得到光度匹配点对集；然后对源帧的RGB图和深度图，分别使用局部二值模式LBP(Local Binary Pattern)与曲率局部二值模式CLBP(Curvature Local Binary Pattern)提取特征向量表达当前场景的特征，使用支持向量机SVM(Support Vector Machine)对其进行分类；依据分类结果，适应性地结合几何匹配点对集与光度匹配点对集；最后采用RANSAC算法进行变换矩阵估计，进而实现关键帧之间的点云粗配准。
3.如权利要求2所述的几何信息与光度信息相结合的场景分类点云粗配准方法，其特征是，关键点的检测与匹配首先分别对源点云与目标点云进行直通滤波，采用NARF与FPFH进行三维关键点的检测与描述，根据高维描述向量间的欧式距离寻求最近邻，建立源点云与目标点云关键点间的匹配关系，并依据匹配点对特征描述的欧氏距离升序排序，构成三维空间中的有序的匹配点对集；由于该匹配点对集的建立源于场景的三维几何信息，故记作几何匹配点对集Mg，然后分别对源帧与目标帧的RGB图，采用SIFT进行二维关键点的检测与描述，同样依据描述寻求最近邻，建立二维关键点间的匹配关系，由双线性插值获得各个关键点的深度值并依据针孔模型将二维关键点映射至三维空间并依据匹配点对特征描述的欧氏距离升序排序，构成三维空间中的有序的匹配点对集，由于该匹配点对集的建立源于场景的二维光度信息，故记作光度匹配点对集Mp。
4.如权利要求2所述的几何信息与光度信息相结合的场景分类点云粗配准方法，其特征是，场景分类是通过对RGB图和深度图提取特征向量，由三分类SVM对当前配准场景进行类别判断，考虑到源点云与目标点云的场景仍有足够大的重叠度，认为两者类别具有一致性，故仅对源帧进行特征向量的提取来表征配准场景的特征，对于源帧的RGB图，采用Uniform LBP算子扫描全图，得到每个像素点的LBP值，由所有像素点LBP值构成统计直方图，对统计直方图归一化得到一个10维向量，表征当前场景的光度纹理特征；同样，对于源帧的深度图，采用Uniform CLBP进行描述，由所有像素点的CLBP值构成统计直方图，归一化后得到一个10维向量，表征当前场景的几何结构特征；将两个向量简单连接得到20维的特征向量，该特征向量是对当前场景特征的总体描述；将该特征向量作为SVM的输入，由SVM判断当前场景的类别。
5.如权利要求2所述的几何信息与光度信息相结合的场景分类点云粗配准方法，其特征是，使用支持向量机SVM进行场景分类需要先构建有标记的数据集完成SVM的训练，具体步骤如下：将场景分为三类：光度信息更丰富的场景标记为-1，光度信息和几何信息均衡的场景标记为0，几何信息更丰富的场景标记为+1，选取连续两帧，逐次标记配准场景类别为-1、0和+1进行帧间粗配准，将各配准结果与真值比较，并以最优结果所对应的类别作为源帧的标记类别；其中，选取连续两帧是考虑到连续帧具有最大程度的重叠度，连续帧间的配准将对同一场景的性质进行表征；粗配准过程是进行关键点的检测与匹配、依据给定的场景类别结合几何信息与光度信息以及由RANSAC算法估计变换矩阵，其中检测三维关键点的方法采用均匀采样；最终，对构建好的数据集提取特征向量，用于三分类SVM的训练；
依据场景分类结果，适应性地结合几何信息与光度信息，即以不同的策略结合几何匹配点对集Mg和光度匹配点对集Mp，结合后的混合匹配点对集Mc表示为：
其中|·|表示匹配点对集的基数，
表示向上取整，Mcg表示Mc中的几何匹配点对子集，Mcp表示Mc中的光度匹配点对子集，α表示不同的场景分类结果对应的结合系数：当分类结果为-1时，α取0.2；当分类结果为0时，α取0.5；当分类结果为+1时，α取0.8。
6.如权利要求2所述的几何信息与光度信息相结合的场景分类点云粗配准方法，其特征是，采用改进的RANSAC算法估计变换矩阵，在迭代开始前，设当前最优变换Tbest＝I，其对应的最优内点数pbest＝0，最优内点误差ebest＝∞，在一次迭代中，引入服从参数为α的伯努利分布的随机变量，当随机变量值为1时，随机从Mcg中选取一个几何匹配点对，当随机变量值为0时，随机从Mcp中选取一个光度匹配点对，将随机选取的匹配点对加入到随机采样匹配点对集Mr，重复上述采样过程直到|Mr|＝3，依据Mr采用SVD(Singular ValueDecomposition，奇异值分解)算法解出变换矩阵假设Th，根据Th对源点云进行坐标变换，遍历Mc，当匹配点对间距离小于设定阈值dth时，认为其是一个正确匹配，即一个内点，统计Th下的内点数ph并以MSE(Mean Squared Error，均方误差)计算内点误差eh，引入上限比例参数βub和下限比例参数βlb，0≤βub≤1，0≤βlb≤1，如果ph>(1+βub)pbest，认为Th优于Tbest；如果(1-βlb)pbest<ph≤(1+βub)pbest且eh<ebest，认为Th优于Tbest；否则，认为Th差于Tbest，对于Th更优的情况，更新Tbest＝Th，pbest＝ph，ebest＝eh，将上述过程不断迭代直到满足迭代终止条件，即迭代次数达到上限或者ebest小于误差阈值eth，最后，依据Tbest下的所有正确匹配点对，采用SVD算法重新解算变换矩阵并更新Tbest，将最优变换矩阵Tbest作为最终的变换矩阵估计输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911178831.7A CN111009005A (zh) | 2019-11-27 | 2019-11-27 | 几何信息与光度信息相结合的场景分类点云粗配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911178831.7A CN111009005A (zh) | 2019-11-27 | 2019-11-27 | 几何信息与光度信息相结合的场景分类点云粗配准方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111009005A true CN111009005A (zh) | 2020-04-14 |
Family
ID=70112020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911178831.7A Pending CN111009005A (zh) | 2019-11-27 | 2019-11-27 | 几何信息与光度信息相结合的场景分类点云粗配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111009005A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797268A (zh) * | 2020-07-17 | 2020-10-20 | 中国海洋大学 | Rgb-d图像检索方法 |
| CN112689997A (zh) * | 2020-06-10 | 2021-04-20 | 深圳市大疆创新科技有限公司 | 点云的排序方法和装置 |
| CN112862874A (zh) * | 2021-04-23 | 2021-05-28 | 腾讯科技（深圳）有限公司 | 点云数据匹配方法、装置、电子设备及计算机存储介质 |
| CN115205354A (zh) * | 2022-06-23 | 2022-10-18 | 中国人民解放军国防科技大学 | 基于ransac和icp点云配准的相控阵激光雷达成像方法 |
| CN115841510A (zh) * | 2022-09-19 | 2023-03-24 | 南京航空航天大学 | 基于几何知识和深度学习的桌面冰壶场景下单幅图像的深度及法矢估算方法 |
| CN118154651A (zh) * | 2024-05-11 | 2024-06-07 | 山东科技大学 | 一种由粗到精的室内场景点云自动配准方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070121722A1 (en) * | 2005-11-30 | 2007-05-31 | Emin Martinian | Method and system for randomly accessing multiview videos with known prediction dependency |
| US20120063638A1 (en) * | 2010-09-10 | 2012-03-15 | Honda Motor Co., Ltd. | Egomotion using assorted features |
| US20160125226A1 (en) * | 2013-09-17 | 2016-05-05 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Method and system for automatically optimizing quality of point cloud data |
| CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
| WO2017166594A1 (zh) * | 2016-03-31 | 2017-10-05 | 百度在线网络技术（北京）有限公司 | 一种室内地图构建方法、装置和存储介质 |
| CN107240129A (zh) * | 2017-05-10 | 2017-10-10 | 同济大学 | 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法 |
| CN108053432A (zh) * | 2017-11-14 | 2018-05-18 | 华南理工大学 | 基于局部icp的室内稀疏点云场景的配准方法 |
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
| CN109934855A (zh) * | 2018-12-28 | 2019-06-25 | 南京理工大学 | 一种基于点云的带电作业场景电力部件三维重建方法 |
| CN110223348A (zh) * | 2019-02-25 | 2019-09-10 | 湖南大学 | 基于rgb-d相机的机器人场景自适应位姿估计方法 |
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
-
2019
- 2019-11-27 CN CN201911178831.7A patent/CN111009005A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070121722A1 (en) * | 2005-11-30 | 2007-05-31 | Emin Martinian | Method and system for randomly accessing multiview videos with known prediction dependency |
| US20120063638A1 (en) * | 2010-09-10 | 2012-03-15 | Honda Motor Co., Ltd. | Egomotion using assorted features |
| US20160125226A1 (en) * | 2013-09-17 | 2016-05-05 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Method and system for automatically optimizing quality of point cloud data |
| WO2017166594A1 (zh) * | 2016-03-31 | 2017-10-05 | 百度在线网络技术（北京）有限公司 | 一种室内地图构建方法、装置和存储介质 |
| CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
| CN107240129A (zh) * | 2017-05-10 | 2017-10-10 | 同济大学 | 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法 |
| CN108053432A (zh) * | 2017-11-14 | 2018-05-18 | 华南理工大学 | 基于局部icp的室内稀疏点云场景的配准方法 |
| CN109658449A (zh) * | 2018-12-03 | 2019-04-19 | 华中科技大学 | 一种基于rgb-d图像的室内场景三维重建方法 |
| CN109934855A (zh) * | 2018-12-28 | 2019-06-25 | 南京理工大学 | 一种基于点云的带电作业场景电力部件三维重建方法 |
| CN110223348A (zh) * | 2019-02-25 | 2019-09-10 | 湖南大学 | 基于rgb-d相机的机器人场景自适应位姿估计方法 |
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王鹏: "基于改进的RANSAC 的场景分类点云粗配准算法" * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112689997A (zh) * | 2020-06-10 | 2021-04-20 | 深圳市大疆创新科技有限公司 | 点云的排序方法和装置 |
| CN111797268A (zh) * | 2020-07-17 | 2020-10-20 | 中国海洋大学 | Rgb-d图像检索方法 |
| CN111797268B (zh) * | 2020-07-17 | 2023-12-26 | 中国海洋大学 | Rgb-d图像检索方法 |
| CN112862874A (zh) * | 2021-04-23 | 2021-05-28 | 腾讯科技（深圳）有限公司 | 点云数据匹配方法、装置、电子设备及计算机存储介质 |
| CN115205354A (zh) * | 2022-06-23 | 2022-10-18 | 中国人民解放军国防科技大学 | 基于ransac和icp点云配准的相控阵激光雷达成像方法 |
| CN115205354B (zh) * | 2022-06-23 | 2023-04-07 | 中国人民解放军国防科技大学 | 基于ransac和icp点云配准的相控阵激光雷达成像方法 |
| CN115841510A (zh) * | 2022-09-19 | 2023-03-24 | 南京航空航天大学 | 基于几何知识和深度学习的桌面冰壶场景下单幅图像的深度及法矢估算方法 |
| CN115841510B (zh) * | 2022-09-19 | 2023-12-12 | 南京航空航天大学 | 基于几何知识和深度学习的桌面冰壶场景下单幅图像的深度及法矢估算方法 |
| CN118154651A (zh) * | 2024-05-11 | 2024-06-07 | 山东科技大学 | 一种由粗到精的室内场景点云自动配准方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111009005A (zh) | 几何信息与光度信息相结合的场景分类点云粗配准方法 | |
| CN108090919B (zh) | 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 | |
| CN111814584B (zh) | 基于多中心度量损失的多视角环境下车辆重识别方法 | |
| CN108846358B (zh) | 一种基于孪生网络进行特征融合的目标跟踪方法 | |
| CN105913456B (zh) | 基于区域分割的视频显著性检测方法 | |
| CN111340824B (zh) | 一种基于数据挖掘的图像特征分割方法 | |
| CN110490158B (zh) | 一种基于多级模型的鲁棒人脸对齐方法 | |
| CN111652292B (zh) | 一种基于ncs、ms的相似物体实时检测方法及系统 | |
| CN115082419A (zh) | 一种吹塑箱包生产缺陷检测方法 | |
| CN108629286B (zh) | 一种基于主观感知显著模型的遥感机场目标检测方法 | |
| CN111860414B (zh) | 一种基于多特征融合检测Deepfake视频方法 | |
| CN110110694B (zh) | 一种基于目标检测的视觉slam闭环检测方法 | |
| CN111368683A (zh) | 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法 | |
| CN104200495A (zh) | 一种视频监控中的多目标跟踪方法 | |
| CN112200121A (zh) | 基于evm和深度学习的高光谱未知目标检测方法 | |
| CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
| CN112364881B (zh) | 一种进阶采样一致性图像匹配方法 | |
| CN110458019B (zh) | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 | |
| CN117576079A (zh) | 一种工业产品表面异常检测方法、装置及系统 | |
| CN113095371A (zh) | 一种面向三维重建的特征点匹配方法及系统 | |
| CN109344758B (zh) | 基于改进局部二值模式的人脸识别方法 | |
| CN111274964A (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
| CN113128518B (zh) | 基于孪生卷积网络和特征混合的sift误匹配检测方法 | |
| CN106446832B (zh) | 一种基于视频的实时检测行人的方法 | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200414 |
|
| RJ01 | Rejection of invention patent application after publication |