CN112418250B - 一种复杂3d点云的优化匹配方法 - Google Patents
一种复杂3d点云的优化匹配方法 Download PDFInfo
- Publication number
- CN112418250B CN112418250B CN202011399620.9A CN202011399620A CN112418250B CN 112418250 B CN112418250 B CN 112418250B CN 202011399620 A CN202011399620 A CN 202011399620A CN 112418250 B CN112418250 B CN 112418250B
- Authority
- CN
- China
- Prior art keywords
- point
- principal component
- points
- image
- sparse principal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 144
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 20
- 238000012847 principal component analysis method Methods 0.000 claims abstract description 15
- 230000009977 dual effect Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 54
- 239000011159 matrix material Substances 0.000 claims description 47
- 238000000513 principal component analysis Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了复杂3D点云的优化匹配方法，该方法先通过计算不同尺度值下的各关键点的描述向量值，比较描述向量值的相似度来确定合适的尺度值，再利用稀疏主成分分析方法对图像进行去噪处理，对去噪后的图像建立3D模型，再使用轮廓提取的方法对3D模型的特征点进行特征提取，得到多个独立的3D点云模型，最后使用对偶分解的方式，将独立的3D点云模型两两组合形成一个整体再进行匹配；本发明采用稀疏主成分分析方法，能有效的去除图像中的噪音和杂波，减小3D模型建立时的误差，再利用轮廓提取的方法来提取特征状态，增强了后续匹配中的鲁棒性，使用对偶分解的方式，解决了图像中存在多个相似物体时的匹配困难的问题。
Description
技术领域
本发明涉及3D视觉领域，尤其涉及一种复杂3D点云的优化匹配方法。
背景技术
3D点云匹配是指给出两组3D点云，计算出一组点云的转移矩阵以达到移动后的点云间有最小欧式距离值，基于点云匹配的关键性，在通信领域及很多其他领域已经涉及到该技术的使用，如目标检测，目标跟踪，数据融合，图像处理，医学，机器人学及生物结构学等，国际计算机视觉与图像处理领域的顶级会议如ICCV、CVPR、ECCV、ICIP、ICPR等几乎每一届都有关于3D视觉的研究成果发表，充分说明该研究领域在国际范围内的热度及重要性。
现在已经开发出了很多3D点云匹配方法，经过我们大量的检索与参考，发现现有的匹配方法有如公开号为US20170046845A1，JP2016161569A和KR1020130037996A所公开的方法，包括如下步骤：计算相机的内参矩阵及畸变参数以及该图像的旋转矩阵；根据预设的相邻图像的重叠宽度及每一幅图像的宽度计算相机采集图像时每次的移动间隔，并据此采集图像序列；对图像序列中的每一幅图像进行校正和旋转；计算图像序列中各相邻图像间的平移矩阵，并据此对各图像进行平移，平移后保存平移参数，形成配置文件；根据配置文件及预设重叠宽度对图像序列中的各图像进行拼接及融合，形成整幅图像。但该方法在复杂的视觉场景中受图像中噪音、杂波的影响较大，不能建立完美的3D点云模型。
发明内容
本发明的目的在于，针对在所存在的不足，提出了一种能在复杂视觉场景中建立良好3D点云并进行匹配的方法，
为了克服现有技术的不足，本发明采用如下技术方案：
一种复杂3D点云的优化匹配方法，包括以下步骤：
步骤一：通过计算不同尺度值下关键点的描述向量值，选择描述向量值相似度最小时的尺度值；
步骤二：将图像分割成多个样本训练集，使用稀疏主成分分析方法对所述样本训练集进行去噪处理；
步骤三：采用轮廓提取的方法对3D模型的特征点进行特征提取，得到多个独立的3D点云模型；
步骤四：使用对偶分解的方式，将独立的3D点云模型两两组合作为一个整体进行模型匹配，实现高精度的匹配结果；
进一步的，所述步骤一中计算描述向量至的方法为：
以所述关键点的法向量为轴，生成圆柱坐标系，计算其他点在所述圆柱坐标系下的坐标，将坐标系分割成以所述尺度值为宽度的网格，并计算所有其他点的坐标在网格中的描述向量；
进一步的，计算x点在所述圆柱坐标系中的坐标公式为：
其中，p为3D关键点，n为p点的法向量，x为p点附近的另一个顶点，α为x点在p点切面上投影与p的距离，β为x点与p点切面的垂直距离，
x点的描述向量计算公式为：
其中，R为尺度值；
进一步的，所述步骤二中样本训练集通过如下方式获取：
以像素点为圆心，所述尺度值为半径内的图像作为描述所述像素点的图像块，计算所有像素点的灰度值并作降维处理生成列向量，通过对所述列向量分析获得样本块，并将所述样本块一定欧氏距离内的图像块作为相似图像块和所述样本块组成所述样本训练集；
进一步的，所述灰度值降维处理的方法为：对图像块内每一行的像素点的灰度值求平均值并作为这一行的灰度值，若该行只有一个像素点则直接将其灰度值作为该行的像素点；
进一步的，所述稀疏主成分分析方法为：对所述样本训练集中的样本块和相似图像块进行稀疏主成分分析，得到对应的稀疏主成分表达基和稀疏主成分表达系数，再利用所述稀疏主成分表达基和所述稀疏主成分表达系数对所述样本训练集中的图像块作去噪处理，之后对所述样本训练集作中心化处理并得到中心化矩阵，将中心化矩阵转换为协方差矩阵，并对所述协方差矩阵进行奇异值分解得到特征向量和特征值，以该特征值作为初始值，反复对所述样本块和相似图像块作系数主成分分析，直至收敛并得到最终的稀疏主成分表达基和稀疏主成分表达系数；
进一步的，所述稀疏主成分分析的公式为：
α＝arg min(||y-Bα||2+λ||α||0)；
进一步的，所述步骤三中轮廓提取的方法为：选取一个关键点并计算法向量，再计算其余点的法向量，选择与所述关键点法向量垂直的法向量对应的点作为所述关键点的轮廓点。
本发明所取得的有益效果是：
本发明采用稀疏主成分分析方法，能有效的去除图像中的噪音和杂波，减小3D模型建立时的误差；
本发明利用轮廓提取的方法来提取特征状态，增强了后续匹配中的鲁棒性；
本发明使用对偶分解的方式，解决了图像中存在多个相似物体时的匹配困难的问题。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
图1为本发明的3D点云匹配流程示意图。
图2为本发明的兔子点云及随机选取关键点示意图。
图3为本发明的关键点的空间几何相关结构示意图。
图4为本发明的不同尺度值计算的关键点描述向量汇总示意图。
图5为本发明的一个防浪块匹配示意图。
图6为本发明的一对防浪块匹配示意图。
图7为本发明的匹配示例示意图。
具体实施方式
为了使得本发明的目的.技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统.方法和/或特征将变得显而易见。旨在所有此类附加的系统.方法.特征和优点都包括在本说明书内.包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位，以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
实施例一。
一种复杂3D点云的优化匹配方法，包括以下步骤：
步骤一：通过计算不同尺度值下关键点的描述向量值，选择描述向量值相似度最小时的尺度值；
步骤二：将图像分割成多个样本训练集，使用稀疏主成分分析方法对所述样本训练集进行去噪处理；
步骤三：采用轮廓提取的方法对3D模型的特征点进行特征提取，得到多个独立的3D点云模型；
步骤四：使用对偶分解的方式，将独立的3D点云模型两两组合作为一个整体进行模型匹配，实现高精度的匹配结果；
所述步骤一中计算描述向量至的方法为：
以所述关键点的法向量为轴，生成圆柱坐标系，计算其他点在所述圆柱坐标系下的坐标，将坐标系分割成以所述尺度值为宽度的网格，并计算所有其他点的坐标在网格中的描述向量；
计算x点在所述圆柱坐标系中的坐标公式为：
其中，p为3D关键点，n为p点的法向量，x为p点附近的另一个顶点，α为x点在p点切面上投影与p的距离，β为x点与p点切面的垂直距离，
x点的描述向量计算公式为：
其中，R为尺度值；
所述步骤二中样本训练集通过如下方式获取：
以像素点为圆心，所述尺度值为半径内的图像作为描述所述像素点的图像块，计算所有像素点的灰度值并作降维处理生成列向量，通过对所述列向量分析获得样本块，并将所述样本块一定欧氏距离内的图像块作为相似图像块和所述样本块组成所述样本训练集；
所述灰度值降维处理的方法为：对图像块内每一行的像素点的灰度值求平均值并作为这一行的灰度值，若该行只有一个像素点则直接将其灰度值作为该行的像素点；
所述稀疏主成分分析方法为：对所述样本训练集中的样本块和相似图像块进行稀疏主成分分析，得到对应的稀疏主成分表达基和稀疏主成分表达系数，再利用所述稀疏主成分表达基和所述稀疏主成分表达系数对所述样本训练集中的图像块作去噪处理，之后对所述样本训练集作中心化处理并得到中心化矩阵，将中心化矩阵转换为协方差矩阵，并对所述协方差矩阵进行奇异值分解得到特征向量和特征值，以该特征值作为初始值，反复对所述样本块和相似图像块作系数主成分分析，直至收敛并得到最终的稀疏主成分表达基和稀疏主成分表达系数；
所述稀疏主成分分析的公式为：
α＝arg min(||y-Bα||2+λ||α||0)；
所述步骤三中轮廓提取的方法为：选取一个关键点并计算法向量，再计算其余点的法向量，选择与所述关键点法向量垂直的法向量对应的点作为所述关键点的轮廓点。
实施例二。
一种复杂3D点云的优化匹配方法，其特征在于包括以下步骤：
步骤一：通过计算不同尺度值下关键点的描述向量值，选择描述向量值相似度最小时的尺度值；
步骤二：将图像分割成多个样本训练集，使用稀疏主成分分析方法对所述样本训练集进行去噪处理；
步骤三：采用轮廓提取的方法对3D模型的特征点进行特征提取，得到多个独立的3D点云模型；
步骤四：使用对偶分解的方式，将独立的3D点云模型两两组合作为一个整体进行模型匹配，实现高精度的匹配结果；
所述步骤一中计算描述向量值的方法为：
以所述关键点的法向量为轴，生成圆柱坐标系，计算其他点在所述圆柱坐标系下的坐标，将坐标系分割成以所述尺度值为宽度的网格，并计算所有其他点的坐标在网格中的描述向量；
计算x点在所述圆柱坐标系中的坐标公式为：
其中，p为3D关键点，n为p点的法向量，x为p点附近的另一个顶点，α为x点在p点切面上投影与p的距离，β为x点与p点切面的垂直距离，
x点的描述向量计算公式为：
其中，R为尺度值；
所述步骤二中样本训练集通过如下方式获取：
以像素点为圆心，所述尺度值为半径内的图像作为描述所述像素点的图像块，计算所有像素点的灰度值并作降维处理生成列向量，通过对所述列向量分析获得样本块，并将所述样本块一定欧氏距离内的图像块作为相似图像块和所述样本块组成所述样本训练集；
所述灰度值降维处理的方法为：对图像块内每一行的像素点的灰度值求平均值并作为这一行的灰度值，若该行只有一个像素点则直接将其灰度值作为该行的像素点；
所述稀疏主成分分析方法为：对所述样本训练集中的样本块和相似图像块进行稀疏主成分分析，得到对应的稀疏主成分表达基和稀疏主成分表达系数，再利用所述稀疏主成分表达基和所述稀疏主成分表达系数对所述样本训练集中的图像块作去噪处理，之后对所述样本训练集作中心化处理并得到中心化矩阵，将中心化矩阵转换为协方差矩阵，并对所述协方差矩阵进行奇异值分解得到特征向量和特征值，以该特征值作为初始值，反复对所述样本块和相似图像块作系数主成分分析，直至收敛并得到最终的稀疏主成分表达基和稀疏主成分表达系数；
所述稀疏主成分分析的公式为：
α＝arg min(||y-Bα||2+λ||α||0)；
所述步骤三中轮廓提取的方法为：选取一个关键点并计算法向量，再计算其余点的法向量，选择与所述关键点法向量垂直的法向量对应的点作为所述关键点的轮廓点；
如图2所示，随机选取3D点云关键点，并给出3个不同的的尺度值0.001、0.1和1.0，分别计算出3D关键点的描述向量值，计算描述向量值的方法如下：
如图3所示，p为3D关键点，P为p点的切面，n为p点的法向量，x为p点附近的另一个顶点，α为x点在P上投影与p的距离，β为x点与P切面的垂直距离；
记尺度值为R，以n向量为轴，生成一个圆柱坐标系，计算图中的其余点作为x点在该圆柱坐标系中的坐标：
将坐标系分割成R*R的网格，x点的描述向量为：
将所有x点的描述向量汇总得到如图4所示的图像，从图中可知，当尺度值为0.1时，此点云的关键点描述向量值之间的相似度最低可以达到最好的匹配效果，相反，当尺度值特别小或者特别大的时候，关键点描述向量几乎一样，所以，可将0.1作为尺度值；
对于待处理图像中的每一个点，以该点为圆心，所述尺度值为半径的范围作圆，该圆内的图像作为描述该点的图像块，对待处理图像上的每一个点执行上述操作，若所作圆超出图像范围，则自动略去超出的范围；
获取所有图像块的灰度值，并对所述图像块的灰度值作降维处理，对图像块内每一行的像素点的灰度值求其平均值作为这一行的灰度值，若该行只有一个像素点则直接将其灰度值作为该行的像素点，按上述操作后，所述图像块的灰度值降维成列向量表示，计算所有图像块的列向量的方差，若方差小于设定阈值，则将该方差对应的图像块作为样本块，计算样本块与周围图像块的欧氏距离，再根据欧式距离从周围图像块中获取相似图像块与所述样本块组成样本训练集；
对样本训练集中的样本块和相似图像块进行稀疏主成分分析，得到对应的稀疏主成分表达基和稀疏主成分表达系数，再利用所述稀疏主成分表达基和所述稀疏主成分表达系数对所述样本训练集中的图像块作去噪处理，之后对所述样本训练集作中心化处理并得到中心化矩阵，将中心化矩阵转换为协方差矩阵，并对所述协方差矩阵进行奇异值分解得到特征向量和特征值，以该特征值作为初始值，反复对所述样本块和相似图像块作系数主成分分析，直至收敛得到最终的稀疏主成分表达基和稀疏主成分表达系数；
其中，进行稀疏主成分分析的公式为：
α＝arg min(||y-Bα||2+λ||α||0)，
式中，y为中心化矩阵，B为稀疏主成分表达基，α为稀疏主成分表达系数，λ为信号的重建残差和表达系数之间的平衡因子；
对所有的样本块及其相似图像块作上述处理后，所有的图像块都被进行了去噪处理，由新的图像块构成了不含噪声的图像，以新的去噪图像为基础构建得到新的3D模型。
实施例三。
一种复杂3D点云的优化匹配方法，其特征在于包括以下步骤：
步骤一：通过计算不同尺度值下关键点的描述向量值，选择描述向量值相似度最小时的尺度值；
步骤二：将图像分割成多个样本训练集，使用稀疏主成分分析方法对所述样本训练集进行去噪处理；
步骤三：采用轮廓提取的方法对3D模型的特征点进行特征提取，得到多个独立的3D点云模型；
步骤四：使用对偶分解的方式，将独立的3D点云模型两两组合作为一个整体进行模型匹配，实现高精度的匹配结果；
所述步骤一中计算描述向量至的方法为：
以所述关键点的法向量为轴，生成圆柱坐标系，计算其他点在所述圆柱坐标系下的坐标，将坐标系分割成以所述尺度值为宽度的网格，并计算所有其他点的坐标在网格中的描述向量；
计算x点在所述圆柱坐标系中的坐标公式为：
其中，p为3D关键点，n为p点的法向量，x为p点附近的另一个顶点，α为x点在p点切面上投影与p的距离，β为x点与p点切面的垂直距离，
x点的描述向量计算公式为：
其中，R为尺度值；
所述步骤二中样本训练集通过如下方式获取：
以像素点为圆心，所述尺度值为半径内的图像作为描述所述像素点的图像块，计算所有像素点的灰度值并作降维处理生成列向量，通过对所述列向量分析获得样本块，并将所述样本块一定欧氏距离内的图像块作为相似图像块和所述样本块组成所述样本训练集；
所述灰度值降维处理的方法为：对图像块内每一行的像素点的灰度值求平均值并作为这一行的灰度值，若该行只有一个像素点则直接将其灰度值作为该行的像素点；
所述稀疏主成分分析方法为：对所述样本训练集中的样本块和相似图像块进行稀疏主成分分析，得到对应的稀疏主成分表达基和稀疏主成分表达系数，再利用所述稀疏主成分表达基和所述稀疏主成分表达系数对所述样本训练集中的图像块作去噪处理，之后对所述样本训练集作中心化处理并得到中心化矩阵，将中心化矩阵转换为协方差矩阵，并对所述协方差矩阵进行奇异值分解得到特征向量和特征值，以该特征值作为初始值，反复对所述样本块和相似图像块作系数主成分分析，直至收敛并得到最终的稀疏主成分表达基和稀疏主成分表达系数；
所述稀疏主成分分析的公式为：
α＝arg min(||y-Bα||2+λ||α||0)；
所述步骤三中轮廓提取的方法为：选取一个关键点并计算法向量，再计算其余点的法向量，选择与所述关键点法向量垂直的法向量对应的点作为所述关键点的轮廓点；
如图2所示，随机选取3D点云关键点，并给出3个不同的的尺度值0.001、0.1和1.0，分别计算出3D关键点的描述向量值，计算描述向量值的方法如下：
如图3所示，p为3D关键点，P为p点的切面，n为p点的法向量，x为p点附近的另一个顶点，α为x点在P上投影与p的距离，β为x点与P切面的垂直距离；
记尺度值为R，以n向量为轴，生成一个圆柱坐标系，计算图中的其余点作为x点在该圆柱坐标系中的坐标：
将坐标系分割成R*R的网格，x点的描述向量为：
将所有x点的描述向量汇总得到如图4所示的图像，从图中可知，当尺度值为0.1时，此点云的关键点描述向量值之间的相似度最低可以达到最好的匹配效果，相反，当尺度值特别小或者特别大的时候，关键点描述向量几乎一样，所以，可将0.1作为尺度值；
对于待处理图像中的每一个点，以该点为圆心，所述尺度值为半径的范围作圆，该圆内的图像作为描述该点的图像块，对待处理图像上的每一个点执行上述操作，若所作圆超出图像范围，则自动略去超出的范围；
获取所有图像块的灰度值，并对所述图像块的灰度值作降维处理，对图像块内每一行的像素点的灰度值求其平均值作为这一行的灰度值，若该行只有一个像素点则直接将其灰度值作为该行的像素点，按上述操作后，所述图像块的灰度值降维成列向量表示，计算所有图像块的列向量的方差，若方差小于设定阈值，则将该方差对应的图像块作为样本块，计算样本块与周围图像块的欧氏距离，再根据欧式距离从周围图像块中获取相似图像块与所述样本块组成样本训练集；
对样本训练集中的样本块和相似图像块进行稀疏主成分分析，得到对应的稀疏主成分表达基和稀疏主成分表达系数，再利用所述稀疏主成分表达基和所述稀疏主成分表达系数对所述样本训练集中的图像块作去噪处理，之后对所述样本训练集作中心化处理并得到中心化矩阵，将中心化矩阵转换为协方差矩阵，并对所述协方差矩阵进行奇异值分解得到特征向量和特征值，以该特征值作为初始值，反复对所述样本块和相似图像块作系数主成分分析，直至收敛得到最终的稀疏主成分表达基和稀疏主成分表达系数；
其中，进行稀疏主成分分析的公式为：
α＝arg min(||y-Bα||2+λ||α||0)，
式中，y为中心化矩阵，B为稀疏主成分表达基，α为稀疏主成分表达系数，λ为信号的重建残差和表达系数之间的平衡因子；
对所有的样本块及其相似图像块作上述处理后，所有的图像块都被进行了去噪处理，由新的图像块构成了不含噪声的图像，以新的去噪图像为基础构建得到新的3D模型；
选取3D模型中的一个关键点，计算该点的法向量，方法如下：
记该关键点坐标为A(α，β，γ)，选取该关键点周围的点Ai(αi，βi，γi)，计算该关键点到所有周围点的向量将所得的所有向量相加得到参考向量将参考向量反向处理并进行归一化得到该关键点的法向量/>
上述中关键点周围的点的选取通过计算关键点与其余点的欧氏距离，将欧氏距离小于预设阈值的点作为参与法向量计算的所述关键点周围的点，若周围的点的数量少于50，则提高所述预设阈值直至所述数量大于50；
计算所有点的法向量，并搜索所有与所述关键点的法向量垂直的法向量，将这些法向量对应的点的集合作为一组轮廓点，记这些轮廓点为Bj(αj，βj，γj)，则关键点A到轮廓点的向量为：通过/>公式得到所述关键点与所述轮廓点的角度关系，再计算所述关键点与所述轮廓点之间的欧氏距离lj,则每一个轮廓点与关键点之间的关系可用(lj，θj)表示，所有轮廓点与所述关键点的关系集合构成一个点阵，作为该关键点的描述符。
实施例四。
一种复杂3D点云的优化匹配方法，其特征在于包括以下步骤：
步骤一：通过计算不同尺度值下关键点的描述向量值，选择描述向量值相似度最小时的尺度值；
步骤二：将图像分割成多个样本训练集，使用稀疏主成分分析方法对所述样本训练集进行去噪处理；
步骤三：采用轮廓提取的方法对3D模型的特征点进行特征提取，得到多个独立的3D点云模型；
步骤四：使用对偶分解的方式，将独立的3D点云模型两两组合作为一个整体进行模型匹配，实现高精度的匹配结果；
所述步骤一中计算描述向量至的方法为：
以所述关键点的法向量为轴，生成圆柱坐标系，计算其他点在所述圆柱坐标系下的坐标，将坐标系分割成以所述尺度值为宽度的网格，并计算所有其他点的坐标在网格中的描述向量；
计算x点在所述圆柱坐标系中的坐标公式为：
其中，p为3D关键点，n为p点的法向量，x为p点附近的另一个顶点，α为x点在p点切面上投影与p的距离，β为x点与p点切面的垂直距离，
x点的描述向量计算公式为：
其中，R为尺度值；
所述步骤二中样本训练集通过如下方式获取：
以像素点为圆心，所述尺度值为半径内的图像作为描述所述像素点的图像块，计算所有像素点的灰度值并作降维处理生成列向量，通过对所述列向量分析获得样本块，并将所述样本块一定欧氏距离内的图像块作为相似图像块和所述样本块组成所述样本训练集；
所述灰度值降维处理的方法为：对图像块内每一行的像素点的灰度值求平均值并作为这一行的灰度值，若该行只有一个像素点则直接将其灰度值作为该行的像素点；
所述稀疏主成分分析方法为：对所述样本训练集中的样本块和相似图像块进行稀疏主成分分析，得到对应的稀疏主成分表达基和稀疏主成分表达系数，再利用所述稀疏主成分表达基和所述稀疏主成分表达系数对所述样本训练集中的图像块作去噪处理，之后对所述样本训练集作中心化处理并得到中心化矩阵，将中心化矩阵转换为协方差矩阵，并对所述协方差矩阵进行奇异值分解得到特征向量和特征值，以该特征值作为初始值，反复对所述样本块和相似图像块作系数主成分分析，直至收敛并得到最终的稀疏主成分表达基和稀疏主成分表达系数；
所述稀疏主成分分析的公式为：
α＝arg min(||y-Bα||2+λ||α||0)；
所述步骤三中轮廓提取的方法为：选取一个关键点并计算法向量，再计算其余点的法向量，选择与所述关键点法向量垂直的法向量对应的点作为所述关键点的轮廓点；
如图2所示，随机选取3D点云关键点，并给出3个不同的的尺度值0.001、0.1和1.0，分别计算出3D关键点的描述向量值，计算描述向量值的方法如下：
如图3所示，p为3D关键点，P为p点的切面，n为p点的法向量，x为p点附近的另一个顶点，α为x点在P上投影与p的距离，β为x点与P切面的垂直距离；
记尺度值为R，以n向量为轴，生成一个圆柱坐标系，计算图中的其余点作为x点在该圆柱坐标系中的坐标：
将坐标系分割成R*R的网格，x点的描述向量为：
将所有x点的描述向量汇总得到如图4所示的图像，从图中可知，当尺度值为0.1时，此点云的关键点描述向量值之间的相似度最低可以达到最好的匹配效果，相反，当尺度值特别小或者特别大的时候，关键点描述向量几乎一样，所以，可将0.1作为尺度值；
对于待处理图像中的每一个点，以该点为圆心，所述尺度值为半径的范围作圆，该圆内的图像作为描述该点的图像块，对待处理图像上的每一个点执行上述操作，若所作圆超出图像范围，则自动略去超出的范围；
获取所有图像块的灰度值，并对所述图像块的灰度值作降维处理，对图像块内每一行的像素点的灰度值求其平均值作为这一行的灰度值，若该行只有一个像素点则直接将其灰度值作为该行的像素点，按上述操作后，所述图像块的灰度值降维成列向量表示，计算所有图像块的列向量的方差，若方差小于设定阈值，则将该方差对应的图像块作为样本块，计算样本块与周围图像块的欧氏距离，再根据欧式距离从周围图像块中获取相似图像块与所述样本块组成样本训练集；
对样本训练集中的样本块和相似图像块进行稀疏主成分分析，得到对应的稀疏主成分表达基和稀疏主成分表达系数，再利用所述稀疏主成分表达基和所述稀疏主成分表达系数对所述样本训练集中的图像块作去噪处理，之后对所述样本训练集作中心化处理并得到中心化矩阵，将中心化矩阵转换为协方差矩阵，并对所述协方差矩阵进行奇异值分解得到特征向量和特征值，以该特征值作为初始值，反复对所述样本块和相似图像块作系数主成分分析，直至收敛得到最终的稀疏主成分表达基和稀疏主成分表达系数；
其中，进行稀疏主成分分析的公式为：
α＝arg min(||y-Bα||2+λ||α||0)，
式中，y为中心化矩阵，B为稀疏主成分表达基，α为稀疏主成分表达系数，λ为信号的重建残差和表达系数之间的平衡因子；
对所有的样本块及其相似图像块作上述处理后，所有的图像块都被进行了去噪处理，由新的图像块构成了不含噪声的图像，以新的去噪图像为基础构建得到新的3D模型；
选取3D模型中的一个关键点，计算该点的法向量，方法如下：
记该关键点坐标为A(α，β，γ)，选取该关键点周围的点Ai(αi，βi，γi)，计算该关键点到所有周围点的向量将所得的所有向量相加得到参考向量将参考向量反向处理并进行归一化得到该关键点的法向量/>/>
上述中关键点周围的点的选取通过计算关键点与其余点的欧氏距离，将欧氏距离小于预设阈值的点作为参与法向量计算的所述关键点周围的点，若周围的点的数量少于50，则提高所述预设阈值直至所述数量大于50；
计算所有点的法向量，并搜索所有与所述关键点的法向量垂直的法向量，将这些法向量对应的点的集合作为一组轮廓点，记这些轮廓点为Bj(αj，βj，γj)，则关键点A到轮廓点的向量为：通过/>公式得到所述关键点与所述轮廓点的角度关系，再计算所述关键点与所述轮廓点之间的欧氏距离lj,则每一个轮廓点与关键点之间的关系可用(lj，θj)表示，所有轮廓点与所述关键点的关系集合构成一个点阵，作为该关键点的描述符；
对于较复杂的3D点云，单依靠尺度匹配以及3D特征描述匹配往往不能得到精确结果，如图5所示，左图中的一个防浪块能与右图中的四个防浪块进行匹配，匹配结果不确定从而导致匹配出现错误，对于这类3D点云，本发明采用对偶分解的方法来实现匹配目的，如图6所示，将左图中的两个防浪块组成一对防浪块组，将其作为一个整体去寻找匹配对象；
在图匹配计算中，如图7所示，假设点云A由P1，P2，P3，…，Pm组成，点云B由Q1，Q2，Q3，…，Qn组成，若P1与Q1对应，则对应标签x11＝1，x12＝x13＝…＝x1n＝0，由P1与Q1计算的对应熵值最大，有max E(x)＝∑a∈REaxa，其中a为对应x下标，同理，若P1、P2与Q1、Q2对应，则x11＝x22＝1，x12＝x13＝…＝x1n＝x21＝x23＝…＝x2n＝0，有max E(x)＝∑a,b∈REa,bxaxb，其中，a，b为对应x下标，综合上式可得max E(x)＝∑a∈REaxa+∑a,b∈REa,bxaxb，运用传统的如最小二乘等方法并不能解决有制约的离散问题，因此提出了运用对偶分解的方法，将原最大化或最小化问题转化为求上限或下限问题来划分子问题，并在每一次循环中通过子问题的解决更新原问题一达到收敛目的。
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范。
Claims (5)
1.一种复杂3D点云的优化匹配方法，其特征在于包括以下步骤：
步骤一：通过计算不同尺度值下关键点的描述向量值，选择描述向量值相似度最小时的尺度值；
步骤二：将图像分割成多个样本训练集，使用稀疏主成分分析方法对所述样本训练集进行去噪处理；
步骤三：采用轮廓提取的方法对3D模型的特征点进行特征提取，得到多个独立的3D点云模型；
步骤四：使用对偶分解的方式，将独立的3D点云模型两两组合作为一个整体进行模型匹配，实现高精度的匹配结果；
所述稀疏主成分分析方法为：对所述样本训练集中的样本块和相似图像块进行稀疏主成分分析，得到对应的稀疏主成分表达基和稀疏主成分表达系数，再利用所述稀疏主成分表达基和所述稀疏主成分表达系数对所述样本训练集中的图像块作去噪处理，之后对所述样本训练集作中心化处理并得到中心化矩阵，将中心化矩阵转换为协方差矩阵，并对所述协方差矩阵进行奇异值分解得到特征向量和特征值，以该特征值作为初始值，反复对所述样本块和相似图像块作系数主成分分析，直至收敛并得到最终的稀疏主成分表达基和稀疏主成分表达系数；
所述稀疏主成分分析的公式为：
α＝arg min(y-Bα2+λα0)；
所述步骤三中轮廓提取的方法为：选取一个关键点并计算法向量，再计算其余点的法向量，选择与所述关键点法向量垂直的法向量对应的点作为所述关键点的轮廓点；
式中，y为中心化矩阵，B为稀疏主成分表达基，α为稀疏主成分表达系数，λ为信号的重建残差和表达系数之间的平衡因子。
2.如权利要求1所述的一种复杂3D点云的优化匹配方法，所述步骤一中计算描述向量值的方法为：
以所述关键点的法向量为轴，生成圆柱坐标系，计算其他点在所述圆柱坐标系下的坐标，将坐标系分割成以所述尺度值为宽度的网格，并计算所有其他点的坐标在网格中的描述向量。
3.如权利要求2所述的一种复杂3D点云的优化匹配方法，计算x点在所述圆柱坐标系中的坐标公式为：
其中，p为3D关键点，n为p点的法向量，x为p点附近的另一个顶点，α为x点在p点切面上投影与p的距离，β为x点与p点切面的垂直距离，
x点的描述向量计算公式为：
其中，R为尺度值。
4.如权利要求3所述的一种复杂3D点云的优化匹配方法，所述步骤二中样本训练集通过如下方式获取：
以像素点为圆心，所述尺度值为半径内的图像作为描述所述像素点的图像块，计算所有像素点的灰度值并作降维处理生成列向量，通过对所述列向量分析获得样本块，并将所述样本块一定欧氏距离内的图像块作为相似图像块和所述样本块组成所述样本训练集。
5.如权利要求4所述的一种复杂3D点云的优化匹配方法，所述灰度值降维处理的方法为：对图像块内每一行的像素点的灰度值求平均值并作为这一行的灰度值，若该行只有一个像素点则直接将其灰度值作为该行的像素点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011399620.9A CN112418250B (zh) | 2020-12-01 | 2020-12-01 | 一种复杂3d点云的优化匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011399620.9A CN112418250B (zh) | 2020-12-01 | 2020-12-01 | 一种复杂3d点云的优化匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112418250A CN112418250A (zh) | 2021-02-26 |
| CN112418250B true CN112418250B (zh) | 2024-05-10 |
Family
ID=74829155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011399620.9A Active CN112418250B (zh) | 2020-12-01 | 2020-12-01 | 一种复杂3d点云的优化匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112418250B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990384B (zh) * | 2021-05-13 | 2021-08-31 | 中国科学院自动化研究所 | 一种基于噪声灭活的生物特征识别对抗防御方法 |
| CN116485887B (zh) * | 2023-01-16 | 2024-02-02 | 湖北普罗格科技股份有限公司 | 一种无监督3d纸箱检测方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105321178A (zh) * | 2015-10-12 | 2016-02-10 | 武汉工程大学 | 一种基于稀疏主成分分析的图像分割的方法及装置 |
| US9466143B1 (en) * | 2013-05-03 | 2016-10-11 | Exelis, Inc. | Geoaccurate three-dimensional reconstruction via image-based geometry |
| CN106683173A (zh) * | 2016-12-22 | 2017-05-17 | 西安电子科技大学 | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 |
| CN108198230A (zh) * | 2018-02-05 | 2018-06-22 | 西北农林科技大学 | 一种基于散乱图像的作物果实三维点云提取系统 |
| CN108433700A (zh) * | 2017-02-16 | 2018-08-24 | 西门子保健有限责任公司 | 从表面数据估计患者内部解剖结构 |
| CN108830888A (zh) * | 2018-05-24 | 2018-11-16 | 中北大学 | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 |
| CN109272524A (zh) * | 2018-08-27 | 2019-01-25 | 大连理工大学 | 一种基于阈值分割的小尺度点云噪声去噪方法 |
| CN109816686A (zh) * | 2019-01-15 | 2019-05-28 | 山东大学 | 基于物体实例匹配的机器人语义slam方法、处理器及机器人 |
| CN110490912A (zh) * | 2019-07-17 | 2019-11-22 | 哈尔滨工程大学 | 基于局部灰度顺序模型描述符的3d-rgb点云配准方法 |
| CN111080684A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨工程大学 | 一种点邻域尺度差异描述的点云配准方法 |
| MY177207A (en) * | 2013-12-20 | 2020-09-09 | Institute Of Tech Petronas Sdn Bhd | A novel reduced representation of 3d geometry descriptors using eigen decomposition, multi-view analysis and method thereof |
| CN113034673A (zh) * | 2021-03-24 | 2021-06-25 | 怀化学院 | 一种3d点云建模系统及计算机可读存储介质 |
| CN116798027A (zh) * | 2023-04-18 | 2023-09-22 | 怀化学院 | 基于多尺度特征提取的三维点云实时云匹配方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9280825B2 (en) * | 2014-03-10 | 2016-03-08 | Sony Corporation | Image processing system with registration mechanism and method of operation thereof |
| US10198858B2 (en) * | 2017-03-27 | 2019-02-05 | 3Dflow Srl | Method for 3D modelling based on structure from motion processing of sparse 2D images |
-
2020
- 2020-12-01 CN CN202011399620.9A patent/CN112418250B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9466143B1 (en) * | 2013-05-03 | 2016-10-11 | Exelis, Inc. | Geoaccurate three-dimensional reconstruction via image-based geometry |
| MY177207A (en) * | 2013-12-20 | 2020-09-09 | Institute Of Tech Petronas Sdn Bhd | A novel reduced representation of 3d geometry descriptors using eigen decomposition, multi-view analysis and method thereof |
| CN105321178A (zh) * | 2015-10-12 | 2016-02-10 | 武汉工程大学 | 一种基于稀疏主成分分析的图像分割的方法及装置 |
| CN106683173A (zh) * | 2016-12-22 | 2017-05-17 | 西安电子科技大学 | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 |
| CN108433700A (zh) * | 2017-02-16 | 2018-08-24 | 西门子保健有限责任公司 | 从表面数据估计患者内部解剖结构 |
| CN108198230A (zh) * | 2018-02-05 | 2018-06-22 | 西北农林科技大学 | 一种基于散乱图像的作物果实三维点云提取系统 |
| CN108830888A (zh) * | 2018-05-24 | 2018-11-16 | 中北大学 | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 |
| CN109272524A (zh) * | 2018-08-27 | 2019-01-25 | 大连理工大学 | 一种基于阈值分割的小尺度点云噪声去噪方法 |
| CN109816686A (zh) * | 2019-01-15 | 2019-05-28 | 山东大学 | 基于物体实例匹配的机器人语义slam方法、处理器及机器人 |
| CN110490912A (zh) * | 2019-07-17 | 2019-11-22 | 哈尔滨工程大学 | 基于局部灰度顺序模型描述符的3d-rgb点云配准方法 |
| CN111080684A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨工程大学 | 一种点邻域尺度差异描述的点云配准方法 |
| CN113034673A (zh) * | 2021-03-24 | 2021-06-25 | 怀化学院 | 一种3d点云建模系统及计算机可读存储介质 |
| CN116798027A (zh) * | 2023-04-18 | 2023-09-22 | 怀化学院 | 基于多尺度特征提取的三维点云实时云匹配方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| SLAM-OR: Simultaneous Localization, Mapping and Object Recognition Using Video Sensors Data in Open Environments from the Sparse Points Cloud;Mazurek, P;SENSORS;第21卷(第14期);4734 * |
| 基于关键点特征匹配的点云配准方法;陆军;邵红旭;王伟;范哲君;夏桂华;;北京理工大学学报(第04期);63-69 * |
| 基于复杂3D 点云数据拼接算法研究;李珊珊;电子制作(第14期);20-21 * |
| 基于稀疏图像序列的雕塑点自动云三维重构方法;郭耀武;;自动化与仪器仪表(第02期);145-148 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112418250A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097093B (zh) | 一种异源图像精确匹配方法 | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
| CN108230237B (zh) | 一种用于电气设备在线检测的多光谱图像重构方法 | |
| CN110490158B (zh) | 一种基于多级模型的鲁棒人脸对齐方法 | |
| CN110992263B (zh) | 一种图像拼接方法及系统 | |
| CN112001955A (zh) | 一种基于二维投影平面匹配约束的点云配准方法及系统 | |
| CN112418250B (zh) | 一种复杂3d点云的优化匹配方法 | |
| CN108550166B (zh) | 一种空间目标图像匹配方法 | |
| CN106408597A (zh) | 基于邻域熵和一致性检测的sar图像配准方法 | |
| CN111179433A (zh) | 目标物体的三维建模方法及装置、电子设备、存储介质 | |
| Kabbai et al. | Image matching based on LBP and SIFT descriptor | |
| CN107154017A (zh) | 一种基于sift特征点匹配的图像拼接方法 | |
| Tang et al. | Retinal image registration based on robust non-rigid point matching method | |
| CN111798453A (zh) | 用于无人驾驶辅助定位的点云配准方法及其系统 | |
| CN113095385B (zh) | 一种基于全局和局部特征描述的多模图像匹配方法 | |
| CN112085117B (zh) | 一种基于MTLBP-Li-KAZE-R-RANSAC的机器人运动监测视觉信息融合方法 | |
| CN116630662A (zh) | 一种应用于视觉slam的特征点误匹配剔除方法 | |
| CN111612063A (zh) | 一种图像匹配方法、装置、设备及计算机可读存储介质 | |
| CN114170450A (zh) | 一种基于区域一致性和gms的图像特征匹配方法 | |
| Zhang et al. | Perspective distortion correction for multi-modal registration between ultra-widefield and narrow-angle retinal images | |
| CN114545412A (zh) | Isar图像序列等效雷达视线拟合的空间目标姿态估计方法 | |
| Tang et al. | A GMS-guided approach for 2D feature correspondence selection | |
| CN113780240A (zh) | 基于神经网络及旋转特征增强的物体位姿估计方法 | |
| CN114463534A (zh) | 一种目标关键点检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |