CN110852979A - 一种基于相位信息匹配的点云配准及融合方法 - Google Patents
一种基于相位信息匹配的点云配准及融合方法 Download PDFInfo
- Publication number
- CN110852979A CN110852979A CN201911098368.5A CN201911098368A CN110852979A CN 110852979 A CN110852979 A CN 110852979A CN 201911098368 A CN201911098368 A CN 201911098368A CN 110852979 A CN110852979 A CN 110852979A
- Authority
- CN
- China
- Prior art keywords
- point
- matching
- camera
- point cloud
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
一种基于相位信息匹配的点云配准及融合方法，包括以下步骤：S1，架设包括左相机、右相机的双目相机及投影设备；S2，左相机和右相机分别采集得到左图像和右图像，计算得到左右图像的相位，根据左右图像的相位分别标定左相机、右相机与投影设备的相对位置；S3，根据左相机、右相机的标定结果分别重建出左右两片点云；S4，在对应的左右图像中根据相位值建立像素点之间的匹配关系，再映射到左右两片点云，建立三维点之间的匹配关系，然后用一次ICP算法计算出左右两片点云的刚体变换矩阵；S5，对变换后的左右两片点云中，根据匹配关系不能满足匹配条件的公共区域的点进行剔除，并对剩余公共部分的点云进行融合，得到一片完整的点云。本发明生成的点云数据相比双目视觉相机也有更大的视野范围。
Description
技术领域
本发明涉及计算机立体视觉、点云配准及融合领域，尤其涉及一种基于相位信息匹配的点云配准及融合方法。
背景技术
三维扫描与测量技术广泛应用于制造业、电子电路行业、艺术文娱行业，考古业和医疗业等，其应用场景一般为：通过对某一类物体进行高精度三维扫描以获取其点云数据，然后对点云模型进行分析处理，实现缺陷检测、3D建模等应用功能。目前基于结构光的三维扫描技术被广泛采用，其特点在于扫描时间短、点云精度高、细节保存完好。基于结构光的三维扫描设备常见的配置有如下两种：
1)单目视觉相机：单投影单相机；
2)双目视觉相机：投影居中，两边各置一台CCD相机。
第一种方案配置简单，根据事先标定的相机和投影的相对关系完成点云的重建，由于单相机视野范围有限且投影价格昂贵，实际中较少采用；第二种方案目前常用的方法是基于双目相机成像原理，利用投影投射的光条纹为双目相机提供人为的三维信息特征，方便双目成像时找到点到点的匹配，由于采用此方法只有两个相机都能看到的点才能借助三角化完成重建，所以不可避免地会在视野上有损失。为了解决这个问题，一个可行的方案是对左右两个相机根据单投影单相机的模型分别重建出左右两片点云，然后对两片点云进行配准及融合。目前常用ICP算法对两片点云进行配准，该算法的基本思想是将两片点云中离得最近的点作为匹配对计算转换矩阵，然后应用新的转换矩阵得到新的匹配对，如此迭代多次后若收敛，则作为最终的转换矩阵。ICP算法的一大缺点是容易陷入局部极小值，且当扫描点的数量很多时，迭代速度很慢。
发明内容
为了解决上述的技术问题，本发明提供了一种基于相位信息匹配的点云配准及融合方法。
为了解决上述技术问题，本发明采取以下技术方案：
一种基于相位信息匹配的点云配准及融合方法，包括以下步骤：
S1，架设包括左相机、右相机的双目相机及投影设备；
S2，左相机和右相机分别采集得到左图像和右图像，计算得到左右图像的相位，根据左右图像的相位分别标定左相机、右相机与投影设备的相对位置；
S3，根据左相机、右相机的标定结果分别重建出左右两片点云；
S4，在对应的左右图像中根据相位值建立像素点之间的匹配关系，再映射到左右两片点云，建立三维点之间的匹配关系，然后用一次ICP算法计算出左右两片点云的刚体变换矩阵；
S5，对变换后的左右两片点云中，根据匹配关系不能满足匹配条件的公共区域的点进行剔除，并对剩余公共部分的点云进行融合，得到一片完整的点云。
所述步骤S4具体为：
在对应的左右图像中分别计算各像素点的相位值，根据搜索算法确定左右图像中对应位置的相位值的差值小于设定阈值的匹配点对，再将匹配点对映射到左右两片点云，建立左右两片点云中三维点的匹配关系，最后采用一次ICP算法求解出左右两片点云之间的刚体变换矩阵。
所述步骤S4具体包括以下步骤：
将二维相位空间按照相位值划分为m×n个小块，遍历右图像，将相位值(φx,φy)落在第(i,j)个小块中的像素点索引值存入到对应的容器中；
遍历左图像，根据相位值计算每个像素点对应的小块(i,j),遍历对应容器中所有右图像索引，计算对应的相位差值，选取差值最小的索引作为该像素点在右图像中的匹配点；
判断相位差值是否小于设定阈值，若否，则该左图像中的像素点未能找到匹配点；若是，则具有对应的匹配点；
建立左右图像中像素点的匹配关系后，一对一映射到左右两片点云中的点对匹配，然后采用ICP的解析算法即可求出两片点云的刚体变换矩阵。
根据相位值确定匹配关系后，剔除左右两片点云公共区域中未能满足匹配关系的点，保留左右两片点云各自能单独看到的点云，并对匹配点对进行融合得到一片完整的点云。
本发明具有以下有益效果：
1)在左右图像中加入了各像素点的相位信息，能够快速建立左右两片点云中三维点的匹配关系，提高了效率；
2)仅需使用一次ICP算法进行两片点云的拼接，提升了拼接效率，且不会陷入局部极小的情况；
3)采用单相机单投影模式产生点云数据然后进行拼接，生成的点云数据相比双目视觉相机有着更大的视野范围。
附图说明
附图1为本发明流程示意图；
附图2为本发明实施例的供后续点云配准及融合的图像相位匹配过程。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。
如附图1和2所示，一种基于相位信息匹配的点云配准及融合方法，包括以下步骤：
S1，架设包括左相机、右相机的双目相机及投影设备，对双目相机进行标定，确保拍摄的清晰性和准确性。
S2，左相机和右相机分别采集得到左图像和右图像，计算得到左右图像的相位，根据左右图像的相位分别标定左相机、右相机与投影设备的相对位置。左相机和右相机都分别拍摄至少20组以上的图片，左右图像为一一对应的关系。
S3，根据左相机、右相机的标定结果，利用单相机单投影设备的三维重建原理分别重建出左右两片点云。
S4，在对应的左右图像中根据相位值建立像素点之间的匹配关系，再映射到左右两片点云，建立三维点之间的匹配关系，然后用一次ICP算法计算出左右两片点云的刚体变换矩阵；
S5，对变换后的左右两片点云中，根据匹配关系不能满足匹配条件的公共区域的点进行剔除，并对剩余公共部分的点云进行融合，得到一片完整的点云。
左右图像，都分别包含横向和纵向两个相位值。
建立左右图像中点对匹配关系，具体如下：
1)将二维相位空间按照相位值划分为m×n个小块，遍历右图像，将相位值(φx,φy)落在第(i,j)个小块中的像素点索引值存入到对应的容器中；
2)遍历左图像，根据相位值计算每个像素点对应的小块(i,j),遍历对应容器中所有右图像索引，计算对应的相位差值，选取差值最小的索引作为该像素点在右图像中的匹配点；
3)判断相位差值是否小于设定阈值，若否，则该左图像中的像素点未能找到匹配点；若是，则具有对应的匹配点；
4)建立左右图像中像素点的匹配关系后，一对一映射到左右两片点云中的点对匹配，然后采用ICP的解析算法即可求出两片点云的刚体变换矩阵。
根据相位值建立的点云匹配关系对两片点云中的点进行剔除和融合，具体如下步步骤组成：
1)由于上述匹配关系未能覆盖左右两片点云中所有公共区域的点，其中包含有相位值不能满足匹配关系的左右像素点，为保证生成点云局部区域较小的方差，这样的像素点予以剔除。
2)对左右图像中完全找不到匹配关系的像素点当作各自看到的非公共区域，全部予以保留。
3)最后对公共区域的匹配点对进行坐标融合从而得到完整的一片点云。
本发明实施例中将左右相机分别与投影设备标定并生成左右两片点云；借助左右图像中像素点的相位值建立了三维点的匹配关系；利用匹配好的点对使用一次ICP完成左右两片点云的配准；最后根据相位匹配关系完成点的剔除及融合，得到了一片完整的点云。该方法提升了点云的配准速度及精度，生成的点云数据相比双目视觉相机也有更大的视野范围。
根据相位值确定匹配关系后，剔除左右两片点云公共区域中未能满足匹配关系的点，保留左右两片点云各自能单独看到的点云，并对匹配点对进行融合得到一片完整的点云。
需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于相位信息匹配的点云配准及融合方法，包括以下步骤：
S1，架设包括左相机、右相机的双目相机及投影设备；
S2，左相机和右相机分别采集得到左图像和右图像，计算得到左右图像的相位，根据左右图像的相位分别标定左相机、右相机与投影设备的相对位置；
S3，根据左相机、右相机的标定结果分别重建出左右两片点云；
S4，在对应的左右图像中根据相位值建立像素点之间的匹配关系，再映射到左右两片点云，建立三维点之间的匹配关系，然后用一次ICP算法计算出左右两片点云的刚体变换矩阵；
S5，对变换后的左右两片点云中，根据匹配关系不能满足匹配条件的公共区域的点进行剔除，并对剩余公共部分的点云进行融合，得到一片完整的点云。
2.根据权利要求1所述的基于相位信息匹配的点云配准及融合方法，其特征在于，所述步骤S4具体为：
在对应的左右图像中分别计算各像素点的相位值，根据搜索算法确定左右图像中对应位置的相位值的差值小于设定阈值的匹配点对，再将匹配点对映射到左右两片点云，建立左右两片点云中三维点的匹配关系，最后采用一次ICP算法求解出左右两片点云之间的刚体变换矩阵。
3.根据权利要求2所述的基于相位信息匹配的点云配准及融合方法，其特征在于，所述步骤S4具体包括以下步骤：
将二维相位空间按照相位值划分为m×n个小块，遍历右图像，将相位值(φx,φy)落在第(i,j)个小块中的像素点索引值存入到对应的容器中；
遍历左图像，根据相位值计算每个像素点对应的小块(i,j),遍历对应容器中所有右图像索引，计算对应的相位差值，选取差值最小的索引作为该像素点在右图像中的匹配点；
判断相位差值是否小于设定阈值，若否，则该左图像中的像素点未能找到匹配点；若是，则具有对应的匹配点；
建立左右图像中像素点的匹配关系后，一对一映射到左右两片点云中的点对匹配，然后采用ICP的解析算法即可求出两片点云的刚体变换矩阵。
4.根据权利要求3所述的基于相位信息匹配的点云配准及融合方法，其特征在于，根据相位值确定匹配关系后，剔除左右两片点云公共区域中未能满足匹配关系的点，保留左右两片点云各自能单独看到的点云，并对匹配点对进行融合得到一片完整的点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911098368.5A CN110852979A (zh) | 2019-11-12 | 2019-11-12 | 一种基于相位信息匹配的点云配准及融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911098368.5A CN110852979A (zh) | 2019-11-12 | 2019-11-12 | 一种基于相位信息匹配的点云配准及融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110852979A true CN110852979A (zh) | 2020-02-28 |
Family
ID=69600024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911098368.5A Pending CN110852979A (zh) | 2019-11-12 | 2019-11-12 | 一种基于相位信息匹配的点云配准及融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110852979A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240740A (zh) * | 2021-05-06 | 2021-08-10 | 四川大学 | 基于相位引导双目视觉密集标记点匹配的姿态测量方法 |
| CN113379812A (zh) * | 2021-05-31 | 2021-09-10 | 上海集成电路制造创新中心有限公司 | 异常像素的滤除方法及设备 |
| CN113450417A (zh) * | 2021-05-12 | 2021-09-28 | 深圳市格灵精睿视觉有限公司 | 标定参数优化方法、装置、设备及存储介质 |
| CN113781305A (zh) * | 2021-09-08 | 2021-12-10 | 浙江汉振智能技术有限公司 | 一种双单目三维成像系统的点云融合方法 |
| CN113793370A (zh) * | 2021-01-13 | 2021-12-14 | 北京京东叁佰陆拾度电子商务有限公司 | 三维点云配准方法、装置、电子设备及可读介质 |
| CN115619835A (zh) * | 2022-09-13 | 2023-01-17 | 浙江大学 | 基于深度相位相关的异构三维观测配准方法、介质及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184542A (zh) * | 2011-05-05 | 2011-09-14 | 华侨大学 | 一种双目立体视觉测量的立体匹配方法 |
| CN110033447A (zh) * | 2019-04-12 | 2019-07-19 | 东北大学 | 一种基于点云方法的高铁重轨表面缺陷检测方法 |
| CN110288699A (zh) * | 2019-06-26 | 2019-09-27 | 电子科技大学 | 一种基于结构光的三维重建方法 |
-
2019
- 2019-11-12 CN CN201911098368.5A patent/CN110852979A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184542A (zh) * | 2011-05-05 | 2011-09-14 | 华侨大学 | 一种双目立体视觉测量的立体匹配方法 |
| CN110033447A (zh) * | 2019-04-12 | 2019-07-19 | 东北大学 | 一种基于点云方法的高铁重轨表面缺陷检测方法 |
| CN110288699A (zh) * | 2019-06-26 | 2019-09-27 | 电子科技大学 | 一种基于结构光的三维重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 伍梦琦: "无标记点三维点云数据拼接技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793370A (zh) * | 2021-01-13 | 2021-12-14 | 北京京东叁佰陆拾度电子商务有限公司 | 三维点云配准方法、装置、电子设备及可读介质 |
| CN113793370B (zh) * | 2021-01-13 | 2024-04-19 | 北京京东叁佰陆拾度电子商务有限公司 | 三维点云配准方法、装置、电子设备及可读介质 |
| CN113240740A (zh) * | 2021-05-06 | 2021-08-10 | 四川大学 | 基于相位引导双目视觉密集标记点匹配的姿态测量方法 |
| CN113240740B (zh) * | 2021-05-06 | 2022-07-12 | 四川大学 | 基于相位引导双目视觉密集标记点匹配的姿态测量方法 |
| CN113450417A (zh) * | 2021-05-12 | 2021-09-28 | 深圳市格灵精睿视觉有限公司 | 标定参数优化方法、装置、设备及存储介质 |
| CN113450417B (zh) * | 2021-05-12 | 2024-08-06 | 深圳市格灵精睿视觉有限公司 | 标定参数优化方法、装置、设备及存储介质 |
| CN113379812A (zh) * | 2021-05-31 | 2021-09-10 | 上海集成电路制造创新中心有限公司 | 异常像素的滤除方法及设备 |
| WO2022252501A1 (zh) * | 2021-05-31 | 2022-12-08 | 上海集成电路制造创新中心有限公司 | 异常像素的滤除方法及设备 |
| CN113781305A (zh) * | 2021-09-08 | 2021-12-10 | 浙江汉振智能技术有限公司 | 一种双单目三维成像系统的点云融合方法 |
| CN115619835A (zh) * | 2022-09-13 | 2023-01-17 | 浙江大学 | 基于深度相位相关的异构三维观测配准方法、介质及设备 |
| CN115619835B (zh) * | 2022-09-13 | 2023-09-01 | 浙江大学 | 基于深度相位相关的异构三维观测配准方法、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110852979A (zh) | 一种基于相位信息匹配的点云配准及融合方法 | |
| CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
| CN105374019B (zh) | 一种多深度图融合方法及装置 | |
| CN108288292A (zh) | 一种三维重建方法、装置及设备 | |
| CN108122191B (zh) | 鱼眼图像拼接成全景图像和全景视频的方法及装置 | |
| CN114998499B (zh) | 一种基于线激光振镜扫描的双目三维重建方法及系统 | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| CN104240289B (zh) | 一种基于单个相机的三维数字化重建方法及系统 | |
| CN112367514A (zh) | 三维场景构建方法、装置、系统和存储介质 | |
| CN107588721A (zh) | 一种基于双目视觉的零件多尺寸的测量方法及系统 | |
| CN105043250B (zh) | 一种基于至少两个公共标记点的双视角数据对齐方法 | |
| CN107274483A (zh) | 一种物体三维模型构建方法 | |
| CN113129430B (zh) | 基于双目结构光的水下三维重建方法 | |
| CN110458952B (zh) | 一种基于三目视觉的三维重建方法和装置 | |
| CN109242898B (zh) | 一种基于图像序列的三维建模方法及系统 | |
| CN108898658A (zh) | 基于光影优化的三维几何与本征成份重建方法及装置 | |
| Zhou et al. | A two-step calibration method of lenslet-based light field cameras | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
| Mahdy et al. | Projector calibration using passive stereo and triangulation | |
| CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
| CN114782636A (zh) | 三维重建方法、装置及系统 | |
| CN111640156A (zh) | 针对室外弱纹理目标的三维重建方法、设备及存储设备 | |
| CN112150518B (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
| CN111649694B (zh) | 一种隐式相位-视差映射的双目测量缺失点云插补方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200228 |