CN117911465B - 一种基于双目立体匹配的自然保护区稠密点云生成方法 - Google Patents

Abstract

本发明公开了一种基于双目立体匹配的自然保护区稠密点云生成方法，属于图像处理技术领域，包括步骤：采集自然保护区的图像和点云；相邻两片点云配准，获取t时刻和t+1时刻的图像I_t和I_t+1的匹配点；计算I_t中每个像素点的匹配代价；生成I_t和I_t+1的真实视差图，超采样得到、，并计算中每个像素点的匹配代价，生成和的真实视差图I_2M，再基于I_2M得到稠密三维点云。本发明不仅能生成更高分辨率的点云、更适用于自然保护区这种大场景、还消除对双目相机采集图像必须水平对齐的限制，降低了计算复杂度，提高了整体的鲁棒性和稳定性。

Description

一种基于双目立体匹配的自然保护区稠密点云生成方法

技术领域

本发明涉及图像数据处理技术领域，尤其涉及一种基于双目立体匹配的自然保护区稠密点云生成方法。

背景技术

为了对自然保护区进行更好的监测和分析，往往需要计算其三维信息。

但激光雷达所直接采集的点云空间分辨率太低，难以对整个自然保护区进行高精度的三维重建。

传统的基于双目视觉的三维重建方法，需要用到双目相机模组，但双目相机模组中两个相机之间的基线往往太小，对于自然保护区这种很大的场景难以获得明显的视差，故难以计算较大规模场景的三维信息。

另外，已有的双目立体匹配算法要求双目采集的图像水平方向平齐。但直接对高分辨率的图像进行双目立体匹配，其计算复杂度高；同时约束太少、一次性提供的搜索区域过于大会严重降低算法的鲁棒性。

本发明中，互信息计算方式来自方法半全局匹配，参见论文：“A census-basedstereo vision algorithm using modified Semi-Global Matching and plane fittingto improve matching quality”（一种使用改良半全局匹配和平面拟合提升匹配质量的基于统计的立体视觉算法），来源于 2010 IEEE Computer Society Conference onComputer Vision and Pattern Recognition - Workshops, San Francisco, CA, USA,2010, pp. 77-84, doi: 10.1109/CVPRW.2010.5543769。

发明内容

本发明的目的就在于提供一种解决上述问题，能生成更高空间分辨率的点云、不受限于双目相机模组的视差，更加适用于自然保护区这种大场景、消除对双目相机采集图像必须水平对齐等限制的，一种基于双目立体匹配的自然保护区稠密点云生成方法。

为了实现上述目的，本发明采用的技术方案是这样的：一种基于双目立体匹配的自然保护区稠密点云生成方法，包括以下步骤；

S1，无人机上搭载相机和激光雷达，分别用于采集自然保护区的图像和点云，其中t时刻采集的图像为I_t、点云为P_t，t+1时刻采集的图像为I_t+1、点云为P_t+1，所述点云由三维点构成；

S2，相邻两片点云配准，其中t+1时刻的配准为，将P_t变换到了P_t+1的坐标系下，得到P_t对应的变换点云；

S3，获取I_t和I_t+1的匹配点，包括S31~ S32；

S31，从或P_t+1中任选一个三维点，分别投影到I_t和I_t+1中，若该三维点投影到I_t中的像素点为p_u、到I_t+1中的像素点为p_v，则p_u、p_v互为匹配点；

S32，按S31依次处理和P_t+1中的每个三维点，得到所有匹配点；

S4，计算I_t中每个像素点的匹配代价，包括S41~S44；

S41，构建大小为X×Y的第一搜索框，大小为W×H×X×Y的第一四维张量，其中，X、Y分别为第一搜索框的宽度和高度，W、H分别为图像的宽度和高度，X＜W，Y＜H；

S42，对I_t上第i个像素点，用第一搜索框在I_t+1上选定一搜索区域S_i，S_i的中心点坐标为/>，/>为I_t中距/>最近的拥有匹配点的像素点/>的坐标，/>为/>的匹配点/>的坐标，1≤i≤W×H；

S43，S_i内每个像素点，分别计算与的互信息，得到X×Y个互信息，作为/>的匹配代价存入C₁中，其中1个像素点互信息为/>，/>、/>分别为/>的宽度值和高度值，/>、/>为该像素点与/>在宽度和高度上的相对视差；

S44，按步骤S42~S43，得到I_t中每个像素点的匹配代价；

S5，生成I_t和I_t+1的真实视差图，包括步骤S51~S53；

S51，构建能量函数；

，

式中，为/>的邻域，j为/>中第j个像素点/>的编号，1≤j≤8，/>为/>相对视差的模长，/>为/>相对视差的模长/>指当/>时，/>的惩罚值为/>，/>指当/>时，/>的惩罚值为/>，/>、/>分别为预设的第一惩罚值和第二惩罚值；

S52，使用八路聚合的方法最小化，求解每个像素点对应的/>和/>值，构成相对视差图I_D；

S53，计算I_t和I_t+1的真实视差图I_M，I_M中第i个像素点真实视差值I_M(i_t)根据下式得到：

，

式中，I_D(i_t+1)为根据坐标i_t+1从I_D中取出的值；

S6，计算中每个像素点的匹配代价，包括S61~S63；

S61，构建大小为A×A的第二搜索框、大小为aW×aH×A×A的第二四维张量C₂，A=2a+1；

S62，将I_M中每个像素点的像素值乘以a，得到增强视差图，再分别对I_t、I_t+1和增强视差图超采样，将图像中1个像素点扩展为a×a个，得到对应的超采样图像、/>、/>；

S63，对中每个像素点，基于第二搜索框计算其匹配代价，存入C₂中；

S7，按S5的方法，生成和/>的真实视差图I_2M；

S8，根据I_2M得到与/>的匹配像素，更新t+1时刻无人机运动的相对位姿，并用三角化算法计算出三维点云，作为稠密三维点云。

作为优选：步骤S1中，相机和激光雷达预先进行过联合标定。

作为优选：步骤S2中，得到的方法为；

采用迭代最近点算法将P_t与P_t+1对齐，得到将P_t与P_t+1对齐的刚性变换矩阵T_t，再根据公式，计算得到/>。

作为优选：搜索区域S_i中心点的坐标为i_t+1，则S_i角左上角像素点的坐标为、右下角像素点的坐标为/>。

作为优选：步骤S51中，，/>。

作为优选：S63具体为；

Sa1，对上一像素点/>，用第二搜索框在/>中选定搜索区域S₂，包含A×A个像素点，其中心点坐标为/>，/>为/>中位置与/>相同的像素点坐标；

Sa2，S₂内每个像素点，分别计算与的互信息，得到A×A个互信息，作为/>的匹配代价存入C₂；

Sa3，按Sa1和Sa2，得到中每个像素点的匹配代价，共aW×aH个。

本发明中：关于S31，两片点云的配准目的是为了对齐两个时间点的坐标系，但是由于点云的稀疏性，实际上两片点云几乎不可能同时包含真实三维空间中同一个三维点，故从或P_t+1中任选一个三维点进行投影时，几乎不会出现同一个三维点重复的情况。

关于求解能量函数，实际是对相对视差图上的每个像素点，都要按能量函数的公式，使用八路聚合的方法最小化，找到满足最小化的/>和/>值，作为该像素点在相对视差图中的值。

根据两张图的视差图，就可以得到两张图的匹配像素。利用匹配像素及对极约束对无人机的相对位姿进行求解，然后通过三角化算法，交汇每一对匹配像素的投影射线计算对应3D坐标，最终得到三维点云。

优于本发明是对原始的、/>进行了超采样，在超采样图像/>、/>的基础上得到真实视差图/>，故生成的三维点云包含更多的点，为本发明所述稠密的三维点云。

与现有技术相比，本发明的优点在于：

本发明利用图像的立体匹配，同时进一步对图像进行超采样，使之能生成更高空间分辨率的点云。

本发明利用相机的运动获得更大的基线，使得更远处的视差更加明显，使之不受限于双目相机模组的视差，更加适用于自然保护区这种大场景。

本发明利用点云的配准和投影进行匹配作为搜索初始值，消除对双目相机采集图像必须水平对齐的限制。

利用由粗到细的思路进行分层计算，将其搜索的计算复杂度由降低到；O是数据结构中描述计算复杂度的符号，与数据量的最高幂次有关，忽略常数系数。本发明中从4次幂的复杂度降低到2次幂的复杂度。同时，这种方式能逐步限制搜索范围，使得整个计算更加鲁棒，提升整个系统的稳定性。

附图说明

图1为本发明流程图。

具体实施方式

下面将结合附图对本发明作进一步说明。

实施例1：参见图1，一种基于双目立体匹配的自然保护区稠密点云生成方法，包括以下步骤；

S1，无人机上搭载相机和激光雷达，分别用于采集自然保护区的图像和点云，其中t时刻采集的图像为I_t、点云为P_t，t+1时刻采集的图像为I_t+1、点云为P_t+1，所述点云由三维点构成；

S2，相邻两片点云配准，其中t+1时刻的配准为，将P_t变换到了P_t+1的坐标系下，得到P_t对应的变换点云；

S3，获取I_t和I_t+1的匹配点，包括S31~ S32；

S31，从或P_t+1中任选一个三维点，分别投影到I_t和I_t+1中，若该三维点投影到I_t中的像素点为p_u、到I_t+1中的像素点为p_v，则p_u、p_v互为匹配点；

S32，按S31依次处理和P_t+1中的每个三维点，得到所有匹配点；

S4，计算I_t中每个像素点的匹配代价，包括S41~S44；

S41，构建大小为X×Y的第一搜索框，大小为W×H×X×Y的第一四维张量，其中，X、Y分别为第一搜索框的宽度和高度，W、H分别为图像的宽度和高度，X＜W，Y＜H；

S42，对I_t上第i个像素点，用第一搜索框在I_t+1上选定一搜索区域S_i，S_i的中心点坐标为/>，/>为I_t中距/>最近的拥有匹配点的像素点/>的坐标，/>为/>的匹配点/>的坐标，1≤i≤W×H；

S43，S_i内每个像素点，分别计算与的互信息，得到X×Y个互信息，作为/>的匹配代价存入C₁中，其中1个像素点互信息为/>，/>、/>分别为/>的宽度值和高度值，/>、/>为该像素点与/>在宽度和高度上的相对视差；

S44，按步骤S42~S43，得到I_t中每个像素点的匹配代价；

S5，生成I_t和I_t+1的真实视差图，包括步骤S51~S53；

S51，构建能量函数；

，

式中，为/>的邻域，j为/>中第j个像素点/>的编号，1≤j≤8，/>为/>相对视差的模长，/>为/>相对视差的模长/>指当/>时，/>的惩罚值为/>，/>指当/>时，/>的惩罚值为/>，/>、/>分别为预设的第一惩罚值和第二惩罚值；

S52，使用八路聚合的方法最小化，求解每个像素点对应的/>和/>值，构成相对视差图I_D；

S53，计算I_t和I_t+1的真实视差图I_M，I_M中第i个像素点真实视差值I_M(i_t)根据下式得到：

，

式中，I_D(i_t+1)为根据坐标i_t+1从I_D中取出的值；

S6，计算中每个像素点的匹配代价，包括S61~S63；

S61，构建大小为A×A的第二搜索框、大小为aW×aH×A×A的第二四维张量C₂，A=2a+1；

S62，将I_M中每个像素点的像素值乘以a，得到增强视差图，再分别对I_t、I_t+1和增强视差图超采样，将图像中1个像素点扩展为a×a个，得到对应的超采样图像、/>、/>；

S63，对中每个像素点，基于第二搜索框计算其匹配代价，存入C₂中；

S7，按S5的方法，生成和/>的真实视差图I_2M；

S8，根据I_2M得到与/>的匹配像素，更新t+1时刻无人机运动的相对位姿，并用三角化算法计算出三维点云，作为稠密三维点云。

步骤S1中，相机和激光雷达预先进行过联合标定。

步骤S2中，得到的方法为；

采用迭代最近点算法将P_t与P_t+1对齐，得到将P_t与P_t+1对齐的刚性变换矩阵T_t，再根据公式，计算得到/>。

搜索区域S_i中心点的坐标为i_t+1，则S_i角左上角像素点的坐标为、右下角像素点的坐标为/>。

步骤S51中，，/>。

S63具体为；

Sa1，对上一像素点/>，用第二搜索框在/>中选定搜索区域S₂，包含A×A个像素点，其中心点坐标为/>，/>为/>中位置与/>相同的像素点坐标；

Sa2，S₂内每个像素点，分别计算与的互信息，得到A×A个互信息，作为/>的匹配代价存入C₂；

Sa3，按Sa1和Sa2，得到中每个像素点的匹配代价，共aW×aH个。

本发明不仅可以消除双目相机采集图像必须水平对齐的限制，还能降低计算复杂度，基于图像、点云和本发明的方法，生成更加稠密的点云。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于双目立体匹配的自然保护区稠密点云生成方法，其特征在于：包括以下步骤；

S1，无人机上搭载相机和激光雷达，分别用于采集自然保护区的图像和点云，其中t时刻采集的图像为I_t、点云为P_t，t+1时刻采集的图像为I_t+1、点云为P_t+1，所述点云由三维点构成；

S2，相邻两片点云配准，其中t+1时刻的配准为，将P_t变换到了P_t+1的坐标系下，得到P_t对应的变换点云；

S3，获取I_t和I_t+1的匹配点，包括S31~ S32；

S31，从或P_t+1中任选一个三维点，分别投影到I_t和I_t+1中，若该三维点投影到I_t中的像素点为p_u、到I_t+1中的像素点为p_v，则p_u、p_v互为匹配点；

S32，按S31依次处理和P_t+1中的每个三维点，得到所有匹配点；

S4，计算I_t中每个像素点的匹配代价，包括S41~S44；

S41，构建大小为X×Y的第一搜索框，大小为W×H×X×Y的第一四维张量，其中，X、Y分别为第一搜索框的宽度和高度，W、H分别为图像的宽度和高度，X＜W，Y＜H；

S42，对I_t上第i个像素点，用第一搜索框在I_t+1上选定一搜索区域S_i，S_i的中心点坐标为/>，/>为I_t中距/>最近的拥有匹配点的像素点/>的坐标，/>为/>的匹配点/>的坐标，1≤i≤W×H；

S43，S_i内每个像素点，分别计算与的互信息，得到X×Y个互信息，作为/>的匹配代价存入C₁中，其中1个像素点互信息为/>，/>、/>分别为/>的宽度值和高度值，、/>为该像素点与/>在宽度和高度上的相对视差；

S44，按步骤S42~S43，得到I_t中每个像素点的匹配代价；

S5，生成I_t和I_t+1的真实视差图，包括步骤S51~S53；

S51，构建能量函数；

，

式中，为/>的邻域，j为/>中第j个像素点/>的编号，1≤j≤8，/>为/>相对视差的模长，/>为/>相对视差的模长/>指当/>时，/>的惩罚值为，/>指当/>时，/>的惩罚值为/>，/>、/>分别为预设的第一惩罚值和第二惩罚值；

S52，使用八路聚合的方法最小化，求解每个像素点对应的/>和/>值，构成相对视差图I_D；

S53，计算I_t和I_t+1的真实视差图I_M，I_M中第i个像素点真实视差值I_M(i_t)根据下式得到：

，

式中，I_D(i_t+1)为根据坐标i_t+1从I_D中取出的值；

S6，计算中每个像素点的匹配代价，包括S61~S63；

S61，构建大小为A×A的第二搜索框、大小为aW×aH×A×A的第二四维张量C₂，A=2a+1；

S62，将I_M中每个像素点的像素值乘以a，得到增强视差图，再分别对I_t、I_t+1和增强视差图超采样，将图像中1个像素点扩展为a×a个，得到对应的超采样图像、/>、/>；

S63，对中每个像素点，基于第二搜索框计算其匹配代价，存入C₂中；

S7，按S5的方法，生成和/>的真实视差图I_2M；

S8，根据I_2M得到与/>的匹配像素，更新t+1时刻无人机运动的相对位姿，并用三角化算法计算出三维点云，作为稠密三维点云。

2.根据权利要求1所述的一种基于双目立体匹配的自然保护区稠密点云生成方法，其特征在于：步骤S1中，相机和激光雷达预先进行过联合标定。

3.根据权利要求1所述的一种基于双目立体匹配的自然保护区稠密点云生成方法，其特征在于：步骤S2中，得到的方法为；

采用迭代最近点算法将P_t与P_t+1对齐，得到将P_t与P_t+1对齐的刚性变换矩阵T_t，再根据公式，计算得到/>。

4.根据权利要求1所述的一种基于双目立体匹配的自然保护区稠密点云生成方法，其特征在于：搜索区域S_i中心点的坐标为i_t+1，则S_i角左上角像素点的坐标为、右下角像素点的坐标为/>。

5.根据权利要求1所述的一种基于双目立体匹配的自然保护区稠密点云生成方法，其特征在于：步骤S51中，，/>。

6.根据权利要求1所述的一种基于双目立体匹配的自然保护区稠密点云生成方法，其特征在于：S63具体为；

Sa1，对上一像素点/>，用第二搜索框在/>中选定搜索区域S₂，包含A×A个像素点，其中心点坐标为/>，/>为/>中位置与/>相同的像素点坐标；

Sa2，S₂内每个像素点，分别计算与的互信息，得到A×A个互信息，作为/>的匹配代价存入C₂；

Sa3，按Sa1和Sa2，得到中每个像素点的匹配代价，共aW×aH个。