CN109903327A - 一种稀疏点云的目标物尺寸测量方法 - Google Patents

Abstract

本发明涉及一种稀疏点云的目标物尺寸测量方法，包括以下技术步骤：将点云坐标系转换成图像像素坐标系；对点云数据在XY平面进行投影，得到二维点云；对匹配后的图像用Canny算子进行边缘检测；采用图像形态学方法对边缘轮廓线进行去噪及细化；对点云图像进行遍历搜索，与二值轮廓图像进行像素点坐标匹配；将匹配吻合的点云坐标提取出来构成新的点云，对新的点云进行直线拟合和尺寸测量。本发明通过对点云图像与立体匹配后的轮廓图像的重叠，进而提取出轮廓线上的点云，再利用线性拟合算法对提取出的新点云坐标进行直线拟合，进一步进行尺寸测量。

Description

一种稀疏点云的目标物尺寸测量方法

技术领域

本发明涉及计算机视觉技术领域，具体是涉及一种稀疏点云的目标物尺寸测量方法。

背景技术

通过计算机视觉系统获得的点云数据有两个特点：稀疏散乱点云；存在误匹配的噪声点。在三维重建技术中，一般对目标物的点云轮廓提取分为两种方法：(1)从点云重建的表面模型构建三角网格，在基于三角网格生成轮廓线；(2)直接由点云进行空间线性拟合和曲面拟合，需要对点云数据切片处理。通过构建三角网格来提取轮廓的方法计算量非常大，并且对点云的要求也很高，最好采用密集型点云，这些重构出来的模型效果更好，而且凹边形的边缘上会存在狭长的三角形，对边缘点的提取容易产生较大误差；而直接提取法需要对点云数据进行区域分割，并且需要计算每一个面的曲率，而分割阈值不易确定，同样计算量也很大。

发明内容

本发明所要解决的技术问题是提供一种稀疏点云的目标物尺寸测量方法，通过对点云图像与立体匹配后的轮廓图像的重叠，进而提取出轮廓线上的点云，再利用线性拟合算法对提取出的新点云坐标进行直线拟合，进一步进行尺寸测量。

为解决上述技术问题，本发明提供以下技术方案：一种稀疏点云的目标物尺寸测量方法，包括以下技术步骤：

步骤(1)，将点云坐标系转换成图像像素坐标系；

步骤(2)，对点云数据在XY平面进行投影，得到二维点云；

步骤(3)，对匹配后的图像用Canny算子进行边缘检测；

步骤(4)，采用图像形态学方法对边缘轮廓线进行去噪及细化；

步骤(5)，对点云图像进行遍历搜索，与二值轮廓图像进行像素点坐标匹配；

步骤(6)，将匹配吻合的点云坐标提取出来构成新的点云，对新的点云进行直线拟合和尺寸测量。

在上述技术方案基础上，所述步骤(1)的具体步骤为：

A.首先构建双目视觉系觉系统，自制黑白棋盘格，使用matlab标定工具箱进行标定，得到内参矩阵和外参矩阵R、T，标定得到的R是3*1矩阵，通过罗德里格斯变换将R转换为3*3的矩阵；

B.通过双目立体视觉测量系统得到的点云数据是世界坐标系的三维坐标，因此首先需要将其转换到图像像素坐标系；转换公式(1)如下：

其中，R是相机标定后的外参旋转矩阵，T为外参平移矩阵，X_C、Y_C、Z_C为目标物在图像坐标系下的坐标，X_W、Y_W、Z_W为目标物在世界坐标系下的坐标。

在上述技术方案基础上，所述步骤(2)的具体步骤为：

根据公式其中f是摄像机的焦距，T为双目摄像机的摄像头中心距离，d为立体匹配后的视差；当视差d为一恒定值时，深度Z_C亦恒定，即可得到在XY平面上的二维点云。

在上述技术方案基础上，所述步骤(3)的具体步骤为：

C.将图像转化为灰度图；

D.对灰度图进行高斯滤波，高斯核采用二维高斯核来实现；

E.采用一阶偏导的有限差分来计算梯度幅值及方向，计算公式如下：

其中，f[i,j]代表图像的行和列，M[i,j]为梯度的幅值，Q[i,j]为梯度的方向；

F.寻找梯度幅值的局部最大值，而将非极值点对应的灰度值设置为0，选定一像素点A，判断其灰度值是否在8值邻域内为最大，在判断A点的梯度方向与A点邻域像素的交点再与A点灰度值比较，若小于，则A点非局部极大值点，也是非边缘点；

G.用双阈值法检测和连接边缘，设置两个阈值，分别为高阈值和低阈值；将图像中高于这个高阈值得点连接成轮廓，到达端点时检测在这个点的8值邻域内寻找满足低于低阈值的点，再根据这个点得到新的边缘，直到整个图像的边缘闭合。

在上述技术方案基础上，所述步骤(4)的具体步骤为：借助MATLAB软件中的函数bwperim对二值图像的轮廓线进行细化，对于二值图像中的孤立点采用形态学方法中的先腐蚀再膨胀，腐蚀即把二值图像各1像素连接成分的边界点去掉从而缩小一层，膨胀则是填充边缘或0像素内部的孔。

在上述技术方案基础上，所述步骤(5)的具体步骤为：将轮廓线图像上像素为255的点坐标提取出来与二维点云图像上的点进行匹配，若坐标值小于阈值则将其提取出来。

在上述技术方案基础上，所述步骤(6)的具体步骤为：

H.采用最小二乘法进行直线拟合，对于提取出来的新的二维点云(x₁，y₁)(x₂，y₂)....，要拟合的模型表达式为y＝f(x)，最小二乘法的直线拟合公式如下：

设直线方程为y＝kx+b，得误差表达式为e＝∑(y_i-k×x_i-b)²分别对其关于k和b求导得：

整理得：

设A＝∑x_i ² B＝∑x_i，C＝∑y_i*x_i，D＝∑y_i；

则方程化为：解方程得到k和b的值就能得到直线方程；

I.对拟合后的直线进行测量，取一条直线，选取满足这条直线方程的两个端点，即X与Y的最大值与最小值点，将这两个坐标点转换到世界坐标系，即将公式(1)进行逆计算，再计算两点间的距离近似为该直线的长度。

本发明与现有技术相比具有的有益效果是：本发明提供一种稀疏点云的目标物尺寸测量方法，通过对点云图像与立体匹配后的轮廓图像的重叠，进而提取出轮廓线上的点云，再利用线性拟合算法对提取出的新点云坐标进行直线拟合，进一步进行尺寸测量。

附图说明

图1为本发明测量方法的步骤流程图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1可知，稀疏点云的目标物尺寸测量方法，包括以下六个技术步骤：

步骤(1)，将点云坐标系转换成图像像素坐标系：

A.首先构建双目视觉系觉系统，自制黑白棋盘格，使用matlab标定工具箱进行标定，得到内参矩阵和外参矩阵R、T，标定得到的R是3*1矩阵，通过罗德里格斯变换将R转换为3*3的矩阵；

B.通过双目立体视觉测量系统得到的点云数据是世界坐标系的三维坐标，因此首先需要将其转换到图像像素坐标系；转换公式(1)如下：

其中，R是相机标定后的外参旋转矩阵，T为外参平移矩阵，X_C、Y_C、Z_C为目标物在图像坐标系下的坐标，X_W、Y_W、Z_W为目标物在世界坐标系下的坐标。

步骤(2)，对点云数据在XY平面进行投影，得到二维点云；根据公式其中f是摄像机的焦距，T为双目摄像机的摄像头中心距离，d为立体匹配后的视差；当视差d为一恒定值时，深度Z_C亦恒定，即可得到在XY平面上的二维点云。

步骤(3)，对匹配后的图像用Canny算子进行边缘检测；

C.将图像转化为灰度图；

D.对灰度图进行高斯滤波，高斯核采用二维高斯核来实现；

E.采用一阶偏导的有限差分来计算梯度幅值及方向，计算公式如下：

其中，f[i,j]代表图像的行和列，M[i,j]为梯度的幅值，Q[i,j]为梯度的方向；

F.寻找梯度幅值的局部最大值，而将非极值点对应的灰度值设置为0，选定一像素点A，判断其灰度值是否在8值邻域内为最大，在判断A点的梯度方向与A点邻域像素的交点再与A点灰度值比较，若小于，则A点非局部极大值点，也是非边缘点；

G.用双阈值法检测和连接边缘，设置两个阈值，分别为高阈值和低阈值；将图像中高于这个高阈值得点连接成轮廓，到达端点时检测在这个点的8值邻域内寻找满足低于低阈值的点，再根据这个点得到新的边缘，直到整个图像的边缘闭合。

步骤(4)，采用图像形态学方法对边缘轮廓线进行去噪及细化：借助MATLAB软件中的函数bwperim对二值图像的轮廓线进行细化，对于二值图像中的孤立点采用形态学方法中的先腐蚀再膨胀，腐蚀即把二值图像各1像素连接成分的边界点去掉从而缩小一层，膨胀则是填充边缘或0像素内部的孔。

步骤(5)，对点云图像进行遍历搜索，与二值轮廓图像进行像素点坐标匹配：将轮廓线图像上像素为255的点坐标提取出来与二维点云图像上的点进行匹配，若坐标值小于阈值则将其提取出来。

步骤(6)，将匹配吻合的点云坐标提取出来构成新的点云，对新的点云进行直线拟合和尺寸测量。

H.采用最小二乘法进行直线拟合，对于提取出来的新的二维点云(x₁，y₁)(x₂，y₂)....，要拟合的模型表达式为y＝f(x)，最小二乘法的直线拟合公式如下：

设直线方程为y＝kx+b，得误差表达式为e＝∑(y_i-k×x_i-b)²分别对其关于k和b求导得：

整理得：

设A＝∑x_i ² B＝∑x_i，C＝∑y_i*x_i，D＝∑y_i；

则方程化为：解方程得到k和b的值就能得到直线方程；

I.对拟合后的直线进行测量，取一条直线，选取满足这条直线方程的两个端点，即X与Y的最大值与最小值点，将这两个坐标点转换到世界坐标系，即将公式(1)进行逆计算，再计算两点间的距离近似为该直线的长度。

Claims (7)

1.一种稀疏点云的目标物尺寸测量方法，其特征在于，包括以下技术步骤：

步骤(1)，将点云坐标系转换成图像像素坐标系；

步骤(2)，对点云数据在XY平面进行投影，得到二维点云；

步骤(3)，对匹配后的图像用Canny算子进行边缘检测；

步骤(4)，采用图像形态学方法对边缘轮廓线进行去噪及细化；

步骤(5)，对点云图像进行遍历搜索，与二值轮廓图像进行像素点坐标匹配；

步骤(6)，将匹配吻合的点云坐标提取出来构成新的点云，对新的点云进行直线拟合和尺寸测量。

2.根据权利要求1所述的稀疏点云的目标物尺寸测量方法，其特征在于，所述步骤(1)的具体步骤为：

A.首先构建双目视觉系觉系统，自制黑白棋盘格，使用matlab标定工具箱进行标定，得到内参矩阵和外参矩阵R、T，标定得到的R是3*1矩阵，通过罗德里格斯变换将R转换为3*3的矩阵；

B.通过双目立体视觉测量系统得到的点云数据是世界坐标系的三维坐标，因此首先需要将其转换到图像像素坐标系；转换公式(1)如下：

其中，R是相机标定后的外参旋转矩阵，T为外参平移矩阵，X_C、Y_C、Z_C为目标物在图像坐标系下的坐标，X_W、Y_W、Z_W为目标物在世界坐标系下的坐标。

3.根据权利要求2所述的稀疏点云的目标物尺寸测量方法，其特征在于，所述步骤(2)的具体步骤为：

根据公式其中f是摄像机的焦距，T为双目摄像机的摄像头中心距离，d为立体匹配后的视差；当视差d为一恒定值时，深度Z_C亦恒定，即可得到在XY平面上的二维点云。

4.根据权利要求3所述的稀疏点云的目标物尺寸测量方法，其特征在于，所述步骤(3)的具体步骤为：

C.将图像转化为灰度图；

D.对灰度图进行高斯滤波，高斯核采用二维高斯核来实现；

E.采用一阶偏导的有限差分来计算梯度幅值及方向，计算公式如下：

其中，f[i,j]代表图像的行和列，M[i,j]为梯度的幅值，Q[i,j]为梯度的方向；

F.寻找梯度幅值的局部最大值，而将非极值点对应的灰度值设置为0，选定一像素点A，判断其灰度值是否在8值邻域内为最大，在判断A点的梯度方向与A点邻域像素的交点再与A点灰度值比较，若小于，则A点非局部极大值点，也是非边缘点；

G.用双阈值法检测和连接边缘，设置两个阈值，分别为高阈值和低阈值；将图像中高于这个高阈值得点连接成轮廓，到达端点时检测在这个点的8值邻域内寻找满足低于低阈值的点，再根据这个点得到新的边缘，直到整个图像的边缘闭合。

5.根据权利要求4所述的稀疏点云的目标物尺寸测量方法，其特征在于，所述步骤(4)的具体步骤为：借助MATLAB软件中的函数bwperim对二值图像的轮廓线进行细化，对于二值图像中的孤立点采用形态学方法中的先腐蚀再膨胀，腐蚀即把二值图像各1像素连接成分的边界点去掉从而缩小一层，膨胀则是填充边缘或0像素内部的孔。

6.根据权利要求5所述的稀疏点云的目标物尺寸测量方法，其特征在于，所述步骤(5)的具体步骤为：将轮廓线图像上像素为255的点坐标提取出来与二维点云图像上的点进行匹配，若坐标值小于阈值则将其提取出来。

7.根据权利要求6所述的稀疏点云的目标物尺寸测量方法，其特征在于，所述步骤(6)的具体步骤为：

H.采用最小二乘法进行直线拟合，对于提取出来的新的二维点云(x₁，y₁)，(x₂，y₂)....，要拟合的模型表达式为y＝f(x)，最小二乘法的直线拟合公式如下：

设直线方程为y＝kx+b，得误差表达式为e＝∑(y_i-k×x_i-b)²分别对其关于k和b求导得：

整理得：

设A＝∑x_i ² B＝∑x_i，C＝∑y_i*x_i，D＝∑y_i；

则方程化为：解方程得到k和b的值就能得到直线方程；

I.对拟合后的直线进行测量，取一条直线，选取满足这条直线方程的两个端点，即X与Y的最大值与最小值点，将这两个坐标点转换到世界坐标系，即将公式(1)进行逆计算，再计算两点间的距离近似为该直线的长度。