CN105277144A - 基于双目视觉的土地面积快速检测方法及其检测装置 - Google Patents

Abstract

本发明公开了一种基于双目立体视觉的土地面积快速检测方法及其检测装置，所述的方法包括如下步骤：采用土地面积测量装置，通过触动ARM11嵌入式处理平台的触发开关，利用双目摄像机采集场景的左视图和右视图；分别对所述的左视图和右视图进行图像预处理，所述的图像预处理包括用于去除噪声的平滑滤波和图像的灰度变换；分别对处理过的图像进行特征点的提取和匹配；对配准后的图像对通过坐标提取算法提取特征点的三维坐标；根据面积计算公式计算得到被采集场景的面积。本发明能够快速的实现对土地面积的准确测量，解决了二维图像计算不规则土地的面积这一难题，不仅为土地面积的快速测量提供了技术支持，而且还为道路铺设面积的费用估算提供了技术支持。

Description

基于双目视觉的土地面积快速检测方法及其检测装置

技术领域

本发明涉及一种基于双目视觉的土地面积快速检测方法及其检测装置，特别涉及的是一种基于双目视觉的土地面积快速检测装置和方法。

背景技术

传统的土地面积测量方法包括罗盘仪测量法、测绳测量法、全站仪测量法、GPS卫星定位测量法，人工的方式进行用尺子进行测量，需要多人人配合，对资金资源的投入较大，在一些偏远地区，GPS的信号强度不够，无法达到测量要求。

20世纪80年代美国MIT的Marr把视觉理论应用在双目匹配上，获得两张有视差的平面图的深度信息，由此为双目立体视觉的发展奠定了理论基础。双目立体视觉技术借鉴人通过双眼来感知立体空间的能力，经过双目图像采集、图像校正、立体匹配等步骤得到了视差图，根据映射关系找出双目图像中的同一场景并计算出场景的深度信息，进而获得改点的三维坐标。通过立体视觉技术进行物体识别与测距，信息量全面，且能获取场景三维深度信息等多种优势。因此能够快速、准确、简便的对规则的土地和不规则的土地的面积的获取，起着至关重要的作用。

双目立体视觉目前已成为计算机视觉领域的一个重要的研究方向，其测量技术具有无损、非接触、精确、自动化程度高等优点，其在面积的测量方面已有应用，如工件的面积、叶片的面积等。

土地面积特别是不规则的土地的面积在2D平面的测量仍是一个难以克服的难题。因此对于复杂的地形环境而言，要获得更为快捷精确的面积值，需在三维空间内对其进行建立形态模型，到目前为止仍是一个亟需解决的问题。

发明内容

为了克服现有不规则的土地的面积在2D平面的测量中存在的上述缺陷，本发明提供一种对复杂地形的面积做出快速的计算和测量，检测效率高、快捷、方便等优点的基于双目视觉的土地面积快速检测方法及其检测装置。

本发明采用的技术方案是：

基于双目立体视觉的土地面积快速检测方法，其特征在于：所述的方法包括如下步骤：

步骤S1，采用土地面积测量装置，通过触动ARM11嵌入式处理平台的触发开关，利用双目摄像机采集场景的左视图和右视图；

步骤S2，分别对所述的左视图和右视图进行图像预处理，所述的图像预处理包括用于去除噪声的平滑滤波和图像的灰度变换；

步骤S3，分别对处理过的图像进行特征点的提取和匹配；

步骤S4，对配准后的图像对通过坐标提取算法提取特征点的三维坐标；

步骤S5，根据面积计算公式计算得到被采集场景的面积；

所述的步骤S4中，特征点的三维坐标由以下公式获得，包括图像像素系与世界坐标系之间的转换；

$\frac{T^1}{D}=\frac{T^1-(x^l-x^r)}{D-f}\⇒D=\frac{T^{1}f}{x^l-x^r}=\frac{T^{1}f}{d}$

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_u& s& u_0\\ 0& k_v& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中，d＝x^l-x^r，为位视差，x^l,x^r为空间任意一点；l和r分别为left和right的缩写；f为焦距；D为深度值；T¹为两个摄像机之间的距离；s为扭转因子；k_u＝f/dx；k_v＝f/dy；k_u，k_v，s，u₀，v₀为相机内部结构参数矩阵；其中[uv1]^T表示特征点在图像上的点的坐标，u,v分别代表像素值；R为正交单位转换矩阵；T为三维平移矢量，[RT]为相机的外参数矩阵；(X_w,Y_w,Z_w)为在世界坐标系空间任意点P的三维坐标，P分别为左右图像中的成像一个成像坐标；(X_c,Y_c,Z_c)为在相机坐标系空间任意点P的齐次坐标。

所述的步骤S1中，采用两个CMOS摄像机组成的双目摄像机进行图像的数据采集；双目摄像机的标定采用ZZhang的平面模板两步法进行标定，求出相机的外在参数[RT]。

所述的步骤S2中，图像的平滑滤波处理由如下公式得到：

$g\[i,j\]=f\[i,j\]\⊗h\[i,j\]=\underset{k=-n}{\overset{n}{\Σ}}\underset{l=-m}{\overset{m}{\Σ}}f\[i-k,j-l\]h\[k,l\]$

式中，[i,j]为图像中的任意一个像素；k，l＝1,0，-1；m，n表示卷积模板的大小；f[i,j]为图像的离散输入、h[i,j]为脉冲响应函数的离散输入、为卷积运算符、g[i,j]为滤波后图像的离散输出。

所述的步骤S3中用Harris检测方法和Canny边缘探测器来提取左、右图像的角点和边缘。

所述的步骤S3中特征点的匹配采用已知极线几何的对应点匹配。

所述的步骤S5中，将所匹配的边界的三维点云投影到一个平面上，各点相连接成一个不规则的n多边形，通过求多边形的面积来求其土地面积。

所述的步骤S5中，利用梯形法求面积法求得n多边形的面积；

其中，梯形法求面积公式为：

其中，S为所求多边形的面积；(x_i,y_i)为变换后的一个顶点，而(x_i+1,y_i+1)为变换后紧挨着(x_i,y_i)顶点的下一个顶点坐标，以其中一个顶点为原点的坐标；x_n+1＝x₁＝0，y_n+1＝y₁＝0。

一种专用于上述所述的基于双目视觉的土地面积快速检测方法的检测装置，包括两个CMOS摄像机、用于支撑CMOS摄像机的支撑架、图像采集处理装置模块、数据传输电缆、USB接口模块、ARM11嵌入式处理平台、供ARM11嵌入式处理平台用电的电源模块、LCD控制模块、LCD显示模块以及Flash&DRAM，所述的CMOS摄像机分别与图像采集处理装置模块、ARM11嵌入式处理平台连接，所述的图像采集处理装置模块分别与CMOS摄像机、ARM11嵌入式处理平台双向连接；所述的ARM11嵌入式处理平台分别与LCD控制模块、Flash&DRAM双向连接，所述的LCD控制模块与LCD显示模块连接。

所述的两个CMOS摄像机由相同型号的工业数字摄像机组成；所述的CMOS摄像机与图像采集处理装模块之间的数据传输电缆长度在5m以内。

所述的图像采集处理装模块与ARM11嵌入式处理平台之间通过5m以内的数据传输电缆连接或无线通信模块进行传输。

本发明的有益效果体现在：通过本发明的测量装置和测量方法能够快速的实现对土地面积的准确测量，解决了二维图像计算不规则土地的面积这一难题，不仅为土地面积的快速测量提供了技术支持，而且还为道路铺设面积的费用估算、为工程建筑施工量的估算提供了技术支持。

附图说明

图1是本发明实施方式双目立体视觉测定三维坐标的原理图；

图2是依据本发明实施方式的基于双目视觉的土地面积的快速检测方法图像处理流程图；

图3是依据本发明实施方式双目立体视觉测量对应点的匹配过程图；

图4是依据本发明实施方式的基于双目视觉的土地面积的快速检测装置的结构图。

具体实施方式

下面将依据附图和实施例，对本发明的具体实施方式作详细阐述。以下实施例由于阐述解释本发明，而不能理解为用来限制本发明的范围。

本发明的基本原理为：基于双目立体视觉的土地面积的快速检测，利用的是左视图与右视图之间的视差关系，对获得的图像对进行平滑滤波去噪处理，对两幅图像进行特征点的搜寻，并对特征点进行立体匹配，根据公式计算出该点的三维坐标，通过对大量的特征点进行投影得其一个不规则的多边形，进而梯形法求面积法求出该土地的面积。

为了对本发明的上述原理更加深刻的理解，下面我们讲结合附图对本发明的原理做详细阐述。

如图1所示，本发明的特征点的三维坐标测量基本原理为：利用左视图与右视图之间的视差关系，根据双目视觉测距的原理如图3所示，我们根据三角关系可以计算出该特征点的三维坐标。

在实施例中，特征点的三维坐标由以下公式获得，包括图像像素系与世界坐标系之间的转换。

$\frac{T}{D}=\frac{T-(x^l-x^r)}{D-f}\⇒D=\frac{Tf}{x^l-x^r}=\frac{Tf}{d}$

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_u& s& u_0\\ 0& k_v& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中，d＝x^l-x^r，为位视差，x^l,x^r为空间任意一点P分别为左右图像中的成像一个成像坐标；l和r分别为left和right的缩写；f为焦距；D为深度值；T¹为两个摄像机之间的距离；s为扭转因子；k_u＝f/dx；k_v＝f/dy；k_u，k_v，s，u₀，v₀为相机内部结构参数矩阵；其中[uv1]^T表示特征点在图像上的点的坐标，u,v分别代表像素值；R为正交单位转换矩阵；T为三维平移矢量，[RT]为相机的外参数矩阵；(X_w,Y_w,Z_w)为在世界坐标系空间任意点P的三维坐标；(X_c,Y_c,Z_c)为在相机坐标系空间任意点P的齐次坐标。

如图2所示，为本发明实施方式的基于双目视觉的土地面积的快速检测方法图像处理流程图，包括：图像数据采集、图像平滑滤波、特征点的提取、特征点的匹配、坐标提取算法、面积计算，各步骤的具体算法描述如下：

步骤S1中，图像的数据采集，由两个CMOS摄像机组成的双目摄像机，其双目摄像机的标定是采用ZZhang的平面模板两步法进行标定，求出相机的外在参数[RT]，ZZhang的平面模板两步法的计算流程如下：

(1)初始化畸变参数为0。选取图像中心附近畸变较小的点，将它们的世界坐标值和图像坐标值作为已知条件代入，由线性方法求摄像机的内外参数。

(2)利用优化算法对摄像机的内外参数进行求精。

(3)将第(2)步计算出来的内外参数作为初始值，然后选取模板平面上的所有点，建立一个优化模型求得摄像机的内部参数，外部参数以及畸变参数的最优解。

所述实施例中通过开关ARM人机交互平台上的触发开关获得左视图像与右视图像。

步骤S2中，由光学成像系统生成的二维图像，包含各种随机噪声和畸变，因此需对原始图进行预处理，以改善图像的视觉效果，提高图像的清晰度，使图像变得更有利于计算机的处理、特征的提取。

本发明的实施例的图像平滑滤波处理由如下公式得到：

$g\[i,j\]=f\[i,j\]\⊗h\[i,j\]=\underset{k=-n}{\overset{n}{\Σ}}\underset{l=-m}{\overset{m}{\Σ}}f\[i-k,j-l\]h\[k,l\]$

式中，[i,j]为图像中的任意一个像素；k，l＝1,0，-1；m，n表示卷积模板的大小；f[i,j]为图像的离散输入、h[i,j]为脉冲响应函数的离散输入、为卷积运算符、g[i,j]为滤波后图像的离散输出。

步骤S3中，特征提取是为了得到匹配赖以进行的图像特征，本发明实施例所采用的匹配特征为点状特征，所采取的特征点的检测方法为Harris检测方法和Canny边缘探测器分别提取左右图像的角点和边缘。

特征匹配，如附图3所示，更具体地讲，选取被测物体在两幅图像中的几何特征，基于极线约束关系建立初始匹配关系，并进行对称性测试，剔除一些虚假匹配。然后基于区域匹配方式对特征点附近的子图像窗口的图像纹理信息或边缘轮廓进行相关运算，并进行相似度比较和对称性测试。最终匹配正确的特征点，参加视差计算。

步骤S4中，所述面积提取算法是步骤S3中提取的匹配的特征点对，结合附图1中的原理和公式：

$Z_{ci}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=M_i\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right],i=1,2$

其中 $M_1=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right];M_2=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right],$

本实施例中相机通过标定求取投影矩阵M₁、M₂，由以上两式消去Z_c1,Z_c2可得关于X,Y,Z的四个线性方程，由此可以确定两条直线，联立运用最小二乘法求得其解即为该点的三维坐标。

步骤S5中，对所得的边界点进行投影到一个平面上，该平面到所有点的距离之和最小，在该平面上投影的点即为一个不规则的多边形。本发明的实施例对多边形应用梯形法求解该多边形的面积，假设该多边形有n条边，梯形法求面积公式如下：

$S=\left|\underset{i=1}{\overset{n}{\Σ}}\frac{1}{2}(x_{i+1}-x_i)(y_{i+1}-y_i)\right|$

其中，S为所求多边形的面积；(x_i,y_i)为变换后的一个顶点，而(x_i+1,y_i+1)为变换后紧挨着(x_i,y_i)顶点的下一个顶点坐标，以其中一个顶点为原点的坐标；x_n+1＝x₁＝0，y_n+1＝y₁＝0。

如图4所示，本发明的另一方面是相对应地提出基于双目视觉的土地面积快速检测结构，连接参考附图4。

基于双目视觉的土地面积快速检测装置，包括两个CMOS摄像机1、2、用于支撑CMOS摄像机的支撑架、图像采集处理装置模块3、数据传输电缆、USB接口模块、ARM11嵌入式处理平台4、供ARM11嵌入式处理平台用电的电源模块5、LCD控制模块6、LCD显示模块7以及Flash&DRAM8，所述的CMOS摄像机分别与图像采集处理装置模块、ARM11嵌入式处理平台连接，所述的图像采集处理装置模块分别与CMOS摄像机、ARM11嵌入式处理平台双向连接；所述的ARM11嵌入式处理平台分别与LCD控制模块、Flash&DRAM双向连接，所述的LCD控制模块与LCD显示模块连接。

所述的两个CMOS摄像机由相同型号的工业数字摄像机组成；所述的CMOS摄像机与图像采集处理装模块之间的数据传输电缆长度在5m以内。

所述的图像采集处理装模块与ARM11嵌入式处理平台之间通过5m以内的数据传输电缆连接或无线通信模块进行传输。

本发明实施例的基于双目视觉的土地面积快速检测装置包括双目摄像机模块、图像采集处理模块、ARM嵌入式人机交互平台、LCD显示模块。

双目摄像机模块用于采集场景的左视图和右视图。图像采集处理模块包括FPGA处理器和DSP处理器等，用于对所采集的图像对进行数字处理运算。ARM嵌入式平台包括存储模块、LCD控制模块和LCD显示模块，实现人机交互。

具体地，本发明的上述实施例具有以下优点：

本发明的装置结构简单，使用方便快捷，通用性强，对各种复杂的环境均适用，自动化程度高等优点。本发明的上述方法步骤简单，易于实现，能够有效地对不规则的土地面积做出快速检测。有效地弥补了传统面积测量的不足，提高测量效率。

在本说明书的所述参考术语中的连接或传输，可以指用数据传输电缆连接或传输，也可指用无线通信的方式进行传输。本说明书中所述实施例并非均为相同的实施例，而且，描述的具体特征、结构、材料或者特点均可在任何一个或多个实施例或示例中以合适的方式结合。

以上所述仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来讲，在不脱离本发明技术原理的前提下，对这些实施例做出多种改进、修改和变型，这些变化由本发明的权利要求等同限制并加以实施。

Claims (10)

1.基于双目立体视觉的土地面积快速检测方法，其特征在于：所述的方法包括如下步骤：

步骤S1，采用土地面积测量装置，通过触动ARM11嵌入式处理平台的触发开关，利用双目摄像机采集场景的左视图和右视图；

步骤S2，分别对所述的左视图和右视图进行图像预处理，所述的图像预处理包括用于去除噪声的平滑滤波和图像的灰度变换；

步骤S3，分别对处理过的图像进行特征点的提取和匹配；

步骤S4，对配准后的图像对通过坐标提取算法提取特征点的三维坐标；

步骤S5，根据面积计算公式计算得到被采集场景的面积；

所述的步骤S4中，特征点的三维坐标由以下公式获得，包括图像像素系与世界坐标系之间的转换；

$\frac{T^1}{D}=\frac{T^1-(x^l-x^r)}{D-f}\⇒D=\frac{T^{1}f}{x^l-x^r}=\frac{T^{1}f}{d}$

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_u& s& u_0\\ 0& k_v& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中，d＝x^l-x^r，为位视差；x^l,x^r为空间任意一点；l和r分别为left和right的缩写；f为焦距；D为深度值；T¹为两个摄像机之间的距离；s为扭转因子；k_u＝f/dx；k_v＝f/dy，其中，k_u，k_v，s，u₀，v₀分别为相机内部结构参数矩阵；其中[uv1]^T表示特征点在图像上的点的坐标，u,v分别代表像素值；R为正交单位转换矩阵；T为三维平移矢量，[RT]为相机的外参数矩阵；(X_w,Y_w,Z_w)为在世界坐标系空间任意点P的三维坐标，P分别为左右图像中的成像一个成像坐标；(X_c,Y_c,Z_c)为在相机坐标系空间任意点P的齐次坐标。

2.如权利要求1所述的基于双目立体视觉的土地面积快速检测方法，其特征在于：所述的步骤S1中，采用两个CMOS摄像机组成的双目摄像机进行图像的数据采集；双目摄像机的标定采用ZZhang的平面模板两步法进行标定，求出相机的外在参数[RT]。

3.如权利要求2所述的基于双目立体视觉的土地面积快速检测方法，其特征在于：所述的步骤S2中，图像的平滑滤波处理由如下公式得到：

$g\[i,j\]=f\[i,j\]\⊗h\[i,j\]=\underset{k=-n}{\overset{n}{\Σ}}\underset{l=-m}{\overset{m}{\Σ}}f\[i-k,j-1\]h\[k,l\]$

式中，[i,j]为图像中的任意一个像素；k，l＝1,0，或则-1；m，n表示卷积模板的大小；f[i,j]为图像的离散输入；h[i,j]为脉冲响应函数的离散输入；为卷积运算符；g[i,j]为滤波后图像的离散输出。

4.如权利要求3所述的基于双目立体视觉的土地面积快速检测方法，其特征在于：所述的步骤S3中用Harris检测方法和Canny边缘探测器来提取左、右图像的角点和边缘。

5.如权利要求4所述的基于双目立体视觉的土地面积快速检测方法，其特征在于：所述的步骤S3中特征点的匹配采用已知极线几何的对应点匹配。

6.如权利要求5所述的基于双目立体视觉的土地面积快速检测方法，其特征在于：所述的步骤S5中，将所匹配的边界的三维点云投影到一个平面上，各点相连接成一个不规则的n多边形，通过求多边形的面积来求其土地面积。

7.如权利要求6所述的基于双目立体视觉的土地面积快速检测方法，其特征在于：所述的步骤S5中，利用梯形法求面积法求得n多边形的面积；

其中，梯形法求面积公式为： $S=\left|\underset{i=1}{\overset{n}{\Σ}}\frac{1}{2}(x_{i+1}-x_i)(y_{i+1}-y_i)\right|$

其中，S为所求多边形的面积；(x_i,y_i)为变换后的一个顶点，而(x_i+1,y_i+1)为变换后紧挨着(x_i,y_i)顶点的下一个顶点坐标，以其中一个顶点为原点的坐标；x_n+1＝x₁＝0，y_n+1＝y₁＝0。

8.一种专用于如权利要求1～7所述的基于双目视觉的土地面积快速检测方法的检测装置，其特征在于：包括两个CMOS摄像机、用于支撑CMOS摄像机的支撑架、图像采集处理装置模块、数据传输电缆、USB接口模块、ARM11嵌入式处理平台、供ARM11嵌入式处理平台用电的电源模块、LCD控制模块、LCD显示模块以及Flash&DRAM，所述的CMOS摄像机分别与图像采集处理装置模块、ARM11嵌入式处理平台连接，所述的图像采集处理装置模块分别与CMOS摄像机、ARM11嵌入式处理平台双向连接；所述的ARM11嵌入式处理平台分别与LCD控制模块、Flash&DRAM双向连接，所述的LCD控制模块与LCD显示模块连接。

9.如权利要求8所述的检测装置，其特征在于：所述的两个CMOS摄像机由相同型号的工业数字摄像机组成；所述的CMOS摄像机与图像采集处理装模块之间的数据传输电缆长度在5m以内。

10.如权利要求9所述的检测装置，其特征在于：所述的图像采集处理装模块与ARM11嵌入式处理平台之间通过5m以内的数据传输电缆连接或无线通信模块进行传输。