CN109360269B - 基于计算机视觉的地面三维平面重建方法 - Google Patents

Abstract

基于计算机视觉的地面三维平面重建方法，属于机器领域。现有的输电线路监测预警系统，受制于输电线路匹配鲁棒性不高等图像中细小物匹配易受干扰的问题，对遮挡物的遮挡问题处理效果差。一种基于计算机视觉的地面三维平面重建方法，得到双目相机左图和双目相机右图的内参数、畸变参数、基础矩阵以及双目相机的左相机和右相机之间的旋转平移关系、地面稠密稳定匹配点对的生成过程、基于极线搜索进行金字塔块匹配过程、采用三角化技术计算出车辆和植被包围盒的三维坐标，结合平面方程得到车辆和植被高度值，通过拉升平面并投影的方式得到输电线路具体高度，设置预警阈值。本发明能够解决解决遮挡问题以及输电线易受背景干扰的问题。

Description

基于计算机视觉的地面三维平面重建方法

技术领域

本发明涉及机器视觉领域，特别涉及一种基于计算机视觉的地面三维平面重建方法。

背景技术

在电网应用中，针对输电杆塔以及输电线路的智能化保护有利于电网的正常运转。为了应对诸如车辆闯入、植被生长对于电网设备可能造成的外力破坏，现今的电网入侵物预警工作中主要还是以人工巡检以及摄像头监控为主，这样的工作方式存在巡检周期长、预警时间长、智能化程度不够高的情形。计算机视觉技术在现今得到长足的发展，基于计算机视觉技术的电网设备智能化监测是研究的热点。

智能化状态监测是现今电力系统中重要的一环，高效的监测保护电网设备在电力系统有着急迫的需求。为了保护电网设备，对于入侵物以及植被的监控是电网巡检中的关键，但受制于监控算法智能化的不足，现今仍是以人工监控或者实地巡检为主。随着人工智能技术的日益完善，计算机视觉技术作为人工智能的一个分支在近年也得到飞速的发展，双目立体匹配作为计算机视觉中的研究重点和应用分支是计算机获取三维信息的重要手段。在电力系统智能化过程中获取入侵物以及植被的三维信息以及电网设备的三维信息，可以对电网设备进行预警保护是非常有意义的，也是现今电网智能化监测研究的重点。计算机视觉中的三角化技术能依据匹配到的特征点对结合相机标定参数得到特征点的三维坐标信息，单纯的三维信息对于电网监控没有多大的意义，但是利用这些三维信息构建的保护物与侵入物之间的参数就显得意义重大，可以智能化提供预警信息。

在电网监控中，针对输电通道中的植被生长以及车辆过高对于输电线可能造成的危害研究是很有意义的。在输电通道中车辆之间的遮挡以及植被的遮挡会使得测出它们的植被的生长高度以及车辆的高度变得复杂。为了应对遮挡以及视角对于测高的影响，本发明设计了一种依据输电通道中的地面作为参考面拟合三维平面，拉伸三维平面方程并投影平面中的线段到二维图像上观察其与输电线的关系确定高度阈值、测量树顶以及车顶到地面的距离作为高度进行植被生长以及车辆限高的技术。

现有的输电线路监测预警，主要是依靠人工的方式，存在监测预警效率低、实时性不足等问题。基于计算机视觉的技术取得了一定的成果，但是受制于解决输电线路匹配鲁棒性不高等图像中细小物匹配易受干扰的问题，实用性有待改善且对于遮挡等问题处理还不够好。

发明内容

本发明的目的是为了解决现有的基于计算机视觉的输电线路监测预警系统，因输电线路匹配鲁棒性不高导致图像中细小物匹配易受干扰的问题，且存在监测预警系统对遮挡物的遮挡问题处理效果差的问题，而提出一种基于计算机视觉的地面三维平面重建方法。

一种基于计算机视觉的地面三维平面重建方法，所述方法通过以下步骤实现：

步骤一、双目相机标定过程；

步骤二、稠密稳定匹配点对的生成过程：

在双目相机左图和双目相机右图构成的双目图像中，对地面中的匹配点对进行随机一致采样操作，实现三维平面的拟合过程；其中，双目相机左图是指双目相机与左眼对应的相机抓取到的图像数据，双目相机右图是指双目相机与右眼相对应的相机抓取到的图像数据；利用地面中的匹配点对，生成双目相机左图和双目相机右图之间的单应变换，为地面中的任一线段重建三维信息提供额外的辅助；并在随机一致采样建立平面方程后，拉升平面方程，之后再投影线段；

步骤三、基于极线搜索进行金字塔块匹配过程：

使用基础矩阵计算双目相机左图中的一点在双目相机右图中的极线搜索对应的匹配点对，利用归一化互相关作为衡量块之间的相似度，进行金字塔块匹配得到车辆或植被的包围盒匹配信息的操作，以用于测量车辆和植被的高度；

步骤四、三角化过程：

利用步骤一的双目相机标定过程得到的参数信息，以及步骤三得到的车辆或植被的包围盒匹配信息，采用三角化技术计算出车辆和植被包围盒的三维坐标，结合步骤二得到的平面方程即得到车辆和植被高度值，通过拉升平面并投影的方式观察得到输电线路具体高度，设置预警阈值。

本发明的有益效果为：

本发明针对双目相机抓取到的双目图像包含有地面的情形，重建地面的三维平面信息，依据地面作为参考面进行相对测距、平面升降、虚拟平面投影的操作，将地面作为参考面，拟合三维平面以及投影拉伸三维平面中的三维线段，解决侵入物遮挡以及输电线易受背景干扰不准的情况，本发明的方案对于智能化监测预警输电通道中可能发生的外力破坏是十分有意义的，可以将本发明的设计方案构建的硬件设备设置于需保护的电力设备处。

本发明通过地面的三维平面的重建、三维线段投影、基于极线搜索的金字塔块匹配的操作，针对电网进行智能监测，能够解决监测过程中侵入物发生自遮挡以及成像视角发生遮挡、输电线路匹配稳定性不高的监测解决方案。由于引入了地面信息作为参考面，计算车辆以及植被的高度可以转换为求它们到地面的距离、输电线路据地面的高度可以通过拉升平面投影线段人工观察投影线和输电线的关系设定，这样可以解决遮挡问题以及输电线路匹配易受背景干扰产生的错误。

附图说明

图1为本发明方法的流程图。

具体实施方式

具体实施方式一：

本实施方式的一种基于计算机视觉的地面三维平面重建方法，所述方法通过以下步骤实现：

步骤一、双目相机标定过程；

步骤二、稠密稳定匹配点对的生成过程：

重建地面需要获取地面的三维信息，地面匹配点对的获取是重要的一环。大量稳定稠密分布多精度高的匹配点对是获取准确平面方程的前提。

在双目相机左图和双目相机右图构成的双目图像中，对地面中的匹配点对进行随机一致采样操作，实现三维平面的拟合过程；其中，双目相机左图是指双目相机与左眼对应的相机抓取到的图像数据，双目相机右图是指双目相机与右眼相对应的相机抓取到的图像数据；利用地面中的匹配点对，生成双目相机左图和双目相机右图之间的单应变换，为地面中的任一线段重建三维信息提供额外的辅助；并在随机一致采样建立平面方程后，通过拉升平面方程，之后再投影线段的方法观察平面拟合效果；

步骤三、基于极线搜索进行金字塔块匹配过程：

使用基础矩阵计算双目相机左图中的一点在双目相机右图中的极线搜索对应的匹配点对，利用归一化互相关作为衡量块之间的相似度，进行金字塔块匹配得到车辆或植被的包围盒匹配信息的操作，以用于测量车辆和植被的高度；

步骤四、三角化过程：

利用步骤一的双目相机标定过程得到的参数信息，以及步骤三得到的车辆或植被的包围盒匹配信息，采用三角化技术计算出车辆和植被包围盒的三维坐标，结合步骤二得到的平面方程即得到车辆和植被高度值，通过拉升平面并投影的方式客观的观察得到输电线路具体高度，设置预警阈值。

在本发明中通过地面的三维平面的重建、三维线段投影、基于极线搜索的金字塔块匹配的操作，基于重建地面的方式对于侵入物之间的自遮挡以及因为成像视角发生的遮挡有着良好的解决，同时拉升地面方程并投影三维线段的方式可以辅助人工预设报警高度使得预警值的设定不受输电线等在匹配时易搜背景干扰的情形。

具体实施方式二：

与具体实施方式一不同的是，本实施方式的基于计算机视觉的地面三维平面重建方法，步骤一所述的双目相机标定过程具体为，双目相机标定的过程主要是要获取相机的内参数、畸变参数、以及外参数。采用张氏标定方法，通过立体棋盘格图一次性获取三个棋盘，利用非线性levenberg-Marquardt优化方法，对棋盘角点重投影误差构建的代价方程进行优化，优化出相机的内参数、畸变参数、以及外参数，其中优化方法的目标方程如下：

其中，n表示棋盘格图的副数，m表示一幅棋盘格图中棋盘角点的个数，m_ij表示棋盘角点在图像中的坐标，A表示相机的内参数，R_i表示第i副棋盘图相对于相机的旋转，t_i表示第i副棋盘图相对于相机的平移，M_j表示世界坐标系下的坐标，k₁、k₂表示相机畸变参数，λ表示三维坐标向图像像素坐标的投影过程，将由通过opencv的stereoCalibrate得到的相机之间的旋转平移，作为外参数；其中，opencv是一个基于BSD许可发行的跨平台计算机视觉库；BSD是Berkeley Software Distribution的简称，BSD的中文含义为伯克利软件套件，是Unix的衍生系统；stereoCalibrate为OpenCV立体标定函数，stereoCalibrate是用来标定一个立体摄像头的，也就是同时标定两个摄像头。标定的结果除了能够求出两个摄像头的内外参数矩阵，还更能够得出两个摄像头的位置关系R,T。

具体实施方式三：

与具体实施方式一或二不同的是，本实施方式的基于计算机视觉的地面三维平面重建方法，步骤二所述的稠密稳定匹配点对的生成过程具体为，为了获取稠密的匹配点，首先，采用具有深度卷积神经网络思想的深度卷积匹配在双目图像中匹配特征点，自底向上采用最大池化、下采样、聚集的步骤计算不同大小块的响应相似度，构建金字塔响应图；然后，逆向搜索响应图极值点计算出分辨率为4*4的正方形块的匹配得分，保留高得分的匹配，从而获取一系列分布均匀的稳定匹配点对；其中，保留高得分的匹配是指，对于在区间[0,1]内的匹配得分的值，将匹配得分的值在0.5以上的作为高得分，反之为低得分。

具体实施方式四：

与具体实施方式三不同的是，本实施方式的基于计算机视觉的地面三维平面重建方法，步骤三所述的基于极线搜索的金字塔块匹配过程具体为，为了获取车辆以及植被的三维信息，需要在双目图像中匹配车辆以及植被。

第一，在双目左图中由深度学习SSD模型检测得出车辆以及植被的包围盒，作为矩形框，再在双目右图中，利用极线搜索匹配检测框；

第二，采用归一化互相关作为衡量，在双目右图中找到和左图对应的位置，进行匹配；由对极几何可知，双目左图任一点在双目右图上的匹配点在一条极线上，通过基础矩阵计算处极线方程：l＝Fx；

其中，F表示3*3基础矩阵，x表示检测物体包围盒中心在双目左图上的齐次坐标，l是直线方程的系数；

第三，在直线方程l上通过自适应匹配计算出的搜索范围[X_min,X_max]，通过归一化互相关系数计算相似度，将相似度最高的位置作为匹配位置，以获取双目相机左图中车辆或植被包围盒中心在双目相机右图中的匹配点对。

具体实施方式五：

与具体实施方式四不同的是，本实施方式的基于计算机视觉的地面三维平面重建方法，其特征在于：步骤四所述的三角化过程具体为，

步骤四一、利用步骤二计算出的稳定匹配点对以及步骤三计算出的车辆或植被包围盒中心的匹配点对，采用步骤一标定出的相机参数通过公式：

进行三角化过程，构建匹配点在双目相机的左相机下的三维坐标X1；其中，s₁表示场景中一点到左相机的深度，s₂表示场景中一点到右相机的深度，X₁表示场景中的点在左相机坐标系下的坐标，X₂表示场景中的点在右相机坐标系下的坐标，R表示右相机相对于左相机的旋转变换矩阵，t表示右相机相对于左相机的平移变换矩阵，

表示左相机内参数矩阵的逆矩阵，

表示由相机内参数矩阵的逆矩阵；

步骤四二、计算步骤二中出现的不匹配的特征点的3*3单应矩阵H，筛选出位于同一个平面的特征点对，对筛选出位于同一平面的匹配点对构建出多个左相机下三维坐标，采用随机一致采样法拟合出三维平面方程：

AX+BY+CZ+D＝0，C＜0；

再沿法线方向将平面的高度升高至TH，得到如下的新的平面方程：

对于三维平面AX+BY+CZ+D＝0(C＜0)中的任一线段线段pq，通过单应关系计算出线段端点p以及q的匹配点所对应的匹配点，从而三角化出它的三角坐标，然后依据下面的公式计算出它们在升高后的平面

)中的三维坐标T_p和T_q：

其中，A表示地面三维平面方程的法向量在X方向分量的值，B表示地面三维平面方程的法向量在Y方向分量的值，C表示地面三维平面方程的法向量在X方向分量的值，地面三维平面方程依据右手定则建立XYZ三维坐标系；(x,y,z)为在原始地面中的三维坐标，(x′,y′,z′)为在升高平面之后的三维坐标；

最后，通过opencv中的projectPoints函数投影三维线段的端点得到其在图像中的二维坐标，并人工辅助设定高度阈值H_λ；

步骤四三、首先，对步骤三中搜索到的包围盒匹配点对进行三角化计算，得出三维坐标(x_o,y_o,z_o)，然后，根据点到平面的距离公式计算出包围盒中心点距地面的高度，最后，依据高度阈值进行报警：

具体实施方式六：

与具体实施方式五不同的是，本实施方式的基于计算机视觉的地面三维平面重建方法，步骤四二所述的计算步骤二中出现的不匹配的特征点的3*3单应矩阵H，筛选出位于同一个平面的特征点对的过程中，所述的单应矩阵H表示平面之间的关系，若一个匹配点对没有在大多数点所在的平面，则使用该单应矩阵H变换之后的投影点将会和实际匹配点具有较大的差值，若差值大于设定的有效像素则被舍弃，保留其余情况的匹配点对。

具体实施方式七：

与具体实施方式六不同的是，本实施方式的基于计算机视觉的地面三维平面重建方法，步骤四二所述的计算步骤二中出现的不匹配的特征点的3*3单应矩阵H，筛选出位于同一个平面的特征点对的过程具体为，

首先，设单应矩阵H表示平面之间的关系，匹配点对为(x1,x2)；

然后，利用单应矩阵H得到变换之后的投影点x3，x3＝Hx1；

最后，判断投影点x3和实际匹配点x2之间的差值，舍弃差值大于1个像素，保留其余情况的匹配点对，则筛选出位于同一面上的大多数的匹配点对(x1,x2)。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种基于计算机视觉的地面三维平面重建方法，其特征在于：所述方法通过以下步骤实现：

步骤一、双目相机标定过程；

步骤二、稠密稳定匹配点对的生成过程：

在双目相机左图和双目相机右图构成的双目图像中，对地面中的匹配点对进行随机一致采样操作，实现三维平面的拟合过程；其中，双目相机左图是指双目相机与左眼对应的相机抓取到的图像数据，双目相机右图是指双目相机与右眼相对应的相机抓取到的图像数据；利用地面中的匹配点对，生成双目相机左图和双目相机右图之间的单应变换，为地面中的任一线段重建三维信息提供额外的辅助；并在随机一致采样建立平面方程后，拉升平面方程，之后再投影线段；

步骤二所述的稠密稳定匹配点对的生成过程具体为，

首先，采用具有深度卷积神经网络思想的深度卷积匹配在双目图像中匹配特征点，自底向上采用最大池化、下采样、聚集的步骤计算不同大小块的响应相似度，构建金字塔响应图；然后，逆向搜索响应图极值点计算出分辨率为4*4的正方形块的匹配得分，保留高得分的匹配，从而获取一系列分布均匀的稳定匹配点对；其中，保留高得分的匹配是指，对于在区间[0,1]内的匹配得分的值，将匹配得分的值在0.5以上的作为高得分，反之为低得分；

步骤三、基于极线搜索进行金字塔块匹配过程：

使用基础矩阵计算双目相机左图中的一点在双目相机右图中的极线搜索对应的匹配点对，利用归一化互相关作为衡量块之间的相似度，进行金字塔块匹配得到车辆或植被的包围盒匹配信息的操作，以用于测量车辆和植被的高度；

步骤三所述的基于极线搜索的金字塔块匹配过程具体为，

首先，在双目左图中由深度学习SSD模型检测得出车辆以及植被的包围盒，作为矩形框，再在双目右图中，利用极线搜索匹配检测框；

然后，采用归一化互相关作为衡量，在双目右图中找到和左图对应的位置，进行匹配；由对极几何可知，双目左图任一点在双目右图上的匹配点在一条极线上，通过基础矩阵计算处极线方程：l＝Fx；

其中，F表示3*3基础矩阵，x表示检测物体包围盒中心在双目左图上的齐次坐标，l是直线方程的系数；

最后，在直线方程l上通过自适应匹配计算出的搜索范围[X_min,X_max]，通过归一化互相关系数计算相似度，将相似度最高的位置作为匹配位置，以获取双目相机左图中车辆或植被包围盒中心在双目相机右图中的匹配点对；

步骤四、三角化过程：

利用步骤一的双目相机标定过程得到的参数信息，以及步骤三得到的车辆或植被的包围盒匹配信息，采用三角化技术计算出车辆和植被包围盒的三维坐标，结合步骤二得到的平面方程即得到车辆和植被高度值，通过拉升平面并投影的方式观察得到输电线路具体高度，设置预警阈值；

步骤四所述的三角化过程具体为，

步骤四一、利用步骤二计算出的稳定匹配点对以及步骤三计算出的车辆或植被包围盒中心的匹配点对，采用步骤一标定出的相机参数通过公式：

进行三角化过程，构建匹配点在双目相机的左相机下的三维坐标X1；其中，s₁表示场景中一点到左相机的深度，s₂表示场景中一点到右相机的深度，X₁表示场景中的点在左相机坐标系下的坐标，X₂表示场景中的点在右相机坐标系下的坐标，R表示右相机相对于左相机的旋转变换矩阵，t表示右相机相对于左相机的平移变换矩阵，

表示左相机内参数矩阵的逆矩阵，

表示由相机内参数矩阵的逆矩阵；

步骤四二、计算步骤二中出现的不匹配的特征点的3*3单应矩阵H，筛选出位于同一个平面的特征点对，对筛选出位于同一平面的匹配点对构建出多个左相机下三维坐标，采用随机一致采样法拟合出三维平面方程：

AX+BY+CZ+D＝0，C＜0；

再沿法线方向将平面的高度升高至TH，得到如下的新的平面方程：

对于三维平面AX+BY+CZ+D＝0，C＜0中的任一线段线段pq，通过单应关系计算出线段端点p以及q的匹配点所对应的匹配点，从而三角化出它的三角坐标，然后依据下面的公式计算出它们在升高后的平面

C＜0中的三维坐标T_p和T_q：

其中，A表示地面三维平面方程的法向量在X方向分量的值，B表示地面三维平面方程的法向量在Y方向分量的值，C表示地面三维平面方程的法向量在X方向分量的值，地面三维平面方程依据右手定则建立XYZ三维坐标系；(x,y,z)为在原始地面中的三维坐标，(x′,y′,z′)为在升高平面之后的三维坐标；

最后，通过opencv中的projectPoints函数投影三维线段的端点得到其在图像中的二维坐标，并人工辅助设定高度阈值H_λ；

步骤四三、首先，对步骤三中搜索到的包围盒匹配点对进行三角化计算，得出三维坐标(x_o,y_o,z_o)，然后，根据点到平面的距离公式计算出包围盒中心点距地面的高度，最后，依据高度阈值进行报警：

2.根据权利要求1所述基于计算机视觉的地面三维平面重建方法，其特征在于：步骤一所述的双目相机标定过程具体为，采用张氏标定方法，通过立体棋盘格图一次性获取三个棋盘，利用非线性levenberg-Marquardt优化方法，对棋盘角点重投影误差构建的代价方程进行优化，优化出相机的内参数、畸变参数、以及外参数，其中优化方法的目标方程如下：

其中，n表示棋盘格图的副数，m表示一幅棋盘格图中棋盘角点的个数，m_ij表示棋盘角点在图像中的坐标，A表示相机的内参数，R_i表示第i副棋盘图相对于相机的旋转，t_i表示第i副棋盘图相对于相机的平移，M_j表示世界坐标系下的坐标，k₁、k₂表示相机畸变参数，λ表示三维坐标向图像像素坐标的投影过程，将由通过opencv的stereoCalibrate得到的相机之间的旋转平移，作为外参数；其中，opencv是一个基于BSD许可发行的跨平台计算机视觉库；BSD是伯克利软件套件，是Unix的衍生系统；stereoCalibrate为OpenCV立体标定函数。

3.根据权利要求2所述基于计算机视觉的地面三维平面重建方法，其特征在于：步骤四二所述的计算步骤二中出现的不匹配的特征点的3*3单应矩阵H，筛选出位于同一个平面的特征点对的过程中，所述的单应矩阵H表示平面之间的关系，若一个匹配点对没有在大多数点所在的平面，则使用该单应矩阵H变换之后的投影点将会和实际匹配点具有较大的差值，若差值大于设定的有效像素则被舍弃，保留其余情况的匹配点对。

4.根据权利要求3所述基于计算机视觉的地面三维平面重建方法，其特征在于：步骤四二所述的计算步骤二中出现的不匹配的特征点的3*3单应矩阵H，筛选出位于同一个平面的特征点对的过程具体为，

首先，设单应矩阵H表示平面之间的关系，匹配点对为(x1,x2)；

然后，利用单应矩阵H得到变换之后的投影点x3，x3＝Hx1；

最后，判断投影点x3和实际匹配点x2之间的差值，舍弃差值大于1个像素，保留其余情况的匹配点对，则筛选出位于同一面上的大多数的匹配点对(x1,x2)。

5.根据权利要求4所述基于计算机视觉的地面三维平面重建方法，其特征在于：步骤一所述的双目相机标定过程具体为，在三维方向上各设置一个标定板组成立体标定板；在棋盘格图中采用张氏标定法，标定双目相机左图和双目相机右图的内参数、畸变参数、基础矩阵以及双目相机的左相机和右相机之间的旋转平移关系，一次完成标定，以进行三角化测量和三维线段投影；其中，双目相机左图是指双目相机与左眼对应的相机抓取到的图像数据，双目相机右图是指双目相机与右眼相对应的相机抓取到的图像数据。

Images