CN112857246A - 一种利用地面三目视频匹配的露天矿边坡形变在线监测方法 - Google Patents

Abstract

本发明公开了一种利用地面三目视频帧匹配的露天矿边坡形变在线监测方法。首先，通过均匀布设标靶，采用后定向方法完成三目视频相机参数标定；然后，通过对不同时刻三目视频帧的标靶及同名特征匹配与追踪，进行同名特征偏差估计，自动识别形变特征；继而，利用三组视频帧的前方交会，计算边坡形变特征的三维形变量，进行三维形变特征的时序分析，完成边坡形变的预警分析。该发明所用的硬件设备成本低，形变特征捕捉和三维形变量估计效率高，可实现边坡形变特征自动捕捉，辅助确定潜在滑坡区，完成在线高精度三维形变监测，满足露天矿高陡边坡三维形变监测的安全需求。

Description

一种利用地面三目视频匹配的露天矿边坡形变在线监测方法

一、技术领域

本发明属于矿山测量领域，特别是涉及到一种利用地面三目视频帧匹配的露天矿边坡形变在线监测方法。

二、背景技术

随着我国露天开采技术和设备的持续发展，其规模大、效率高、成本低、资源回采率高的特点越发显现，陡帮开采等先进的露天开采工艺得到广泛应用，导致高陡边坡的稳定性问题突出，地质灾害频发。因此，大型高陡边坡稳定性评价对于矿山的安全开采、可持续生产、地质灾害防治等具有重要意义。

传统的高陡边坡稳定性评价方法，如极限平衡法、数值方法、概率方法等，虽然操作简单，易于实现，但常忽略高陡边坡形成的时间、岩层纹理形态和空间结构等信息，导致评价可靠性差。近年来，地面激光雷达(Terrestrial Laser Scanning，TLS)技术迅速发展，因其全自动、非接触、高精度的三维数据获取手段而备受关注，并成功用于高陡边坡的形变监测、量采验收和滑坡稳定性评价等研究。然而，LiDAR具有数据量大、空间上离散的特点，形变监测缺乏时效性，无法满足在线形变监测需求。地面差分干涉测量技术(Ground BasedInterferometric Synthetic Aperture Radar，GB-InSAR)，可以满足在线监测需求，但对边坡的瞬时较大形变的监测能力不足。

多目视觉匹配技术通过对连续视频帧\影像的特征提取与追踪，采用前方交会模型，可实现边坡特征的时空变化监测。尤其，ORB(Oriented FAST and Rotated BRIEF)等实时特征提取算法的出现，为在线边坡形变监测提供了技术保障。此外，随着工业级光学、红外等视频传感器的飞速发展，人们可以远距离、全天候获取场景的视频信息，为大型高陡边坡形变特征追踪、三维形变监测及潜在滑坡预警等研究提供了数据保障。

本发明针对边坡形变的特点，设计了一种利用地面三目视频帧匹配的露天矿边坡形变在线监测方法。该方法基于三个同步拍摄的摄像机\数码相机，通过对不同时刻三目相机影像的特征检测、特征匹配、特征跟踪等方法，确定边坡的二维形变特征；继而，利用三个相机影像间的前方交会，计算边坡形变特征的三维形变量。该方法所用的硬件设备成本低，形变特征捕捉和三维形变量估计效率高，可实现边坡形变特征自动捕捉，辅助确定潜在滑坡区，完成在线高精度三维形变监测，满足露天矿高陡边坡三维形变监测的安全需求。

三、发明内容

(一)解决的技术问题

本发明所要解决的技术问题是：针对现有边坡形变监测方法成本高、效率低、精度不足等问题，设计了一种利用地面三目视频匹配的露天矿边坡形变在线监测方法。本方法首先布设三个高清摄像机，分别从不同视角同步获取高陡边坡的视频信息；继而，基于数字摄影测量与计算机视觉技术实现边坡图像特征的在线匹配与形变特征捕捉；最后，针对三目视频中捕捉的同名形变特征，采用前方交会模型计算形变特征的三维形变量，实现露天矿边坡三维形变监测与预警。

(二)技术方案

1.三目视频布设与相机参数标定

三目视频作为矿山边坡形变监测的数据来源，应保证相机布设的合理性并进行精准定标，获取摄像机的几何畸变参数、内方位元素、位置和姿态参数。具体实现步骤如下：

1)三目视频设备布设：根据监测边坡的长度确定合理的相机基线距离，在高陡边坡对面选择地形稳定的三个制高点，分记为P₁，P₂，P₃；每个制高点架设高清摄像机，分记为C₁，C₂，C₃；调整各相机的角度，使得三个相机拍摄区域的重叠度大于80％；此外，在待监测的高陡边坡上均匀布设g个夜光靶标，便于不间断观测，g≥6；使用全站仪等高精度设备测量靶标中心的三维坐标B_b＝(X_b，Y_b，Z_b)，b为靶标编号；此处，靶标既可用来恢复摄像机的位置和姿态参数，也可作为边坡形变监测的参考标识。

2)视频内参标定：通过张正友标定法确定三个摄像机镜头的畸变系数(k₁，k₂，k₃，p₁，p₂)、焦距f、像主点坐标(X₀，Y₀)。

3)视频外参标定：将2)标定的视频内参作为已知量输入，提取三个视频帧中各靶标的像素坐标，建立靶标像素坐标与其三维坐标的映射关系，使用PnP(perspective-n-point)策略计算三个视频相机的外方位元素，包括摄像机位置参数(t₁，t₂，t₃)和姿态参数(r₁，r₂，r₃，r₄，r₅，r₆，r₇，r₈，r₉)，得到三个相机的外参，分别记为

2.视频变化目标实时检测与跟踪

使用三目视频协同在线监测矿山边坡三维形变，保证了数据获取的实时性、连续性与鲁棒性。多视角视频流提供了全方位边坡监测数据，借助计算机视觉原理与技术对多角度视频流处理，识别与跟踪场景靶标，同时检测与匹配三目视频帧影像中的同名特征点，实时判别边坡位移区域，并分析移动方向。具体实现步骤如下：

1)靶标目标识别与跟踪：监测边坡预先均匀布设靶标，可用于视觉目标跟踪，因三目视频同时处于静止观测，可通过判定不同时刻同名靶标像素偏移量确定边坡的稳定性，联合手动框选与光流跟踪方法识别与跟踪二维码靶标中心；

2)同名特征追踪与偏移估计：视频处于静止观测，等时间间隔内提取每个摄像机的视频帧，提取ORB特征作为图像描述，通过ORB特征相似性判断，确定任意摄像机在不同时刻获取的序列视频帧同名特征，

3)形变特征确定：记录发生特征像素偏的移视频帧为关键帧K_i，这里i为关键帧序号，然后以第K_i-1帧影像为基准，计算形变区域像素偏移量集合{Δx_is，Δy_is}，i为关键帧编号，s为特征点点号，同名特征像素偏移值超过阈值ξ，则确定为形变特征α，将该特征点的像素坐标增加至形变集合A。

3.形变特征三维定位与分析

1)三目视频形变特征三维定位：已知视频传感器内外参数与镜头畸变系数，基于对极几何原理与影像密集重建技术，分别计算K_i关键帧中靶标与形变特征的三维坐标，分别记为{S_i1，S_i2，...，S_ig}和{F_i1，F_i2，...，F_im}，g为靶标总数，m∈A为K_i关键帧发生像素形变的特征点数量。

2)边坡三维形变模型构建与分析：靶标观测与图像特征跟踪具有时间连续性，利用关键帧K_i和K_i-1中形变特征三维坐标构建相邻关键帧边坡点、面三维形变数学模型，分析形变量并作出预警判断，具体的，针对关键帧K_i和K_i-1三维靶标点位{S_i1，S_i2，...，S_ig}和{S_(i-1)1，S_(i-1)2，...，S_(i-1)g}计算靶标时序三维偏移量{S_i1-S_(i-1)1，S_i2-S_(i-1)2，...，S_ig-S_(i-1)g}，

或在指定时间段t_θ内靶标偏移量超过最大位移阈值M时发出预警；于此同时分别构建关键帧K_i和K_i-1形变特征区域三角网格，计算网格间的法向平均距离S_ε判定关键帧K_i和K_i-1时间段内面滑动位移量，若在指定时间段t_θ内三维面位移累计滑动量超过最大面位移阈值W时发出预警。

(三)有益效果

1、本发明的主要传感器为高清摄像机，可实现露天矿边坡全面域的形变监测，相比传统分布式GNSS站点监测，成本低，且无需险情的先验知识，鲁棒性强。

2、利用本发明，能够全天候在线监测并预警边坡形变，具有精度高、实时性好的特点。

四、附图说明

图1利用地面三目视频匹配的边坡形变在线监测技术流程图。

图2三目视频布设与边坡靶标分布示意图。

图3靶标像素位移量监测示意图。

图4基于视频帧影像特征匹配的视频目标面状形变区域检测示意图。

图5三目视频协同三维定位示意图。

五、具体实施方式

以图1-5为例，详细说明本发明的实现过程其具体实施方式。

1.三目视频布设与相机参数标定

步骤1：如图2所示，根据实际监测边坡地形，在边坡对面合理布设视频摄像头。具体地，令B_nm为相机C_n与C_m之间的基线长度，n，m∈{1，2，3}，D为三个相机C₁，C₂，C₃到滑坡中心区域的平均距离，α_nm为两相机C_n与C_m到滑坡中心的基深比，为了保证长基线稳定定位，按式1设置基深比α取值范围，调整视频拍摄角度，保证监测区域视频重叠度大于80％，如图2所示，为了不间断监测，待监测边坡均匀布设多个夜光二维码靶标，分别标记为T_b，b＜g，b为靶标编号，g为靶标总数，g≥6，使用全站仪等设备测量设备采集靶标空间三维坐标，三维坐标记为B_b＝(X_b，Y_b，Z_b)。

步骤2：通过张正友标定法确定三个视频镜头内参数与畸变系数，首先按式(2)构建世界坐标系与图像像素坐标系间关系，使用Q简化表达相机内参与外参相乘矩阵，代数求解Q矩阵，分解矩阵Q可得相机焦距f与相主点坐标(u₀，v₀)；使用多项式表达相机径向畸变与切向畸变，如式(3)和式(4)所示，使用最小二乘求解相机畸变参数(k₁，k₂，k₃，p₁，p₂)；

其中，(U，V，W)为世界坐标系坐标，(u，v)为像素坐标，Z表示尺度因子，f、u₀与v₀单位为像素；

其中，(x，y)，

分别为理想的无畸变的归一化的图像坐标、畸变后的归一化图像坐标，坐标以像主点为坐标原点，r为图像像素点到图像中心点的距离，即r²＝x²+y²；

步骤3：视频外参标定。利用PnP直接线性变换方法计算视频相机的外方位元素，相机外方位元素包括三个平移参数(t₁，t₂，t₃)和九个姿态旋转矩阵参数(r₁，r₂，r₃，r₄，r₅，r₆，r₇，r₈，r₉)，按式(5)构建图像归一化平面齐次坐标(u′，v′，1)^T与三维齐次坐标P＝(U，V，W，1)^T间的空间关联映射，得到式(6)空间约束，按式(7)以矩阵形式构建N对映射约束，N＞6时最小二乘求解相机外参，计算三个视频相机的外参，分别记为

其中，(U，V，W，1)为世界坐标系齐次坐标，(u₁，v₁，1)^T为像素归一化平面齐次坐标，Z表示尺度因子。

其中，

(u₁，v₁)和P₁为第一对二三位匹配映射点位，(u_N，v_N)和P_N为第N对二三维映射点位。

2.视频变化目标实时检测与跟踪

步骤1：靶标目标识别与跟踪：监测边坡均匀布设的靶标同时可用于视觉目标跟踪，因三目视频同时处于静止观测，可通过判定不同时刻同名靶标像素偏移量确定边坡的稳定性，联合手动框选与光流跟踪方法识别与跟踪二维码靶标中心，如图3所示，基于光流法跟踪发生位置变化的二维码靶标，视频帧像素可看作时间的函数：I(t)，t时刻位于(x，y)处的像素灰度以式(8)表达，基于灰度不变假设，同一个空间点的像素灰度值在各摄像机的连续视频帧中保持不变，即对于t时刻位于(x，y)处的像素，假设t+dt时刻运动到(x+dx，y+dy)处，两时刻该像素的灰度值相等，如式(9)所示，据此计算靶标在时序视频帧影像中的像素偏移，

I(x，y，t) (8)

I(x+dx，y+dy，t+dt)＝I(x，y，t) (9)

步骤2：同名特征追踪与偏移估计：相较于靶标点跟踪监测，利用视频帧影像特征提取与匹配实现面状形态变化区域检测，如图4所示，等时间间隔内提取ORB特征作为图像描述，基于RANSAC完成多帧视频图像的同名特征匹配，图4中三角形与圆形分别表示两个时间阶段检测到的视频帧特征点位，因视频摄像机的位置参数固定，未发生形变的同名特征像素坐标保持不变，三角形与圆形重合，反之，发生形变的同名特征之间产生像素位置偏移，如图4矩形框中三角形与圆形标识的像素位置产生偏离；

步骤3：形变特征确定：记录发生特征位置偏移视频帧为关键帧K_i，i为关键帧序号，像素偏移跟踪阶段以K_i-1个关键帧作为基准，按(10)式计算形变区域像素偏移量集合{Δx_is，Δy_is}，i为关键帧编号，s为特征点点号，按式(11)判断形变区域集合A，随着时间的累积，取最大形变区域作为持续跟踪监测区域。

其中，x_ki和y_ki为第i个关键帧中ORB特征点，x_ki-1和y_ki-1为第i-1个关键帧的ORB特征点，ξ为像素位移阈值，

为第i个关键帧中第s个特征点。

3.形变特征三维定位与分析

步骤1：如图5所示，三角化同名像点得到三维坐标，已求得视频传感器内外参数与畸变系数，按式(3)-(4)计算去畸变像素坐标，按式(12)描述第n个视频相机去畸变像素坐标x_n与三维空间坐标X的关系，得到二维与三维坐标空间约束如式(13)所示，按式(14)最小二乘求解三目视频定位。

其中，x_n＝(x_nx，x_nv，1)^T，M_n表示第n个相机内参矩阵，R_n和t_n为第n个相机在世界坐标系下的旋转矩阵与平移向量，[P_n1，P_n2，P_n3]^T表示第n个空间转换矩阵行向量。

步骤2：边坡三维形变模型构建与分析，靶标观测与图像特征跟踪具有时间连续性，利用关键帧K_i和K_i-1中形变特征三维坐标构建相邻关键帧边坡点、面三维形变数学模型，分析形变量并作出预警判断，具体的，针对关键帧K_i和K_i-1三维靶标点位{S_i1，S_i2，...，S_ig}和{S_(i-1)1，S_(i-1)2，...，S_(i-1)g}，按式(15)计算靶标时序三维偏移量

当

或在指定时间段t_θ内靶标偏移量累计量超过最大位移阈值M时发出预警；于此同时分别构建关键帧K_i和K_i-1形变特征区域三角网格，使用最邻近三维点位区域增长策略构建三角网平面，为保证三角网格构建的合理性，按式(16)进行约束，其中三角形面片需满足最小三角形内角大于30度，最大三角形边长小于最小三角形边长的三倍，计算网格间的法向平均距离S_ε判定关键帧K_i和K_i-1时间段内面滑动位移量，若在指定时间段t_θ内三维面位移累计滑动量超过最大面位移阈值W时发出预警。

其中，min＜表示最小三角形内角，maxL与minL分表表示最大与最小三角形边长。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种利用地面三目视频匹配的露天矿边坡形变在线监测方法，其特征在于，包括如下内容：

1)三目视频布设与相机参数标定；

2)视频变化目标实时检测与跟踪；

3)形变特征三维定位与分析。

2.根据权利要求1所述的三目视频布设与相机参数标定，其特征在于，包含以下步骤：

步骤1：根据实际监测边坡地形，在边坡对面合理布设视频摄像头。具体地，令B_nm为相机C_n与C_m之间的基线长度，n，m∈{1，2，3}，D为三个相机C₁，C₂，C₃到滑坡中心区域的平均距离，α_nm为两相机C_n与C_m到滑坡中心的基深比，为了保证长基线稳定定位，按式1设置基深比α取值范围，调整视频拍摄角度，保证监测区域视频重叠度大于80％，如图2所示，为了不间断监测，待监测边坡均匀布设多个夜光二维码靶标，分别标记为T_b，b＜g，b为靶标编号，g为靶标总数，g≥6，使用全站仪等设备测量设备采集靶标空间三维坐标，三维坐标记为B_b＝(X_b，Y_b，Z_b)。

步骤2：通过张正友标定法确定三个视频镜头内参数与畸变系数，首先按式(2)构建世界坐标系与图像像素坐标系间关系，使用Q简化表达相机内参与外参相乘矩阵，代数求解Q矩阵，分解矩阵Q可得相机焦距f与相主点坐标(u₀，v₀)；使用多项式表达相机径向畸变与切向畸变，如式(3)和式(4)所示，使用最小二乘求解相机畸变参数(k₁，k₂，k₃，p₁，p₂)；

其中，(U，V，W)为世界坐标系坐标，(u，v)为像素坐标，Z表示尺度因子，f、u₀与v₀单位为像素；

其中，(x，y)，

分别为理想的无畸变的归一化的图像坐标、畸变后的归一化图像坐标，坐标以像主点为坐标原点，r为图像像素点到图像中心点的距离，即r²＝x²+y²；

步骤3：视频外参标定。利用PnP直接线性变换方法计算视频相机的外方位元素，相机外方位元素包括三个平移参数(t₁，t₂，t₃)和九个姿态旋转矩阵参数(r₁，r₂，r₃，r₄，r₅，r₆，r₇，r₈，r₉)，按式(5)构建图像归一化平面齐次坐标(u′，v′，1)^T与三维齐次坐标P＝(U，V，W，1)^T间的空间关联映射，得到式(6)空间约束，按式(7)以矩阵形式构建N对映射约束，N＞6时最小二乘求解相机外参，计算三个视频相机的外参，分别记为

其中，(U，V，W，1)为世界坐标系齐次坐标，(u₁，v₁，1)^T为像素归一化平面齐次坐标，Z表示尺度因子。

其中，

(u₁，v₁)和P₁为第一对二三位匹配映射点位，(u_N，v_N)和P_N为第N对二三维映射点位。

3.根据权利要求1所述的视频变化目标实时检测与跟踪，其特征在于，包含以下步骤：

步骤1：靶标目标识别与跟踪：监测边坡均匀布设的靶标同时可用于视觉目标跟踪，因三目视频同时处于静止观测，可通过判定不同时刻同名靶标像素偏移量确定边坡的稳定性，联合手动框选与光流跟踪方法识别与跟踪二维码靶标中心，基于光流法跟踪发生位置变化的二维码靶标，视频帧像素可看作时间的函数：I(t)，t时刻位于(x，y)处的像素灰度以式(8)表达，基于灰度不变假设，同一个空间点的像素灰度值在各摄像机的连续视频帧中保持不变，即对于t时刻位于(x，y)处的像素，假设t+dt时刻运动到(x+dx，y+dy)处，两时刻该像素的灰度值相等，如式(9)所示，据此计算靶标在时序视频帧影像中的像素偏移，

I(x，y，t) (8)

I(x+dx，y+dy，t+dt)＝I(x，y，t) (9)

步骤2：同名特征追踪与偏移估计：相较于靶标点跟踪监测，利用视频帧影像特征提取与匹配实现面状形态变化区域检测，等时间间隔内提取ORB特征作为图像描述，基于RANSAC完成多帧视频图像的同名特征匹配，因视频摄像机的位置参数固定，未发生形变的同名特征像素坐标保持不变，反之，发生形变的同名特征之间产生像素位置偏移；

步骤3：形变特征确定：记录发生特征位置偏移视频帧为关键帧K_i，i为关键帧序号，像素偏移跟踪阶段以K_i-1个关键帧作为基准，按(10)式计算形变区域像素偏移量集合{Δx_is，Δy_is}，i为关键帧编号，s为特征点点号，按式(11)判断形变区域集合A，随着时间的累积，取最大形变区域作为持续跟踪监测区域。

其中，x_ki和y_ki为第i个关键帧中ORB特征点，x_ki-1和y_ki-1为第i-1个关键帧的ORB特征点，ξ为像素位移阈值，

为第i个关键帧中第s个特征点。

4.根据权利要求1所述形变特征三维定位与分析，其特征在于，包含以下步骤：

步骤1：三角化同名像点得到三维坐标，已求得视频传感器内外参数与畸变系数，按式(3)-(4)计算去畸变像素坐标，按式(12)描述第n个视频相机去畸变像素坐标x_n与三维空间坐标X的关系，得到二维与三维坐标空间约束如式(13)所示，按式(14)最小二乘求解三目视频定位。

其中，x_n＝(x_nx，x_ny，1)^T，M_n表示第n个相机内参矩阵，R_n和t_n为第n个相机在世界坐标系下的旋转矩阵与平移向量，[P_n1，P_n2，P_n3]^T表示第n个空间转换矩阵行向量。

步骤2：边坡三维形变模型构建与分析，靶标观测与图像特征跟踪具有时间连续性，利用关键帧K_i和K_i-1中形变特征三维坐标构建相邻关键帧边坡点、面三维形变数学模型，分析形变量并作出预警判断，具体的，针对关键帧K_i和K_i-1三维靶标点位{S_i1，S_i2，...，S_ig}和{S_(i-1)1，S_(i-1)2，...，S_(i-1)g}，按式(15)计算靶标时序三维偏移量

当

或在指定时间段t_θ内靶标偏移量累计量超过最大位移阈值M时发出预警；于此同时分别构建关键帧K_i和K_i-1形变特征区域三角网格，使用最邻近三维点位区域增长策略构建三角网平面，为保证三角网格构建的合理性，按式(16)进行约束，其中三角形面片需满足最小三角形内角大于30度，最大三角形边长小于最小三角形边长的三倍，计算网格间的法向平均距离S_ε判定关键帧K_i和K_i-1时间段内面滑动位移量，若在指定时间段t_θ内三维面位移累计滑动量超过最大面位移阈值W时发出预警。

Images