CN114333243A - 一种滑坡监测预警方法、装置、介质、电子设备及终端 - Google Patents

Abstract

本发明属于变形自动化监测技术领域，公开了一种滑坡监测预警方法、装置、介质、电子设备及终端，基于立体相机拍摄的实时影像，获取滑坡体上待监测标记的特征图像，并根据得到的特征图像获取图像中心点；获取多个测量相机坐标系下的图像中心点的不同坐标，根据多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下的图像中心点的不同坐标确定图像中心点在全局坐标系下的目标坐标；根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警。本发明通过实时影像识别获取滑坡体上待监测标记的图像中心点的坐标，根据所述图像中心点坐标的变化，实现对滑坡的动态监测，提高滑坡监测的实时性，降低成本。

Description

一种滑坡监测预警方法、装置、介质、电子设备及终端

技术领域

本发明属于变形自动化监测技术领域，尤其涉及一种滑坡监测预警方法、装置、介质、电子设备及终端。

背景技术

目前，滑坡监测本质是要获取滑坡体的运动态势，以及时作出决策，需监测技术具备实时性、动态性、经济性，通过对现场监测数据的实时分析处理，在滑坡发生前一定时间内、或发生瞬时，发出警示信息，提醒受滑坡威胁人员主动避让撤离，以保证生命安全。

现有的滑坡监测手段主要有两种一种为接触式的监测方法，一种是非接触的方法；细分又可分为宏观地质监测法、简易监测法、设站观测法、大地精密测量方法、仪器自动监测法和遥感监测方法。比如其中的设站观测法需要专业的测绘人员参与，作业效率低，还需要定期观测，人员周期性投入大；遥感监测方法需要使用InSAR、激光扫描仪等仪器，设备昂贵，并且实际精度容易受到植被的影响。同时，上述现有技术中的滑坡监测方法存在不能进行动态监测、效率低、设备昂贵的问题，使得滑坡监测成本高、实时性差、不能及时预警实现人员安全撤离。因此，亟需设计一种新的滑坡监测预警方法及装置。

地灾滑坡监测是一门综合性很强的应用技术，它以土木工程理论、岩石力学、工程地质学等学科为基础，以信息科学、测绘学、传感器技术及仪表等学科为技术支持，同时还结合施工工艺和施工经验，故滑坡监测是一门综合应用技术。现有的滑坡监测手段主要有两种一种为接触式的监测方法，一种是非接触的方法；细分又可分为宏观地质监测法、简易监测法、设站观测法、大地精密测量方法、仪器自动监测法和遥感监测方法。然而宏观地质监测法和简易监测法都是定性的观测，时间分辨率太大，经济投入少，主动性差，人工误差大，精度低，但适合群防群控；设站观测法、大地精密测量方法则需要专业的测绘人员参与，作业效率太低，也需要定期观测，人员周期性投入比较大；仪器自动监测法主要采用接触式自动测量仪器，如GNSS静态观测终端、裂缝计等设备，但这些设备又具有应用缺点，如GNSS静态观测终端设备贵，需要以小时为单位的测量观测周期，实时性差，容易受到大面积水域的多路径影响，裂缝计则需要正确安装至滑动面或者断裂缝隙两侧，一般情况只适合中后缘裂缝比较明显的区域，不适合捕捉前缘部分，只适合活动的裂缝区域，测量量程有限，需要保障设备两端分别与测量体刚体连接，而且这些接触型设备只能一次性使用；一般的遥感监测方法如InSAR、激光扫描仪等，同样具有时间分辨率太低、设备昂贵，而且实际精度容易受到植被的影响，现有的方法无法做到彻底消除实际三维陡坡体上的植被，另外激光扫描仪还存在空间点重复扫描不一致问题，无法通过有限次扫描获取区域块内的平均坐标。

滑坡监测本质是要获取滑坡体的运动态势，以及时作出决策，需监测技术具备实时性、动态性，另外还需要经济性，然而现有的方法无法兼顾这些。故急需新的技术的革新，以满足紧迫性需求，通过对现场监测数据的实时分析处理，在滑坡发生前一定时间内、或发生瞬时，发出警示信息，提醒受滑坡威胁人员主动避让撤离，以保证生命安全。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有的滑坡监测手段中，设站观测法需要专业的测绘人员参与，作业效率低，还需要定期观测，人员周期性投入大。

(2)现有的滑坡监测手段中，遥感监测方法需要使用InSAR、激光扫描仪等仪器，设备昂贵，并且实际精度容易受到植被的影响。

(3)现有滑坡监测方法存在不能进行动态监测、效率低、设备昂贵的问题，使得滑坡监测成本高、实时性差、不能及时预警实现人员安全撤离。

解决以上问题及缺陷的意义为：

为了实时监测滑坡体的变形情况，本发明设计一种以立体相机为主要传感器的远程监测预警系统，通过实时影像识别技术自动获取滑坡体特制标靶的三维坐标。基于实时影像的监测技术具有非接触、对被测目标无损伤、无干扰、受恶劣环境影响小等特点，具有较高的精度和可靠性，同时能够实现监测系统的低成本、自动化和实时性。

本发明为了实时监测滑坡体的变形情况，设计一种以立体相机为主要传感器的远程监测预警系统，通过实时影像识别技术自动获取滑坡体特制标靶的三维坐标，并实时记录到后台数据库中，供用户远程访问。当监测到滑坡快速滑动超过阈值时，立即向相关人员发出警报。

发明内容

针对现有技术存在的问题，本发明提供了一种滑坡监测预警方法、装置、介质、电子设备及终端，尤其涉及一种基于实时影像识别的滑坡监测预警方法、装置、介质、电子设备及终端，旨在解决现有技术中滑坡不能进行动态监测和监测实时性差的问题。

本发明是这样实现的，一种滑坡监测预警方法，所述滑坡监测预警方法包括以下步骤：

步骤一，基于立体相机拍摄的实时影像，获取滑坡体上待监测标记的特征图像，并根据得到的特征图像获取图像中心点；

步骤二，获取多个测量相机坐标系下的图像中心点的不同坐标，根据多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下的图像中心点的不同坐标确定图像中心点在全局坐标系下的目标坐标；

步骤三，根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警。

进一步，所述步骤一中的立体相机包括多个测量相机，所述基于立体相机拍摄的实时影像，获取滑坡体上待监测标记的特征图像，并根据得到的特征图像获取图像中心点包括：

(1)基于校验后的立体相机拍摄的实时影像，获取滑坡体上待监测标记的原始图像；

(2)识别所述原始图像并提取所述原始图像的边缘特征，得到所述滑坡体上待监测标记的特征图像；

(3)采用质心法获取所述特征图像的图像中心点。

进一步，所述对所述立体相机进行校验包括：

通过训练使立体相机畸变系数收敛，利用共线方程标定相机姿态确定立体相机的姿态角，完成立体相机校验，得到校验后的立体相机。

进一步，所述步骤二中的获取多个测量相机坐标系下图像中心点的不同坐标，根据多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下的图像中心点的不同坐标确定图像中心点在全局坐标系下的目标坐标包括：

(1)获取所述多个测量相机坐标系下所述图像中心点的不同坐标，通过GNSS静态测量法获取所述多个测量相机在全局坐标系下的不同坐标；

(2)根据所述多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下图像中心点的不同坐标利用前方交会法计算出所述图像中心点在全局坐标系下的目标坐标。

进一步，所述多个测量相机为两个测量相机，所述根据所述多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下图像中心点的不同坐标利用前方交会法计算出所述图像中心点在全局坐标系下的目标坐标包括：

根据所述两个测量相机在全局坐标系下的位置坐标确定一条直线，根据测量相机坐标系下图像中心点的不同坐标和所述两个测量相机在全局坐标系下的不同坐标确定对应的两个角度值，利用所述一条直线和两个角度值对前方交会处进行计算得到所述图像中心点在全局坐标系下的目标坐标。

进一步，所述步骤三中的根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警包括：

将所述图像中心点的目标坐标与前期得到的图像中心点的目标坐标进行实时对比，判断所述图像中心点的目标坐标是否发生变化，若发生变化，则进行滑坡预警。

进一步，所述滑坡监测预警方法，还包括通过单帧对待监测标记进行实时跟踪，判断待监测标记是否丢失，若丢失或者单帧失效，进行滑坡预警，包括：

利用单个立体相机对待监测标记进行实时跟踪，若未获得待监测标记坐标，则对待监测标记进行立体检测；

在另一个立体相机中对待监测标记进行识别，若待监测标记在另一个立体相机中未被识别到，则待监测标记丢失，进行滑坡预警；

若待监测标记在另一个立体相机中被识别到，则单帧失效，进行滑坡预警。

本发明的另一目的在于提供一种应用所述的滑坡监测预警方法的滑坡监测预警装置，所述滑坡监测预警装置包括：

目标识别模块。目标识别技术可以有效地把目标从背景中分离出来，是实现目标配准的前提，此技术是基于目标与背景反差明显的情况下，使用边缘检测、特征提取等影像处理手段获取目标信息。同时为实现全天候目标的有效识别，需在滑坡体上安装明显的标靶，可作为滑坡变形移动的有效识别标识。

立体视觉测量模块。滑坡监测体系是建立在立体视觉的技术之上，需要完成监测、测量功能，必须要解决视觉系统中的误差，即相机畸变、相机定姿的问题。为解决相机畸变需要对相机系统做定标处理，通过对相机系统的定标处理，则可以把非专业测量相机变成近似专业测量相机。相机定姿问题，为了提供坐标系的基准，必须通过固定相机姿态的方式，利用立体相机的位姿信息建立监测坐标系统，为确定此坐标系，可以通过现场标志点做定标解算，解算出相机系统的位置参数。

基于工控机的实时处理模块。通过本地工控机建立一套低功耗、低数据流的监测系统。在工控机上实时处理软件视频影像数据，提取有用的关键信息，大大压缩了数据量，这些数据结果可本地存储后再发送至远程后台数据库。

后台预警模块。通过单帧跟踪立体检测的方式，避免目标匹配失败和单帧失效的情况；通过本地与远程后台同时预警的方案，可避免网络数据包丢失的问题。

整系统主要是实时接收立体视频系统采集的数据，并实时识别出标靶，通过目标配准，和已知的传感器位置姿态，计算出传感前方滑坡体中标靶的三维坐标。此外实时对比前期数据，根据滑坡移动情况触发报警。另外还可以通过单帧内目标移动、目标丢失情况，智能判别当前滑坡体是否处在高危险期。

本发明的另一目的在于提供一种计算机电子设备，所述计算机电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

基于立体相机拍摄的实时影像，获取滑坡体上待监测标记的特征图像，并根据得到的特征图像获取图像中心点；获取多个测量相机坐标系下的图像中心点的不同坐标，根据多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下的图像中心点的不同坐标确定图像中心点在全局坐标系下的目标坐标；根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的滑坡监测预警装置。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的滑坡监测预警方法，具体涉及一种基于实时影像识别的滑坡监测预警方法，通过实时影像识别获取滑坡体上待监测标记的图像中心点的坐标，根据所述图像中心点坐标的变化，实现了对滑坡的动态监测；在远程后台进行实时滑坡预警可以实现及时预警使人员安全撤离，提高了滑坡监测的实时性；以立体相机为主要传感器的远程监测预警方法，能够降低成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的滑坡监测预警方法流程图。

图2是本发明实施例提供的滑坡监测预警装置结构框图；

图中：1、目标识别模块；2、立体视觉测量模块；3、基于工控机的实时处理模块；4、后台预警模块。

图3是本发明实施例提供的滑坡监测预警装置的应用场景示意图。

图4是本发明实施例提供的图像获取的方法流程图。

图5是本发明实施例提供的数据处理的方法流程图。

图6是本发明实施例提供的前方交会法的示意图。

图7是本发明实施例提供的通过单帧对待监测标记进行实时跟踪的流程图。

图8是本发明实施例提供的滑坡监测预警系统示意图。

图9是本发明实施例提供的电子设备的结构框图。

图中：10、处理器；20、存储器；30、显示器。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种滑坡监测预警方法、装置、介质、电子设备及终端，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的滑坡监测预警方法包括以下步骤：

S101，基于立体相机拍摄的实时影像，获取滑坡体上待监测标记的特征图像，并根据得到的特征图像获取图像中心点；

S102，获取多个测量相机坐标系下的图像中心点的不同坐标，根据多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下的图像中心点的不同坐标确定图像中心点在全局坐标系下的目标坐标；

S103，根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警。

如图2所示，本发明实施例提供的滑坡监测预警装置包括：

目标识别模块1。目标识别技术可以有效地把目标从背景中分离出来，是实现目标配准的前提，此技术是基于目标与背景反差明显的情况下，使用边缘检测、特征提取等影像处理手段获取目标信息。同时为实现全天候目标的有效识别，需在滑坡体上安装明显的标靶，可作为滑坡变形移动的有效识别标识。

目标信息的获取包括目标识别和中心定位两大步骤。常用的目标识别算法有边缘算子检测法、递归填充法、形态学方法等。本发明采用的Canny边缘检测算子是一种只产生单像素边缘的检测算法，适合提取人工标志图像边缘。经Canny算子检测后的图像是由离散的标志边缘像素和噪声组成的二值图像，需再利用边缘跟踪算法或边界闭合算法得到封闭的标志边缘。确定标志边缘后，利用标志包含的像素计算标志中心在像平面坐标系内的坐标。本方案采用灰度加权质心法获得标志中心亚像素级的定位精度。质心法是对图像中的圆、椭圆和矩形等中心对称目标进行高精度定位的常用算法。所谓灰度加权质心法，即以像素的灰度值为权，计算标志图像内所有像素坐标的加权平均值。(安装明显标靶指的是发光标靶，在夜晚也能清晰成像；

立体视觉测量模块2。滑坡监测体系是建立在立体视觉的技术之上，需要完成监测、测量功能，必须要解决视觉系统中的误差，即相机畸变、相机定姿的问题。为解决相机畸变需要对相机系统做定标处理，通过对相机系统的定标处理，则可以把非专业测量相机变成近似专业测量相机。相机定姿问题，为了提供坐标系的基准，必须通过

固定相机姿态的方式，利用立体相机的位姿信息建立监测坐标系统，为确定此坐标系，可以通过现场标志点做定标解算，解算出相机系统的位置参数。

由于数码相机的构成模式以及机械组成装置，不可避免地存在着一定的畸变，而使得实际像点坐标和理论像点坐标存在着一定的偏差。影像的畸变对后续影像处理有着直接的关系，畸变较大的影像会使得影像匹配的精度下降，从而导致最后测量误差的上升。为了降低镜头畸变差，提高摄影测量的精度，在使用相机进行拍摄影像之前要进行数码相机的检校。本方案采用的检校标定方法主要有以下六个步骤：(1)打印一张模板并贴在一个平面上；(2)从不同角度拍摄若干张模板图像；(3)检测出图像中的特征点；(4)求出相机的内参数和外参数；(5)求出畸变系数；(6)用得到的畸变系数检校后，重复以上步骤直至畸变系数收敛)；

立体视觉测量是利用两台已标定位置关系的相机从不同角度同时采集被测目标的相片，根据两相机的位置姿态以及测量点在两幅图像中的同名像点坐标，通过前方交会法求解测量点的三维坐标。相机姿态的误差直接导致测角误差，从而为三维坐标的测量引入误差。本发明采用的相机姿态标定方法主要有以下三个步骤：(1)利用GNSS静态测量法测量立体相机和标靶的三维位置坐标；(2)对图像进行畸变校正，识别出图像中的标靶并对其中心进行定位；(3)利用共线方程求出相机外参中的姿态角即为相机姿态。

基于工控机的实时处理模块3。在一般工程应用中，除了技术保障之外，还需要硬件的支持，在滑坡视频监测系统中，必须要保障处理高清的数据流，但处理过程一般很难通过无线传输系统，传输至远程后台，这是因为在大量的滑坡体附近往往存在信号遮挡、信号差的问题，无法满足高数据吞吐量的要求，此外还要保证后期的运营费用的可控性，如此海量的数据流信息，必然会产生巨额的数据通信费用；另外还有一点就是，无法建立高功耗供电系统。为此必须通过本地工控机建立一套低功耗、低数据流的监测系统。在工控机上实时处理软件视频影像数据，提取有用的关键信息，大大压缩了数据量，这些数据结果可本地存储后再发送至远程后台数据库。软件就是前面所述目标识别模块和立体视觉测量模块；建立本地数据库，通过4G网络上传到后台。

后台预警模块4。得到的实时监测数据中只包含三维坐标信息，并没有预警功能，为了实现相配套的预警功能，本监测预警系统必须包含一种高可信度的预报、预警机制。针对预警可靠性方面，可通过单帧跟踪立体检测的方式，避免目标匹配失败和单帧失效的情况；通过本地与远程后台同时预警的方案，可避免网络数据包丢失的问题。

单帧跟踪是指单个相机对标靶进行实时跟踪，如果单帧目标丢失，则对目标进行立体检测，即在另一个相机中对该标靶进行识别，如果目标在相机中未丢失，说明标靶并未丢失，只是单帧失效，单帧失效会导致目标匹配失败而无法获取其三维坐标。

整系统主要是实时接收立体视频系统采集的数据，并实时识别出标靶，通过目标配准，和已知的传感器位置姿态，计算出传感前方滑坡体中标靶的三维坐标。此外实时对比前期数据，根据滑坡移动情况触发报警。另外还可以通过单帧内目标移动、目标丢失情况，智能判别当前滑坡体是否处在高危险期。

下面结合具体实施例对本发明的技术方案作进一步描述。

本发明提供了一种基于实时影像识别的滑坡监测预警方法、装置及电子设备，以下分别进行详细说明。

图3为本发明提供的基于实时影像识别的滑坡监测预警装置一实施例的应用场景示意图，该系统可以包括服务器100，服务器100中集成有基于实时影像识别的滑坡监测预警装置，如图3中的服务器。

本发明实施例中服务器100主要用于：

基于立体相机拍摄的实时影像，获取滑坡体上待监测标记的特征图像，根据特征图像获取图像中心点；其中，立体相机包括多个测量相机；

获取多个测量相机坐标系下的图像中心点的不同坐标，根据多个测量相机在全局坐标系下的不同坐标和多个测量相机坐标系下的图像中心点的不同坐标确定图像中心点在全局坐标系下的目标坐标；

根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警。

本发明实施例中，该服务器100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本发明实施例中所描述的服务器100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。

可以理解的是，本发明实施例中所使用的终端200可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端200可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定终端200的类型。

本领域技术人员可以理解，图3中示出的应用环境，仅仅是与本发明方案一种应用场景，并不构成对本发明方案应用场景的限定，其他的应用环境还可以包括比图3中所示更多或更少的终端，例如图3中仅示出2个终端，可以理解的，该基于实时影像识别的滑坡监测预警装置还可以包括一个或多个其他终端，具体此处不作限定。

另外，参照图3所示，该基于实时影像识别的滑坡监测预警装置还可以包括存储器200，用于存储数据，如滑坡体上待监测标记的三维坐标等数据。

需要说明的是，图3所示的基于实时影像识别的滑坡监测预警装置的场景示意图仅仅是一个示例，本发明实施例描述的基于实时影像识别的滑坡监测预警装置以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着基于实时影像识别的滑坡监测预警装置的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

本发明实施例提供了一种基于实时影像识别的滑坡监测预警方法,其流程示意图，如图1所示，所述基于实时影像识别的滑坡监测预警方法包括：

S101，基于立体相机拍摄的实时影像，获取滑坡体上待监测标记的特征图像，根据特征图像获取图像中心点；其中，立体相机包括多个测量相机；

S102，获取多个测量相机坐标系下的图像中心点的不同坐标，根据多个测量相机在全局坐标系下的不同坐标和多个测量相机坐标系下的图像中心点的不同坐标确定图像中心点在全局坐标系下的目标坐标；

S103，根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警。

作为一具体的实施例，在基于实时影像识别的滑坡监测预警方法的步骤S201中，立体相机一般是指3D立体相机，所述多个测量相机为两个立体相机，一个放置于左边，另一个放置于右边，用于拍摄待监测标记的实时影像。

需要说明的是，待监测标记为一在夜间也能清晰成像的发光标靶，通过实时影像识别获取滑坡体上标靶的图像中心点坐标，实现滑坡监测系统的动态监测,通过远程后台进行实时滑坡预警可以实现及时预警使人员安全撤离，提高滑坡监测的实时性。

作为一个优选的实施例，基于实时影像识别的滑坡监测预警方法中步骤S101的流程示意图，如图4所示，所述步骤S101的流程具体包括：

S201，基于校验后的立体相机拍摄的实时影像，获取滑坡体上待监测标记的原始图像；

S202，识别原始图像并提取原始图像的边缘特征，得到滑坡体上待监测标记的特征图像；

S203，采用质心法获取特征图像的图像中心点。

一个具体实施例中，利用已校验的立体相机从不同角度同时采集待监测标记的实时影像，从所述实时影像中随机截取待监测标记的图像；

采用Canny边缘检测算子对所述待监测标记的图像进行检测，经Canny算子检测后的图像是由离散的待监测标记边缘像素和噪声组成的二值图像，利用边缘跟踪算法或边界闭合算法得到封闭的待监测标记边缘，确定待监测标记边缘；

采用灰度加权质心法获得待监测标记中心亚像素级的定位精度，所述灰度加权质心法，是以像素的灰度值为权，计算待监测标记的图像内所有像素坐标的加权平均值，通过该具体实施例可以获取待监测标记的具体位置点。

作为一个优选的实施例，基于实时影像识别的滑坡监测预警方法中步骤S102的流程示意图，如图5所示，所述步骤S102的流程具体包括：

S301，获取多个测量相机坐标系下的图像中心点的不同坐标，通过GNSS静态测量法获取多个测量相机在全局坐标系下的不同坐标；

S302，根据多个测量相机在全局坐标系下的不同坐标和多个测量相机坐标系下的图像中心点的不同坐标利用前方交会法计算出图像中心点在全局坐标系下的目标坐标。

一个具体实施例中，获取多个测量相机坐标系下的图像中心点的不同坐标,所述多个测量相机为两个测量相机，通过在立体相机校验时获取的两个立体相机的位置坐标即为两个测量相机的位置坐标，根据测量相机的位置坐标和图像中心点的位置坐标得到对应的两个夹角的角度值，利用所述角度值和前方交会法计算图像中心点的目标坐标，采用已知一边两夹角求交点的方法计算出前方交会处的交点位置即为图像中心点的目标位置，得到图像中心点的目标坐标，前方交会法一实施例的方法示意图，如图6所示，图中左相机和右相机为所述两个测量相机，左视图为左相机对待监测标记进行拍摄获取到的图像，右视图为右相机对待监测标记进行拍摄获取到的图像，点P1、P2为图像中心点。

作为一个优选的实施例，所述多个测量相机为两个测量相机，根据多个测量相机在全局坐标系下的不同坐标和多个测量相机坐标系下的图像中心点的不同坐标利用前方交会法计算出图像中心点在全局坐标系下的目标坐标，具体包括：

根据所述两个测量相机在全局坐标系下的位置坐标确定一条直线，根据测量相机坐标系下图像中心点的不同坐标和所述两个测量相机在全局坐标系下的位置坐标确定对应的两个角度值，利用所述一条直线和两个角度值对前方交会处进行计算得到图像中心点在全局坐标系下的目标坐标。

一个具体实施例中，利用本地工控机实时处理软件视频影像数据，建立本地数据库进行数据存储，并将得到的待监测标记图像中心点的目标坐标数据通过4G网络实时上传至远程后台，利用本地工控机处理数据，能够保障高清图像数据，提取有用数据上传至远程后台能够压缩数据量，降低传输成本。

作为一个优选的实施例，根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警，具体包括：

将图像中心点的目标坐标与前期得到的图像中心点的目标坐标进行实时对比，判断图像中心点的目标坐标是否发生变化，若发生变化，则进行滑坡预警。

需要说明的是，将图像中心点的目标坐标与前期得到的图像中心点的目标坐标进行实时对比，根据图像中心点坐标的变化情况，进行预警，能够实现对滑坡的动态监测。

作为一个优选的实施例，还包括，通过单帧对待监测标记进行实时跟踪，判断待监测标记是否丢失，若丢失或者单帧失效，进行滑坡预警。

一个具体实施例中，通过本地工控机与远程后台同时预警，避免出现网络数据包丢失的问题。

作为一个优选的实施例，基于实时影像识别的滑坡监测预警方法中的通过单帧对待监测标记进行实时跟踪这一步骤，其流程示意图，如图7所示，判断待监测标记是否丢失，若丢失或者单帧失效，进行滑坡预警，具体包括：

S401，利用单个立体相机对待监测标记进行实时跟踪，若未获得待监测标记坐标，则对待监测标记进行立体检测；

S402，在另一个立体相机中对待监测标记进行识别，若待监测标记在另一个立体相机中未被识别到，则待监测标记丢失，进行滑坡预警；

S403，若待监测标记在另一个立体相机中被识别到，则单帧失效，进行滑坡预警。

需要说明的是，利用两个立体相机对待监测标记进行识别，若未获得待监测标记的目标坐标，则判断是待监测标记丢失还是单帧失效，发出预警信号，可以实现及时预警，维护设备安全。

作为一个优选的实施例，还包括，对所述立体相机进行校验：

通过训练使立体相机畸变系数收敛，利用共线方程标定相机姿态确定立体相机的姿态角，完成立体相机校验，得到校验后的立体相机。

一个具体实施例中，通过训练使立体相机畸变系数收敛，首先打印一张棋盘格并固定到一张平板上就是标定使用的标定板，并提取标定板上棋盘格交叉点的世界坐标，使用同一立体相机从不同的位置、不同的角度以及不同的姿态拍摄标定板的多张照片，通过特征点检测算法提取标定板上棋盘格交叉点的像素坐标，取得棋盘格交叉点的世界坐标以及对应的像素坐标后，估算立体相机的外参数，外参数包含立体相机位置和姿态，通过引入立体相机畸变模型估算畸变系数，用得到的畸变系数检校后，重复以上步骤直至畸变系数收敛；

利用共线方程标定相机姿态获取立体相机的姿态角，相机姿态标定方法首先利用GNSS静态测量法测量立体相机和待监测标记的三维位置坐标，通过事先标定的畸变系数对图像进行畸变校正，识别出图像中的待监测标记并对其中心进行定位，获得待监测标记的世界坐标以及对应的去畸变像素坐标后，直接利用共线方程求出立体相机外参中的姿态角即为相机姿态。

一个具体实施例中，滑坡监测预警装置示意图，如图8所示，该装置通过立体相机1、2实时接收图像获取模块中的立体视频单元采集到的数据，将采集到的数据传至工控机进行实时识别待监测标记，通过待监测标记位置和已知的立体相机位置，计算出前方滑坡体上待监测标记的三维坐标，将计算出的待监测标记的三维坐标上传至云服务器便于用户远程访问；实时对比前期数据，根据滑坡体上待监测标记的移动情况触发报警，工控机和远程后台均可发出警报；通过单帧内待监测标记移动、待监测标记丢失情况，判断当前滑坡体是否处在高危险期，其中，太阳能板用于供能，千兆光纤收发器1、2用于传输数据。

如图9所示，上述基于实时影像识别的滑坡监测预警方法，本发明实施例中还相应提供了一种电子设备，该电子设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子设备包括处理器10、存储器20及显示器30。

存储器20在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器20在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器20还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器20用于存储安装于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码等。存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于实时影像识别的滑坡监测预警方法程序40，该基于实时影像识别的滑坡监测预警方法程序40可被处理器10所执行，从而实现本发明各实施例的基于实时影像识别的滑坡监测预警方法。

处理器10在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行基于实时影像识别的滑坡监测预警方法程序等。

显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器30用于显示在计算机设备的信息以及用于显示可视化的用户界面。计算机设备的部件10～30通过系统总线相互通信。

在一实施例中，当处理器10执行存储器20中基于实时影像识别的滑坡监测预警方法程序40时实现以下步骤：

基于立体相机拍摄的实时影像，获取滑坡体上待监测标记的特征图像，根据特征图像获取图像中心点；其中，所述立体相机包括多个测量相机；

获取多个测量相机坐标系下的图像中心点的不同坐标，根据多个测量相机在全局坐标系下的不同坐标和多个测量相机坐标系下的图像中心点的不同坐标确定图像中心点在全局坐标系下的目标坐标；

根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警。

本发明公开的一种基于实时影像识别的滑坡监测预警方法、装置及电子设备，通过实时影像识别获取滑坡体上待监测标记的图像中心点的坐标，根据所述图像中心点坐标的变化，实现对滑坡的动态监测，在远程后台进行实时滑坡预警可以实现及时预警使人员安全撤离，提高滑坡监测的实时性，以立体相机为主要传感器的远程监测预警方法，能够降低成本。

下面结合具体应用例对本发明的技术效果作进一步描述。

应用例

1、资料搜集与实地勘查

本项目监测的小汊头滑坡位于金沙江右岸骂拉莫村上游约2km，下距坝址约95.8km，上距龙川江口江边乡约13.6km。滑坡前缘至金沙江，分布高程约920m，后缘至高程1300m左右，两侧以冲沟为界，前缘宽约570m，中部宽约400m～450m，后缘宽约300m，滑坡体纵向长约700m，平面面积约0.29km²。根据钻孔揭露滑坡的厚度来看，滑坡前缘厚约60m，中部110m～120m，后缘约50m，总体积约2400×10⁴m3。滑坡区边坡地形较陡，坡角26°～40°，因重力与蓄水的双重影响，导致该滑坡体失稳，可能产生高速运动。据涌浪分析产生最大涌浪高度为67.61m，涌浪至滑坡体下游15km处仍有1.19m高度，滑坡体产生的涌浪影响大，对上下游两端沿岸的码头、行人、房屋、耕地、船只具有潜在的危害。

根据地质测绘，小汊头滑坡前缘发育有小汊头次滑体及2000年滑动变形区。小汊头次滑体位于滑坡体前缘，前缘至金沙江边，后缘至小汊头次滑体平台，分布高程920m～1090m，下游侧以小汊头沟为界，上游侧边界距新村梁子沟约50m，次滑体顺河长约500m，宽约310m，平面呈梯形，面积约0.14km²。

早期勘察及监测成果表明，小汊头滑坡在蓄水前存在缓慢的蠕滑变形，天然状态下整体稳定性较差，前缘临江的次级滑体稳定性差。水库蓄水后，受库水位变化影响其稳定性进一步下降，可能形成较大规模滑坡。经初步估算，滑坡整体失稳时滑体最大滑速约为30m/s，产生最大涌浪高度约为68m，涌浪至滑坡体上、下游12km处仍有1m左右的浪高。

小汊头滑坡距离枢纽区较远，对枢纽工程无影响，但滑坡上、下游各10km处分别为支流龙川江勐果河的入河口，分布有码头等设施，群众生产生活及船只交通运输等活动频繁，一旦滑坡高速失稳产生涌浪次生灾害可能带来重大的生命财产损失及严重不良社会影响。

2、主要物资设备如下：

3.现场建设

3.1预警系统设计

根据预警系统“实时预警、稳定可靠”的要求，并结合现场情况，本系统提供了丰富的信号槽预警机制，同时提供三种预警模式，即单帧内容预警、单帧目标预警、物方目标预警。监测任务和预警任务都是并发异步执行，监测任务在工控机上完成，预警任务在后台服务器段运行，以保障数据的低时间延迟处理。

3.2标靶布设方案

基于实时影像识别的自动化监测预警系统的靶标布设在滑坡体上，共布设11个，其中发光标靶6个，不发光标靶5个。滑坡前缘布设6个，滑坡中部布设4个，滑坡右侧稳定区域布设1个，都在金沙江最高水位以上；立体工业相机布设在滑坡体对岸高程1100等高线上，安装模式都为定焦、定姿模式，两相机相距1.1公里，距离滑坡体中部大约1.4公里。

本发明采用的工业相机为3100万像素，分辨率6464*4852，相机像元尺寸3.45um，相机镜头焦距50mm，相机视场角为26°，可覆盖整个滑坡范围。11个标靶的物方分辨率如下表：

3.3标靶的埋设：为了相机实时动态跟踪滑坡体的运行情况，需要在滑坡体前、中缘地段设置关键性标靶，以便在视觉信息中区分环境背景颜色(环境背景色主要以绿色植被和裸露土褐色地表为主)。标靶系统采用太阳能供电系统，单次充满可连续供电5天，标靶背景材质使用白色反光材质，整体标靶系统防雨、防潮、防晒、防6级以下风，工作温度-10℃～+50℃。发光标靶的补光灯采用LED灯投射到标靶上，灯光的开关由光照度传感器模块控制。

3.4立体工业相机的埋设：立体工业相机系统主要由两台3100万像素工业相机、图像传输模块、数据传输模块、工控机模块、太阳能供电模块组成。本系统安装至小汊头对岸，距离滑坡体中部为1.4公里的位置。两个工业相机相距1.1公里，其中一个工业相机直接与工控机相连，另一个远端工业相机的图像通过光缆长距离传输的方式实时传输到工控机上。立体工业相机的安装，除了配套安装太阳能供电系统之外，还需要配置防雨、防晒罩。

3.5通讯传输方案

小汊头滑坡所处地段偏僻，人烟稀少，4G通信信号极差，尤其是靠滑坡前缘高程较低处，基本没有通信信号，给监测设备的通信及数据传输带来很大难题。为此，本次监测拟在小汊头滑坡区域内建立点对点远距离主干链路，建立无线区域网络。

无线网桥顾名思义就是无线网络的桥接，它利用无线传输方式实现在两个或多个网络之间搭起通信的桥梁；无线网桥从通信机制上分为电路型网桥和数据型网桥。采用增强的射频发射技术，最大射频输出功率均可达到500mW，配合内置的高增益定向天线，极大提高了无线传输距离和吞吐量，特别适合油田、电力等野外点到点、点到多点的长距离无线回传。

结合现场情况，将无线网桥汇聚点和中继站建设在开阔的地方，中继站位于监测站地点，标靶网桥与汇聚点均和中继站之间通视，保证数据的无线传输。现场图像及设备传输线路如下图，通过立杆支架采用吊装方式进行安装。无线网桥安装在支架顶部，通过抱箍进行固定。

现场标靶控制系统连接串口服务器通过网线与无线网桥进行连接，发送到中继站，再通过中继站发送到汇聚点，汇聚点将标靶电量及控制信息通过4G路由器发送到服务器终端。现场监测站设备同无线网桥进行连接，通过无线网桥将现场解算结果数据发送到汇聚点，汇聚点将数据通过4G路由器发送到服务器终端。中继站作为骨干数据中转中心，布设点位于监测站，此处供电能得到最大程度的保证，由于使用了工业级千兆交换机和千兆网桥等网络通信设备，为整个内网网路提供了的高可靠性及高传输速率性，从而给整个内部网络提供有利的保障。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种滑坡监测预警方法，其特征在于，所述滑坡监测预警方法包括以下步骤：

步骤一，基于立体相机拍摄的实时影像，获取滑坡体上待监测标记的特征图像，并根据得到的特征图像获取图像中心点；

步骤二，获取多个测量相机坐标系下的图像中心点的不同坐标，根据多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下的图像中心点的不同坐标确定图像中心点在全局坐标系下的目标坐标；

步骤三，根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警。

2.如权利要求1所述的滑坡监测预警方法，其特征在于，所述步骤一中的立体相机包括多个测量相机，所述基于立体相机拍摄的实时影像，获取滑坡体上待监测标记的特征图像，并根据得到的特征图像获取图像中心点包括：

(1)基于校验后的立体相机拍摄的实时影像，获取滑坡体上待监测标记的原始图像；

(2)识别所述原始图像并提取所述原始图像的边缘特征，得到所述滑坡体上待监测标记的特征图像；

(3)采用质心法获取所述特征图像的图像中心点。

3.如权利要求2所述的滑坡监测预警方法，其特征在于，所述对所述立体相机进行校验包括：

通过训练使立体相机畸变系数收敛，利用共线方程标定相机姿态确定立体相机的姿态角，完成立体相机校验，得到校验后的立体相机。

4.如权利要求1所述的滑坡监测预警方法，其特征在于，所述步骤二中的获取多个测量相机坐标系下图像中心点的不同坐标，根据多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下的图像中心点的不同坐标确定图像中心点在全局坐标系下的目标坐标包括：

(1)获取所述多个测量相机坐标系下所述图像中心点的不同坐标，通过GNSS静态测量法获取所述多个测量相机在全局坐标系下的不同坐标；

(2)根据所述多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下图像中心点的不同坐标利用前方交会法计算出所述图像中心点在全局坐标系下的目标坐标。

5.如权利要求4所述的滑坡监测预警方法，其特征在于，所述多个测量相机为两个测量相机，所述根据所述多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下图像中心点的不同坐标利用前方交会法计算出所述图像中心点在全局坐标系下的目标坐标包括：

根据所述两个测量相机在全局坐标系下的位置坐标确定一条直线，根据测量相机坐标系下图像中心点的不同坐标和所述两个测量相机在全局坐标系下的不同坐标确定对应的两个角度值，利用所述一条直线和两个角度值对前方交会处进行计算得到所述图像中心点在全局坐标系下的目标坐标。

6.如权利要求1所述的滑坡监测预警方法，其特征在于，所述步骤三中的根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警包括：

将所述图像中心点的目标坐标与前期得到的图像中心点的目标坐标进行实时对比，判断所述图像中心点的目标坐标是否发生变化，若发生变化，则进行滑坡预警。

7.如权利要求1所述的滑坡监测预警方法，其特征在于，所述滑坡监测预警方法，还包括通过单帧对待监测标记进行实时跟踪，判断待监测标记是否丢失，若丢失或者单帧失效，进行滑坡预警，包括：

利用单个立体相机对待监测标记进行实时跟踪，若未获得待监测标记坐标，则对待监测标记进行立体检测；

在另一个立体相机中对待监测标记进行识别，若待监测标记在另一个立体相机中未被识别到，则待监测标记丢失，进行滑坡预警；

若待监测标记在另一个立体相机中被识别到，则单帧失效，进行滑坡预警。

8.一种应用如权利要求1～7任意一项所述的滑坡监测预警方法的滑坡监测预警装置，其特征在于，所述滑坡监测预警装置包括：

目标识别模块，用于使用边缘检测、特征提取影像处理技术获取目标信息；并通过在滑坡体上安装标靶为滑坡变形移动进行识别和标识；

立体视觉测量模块，用于利用立体相机的位姿信息建立监测坐标系统，并通过现场标志点做定标解算，解算出相机系统的位置参数；

基于工控机的实时处理模块，用于通过本地工控机实时处理软件视频影像数据，提取有用的关键信息，所述关键信息在本地存储后再发送至远程后台数据库；

后台预警模块，用于通过单帧跟踪立体检测的方式，对目标进行立体检测；并通过本地与远程后台同时预警。

9.一种计算机电子设备，其特征在于，所述计算机电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

基于立体相机拍摄的实时影像，获取滑坡体上待监测标记的特征图像，并根据得到的特征图像获取图像中心点；获取多个测量相机坐标系下的图像中心点的不同坐标，根据多个测量相机在全局坐标系下的不同坐标和所述多个测量相机坐标系下的图像中心点的不同坐标确定图像中心点在全局坐标系下的目标坐标；根据图像中心点的目标坐标的变化情况，确定是否进行滑坡预警。

10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求8所述的滑坡监测预警装置。

Images