CN113628257A - 基于雷达与双目视觉结合的无人监测系统 - Google Patents

Abstract

本发明公开了基于雷达与双目视觉结合的无人监测系统，属于大数据监测技术领域，包括区域模块、雷达模块、双目视觉模块、控制模块和无人监测模块；区域模块用于获取监测对象的环境信息，该环境信息包含温度数据、湿度数据和气压数据；对环境信息进行处理计算，得到包含环境系数的环境处理信息；雷达模块包含发射单元、接收单元、处理单元和辅助单元，发射单元包含发射机和发射天线；接收单元包含接收机和接收天线；处理单元用于在预设的第一间隔时长对发射数据和接收数据进行预处理，得到雷达处理数据；本发明用于解决现有方案中不能对雷达和双目相机的运行进行自适应调整，导致无人监测的效果不佳的技术问题。

Description

基于雷达与双目视觉结合的无人监测系统

技术领域

本发明涉及大数据监测技术领域，具体涉及基于雷达与双目视觉结合的无人监测系统。

背景技术

随着社会和技术的发展，现有的人力监测已经无法满足监测的需求，针对边远地区的边坡、地质灾害的无人监测系统已经成为一种必然的趋势。

现有的雷达对地质进行监测时，通过定时的方式对地质的内部进行无人监测，没有对地质的外部进行监测，并且不能根据监测的情况自适应调整监测的频次，导致无人监测的效果受到限制。

发明内容

本发明的目的在于提供基于雷达与双目视觉结合的无人监测系统，解决以下技术问题：如何解决现有方案中不能对雷达和双目相机的运行进行自适应调整，导致无人监测的效果不佳的技术问题。

本发明的目的可以通过以下技术方案实现：

基于雷达与双目视觉结合的无人监测系统，包括区域模块、雷达模块、双目视觉模块、控制模块和无人监测模块；区域模块用于获取监测对象的环境信息，该环境信息包含温度数据、湿度数据和气压数据；对环境信息进行处理计算，得到包含环境系数的环境处理信息；

雷达模块包含发射单元、接收单元、处理单元和辅助单元，发射单元包含发射机和发射天线；接收单元包含接收机和接收天线；处理单元用于在预设的第一间隔时长对发射数据和接收数据进行预处理，得到雷达处理数据；辅助单元包含电源设备、数据录取设备和抗干扰设备；

双目视觉模块包含双目相机和视觉处理单元；在预设的第一间隔时长通过双目相机获取监测对象的图像集；视觉处理单元对图像集进行处理，得到深度图；将深度图与标准图进行匹配，得到视觉匹配集；对视觉匹配集进行分析，得到视测集；

控制模块包含预处理单元和分析单元，预处理单元用于对雷达处理数据和环境处理信息进行联立计算，得到雷测值；分析单元对雷测值进行分析，将雷测值与预设的雷测范围进行匹配，得到雷测集；

根据雷测集对雷达和双目相机的运行进行调控，使得雷达和双目相机在不同间隔时长下进行探测和图像采集，实现对雷达和双目相机的运行进行自适应的动态调整。

进一步地，对环境信息进行处理计算的具体步骤包括：获取环境信息中的温度数据、湿度数据和气压数据，对温度数据中的实时温度进行取值并标记为SSWi，i=1，2，3...n；将若干个实时温度按时间进行排序，得到温度排序集；

对湿度数据中的实时湿度进行取值并标记为SSSi；将若干个实时湿度按时间进行排序，得到湿度排序集；

对气压数据中的实时气压进行取值并标记为SQYi；将若干个实时气压按时间进行排序，得到气压排序集；

将标记的各项数据进行归一化处理并取值，通过公式计算获取环境系数，该公式为

其中，a1、a2和a3表示为不同的比例系数且均大于零，表示为环境修正因子，取值范围为（0,15）；

将标记的各项数据与环境系数分类组合，得到环境处理信息。

进一步地，对发射数据和接收数据进行预处理的具体步骤包括：发射数据包含发射的电磁波和发射角度，获取发射时的电磁波类型和发射角度，将电磁波类型标记为CBLi；将电磁波类型与预设的电磁波关联表进行匹配获取对应的电磁波关联值并标记为DCGi；对发射角度进行取值并标记为FSJi；接收数据包含反射波和对应的接收时长以及直达波和对应的接收时长，获取接收的反射波和直达波，将反射波的接收时长设定为第一时长，对第一时长进行取值并标记为DYSi；将直达波的接收时长设定为第二时长，对第二时长进行取值并标记为DESi；将标记的各项数据分类组合，得到雷达处理数据。

进一步地，对双目相机进行内参标定和外参标定，对采集的图像集进行畸变校正，得到第一处理图像集，对第一处理图像集进行立体校正，得到第二处理图像集，利用匹配算法对第二处理图像集进行处理，得到视差图；对视差图进行转换，得到深度图。

进一步地，将深度图与标准图进行匹配的具体步骤包括：获取深度图上每个像素点的灰度值并标记为第一灰度，将若干个第一灰度按预设的排列方向进行排列，得到第一灰度集；获取标准图上每个像素点的灰度值并标记为第二灰度，将若干个第二灰度按预设的排列方向进行排列，得到第二灰度集，按顺序获取第一灰度集中若干个第一灰度与第二灰度集中若干个第二灰度之间的差值，将若干个差值进行降序排列，得到视觉匹配集。

进一步地，对视觉匹配集进行分析，将视觉匹配集中大于零的差值标记为选中差值，将若干个选中差值累加，得到累加和，将累加和与预设的累加范围进行匹配，若累加和小于累加范围的最小值，则判定监测对象的状态正常并生成第一提示信号；若累加和不小于累加范围的最小值且不大于累加范围的最大值，则判定监测对象状态异常并生成第二提示信号，根据第二提示信号生成第一预警指令；若累加和大于累加范围的最大值，则判定监测对象异常并生成第三提示信号，根据第三提示信号生成第二预警指令；第一提示信号、第二提示信号、第三提示信号以及第一预警指令和第二预警指令构成视测集。

进一步地，获取雷达处理数据中标记的电磁波关联值DCGi、发射角度FSJi、第一时长DYSi和第二时长DESi；将标记的各项数据归一化处理并取值，通过公式计算获取雷测值，该公式为：

其中，b1和b2表示为不同的比例系数且均大于零；

获取预设的雷测范围，将雷测范围的最小值标记为L1；将雷测范围的最大值标记为L2；将雷测值与雷测范围进行匹配，若LC＜L1，则判定雷达探测的结果正常并生成第一雷测信号；若L1≤LC≤L2，则判定雷达探测的结果异常并生成第二雷测信号，根据第二雷测信号生成第一调控指令；LC＞L2，则判定雷达探测的结果异常并生成第三雷测信号，根据第三雷测信号生成第二调控指令；第一雷测信号、第二雷测信号、第三雷测信号以及第一调控指令和第二调控指令构成雷测集。

进一步地，对雷达和双目相机的运行进行调控的具体步骤包括：对雷测集进行分析，若雷测集中包含第一调控信号，则根据第一调控信号控制雷达和双目相机在预设的第二间隔时长进行探测以及图像采集；若雷测集中包含第二调控信号，则根据第二调控信号控制雷达和双目相机在预设的第三间隔时长进行探测以及图像采集。

进一步地，无人监测模块根据不同的信号进行不同的预警和提示，若雷测集中包含第二雷测信号且视测集中包含第二提示信号或者第三提示信号，则判定监测对象的整体状态轻微异常，并生成第一级别的预警提示；若雷测集中包含第三雷测信号且视测集中包含第二提示信号或者第三提示信号，则判定监测对象的整体状态中度异常，并生成第二级别的预警提示。

本发明的有益效果：

1、通过区域模块获取监测对象的环境信息，对环境信息进行处理计算，得到包含环境系数的环境处理信息；通过对环境信息中的温度数据、湿度数据和气压数据进行联立计算，可以提高后续的雷达探测分析的准确性；

2、通过雷达模块对雷达的发射数据和接收数据进行预处理，得到雷达处理数据；双目视觉模块通过双目相机在预设的第一间隔时长获取监测对象的图像集；对图像集进行处理，得到深度图；将深度图与标准图进行匹配，得到视觉匹配集；对视觉匹配集进行分析，得到视测集；通过控制模块对雷达处理数据和环境处理信息进行联立计算，得到雷测值；对雷测值进行分析，将雷测值与预设的雷测范围进行匹配，得到雷测集；通过对雷达的探测和双目相机采集的图像进行处理和分析，为无人监测的预警提示以及雷达和双目相机的运行调控提供了有效的数据支持；

3、根据雷测集对雷达和双目相机的运行进行调控，实现对雷达和双目相机的运行进行自适应的动态调整；可以实现在不同的情况下进行不同频次的监测，使得雷达和双目相机的运行更加合理，可以保证无人监测的效果；克服了现有方案中不能对雷达和双目相机的运行进行自适应调控的缺陷。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明基于雷达与双目视觉结合的无人监测系统的模块框图。

图2为本发明中雷达模块的单元框图。

图3为本发明中双目视觉模块的单元框图。

图4为本发明中控制模块的单元框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-图4，本发明为基于雷达与双目视觉结合的无人监测系统，包括区域模块、雷达模块、双目视觉模块、控制模块和无人监测模块，各个模块之间通过RS485协议进行通信连接；

本实施例中，雷达模块可以对监测对象的内部进行探测，双目视觉模块可以对监测对象的外部进行探测，通过将不同方面的探测结果进行联立分析，可以及时对雷达模块的探测以及双目视觉模块的图像采集进行动态调整，在不同的监测状态下，自适应的调整雷达和双目相机的运行频次，使得无人监测的效果达到最佳，以便可以更及时的进行预警和提示。

区域模块获取监测对象的环境信息，该环境信息包含温度数据、湿度数据和气压数据；对环境信息进行处理计算，得到包含环境系数的环境处理信息；对环境信息进行处理计算的具体步骤包括：

获取环境信息中的温度数据、湿度数据和气压数据，可以通过温度传感器、湿度传感器和气压传感器获取，对温度数据中的实时温度进行取值并标记为SSWi，i=1，2，3...n；将若干个实时温度按时间进行排序，得到温度排序集；

对湿度数据中的实时湿度进行取值并标记为SSSi；将若干个实时湿度按时间进行排序，得到湿度排序集；

对气压数据中的实时气压进行取值并标记为SQYi；将若干个实时气压按时间进行排序，得到气压排序集；

将标记的各项数据进行归一化处理并取值，通过公式计算获取环境系数，该公式为

其中，a1、a2和a3表示为不同的比例系数且均大于零，表示为环境修正因子，取值可以为0.83617；

将标记的各项数据与环境系数分类组合，得到环境处理信息。

本实施例中，环境因素会影响到雷达的探测，通过计算将环境中的温度、湿度和气压进行联立计算，得到环境系数，在对雷达探测时考虑环境的影响，使得雷达探测分析的结果更加精准。

雷达模块包含发射单元、接收单元、处理单元和辅助单元，发射单元包含发射机和发射天线；接收单元包含接收机和接收天线；处理单元用于对发射数据和接收数据进行预处理，得到雷达处理数据；具体的步骤包括：

获取发射数据，发射数据包含雷达发射时的电磁波类型和发射角度，其中，发射角度以水平地面为参考物，将电磁波类型标记为CBLi；将电磁波类型与预设的电磁波关联表进行匹配获取对应的电磁波关联值并标记为DCGi；对发射角度进行取值并标记为FSJi；获取接收的反射波和直达波，将反射波的接收时长设定为第一时长，对第一时长进行取值并标记为DYSi；其中，接收时长为电磁波发出时的时间为开始时间，接收到的电磁波为结束时间，开始时间与结束时间之间的时长为接收时长；将直达波的接收时长设定为第二时长，对第二时长进行取值并标记为DESi；第一时长和第二时长的单位均为分钟；将标记的各项数据分类组合，分类可以根据电磁波的发射数据和接收数据进行组合，得到雷达处理数据；其中，电磁波关联表通过不同波长的电磁波来预设对应的电磁波关联值，例如，将超短波对应的电磁波设定电磁波关联值为5，超短波的波长范围为1～10米；将短波对应的电磁波设定电磁波关联值为1，短波的波长范围为 10～100米等等；

辅助单元包含电源设备、数据录取设备和抗干扰设备。

本实施例中的雷达可以为地质雷达，在预设的不同的间隔时长对地质进行动态探测，并配合双目视觉模块的运行，实现对地质的无人监测。

双目视觉模块包含双目相机和视觉处理单元；通过双目相机在预设的第一间隔时长获取监测对象的图像集，图像集包含两张不同方向的图像，不同方向的可以为左方向和右方向；视觉处理单元对图像集进行处理，得到深度图；具体的步骤包括：

对双目相机进行内参标定和外参标定，对采集的图像集进行畸变校正，得到第一处理图像集；对第一处理图像集进行立体校正，得到第二处理图像集；其中，内参标定和外参标定以及畸变校正和立体校正的方法均为现有的双目视觉的技术方案，这里不做赘述；

利用匹配算法对第二处理图像集进行处理，得到视差图；对视差图进行转换，得到深度图；其中，匹配算法可以为SGBM算法；视差图与深度图的转换，通过现有的转换方案实现，例如公告号CN109615652B的发明公开的转换方案来实现；

将深度图与标准图进行匹配，得到视觉匹配集；具体的步骤包括：

获取深度图上每个像素点的灰度值并标记为第一灰度，将若干个第一灰度按预设的排列方向进行排列，排列方向可以为从左往右的方向，得到第一灰度集；获取标准图上每个像素点的灰度值并标记为第二灰度，将若干个第二灰度按预设的排列方向进行排列，得到第二灰度集；

按顺序获取第一灰度集中若干个第一灰度与第二灰度集中若干个第二灰度之间的差值，将若干个差值进行降序排列，得到视觉匹配集；其中，标准图可以为第一次获取的深度图，后续获取的深度图根据该图进行匹配；差值是第一灰度来减去与第一灰度位置相同的第二灰度。

对视觉匹配集进行分析，将视觉匹配集中大于零的差值标记为选中差值，将若干个选中差值累加，得到累加和，将累加和与预设的累加范围进行匹配；

若累加和小于累加范围的最小值，则判定监测对象的状态正常并生成第一提示信号；

若累加和不小于累加范围的最小值且不大于累加范围的最大值，则判定监测对象状态异常并生成第二提示信号，根据第二提示信号生成第一预警指令；

若累加和大于累加范围的最大值，则判定监测对象异常并生成第三提示信号，根据第三提示信号生成第二预警指令；第一提示信号、第二提示信号、第三提示信号以及第一预警指令和第二预警指令构成视测集；

其中，监测对象可以为山体，第二提示信号和第三提示信号表示山体局部出现异常的程度不同，比如局部出现滑坡的程度不同，在图像上的位置发生的变化来体现。

双目立体视觉是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法；

本实施例中，雷达模块对监测对象的内部进行探测，双目视觉模块对监测对象的外部进行监测，通过对监测对象的整体情况进行实时监测分析并及时调整雷达和双目相机的运行频次，可以对雷达和双目相机的运行进行动态调整，使得无人监测的效果保持最佳。

控制模块包含预处理单元和分析单元，预处理单元用于对雷达处理数据和环境处理信息进行联立计算，得到雷测值；具体的步骤包括：

获取雷达处理数据中标记的电磁波关联值DCGi、发射角度FSJi、第一时长DYSi和第二时长DESi；将标记的各项数据归一化处理并取值，通过公式计算获取雷测值，该公式为：

其中，b1和b2表示为不同的比例系数且均大于零；

上述公式均是去除量纲取其数值计算，通过采集大量的数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设比例系数和阈值由本领域的技术人员根据实际情况设定或者通过大量数据模拟获取。

地质雷达利用超高频电磁波探测地下介质的分布，基本原理是：发射机通过发射天线发射中心频率为12.5M至1200M、脉冲宽度为0.1 ns的脉冲电磁波讯号；当这一讯号在岩层中遇到探测目标时，会产生一个反射讯号，直达讯号和反射讯号通过接收天线输入到接收机，放大后由示波器显示出来；根据示波器有无反射讯号，可以判断有无被测目标；根据反射讯号到达滞后时间及目标物体平均反射波速,可以大致计算出探测目标的距离；

本实施例中，通过将电磁波对应的电磁波关联值、发射角度、直达波的接收时长、反射波的接收时长以及环境系数进行联立，分析判断监测对象的内部是否出现异常，比如山体的内部出现裂缝可能会产生泥石流或者滑坡，可以及时进行预警，并自动调整雷达的监测频次，使得雷达在监测的正常状态和异常状态下进行不同频次的工作，实现对雷达的运行进行自适应的动态调整，提高了雷达的探测效果。

分析单元对雷测值进行分析，获取预设的雷测范围，预设的雷测范围是根据工作人员记录的正常状态的雷测范围值来设定的，将雷测范围的最小值标记为L1；将雷测范围的最大值标记为L2；将雷测值与雷测范围进行匹配；

若LC＜L1，则判定雷达探测的结果正常并生成第一雷测信号；

若L1≤LC≤L2，则判定雷达探测的结果异常并生成第二雷测信号，根据第二雷测信号生成第一调控指令；

LC＞L2，则判定雷达探测的结果异常并生成第三雷测信号，根据第三雷测信号生成第二调控指令；

第一雷测信号、第二雷测信号、第三雷测信号以及第一调控指令和第二调控指令构成雷测集；

其中，第一雷测信号表示雷达探测的结果正常；第二雷测信号和第三雷测信号均表示雷达探测的结果异常，且异常程度不同，第二雷测信号对应的异常程度可以为轻微；第三雷测信号对应的异常程度可以为中度。

根据雷测集对雷达和双目相机的运行进行调控，首先对雷测集进行分析，若雷测集中包含第一调控信号，则根据第一调控信号控制雷达和双目相机在预设的第二间隔时长进行探测和图像采集；

若雷测集中包含第二调控信号，则根据第二调控信号控制雷达和双目相机在预设的第三间隔时长进行探测和图像采集；实现对雷达和双目相机的运行进行自适应的动态调整。

本实施例中，预设的第一间隔时长、第二间隔时长、第三间隔时长的具体取值可以根据监测对象进行动态调整，例如，监测对象为海拔较低的山体，第一间隔时长可以为10min，即每隔10min，雷达和双目相机对该山体进行探测和图像采集以及数据分析；第二间隔时长可以为6min，第三间隔时长可以为3min；其中，本实施例中雷达和双目相机保持相同的间隔时长，也可以使得雷达和双目相机保持不同的间隔时长。

无人监测模块根据不同的信号进行不同的预警和提示，若雷测集中包含第二雷测信号且视测集中包含第二提示信号或者第三提示信号，则判定监测对象的整体状态轻微异常，并生成第一级别的预警提示；若雷测集中包含第三雷测信号且视测集中包含第二提示信号或者第三提示信号，则判定监测对象的整体状态中度异常，并生成第二级别的预警提示；第一级别的预警提示和第二级别的预警提示发送至管理部门，可以及时安排人员对监测对象进行处理；

其中，第二级别的严重程度大于第一级别的严重程度；监测对象的整体状态轻微异常可以为监测对象的内部出现较小的裂缝，且监测对象的外部出现形变；监测对象的整体状态中度异常可以为监测对象的内部出现较大的裂缝，且监测对象的外部出现形变；较小以及较大可以根据探测的裂缝的面积来进行分析。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”“相连”“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对应本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (9)

1.基于雷达与双目视觉结合的无人监测系统，包括区域模块、雷达模块、双目视觉模块、控制模块和无人监测模块，其特征在于，在预设的第一间隔时长，通过雷达模块对雷达的发射数据和接收数据进行预处理，得到雷达处理数据；通过双目相机获取监测对象的图像集；对图像集进行处理，得到深度图；将深度图与标准图进行匹配，得到视觉匹配集；对视觉匹配集进行分析，得到视测集；

通过控制模块对雷达处理数据和环境处理信息进行联立计算，得到雷测值；对雷测值进行分析，将雷测值与预设的雷测范围进行匹配，得到包含第一雷测信号、第二雷测信号、第三雷测信号以及第一调控指令和第二调控指令的雷测集，实现对监测对象的内部和外部同时进行监测分析；其中，第一雷测信号表示雷达探测的结果正常；第二雷测信号和第三雷测信号均表示雷达探测的结果异常，且异常程度不同；

根据雷测集对雷达和双目相机的运行进行调控，使得雷达和双目相机在不同间隔时长下进行探测和图像采集，实现对雷达和双目相机的运行进行自适应的动态调整。

2.根据权利要求1所述的基于雷达与双目视觉结合的无人监测系统，其特征在于，通过区域模块获取监测对象的环境信息，对环境信息进行处理计算，得到包含环境系数的环境处理信息。

3.根据权利要求2所述的基于雷达与双目视觉结合的无人监测系统，其特征在于，对环境信息进行处理计算的具体步骤包括：获取环境信息中的温度数据、湿度数据和气压数据，分别对温度数据中的实时温度、湿度数据中的实时湿度、气压数据中的实时气压进行取值标记；将标记的各项数据进行归一化处理并取值计算获取环境系数；标记的各项数据与环境系数构成环境处理信息。

4.根据权利要求3所述的基于雷达与双目视觉结合的无人监测系统，其特征在于，对发射数据和接收数据进行预处理的具体步骤包括：获取发射时的电磁波类型和发射角度，对电磁波类型及其对应的电磁波关联值进行标记；对发射角度进行取值标记；分别对反射波的接收时长以及直达波的接收时长进行取值标记；将标记的各项数据分类组合，得到雷达处理数据。

5.根据权利要求4所述的基于雷达与双目视觉结合的无人监测系统，其特征在于，对图像集进行处理的具体步骤包括：对双目相机进行内参标定和外参标定，对采集的图像集进行畸变校正和立体校正以及匹配处理，得到视差图；对视差图进行转换，得到深度图。

6.根据权利要求5所述的基于雷达与双目视觉结合的无人监测系统，其特征在于，将深度图与标准图进行匹配的具体步骤包括：获取深度图上每个像素点的灰度值并标记为第一灰度，将若干个第一灰度排列组合，得到第一灰度集；获取标准图上每个像素点的灰度值并标记为第二灰度，将若干个第二灰度排列组合，得到第二灰度集，按顺序获取第一灰度集中若干个第一灰度与第二灰度集中若干个第二灰度之间的差值并降序排列，得到视觉匹配集。

7.根据权利要求6所述的基于雷达与双目视觉结合的无人监测系统，其特征在于，对视觉匹配集进行分析，根据视觉匹配集获取累加和，将累加和与预设的累加范围进行匹配，得到包含第一提示信号、第二提示信号、第三提示信号以及第一预警指令和第二预警指令的视测集。

8.根据权利要求7所述的基于雷达与双目视觉结合的无人监测系统，其特征在于，对雷测集进行分析，根据雷测集中的第一调控信号控制雷达和双目相机在预设的第二间隔时长进行探测和图像采集；根据雷测集中的第二调控信号控制雷达和双目相机在预设的第三间隔时长进行探测和图像采集。

9.根据权利要求8所述的基于雷达与双目视觉结合的无人监测系统，其特征在于，无人监测模块根据雷测集中的第二雷测信号和第三雷测信号以及视测集中的第二提示信号和第三提示信号进行不同级别的预警提示。

Images