CN116913041A - 基于北斗的视觉监测预警方法及系统 - Google Patents

Abstract

本发明公开了基于北斗的视觉监测预警方法及系统，其通过对预设场景区域进行影像获取，然后通过基于AI的检测神经网络对所获得的影像进行目标识别、异常状况判断，在发生异常情况时，通过与影像获取同步的方向角信息和影像摄取单元的位置信息以及利用测距单元测得的距离报警事件的距离d进行计算报警事件的经纬度信息，从而将其与报警时间与其他关联信息打包形成报警事件信息传递给服务器、监控服务平台，由监控服务平台将相关信息下达给预设终端进行相关指令、信息的传达，该方案不仅实施可靠，且能够全天候监测森林烟火、海洋自然灾害及边防海防安全事件，有助于突发事件态势分析，以及应急调度响应、救援及决策。

Description

基于北斗的视觉监测预警方法及系统

技术领域

本发明涉及影像监测、远程预警技术领域，尤其涉及基于北斗的视觉监测预警方法及系统。

背景技术

随着计算机技术的不断发展，视觉监测已经不在如传统方案一般只提供简单的影像获取功能，当今结合边缘计算技术对视觉监测数据进行检测，以实现在设备端处理部分数据和获取相关结果是目前计算机技术发展的重要方向，边缘计算作为算力架构优化的最重要的技术，不仅能满足未来AI技术在应用场景延伸、算力分布化部署等方面要求，同时也是5G网络、物联网络发展的重要方向。目前通过视觉AI智能服务已经在工业制造、企业服务、生活消费等领域开始了广泛的应用。其中，具备计算加速能力的GPU、TPU、NPU等AI芯片成为了数据中心、智能手机终端等计算部署不可或缺的一环。随着第五代移动通信技术(5G)的成熟和商业化推进，AI的应用也逐步向智能制造、智慧交通、智慧工业等场景化趋势演进；目前，通过影像获取设备对森林防火区域、海洋灾害监控区域等区域进行远程监测和定位还鲜有报道，若是能够将AI技术与影像获取技术进行结合，通过对监控区域的进行识别、定位和预警，那么将会对森林、海洋灾害的监测预警提供积极的现实意义。

发明内容

有鉴于此，本发明的目的在于提出一种实施可靠、响应迅速且结果参考性佳的基于北斗的视觉监测预警方法及系统。

为了实现上述的技术目的，本发明所采用的技术方案为：

一种基于北斗的视觉监测预警方法，其包括：

S01、通过影像摄取单元对预设场景区域进行影像获取，同时在影像摄取单元上布设基于北斗的定姿定向单元对影像摄取单元进行定姿定向和定位；

S02、令影像摄取单元以预设状态进行横向、纵向转动，以对预设场景区域实现影像获取，同时，定姿定向单元跟随影像摄取单元转动，以实时获取影像摄取单元的方向角数据，以进入全时域监测状态；

S03、按预设条件对影像摄取单元所获得的影像数据进行检测，输出检测结果，以判断是否具有报警事件及报警事件对应类型，当检测结果指向具有报警事件时，调整影像摄取单元姿态，以将报警事件指向的场景区域调整至摄影摄取单元摄取的画面中心；

S04、获取影像摄取单元距离报警事件的距离d；

S05、通过定姿定向单元获取影像摄取单元布设位置的经纬度，且根据定姿定向单元所获得的方向角数据，解算获得方位角α；

S06、以影像摄取单元为参考点，报警事件发生位置作为目标位置，根据影像摄取单元布设位置的经纬度、方位角α和距离报警事件的距离d进行目标位置的经纬度计算，获得报警事件位置信息，然后将其与报警事件及关联信息打包形成报警信息一并输出。

作为一种可能的实施方式，进一步，本方案S01中，令影像摄取单元的聚焦中心和定姿定向单元对准于同一中心线上，使定姿定向单元测得的方向角和影像摄取单元摄取到的场景在同一中心线上。

作为一种可能的实施方式，进一步，本方案S03中，将影像摄取单元所获得的影像数据导入到经训练的检测神经网络中检测，由检测神经网络输出检测结果，以判断是否具有报警事件。

作为一种可能的实施方式，进一步，本方案S06中，根据影像摄取单元布设位置的经纬度(long1，lat1)、方位角α和距离报警事件的距离d按如下公式进行目标位置的经纬度(long2，lat2)：

long2＝long1+d*sinα/[ARC*cos(lat1)*2π/360]

lat2＝lat1+d*cosα/(ARC*2π/360)

其中，ARC为地球平均半径，其值设为7371.393×1000米。

作为一种较优的实施选择方式，优选的，本方案还包括：

S07、服务器接收报警信息并转送，该报警信息包括报警事件、报警事件位置信息、影像摄取单元的位姿信息和报警事件类型；其中，所述位姿信息包括影像摄取单元的位置经纬度信息和方向角数据；

S08、监控服务平台获取经服务器转送的报警信息，然后通过预设方法将其推送至预设终端。

作为一种较优的实施选择方式，优选的，本方案S01所述的预设场景区域包括：森林防火监控区域、海洋灾害监控区域、海洋渔业工作监控区域、边防海防监控区域。

作为一种较优的实施选择方式，优选的，本方案还包括：

预设终端获取监控服务平台推送的报警信息，按预设方法对报警信息对应的影像摄取单元进行远程控制和数据获取，以获取报警事件实时影像。

基于上述，本发明还提供一种基于北斗的视觉监测预警系统，其包括：

控制器；

影像摄取单元，其具有成像传感器和光电传感器且与控制器连接，所述影像摄取单元通过一连接组件布设于预设位置且用于对预设场景区域进行影像获取；

定姿定向单元，为具有双天线的北斗定位定向模块，其与控制器连接且用于对影像摄取单元进行定姿定向和定位；

测距单元，与控制器连接，且用于获取影像摄取单元距离报警事件的距离；

供电单元，与控制器连接且用于提供电能；

无线通讯单元，与控制器连接且用于传输影像摄取单元生成的影像数据和报警信息；

处理单元，用于根据影像摄取单元布设位置的经纬度、方位角α和距离报警事件的距离d进行目标位置的经纬度，获得报警事件位置信息；

其中，所述报警信息包括：报警事件、报警事件位置信息、影像摄取单元的位姿信息和报警事件类型。

作为一种较优的实施选择方式，优选的，本方案所述成像传感器包括可见光成像传感器、红外热成像传感器。

作为一种较优的实施选择方式，优选的，本方案所述连接组件为电控云台，其与影像摄取单元连接，且用于带动影像摄取单元以预设状态进行横向、纵向转动，以对预设场景区域实现影像获取，所述定姿定向单元亦布设在电控云台上且跟随影像摄取单元移动；其中，所述电控云台还与控制器连接且由控制器控制工作。

基于上述，本发明还提供一种计算机可读的存储介质，所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现上述所述的基于北斗的视觉监测预警方法

采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：本方案巧妙性通过对预设场景区域进行影像获取，然后通过基于AI的检测神经网络对所获得的影像进行目标识别、异常状况判断，以获得影像画面中是否存在异常状况，在发生异常情况时，通过与影像获取同步的方向角信息和影像摄取单元的位置信息以及利用测距单元测得的距离报警事件(异常状况发生地)的距离d进行计算报警事件(异常状况发生地)的经纬度信息，从而将其与报警时间与其他关联信息打包形成报警事件信息传递给服务器，由服务器转送给监控服务平台，由监控服务平台将相关信息下达给预设终端(工作人员终端)进行相关指令、信息的传达，该方案不仅实施可靠，且能够全天候监测森林烟火及其他自然灾害，有助于突发事件态势分析，以及应急调度响应、救援及决策，其还可以应用于海洋领域，可以用于相关海域渔业工作、海洋灾害的监测和边防海防安全事件，在智慧海洋领域，可对数量众多的小型船舶动态位置识别及科学管理，保障公众海上生产作业及人身财产安全，提高海洋灾害等突发事件反应能力，有利于全方面地推动“智慧海洋”的建设环节。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的简要实施流程示意图；

图2是本发明系统的单元模块连接示意图；

图3是本发明系统的定姿定向单元的简要单元连接和数据传递示意图；

图4是本发明系统中采用的电控云台与影像摄取单元、光电传感器、传感器配合的简要实施结构示意图；

图5是本发明系统中采用的电控云台进行横向、纵向移动的配合部件简要示意图。

具体实施方式

下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本实施方案一种基于北斗的视觉监测预警方法，其包括：

S01、通过影像摄取单元对预设场景区域进行影像获取，同时在影像摄取单元上布设基于北斗的定姿定向单元对影像摄取单元进行定姿定向和定位；

S02、令影像摄取单元以预设状态进行横向、纵向转动，以对预设场景区域实现影像获取，同时，定姿定向单元跟随影像摄取单元转动，以实时获取影像摄取单元的方向角数据，以进入全时域监测状态；

S03、按预设条件对影像摄取单元所获得的影像数据进行检测，输出检测结果，以判断是否具有报警事件及报警事件对应类型，当检测结果指向具有报警事件时，调整影像摄取单元姿态，以将报警事件指向的场景区域调整至摄影摄取单元摄取的画面中心；

S04、获取影像摄取单元距离报警事件的距离d；

S05、通过定姿定向单元获取影像摄取单元布设位置的经纬度，且根据定姿定向单元所获得的方向角数据，解算获得方位角α；

S06、以影像摄取单元为参考点，报警事件发生位置作为目标位置，根据影像摄取单元布设位置的经纬度、方位角α和距离报警事件的距离d进行目标位置的经纬度计算，获得报警事件位置信息，然后将其与报警事件及关联信息打包形成报警信息一并输出；

S07、服务器接收报警信息并转送，该报警信息包括报警事件、报警事件位置信息、影像摄取单元的位姿信息和报警事件类型；其中，所述位姿信息包括影像摄取单元的位置经纬度信息和方向角数据；

S08、监控服务平台获取经服务器转送的报警信息，然后通过预设方法将其推送至预设终端。

在终端方面，本方案预设终端在获取监控服务平台推送的报警信息后，按预设方法(例如建立远程通新控制)对报警信息对应的影像摄取单元进行远程控制和数据获取，以获取报警事件实时影像。

为了对影像摄取单元的影像数据进行标定，以便于后续进行数据处理和参照，本方案S01中，令影像摄取单元的聚焦中心和定姿定向单元对准于同一中心线上，使定姿定向单元测得的方向角和影像摄取单元摄取到的场景在同一中心线上。本方案通过影像摄取单元作为计算机视觉的影像获取端，计算机视觉的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，在进行严格的相机参数标定后，可进行基于视觉地图的定位与无先验地图的定位；本方案影像摄取单元不仅可以通过定姿定向单元进行方向角标定，还可以进一步通过定姿定向单元进行经纬位置信息标定。

通过基于视觉地图的定位假定能够构建先验的视觉地图，然后基于先验视觉地图进行视觉定位，该方法得到的定位结果与先验视觉地图在相同的坐标系、属于绝对定位，能较好地保证全局一致性；而无先验地图的视觉定位方法无法依赖先验视觉地图，需要估计本体位姿与周围环境结构、属于相对定位，尤其在没有绝对位置信息情况下，定位结果不具有全局一致性。

而为了提高终端处理的效率，本方案S03中，将影像摄取单元所获得的影像数据导入到经训练的检测神经网络中检测，由检测神经网络输出检测结果，以判断是否具有报警事件。

其中，检测神经网络的训练方法可以直接基于现有训练方法，通过将具有不同特征的图像(森林火灾、异常海浪、漩涡或龙卷风的图像等)进行标记后，将其导入到神经网络中训练至模型收敛后，可以获得用于检测相关特征的检测神经网络；而检测神经网络的机制亦可以采用现有流程，即，通过对输入的影像数据进行分割获得图像帧，然后对图像帧内的特征进行定位，再基于定位的内容进行目标感知、识别和判断。

本方案通过AI视觉图像检索、特征点提取及匹配进行目标感知与识别，通过北斗双天线载波平滑码相位相对差分定位技术及组合导航定位算法，实现本体高精度定位、定姿及定向测量，与激光测距、立体视觉融合感知目标位置，精准测算出目标位置经纬度。进一步将赋予真实经纬位置信息的AI感知事件上报服务器，监控中心监控服务平台态势分析、指挥调度。本方法具有部署灵活、探测距离远、精度高的特点。

具体的，本方案S06中，可以根据影像摄取单元布设位置的经纬度(long1，lat1)、方位角α和距离报警事件的距离d按如下公式进行目标位置的经纬度(long2，lat2)：

long2＝long1+d*sinα/[ARC*cos(lat1)*2π/360]

lat2＝lat1+d*cosα/(ARC*2π/360)

其中，ARC为地球平均半径，其值设为7371.393×1000米。

通过上述方案，本方案所述的预设场景区域可以包括：森林防火监控区域、海洋灾害监控区域、海洋渔业工作监控区域、边防海防监控区域。

结合图2所示，基于上述，本实施例方案还提供一种基于北斗的视觉监测预警系统，其包括：

控制器；

影像摄取单元，其具有成像传感器和光电传感器且与控制器连接，所述影像摄取单元通过一连接组件布设于预设位置且用于对预设场景区域进行影像获取；

定姿定向单元，为具有双天线的北斗定位定向模块，其与控制器连接且用于对影像摄取单元进行定姿定向和定位；

测距单元，为激光测距单元，其与控制器连接，且用于获取影像摄取单元距离报警事件的距离；

供电单元，与控制器连接且用于提供电能；

无线通讯单元，与控制器连接且用于传输影像摄取单元生成的影像数据和报警信息，其可以包括5G通讯模块、北斗通讯模块；

处理单元，用于根据影像摄取单元布设位置的经纬度、方位角α和距离报警事件的距离d进行目标位置的经纬度，获得报警事件位置信息；

其中，北斗双天线定姿定向单元(定姿定向单元)、激光测距单元、光电传感器、无线通讯单元、AI视觉边缘计算单元分别通过串口、数据总线等通讯接口与MUC微控制单元(控制器)连接，MUC(控制器)实现任务的分配、各单元时序控制。

另外，所述报警信息包括：报警事件、报警事件位置信息、影像摄取单元的位姿信息和报警事件类型。

作为成像传感器的一种较优的实施选择方式，优选的，本方案所述成像传感器包括可见光成像传感器、红外热成像传感器。

图3示出了本方案具有双天线的北斗定位定向模块的简要模块单元连接示意图；本方案具有双天线的北斗定位定向模块可以采用基于现有技术的市销现有产品进行组合，利用双GNSS天线同时接收，通过采用现有的MEMS融合解算方案进行数据结解算，利用包含两个独立的卫星接收机、3轴加速度计、3轴陀螺仪及组合进行定位信号处理算法引擎，通过利用超短基线、载波平滑码相位相对差分定位技术，精确估计载体方位角，提供可靠的姿态及位置信息；其中，卫星接收机可支持BDS、GPS、LONASS等多频段多卫星导航系统。

由于双天线定姿定向精度及解算成功率和基线长度密切相关，本实施例方案系统装置可以通过电控云台进行带动影像摄取单元移动，可以预先根据电控云台的转台全方位运动模型得出最佳的双天线布局结构，减小基线长度误差对姿态测量精度的影响，在综合运转面上保障搜星效果最佳。而定姿定向单元的接收机天线可以分别装配在双摄像机腔体中心上方，两个接收机天线的中心距为北斗双天线定姿定向基线长度。由于双摄像机在转动轴两端、相对位置是固定不变的，因此，双接收机中心距保持始终部标，减少误差补偿复杂程度及定姿定向收敛时间。

结合图4、图5其示出了可以横向、纵向带动影像摄取单元进行移动的电控云台的其中一简要实施结构和零部件连接原理示意图，本实施例方案中，所述连接组件可以为电控云台，其与影像摄取单元连接，且用于带动影像摄取单元以预设状态进行横向、纵向转动，以对预设场景区域实现影像获取，所述定姿定向单元亦布设在电控云台上且跟随影像摄取单元移动；其中，所述电控云台还与控制器连接且由控制器控制工作。当然，图4、5所示仅为本方案电控云台的其中一举例，其亦可以为其他具有远程控制能力的电控云台。

本方案系统可以集成为一终端系统设备作为边缘设备进行应用，通过服务器、监控服务平台作为后台设备提供远程服务，配合加载有小程序的终端设备进行配合联动服务人员，作为本实施例系统的其中一种实施实例，其在监测预警中的实施流程如下：

S1、设备固定安装，摄像机镜头聚焦的中心和北斗双天线定姿定向单元与设计为自动对准在同一中心线上，测得的方位角和摄像机探测到的场景在同一中心线上；

S2、设备上电自检、初始化，摄像头电机组带动北斗双天线定姿定向单元和视觉摄像机单元横向纵向全方位转动，设备双天线定姿定向、AI视觉算法等自适应完成后，进入全时域监测状态；

S3、摄像机定时报警事件巡查。通过云台转动摄像机画面捕捉，设备视觉AI引擎图像分析，当捕捉到异常事件时(如森林烟火)，摄像机自动变焦将画面放大、云台自适应调整摄像机角度，使得异常事件在画面的中心位置，其中，摄像机巡查周期支持后台远程配置；

S4、通过激光测距传感器，测量设备与报警事件的距离d；

S5、通过北斗双天线定姿定向单元获得当前设备经纬度(long1,lat1)，解算获得方位角α；

S6、通过S4测得的距离d，S5获得的方位角a,以及设备经纬度(long1,lat1)，可计算目标位置经纬度(long2,lat2)，计算公式如下：

long2＝long1+d*sinα/[ARC*cos(lat1)*2π/360]

lat2＝lat1+d*cosα/(ARC*2π/360)

其中，ARC＝6371.393*1000(米)为地球平均半径；

S7、进一步将报警事件上传服务器，报警内容包括当前设备经纬高位姿信息、设备状态，以及报警事件类型、被识别到的报警事件所在经纬度等；

S8、监控服务平台报警事件展示，并小程序客户端报警推送。管理负责人收到报警信息后，可查阅报警事件内容，摄像机抓拍的报警事件图像及报警类型，进一步可通过经纬度位置信息直接导航至事发地点，实施抢险救灾工作。

同时，可通过报警事件远程调取摄像机、实时视频，快速捕捉当前事件，可放大缩小查看全局操作，无需通过手动超控摄像机寻找事发后的报警事件，操作简便、减少事态分析时间。

以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于北斗的视觉监测预警方法，其特征在于，其包括：

S01、通过影像摄取单元对预设场景区域进行影像获取，同时在影像摄取单元上布设基于北斗的定姿定向单元对影像摄取单元进行定姿定向和定位；

S02、令影像摄取单元以预设状态进行横向、纵向转动，以对预设场景区域实现影像获取，同时，定姿定向单元跟随影像摄取单元转动，以实时获取影像摄取单元的方向角数据，以进入全时域监测状态；

S03、按预设条件对影像摄取单元所获得的影像数据进行检测，输出检测结果，以判断是否具有报警事件及报警事件对应类型，当检测结果指向具有报警事件时，调整影像摄取单元姿态，以将报警事件指向的场景区域调整至摄影摄取单元摄取的画面中心；

S04、获取影像摄取单元距离报警事件的距离d；

S05、通过定姿定向单元获取影像摄取单元布设位置的经纬度，且根据定姿定向单元所获得的方向角数据，解算获得方位角α；

S06、以影像摄取单元为参考点，报警事件发生位置作为目标位置，根据影像摄取单元布设位置的经纬度、方位角α和距离报警事件的距离d进行目标位置的经纬度计算，获得报警事件位置信息，然后将其与报警事件及关联信息打包形成报警信息一并输出。

2.如权利要求1所述的基于北斗的视觉监测预警方法，其特征在于，S01中，令影像摄取单元的聚焦中心和定姿定向单元对准于同一中心线上，使定姿定向单元测得的方向角和影像摄取单元摄取到的场景在同一中心线上。

3.如权利要求1所述的基于北斗的视觉监测预警方法，其特征在于，S03中，将影像摄取单元所获得的影像数据导入到经训练的检测神经网络中检测，由检测神经网络输出检测结果，以判断是否具有报警事件。

4.如权利要求1所述的基于北斗的视觉监测预警方法，其特征在于，S06中，根据影像摄取单元布设位置的经纬度(long1，lat1)、方位角α和距离报警事件的距离d按如下公式进行目标位置的经纬度(long2，lat2)：

long2＝long1+d*sinα/[ARC*cos(lat1)*2π/360]

lat2＝lat1+d*cosα/(ARC*2π/360)

其中，ARC为地球平均半径，其值设为7371.393×1000米。

5.如权利要求1至4之一所述的基于北斗的视觉监测预警方法，其特征在于，其还包括：

S07、服务器接收报警信息并转送，该报警信息包括报警事件、报警事件位置信息、影像摄取单元的位姿信息和报警事件类型；其中，所述位姿信息包括影像摄取单元的位置经纬度信息和方向角数据；

S08、监控服务平台获取经服务器转送的报警信息，然后通过预设方法将其推送至预设终端。

6.如权利要求5所述的基于北斗的视觉监测预警方法，其特征在于，

S01所述的预设场景区域包括：森林防火监控区域、海洋灾害监控区域、海洋渔业工作监控区域、边防海防监控区域；

其还包括：

预设终端获取监控服务平台推送的报警信息，按预设方法对报警信息对应的影像摄取单元进行远程控制和数据获取，以获取报警事件实时影像。

7.一种基于北斗的视觉监测预警系统，其特征在于，其包括：

控制器；

影像摄取单元，其具有成像传感器和光电传感器且与控制器连接，所述影像摄取单元通过一连接组件布设于预设位置且用于对预设场景区域进行影像获取；

定姿定向单元，为具有双天线的北斗定位定向模块，其与控制器连接且用于对影像摄取单元进行定姿定向和定位；

测距单元，与控制器连接，且用于获取影像摄取单元距离报警事件的距离；

供电单元，与控制器连接且用于提供电能；

无线通讯单元，与控制器连接且用于传输影像摄取单元生成的影像数据和报警信息；

处理单元，用于根据影像摄取单元布设位置的经纬度、方位角α和距离报警事件的距离d进行目标位置的经纬度，获得报警事件位置信息；

其中，所述报警信息包括：报警事件、报警事件位置信息、影像摄取单元的位姿信息和报警事件类型。

8.如权利要求7所述的基于北斗的视觉监测预警系统，其特征在于，所述成像传感器包括可见光成像传感器、红外热成像传感器。

9.如权利要求7所述的基于北斗的视觉监测预警系统，其特征在于，所述连接组件为电控云台，其与影像摄取单元连接，且用于带动影像摄取单元以预设状态进行横向、纵向转动，以对预设场景区域实现影像获取，所述定姿定向单元亦布设在电控云台上且跟随影像摄取单元移动；其中，所述电控云台还与控制器连接且由控制器控制工作。

10.一种计算机可读的存储介质，其特征在于：所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现如权利要求1至6之一所述的基于北斗的视觉监测预警方法。