CN117710844B - 基于无人机的建筑安全监视方法 - Google Patents

Abstract

本申请公开了一种基于无人机的建筑安全监视方法，涉及安全监视领域，本申请包括，寻迹识别分析：对规划线路上的图像进行识别，载入预训练模型进行初始化语义分割，提取图像特征并基于图像生成对应成熟在线随机森林模型；重复s1步骤，比对不同规划线路上的图像的特征分布与成熟在线随机森林模型对应的特征分布，对相似度在预设阈值范围内的特征分布关系补充不同规划线路上的图像作为新的训练集，训练并修正对应的成熟在线随机森林模型；采用成熟在线随机森林模型分析图像获取识别结果，依据识别结果标识安全信任等级，对不信任识别结果执行绕飞。本申请更加准确地实现智能微控，防止遗漏安全隐患细节。

Description

基于无人机的建筑安全监视方法

技术领域

本申请涉及安全监视领域，具体涉及一种基于无人机的建筑安全监视方法。

背景技术

无人机在建筑业的引入，简化了高级施工程序，给行业带来了重大变化；无人机用于发现、识别违法违规行为，帮助监管不安全行为，利用技术手段弥补传统监管的不足，提高企业安全管理水平，无人机可以用来提高建筑工地的安全标准。无人机可以用来监控工地，防止盗窃，还可以为在工地工作的员工提供安全保障。配备摄像头的无人机可以探测和监控移动，帮助为员工提供更好的安全，还可以保护公司免受盗窃带来的重大损失。无人机减少了对人工劳动的依赖，以提供工作场所的安全。

无人机在开阔视野起飞无障碍巡视监视安全，但处于警戒区即建筑内部，实施无人机自动巡视路径规划存在多种不便，现有技术人员需重新走出建筑，实施无人机规划，或缺少无人机在建筑内部无人区实现安全路径巡视规划策略，由于障碍物遮挡无法扫描，由于定位限制无法提供高程上的路线；

因此，亟需补全无人机在全场景下的安全巡视路径规划策略。

发明内容

本申请一种基于无人机的建筑安全监视方法，解决现有技术中的问题。

第一方面，一种基于无人机的建筑安全监视方法，包括如下步骤：

s1、寻迹识别分析：寻迹并指向安全监视路径上的下一位置的坐标，无人机当前位置朝向下一位置构建规划线路，对所述规划线路上的图像进行识别，载入预训练模型进行初始化语义分割，提取图像特征并基于所述图像生成对应成熟在线随机森林模型；

s2、重复s1步骤，比对不同所述规划线路上的图像的特征分布与所述成熟在线随机森林模型对应的特征分布，对相似度在预设阈值范围内的特征分布关系补充不同所述规划线路上的图像作为新的训练集，训练并修正对应的所述成熟在线随机森林模型；

s3、采用成熟在线随机森林模型指导无人机在安全监视路径上飞行：采用成熟在线随机森林模型分析图像获取识别结果，依据识别结果标识安全信任等级，对不信任识别结果执行绕飞。

进一步的，对于所述s1步骤，还包括：

获取安全监视路径和定位信息，依据目标建筑物的复杂程度离散化所述安全监视路径，并将离散后的路径点连接成新的安全监视路径，所述下一位置的坐标为下一个离散安全监视路径点。

进一步的，对于所述s1步骤，具体包括：

采集所述规划线路上的无人机摄像头数据，处理为多视角下的静态图像数据，对静态图像数据进行初步语义分割的同时进行标注信息，将图像数据按照标注信息的规则进行分块，并对各个分块，拟合多个在线随机森林模型，针对每个标注信息的特征规则，对应在所述特征规则下适合的在线随机森林模型进行进一步语义分割，达到预设识别率的在线随机森林模型记为成熟在线随机森林模型。

进一步的，对于所述s1步骤，还包括：对识别结果中相同特征的图像和对应标识作为校验集，存在相同校验集的图像特征的在线随机森林模型采用共有的校验集进行校正：即，当两个分块图像数据，对应不同的在线随机森林模型，其中，两个分块包括同一特征的图像数据，提取其中一个在线随机森林模型的训练集中的所述同一特征的图像数据及对应识别结果载入到另外一个在线随机森林模型作为新的训练集校正训练结果。

进一步的，在所述s2步骤中，当比对不同规划线路上的图像的特征分布对应到两个相近的所述成熟在线随机森林模型时，分别采用两个成熟在线随机森林模型同时对所述不同规划线路上的图像进行识别，选择识别结果中高的对应的成熟在线随机森林模型作为所述不同所述规划线路上的图像的特征分布比对出的成熟在线随机森林模型。

进一步的，在所述s3步骤中，所述采用成熟在线随机森林模型指导无人机在安全监视路径上飞行，具体包括：

对识别结果依据传感器测距判断和计算到不信任识别结果的距离，当距离大于安全距离时，朝向下一位置的坐标飞行的过程中，依据多次采集图像数据进行3D建模，在3D建模中，依据不信任识别结果的边沿端点与无人机所在点画第一条线段，无人机所在点与下一位置的坐标画第二条线段，依据第一条线段与第二条线段构建共同平面，将无人机与不信任识别结果向共同平面投影，获取二维投影平面，在二维投影平面中实现绕飞。

进一步的，在所述二维投影平面中，所述不信任识别结果形成封闭区域，对封闭区域的各个端点连接无人机形成多条线段，选择长度排序中第二短线段，所述第二短线段一端为无人机端点，另一端为第二短线段封闭区域端点，在所述第二短线段封闭区域端点上设置碰撞距离区域，所述无人机执行弧线飞行，所述弧线为以无人机端点到碰撞距离区域的边沿、朝向所述第二短线段指向的封闭区域外侧的弧线，所述弧线的圆心在远离所述封闭区域的一侧。

进一步的，当弧线飞行结束后，选择并连线无人机所在位置到下一位置的坐标方向一侧的封闭区域端点，排序连线的一侧端点，选择最短线段作为绕回段，在绕回段上的封闭区域端点设置碰撞距离区域，无人机执行绕回段飞行，所述绕回段飞行为无人机直飞到碰撞距离区域的边沿位置点且不发生碰撞，并重复监视判断是否执行下一个所述弧线飞行。

进一步的，所述无人机在弧线飞行的过程中，采集图像数据和传感器测距数据，当所述第一条线段变化时，重新进行所述不信任识别结果的边沿端点与无人机所在点画线段，并投影设置新的二维投影平面，同时执行所述弧线飞行。

进一步的，当无人机到达绕回段起点的位置与下一位置的坐标即目标点的连线比绕回段远离所述封闭区域，则直接执行绕回段起点到目标点的飞行作为绕回段飞行。

本申请提供的一种基于无人机的建筑安全监视方法，运用定位数据结合图像识别技术，进行建筑内外部的故障探测、安全监视，更加准确地实现智能微控，防止遗漏安全隐患细节。

本申请通过随机森林模型的分块数据拟合，能够对不同的不信任识别结果，即，非安全目标，进行快速识别，并能够实现模型之间相互检验识别结果。

本申请通过绕飞技术，通过三维到二维的转换，节约计算资源，并能够在二维平面规划最优路径，节约无人机电量，并顺路规划和实时修改路，防止与不信任识别结果的碰撞。

附图说明

此处所说明的附图用来提供对本申请实施例的进一步理解，构成本申请的一部分，并不构成对本申请实施例的限定。在附图中：

图1为本申请一示例性实施例提供的一种基于无人机的建筑安全监视方法流程图。

图2为本申请一示例性实施例提供的一种基于无人机的建筑安全监视方法中的弧线飞行和绕回段飞行示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

无人机在建筑中的一个主要应用是用于进行空中调查。无人机正在慢慢取代传统的陆地测量设备。它们提供了需要调查地区的鸟瞰图。这被证明在人类难以控制的地区非常有益。配备人工智能和机器学习的智能无人机可以创建被调查区域的2D平面图。无人机消除了人工操作过程中可能出现的错误，节省了时间和人力，而且更加准确。

根据现有人工巡检要求，采用无人机自动机场代替人工进行日常巡检，巡检过程中无人值守，无人机通过机载飞控模块，实现自动避障，沿规划飞行路径自主飞行，自主调整飞行姿态、云台角度、拍摄距离、相机参数等，从而完成管控平台下发的巡检任务。

本申请的技术构思，依据无人机的定位结合无人机的图像处理功能从建筑内部释放，实现安全巡视路径规划。

现有技术多采用开阔场景下的路径规划，缺少从建筑内部衔接到外侧建筑体外巡视策略或建筑内部巡视路径规划策略，本申请具体的应用场景是建筑安全巡视策略，通过无人机实现从建筑内部衔接到外侧建筑体外巡视策略或建筑内部巡视路径规划策略。

本申请提供的一种基于无人机的建筑安全监视方法，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

实施例1：通过如下技术方案实现，图1为本申请一示例性实施例提供的一种基于无人机的建筑安全监视方法流程图，如图1所示；

s0、获取安全监视路径和定位信息，依据目标建筑物的复杂程度离散化所述安全监视路径，并将离散后的路径点连接成新的安全监视路径，所述下一位置的坐标为下一个离散安全监视路径点；

s1、寻迹识别分析：寻迹并指向安全监视路径上的下一位置的坐标，无人机当前位置朝向下一位置构建规划线路，对所述规划线路上的图像进行识别，载入预训练模型进行初始化语义分割，提取图像特征并基于所述图像生成对应成熟在线随机森林模型；

具体地：采集所述规划线路上的无人机摄像头数据，处理为多视角下的静态图像数据，对静态图像数据进行初步语义分割的同时进行标注信息，将图像数据按照标注信息的规则进行分块，并对各个分块，拟合多个在线随机森林模型，针对每个标注信息的特征规则，对应在所述特征规则下适合的在线随机森林模型进行进一步语义分割，达到预设识别率的在线随机森林模型记为成熟在线随机森林模型；

还包括：对识别结果中相同特征的图像和对应标识作为校验集，存在相同校验集的图像特征的在线随机森林模型采用共有的校验集进行校正：即，当两个分块图像数据，对应不同的在线随机森林模型，其中，两个分块包括同一特征的图像数据，提取其中一个在线随机森林模型的训练集中的所述同一特征的图像数据及对应识别结果载入到另外一个在线随机森林模型作为新的训练集校正训练结果。

s2、重复s1步骤，比对不同所述规划线路上的图像的特征分布与所述成熟在线随机森林模型对应的特征分布，对相似度在预设阈值范围内的特征分布关系补充不同所述规划线路上的图像作为新的训练集，训练并修正对应的所述成熟在线随机森林模型；

当比对不同规划线路上的图像的特征分布对应到两个相近的所述成熟在线随机森林模型时，分别采用两个成熟在线随机森林模型同时对所述不同规划线路上的图像进行识别，选择识别结果中高的对应的成熟在线随机森林模型作为所述不同所述规划线路上的图像的特征分布比对出的成熟在线随机森林模型。

s3、采用成熟在线随机森林模型指导无人机在安全监视路径上飞行：采用成熟在线随机森林模型分析图像获取识别结果，依据识别结果标识安全信任等级，对不信任识别结果执行绕飞。

具体包括：图2为本申请一示例性实施例提供的一种基于无人机的建筑安全监视方法中的弧线飞行和绕回段飞行示意图，如图2所示，对识别结果依据传感器测距判断和计算到不信任识别结果的距离，当距离大于安全距离时，朝向下一位置的坐标飞行的过程中，依据多次采集图像数据进行3D建模，在3D建模中，依据不信任识别结果的边沿端点与无人机所在点画第一条线段，无人机所在点与下一位置的坐标画第二条线段，依据第一条线段与第二条线段构建共同平面，将无人机与不信任识别结果向共同平面投影，获取二维投影平面，在二维投影平面中实现绕飞。在所述二维投影平面中，所述不信任识别结果形成封闭区域，对封闭区域的各个端点连接无人机形成多条线段，选择长度排序中第二短线段，所述第二短线段一端为无人机端点，另一端为第二短线段封闭区域端点，在所述第二短线段封闭区域端点上设置碰撞距离区域，所述无人机执行弧线飞行，所述弧线为以无人机端点到碰撞距离区域的边沿、朝向所述第二短线段指向的封闭区域外侧的弧线，所述弧线的圆心在远离所述封闭区域的一侧。当弧线飞行结束后，选择并连线无人机所在位置到下一位置的坐标方向一侧的封闭区域端点，排序连线的一侧端点，选择最短线段作为绕回段，在绕回段上的封闭区域端点设置碰撞距离区域，无人机执行绕回段飞行，所述绕回段飞行为无人机直飞到碰撞距离区域的边沿位置点且不发生碰撞，并重复监视判断是否执行下一个所述弧线飞行。所述无人机在弧线飞行的过程中，采集图像数据和传感器测距数据，当所述第一条线段变化时，重新进行所述不信任识别结果的边沿端点与无人机所在点画线段，并投影设置新的二维投影平面，同时执行所述弧线飞行，当无人机到达绕回段起点的位置与下一位置的坐标即目标点的连线比绕回段远离所述封闭区域，则直接执行绕回段起点到目标点的飞行作为绕回段飞行。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统中，或一些特征可以忽略，或不执行。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

本领域内的技术人员应明白，本发明的实施例可提供为方法或系统。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由上面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (5)

1.一种基于无人机的建筑安全监视方法，其特征在于，包括：

s1、寻迹识别分析：寻迹并指向安全监视路径上的下一位置的坐标，无人机当前位置朝向下一位置构建规划线路，对所述规划线路上的图像进行识别，载入预训练模型进行初始化语义分割，提取图像特征并基于所述图像生成对应成熟在线随机森林模型；

s2、重复s1步骤，比对不同所述规划线路上的图像的特征分布与所述成熟在线随机森林模型对应的特征分布，对相似度在预设阈值范围内的特征分布关系补充不同所述规划线路上的图像作为新的训练集，训练并修正对应的所述成熟在线随机森林模型；

s3、采用成熟在线随机森林模型指导无人机在安全监视路径上飞行：采用成熟在线随机森林模型分析图像获取识别结果，依据识别结果标识安全信任等级，对不信任识别结果执行绕飞；具体包括：

对识别结果依据传感器测距判断和计算到不信任识别结果的距离，当距离小于安全距离时，朝向下一位置的坐标飞行的过程中，依据多次采集图像数据进行3D建模，在3D建模中，依据不信任识别结果的边沿端点与无人机所在点画第一条线段，无人机所在点与下一位置的坐标画第二条线段，依据第一条线段与第二条线段构建共同平面，将无人机与不信任识别结果向共同平面投影，获取二维投影平面，在二维投影平面中实现绕飞；

在所述二维投影平面中，所述不信任识别结果形成封闭区域，对封闭区域的各个端点连接无人机形成多条线段，选择长度排序中第二短线段，所述第二短线段一端为无人机端点，另一端为第二短线段封闭区域端点，在所述第二短线段封闭区域端点上设置碰撞距离区域，所述无人机执行弧线飞行，所述弧线为以无人机端点到碰撞距离区域的边沿、朝向所述第二短线段指向的封闭区域外侧的弧线，所述弧线的圆心在远离所述封闭区域的一侧；

当弧线飞行结束后，选择并连线无人机所在位置到下一位置的坐标方向一侧的封闭区域端点，排序连线的一侧端点，选择最短线段作为绕回段，在绕回段上的封闭区域端点设置碰撞距离区域，无人机执行绕回段飞行，所述绕回段飞行为无人机直飞到碰撞距离区域的边沿位置点且不发生碰撞，并重复监视判断是否执行下一个所述弧线飞行；

所述无人机在弧线飞行的过程中，采集图像数据和传感器测距数据，当所述第一条线段变化时，重新进行所述不信任识别结果的边沿端点与无人机所在点画线段，并投影设置新的二维投影平面，同时执行所述弧线飞行；

当无人机到达绕回段起点的位置与下一位置的坐标即目标点的连线比绕回段远离所述封闭区域，则直接执行绕回段起点到目标点的飞行作为绕回段飞行。

2.根据权利要求1所述的一种基于无人机的建筑安全监视方法，其特征在于，对于所述s1步骤，还包括：

获取安全监视路径和定位信息，依据目标建筑物的复杂程度离散化所述安全监视路径，并将离散后的路径点连接成新的安全监视路径，所述下一位置的坐标为下一个离散安全监视路径点。

3.根据权利要求2所述的一种基于无人机的建筑安全监视方法，其特征在于，对于所述s1步骤，具体包括：

采集所述规划线路上的无人机摄像头数据，处理为多视角下的静态图像数据，对静态图像数据进行初步语义分割的同时进行标注信息，将图像数据按照标注信息的规则进行分块，并对各个分块，拟合多个在线随机森林模型，针对每个标注信息的特征规则，对应在所述特征规则下适合的在线随机森林模型进行进一步语义分割，达到预设识别率的在线随机森林模型记为成熟在线随机森林模型。

4.根据权利要求3所述的一种基于无人机的建筑安全监视方法，其特征在于，对于所述s1步骤，还包括：对识别结果中相同特征的图像和对应标识作为校验集，存在相同校验集的图像特征的在线随机森林模型采用共有的校验集进行校正：即，当两个分块图像数据，对应不同的在线随机森林模型，其中，两个分块包括同一特征的图像数据，提取其中一个在线随机森林模型的训练集中的所述同一特征的图像数据及对应识别结果载入到另外一个在线随机森林模型作为新的训练集校正训练结果。

5.根据权利要求4所述的一种基于无人机的建筑安全监视方法，其特征在于，在所述s2步骤中，当比对不同规划线路上的图像的特征分布对应到两个相近的所述成熟在线随机森林模型时，分别采用两个成熟在线随机森林模型同时对所述不同规划线路上的图像进行识别，选择识别结果中高的对应的成熟在线随机森林模型作为所述不同所述规划线路上的图像的特征分布比对出的成熟在线随机森林模型。