CN117873159B - 一种多旋翼无人机的室内目标视觉定位方法 - Google Patents

Abstract

本发明公开了一种多旋翼无人机的室内目标视觉定位方法，涉及多旋翼救援定位无人机技术领域，定位系统包括视觉模块、避障模块、飞行控制模块、信息处理模块、信息交互装置，视觉模块、避障模块、信息处理模块、信息交互装置均与飞行控制模块相连；所述视觉模块用于提取地面目标像素坐标，得到角度信息，通过AOA算法解算三位坐标；所述避障模块通过发射激光光束探测目标，并通过搜集反射回来的光束来形成点云和获取数据，以此来避开障碍物；所述飞行控制模块运行图像识别以及AOA定位算法，将定位数据进行处理后发布目标定位信息，以确保救援人员实时监控室内场景。

Description

一种多旋翼无人机的室内目标视觉定位方法

技术领域

本发明涉及多旋翼救援定位无人机技术领域，特别是涉及一种多旋翼无人机的室内目标视觉定位方法。

背景技术

随着核心技术的日益成熟，以及无人化趋势的不断发展，目前无人机在农业植保、物流运输、电力巡检、海洋监测、交通巡查、应急通信以及紧急救援等场景的应用愈加普及。由于室内救援许多专业场景都面临着“复杂、危险、肮脏”的作业环境，因而无人机便成为了最合适的选择之一。在室内环境发生紧急情况或是自然灾害时，一般方式往往难以快速实现快速定位地面需救援的人员和物品，而救援定位无人机则能够很好地弥补这一缺陷，快速定位室内被困人员、救援人员和物品，借助自身优势、特点来辅助救援过程，向救援人员提供相关位置信息，精准导航，实时监控，降低救援风险，缩短救援时间，提高救援成功率，挽救更多人的生命安全和财产安全。

目前，室内定位方式往往面临着成本高、部署时间长等问题，无法满足在突发情况下为救援行动提供导航定位的需求。为此，需要寻求一种能够在陌生环境中快速部署、适应能力强的室内定位方式。

发明内容

针对上述要解决的技术问题，本发明提供一种多旋翼无人机的室内目标视觉定位方法，实时监控，降低救援风险，缩短救援时间，提高救援成功率，确保救援工作有序进行。

为解决上述技术问题，本发明提出的技术方案为：

一种多旋翼无人机的室内目标视觉定位方法，包括视觉模块、避障模块、飞行控制模块、信息处理模块、信息交互装置；

所述视觉模块设有双目视觉单元，视觉模块用于获取目标物体的位置、无人机的位置和速度信息，将信息发送至飞行控制模块；所述视觉模块还设有视觉里程计，视觉里程计是通过检测搭载摄像头的物体，来估计自身位置的过程；

所述避障模块包括激光雷达避障单元，用于检测360度范围内的障碍物并将角度-距离信息发送至飞行控制模块；

所述飞行控制模块包括主控芯片和机载计算机，主控芯片用于接收来自外部设备的定位信息，机载计算机用于接收主控芯片的信息，并向主控芯片发出飞行控制指令；

所述信息处理模块用于将视觉模块的信息传输至信息交互装置；

所述信息交互装置包括显示屏、信息传输模块和中央处理器，信息传输模块用于地面人员实时监测无人机状态，中央处理器用于信息处理、程序运行；

所述双目视觉单元由两个摄像头构成，所述双目视觉单元安装时与无人机中心的相对位置记为：，通过量测模型得到目标物体相对于相机的角度，利用AOA算法解算出物体的位置；

所述两个摄像头相互独立构成双目摄像头，两个摄像头参数相同；两个摄像头、安装间隔距离L，所述摄像头朝下安装，、各自相对于双目视觉单元中心 的坐标为：；

所述定位方法中无人机起飞后飞行至目标坐标点，双目视觉单元实时捕获救援现场的图像信息，提取地面目标像素坐标，利用视觉量测模型得到角度信息，通过AOA算法解算三维坐标，得出视觉定位结果。

作为上述技术方案地进一步改进为：

优选地，所述信息处理模块包括数传模块和图传模块，所述数传模块与地面终端通过数传通信链路相连接，用于地面人员实时监测无人机状态；所述图传模块与地面终端通过图传通信链路相连接，用于将双目视觉单元拍摄的画面实时传输至信息交互装置。

优选地，所述定位方法包括以下步骤：

步骤S1，无人机起飞后进行远视距遥控或自主规划路径飞行飞至目标坐标点；

步骤S2，到达坐标目标点，机载计算机开始分析图像数据，进行定位信息解算；

步骤S3，无人机通过信息传输模块发送目标位置信息以及图像信息至信息交互装置；

步骤S4，若继续进行任务则退步骤2继续执行，否则进入步骤S5；

步骤S5，对无人机进行远视距遥控或者无人机沿着历史路径自主返回。

优选地，所述步骤S1中：

（1）远视距遥控时，地面控制人员在安全区域内使用遥控装置对无人机进行控制，地面人员根据回传的图像信息遥控无人机进行飞行，机载计算机利用激光雷达的数据实时监控无人机与四周障碍物的距离，当距离小于预设的安全距离，机载计算机发送控制指令使无人机回到安全范围内，并通过信息交互装置提醒地面控制人员存在障碍物；

（2）自主规划路径飞行时，预先设置目标坐标点，机载计算机分析激光雷达的障碍物数据，根据预设的目标坐标计算路径，根据路径进行自主飞行。

优选地，所述步骤S2中，机载计算机从飞行控制模块读取一次当前无人机的坐标 信息，记为，同时读取来自双目视觉单元的图像数据，使用机器视觉 算法检测图像中目标物体的轮廓，并返回目标物体在双目摄像头中的轮廓中心的像素坐 标；根据摄像头量测模型进行像素坐标信息至相对角度信息的换算，分别得到目标物体相 对双目摄像头的两组方向角-俯仰角信息；其 中表示组的方向角，表示组的俯仰角，表示组的方向角，表 示组的俯仰角。

优选地，所述步骤S2中，所述定位信息解算为A0A三维定位算法，包括以下步骤：

（1）无人机机体中心世界坐标为，双目摄像头安装时与无人机中心的相对位 置为，两个摄像头各自相对于双目模组中心的坐标为、；

（2）解算以摄像头模组为中心投影至XOY平面的目标二维坐标，设目标二维坐标下：；

（3）根据、、、、，得到线性方程：；其中，，可得，就是目标相对双目摄像头的二维位置；

（4）解算目标与双目摄像头的相对三维坐标，定义：；其中，为 上步计算得到的目标二维坐标，为两个摄像头的中心距离，、分别为目标 至摄像头1、摄像头2的相对距离；

可得：

其中：为目标与双目摄像头的垂直距离，可得三维坐标：；

给出目标的世界坐标系坐标

其中为双目摄像头模组安装时与无人机中心的相对位置，为无人机机体 中心世界三维坐标。

本发明提供的多旋翼无人机的室内目标视觉定位方法，与现有技术相比，有以下优点：

（1）本发明的多旋翼无人机的室内目标视觉定位方法，为了解决在紧急情况下，救援人员无法快速确定受困者的位置导致浪费救援时间以及救援人员自身安全难以保证的难题，本发明基于室内救援定位系统，利用无人机对环境内人员、装置进行定位，向救援人员提供相关位置信息，精准导航，实时监控，降低救援风险，缩短救援时间，提高救援成功率，确保救援工作有序进行。

（2）本发明的多旋翼无人机的室内目标视觉定位方法，双目摄像头是用于提取地面的物体的像素坐标，再利用编写的算法定位地面目标，其目的是检测地面的物体计算地面目标的位置信息。

（3）本发明的多旋翼无人机的室内目标视觉定位方法，室内救援定位无人机能够在提供画面信息的同时提供地面目标的准确位置信息，提高了拍摄画面的利用率和救援行动的效率，为室内救援行动提供了更多可能性。

附图说明

图1为室内救援定位无人机系统结构图。

图2为视觉AOA定位算法流程示意图。

图3为室内救援定位无人机系统工作流程图。

图4为室内救援定位无人机系统框图。

图5为无人机坐标系定义示意图。

图6为双目摄像头安装位置示意图。

图7为视觉量测模型示意图。

具体实施方式

以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1至图7所示，本发明的多旋翼无人机的室内目标视觉定位系统，包括视觉模块、避障模块、飞行控制模块、信息处理模块、信息交互装置，视觉模块、避障模块、信息处理模块、信息交互装置均与飞行控制模块相连。

本实施例中，视觉模块包括视觉里程计、双目视觉单元。视觉里程计是通过检测搭载摄像头的物体，由于运动产生的图像变化，来估计自身位置的过程。视觉里程计为无人机飞行提供位置信息，视觉里程计输出的位置、速度信息直接发送至飞行控制模块，是无人机的定位信息来源。

双目视觉单元由两个摄像头构成，仿人眼结构，双目视觉单元安装时与无人机中 心的相对位置记为：。通过量测模型得到目标物体相对于相机的角 度，利用AOA算法解算出物体的位置。双目视觉单元采用双目摄像头，是两个独立的、相同参 数的摄像头的组合。如图6所示，两个摄像头、在安装时间隔距离L，摄像头朝下安 装。无人机工作时在较高处悬停，所以摄像头朝下安装用于检测地面的目标，并定位地面目 标。双目摄像头最大的特点就是已知摄像头间的安装间距，在执行目标检测时，同一目标在 两个摄像头中的像素坐标是不一致的，利用这个不一致的像素坐标和已知的安装间距可以 计算出目标与双目摄像头的三维相对位置。、各自相对于双目模组中心的坐标为：。

所述双目模组中心，是两个摄像头连线的中心位置。本实施例中，定义这个双目模组的中心位置坐标，是因为双目摄像头安装时与无人机的中心有一定的位置偏差，我们在后续计算目标坐标时，直接计算得到的坐标是相对于双目模组中心的，加上双目安装时与无人机中心的偏差，得到的就是目标相对于无人机中心的坐标了。

本实施例中，避障模块包括激光雷达避障单元，将激光雷达作为无人机的传感器，可以利用其探测距离远、鲁棒性强等特点，来执行避障、路径规划算法。本实施例中，使用360度单线激光雷达，检测360度范围内的障碍物并给出角度-距离信息，根据视觉里程计提供的位置信息指导无人机自主避障飞行。激光雷达通过串口连接至机载计算机，由机载计算机上的程序分析激光雷达的点云信息，实现避障的功能。

本实施例中，飞行控制模块包括主控芯片和机载计算机，主控芯片采用STM32F427处理器芯片，该芯片集成了姿态传感器、气压传感器、磁力计等传感器，运行Ardupilot飞行控制软件（自带位置纠正PID算法），可以接收来自视觉里程计的定位信息，并运行PID算法实时纠正位置误差；同时接收来自机载计算机的控制指令，完成位置、速度、航向的控制。

机载计算机采用Cortex-A57架构芯片为嵌入式处理器，搭载Linux操作系统，拥有较快的计算速度。机载计算机是一个多方信息融合、定位数据解算的地方，是无人机飞行控制的大脑，机载计算机通过串口与主控芯片连接，读取主控芯片的各种信息。信息包括但不限于姿态、高度等，同时机载计算机又向主控芯片发出飞行控制指令用来控制飞机的位置、速度、航向、高度等。双目摄像头也连接至机载计算机，由机载计算机进行图像分析、位置解算。双目视觉单元通过信息处理模块与信息交互装置连接，实时发布各种信息包括了视觉定位信息、无人机状态信息等。

本实施例中，信息处理模块包括数传模块和图传模块；数传模块与地面终端通过数传通信链路相连接，用于地面人员实时监测无人机状态；图传模块与地面终端通过图传通信链路相连接，用于将双目视觉单元拍摄的画面实时传输至信息交互装置。

本实施例中，信息交互装置包含显示屏、信息传输模块、中央处理器，但不限于此，它可以是各种个人计算机、智能手机、平板电脑和便携式可穿戴设备。显示屏用于显示定位数据、无人机相机实时画面、航迹信息，无人机的飞行状态等。信息传输模块是无人机系统的关键部分，信息传输模块与地面终端通过数传通信链路相连接，用于地面人员实时监测无人机状态。中央处理器（central processing unit，简称CPU）作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。

本实施例的多旋翼无人机的室内目标视觉定位系统，在无人机上装载双目摄像头，利用视觉AOA技术对地面目标进行定位，将其位置信息发布至救援中心或者是救援人员的手持装置中，具有室内自主定位的功能、图像获取与处理的功能、信息传输的功能和障碍物感知的功能。

本发明多旋翼无人机的室内目标视觉定位方法，包括以下步骤：

步骤S1，无人机开始自检，如若自检正常则进行下一步，如若自检有问题则重复此步骤。

当自检次数达到上限，发出报错信息提醒工作人员检查。

步骤S2，无人机垂直起飞，机载计算机读取激光雷达避障单元的障碍物数据，双目视觉单元读取图像信息并传输至信息交互装置。

激光雷达避障单元通过发射激光光束探测目标，并通过搜集反射回来的光束来形成点云和获取数据，以此来避开障碍物。

步骤S3，无人机进行远视距遥控或自主规划路径飞行。有两种完成方法：

（1）远视距遥控时，是地面控制人员在安全区域内使用遥控装置对无人机进行控制，地面人员根据回传的图像信息遥控无人机进行飞行，机载计算机利用激光雷达的数据实时监控无人机与四周障碍物的距离，当距离小于预设的安全距离，机载计算机发送控制指令使无人机回到安全范围内，并通过信息交互装置提醒地面控制人员某个方向上存在障碍物。在这个过程中，无人机持续记录经过的坐标点并保存为历史路径。

（2）自主规划路径飞行时，预先设置目标坐标点，机载计算机分析激光雷达的障碍物数据，根据预设的目标坐标计算出合适的路径，并根据路径进行自主飞行。在这个过程中，无人机持续记录经过的坐标点并保存为历史路径，为无人机结束任务返航提供引导。过程中，地面控制人员享有优先权，能够随时手动介入控制无人机，以便对突发情况及时做出反应，提高了定位系统的灵活性。

步骤S4，到达坐标目标点，机载计算机开始分析图像数据，进行定位信息解算。

机载计算机从飞行控制模块读取一次当前无人机的坐标信息，记为，同时读取来自双目视觉单元的图像数据，使用机器视觉算法检测图 像中目标物体的轮廓，并返回该物体在、摄像头中的轮廓中心的像素坐标。根据摄 像头量测模型进行像素坐标信息至相对角度信息的换算，分别得到目标物体相对、摄像头的两组方向角-俯仰角信息。利用 AOA算法计算三维坐标，产生视觉定位结果。

使用机器视觉算法检测图像就是采用常用的图像处理算法，优选地采用YOLOv8算法分割地面目标轮廓提取像素坐标，在此不做过多的说明。

本实施例中具体的，根据摄像头量测模型进行像素坐标信息至相对角度信息的换算，过程如下：

（1）以相机光心为原点建立摄像坐标系，/>光轴与成像平面的交点o为像平面上图像坐标系原点，如图7所示。

（2）目标p与的连线与图像坐标系yox的像平面上的交点为点q，坐标为。设与的方向角为、俯仰角为，已知等效焦距为f，由图7中几何 关系可得：，可得目标p的方向角-俯仰角信息。

得到目标物体相对、摄像头的两组方向角-俯仰角信息，。

所述A0A三维定位算法包括以下步骤：

（1）无人机机体中心世界坐标为，双目摄像头安装时与无人机中心的相对位 置为，摄像头1、摄像头2各自相对于双目模组中心的坐标为、。

（2）解算双目模组中心投影至XOY平面的目标二维坐标，设目标二维坐标下：。

（3）求解二维直线的交点得到线性方程：，其中：，可得：，就是目标相对双目摄像头的二维位置。

（4）解算目标与双目摄像头的相对三维坐标。

定义：

其中：为上步计算得到的目标二维坐标，为两个摄像头 的中心距离，、分别为目标至摄像头1、摄像头2的相对距离。

可得：

其中：为目标与双目摄像头的垂直距离，可得三维坐标：

给出目标的世界坐标系坐标

其中：为双目摄像头模组安装时与无人机中心的相对位置，为无人机机 体中心世界三维坐标。

步骤S5，无人机通过信息传输模块发送目标位置信息以及图像信息至信息交互装置。

步骤S6，若继续进行任务则退步骤S4继续执行，否则进入步骤S7。

步骤S7，对无人机进行远视距遥控或者无人机沿着历史路径自主返回。

上述实施案例只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (5)

1.一种多旋翼无人机的室内目标视觉定位方法，其特征在于，采用视觉定位系统进行定位，所述定位系统包括视觉模块、避障模块、飞行控制模块、信息处理模块、信息交互装置；

所述视觉模块设有双目视觉单元，视觉模块用于获取目标物体的位置、无人机的位置和速度信息，将信息发送至飞行控制模块；所述视觉模块还设有视觉里程计，视觉里程计是通过检测搭载摄像头的物体，来估计自身位置的过程；

所述避障模块包括激光雷达避障单元，用于检测360度范围内的障碍物并将角度-距离信息发送至飞行控制模块；

所述飞行控制模块包括主控芯片和机载计算机，主控芯片用于接收来自外部设备的定位信息，机载计算机用于接收主控芯片的信息，并向主控芯片发出飞行控制指令；

所述信息处理模块用于将视觉模块的信息传输至信息交互装置；

所述信息交互装置包括显示屏、信息传输模块和中央处理器，信息传输模块用于地面人员实时监测无人机状态，中央处理器用于信息处理、程序运行；

所述双目视觉单元由两个摄像头构成，所述双目视觉单元安装时与无人机中心的相对位置记为：，通过量测模型得到目标物体相对于相机的角度，利用AOA算法解算出物体的位置；

所述两个摄像头相互独立构成双目摄像头，两个摄像头参数相同；两个摄像头、安装间隔距离L，所述摄像头朝下安装，、、各自相对于双目视觉单元中心的坐 标为：；

所述定位方法，无人机起飞后飞行至目标坐标点，双目视觉单元实时捕获救援现场的图像信息，提取地面目标像素坐标，利用视觉量测模型得到角度信息，通过AOA算法解算三维坐标，得出视觉定位结果；

所述AOA算法解算三维坐标，具体为：

（1）以相机光心为原点建立摄像坐标系，/>光轴与成像平面的交点o为像平面上图像坐标系原点；

（2）目标p与，的连线与图像坐标系yox的像平面上的交点为点q，坐标为； 设与的方向角为、俯仰角为，已知等效焦距为f，由几何关系可得：，可得目标p的的方向角-俯仰角信息；

得到目标物体相对、摄像头的两组方向角-俯仰角信息；所述A0A三维定位算法包括以下步骤：

（1）无人机机体中心世界坐标为，双目摄像头安装时与无人机中心的相对位置为，摄像头1、摄像头2各自相对于双目模组中心的坐标为、；

（2）解算双目模组中心投影至XOY平面的目标二维坐标，设目标二维坐标下：；

（3）求解二维直线的交点得到线性方程：，其中，可得，就是目标相对双目摄像头的二维位置；

（4）解算目标与双目摄像头的相对三维坐标；

定义：；

其中，为上步计算得到的目标二维坐标，为两个摄像头的中心 距离，、分别为目标至摄像头1、摄像头2的相对距离；

可得：；

其中：为目标与双目摄像头的垂直距离，可得三维坐标：；

给出目标的世界坐标系坐标；

其中：为双目摄像头模组安装时与无人机中心的相对位置，为无人机机体中 心世界三维坐标。

2.根据权利要求1所述的多旋翼无人机的室内目标视觉定位方法，其特征在于，所述信息处理模块包括数传模块和图传模块，所述数传模块与地面终端通过数传通信链路相连接，用于地面人员实时监测无人机状态；所述图传模块与地面终端通过图传通信链路相连接，用于将双目视觉单元拍摄的画面实时传输至信息交互装置。

3.根据权利要求1所述的多旋翼无人机的室内目标视觉定位方法，其特征在于，所述定位方法包括以下步骤：

步骤S1，无人机起飞后进行远视距遥控或自主规划路径飞行飞至目标坐标点；

步骤S2，到达坐标目标点，机载计算机开始分析图像数据，进行定位信息解算；

步骤S3，无人机通过信息传输模块发送目标位置信息以及图像信息至信息交互装置；

步骤S4，若继续进行任务则退步骤2继续执行，否则进入步骤S5；

步骤S5，对无人机进行远视距遥控或者无人机沿着历史路径自主返回。

4.根据权利要求3所述的多旋翼无人机的室内目标视觉定位方法，其特征在于，所述步骤S1中：

（1）远视距遥控时，地面控制人员在安全区域内使用遥控装置对无人机进行控制，地面人员根据回传的图像信息遥控无人机进行飞行，机载计算机利用激光雷达的数据实时监控无人机与四周障碍物的距离，当距离小于预设的安全距离，机载计算机发送控制指令使无人机回到安全范围内，并通过信息交互装置提醒地面控制人员存在障碍物；

（2）自主规划路径飞行时，预先设置目标坐标点，机载计算机分析激光雷达的障碍物数据，根据预设的目标坐标计算路径，根据路径进行自主飞行。

5.根据权利要求3所述的多旋翼无人机的室内目标视觉定位方法，其特征在于，所述步 骤S2中，机载计算机从飞行控制模块读取一次当前无人机的坐标信息，记为，同时读取来自双目视觉单元的图像数据，使用机器视觉算法检测图 像中目标物体的轮廓，并返回目标物体在双目摄像头中的轮廓中心的像素坐标；根据摄像 头量测模型进行像素坐标信息至相对角度信息的换算，分别得到目标物体相对双目摄像头 的两组方向角-俯仰角信息，其中表示组的方向角，表示组的俯仰角；表示组的方向角，表示组 的俯仰角。