CN110446159B - 一种室内无人机精确定位与自主导航的系统及方法 - Google Patents

一种室内无人机精确定位与自主导航的系统及方法 Download PDF

Info

Publication number
CN110446159B
CN110446159B CN201910737888.XA CN201910737888A CN110446159B CN 110446159 B CN110446159 B CN 110446159B CN 201910737888 A CN201910737888 A CN 201910737888A CN 110446159 B CN110446159 B CN 110446159B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
module
uwb
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910737888.XA
Other languages
English (en)
Other versions
CN110446159A (zh
Inventor
高永彬
方志军
杨淑群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN201910737888.XA priority Critical patent/CN110446159B/zh
Publication of CN110446159A publication Critical patent/CN110446159A/zh
Application granted granted Critical
Publication of CN110446159B publication Critical patent/CN110446159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings

Abstract

本发明提供了一种室内无人机精确定位与自主导航的系统，包括无人机；用于捕捉地面二维码标签获得无人机位置信息的双目相机模块；用于捕捉无人机上的定位标签获得无人机位置信息的超宽带UWB模块；用于捕捉无人机上的标记点获得无人机位置信息的外部全局高清相机模块；用于融合以上三者获得的无人机位置信息，预测无人机姿态和位置并进行实时更新的扩展卡尔曼滤波模块；用于对无人机即时定位的即时定位模块；用于提供自主导航功能的导航模块；用于计算并存储无人机位置信息的计算存储模块；用于提供人机交互功能，设置无人机的飞行航线的人机交互模块。本发明还提供了室内无人机精确定位与自主导航的方法。本发明定位精确，成本低，性能可靠。

Description

一种室内无人机精确定位与自主导航的系统及方法
技术领域
本发明涉及无人飞行器技术领域，更具体地，涉及一种基于UWB(Ultra Wideband，超宽带)与视觉传感器融合的室内无人机精确定位与自主导航的系统及方法。
背景技术
室外无人机定位导航往往依赖差分GPS技术，而室内GPS信号较弱，无法满足无人机实时定位导航的需求。
目前，关于室内定位有多种解决方案，例如WIFI定位、超声波定位、蓝牙定位、地磁定位、卫星定位、射频识别、红外线定位、Zigbee定位等。但是上述解决方案由于技术局限以及成本太高的问题，尚未有像GNSS(Global Navigation Satellite System，全球卫星导航系统)定位技术一样让不同用户满意的成熟产品。这些现有技术要么定位精度无法满足要求，要么成本太高，难以推广。
因此，室内定位技术已成为在人员管理、资产管理、公共安全、突发事件处理等方面的研究热点。
发明内容
本发明要解决的技术问题是如何以较低的成本实现室内无人机的实时精确定位与自主导航。
为了解决上述技术问题，本发明的技术方案是提供一种室内无人机精确定位与自主导航的系统，其特征在于：包括
无人机，用于实现无人机本身的正常飞行；所述无人机上设有超宽带UWB定位标签和标记点；
双目相机模块，用于通过捕捉地面二维码标签获得所述无人机位置信息；
UWB模块，用于通过捕捉所述无人机上的所述UWB定位标签获得所述无人机位置信息；
外部全局高清相机模块，用于通过多个全局高清相机捕捉所述无人机上的所述标记点获得所述无人机位置信息；
扩展卡尔曼滤波模块，用于融合所述双目相机模块、所述UWB模块以及所述外部全局高清相机模块获得的所述无人机位置信息，预测所述无人机姿态和位置，对所述无人机姿态和位置进行实时更新；
即时定位模块，用于对所述无人机进行即时定位；
导航模块，用于提供所述无人机的自主导航功能；
计算存储模块，用于计算并存储所述UWB模块与所述外部全局高清相机模块提供的所述无人机位置信息；
人机交互模块，用于提供人机交互功能，设置所述无人机的飞行航线。
优选地，所述无人机包括微型电脑主机mini PC模块，所述扩展卡尔曼滤波模块与所述mini PC模块、所述计算存储模块相连，所述计算存储模块与所述UWB模块、所述外部全局高清相机模块相连；所述mini PC模块与所述双目相机模块、即时定位模块、人机交互模块、导航模块相连。
优选地，所述双目相机模块设于所述无人机的底部，并且所述双目相机模块的摄像头的视场方向垂直朝下保持固定；所述双目相机模块的摄像头下方设有地面标记点的二维码标签，所述二维码标签携带自身的世界坐标信息。
优选地，所述外部全局高清相机模块由至少3个全局高清相机呈环状分布组成，所述全局高清相机固定在离地面设定高度且朝向环的中心点。
优选地，所述双目相机模块获得所述无人机的位置信息并送入所述mini PC模块，所述UWB模块以及所述外部全局高清相机模块分别获得所述无人机的位置信息并均送入所述计算存储模块，所述扩展卡尔曼滤波模块融合所述双目相机模块、所述UWB模块以及所述外部全局高清相机模块的位置信息，并预测所述无人机姿态和位置，同时对所述无人机姿态和位置进行实时更新；
所述人机交互模块通过手动设置无人机的飞行路线，并将无人机所需经过的路径信息通过数据通信传至所述mini PC模块，所述mini PC模块根据所述路径信息设定目标位置，并根据所述目标位置和无人机的当前姿态及位置实时调整无人机的姿态，使无人机不断向所述目标位置靠近并最终到达所述目标位置，实现无人机的自主导航。
本发明还提供了一种室内无人机精确定位与自主导航的方法，其特征在于：采用上述的室内无人机精确定位与自主导航的系统，所述方法包括如下步骤：
步骤S1：双目相机模块捕捉预先布置在地面的二维码标签，根据所述双目相机模块获取得到的二维码标签的图像获取二维码标志物的位置信息、姿态信息以及编码信息，由所述位置信息、姿态信息以及编码信息得到无人机相对于所述二维码标志物的位置信息；
步骤S2：无人机上贴有UWB定位标签，UWB模块捕捉无人机上的所述UWB定位标签，通过计算所述UWB定位标签到每个UWB模块定位基站的距离，计算无人机的位置信息；
步骤S3：无人机上贴有多个标记点，外部全局高清相机模块通过捕捉无人机上的所述标记点，利用同一时间不同全局高清相机图片上的标记点，采用对极几何与三角测量计算无人机的位置；
步骤S4：由扩展卡尔曼滤波模块融合所述双目相机模块、所述UWB模块、所述外部全局高清相机模块获得的无人机的位置信息，对无人机的姿态和位置进行实时更新；
步骤S5：通过人机交互模块输入无人机的路径信息，mini PC模块根据所述路径信息设定目标位置，根据所述目标位置和无人机的当前姿态及位置实时调整无人机的姿态，使无人机不断向所述目标位置靠近并最终到达所述目标位置。
优选地，所述步骤S1具体包括以下子步骤：
S101：将所述二维码标志物的图像转化为单通道灰度图；
S102：根据所述单通道灰度图设定一个固定阀值，将所述单通道灰度图转化为二值图；
S103：对所述二值图进行轮廓检测，遍历所述二值图中所有边个数为4的多边形，并剔除面积小于预设阀值的多边形，然后将剩余的边个数为4的多边形进行正交投影，得到标准的正方形图像；
S104：按照预设的编码信息规则提取所述正方形图像中的二进制编码信息和角点信息；
S105：根据提取的二进制编码信息和角点信息得到无人机相对于二维码标志物的位置信息。
优选地，所述步骤S2具体包括以下子步骤：
S201：UWB基站布置；
首先根据现场状况布放M个超宽带微雷达信号源作为无人机飞行定位参照点，后台计算机以M个超宽带微雷达信号源为原点分别建立空间坐标系；M为正整数；
S202：信号源组网；
各个超宽带微雷达信号源发出的UWB信号组成信号网，实现超宽带微雷达信号源与无人机之间的无缝通信，确保无人机定位的精确性；
S203：无人机上的UWB定位标签以UWB脉冲重复不间断发送数据帧；
S204：所述UWB定位标签发送的UWB脉冲串被M个UWB基站接收；
S205：每个UWB定位基站测量每个UWB定位标签的数据帧到达接收器天线的时间；
S206：定位引擎参考所述UWB定位标签发送过来的校准数据，确定所述UWB定位标签达到不同UWB基站之间的时间差，并利用三点定位技术来计算所述UWB定位标签位置。
优选地，所述步骤S4具体包括以下子步骤：
S401：设置扩展卡尔曼滤波模块的状态转移方程；
S402：所述扩展卡尔曼滤波模块针对双目视觉模块，通过前一时刻的状态值预测后一时刻的状态值；
S403：用UWB定位模块、外部全局高清相机模块的测量值与S402中预测的状态值估计出最优值，并更新扩展卡尔曼增益常数；
S404：重复步骤S402和S403。
优选地，所述步骤S5中，通过人机交互模块预设的任务航点信息生成航线跟踪轨迹，并对所述航线跟踪轨迹进行离散处理，得到N个期望航点作为目标位置，N为正整数。
相比现有技术，本发明提供的室内无人机精确定位与自主导航的系统及方法具有如下有益效果：
(1)精确度高：对多种传感器获取的数据信息进行融合，根据融合后的结果来进行定位和导航，相较于采用单一传感器的定位和导航，其精确度更高；
(2)通过对地面特定位置上布置的二维码标志物进行识别，利用二维码的编码技术获取地标信息，由于二维编码能够提供丰富的地标信息且具有加密能力，能够为无人机提供多元化信息指引，进而扩展飞行任务的多样性；
(3)通过多个UWB信号源组网，能够实现UWB信号源与无人机之间的无缝通信，从而实现精确定位，定位精度达到5-10cm。
(4)结构简单，性能可靠，成本较低。
附图说明
图1为本发明的一个实施例提供的室内无人机精确定位与自主导航的系统的结构框图；
图2为本发明的一个实施例提供的室内无人机精确定位与自主导航的系统的数据流图；
图3为双目相机获得无人机位置信息算法的流程图；
图4为UWB模块获得无人机位置信息算法的流程图；
图5为全局摄像机安装布置示意图；
图6为全局摄像机获得无人机位置信息算法地流程图；
图7为扩展卡尔曼滤波融合示意图；
图8为无人机室内精确定位输出结果效果图。
具体实施方式
本实施例致力于提供一种基于UWB(Ultra Wideband，超宽带)与视觉传感器融合的室内无人机精确定位与自主导航的系统。UWB与视觉传感器融合是利用计算机技术将各个传感器的多源信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计而进行的信息处理过程。
通过将UWB与视觉传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。在这个过程中，要充分地利用多源数据进行合理支配与使用，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。
图1为本实施例提供的室内无人机精确定位与自主导航的系统的结构框图，所述的室内无人机精确定位与自主导航的系统包括
无人机，用于实现无人机本身的正常飞行；
双目相机模块，通过捕捉地面二维码获得无人机位置信息；
UWB模块，通过捕捉无人机上的UWB定位标签获得无人机位置信息；
外部全局高清相机模块，通过捕捉无人机上多个标记点获得无人机位置信息；
扩展卡尔曼滤波模块，融合双目相机模块、UWB模块以及外部全局高清相机获得的无人机位置信息，预测无人机姿态和位置，对无人机姿态和位置进行实时更新；
即时定位模块，用于无人机即时定位；
导航模块，用于提供无人机的自主导航功能；
计算存储模块，用于计算并存储UWB模块与外部全局高清相机模块提供的无人机位置信息；
人机交互模块，用于提供人机交互功能，设置无人机的飞行航线。
其中，无人机由mini PC(微型电脑主机)模块、主控模块、无线模块、电源模块、电机及驱动模块等构成，mini PC模块与主控模块、无线模块、电源模块、电机及驱动模块等相连。
扩展卡尔曼滤波模块与mini PC模块、计算存储模块相连，计算存储模块与UWB模块、外部全局高清相机模块相连；mini PC模块与无人机其他各模块、双目相机模块、即时定位模块、人机交互模块、导航模块相连。
如图2所示，双目相机模块2位于无人机1的底部，并且双目相机模块2的摄像头的视场方向垂直朝下保持固定。地面3D标记点的二维码标签3布置于地面，并且携带自身的世界坐标信息；外部全局高清相机模块4安置在摄像头支架上，或安置在墙壁上或者悬挂在建筑物上。
系统工作时的数据流按照图2中所示进行传输。双目相机模块2获得的无人机1的位置信息直接送入mini PC模块，UWB模块5以及外部全局高清相机模块4分别获得的无人机位置信息均送入计算存储模块6，再由扩展卡尔曼滤波模块融合三者获得的信息，预测无人机姿态和位置，对无人机姿态和位置进行实时更新；人机交互模块通过手动设置无人机飞行路线，将无人机所需经过的路径通过数据通信，传至mini PC模块，实现无人机的自主导航。
本实施例提供的室内无人机精确定位与自主导航的系统工作时的步骤具体如下：
步骤S1：双目相机模块2捕捉预先布置在地面的二维码标签3，根据双目相机模块2获取得到的二维码标签的图像获取二维码标志物的位置信息、姿态信息以及编码信息，由所述位置信息、姿态信息以及编码信息得到无人机相对于所述二维码标志物的位置信息；
步骤S2：无人机1贴有UWB定位标签，UWB模块捕捉无人机1上的UWB定位标签，通过计算UWB定位标签到每个UWB模块定位基站的距离，计算无人机1的位置信息；
步骤S3：外部全局高清相机模块4通过捕捉无人机1上的标记点，利用同一时间不同全局高清相机图片上的标记点，采用对极几何与三角测量计算无人机1的位置；
步骤S4：UWB模块5与外部全局高清相机模块4获得的无人机1的位置信息由计算存储模块6送到mini PC模块，再由扩展卡尔曼滤波模块融合双目相机模块2、UWB模块5、外部全局高清相机模块4获得的无人机1的位置信息，对无人机1的姿态和位置进行实时更新；
步骤S5：通过人机交互模块输入无人机1的路径信息，mini PC模块依次读取存储的目标位置，根据目标位置和无人机1的当前姿态及位置实时调整无人机1的姿态，使无人机1不断向目标位置靠近并最终到达目标位置。
设系统的状态量为
Figure BDA0002162816330000081
其中
Figure BDA0002162816330000082
分别代表双目相机模块、UWB模块、外部全局高清摄相机模块的状态量。
双目相机模块的状态量(作为核心状态量)，
Figure BDA0002162816330000091
包括双目相机的位置
Figure BDA0002162816330000092
双目相机的姿态
Figure BDA0002162816330000093
双目相机模块的状态量为7维的列向量。
UWB模块的状态量，
Figure BDA0002162816330000094
包括UWB捕捉到UWB定位标签的位置
Figure BDA0002162816330000095
UWB模块的状态量为3维列向量。
外部全局高清摄相机模块的状态量，
Figure BDA0002162816330000096
包括全局高清摄像机捕捉到的无人机的位置
Figure BDA0002162816330000097
外部全局高清摄相机模块的状态量为3维的列向量。
如图3所示，步骤S1(双目相机模块获得无人机位置信息)中具体包括以下子步骤：
S101：将所述二维码标志物的图像转化为单通道灰度图；
S102：根据单通道灰度图设定一个固定阀值，将所述单通道灰度图转化为二值图；
S103：对所述二值图进行轮廓检测，遍历所述二值图中所有边个数为4的多边形，并剔除面积小于预设阀值的多边形，然后将剩余的边个数为4的多边形进行正交投影，得到标准的正方形图像；
S104：按照预设的编码信息规则提取所述正方形图像中的二进制编码信息和角点信息；
S105：根据提取的二进制编码信息和角点信息得到无人机相对于二维码标志物的位置信息。
所述双目相机模块获得无人机位置信息的具体算法如下：
摄像头采集到局部视觉标记点后，通过已知的空间3D点与图像2D点对应的点对，利用PnP(Perspective-n-Point)算法，来计算相机(无人机)位姿。
从世界坐标系到相机坐标系的转换，需要矩阵[R|t]，其中R是旋转矩阵，t是位移向量。如果世界坐标系为P，相机坐标系对应坐标为X′，那么X′＝[R|t]*P。从相机坐标系到理想屏幕下像素坐标系的变换就需要内参数矩阵K。那么理想屏幕下像素坐标系L＝K*[R|t]*P。定位，也就求解相机在世界坐标系下旋转与平移了多少的问题，即求解[R|t]。
利用已知的标记点的世界坐标P，然后在摄像头捕获的帧里获得标记点对应点在理想屏幕下像素坐标L(已知)，通过求解线性方程组得到[R|t]的初值，再利用非线性最小二乘法迭代求得最优变换矩阵[R|t]。
考虑某个标记点P，它的齐次坐标为P＝(X Y Z 1)′。在图像I1中，标记点P投影到特征点x1＝(u1 v1 1)。此时相机的位姿R，t是未知的。定义增广矩阵[R|t]为一个3*4的矩阵，包含了旋转与平移信息。我们把它的展开形式列写如下：
Figure BDA0002162816330000101
利用机载双目摄像头，可以通过三角测量获得标记点的尺度信息s，标记点世界坐标(X Y Z 1)已知，与其对应的归一化平面上的点(u1 v1 1)已知。[R|t]为3*4矩阵，共有12维，因此通过六对匹配点，来实现矩阵[R|t]的线性求解。当匹配点大于六对时，使用SVD的方法对超定方程求最小二乘解。
如图4所示，步骤S2(UWB模块获得无人机位置信息)中具体包括以下子步骤：
S201：UWB基站布置；首先根据现场状况在合适位置布放4个超宽带微雷达信号源作为无人机飞行定位参照点，后台计算机以4个超宽带微雷达信号源为原点分别建立空间坐标系；
S202：信号源组网；各个超宽带微雷达信号源发出的UWB信号组成信号网，实现超宽带微雷达信号源与无人机之间的无缝通信，确保无人机定位的精确性；
S203：无人机上的UWB定位标签以UWB脉冲重复不间断发送数据帧；
S204：UWB定位标签发送的UWB脉冲串被四个UWB基站接收；
S205：每个UWB定位基站测量每个UWB定位标签的数据帧到达接收器天线的时间；
S206：定位引擎参考UWB定位标签发送过来的校准数据，确定UWB定位标签达到不同UWB基站之间的时间差，并利用三点定位技术及优化算法来计算UWB定位标签位置；多基站定位采用TDOA(到达时间差)算法。
如图5所示，步骤S3(外部全局高清相机模块获得无人机位置信息)中，外部全局高清相机至少由3个摄像头组成，呈环状分布，摄像头固定在离地面一定高度，朝向环的中心点，用于将采集的无人机图像数据传输到计算存储模块中，以便精确定位可视区域内的标记点。所述可视区域为最少两个全局高清相机可观测到的共同区域，并在机身上设置至少三个容易被摄像头捕捉到的标记点；通过多目视觉坐标测量算法获取所述无人机上标记点的位置，并传输到计算存储模块中；所述计算存储模块通过四元数法解算出无人机的欧拉角和三维坐标，从而得到无人机的位置和姿态信息；
所述外部全局高清相机模块获得无人机位置信息的具体算法如下：
利用外部全局高清相机中任意两个摄像头，两两配对，采用两个摄像头三角测量的方式计算无人机的位姿，并进行优化。
三角测量在三角学与几何学上是一借由测量目标点与固定基准线的已知端点的角度，测量目标距离的方法。而不是直接测量特定位置的距离(三边量测法)。当已知一个边长及两个观测角度时，观测目标点可以被标定为一个三角形的第三个点。
从世界坐标系到相机坐标系的转换，需要经过[R|t]和相机内参K，即L＝K*[R|t]*P，P为世界坐标系下的坐标，L理想屏幕下像素坐标。
如图5所示，无人机被6个外部全局高清相机模块的摄像机捕捉到，本实施例中任选其中两个摄像机(设选择第i个和第j个摄像机，i、j为正整数)进行计算。结合图6，已知固定相机的位姿，即[R|t]，利用三角测量可以计算出无人机的尺度s，如式(2)：
sipi＝SjRpj+t (2)
其中pi为像素p在相机i下的像素坐标，pj为像素p在相机j下的像素坐标。si为pi在相机i下的尺度(即深度)，sj为pj在相机j下的尺度。
利用尺度s和相机的[R|t]，将无人机由图片上的坐标还原到世界坐标系中，从而实现对无人机的定位。
本实施例中，6个相机，两两配对，每对均对无人机进行定位，6个相机有15种配对方式，故有15组解。利用最小二乘法，求取最优的解，从而定位无人机。
如图7所示，使用扩展卡尔曼滤波模块，融合相应模块获取的数据信息计算，具体包括将双目视觉模块、UWB定位模块以及外部全局高清相机模块获取的无人机位置信息进行融合。以双目视觉模块测得的无人机位置信息为核心状态，利用UWB定位模块与外部全局高清相机模块获得的无人机位置信息对双目视觉模块获得的无人机位置信息进行更新，具体步骤为：
S401：设置扩展卡尔曼滤波模块的状态转移方程；
S402：扩展卡尔曼滤波模块对双目视觉模块，通过h-1时刻的状态预测h时刻的状态；
S403：用UWB定位模块、外部全局高清相机模块的测量值与S402中预测的状态值估计出最优值，并更新扩展卡尔曼增益常数；
S404：重复步骤S402和S403。
其中，更新扩展卡尔曼增益常数的公式如下：
Figure BDA0002162816330000131
Figure BDA0002162816330000132
其中，Kk为扩展卡尔曼增益，
Figure BDA0002162816330000133
为更新后的无人机位置状态；
Figure BDA0002162816330000134
为预测到的无人机位置状态，即双目相机模块获得的无人机位置信息；zk为观测量，即UWB模块与外部全局高清相机模块分别得到的无人机位置信息；
Figure BDA0002162816330000135
为观测方程，即双目相机模块通过获得的无人机位置信息预测到UWB模块与外部全局摄像机模块应该会得到的无人机位置信息，
Figure BDA0002162816330000136
为扩展卡尔曼滤波模块预测到的无人机位置状态的协方差，H为观测方程
Figure BDA0002162816330000137
的雅可比矩阵，Qk为观测噪声。
通过人机交互模块预设的任务航点信息生成航线跟踪轨迹，并对所述航线跟踪轨迹进行离散处理，得到N个期望航点，N为正整数；根据目标位置和无人机的当前姿态及位置实时调整无人机的姿态，使无人机不断向目标位置靠近，并最终到达目标位置。
本发明在多个大型室内场景得到应用，能够实现精确的无人机自主定位导航。如图8所示(A为测试数据，B为效果图)，测试时输入UWB以及视频数据，输出无人机的6自由度位姿，其中角度采用四元数表示，并采用Rviz显示工具实时显示无人机运动路径。通过激光测距仪以及量角器的真实测量，无人机定位精度位置在1cm以内。目前最成熟的UWB单传感器定位精度误差在10-20cm之间，我们的定位精度在其10倍以上。可以实现无人机在室内的精确定位与自主导航。
以上所述，仅为本发明的较佳实施例，并非对本发明任何形式上和实质上的限制，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还将可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。凡熟悉本专业的技术人员，在不脱离本发明的精神和范围的情况下，当可利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对上述实施例所作的任何等同变化的更动、修饰与演变，均仍属于本发明的技术方案的范围内。

Claims (10)

1.一种室内无人机精确定位与自主导航的系统，其特征在于：包括
无人机，用于实现无人机本身的正常飞行；所述无人机上设有超宽带UWB定位标签和标记点；
双目相机模块，用于通过捕捉地面二维码标签获得所述无人机位置信息；
UWB模块，用于通过捕捉所述无人机上的所述UWB定位标签获得所述无人机位置信息；
外部全局高清相机模块，用于通过多个全局高清相机捕捉所述无人机上的所述标记点获得所述无人机位置信息；
扩展卡尔曼滤波模块，用于融合所述双目相机模块、所述UWB模块以及所述外部全局高清相机模块获得的所述无人机位置信息，预测所述无人机姿态和位置，对所述无人机姿态和位置进行实时更新；
即时定位模块，用于对所述无人机进行即时定位；
导航模块，用于提供所述无人机的自主导航功能；
计算存储模块，用于计算并存储所述UWB模块与所述外部全局高清相机模块提供的所述无人机位置信息；
人机交互模块，用于提供人机交互功能，设置所述无人机的飞行航线。
2.如权利要求1所述的一种室内无人机精确定位与自主导航的系统，其特征在于：所述无人机包括微型电脑主机mini PC模块，所述扩展卡尔曼滤波模块与所述mini PC模块、所述计算存储模块相连，所述计算存储模块与所述UWB模块、所述外部全局高清相机模块相连；所述mini PC模块与所述双目相机模块、即时定位模块、人机交互模块、导航模块相连。
3.如权利要求1或2所述的一种室内无人机精确定位与自主导航的系统，其特征在于：所述双目相机模块设于所述无人机的底部，并且所述双目相机模块的摄像头的视场方向垂直朝下保持固定；所述双目相机模块的摄像头下方设有地面标记点的二维码标签，所述二维码标签携带自身的世界坐标信息。
4.如权利要求1或2所述的一种室内无人机精确定位与自主导航的系统，其特征在于：所述外部全局高清相机模块由至少3个全局高清相机呈环状分布组成，所述全局高清相机固定在离地面设定高度且朝向环的中心点。
5.如权利要求2所述的一种室内无人机精确定位与自主导航的系统，其特征在于：所述双目相机模块获得所述无人机的位置信息并送入所述mini PC模块，所述UWB模块以及所述外部全局高清相机模块分别获得所述无人机的位置信息并均送入所述计算存储模块，所述扩展卡尔曼滤波模块融合所述双目相机模块、所述UWB模块以及所述外部全局高清相机模块的位置信息，并预测所述无人机姿态和位置，同时对所述无人机姿态和位置进行实时更新；
所述人机交互模块通过手动设置无人机的飞行路线，并将无人机所需经过的路径信息通过数据通信传至所述mini PC模块，所述mini PC模块根据所述路径信息设定目标位置，并根据所述目标位置和无人机的当前姿态及位置实时调整无人机的姿态，使无人机不断向所述目标位置靠近并最终到达所述目标位置，实现无人机的自主导航。
6.一种室内无人机精确定位与自主导航的方法，其特征在于：采用如权利要求1~5任一项所述的室内无人机精确定位与自主导航的系统，所述方法包括如下步骤：
步骤S1：双目相机模块捕捉预先布置在地面的二维码标签，根据所述双目相机模块获取得到的二维码标签的图像获取二维码标志物的位置信息、姿态信息以及编码信息，由所述位置信息、姿态信息以及编码信息得到无人机相对于所述二维码标志物的位置信息；
步骤S2：无人机上贴有UWB定位标签，UWB模块捕捉无人机上的所述UWB定位标签，通过计算所述UWB定位标签到每个UWB模块定位基站的距离，计算无人机的位置信息；
步骤S3：无人机上贴有多个标记点，外部全局高清相机模块通过捕捉无人机上的所述标记点，利用同一时间不同全局高清相机图片上的标记点，采用对极几何与三角测量计算无人机的位置；
步骤S4：由扩展卡尔曼滤波模块融合所述双目相机模块、所述UWB模块、所述外部全局高清相机模块获得的无人机的位置信息，对无人机的姿态和位置进行实时更新；
步骤S5：通过人机交互模块输入无人机的路径信息，mini PC模块根据所述路径信息设定目标位置，根据所述目标位置和无人机的当前姿态及位置实时调整无人机的姿态，使无人机不断向所述目标位置靠近并最终到达所述目标位置。
7.如权利要求6所述的一种室内无人机精确定位与自主导航的方法，其特征在于，所述步骤S1具体包括以下子步骤：
S101：将所述二维码标志物的图像转化为单通道灰度图；
S102：根据所述单通道灰度图设定一个固定阀值，将所述单通道灰度图转化为二值图；
S103：对所述二值图进行轮廓检测，遍历所述二值图中所有边个数为4的多边形，并剔除面积小于预设阀值的多边形，然后将剩余的边个数为4的多边形进行正交投影，得到标准的正方形图像；
S104：按照预设的编码信息规则提取所述正方形图像中的二进制编码信息和角点信息；
S105：根据提取的二进制编码信息和角点信息得到无人机相对于二维码标志物的位置信息。
8.如权利要求6所述的一种室内无人机精确定位与自主导航的方法，其特征在于：所述步骤S2具体包括以下子步骤：
S201：UWB基站布置；
首先根据现场状况布放M个超宽带微雷达信号源作为无人机飞行定位参照点，后台计算机以M个超宽带微雷达信号源为原点分别建立空间坐标系；M为正整数；
S202：信号源组网；
各个超宽带微雷达信号源发出的UWB信号组成信号网，实现超宽带微雷达信号源与无人机之间的无缝通信，确保无人机定位的精确性；
S203：无人机上的UWB定位标签以UWB脉冲重复不间断发送数据帧；
S204：所述UWB定位标签发送的UWB脉冲串被M个UWB基站接收；
S205：每个UWB定位基站测量每个UWB定位标签的数据帧到达接收器天线的时间；
S206：定位引擎参考所述UWB定位标签发送过来的校准数据，确定所述UWB定位标签达到不同UWB基站之间的时间差，并利用三点定位技术来计算所述UWB定位标签位置。
9.如权利要求6所述的一种室内无人机精确定位与自主导航的方法，其特征在于：所述步骤S4具体包括以下子步骤：
S401：设置扩展卡尔曼滤波模块的状态转移方程；
S402：所述扩展卡尔曼滤波模块针对双目视觉模块，通过前一时刻的状态值预测后一时刻的状态值；
S403：用UWB定位模块、外部全局高清相机模块的测量值与S402中预测的状态值估计出最优值，并更新扩展卡尔曼增益常数；
S404：重复步骤S402和S403。
10.如权利要求6所述的一种室内无人机精确定位与自主导航的方法，其特征在于：所述步骤S5中，通过人机交互模块预设的任务航点信息生成航线跟踪轨迹，并对所述航线跟踪轨迹进行离散处理，得到N个期望航点作为目标位置，N为正整数。
CN201910737888.XA 2019-08-12 2019-08-12 一种室内无人机精确定位与自主导航的系统及方法 Active CN110446159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910737888.XA CN110446159B (zh) 2019-08-12 2019-08-12 一种室内无人机精确定位与自主导航的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910737888.XA CN110446159B (zh) 2019-08-12 2019-08-12 一种室内无人机精确定位与自主导航的系统及方法

Publications (2)

Publication Number Publication Date
CN110446159A CN110446159A (zh) 2019-11-12
CN110446159B true CN110446159B (zh) 2020-11-27

Family

ID=68434592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910737888.XA Active CN110446159B (zh) 2019-08-12 2019-08-12 一种室内无人机精确定位与自主导航的系统及方法

Country Status (1)

Country Link
CN (1) CN110446159B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942474B (zh) * 2019-11-27 2023-06-13 炬星科技（深圳）有限公司 机器人目标跟踪方法、设备及存储介质
CN111142559A (zh) * 2019-12-24 2020-05-12 深圳市优必选科技股份有限公司 一种飞行器自主导航方法、系统及飞行器
CN113124850B (zh) * 2019-12-30 2023-07-28 北京极智嘉科技股份有限公司 机器人、地图生成方法、电子设备及存储介质
CN111121825B (zh) * 2020-01-08 2022-02-08 武汉大学 一种行人惯性导航系统中初始导航状态的确定方法及装置
CN111307291B (zh) * 2020-03-02 2021-04-20 武汉大学 基于无人机的地表温度异常检测和定位方法、装置及系统
CN111301701B (zh) * 2020-03-07 2023-09-12 南方电网储能股份有限公司信息通信分公司 一种无人机充电系统、充电站及其充电定位方法
CN111196172B (zh) * 2020-03-07 2023-06-13 广东雅晟通信技术有限公司 基于路灯的旋翼无人机充电系统及其充电方法
CN111413970A (zh) * 2020-03-18 2020-07-14 天津大学 超宽带与视觉融合的室内机器人定位与自主导航方法
CN111540013B (zh) * 2020-04-22 2023-08-22 深圳市启灵图像科技有限公司 一种基于多相机视觉slam的室内AGV小车定位方法
CN111601037A (zh) * 2020-05-27 2020-08-28 西安闻泰电子科技有限公司 一种跟拍系统、方法、装置及存储介质
CN111766876B (zh) * 2020-06-19 2023-07-21 上海工程技术大学 一种实现平板车转弯路径智能规划的方法
CN111812584A (zh) * 2020-06-22 2020-10-23 中国科学院重庆绿色智能技术研究院 一种无人机定位系统和定位方法
CN112229392B (zh) * 2020-09-25 2022-11-18 福建华电可门发电有限公司 一种高冗余的室内煤场导航方法及系统
CN112256032A (zh) * 2020-11-02 2021-01-22 中国计量大学 Agv定位系统、控制方法、设备及存储介质
CN112648975A (zh) * 2020-11-26 2021-04-13 武汉珈鹰智能科技有限公司 一种基于无人机的地下洞室缺陷检测方法
CN112505065B (zh) * 2020-12-28 2022-11-04 上海工程技术大学 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN112816939B (zh) * 2020-12-31 2023-08-01 广东电网有限责任公司 一种基于物联网的变电站无人机定位方法
CN112954600B (zh) * 2021-04-07 2022-10-25 中南大学 一种针对多无人机停泊的定位方法
CN113221253B (zh) * 2021-06-01 2023-02-07 山东贝特建筑项目管理咨询有限公司 一种用于锚栓图像检测的无人机控制方法和系统
CN114812513A (zh) * 2022-05-10 2022-07-29 北京理工大学 一种基于红外信标的无人机定位系统及方法
CN116953610B (zh) * 2023-09-21 2023-12-26 国网浙江省电力有限公司信息通信分公司 一种无人机定位系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104777847A (zh) * 2014-01-13 2015-07-15 中南大学 基于机器视觉和超宽带定位技术的无人机目标追踪系统
WO2016033796A1 (en) * 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Context-based flight mode selection
CN106647814B (zh) * 2016-12-01 2019-08-13 华中科技大学 一种基于二维码地标识别的无人机视觉辅助定位与飞控系统及方法
CN107144281B (zh) * 2017-06-30 2023-09-12 一飞智控(天津)科技有限公司 基于合作目标和单目视觉的无人机室内定位系统及定位方法
CN107478220B (zh) * 2017-07-26 2021-01-15 中国科学院深圳先进技术研究院 无人机室内导航方法、装置、无人机及存储介质
CN108225302B (zh) * 2017-12-27 2020-03-17 中国矿业大学 一种石化工厂巡检机器人定位系统和方法

Also Published As

Publication number Publication date
CN110446159A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110446159B (zh) 一种室内无人机精确定位与自主导航的系统及方法
US11218689B2 (en) Methods and systems for selective sensor fusion
CN109579843B (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN109029417B (zh) 基于混合视觉里程计和多尺度地图的无人机slam方法
US10599149B2 (en) Salient feature based vehicle positioning
Balamurugan et al. Survey on UAV navigation in GPS denied environments
CN106017463B (zh) 一种基于定位传感装置的飞行器定位方法
CN105492985B (zh) 一种用于在环境内控制可移动物体的系统及方法
US11726501B2 (en) System and method for perceptive navigation of automated vehicles
CN106370160A (zh) 一种机器人室内定位系统和方法
Hirose et al. Implementation of UAV localization methods for a mobile post-earthquake monitoring system
US20230206491A1 (en) Information processing device, mobile device, information processing system, method, and program
CN110309883A (zh) 一种基于视觉slam的无人机自主定位方法
Jensen et al. Laser range imaging using mobile robots: From pose estimation to 3D-models
Chen et al. Decimeter-accuracy positioning for drones using two-stage trilateration in a GPS-denied environment
Lin et al. Drift-free visual slam for mobile robot localization by integrating uwb technology
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图系统和方法
Jingjing et al. Research on autonomous positioning method of UAV based on binocular vision
Troll et al. Indoor Localization of Quadcopters in Industrial Environment
Xu et al. Collaborative Exploration and Mapping with Multimodal LiDAR Sensors
Liu et al. A Review of Sensing Technologies for Indoor Autonomous Mobile Robots
Yin et al. Research on indoor multipoint data acquisition with a micro UAV
Morris et al. CityFlyer: Progress toward autonomous MAV navigation and 3D mapping
Tardif et al. Vision-aided inertial navigation for power line inspection
Canh et al. Multisensor data fusion for reliable obstacle avoidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant