CN116778360B - 一种面向扑翼飞行机器人的地面目标定位方法及装置 - Google Patents

一种面向扑翼飞行机器人的地面目标定位方法及装置 Download PDF

Info

Publication number
CN116778360B
CN116778360B CN202310682584.4A CN202310682584A CN116778360B CN 116778360 B CN116778360 B CN 116778360B CN 202310682584 A CN202310682584 A CN 202310682584A CN 116778360 B CN116778360 B CN 116778360B
Authority
CN
China
Prior art keywords
target
sensor data
data
shooting
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310682584.4A
Other languages
English (en)
Other versions
CN116778360A (zh
Inventor
付强
贺威
刘胜南
吴晓阳
王久斌
何修宇
黄海丰
邹尧
刘志杰
黄鸣阳
李擎
张辉
张春华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202310682584.4A priority Critical patent/CN116778360B/zh
Publication of CN116778360A publication Critical patent/CN116778360A/zh
Application granted granted Critical
Publication of CN116778360B publication Critical patent/CN116778360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及无人机视觉技术领域，特别是指一种面向扑翼飞行机器人的地面目标定位方法及装置。通过长短焦组合相机，对周围环境进行拍摄，获得周围环境视频图像；通过机身传感器收集信息，获得多传感器数据；在周围环境视频图像中，发现跟踪目标，进行连续拍摄；基于多传感器数据，在拍摄中进行机械稳像，获得目标视频图像；根据目标视频图像以及多传感器数据进行计算，获得地面目标定位结果。本发明是一种高精度、低负载的适用于扑翼飞行机器人的地面目标定位方法。

Description

一种面向扑翼飞行机器人的地面目标定位方法及装置
技术领域
本发明涉及无人机视觉技术领域，特别是指一种面向扑翼飞行机器人的地面目标定位方法及装置。
背景技术
地面目标观测是无人机的主要功能之一，在军事和民用领域都发挥着非常重要的作用。目前，随着现代科技进步和现实任务的需求，人们希望实时获得地面探测目标的大地GPS坐标，为战场指挥决策、环境监测等提供重要信息。
与传统四旋翼和固定翼无人机相比，仿生扑翼飞行机器人飞行效率更高，灵活性也更好，适合执行更长时间、更远距离的飞行任务，其仿生的外形使其有更好的隐蔽性，在民用和军事领域有着非常广泛的应用前景。扑翼飞行机器人的特有功能优势决定了其发展的紧迫性，但是其飞行姿态多变、不同运动模式下扑动规律不同、负载能力较低等特点，使得扑翼飞行机器人地面目标定位系统的设计面临着诸多挑战。
相比于传统无人机，扑翼飞行机器人作为一种低负载能力的无人机，对负载有很严苛的要求。在进行面向扑翼飞行机器人的地面目标定位系统设计时，扑翼飞行机器人的负载能力是不可忽视的。此外，由于飞行方式的不同，扑翼飞行机器人在飞行过程存在大幅度周期性抖动。这种周期性的抖动对扑翼飞行机器人地面目标定位系统影响也是不可忽视的，因此传统无人机的地面目标定位系统无法直接应用于扑翼飞行机器人。
在现有技术中，缺乏一种高精度、低负载的适用于扑翼飞行机器人的地面目标定位方法。
发明内容
本发明实施例提供了一种面向扑翼飞行机器人的地面目标定位方法及装置。所述技术方案如下：
一方面，提供了一种面向扑翼飞行机器人的地面目标定位方法，该方法由电子设备实现，该方法包括：
通过长短焦组合相机，对周围环境进行拍摄，获得周围环境视频图像；
通过机身传感器收集信息，获得多传感器数据；
在所述周围环境视频图像中，发现跟踪目标，进行连续拍摄；基于所述多传感器数据，在拍摄中进行机械稳像，获得目标视频图像；
根据所述目标视频图像以及所述多传感器数据进行计算，获得地面目标定位结果。
其中，所述长短焦组合相机用于通过实时变焦，对跟踪目标进行连续拍摄；
所述长短焦组合相机由两个固定焦距的微型摄像头组成；所述微型摄像头包括微型长焦摄像头和微型短焦摄像头。
其中，所述多传感器数据包括气压计数据、经纬度数据、IMU数据和激光测距仪数据。
可选地，所述基于所述多传感器数据，在拍摄中进行机械稳像，获得目标视频图像，包括：
基于所述多传感器数据，通过预设的双闭环串级PID控制算法进行计算，得到PID控制结果；
在拍摄中，基于所述PID控制结果，通过无刷电机进行机械稳像，获得目标视频图像。
可选地，所述根据所述目标视频图像以及所述多传感器数据进行计算，获得地面目标定位结果，包括：
基于所述目标视频图像，通过预设的YOLOv5目标检测模型进行识别，获得目标平面坐标位置和视觉测量高度信息；
基于所述多传感器数据和所述视觉测量高度信息进行计算，得到目标基于飞行器的相对高度；
基于所述多传感器数据，获得目标经纬度信息；
根据所述目标平面坐标位置以及所述目标基于飞行器的相对高度进行计算，得到目标世界坐标位置；
基于所述目标世界坐标位置以及所述目标经纬度信息进行计算，得到目标定位初步结果；
对所述目标定位初步结果进行滤波操作，获得地面目标定位结果。
可选地，所述基于所述多传感器数据和所述视觉测量高度信息进行计算，得到目标基于飞行器的相对高度，包括：
基于所述多传感器数据，获得气压计数据；根据所述气压计数据进行计算，获得气压计高度信息；
基于所述多传感器数据，获得激光测距仪数据；根据所述激光测距仪数据进行计算，获得激光测距仪高度信息；
根据所述气压计高度信息、所述视觉测量高度信息和所述激光测距仪高度信息进行融合，获得目标基于飞行器的相对高度。
可选地，所述方法还包括：
应用所述方法的设备安装在飞行器的头部和腹部，总重量为230克。
另一方面，提供了一种面向扑翼飞行机器人的地面目标定位装置，该装置应用于一种面向扑翼飞行机器人的地面目标定位方法，该装置包括：
视频拍摄模块，用于通过长短焦组合相机，对周围环境进行拍摄，获得周围环境视频图像；
飞控数据采集模块，用于通过机身传感器收集信息，获得多传感器数据；
目标跟踪和稳像模块，用于在所述周围环境视频图像中，发现跟踪目标，进行连续拍摄；基于所述多传感器数据，在拍摄中进行机械稳像，获得目标视频图像；
目标定位模块，用于根据所述目标视频图像以及所述多传感器数据进行计算，获得地面目标定位结果。
其中，所述长短焦组合相机用于通过实时变焦，对跟踪目标进行连续拍摄；
所述长短焦组合相机由两个固定焦距的微型摄像头组成；所述微型摄像头包括微型长焦摄像头和微型短焦摄像头。
其中，所述多传感器数据包括气压计数据、经纬度数据、IMU数据和激光测距仪数据。
可选地，所述目标跟踪和稳像模块，进一步用于：
基于所述多传感器数据，通过预设的双闭环串级PID控制算法进行计算，得到PID控制结果；
在拍摄中，基于所述PID控制结果，通过无刷电机进行机械稳像，获得目标视频图像。
可选地，所述目标定位模块，进一步用于：
基于所述目标视频图像，通过预设的YOLOv5目标检测模型进行识别，获得目标平面坐标位置和视觉测量高度信息；
基于所述多传感器数据和所述视觉测量高度信息进行计算，得到目标基于飞行器的相对高度；
基于所述多传感器数据，获得目标经纬度信息；
根据所述目标平面坐标位置以及所述目标基于飞行器的相对高度进行计算，得到目标世界坐标位置；
基于所述目标世界坐标位置以及所述目标经纬度信息进行计算，得到目标定位初步结果；
对所述目标定位初步结果进行滤波操作，获得地面目标定位结果。
可选地，所述目标定位模块，进一步用于：
基于所述多传感器数据，获得气压计数据；根据所述气压计数据进行计算，获得气压计高度信息；
基于所述多传感器数据，获得激光测距仪数据；根据所述激光测距仪数据进行计算，获得激光测距仪高度信息；
根据所述气压计高度信息、所述视觉测量高度信息和所述激光测距仪高度信息进行融合，获得目标基于飞行器的相对高度。
可选地，所述装置还用于：
应用所述方法的设备安装在飞行器的头部和腹部，总重量为230克。
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种面向扑翼飞行机器人的地面目标定位方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种面向扑翼飞行机器人的地面目标定位方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明提出一种面向扑翼飞行机器人的地面目标定位方法，通过双闭环串级PID控制算法对扑翼飞行机器人的飞行拍摄进行机械调节，消除了拍摄过程中出现的大幅度周期性抖动；通过设计适用于扑翼飞行机器人的相对高度测量方法，更加准确地获得经纬度信息，实现地面目标的精准定位。本发明设备负载小，适用于扑翼飞行机器人负载能力差的技术特点，传统的无人机地面目标定位设备是无法直接应用在扑翼飞行机器人上的。本发明是一种高精度、低负载的适用于扑翼飞行机器人的地面目标定位方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种面向扑翼飞行机器人的地面目标定位方法流程图；
图2是本发明实施例提供的一种整体实物示意图；
图3是本发明实施例提供的一种面向扑翼飞行机器人的地面目标定位装置框图；
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种面向扑翼飞行机器人的地面目标定位方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种面向扑翼飞行机器人的地面目标定位方法流程图，该方法的处理流程可以包括如下的步骤：
S1、通过长短焦组合相机，对周围环境进行拍摄，获得周围环境视频图像。
其中，长短焦组合相机用于通过实时变焦，对跟踪目标进行连续拍摄；
长短焦组合相机由两个固定焦距的微型摄像头组成；微型摄像头包括微型长焦摄像头和微型短焦摄像头。
一种可行的实施方式中，本发明中长短焦组合相机由两个固定焦距微型摄像头组成，两个微型摄像头为长焦和短焦两种不同焦距的微型摄像头，它们共用一个同轴或平行的光轴，每个光轴具有不同的光学参数。
短焦相机的视场较大，但细节分辨率不足；长焦相机可以拍摄高分辨率图像，获得大量细节信息，但视场较小。因此，短焦相机在低空飞行时具有较好的目标检测性能，而长焦相机在高空飞行时具有较好的目标检测性能。通过双焦相机的连续数字变焦算法模拟光学变焦，可以在不同高度获得良好的目标检测性能。
双焦相机的数码变焦的数学表达式如下式(1)所示:
Ra＝F2/F1 (1)
其中，Ra为变焦比，F2为相机调整焦距，F1为相机初始焦距。利用式(1)可以计算出不同焦距下的变焦比，从而实现数码变焦。
数码变焦是通过放大图像像素来实现的，这可能导致像素拉伸，图像分辨率和质量降低。当飞行高度过高，短焦相机变焦系数过大时，可能导致像素失真、锯齿、模糊等现象。此时，通过切换到长焦摄像头视频信号，获得高清图像，以实现从低空到高空的连续高分辨率图像获取。
S2、通过机身传感器收集信息，获得多传感器数据。
其中，多传感器数据包括气压计数据、经纬度数据、IMU数据和激光测距仪数据。
一种可行的实施方式中，通过机身装载的多传感器收集数据，具体的为气压计模块、经纬度测量模块、IMU模块、激光测距模块。通过上述传感器，其中通过气压计模块可以得到扑翼飞行机器人的飞行高度信息；通过经纬度测量模块可以得到扑翼飞行机器人的当前经纬度信息；通过IMU模块可以得到扑翼飞行机器人的当前机身姿态信息和航向信息；激光测距模块可以得到模块距所照射物体的距离信息；本发明通过激光测距模块得到扑翼飞行机器人距离地面的高度信息。
S3、在周围环境视频图像中，发现跟踪目标，进行连续拍摄；基于多传感器数据，在拍摄中进行机械稳像，获得目标视频图像。
一种可行的实施方式中，本发明实现目标跟踪和机械稳像的硬件设备包括惯性测量单元、无刷电机和机械连接件；惯性测量单元与长短焦组合相机，通过机械连接件固连，用于实时检测摄像头的旋转运动信息，即当前时刻观测的角度姿态信息，设备具体如图2所示。
本发明中当扑翼飞行机器人发现感兴趣的目标，将锁定目标并进入跟踪模式。根据目标图像的像素偏移量计算出当前方位角和目标仰角误差，通过正弦脉冲宽度调制(Sinusoidal Pulse Width ModulaTIon，SPWM)驱动无刷电机改变其角度，从而使目标图像始终永久锁定在摄像机视场中心。此外，扑翼飞行机器人飞行时姿态的变化会导致光轴指向不稳定。为了稳定跟踪目标，必须排除来自扑翼飞行机器人自身的干扰。通过无刷电机进行补偿旋转，避免了外界扰动对摄像头的影响，保证了摄像头在惯性空间内稳定指向某一方向，稳定跟踪目标。
可选地，基于多传感器数据，在拍摄中进行机械稳像，获得目标视频图像，包括：
基于多传感器数据，通过预设的双闭环串级PID控制算法进行计算，得到PID控制结果；
在拍摄中，基于PID控制结果，通过无刷电机进行机械稳像，获得目标视频图像。
一种可行的实施方式中，本发明中采用的预设的控制算法是双闭环串级PID控制算法，第一环控制被称为角度闭环控制，第二环控制被称为速度闭环控制。
设定默认的角度期望，将其与惯性测量单元获取的实际姿态角度信息做差，作为角度PID控制的输入，计算第一环的PID控制结果，其计算的数学表达式如下式(2)所示：
其中，u(k)为第一环PID控制器的输出，Kp为比例放大系数，e(k)为第一环PID控制器的输入，即第k次采样时际姿态角度与期望角度的差值；Ki为积分系数，为积分项；Kd为微分系数，[e(k)-e(k-1)]为微分项。
角度PID控制的输出值直接作为速度PID控制的输入，将其与电机转动角速度的反馈值做差，角速度的反馈值即惯性测量单元的反馈角度值进行差分获得的角速度，其数学表达式如下式(3)所示：
其中，u(k0)为第二环PID控制器的输出，e(k0)为第二环PID控制器的输入，即第k0次采样时实际电机角速度与期望(第一环PID的输出)的差值；速度控制器的输出u(k0)，通过得到电机控制的输入值u(k0)，输出SPWM波控制电机的转动。
SPWM波即为呈正弦规律变化的正弦波，通过连续向电机的三个相线输入相位差为1/3正弦波周期且电压幅值呈正弦规律变化的电压来控制电机的转动。下个周期继续执行上述过程，从而达到对长短焦组合相机的连续拍摄的机械稳像效果，消除抖动。
S4、根据目标视频图像以及多传感器数据进行计算，获得地面目标定位结果。
可选地，根据目标视频图像以及多传感器数据进行计算，获得地面目标定位结果，包括：
基于目标视频图像，通过预设的YOLOv5目标检测模型进行识别，获得目标平面坐标位置和视觉测量高度信息；
基于多传感器数据和视觉测量高度信息进行计算，得到目标基于飞行器的相对高度；
基于多传感器数据，获得目标经纬度信息；
根据目标平面坐标位置以及目标基于飞行器的相对高度进行计算，得到目标世界坐标位置；
基于目标世界坐标位置以及目标经纬度信息进行计算，得到目标定位初步结果；
对目标定位初步结果进行滤波操作，获得地面目标定位结果。
一种可行的实施方式中，本发明中通过预设的目标检测算法对图像中的目标进行检测，得到目标框中心点的像素坐标；并将所述目标框中心点的像素坐标作为所述目标在像素坐标系中的目标像素位置；所述目标框中心点的像素坐标与所述目标在图像上的中心点坐标相对应。
其中，目标检测算法采用一种用于二维图像目标检测的深度学习算法第5版本(You Only Look Once，YOLOv5)识别地面的目标，如人、车等，YOLOv5通过使用深度神经网络来对视频中的每一帧进行目标检测，从而实现了对感兴趣目标的检测，并读取将目标框的中心点(x，y)，即获得目标平面坐标位置信息。
根据相机透视投影理论，变换平面坐标位置为世界坐标位置，数学表达式如下式(4)、(5)所示：
其中，XW、YW和ZW指的是世界坐标系中的目标位置；x、y和z是指摄像机坐标系中的目标位置；Rp表示3×3旋转矩阵，t表示平移向量；f是指相机的焦距，该参数是通过相机校准预先获得的；P表示透视投影矩阵；和/>是指图像平面坐标系中的目标位置，即上述步骤中的目标框中心点(x，y)。
其中，世界坐标系的原点与扑翼飞行机器人的重心重合。在世界坐标系中，其正X轴指向正北；其正Y轴指向正东；并且其正Z轴指向扑翼飞行机器人所在位置的地理中心。它的轴X、Y和Z构成了一个右旋系统。即XW指地面目标物体距离扑翼飞行机器人正北方向的距离；YW指目标物体距离扑翼飞行机器人正东方向的距离；ZW指目标物体距离扑翼飞行机器人正下方的距离(即扑翼飞行机器人的飞行高度)。
根据式(4)和(5)，可以得出以下内容：
地面目标在世界坐标系中的位置(XW，YW)是与(即目标框的中心点(x，y))和Zw(即扑翼飞行机器人的飞行高度)相关的，则存在如下式(6)、(7)数学关系：
Ri(i＝1,2…,12)是扑翼飞行机器人的偏航角Φ、俯仰角γ和滚转角θ，以及长短焦组合相机的具体技术参数方位角α、仰角β和相机焦距f的函数，Ri的数学表达式如下式(8)所示：
根据上式(6)、(7)和(8)，可以得出地面目标在世界坐标系中的位置(XW，YW)。
根据机身搭载的经纬度测量模块可以测量扑翼飞行机器人当前的纬度W0和经度J0。
目标的纬度和经度信息(W，J)的计算公式如下式(9)所示：
其中，μ表示当前地理位置中，单位米与经度和纬度之间的转换系数。
经过上述过程，可计算出地面目标的经纬度坐标(W,J)，然而这个计算结果伴随着传感器的测量误差，并不是准确的地面目标的经纬度坐标。此时通过采用滤波算法，对经纬度坐标(W，J)数据进行滤波处理，估计出目标较为准确的经纬度坐标。
在此过程中，根据目标图像的像素偏移量计算出当前方位角和目标仰角误差，通过SPWM驱动无刷电机改变其角度，从而使目标图像始终永久锁定在摄像机视场中心。计算出尽可能多的地面目标初始经纬度坐标(W，J)。使滤波处理结果更为准确。
可选地，基于多传感器数据和视觉测量高度信息进行计算，得到目标基于飞行器的相对高度，包括：
基于多传感器数据，获得气压计数据；根据气压计数据进行计算，获得气压计高度信息；
基于多传感器数据，获得激光测距仪数据；根据激光测距仪数据进行计算，获得激光测距仪高度信息；
根据气压计高度信息、视觉测量高度信息和激光测距仪高度信息进行融合，获得目标基于飞行器的相对高度。
一种可行的实施方式中，本发明在实际测试中发现，ZW的测量值准确与否，对计算结果精度影响较大。为了准确获得扑翼飞行机器人与地面目标之间的相对高度值ZW，本文提出了一种将视觉测距与传感器测距相结合的方法，以提高测距精度。
通过预设的YOLOv5目标检测算法，可以得到目标图像成像区域的最小边界矩形为w×h，其中w和h表示图像中目标物体的像素长度。以车辆目标为例，假设目标的长度为L，摄像机焦距为f，目标与摄像机之间的距离D计算公式如下式(10)所示：
D＝f(L/h) (10)
通过预校准获得车辆的长度L，则典型车辆的长度约为4.8m。通过目标检测算法，我们可以通过从图像信息中获得的h值和相机固有参数f代入方程来计算目标与摄像机之间的距离D。
通过气压计传感器可以获得扑翼飞行机器人的当前飞行高度，我们可以将此测量高度称为H1。由于高度信息对地面目标定位精度的显著影响，仅使用气压计传感器的高度信息H1可能会导致较大的误差。
为了避免单个传感器造成的测量误差，本发明通过视觉测距中获得的高度信息H2，从激光测距仪中获得的高度信息H3，并融合了上述多个传感器获得的高度数据，以减少高度ZW值的误差对目标定位精度的影响。
视觉测距的基本原理是使用目标的已知长度或宽度等信息来估计目标和相机之间的距离。
根据目标与摄像机之间的距离D，高度信息H2的计算公式如下式(11)所示：
H2＝D·cosβ(11)
其中，β为此时刻长短焦组合相机的拍摄仰角。
通过融合多个传感器信息的测量值获得的最终飞行高度H0，其计算公式如下式(12)所示：
H0＝a·H1+b·H2+c·H3 (12)
a+b+c＝1
其中，a、b、c是权重系数。
扑翼飞行机器人和目标之间的相对高度ZW根据上述等式计算，即为H0的值。
可选地，方法还包括：
应用方法的设备安装在飞行器的头部和腹部，总重量为230克。
一种可行的实施方式中，本发明的技术场景是应用在一种模仿鸟类飞行方式的仿生扑翼飞行机器人地面目标定位系统平台。其中，安装于扑翼飞行机器人的头部，用来模仿鸟类眼睛的位置。
现有的扑翼飞行机器人机身尺寸有限，负载能力普遍不高，除飞行所需的必要电池负载，留给视觉、飞控等系统的负载重量有限，小于300g。
所以结合扑翼飞行机器人的实际应用工况，安装在扑翼飞行机器人头部的长短焦组合相机以及相关的目标跟踪和机械稳像设备，总重量控制在100g，满足扑翼飞行机器人的负载能力。
安装在扑翼飞行机器人的机腹位置的部分设备，总重量控制在130g。目标定位系统重心与扑翼飞行机器人自身重心位置接近重合，满足扑翼飞行机器人的实际使用负载能力。
本发明提出一种面向扑翼飞行机器人的地面目标定位方法，通过双闭环串级PID控制算法对扑翼飞行机器人的飞行拍摄进行机械调节，消除了拍摄过程中出现的大幅度周期性抖动；通过设计适用于扑翼飞行机器人的相对高度测量方法，更加准确地获得经纬度信息，实现地面目标的精准定位。本发明设备负载小，适用于扑翼飞行机器人负载能力差的技术特点，传统的无人机地面目标定位设备是无法直接应用在扑翼飞行机器人上的。本发明是一种高精度、低负载的适用于扑翼飞行机器人的地面目标定位方法。
图3是根据一示例性实施例示出的一种面向扑翼飞行机器人的地面目标定位装置框图。参照图3，该装置包括：
视频拍摄模块310，用于通过长短焦组合相机，对周围环境进行拍摄，获得周围环境视频图像；
飞控数据采集模块320，用于通过机身传感器收集信息，获得多传感器数据；
目标跟踪和稳像模块330，用于在周围环境视频图像中，发现跟踪目标，进行连续拍摄；基于多传感器数据，在拍摄中进行机械稳像，获得目标视频图像；
目标定位模块340，用于根据目标视频图像以及多传感器数据进行计算，获得地面目标定位结果。
其中，长短焦组合相机用于通过实时变焦，对跟踪目标进行连续拍摄；
长短焦组合相机由两个固定焦距的微型摄像头组成；微型摄像头包括微型长焦摄像头和微型短焦摄像头。
其中，多传感器数据包括气压计数据、经纬度数据、IMU数据和激光测距仪数据。
可选地，目标跟踪和稳像模块，进一步用于：
基于多传感器数据，通过预设的双闭环串级PID控制算法进行计算，得到PID控制结果；
在拍摄中，基于PID控制结果，通过无刷电机进行机械稳像，获得目标视频图像。
可选地，目标定位模块，进一步用于：
基于目标视频图像，通过预设的YOLOv5目标检测模型进行识别，获得目标平面坐标位置和视觉测量高度信息；
基于多传感器数据和视觉测量高度信息进行计算，得到目标基于飞行器的相对高度；
基于多传感器数据，获得目标经纬度信息；
根据目标平面坐标位置以及目标基于飞行器的相对高度进行计算，得到目标世界坐标位置；
基于目标世界坐标位置以及目标经纬度信息进行计算，得到目标定位初步结果；
对目标定位初步结果进行滤波操作，获得地面目标定位结果。
可选地，目标定位模块，进一步用于：
基于多传感器数据，获得气压计数据；根据气压计数据进行计算，获得气压计高度信息；
基于多传感器数据，获得激光测距仪数据；根据激光测距仪数据进行计算，获得激光测距仪高度信息；
根据气压计高度信息、视觉测量高度信息和激光测距仪高度信息进行融合，获得目标基于飞行器的相对高度。
可选地，装置还用于：
应用方法的设备安装在飞行器的头部和腹部，总重量为230克。
本发明提出一种面向扑翼飞行机器人的地面目标定位方法，通过双闭环串级PID控制算法对扑翼飞行机器人的飞行拍摄进行机械调节，消除了拍摄过程中出现的大幅度周期性抖动；通过设计适用于扑翼飞行机器人的相对高度测量方法，更加准确地获得经纬度信息，实现地面目标的精准定位。本发明设备负载小，适用于扑翼飞行机器人负载能力差的技术特点，传统的无人机地面目标定位设备是无法直接应用在扑翼飞行机器人上的。本发明是一种高精度、低负载的适用于扑翼飞行机器人的地面目标定位方法。
图4是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现上述一种面向扑翼飞行机器人的地面目标定位方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述一种面向扑翼飞行机器人的地面目标定位方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种面向扑翼飞行机器人的地面目标定位方法，其特征在于，所述方法包括：
通过长短焦组合相机，对周围环境进行拍摄，获得周围环境视频图像；
其中，所述长短焦组合相机用于通过实时变焦，对跟踪目标进行连续拍摄；
所述长短焦组合相机由两个固定焦距的微型摄像头组成；所述微型摄像头包括微型长焦摄像头和微型短焦摄像头；
通过机身传感器收集信息，获得多传感器数据；
在所述周围环境视频图像中，发现跟踪目标，进行连续拍摄；基于所述多传感器数据，在拍摄中进行机械稳像，获得目标视频图像；
其中，所述机械稳像用于排除来自扑翼飞行机器人对所述长短焦组合相机的拍摄干扰；所述机械稳像通过无刷电机的补偿旋转进行干扰排除；
根据所述目标视频图像以及所述多传感器数据进行计算，获得地面目标定位结果；
其中，所述根据所述目标视频图像以及所述多传感器数据进行计算，获得地面目标定位结果，包括：
基于所述目标视频图像，通过预设的YOLOv5目标检测模型进行识别，获得目标平面坐标位置和视觉测量高度信息；
基于所述多传感器数据和所述视觉测量高度信息进行计算，得到目标基于飞行器的相对高度；
基于所述多传感器数据，获得目标经纬度信息；
根据所述目标平面坐标位置以及所述目标基于飞行器的相对高度进行计算，得到目标世界坐标位置；
基于所述目标世界坐标位置以及所述目标经纬度信息进行计算，得到目标定位初步结果；
对所述目标定位初步结果进行滤波操作，获得地面目标定位结果；
其中，所述基于所述多传感器数据和所述视觉测量高度信息进行计算，得到目标基于飞行器的相对高度，包括：
基于所述多传感器数据，获得气压计数据；根据所述气压计数据进行计算，获得气压计高度信息；
基于所述多传感器数据，获得激光测距仪数据；根据所述激光测距仪数据进行计算，获得激光测距仪高度信息；
根据所述气压计高度信息、所述视觉测量高度信息和所述激光测距仪高度信息进行融合，获得目标基于飞行器的相对高度。
2.根据权利要求1所述的一种面向扑翼飞行机器人的地面目标定位方法，其特征在于，所述多传感器数据包括气压计数据、经纬度数据、IMU数据和激光测距仪数据。
3.根据权利要求1所述的一种面向扑翼飞行机器人的地面目标定位方法，其特征在于，所述基于所述多传感器数据，在拍摄中进行机械稳像，获得目标视频图像，包括：
基于所述多传感器数据，通过预设的双闭环串级PID控制算法进行计算，得到PID控制结果；
在拍摄中，基于所述PID控制结果，通过无刷电机进行机械稳像，获得目标视频图像。
4.根据权利要求1所述的一种面向扑翼飞行机器人的地面目标定位方法，其特征在于，所述方法还包括：
应用所述方法的设备安装在飞行器的头部和腹部，总重量为230克。
5.一种面向扑翼飞行机器人的地面目标定位装置，其特征在于，所述装置包括：
视频拍摄模块，用于通过长短焦组合相机，对周围环境进行拍摄，获得周围环境视频图像；
其中，所述长短焦组合相机用于通过实时变焦，对跟踪目标进行连续拍摄；
所述长短焦组合相机由两个固定焦距的微型摄像头组成；所述微型摄像头包括微型长焦摄像头和微型短焦摄像头；
飞控数据采集模块，用于通过机身传感器收集信息，获得多传感器数据；
目标跟踪和稳像模块，用于在所述周围环境视频图像中，发现跟踪目标，进行连续拍摄；基于所述多传感器数据，在拍摄中进行机械稳像，获得目标视频图像；
其中，所述机械稳像用于排除来自扑翼飞行机器人对所述长短焦组合相机的拍摄干扰；所述机械稳像通过无刷电机的补偿旋转进行干扰排除；
目标定位模块，用于根据所述目标视频图像以及所述多传感器数据进行计算，获得地面目标定位结果；
其中，所述根据所述目标视频图像以及所述多传感器数据进行计算，获得地面目标定位结果，包括：
基于所述目标视频图像，通过预设的YOLOv5目标检测模型进行识别，获得目标平面坐标位置和视觉测量高度信息；
基于所述多传感器数据和所述视觉测量高度信息进行计算，得到目标基于飞行器的相对高度；
基于所述多传感器数据，获得目标经纬度信息；
根据所述目标平面坐标位置以及所述目标基于飞行器的相对高度进行计算，得到目标世界坐标位置；
基于所述目标世界坐标位置以及所述目标经纬度信息进行计算，得到目标定位初步结果；
对所述目标定位初步结果进行滤波操作，获得地面目标定位结果；
其中，所述基于所述多传感器数据和所述视觉测量高度信息进行计算，得到目标基于飞行器的相对高度，包括：
基于所述多传感器数据，获得气压计数据；根据所述气压计数据进行计算，获得气压计高度信息；
基于所述多传感器数据，获得激光测距仪数据；根据所述激光测距仪数据进行计算，获得激光测距仪高度信息；
根据所述气压计高度信息、所述视觉测量高度信息和所述激光测距仪高度信息进行融合，获得目标基于飞行器的相对高度。
6.根据权利要求5所述的一种面向扑翼飞行机器人的地面目标定位装置，其特征在于，所述目标跟踪和稳像模块，进一步用于：
基于所述多传感器数据，通过预设的双闭环串级PID控制算法进行计算，得到P ID控制结果；
在拍摄中，基于所述PID控制结果，通过无刷电机进行机械稳像，获得目标视频图像。
CN202310682584.4A 2023-06-09 2023-06-09 一种面向扑翼飞行机器人的地面目标定位方法及装置 Active CN116778360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310682584.4A CN116778360B (zh) 2023-06-09 2023-06-09 一种面向扑翼飞行机器人的地面目标定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310682584.4A CN116778360B (zh) 2023-06-09 2023-06-09 一种面向扑翼飞行机器人的地面目标定位方法及装置

Publications (2)

Publication Number Publication Date
CN116778360A CN116778360A (zh) 2023-09-19
CN116778360B true CN116778360B (zh) 2024-03-19

Family

ID=88009202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310682584.4A Active CN116778360B (zh) 2023-06-09 2023-06-09 一种面向扑翼飞行机器人的地面目标定位方法及装置

Country Status (1)

Country Link
CN (1) CN116778360B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150205301A1 (en) * 2013-03-15 2015-07-23 Ashley A. Gilmore Digital tethering for tracking with autonomous aerial robot
CN111824406A (zh) * 2020-07-17 2020-10-27 南昌航空大学 一种基于机器视觉的公共安全自主巡查四旋翼无人机
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法
US20210055109A1 (en) * 2018-06-01 2021-02-25 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for indoor positioning
CN112489032A (zh) * 2020-12-14 2021-03-12 北京科技大学 一种复杂背景下无人机载小目标检测定位方法及系统
WO2021189507A1 (zh) * 2020-03-24 2021-09-30 南京新一代人工智能研究院有限公司 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
CN114604439A (zh) * 2022-03-23 2022-06-10 北京科技大学 一种面向扑翼飞行机器人的航拍视频稳像系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150205301A1 (en) * 2013-03-15 2015-07-23 Ashley A. Gilmore Digital tethering for tracking with autonomous aerial robot
US20210055109A1 (en) * 2018-06-01 2021-02-25 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for indoor positioning
WO2021189507A1 (zh) * 2020-03-24 2021-09-30 南京新一代人工智能研究院有限公司 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
CN111824406A (zh) * 2020-07-17 2020-10-27 南昌航空大学 一种基于机器视觉的公共安全自主巡查四旋翼无人机
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法
CN112489032A (zh) * 2020-12-14 2021-03-12 北京科技大学 一种复杂背景下无人机载小目标检测定位方法及系统
CN114604439A (zh) * 2022-03-23 2022-06-10 北京科技大学 一种面向扑翼飞行机器人的航拍视频稳像系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"IMAV2019 室外小型无人机控制系统设计与实现";庞强等;《控制工程》;第28卷(第11期);第2114-2122页 *

Also Published As

Publication number Publication date
CN116778360A (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN106200693B (zh) 土地调查小型无人机的云台实时控制系统及控制方法
CN109000612B (zh) 设备的角度估算方法、装置、摄像组件及飞行器
CN108762324A (zh) 云台电机角度和角速度估算方法、装置、云台及飞行器
US20220155800A1 (en) Method and apparatus for yaw fusion and aircraft
WO2021052334A1 (zh) 一种无人飞行器的返航方法、装置及无人飞行器
CN110824453A (zh) 一种基于图像跟踪与激光测距的无人机目标运动估计方法
CN109782810B (zh) 基于图像引导的视频卫星运动目标跟踪成像方法及其装置
WO2021217371A1 (zh) 可移动平台的控制方法和装置
Held et al. TIER II plus airborne EO sensor LOS control and image geolocation
WO2020172800A1 (zh) 可移动平台的巡检控制方法和可移动平台
CN110377058B (zh) 一种飞行器的偏航角修正方法、装置及飞行器
CN107145167B (zh) 一种基于数字图像处理技术的视频目标跟踪方法
US20210229810A1 (en) Information processing device, flight control method, and flight control system
CN115618749B (zh) 一种大型无人机实时定位的误差补偿方法
CN117455960B (zh) 时变观测噪声条件下机载光电系统对地无源定位滤波方法
CN114604439B (zh) 一种面向扑翼飞行机器人的航拍视频稳像系统
CN110873563A (zh) 一种云台姿态估计方法及装置
CN110108894B (zh) 一种基于相位相关和光流法的多旋翼速度测量方法
CN112009708B (zh) 一种固定翼无人机、单镜头倾斜摄影系统及方法
CN116149193B (zh) 一种基于视觉的旋翼无人机抗扰动控制方法及系统
CN116778360B (zh) 一种面向扑翼飞行机器人的地面目标定位方法及装置
CN108227734A (zh) 用于控制无人机的电子控制装置、相关的无人机、控制方法及计算机程序
Coppa et al. Accuracy enhancement of unmanned helicopter positioning with low-cost system
Gaspar et al. Model-based filters for 3-D positioning of marine mammals using AHRS-and GPS-equipped UAVs
CN113654528B (zh) 通过无人机位置和云台角度估测目标坐标的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant