CN112148032A - 一种微型树洞检测飞行器及控制方法 - Google Patents

一种微型树洞检测飞行器及控制方法 Download PDF

Info

Publication number
CN112148032A
CN112148032A CN202011122594.5A CN202011122594A CN112148032A CN 112148032 A CN112148032 A CN 112148032A CN 202011122594 A CN202011122594 A CN 202011122594A CN 112148032 A CN112148032 A CN 112148032A
Authority
CN
China
Prior art keywords
tree hole
tree
aircraft
mechanical arm
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011122594.5A
Other languages
English (en)
Other versions
CN112148032B (zh
Inventor
雷瑶
王家鼎
宋佳斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202011122594.5A priority Critical patent/CN112148032B/zh
Publication of CN112148032A publication Critical patent/CN112148032A/zh
Application granted granted Critical
Publication of CN112148032B publication Critical patent/CN112148032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出一种微型树洞检测飞行器及控制方法，所述飞行器包括遥控端和受控端；所述受控端为设有多自由度机械臂、机载控制模块、立体相机的多旋翼飞行平台；所述机械臂为末端设有执行器的可展开机械臂；所述飞行器进行树洞检测时，遥控端对受控端立体相机采集的树干深度图像进行分析，并根据分析结果向受控端提供树洞标记，飞行平台飞至树洞标记处并识别出树洞后，展开机械臂使之探入树洞进行检测；本发明可通过无人机准确详细地对树洞进行检测。

Description

一种微型树洞检测飞行器及控制方法
技术领域
本发明涉及飞行器技术领域，尤其是一种微型树洞检测飞行器及控制方法。
背景技术
树洞被包括鸟类、哺乳动物和甲虫在内的多种生物使用，用于筑巢居住或养育后代。它们对于森林生态系统生物多样性的重要性，得到了广泛认可。但自上个世纪以来，树洞的数量急剧减少，许多依赖树洞的物种变得高度濒危。因此我们需要一种获得它们信息的方法，以便更好地保护树洞。
通常情况下，我们有以下几种方法获取树洞信息：(1)使用望远镜从地面观察，但是无法获取关于树洞的准确数据。(2)攀爬树木，有一定的风险并且许多树木都太不稳定而无法攀爬。(3)插入内窥镜或使用安装在伸缩杆上的摄像机。这些设备往往十分笨重与庞大无法随身携带，并且需要较长的响应时间、较复杂的操作才能获取有效的树洞图像。即便进行这些操作以后，得到的数据仍是粗略的估计值。
鉴于现有技术的不足，我们需要一种无视地形、快速部署、安全高效、准确测量的设备，这也是本发明所专注的。
发明内容
本发明提出一种微型树洞检测飞行器及控制方法，可通过无人机准确详细地对树洞进行检测。
本发明采用以下技术方案。
一种微型树洞检测飞行器，所述飞行器包括遥控端和受控端；所述受控端为设有多自由度机械臂、机载控制模块、立体相机的多旋翼飞行平台；所述机械臂为末端设有执行器的可展开机械臂；所述飞行器进行树洞检测时，遥控端对受控端立体相机采集的树干深度图像进行分析，并根据分析结果向受控端提供树洞标记，飞行平台飞至树洞标记处并识别出树洞后，展开机械臂使之探入树洞进行检测。
所述飞行平台还设有惯性测量单元、视觉惯性传感器、检测传感器、卡尔曼滤波器、飞行器姿态控制器、全球定位系统、末端执行器及激光测距仪；
当飞行平台识别出树洞后，对树洞的坐标数据进行测量，并测量自身的飞行器姿态数据；所述卡尔曼滤波器通过树洞坐标数据和飞行器姿态数据对飞行平台姿态进行预测，并通过惯性测量单元和多个传感器的检测数据来优化预测结果。
所述飞行平台处还设有自动控制器；当遥控端收到飞行平台检测树洞成功的信息后，遥控端激活自动控制器的导航功能，使自动控制器把飞行器导航至树洞前方并悬停；遥控端遥控飞行器的多自由度机械臂展开以把其末端执行器插入树洞中来获得树洞内部影像。
所述机械臂具有三个自由度；所述执行器包括深度相机、LED灯和激光测距仪；当机械臂工作时机，机械臂的螺距固定以限制其在飞行平台处移动。
一种微型树洞检测飞行器的控制方法，以上所述的飞行器，其机载控制模块为机载计算设备，用于承载飞行器的树洞检测功能和飞行控制功能；在树洞检查过程中，遥控端的操作者通过图形界面与飞行平台交互；所述控制方法包括以下方法；
方法一、所述遥控端根据深度图像的分析结果向受控端的飞行平台提供深度图像时，所述机载控制模块通过树洞检测算法在深度图像中找到坐标轴C中树洞的3D位置，具体方法是根据检测传感器生成的点云，将3D空间划分为八叉树数据结构，运用八叉树和树洞检测算法来确定树洞的3D位置、改进测量结果并估算树洞的大概尺寸；同时卡尔曼滤波器使用测得的树洞位置和飞行器姿态数据，持续估算树洞相对于飞行器坐标轴V的位置；
方法二、当机械臂展开并把其末端的执行器探入树洞时，所述机载控制模块通过激光测距仪测量执行器与树洞内壁的距离，并根据测量结果对机械臂控制以防止树洞检测作业对树洞和执行器造成损伤；同时执行器通过自带的伺服电机在树洞内旋转，并以LED灯对树洞内部照明，使深度相机可获取树洞内的完整立体图像，该立体图像可用于3D建模；
方法三、所述飞行平台工作时，机载控制模块通过设立世界坐标系W来确定飞行平台的起始位置和方向；飞行平台坐标V刚性连接于飞行器底座上，立体相机坐标系C参照坐标系V建立，其原点的位置和方位于检测传感器的中心；所述机械臂坐标系M的原点位于机械臂的底部，可用于机械臂控制。
在方法一中，遥控端分析深度图像有五个流程：图像分割、二值化、轮廓提取、椭圆拟合、树洞检测；用户在深度图像中标记一个位于树干的任意点以创建种子点PS＝[xS,yS,zS]T，其中xS,yS是标记点的坐标值，zS为深度值；
在图像分割流程中，使用固定K值的K-means聚类算法按深度对图像进行分割；质心最接近PS的点集被认为是树干点集Ctree；将比阈值tt更接近Ctree的点集与Ctree合并，以进一步确定树干点集；设深度最小的质心属于机械臂点集Cman；将比阈值tm更接近Cman的点集与Cman结合以最终确认机械臂点集；并将Cman和Ctree合并形成一个最终的树干点集Ctm，以避免了误操作导致树枝的断裂；
在二值化流程中，根据图像点是否属于Ctm以及小型树洞是否因腐蚀等原因堵塞，来创建二值图像；
在轮廓提取流程中，使用轮廓检测算法从二值图像中提取轮廓，包含PS且未被另一个轮廓包围的轮廓被确定为树的轮廓；
在椭圆拟合流程中，使用最小二乘法拟合这些树洞，这可能导致一个树洞对应多个拟合结果；符合任何以下条件之一的椭圆形拟合结果将会被舍弃：拥有最大宽度、拥有最大高度、宽度与高度之比太大、沿着任何树形边缘；除去被舍弃的结果之后，余下中面积最大的椭圆Emax将会被最终选择为拟合结果；因为它最不可能是由于图像噪声引起的；
在树洞检测流程中，根据图像坐标系Emax的中心点、树枝的平均深度和固有相机参数，计算树洞在相机坐标系C中的实际3D位置；后续对每个深度图像都重复此步骤，只是必须在开始时计算一个新的种子点PS；树洞检测流程计算前一棵树轮廓的矩以找到其质心，如果质心的深度在前一种子点深度的阈值td内，则将其选作新的种子点；否则，将在质心的紧邻范围内搜索具有足够相似深度的点。如果找不到新的种子点，则跳过该帧图像。
在方法二中，通过点云对树洞检测进行优化，即执行器探入树洞时，所述机载控制模块通过激光测距仪的测量结果对机械臂控制，以防止树洞检测作业对树洞和执行器造成损伤；具体为，
找到树洞内最大的长方体，以便更加准确地确定树洞的面积及深度；从以中心为PC的长方体开始计算，然后反复查证不断增大体积的长方体中是否有任何点符合拟合要求，直到它和树洞达到最大接触点数为止；如果最大拟合立方体体积小于插入末端执行器所需的空间，则拒绝树洞测量，否则将这个长方体的中心(xb,yb)作为新估计点PC＝[xb,yb,zb]T；
然后通过查询位于PC周围的长方体中的所有点，并在大于x和y方向上的最大拟合长方体的范围来提取树洞邻近点；树洞坐标系的z轴等于树洞邻点zb的平均深度，而不是树洞上所有点深度的平均值；在相机坐标系C中的测得的树洞新位置为PC＝[xb,yb,zb]T；
所述树洞检测的法线求解方法为，设树干临近树洞的区域大约是平整的；通过树洞邻点拟合平面，便可求出其法线N。
在方法一中，使用卡尔曼滤波器生成对树洞位置的连续估计；具体为，
卡尔曼滤波器的状态参数xt＝[xt,yt,zt]是坐标系V中某一时间t对应的树洞位置，其初始值为：x0＝[x0,y0,z0]＝pc0；其中pc0是从坐标系V转换至坐标系C后，对树洞3D位置的第一个测量值；卡尔曼滤波器的基本模型由下式给出：
Figure BDA0002732318230000041
zt＝xt+vt(公式1-2)
其中wt～N(0,Qt)是过程噪声，vt～N(0,Jt)是测量噪声，并且
Figure BDA0002732318230000042
和
Figure BDA0002732318230000043
分别是从时间t-1到时间t坐标系V下的的旋转和平移矩阵；其可以根据时间t和t-1处的飞行器姿态来表示，如下所示：
Figure BDA0002732318230000044
Figure BDA0002732318230000045
其中
Figure BDA0002732318230000051
是当时间t时坐标系V到坐标系W的旋转变换，这对应于t时刻的飞行器方向；
Figure BDA0002732318230000052
是当时间t时坐标系V到坐标系W的旋转变换，其对应于t时刻的飞行器位置；
在连续估计的方法中，预测步骤会以100Hz的频率在坐标系V中估计树洞的位置；在任何时候，测量步骤会与基于视觉的树洞检测系统测得的树洞一个可用位置值合并；即使没有新的视觉测量数据，也可使系统在几秒钟的时间内估计树洞位置，并减少错误树洞检测的影响；所述卡尔曼滤波器以100Hz的频率生成在坐标系V中树洞位置的估计值。
在方法三中，机载控制模块会使用坐标系V中的估计树洞位置和期望树洞位置以及当前飞行器位置信息，来计算飞行器在坐标系W中的位置；通过使用当前飞行器姿态数据将树洞法线转换至坐标系W，可以计算出坐标系W中的所需飞行器航向、飞行器位置、航向数据作为命令发送到线性飞行器姿态控制器，从而悬停在树洞前；同时高级控制器还会发出命令，以改变坐标系V中所需的末端执行器位置，即在坐标系V中估计树洞位置及在x方向上的深度，并用一阶过滤器过滤；使用机械臂运动规律将它们转换为角度命令，并发送到机械臂硬件接口，以使机械臂便可伸入树洞进行检测。
在方法三中，对机械臂控制时，定义关节长Lj,j＝1，...，6，角度qm＝(q1,q2)，α是末端执行器和机械臂的操纵杆之间的固定角度，操纵杆闭合位置c＝(xp,yp)，末端执行器位置e＝(xe,ye)；为了计算有效的机械臂控制方案的配置，可使用方法为：给定所需的末端执行器位置eref，并通过用圆心为eref、半径为L6的半圆来计算eref的机械臂闭合位置ci；对于所有可能的ci，使用已知的平面三角机械臂逆运动规律来计算所生成的角qm、i；然后使用正向运动规律，计算出最终的末端执行器位置ei；最后选择ei和eref之间误差最小的配置及相应的角度qm，i。
与现有技术相比，本发明达到的有益效果是：使用时不受地形限制，用户可在飞行器信号接收范围内进行远程操控。只有和树洞检测及飞控有关的计算才在飞行器平台上运行，这增加了有效续航；检测时自动悬停在树洞前，这减少了工作人员的工作量。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明微型树洞检测飞行器工作示意图；
附图2是本发明微型树洞检测飞行器机械臂末端执行器的示意图；
附图3是本发明微型树洞检测飞行器的机械臂配置与对应机械臂运动的可视化过程示意图；
附图4是本发明微型树洞检测飞行器在工作时使用的各坐标系示意图；
附图5是本发明微型树洞检测飞行器的原理示意图
附图6是本发明微型树洞检测飞行器三维示意图；
附图7是树洞检测作业的示意图；
图中：1-飞行平台；2-立体相机；3-树洞；4-机械臂；5-执行器；6-深度相机；7-机载控制模块。
具体实施方式
如图所示，一种微型树洞检测飞行器，所述飞行器包括遥控端和受控端；所述受控端为设有多自由度机械臂4、机载控制模块7、立体相机2的多旋翼飞行平台1；所述机械臂为末端设有执行器5的可展开机械臂；所述飞行器进行树洞检测时，遥控端对受控端立体相机采集的树干深度图像进行分析，并根据分析结果向受控端提供树洞标记，飞行平台飞至树洞标记处并识别出树洞后，展开机械臂使之探入树洞3进行检测。
所述飞行平台还设有惯性测量单元、视觉惯性传感器、检测传感器、卡尔曼滤波器、飞行器姿态控制器、全球定位系统、末端执行器及激光测距仪；
当飞行平台识别出树洞后，对树洞的坐标数据进行测量，并测量自身的飞行器姿态数据；所述卡尔曼滤波器通过树洞坐标数据和飞行器姿态数据对飞行平台姿态进行预测，并通过惯性测量单元和多个传感器的检测数据来优化预测结果。
所述飞行平台处还设有自动控制器；当遥控端收到飞行平台检测树洞成功的信息后，遥控端激活自动控制器的导航功能，使自动控制器把飞行器导航至树洞前方并悬停；遥控端遥控飞行器的多自由度机械臂展开以把其末端执行器插入树洞中来获得树洞内部影像。
所述机械臂具有三个自由度；所述执行器包括深度相机6、LED灯和激光测距仪；当机械臂工作时机，机械臂的螺距固定以限制其在飞行平台处移动。
一种微型树洞检测飞行器的控制方法，以上所述的飞行器，其机载控制模块为机载计算设备，用于承载飞行器的树洞检测功能和飞行控制功能；在树洞检查过程中，遥控端的操作者通过图形界面与飞行平台交互；所述控制方法包括以下方法；
方法一、所述遥控端根据深度图像的分析结果向受控端的飞行平台提供深度图像时，所述机载控制模块通过树洞检测算法在深度图像中找到坐标轴C中树洞的3D位置，具体方法是根据检测传感器生成的点云，将3D空间划分为八叉树数据结构，运用八叉树和树洞检测算法来确定树洞的3D位置、改进测量结果并估算树洞的大概尺寸；同时卡尔曼滤波器使用测得的树洞位置和飞行器姿态数据，持续估算树洞相对于飞行器坐标轴V的位置；
方法二、当机械臂展开并把其末端的执行器探入树洞时，所述机载控制模块通过激光测距仪测量执行器与树洞内壁的距离，并根据测量结果对机械臂控制以防止树洞检测作业对树洞和执行器造成损伤；同时执行器通过自带的伺服电机在树洞内旋转，并以LED灯对树洞内部照明，使深度相机可获取树洞内的完整立体图像，该立体图像可用于3D建模；
方法三、所述飞行平台工作时，机载控制模块通过设立世界坐标系W来确定飞行平台的起始位置和方向；飞行平台坐标V刚性连接于飞行器底座上，立体相机坐标系C参照坐标系V建立，其原点的位置和方位于检测传感器的中心；所述机械臂坐标系M的原点位于机械臂的底部，可用于机械臂控制。
在方法一中，遥控端分析深度图像有五个流程：图像分割、二值化、轮廓提取、椭圆拟合、树洞检测；用户在深度图像中标记一个位于树干的任意点以创建种子点PS＝[xS,yS,zS]T，其中xS,yS是标记点的坐标值，zS为深度值；
在图像分割流程中，使用固定K值的K-means聚类算法按深度对图像进行分割；质心最接近PS的点集被认为是树干点集Ctree；将比阈值tt更接近Ctree的点集与Ctree合并，以进一步确定树干点集；设深度最小的质心属于机械臂点集Cman；将比阈值tm更接近Cman的点集与Cman结合以最终确认机械臂点集；并将Cman和Ctree合并形成一个最终的树干点集Ctm，以避免了误操作导致树枝的断裂；
在二值化流程中，根据图像点是否属于Ctm以及小型树洞是否因腐蚀等原因堵塞，来创建二值图像；
在轮廓提取流程中，使用轮廓检测算法从二值图像中提取轮廓，包含PS且未被另一个轮廓包围的轮廓被确定为树的轮廓；
在椭圆拟合流程中，使用最小二乘法拟合这些树洞，这可能导致一个树洞对应多个拟合结果；符合任何以下条件之一的椭圆形拟合结果将会被舍弃：拥有最大宽度、拥有最大高度、宽度与高度之比太大、沿着任何树形边缘；除去被舍弃的结果之后，余下中面积最大的椭圆Emax将会被最终选择为拟合结果；因为它最不可能是由于图像噪声引起的；
在树洞检测流程中，根据图像坐标系Emax的中心点、树枝的平均深度和固有相机参数，计算树洞在相机坐标系C中的实际3D位置；后续对每个深度图像都重复此步骤，只是必须在开始时计算一个新的种子点PS；树洞检测流程计算前一棵树轮廓的矩以找到其质心，如果质心的深度在前一种子点深度的阈值td内，则将其选作新的种子点；否则，将在质心的紧邻范围内搜索具有足够相似深度的点。如果找不到新的种子点，则跳过该帧图像。
在方法二中，通过点云对树洞检测进行优化，即执行器探入树洞时，所述机载控制模块通过激光测距仪的测量结果对机械臂控制，以防止树洞检测作业对树洞和执行器造成损伤；具体为，
找到树洞内最大的长方体，以便更加准确地确定树洞的面积及深度；从以中心为PC的长方体开始计算，然后反复查证不断增大体积的长方体中是否有任何点符合拟合要求，直到它和树洞达到最大接触点数为止；如果最大拟合立方体体积小于插入末端执行器所需的空间，则拒绝树洞测量，否则将这个长方体的中心(xb,yb)作为新估计点PC＝[xb,yb,zb]T；
然后通过查询位于PC周围的长方体中的所有点，并在大于x和y方向上的最大拟合长方体的范围来提取树洞邻近点；树洞坐标系的z轴等于树洞邻点zb的平均深度，而不是树洞上所有点深度的平均值；在相机坐标系C中的测得的树洞新位置为PC＝[xb,yb,zb]T；
所述树洞检测的法线求解方法为，设树干临近树洞的区域大约是平整的；通过树洞邻点拟合平面，便可求出其法线N。
在方法一中，使用卡尔曼滤波器生成对树洞位置的连续估计；具体为，
卡尔曼滤波器的状态参数xt＝[xt,yt,zt]是坐标系V中某一时间t对应的树洞位置，其初始值为：x0＝[x0,y0,z0]＝pc0；其中pc0是从坐标系V转换至坐标系C后，对树洞3D位置的第一个测量值；卡尔曼滤波器的基本模型由下式给出：
Figure BDA0002732318230000091
zt＝xt+vt(公式1-2)
其中wt～N(0,Qt)是过程噪声，vt～N(0,Jt)是测量噪声，并且
Figure BDA0002732318230000094
和
Figure BDA0002732318230000095
分别是从时间t-1到时间t坐标系V下的的旋转和平移矩阵；其可以根据时间t和t-1处的飞行器姿态来表示，如下所示：
Figure BDA0002732318230000092
Figure BDA0002732318230000093
其中
Figure BDA0002732318230000101
是当时间t时坐标系V到坐标系W的旋转变换，这对应于t时刻的飞行器方向；
Figure BDA0002732318230000102
是当时间t时坐标系V到坐标系W的旋转变换，其对应于t时刻的飞行器位置；
在连续估计的方法中，预测步骤会以100Hz的频率在坐标系V中估计树洞的位置；在任何时候，测量步骤会与基于视觉的树洞检测系统测得的树洞一个可用位置值合并；即使没有新的视觉测量数据，也可使系统在几秒钟的时间内估计树洞位置，并减少错误树洞检测的影响；所述卡尔曼滤波器以100Hz的频率生成在坐标系V中树洞位置的估计值。
在方法三中，机载控制模块会使用坐标系V中的估计树洞位置和期望树洞位置以及当前飞行器位置信息，来计算飞行器在坐标系W中的位置；通过使用当前飞行器姿态数据将树洞法线转换至坐标系W，可以计算出坐标系W中的所需飞行器航向、飞行器位置、航向数据作为命令发送到线性飞行器姿态控制器，从而悬停在树洞前；同时高级控制器还会发出命令，以改变坐标系V中所需的末端执行器位置，即在坐标系V中估计树洞位置及在x方向上的深度，并用一阶过滤器过滤；使用机械臂运动规律将它们转换为角度命令，并发送到机械臂硬件接口，以使机械臂便可伸入树洞进行检测。
在方法三中，对机械臂控制时，定义关节长Lj,j＝1，...，6，角度qm＝(q1,q2)，α是末端执行器和机械臂的操纵杆之间的固定角度，操纵杆闭合位置c＝(xp,yp)，末端执行器位置e＝(xe,ye)；为了计算有效的机械臂控制方案的配置，可使用方法为：给定所需的末端执行器位置eref，并通过用圆心为eref、半径为L6的半圆来计算eref的机械臂闭合位置ci；对于所有可能的ci，使用已知的平面三角机械臂逆运动规律来计算所生成的角qm、i；然后使用正向运动规律，计算出最终的末端执行器位置ei；最后选择ei和eref之间误差最小的配置及相应的角度qm，i。
本例中，多旋翼飞行器选用六旋翼无人机。
以上所述的仅是本发明的优选实施方式，本发明不限于以上实施方式。可以理解为，本领域技术人员在不脱离本发明的构思和前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种微型树洞检测飞行器，其特征在于：所述飞行器包括遥控端和受控端；所述受控端为设有多自由度机械臂、机载控制模块、立体相机的多旋翼飞行平台；所述机械臂为末端设有执行器的可展开机械臂；所述飞行器进行树洞检测时，遥控端对受控端立体相机采集的树干深度图像进行分析，并根据分析结果向受控端提供树洞标记，飞行平台飞至树洞标记处并识别出树洞后，展开机械臂使之探入树洞进行检测。
2.根据权利要求1所述的一种微型树洞检测飞行器，其特征在于：所述飞行平台还设有惯性测量单元、视觉惯性传感器、检测传感器、卡尔曼滤波器、飞行器姿态控制器、全球定位系统、末端执行器及激光测距仪；
当飞行平台识别出树洞后，对树洞的坐标数据进行测量，并测量自身的飞行器姿态数据；所述卡尔曼滤波器通过树洞坐标数据和飞行器姿态数据对飞行平台姿态进行预测，并通过惯性测量单元和多个传感器的检测数据来优化预测结果。
3.根据权利要求2所述的一种微型树洞检测飞行器，其特征在于：所述飞行平台处还设有自动控制器；当遥控端收到飞行平台检测树洞成功的信息后，遥控端激活自动控制器的导航功能，使自动控制器把飞行器导航至树洞前方并悬停；遥控端遥控飞行器的多自由度机械臂展开以把其末端执行器插入树洞中来获得树洞内部影像。
4.根据权利要求3所述的一种微型树洞检测飞行器，其特征在于：所述机械臂具有三个自由度；所述执行器包括深度相机、LED灯和激光测距仪；当机械臂工作时机，机械臂的螺距固定以限制其在飞行平台处移动。
5.一种微型树洞检测飞行器的控制方法，其特征在于：权利要求4中的飞行器，其机载控制模块为机载计算设备，用于承载飞行器的树洞检测功能和飞行控制功能；在树洞检查过程中，遥控端的操作者通过图形界面与飞行平台交互；所述控制方法包括以下方法；
方法一、所述遥控端根据深度图像的分析结果向受控端的飞行平台提供深度图像时，所述机载控制模块通过树洞检测算法在深度图像中找到坐标轴C中树洞的3D位置，具体方法是根据检测传感器生成的点云，将3D空间划分为八叉树数据结构，运用八叉树和树洞检测算法来确定树洞的3D位置、改进测量结果并估算树洞的大概尺寸；同时卡尔曼滤波器使用测得的树洞位置和飞行器姿态数据，持续估算树洞相对于飞行器坐标轴V的位置；
方法二、当机械臂展开并把其末端的执行器探入树洞时，所述机载控制模块通过激光测距仪测量执行器与树洞内壁的距离，并根据测量结果对机械臂控制以防止树洞检测作业对树洞和执行器造成损伤；同时执行器通过自带的伺服电机在树洞内旋转，并以LED灯对树洞内部照明，使深度相机可获取树洞内的完整立体图像，该立体图像可用于3D建模；
方法三、所述飞行平台工作时，机载控制模块通过设立世界坐标系W来确定飞行平台的起始位置和方向；飞行平台坐标V刚性连接于飞行器底座上，立体相机坐标系C参照坐标系V建立，其原点的位置和方位于检测传感器的中心；所述机械臂坐标系M的原点位于机械臂的底部，可用于机械臂控制。
6.根据权利要求5所述的一种微型树洞检测飞行器的控制方法，其特征在于：在方法一中，遥控端分析深度图像有五个流程：图像分割、二值化、轮廓提取、椭圆拟合、树洞检测；
用户在深度图像中标记一个位于树干的任意点以创建种子点PS＝[xS,yS,zS]T，其中xS,yS是标记点的坐标值，zS为深度值；
在图像分割流程中，使用固定K值的K-means聚类算法按深度对图像进行分割；质心最接近PS的点集被认为是树干点集Ctree；将比阈值tt更接近Ctree的点集与Ctree合并，以进一步确定树干点集；设深度最小的质心属于机械臂点集Cman；将比阈值tm更接近Cman的点集与Cman结合以最终确认机械臂点集；并将Cman和Ctree合并形成一个最终的树干点集Ctm，以避免了误操作导致树枝的断裂；
在二值化流程中，根据图像点是否属于Ctm以及小型树洞是否因腐蚀等原因堵塞，来创建二值图像；
在轮廓提取流程中，使用轮廓检测算法从二值图像中提取轮廓，包含PS且未被另一个轮廓包围的轮廓被确定为树的轮廓；
在椭圆拟合流程中，使用最小二乘法拟合这些树洞，这可能导致一个树洞对应多个拟合结果；符合任何以下条件之一的椭圆形拟合结果将会被舍弃：拥有最大宽度、拥有最大高度、宽度与高度之比太大、沿着任何树形边缘；除去被舍弃的结果之后，余下中面积最大的椭圆Emax将会被最终选择为拟合结果；因为它最不可能是由于图像噪声引起的；
在树洞检测流程中，根据图像坐标系Emax的中心点、树枝的平均深度和固有相机参数，计算树洞在相机坐标系C中的实际3D位置；后续对每个深度图像都重复此步骤，只是必须在开始时计算一个新的种子点PS；树洞检测流程计算前一棵树轮廓的矩以找到其质心，如果质心的深度在前一种子点深度的阈值td内，则将其选作新的种子点；否则，将在质心的紧邻范围内搜索具有足够相似深度的点。如果找不到新的种子点，则跳过该帧图像。
7.根据权利要求5所述的一种微型树洞检测飞行器的控制方法，其特征在于：在方法二中，通过点云对树洞检测进行优化，即执行器探入树洞时，所述机载控制模块通过激光测距仪的测量结果对机械臂控制，以防止树洞检测作业对树洞和执行器造成损伤；具体为，
找到树洞内最大的长方体，以便更加准确地确定树洞的面积及深度；从以中心为PC的长方体开始计算，然后反复查证不断增大体积的长方体中是否有任何点符合拟合要求，直到它和树洞达到最大接触点数为止；如果最大拟合立方体体积小于插入末端执行器所需的空间，则拒绝树洞测量，否则将这个长方体的中心(xb,yb)作为新估计点PC＝[xb,yb,zb]T；
然后通过查询位于PC周围的长方体中的所有点，并在大于x和y方向上的最大拟合长方体的范围来提取树洞邻近点；树洞坐标系的z轴等于树洞邻点zb的平均深度，而不是树洞上所有点深度的平均值；在相机坐标系C中的测得的树洞新位置为PC＝[xb,yb,zb]T；
所述树洞检测的法线求解方法为，设树干临近树洞的区域大约是平整的；通过树洞邻点拟合平面，便可求出其法线N。
8.根据权利要求5所述的一种微型树洞检测飞行器的控制方法，其特征在于：在方法一中，使用卡尔曼滤波器生成对树洞位置的连续估计；具体为，
卡尔曼滤波器的状态参数xt＝[xt,yt,zt]是坐标系V中某一时间t对应的树洞位置，其初始值为：x0＝[x0,y0,z0]＝pc0；其中pc0是从坐标系V转换至坐标系C后，对树洞3D位置的第一个测量值；卡尔曼滤波器的基本模型由下式给出：
Figure FDA0002732318220000041
zt＝xt+vt (公式1-2)
其中wt～N(0,Qt)是过程噪声，vt～N(0,Jt)是测量噪声，并且
Figure FDA0002732318220000042
和
Figure FDA0002732318220000043
分别是从时间t-1到时间t坐标系V下的的旋转和平移矩阵；其可以根据时间t和t-1处的飞行器姿态来表示，如下所示：
Figure FDA0002732318220000044
Figure FDA0002732318220000045
其中
Figure FDA0002732318220000046
是当时间t时坐标系V到坐标系W的旋转变换，这对应于t时刻的飞行器方向；
Figure FDA0002732318220000047
是当时间t时坐标系V到坐标系W的旋转变换，其对应于t时刻的飞行器位置；
在连续估计的方法中，预测步骤会以100Hz的频率在坐标系V中估计树洞的位置；在任何时候，测量步骤会与基于视觉的树洞检测系统测得的树洞一个可用位置值合并；即使没有新的视觉测量数据，也可使系统在几秒钟的时间内估计树洞位置，并减少错误树洞检测的影响；所述卡尔曼滤波器以100Hz的频率生成在坐标系V中树洞位置的估计值。
9.根据权利要求8所述的一种微型树洞检测飞行器的控制方法，其特征在于：在方法三中，机载控制模块会使用坐标系V中的估计树洞位置和期望树洞位置以及当前飞行器位置信息，来计算飞行器在坐标系W中的位置；通过使用当前飞行器姿态数据将树洞法线转换至坐标系W，可以计算出坐标系W中的所需飞行器航向、飞行器位置、航向数据作为命令发送到线性飞行器姿态控制器，从而悬停在树洞前；同时高级控制器还会发出命令，以改变坐标系V中所需的末端执行器位置，即在坐标系V中估计树洞位置及在x方向上的深度，并用一阶过滤器过滤；使用机械臂运动规律将它们转换为角度命令，并发送到机械臂硬件接口，以使机械臂便可伸入树洞进行检测。
10.根据权利要求9所述的一种微型树洞检测飞行器的控制方法，其特征在于：在方法三中，对机械臂控制时，定义关节长Lj,j＝1，...，6，角度qm＝(q1,q2)，α是末端执行器和机械臂的操纵杆之间的固定角度，操纵杆闭合位置c＝(xp,yp)，末端执行器位置e＝(xe,ye)；为了计算有效的机械臂控制方案的配置，可使用方法为：给定所需的末端执行器位置eref，并通过用圆心为eref、半径为L6的半圆来计算eref的机械臂闭合位置ci；对于所有可能的ci，使用已知的平面三角机械臂逆运动规律来计算所生成的角qm、i；然后使用正向运动规律，计算出最终的末端执行器位置ei；最后选择ei和eref之间误差最小的配置及相应的角度qm，i。
CN202011122594.5A 2020-10-20 2020-10-20 一种微型树洞检测飞行器及控制方法 Active CN112148032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011122594.5A CN112148032B (zh) 2020-10-20 2020-10-20 一种微型树洞检测飞行器及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011122594.5A CN112148032B (zh) 2020-10-20 2020-10-20 一种微型树洞检测飞行器及控制方法

Publications (2)

Publication Number Publication Date
CN112148032A true CN112148032A (zh) 2020-12-29
CN112148032B CN112148032B (zh) 2023-04-18

Family

ID=73953999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011122594.5A Active CN112148032B (zh) 2020-10-20 2020-10-20 一种微型树洞检测飞行器及控制方法

Country Status (1)

Country Link
CN (1) CN112148032B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106249748A (zh) * 2016-08-29 2016-12-21 联想(北京)有限公司 一种设备形态控制方法及受控运动设备
US20170231213A1 (en) * 2016-02-17 2017-08-17 International Business Machines Corporation Pest abatement utilizing an aerial drone
CN107309872A (zh) * 2017-05-08 2017-11-03 南京航空航天大学 一种带有机械臂的飞行机器人及其控制方法
WO2017197109A1 (en) * 2016-05-12 2017-11-16 Fryshman Bernard Object image recognition and instant active response with enhanced application and utility
CN108408082A (zh) * 2018-02-11 2018-08-17 西安航空学院 一种用于大飞机垂尾裂纹探测的无人机及其操作方法
WO2019029099A1 (zh) * 2017-08-11 2019-02-14 浙江大学 基于图像梯度联合优化的双目视觉里程计算方法
CN110443970A (zh) * 2019-08-12 2019-11-12 西安航空学院 一种智能森林防火系统
CN110553633A (zh) * 2018-06-01 2019-12-10 中国电建集团华东勘测设计研究院有限公司 一种基于无人机的树木种植测量放样装置及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170231213A1 (en) * 2016-02-17 2017-08-17 International Business Machines Corporation Pest abatement utilizing an aerial drone
WO2017197109A1 (en) * 2016-05-12 2017-11-16 Fryshman Bernard Object image recognition and instant active response with enhanced application and utility
CN106249748A (zh) * 2016-08-29 2016-12-21 联想(北京)有限公司 一种设备形态控制方法及受控运动设备
CN107309872A (zh) * 2017-05-08 2017-11-03 南京航空航天大学 一种带有机械臂的飞行机器人及其控制方法
WO2019029099A1 (zh) * 2017-08-11 2019-02-14 浙江大学 基于图像梯度联合优化的双目视觉里程计算方法
US20190333231A1 (en) * 2017-08-11 2019-10-31 Zhejiang University Stereo visual odometry method based on image gradient joint optimization
CN108408082A (zh) * 2018-02-11 2018-08-17 西安航空学院 一种用于大飞机垂尾裂纹探测的无人机及其操作方法
CN110553633A (zh) * 2018-06-01 2019-12-10 中国电建集团华东勘测设计研究院有限公司 一种基于无人机的树木种植测量放样装置及方法
CN110443970A (zh) * 2019-08-12 2019-11-12 西安航空学院 一种智能森林防火系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙中宇 等: "轻小型无人机低空遥感及其在生态学中的应用进展", 《应用生态学报》 *

Also Published As

Publication number Publication date
CN112148032B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
EP3903164B1 (en) Collision avoidance system, depth imaging system, vehicle, map generator, amd methods thereof
JP6487010B2 (ja) ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末
JP6235716B2 (ja) ある環境内で無人航空機を制御する方法、及び、ある環境内で無人航空機を制御するシステム
CN110622087A (zh) 沿飞行路线自主检测和跟随地形高度
EP3616159A1 (en) Calibration of laser sensors
US11922819B2 (en) System and method for autonomously landing a vertical take-off and landing (VTOL) aircraft
CN111615677B (zh) 一种无人机的安全降落方法、装置、无人机及介质
US10937325B2 (en) Collision avoidance system, depth imaging system, vehicle, obstacle map generator, and methods thereof
CN110570463B (zh) 一种目标状态估计方法、装置和无人机
JP2019504418A (ja) 移動物体の位置を判定するための方法およびシステム
CN109556598B (zh) 一种基于超声波传感器阵列的自主建图与导航定位方法
JP7112066B2 (ja) 自律移動ロボット及びその制御方法
WO2022126396A1 (zh) 状态信息确定方法、装置、平台及计算机可读存储介质
Lamers et al. Self-supervised monocular distance learning on a lightweight micro air vehicle
WO2024004722A1 (ja) 電子機器、制御方法および制御プログラム
CN112148032B (zh) 一种微型树洞检测飞行器及控制方法
CN110231035B (zh) 攀爬移动机器人路径引导方法
KR102249485B1 (ko) 로봇 자율주행 시스템 및 방법
Holmberg et al. LiDAR positioning for indoor precision navigation
CN112731335A (zh) 一种基于全区域激光扫描的多无人机协作定位方法
CN109240338B (zh) 基于超声波传感器阵列的无人机自主降落方法
Andert et al. A fast and small 3-d obstacle model for autonomous applications
Shen et al. Autonomous Obstacle Avoidance for UAV based on Point Cloud
Zhao 3D Obstacle Avoidance for Unmanned Autonomous System (UAS)
WO2024004723A1 (ja) 電子機器、制御方法および制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant