CN110362098A - 无人机视觉伺服控制方法、装置以及无人机 - Google Patents
无人机视觉伺服控制方法、装置以及无人机 Download PDFInfo
- Publication number
- CN110362098A CN110362098A CN201810252649.0A CN201810252649A CN110362098A CN 110362098 A CN110362098 A CN 110362098A CN 201810252649 A CN201810252649 A CN 201810252649A CN 110362098 A CN110362098 A CN 110362098A
- Authority
- CN
- China
- Prior art keywords
- image
- unmanned plane
- flight
- coordinate
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000000007 visual effect Effects 0.000 claims abstract description 75
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 37
- 230000004888 barrier function Effects 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种无人机视觉伺服控制方法、装置以及无人机，其中的方法包括：在飞行空域图像中确定地面目标以及与地面目标相对应的期望目标位置，根据路径规划算法以及多种约束条件计算出到达期望目标位置的三维飞行轨迹，将三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹，基于二维飞行轨迹对无人机进行导航并对无人机进行视觉伺服控制。本发明的方法、装置以及无人机，在进行路径规划时综合了多种约束，基于二维飞行轨迹进行导航并对无人机进行视觉伺服控制，具有绕过障碍物的能力，摄像机采集到的图像特征信息直接用于反馈并进行伺服控制,不需要对无人机的三维姿态进行估计，能够降低视觉伺服控制方法的复杂度，提高无人机飞行的安全性。
Description
技术领域
本发明涉及无人机技术领域，尤其涉及一种无人机视觉伺服控制方法、装置以及无人机。
背景技术
基于视觉反馈的运动控制被称为视觉伺服控制。现有的视觉伺服系统主要包括视觉系统、控制策略和实现策略三个方面，其控制目标是将任务函数调节到最小。通过视觉伺服控制技术可以建立起视觉、控制和运动规划之间的桥梁。当前，无人机也采用了视觉伺服控制技术进行定位、导航。视觉伺服控制技术的一个关键问题是视觉伺服系统必须能够获取到目标或者特征点，即目标要一直处在无人机的机载相机的可见范围内，实现视场(FOV)约束。现有的视觉伺服控制技术在伺服控制过程中设计复杂的控制方法满足FOV约束，例如自适应IBVS、输入饱和IBVS等。为了避免视觉伺服控制过程中可能存在的伺服目标难以满足视野约束的情况，需要保证没有其他的障碍物阻断机载相机和目标物之间的视线，但是，现有的视觉伺服方法难以满足远距离有障碍的视觉伺服任务的要求。
发明内容
本发明的一个或多个实施例提供一种无人机视觉伺服控制方法、装置以及无人机。
根据本公开的一个方面，提供一种无人机视觉伺服控制方法，包括：获取无人机的机载图像采集装置采集的飞行空域图像；在所述飞行空域图像中确定地面目标以及与所述地面目标相对应的期望目标位置；根据预设的路径规划算法以及约束条件计算出到达所述期望目标位置的三维飞行轨迹；将所述三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹；基于所述二维飞行轨迹对无人机进行导航并对无人机进行视觉伺服控制，以使无人机到达所述期望目标位置。
可选地，所述根据预设的路径规划算法以及约束条件计算出到达所述期望目标位置的三维飞行轨迹包括：设置与所述约束条件相对应的飞行约束规则，其中，所述飞行约束规则包括：视野约束规则、障碍物约束规则、边界约束规则；根据所述路径规划算法以及所述飞行约束规则计算出所述三维飞行轨迹。
可选地，设置所述视野约束规则包括：获取无人机的飞行位置在世界坐标系中的三维坐标；将所述三维坐标投影在所述图像坐标系中，获得二维坐标；获取所述地面目标在所述世界坐标系中的三维坐标投影在所述图像坐标系中的坐标值范围；基于所述坐标值范围以及二维坐标确定所述视野约束规则，其中，所述视野约束规则包括：所述二维坐标的坐标值在所述坐标值范围之内。
可选地，所述将所述三维坐标投影在所述图像坐标系中、获得二维坐标包括：获取与所述机载图像采集装置相对应的相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵；基于所述旋转矩阵和所述平移矩阵获得将三维坐标转换为二维坐标的变换矩阵；通过所述变换矩阵将所述三维坐标转换为所述二维坐标。
可选地，设置所述障碍物约束规则包括：获取无人机飞行方向上的障碍物的中心位置；确定能够包围所述障碍物的外接圆的半径，将所述半径设置为与所述障碍物相对应的障碍物距离阈值；计算无人机的飞行位置与所述中心位置之间的障碍物距离；确定所述障碍物约束规则包括：所述障碍物距离大于所述障碍物距离阈值。
可选地，确定所述障碍物距离为无人机的飞行位置与所述中心位置之间的空间距离在所述图像坐标系中的投影距离。
可选地，所述设置所述边界约束规则包括：设置与无人机的飞行参数相对应的第一参数值范围、与无人机的位置参数相对应的第二参数值范围；确定所述视野约束规则包括：无人机在飞行中的飞行参数值在所述第一参数值范围之内、位置参数值在所述第二参数值范围之内；其中，所述位置参数包括：无人机的在世界坐标系中的三维坐标值；所述飞行参数包括：偏航角。
可选地，所述路径规划算法包括：快速扩展随机树算法。
可选地，所述对无人机进行视觉伺服控制包括：获取所述机载图像采集装置位于所述期望位置对于所述地面目标拍摄的第一图像；在对无人机导航过程中，获取所述机载图像采集装置对所述地面目标拍摄的第二图像；将所述第一图像与所述第二图像进行匹配，获得所述第一图像与所述第二图像之间的偏差，基于所述偏差以及预设的伺服控制规则获得控制参数的调整值；基于所述调整值对相应的控制参数进行调整处理，其中，所述控制参数包括：飞行位置、飞行速度、航偏角。
可选地，所述将所述第一图像与所述第二图像进行匹配、获得所述第一图像与所述第二图像之间的偏差包括：设置与所述地面目标相对应的标定区域；获取所述标定区域在所述第一图像中的期望图像特征以及所述标定区域在所述第二图像中的图像特征；将所述期望图像特征与所述图像特征进行匹配，获取所述偏差。
根据本发明的另一方面，提供一种无人机视觉伺服控制装置，包括：图像获取模块，用于获取无人机的机载图像采集装置采集的飞行空域图像；目标确定模块，用于在所述飞行空域图像中确定地面目标以及与所述地面目标相对应的期望目标位置；路径规划模块，用于根据预设的路径规划算法以及约束条件计算出到达所述期望目标位置的三维飞行轨迹；路径转换模块，用于将所述三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹；飞行导航模块，用于基于所述二维飞行轨迹对无人机进行导航；伺服控制模块，用于对无人机进行视觉伺服控制，以使无人机到达所述期望目标位置。
可选地，所述路径规划模块，用于设置与所述约束条件相对应的飞行约束规则，其中，所述飞行约束规则包括：视野约束规则、障碍物约束规则、边界约束规则；根据所述路径规划算法以及所述飞行约束规则计算出所述三维飞行轨迹。
可选地，所述路径规划模块，包括：视野约束设置单元，用于获取无人机的飞行位置在世界坐标系中的三维坐标；将所述三维坐标投影在所述图像坐标系中，获得二维坐标；获取所述地面目标在所述世界坐标系中的三维坐标投影在所述图像坐标系中的坐标值范围；基于所述坐标值范围以及二维坐标确定所述视野约束规则，其中，所述视野约束规则包括：所述二维坐标的坐标值在所述坐标值范围之内。
可选地，所述视野约束设置单元，用于获取与所述机载图像采集装置相对应的相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵；基于所述旋转矩阵和所述平移矩阵获得将三维坐标转换为二维坐标的变换矩阵；通过所述变换矩阵将所述三维坐标转换为所述二维坐标。
可选地，所述路径规划模块，包括：障碍物约束设置单元，用于获取无人机飞行方向上的障碍物的中心位置；确定能够包围所述障碍物的外接圆的半径，将所述半径设置为与所述障碍物相对应的障碍物距离阈值；计算无人机的飞行位置与所述中心位置之间的障碍物距离；确定所述障碍物约束规则包括：所述障碍物距离大于所述障碍物距离阈值。
可选地，所述障碍物约束设置单元，用于确定所述障碍物距离为无人机的飞行位置与所述中心位置之间的空间距离在所述图像坐标系中的投影距离。
可选地，所述路径规划模块，包括：边界约束设置单元，用于设置与无人机的飞行参数相对应的第一参数值范围、与无人机的位置参数相对应的第二参数值范围；确定所述视野约束规则包括：无人机在飞行中的飞行参数值在所述第一参数值范围之内、位置参数值在所述第二参数值范围之内；其中，所述位置参数包括：无人机的在世界坐标系中的三维坐标值；所述飞行参数包括：偏航角。
可选地，所述路径规划算法包括：快速扩展随机树算法。
可选地，所述伺服控制模块，用于获取所述机载图像采集装置位于所述期望位置对于所述地面目标拍摄的第一图像；在对无人机导航过程中，获取所述机载图像采集装置对所述地面目标拍摄的第二图像；将所述第一图像与所述第二图像进行匹配，获得所述第一图像与所述第二图像之间的偏差，基于所述偏差以及预设的伺服控制规则获得控制参数的调整值；基于所述调整值对相应的控制参数进行调整处理，其中，所述控制参数包括：飞行位置、飞行速度、航偏角。
可选地，所述伺服控制模块，用于设置与所述地面目标相对应的标定区域；获取所述标定区域在所述第一图像中的期望图像特征以及所述标定区域在所述第二图像中的图像特征；将所述期望图像特征与所述图像特征进行匹配，获取所述偏差。
根据本发明的又一方面，提供一种无人机视觉伺服控制装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的方法。
根据本发明的又一方面，提供一种无人机，包括：如上所述的无人机视觉伺服控制装置。
根据本发明的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现如上所述的方法的步骤。
本公开的无人机视觉伺服控制方法、装置以及无人机，根据路径规划算法以及多种约束条件计算出到达期望目标位置的三维飞行轨迹，将三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹，基于二维飞行轨迹对无人机进行导航并对无人机进行视觉伺服控制；在进行路径规划时综合了障碍物约束、视野约束及边界约束等，将三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹，基于二维飞行轨迹对无人机进行导航，形成的二维飞行轨迹具有绕过障碍物的能力，摄像机采集到的图像特征信息直接用于反馈并进行伺服控制,不需要对无人机的三维姿态进行估计，可以满足远距离有障碍的视觉伺服任务，并能够降低视觉伺服控制方法的复杂度，提高无人机飞行的安全性。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本公开的无人机视觉伺服控制方法的一个实施例的流程示意图；
图2为根据本公开的无人机视觉伺服控制方法的一个实施例中的摄像机坐标系与图像坐标系的示意图；
图3为根据本公开的无人机视觉伺服控制方法的一个实施例中的障碍物约束的示意图；
图4A为根据本公开的无人机视觉伺服控制方法的一个实施例中的三维飞行轨迹的示意图；图4B为根据本公开的无人机视觉伺服控制方法的一个实施例中的在图像坐标系中的目标特征点投影的示意图；图4C为根据本公开的无人机视觉伺服控制方法的一个实施例中的在图像坐标系中的目标特征点轨迹的示意图；
图5为根据本公开的无人机视觉伺服控制装置的一个实施例中的视觉伺服控制原理示意图；
图6为根据本公开的无人机视觉伺服控制装置的一个实施例的模块示意图；
图7为根据本公开的无人机视觉伺服控制装置的一个实施例的路径规划模块的模块示意图；
图8为根据本公开的无人机视觉伺服控制系统的另一个实施例的模块示意图。
具体实施方式
下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
图1为根据本公开的无人机视觉伺服控制方法的一个实施例的流程示意图，如图1所示：
步骤101，获取无人机的机载图像采集装置采集的飞行空域图像。机载图像采集装置可以摄像机等。
步骤102，在飞行空域图像中确定地面目标以及与地面目标相对应的期望目标位置。期望目标位置为地面目标上方的某一位置，为导航的终点。
步骤103，根据预设的路径规划算法以及约束条件计算出到达期望目标位置的三维飞行轨迹。
三维飞行轨迹可以为无人机的速度与飞行位置的对应轨迹，即速度轨迹。约束条件可以为视野约束、障碍物约束、边界约束等。可以设置与约束条件相对应的飞行约束规则，包括：视野约束规则、障碍物约束规则、边界约束规则等。
步骤104，将三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹。
步骤105，基于二维飞行轨迹对无人机进行导航并对无人机进行视觉伺服控制，以使无人机到达期望目标位置。
上述实施例中的无人机视觉伺服控制方法，在进行路径规划时综合了路径规划过程中的障碍物约束、视野约束及边界约束等，将三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹，基于二维飞行轨迹对无人机进行导航并对无人机进行视觉伺服控制，能够降低视觉伺服控制方法的复杂度。
在一个实施例中，路径规划算法可以采用多种现有算法，例如快速扩展随机树算法等。快速扩展随机树是一种搜索结构，通过快速缩短搜索结构中的结点与随机选择点之间期望距离的方式进行增量构造。使用快速扩展随机树算法计算到达期望目标位置的三维飞行轨迹。
无人机的机载图像采集装置为摄像机，如图2所示，在摄像机坐标系中，摄像机光心作为摄像机坐标系的原点，摄像机光轴与ZC轴重合。图像坐标系可以分为图像物理坐标系及图像像素坐标系，在图像物理坐标系之中，原点是由像平面与光栅之间的焦点进行确定，坐标系的单位为毫米。在图像像素坐标系之中，原点是由图像的左上角进行确定，坐标的单位为像素。
世界坐标系是系统的绝对坐标系，获取无人机的飞行位置在世界坐标系中的三维坐标，将三维坐标投影在图像坐标系中，获得二维坐标。获取地面目标在世界坐标系中的三维坐标投影在图像坐标系中的坐标值范围，基于坐标值范围以及二维坐标确定视野约束规则为二维坐标的坐标值在坐标值范围之内。
将三维坐标投影在图像坐标系中并获得二维坐标可以采用现有的多种方法。例如，获取与机载图像采集装置相对应的相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵，基于旋转矩阵和平移矩阵获得将三维坐标转换为二维坐标的变换矩阵，通过变换矩阵将三维坐标转换为二维坐标。
例如，摄像机固定在四旋翼的无人机的正下方，地面上的目标可以假定为具有四个特征点的矩形形状，可以通过调整无人机的空间位置和偏航角完成视觉伺服控制。特征点空间的维数为4，在快速扩展随机树路径规划任务中，结点维数也是4。通过规划摄像机的位姿的三维轨迹，即可获得无人机的三维飞行轨迹，通过坐标转换关系得到无人机在图像坐标系中的运动信息。
摄像机位姿向量q用于描述摄像机的位置(x,y,z)和偏航角Ψ。摄像机在i点处的位姿向量为qi＝(ψi,ti)，其中，ti＝(xi,yi,zi)，为在无人机的位置在世界坐标系中的坐标，ψi为无人机在i点处的航偏角。使用透视投影原理将世界坐标系中的目标特征点通过相机的某一个中间位姿qi投影到图像平面上，图像平面上的特征点坐标为使用透视相机模型与内部参数K的图像空间的投影公式为：
mi j＝KTi 0M|j (1-1)；
其中，变换矩阵是由当前相机坐标系到世界坐标系I的旋转矩阵R0和t0计算获得，可以采用现有的计算方法。检查投影点是否处在摄像机的视野范围以内的公式如下所示：
其中，[umin，umax]和[vmin，vmax]为地面目标的特征点在图像坐标系中的投影坐标值的范围，代表视觉约束的边界值，N代表特征点的个数，例如N＝4。u和v表示地面目标的特征点在图像平面上的投影坐标，图像平面属于二维平面。例如，Umin和Umax表示地面目标的特征点在图像坐标系中X轴上的投影值的最小值和最大值，当地面目标的特征点在图像坐标系中X轴上的投影值不在此范围内，则确定摄像机不能拍摄到此地面目标了。
在一个实施例中，视觉约束能保证地面目标处在摄像机的前方，在摄像机移动过程中由于障碍物造成的目标特征点的阻挡问题，可以利用摄像机光轴到目标的连线不被障碍物阻断来解决，即障碍物边缘到相机光轴的距离大于0，如图3所示，障碍物约束可以使规划的路径不进入障碍物区域。
获取无人机飞行方向上的障碍物的中心位置，确定能够包围障碍物的外接圆的半径，外接圆可以为最小外接圆。将半径设置为与障碍物相对应的障碍物距离阈值，计算无人机的飞行位置与中心位置之间的障碍物距离，确定障碍物约束规则为障碍物距离大于障碍物距离阈值。障碍物距离可以为无人机的飞行位置与中心位置之间的空间距离在图像坐标系中的投影距离。
例如，确定障碍物约束规则为：
||qnew.ti-Oobstacle||＞ra (1－3)；
其中，qnew.ti＝(xi，yi，zi)T为无人机在规划线路上的新位置坐标，表示无人机新的位置,Oobstacle＝(x0，y0，z0)T为障碍物中心，ra为能够包围障碍物的最小外接圆半径，例如r＝1等。
在一个实施例中，设置与无人机的飞行参数相对应的第一参数值范围、与无人机的位置参数相对应的第二参数值范围。确定视野约束规则包括：无人机在飞行中的飞行参数值在第一参数值范围之内、位置参数值在第二参数值范围之内。位置参数包括：无人机的在世界坐标系中的三维坐标值等，飞行参数包括：偏航角等。
例如，设置无人机飞行过程中的边界约束条件为：
其中，X,Y,Z为无人机的飞行位置在世界坐标系中的坐标值，Xmax、Ymax、Zmax为设定的无人机的飞行位置在世界坐标系中的坐标最大值。
在获得障碍物约束、视觉约束以及边界约束后，可以采用多种方法根据三个约束并基于快速扩展随机树的路径规划方法生成满足多种约束的无人机的三维飞行轨迹。例如，使用模型预测控制算法，给出控制模型并考虑约束条件，使用现有的多种软件进行求解具有多约束的最优三维飞行轨迹，地面目标时刻在机载摄像机的视野范围内。
在一个实施例中，在获得障碍物约束、阻挡约束及边界约束后，根据三个约束并基于快速扩展随机树的路径规划方法生成速度轨迹，根据路径规划算法找到误差允许范围内的可适路径，如图4A所示。在图4A中，无人机逐渐改变自己的偏航角，最后到达伺服目标(地面目标)的正上方，即期望位姿。将三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹，对应地面目标的4个点在图像坐标系中的投影如如图4B所示，连续的图像特征点轨迹如图4C所示,地面目标时刻在机载摄像机的视野单位内。
在获得障碍物约束、阻挡约束及边界约束后，根据三个约束并基于快速扩展随机树的路径规划方法生成三维路径，然后将三维路径投影到到图像坐标系，基于图像视觉伺服控制并按照图像平面的二维路径进行导航控制，达到目标位置。如果目标降落点附近有一些树木，采用本发明的路径规划算法，形成的路径具有绕过树木的能力，而使用现有的路径规划，则无人机在降落过程中有撞到树木的风险。
在一个实施例中，将三维空间中规划的路径投影到二维图像平面，利用基于图像的视觉伺服控制方法设计闭环控制律，视觉伺服控制方法的原理图如图5所示。计算初始位置到目标位置在图像空间中可行的特征轨迹,然后利用视觉伺服控制方法跟踪这些特征点，通过图像获取和视觉处理得到合适的视觉反馈信息,再由控制器得到无人机的控制输入，设计最优控制律完成无人机的自主跟踪控制。
获取机载图像采集装置位于期望位置对于地面目标拍摄的第一图像。在对无人机导航过程中，获取机载图像采集装置对地面目标拍摄的第二图像。将第一图像与第二图像进行匹配，获得第一图像与第二图像之间的偏差，基于偏差以及预设的伺服控制规则获得控制参数的调整值，基于调整值对相应的控制参数进行调整处理。伺服控制规则可以为多种规则，用于根据偏差对不同的控制参数进行相应的调整，控制参数包括：飞行位置、飞行速度、航偏角等。
可以设置与地面目标相对应的标定区域，获取标定区域在第一图像中的期望图像特征以及标定区域在第二图像中的图像特征，图像特征即位于标定区域内的特征点的图像特征。将期望图像特征与图像特征进行匹配，获取偏差，偏差可以为像素差等。图像特征可以为特征点、线段、面积、质心和高阶矩、图像中线参数、椭圆参数、多边形参数等，例如，降落区域是一个十字图标，那就选择多边形参数为特征。
上述实施例中的无人机视觉伺服控制方法，在进行视觉伺服控制时,其伺服误差直接定义在图像特征空间内，即摄像机采集到的图像特征信息直接用于反馈并进行伺服控制,不需要对无人机的三维姿态进行估计，对摄像机模型误差与运动学标定误差相对不敏感。
在一个实施例中，如图6所示，本发明提供一种无人机视觉伺服控制装置60，包括：图像获取模块61、目标确定模块62、路径规划模块63、路径转换模块64、飞行导航模块65和伺服控制模块66。
图像获取模块61获取无人机的机载图像采集装置采集的飞行空域图像。目标确定模块62在飞行空域图像中确定地面目标以及与地面目标相对应的期望目标位置。路径规划模块63根据预设的路径规划算法以及约束条件计算出到达期望目标位置的三维飞行轨迹，路径规划算法包括快速扩展随机树算法等。路径转换模块64将三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹。飞行导航模块65基于二维飞行轨迹对无人机进行导航。伺服控制模块66对无人机进行视觉伺服控制，以使无人机到达期望目标位置。
在一个实施例中，路径规划模块64设置与约束条件相对应的飞行约束规则，飞行约束规则包括：视野约束规则、障碍物约束规则、边界约束规则等。根据路径规划算法以及飞行约束规则计算出三维飞行轨迹。如图7所示，路径规划模块63包括：视野约束设置单元631、障碍物约束设置单元632和边界约束设置单元633。
视野约束设置单元631获取无人机的飞行位置在世界坐标系中的三维坐标，将三维坐标投影在图像坐标系中，获得二维坐标。视野约束设置单元631获取地面目标在世界坐标系中的三维坐标投影在图像坐标系中的坐标值范围，基于坐标值范围以及二维坐标确定视野约束规则，视野约束规则包括：二维坐标的坐标值在坐标值范围之内。
视野约束设置单元631获取与机载图像采集装置相对应的相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵，基于旋转矩阵和平移矩阵获得将三维坐标转换为二维坐标的变换矩阵，通过变换矩阵将三维坐标转换为二维坐标。
障碍物约束设置单元632获取无人机飞行方向上的障碍物的中心位置，确定能够包围障碍物的外接圆的半径，将半径设置为与障碍物相对应的障碍物距离阈值。障碍物约束设置单元632计算无人机的飞行位置与中心位置之间的障碍物距离，确定障碍物约束规则包括：障碍物距离大于障碍物距离阈值。确定障碍物距离可以为无人机的飞行位置与中心位置之间的空间距离在图像坐标系中的投影距离。
边界约束设置单元633设置与无人机的飞行参数相对应的第一参数值范围、与无人机的位置参数相对应的第二参数值范围。边界约束设置单元633确定视野约束规则包括：无人机在飞行中的飞行参数值在第一参数值范围之内、位置参数值在第二参数值范围之内，位置参数包括无人机的在世界坐标系中的三维坐标值；飞行参数包括偏航角等。
伺服控制模块66获取机载图像采集装置位于期望位置对于地面目标拍摄的第一图像。在对无人机导航过程中，伺服控制模块66获取机载图像采集装置对地面目标拍摄的第二图像，将第一图像与第二图像进行匹配，获得第一图像与第二图像之间的偏差，基于偏差以及预设的伺服控制规则获得控制参数的调整值。伺服控制模块66基于调整值对相应的控制参数进行调整处理，控制参数包括：飞行位置、飞行速度、航偏角等。
伺服控制模块66设置与地面目标相对应的标定区域，获取标定区域在第一图像中的期望图像特征以及标定区域在第二图像中的图像特征，伺服控制模块66将期望图像特征与图像特征进行匹配，获取偏差。
图8为根据本发明公开的无人机视觉伺服控制装置的另一个实施例的模块示意图。如图8所示，该装置可包括存储器81、处理器82、通信接口83以及总线84。存储器81用于存储指令，处理器82耦合到存储器81，处理器82被配置为基于存储器81存储的指令执行实现上述的无人机视觉伺服控制方法。
存储器81可以为高速RAM存储器、非易失性存储器(NoN-volatile memory)等，存储器81也可以是存储器阵列。存储器81还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器82可以为中央处理器CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明公开的无人机视觉伺服控制方法的一个或多个集成电路。
在一个实施例中，本发明提供一种无人机，包括如上任一实施例中的无人机视觉伺服控制装置。
在一个实施例中，本公开还提供一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一实施例涉及的无人机视觉伺服控制方法。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
上述实施例提供的无人机视觉伺服控制方法、装置以及无人机，根据路径规划算法以及多种约束条件计算出到达期望目标位置的三维飞行轨迹，将三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹，基于二维飞行轨迹对无人机进行导航并对无人机进行视觉伺服控制；在进行路径规划时综合了路径规划过程中的障碍物约束、视野约束及边界约束等，将三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹，基于二维飞行轨迹对无人机进行导航并对无人机进行视觉伺服控制；形成的二维飞行轨迹具有绕过障碍物的能力，摄像机采集到的图像特征信息直接用于反馈并进行伺服控制,不需要对无人机的三维姿态进行估计，对摄像机模型误差与运动学标定误差相对不敏感，可以满足远距离有障碍的视觉伺服任务，并能够降低视觉伺服控制方法的复杂度，提高无人机飞行的安全性。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。
Claims (23)
1.一种无人机视觉伺服控制方法，包括：
获取无人机的机载图像采集装置采集的飞行空域图像；
在所述飞行空域图像中确定地面目标以及与所述地面目标相对应的期望目标位置；
根据预设的路径规划算法以及约束条件计算出到达所述期望目标位置的三维飞行轨迹；
将所述三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹；
基于所述二维飞行轨迹对无人机进行导航并对无人机进行视觉伺服控制，以使无人机到达所述期望目标位置。
2.如权利要求1所述的方法，所述根据预设的路径规划算法以及约束条件计算出到达所述期望目标位置的三维飞行轨迹包括：
设置与所述约束条件相对应的飞行约束规则，其中，所述飞行约束规则包括：视野约束规则、障碍物约束规则、边界约束规则；
根据所述路径规划算法以及所述飞行约束规则计算出所述三维飞行轨迹。
3.如权利要求2所述的方法，设置所述视野约束规则包括：
获取无人机的飞行位置在世界坐标系中的三维坐标；
将所述三维坐标投影在所述图像坐标系中，获得二维坐标；
获取所述地面目标在所述世界坐标系中的三维坐标投影在所述图像坐标系中的坐标值范围；
基于所述坐标值范围以及二维坐标确定所述视野约束规则，其中，所述视野约束规则包括：所述二维坐标的坐标值在所述坐标值范围之内。
4.如权利要求3所述的方法，所述将所述三维坐标投影在所述图像坐标系中、获得二维坐标包括：
获取与所述机载图像采集装置相对应的相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵；
基于所述旋转矩阵和所述平移矩阵获得将三维坐标转换为二维坐标的变换矩阵；
通过所述变换矩阵将所述三维坐标转换为所述二维坐标。
5.如权利要求2所述的方法，设置所述障碍物约束规则包括：
获取无人机飞行方向上的障碍物的中心位置；
确定能够包围所述障碍物的外接圆的半径，将所述半径设置为与所述障碍物相对应的障碍物距离阈值；
计算无人机的飞行位置与所述中心位置之间的障碍物距离；
确定所述障碍物约束规则包括：所述障碍物距离大于所述障碍物距离阈值。
6.如权利要求5所述的方法，其中，
确定所述障碍物距离为无人机的飞行位置与所述中心位置之间的空间距离在所述图像坐标系中的投影距离。
7.如权利要求2所述的方法，所述设置所述边界约束规则包括：
设置与无人机的飞行参数相对应的第一参数值范围、与无人机的位置参数相对应的第二参数值范围；
确定所述视野约束规则包括：无人机在飞行中的飞行参数值在所述第一参数值范围之内、位置参数值在所述第二参数值范围之内；
其中，所述位置参数包括：无人机的在世界坐标系中的三维坐标值；所述飞行参数包括：偏航角。
8.如权利要求2所述的方法，其中，
所述路径规划算法包括：快速扩展随机树算法。
9.如权利要求1所述的方法，所述对无人机进行视觉伺服控制包括：
获取所述机载图像采集装置位于所述期望位置对于所述地面目标拍摄的第一图像；
在对无人机导航过程中，获取所述机载图像采集装置对所述地面目标拍摄的第二图像；
将所述第一图像与所述第二图像进行匹配，获得所述第一图像与所述第二图像之间的偏差，基于所述偏差以及预设的伺服控制规则获得控制参数的调整值；
基于所述调整值对相应的控制参数进行调整处理，其中，所述控制参数包括：飞行位置、飞行速度、航偏角。
10.如权利要求9所述的方法，所述将所述第一图像与所述第二图像进行匹配、获得所述第一图像与所述第二图像之间的偏差包括：
设置与所述地面目标相对应的标定区域；
获取所述标定区域在所述第一图像中的期望图像特征以及所述标定区域在所述第二图像中的图像特征；
将所述期望图像特征与所述图像特征进行匹配，获取所述偏差。
11.一种无人机视觉伺服控制装置，包括：
图像获取模块，用于获取无人机的机载图像采集装置采集的飞行空域图像；
目标确定模块，用于在所述飞行空域图像中确定地面目标以及与所述地面目标相对应的期望目标位置；
路径规划模块，用于根据预设的路径规划算法以及约束条件计算出到达所述期望目标位置的三维飞行轨迹；
路径转换模块，用于将所述三维飞行轨迹投影在图像坐标系中获得二维飞行轨迹；
飞行导航模块，用于基于所述二维飞行轨迹对无人机进行导航
伺服控制模块，用于对无人机进行视觉伺服控制，以使无人机到达所述期望目标位置。
12.如权利要求11所述的装置，其中，
所述路径规划模块，用于设置与所述约束条件相对应的飞行约束规则，其中，所述飞行约束规则包括：视野约束规则、障碍物约束规则、边界约束规则；根据所述路径规划算法以及所述飞行约束规则计算出所述三维飞行轨迹。
13.如权利要求12所述的装置，其中，
所述路径规划模块，包括：
视野约束设置单元，用于获取无人机的飞行位置在世界坐标系中的三维坐标；将所述三维坐标投影在所述图像坐标系中，获得二维坐标；获取所述地面目标在所述世界坐标系中的三维坐标投影在所述图像坐标系中的坐标值范围；基于所述坐标值范围以及二维坐标确定所述视野约束规则，其中，所述视野约束规则包括：所述二维坐标的坐标值在所述坐标值范围之内。
14.如权利要求13所述的装置，其中，
所述视野约束设置单元，用于获取与所述机载图像采集装置相对应的相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵；基于所述旋转矩阵和所述平移矩阵获得将三维坐标转换为二维坐标的变换矩阵；通过所述变换矩阵将所述三维坐标转换为所述二维坐标。
15.如权利要求12所述的装置，其中，
所述路径规划模块，包括：
障碍物约束设置单元，用于获取无人机飞行方向上的障碍物的中心位置；确定能够包围所述障碍物的外接圆的半径，将所述半径设置为与所述障碍物相对应的障碍物距离阈值；计算无人机的飞行位置与所述中心位置之间的障碍物距离；确定所述障碍物约束规则包括：所述障碍物距离大于所述障碍物距离阈值。
16.如权利要求15所述的装置，其中，
所述障碍物约束设置单元，用于确定所述障碍物距离为无人机的飞行位置与所述中心位置之间的空间距离在所述图像坐标系中的投影距离。
17.如权利要求12所述的装置，其中，
所述路径规划模块，包括：
边界约束设置单元，用于设置与无人机的飞行参数相对应的第一参数值范围、与无人机的位置参数相对应的第二参数值范围；确定所述视野约束规则包括：无人机在飞行中的飞行参数值在所述第一参数值范围之内、位置参数值在所述第二参数值范围之内；其中，所述位置参数包括：无人机的在世界坐标系中的三维坐标值；所述飞行参数包括：偏航角。
18.如权利要求12所述的装置，其中，
所述路径规划算法包括：快速扩展随机树算法。
19.如权利要求11所述的装置，其中，
所述伺服控制模块，用于获取所述机载图像采集装置位于所述期望位置对于所述地面目标拍摄的第一图像；在对无人机导航过程中，获取所述机载图像采集装置对所述地面目标拍摄的第二图像；将所述第一图像与所述第二图像进行匹配，获得所述第一图像与所述第二图像之间的偏差，基于所述偏差以及预设的伺服控制规则获得控制参数的调整值；基于所述调整值对相应的控制参数进行调整处理，其中，所述控制参数包括：飞行位置、飞行速度、航偏角。
20.如权利要求19所述的装置，其中，
所述伺服控制模块，用于设置与所述地面目标相对应的标定区域；获取所述标定区域在所述第一图像中的期望图像特征以及所述标定区域在所述第二图像中的图像特征；将所述期望图像特征与所述图像特征进行匹配，获取所述偏差。
21.一种无人机视觉伺服控制装置，包括：
存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至10中任一项所述的方法。
22.一种无人机，包括：
如权利要求11至20任一项所述的无人机视觉伺服控制装置。
23.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现权利要求1至10任意一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810252649.0A CN110362098B (zh) | 2018-03-26 | 2018-03-26 | 无人机视觉伺服控制方法、装置以及无人机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810252649.0A CN110362098B (zh) | 2018-03-26 | 2018-03-26 | 无人机视觉伺服控制方法、装置以及无人机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110362098A true CN110362098A (zh) | 2019-10-22 |
| CN110362098B CN110362098B (zh) | 2022-07-05 |
Family
ID=68211985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810252649.0A Active CN110362098B (zh) | 2018-03-26 | 2018-03-26 | 无人机视觉伺服控制方法、装置以及无人机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110362098B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989603A (zh) * | 2019-12-13 | 2020-04-10 | 苏州大学应用技术学院 | 一种起重机搬运作业路径规划方法 |
| CN111767843A (zh) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | 三维位置预测方法、装置、设备以及存储介质 |
| CN111897361A (zh) * | 2020-08-05 | 2020-11-06 | 广州市赛皓达智能科技有限公司 | 一种无人机自主航线规划方法及其系统 |
| CN112066992A (zh) * | 2020-09-09 | 2020-12-11 | 中国人民解放军国防科技大学 | 一种基于视场约束的反辐射无人机搜索航迹规划方法 |
| CN112180977A (zh) * | 2020-09-30 | 2021-01-05 | 苏州臻迪智能科技有限公司 | 一种轨迹规划方法、装置、存储介质及飞行器 |
| CN112419417A (zh) * | 2021-01-25 | 2021-02-26 | 成都翼比特自动化设备有限公司 | 一种基于无人机的拍照点定位方法及相关装置 |
| CN112947569A (zh) * | 2021-03-09 | 2021-06-11 | 中南大学 | 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 |
| CN113168188A (zh) * | 2020-04-28 | 2021-07-23 | 深圳市大疆创新科技有限公司 | 无人机控制方法、运动信息确定方法、装置及无人机 |
| CN113189875A (zh) * | 2021-04-29 | 2021-07-30 | 湖南大学 | 一种基于圆形特征的无人机在移动平台上鲁棒着陆方法 |
| CN113448345A (zh) * | 2020-03-27 | 2021-09-28 | 北京三快在线科技有限公司 | 一种无人机降落方法及装置 |
| CN113467503A (zh) * | 2021-07-26 | 2021-10-01 | 广东电网有限责任公司 | 一种输电线路巡检机器人增稳控制方法及装置 |
| CN113485401A (zh) * | 2021-07-26 | 2021-10-08 | 广东电网有限责任公司 | 一种基于视觉反馈的巡检机器人悬停控制方法及装置 |
| CN114355984A (zh) * | 2022-03-18 | 2022-04-15 | 北京卓翼智能科技有限公司 | 系留无人机的控制方法、控制装置、控制器及存储介质 |
| CN114442671A (zh) * | 2022-02-15 | 2022-05-06 | 中国民航工程咨询有限公司 | 一种应急路径规划方法及装置 |
| CN114675670A (zh) * | 2022-04-02 | 2022-06-28 | 广东工业大学 | 一种基于相对定位的无人机自主穿越框型障碍物方法 |
| WO2022141955A1 (zh) * | 2020-12-31 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 无人机控制方法、装置及计算机可读存储介质 |
| WO2022199344A1 (zh) * | 2021-03-24 | 2022-09-29 | 北京三快在线科技有限公司 | 无人机降落 |
| CN115357047A (zh) * | 2022-08-26 | 2022-11-18 | 广东工业大学 | 一种基于眼神追踪的无人机辅助操控方法及系统 |
| CN117519278A (zh) * | 2023-12-04 | 2024-02-06 | 上海市建筑科学研究院有限公司 | 一种用于桥梁巡检的无人机避障方法 |
| CN117519256A (zh) * | 2023-12-25 | 2024-02-06 | 南京理工大学 | 一种无人机平台单目轨迹重构方法 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120046928A1 (en) * | 2010-08-23 | 2012-02-23 | Broncus Technologies, Inc. | Automated fiducial marker planning system and related methods |
| CN103984355A (zh) * | 2014-05-19 | 2014-08-13 | 华北电力大学 | 一种巡检飞行机器人与架空电力线路距离预测和保持方法 |
| CN104102218A (zh) * | 2014-06-30 | 2014-10-15 | 西北工业大学 | 基于视觉伺服的感知与规避方法及系统 |
| CN104571128A (zh) * | 2014-12-26 | 2015-04-29 | 燕山大学 | 基于距离与视差信息的水下机器人避障方法 |
| WO2015081383A1 (en) * | 2013-12-04 | 2015-06-11 | Spatial Information Systems Research Ltd | Method and apparatus for developing a flight path |
| CN105841702A (zh) * | 2016-03-10 | 2016-08-10 | 赛度科技（北京）有限责任公司 | 一种基于粒子群优化算法的多无人机航路规划方法 |
| US9508263B1 (en) * | 2015-10-20 | 2016-11-29 | Skycatch, Inc. | Generating a mission plan for capturing aerial images with an unmanned aerial vehicle |
| WO2017021955A1 (en) * | 2015-08-05 | 2017-02-09 | Israel Aerospace Industries Ltd. | Constraints driven autonomous aircraft navigation |
| CN106441275A (zh) * | 2016-09-23 | 2017-02-22 | 深圳大学 | 一种机器人规划路径的更新方法及装置 |
| CN106681348A (zh) * | 2017-01-13 | 2017-05-17 | 西北工业大学 | 考虑全捷联导引头视场约束的制导控制一体化设计方法 |
| CN106896391A (zh) * | 2017-03-14 | 2017-06-27 | 北京京东尚科信息技术有限公司 | 无人机的定位方法及装置 |
| CN106950974A (zh) * | 2017-04-19 | 2017-07-14 | 哈尔滨工程大学 | 欠驱动自主水下航行器的对三维路径进行理解及跟踪控制方法 |
| CN107014380A (zh) * | 2017-05-26 | 2017-08-04 | 西安科技大学 | 基于飞行器的视觉导航与惯性导航的组合导航方法 |
| CN107278262A (zh) * | 2016-11-14 | 2017-10-20 | 深圳市大疆创新科技有限公司 | 飞行轨迹的生成方法、控制装置及无人飞行器 |
| CN107481270A (zh) * | 2017-08-10 | 2017-12-15 | 上海体育学院 | 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备 |
| CN107747941A (zh) * | 2017-09-29 | 2018-03-02 | 歌尔股份有限公司 | 一种双目视觉定位方法、装置及系统 |
-
2018
- 2018-03-26 CN CN201810252649.0A patent/CN110362098B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120046928A1 (en) * | 2010-08-23 | 2012-02-23 | Broncus Technologies, Inc. | Automated fiducial marker planning system and related methods |
| WO2015081383A1 (en) * | 2013-12-04 | 2015-06-11 | Spatial Information Systems Research Ltd | Method and apparatus for developing a flight path |
| CN103984355A (zh) * | 2014-05-19 | 2014-08-13 | 华北电力大学 | 一种巡检飞行机器人与架空电力线路距离预测和保持方法 |
| CN104102218A (zh) * | 2014-06-30 | 2014-10-15 | 西北工业大学 | 基于视觉伺服的感知与规避方法及系统 |
| CN104571128A (zh) * | 2014-12-26 | 2015-04-29 | 燕山大学 | 基于距离与视差信息的水下机器人避障方法 |
| WO2017021955A1 (en) * | 2015-08-05 | 2017-02-09 | Israel Aerospace Industries Ltd. | Constraints driven autonomous aircraft navigation |
| US9508263B1 (en) * | 2015-10-20 | 2016-11-29 | Skycatch, Inc. | Generating a mission plan for capturing aerial images with an unmanned aerial vehicle |
| CN105841702A (zh) * | 2016-03-10 | 2016-08-10 | 赛度科技（北京）有限责任公司 | 一种基于粒子群优化算法的多无人机航路规划方法 |
| CN106441275A (zh) * | 2016-09-23 | 2017-02-22 | 深圳大学 | 一种机器人规划路径的更新方法及装置 |
| CN107278262A (zh) * | 2016-11-14 | 2017-10-20 | 深圳市大疆创新科技有限公司 | 飞行轨迹的生成方法、控制装置及无人飞行器 |
| CN106681348A (zh) * | 2017-01-13 | 2017-05-17 | 西北工业大学 | 考虑全捷联导引头视场约束的制导控制一体化设计方法 |
| CN106896391A (zh) * | 2017-03-14 | 2017-06-27 | 北京京东尚科信息技术有限公司 | 无人机的定位方法及装置 |
| CN106950974A (zh) * | 2017-04-19 | 2017-07-14 | 哈尔滨工程大学 | 欠驱动自主水下航行器的对三维路径进行理解及跟踪控制方法 |
| CN107014380A (zh) * | 2017-05-26 | 2017-08-04 | 西安科技大学 | 基于飞行器的视觉导航与惯性导航的组合导航方法 |
| CN107481270A (zh) * | 2017-08-10 | 2017-12-15 | 上海体育学院 | 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备 |
| CN107747941A (zh) * | 2017-09-29 | 2018-03-02 | 歌尔股份有限公司 | 一种双目视觉定位方法、装置及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 杜轩，等: "基于视觉的四旋翼飞行器智能识别规划方法研究", 《三峡大学学报（自然科学版）》 * |
| 过金超等: "基于量子粒子群优化的无人飞行器路径规划", 《火力与指挥控制》 * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989603A (zh) * | 2019-12-13 | 2020-04-10 | 苏州大学应用技术学院 | 一种起重机搬运作业路径规划方法 |
| CN113448345A (zh) * | 2020-03-27 | 2021-09-28 | 北京三快在线科技有限公司 | 一种无人机降落方法及装置 |
| CN113168188A (zh) * | 2020-04-28 | 2021-07-23 | 深圳市大疆创新科技有限公司 | 无人机控制方法、运动信息确定方法、装置及无人机 |
| CN111767843A (zh) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | 三维位置预测方法、装置、设备以及存储介质 |
| CN111767843B (zh) * | 2020-06-29 | 2024-01-02 | 阿波罗智联(北京)科技有限公司 | 三维位置预测方法、装置、设备以及存储介质 |
| CN111897361B (zh) * | 2020-08-05 | 2023-08-22 | 广州市赛皓达智能科技有限公司 | 一种无人机自主航线规划方法及其系统 |
| CN111897361A (zh) * | 2020-08-05 | 2020-11-06 | 广州市赛皓达智能科技有限公司 | 一种无人机自主航线规划方法及其系统 |
| CN112066992A (zh) * | 2020-09-09 | 2020-12-11 | 中国人民解放军国防科技大学 | 一种基于视场约束的反辐射无人机搜索航迹规划方法 |
| CN112180977A (zh) * | 2020-09-30 | 2021-01-05 | 苏州臻迪智能科技有限公司 | 一种轨迹规划方法、装置、存储介质及飞行器 |
| WO2022141955A1 (zh) * | 2020-12-31 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 无人机控制方法、装置及计算机可读存储介质 |
| CN112419417A (zh) * | 2021-01-25 | 2021-02-26 | 成都翼比特自动化设备有限公司 | 一种基于无人机的拍照点定位方法及相关装置 |
| CN112947569A (zh) * | 2021-03-09 | 2021-06-11 | 中南大学 | 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 |
| CN112947569B (zh) * | 2021-03-09 | 2022-08-12 | 中南大学 | 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法 |
| WO2022199344A1 (zh) * | 2021-03-24 | 2022-09-29 | 北京三快在线科技有限公司 | 无人机降落 |
| CN113189875B (zh) * | 2021-04-29 | 2022-04-22 | 湖南大学 | 一种基于圆形特征的无人机在移动平台上鲁棒着陆方法 |
| CN113189875A (zh) * | 2021-04-29 | 2021-07-30 | 湖南大学 | 一种基于圆形特征的无人机在移动平台上鲁棒着陆方法 |
| CN113467503B (zh) * | 2021-07-26 | 2024-04-30 | 广东电网有限责任公司 | 一种输电线路巡检机器人增稳控制方法及装置 |
| CN113467503A (zh) * | 2021-07-26 | 2021-10-01 | 广东电网有限责任公司 | 一种输电线路巡检机器人增稳控制方法及装置 |
| CN113485401A (zh) * | 2021-07-26 | 2021-10-08 | 广东电网有限责任公司 | 一种基于视觉反馈的巡检机器人悬停控制方法及装置 |
| CN114442671A (zh) * | 2022-02-15 | 2022-05-06 | 中国民航工程咨询有限公司 | 一种应急路径规划方法及装置 |
| CN114355984A (zh) * | 2022-03-18 | 2022-04-15 | 北京卓翼智能科技有限公司 | 系留无人机的控制方法、控制装置、控制器及存储介质 |
| CN114675670A (zh) * | 2022-04-02 | 2022-06-28 | 广东工业大学 | 一种基于相对定位的无人机自主穿越框型障碍物方法 |
| CN114675670B (zh) * | 2022-04-02 | 2022-10-14 | 广东工业大学 | 一种基于相对定位的无人机自主穿越框型障碍物方法 |
| CN115357047A (zh) * | 2022-08-26 | 2022-11-18 | 广东工业大学 | 一种基于眼神追踪的无人机辅助操控方法及系统 |
| CN117519278A (zh) * | 2023-12-04 | 2024-02-06 | 上海市建筑科学研究院有限公司 | 一种用于桥梁巡检的无人机避障方法 |
| CN117519278B (zh) * | 2023-12-04 | 2024-04-30 | 上海市建筑科学研究院有限公司 | 一种用于桥梁巡检的无人机避障方法 |
| CN117519256A (zh) * | 2023-12-25 | 2024-02-06 | 南京理工大学 | 一种无人机平台单目轨迹重构方法 |
| CN117519256B (zh) * | 2023-12-25 | 2024-06-07 | 南京理工大学 | 一种无人机平台单目轨迹重构方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110362098B (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110362098A (zh) | 无人机视觉伺服控制方法、装置以及无人机 | |
| JP7341652B2 (ja) | 情報処理装置、情報処理方法、プログラム、およびシステム | |
| Jung et al. | A direct visual servoing‐based framework for the 2016 IROS Autonomous Drone Racing Challenge | |
| Bonatti et al. | Towards a robust aerial cinematography platform: Localizing and tracking moving targets in unstructured environments | |
| CN107943072B (zh) | 无人机飞行路径生成方法、装置、存储介质及设备 | |
| Murali et al. | Perception-aware trajectory generation for aggressive quadrotor flight using differential flatness | |
| Alvarez et al. | Collision avoidance for quadrotors with a monocular camera | |
| US9928649B2 (en) | Interface for planning flight path | |
| Matthies et al. | Stereo vision-based obstacle avoidance for micro air vehicles using disparity space | |
| JP2022504039A (ja) | 地形を意識したステッププランニングシステム | |
| Schaub et al. | Reactive obstacle avoidance for highly maneuverable vehicles based on a two-stage optical flow clustering | |
| Bipin et al. | Autonomous navigation of generic monocular quadcopter in natural environment | |
| López-Nicolás et al. | Adaptive multirobot formation planning to enclose and track a target with motion and visibility constraints | |
| US11295621B2 (en) | Methods and associated systems for managing 3D flight paths | |
| Carloni et al. | Robot vision: Obstacle-avoidance techniques for unmanned aerial vehicles | |
| Gur fil et al. | Partial aircraft state estimation from visual motion using the subspace constraints approach | |
| CN106767785A (zh) | 一种双回路无人机的导航方法及装置 | |
| CN107643758A (zh) | 拍摄移动图像的包括无人机和地面站的自主系统及方法 | |
| Magree et al. | Monocular visual mapping for obstacle avoidance on UAVs | |
| Magree et al. | Monocular visual mapping for obstacle avoidance on UAVs | |
| Wu et al. | Vision-based target detection and tracking system for a quadcopter | |
| CN113761647B (zh) | 一种无人集群系统的仿真方法及系统 | |
| CN114578856A (zh) | 一种固定翼无人机编队运动特性场景表征方法 | |
| Hrabar et al. | Vision-based 3D navigation for an autonomous helicopter | |
| CN110382358A (zh) | 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |