CN109839945B - 无人机降落方法、无人机降落装置及计算机可读存储介质 - Google Patents

无人机降落方法、无人机降落装置及计算机可读存储介质 Download PDF

Info

Publication number
CN109839945B
CN109839945B CN201711205125.8A CN201711205125A CN109839945B CN 109839945 B CN109839945 B CN 109839945B CN 201711205125 A CN201711205125 A CN 201711205125A CN 109839945 B CN109839945 B CN 109839945B
Authority
CN
China
Prior art keywords
coordinate system
unmanned aerial
aerial vehicle
axis direction
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711205125.8A
Other languages
English (en)
Other versions
CN109839945A (zh
Inventor
门春雷
张永伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN201711205125.8A priority Critical patent/CN109839945B/zh
Priority to US16/764,708 priority patent/US11634223B2/en
Priority to PCT/CN2018/107509 priority patent/WO2019100846A1/zh
Publication of CN109839945A publication Critical patent/CN109839945A/zh
Application granted granted Critical
Publication of CN109839945B publication Critical patent/CN109839945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G05D3/20—Control of position or direction using feedback using a digital comparing device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无人机降落方法、无人机降落装置及计算机可读存储介质，涉及无人机技术领域。其中的无人机降落方法包括：确定无人机在地面的垂直映射点与无人机降落点之间的偏差，偏差包括在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差；利用横轴方向的偏差以及纵轴方向的偏差，通过控制器生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量。本发明提供了更加简单高效的无人机降落方法。

Description

无人机降落方法、无人机降落装置及计算机可读存储介质
技术领域
本发明涉及移动互联网技术领域，特别涉及一种无人机降落方法、无人机降落装置及计算机可读存储介质。
背景技术
无人机在自主降落过程中使用的技术手段众多，典型的技术手段包括GPS/惯性组合导航、无线定位技术、基于位置视觉伺服控制等等。
基于位置的视觉伺服控制方法，采用特殊设计的二维码类型的合作标签以及相对应的标签识别算法，通过定位二维码标签的角点位置，解算无人机机载相机相对于合作标签的空间相对位姿，利用解算的相对位姿信息选择合适的控制律生成飞行控制量，引导无人机完成自主降落过程。
然而，基于位置的视觉伺服控制方法，需要一套完整的二维码合作标签编码系统以及对应的识别算法，合作标签编码与识别过程相对复杂、解算耗时长、实时性差，而且对于标签遮挡等异常情况的鲁棒性较差，容易识别不到合作标签，造成定位失败。
发明内容
本发明解决的一个技术问题是，如何提供更为简单高效的无人机降落方法。
根据本发明实施例的一个方面，提供了一种无人机降落方法，包括：确定无人机在地面的垂直映射点与无人机降落点之间的偏差，偏差包括在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差；利用横轴方向的偏差以及纵轴方向的偏差，通过控制器生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量。
在一些实施例中，确定无人机在地面的垂直映射点与无人机降落点之间的偏差包括：利用无人机相对地面的垂直高度、无人机降落点在像素坐标系下的坐标、图像坐标系原点在像素坐标系下的坐标、无人机相机在像素坐标系的横轴方向及纵轴方向的归一化焦距，确定垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差。
在一些实施例中，确定垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差包括：确定像素坐标系下的坐标与图像坐标系下的坐标之间的对应关系；利用相机成像原理，确定图像坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系；确定图像坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系，并利用该对应关系确定垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差。
在一些实施例中，利用如下公式，确定垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差：
Figure BDA0001483521040000021
其中，x表示垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差，y表示垂直映射点与无人机降落点在摄像机坐标系的纵轴方向的偏差，z表示无人机相对地面的垂直高度，u表示无人机降落点在像素坐标系下的横轴坐标，v表示无人机降落点在像素坐标系下的纵轴坐标，u0表示图像坐标系原点在像素坐标系下的横轴坐标，v0表示图像坐标系原点在像素坐标系下的纵轴坐标，αx表示无人机相机在像素坐标系的横轴方向归一化焦距，αy表示无人机相机在像素坐标系的纵轴方向归一化焦距。
在一些实施例中，利用无人机相机的焦距与每个像素在横轴方向的尺寸的比值，确定相机在像素坐标系的横轴方向归一化焦距；利用无人机相机的焦距与每个像素在纵轴方向的尺寸的比值，确定相机在像素坐标系的纵轴方向归一化焦距。
在一些实施例中，控制器为比例积分微分PID控制器，PID控制器利用如下公式生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量：
Figure BDA0001483521040000031
其中，ux(t)表示t时刻无人机在摄像机坐标系的横轴方向的速度控制量，uy(t)表示t时刻无人机在摄像机坐标系的纵轴方向的速度控制量，Px表示在摄像机坐标系的横轴方向上的PID控制器的比例控制参数，Py表示在摄像机坐标系的纵轴方向上的PID控制器的比例控制参数，Ix表示在摄像机坐标系的横轴方向上的PID控制器的微分控制参数，Iy表示在摄像机坐标系的纵轴方向上的PID控制器的微分控制参数，Dx表示在摄像机坐标系的横轴方向上的PID控制器的积分控制参数，Dy表示在摄像机坐标系的纵轴方向上的PID控制器的积分控制参数，x(t)表示t时刻横轴方向的偏差，y(t)表示t时刻纵轴方向的偏差。
根据本发明实施例的另一个方面，提供了一种无人机降落装置，包括：偏差确定模块，用于确定无人机在地面的垂直映射点与无人机降落点之间的偏差，偏差包括在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差；控制量生成模块，用于利用横轴方向的偏差以及纵轴方向的偏差，通过控制器生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量。
在一些实施例中，偏差确定模块用于：利用无人机相对地面的垂直高度、无人机降落点在像素坐标系下的坐标、图像坐标系原点在像素坐标系下的坐标、无人机相机在像素坐标系的横轴方向及纵轴方向的归一化焦距，确定垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差。
在一些实施例中，偏差确定模块用于：确定像素坐标系下的坐标与图像坐标系下的坐标之间的对应关系；利用相机成像原理，确定图像坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系；确定像素坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系，并利用该对应关系确定垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差。
在一些实施例中，偏差确定模块用于：利用如下公式，确定垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差：
Figure BDA0001483521040000041
其中，x表示垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差，y表示垂直映射点与无人机降落点在摄像机坐标系的纵轴方向的偏差，z表示无人机相对地面的垂直高度，u表示无人机降落点在像素坐标系下的横轴坐标，v表示无人机降落点在像素坐标系下的纵轴坐标，u0表示图像坐标系原点在像素坐标系下的横轴坐标，v0表示图像坐标系原点在像素坐标系下的纵轴坐标，αx表示无人机相机在像素坐标系的横轴方向归一化焦距，αy表示无人机相机在像素坐标系的纵轴方向归一化焦距。
在一些实施例中，偏差确定模块还用于：利用无人机相机的焦距与每个像素在横轴方向的尺寸的比值，确定相机在像素坐标系的横轴方向归一化焦距；利用无人机相机的焦距与每个像素在纵轴方向的尺寸的比值，确定相机在像素坐标系的纵轴方向归一化焦距。
在一些实施例中，控制量生成模块用于：通过PID控制器利用如下公式生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量：
Figure BDA0001483521040000042
其中，ux(t)表示t时刻无人机在摄像机坐标系的横轴方向的速度控制量，uy(t)表示t时刻无人机在摄像机坐标系的纵轴方向的速度控制量，Px表示在摄像机坐标系的横轴方向上的PID控制器的比例控制参数，Py表示在摄像机坐标系的纵轴方向上的PID控制器的比例控制参数，Ix表示在摄像机坐标系的横轴方向上的PID控制器的微分控制参数，Iy表示在摄像机坐标系的纵轴方向上的PID控制器的微分控制参数，Dx表示在摄像机坐标系的横轴方向上的PID控制器的积分控制参数，Dy表示在摄像机坐标系的纵轴方向上的PID控制器的积分控制参数，x(t)表示t时刻横轴方向的偏差，y(t)表示t时刻纵轴方向的偏差。
根据本发明实施例的又一个方面，提供了一种无人机降落装置，其中，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的无人机降落方法。
根据本发明实施例的再一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的无人机降落方法。
本发明提供的无人机降落方法，基于图像视觉伺服控制技术，通过图像中的位置偏差直接计算飞行控制量，从而完成无人机控制过程，简单高效的实现无人机自主降落。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了多旋翼无人机和地面合作标签的示意图。
图2示出了本发明无人机自主降落的流程示意图。
图3示出了本发明一个实施例的图像处理流程示意图。
图4示出了本发明一个实施例的无人机降落方法的流程示意图。
图5示出了本发明无人机相机投影模型。
图6示出了本发明图像坐标系以及图像坐标系。
图7示出了相机成像原理的示意图。
图8示出了本发明无人机降落装置的一个实施例的结构示意图。
图9示出了本发明无人机降落装置的另一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了多旋翼无人机和地面合作标签的示意图。多旋翼无人机机体下方固定有相机摄像头，多旋翼无人机还配有机载处理器。无人机通过获取地面合作标签在相机图像中的中心像素位置信息，调整合适的控制律来控制无人机平稳降落。本发明中对地面合作标签不作过多要求和限定，地面合作标签的设计标志可以例如圆形、矩形、菱形或图形组合等，方便识别即可，也可将合作标志概念泛化，例如平坦的草地，汽车的车顶等。图1示例性示出了双圆形合作标签。可以通过地面站软件上传合作标志特征，用于图像处理过程中合作标志特征提取。
无人机在降落过程中，可以首先通过GPS和惯性组合导航的方式飞行到降落区域，使得合作标志处于摄像头视场(相机摄像头固定于无人机机体正下方垂直于地平面)。对于飞行高度在80米到100米的无人机来说，摄像头视场足够覆盖合作标志。因为GPS误差在3米到5米，不能满足厘米级定位，所以采用视觉伺服控制方式提高降落精度。
相机摄像头实时采集图像信息，并送到机载处理器，机载处理器识别合作标签的中心像素点，根据中心像素点的位置和图像平面的中心位置偏差，设计控制律计算得到速度控制量，发送到飞控单元，控制无人机按照指定速度飞行。图2示例性示出了无人机自主降落的流程示意图。
图3示出了本发明一个实施例的图像处理流程示意图。如图3所示，机载处理器通过摄像头获取原始图像，对原始图像进行颜色提取后，经过轮廓检测以及圆形拟合，对原始图像中的标识进行判断从而定位圆心位置，该圆心位置即为无人机降落点。在获取圆心像素坐标后，可以输出降落点的输出像素位置。
下面结合图4对根据中心像素点的位置和图像平面的中心位置偏差来设计控制律计算得到速度控制量的过程进行详细描述。
图4示出了本发明一个实施例的无人机降落方法的流程示意图。如图4所示，本实施例中的无人机降落方法包括步骤S402～步骤S404。
步骤S402，确定无人机在地面的垂直映射点与无人机降落点之间的偏差。该偏差包括在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差。
如公式(1)所示，可以在相机拍摄图像上分别建立图像坐标系以及像素坐标系，图像坐标系的原点位于相机拍摄图像的中心，像素坐标系的原点位于相机拍摄图像的左上角，图像坐标系的横轴方向以及像素坐标系的横轴方向与摄像机坐标系的横轴方向相同，图像坐标系的纵轴方向以及像素坐标系的纵轴方向与摄像机坐标系的纵轴方向相同。然后，利用无人机相对地面的垂直高度、无人机降落点在像素坐标系下的坐标、图像坐标系原点在像素坐标系下的坐标、无人机相机在像素坐标系的横轴方向及纵轴方向的归一化焦距，确定垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差。
Figure BDA0001483521040000071
其中，x表示垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差，y表示垂直映射点与无人机降落点在摄像机坐标系的纵轴方向的偏差，z表示无人机相对地面的垂直高度，u表示无人机降落点在像素坐标系下的横轴坐标，v表示无人机降落点在像素坐标系下的纵轴坐标，u0表示图像坐标系原点在像素坐标系下的横轴坐标，v0表示图像坐标系原点在像素坐标系下的纵轴坐标，αx表示无人机相机在像素坐标系的横轴方向归一化焦距，αy表示无人机相机在像素坐标系的纵轴方向归一化焦距。公式(1)的详细推导过程在后文中进行详细描述。
步骤S404，利用横轴方向的偏差以及纵轴方向的偏差，通过控制器生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量。
可以通过PID控制器利用公式(2)生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量：
Figure BDA0001483521040000081
其中，ux(t)表示t时刻无人机在摄像机坐标系的横轴方向的速度控制量，uy(t)表示t时刻无人机在摄像机坐标系的纵轴方向的速度控制量，Px表示在摄像机坐标系的横轴方向上的PID控制器的比例控制参数，Py表示在摄像机坐标系的纵轴方向上的PID控制器的比例控制参数，Ix表示在摄像机坐标系的横轴方向上的PID控制器的微分控制参数，Iy表示在摄像机坐标系的纵轴方向上的PID控制器的微分控制参数，Dx表示在摄像机坐标系的横轴方向上的PID控制器的积分控制参数，Dy表示在摄像机坐标系的纵轴方向上的PID控制器的积分控制参数，x(t)表示t时刻横轴方向的偏差，y(t)表示t时刻纵轴方向的偏差。
上述实施例实现了一种基于图像视觉伺服控制的无人机自主降落方法。无人机下方的相机摄像头识别位于地面的合作标签后，利用合作标签在图像平面的中心像素位置，确定无人机在地面的垂直映射点与无人机降落点之间的图像像素级偏差，从而直接计算飞行控制量，完成无人机自主降落过程。在整个自主降落过程中，不需要解算飞机相对于地面合作标签的空间位姿信息，因此与相关技术相比是更加简单高效的无人机降落方法。
本发明研究发现，可以用无人机相对地面的垂直高度、无人机降落点在图像坐标系下的坐标、图像坐标系原点在图像坐标系下的坐标、无人机相机在图像坐标系的横轴方向及纵轴方向的归一化焦距，对垂直映射点与无人机降落点在图像坐标系的横轴方向的偏差以及纵轴方向的偏差进行表示。下面详细介绍公式(1)的推导过程。
图5示出了无人机相机投影模型。根据相机投影模型，可以建立图像坐标系。图6示出了图像坐标系以及图像坐标系。
相机投影模型中，C表示相机坐标系，降落点P点空间位置为(x,y,z),(u,v)是P点在图像中的投影位置，(u0,v0)是图像平面中心点坐标。(uo0v)为像素坐标系，(XO1Y)为图像坐标系。每个像素的物理尺寸是dX和dY,任意一个像素点在两个坐标系的关系满足公式(3)：
Figure BDA0001483521040000091
将公式(3)转换成矩阵形式可得公式(4)，从而确定了像素坐标系下的坐标与图像坐标系下的坐标之间的对应关系：
Figure BDA0001483521040000092
图7示出了相机成像原理的示意图。利用相机成像原理，确定图像坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系：
Figure BDA0001483521040000093
转换成矩阵方程如公式(6)所示，其中s是比例因子。
Figure BDA0001483521040000094
然后，利用公式(4)和公式(6)确定图像坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系，并利用该对应关系确定垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差，得到公式(7)。
Figure BDA0001483521040000101
对公式(7)进行整理，可以推导得到公式(1)。其中αx＝f/dX，αy＝f/dY分别是在u方向和v方向的归一化焦距。也就是说，可以利用无人机相机的焦距与每个像素在横轴方向的尺寸的比值，确定相机在像素坐标系的横轴方向归一化焦距；利用无人机相机的焦距与每个像素在纵轴方向的尺寸的比值，确定相机在像素坐标系的纵轴方向归一化焦距。(αx,αy,u0,v0)只与摄像头内部参数有关，可以通过相机标定获取。
在利用公式(1)对无人机进行降落控制时，可以通过测高传感器已知任意点P的高度z，并进一步设计控制器以使公式(1)中的x和y趋向于0。本领域技术人员应理解，可以通过设置耦合因子a、b的方式，使得x方向以及y方向的两个控制器相互耦合(例如公式8所示)。其中，a、b分别为[0,1]之间的常数，具体可以根据仿真效果和测试效果来选取决定。
Figure BDA0001483521040000102
下面结合图8介绍本发明一个实施例的无人机降落装置。
图8示出了本发明一个实施例的无人机降落装置的结构示意图。如图8所示，本实施例的无人机降落装置80包括模块802～804。
偏差确定模块802，用于确定无人机在地面的垂直映射点与无人机降落点之间的偏差，偏差包括在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差；
控制量生成模块804，用于利用横轴方向的偏差以及纵轴方向的偏差，通过控制器生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量。
在一些实施例中，偏差确定模块802用于：利用无人机相对地面的垂直高度、无人机降落点在像素坐标系下的坐标、图像坐标系原点在像素坐标系下的坐标、无人机相机在像素坐标系的横轴方向及纵轴方向的归一化焦距，确定垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差。
在一些实施例中，偏差确定模块802用于：确定图像坐标系下的坐标与图像坐标系下的坐标之间的对应关系；利用相机成像原理，确定图像坐标系下的坐标与空间坐标系下的坐标之间的对应关系；确定图像坐标系下的坐标与空间坐标系下的坐标之间的对应关系，并利用该对应关系确定垂直映射点与无人机降落点在图像坐标系的横轴方向的偏差以及纵轴方向的偏差。
在一些实施例中，偏差确定模块802用于：利用如下公式，确定垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差：
Figure BDA0001483521040000111
其中，x表示垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差，y表示垂直映射点与无人机降落点在摄像机坐标系的纵轴方向的偏差，z表示无人机相对地面的垂直高度，u表示无人机降落点在像素坐标系下的横轴坐标，v表示无人机降落点在像素坐标系下的纵轴坐标，u0表示图像坐标系原点在像素坐标系下的横轴坐标，v0表示图像坐标系原点在像素坐标系下的纵轴坐标，αx表示无人机相机在像素坐标系的横轴方向归一化焦距，αy表示无人机相机在像素坐标系的纵轴方向归一化焦距。
在一些实施例中，偏差确定模块802还用于：利用无人机相机的焦距与每个像素在横轴方向的尺寸的比值，确定相机在像素坐标系的横轴方向归一化焦距；利用无人机相机的焦距与每个像素在纵轴方向的尺寸的比值，确定相机在像素坐标系的纵轴方向归一化焦距。
在一些实施例中，控制量生成模块804用于：
通过PID控制器利用如下公式生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量：
Figure BDA0001483521040000121
其中，ux(t)表示t时刻无人机在摄像机坐标系的横轴方向的速度控制量，uy(t)表示t时刻无人机在摄像机坐标系的纵轴方向的速度控制量，Px表示在摄像机坐标系的横轴方向上的PID控制器的比例控制参数，Py表示在摄像机坐标系的纵轴方向上的PID控制器的比例控制参数，Ix表示在摄像机坐标系的横轴方向上的PID控制器的微分控制参数，Iy表示在摄像机坐标系的纵轴方向上的PID控制器的微分控制参数，Dx表示在摄像机坐标系的横轴方向上的PID控制器的积分控制参数，Dy表示在摄像机坐标系的纵轴方向上的PID控制器的积分控制参数，x(t)表示t时刻横轴方向的偏差，y(t)表示t时刻纵轴方向的偏差。
图9示出了本发明无人机降落装置的另一个实施例的结构示意图。如图9所示，该实施例的无人机降落装置90包括：存储器910以及耦接至该存储器910的处理器920，处理器920被配置为基于存储在存储器910中的指令，执行前述任意一个实施例中的无人机降落方法。
其中，存储器910例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
无人机降落装置90还可以包括输入输出接口930、网络接口940、存储接口950等。这些接口930，940，950以及存储器910和处理器920之间例如可以通过总线950连接。其中，输入输出接口930为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口940为各种联网设备提供连接接口。存储接口950为SD卡、U盘等外置存储设备提供连接接口。
本发明还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一个实施例中的无人机降落方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种无人机降落方法，包括：
确定像素坐标系下的坐标与图像坐标系下的坐标之间的对应关系；
利用相机成像原理，确定图像坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系；
确定像素坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系；
利用无人机相对地面的垂直高度、无人机降落点在像素坐标系下的坐标、图像坐标系原点在像素坐标系下的坐标、无人机相机在像素坐标系的横轴方向及纵轴方向的归一化焦距、像素坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系，确定无人机在地面的垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差；
利用所述横轴方向的偏差以及纵轴方向的偏差，通过控制器生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量；
其中，利用如下公式，确定所述垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差：
Figure FDF0000015660950000011
其中，x表示所述垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差，y表示所述垂直映射点与无人机降落点在摄像机坐标系的纵轴方向的偏差，z表示无人机相对地面的垂直高度，u表示无人机降落点在像素坐标系下的横轴坐标，v表示无人机降落点在像素坐标系下的纵轴坐标，u0表示图像坐标系原点在像素坐标系下的横轴坐标，v0表示图像坐标系原点在像素坐标系下的纵轴坐标，αx表示无人机相机在像素坐标系的横轴方向归一化焦距，αy表示无人机相机在像素坐标系的纵轴方向归一化焦距；
其中，所述利用所述横轴方向的偏差以及纵轴方向的偏差，通过控制器生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量包括：
通过设置第一耦合因子和第二耦合因子的方式，使得x方向的第一控制器和y方向的第二控制器相互耦合；
通过第一控制器，根据所述第一耦合因子、所述横轴方向的偏差以及纵轴方向的偏差，生成无人机在摄像机坐标系的横轴方向的速度控制量；
通过第二控制器，根据所述第二耦合因子、所述横轴方向的偏差以及纵轴方向的偏差，生成无人机在摄像机坐标系的纵轴方向的速度控制量。
2.如权利要求1所述的无人机降落方法，其中，
利用无人机相机的焦距与每个像素在所述横轴方向的尺寸的比值，确定相机在像素坐标系的横轴方向归一化焦距；
利用无人机相机的焦距与每个像素在所述纵轴方向的尺寸的比值，确定相机在像素坐标系的纵轴方向归一化焦距。
3.如权利要求1所述的无人机降落方法，其中，所述控制器为比例积分微分PID控制器，所述PID控制器利用如下公式生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量：
Figure FDF0000015660950000021
其中，ux(t)表示t时刻无人机在摄像机坐标系的横轴方向的速度控制量，uy(t)表示t时刻无人机在摄像机坐标系的纵轴方向的速度控制量，Px表示在摄像机坐标系的横轴方向上的PID控制器的比例控制参数，Py表示在摄像机坐标系的纵轴方向上的PID控制器的比例控制参数，Ix表示在摄像机坐标系的横轴方向上的PID控制器的微分控制参数，Iy表示在摄像机坐标系的纵轴方向上的PID控制器的微分控制参数，Dx表示在摄像机坐标系的横轴方向上的PID控制器的积分控制参数，Dy表示在摄像机坐标系的纵轴方向上的PID控制器的积分控制参数，x(t)表示t时刻所述横轴方向的偏差，y(t)表示t时刻所述纵轴方向的偏差。
4.一种无人机降落装置，包括：
偏差确定模块，用于确定像素坐标系下的坐标与图像坐标系下的坐标之间的对应关系；利用相机成像原理，确定图像坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系；确定像素坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系；利用无人机相对地面的垂直高度、无人机降落点在像素坐标系下的坐标、图像坐标系原点在像素坐标系下的坐标、无人机相机在像素坐标系的横轴方向及纵轴方向的归一化焦距、像素坐标系下的坐标与摄像机坐标系下的坐标之间的对应关系，确定无人机在地面的垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差；
控制量生成模块，用于利用所述横轴方向的偏差以及纵轴方向的偏差，通过控制器生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量；
其中，所述偏差确定模块用于：
利用如下公式，确定所述垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差以及纵轴方向的偏差：
Figure FDF0000015660950000031
其中，x表示所述垂直映射点与无人机降落点在摄像机坐标系的横轴方向的偏差，y表示所述垂直映射点与无人机降落点在摄像机坐标系的纵轴方向的偏差，z表示无人机相对地面的垂直高度，u表示无人机降落点在像素坐标系下的横轴坐标，v表示无人机降落点在像素坐标系下的纵轴坐标，u0表示图像坐标系原点在像素坐标系下的横轴坐标，v0表示图像坐标系原点在像素坐标系下的纵轴坐标，αx表示无人机相机在像素坐标系的横轴方向归一化焦距，αy表示无人机相机在像素坐标系的纵轴方向归一化焦距；
其中，无人机降落装置，用于通过设置第一耦合因子和第二耦合因子的方式，使得x方向的第一控制器和y方向的第二控制器相互耦合；通过第一控制器，根据所述第一耦合因子、所述横轴方向的偏差以及纵轴方向的偏差，生成无人机在摄像机坐标系的横轴方向的速度控制量；通过第二控制器，根据所述第二耦合因子、所述横轴方向的偏差以及纵轴方向的偏差，生成无人机在摄像机坐标系的纵轴方向的速度控制量。
5.如权利要求4所述的无人机降落装置，其中，所述偏差确定模块还用于：
利用无人机相机的焦距与每个像素在所述横轴方向的尺寸的比值，确定相机在像素坐标系的横轴方向归一化焦距；
利用无人机相机的焦距与每个像素在所述纵轴方向的尺寸的比值，确定相机在像素坐标系的纵轴方向归一化焦距。
6.如权利要求4所述的无人机降落装置，其中，所述控制量生成模块用于：
通过PID控制器利用如下公式生成无人机在摄像机坐标系的横轴方向以及纵轴方向的速度控制量：
Figure FDF0000015660950000041
其中，ux(t)表示t时刻无人机在摄像机坐标系的横轴方向的速度控制量，uy(t)表示t时刻无人机在摄像机坐标系的纵轴方向的速度控制量，Px表示在摄像机坐标系的横轴方向上的PID控制器的比例控制参数，Py表示在摄像机坐标系的纵轴方向上的PID控制器的比例控制参数，Ix表示在摄像机坐标系的横轴方向上的PID控制器的微分控制参数，Iy表示在摄像机坐标系的纵轴方向上的PID控制器的微分控制参数，Dx表示在摄像机坐标系的横轴方向上的PID控制器的积分控制参数，Dy表示在摄像机坐标系的纵轴方向上的PID控制器的积分控制参数，x(t)表示t时刻所述横轴方向的偏差，y(t)表示t时刻所述纵轴方向的偏差。
7.一种无人机降落装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至3中任一项所述的无人机降落方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现权利要求1至3中任一项所述的无人机降落方法。
CN201711205125.8A 2017-11-27 2017-11-27 无人机降落方法、无人机降落装置及计算机可读存储介质 Active CN109839945B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711205125.8A CN109839945B (zh) 2017-11-27 2017-11-27 无人机降落方法、无人机降落装置及计算机可读存储介质
US16/764,708 US11634223B2 (en) 2017-11-27 2018-09-26 Unmanned aerial vehicle control method, unmanned aerial vehicle control device, and computer readable storage medium
PCT/CN2018/107509 WO2019100846A1 (zh) 2017-11-27 2018-09-26 无人机控制方法、无人机控制装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711205125.8A CN109839945B (zh) 2017-11-27 2017-11-27 无人机降落方法、无人机降落装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109839945A CN109839945A (zh) 2019-06-04
CN109839945B true CN109839945B (zh) 2022-04-26

Family

ID=66630874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711205125.8A Active CN109839945B (zh) 2017-11-27 2017-11-27 无人机降落方法、无人机降落装置及计算机可读存储介质

Country Status (3)

Country Link
US (1) US11634223B2 (zh)
CN (1) CN109839945B (zh)
WO (1) WO2019100846A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020065719A1 (ja) * 2018-09-25 2020-04-02 株式会社エアロネクスト 飛行体
KR102235589B1 (ko) * 2019-02-19 2021-04-02 주식회사 아르고스다인 무인기 착륙 시스템
CN112748454B (zh) * 2020-12-14 2023-10-31 一飞(海南)科技有限公司 筛选无人机落地偏差过大的方法、系统、设备、介质及终端
CN114020029B (zh) * 2021-11-09 2022-06-10 深圳大漠大智控技术有限公司 一种针对集群的航拍航线自动生成方法、装置及相关组件
CN113989390A (zh) * 2021-11-11 2022-01-28 国网天津市电力公司 基于图像识别的无人机降落优化方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226356A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于图像处理的无人机精确位置降落方法
CN104049641A (zh) * 2014-05-29 2014-09-17 深圳市大疆创新科技有限公司 一种自动降落方法、装置及飞行器
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法
WO2017175804A1 (ja) * 2016-04-08 2017-10-12 株式会社ナイルワークス 無人飛行体による薬剤散布方法、プログラム、および、装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US8682504B2 (en) * 2012-06-04 2014-03-25 Rockwell Collins, Inc. System and method for developing dynamic positional database for air vehicles and terrain features
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
CN105867397B (zh) * 2016-04-13 2018-08-07 中国计量学院 一种基于图像处理和模糊控制的无人机精确位置降落方法
DK3497530T3 (da) * 2016-08-26 2021-09-06 Sz Dji Technology Co Ltd Fremgangsmåder og system til selvstyrende landing
CN106774386B (zh) * 2016-12-06 2019-08-13 杭州灵目科技有限公司 基于多尺度标识物的无人机视觉导航降落系统
CN106774423B (zh) * 2017-02-28 2020-08-11 亿航智能设备（广州）有限公司 一种无人机的降落方法及系统
CN107065924A (zh) * 2017-03-15 2017-08-18 普宙飞行器科技（深圳）有限公司 无人机车载起降系统、可车载起降无人机及降落方法
WO2019006760A1 (zh) * 2017-07-07 2019-01-10 深圳市大疆创新科技有限公司 一种姿态的识别方法、设备及可移动平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226356A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于图像处理的无人机精确位置降落方法
CN104049641A (zh) * 2014-05-29 2014-09-17 深圳市大疆创新科技有限公司 一种自动降落方法、装置及飞行器
WO2017175804A1 (ja) * 2016-04-08 2017-10-12 株式会社ナイルワークス 無人飛行体による薬剤散布方法、プログラム、および、装置
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Vision-based Autonomous Landing System for Unmanned Aerial Vehicle: A Survey;Weiwei Kong，etc;《2014 International Conference on Multisensor Fusion and Information Integration for Intelligent Systems (MFI)》;20140929;全文 *
基于视觉的小型四旋翼无人机自主飞行控制;鲜斌，刘洋，张旭，曹美会;《机械工程学报》;20150531;第51卷(第9期);全文 *
有人/无人机编队三位可视化系统的软件设计与实现;李一波，王仓库，姬晓飞;《智能系统学报》;20160430;第11卷(第2期);参见第276页第3节 *

Also Published As

Publication number Publication date
WO2019100846A1 (zh) 2019-05-31
US11634223B2 (en) 2023-04-25
CN109839945A (zh) 2019-06-04
US20210171193A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
CN109839945B (zh) 无人机降落方法、无人机降落装置及计算机可读存储介质
CN113485392B (zh) 基于数字孪生的虚拟现实交互方法
JP6862409B2 (ja) 地図生成及び移動主体の位置決めの方法及び装置
EP3407294B1 (en) Information processing method, device, and terminal
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
US10086955B2 (en) Pattern-based camera pose estimation system
US10451403B2 (en) Structure-based camera pose estimation system
CN103424126A (zh) 一种无人机视觉自主着陆仿真验证系统及方法
EP3850456B1 (en) Control and navigation systems, pose optimisation, mapping, and localisation techniques
Berteška et al. Photogrammetric mapping based on UAV imagery
CN114415736B (zh) 一种无人机多阶段视觉精准降落方法和装置
CN109978954A (zh) 基于箱体的雷达和相机联合标定的方法和装置
US20170116735A1 (en) Optimized camera pose estimation system
CN110749324A (zh) 无人机救援定位方法、装置、计算机设备及存储介质
CN110969055A (zh) 用于车辆定位的方法、装置、设备和计算机可读存储介质
CN113696188B (zh) 手眼标定数据采集方法、装置、电子设备及存储介质
CN114004882A (zh) 一种二维地图生成方法、装置、终端设备及存储介质
CN113591518A (zh) 一种图像的处理方法、网络的训练方法以及相关设备
CN114127738A (zh) 自动地图制作和定位
Hashim et al. Integration of low altitude aerial & terrestrial photogrammetry data in 3D heritage building modeling
RU2562368C1 (ru) Способ трёхмерного (3d) картографирования
CN111812669A (zh) 绕机检查装置及其定位方法、存储介质
CN110196601A (zh) 无人机控制方法、装置、系统和计算机可读存储介质
CN114092660A (zh) 高精地图生成方法、装置及用于生成地图的车辆
WO2021262704A1 (en) Post-processing of mapping data for improved accuracy and noise-reduction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210311

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100195 Beijing Haidian Xingshikou Road 65 West Cedar Creative Garden 4 District 11 Building East 1-4 Floor West 1-4 Floor

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

Effective date of registration: 20210311

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant