CN113815529A - 一种基于无人机的倒车辅助方法、设备、系统及车辆 - Google Patents

一种基于无人机的倒车辅助方法、设备、系统及车辆 Download PDF

Info

Publication number
CN113815529A
CN113815529A CN202110967270.XA CN202110967270A CN113815529A CN 113815529 A CN113815529 A CN 113815529A CN 202110967270 A CN202110967270 A CN 202110967270A CN 113815529 A CN113815529 A CN 113815529A
Authority
CN
China
Prior art keywords
unmanned aerial
vehicle
aerial vehicle
information
drone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110967270.XA
Other languages
English (en)
Inventor
丁磊
苏明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Human Horizons Shanghai Internet Technology Co Ltd
Original Assignee
Human Horizons Shanghai Internet Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Human Horizons Shanghai Internet Technology Co Ltd filed Critical Human Horizons Shanghai Internet Technology Co Ltd
Priority to CN202110967270.XA priority Critical patent/CN113815529A/zh
Publication of CN113815529A publication Critical patent/CN113815529A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于无人机的倒车辅助方法、设备、系统及车辆，包括：获取车辆当前的行驶数据和无人机当前的飞行数据，行驶数据包括车辆位置信息和车辆档位信息，飞行数据包括无人机位置信息；根据车辆位置信息和无人机位置信息计算车辆和无人机的位置偏差；根据位置偏差和车辆档位信息计算无人机的位置偏移量；根据位置偏移量获得无人机控制指令，控制无人机基于无人机控制指令跟随车辆飞行；获取无人机实时采集的倒车图像信息，对倒车图像信息进行处理并显示。本发明能够通过无人机自动实时跟随车辆飞行并拍摄倒车图像，实现更加真实、视角根据全面的倒车图像显示，为驾驶员的倒车作业提供有效地辅助，提高了倒车的安全性。

Description

一种基于无人机的倒车辅助方法、设备、系统及车辆
技术领域
本发明涉及倒车辅助控制技术领域，尤其涉及一种基于无人机的倒车辅助方法、终端设备、系统及车辆。
背景技术
现有的倒车辅助影像系统，多数由设置在车辆前后左右的四个摄像头组成，通过摄像头拍摄车辆周围的环境图像，并将不同摄像头拍摄的图像进行拼接后显示到中控系统屏幕上，方便驾驶员查看车辆周围的环境情况。该倒车辅助影像系统一般会存在以下问题：远端图像容易产生畸变，俯视情况下的可视范围有限，一般是车身距离2.5m～3m的范围内可视，车的左前、右前、左后、右后存在视觉死角，导致驾驶员无法根据显示的图像掌握真实、全面的环境信息，在倒车时有可能产生事故。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于无人机的倒车辅助方法、终端设备、系统及车辆，能够通过无人机自动实时跟随车辆飞行并拍摄倒车图像，实现更加真实、视角更加全面的倒车图像显示，为驾驶员的倒车作业提供有效地辅助，提高了倒车的安全性。
为了解决上述技术问题，本发明实施例第一方面提供了一种基于无人机的倒车辅助方法，包括：
获取车辆当前的行驶数据和无人机当前的飞行数据；其中，所述行驶数据包括车辆位置信息和车辆档位信息，所述飞行数据包括无人机位置信息；
根据所述车辆位置信息和所述无人机位置信息，计算获得所述车辆和所述无人机的位置偏差；
根据所述位置偏差和所述车辆档位信息，计算获得所述无人机的位置偏移量；
根据所述位置偏移量获得无人机控制指令，并将所述无人机控制指令发送至所述无人机，以控制所述无人机基于所述无人机控制指令跟随所述车辆飞行；
获取所述无人机在飞行过程中实时采集的倒车图像信息，并对所述倒车图像信息进行处理；
将处理后的倒车图像信息发送至显示装置进行显示，以辅助所述车辆完成倒车作业。
进一步地，所述车辆位置信息包括所述车辆的经纬度(LongV,LatV)，所述无人机位置信息包括所述无人机的经纬度(LongD,LatD)；
则，所述根据所述车辆位置信息和所述无人机位置信息，计算获得所述车辆和所述无人机的位置偏差，具体包括：
根据公式
Figure BDA0003224390810000021
计算获得所述位置偏差(VectorX1,VectorY1)；其中，
Figure BDA0003224390810000022
进一步地，所述行驶数据还包括车辆朝向CogV；所述方法还包括：
根据公式
Figure BDA0003224390810000023
对所述位置偏差(VectorX1,VectorY1)进行映射处理，获得处理后的位置偏差(IntX1,IntY1)；
则，所述根据所述位置偏差和所述车辆档位信息，计算获得所述无人机的位置偏移量，具体包括：
根据所述车辆档位信息和所述处理后的位置偏差(IntX1,IntY1)，计算获得所述位置偏移量。
进一步地，所述根据所述车辆档位信息和所述处理后的位置偏差(IntX1,IntY1)，计算获得所述位置偏移量，具体包括：
当所述车辆档位信息为前进档位时，根据公式
Figure BDA0003224390810000031
计算获得所述位置偏移量(VectorX2,VectorY2)；
当所述车辆档位信息为倒车档位时，根据公式
Figure BDA0003224390810000032
计算获得所述位置偏移量(VectorX2,VectorY2)；
其中，L1表示所述车辆前进时所述无人机的目标位置与所述车辆的当前位置之间的距离，L2表示所述车辆倒车时所述无人机的目标位置与所述车辆的当前位置之间的距离。
进一步地，所述行驶数据还包括车辆速度SpdV，所述飞行数据还包括无人机速度SpdD和无人机朝向CogD；
则，所述根据所述位置偏移量获得无人机控制指令，并将所述无人机控制指令发送至所述无人机，以控制所述无人机基于所述无人机控制指令跟随所述车辆飞行，具体包括：
根据公式
Figure BDA0003224390810000033
计算获得所述无人机的相对偏移量(VectorX3,VectorY3)；
根据公式
Figure BDA0003224390810000034
计算获得所述无人机的实际偏移量(VectorX4,VectorY4)；其中，t1表示当前获取所述无人机的飞行数据与上一次获取所述无人机的飞行数据之间的时间间隔；
根据所述实际偏移量(VectorX4,VectorY4)获取所述无人机的目标方向和目标速度；
将所述目标方向和所述目标速度转换为所述无人机控制指令；
将所述无人机控制指令发送至所述无人机，以控制所述无人机基于所述目标方向和所述目标速度跟随所述车辆飞行。
进一步地，所述根据所述实际偏移量(VectorX4,VectorY4)获取所述无人机的目标方向和目标速度，具体包括：
根据公式
Figure BDA0003224390810000041
计算获得所述目标方向TargD；
根据公式
Figure BDA0003224390810000042
计算获得所述目标速度TargS。
进一步地，所述方法还包括：
当所述无人机的实际朝向和所述车辆的实际朝向相同时，根据公式
Figure BDA0003224390810000043
计算获得速度补偿量CompS；其中，td表示将所述无人机控制指令发送至所述无人机的延迟时间；
根据所述速度补偿量CompS对所述目标速度进行补偿。
为了解决上述技术问题，本发明实施例第二方面提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的基于无人机的倒车辅助方法。
为了解决上述技术问题，本发明实施例第三方面提供了一种基于无人机的倒车辅助系统，所述系统用于实现上述任一项所述的基于无人机的倒车辅助方法；所述系统包括无人机、控制装置、车辆定位装置和显示装置；所述控制装置包括通信模块、位置计算模块、无人机控制模块和图像处理模块；其中，
所述无人机，用于获取自身当前的飞行数据，并将所述飞行数据通过所述通信模块发送至所述位置计算模块，所述飞行数据包括无人机位置信息；
所述车辆定位装置，用于获取车辆当前的行驶数据，并将所述行驶数据发送至所述位置计算模块，所述行驶数据包括车辆位置信息和车辆档位信息；
所述位置计算模块，用于根据所述车辆位置信息和所述无人机位置信息计算获得所述车辆和所述无人机的位置偏差；根据所述位置偏差和所述车辆档位信息计算获得所述无人机的位置偏移量，并将所述位置偏移量发送至所述无人机控制模块；
所述无人机控制模块，用于根据所述位置偏移量获得无人机控制指令，并将所述无人机控制指令通过所述通信模块发送至所述无人机；
所述无人机，还用于基于所述无人机控制指令跟随所述车辆飞行；在飞行过程中实时采集倒车图像信息，并将所述倒车图像信息通过所述通信模块发送至所述图像处理模块；
所述图像处理模块，用于对所述倒车图像信息进行处理，并将处理后的倒车图像信息发送至所述显示装置；
所述显示装置，用于对所述处理后的倒车图像信息进行显示，以辅助所述车辆完成倒车作业。
为了解决上述技术问题，本发明实施例第四方面提供了一种车辆，包括车辆本体以及上述第三方面所述的基于无人机的倒车辅助系统。
与现有技术相比，本发明实施例提供了一种基于无人机的倒车辅助方法、终端设备、系统及车辆，通过获取车辆当前的行驶数据和无人机当前的飞行数据，行驶数据包括车辆位置信息和车辆档位信息，飞行数据包括无人机位置信息，以根据车辆位置信息和无人机位置信息计算获得车辆和无人机的位置偏差，根据位置偏差和车辆档位信息计算获得无人机的位置偏移量，根据位置偏移量获得无人机控制指令，并将无人机控制指令发送至无人机，控制无人机基于无人机控制指令跟随车辆飞行；通过获取无人机在飞行过程中实时采集的倒车图像信息，并对倒车图像信息进行处理，将处理后的倒车图像信息发送至显示装置进行显示，以辅助车辆完成倒车作业；从而能够通过无人机自动实时跟随车辆飞行并拍摄倒车图像，实现更加真实、视角更加全面的倒车图像显示，为驾驶员的倒车作业提供有效地辅助，提高了倒车的安全性。
附图说明
图1是本发明提供的一种基于无人机的倒车辅助方法的一个优选实施例的流程图；
图2A至图2B是本发明实施例提供的车辆与无人机的位置示意图；
图3是本发明提供的一种终端设备的一个优选实施例的结构框图；
图4是本发明提供的一种基于无人机的倒车辅助系统的一个优选实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于无人机的倒车辅助方法，参见图1所示，是本发明提供的一种基于无人机的倒车辅助方法的一个优选实施例的流程图，所述方法包括步骤S11至步骤S16：
步骤S11、获取车辆当前的行驶数据和无人机当前的飞行数据；其中，所述行驶数据包括车辆位置信息和车辆档位信息，所述飞行数据包括无人机位置信息；
步骤S12、根据所述车辆位置信息和所述无人机位置信息，计算获得所述车辆和所述无人机的位置偏差；
步骤S13、根据所述位置偏差和所述车辆档位信息，计算获得所述无人机的位置偏移量；
步骤S14、根据所述位置偏移量获得无人机控制指令，并将所述无人机控制指令发送至所述无人机，以控制所述无人机基于所述无人机控制指令跟随所述车辆飞行；
步骤S15、获取所述无人机在飞行过程中实时采集的倒车图像信息，并对所述倒车图像信息进行处理；
步骤S16、将处理后的倒车图像信息发送至显示装置进行显示，以辅助所述车辆完成倒车作业。
在具体实施时，获取车辆当前的行驶数据和无人机当前的飞行数据，车辆的行驶数据包括车辆位置信息和车辆档位信息，无人机的飞行数据包括无人机位置信息，并根据获得的车辆位置信息和无人机位置信息，计算获得车辆位置与无人机位置之间的位置偏差，根据计算获得的车辆位置与无人机位置之间的位置偏差，结合获得的车辆档位信息，计算获得无人机位置相对于车辆位置的位置偏移量，再根据计算获得的无人机位置相对于车辆位置的位置偏移量获得相应的无人机控制指令，并将该无人机控制指令通过无线通信方式(例如WiFi等)发送至无人机，使得无人机可以根据接收到的无人机控制指令调整当前的飞行路线，以实现自动跟随车辆飞行；同时，获取无人机在飞行过程中实时采集的倒车图像信息，并对采集到的倒车图像信息进行相应处理，将处理后的倒车图像信息发送至显示装置(例如车辆的显示屏)进行显示，使得驾驶员可以通过显示的倒车图像掌握真实、全面的倒车环境信息，以辅助完成车辆的倒车作业。
优选地，本发明实施例还可以根据已经显示的倒车图像，确定畸变、盲区等非正常显示区域，并根据非正常显示区域向无人机发送相应的目标位置控制指令，使无人机飞到指定位置采集图像，从而根据采集到的图像对非正常显示区域的图像进行优化。
需要说明的是，车辆位置信息可以通过车辆上的定位模块相应获得，无人机位置信息可以通过无人机上的定位模块相应获得，具体的获取方法可以采用现有技术提供的定位方法，本发明实施例不作具体限定。
另外，本发明实施例的使用场景优选为车辆在平地行驶，并且无人机的高度相对于车辆保持固定，因此，在计算车辆位置与无人机位置之间的位置偏差以及无人机位置相对于车辆位置的位置偏移量时，仅需要计算俯视情况下的平面二维向量。
本发明实施例所提供的一种基于无人机的倒车辅助方法，通过无人机自动实时跟随车辆飞行并实时传输倒车图像，辅助倒车图像显示，能够实现更加真实、视角更加全面的倒车图像显示，为驾驶员的倒车作业提供有效地辅助，从而提高了倒车的安全性。
结合图2A至图2B所示，是本发明实施例提供的车辆与无人机的位置示意图，在另一个优选实施例中，所述车辆位置信息包括所述车辆的经纬度(LongV,LatV)，所述无人机位置信息包括所述无人机的经纬度(LongD,LatD)；
则，所述根据所述车辆位置信息和所述无人机位置信息，计算获得所述车辆和所述无人机的位置偏差，具体包括：
根据公式
Figure BDA0003224390810000081
计算获得所述位置偏差(VectorX1,VectorY1)；其中，
Figure BDA0003224390810000082
结合上述实施例，获得的车辆位置信息具体为车辆的经度LongV和纬度LatV(单位为度)，获得的无人机位置信息具体为无人机的经度LongD和纬度LatD(单位为度)，因此，在实际计算车辆位置与无人机位置之间的位置偏差时，需要将经度和纬度对应的位置偏差转换成二维坐标系下的位置偏差。
在具体实施时，可以根据公式
Figure BDA0003224390810000083
计算获得车辆位置与无人机位置之间的位置偏差(VectorX1,VectorY1)，其中，C1表示将经度差换算成二维坐标系下的差值所需相乘的参数，C2表示将纬度差换算成二维坐标系下的差值所需相乘的参数，并且
Figure BDA0003224390810000084
参见图2A所示，将车辆前进方向的右方设置为二维坐标系中的X+方向，将车辆前进方向的后方设置为二维坐标系中的Y+方向，假设在当前时刻，车辆位置为图2A中的点A，无人机位置为图2A中的点B，则计算获得的车辆位置与无人机位置之间的位置偏差(VectorX1,VectorY1)为图2A中的向量1，具体表示在当前时刻，车辆位置与无人机位置之间的初始位置偏移向量。
在又一个优选实施例中，所述行驶数据还包括车辆朝向CogV；所述方法还包括：
根据公式
Figure BDA0003224390810000091
对所述位置偏差(VectorX1,VectorY1)进行映射处理，获得处理后的位置偏差(IntX1,IntY1)；
则，所述根据所述位置偏差和所述车辆档位信息，计算获得所述无人机的位置偏移量，具体包括：
根据所述车辆档位信息和所述处理后的位置偏差(IntX1,IntY1)，计算获得所述位置偏移量。
具体的，结合上述实施例，获得的车辆的行驶数据还包括车辆朝向CogV(车辆朝向CogV具体是指车辆行驶时车辆前方的朝向)，因此，在计算获得车辆位置与无人机位置之间的位置偏差(VectorX1,VectorY1)之后，在计算无人机位置相对于车辆位置的位置偏移量之前，需要先根据车辆朝向CogV对位置偏差(VectorX1,VectorY1)进行映射，在具体实施时，可以根据公式
Figure BDA0003224390810000092
对车辆位置与无人机位置之间的位置偏差(VectorX1,VectorY1)进行映射处理，相应获得映射处理后的位置偏差(IntX1,IntY1)，再根据获得的车辆档位信息和映射处理后的位置偏差(IntX1,IntY1)，计算获得无人机位置相对于车辆位置的位置偏移量。
作为上述方案的改进，所述根据所述车辆档位信息和所述处理后的位置偏差(IntX1,IntY1)，计算获得所述位置偏移量，具体包括：
当所述车辆档位信息为前进档位时，根据公式
Figure BDA0003224390810000093
计算获得所述位置偏移量(VectorX2,VectorY2)；
当所述车辆档位信息为倒车档位时，根据公式
Figure BDA0003224390810000094
计算获得所述位置偏移量(VectorX2,VectorY2)；
其中，L1表示所述车辆前进时所述无人机的目标位置与所述车辆的当前位置之间的距离，L2表示所述车辆倒车时所述无人机的目标位置与所述车辆的当前位置之间的距离。
具体的，结合上述实施例，根据获得的车辆档位信息可以确定车辆当前的行驶方向，进一步的，可以根据不同的行驶方向对计算获得的无人机位置相对于车辆位置的位置偏移量进行校正，获得相对准确的位置偏移量；在具体实施时，当车辆档位信息为前进档位时，可以根据公式
Figure BDA0003224390810000101
计算获得无人机位置相对于车辆位置的位置偏移量(VectorX2,VectorY2)，当车辆档位信息为倒车档位时，可以根据公式
Figure BDA0003224390810000102
计算获得无人机位置相对于车辆位置的位置偏移量(VectorX2,VectorY2)，(VectorX2,VectorY2)即为校正后的位置偏移量。
参见图2B所示，假设在当前时刻，车辆位置为图2B中的点A，当车辆档位信息为前进档位时，无人机的目标位置为图2B中的点B1，当车辆档位信息为倒车档位时，无人机的目标位置为图2B中的点B2，则L1表示车辆前进时无人机的目标位置B1与车辆的当前位置A之间的距离，L2表示车辆倒车时无人机的目标位置B2与车辆的当前位置A之间的距离。
在又一个优选实施例中，所述行驶数据还包括车辆速度SpdV，所述飞行数据还包括无人机速度SpdD和无人机朝向CogD；
则，所述根据所述位置偏移量获得无人机控制指令，并将所述无人机控制指令发送至所述无人机，以控制所述无人机基于所述无人机控制指令跟随所述车辆飞行，具体包括：
根据公式
Figure BDA0003224390810000103
计算获得所述无人机的相对偏移量(VectorX3,VectorY3)；
根据公式
Figure BDA0003224390810000104
计算获得所述无人机的实际偏移量(VectorX4,VectorY4)；其中，t1表示当前获取所述无人机的飞行数据与上一次获取所述无人机的飞行数据之间的时间间隔；
根据所述实际偏移量(VectorX4,VectorY4)获取所述无人机的目标方向和目标速度；
将所述目标方向和所述目标速度转换为所述无人机控制指令；
将所述无人机控制指令发送至所述无人机，以控制所述无人机基于所述目标方向和所述目标速度跟随所述车辆飞行。
具体的，结合上述实施例，获得的车辆的行驶数据还包括车辆速度SpdV，无人机的飞行数据还包括无人机速度SpdD和无人机朝向CogD，则在根据无人机位置相对于车辆位置的位置偏移量(VectorX2,VectorY2)获得无人机控制指令时，可以先根据车辆速度SpdV、车辆朝向CogV、无人机速度SpdD和无人机朝向CogD，计算无人机位置相对于车辆位置的相对偏移量(VectorX3,VectorY3)，再根据计算获得的无人机位置相对于车辆位置的位置偏移量(VectorX2,VectorY2)以及无人机位置相对于车辆位置的相对偏移量(VectorX3,VectorY3)，计算无人机位置相对于车辆位置的实际偏移量(VectorX4,VectorY4)，以根据计算获得的实际偏移量(VectorX4,VectorY4)获取无人机的目标方向和目标速度，并将获得的无人机的目标方向和目标速度转换为相应的无人机控制指令；可以理解的，将转换获得的无人机控制指令发送至无人机之后，可以控制无人机根据接收到的无人机控制指令中的目标方向和目标速度相应调整当前的飞行路线，从而实现自动跟随车辆飞行。
在具体实施时，可以根据公式
Figure BDA0003224390810000111
计算获得无人机位置相对于车辆位置的相对偏移量(VectorX3,VectorY3)；可以根据公式
Figure BDA0003224390810000112
计算获得无人机位置相对于车辆位置的实际偏移量(VectorX4,VectorY4)；其中，t1表示当前时刻获取无人机的飞行数据与上一时刻获取无人机的飞行数据之间的时间间隔。
参见图2A所示，计算获得的无人机位置相对于车辆位置的相对偏移量(VectorX3,VectorY3)为图2A中的向量3，具体表示在当前时刻，无人机位置相对于车辆位置的初始相对移动向量。
作为上述方案的改进，所述根据所述实际偏移量(VectorX4,VectorY4)获取所述无人机的目标方向和目标速度，具体包括：
根据公式
Figure BDA0003224390810000121
计算获得所述目标方向TargD；
根据公式
Figure BDA0003224390810000122
计算获得所述目标速度TargS。
具体的，结合上述实施例，在获得无人机位置相对于车辆位置的实际偏移量(VectorX4,VectorY4)之后，可以根据公式
Figure BDA0003224390810000123
计算获得无人机的目标方向TargD，以及根据公式
Figure BDA0003224390810000124
计算获得无人机的目标速度TargS。
需要说明的是，直接根据公式
Figure BDA0003224390810000125
计算获得的是相对于车身坐标系的方向，在实际控制无人机的飞行方向时，需要将相对于车身坐标系的方向转换为相对于世界坐标系的方向，即根据公式
Figure BDA0003224390810000126
计算获得无人机相对于世界坐标系的目标方向TargD。
在又一个优选实施例中，所述方法还包括：
当所述无人机的实际朝向和所述车辆的实际朝向相同时，根据公式
Figure BDA0003224390810000127
计算获得速度补偿量CompS；其中，td表示将所述无人机控制指令发送至所述无人机的延迟时间；
根据所述速度补偿量CompS对所述目标速度进行补偿。
需要说明的是，无人机在接收到携带目标方向和目标速度的无人机控制指令之后，可以根据接收到的目标方向和目标速度相应调整当前的飞行路线，通过若干次调整无人机的飞行方向和飞行速度之后，无人机的飞行方向可以达到与车辆的行驶方向保持一致，但是，由于从将无人机控制指令发送至无人机，到无人机接收到无人机控制指令之间，存在一定的控制指令延迟误差，该延迟误差会导致无人机的跟随飞行滞后，因此，可以通过对无人机的飞行速度进行补偿，以消除控制指令延迟误差所带来的影响。
具体的，结合上述实施例，当无人机的实际朝向和车辆的实际朝向相同时，可以根据公式
Figure BDA0003224390810000131
计算获得相应的速度补偿量CompS，根据计算获得的速度补偿量CompS对无人机的目标速度TargS进行相应补偿；其中，td表示将无人机控制指令发送至无人机所对应的发送时间，到无人机接收到无人机控制指令所对应的接收时间之间的延迟时间。
本发明实施例还提供了一种终端设备，参见图3所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的基于无人机的倒车辅助方法。
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、······)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图3结构框图仅仅是上述终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
本发明实施例还提供了一种基于无人机的倒车辅助系统，参见图4所示，是本发明提供的一种基于无人机的倒车辅助系统的一个优选实施例的结构框图，所述系统用于实现上述任一实施例所述的基于无人机的倒车辅助方法；所述系统包括无人机100、控制装置200、车辆定位装置300和显示装置400；所述控制装置200包括通信模块201、位置计算模块202、无人机控制模块203和图像处理模块204；其中，
所述无人机100，用于获取自身当前的飞行数据，并将所述飞行数据通过所述通信模块201发送至所述位置计算模块202，所述飞行数据包括无人机位置信息；
所述车辆定位装置300，用于获取车辆当前的行驶数据，并将所述行驶数据发送至所述位置计算模块202，所述行驶数据包括车辆位置信息和车辆档位信息；
所述位置计算模块202，用于根据所述车辆位置信息和所述无人机位置信息计算获得所述车辆和所述无人机100的位置偏差；根据所述位置偏差和所述车辆档位信息计算获得所述无人机100的位置偏移量，并将所述位置偏移量发送至所述无人机控制模块203；
所述无人机控制模块203，用于根据所述位置偏移量获得无人机控制指令，并将所述无人机控制指令通过所述通信模块201发送至所述无人机100；
所述无人机100，还用于基于所述无人机控制指令跟随所述车辆飞行；在飞行过程中实时采集倒车图像信息，并将所述倒车图像信息通过所述通信模块201发送至所述图像处理模块204；
所述图像处理模块204，用于对所述倒车图像信息进行处理，并将处理后的倒车图像信息发送至所述显示装置400；
所述显示装置400，用于对所述处理后的倒车图像信息进行显示，以辅助所述车辆完成倒车作业。
在具体实施时，无人机100获取自身当前的飞行数据，无人机的飞行数据包括无人机位置信息，并将获得的无人机的飞行数据发送至控制装置200中的通信模块201，通信模块201在接收到无人机发送的飞行数据之后，将接收到的无人机的飞行数据发送至位置计算模块202；车辆定位装置300获取车辆当前的行驶数据，车辆的行驶数据包括车辆位置信息和车辆档位信息，并将获得的车辆的行驶数据发送至位置计算模块202；位置计算模块202在接收到通信模块201发送的无人机的飞行数据以及车辆定位装置300发送的车辆的行驶数据之后，先根据行驶数据中的车辆位置信息和飞行数据中的无人机位置信息计算获得车辆位置与无人机位置之间的位置偏差，再根据计算获得的车辆位置与无人机位置之间的位置偏差和行驶数据中的车辆档位信息计算获得无人机位置相对应车辆位置的位置偏移量，并将计算获得的位置偏移量发送至无人机控制模块203；无人机控制模块203在接收到位置计算模块202发送的无人机位置相对应车辆位置的位置偏移量之后，根据该位置偏移量获得相应的无人机控制指令，并将获得的无人机控制指令发送至通信模块201，由通信模块201发送至无人机100；无人机100在接收到通信模块201发送的无人机控制指令之后，基于接收到的无人机控制指令调整当前的飞行路线，以实现自动跟随车辆飞行，并且无人机100在飞行过程中实时采集倒车图像信息，并将采集到的倒车图像信息发送至通信模块201，由通信模块201发送至图像处理模块204；图像处理模块204在接收到通信模块201发送的倒车图像信息之后，对接收到的倒车图像信息进行相应处理，并将处理后的倒车图像信息发送至显示装置400；显示装置400在接收到图像处理模块204发送的处理后的倒车图像信息之后，对接收到的处理后的倒车图像信息进行显示，使得驾驶员可以通过显示的倒车图像掌握真实、全面的倒车环境信息，以辅助完成车辆的倒车作业。
需要说明的是，无人机100与控制装置200中的通信模块201之间可以通过WiFi进行通信，车辆定位装置300可以是车辆上的定位模块，显示装置400可以是车辆上的显示屏，本发明实施例不作具体限定。
优选地，所述车辆位置信息包括所述车辆的经纬度(LongV,LatV)，所述无人机位置信息包括所述无人机的经纬度(LongD,LatD)；
则，所述位置计算模块202具体包括：
位置偏差计算单元，用于根据公式
Figure BDA0003224390810000161
计算获得所述位置偏差(VectorX1,VectorY1)；其中，
Figure BDA0003224390810000162
优选地，所述行驶数据还包括车辆朝向CogV；所述控制装置200还包括：
位置偏差映射模块，用于根据公式
Figure BDA0003224390810000163
对所述位置偏差(VectorX1,VectorY1)进行映射处理，获得处理后的位置偏差(IntX1,IntY1)；
则，所述位置计算模块202还包括：
位置偏移量计算单元，用于根据所述车辆档位信息和所述处理后的位置偏差(IntX1,IntY1)，计算获得所述位置偏移量。
优选地，所述位置偏移量计算单元具体用于：
当所述车辆档位信息为前进档位时，根据公式
Figure BDA0003224390810000171
计算获得所述位置偏移量(VectorX2,VectorY2)；
当所述车辆档位信息为倒车档位时，根据公式
Figure BDA0003224390810000172
计算获得所述位置偏移量(VectorX2,VectorY2)；
其中，L1表示所述车辆前进时所述无人机的目标位置与所述车辆的当前位置之间的距离，L2表示所述车辆倒车时所述无人机的目标位置与所述车辆的当前位置之间的距离。
优选地，所述行驶数据还包括车辆速度SpdV，所述飞行数据还包括无人机速度SpdD和无人机朝向CogD；
则，所述无人机控制模块203具体包括：
相对偏移量计算单元，用于根据公式
Figure BDA0003224390810000173
计算获得所述无人机的相对偏移量(VectorX3,VectorY3)；
实际偏移量计算单元，用于根据公式
Figure BDA0003224390810000174
计算获得所述无人机的实际偏移量(VectorX4,VectorY4)；其中，t1表示当前获取所述无人机的飞行数据与上一次获取所述无人机的飞行数据之间的时间间隔；
目标方向及速度获取单元，用于根据所述实际偏移量(VectorX4,VectorY4)获取所述无人机的目标方向和目标速度；
控制指令获取单元，用于将所述目标方向和所述目标速度转换为所述无人机控制指令；
控制指令发送单元，用于将所述无人机控制指令发送至所述无人机，以控制所述无人机基于所述目标方向和所述目标速度跟随所述车辆飞行。
优选地，所述目标方向及速度获取单元具体用于：
根据公式
Figure BDA0003224390810000175
计算获得所述目标方向TargD；
根据公式
Figure BDA0003224390810000181
计算获得所述目标速度TargS。
优选地，所述控制装置200还包括无人机速度补偿模块，所述无人机速度补偿模块用于：
当所述无人机的实际朝向和所述车辆的实际朝向相同时，根据公式
Figure BDA0003224390810000182
计算获得速度补偿量CompS；其中，td表示将所述无人机控制指令发送至所述无人机的延迟时间；
根据所述速度补偿量CompS对所述目标速度进行补偿。
需要说明的是，本发明实施例所提供的一种基于无人机的倒车辅助系统，能够实现上述任一实施例所述的基于无人机的倒车辅助方法的所有流程，系统中的各个装置、模块、单元的作用以及实现的技术效果分别与上述实施例所述的基于无人机的倒车辅助方法的作用以及实现的技术效果对应相同，这里不再赘述。
本发明实施例还提供了一种车辆，所述车辆包括车辆本体以及上述实施例所述的基于无人机的倒车辅助系统。
需要说明的是，本发明实施例所提供的一种车辆，能够实现上述任一实施例所述的基于无人机的倒车辅助方法的所有流程，具体的实现方案以及达到的技术效果分别与上述实施例所述的基于无人机的倒车辅助方法的实现方案以及达到的技术效果对应相同，这里不再赘述。
综上，本发明实施例所提供的一种基于无人机的倒车辅助方法、终端设备、系统及车辆，通过无人机自动实时跟随车辆飞行并实时传输倒车图像，辅助倒车图像显示，能够实现更加真实、视角更加全面的倒车图像显示，为驾驶员的倒车作业提供有效地辅助，从而提高了倒车的安全性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于无人机的倒车辅助方法，其特征在于，包：
获取车辆当前的行驶数据和无人机当前的飞行数据；其中，所述行驶数据包括车辆位置信息和车辆档位信息，所述飞行数据包括无人机位置信息；
根据所述车辆位置信息和所述无人机位置信息，计算获得所述车辆和所述无人机的位置偏差；
根据所述位置偏差和所述车辆档位信息，计算获得所述无人机的位置偏移量；
根据所述位置偏移量获得无人机控制指令，并将所述无人机控制指令发送至所述无人机，以控制所述无人机基于所述无人机控制指令跟随所述车辆飞行；
获取所述无人机在飞行过程中实时采集的倒车图像信息，并对所述倒车图像信息进行处理；
将处理后的倒车图像信息发送至显示装置进行显示，以辅助所述车辆完成倒车作业。
2.如权利要求1所述的基于无人机的倒车辅助方法，其特征在于，所述车辆位置信息包括所述车辆的经纬度(LongV,LatV)，所述无人机位置信息包括所述无人机的经纬度(LongD,LatD)；
则，所述根据所述车辆位置信息和所述无人机位置信息，计算获得所述车辆和所述无人机的位置偏差，具体包括：
根据公式
Figure FDA0003224390800000011
计算获得所述位置偏差(VectorX1,VectorY1)；其中，
Figure FDA0003224390800000012
3.如权利要求2所述的基于无人机的倒车辅助方法，其特征在于，所述行驶数据还包括车辆朝向CogV；所述方法还包括：
根据公式
Figure FDA0003224390800000021
对所述位置偏差(VectorX1,VectorY1)进行映射处理，获得处理后的位置偏差(IntX1,IntY1)；
则，所述根据所述位置偏差和所述车辆档位信息，计算获得所述无人机的位置偏移量，具体包括：
根据所述车辆档位信息和所述处理后的位置偏差(IntX1,IntY1)，计算获得所述位置偏移量。
4.如权利要求3所述的基于无人机的倒车辅助方法，其特征在于，所述根据所述车辆档位信息和所述处理后的位置偏差(IntX1,IntY1)，计算获得所述位置偏移量，具体包括：
当所述车辆档位信息为前进档位时，根据公式
Figure FDA0003224390800000022
计算获得所述位置偏移量(VectorX2,VectorY2)；
当所述车辆档位信息为倒车档位时，根据公式
Figure FDA0003224390800000023
计算获得所述位置偏移量(VectorX2,VectorY2)；
其中，L1表示所述车辆前进时所述无人机的目标位置与所述车辆的当前位置之间的距离，L2表示所述车辆倒车时所述无人机的目标位置与所述车辆的当前位置之间的距离。
5.如权利要求4所述的基于无人机的倒车辅助方法，其特征在于，所述行驶数据还包括车辆速度SpdV，所述飞行数据还包括无人机速度SpdD和无人机朝向CogD；
则，所述根据所述位置偏移量获得无人机控制指令，并将所述无人机控制指令发送至所述无人机，以控制所述无人机基于所述无人机控制指令跟随所述车辆飞行，具体包括：
根据公式
Figure FDA0003224390800000031
计算获得所述无人机的相对偏移量(VectorX3,VectorY3)；
根据公式
Figure FDA0003224390800000032
计算获得所述无人机的实际偏移量(VectorX4,VectorY4)；其中，t1表示当前获取所述无人机的飞行数据与上一次获取所述无人机的飞行数据之间的时间间隔；
根据所述实际偏移量(VectorX4,VectorY4)获取所述无人机的目标方向和目标速度；
将所述目标方向和所述目标速度转换为所述无人机控制指令；
将所述无人机控制指令发送至所述无人机，以控制所述无人机基于所述目标方向和所述目标速度跟随所述车辆飞行。
6.如权利要求5所述的基于无人机的倒车辅助方法，其特征在于，所述根据所述实际偏移量(VectorX4,VectorY4)获取所述无人机的目标方向和目标速度，具体包括：
根据公式
Figure FDA0003224390800000033
计算获得所述目标方向TargD；
根据公式
Figure FDA0003224390800000034
计算获得所述目标速度TargS。
7.如权利要求6所述的基于无人机的倒车辅助方法，其特征在于，所述方法还包括：
当所述无人机的实际朝向和所述车辆的实际朝向相同时，根据公式
Figure FDA0003224390800000035
计算获得速度补偿量CompS；其中，td表示将所述无人机控制指令发送至所述无人机的延迟时间；
根据所述速度补偿量CompS对所述目标速度进行补偿。
8.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～7任一项所述的基于无人机的倒车辅助方法。
9.一种基于无人机的倒车辅助系统，其特征在于，所述系统用于实现如权利要求1～7任一项所述的基于无人机的倒车辅助方法；所述系统包括无人机、控制装置、车辆定位装置和显示装置；所述控制装置包括通信模块、位置计算模块、无人机控制模块和图像处理模块；其中，
所述无人机，用于获取自身当前的飞行数据，并将所述飞行数据通过所述通信模块发送至所述位置计算模块，所述飞行数据包括无人机位置信息；
所述车辆定位装置，用于获取车辆当前的行驶数据，并将所述行驶数据发送至所述位置计算模块，所述行驶数据包括车辆位置信息和车辆档位信息；
所述位置计算模块，用于根据所述车辆位置信息和所述无人机位置信息计算获得所述车辆和所述无人机的位置偏差；根据所述位置偏差和所述车辆档位信息计算获得所述无人机的位置偏移量，并将所述位置偏移量发送至所述无人机控制模块；
所述无人机控制模块，用于根据所述位置偏移量获得无人机控制指令，并将所述无人机控制指令通过所述通信模块发送至所述无人机；
所述无人机，还用于基于所述无人机控制指令跟随所述车辆飞行；在飞行过程中实时采集倒车图像信息，并将所述倒车图像信息通过所述通信模块发送至所述图像处理模块；
所述图像处理模块，用于对所述倒车图像信息进行处理，并将处理后的倒车图像信息发送至所述显示装置；
所述显示装置，用于对所述处理后的倒车图像信息进行显示，以辅助所述车辆完成倒车作业。
10.一种车辆，其特征在于，包括车辆本体以及权利要求9所述的基于无人机的倒车辅助系统。
CN202110967270.XA 2021-08-23 2021-08-23 一种基于无人机的倒车辅助方法、设备、系统及车辆 Pending CN113815529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110967270.XA CN113815529A (zh) 2021-08-23 2021-08-23 一种基于无人机的倒车辅助方法、设备、系统及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110967270.XA CN113815529A (zh) 2021-08-23 2021-08-23 一种基于无人机的倒车辅助方法、设备、系统及车辆

Publications (1)

Publication Number Publication Date
CN113815529A true CN113815529A (zh) 2021-12-21

Family

ID=78913538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110967270.XA Pending CN113815529A (zh) 2021-08-23 2021-08-23 一种基于无人机的倒车辅助方法、设备、系统及车辆

Country Status (1)

Country Link
CN (1) CN113815529A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825713A (zh) * 2016-04-08 2016-08-03 重庆大学 车载无人机辅助驾驶系统及运行方式
US9536149B1 (en) * 2016-02-04 2017-01-03 Proxy Technologies, Inc. Electronic assessments, and methods of use and manufacture thereof
CN108016601A (zh) * 2017-12-12 2018-05-11 余姚市荣事特电子有限公司 一种机臂可拆卸的无人机
CN108156901A (zh) * 2018-02-24 2018-06-15 高琴 一种农用播种无人机的升降装置
CN111427371A (zh) * 2020-03-30 2020-07-17 苏州航跶悦智能科技有限公司 一种车载无人机起降方法
US20200368912A1 (en) * 2019-04-06 2020-11-26 Electric Sheep Robotics, Inc. System, devices and methods for tele-operated robotics

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536149B1 (en) * 2016-02-04 2017-01-03 Proxy Technologies, Inc. Electronic assessments, and methods of use and manufacture thereof
CN105825713A (zh) * 2016-04-08 2016-08-03 重庆大学 车载无人机辅助驾驶系统及运行方式
CN108016601A (zh) * 2017-12-12 2018-05-11 余姚市荣事特电子有限公司 一种机臂可拆卸的无人机
CN108156901A (zh) * 2018-02-24 2018-06-15 高琴 一种农用播种无人机的升降装置
US20200368912A1 (en) * 2019-04-06 2020-11-26 Electric Sheep Robotics, Inc. System, devices and methods for tele-operated robotics
CN111427371A (zh) * 2020-03-30 2020-07-17 苏州航跶悦智能科技有限公司 一种车载无人机起降方法

Similar Documents

Publication Publication Date Title
US11057604B2 (en) Image processing method and device
CN112074875B (zh) 构造3d特征图的组优化深度信息方法和系统
US20200334861A1 (en) Methods and Systems to Compensate for Vehicle Calibration Errors
US20200191556A1 (en) Distance mesurement method by an unmanned aerial vehicle (uav) and uav
DE102010063133A1 (de) Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
CN111046762A (zh) 一种对象定位方法、装置电子设备及存储介质
DE102014217746A1 (de) Steuersystem zum Bewegen eines Fahrzeugs in Bezug auf ein an dem Fahrzeug anzubringendes Arbeitsgerät
DE112018004691T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und bewegter körper
US12038759B2 (en) Trusted motion unit
JP2021056028A (ja) 環境地図調整値算出方法および環境地図調整値算出プログラム
CN108733064A (zh) 一种无人机的视觉定位避障系统及其方法
US11780435B2 (en) Reverse assist method and system, image processor and corresponding drive assist system
CN113587934A (zh) 一种机器人、室内定位方法、装置和可读存储介质
CN114240769A (zh) 一种图像处理方法以及装置
CN109141477A (zh) 校准设备、方法及存储介质
CN113815529A (zh) 一种基于无人机的倒车辅助方法、设备、系统及车辆
CN110554420B (zh) 设备轨迹获取方法、装置、计算机设备及存储介质
CN115790282B (zh) 一种无人驾驶靶车方向控制系统和控制方法
WO2020164744A1 (en) Systems and methods for image normalization
CN210605466U (zh) 智能控制天线
CN113358123A (zh) 可信运动单元
CN115237113A (zh) 机器人导航的方法、机器人、机器人系统及存储介质
CN117953007B (zh) 一种基于图像匹配的线性运动补偿控制方法
CN110969664A (zh) 一种相机外部参数的动态标定方法
US20240296682A1 (en) Image position dependent blur control within hdr blending scheme

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211221

RJ01 Rejection of invention patent application after publication