CN112149467A - 飞机集群执行任务的方法和长机 - Google Patents

飞机集群执行任务的方法和长机 Download PDF

Info

Publication number
CN112149467A
CN112149467A CN201910572274.0A CN201910572274A CN112149467A CN 112149467 A CN112149467 A CN 112149467A CN 201910572274 A CN201910572274 A CN 201910572274A CN 112149467 A CN112149467 A CN 112149467A
Authority
CN
China
Prior art keywords
coordinate system
target
matrix
camera
airplane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910572274.0A
Other languages
English (en)
Other versions
CN112149467B (zh
Inventor
张文凯
巴航
张永伟
陈宇楠
李刚强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910572274.0A priority Critical patent/CN112149467B/zh
Publication of CN112149467A publication Critical patent/CN112149467A/zh
Application granted granted Critical
Publication of CN112149467B publication Critical patent/CN112149467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提出一种飞机集群执行任务的方法和长机，涉及飞行控制领域。其中的方法包括：飞机集群中的长机基于所述长机搭载的相机获取地面的监控图像，利用目标检测模型从所述监控图像中识别目标，并调度飞机集群中的若干僚机对所述目标执行相应的任务，可以减轻工作人员负担，并且减少对飞机与地面站之间的通信链路性能的依赖，使得目标发现和任务执行的实时性和可靠性得到提高。

Description

飞机集群执行任务的方法和长机
技术领域
本公开涉及飞行控制领域，特别涉及一种飞机集群执行任务的方法和长机。
背景技术
固定翼飞机(简称“飞机”)集群，通常由长机将拍摄的图像传回地面站，地面站的工作人员基于长机传回的图像发现目标，将目标的信息传送给长机和僚机。地面站的工作人员还可以指示长机继续监视目标，或者指示若干僚机攻击目标等。
发明内容
发明人发现，地面站的工作人员基于长机传回的图像发现目标，使得工作人员的工作负担比较重。此外，飞机与地面站之间的通信链路存在时延或链路中断等问题，会导致目标发现以及任务指令出现时延较长以及可靠性的问题。
本公开由长机从地面的监控图像中自主地识别目标，并调度僚机执行任务，可以减轻工作人员负担，并且减少对飞机与地面站之间的通信链路性能的依赖，使得目标发现和任务执行的实时性和可靠性得到提高。
本公开的一些实施例提出一种飞机集群执行任务的方法，包括：
飞机集群中的长机基于所述长机搭载的相机获取地面的监控图像；
利用目标检测模型从所述监控图像中识别目标，所述目标检测模型预先利用训练图像和目标标注信息进行训练；
调度飞机集群中的若干僚机对所述目标执行相应的任务。
在一些实施例中，长机将基于目标在图像上的像素点所确定的目标在惯性坐标系下的位置信息发送给被调度的僚机。
在一些实施例中长机确定目标在惯性坐标系下的位置信息包括：
根据相机的焦距、第一高度和第二高度，确定目标在相机坐标系下的高度，其中，第一高度为相机的光心在惯性坐标系下的高度，第二高度为目标在图像上的像素点在惯性坐标系下的高度；
根据相机的焦距以及像素与长度之间的换算因子，确定基于目标在相机坐标系下的高度所形成的齐次矩阵与目标在相机坐标系下的位置点之间的内参矩阵；
根据齐次矩阵和内参矩阵，并结合云台坐标系到相机坐标系的齐次转换矩阵、飞机机体坐标系到云台坐标系的齐次转换矩阵、飞机坐标系到飞机机体坐标系的齐次转换矩阵和惯性坐标系到飞机机体坐标系的齐次转换矩阵，计算目标在惯性坐标系下的位置信息。
在一些实施例中长机确定目标在相机坐标系下的高度包括：
构建比例关系式，所述比例关系式为：第一高度与第二高度的差值与第一高度之间的比值等于相机的焦距与目标在相机坐标系下的高度之间的比值；
基于所述比例关系式，计算得到目标在相机坐标系下的高度。
在一些实施例中长机计算目标在惯性坐标系下的位置信息包括：
将内参矩阵与各个齐次转换矩阵相乘得到第一矩阵，将第一矩阵的逆矩阵与齐次矩阵相乘所得到的结果确定为目标在惯性坐标系下的位置信息。
在一些实施例中还包括：长机根据监控图像监控任务执行的情况，并根据任务执行的情况确定是否继续调度僚机对所述目标执行相应的任务。
在一些实施例中飞机集群在编队飞行过程中，僚机根据长机的GPS坐标以及本僚机在长机局部坐标系下的坐标确定本僚机的GPS坐标，包括：
根据长机的GPS坐标，并结合GPS坐标系与ECEF坐标系的转换矩阵和ECEF坐标系与NED坐标系的转换矩阵，计算长机的NED坐标；
根据长机的NED坐标与僚机在长机局部坐标系下的坐标，计算僚机的NED坐标；
根据僚机的NED坐标，并结合GPS坐标系与ECEF坐标系的转换矩阵的逆矩阵和ECEF坐标系与NED坐标系的转换矩阵的逆矩阵，计算僚机的GPS坐标。
本公开的一些实施例提出一种飞机集群中的长机，包括：
图像获取单元，被配置为基于搭载的相机获取地面的监控图像；
目标识别单元，被配置为利用目标检测模型从所述监控图像中识别目标，所述目标检测模型预先利用训练图像和目标标注信息进行训练；
僚机调度单元，被配置为调度飞机集群中的若干僚机对所述目标执行相应的任务。
在一些实施例中还包括：目标位置解算单元，被配置为基于目标在图像上的像素点确定目标在惯性坐标系下的位置信息；
所述僚机调度单元，还被配置为将目标在惯性坐标系下的位置信息发送给被调度的僚机。
在一些实施例中还包括：监控单元，被配置为根据监控图像监控任务执行的情况；
所述僚机调度单元，还被配置为根据任务执行的情况确定是否继续调度僚机对所述目标执行相应的任务。
本公开的一些实施例提出一种飞机集群中的长机，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述任一个实施例中的飞机集群执行任务的方法。
本公开的一些实施例提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一个实施例中的飞机集群执行任务的方法。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开，
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开的飞机集群系统的一些实施例的示意图。
图2为本公开的僚机根据长机的GPS坐标以及本僚机在长机局部坐标系下的坐标确定本僚机的GPS坐标的一些实施例的示意图。
图3为本公开飞机集群执行任务的方法一些实施例的示意图。
图4a和图4b示出了坐标系(1-5)的位置关系示意图。
图5a和图5b示出了本公开的相机坐标系和像素坐标系(5-6)的建模示意图。
图6为本公开飞机集群中的长机的一些实施例的结构示意图。
图7为本公开飞机集群中的长机的一些实施例的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
图1为本公开的飞机集群系统的一些实施例的示意图。
如图1所示，飞机集群系统10包括长机11、若干僚机12和地面站13。长机11与地面站13之间可以远程通信。僚机12与地面站13之间可以不通信。长机11与若干僚机12组成一个局域网，通过局域网长机11与僚机12之间可以通信。如果长机11出现意外，某个僚机12可以成为长机。
在飞机集群起飞阶段，长机被首先发射，然后各个僚机被逐次发射。僚机会实时接收长机的消息，例如长机的消息中包括长机的GPS(Global Positioning System，全球定位系统)坐标、速度、航行等信息。僚机根据长机的消息自主规划轨迹。
为了规划轨迹，僚机需要根据长机的GPS坐标以及本僚机在长机局部坐标系下的坐标确定本僚机的GPS坐标。
其中，长机局部坐标系，以长机质心为原点O，X轴指向地球正北，Y指向地球东，X-Y平面与水平面平行，Z轴与X-Y平面垂直并指向下。长机局部坐标系与NED(North-East-Down，北东地)坐标系重合。设僚机i在长机局部坐标系下坐标为：
Figure BDA0002111224740000051
设长机的GPS坐标为
Figure BDA0002111224740000052
其中
Figure BDA0002111224740000053
分别为长机的经度、维度和高度。
如图2所示，僚机根据长机的GPS坐标以及本僚机在长机局部坐标系下的坐标确定本僚机的GPS坐标包括：
步骤21，根据长机的GPS坐标，并结合GPS坐标系与ECEF(Earth Centered EarthFixed，地心地固)坐标系的转换矩阵和ECEF坐标系与NED坐标系的转换矩阵，计算长机的NED坐标。
公式表示为：
Figure BDA0002111224740000054
其中，
Figure BDA0002111224740000055
表示长机的NED坐标，其中的
Figure BDA0002111224740000056
分别表示长机的NED坐标在其x轴，y轴，z轴方向的值，T1表示GPS坐标系与ECEF坐标系的转换矩阵，T2表示ECEF坐标系与NED坐标系的转换矩阵，
Figure BDA0002111224740000057
表示长机的GPS坐标，T1和T2的值参考现有技术。
其中，ECEF坐标系，原点的位置在地球质心，X轴通过格林尼治线和赤道线的交点，正方向为原点指向交点方向，Z轴通过原点指向北极，Y轴与X轴、Z轴构成右手坐标系。
步骤22，根据长机的NED坐标与僚机在长机局部坐标系下的坐标，计算僚机的NED坐标。
公式表示为：
Figure BDA0002111224740000058
其中，
Figure BDA0002111224740000059
表示僚机i的NED坐标，其中的
Figure BDA00021112247400000510
分别表示僚机i的NED坐标在其x轴，y轴，z轴方向的值。其他符号的含义参考前述。
步骤23，根据僚机的NED坐标，并结合GPS坐标系与ECEF坐标系的转换矩阵的逆矩阵和ECEF坐标系与NED坐标系的转换矩阵的逆矩阵，计算僚机的GPS坐标。
公式表示为：
Figure BDA0002111224740000061
其中，
Figure BDA0002111224740000062
表示僚机i的GPS坐标。其他符号的含义参考前述。
飞机集群起飞后，长机与僚机的编队飞行。编队飞行模式可以预先设置或根据长机的指示进行调整。编队飞行模式例如可以是以长机为中心的中心模式或者以长机为首的主从模式等，但不限于所举示例。
在编队飞行过程中，飞机集群以长机主导和僚机执行的协作方式完成相应的任务。下面具体描述。
图3为本公开飞机集群执行任务的方法一些实施例的示意图。
如图3所示，该实施例的方法包括：
步骤31，飞机集群中的长机基于所述长机搭载的相机获取地面的监控图像。
步骤32，长机利用目标检测模型从所述监控图像中识别目标。
其中，目标检测模型预先利用训练图像和目标标注信息进行训练。目标检测模型例如可以选用MobileNet-SSD模型，以提高目标识别的实时性。
在长机识别目标之后，可以直接执行步骤33，也可以将目标信息发送给地面站进行确认，确认之后再执行步骤33。
步骤33，长机调度飞机集群中的若干僚机对所述目标执行相应的任务。
任务例如可以是区域救援，森林救火，物资投放，反恐侦察，目标攻击等。
在步骤33之后，还可以选择性地执行步骤34。
步骤34，长机根据监控图像监控任务执行的情况，并根据任务执行的情况确定是否继续调度僚机对所述目标执行相应的任务。
以救火任务为例，按照预设的目标以及相应的僚机调度策略，长机第一次向第1，2号僚机发出向火灾位置处投放灭火剂的指令，第3，4，5号僚机待命，同时长机观察火势情况，当第1，2号僚机执行完救火任务后，若火灾未被扑灭，则长机继续向第3，4，5号僚机发送向火灾位置处投放灭火剂的指令，继续执行救火任务。其中，不同的目标可以设置不同的僚机调度策略，相同的目标根据需要可以设置相同的或不同的僚机调度策略。
上述实施例，由长机从地面的监控图像中自主地识别目标，并调度僚机执行任务，可以减轻工作人员负担，并且减少对飞机与地面站之间的通信链路性能的依赖，使得目标发现和任务执行的实时性和可靠性得到提高。
在长机调度僚机时，长机可以将基于目标在图像上的像素点所确定的目标在惯性坐标系下的位置信息发送给被调度的僚机，以便僚机知道目标的位置信息。下面具体描述目标的位置信息的解算过程。
下面定义一些坐标系。图4a和图4b示出了坐标系(1-5)的位置关系示意图。
(1)惯性坐标系(inertial frame)，记为OI-XIYIZI。原点OI在起飞点(HOME)，XI指向北(North)，YI指向东(East)，ZI指向地，坐标为(XI,YI,ZI)。
Figure BDA0002111224740000071
表示原点OI与飞机重心(记为CM)之间的距离。
(2)飞机坐标系(vehicle frame)，记为Ov-XvYvZv。原点Ov在飞机重心(记为CM)，Xv指向北，Yv指向东，Zv指向地，坐标为(Xv,Yv,Zv)
(3)机体坐标系(body frame)，记为Ob-XbYbZb。原点Ob在飞机重心，Xb指向机头，Yb在机体平面内指向右侧机翼，Zb垂直机体平面指向下，坐标为(Xb,Yb,Zb)。
(4)云台坐标系(gimbal frame)，记为Og-XgYgZg。原点Og在云台重心(记为Gimbal)，Xg沿光轴方向，Yg平行于图像平台向右，Zg平行于图像平面向下，坐标为(Xg,Yg,Zg)。
(5)相机坐标系(camera frame)，记为Oc-XcYcZc。原点Oc在光心，Xc平行图像平面向下，Yc平行图像平面向右，Zc平行光轴向前，坐标为(Xv,Yv,Zv)。
(6)像素坐标系(pixel frame),记为Op-XpYp。原点Op在图像右上角，坐标(Xp,Yp)，Xp,Yp为像素值。
下面定义一些符号。
vi表示向量v在坐标系i中的表达。
Figure BDA0002111224740000081
表示坐标系i到坐标系j的旋转矩阵。
Figure BDA0002111224740000082
表示坐标系i到坐标系j的平移矩阵。
Figure BDA0002111224740000083
表示坐标系i到坐标系j的齐次转换矩阵。
可理解地，一旦定义好坐标系i，j，则坐标系i到坐标系j的旋转矩阵
Figure BDA0002111224740000084
平移矩阵
Figure BDA0002111224740000085
齐次转换矩阵
Figure BDA0002111224740000086
都是可以确定的已知量。例如，基于前述定义的坐标系(1-5)，则云台坐标系到相机坐标系的齐次转换矩阵
Figure BDA0002111224740000087
飞机机体坐标系到云台坐标系的齐次转换矩阵
Figure BDA0002111224740000088
飞机坐标系到飞机机体坐标系的齐次转换矩阵
Figure BDA0002111224740000089
和惯性坐标系到飞机机体坐标系的齐次转换矩阵
Figure BDA00021112247400000810
等，都是可以确定的已知量。
图5a和图5b示出了本公开的相机坐标系和像素坐标系(5-6)的建模示意图。下面结合图5a和图5b描述长机基于目标在图像上的像素点确定目标在惯性坐标系下的位置信息。
目标P在相机坐标系下的位置点为
Figure BDA00021112247400000811
Figure BDA00021112247400000812
在图像上的像素坐标为q＝(xip,yip,1,1)T。相机的焦距为f。令λ＝pz。其中，px,py,pz的单位均为长度单位，例如米(m)。xip,yip的单位均是像素单位，例如像素值。Sx、Sy分别为像素与长度之间在x、y方向的换算因子，xim、yim的单位是长度单位，例如米。在相机坐标系下，将像素单位换算成长度单位(例如将像素值换算成米)，则有如下公式：
xim＝(-yip+0y)Sy，yim＝(xip-0x)Sx
Figure BDA00021112247400000813
通过相似三角形，有如下公式：
Figure BDA00021112247400000814
其中，基于目标在相机坐标系下的高度λ所形成的齐次矩阵为：
Figure BDA0002111224740000091
其中，I为单位矩阵，C表示齐次矩阵Λq与目标在相机坐标系下的位置点
Figure BDA0002111224740000092
之间的内参矩阵，C为:
Figure BDA0002111224740000093
可见，根据相机的焦距以及像素与长度之间的换算因子，确定基于目标在相机坐标系下的高度所形成的齐次矩阵与目标在相机坐标系下的位置点之间的内参矩阵，0x＝0y＝0。
由矩阵转换关系得出：
Figure BDA0002111224740000094
由上式得出：
Figure BDA0002111224740000095
可见，根据齐次矩阵和内参矩阵，并结合云台坐标系到相机坐标系的齐次转换矩阵、飞机机体坐标系到云台坐标系的齐次转换矩阵、飞机坐标系到飞机机体坐标系的齐次转换矩阵和惯性坐标系到飞机机体坐标系的齐次转换矩阵，计算目标在惯性坐标系下的位置信息。即，将内参矩阵与各个齐次转换矩阵相乘得到第一矩阵
Figure BDA0002111224740000096
将第一矩阵的逆矩阵
Figure BDA0002111224740000097
与齐次矩阵Λq相乘所得到的结果确定为目标在惯性坐标系下的位置信息
Figure BDA0002111224740000098
因此，计算出λ值，即可计算出Λq，进而计算出
Figure BDA0002111224740000099
下面描述λ值的计算过程。
设pcc为相机的光心位置，则
Figure BDA00021112247400000910
光心在惯性坐标系下的齐次坐标为：
Figure BDA00021112247400000911
像素坐标q＝(xip,yip,1,1)T在惯性坐标系下的坐标为：
Figure BDA0002111224740000101
Figure BDA0002111224740000102
为相机的光心在惯性坐标系下的坐标，相机的光心在惯性坐标系下的高度为
Figure BDA0002111224740000103
Figure BDA0002111224740000104
为目标在图像上的像素点在惯性坐标系下的坐标，目标在图像上的像素点在惯性坐标系下的高度为
Figure BDA0002111224740000105
目标P在光轴上的投影为B，d为
Figure BDA0002111224740000106
与P之间的距离，λ为
Figure BDA0002111224740000107
与B之间的距离，m为
Figure BDA0002111224740000108
与
Figure BDA0002111224740000109
之间的距离。三角形
Figure BDA00021112247400001010
与三角形
Figure BDA00021112247400001011
相似，则构建如下比例关系式，比例关系式为：第一高度与第二高度的差值与第一高度之间的比值等于相机的焦距与目标在相机坐标系下的高度之间的比值，公式表示如下：
Figure BDA00021112247400001012
基于所述比例关系式，计算得到目标在相机坐标系下的高度：
Figure BDA00021112247400001013
从而，计算出λ值。根据前述，可以计算出
Figure BDA00021112247400001014
图6为本公开飞机集群中的长机的一些实施例的结构示意图。
如图6所示，该实施例的长机包括：
图像获取单元61，被配置为基于搭载的相机获取地面的监控图像；
目标识别单元62，被配置为利用目标检测模型从所述监控图像中识别目标，所述目标检测模型预先利用训练图像和目标标注信息进行训练；
僚机调度单元63，被配置为调度飞机集群中的若干僚机对所述目标执行相应的任务。
在一些实施例中，长机还包括：目标位置解算单元64，被配置为基于目标在图像上的像素点确定目标在惯性坐标系下的位置信息；所述僚机调度单元63，还被配置为将目标在惯性坐标系下的位置信息发送给被调度的僚机。
在一些实施例中，长机还包括：监控单元65，被配置为根据监控图像监控任务执行的情况；所述僚机调度单元63，还被配置为根据任务执行的情况确定是否继续调度僚机对所述目标执行相应的任务。
图7为本公开飞机集群中的长机的一些实施例的结构示意图。
如图7所示，该实施例的长机包括：存储器71；以及耦接至所述存储器的处理器72，所述处理器被配置为基于存储在所述存储器中的指令，执行前述任一个实施例的飞机集群执行任务的方法。
其中，存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (12)

1.一种飞机集群执行任务的方法，包括：
飞机集群中的长机基于所述长机搭载的相机获取地面的监控图像；
利用目标检测模型从所述监控图像中识别目标，所述目标检测模型预先利用训练图像和目标标注信息进行训练；
调度飞机集群中的若干僚机对所述目标执行相应的任务。
2.如权利要求1所述的方法，其中，长机将基于目标在图像上的像素点所确定的目标在惯性坐标系下的位置信息发送给被调度的僚机。
3.如权利要求2所述的方法，其中，长机确定目标在惯性坐标系下的位置信息包括：
根据相机的焦距、第一高度和第二高度，确定目标在相机坐标系下的高度，其中，第一高度为相机的光心在惯性坐标系下的高度，第二高度为目标在图像上的像素点在惯性坐标系下的高度；
根据相机的焦距以及像素与长度之间的换算因子，确定基于目标在相机坐标系下的高度所形成的齐次矩阵与目标在相机坐标系下的位置点之间的内参矩阵；
根据齐次矩阵和内参矩阵，并结合云台坐标系到相机坐标系的齐次转换矩阵、飞机机体坐标系到云台坐标系的齐次转换矩阵、飞机坐标系到飞机机体坐标系的齐次转换矩阵和惯性坐标系到飞机机体坐标系的齐次转换矩阵，计算目标在惯性坐标系下的位置信息。
4.如权利要求3所述的方法，其中，长机确定目标在相机坐标系下的高度包括：
构建比例关系式，所述比例关系式为：第一高度与第二高度的差值与第一高度之间的比值等于相机的焦距与目标在相机坐标系下的高度之间的比值；
基于所述比例关系式，计算得到目标在相机坐标系下的高度。
5.如权利要求3所述的方法，其中，长机计算目标在惯性坐标系下的位置信息包括：
将内参矩阵与各个齐次转换矩阵相乘得到第一矩阵，将第一矩阵的逆矩阵与齐次矩阵相乘所得到的结果确定为目标在惯性坐标系下的位置信息。
6.如权利要求1所述的方法，还包括：
长机根据监控图像监控任务执行的情况，并根据任务执行的情况确定是否继续调度僚机对所述目标执行相应的任务。
7.如权利要求1所述的方法，其中，飞机集群在编队飞行过程中，僚机根据长机的GPS坐标以及本僚机在长机局部坐标系下的坐标确定本僚机的GPS坐标，包括：
根据长机的GPS坐标，并结合GPS坐标系与ECEF坐标系的转换矩阵和ECEF坐标系与NED坐标系的转换矩阵，计算长机的NED坐标；
根据长机的NED坐标与僚机在长机局部坐标系下的坐标，计算僚机的NED坐标；
根据僚机的NED坐标，并结合GPS坐标系与ECEF坐标系的转换矩阵的逆矩阵和ECEF坐标系与NED坐标系的转换矩阵的逆矩阵，计算僚机的GPS坐标。
8.一种飞机集群中的长机，包括：
图像获取单元，被配置为基于搭载的相机获取地面的监控图像；
目标识别单元，被配置为利用目标检测模型从所述监控图像中识别目标，所述目标检测模型预先利用训练图像和目标标注信息进行训练；
僚机调度单元，被配置为调度飞机集群中的若干僚机对所述目标执行相应的任务。
9.如权利要求8所述的长机，还包括：
目标位置解算单元，被配置为基于目标在图像上的像素点确定目标在惯性坐标系下的位置信息；
所述僚机调度单元，还被配置为将目标在惯性坐标系下的位置信息发送给被调度的僚机。
10.如权利要求8所述的长机，还包括：
监控单元，被配置为根据监控图像监控任务执行的情况；
所述僚机调度单元，还被配置为根据任务执行的情况确定是否继续调度僚机对所述目标执行相应的任务。
11.一种飞机集群中的长机，包括：存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-6中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7中任一项所述的方法。
CN201910572274.0A 2019-06-28 2019-06-28 飞机集群执行任务的方法和长机 Active CN112149467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910572274.0A CN112149467B (zh) 2019-06-28 2019-06-28 飞机集群执行任务的方法和长机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910572274.0A CN112149467B (zh) 2019-06-28 2019-06-28 飞机集群执行任务的方法和长机

Publications (2)

Publication Number Publication Date
CN112149467A true CN112149467A (zh) 2020-12-29
CN112149467B CN112149467B (zh) 2024-08-20

Family

ID=73869071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910572274.0A Active CN112149467B (zh) 2019-06-28 2019-06-28 飞机集群执行任务的方法和长机

Country Status (1)

Country Link
CN (1) CN112149467B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113741531A (zh) * 2021-09-15 2021-12-03 江苏航空职业技术学院 共享目标任务信息的无人机集群协同控制系统及控制方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009066350A (ja) * 2007-09-18 2009-04-02 Namco Bandai Games Inc プログラム、情報記憶媒体及び台詞出力判断制御装置
CN102081404A (zh) * 2011-01-27 2011-06-01 西北工业大学 一种通信约束下双无人机协同目标跟踪方法
US20130162838A1 (en) * 2011-12-22 2013-06-27 Pelco, Inc. Transformation between Image and Map Coordinates
CN103699106A (zh) * 2013-12-30 2014-04-02 合肥工业大学 基于VR-Forces仿真平台的多无人机协同任务规划仿真系统
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN107490364A (zh) * 2017-09-01 2017-12-19 中国科学院长春光学精密机械与物理研究所 一种大角度倾斜成像航空相机对地目标定位方法
CN107727079A (zh) * 2017-11-30 2018-02-23 湖北航天飞行器研究所 一种微小型无人机全捷联下视相机的目标定位方法
CN108052110A (zh) * 2017-09-25 2018-05-18 南京航空航天大学 基于双目视觉的无人机编队飞行方法和系统
CN108521670A (zh) * 2018-03-14 2018-09-11 中国人民解放军国防科技大学 面向多机紧密编队飞行基于uwb通信与定位方法及一体化系统
CN108983816A (zh) * 2018-08-07 2018-12-11 中南大学 多旋翼无人机变尺度协同监视编队飞行控制方法
CN109753076A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009066350A (ja) * 2007-09-18 2009-04-02 Namco Bandai Games Inc プログラム、情報記憶媒体及び台詞出力判断制御装置
CN102081404A (zh) * 2011-01-27 2011-06-01 西北工业大学 一种通信约束下双无人机协同目标跟踪方法
US20130162838A1 (en) * 2011-12-22 2013-06-27 Pelco, Inc. Transformation between Image and Map Coordinates
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN103699106A (zh) * 2013-12-30 2014-04-02 合肥工业大学 基于VR-Forces仿真平台的多无人机协同任务规划仿真系统
CN107490364A (zh) * 2017-09-01 2017-12-19 中国科学院长春光学精密机械与物理研究所 一种大角度倾斜成像航空相机对地目标定位方法
CN108052110A (zh) * 2017-09-25 2018-05-18 南京航空航天大学 基于双目视觉的无人机编队飞行方法和系统
CN109753076A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
CN107727079A (zh) * 2017-11-30 2018-02-23 湖北航天飞行器研究所 一种微小型无人机全捷联下视相机的目标定位方法
CN108521670A (zh) * 2018-03-14 2018-09-11 中国人民解放军国防科技大学 面向多机紧密编队飞行基于uwb通信与定位方法及一体化系统
CN108983816A (zh) * 2018-08-07 2018-12-11 中南大学 多旋翼无人机变尺度协同监视编队飞行控制方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
2016 IEEE AEROSPACE CONFERENCE: "Open source computer-vision based guidance system for UAVs on-board decision making", 2016 IEEE AEROSPACE CONFERENCE *
李雪松;李颖晖;张水清;李霞;徐浩军;: "基于视线的无人机鲁棒自适应编队控制设计", 飞行力学, no. 06 *
温杰;: ""战隼"变"飞镖" 美国空军"忠诚的僚机"作战概念", 兵器知识, no. 07 *
王辰;黎军;富佳伟;姚富宽;: "基于蜂群编队形式的气动耦合优化模型研究", 飞机设计, no. 02 *
符小卫;冯慧成;高晓光;: "通信距离约束下双无人机目标跟踪算法", 系统工程与电子技术, no. 08 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113741531A (zh) * 2021-09-15 2021-12-03 江苏航空职业技术学院 共享目标任务信息的无人机集群协同控制系统及控制方法

Also Published As

Publication number Publication date
CN112149467B (zh) 2024-08-20

Similar Documents

Publication Publication Date Title
US20240219903A1 (en) Unmanned Aerial Vehicle Modular Command Priority Determination And Filtering System
Borowczyk et al. Autonomous landing of a quadcopter on a high-speed ground vehicle
WO2021003657A1 (zh) 一种无人机协同作业的控制方法、电子设备及系统
CN108885470B (zh) 一种任务执行方法、移动装置、系统及存储介质
Cai et al. Path planning for UAV tracking target based on improved A-star algorithm
CN112789672B (zh) 控制和导航系统、姿态优化、映射和定位技术
Brockers et al. Fully self-contained vision-aided navigation and landing of a micro air vehicle independent from external sensor inputs
CN109508036B (zh) 一种中继点生成方法、装置和无人机
CN111213367B (zh) 一种负载的控制方法及装置
US20230419843A1 (en) Unmanned aerial vehicle dispatching method, server, base station, system, and readable storage medium
Lin et al. Development of an unmanned coaxial rotorcraft for the DARPA UAVForge challenge
Leichtfried et al. Autonomous flight using a smartphone as on-board processing unit in GPS-denied environments
CN112149467B (zh) 飞机集群执行任务的方法和长机
Bailey Unmanned aerial vehicle path planning and image processing for orthoimagery and digital surface model generation
Moffatt et al. Collaboration between multiple UAVs for fire detection and suppression
Valenti Approximate dynamic programming with applications in multi-agent systems
CN108225316B (zh) 载体姿态信息的获取方法和装置及系统
Bethke Persistent vision-based search and track using multiple UAVs
EP3940672A1 (en) Assurance module
JP2019082837A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP6730764B1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
Sanna et al. A novel ego-motion compensation strategy for automatic target tracking in FLIR video sequences taken from UAVs
CN112313597A (zh) 飞行器控制方法、设备、系统及存储介质
Cummings et al. Development and testing of a quad rotor smartphone control system for novice users
Sinsley et al. An intelligent controller for collaborative unmanned air vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210305

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100086 8th Floor, 76 Zhichun Road, Haidian District, Beijing

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

Effective date of registration: 20210305

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant