CN117724532A - 一种基于LTE Cat1技术的飞行数据无线传输系统 - Google Patents

Abstract

本申请公开了一种基于LTE Cat1技术的飞行数据无线传输系统，该系统具体包括：无人机群和主控端；无人机群之间、无人机群与主控端之间采用第一通信方式进行飞行数据的无线传输，其中第一通信方式为LTE Cat1通信；主控端包括无人机群控制模块；无人机群控制模块控制无人机群按并排方式以相同的水平方向和水平速度进行飞行；无人机群控制模块将每个无人机的坐标发送给对应的无人机以调整无人机的位置；同时，无人机群控制模块调整无人机回传的图像的范围。该飞行数据无线传输系统能够根据无人机的上传速度对图像采集、传输、融合进行综合调整。

Description

一种基于LTE Cat1技术的飞行数据无线传输系统

技术领域

本申请涉及无人机领域，尤其涉及基于LTE Cat1技术的飞行数据无线传输系统。

背景技术

无人机因其高效、灵活及低成本等特点，被广泛应用于高空图像采集领域。现有的无人机图像采集，通常采用由单台无人机通过平行线遍历的方式在采集区域内进行图像采集，但由于单台无人机的续航的限制，这种采集方式无法对大范围的区域进行采集。针对此问题，有人提出采用无人机群进行图像采集的方式。而无人机数量的增加虽然能够提高采集区域的大小，但也会带来无人机无线网络传输环境的不同，即不同无人机的上传速度也不同，从而对回传的图传的图像质量产生影响，当部分无人机所处区域无线网络环境差时，其图传的图像质量差、速度慢甚至无法图传，不利于主控端对无人机群的实时控制及对图像采集效果的实时预览和分析，因此亟需一种能够根据无人机的上传速度对图像采集、传输、融合进行综合调整的解决方案。

发明内容

本申请的目的在于提供一种基于LTE Cat1技术的飞行数据无线传输系统，以更好地解决现有技术中的问题。

为实现上述目的，本申请提供如下技术方案：

一种基于LTE Cat1技术的飞行数据无线传输系统，其特征在于，包括：

无人机群和主控端；无人机群之间、无人机群与主控端之间采用第一通信方式进行飞行数据的无线传输，其中第一通信方式为LTE Cat1通信；

主控端包括无人机群控制模块；无人机群控制模块控制无人机群按并排方式以相同的水平方向和水平速度进行飞行；

无人机群控制模块还以垂直方向为z轴，无人机群水平运动方向为x轴建立坐标系，用i表示无人机群在y轴方向上的第i个无人机；用h_i表示第i个无人机相对地面的高度；将第i个无人机与第i+1个无人机在y轴方向上的设定间距表示为D_i，i+1(1≤i≤n-1)；用w(h_i)表示第i个无人机在h_i高度下采集的图像在y轴的长度；用F_i表示第i个无人机回传的图像在y轴的长度；用Q_i量化第i个无人机的上传速度质量；

其中其中V_i表示第i个无人机的图像上传速度，V_a、V_b为预设的阈值；

无人机群控制模块对于每个无人机i进行判断：

若成立，

则计算

否则，则计算

无人机群控制模块对于所有的无人机均计算DL_i、DR_i后，对于每个无人机i均设置：

D_i，i+1＝min{DR_i，DL_i+1}，1≤i≤n-1；

F_i＝Q_iw(h_i)，1≤i≤n；

无人机群控制模块根据D_i，i+1得出每个无人机的坐标，无人机群控制模块将每个无人机的坐标发送给对应的无人机以调整无人机的位置；同时，无人机群控制模块将每个无人机的F_i发送给对应的无人机以调整无人机回传的图像的范围。

进一步的，

其中其中s为无人机采集模块的相元大小，f为焦距，p为在y轴方向上的分辨率。

进一步的，

当无人机群控制模块检测到第i个无人机的上传速度质量Q_i<Q_a时，在相邻的第i-1个无人机和第i+1个无人机中取上传速度质量更高的无人机，将其设定为通信中继无人机，第i个无人机通过第二通信方式将回传的图像先传输给通信中继无人机，再由通信中继无人机通过第一通信方式传输给主控端；其中Q_a为预设的上传速度质量阈值；第二通信方式不同于第一通信方式。

进一步的，

第二通信方式为WiFi通信。

进一步的，

无人机群控制模块将通信中继无人机与主控端的传输带宽进行分配，其中比例的带宽用于传输第i个无人机的回传的图像，/>比例的带宽用于传输通信中继无人机j自身的回传的图像，其中j为通信中继无人机的编号。

进一步的，

无人机群的每个无人机均包括图像采集模块；图像采集模块包括二维图像采集单元和深度图像采集单元，二维图像采集单元用于采集RGB图像，深度图像采集单元用于采集深度图像；无人机的图像采集模块根据预设的变换矩阵将二维图像采集单元采集的RGB图像和深度图像采集单元采集深度图像进行融合，获得既含有RGB信息也含有深度信息的第一融合图像。

进一步的，

无人机群的每个无人机还均包括图像传输模块，对于第i个无人机，其图像传输模块首先通过居中裁剪的方式，将长度为w(h_i)的第一融合图像裁剪为长度为F_i的第二融合图像；图像传输模块仅保留本无人机的第二融合图像中与相邻无人机的第二融合图像重叠区域的深度信息，而将本无人机的第二融合图像其余部分的深度信息删除得到第三融合图像；图像传输模块将第三融合图像传输给主控端或通信中继无人机。

进一步的，

若成立，则图像传输模块仅保留第二融合图像在y轴方向上两端各γmin{w(h_i-1),w(h_i)}长度的深度信息，而将其余部分的深度信息删除得到第三融合图像；

若不成立，则图像传输模块仅保留第二融合图像在y轴方向上两端各βmin{w(h_i-1),w(h_i)}长度的深度信息，而将其余部分的深度信息删除第三融合图像。

进一步的，

主控端还包括图像融合模块，用于接收所有无人机的第三融合图像，并根据第三融合图像的深度信息进行特征点匹配，进而将所有无人机的第三融合图像融合为第四融合图像，并将第四融合图像的RGB图像显示在显示单元上。

与现有技术相比，本申请创新点及其有益效果是：

1、能够实时并灵活地根据每台无人机的图像上传速度调整每台无人机的位置及回传的图像的范围，在无线网络环境好上传速度佳的情况下，能够提高各无人机回传图像的图像重叠率，从而有利于获得更好的图像融合效果以并有利于主控端图像采集效果的实时预览和分析。而当部分无人机图像上传速度较差的情况下，能够减少上传速度较差的无人机上传图像的大小，从而抵冲上传速度较差带来的影响，同时还能从调整所有无人机的位置，让其他无人机弥补上传速度较差的无人机减少上传图像大小带来的空缺，从整体上保障了图像重叠率。

2、相较于传统中继无人机的通信设置，本申请中继无人机的相应设置提高了无人机的图像回传的稳定性，并根据无人机采集的图像的大小对中继无人机传输带宽进行合理分配，避免传统中继无人机回传图像质量的不均匀。

3、通过无人机的图像采集模块和图像传输模块的设置，能够获得既含有RGB信息也含有深度信息的融合图像，相比于常规的仅含RGB信息的图像，更有利于主控端对所有无人机图像的融合。还能根据无人机上传速度质量的不同对融合图像进行裁剪，从而使无人机传输的图像大小与其上传速度质量相对应。而由于主控端对所有无人机图像的融合重点在于图像间的重叠区域，因此图像传输模块能够剔除出非重叠区域的深度信息，从而节约了传输的图像大小。

4、图像融合模块根据重叠区域的深度信息进行图像融合，其融合速度相较于根据RGB信息进行图像融合更快。

附图说明

图1为无人机群正视示意图。

图2为无人机群俯视示意图。

图3为通过第一融合图像示意图获取第二融合图像。

图4为通过第二融合图像示意图获取第三融合图像。

具体实施方式

以下结合附图对本发明进行详细说明：

为解决上述问题，本申请提出一种基于LTE Cat1技术的飞行数据无线传输系统，其包括无人机群和主控端。无人机群之间、无人机群与主控端之间采用第一通信方式进行飞行数据的无线传输，飞行数据包括无人机群回传的图像数据、主控端对无人机群的飞行控制数据等。第一通信方式可为现有的无线通信技术，但更优选的，第一通信方式为LTECat1通信，采用LTE Cat1技术进行无线信号传输能够更适用于无人机群的图像采集场景，一方面LTE Cat1具有良好的移动特性，另一方面其广覆盖成本低，能够满足无人机群大范围的信号传输需求。

同时，主控端包括无人机群控制模块，用于对无人机群的每一台无人机的飞行路径进行控制。无人机群控制模块控制无人机群按并排方式以相同的水平方向和水平速度进行飞行。这里的并排方式不要求无人机群均位于同一高度，仅要求从俯视角看无人机群整体成并排即可，每一台无人机的飞行高度可按实际地面分辨率需求由主控端灵活调整。

由于不同无人机无线网络传输环境的不同，即不同无人机的上传速度(例即无人机将拍摄图像的预览图发送给主控端的数据传输速度)也不同，从而对回传的图传的图像质量和延迟产生影响，为解决该问题，无人机群控制模块还根据每台无人机的上传速度控制每台无人机的位置及回传的图像的范围。

具体的，如图1-2所示，以垂直方向为z轴，无人机群水平运动方向为x轴建立坐标系，用i表示无人机群在y轴方向上的第i个无人机，无人机总数为n，n优选大于4。用h_i表示第i个无人机相对地面的高度。同时将第i个无人机与第i+1个无人机在y轴方向上的设定间距表示为D_i，i+1(1≤i≤n-1)。

由于无人机群控制模块控制无人机群按并排方式以相同的水平方向和水平速度进行飞行，因此可以认为所有无人机在坐标系中x轴的坐标均相同，记为x0。记第1个无人机的y轴坐标为0，则第1个无人机在坐标系中的坐标为(x0，0，h₁)，易得第i个无人机(2≤i≤n)在坐标系中的坐标为

注意到此处的x0随着无人机的飞行实时变化，但由于所有无人机的在坐标系中x轴的坐标均相同，其并不影响无人机让的相对位置。

用w(h_i)表示第i个无人机在h_i高度下采集的图像在y轴的长度，当所有无人机图像采集模块参数一致且镜头均一致垂直向下，同时地面无明显起伏的情况下，可近似估计其中s为无人机采集模块的相元大小，f为焦距，p为在y轴方向上的分辨率。

用F_i表示第i个无人机回传的图像在y轴的长度，即第i个无人机采集的图像长度为w(h_i)，其通过居中裁剪的方式，只将长度为F_i的图像回传到主控端。如图3所示，第i个无人机采集的图像为A+B，但将B部分图像裁切删除，只将A部分的图像(即长度对应F_i)回传到主控端。

用Q_i量化第i个无人机的上传速度质量，其中V_i表示第i个无人机的图像上传速度，即主控端接收第i个无人机回传图像的速度，V_a、V_b为预设值可根据实际量化需求调整。

无人机群控制模块根据以下方式计算无人机让的D_i，i+1及每台无人机的F_i。

无人机群控制模块对于每个无人机i进行判断，

若成立，

则设置

否则，设置

其中DL_i、DR_i为中间参数，γ为初始图像重叠率，其值可设置为10％、20％、40％或其他值，其值根据无人机数量n以及采集区域的大小灵活设置，但需满足γ＞β，β为满足图像融合要求的最低图像重叠率。

对于所有的i均计算完DL_i、DR_i后，对于每个无人机i均设置：

D_i，i+1＝min{DR_i，DL_i+1}，1≤i≤n-1；

F_i＝Q_iw(h_i)，1≤i≤n；

无人机群控制模块根据D_i，i+1得出每个无人机的坐标，无人机群控制模块将每个无人机的坐标发送给对应的无人机以调整无人机的位置。同时，无人机群控制模块将每个无人机的F_i发送给对应的无人机以调整无人机回传的图像的范围。

通过上述调整方式，能够实时并灵活地根据每台无人机的图像上传速度调整每台无人机的位置及回传的图像的范围，在无线网络环境好上传速度佳的情况下，能够提高各无人机回传图像的图像重叠率，从而有利于获得更好的图像融合效果以并有利于主控端图像采集效果的实时预览和分析。而当部分无人机图像上传速度较差的情况下，能够减少上传速度较差的无人机上传图像的大小，从而抵冲上传速度较差带来的影响，同时还能从调整所有无人机的位置，让其他无人机弥补上传速度较差的无人机减少上传图像大小带来的空缺，从整体上保障了图像重叠率。

进一步的，当无人机群控制模块检测到第i个无人机的上传速度质量Q_i＜Q_a时，在相邻的第i-1个无人机和第i+1个无人机中取上传速度质量更高的无人机(假设其编号为j)，将其设定为通信中继无人机，无人机群控制模块控制第i个无人机通过第二通信方式将回传的图像先传输给通信中继无人机j，再由通信中继无人机j通过第一通信方式传输给主控端。其中Q_a为预设的上传速度质量阈值。第二通信方式不同于第一通信方式，其可为WiFi通信或其他适用于无人机中继通信的通信方式。

在这种情况下，通信中继无人机j同时承担了其本身和第i个无人机的图像传输任务，将通信中继无人机j与主控端的传输带宽进行分配，其中比例的带宽用于传输第i个无人机的回传的图像，/>比例的带宽用于传输通信中继无人机j自身的回传的图像。

而在第i个无人机通过通信中继无人机j将图像传输给主控端时，主控端也可通过通信中继无人机j将飞行控制信号传输给第i个无人机，飞行控制信号至少包括每个无人机的坐标和每个无人机的F_i。

通过上述调整方式，进一步提高了无人机的图像回传的稳定性，并根据无人机采集的图像的大小对中继无人机传输带宽进行合理分配，避免回传图像质量的不均匀。

进一步的，无人机群的每个无人机均包括图像采集模块。图像采集模块包括二维图像采集单元和深度图像采集单元，二维图像采集单元用于采集RGB图像，深度图像采集单元用于采集深度图像。由于无人机的二维图像采集单元和深度图像采集单元的参数是固定并已知的，因此可以根据常见的配准算法计算二维图像采集单元采集的RGB图像和深度图像采集单元采集深度图像之间的变换矩阵，并将其预设在无人机的图像采集模块中。无人机的图像采集模块根据预设的变换矩阵将二维图像采集单元采集的RGB图像和深度图像采集单元采集深度图像进行融合，获得既含有RGB信息也含有深度信息的第一融合图像。对于第i个无人机，其第一融合图像在y轴的长度为w(h_i)。

无人机群的每个无人机还均包括图像传输模块，如图3所示，对于第i个无人机，其图像传输模块首先通过居中裁剪的方式，将长度为w(h_i)的第一融合图像裁剪为长度为F_i的第二融合图像；

其次，如图4所示，图像传输模块仅保留本无人机的第二融合图像中与相邻无人机的第二融合图像重叠区域的深度信息，而将本无人机的第二融合图像其余部分的深度信息删除得到第三融合图像。

具体的，若

成立，则图像传输模块仅保留第二融合图像在y轴方向上两端各γmin{w(h_i-1)，w(h_i)}长度的深度信息，而将其余部分的深度信息删除得到第三融合图像；

若不成立，则图像传输模块仅保留第二融合图像在y轴方向上两端各βmin{w(h_i-1)，w(h_i)}长度的深度信息，而将其余部分的深度信息删除第三融合图像。由于计算重叠区域需要γ、β及相邻无人机的w(h_i)、Q_i信息，因此每个无人机第二融合图像所需保留深度信息的范围优选由主控端进行计算后，与飞行控制信号一起传输给对应的无人机，或者相邻的无人机之间也可相互传递计算重叠区域所需的数据。

最后，图像传输模块将第三融合图像传输给主控端或通信中继无人机。

通过上述设置，无人机的图像采集模块能够获得既含有RGB信息也含有深度信息的融合图像，相比于常规的仅含RGB信息的图像，更有利于主控端对所有无人机图像的融合。图像传输模块还能根据无人机上传速度质量的不同对融合图像进行裁剪，从而使无人机传输的图像大小与其上传速度质量相对应。而由于主控端对所有无人机图像的融合重点在于图像让的重叠区域，因此图像传输模块能够剔除出非重叠区域的深度信息，从而节约了传输的图像大小。

进一步的，主控端还包括图像融合模块，用于接收所有无人机的第三融合图像，并根据第三融合图像的深度信息进行特征点匹配，进而将所有无人机的第三融合图像融合为第四融合图像，并将第四融合图像的RGB图像显示在显示单元上。需注意的是，第三融合图像的深度信息仅在于第三融合图像让的重叠区域，而现有技术中有多种基于图像让重叠区域进行特征点匹配，及根据特征点匹配将多个图像拼接融合在一起的算法，本申请在此不做具体限定。同时，本领域技术人员能够理解本申请的融合是将多个无人机采集的图像在y轴方向上进行拼接融合，对于在x轴方向上的图像的融合由于仅涉及单台无人机的常规图像拼接融合，本申请在此不做具体限定。

通过上述设置，图像融合模块根据重叠区域的深度信息进行图像融合，其融合速度相较于根据RGB信息进行图像融合更快。由于深度信息仅用于图像融合，因此获得第四融合图像后，仅需要展现其RGB信息的图像即可，主控端的工作人员便能够根据在显示单元上显示的图像信息对图像采集效果的实时预览和分析，以便对无人机群实时控制。

可以理解的是，在本申请的实施例中，各个优选的实施例可以进行任意组合，上述各步骤的序号的大小并不意味着执行顺序的先后，同时，上述各步骤亦可任意组合，各步骤的执行顺序及组合应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

Claims (9)

1.一种基于LTE Cat1技术的飞行数据无线传输系统，其特征在于，包括：

无人机群和主控端；无人机群之间、无人机群与主控端之间采用第一通信方式进行飞行数据的无线传输，其中第一通信方式为LTE Cat1通信；

主控端包括无人机群控制模块；无人机群控制模块控制无人机群按并排方式以相同的水平方向和水平速度进行飞行；

无人机群控制模块还以垂直方向为z轴，无人机群水平运动方向为x轴建立坐标系，用i表示无人机群在y轴方向上的第i个无人机；用h_i表示第i个无人机相对地面的高度；将第i个无人机与第i+1个无人机在y轴方向上的设定间距表示为D_i,i+1(1≤i≤n-1)；用w(h_i)表示第i个无人机在h_i高度下采集的图像在y轴的长度；用F_i表示第i个无人机回传的图像在y轴的长度；用Q_i量化第i个无人机的上传速度质量；

其中其中V_i表示第i个无人机的图像上传速度，V_a、V_b为预设的阈值；

无人机群控制模块对于每个无人机i进行判断：

若成立，

则计算

否则，则计算

无人机群控制模块对于所有的无人机均计算DL_i、DR_i后，对于每个无人机i均设置：

D_i,i+1＝min{DR_i,DL_i+1}，1≤i≤n-1；

F_i＝Q_iw(h_i)，1≤i≤n；

无人机群控制模块根据D_i,i+1得出每个无人机的坐标，无人机群控制模块将每个无人机的坐标发送给对应的无人机以调整无人机的位置；同时，无人机群控制模块将每个无人机的F_i发送给对应的无人机以调整无人机回传的图像的范围。

2.根据权利要求1所述的飞行数据无线传输系统，其特征在于，

其中其中s为无人机采集模块的相元大小，f为焦距，p为在y轴方向上的分辨率。

3.根据权利要求1所述的飞行数据无线传输系统，其特征在于，

当无人机群控制模块检测到第i个无人机的上传速度质量Q_i<Q_a时，在相邻的第i-1个无人机和第i+1个无人机中取上传速度质量更高的无人机，将其设定为通信中继无人机，第i个无人机通过第二通信方式将回传的图像先传输给通信中继无人机，再由通信中继无人机通过第一通信方式传输给主控端；其中Q_a为预设的上传速度质量阈值；第二通信方式不同于第一通信方式。

4.根据权利要求3所述的飞行数据无线传输系统，其特征在于，

第二通信方式为WiFi通信。

5.根据权利要求3所述的飞行数据无线传输系统，其特征在于，

无人机群控制模块将通信中继无人机与主控端的传输带宽进行分配，其中比例的带宽用于传输第i个无人机的回传的图像，/>比例的带宽用于传输通信中继无人机j自身的回传的图像，其中j为通信中继无人机的编号。

6.根据权利要求1所述的飞行数据无线传输系统，其特征在于，

无人机群的每个无人机均包括图像采集模块；图像采集模块包括二维图像采集单元和深度图像采集单元，二维图像采集单元用于采集RGB图像，深度图像采集单元用于采集深度图像；无人机的图像采集模块根据预设的变换矩阵将二维图像采集单元采集的RGB图像和深度图像采集单元采集深度图像进行融合，获得既含有RGB信息也含有深度信息的第一融合图像。

7.根据权利要求6所述的飞行数据无线传输系统，其特征在于，

无人机群的每个无人机还均包括图像传输模块，对于第i个无人机，其图像传输模块首先通过居中裁剪的方式，将长度为w(h_i)的第一融合图像裁剪为长度为F_i的第二融合图像；图像传输模块仅保留本无人机的第二融合图像中与相邻无人机的第二融合图像重叠区域的深度信息，而将本无人机的第二融合图像其余部分的深度信息删除得到第三融合图像；图像传输模块将第三融合图像传输给主控端或通信中继无人机。

8.根据权利要求7所述的飞行数据无线传输系统，其特征在于，

成立，则图像传输模块仅保留第二融合图像在y轴方向上两端各γmin{w(h_i-1),w(h_i)}长度的深度信息，而将其余部分的深度信息删除得到第三融合图像；

不成立，则图像传输模块仅保留第二融合图像在y轴方向上两端各βmin{w(h_i-1),w(h_i)}长度的深度信息，而将其余部分的深度信息删除第三融合图像。

9.根据权利要求7所述的飞行数据无线传输系统，其特征在于，

主控端还包括图像融合模块，用于接收所有无人机的第三融合图像，并根据第三融合图像的深度信息进行特征点匹配，进而将所有无人机的第三融合图像融合为第四融合图像，并将第四融合图像的RGB图像显示在显示单元上。