CN113139985A - 消除无人机与地面站通信延迟影响的跟踪目标框选方法 - Google Patents

Abstract

本发明公开了一种消除无人机与地面站通信延迟影响的跟踪目标框选方法，该方法中，在无人机上添加存储单元，机载计算机从光电传感器获取到图像后，先给图像加入ID，然后存入存储单元，由数据链同步发送给地面站，地面站框选目标后，再由数据链把目标在像素坐标系的边框信息和图像的ID信息发送到机载计算机，机载计算机根据ID信息从存储单元中读取图像，结合边框信息确定目标，然后，跟踪算法以大于光电传感器工作频率的频率从存储单元读取图像并处理，计算出视差角给导航控制算法，直到处理的图像ID等于当前光电传感器读取图像的ID；之后，跟踪算法直接从光电传感器读取图像，进入稳定追踪阶段。

Description

消除无人机与地面站通信延迟影响的跟踪目标框选方法

技术领域

本发明涉及无人机跟踪目标技术领域，具体涉及一种消除无人机与地面站通信延迟影响的跟踪目标框选方法。

背景技术

无人机具有体积小、重量轻、起降条件限制少、机动灵活、操作简单等优点，无人机由于能胜任许多人工操纵驾驶的飞机不能完成的任务，逐渐成为航空领域各个国家直至全球主攻的重要方向，当今已经广泛应用到许多领域，常见的像军队作战、日常生活、民用领域等。实现上述无人机对敌方目标的实时跟踪，如果通过手动控制无人机，不仅耗费巨大的人力，而且非常容易误操作导致跟踪失败。随着人工智能时代的到来，机器视觉技术恰好可以解决这一难题。

要实现无人机对目标的实时跟踪，首先需要向无人机下达追踪目标的指令，机载计算机从光电传感器获取到图像后，由数据链发送给地面站，地面站标注目标后，再由数据链把目标在像素坐标系的边框信息发送到机载计算机，计算机从光电传感器读取图像，结合边框信息确定目标。这种模式下，由于通信延迟，目标框选会有误差。比如追踪车辆，车辆速度72km/h的时候，车辆每秒钟运动20m，如果有0.5s的延迟，框选位置和目标实际位置就有了10m的误差，造成框选错误。同时，由于目标跟踪算法的搜索范围通常设置为在上一帧中目标位置处大小为目标尺度的2.5倍的区域，由于通信延迟，如果目标实际位置已经驶出了该搜索区域，就会造成目标跟踪算法跟丢目标。

由于上述原因，本发明人对现有的跟踪目标框选方法做了深入研究，以期待设计出一种能够解决上述问题的新的控制方法。

发明内容

为了克服上述问题，本发明人进行了锐意研究，设计出一种消除无人机与地面站通信延迟影响的跟踪目标框选方法，该方法中，在无人机上添加存储单元，机载计算机从光电传感器获取到图像后，先给图像加入ID，然后存入存储单元，由数据链同步发送给地面站，地面站标注目标后，再由数据链把目标在像素坐标系的边框信息和图像的ID信息发送到机载计算机，机载计算机根据ID信息从存储单元中读取图像，结合边框信息确定目标，然后，跟踪算法以大于光电传感器工作频率的频率从存储单元读取图像并处理，计算出视差角给导航控制算法，直到处理的图像ID等于当前光电传感器读取图像的ID；之后，跟踪算法直接从光电传感器读取图像，进入稳定追踪阶段，从而完成本发明。

具体来说，本发明的目的在于提供一种消除无人机与地面站通信延迟影响的跟踪目标框选方法，该方法包括如下步骤：

步骤1，通过无人机上的光电传感器实时拍摄获得图像；

步骤2，在拍摄获得的图像上添加二维码ID，得到编码图像；

步骤3，将所述编码图像传输给地面站的同时存储在无人机的存储单元中；

步骤4，地面站从接收到的编码图像中框选需要跟踪的目标，并在选定目标以后，将框选指令发送给无人机，所述框选指令包括边框信息和解算出的图像ID信息；

步骤5，所述无人机在接收到框选指令以后，持续从存储单元中调取编码图像，在编码图像上生成选框，跟踪目标，直至从存储单元中调取的编码图像是最新存储的编码图像。

其中，在步骤2中，通过下述子步骤添加二维码ID：

子步骤1，生成24＊24的三通道图像，每个通道对应一个二维码，每个二维码表征范围是0～999，通道0代表个位，通道1代表千位，通道2代表兆位；

子步骤2，计算每个通道的数字，通道2＝ID％1000000，通道1＝(ID-通道2＊1000000)％1000，通道0＝ID-通道2＊1000000-通道1＊1000；

子步骤3，使用aruco二维码协议生成每个通道的二维码；

子步骤4，把图像左上角24＊24的区域替换为生成的三通道二维码图像。

其中，在步骤5中，所述无人机在接收到框选指令以后，首先从存储单元中调取与框选指令中ID信息匹配的编码图像，后续再按照编码顺序调取其他编码图像。

其中，所述编码顺序按照从小到大的顺序排列，

在后续调取过程中，间隔调取；优选地，以间隔一帧或者两帧的规律调取编码图像。

其中，在步骤5中，从存储单元中调取编码图像的频率大于或等于光电传感器拍摄获得图像的频率。

其中，在步骤5中，在从存储单元中调取的编码图像是最新存储的编码图像以后，直接接收光电传感器实时拍摄获得的图像，在图像上生成选框，跟踪目标。

其中，在所述无人机未接收到框选指令以前，控制系统直接实时接收光电传感器获得的图像，解算视差角进而导航控制无人机；

在所述无人机接收到框选指令以后，控制系统根据从存储单元中调取的编码图像解算视差角，进而导航控制无人机。

本发明所具有的有益效果包括：

(1)根据本发明提供的消除无人机与地面站通信延迟影响的跟踪目标框选方法，能够在存在信息延迟的情况下确保框选准确，进而保证跟踪效果稳定；

(2)根据本发明提供的消除无人机与地面站通信延迟影响的跟踪目标框选方法能够在较短的时间内消除通讯延迟带来的影响，使得系统能够尽快恢复到实时基于光电传感器获得的图像进行控制追踪的正常状态。

附图说明

图1示出根据本发明一种优选实施方式的消除无人机与地面站通信延迟影响的跟踪目标框选方法整体逻辑图；

图2示出无人机从向存储单元写入图像和从存储单元读取图像的过程；

图3示出地面站确定目标时的框选图像；

图4示出无人机接收到框选指令时获得的实时图像；

图5示出无人机从存储单元读取图像进行跟踪的过程；

图6示出无人机中进入稳定追踪阶段时的框选图像；

图7示出无人机持续跟踪25s时的跟踪图像。

具体实施方式

下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

根据本发明提供的消除无人机与地面站通信延迟影响的跟踪目标框选方法，如图1中所示，该方法包括如下步骤：

步骤1，通过无人机上的光电传感器实时拍摄获得图像；

步骤2，在拍摄获得的图像上添加二维码ID，得到编码图像；

步骤3，将所述编码图像传输给地面站的同时存储在无人机的存储单元中；

步骤4，地面站从接收到的编码图像中框选需要跟踪的目标，并在选定目标以后，将框选指令发送给无人机，所述框选指令包括边框信息和图像的ID信息；

步骤5，所述无人机在接收到框选指令以后，持续从存储单元中调取编码图像，在编码图像上生成选框，跟踪目标，直至从存储单元中调取的编码图像是最新存储的编码图像。

在一个优选的实施方式中，所述光电传感器选用EOT-90A3光电吊舱，其工作频率优选为20Hz。

在一个优选的实施方式中，在步骤2中，通过下述子步骤添加二维码ID：

子步骤1，生成24＊24的三通道图像，每个通道对应一个二维码，每个二维码表征范围是0～999，通道0代表个位，通道1代表千位，通道2代表兆位；

子步骤2，计算每个通道的数字，通道2＝ID％1000000，通道1＝(ID-通道2＊1000000)％1000，通道0＝ID-通道2＊1000000-通道1＊1000；

子步骤3，使用aruco二维码协议生成每个通道的二维码；

子步骤4，把图像左上角24＊24的区域替换为生成的三通道二维码图像。

优选地，在步骤4中，地面站通过下述子步骤解算图像ID：

子步骤a：取出图像左上角24*24的区域，将该子图像分成3个通道，每个通道对应一个二维码，每个二维码表征范围是0～999，通道0代表个位，通道1代表千位，通道2代表兆位；

子步骤b：使用aruco二维码协议解算每个通道的二维码；

子步骤c：计算图像ID，ID＝通道2*1000000+通道1*1000+通道0。

由于数据链传输采用H264等有损压缩的视频编码技术，如果直接传输原始ID数据，在解码阶段会造成歧义。本申请中添加ID和读取ID的都采用二维码技术，只需要24×24个像素。并且本申请上述二维码的添加和读取速度都足够快，在计算机中，添加、读取二维码的时间均小于1ms，从而确保能够及时地获知二维码对应的ID号，将延迟时间控制在1ms以下。

在一个优选的实施方式中，步骤3中，通过数据链将编码图像实时传输给地面站，该传输工作是持续进行的，需要将得到的每一帧编码图像都传输给地面站。

在步骤2中，所述存储单元使用共享内存技术实现具体的存储及图取作业，其存储、读取一帧照片的时间均小于1ms。如图2所示，其具体的存储过程包括如下子步骤：

子步骤i：获取全局信号量#1并加锁，

子步骤ii：获取队列尾指针q_tail，

子步骤iii：计算共享内存块起始地址，

子步骤iv：将图像数据写入内存块，

子步骤v：循环递增q_tail，

子步骤vi：获取全局信号量#1并释放。

如图2所示，其具体的读取过程包括如下子步骤：

子步骤I：获取全局信号量#2并加锁，

子步骤II：获取队列头指针q_head，

子步骤III：计算目标帧和队列顶端帧的内存块地址差，

子步骤IV：计算目标帧共享内存块起始地址，

子步骤V：从内存块读取图像数据，

子步骤VI：循环递增q_head，

子步骤VII：获取全局信号量#2并释放。

本申请中通过设置上述编码图像的读取过程，能够确保读取过程的稳定，在读取编码图像过程中不会影响系统对新编码图像的存入更新，也不会影响其他编码图像的存储质量。

在一个优选的实施方式中，步骤4中，地面站从接受到的大量图像中选择一帧进行框选，即可形成框选指令，将该框选指令发送给无人机以后，地面站可以继续接收编码图像，但是不需要进一步发送框选指令，只有在需要更换跟踪目标时才会再次进行框选并发送框选指令。

在一个优选的实施方式中，步骤5中，无人机收到框选指令后，快速调取并追踪存储单元中的编码图像，从而追赶延迟导致的落后，待追赶上以后，再根据光电传感器实时拍摄获得的图像继续进行追踪。

优选地，所述编码顺序按照从小到大的顺序排列，例如从1、2、3按照顺序逐渐增加；在后续调取过程中，间隔调取；优选地，以间隔一帧或者两帧的规律调取编码图像，例如，本次调取的是ID为1234的图像，下一次跳过ID为1235的图像，直接调取ID为1236的图像，由于这样调取图像ID的间隔较小，不会导致跟踪目标丢失、失稳等不良影响。

优选地，在步骤5中，从存储单元中调取编码图像的频率大于或等于光电传感器拍摄获得图像的频率。即为了尽快完成追赶，不仅仅可以选择间隔调取图像，还可以加快调取处理的频率。其调取/处理的频率可以选择设置为30～50Hz。

优选地，在步骤5中，在从存储单元中调取的编码图像是最新存储的编码图像以后，直接接收光电传感器实时拍摄获得的图像，在图像上生成选框，跟踪目标。即在完成追赶以后，恢复到正常处理模式，接收光电传感器实时拍摄获得的图像；此时，对于光电传感器实时拍摄获得的图像也需要实时添加二维码ID并存储在无人机的存储单元中，同时也要传递给地面站。

在一个优选的实施方式中，在所述无人机未接收到框选指令以前，控制系统直接实时接收光电传感器获得的图像，解算视差角进而导航控制无人；

在所述无人机接收到框选指令以后，控制系统根据从存储单元中调取的编码图像解算视差角，进而导航控制无人。

在一个优选的实施方式中，无人机在未接收到框选指令以前，根据原始控制指令循航飞行，当接收到框选指令以后，根据目标的移动方向及速度调整无人机自身的移动方向及速度，与目标之间保持恒定距离，并尽量保持相同的移动速度，以便于提高根据效果。

在一个优选的实施方式中，无人机在接收到框选指令以后，调取编码图像及后续的光电传感器实时拍摄获得图像时，通过下式步骤跟踪目标：

步骤a，从初始图像中选择需要跟踪的目标；所述初始图像即为与框选指令中图像ID信息对应的编码图像；

步骤b，实时从获得的图像中框选出包含同类目标的建议区域；

步骤c，实时从获得的图像中框选出跟踪选框；

步骤d，根据步骤b和步骤c中的结果实时确定目标位置。

其中，在步骤b中，通过实时识别初始图像之后的每一帧图像，在每一帧图像中都框选出可能包含特定物体的区域作为建议区域，所述特定物体为与待跟踪目标外形相似或者同种类的物体。优选地，在每帧图像中都可以包含任意数量个建议区域。

在步骤c中，建立高斯分布回归标签，利用初始图像中及其上框选的需要跟踪目标来训练回归模型，再通过回归模型在后续其他的图像中连续地挑选并跟踪该目标，即在后续的每一帧图像中给出包含该待跟踪目标的跟踪选框。

优选地，所述步骤b和步骤c同步进行。在执行步骤a以后，即选择了需要跟踪的目标以后，步骤b和步骤c同步进行，每调取获得一帧图像，都对应地在该图像上画出建议区域和跟踪选框。

优选地，在步骤b中，通过检测器来框选出包含同类目标的建议区域。在所述检测器中存储有经过样本冲刷的目标模型，能够从该目标模型中调取该目标的外形信息，即该检测器能够从图像中框选出与要跟踪的目标外观近似的物体，得到带有边界框的建议区域。

进一步优选地，在步骤b中，将调取的图像统一采样成448×448大小，并划分为7×7的网格区域，即49个64×64的网格区域，以每个网格为单位，预测B个中心落在网格里的目标边界框位置大小，以及边界框里目标的置信度，并对边界框中的物体进行分类。

其中，预测位置大小和置信度都由神经网络输出，所述神经网络通过大量数据学习获得输出规律。

所述置信度是指神经网络预测该区域属于该类别的概率，比如神经网络输出某个位置有一辆汽车，置信度0.6表示神经网络认为该区域60％可能性是汽车，40％可能性不是汽车。

在步骤b中输出的结果为7×7×(5×B+C)的张量。其中，5表示每个边界框的位置、大小和置信度(x,y,w,h,p)，所述边界框的位置包括边界框中心点在X轴上的坐标x和在Y轴上的坐标y；所述边界框的大小包括边界框的宽度值w和高度值h，置信度由字母p表示。B表示每个网格预设的候选区域数量，通常取2。C表示分类数量，具体来说是汽车、行人、自行车、飞机等具体类别。

在步骤b中，最后一个全连接层可以预测物体边界框中心点坐标(x,y)和宽高(w,h)及置信度p和物体分到每一类的概率。其中宽高是相对于图像的归一化值，中心位置坐标是相对于网格位置的归一化值，均介于0到1之间。

在步骤b中，在得到输出结果以后，对输出结果进行检测；具体来说，每个网格预测的分类信息和对应边界框的置信度相乘，得到每个边界框的分类置信度，过滤置信度过低的边界框，通常过滤掉置信度小于0.7的边界框；并对剩余的窗口按置信度大小顺序，进行非极大抑制处理，过滤重叠窗口，输出剩余的窗口作为最终输出，即为所述的建议区域。

在一个优选的实施方式中，在步骤c中，当选择需要跟踪的目标以后，针对初始照片和其中的需要跟踪的目标做如下处理：

子步骤1，构造高斯分布回归标签，所述高斯回归标签可以用y₁表示，越接近中心值越大，边缘接近0，y₁矩阵和搜索窗口大小相同。

通常跟踪算法不是在整张照片中寻找目标，而是在上一帧目标的位置，取目标大小2.5倍的区域寻找目标，这个区域称之为“搜索窗口”。

子步骤2，从第1帧中目标位置P₁裁剪出搜索窗口，提取特征x₁，x₁和搜索窗口大小相同，需要对x₁加一个余弦窗；其中，x₁是搜索窗口区域的方向梯度直方图(HOG)；

所述余弦窗是指中间为1，边缘接近0的窗口，通过添加该余弦窗能够抑制周围样本，突出中间样本。

子步骤3，使用x₁和y₁，训练回归模型f₁，使y₁＝f₁(x₁)成立，所述回归标签的中间得分最高，边缘得分为0。在步骤c中，当调取到后续其他图像时，具体通过下述子步骤识别跟踪目标；

子步骤a，在第t帧图片中，从P_t中提取特征x_t，构造高斯分布回归标签y_t，训练回归模型y_t，该回归模型能对固定大小窗口的样本予以响应；

子步骤b，在第t+1帧照片中，从P_t+1位置附近生成候选窗口；具体来说，在上一帧目标位置，选取上一帧目标大小的2.5倍区域作为候选窗口，用回归模型y_t测试每个候选窗口的响应；

子步骤c，得到最大响应窗口和位置P_t+1，该位置P_t+1即为该第t+1帧照片中的待跟踪目标位置，所述响应窗口即跟踪选框。

子步骤d，待得到下一帧即第t+2帧地面照片时，重复上述子步骤a至子步骤c。

在一个优选的实施方式中，在步骤d中，在选择需要跟踪的目标以后，得到初始照片之后的每一帧照片时，都通过步骤b得到建议区域，通过步骤c得到跟踪选框，并计算重叠度：

由于所述建议区域和跟踪选框都是在同一帧图像上框选的，所以能够直接读取其交集和并集，并根据像素点数量读取各自的面积，

当该重叠度大于阈值时，步骤c中获得的跟踪选框准确，其中包含待跟踪目标；所述阈值的取值为0.2～0.7，优选地为0.5。

当最大的重叠度小于0，则认为跟踪失败。

步骤b中给出N个建议区域，步骤c中给出1个跟踪选框，N个建议区域中每个区域都分别解算与跟踪选框之间的重叠度。

将重叠度大于阈值的建议区域作为目标位置；当步骤c中未能得到跟踪选框时，或者不存在使得重叠度大于阈值的建议区域时，判定目标被遮挡，无人机进入悬停模式并提醒操作者进行人工干预。

实施例：

无人机使用贯中EOT-90A3光电吊舱，对地面目标进行跟踪，机载计算机使用英伟达TX2芯片；

通过无人机上的光电传感器实时拍摄获得图像；

在拍摄获得的图像上添加二维码ID，得到编码图像；

通过数据链将所述编码图像传输给地面站，同时将所述编码图像存储在无人机的存储单元中；

地面站从接收到的编码图像中框选需要跟踪的目标，如图3中所示，并在选定目标以后，将目标坐标信息(490,500,85，77)和图片ID(20490)发送给无人机；

无人机接受到地面站回传的目标坐标信息和框选目标的图像ID信息，此时无人机获取的实时图像为图4(ID＝20533)，对比地面站框选目标所使用帧(ID＝20490)，此时目标已经移动较长距离，由于无人机运动和光电吊舱抖动，背景也发生了偏移。此时无人机回传的坐标信息对应的不是目标，而是水泥公路(如图中红色框所示)。显然，如果不采取本专利的方案，直接在实时图像上启动跟踪算法，必然造成目标选择错误。

所述无人机在接收到框选指令以后，持续从存储单元中调取编码图像，在编码图像上生成选框，确定并跟踪目标，如图5中所示；后续继续从存储单元中按照顺序调取编码图像；

其中，从存储单元中调取编码图像的频率大于或等于光电传感器拍摄获得图像的频率，直至从存储单元中调取的编码图像是最新存储的编码图像，再接收光电传感器实时拍摄获得的图像，进入稳定追踪阶段。

图6示出进入稳定追踪阶段时的跟踪图像。

图7示出持续跟踪25s时的跟踪图像。

通过实施例可知，本申请提供的消除无人机与地面站通信延迟影响的跟踪目标框选方法能够有效地消除因通讯延迟而导致的框选错误的问题，提高跟踪算法的稳定性。

以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims (7)

1.一种消除无人机与地面站通信延迟影响的跟踪目标框选方法，其特征在于，该方法包括如下步骤：

步骤1，通过无人机上的光电传感器实时拍摄获得图像；

步骤2，在拍摄获得的图像上添加二维码ID，得到编码图像；

步骤3，将所述编码图像传输给地面站的同时存储在无人机的存储单元中；

步骤4，地面站从接收到的编码图像中框选需要跟踪的目标，并在选定目标以后，将框选指令发送给无人机，所述框选指令包括边框信息和图像的ID信息；

步骤5，所述无人机在接收到框选指令以后，持续从存储单元中调取编码图像，在编码图像上生成选框，跟踪目标，直至从存储单元中调取的编码图像是最新存储的编码图像。

2.根据权利要求1所述的消除无人机与地面站通信延迟影响的跟踪目标框选方法，其特征在于，

在步骤2中，通过下述子步骤添加二维码ID：

子步骤1，生成24*24的三通道图像，每个通道对应一个二维码，每个二维码表征范围是0～999，通道0代表个位，通道1代表千位，通道2代表兆位；

子步骤2，计算每个通道的数字，通道2＝ID％1000000，通道1＝(ID-通道2*1000000)％1000，通道0＝ID-通道2*1000000-通道1*1000；

子步骤3，使用aruco二维码协议生成每个通道的二维码；

子步骤4，把图像左上角24*24的区域替换为生成的三通道二维码图像。

3.根据权利要求1所述的消除无人机与地面站通信延迟影响的跟踪目标框选方法，其特征在于，

在步骤5中，所述无人机在接收到框选指令以后，首先从存储单元中调取与框选指令中ID信息匹配的编码图像，后续再按照编码顺序调取其他编码图像。

4.根据权利要求3所述的消除无人机与地面站通信延迟影响的跟踪目标框选方法，其特征在于，

所述编码顺序按照从小到大的顺序排列，

在后续调取过程中，间隔调取；优选地，以间隔1帧或者2帧的规律调取编码图像。

5.根据权利要求1所述的消除无人机与地面站通信延迟影响的跟踪目标框选方法，其特征在于，

在步骤5中，从存储单元中调取编码图像的频率大于或等于光电传感器拍摄获得图像的频率。

6.根据权利要求1所述的消除无人机与地面站通信延迟影响的跟踪目标框选方法，其特征在于，

在步骤5中，在从存储单元中调取的编码图像是最新存储的编码图像以后，直接接收光电传感器实时拍摄获得的图像，在图像上生成选框，跟踪目标。

7.根据权利要求1所述的消除无人机与地面站通信延迟影响的跟踪目标框选方法，其特征在于，

在所述无人机未接收到框选指令以前，控制系统直接实时接收光电传感器获得的图像，解算视差角进而导航控制无人机；

在所述无人机接收到框选指令以后，控制系统根据从存储单元中调取的编码图像解算视差角，进而导航控制无人机。

Images