CN116027319A - 一种基于雷达光电目标融合的雷达自动标注系统及方法 - Google Patents

Abstract

本发明提供一种基于雷达光电目标融合的雷达自动标注系统及方法。该系统包括雷达信息采集设备、云台光电设备、检测处理器和融合处理器；检测处理器包括雷达目标检测模块、光电目标检测模块；融合处理器包括雷达光电联动模块、雷达光电融合模块、雷达自动标注模块。雷达信息采集设备获取雷达回波数据，得到雷达图像及目标检测结果；雷达光电联动模块计算PTZ参数，控制云台光电设备对准目标；云台光电设备获取光电视频数据，得到光电图像及目标检测结果；雷达光电融合模块将雷达光电目标数据进行关联融合，雷达自动标注模块使用融合数据生成雷达标注数据集。本发明能够极大地增加雷达目标自动录取的可信度，从而自动生成大量标注数据。

Description

一种基于雷达光电目标融合的雷达自动标注系统及方法

技术领域

本发明涉及雷达自动录取技术与计算机视觉交叉领域，特别是指一种基于雷达光电目标融合的雷达自动标注系统及方法。

背景技术

雷达由于其便捷、高效的特点被广泛应用于航海、航空、车载、安防等民用、军用监控系统中，其中雷达目标录取、雷达数据标注是雷达监控中的主要需求之一。传统雷达目标录取采用CFAR检测进行点迹提取，然后采用人工标注方法，操作员一致盯着雷达视频屏幕，对感兴趣的目标进行标注记录。然而传统雷达目标录取方法在杂波环境中存在虚警、漏检等问题，操作员难以进行标注，并且雷达视频中存在大量目标，标注数据需要耗费大量时间精力。

为了解决在不同场景下目标自动录取的问题，在几十年的雷达算法发展中，传统算法逐渐复杂化、模式化，参数越来越多，只有富有经验的用户才能在各种场景下熟练地调节参数，十分不便于操作使用。近几年随着深度学习的发展，人工智能算法被广泛应用于行人、车辆、医学等领域，且在SAR雷达目标检测领域已经初见成效。基于深度学习的目标检测模型使用大数据进行训练，提取目标的深度特征有效地与杂波进行区分，准确率高，在不同场景下具有高鲁棒性。算法开发过程中无需设计复杂的模式、规则，在训练充分的情况下，网络模型无需调节参数，就能在各种场景下具有较好的效果。由此可见，将深度学习应用于雷达目标检测能够有效提高雷达目标自动录取能力。

足够准确的雷达目标自动录取方法能够实现雷达数据自动标注，但是在杂波环境、目标复杂运动等情况下，即使再优秀的算法仍然存在少量虚警、漏检等问题。

发明内容

本发明要解决的技术问题是提供一种基于雷达光电目标融合的雷达自动标注系统及方法，为了得到足够准确的标注数据，本发明采用基于深度学习的雷达、光电目标检测方法，通过雷达光电设备联动，将两种传感器探测到的目标数据进行关联融合，能够极大地增加雷达目标自动录取的可信度，从而自动生成大量标注数据。而对于一些难以辨认的关键目标，仍然可以采用人工标注的方法后续进行补充标注，但此时只需针对少量关键目标，可以大大减少操作员的工作量。

为解决上述技术问题，本发明提供一种基于雷达光电目标融合的雷达自动标注系统，所述基于雷达光电目标融合的雷达自动标注系统，包括雷达信息采集设备、云台光电设备、检测处理器和融合处理器，所述雷达信息采集设备与所述检测处理器连接，所述云台光电设备与所述检测处理器连接，所述检测处理器与所述融合处理器连接；

所述检测处理器包括雷达目标检测模块、光电目标检测模块，所述雷达目标检测模块与所述雷达信息采集设备连接，所述光电目标检测模块与所述云台光电设备连接；

所述融合处理器包括雷达光电联动模块、雷达光电融合模块、雷达自动标注模块，所述雷达光电联动模块与所述雷达目标检测模块连接，所述雷达光电联动模块与所述云台光电设备连接，所述雷达光电融合模块与所述雷达光电联动模块连接，所述雷达光电融合模块与所述光电目标检测模块连接，所述雷达自动标注模块与所述雷达光电融合模块连接。

优选的，所述雷达信息采集设备为雷达信号采集卡。

优选的，所述云台光电设备为网络摄像机。

优选的，所述检测处理器为计算机或嵌入式主板。

优选的，所述融合处理器为计算机或嵌入式主板。

优选的，所述雷达目标检测模块采用基于深度学习的雷达目标检测方法，对雷达图像中的目标进行实时定位与识别。

优选的，所述光电目标检测模块采用基于深度学习的光电目标检测方法，对光电图像中的目标进行实时定位与识别。

优选的，所述雷达光电联动模块根据雷达目标位置、雷达光电设备位置，计算PTZ参数，控制云台光电设备对准雷达目标。

优选的，所述雷达光电融合模块根据云台光电设备的视场角，计算雷达图像对应区域，将雷达目标数据和光电目标数据进行关联融合，得到雷达光电融合数据。

优选的，所述雷达自动标注模块使用雷达光电融合数据，生成标准格式的雷达标注数据集。

基于同一发明构思，本发明还提供一种采用上述系统实现的基于雷达光电目标融合的雷达自动标注方法，包括以下步骤：

雷达信息采集设备获取雷达回波数据，输入检测处理器中的雷达目标检测模块，得到雷达目标检测结果，将雷达目标检测结果输入融合处理器；

融合处理器中的雷达光电联动模块根据雷达目标位置、雷达光电设备位置，计算PTZ参数，控制云台光电设备对准雷达目标；

云台光电设备获取光电视频数据，输入检测处理器中的光电目标检测模块，得到光电目标检测结果，将光电目标检测结果输入融合处理器；

融合处理器中的雷达光电融合模块根据云台光电设备的视场角，计算雷达图像对应区域，将雷达目标数据和光电目标数据进行关联融合，融合处理器中的雷达自动标注模块使用雷达光电融合数据生成标准格式的雷达标注数据集。

本发明的上述技术方案的有益效果如下：

上述方案中，雷达信息采集设备能够对雷达信号实时处理生成雷达图像，雷达、光电目标检测模块采用基于深度学习的目标检测方法，能够快速准确地定位与识别目标，相比传统目标检测方法，具有更高的准确率，在不同场景下具有高鲁棒性。通过雷达光电设备联动，将两种传感器探测到的目标数据进行关联融合，能够极大地增加雷达目标自动录取的可信度，从而自动生成大量标注数据，后续只需进行少量补充标注，就可以获得高质量的雷达目标数据集，大大减少操作员的工作量。

附图说明

图1为本发明实施例的一种基于雷达光电目标融合的雷达自动标注系统结构图。

主要元件符号说明：1、雷达信息采集设备；2、云台光电设备；3、检测处理器；4、融合处理器；5、雷达目标检测模块；6、光电目标检测模块；7、雷达光电联动模块；8、雷达光电融合模块；9、雷达自动标注模块。

图2为本发明实施例的一种雷达光电联动计算PTZ参数示意图。其中，(a)为水平方位角计算，(b)为垂直俯仰角计算，(c)为焦距放大倍数计算，(d)为根据像素长度计算实际长度。

图3为本发明实施例的一种雷达光电融合计算雷达图像对应区域示意图。其中，(a)为水平视场角，(b)为垂直视场角，(c)为雷达图像局部区域。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

如图1所示，本发明的实施例提供一种基于雷达光电目标融合的雷达自动标注系统，所述基于雷达光电目标融合的雷达自动标注系统，包括雷达信息采集设备1、云台光电设备2、检测处理器3和融合处理器4，所述雷达信息采集设备1与所述检测处理器3连接，所述云台光电设备2与所述检测处理器3连接，所述检测处理器3与所述融合处理器4连接；

所述检测处理器3包括雷达目标检测模块5、光电目标检测模块6，所述雷达目标检测模块5与所述雷达信息采集设备1连接，所述光电目标检测模块6与所述云台光电设备2连接；

所述融合处理器4包括雷达光电联动模块7、雷达光电融合模块8、雷达自动标注模块9，所述雷达光电联动模块7与所述雷达目标检测模块5连接，所述雷达光电联动模块7与所述云台光电设备2连接，所述雷达光电融合模块8与所述雷达光电联动模块7连接，所述雷达光电融合模块8与所述光电目标检测模块6连接，所述雷达自动标注模块9与所述雷达光电融合模块8连接。

优选的，所述雷达信息采集设备1为雷达信号采集卡。

优选的，所述云台光电设备2为网络摄像机。

优选的，所述检测处理器3为计算机或嵌入式主板。

优选的，所述融合处理器4为计算机或嵌入式主板。

优选的，所述雷达目标检测模块5采用基于深度学习的雷达目标检测方法，对雷达图像中的目标进行实时定位与识别。

优选的，所述光电目标检测模块6采用基于深度学习的光电目标检测方法，对光电图像中的目标进行实时定位与识别。

优选的，所述雷达光电联动模块7根据雷达目标位置、雷达和光电设备位置，计算PTZ参数，控制云台光电设备对准雷达目标。

优选的，所述雷达光电融合模块8根据云台光电设备的视场角，计算雷达图像与光电图像的对应区域，将雷达目标数据和光电目标数据进行关联融合，得到雷达光电融合数据。

优选的，所述雷达自动标注模块9使用雷达光电融合数据，生成标准格式的雷达标注数据集。

为便于说明，本发明的实施例以雷达和光电设备位于相同位置为例(如安装于同一根天线杆)，高度差异忽略不计。本发明同样适用于雷达和光电设备位置不同的情况，但需要多一步目标坐标换算。

本发明实施例的具体工作流程如下：

1)雷达信息采集设备获取雷达回波数据，输入检测处理器，得到雷达图像、雷达目标检测结果，输入融合处理器。

雷达信息采集设备能够将雷达模拟信号转化为方位距离上雷达回波强度数据，然后生成连续帧的雷达B-scan图像，雷达目标检测模块采用现有的基于YOLO的雷达时序图像检测算法，得到雷达目标位置。

2)雷达光电联动模块根据雷达目标位置、雷达光电设备位置，计算PTZ参数，控制云台光电设备对准雷达目标。

通过雷达图像中目标位置(x,y,w,h)，可计算目标相对雷达的方位距离(A₁,D₁)，其中，x、y表示目标框左上点坐标，w、h表示目标框宽高，目标方位为A₁，目标距离为D₁，雷达坐标系以北向为0度，扫描范围为360°，雷达量程为R，雷达图像尺寸为X*Y。

A₁＝(x+w/2)/X*360

D₁＝(Y-y-h/2)/Y*R

通过目标相对位置(A₁,D₁)与雷达经纬度P₁，可计算目标经纬度P₂，然后结合云台光电设备的经纬度P₃，可计算目标相对云台光电设备的方位距离(A₂,D₂)。

通过目标相对位置(A₂,D₂)，计算云台光电设备的水平方位角Pan、垂直俯仰角Tilt、镜头变焦倍数(即焦距放大倍数)Zoom，即PTZ参数，控制云台光电设备对准雷达目标。

如图2所示，为计算PTZ参数示意图，以两坐标雷达中海面目标为例。

水平方位角P＝A₂+B，其中B为光电坐标系0度与北向的夹角。

垂直俯仰角T＝arctan(L/D₂)，其中L为光电设备高度，光电坐标系以水平为0度。

镜头变焦倍数Z＝D₂*l/(W*f*2)，其中CCD元件(电荷耦合器件，Charge CoupledDevice)长度为l，最小焦距为f，目标在CCD上成像占1/2，目标实际长度为W，W可以通过雷达图像中的w推算。

W＝arctan(w/2/X*360-b)*D₂*2，其中b为雷达波束宽度。

3)云台光电设备获取光电视频数据，输入检测处理器，得到光电图像、光电目标检测结果，输入融合处理器。

光电设备持续拍摄目标，生成连续帧的光电图像，光电目标检测模块采用现有的基于YOLO的光电时序图像检测算法，得到光电目标位置。

4)雷达光电融合模块根据云台光电设备的视场角，计算雷达图像对应区域，将雷达目标数据和光电目标数据进行关联融合，雷达自动标注模块使用雷达光电融合数据，生成标准格式的雷达标注数据集。

通过当前变焦倍数Z，可获取云台光电设备的水平视场角H、垂直视场角V，计算光电图像对应的雷达图像区域，从雷达全图目标中筛选出待关联目标。

如图3所示，计算雷达Bscan图像中X轴范围(x₁,x₂)、Y轴范围(y₁,y₂)，当目标很远时，视场最远位置大于雷达量程R。

x₁＝(P-H/2)/360*X

x₂＝(P+H/2)/360*X

y₁＝0

y₂＝(R-L*tan(T-V/2))/R*Y

在无遮挡情况下，筛选后的雷达目标应与光电目标数量接近，采用现有的匈牙利算法将雷达光电目标对应关联，生成雷达光电融合数据，包括雷达图像与目标数据、光电图像与目标数据、关联对应表。

通过关联对应表，将存在对应光电目标的雷达目标数据筛选出来，其它目标可视为虚警，按指定尺寸切分雷达图像，按指定格式生成雷达目标标签，从而自动生成雷达标注数据。

本发明未详细阐述部分属于本领域技术人员的公知技术。

实验表明，采用本发明所述的方法将雷达目标数据和光电目标数据进行关联融合，得到雷达光电融合数据，其中雷达目标与光电目标可匹配，说明雷达目标数据具有高可信度，从而自动生成雷达标注数据。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (10)

1.一种基于雷达光电目标融合的雷达自动标注系统，其特征在于，包括雷达信息采集设备、云台光电设备、检测处理器和融合处理器，所述雷达信息采集设备与所述检测处理器连接，所述云台光电设备与所述检测处理器连接，所述检测处理器与所述融合处理器连接；

所述检测处理器包括雷达目标检测模块、光电目标检测模块，所述雷达目标检测模块与所述雷达信息采集设备连接，所述光电目标检测模块与所述云台光电设备连接；

所述融合处理器包括雷达光电联动模块、雷达光电融合模块、雷达自动标注模块，所述雷达光电联动模块与所述雷达目标检测模块连接，所述雷达光电联动模块与所述云台光电设备连接，所述雷达光电融合模块与所述雷达光电联动模块连接，所述雷达光电融合模块与所述光电目标检测模块连接，所述雷达自动标注模块与所述雷达光电融合模块连接。

2.根据权利要求1所述的基于雷达光电目标融合的雷达自动标注系统，其特征在于，所述雷达信息采集设备为雷达信号采集卡。

3.根据权利要求1所述的基于雷达光电目标融合的雷达自动标注系统，其特征在于，所述云台光电设备为网络摄像机。

4.根据权利要求1所述的基于雷达光电目标融合的雷达自动标注系统，其特征在于，所述检测处理器为计算机或嵌入式主板；所述融合处理器为计算机或嵌入式主板。

5.根据权利要求1所述的基于雷达光电目标融合的雷达自动标注系统，其特征在于，所述雷达目标检测模块采用基于深度学习的雷达目标检测方法，对雷达图像中目标进行实时定位与识别。

6.根据权利要求1所述的基于雷达光电目标融合的雷达自动标注系统，其特征在于，所述光电目标检测模块采用基于深度学习的光电目标检测方法，对光电图像中目标进行实时定位与识别。

7.根据权利要求1所述的基于雷达光电目标融合的雷达自动标注系统，其特征在于，所述雷达光电联动模块根据雷达目标位置、雷达光电设备位置，计算PTZ参数，控制云台光电设备对准雷达目标。

8.根据权利要求1所述的基于雷达光电目标融合的雷达自动标注系统，其特征在于，所述雷达光电融合模块根据云台光电设备视场角，计算雷达图像对应区域，将雷达光电目标数据进行关联融合。

9.根据权利要求1所述的基于雷达光电目标融合的雷达自动标注系统，其特征在于，所述雷达自动标注模块使用雷达光电融合数据，生成标准格式的雷达标注数据集。

10.一种基于雷达光电目标融合的雷达自动标注方法，其特征在于，包括以下步骤：

雷达信息采集设备获取雷达回波数据，输入检测处理器中的雷达目标检测模块，得到雷达目标检测结果，将雷达目标检测结果输入融合处理器；

融合处理器中的雷达光电联动模块根据雷达目标位置、雷达光电设备位置，计算PTZ参数，控制云台光电设备对准雷达目标；

云台光电设备获取光电视频数据，输入检测处理器中的光电目标检测模块，得到光电目标检测结果，将光电目标检测结果输入融合处理器；

融合处理器中的雷达光电融合模块根据云台光电设备的视场角，计算雷达图像对应区域，将雷达目标数据和光电目标数据进行关联融合，融合处理器中的雷达自动标注模块使用雷达光电融合数据生成标准格式的雷达标注数据集。

Images