CN113960590A - 雷视融合系统、终端 - Google Patents

Abstract

本发明公开了一种雷视融合系统，包括雷达模块，用于通过雷达获得位置信息；视觉摄像头模块，用于捕捉影像信息；鲁棒性多级融合模块，用于将位置信息和影像信息进行多级融合，获得融合信息；多目标学习模块，用于识别融合信息中的多目标检测、跟踪、行为。本发明能够提高行为识别效果，为智能驾驶做好基础保障。

Description

雷视融合系统、终端

技术领域

本发明涉及检测系统，具体为雷视融合系统、终端。

背景技术

目前每个城市的每百户家庭有用汽车数越来越高，因此城市的交通负载越来越大，越来越容易出现拥堵现象。现在越来越多的智能汽车出现，也逐渐衍生出智能驾驶功能，但是想要真正实现智能驾驶，则需要非常高精度的信号传输，并且对动态识别也具有非常高的要求，需要预测行人行为、附近车辆行为、红绿灯变化等，因此智能驾驶对于动态行为识别的要求非常高。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种雷视融合系统、终端，能够提高行为识别效果，为智能驾驶做好基础保障。

为实现上述目的，本发明提供了如下技术方案：一种雷视融合系统，包括

雷达模块，用于通过雷达获得位置信息；

视觉摄像头模块，用于捕捉影像信息；

鲁棒性多级融合模块，用于将位置信息和影像信息进行多级融合，获得融合信息；

多目标学习模块，用于识别融合信息中的多目标检测、跟踪、行为。

作为本发明的进一步改进，所述雷达模块包括非均匀稀疏阵天线和干扰抑制模块；

该非均匀稀疏阵天线的具有发射天线和接收天线，所述发射天线的x轴坐标包括0和9λ/2；所述接收天线的x轴坐标包括0、3λ/2、4λ/2、6λ/2；

所述干扰抑制模块获取接收天线的数据，并通过干扰抑制模块降低干扰，并传输给鲁棒性多级融合模块。

作为本发明的进一步改进，该非均匀稀疏阵天线具有16个阵元，其中发射天线的分布为Tx＝[1000000001]；接收天线的分布为Rx＝[1001101]，其中1表示所处位置有天线，0表示所处位置没有天线。

作为本发明的进一步改进，所述雷达模块还包括用于获取接收天线和发射天线的信号处理模块，该信号处理模块包括依次连接的混频器、带通滤波器、AD采样电路、距离FFT模块、二维FFT模块、非相干累加模块、恒虚警率检测模块、目标点角度估算模块；

所述混频器与接收天线和发射天线均电连接。

作为本发明的进一步改进，所述鲁棒性多级融合模块包括图像增强模块、特征表示模块、多级融合结构模块，所述图像增强模块用于增强视觉摄像头捕捉的影像；所述特征表示模块用于获取增强后的影像的影像信息和雷达模块的位置信息的特征数据；多级融合结构模块用于获取影像信息和雷达模块的特征数据，并进行雷视融合获得融合信息。

作为本发明的进一步改进，所述多目标学习模块包括目标检测模块、目标跟踪模块、行为识别模块、轨迹更新预测模块；所述目标检测模块获取融合信息，并向目标跟踪模块、行为识别模块、轨迹更新预测模块传递融合信息内的多目标信息；目标跟踪模块实时获取多目标信息中的位置变化数据，并将该跟踪数据发送给轨迹更新预测模块；所述轨迹更新预测模块位置变化数据实时更新预测轨迹；所述行为识别模块获取预测轨迹和多目标信息并分析获得行为动作。

作为本发明的进一步改进，所述图像增强模块包括去雨、去雾、去雪的画质修复步骤。

作为本发明的进一步改进，所述干扰抑制模块通过FMCW和STFI技术抑制干扰。

一种雷视融合终端，其内部设置了上述系统。

本发明的有益效果，雷达模块用于获取雷达探测的多目标位置信息，同时通过视觉摄像头模块捕捉多目标影像信息，以两者作为基础，通过鲁棒性多级融合模块将位置信息和影像信息进行结合，实现高精度的识别。鲁棒性多级融合方案相比普通的数据融合来说，具备更高的成像效果，能够让识别精度更高，能够辅助多目标学习模块的多目标检测、跟踪和行为。

附图说明

图1为本发明的系统框图；

图2为本发明的非均匀稀疏阵天线阵列图；

图3为本发明的雷达模块框图；

附图标号：1、雷达模块；11、非均匀稀疏阵天线；111、发射天线；112、接收天线；12、干扰抑制模块；2、视觉摄像头模块；3、鲁棒性多级融合模块；31、图像增强模块；32、特征表示模块；33、多级融合结构模块；4、多目标学习模块；41、目标检测模块；42、目标跟踪模块；43、行为识别模块；44、轨迹更新预测模块；5、信号处理模块；51、混频器；52、带通滤波器；53、AD采样电路；54、距离FFT模块；55、二维FFT模块；56、非相干累加模块；57、恒虚警率检测模块；58、目标点角度估算模块。

具体实施方式

下面将结合附图所给出的实施例对本发明做进一步的详述。

参照图1-3所示，一种雷视融合系统，包括

雷达模块1，用于通过雷达获得位置信息；

视觉摄像头模块2，用于捕捉影像信息；

鲁棒性多级融合模块3，用于将位置信息和影像信息进行多级融合，获得融合信息；

多目标学习模块4，用于识别融合信息中的多目标检测、跟踪、行为。

其中雷达模块1用于获取雷达探测的多目标位置信息，同时通过视觉摄像头模块2捕捉多目标影像信息，以两者作为基础，通过鲁棒性多级融合模块3将位置信息和影像信息进行结合，实现高精度的识别。另外，鲁棒性多级融合方案相比普通的数据融合来说，具备更高的成像效果，能够让识别精度更高，能够辅助多目标学习模块4的多目标检测、跟踪和行为。

更具体的来说，所述鲁棒性多级融合模块3包括图像增强模块31、特征表示模块32、多级融合结构模块33，所述图像增强模块31用于增强视觉摄像头捕捉的影像；所述特征表示模块32用于获取增强后的影像的影像信息和雷达模块1的位置信息的特征数据；多级融合结构模块33用于获取影像信息和雷达模块1的特征数据，并进行雷视融合获得融合信息。

通过图像增强模块31能够提高影像的画质，进而为提高识别精度做好基础，然后通过特征表示模块32对影像数据信息和位置信息进行特征获取，通过特征获取能够排除数据量，而且能够精确获得目标所处的位置及影像，同时能够增加硬件处理速度。再将获取到的特征数据通过多级融合结构模块33进行融合，构成雷视融合模式，进一步提高识别准确率。

更进一步的，所述多目标学习模块4包括目标检测模块41、目标跟踪模块42、行为识别模块43、轨迹更新预测模块44；所述目标检测模块41获取融合信息，并向目标跟踪模块42、行为识别模块43、轨迹更新预测模块44传递融合信息内的多目标信息；目标跟踪模块42实时获取多目标信息中的位置变化数据，并将该跟踪数据发送给轨迹更新预测模块44；所述轨迹更新预测模块44位置变化数据实时更新预测轨迹；所述行为识别模块43获取预测轨迹和多目标信息并分析获得行为动作。

其中目标检测模块41是获取融合信息，并对获取融合信息中的多目标信息，其中包括位置、移动速度等，然后将该信息分别传递给目标跟踪模块42、行为识别模块43、轨迹更新预测模块44；在目标跟踪模块42实施获取位置信息后，能够实施更新目标的位置变化，进而实现跟踪，这种跟踪能够进行多目标同时跟踪；在跟踪过程中还会吧跟踪数据传输给轨迹更新预测模块44，此时通过轨迹更新预测模块44进行轨迹预测，通过轨迹预测能够实现智能驾驶的及时避让，让智能驾驶做好安全性保障。另外轨迹预测的数据还会发送给识别模块，此时识别模块结合目标检测模块41的目标信息和轨迹预测信息，能够匹配对应的目标接下来所要执行的动作，通过该预测能够对目标进行归类，例如车辆、行人、红绿灯、道标等，将其接下来的行为进行识别，例如车辆的靠近与否，行人是否需要穿越马路，红绿灯是否接下来会切换颜色，道标是否会倒落等。在上述针对不同目标进行归类的行为识别之后，能够进一步提高安全性保障。并且能够形成闭环学习，只需要通过目标检测模块41获取目标信息即可。

具体的，所述图像增强模块31包括去雨、去雾、去雪的画质修复步骤。通过上述步骤对图像的画质进行优化，能够避免画面受到天气影响产生识别出错。

另外，所述干扰抑制模块12通过FMCW和STFI技术抑制干扰。结合上述两个相位编码的技术，通过时域信号处理算法修复、进行码分多址的雷达波形设计，实现空间抗干扰效果，最终有效抑制城市复杂环境中的干扰，减少信号的空时频重叠概率。提高了雷达高分辨率成像质量和目标识别能力。

其中，为了进一步提高信号的分辨率，雷达模块1包括非均匀稀疏阵天线11和干扰抑制模块12；该非均匀稀疏阵天线11的具有发射天线111和接收天线112，所述发射天线111的x轴坐标包括0和9λ/2；所述接收天线112的x轴坐标包括0、3λ/2、4λ/2、6λ/2；所述干扰抑制模块12获取接收天线112的数据，并通过干扰抑制模块12降低干扰，并传输给鲁棒性多级融合模块3。

上述的雷达天线为非均匀设置，并借助MIMO技术，通过增大雷达天线孔径，能够提高分辨率，避免均匀设计的天线出现的方位分析干扰。而且上述的发射天线111和接收天线112的坐标设计能够实现宽波束覆盖和多波束扫描效果，结合现有技术中的SS-MUSIC实现超高角度分辨率，进而实现对多目标的无失帧检测。而且上述的天线布置也更贴合汽车使用，更适配汽车构造。

进一步设计中，该雷达稀疏阵天线具有16个阵元，其中发射天线111的分布为Tx＝[1000000001]；接收天线112的分布为Rx＝[1001101]，其中1表示所处位置有天线，0表示所处位置没有天线。

该方案体现了非对称设置的天线布局，稀疏阵排布能够降低成本，而且针对多角度分析具备超高精度。

针对以上天线的布局在雷达中的使用还做出如下改进，还包括用于获取接收天线112和发射天线111的信号处理模块5，该信号处理模块5包括依次连接的混频器51、带通滤波器52、AD采样电路53、距离FFT模块54、二维FFT模块55、非相干累加模块56、恒虚警率检测模块57、目标点角度估算模块58；所述混频器51与接收天线112和发射天线111均电连接。

其中接收天线112和发射天线111作为单发单收天线均与混频器51连接，能够将发射信号和接收信号合并在一起生成中频正弦信号，其频率是接收天线112的信号和发射天线111的信号的频率差值。然后利用带通滤波器52将中频信号中的尖刺滤除，保留有效信号，然后通过AD采样模块获取将模拟信号转化为数字信号，通过距离FFT模块54进行距离计算获得距离信号，并利用二维FFT模块55进行速度计算获得速度数据，非相干累加模块56将各个接收通道获得的数据进行非相关累加，接着通过恒虚警率检测模块57对干扰进行过滤。其检测原理：恒虚警检测器首先对输入的噪声进行处理后确定一个门限，将此门限与输入端信号相比，如输入端信号超过了此门限，则判为有目标，否则，判为无目标。一般信号由信号源发出，在传播的过程中受到各种干扰，到达接收机后经过处理，输出到检测器，然后检测器根据适当的准则对输入的信号做出判决。目标角度的估算一般有两种方法：DBF和MUSIC算法。本方案的目标点角度估算模块58集成SS-MUSIC算法，通过该模块能够获得高分辨率的信息并进行输出。

为了增加通道数量，进一步提高分辨率，所述接收天线112通过MIMO技术虚拟8个接收通道。MIMO技术属于雷达信号分析中的现有技术，通过该技术将本申请中的4个接收天线112虚拟为8个通道，能够进一步提高分辨率，并且不增加硬件成本。

一种雷视终端，其内部设置了上述系统。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种雷视融合系统，其特征在于，包括

雷达模块，用于通过雷达获得位置信息；

视觉摄像头模块，用于捕捉影像信息；

鲁棒性多级融合模块，用于将位置信息和影像信息进行多级融合，获得融合信息；

多目标学习模块，用于识别融合信息中的多目标检测、跟踪、行为。

2.根据权利要求1所述的雷视融合系统，其特征在于，所述雷达模块包括非均匀稀疏阵天线和干扰抑制模块；

该非均匀稀疏阵天线的具有发射天线和接收天线，所述发射天线的x轴坐标包括0和9λ/2；所述接收天线的x轴坐标包括0、3λ/2、4λ/2、6λ/2；

所述干扰抑制模块获取接收天线的数据，并通过干扰抑制模块降低干扰，并传输给鲁棒性多级融合模块。

3.根据权利要求2所述的雷视融合系统，其特征在于，该非均匀稀疏阵天线具有16个阵元，其中发射天线的分布为Tx＝[1000000001]；接收天线的分布为Rx＝[1001101]，其中1表示所处位置有天线，0表示所处位置没有天线。

4.根据权利要求3所述的雷视融合系统，其特征在于，所述雷达模块还包括用于获取接收天线和发射天线的信号处理模块，该信号处理模块包括依次连接的混频器、带通滤波器、AD采样电路、距离FFT模块、二维FFT模块、非相干累加模块、恒虚警率检测模块、目标点角度估算模块；

所述混频器与接收天线和发射天线均电连接。

5.根据权利要求1所述的雷视融合系统，其特征在于，所述鲁棒性多级融合模块包括图像增强模块、特征表示模块、多级融合结构模块，所述图像增强模块用于增强视觉摄像头捕捉的影像；所述特征表示模块用于获取增强后的影像的影像信息和雷达模块的位置信息的特征数据；多级融合结构模块用于获取影像信息和雷达模块的特征数据，并进行雷视融合获得融合信息。

6.根据权利要求5所述的雷视融合系统，其特征在于，所述多目标学习模块包括目标检测模块、目标跟踪模块、行为识别模块、轨迹更新预测模块；所述目标检测模块获取融合信息，并向目标跟踪模块、行为识别模块、轨迹更新预测模块传递融合信息内的多目标信息；目标跟踪模块实时获取多目标信息中的位置变化数据，并将该位置变化数据发送给轨迹更新预测模块；所述轨迹更新预测模块位置变化数据实时更新预测轨迹；所述行为识别模块获取预测轨迹和多目标信息并分析获得行为动作。

7.根据权利要求6所述的雷视融合系统，其特征在于，所述图像增强模块包括去雨、去雾、去雪的画质修复步骤。

8.根据权利要求3所述的雷视融合系统，其特征在于，所述干扰抑制模块通过FMCW和STFI技术抑制干扰。

9.一种雷视融合终端，其特征在于，包括如权利要求1～8中任意一项所述的雷视融合系统。

Images