CN108469817B - 基于fpga和信息融合的无人船避障控制系统 - Google Patents

Abstract

本发明公开了一种基于FPGA和信息融合的无人船避障控制系统，包括PC岸基平台和船载系统，船载系统包括雷达模块、CMOS图像传感器、第一DSP处理模块、第二DSP处理模块、FPGA处理器、GPS模块、驱动模块、姿态感知模块、电源管理模块、通信模块；雷达模块将雷达信息传给第一DSP处理模块，CMOS图像传感器将图像信息传递给第二DSP处理模块，第一DSP处理模块、第二DSP处理模块、GPS模块、驱动模块、姿态感知模块、电源管理模块、通信模块分别与FPGA处理器连接。本发明能准确、快速地获取障碍物的形状、大小、距离等信息，为无人船控制和自主避障等一系列智能功能提供非常可靠的外部信息数据。

Description

基于FPGA和信息融合的无人船避障控制系统

技术领域

本发明涉及无人船避障控制领域，具体涉及一种基于FPGA和信息融合的无人船避障控制系统。

背景技术

近年来，随着物联网、大数据、云计算、人工智能等新理念、新技术的突飞猛进，船舶自动化水平不断提高，智能化船舶成为船舶的主要发展趋势。在无人驾驶领域，相比于无人机、无人汽车等，无人船艇的发展处于相对落后的状态。无人船艇包括具有自主规划、自主航行、自主环境感知能力的全自主型无人船艇，以及非自主航行的遥控型无人船艇和按照内置程序航行并执行任务的半自主型无人船艇。它集船舶设计、人工智能、信息处理、运动控制等专业技术为一体，研究内容涉及自动驾驶、自主避障、规划与导航、模式识别等多方面。目前，无人船避障的主要方法有：运用雷达探测技术的雷达避障、用于机器视觉技术的机器视觉避障等。

雷达探测技术属于一种主动探测技术，可以直接测量与目标物体的距离、速度、方位等信息，其优点是信号穿透能力强，能够在阴雨、大雾、浓烟等恶劣天气条件下进行探测。雷达技术检测范围大，技术发展时间长，目前各种目标检测算法已比较成熟。激光雷达较毫米波雷达能够提供更高的精度，但由于成本也很高，其推广受到了一定的阻碍。目前，雷达技术还存在一些缺陷，如雷达系统光学分辨率和系统扫描速度都很低，并且多个雷达系统同时在近距离进行检测的情况下会产生干涉反应使检测效果变差。

机器视觉技术具有探测范围大，信息量大，遥测功能强等特点。机器视觉的不足之处在于对数据处理系统的实时性能要求较高，易受外界环境的影响。

现有的无人船艇仅仅依靠单一的传感器进行避障，无法保证信息的准确性和可靠性，比如利用雷达传感器作为船舶避障传感器时，存在盲区，而且只能感知障碍物的距离和速度，不能感知障碍物的大小、形状等信息。在采用机器视觉避障时，容易收到外界环境的影响，比如大雾，浓烟，阴雨等情况，无法准确避障。而且现有的无人船避障控制系统的处理器通常采用嵌入式ARM等嵌入式处理器，存在运行速度较慢，灵活度不够等问题。

发明内容

本发明的目的在于提供一种能准确、快速地获取障碍物的形状、大小、距离等信息的基于FPGA和信息融合的无人船避障控制系统。

本发明所采用的技术方案是：

一种基于FPGA和信息融合的无人船避障控制系统，包括PC岸基平台和船载系统，所述PC岸基平台、船载系统通过通信模块进行无线通信；所述船载系统包括雷达模块、CMOS图像传感器、第一DSP处理模块、第二DSP处理模块、FPGA处理器、GPS模块、驱动模块、姿态感知模块、电源管理模块、通信模块；所述雷达模块将搜集的无人船周边障碍物的距离及速度信息传递给第一DSP处理模块进行预处理，所述CMOS图像传感器将搜集的无人船前方区域的障碍物形状、大小尺寸图像信息传递给第二DSP处理模块进行预处理，所述第一DSP处理模块、第二DSP处理模块、GPS模块、驱动模块、姿态感知模块、电源管理模块、通信模块分别与FPGA处理器连接；第一DSP处理模块将雷达信息传递给FPGA处理器，第二DSP处理模块将图像信息传递给FPGA处理器，FPGA处理器经过通信模块将信息传送给PC岸基平台，PC岸基平台对信息进行融合后再传递给FPGA处理器；FPGA处理器接收PC岸基平台融合后的信号，并根据PC岸基平台发来的位置信息，目的地信息控制驱动模块进行自主控制和避障。

其中：所述雷达模块(雷达传感器)的作用是搜集无人船周边障碍物的距离及速度等信息，并传送给第一DSP处理模块进行数据的预处理。

所述CMOS图像传感器的作用是搜集无人船前方区域的障碍物形状、大小尺寸等图像信息，并传送给第二DSP处理模块进行预处理。

所述第一DSP处理模块、第二DSP处理模块由A/D转换器(MB88111P-SH)、SCI串行通信接口、IT公司生产的TMS320F2812型DSP处理器组成，其作用是对接收到的雷达、图像等信息经FFT转换成可识别的信号，并传给FPGA处理器。

所述FPGA处理器采用Xilinx公司的XC3S500E型号的芯片，它内嵌了73k位的分布式RAM和360k位的BRAM资源，拥有10476个逻辑单元、1164个CLB，内嵌乘法器硬核高达20个，可以很好的满足FFT并行运算的要求；作用是将来自第一DSP处理模块、第二DSP处理模块的信息经过通信模块传送给PC岸基平台，并接收来PC岸基平台融合后的信号，并根据PC岸基平台发来的位置信息，目的地信息等数据控制驱动模块进行自主控制和避障等动作。

所述通信模块由无线数传电台组成，其作用是实现岸基平台与船载系统之间的通信。

所述GPS模块的作用是定位船舶位置和目的地位置，并显示在PC岸基平台上。

所述电源管理模块由电源和稳压装置、变压装置等组成，电源、变压装置、稳压装置依次连接，用于给船载系统各个设备供电。

所述姿态感知模块由电子罗盘、陀螺仪组成，其作用是感知无人船是否倾斜，并辅助导航。

按上述方案，所述驱动模块由电机驱动模块、舵机驱动模块、冷却装置等组成，其作用是控制无人船的速度和方向。

按上述方案，所述PC岸基平台由以计算机为载体的人机界面、信息融合模块和路径规划模块组成，用于给船载系统发送目的地信息、信息融合后的障碍物信息，并监控显示船舶的状态。

按上述方案，所述信息融合模块包括信息输入信号、特征提取单元、识别单元、关联单元、融合单元、传感器信息协调管理器、传感器数据库模型和信息输出单元；所述信息输入信号用于输入预处理后的雷达信号和图像信号；所述信息输入信号、特征提取单元、识别单元、关联单元、融合单元依次连接，特征提取单元、识别单元、关联单元、融合单元、传感器数据库模型和信息输出单元分别与传感器信息协调管理器连接；

预处理后的雷达信号和图像信号经过通信模块传给PC岸基平台后，特征提取单元进行特征提取，识别单元对所提取的信息进行分析与识别，关联单元将识别的距离信息与尺寸、外形信息进行关联，融合单元将关联后的信息融合成想要的障碍物信息；同时，特征提取单元、识别单元、关联单元、融合单元将信息传递给传感器信息协调管理器，传感器信息协调管理器将不同传感器的信息统一到同一时空坐标下，实现数据配准，且传感器信息协调管理器与数据库模型进行分析，得出融合后的障碍物信息，该障碍物信息包括障碍物的形状、大小和障碍物的距离、速度信息。

本发明的有益效果在于：

采用FPGA与DSP等多处理器结合的方式

对于传统的无人船控制方案，多采用ARM或者DSP等单处理器控制的方式进行控制，数据处理速度较慢，采样数据的精度较低。本发明采用FPGA与DSP双处理器相结合的方式，利用DSP芯片对接收到的雷达信号、图像信号进行预处理后送给FPGA，DSP主要负责对信号进行快速的数字处理变换，FPGA芯片作为主处理器用于控制整个船舶的运行。该方式采样速度快，数据处理能力强，数据精度很高，能在船舶高速运行等复杂海况状态下进行及时的避障控制。

2.采用多传感器信息融合的方式

目前，无人船避障主要依靠单一传感器感知外部信息，实现避障，但此方式存在信息量少，可靠性不高等问题。本发明采用信息融合技术，能大大提高船舶的感知能力，相对于单一传感器所提供的信息，经过信息融合技术后，将更具准确性和可靠性，由此准确、快速地获取所需信息的特征值，为无人船控制和自主避障等一系列智能功能提供非常可靠的外部信息数据。

3.地面站实时观测与遥控

本发明可以通过PC岸基平台对无人船的航线进行规划，控制无人船的运行，并能实时观察和检测无人船的姿态、位置、障碍物等信息并能对无人船进行遥控操作。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明基于FPGA和信息融合的无人船避障控制系统的结构框图；

图2是信息融合模块的信号处理流程图；

图3是第一DSP处理模块的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参见图1，一种基于FPGA和信息融合的无人船避障控制系统，能精确地、实时地检测无人船周边的障碍物的形状尺寸与距离信息，并做出判断，实施自主避障，其包括PC岸基平台和船载系统，PC岸基平台、船载系统通过通信模块进行无线通信。船载系统包括雷达模块、CMOS图像传感器、第一DSP处理模块、第二DSP处理模块、FPGA处理器、GPS模块、电机驱动模块、舵机驱动模块、姿态感知模块、电源管理模块、通信模块；雷达模块将搜集的无人船周边障碍物的距离及速度信息传递给第一DSP处理模块进行预处理，CMOS图像传感器将搜集的无人船前方区域的障碍物形状、大小尺寸图像信息传递给第二DSP处理模块进行预处理，第一DSP处理模块、第二DSP处理模块、GPS模块、电机驱动模块、舵机驱动模块、姿态感知模块、电源管理模块、通信模块分别与FPGA处理器连接。

雷达模块(雷达传感器)与CMOS图像传感器分别将采集到的雷达信号与图像信号经过DSP处理模块进行预处理(数字运算)，然后传送给FPGA处理器，FPGA处理器通过通信模块与PC岸基平台实现实时通信，并将处理后的雷达信号与图像信号传送给岸基平台，PC岸基平台的工控计算机通过信息融合之后将控制信号传送给FPGA处理器，FPGA处理器根据所接收的信号控制无人船的运行(FPGA处理器接收PC岸基平台融合后的信号，并根据PC岸基平台发来的位置信息，目的地信息控制驱动模块进行自主控制和避障。)。

雷达模块(雷达传感器)的作用是搜集无人船周边障碍物的距离及速度等信息，并传送给第一DSP处理模块进行数据的预处理。

CMOS图像传感器的作用是搜集无人船前方区域的障碍物形状、大小尺寸等图像信息，并传送给第二DSP处理模块进行预处理。

第一DSP处理模块、第二DSP处理模块由A/D转换器(MB88111P-SH)、SCI串行通信接口、IT公司生产的TMS320F2812型DSP处理器组成，其作用是对接收到的雷达、图像等信息经FFT转换成可识别的信号，并传给FPGA处理器。

FPGA处理器采用Xilinx公司的XC3S500E型号的芯片，它内嵌了73k位的分布式RAM和360k位的BRAM资源，拥有10476个逻辑单元、1164个CLB，内嵌乘法器硬核高达20个，可以很好的满足FFT并行运算的要求；作用是将来自第一DSP处理模块、第二DSP处理模块的信息经过通信模块传送给PC岸基平台，并接收来PC岸基平台融合后的信号，并根据PC岸基平台发来的位置信息，目的地信息等数据控制驱动模块进行自主控制和避障等动作。

通信模块由无线数传电台组成，其作用是实现岸基平台与船载系统之间的通信。

GPS模块的作用是定位船舶位置和目的地位置，并显示在PC岸基平台上。

电源管理模块由电源和稳压装置、变压装置等组成，电源、变压装置、稳压装置依次连接，用于给船载系统各个设备供电。

姿态感知模块由电子罗盘、陀螺仪组成，其作用是感知无人船是否倾斜，并辅助导航。

驱动模块用于控制无人船的速度和方向。

PC岸基平台由以计算机为载体的人机界面、信息融合模块和路径规划模块组成，用于给船载系统发送目的地信息、信息融合后的障碍物信息，并监控显示船舶的状态。

局部避障方法基于传感器实时获取无人船周围障碍物信息进行避障，本发明根据栅格法原理采用基于人工势场法的局部避障方法进行避障。具体避障方法为：雷达模块和图像传感器采集前方障碍物的模拟量信息(距离、形状、位置、尺寸)经DSP进行FFT处理后传给PC岸基平台，PC岸基平台根据设定的人工势场法将障碍物信息(形状、位置、尺寸)的范围分成若干个视窗单元格，并根据采集到的障碍物的位置与形状，在无人船的运动空间中创建一个虚拟势场：Fa(X)表示目标(即目的地,由PC岸基平台给出并通过通信模块传给FPGA处理器)对无人船的引力，随着与目标距离增加而单调递增，Fa(X)＝－grad(Ua(X))＝k(Xg－X)，k为大于0的引力场常量；Xg为目标点位置；Ua(X)为目标点对无人船的引力场；X为无人船位置。Fr(X)表示障碍物对无人船的斥力，随着无人船与单元格中障碍物的距离(由雷达模块和图像传感器测得)增加而单调递减，Fr(X)＝－grad(Ur(X))＝1/2m(1/(X－X0)-1/ρ)*(X－Xg)n，其中Ur(X)为斥力势场；m为大于0的斥力场常量；X为无人船位置；X0为障碍物位置；ρ为障碍物的影响范围；Xg为目标点位置；n为大于等于0的常量。F(X)表示引力和斥力的合力(无人船受到的合力)，无人船受到的合力为F(X)＝Fa(X)+Fr(X)。总势场函数为U(X)＝Ua(X)+Ur(X)。FPGA处理器根据PC岸基平台传送回的合力方向，通过驱动程序控制驱动模块沿着合力的方向运动，实现避障。

参见图2，信息融合模块包括信息输入信号、特征提取单元、识别单元、关联单元、融合单元、传感器信息协调管理器、传感器数据库模型和信息输出单元；信息输入信号用于输入预处理后的雷达信号和图像信号；信息输入信号、特征提取单元、识别单元、关联单元、融合单元依次连接，特征提取单元、识别单元、关联单元、融合单元、传感器数据库模型和信息输出单元分别与传感器信息协调管理器连接。预处理后的雷达信号和图像信号经过通信模块传给PC岸基平台后，特征提取单元对雷达信号和图像信号进行特征提取，识别单元对所提取的信息进行分析与识别，关联单元将识别的距离信息与尺寸、外形信息进行关联，融合单元将关联后的信息融合成想要的障碍物信息；同时，特征提取单元、识别单元、关联单元、融合单元将信息传递给传感器信息协调管理器，传感器信息协调管理器将不同传感器的信息统一到同一时空坐标下，实现数据配准，且传感器信息协调管理器与数据库模型进行分析，得出融合后的障碍物信息，该障碍物信息包括障碍物的形状、大小和障碍物的距离、速度信息。

比如：无人船在前进中前方遇见桥墩，雷达模块和DSP先完成初步桥墩的检测后将信息传给PC岸基平台，PC岸基平台将得到的障碍物区域作为感兴趣区域并提取桥墩与无人船之间的距离信息，再通过由标定得到的转换矩阵，将雷达坐标映射到图像传感器提取的桥墩图像坐标中，然后将雷达与图像传感器的数据在时间和空间上进行关联对齐，原始的雷达数据扫描点可以用P(x,y,z)表示，根据映射关系，将扫面点投射到图像上，彩色图像像素点的RGB(红绿蓝)值融入了距离信息y分量，用来表示与障碍物的距离，所以数据点就增加了一个维度，变成了P(R,G,B,y)，即图像数据不但有了大小尺度信息，还拥有了深度信息(与无人船之间的距离)。这时可根据距离信息来判断障碍物的远近来进行避障。

本实施例中，特征提取单元的作用是提取图像信号与雷达信号中的尺寸，形状与距离信息；识别单元的作用是对所提取的信息进行分析与识别；关联单元的作用是将识别的距离信息与尺寸、外形等信息进行关联；融合单元的作用是将关联后的信息融合成想要的障碍物信息；传感器信息协调管理器的作用是将不同传感器的信息统一到同一时空坐标下，实现数据配准。

参见图3，第一DSP处理模块由输入部分，处理部分和输出部分组成。输入部分将信号(反射回的雷达信号)经过滤波、放大处理，传给信号处理单元进行模数转换和快速FFT运算处理；然后将处理后的信号经过输出部分传给FPGA处理器做下一步处理。输入部分由雷达发射与接收单元、滤波电路、放大电路等组成，其作用是向外界发射并接收反射回的电磁波信号，然后对信号进行滤波放大处理。处理部分主要由ADC单元、FFT单元和调节单元组成，其作用是对接收的电磁波信号进行模数转换，并对信号进行预处理，调节单元可对雷达探测的方向，雷达的灵敏度等进行调节。输出部分主要由串口接口，调试接口和数字量输出接口等组成，其作用是用于对数字信号进行输出与调试。

本发明通过同时设置雷达模块(雷达传感器)、CMOS图像传感器克服无人船单一传感器信息不够准确可靠的问题，使无人船能准确、快速地获取所障碍物的形状，大小，距离等信息，为无人船控制平台实现自主航行、自主避障等一系列智能功能提供最可靠的信息源。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于FPGA和信息融合的无人船避障控制系统，包括PC岸基平台和船载系统，所述PC岸基平台、船载系统通过通信模块进行无线通信；其特征在于：

所述船载系统包括雷达模块、CMOS图像传感器、第一DSP处理模块、第二DSP处理模块、FPGA处理器、GPS模块、驱动模块、姿态感知模块、电源管理模块、通信模块；所述雷达模块将搜集的无人船周边障碍物的距离及速度信息传递给第一DSP处理模块进行预处理，所述CMOS图像传感器将搜集的无人船前方区域的障碍物形状、大小尺寸图像信息传递给第二DSP处理模块进行预处理，所述第一DSP处理模块、第二DSP处理模块、GPS模块、驱动模块、姿态感知模块、电源管理模块、通信模块分别与FPGA处理器连接；第一DSP处理模块将雷达信息传递给FPGA处理器，第二DSP处理模块将图像信息传递给FPGA处理器，FPGA处理器经过通信模块将信息传送给PC岸基平台，PC岸基平台对信息进行融合后再传递给FPGA处理器；FPGA处理器接收PC岸基平台融合后的信号，并根据PC岸基平台发来的位置信息，目的地信息控制驱动模块进行自主控制和避障；

所述控制系统的避障方法为：无人船在前进中前方遇见障碍物，雷达模块和DSP先完成初步障碍物的检测后将信息传给PC岸基平台，PC岸基平台将得到的障碍物区域作为感兴趣区域并提取障碍物与无人船之间的距离信息，再通过由标定得到的转换矩阵，将雷达坐标映射到图像传感器提取的障碍物图像坐标中，然后将雷达与图像传感器的数据在时间和空间上进行关联对齐，原始的雷达数据扫描点用P(x,y,z)表示，根据映射关系，将扫面点投射到图像上，彩色图像像素点的RGB值融入了距离信息y分量，用来表示与障碍物的距离，所以数据点就增加了一个维度，变成了P(R,G,B,y)，从而得出障碍物信息，该障碍物信息包括障碍物的形状、大小和障碍物的距离、速度信息；FPGA处理器根据上述信息进行有效避障；

所述避障方法还根据栅格法原理采用基于人工势场法的局部避障方法进行避障，具体为：雷达模块和图像传感器采集前方障碍物的模拟量信息经DSP进行FFT处理后传给PC岸基平台，PC岸基平台根据设定的人工势场法将障碍物信息的范围分成若干个视窗单元格，并根据采集到的障碍物的位置与形状，在无人船的运动空间中创建一个虚拟势场：Fa(X)表示目标对无人船的引力，随着与目标距离增加而单调递增，Fa(X)＝－grad(Ua(X))＝k(Xg－X)，k为大于0的引力场常量；Xg为目标点位置；Ua(X)为目标点对无人船的引力场；X为无人船位置；Fr(X)表示障碍物对无人船的斥力，随着无人船与单元格中障碍物的距离增加而单调递减，Fr(X)＝－grad(Ur(X))＝1/2m(1/(X－X0)-1/ρ)*(X－Xg)n，其中Ur(X)为斥力势场；m为大于0的斥力场常量；X为无人船位置；X0为障碍物位置；ρ为障碍物的影响范围；Xg为目标点位置；n为大于等于0的常量；F(X)表示引力和斥力的合力，无人船受到的合力为F(X)＝Fa(X)+Fr(X)；总势场函数为U(X)＝Ua(X)+Ur(X)；FPGA处理器根据PC岸基平台传送回的合力方向，通过驱动程序控制驱动模块沿着合力的方向运动，实现避障。

2.根据权利要求1所述的基于FPGA和信息融合的无人船避障控制系统，其特征在于：所述驱动模块包括电机驱动模块、舵机驱动模块。

3.根据权利要求1所述的基于FPGA和信息融合的无人船避障控制系统，其特征在于：所述PC岸基平台由以计算机为载体的人机界面、信息融合模块和路径规划模块组成，用于给船载系统发送目的地信息、信息融合后的障碍物信息，并监控显示船舶的状态。

4.根据权利要求2所述的基于FPGA和信息融合的无人船避障控制系统，其特征在于：所述信息融合模块包括信息输入信号、特征提取单元、识别单元、关联单元、融合单元、传感器信息协调管理器、传感器数据库模型和信息输出单元；所述信息输入信号用于输入预处理后的雷达信号和图像信号；所述信息输入信号、特征提取单元、识别单元、关联单元、融合单元依次连接，特征提取单元、识别单元、关联单元、融合单元、传感器数据库模型和信息输出单元分别与传感器信息协调管理器连接；

预处理后的雷达信号和图像信号经过通信模块传给PC岸基平台后，特征提取单元进行特征提取，识别单元对所提取的信息进行分析与识别，关联单元将识别的距离信息与尺寸、外形信息进行关联，融合单元将关联后的信息融合成想要的障碍物信息；同时，特征提取单元、识别单元、关联单元、融合单元将信息传递给传感器信息协调管理器，传感器信息协调管理器将不同传感器的信息统一到同一时空坐标下，实现数据配准，且传感器信息协调管理器与数据库模型进行分析，得出融合后的障碍物信息，该障碍物信息包括障碍物的形状、大小和障碍物的距离、速度信息。

Images