CN110873879A - 一种多源异构传感器特征深度融合的装置及方法 - Google Patents

Abstract

本发明提供一种多源异构传感器特征深度融合的装置及方法，涉及人工智能技术领域。其装置包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ‑7000平台、FLASH大型存储芯片。通过多源异构多种传感器获取目标的多维数据特征，在ZYNQ‑7000平台，通过不同的多源异构传感器的坐标特征变换，形成具有统一维度的特征空间，通过建立深度学习网络，将多源异构传感器进行融合，实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合。本发明为无人机器目标特征识别及决策控制提供准确、可靠、具有鲁棒性的环境数据，对提高主动避撞识别系统性能、减少碰撞事故发生具有重要意义。

Description

一种多源异构传感器特征深度融合的装置及方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种多源异构传感器特征深度融合的装置及方法。

背景技术

当前，无人机器数量的持续增加使得各种事故频繁发生，造成严重的生命财产损失。其原因是无人机器所采用的单一传感器，如雷达、视觉等，并不能完整获取目标信息。针对信息的运动状态、距离状态、位置状态等特征状态，无法进行全面感知。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种多源异构传感器特征深度融合的装置及方法，基于深度学习技术，通过深度学习模型完成空间、时间特征信息融合算法，为无人机器目标特征识别及决策控制提供准确、可靠、具有鲁棒性的环境数据，对提高主动避撞识别系统性能、减少碰撞事故发生具有重要意义。

为解决上述技术问题，本发明所采取的技术方案是：

一方面，本发明提供一种多源异构传感器特征深度融合的装置，包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ-7000平台、FLASH大型存储芯片；ZYNQ-7000平台包括ARM Cortex A9双核、FPGA逻辑计算单元；N个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARM Cortex A9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片；

多源异构传感器阵列用于获取目标的多维数据特征；FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合，包括目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块；目标识别及分类模块用于配合FLASH大型存储芯片实现目标识别以及特征库匹配建立及学习；空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系；信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度神经网络在感兴趣区域内进行搜索完成目标识别对象的检测，并当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。

进一步地，所述多源异构传感器阵列中的激光雷达采用固态激光雷达Leddar Vu，实现8线光束数量，可实现的最大探测距离为185米；所述多源异构传感器阵列中的机器视觉采用红外高清网络摄像机海康威视DS-2CD3T25-I3。

另一方面，本发明还提供一种多源异构传感器特征深度融合的方法，采用上述的多源异构传感器特征深度融合的装置实现，该方法具体如下：

通过多源异构多种传感器获取环境信息，即获取目标的多维数据特征，具体通过激光雷达获取目标距离、轮廓特征，这些数据特征位于雷达二维扫描平面坐标系中，通过雷达二维成像空间，给出目标障碍物相对空间位置；通过机器视觉获取目标像素特征；

根据激光雷达与机器视觉相对固定位置，通过距离建立的先验知识，通过贝叶斯网络的先验模型，形成训练深度学习网络，通过训练完成的深度学习网络，建立激光雷达坐标系和机器视觉坐标系间的转换关系，进而构建雷达捕获目标特征空间融合模型；将机器视觉的二维识别目标像素点，在雷达二维平面进行映射，根据计算机机器视觉环境相关识别算法及机器视觉成像原理，通过深度融合网络，建立机器视觉坐标系与像素坐标系间的线性转换关系；同时考虑到机器视觉对目标成像的畸变现象，通过先验的机器视觉训练库进行非线性畸变校正；结合以上两种转换关系，实现激光雷达坐标系和机器视觉图像像素坐标之间的转换；

结合其他多源传感器，形成特定场景的目标特征获取，进行特征校正，构建多传感器数据时间融合模型，并且通过空间模型校正；其他多源传感器包括声学传感器、红外传感器、热成像传感器、GPS；

利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度学习网络在感兴趣区域内进行搜索完成目标识别对象的检测；当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。

采用上述技术方案所产生的有益效果在于：本发明提供的多源异构传感器特征深度融合的装置及方法，通过安装于无人机、汽车、飞艇、卫星等装备的多源异构多种传感器，获取环境信息，通过激光雷达获取目标距离、轮廓特征，以及机器视觉获取目标像素特征，通过不同的多源异构传感器的坐标特征变换，形成具有统一维度的特征空间，通过建立深度学习网络，将多源异构传感器进行融合，实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合，为装备的自主决策提供准确、可靠、具有鲁棒性的决策判决性能。本发明由于通过训练特征库加载校正，使得多传感器测量数据在时间上、空间上达到同步；利用深度学习网络在感兴趣区域内进行搜索完成目标识别对象的检测，能有效提高目标的识别速度，减小了图像检测、模式识别搜索范围，避免在整幅图像上进行遍历性搜索，提高检测系统的实时性；利用图像对障碍物进行存在性验证，增加了检测系统的准确性和鲁棒性。

附图说明

图1为本发明实施例提供的多源异构传感器特征深度融合的装置结构框图；

图2为本发明实施例提供的多源异构传感器特征深度融合的方法的逻辑单元连接图；

图3为本发明实施例提供的基于深度学习算法的机器视觉与激光融合决策网络示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

一种多源异构传感器特征深度融合的装置，包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ-7000平台、FLASH大型存储芯片；ZYNQ-7000平台是一款全可编程片上系统(All Programmable SoC)，该芯片集成了ARM Cortex A9双核、FPGA逻辑计算单元；N个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARM Cortex A9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片。

多源异构传感器阵列用于获取目标的多维数据特征，包括激光雷达的点云数据，以及机器视觉的像素数据。

FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合，包括目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块，目标识别及分类模块用于实现目标识别以及特征库匹配建立，空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系，信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度神经网络在感兴趣区域内进行搜索完成目标识别对象的检测，并当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。

本实施例中，多源异构传感器阵列中的激光雷达采用固态激光雷达Leddar Vu，实现8线光束数量，可实现的最大探测距离为185米。多源异构传感器阵列中的机器视觉采用红外高清网络摄像机海康威视DS-2CD3T25-I3。

采用上述的多源异构传感器特征深度融合的装置实现多源异构传感器特征深度融合的方法，该方法具体如下：

通过多源异构多种传感器获取环境信息，即获取目标的多维数据特征，具体通过激光雷达获取目标距离、轮廓特征，这些数据特征位于雷达二维扫描平面坐标系中，通过雷达二维成像空间，给出目标障碍物相对空间位置；通过机器视觉获取目标像素特征；

根据激光雷达与机器视觉相对固定位置，通过距离建立的先验知识，通过贝叶斯网络的先验模型，形成训练深度学习网络，通过训练完成的深度学习网络，建立激光雷达坐标系和机器视觉坐标系间的转换关系，进而构建雷达捕获目标特征空间融合模型；将机器视觉的二维识别目标像素点，在雷达二维平面进行映射，根据计算机机器视觉环境相关识别算法及机器视觉成像原理，通过深度融合网络，建立机器视觉坐标系与像素坐标系间的线性转换关系；同时考虑到机器视觉对目标成像的畸变现象，通过先验的机器视觉训练库进行非线性畸变校正；结合以上两种转换关系，实现激光雷达坐标系和机器视觉图像像素坐标之间的转换；

结合声学、红外、热成像、GPS等多源传感器，形成特定场景的目标特征获取，进行特征校正，构建多传感器数据时间融合模型，并且通过空间模型校正；

利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度学习网络在感兴趣区域内进行搜索完成目标识别对象的检测；当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。

基于雷达、机器视觉、声学、红外、GPS等多源传感器的数据特征深度融合方法是通过机器机器视觉检测验证模块，可以用于对激光雷达初选的目标进行存在性验证，排除地面、天空等不构成危险的障碍物目标，区分侧向障碍物等。机器机器视觉应用于环境检测系统必须考虑数据处理的准确性和实时性。本实施例提供的方法，其深度融合过程是将多源异构传感器数据在时间、空间上进行信息互补和优化组合处理，弥补了单一传感器测量信息不全面的缺陷。根据不同传感器在本身的二维成像空间进行叠加，通过相关先验知识，形成融合网络。该训练网络针对多源异构传感器的融合过程的准确与否，直接影响雷达数据和机器机器视觉图像数据，包括声学传感器，红外传感器，以及GPS信号在时间、空间上的统一性，关系到最终有效目标正确与否。当完成多传感器数据空间融合。需要先验通过训练特征库加载校正，使得多源异构传感器测量数据在时间上、空间上的同步。

如图1所示，为本实施例提供的多源异构传感器特征深度融合的方法的逻辑单元连接图。实现方案由激光雷达和机器视觉两部分组成。机器视觉通过坐标变换体系与激光雷达连接，通过坐标映射形成统一的信息平面。机器视觉通过目标识别及分类和目标特征库，进行目标识别以及特征库匹配建立。激光雷达通过目标识别及运动信息捕获模块进行目标识别。激光雷达以及机器视觉通过数据融合模块，进行信息综合决策，进而完成多源传感器融合，形成综合防碰撞。

如图2所示，为基于深度学习算法的机器机器视觉与激光雷达融合决策网络，通过前端雷达的目标特征数据模块与机器视觉的目标特征数据模块的综合提取、融合，完成信息的深度决策。前端数据特征接口通过深度学习网络进行判决及共享。

该方法的工作原理如下：

首先针对前向、侧向的障碍物位置信息，通过雷达、声学进行距离探测。为了获取精确距离信息，系统针对自身位置进行获取，所采用的自身GPS传感器实时获取。当获得精确位置信息后，通过机器视觉传感器，获得目标特征。雷达、声学传感器作为前方系统最重要的信息位置获取部件，用于实时获取前方环境目标的运动状态信息，其工作的鲁棒性、精度直接影响检测系统的功能实现与否。实际环境中激光雷达的测量环境较为复杂，雷达数据处理模块需能完成各种工况下的障碍物检测，并向中央控制系统提供稳定可靠、准确、符合实际情况的障碍物信息。为实现前方障碍物检测功能，需要从实际交通环境中有效的识别出需要避让的目标，并获得其准确的运动信息。进而通过机器视觉传感器建立感兴趣区域的定位，减小了图像检测、模式识别搜索范围，避免在整幅图像上进行遍历性搜索，提高检测系统的实时性。利用图像对障碍物进行存在性验证，增加了检测系统的准确性和鲁棒性。当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。

本发明通过深度学习模型完成空间、时间特征信息融合算法，为无人机器目标特征识别及决策控制提供准确、可靠、具有鲁棒性的环境数据，对提高主动避撞识别系统性能、减少碰撞事故发生具有重要意义。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (3)

1.一种多源异构传感器特征深度融合的装置，其特征在于：包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ-7000平台、FLASH大型存储芯片；ZYNQ-7000平台包括ARMCortex A9双核、FPGA逻辑计算单元；N个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARM Cortex A9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片；

多源异构传感器阵列用于获取目标的多维数据特征；FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标的捕获、以及信息提取与特征分类及融合，包括特征的目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块，目标识别及分类模块用于实现目标识别以及特征库匹配建立，空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系，信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度神经网络在感兴趣区域内进行搜索完成目标识别对象的检测，并当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。

2.根据权利要求1所述的多源异构传感器特征深度融合的装置，其特征在于：所述多源异构传感器阵列中的激光雷达采用固态激光雷达Leddar Vu，实现8线光束数量，可实现的最大探测距离为185米；所述多源异构传感器阵列中的机器视觉采用红外高清网络摄像机海康威视DS-2CD3T25-I3。

3.一种多源异构传感器特征深度融合的方法，其特征在于：采用权利要求1述的多源异构传感器特征深度融合的装置实现，该方法具体如下：

通过多源异构多种传感器获取环境信息，即获取目标的多维数据特征，具体通过激光雷达获取目标距离、轮廓特征，这些数据特征位于雷达二维扫描平面坐标系中，通过雷达二维成像空间，给出目标障碍物相对空间位置；通过机器视觉获取目标像素特征；

根据激光雷达与机器视觉相对固定位置，通过距离建立的先验知识，通过贝叶斯网络的先验模型，形成训练深度学习网络，通过训练完成的深度学习网络，建立激光雷达坐标系和机器视觉坐标系间的转换关系，进而构建雷达捕获目标特征空间融合模型；将机器视觉的二维识别目标像素点，在雷达二维平面进行映射，根据计算机机器视觉环境相关识别算法及机器视觉成像原理，通过深度融合网络，建立机器视觉坐标系与像素坐标系间的线性转换关系；同时考虑到机器视觉对目标成像的畸变现象，通过先验的机器视觉训练库进行非线性畸变校正；结合以上两种转换关系，实现激光雷达坐标系和机器视觉图像像素坐标之间的转换；

结合其他多源传感器，形成特定场景的目标特征获取，进行特征校正，构建多传感器数据时间融合模型，并且通过空间模型校正；其他多源传感器包括声学传感器、红外传感器、热成像传感器、GPS；

利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度学习网络在感兴趣区域内进行搜索完成目标识别对象的检测；当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。

Images