CN115631123B - 仿生视觉融合的恶劣环境成像装置及方法 - Google Patents

Abstract

本发明公开了仿生视觉融合的恶劣环境成像装置及方法，包括：偏振相机、事件相机、边缘计算主机和仿生视觉融合模块；偏振相机用于采集场景的偏振图像，并发送至边缘计算主机；事件相机用于与偏振相机同步采集场景的动态信息，生成事件流，并发送至边缘计算主机；边缘计算主机用于对偏振图像进行学习计算获得基于材质差异的对比度增强图像，对事件流进行动态场景物体轮廓感知获得轮廓边缘图像；仿生视觉融合模块用于将基于材质差异的对比度增强图像和轮廓边缘图像进行融合，输出结果图像。本发明能够完成场景中关键视觉信息的多模态提取与融合，实现各种恶劣环境下的稳定成像。

Description

仿生视觉融合的恶劣环境成像装置及方法

技术领域

本发明涉及光学成像与计算机视觉技术领域，尤其涉及一种依托于事件相机、偏振相机的恶劣视觉环境成像技术。

背景技术

光学成像目前较为成熟的传感器主要为传统相机、激光雷达、毫米波雷达、微光成像和红外成像等。绝大多数成像设备只能在良好的视觉条件或某种特殊环境下具备理想的成像效果，无法胜任多种恶劣环境下的可靠成像任务。

对于绝大部分民用普通相机而言，只能在具有较高的照明度与良好的视野条件下清晰成像。如传统相机能采集丰富的光学信息，但是不能胜任诸如夜间环境、雾霾天气、强光条件等极端视觉场景下的成像任务。

对于某些特种成像设备而言，只能在小部分特殊场景下具备良好的成像效果，但这一般是通过牺牲某种性能实现的。激光雷达是以激光器为辐射源的雷达，能全天候工作，但对不良天气的适应能力差；毫米波雷达是工作在毫米波段探测的雷达，其各方面性能较为优越，但是分辨率低；微光成像利用光电阴极将微弱的可见光和近红外光图像转换成相应的电子密度图像，实现光的增强，但是它惧怕强光，不适合白天的场景；红外成像分为被动红外和主动红外，被动红外又被称为热成像，探测物体本身的红外特征，通过非接触探测热量，并将其转换为电信号，进而在显示器上生成热图像和温度值，而主动红外是通过发射红外源把外界的亮度提高上万倍来实现在夜间看到物体的目的，红外相机能够捕捉场景中丰富的物体辐射信息，适用于夜间、温度分布差异较大的场景等，但缺点明显，主要体现在设备体积大、分辨率低、检测距离有限，且红外成像的方式色彩不是像可见光一样真实，锐度也相对较低且在白天尤其是高温天气下表现不佳。其余特种设备也存在类似的问题。

此外，针对同一个视觉场景，不同的成像设备能够捕捉到不同的语义信息，例如普通可见光相机主要提取场景中的静态绝对光强色彩分布信息，但针对高速动态视觉信息则无能为力，再例如激光雷达能够精准的获取场景的三维结构信息，但不能捕捉丰富的色彩信息。这些传感器对于特定的环境或在特定方面具有显著优势，但是采用单一或少数几种的传感器难以实现全天候、各种场景下的接近于人眼视觉的理想成像效果。也就是说，现有成像设备不能同时提取多模态的视觉特征信息，视觉场景的多模态特征的获取与融合困难。同时传感器种类、数量过多也会造成硬件设计及使用、多类型数据的处理等方面的许多问题。

因此，如何提供一种对各种不利视觉场景下进行简单、高效成像的仿生视觉融合的恶劣环境成像装置及方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了提供一种仿生视觉融合的恶劣环境成像装置及方法，采取了偏振相机和事件相机的仿生视觉融合方法，能够完成场景中关键视觉信息的多模态提取与融合，实现各种恶劣环境下的稳定成像。

为了实现上述目的，本发明采用如下技术方案：

一种仿生视觉融合的恶劣环境成像装置，包括：偏振相机、事件相机、边缘计算主机和仿生视觉融合模块；其中，

所述偏振相机用于采集场景的偏振图像，并发送至边缘计算主机；

所述事件相机用于与所述偏振相机同步采集所述场景的动态信息，生成事件流，并发送至边缘计算主机；

所述边缘计算主机用于对偏振图像进行学习计算获得基于材质差异的对比度增强图像，对事件流进行动态场景物体轮廓感知获得轮廓边缘图像；

所述仿生视觉融合模块用于将所述基于材质差异的对比度增强图像和所述轮廓边缘图像进行融合，输出结果图像。

本发明通过配置偏振相机与事件相机两种不同的仿生成像设备，两种相机的特点优势互补，再辅以仿生视觉融合算法决定不同成像信息的交互方式，使得该成像系统的通用性系统既涵盖了两种设备各自针对的成像领域，又针对多个新的极端视觉场景，例如夜间、强光、高速运动、雾天、亮暗骤变等场景，实现可靠的成像效果。

优选的，所述偏振相机设置有两个，均连接至所述边缘计算主机，用于产生偏振度图像、线偏振光图像或圆偏振光图像。

优选的，还包括供电模块，用于给偏振相机、事件相机和边缘计算主机统一供电。

优选的，还包括PoE中继器，所述偏振相机采集的图像传入PoE中继器，PoE中继器与所述边缘计算主机相连接，实现控制信号、图像信息的双向传输。

优选的，所述PoE中继器通过电源转换模块连接至供电模块，PoE中继器对所述偏振相机进行供电。

优选的，还包括触控显示平板，所述触控显示平板与所述边缘计算主机相连接，用于显示所述边缘计算主机输出显示融合后的结果图像。

优选的，还包括固定平台，所述偏振相机、事件相机和边缘计算主机均固定于所述固定平台上。

本发明还公开了一种根据所述的一种仿生视觉融合的恶劣环境成像装置的成像方法，包括如下步骤：

利用偏振相机与事件相机分别同步采集得到同一场景下的偏振图像的视频帧和事件流；

利用深度学习方法对所述偏振图像进行学习计算得到设定目标与背景之间满足设定对比度要求的基于材质差异的对比度增强图像；

将所述事件流先后通过用于降噪的卷积神经网络、用于超分辨率重建的端到端神经网络，得到动态场景物体的轮廓边缘图像；

将轮廓边缘图像与基于材质差异的对比度增强图像融合，实现基于事件流的偏振图像视频高帧率插值，输出结果图像。

本发明偏振相机能够获取场景的静态结构信息与反射光线的偏振态信息，丰富了采集的光学信息，而事件相机能够捕捉场景的动态结构信息与照明变化的事件流信息，本发明通过算法流程的合理设计实现两者的结合同时充分发挥两者的优势，能够完成场景中绝大部分关键视觉信息的多模态提取与融合，最终取得理想的成像效果。

优选的，还包括利用惯性系统对事件相机进行多自由度定位，并利用定位信息对所述输出的结果图像进行3D场景重建。

优选的，还包括对事件流进行初步处理的步骤：将所述事件流输送给前馈脉冲神经网络进行动态视觉信息处理，并保留其时间戳信息将所述偏振图像与事件流进行时间上的同步匹配。

经由上述的技术方案可知，与现有技术相比，本发明在硬件设计上将事件相机与偏振相机结合，将两种传感器的不同特点的数据进行融合，同时发挥出偏振相机对于不同材质目标的甄别能力、光学信息丰富与事件相机对于动态信息的敏感、信息量少、高帧率的优势，对视觉系统传入的图像进行事件流去噪、高分辨率重建、偏振图像复原、高帧率插值等算法处理，针对事件相机传入的异步事件流，经过算法处理可以获得清晰的轮廓边缘图像，针对偏振图像可以实现去雾、去水、对比度增强等效果，最终利用事件流对偏振图像视频的高帧率插值可以得到理想视觉效果的高帧率视频成像效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的仿生视觉融合的恶劣环境成像装置的组成结构图；

图2为本发明提供的仿生视觉融合的恶劣环境成像装置的电力线路图；

图3为本发明提供的仿生视觉融合的恶劣环境成像方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明着重解决在各种恶劣视觉环境下获得稳定、理想的成像效果问题，鉴于在低照度以及其他极端环境下，普通相机所给出的视觉信息会严重不足或包含许多噪声，从而使得环境中目标的有效信息无法被充分提取，本发明采取了偏振相机11和事件相机12的仿生视觉融合方法，实现各种恶劣环境下的稳定成像。

实施例第一方面公开了一种仿生视觉融合的恶劣环境成像装置，包括：仿生视觉感知模块1、边缘计算主机和仿生视觉融合模块；仿生视觉感知模块1包含偏振相机11和事件相机12。其中，

偏振相机11能够实现对图像偏振信息的采集，本实施例中用于采集场景的偏振图像，并发送至边缘计算主机；

事件相机12对亮度变化极为敏感，在不同环境下能够可靠地捕捉动态信息，生成事件流，本实施例中用于与偏振相机11同步采集场景的动态信息，生成事件流，并发送至边缘计算主机；

边缘计算主机用于对偏振图像进行学习计算获得基于材质差异的对比度增强图像，对事件流进行动态场景物体轮廓感知获得轮廓边缘图像；边缘计算模块2由主机直接控制，负责进一步处理来自相机的图像信息，最终实时输出高质量的图像；

仿生视觉融合模块用于将基于材质差异的对比度增强图像和轮廓边缘图像进行融合，输出结果图像。

需要说明的是，偏振相机11是一款受螳螂虾复眼启发的仿生相机，对各个时刻的丰富的光学信息进行采集，通过像素级四通道偏振滤光片实现对图像偏振信息的采集，每次成像同步采集到四通道的偏振图像，利用代码进行图像处理，可得到偏振度图像、线偏振光图像、圆偏振光图像等。由于物体表面反射光的偏振态主要由入射光线的入射角以及物体的材质决定，因此在单向人工光源的作用下，偏振相机11具有识别不同物体表面法向突变以及材质差异的敏感性，能够在低照度和低对比度环境下利用场景中不同物体反射光线的不同偏振态，从偏振这样一个光的微观波动性质切入，拓宽了普通相机所能采集的光学信息的维度。

事件相机12作为一种生物启发式动态视觉传感器，其成像过程模拟硅视网膜感知视觉信号的方式，每个像素独立异步检测响应亮度对数的变化情况，光照变化超过设定阈值时，在该像素处输出一个事件。事件相机12自身的异步响应特性使其在极端光照环境下具有更加优越的对场景结构与视觉信息的捕获能力，首先，事件相机12仅对亮度的相对变化敏感，不受绝对光照影响，得益于其对数强度响应的特性，动态范围广，在场景光照极低或极高的情况下，事件相机12依然能够可靠的捕获动态信息。

同时可以理解为，事件相机12仿生的是人体中针对动态场景感知的视觉细胞及相关神经结构，对不同时刻间场景的变化具有极强的敏感性，同时具有高动态范围、高帧率的特点。

本实施例实现了不同相机在静态与动态、高动态范围与丰富光学信息采集方面的优势互补，在极低或极高照度的环境下，利用事件相机12对动态场景的物体轮廓进行感知，提升系统的动态范围和动态感知能力；利用偏振相机11对场景中不同物体的偏振等光学信息，实现对物体图像细节的感知以及对不同物体及背景间的区分。

本实施例利用偏振相机11在低对比度、复杂介质环境下对不同物体、环境中介质等的反射光线的不同偏振态信息的采集，实现物体光线与背景环境的高对比度清晰成像。利用事件相机12的高动态范围、高帧率和动态传感特性，从而在过亮、过暗以及亮暗骤变的环境下、对高速运动物体均能实现稳定成像，指导偏振相机11对极端场景、动态目标的成像，并且通过相关图像处理算法的设计实现两种信息的处理与融合。

在一个实施例中，仿生视觉融合模块采用深度学习的方法将基于材质差异的对比度增强图像和轮廓边缘图像进行融合的具体步骤包括：

首先，利用事件流的高帧率特点克服偏振图像的运动模糊问题：通过Time Lens++等算法实现基于事件流的对偏振图像的高帧率插值，实现去运动模糊的效果。

其次，通过构建深层卷积神经网络、脉冲神经网络针对偏振图像、事件流进行处理，将偏振相机获得的四通道偏振图以及偏振度图像、事件相机获得的事件流通过适当编码后输入到神经网络中，随后神经网络通过特征提取、特征融合的方式实现场景中不同对象的高对比度的精准的区分，输出场景的精准的语义分割结果。

基于偏振相机和事件相机的成像通过采集比传统相机更多的对象的偏振特性、边缘轮廓等信息，有利于在恶劣环境下实现对目标和场景的区分，从而打破传统视觉成像的一些局限。

对于输出的结果图像可以基于语义分割结果以及丰富的场景光学信息，利用生成对抗网络(GAN)实现场景风格迁移，得到理想的图像处理效果。

在一个实施例中，偏振相机11设置有两个，均连接至边缘计算主机，用于产生偏振度图像、线偏振光图像或圆偏振光图像。两个偏振相机用于获得对场景的基于双目视觉的深度图，从而提升成像系统对环境的感知能力。

在本实施例中，需要对偏振相机之间的内外参矩阵进行标定，并且标定完成后不可改变相机间的相对位置以及相机的镜头等。偏振相机输出的图像具有高对比度。双目视觉技术要求左右图像画质一致，比如畸变度，对焦度，对比度等参数越一致越好。并且两个偏振相机要同步曝光。

在一个实施例中，还包括供电模块3，用于给偏振相机11、事件相机12和边缘计算主机统一供电。供电模块3可以采用移动电源31统一供电，整体成像装置也可连接电源直接使用。

在一个实施例中，还包括PoE中继器5，偏振相机11采集的图像传入PoE中继器5，PoE中继器5与边缘计算主机相连接，实现控制信号、图像信息的双向传输。

在一个实施例中，考虑到多台设备均需要供电，供电模块3集成了电源转换器4，用于分别满足各设备的电力需求。PoE中继器5通过电源转换模块连接至供电模块3，PoE中继器5对偏振相机11进行供电。为偏振相机11供电的PoE中继器5、边缘计算主机均需要220V的交流输入电压，本实施例综合考虑了成本、配重、安全性各种问题，选择了适合的电源转换器4。用于电力传输的线缆设计在外壳夹层中，免去了复杂线缆带来的各种问题。本实施例同样可以连接室内的插座使用。

如图2所示，1a、1b均为超五类双绞线，1a将偏振相机11采集的图像通过RJ45接口传入PoE中继器5，同时中继器5也能够通过1a对偏振相机11进行供电；1b将中继器5与主机的RJ45接口相连，实现控制信号、图像信息的双向传输。2为USB数据线，实现事件相机12与主机之间的供电以及控制信号、图像信息的双向传输。3a、3b、3c为橡皮塑料的电源线，实现移动电源-电源转换器4-PoE中继器5、主机的供电。

在一个实施例中，还包括触控显示平板，触控显示平板与边缘计算主机相连接，用于显示边缘计算主机输出显示融合后的结果图像。边缘计算模块2接受图像信息与模型结构，进行计算并优化参数，将处理好的最终图像输出到触控显示平板上，供使用人员进行查看。

在一个实施例中，还包括固定平台，偏振相机11、事件相机12和边缘计算主机均固定于固定平台上。成像装置包括外壳，采用铝合金外壳。而镜头则采用防水的塑料外壳，从而适应不同天气、不同场景的设备保护需求。本实施例还综合考虑了实用性、可维护性、配重均匀性、散热性与安全性，采用体积小但性能优越的小型可移动电源以及边缘计算主机。

本发明实施例第二方面还公开了一种根据第一方面提供的一种仿生视觉融合的恶劣环境成像装置的成像方法，本实施例边缘计算模块2将从相机模块采集到的图像信息进行初步处理后传输给边缘计算模块2，由边缘计算模块2进行高效而迅速的图像处理，从而进一步完成各种视觉任务。考虑到选定视觉任务对算力的大量要求，选择专用于AI计算的主机，在模块中部署神经网络进行计算，如图3所示，包括如下步骤：

使用人工光源辅助成像系统，首先相机在恶劣视觉环境下进行成像，对照明系统进行亮度调节直至成像系统取得合适的成像效果，执行相机采集步骤；

利用偏振相机11与事件相机12分别同步采集得到同一场景下的偏振图像的视频帧和事件流；每一个视频帧图像都包含有四通道的偏振图像；

利用深度学习方法对偏振图像进行学习计算得到设定目标与背景之间满足设定对比度要求的基于材质差异的对比度增强图像；由于受限于偏振相机11的帧率，因此依然可能存在运动模糊问题；

将事件流先后通过用于降噪的卷积神经网络、用于超分辨率重建的端到端神经网络，得到具有清晰轮廓边缘的高帧率的动态场景物体的轮廓边缘图像；

将轮廓边缘图像与基于材质差异的对比度增强图像融合，实现基于事件流的偏振图像视频高帧率插值，从而解决运动模糊的问题，输出结果图像。

在一个实施例中，采用基于arm架构的边缘计算主机提供高达32TOPS的AI性能，并且实现神经网络在边缘计算主机上快速训练和部署。

本实施例方法的依托于边缘计算模块2的计算能力支持大大加快了模型的推理速度，因此本实施例能够支持一些轻度任务的实时处理，以及大部分视觉任务的延迟处理。

在一个实施例中，还包括利用惯性系统对事件相机12进行多自由度定位，并利用定位信息对输出的结果图像进行3D场景重建。

在一个实施例中，还包括对事件流进行初步处理的步骤：利用事件相机12的这种特性，将事件数据流输送给前馈脉冲神经网络进行动态视觉信息的初步处理，并保留其时间戳信息，以便在仿生视觉融合模块将所述偏振图像与事件流进行时间上的同步匹配。前馈脉冲神经网络SNN通过充分利用时间信息用于实现事件流的降噪。利用软同步的方式，由于事件流的帧率较高，因此根据时间戳将事件流匹配到与其时间间隔满足设定要求的偏振图像帧，实现同步。设定要求可以是达到设定的最小时间间隔。

执行上述初步处理的步骤后利用事件流信息指导偏振成像信息准确识别场景中的动态目标与弱反射结构。

本发明上述实施例所要解决恶劣视觉环境下的稳定成像问题，传统相机在过亮或者过暗、亮暗剧烈变化的环境中难以实现理想的成像效果，同时在雾天、水下、沙尘暴等环境中由于多介质对光的散射也会造成成像模糊、低对比度问题，而采用红外、雷达等方式虽然在某些不利的视觉环境下具有比较好的效果，但是在获取信息的丰富性、适用场景上依然较为局限，不具有对多种恶劣场景的普适性。本发明旨在通过两种仿生视觉相机的融合，实现各种视觉环境下尤其是常见的恶劣视觉环境下的稳定成像，并通过相关算法的设计，实现接近于白天的视觉效果，从而拓宽基于视觉的探测设备的适用场景以及应用范围，填补通用场景视觉传感器的空白。

本发明主要针对如下典型的几个常见的恶劣环境的视觉场景进行本发明的优越性分析：

场景一

在雾天环境中，传统相机对于雾中目标的成像通常因为空气中悬浮的小水滴的折射，出现模糊、低对比度的现象，这主要是因为小水滴与物体的反射光共同反射到镜头上，不同来源的光线的混叠影响了成像效果，而本发明中的偏振相机能够基于来自小水滴、目标物体的光线的偏振态差异，利用算法进行差分成像等方式实现对两种来源光线的分离与干扰光的抑制，最终实现图像的去雾效果。

场景二

在夜间环境中，使用人工光源的情况下，例如对于自动驾驶场景，使用传统相机得到的行人与路面对比度较低、路面的坑洼起伏也难以发现、道路线标也不如白天那样易于分辨，而偏振相机由于具有对物体材质和物体表面法向差异的敏感性，能够在夜间针对行人与路面的反射光偏振态的显著差异，实现高对比度的成像；同时路面的坑洼由于表面法向的骤变，在偏振相机中其光线偏振态的显著差异也相比于传统相机采集的色彩、光强等性质更加容易识别；道路线标在材质上与路面存在着显著差异，同样会因为反射光线偏振态的不同而更加易于实现偏振相机中的高对比度成像效果。此外，基于道路与路边泥土的材质差异，利用偏振相机也更加易于识别道路边缘，引导车辆前行路线。

场景三

由于夜间的光线较弱，传统相机对视野中车灯未能照到的区域的成像(例如树木、山体、路边的行人等)几乎不能实现，同时对于对面来车的远光灯直射通常会在一段时间失去成像能力，而此时，事件相机凭借其在过强或者过暗环境下的高动态范围的成像能力，能够在偏振相机一定程度失效的情况下，实现较好的成像效果。

场景四

对于户外环境的目标侦察，基于偏振相机对材质的敏感性，本发明的偏振相机可以实现对色彩、对比度与周围环境高度连续并且涂有红外、雷达波吸收涂层的隐蔽军事目标的识别，具有重要的军事价值。而对于高速运动中的物体，基于事件相机的高帧率特点，能够实现无运动模糊的成像，具有较大的适用范围。

场景五

对于亮暗骤变的环境，例如通过隧道出入口、无人机在岩洞中通过等场景中遇到亮暗环境突然切换的情况，传统相机和人眼通常无法迅速适应，而事件相机的高动态范围特点可以帮助实现稳定成像。

以上的各种恶劣视觉环境几乎是日常生活或者目标检测领域经常遇到的场景，也是目前基于是视觉的成像的空白与难点，本发明通过两种仿生相机的优势互补，能够在这些传统相机、红外相机、雷达等手段不能完全适应的环境中实现较好的、稳定的成像效果，总而言之，本发明是从单一环境视觉成像向通用现实环境视觉成像进行的具有一定开创性的尝试。

本发明实施例同样有助于满足更加广泛的应用需求，本发明实施例获取的结果图像基础上本发明可以进行实时的标注，将关注的目标轮廓绘制成明显的颜色区域并且进行分类识别，可以通过主机实时查看，也可以通过持续一段时间的录制，进行实时三维定位与地图绘制，在自动驾驶、军事侦察等领域有应用价值：

本发明在自动驾驶等领域获取极端视觉环境下的环境图像信息具有巨大作用。比如在夜间路面昏暗时，利用事件相机对动态物体的敏感、偏振相机对物体材质的敏感性就能轻松识别道路线等物体，利用偏振相机能识别出路面坑洼等路况。在周围环境亮度骤变的情况下，普通相机很难获取图像，利用事件相机的高动态范围特性，再加算法处理就可以识别亮度骤变下的周围环境。在雾天、沙尘天、雨天等有干扰的视觉环境下，利用偏振相机及相关算法处理，有助于实现极端光照强度(过暗或过亮环境)下、复杂介质(雾天、水下、沙尘天气)等不利环境下的稳定成像。不同场景下，两种仿生相机的软硬两方面结合，能够实现理想、稳定的图像效果。

以低照度环境下自动驾驶场景的成像为例。一方面，在低照度环境下，光源主要是自动驾驶车辆的车灯，在车灯的单向光源下，路面、标线、行人、树木、路上的石头等会由于自身材质的差异导致反射光的偏振态存在差异，从而在偏振相机上可以实现高对比度的成像效果，实现对背景与物体、物体与物体之间的区分，为后续实现夜间高质量语义分割奠定基础，同时由于反射光偏振态也由反射面的法向决定，因此偏振相机在检测路面的起伏与坑洼方面也具有较大的优势，能够辅助自动驾驶系统的速度控制，提升舒适性。另一方面，事件相机由于具有高动态范围，在低照度环境中能够对物体的轮廓实现高质量的成像，同时能很好地适应夜间驾驶中常见的对面来车的远光灯，在传统视觉失效的情况下，事件相机依然能稳定成像，因此通过所述两类仿生相机的结合，能够在不同场景下发挥各自的作用，这对于降低自动驾驶恶劣视觉环境下的事故率有着重要意义。

本发明通过两台偏振相机、一台事件相机以及后续图像处理，得到恶劣环境下的双目的高质量视频，可以将其用于恶劣成像条件下的目标检测，基于事件相机自带的惯性测量单元，本发明可以实现视觉系统的自我定位，从而更进一步可以实现视觉SLAM，尤其是恶劣成像环境下场景的3D重建。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种仿生视觉融合的恶劣环境成像装置，其特征在于，包括：偏振相机、事件相机、边缘计算主机和仿生视觉融合模块；其中，

所述偏振相机用于采集场景的偏振图像，并发送至边缘计算主机；

所述事件相机用于与所述偏振相机同步采集所述场景的动态信息，生成事件流，并发送至边缘计算主机；

所述边缘计算主机用于对偏振图像进行学习计算获得基于材质差异的对比度增强图像，对事件流进行动态场景物体轮廓感知获得轮廓边缘图像；

所述仿生视觉融合模块用于将所述基于材质差异的对比度增强图像和所述轮廓边缘图像进行融合，输出结果图像。

2.根据权利要求1所述的一种仿生视觉融合的恶劣环境成像装置，其特征在于，所述偏振相机设置有两个，均连接至所述边缘计算主机，用于产生偏振度图像、线偏振光图像或圆偏振光图像。

3.根据权利要求1所述的一种仿生视觉融合的恶劣环境成像装置，其特征在于，还包括供电模块，用于给偏振相机、事件相机和边缘计算主机统一供电。

4.根据权利要求1所述的一种仿生视觉融合的恶劣环境成像装置，其特征在于，还包括PoE中继器，所述偏振相机采集的图像传入PoE中继器，PoE中继器与所述边缘计算主机相连接，实现控制信号、图像信息的双向传输。

5.根据权利要求4所述的一种仿生视觉融合的恶劣环境成像装置，其特征在于，所述PoE中继器通过电源转换模块连接至供电模块，PoE中继器对所述偏振相机进行供电。

6.根据权利要求1所述的一种仿生视觉融合的恶劣环境成像装置，其特征在于，还包括触控显示平板，所述触控显示平板与所述边缘计算主机相连接，用于显示所述边缘计算主机输出显示融合后的结果图像。

7.根据权利要求1所述的一种仿生视觉融合的恶劣环境成像装置，其特征在于，还包括固定平台，所述偏振相机、事件相机和边缘计算主机均固定于所述固定平台上。

8.一种根据权利要求1-7中任一项所述的一种仿生视觉融合的恶劣环境成像装置的成像方法，其特征在于，包括如下步骤：

利用偏振相机与事件相机分别同步采集得到同一场景下的偏振图像的视频帧和事件流；

利用深度学习方法对所述偏振图像进行学习计算得到设定目标与背景之间满足设定对比度要求的基于材质差异的对比度增强图像；

将所述事件流先后通过用于降噪的卷积神经网络、用于超分辨率重建的端到端神经网络，得到动态场景物体的轮廓边缘图像；

将轮廓边缘图像与基于材质差异的对比度增强图像融合，实现基于事件流的偏振图像视频高帧率插值，输出结果图像。

9.根据权利要求8所述的成像方法，其特征在于，还包括利用惯性系统对事件相机进行多自由度定位，并利用定位信息对所述输出的结果图像进行3D场景重建。

10.根据权利要求8所述的成像方法，其特征在于，还包括对事件流进行初步处理的步骤：将所述事件流输送给前馈脉冲神经网络进行动态视觉信息处理，并保留其时间戳信息将所述偏振图像与事件流进行时间上的同步匹配多种事件流的时间匹配。

Images