CN112188093A - 双模态信号融合系统和方法 - Google Patents

Abstract

本发明实施例公开了一种双模态信号融合系统和方法。该双模态信号融合系统包括：图像传感器单元，图像传感器单元用于获取双模态图像信号；图像处理单元，与图像传感器单元连接，图像处理单元用于同时对双模态图像信号中的同步信号和异步信号进行预处理；图像融合单元，与图像处理单元连接，图像融合单元用于将双模态图像信号中的同步信号和异步信号进行特征融合。上述方案不仅能够提高图像处理单元处理双模态图像信号的效率，进而提高双模态信号融合系统的效率和实时性，而且还实现了同步信号和异步信号的异构特征融合，得到兼具不同类型的图像特征信息的图像信号，使得双模态信号融合系统的应用范围更加广泛。

Description

双模态信号融合系统和方法

技术领域

本发明实施例涉及图像传感技术领域，尤其涉及一种双模态信号融合系统和方法。

背景技术

视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器，现有技术中的视觉传感器一般包括：有源像素传感器(Active Pixel Sensor，APS)和动态视觉传感器(Dynamic Vision Sensor，DVS)。其中，有源像素传感器通常为基于电压信号或电流信号的图像传感器，广泛应用于手机或相机的摄像单元中，这类图像传感器具有色彩还原度及图像质量高的优势，然而其获取的图像信号的动态范围较小，并且拍摄速度较慢。动态视觉传感器常用于工业控制领域，其特点是能够对动态场景进行感知，因拍摄速度较快，且获取的图像信号的动态范围较大，然而这类传感器采集的图像质量较差。

现有技术中，用于处理有源像素传感器提供的图像信号的视觉图像处理器根据“冯·诺依曼”架构，计算与存储分离，结构简洁、易于实现高速数值计算。但是在处理动态视觉传感器提供的图像信号时，动态视觉传感器的图像信号包括非结构化、时空关联信息，根据“冯·诺依曼”架构的处理器表现出效率低、能耗高、实时性差等问题。当图像信号处理系统需要处理的图像信号为双模态信号时，现有技术中的处理器无法实时的高效率对双模态信号进行处理，从而影响图像信号处理系统的应用范围。

发明内容

本发明实施例提供一种双模态信号融合系统和方法，以提高双模态信号融合系统的效率和实时性，扩大双模态信号融合系统的应用范围，并实现双模态图像信号的异构融合。

第一方面，本发明实施例提供了一种双模态信号融合系统，包括：

图像传感器单元，所述图像传感器单元用于获取双模态图像信号；

图像处理单元，与所述图像传感器单元连接，所述图像处理单元用于同时对所述双模态图像信号中的同步信号和异步信号进行预处理；

图像融合单元，与所述图像处理单元连接，所述图像融合单元用于将所述双模态图像信号中的同步信号和异步信号进行特征融合。

进一步地，所述图像处理单元与所述图像融合单元通过高速数据传输接口连接，以传输所述双模态图像信号。

进一步地，所述图像处理单元与所述图像融合单元通信连接，所述图像处理单元还用于配置所述图像融合单元的参数。

进一步地，所述图像处理单元与所述图像融合单元通过两线式串行总线、通用异步收发传输器、集成电路内置音频总线和串行外设接口中的任一种通信连接。

进一步地，所述图像处理单元还用于将预处理后的所述双模态图像信号中的同步信号和异步信号进行处理，以得到满足所述图像融合单元进行特征融合所需格式的所述双模态图像信号。

进一步地，所述图像传感器单元获取的所述双模态图像信号中的同步信号包括图像色彩信息，所述双模态图像信号中的异步信号包括图像灰度梯度信息。

进一步地，所述图像融合单元的参数包括所述同步信号中的图像色彩信息和所述异步信号中的图像灰度梯度信息的特征融合权重。

进一步地，所述图像融合单元还用于对所述图像处理单元处理后的满足特征融合所需格式的所述双模态图像信号进行解码，以获得所述同步信号中的所述图像色彩信息和所述异步信号中的所述图像灰度梯度信息。

进一步地，所述图像融合单元还包括模拟神经网络处理子单元和脉冲神经网络处理子单元，所述模拟神经网络处理子单元用于处理解码后获得的所述图像色彩信息，所述脉冲神经网络处理子单元用于处理解码后获得的所述图像灰度梯度信息。

进一步地，所述图像融合单元还包括特征融合子单元，与所述模拟神经网络处理子单元和所述脉冲神经网络处理子单元通信连接；

所述图像处理单元用于配置所述特征融合子单元的参数，所述特征融合子单元用于根据所述图像处理单元的配置，将所述模拟神经网络处理子单元处理后的所述图像色彩信息以及所述脉冲神经网络处理子单元处理后的所述图像灰度梯度信息进行融合。

进一步地，所述图像传感器单元和所述图像处理单元通过高速数据传输接口连接，用于传输所述双模态图像信号。

进一步地，所述图像处理单元包括异步数据处理器和同步数据处理器，所述异步数据处理器用于对所述双模态图像信号中的异步信号进行处理，同时所述同步数据处理器用于对所述双模态图像信号中的同步信号进行处理。

进一步地，所述图像传感器单元包括图像传感器，所述异步数据处理器与所述图像传感器通信连接，所述异步数据处理器还用于配置所述图像传感器的参数。

进一步地，所述异步数据处理器与所述图像传感器通过两线式串行总线、通用异步收发传输器、集成电路内置音频总线和串行外设接口中的任一种通信连接。

进一步地，所述图像传感器包括视锥细胞电路和视杆细胞电路；所述视锥细胞电路用于采集图像色彩信号，形成所述双模态图像信号中的同步信号，所述视杆细胞电路用于采集灰度梯度图像信号，形成所述双模态图像信号中的异步信号。

进一步地，所述图像传感器的参数包括所述视锥细胞电路中的AD扫描范围、复位时间长度、快门速度与采样速度，以及所述视杆细胞电路中的DA电流输出范围和速度。

进一步地，所述视杆细胞电路包括兴奋性视杆细胞电路和抑制性视杆细胞电路；所述兴奋性视杆细胞电路采集的灰度梯度图像信号和所述抑制性视杆细胞电路采集的灰度梯度图像信号之差作为所述视杆细胞电路的灰度梯度图像信号。

进一步地，所述图像传感器单元还包括前期数据处理单元；

所述前期数据处理单元与所述图像传感器连接，用于对所述双模态图像信号进行打包和压缩。

进一步地，所述同步数据处理器与所述异步数据处理器连接；所述同步数据处理器还用于根据所述同步信号配置所述异步数据处理器的参数。

进一步地，所述异步数据处理器包括视杆数据处理器；

所述视杆数据处理器用于对所述双模态图像信号中的异步信号进行压缩，并编码为异步模式，形成地址形式事件信号。

进一步地，所述异步数据处理器还包括视锥数据处理器；

所述视锥数据处理器用于对所述双模态图像信号中的同步信号进行自动对焦、自动曝光和自动白平衡。

进一步地，所述图像处理单元还包括存储模块；所述存储模块用于缓存所述双模态图像信号。

进一步地，所述图像处理单元为现场可编程门阵列。

进一步地，所述异步数据处理器包括现场可编程门阵列。

进一步地，所述同步数据处理器为ARM处理器、中央处理器、专用集成电路、片上系统和图像信号处理器中的至少一种。

第二方面，本发明实施例还提供了一种双模态信号融合方法，包括：

通过图像传感器单元获取双模态图像信号；

通过图像处理单元同时对所述双模态图像信号中的同步信号和异步信号进行预处理；

通过图像融合单元将所述双模态图像信号中的同步信号和异步信号进行特征融合。

进一步地，所述图像处理单元与所述图像融合单元通信连接，在通过图像融合单元将所述双模态图像信号中的同步信号和异步信号进行特征融合之前，所述方法还包括：

通过所述图像处理单元配置所述图像融合单元的参数。

进一步地，在通过图像融合单元将所述双模态图像信号中的同步信号和异步信号进行特征融合之前，所述方法还包括：

通过所述图像处理单元将预处理后的所述双模态图像信号中的同步信号和异步信号进行处理，以得到满足所述图像融合单元进行特征融合所需格式的所述双模态图像信号。

进一步地，在通过图像融合单元将所述双模态图像信号中的同步信号和异步信号进行特征融合之前，所述方法还包括：

通过所述图像融合单元对所述图像处理单元处理后的满足特征融合所需格式的所述双模态图像信号进行解码，以获得所述同步信号中的所述图像色彩信息和所述异步信号中的所述图像灰度梯度信息。

进一步地，所述图像融合单元还包括模拟神经网络处理子单元和脉冲神经网络处理子单元；

所述方法还包括：

通过所述模拟神经网络处理子单元处理解码后获得的所述图像色彩信息，通过所述脉冲神经网络处理子单元处理解码后获得的所述图像灰度梯度信息。

进一步地，所述图像融合单元还包括特征融合子单元，与所述模拟神经网络处理子单元和所述脉冲神经网络处理子单元通信连接；所述图像处理单元还用于配置所述特征融合子单元的参数；

通过图像融合单元将所述双模态图像信号中的同步信号和异步信号进行特征融合，包括：

通过所述特征融合子单元根据所述图像处理单元的配置，将所述模拟神经网络处理子单元处理后的所述图像色彩信息以及所述脉冲神经网络处理子单元处理后的所述图像灰度梯度信息进行融合。

本发明实施例的技术方案，通过图像传感器单元获取双模态图像信号，通过图像处理单元同时对双模态图像信号中的同步信号和异步信号进行预处理，从而提高图像处理单元处理双模态图像信号的效率，进而提高双模态信号融合系统的效率和实时性。通过图像融合单元将预处理后的双模态图像信号中的同步信号和异步信号进行特征融合，得到兼具不同类型的图像特征信息的图像信号，实现了同步信号和异步信号的异构融合，使得双模态信号融合系统的应用范围更加广泛。

附图说明

图1是本发明实施例提供的一种双模态信号融合系统的模块结构示意图；

图2是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图；

图3是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图；

图4是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图；

图5是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图；

图6是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图；

图7是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图；

图8是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图；

图9是本发明实施例提供的一种双模态信号融合方法的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本发明实施例提供了一种双模态信号融合系统，图1是本发明实施例提供的一种双模态信号融合系统的模块结构示意图。如图1所示，该双模态信号融合系统包括：图像传感器单元110、图像处理单元120和图像融合单元130；图像传感器单元110用于获取双模态图像信号；图像处理单元120与图像传感器单元110连接，用于同时对双模态图像信号中的同步信号和异步信号进行预处理；图像融合单元130与图像处理单元120连接，用于将双模态图像信号中的同步信号和异步信号进行特征融合。

其中，双模态图像信号包括同步信号和异步信号。同步信号可以为图像色彩信号，其对图像的色彩还原度非常高，并具有较高的图像质量。异步信号可以为灰度梯度图像信号，其可以高速的体现图像的灰度变化量。通过图像传感器单元110获取双模态图像信号，可以在高速拍摄图像时实现了很高的信号保真度，同时实现高动态范围和高时间分辨率。图像处理单元120对双模态图像信号中的异步信号进行预处理，示例性地，图像处理单元120可以对双模态图像信号中的异步信号进行打包和压缩等预处理。同时，图像处理单元120还对双模态图像信号中的同步信号进行处理，示例性地，图像处理单元120可以对双模态图像信号中的同步信号进行校正和类脑感知算法的计算等预处理。图像处理单元120可以同时对双模态图像信号中具有高色彩还原度和高图像质量的同步信号，以及具有高动态范围和高时间分辨率的异步信号进行处理，从而可以提高图像处理单元120处理双模态图像信号的效率，进而提高双模态信号融合系统的效率和实时性。

图像融合单元130对预处理后的双模态图像信号中的同步信号和异步信号进行特征融合，示例性的，同步信号为图像色彩信号，其具有的特征信息包括图像色彩信息，异步信号为灰度梯度图像信号，其具有的特征信息包括图像灰度变化量信息，图像融合单元130将预处理后的同步信号中的图像色彩信息以特征信息合并的方式加入到异步信号中的图像灰度变化量信息中，以将同步信号和异步信号进行特征融合，得到兼具图像色彩信息和图像灰度变化量信息的图像信号，实现了同步图像色彩信号和异步灰度梯度图像信号的异构融合，使得双模态信号融合系统能够支持丰富的空间、时间和时空关系的表达，使得双模态信号融合系统的应用范围更加广泛。

图2是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图，如图2所示，在上述实施例的基础上，图像处理单元120与图像融合单元130通过高速数据传输接口140连接，以传输双模态图像信号。

其中，高速数据传输接口140即为数据传输能力比较大的数据传输接口，例如，高速数据传输接口140可以为数据传输速率大于1Gbit/s的接口。图像处理单元120通过高速数据传输接口140与图像融合单元130连接，可以使得图像处理单元120将预处理后的双模态图像信号通过高速数据传输接口140传输至图像融合单元130，实现了双模态图像信号的传输。示例性地，高速数据传输接口140可以为低电压差分信号(Low-VoltageDifferential Signaling，LVDS)接口，其数据传输速率最大为2Gbit/s，可以实现图像处理单元120将预处理后的双模态图像信号高速传输至图像融合单元130，图像融合单元130实时接收预处理后的双模态图像信号，并将双模态图像信号中的同步信号和异步信号进行特征融合，从而提高了双模态信号融合系统的实时性。

图3是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图，如图3所示，图像处理单元120与图像融合单元130通信连接，图像处理单元120还用于配置图像融合单元130的参数。

具体的，可以在图像处理单元120中预先写入图像融合单元130的配置文件，在图像融合单元130将双模态图像信号中的同步信号和异步信号进行特征融合之前，图像处理单元120传输图像融合单元130的参数配置指令至图像融合单元130，用于配置图像融合单元130的参数，使得图像融合单元130根据该参数配置指令，将双模态图像信号中的同步信号和异步信号进行特征融合。

示例性的，图像传感器单元110获取的双模态图像信号中的同步信号包括图像色彩信息，双模态图像信号中的异步信号包括图像灰度梯度信息。图像融合单元130的参数包括同步信号中的图像色彩信息和异步信号中的图像灰度梯度信息的特征融合权重，即图像融合单元130将同步信号和异步信号进行特征融合时，图像色彩信息和图像灰度梯度信息这两个特征信息分量各自在特征融合过程中的占比。通过设置图像色彩信息和图像灰度梯度信息的特征融合权重，可以设置特征融合后的图像信号的特性，以满足不同应用场景中的拍摄需求。

具体的，在图像处理单元120配置图像融合单元130的参数后，图像融合单元130根据图像处理单元120的配置对同步信号中的图像色彩信息和异步信号中的图像灰度梯度信息进行特征融合，当图像色彩信息的特征融合权重大于图像灰度梯度信息的特征融合权重时，图像融合单元130执行特征融合后得到的图像信号的色彩还原度及图像质量更高；当图像色彩信息的特征融合权重小于图像灰度梯度信息的特征融合权重时，图像融合单元130执行特征融合后得到的图像信号的动态范围更大，对动态场景的感知效果更好；当图像色彩信息的特征融合权重等于图像灰度梯度信息的特征融合权重时，图像融合单元130执行特征融合后得到的图像信号能够兼顾图像的动态范围、色彩还原度及图像质量。

继续参考图3，图像处理单元120与图像融合单元130通过两线式串行总线、通用异步收发传输器、集成电路内置音频总线和串行外设接口中的任一种通信连接。

其中，两线式串行总线(Inter-Integrated Circuit，IIC)具有简单和有效的特点，图像处理单元120与图像融合单元130通过IIC通信连接，可以在满足数据传输要求的基础上简化连接的复杂度和降低成本。同理，通用异步收发传输器(Universal AsynchronousReceiver/Transmitter，UART)可以实现图像处理单元120与图像融合单元130的异步通信。当双模态图像信号包括视频信号时，集成电路内置音频总线(Inter—IC Sound，IIS)可以实现图像处理单元120与图像融合单元130之间的音频数据的传输。串行外设接口(SerialPeripheral Interface)作为一种高速串行数据接口，也可以实现图像处理单元120与图像融合单元130的通信。需要说明的是，图3仅示出了图像处理单元120与图像融合单元130通过IIC或者UART进行通信的方式，实际应用中，图像处理单元120与图像融合单元130也可以通过IIS、SPI或者其他通信总线或接口进行通信，本发明实施例对此不进行限制。在上述各技术方案的基础上，图像处理单元120还用于将预处理后的双模态图像信号中的同步信号和异步信号进行处理，以得到满足图像融合单元130进行特征融合所需格式的双模态图像信号。

其中，图像处理单元120将图像传感器单元110获取的双模态图像信号进行预处理后，继续对双模态图像信号中的同步信号和异步信号进行处理，例如对同步信号和异步信号进行打包，然后将双模态图像信号传输至图像融合单元130，以使图像融合单元130将双模态图像信号中的同步信号和异步信号进行特征融合。示例性的，图像融合单元130对双模态图像信号中的同步信号和异步信号分别进行编码后再进行特征融合，特征融合所需格式的双模态图像信号，可以是图像融合单元130对双模态图像信号中的同步信号和异步信号进行编码所需格式的双模态图像信号，以满足图像融合单元130的编码需求。

相应的，图像融合单元130还用于对图像处理单元120处理后的满足特征融合所需格式的双模态图像信号进行解码，以获得同步信号中的图像色彩信息和异步信号中的图像灰度梯度信息。

示例性的，图像融合单元130中可包括用于对双模态图像信号进行解码的解码器，该解码器对双模态图像信号进行解码后，可获取同步信号中的特征信息，即图像色彩信息，并获取异步信号中的特征信息，即图像灰度梯度信息。

参考图2和图3，图像融合单元130还包括模拟神经网络处理子单元131和脉冲神经网络处理子单元132，模拟神经网络处理子单元131用于处理解码后获得的图像色彩信息，脉冲神经网络处理子单元132用于处理解码后获得的图像灰度梯度信息。其中，模拟神经网络处理子单元131为基于模拟神经网络(Analog Neural Network，ANN)的处理子单元，支持ANN编码。示例性的，图像传感器单元110获取的双模态图像信号中的同步信号包括图像色彩信息，图像融合单元130对图像处理单元120处理后的满足特征融合所需格式的双模态图像信号进行解码，以获得同步信号中的图像色彩信息，模拟神经网络处理子单元131以ANN编码方式对同步信号中的特征信息，即图像色彩信息进行处理，例如双模态图像信号中的同步信号可形成包括图像色彩信息的色彩图像，模拟神经网络处理子单元131以ANN编码方式提取一帧或连续多帧色彩图像中的图像色彩信息。

其中，脉冲神经网络处理子单元132为基于脉冲神经网络(Spiking NeuralNetwork，SNN)的处理子单元，支持SNN编码。示例性的，图像融合单元130对图像处理单元120处理后的满足特征融合所需格式的双模态图像信号进行解码，以获得异步信号中的图像灰度梯度信息，脉冲神经网络处理子单元132以SNN编码方式对异步信号中的特征信息，即图像灰度梯度信息进行处理，例如双模态图像信号中的异步信号可形成包括图像灰度梯度信息的动态视觉脉冲信号(事件信号)，脉冲神经网络处理子单元132以SNN编码方式提取相邻帧图像间的动态视觉脉冲信号，以获取相应的图像灰度梯度信息。

继续参考图2和图3，图像融合单元130还包括特征融合子单元133，与模拟神经网络处理子单元131和脉冲神经网络处理子单元132通信连接；图像处理单元120具体用于配置特征融合子单元133的参数，特征融合子单元133用于根据图像处理单元120的配置，将同步信号中的图像色彩信息和异步信号中的图像灰度梯度信息进行融合。

示例性的，在图像融合单元130接收到双模态图像信号时，模拟神经网络处理子单元131以ANN编码方式提取同步信号中的特征信息，例如图像色彩信息，同时脉冲神经网络处理子单元132以SNN编码方式提取异步信号中的特征信息，例如图像灰度梯度信息，特征融合子单元133根据图像处理单元120配置的特征融合权重，将模拟神经网络处理子单元131提取的图像色彩信息以特征信息合并的方式加入到脉冲神经网络处理子单元132提取的图像灰度梯度信息中，实现同步信号和异步信号的特征融合。本实施例的技术方案，能够同时支持ANN编码和SNN编码的独立部署，而且支持二者的混合编码，具有计算存储融合和去中心化的众核架构，从而能够支持丰富的空间、时间和时空关系的表达，有利于大规模异构融合神经网络的搭建。

图4是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图，如图4所示，图像处理单元120包括异步数据处理器121和同步数据处理器122，异步数据处理器121用于对双模态图像信号中的异步信号进行处理，同时同步数据处理器122用于对双模态图像信号中的同步信号进行处理。

其中，异步数据处理器121对双模态图像信号中的异步信号进行处理，示例性地，异步数据处理器121可以对双模态图像信号中的异步信号进行打包和压缩等。同时同步数据处理器122对双模态图像信号中的同步信号进行处理，示例性地，同步数据处理器122对双模态图像信号中的同步信号进行校正和类脑感知算法的计算处理等。使得图像处理单元120可以同时对双模态图像信号中的同步信号和异步信号进行处理，从而可以提高图像处理单元120处理双模态图像信号的效率，进而提高双模态信号融合系统的效率和实时性，提高了双模态信号融合系统的应用范围。

继续参考图4，图像传感器单元110和图像处理单元120通过高速数据传输接口140连接，用于传输双模态图像信号。

其中，高速数据传输接口140即为数据传输能力比较大的数据传输接口，例如，高速数据传输接口140可以为数据传输速率大于1Gbit/s的接口。图像传感器单元110通过高速数据传输接口140与图像处理单元120连接，可以使得图像传感器单元110获取的双模态图像信号通过高速数据传输接口140传输至图像处理单元120，实现了双模态图像信号的传输。示例性地，高速数据传输接口140可以为低电压差分信号(Low-Voltage DifferentialSignaling，LVDS)接口，其数据传输速率最大为2Gbit/s，可以实现图像传感器单元110将双模态图像信号高速的传输至图像处理单元120，图像处理单元120实时接收双模态图像信号并进行处理，从而提高了双模态信号融合系统的实时性。另外，高速数据传输接口140还可以是超低电压差分信号(Sub Low Voltage Differential Signaling，Sub-LVDS)接口或移动产业处理器接口(Mobile Industry Processor Interface，MIPI)等其他类型的高速数据传输接口，本发明实施例对此不进行限制。

另外，图像传感器单元110可以通过高速数据传输接口140与异步数据处理器121连接，异步数据处理器121与同步数据处理器122连接，双模态图像信号中的同步信号通过异步数据处理器121传输至同步数据处理器122，可以避免双模态图像信号中的同步信号格式与同步数据处理器122能够处理的信号格式不兼容的情况。图像融合单元130可以通过高速数据传输接口140与异步数据处理器121连接，异步数据处理器121与同步数据处理器122连接，异步数据处理器121对双模态图像信号中的异步信号进行预处理，同步数据处理器122将双模态图像信号中的同步信号进行预处理，预处理后的同步信号和异步信号均可通过异步数据处理器121传输至图像融合单元130。

另外，图像融合单元130还可以与异步数据处理器121通信连接，例如图像融合单元130与异步数据处理器121通过两线式串行总线、通用异步收发传输器、集成电路内置音频总线和串行外设接口中的任一种通信连接，以使图像处理单元120通过异步数据处理器121配置图像融合单元130的参数。

图5是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图，如图5所示，图像传感器单元110包括图像传感器111，异步数据处理器121与图像传感器111通信连接，异步数据处理器121还用于配置图像传感器111的参数。

其中，图像传感器111可以为双模态图像传感器，即图像传感器111包括视锥细胞电路和视杆细胞电路；视锥细胞电路用于采集图像色彩信号，形成双模态图像信号中的同步信号，视杆细胞电路用于采集灰度梯度图像信号，形成双模态图像信号中的异步信号。异步数据处理器121与图像传感器111通信连接，在图像传感器111获取双模态图像信号之前，异步数据处理器121传输图像传感器111的参数配置指令至图像传感器111，用于配置图像传感器111的参数，使图像传感器111在获取双模态图像信号时能够正常工作。示例性地，图像传感器111的参数包括视锥细胞电路中的AD扫描范围、复位时间长度、快门速度与采样速度，以及视杆细胞电路中的DA电流输出范围和速度。通过设置视锥细胞电路中的AD扫描范围、复位时间长度、快门速度与采样速度，可以设置图像色彩信号的采集精度，使得视锥细胞电路合理的采集图像色彩信号，避免图像信号失真。通过设置视杆细胞电路中的DA电流输出范围和速度，可以设置视杆细胞电路采集灰度梯度图像信号的频率和动态范围，以使视杆细胞电路采集的灰度梯度图像信号满足不同应用场景中的拍摄要求。

在异步数据处理器121配置图像传感器111的参数之后，图像传感器111开始工作，并采集图像获取双模态图像信号，获取的双模态图像信号通过高速数据传输接口140传输至异步数据处理器121，异步数据处理器121实时接收双模态图像信号，然后对双模态图像信号中的异步信号进行预处理，并将双模态图像信号中的同步信号传输至同步数据处理器122，同步数据处理器122对同步信号进行预处理，实现了图像处理单元120同时处理双模态图像信号中的同步信号和异步信号，提高了图像处理单元120处理双模态图像信号的效率，进而提高了双模态信号融合系统的效率和实时性。

需要说明的是，图像传感器111中的视锥细胞电路和视杆细胞电路的输出均可以为同步模式，即视锥细胞电路采集的图像色彩信号以同步模式输出，即为同步信号。视杆细胞电路采集的灰度梯度图像信号以同步模式输出，此时同步数据处理器122可以对视杆细胞电路输出的灰度梯度图像信号编码为异步信号，并输出至异步数据处理器121，异步数据处理器121对异步信号进行处理。在其他实施例中，视杆细胞电路的输出还可以为异步模式，即视杆细胞电路采集的灰度梯度图像信号以异步模式输出，即为异步信号。

另外，本发明上述实施例仅针对图像传感器单元110包括图像传感器111，图像传感器111为双模态图像传感器的实施方式进行了示意性说明，即图像传感器111包括视锥细胞电路和视杆细胞电路，视锥细胞电路用于采集图像色彩信号，形成双模态图像信号中的同步信号，视杆细胞电路用于采集灰度梯度图像信号，形成双模态图像信号中的异步信号。在本发明的其他实施方式中，图像传感器单元110也可以包括第一图像传感器和第二图像传感器，第一图像传感器包括视锥细胞电路，用于采集图像色彩信号，形成同步信号，第二图像传感器包括视杆细胞电路，用于采集灰度梯度图像信号，形成异步信号，第一图像传感器输出的同步信号和第二图像传感器输出的异步信号形成图像传感器单元110的双模态图像信号。

继续参考图5，异步数据处理器121与图像传感器111通过两线式串行总线或通用异步收发传输器通信连接。

其中，两线式串行总线(Inter-Integrated Circuit，IIC)具有简单和有效的特点，异步数据处理器121与图像传感器111通过IIC通信连接，可以在满足数据传输要求的基础上简化连接的复杂度和降低成本。同理，通用异步收发传输器(Universal AsynchronousReceiver/Transmitter，UART)可以实现异步数据处理器121与图像传感器111的异步通信。

在上述各实施例的基础上，视杆细胞电路包括兴奋性视杆细胞电路和抑制性视杆细胞电路；兴奋性视杆细胞电路采集的灰度梯度图像信号和抑制性视杆细胞电路采集的灰度梯度图像信号之差作为视杆细胞电路的灰度梯度图像信号。

其中，一个视杆细胞电路可以包括一个兴奋性视杆细胞电路和多个抑制性视杆细胞电路。抑制性视杆细胞电路可以设置于兴奋性视杆细胞电路的四周，当视杆细胞电路工作时，兴奋性视杆细胞电路产生的光电流与抑制性视杆细胞电路产生的光电流作差后由电流DA量化，从而形成视杆细胞电路的灰度梯度图像信号。

需要说明的是，在形成视杆细胞电路的灰度梯度图像信号时，可以根据外界光强适应性调整兴奋性视杆细胞电路产生的光电流与任意个抑制性视杆细胞电路产生的光电流作差。示例性地，当外界光强比较强时，例如太阳直射的情况，可以使得兴奋性视杆细胞电路产生的光电流与所有抑制性视杆细胞电路产生的光电流作差，使得视杆细胞电路可以适应光强比较强的场景。当外界光强比较弱时，例如晚上的情况，可以使得兴奋性视杆细胞电路产生的光电流与零个抑制性视杆细胞电路产生的光电流作差，即视杆细胞电路的灰度梯度图像信号由兴奋性视杆细胞电路产生的光电流确定，使得视杆细胞电路可以适应光强比较弱的场景。当外界光强适中时，例如多云或阴天的情况，可以使得兴奋性视杆细胞电路产生的光电流与任意个抑制性视杆细胞电路产生的光电流作差，此时兴奋性视杆细胞电路产生光电流即可使视杆细胞电路适应光强适中的场景。

图6是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图，如图6所示，图像传感器单元110还包括前期数据处理单元112；前期数据处理单元112与图像传感器111连接，用于对双模态图像信号进行打包和压缩。

其中，前期数据处理单元112可以接收图像传感器111输出的双模态图像信号，对双模态图像信号进行前期数据处理，例如可以对双模态图像信号进行初步的打包和压缩，然后传输至异步数据处理器121，异步数据处理器121再对前期数据处理后的双模态图像信号进一步进行数据处理，使得异步数据处理器121输出的异步信号满足图像显示的异步信号格式。

另外，图像传感器单元110还可以包括电源模块，电源模块为图像传感器单元110上的其他单元提供电源。

图7是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图，如图7所示，异步数据处理器121包括视杆数据处理器1211；视杆数据处理器1211用于对双模态图像信号中的异步信号进行压缩，并编码为异步模式，形成地址形式事件信号。

其中，图像传感器111中的视杆细胞电路采集的灰度梯度图像信号为双模态图像信号中的异步信号。在双模态图像信号传输至异步数据处理器121时，视杆数据处理器1211对视杆细胞电路采集的灰度梯度图像信号进行大幅度压缩，然后将其编码为异步模式，形成地址形式事件信号。地址形式事件信号具体可以为(X，Y，P，T)，其中，“X，Y”为事件地址，例如“X，Y”可体现灰度梯度图像信号中的像素点位置，“P”为4值事件输出，例如“P”可体现该像素点位置的灰度变化量，“T”为事件产生的时间，例如拍摄时间。由此可知，地址形式事件信号中的信息包括事件地址、事件输出和事件产生的时间等特征信息，在后续的信号处理过程中，图像处理单元120需要对视杆数据处理器1211输出的地址形式事件信号进行打包，得到图像融合单元130所需格式的信号，图像融合单元130通过脉冲神经网络处理子单元132以SNN编码方式提取地址形式事件信号中的特征信息，并将该信息以特征合并的方式加入到双模态图像信号中的同步信号的特征信息中，然后以合并后的双模态图像信号的特征显示图像，使得图像能够利用异步信号的离散型和稀疏性，提升了处理双模态图像信号的效率，同时可以实现在高速拍摄时保证图像的保真度。

另外，地址形式事件信号还可以具有其他表示形式，示例性的，地址形式事件信号还可以是(X，Y，P)、(X，Y，P，△T)、(X，Y，△P，T)或者(X，Y，△P，△T)，其中，△T可为事件产生的时间差，例如两个或若干个事件产生的时间差，△P可为事件输出变化量，例如两个或若干个事件之间的灰度变化量，不同的地址形式事件信号可表示不同的特征信息。继续参考图7，异步数据处理器121还包括视锥数据处理器1212；视锥数据处理器1212用于对双模态图像信号中的同步信号进行自动对焦、自动曝光和自动白平衡。

其中，自动对焦是利用物体光反射的原理，将反射的光被图像传感器111接收，通过视锥数据处理器1212处理，带动电动对焦装置进行对焦。自动曝光是图像传感器111根据测光系统所测得的图像的曝光值，按照生产时所设定的快门及光圈曝光组合，自动地设定快门速度和光圈值。自动白平衡是图像传感器111根据其镜头和白平衡感测器的光线情况，自动探测出被摄物体的色温值，以此判断摄像条件，并选择最接近的色调设置，由色温校正电路加以校正，白平衡自动控制电路自动将白平衡调到合适的位置。

图像传感器111中的视锥细胞电路采集的图像色彩信号为双模态图像信号中的同步信号。当异步数据处理器121包括视锥数据处理器1212时，异步数据处理器121还可以用于处理双模态图像信号中的同步信号。在双模态图像信号传输至异步数据处理器121时，视锥数据处理器1212对视锥细胞电路采集的图像色彩信号进行自动对焦、自动曝光和自动白平衡，提高双模态图像信号的保真度。在后续的信号处理过程中，图像处理单元120需要对视锥数据处理器1212输出的预处理后的同步图像色彩信号进行打包，得到图像融合单元130所需格式的信号，图像融合单元130通过模拟神经网络处理子单元131以ANN编码方式提取图像色彩信号中的特征信息，并将该信息以特征合并的方式加入到双模态图像信号中的异步信号的特征信息中，然后以合并后的双模态图像信号的特征显示图像，以在高速拍摄时保证图像的保真度。

另外，视锥数据处理器1212对视锥细胞电路采集的图像色彩信号进行自动对焦、自动曝光和自动白平衡后，可以将其反馈至图像传感器111，用于调节图像传感器111的曝光时间和镜头焦距等。

在上述各实施例的基础上，同步数据处理器122与异步数据处理器121连接；同步数据处理器122还用于根据同步信号配置异步数据处理器121的参数。

其中，双模态图像信号中的同步信号可以通过异步数据处理器传输至同步数据处理器，同步数据处理器对同步信号进行处理。在同步数据处理器接收到同步信号后，同步数据处理器还可以根据同步信号确定双模态图像信号的预测输出范围，然后根据预测输出范围反馈调节异步数据处理器的参数，使异步数据处理器根据设定的参数调节图像传感器111的曝光时间和镜头焦距。

在本发明的一类实施方式中，图像处理单元120为现场可编程门阵列。

其中，现场可编程门阵列(Field－Programmable Gate Array，FPGA)具有灵活的逻辑的单元，同时具有高集成度和高编程灵活度的特点，可以缩短设计图像处理程序的时间。

在本发明的另一类实施方式中，图像处理单元120为异步数据处理器，异步数据处理器121包括现场可编程门阵列；同步数据处理器122为同步数据处理器，同步数据处理器122为ARM处理器、中央处理器、专用集成电路、片上系统和图像信号处理器中的至少一种。

其中，同步数据处理器主要进行类脑感知算法的计算处理，可以使用各种处理器。示例性地，同步数据处理器可以为ARM处理器，其具有体积小、低功耗、低成本和高性能等特点。也可以为中央处理器(Central Processing Unit，CPU)，CPU包含运算逻辑部件、寄存器部件和控制部件等，并具有处理指令、执行操作、控制时间、处理数据等功能，其功能齐全。同步数据处理器还可以为专用集成电路(application specific integrated circuit，ASIC)，ASIC为特定用户或特定电子系统制作的集成电路，因此可以根据同步数据处理器的功能定制集成电路。同步数据处理器还可以为片上系统(System on Chip，SOC)，SOC是一个有专用目标的集成电路，其中包含完整系统并有嵌入软件的全部内容，可以根据同步数据处理器的功能形成SOC。同步数据处理器还可以为图像信号处理器(Image SigleProcessor，ISP)，ISP可以对图像传感器输出的信号进行处理，以匹配不同厂商的图像传感器。

需要说明的是，在其他实施例中，同步数据处理器还可以接收异步数据处理器形成的地址形式事件信号，并提取地址形式事件信号中的特征信息以合并的方式加入到同步信号的特征中，实现同步信号和异步信号的融合，使得双模态信号融合系统能够利用异步信号的离散型和稀疏性，提升了处理双模态图像信号的效率，同时可以实现在高速拍摄时保证图像的保真度。

图8是本发明实施例提供的另一种双模态信号融合系统的模块结构示意图，如图8所示，图像处理单元120还包括存储模块123；存储模块123用于缓存双模态图像信号。

其中，存储模块123用于提供存储空间，存储双模态图像信号。存储模块123可以与图像传感器111连接，图像传感器111通过高速数据传输接口140传输双模态图像信号至存储模块123，存储模块123缓存双模态图像信号。存储模态123还与异步数据处理器121连接，缓存的双模态图像信号传输至异步数据处理器121，从而避免图像传感器111和异步数据处理器121之间数据不同步造成数据缺失停顿或数据溢出现象。

另外，在其他实施例中，图像处理单元120还可以包括外接接口，用于与外部设备连接，可以实现图像处理单元120与外部设备的数据传输。示例性地，外接接口可以为通用串行总线(Universal Serial Bus，USB)接口，例如USB1.0、USB2.0或USB3.0接口，外接接口也可以为Ethernet接口。

本发明实施例还提供了一种双模态信号融合方法，图9是本发明实施例提供的一种双模态信号融合方法的流程示意图。该方法可以由本发明实施例所提供的双模态信号融合执行，用于对双模态图像信号进行特征融合。如图9所示，该方法具体包括：

S10、通过图像传感器单元获取双模态图像信号。

S20、通过图像处理单元同时对双模态图像信号中的同步信号和异步信号进行预处理。

S30、通过图像融合单元将双模态图像信号中的同步信号和异步信号进行特征融合。

其中，双模态图像信号包括同步信号和异步信号。同步信号可以为图像色彩信号，异步信号可以为灰度梯度图像信号，通过图像处理单元同时对双模态图像信号中的同步信号和异步信号进行预处理，从而可以提高图像处理单元处理双模态图像信号的效率，进而提高双模态信号融合系统的效率和实时性。通过图像融合单元对预处理后的双模态图像信号中的同步信号和异步信号进行特征融合，例如通过图像融合单元将预处理后的同步信号中的图像色彩信息，以特征信息合并的方式加入到异步信号中的图像灰度变化量信息中，以得到兼具图像色彩信息和图像灰度变化量信息的图像信号，实现了同步图像色彩信号和异步灰度梯度图像信号的异构融合，使得双模态信号融合系统能够支持丰富的空间、时间和时空关系的表达，使得双模态信号融合系统的应用范围更加广泛。

在上述实施例的基础上，图像处理单元与图像融合单元通信连接，在通过图像融合单元将双模态图像信号中的同步信号和异步信号进行特征融合之前，方法还包括：

通过图像处理单元配置图像融合单元的参数。

其中，在图像处理单元中预先写入图像融合单元的配置文件，在图像融合单元将双模态图像信号中的同步信号和异步信号进行特征融合之前，通过图像处理单元配置图像融合单元的参数，使得图像融合单元根据参数配置将双模态图像信号中的同步信号和异步信号进行特征融合。

示例性的，图像融合单元的参数包括同步信号中的图像色彩信息和异步信号中的图像灰度梯度信息的特征融合权重，即图像融合单元将同步信号和异步信号进行特征融合时，图像色彩信息和图像灰度梯度信息这两个特征信息分量各自在特征融合过程中的占比。通过设置图像色彩信息和图像灰度梯度信息的特征融合权重，可以设置特征融合后的图像信号的特性，以满足不同应用场景中的拍摄需求。

在上述实施例的基础上，在通过图像融合单元将双模态图像信号中的同步信号和异步信号进行特征融合之前，方法还包括：

通过图像处理单元将预处理后的双模态图像信号中的同步信号和异步信号进行打包，以得到满足图像融合单元进行特征融合所需格式的双模态图像信号。

示例性的，图像融合单元对双模态图像信号中的同步信号和异步信号分别进行编码后再进行特征融合，特征融合所需格式的双模态图像信号，可以是图像融合单元对双模态图像信号中的同步信号和异步信号进行编码所需格式的双模态图像信号，通过图像处理单元将预处理后的双模态图像信号中的同步信号和异步信号进行打包，以满足图像融合单元的编码需求。

在上述实施例的基础上，图像传感器单元获取的双模态图像信号中的同步信号包括图像色彩信息，双模态图像信号中的异步信号包括图像灰度梯度信息；图像融合单元包括模拟神经网络处理子单元；

通过图像融合单元将双模态图像信号中的同步信号和异步信号进行特征融合，包括：

通过模拟神经网络处理子单元提取同步信号中的图像色彩信息。

其中，模拟神经网络处理子单元为基于模拟神经网络(Analog Neural Network，ANN)的编码器，支持ANN编码。示例性的，图像传感器单元获取的双模态图像信号中的同步信号包括图像色彩信息，模拟神经网络处理子单元以ANN编码方式提取同步信号中的特征信息，即图像色彩信息，例如双模态图像信号中的同步信号可形成包括图像色彩信息的色彩图像，模拟神经网络处理子单元以ANN编码方式提取一帧或连续多帧色彩图像中的图像色彩信息。

在上述实施例的基础上，图像融合单元还包括脉冲神经网络处理子单元；

通过图像融合单元将双模态图像信号中的同步信号和异步信号进行特征融合，还包括：

通过脉冲神经网络处理子单元提取异步信号中的图像灰度梯度信息。

其中，脉冲神经网络处理子单元为基于脉冲神经网络(Spiking Neural Network，SNN)的编码器，支持SNN编码。示例性的，图像传感器单元获取的双模态图像信号中的异步信号包括图像灰度梯度信息，脉冲神经网络处理子单元以SNN编码方式提取异步信号中的特征信息，即图像灰度梯度信息，例如双模态图像信号中的异步信号可形成包括图像灰度梯度信息的动态视觉脉冲信号(事件信号)，脉冲神经网络处理子单元以SNN编码方式提取相邻帧图像间的动态视觉脉冲信号，以获取图像灰度梯度信息。

在上述实施例的基础上，图像融合单元还包括特征融合子单元，与模拟神经网络处理子单元和脉冲神经网络处理子单元连接；图像处理单元还用于配置图像融合单元的参数；

通过图像融合单元将双模态图像信号中的同步信号和异步信号进行特征融合，还包括：

通过特征融合子单元根据图像处理单元的配置，将同步信号中的图像色彩信息和异步信号中的图像灰度梯度信息进行融合。

示例性的，在图像融合单元接收到双模态图像信号时，模拟神经网络处理子单元131以ANN编码方式提取同步信号中的特征信息，例如图像色彩信息，同时脉冲神经网络处理子单元以SNN编码方式提取异步信号中的特征信息，例如图像灰度梯度信息，特征融合子单元根据图像处理单元配置的特征融合权重，将模拟神经网络处理子单元提取的图像色彩信息以特征信息合并的方式加入到脉冲神经网络处理子单元提取的图像灰度梯度信息中，实现同步信号和异步信号的特征融合。本实施例的技术方案，能够同时支持ANN编码和SNN编码的独立部署，而且支持二者的混合编码，具有计算存储融合和去中心化的众核架构，从而能够支持丰富的空间、时间和时空关系的表达，有利于大规模异构融合神经网络的搭建。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种双模态信号融合系统，其特征在于，包括：

图像传感器单元，所述图像传感器单元用于获取双模态图像信号；

图像处理单元，与所述图像传感器单元连接，所述图像处理单元用于同时对所述双模态图像信号中的同步信号和异步信号进行预处理；

图像融合单元，与所述图像处理单元连接，所述图像融合单元用于将所述双模态图像信号中的同步信号和异步信号进行特征融合。

2.根据权利要求1所述的双模态信号融合系统，其特征在于，所述图像处理单元与所述图像融合单元通过高速数据传输接口连接，以传输所述双模态图像信号。

3.根据权利要求1所述的双模态信号融合系统，其特征在于，所述图像处理单元与所述图像融合单元通信连接，所述图像处理单元还用于配置所述图像融合单元的参数。

4.根据权利要求3所述的双模态信号融合系统，其特征在于，所述图像处理单元还用于将预处理后的所述双模态图像信号中的同步信号和异步信号进行处理，以得到满足所述图像融合单元进行特征融合所需格式的所述双模态图像信号。

5.根据权利要求4所述的双模态信号融合系统，其特征在于，所述图像传感器单元获取的所述双模态图像信号中的同步信号包括图像色彩信息，所述双模态图像信号中的异步信号包括图像灰度梯度信息。

6.根据权利要求5所述的双模态信号融合系统，其特征在于，所述图像融合单元的参数包括所述同步信号中的图像色彩信息和所述异步信号中的图像灰度梯度信息的特征融合权重。

7.根据权利要求5所述的双模态信号融合系统，其特征在于，所述图像融合单元还用于对所述图像处理单元处理后的满足特征融合所需格式的所述双模态图像信号进行解码，以获得所述同步信号中的所述图像色彩信息和所述异步信号中的所述图像灰度梯度信息。

8.根据权利要求7所述的双模态信号融合系统，其特征在于，其特征在于，所述图像融合单元还包括模拟神经网络处理子单元和脉冲神经网络处理子单元，所述模拟神经网络处理子单元用于处理解码后获得的所述图像色彩信息，所述脉冲神经网络处理子单元用于处理解码后获得的所述图像灰度梯度信息。

9.根据权利要求8所述的双模态信号融合系统，其特征在于，所述图像融合单元还包括特征融合子单元，与所述模拟神经网络处理子单元和所述脉冲神经网络处理子单元通信连接；

所述图像处理单元用于配置所述特征融合子单元的参数，所述特征融合子单元用于根据所述图像处理单元的配置，将所述模拟神经网络处理子单元处理后的所述图像色彩信息以及所述脉冲神经网络处理子单元处理后的所述图像灰度梯度信息进行融合。

10.一种双模态信号融合方法，其特征在于，包括：

通过图像传感器单元获取双模态图像信号；

通过图像处理单元同时对所述双模态图像信号中的同步信号和异步信号进行预处理；

通过图像融合单元将所述双模态图像信号中的同步信号和异步信号进行特征融合。

Images