CN112714301B - 双模态图像信号处理器和图像传感器 - Google Patents

Abstract

本发明实施例公开了一种双模态图像信号处理器和图像传感器。该双模态图像信号处理器包括：同步图像信号处理器，用于处理双模态图像信号中的同步信号；异步图像信号处理器，用于处理双模态图像信号中的异步信号。上述方案中的双模态图像信号处理器可以同时对双模态图像信号中的同步信号和异步信号进行处理，从而可以提高双模态图像信号处理器处理双模态图像信号的效率，进而提高双模态图像信号处理的效率和实时性。通过双模态图像信号处理器处理的双模态图像信号不仅可以在高速拍摄图像时实现很高的信号保真度，而且同时可以实现高动态范围和高时间分辨率。

Description

双模态图像信号处理器和图像传感器

技术领域

本发明实施例涉及图像传感技术领域，尤其涉及一种双模态图像信号处理器和图像传感器。

背景技术

视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器，现有技术中的视觉传感器一般包括：有源像素传感器(Active Pixel Sensor，APS)和动态视觉传感器(Dynamic Vision Sensor，DVS)。其中，有源像素传感器通常为基于电压信号或电流信号的图像传感器，广泛应用于手机或相机的摄像单元中，这类图像传感器具有色彩还原度及图像质量高的优势，然而其获取的图像信号的动态范围较小，并且拍摄速度较慢。动态视觉传感器常用于工业控制领域，其特点是能够对动态场景进行感知，因拍摄速度较快，且获取的图像信号的动态范围较大，然而这类传感器采集的图像质量较差。

现有技术中，用于处理有源像素传感器提供的图像信号的视觉图像处理器根据“冯·诺依曼”架构，计算与存储分离，结构简洁、易于实现高速数值计算。但是在处理动态视觉传感器提供的图像信号时，动态视觉传感器的图像信号包括非结构化、时空关联信息，根据“冯·诺依曼”架构的处理器表现出效率低、能耗高、实时性差等问题。当图像信号处理器需要处理的图像信号包括高速、高动态低分辨率的光流视觉信息(即动态视觉传感器输出的基于事件的图像信号)时，现有技术中的处理器无法充分利用基于事件的图像信号中的稀疏性，无法实时高效的对动态视觉传感器输出的基于事件的图像信号进行处理，从而影响图像信号处理的时效性和时间分辨率。

发明内容

本发明提供一种双模态图像信号处理器和图像传感器，以提高双模态图像信号处理器的时效性和时间分辨率。

第一方面，本发明实施例提供了一种双模态图像信号处理器包括：

同步图像信号处理器，用于处理双模态图像信号中的同步信号；

异步图像信号处理器，用于处理双模态图像信号中的异步信号。

进一步地，双模态图像信号中的同步信号为色彩图像信号，双模态图像信号中的异步信号为灰度梯度图像信号。

进一步地，异步图像信号处理器包括异步信号编码单元，异步信号编码单元用于对双模态图像信号中的异步信号进行编码。

进一步地，异步图像信号处理器还包括像素一致性校正单元，用于对双模态图像信号中的异步信号进行像素一致性校正后输出至异步信号编码单元。

进一步地，异步图像信号处理器还包括第一黑电平校正单元；

第一黑电平校正单元与像素一致性校正单元连接，用于对双模态图像信号中的异步信号进行黑电平校正后输出至像素一致性校正单元。

进一步地，同步图像信号处理器包括第二黑电平校正单元、颜色插值单元和颜色校正单元；

第二黑电平校正单元与颜色插值单元连接，用于对双模态图像信号中的同步信号进行黑电平校正后输出至颜色插值单元；

颜色插值单元与颜色校正单元连接，用于对黑电平校正后的同步信号进行颜色插值后输出至颜色校正单元；

颜色校正单元，用于对颜色插值后的同步信号进行颜色校正。

进一步地，双模态图像信号处理器，还包括自动调整单元，自动调整单元用于根据同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号形成融合信号。

进一步地，自动调整单元包括自动白平衡子单元；

自动白平衡子单元与同步图像信号处理器和异步图像信号处理器连接，用于根据同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号进行自动白平衡处理，形成融合信号。

进一步地，自动调整单元还包括自动曝光子单元；

自动曝光子单元与自动白平衡子单元连接，用于对自动白平衡后融合信号进行自动曝光调整。

进一步地，自动调整单元还包括自动对焦子单元；

自动对焦子单元与自动白平衡子单元连接，用于对自动白平衡后融合信号进行自动对焦调整。

进一步地，双模态图像信号处理器还包括反馈单元，反馈单元与自动调整单元连接，用于根据融合信号调节图像传感器。

进一步地，双模态图像信号处理器还包括宽动态范围和时空插值单元；宽动态范围和时空插值单元与自动调整单元连接，用于对自动调整单元输出的融合信号进行动态范围调整以及时空插值处理，并输出处理后的双模态图像信号；其中，处理后的双模态图像信号包括同步信号和异步信号，或者为处理后的融合信号。

第二方面，本发明实施例还提供了一种图像传感器，包括实现如第一方面中任一项的双模态图像信号处理器。

本发明实施例的技术方案，双模态图像信号处理器可以同时对双模态图像信号中的同步信号和异步信号进行处理，从而可以提高双模态图像信号处理器处理双模态图像信号的效率，进而提高双模态图像信号处理的效率和实时性。通过双模态图像信号处理器处理的双模态图像信号不仅可以在高速拍摄图像时实现很高的信号保真度，而且同时可以实现高动态范围和高时间分辨率。

附图说明

图1为现有技术提供的一种图像信号处理系统的结构示意图；

图2为本发明实施例提供的一种双模态图像信号处理器的结构示意图；

图3为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图4为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图5为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图6为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图7为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图8为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为现有技术提供的一种图像信号处理系统的结构示意图。如图1所示，该图像信号处理系统包括有源像素传感器和图像信号处理器。

其中，有源像素传感器产生同步信号，该同步信号包含有图像的所有颜色信息。图像信号处理器可以为“冯·诺依曼”架构的处理器，用于对有源像素传感器产生的同步信号进行一系列的图像处理(例如：黑电平矫正、颜色插值、颜色校正、白平衡、曝光、对焦等)并输出，可以高精度还原图像的色彩，得到具有较高质量的色彩图像。但是运用该图像信号处理器处理具有高速、高动态低分辨率特点的异步信号时，该图像信号处理器无法充分利用异步信号的稀疏性，无法实时高效的对异步信号进行处理，从而影响图像信号处理的时效性和时间分辨率。

本发明针对现有图像信号处理器存在的上述缺陷进行改进，设计双模态图像信号处理器，可以同时对双模态图像信号中的同步信号和异步信号进行处理，可以在高速拍摄图像时实现很高的信号保真度，并且同时可以实现高动态范围和高时间分辨率。

图2为本发明实施例提供的一种双模态图像信号处理器的结构示意图。如图2所示，该双模态图像信号处理器包括同步图像信号处理器110，用于处理双模态图像信号中的同步信号；异步图像信号处理器120，用于处理所述双模态图像信号中的异步信号。

其中，双模态图像信号包括同步信号和异步信号。双模态图像信号处理器包括同步图像信号处理器110和异步图像信号处理器120。同步图像信号处理器110对双模态图像信号中的同步信号进行处理，可以充分利用同步信号中的低速、高分辨率的强度信息，即基于像素矩阵的图像帧，以提高同步图像信号处理器110输出的处理后的同步信号的图像质量。同时异步图像信号处理器120可以对双模态图像信号中的异步信号进行处理，可以充分利用异步信号中的高速、高动态低分辨率的光流视觉信息，即基于事件的图像信号，以提高异步图像信号处理器120输出的处理后的异步信号的动态范围和时间分辨率。由此可知，通过设置双模态图像信号处理器中的同步图像信号处理器110和异步图像信号处理器120同时对双模态图像信号中的同步信号和异步信号进行处理，不仅可以提高双模态图像信号处理器处理双模态图像信号的效率，进而提高双模态图像信号处理的效率和实时性。而且，异步图像信号处理器120在对异步信号进行处理时，可以充分利用异步信号的稀疏性，从而可以提高异步图像信号处理器120输出的处理后的异步信号的动态范围和时间分辨率，使得通过双模态图像信号处理器处理的双模态图像信号不仅可以在高速拍摄图像时实现很高的信号保真度，而且同时可以实现高动态范围和高时间分辨率。

可选地，双模态图像信号中的同步信号为色彩图像信号，双模态图像信号中的异步信号为灰度梯度图像信号。

其中，色彩图像信号包含有图像的所有颜色信息，可以高精度还原图像的色彩，得到具有较高的图像质量。灰度梯度图像信号包含有图像所有的光强变化量信息，可以在速度很高的情况下体现出图像的灰度变化量。通过异步图像信号处理器120对灰度梯度图像信号进行处理，可以充分利用灰度梯度图像信号的稀疏性，提高处理后的异步信号的动态范围和时间分辨率，使得双模态图像信号处理器可以在高速拍摄图像的情况下实时处理双模态图像信号，同时可以实现图像信号的高保真度，以及高动态范围和高时间分辨率。

图3为本发明实施例中提供的另一种双模态图像信号处理器的结构示意图。如图3所示，异步图像信号处理器120包括异步信号编码单元124，异步信号编码单元124用于对双模态图像信号中的异步信号进行编码。

异步信号编码单元124用于对双模态图像信号中的异步信号进行编码，即对灰度梯度图像信号进行大幅度压缩，然后将其编码为异步模式，形成地址形式事件信号。地址形式事件信号具体可以为(X，Y，P，T)，其中，“X，Y”为事件地址，例如“X，Y”可体现灰度梯度图像信号中的像素点位置，“P”为4值事件输出，例如“P”可体现该像素点位置的灰度变化量，“T”为事件产生的时间，例如拍摄时间。由此可知，地址形式事件信号中的信息包括事件地址、事件输出和事件产生的时间等特征信息。地址形式事件信号的特征信息可以充分利用异步信号中的离散性和稀疏性，提高了处理后的异步信号的动态范围和时间分辨率，从而可以使双模态图像信号处理器在高速拍摄图像时实现很高的信号保真度，而且同时可以实现高动态范围和高时间分辨率。

需要说明的是，上述过程中地址形式事件信号仅是一种示例，在其他实施例中，地址形式事件信号还可以为(X，Y，P)形式，或者为(X，Y，P，ΔT)形式，或者为(X，Y，ΔP，T)形式，或者为(X，Y，ΔP，ΔT)形式。其中，ΔP为两个4值事件输出的变化量，ΔT为两个事件产生的时间的变化量。

可选地，继续参考图3，异步图像信号处理器120还包括像素一致性校正单元123，用于对双模态图像信号中的异步信号进行像素一致性校正后输出至异步信号编码单元124。

其中，像素一致性校正单元123可以与异步信号编码单元124连接，在异步信号编码单元124对双模态图像信号中的异步信号进行编码之前，像素一致性校正单元123先对双模态图像信号中的异步信号进行像素一致性校正，减小异步信号中因像素原因导致的异步信号的差值，降低了像素本身因素对异步信号的影响。然后经过像素一致性校正后的异步信号再通过异步信号编码单元124进行编码，可以提高异步信号编码单元124的编码准确性。

可选地，继续参考图3，异步图像信号处理器120还包括第一黑电平校正单元122；第一黑电平校正单元122与像素一致性校正单元123连接，用于对双模态图像信号中的异步信号进行黑电平校正后输出至像素一致性校正单元123。

其中，黑电平是指在经过一定校准的显示面板上，没有一行光亮输出的视频信号电平。黑电平校正的主要原理是先检测出亮度信号中的“浅黑”部分的电平，并把该电平与消隐电平相比较，如果没有达到消隐电平，则向黑电平方向扩展；如果已达到消隐电平，就停止扩展，即不超过消隐电平。这样就使原来的“浅黑”变成了“深黑”，黑电平扩展只是改变亮度信号内的“浅黑”电平，而白电平、亮度/色度信号比均未改变，从而消除了图像的模糊感觉，提高了图像的对比度。由此可知，第一黑电平校正单元122用于对双模态图像信号中的异步信号中的图像亮度进行调整，使图像去除模糊的阴影，变得更加清晰，提高了图像的对比度。然后将第一黑电平校正单元122消除模糊特征的异步信号输出至像素一致性校正单元123进行像素一致性校正，进一步地提高异步信号的准确度。

图4为本发明实施例中提供的另一种双模态图像信号处理器的结构示意图。如图4所示，同步图像信号处理器110包括第二黑电平校正单元112、颜色插值单元113和颜色校正单元114；

第二黑电平校正单元112与颜色插值单元113连接，用于对双模态图像信号中的同步信号进行黑电平校正后输出至颜色插值单元113；颜色插值单元113与颜色校正单元114连接，用于对黑电平校正后的同步信号进行颜色插值后输出至颜色校正单元114；颜色校正单元114，用于对颜色插值后的同步信号进行颜色校正。

其中，第二黑电平校正单元112用于对双模态图像信号中的同步信号中的图像亮度进行调整，使图像去除模糊的阴影，变得更加清晰，提高了图像的对比度。另外，由于经过滤色板的作用之后，每个像素点只能感应到一种颜色，所以需要复原该像素点其它两个通道的信息，寻找该点另外两个通道的值。由于图像是连续变化的，因此一个像素点的R、G、B的值应该是与周围的像素点相联系的，因此可以利用其周围像素点的值来获得该点其它两个通道的值，从而补全全彩色图像，得到更全面的彩色图像信息。因此，颜色插值单元113可以根据周围的采样点计算出每个像素所缺失的另外两种颜色分量，从而可以得到全彩色的同步信号，提高同步信号还原图像色彩的精度，进而获得具有较高质量的图像。颜色校正单元114就是校正图像的偏色，又称为校色，其是一种光学概念的三基色RGB与三补色CMY的互补纠色过程，可以确保同步信号的色彩能够被较为精确地再现出拍摄现场人眼看到的情况，使我们能够得到更好、更精确的效果图。

双模态图像信号中的同步信号通过第二黑电平校正单元112后对同步信号中的亮度信号中的“浅黑”部分的电平与消隐电平作比较，进行黑电平矫正，去除图像模糊阴影。然后经过第二黑电平校正单元112处理后的同步信号传输给颜色插值单元113，来复原像素点缺失的颜色信息，得到补全图像的色彩信息。最后经过颜色插值单元113处理后的同步信号传输给颜色校正单元114，来校正图像的偏色，来确保图像的色彩能够被较为精确地再现出拍摄现场人眼看到的情况。由此可知，双模态图像信号中的同步信号经过第二黑电平校正单元112、颜色插值单元113和颜色校正单元114处理后，可以得到效果更好、色彩更精确的同步信号。

图5为本发明实施例中提供的另一种双模态图像信号处理器的结构示意图。如图5所示，双模态图像信号处理器还包括自动调整单元130，自动调整单元130用于根据同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号形成融合信号。

其中，自动调整单元130与同步图像信号处理器110和异步图像信号处理器120连接，可以获取同步图像信号处理器110输出的同步信号以及异步图像信号处理器120输出的异步信号，自动调整单元130分别获取同步信号中的特征信息以及异步信号中的特征信息，并将异步信号的特征信息以合并的方式加入到同步信号的特征信息中，从而完成同步信号和异步信号的融合，形成融合信号。由于融合信号中既包括同步信号的特征信息，也包括异步信号的特征信息，因此通过融合信号显示图像时，可以使得图像既可以利用同步信号中基于像素矩阵的图像帧，提高图像的质量，同时可以利用异步信号中基于事件的图像信号，提高图像的动态范围和时间分辨率，使得图像具有很高的信号保真度。

图6为本发明实施例中提供的另一种双模态图像信号处理器的结构示意图。如图6所示，自动调整单元130包括自动白平衡子单元131；自动白平衡子单元131与同步图像信号处理器110和异步图像信号处理器120连接，用于根据同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号进行自动白平衡处理，形成融合信号。

其中，自动白平衡子单元131与同步图像信号处理器110和异步图像信号处理器120连接，可以同时获取同步信号和异步信号，并分别获取同步信号中的特征信息以及异步信号中的特征信息，并将异步信号的特征信息以合并的方式加入到同步信号的特征信息中，从而完成同步信号和异步信号的融合，形成融合信号。然后自动白平衡子单元131对融合信号进行自动白平衡调整。在自动白平衡调整过程中，自动白平衡子单元131根据其镜头和白平衡感测器的光线情况，自动探测出被摄物体的色温值，以此判断摄像条件，并选择最接近的色调设置，由色温校正电路加以校正，白平衡自动控制电路自动将白平衡调到合适的位置。其中，白平衡指的是“不管在任何光源下，都能将白色物体还原为白色”，对在特定光源下拍摄时出现的偏色现象，通过加强对应的补色来进行补偿。例如：相机的白平衡设定可以校准色温的偏差，在拍摄时我们可以大胆地调整白平衡来达到想要的画面效果。自动白平衡子单元131可以根据同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号进行纠正色温，还原被拍主体的色彩，使在不同光源条件下或不同动态内拍摄的画面同人眼观看的画面色彩相近。还可以通过控制色温，获得色彩效果迥异的图像。

可选地，继续参考图6，自动调整单元130还包括自动曝光子单元132；自动曝光子单元132与自动白平衡子单元131连接，用于对自动白平衡后融合信号进行自动曝光调整。

其中，曝光的物理含意是指光线使感光层面(涂了感光化学物)产生潜影。曝光后的工序是化学显影，显影使潜影显现并固化。图像的好坏与曝光有关，也就是说应该通多少的光线使感光元件能够得到清晰的图像。自动曝光是根据测光系统所测得的图像的曝光值，按照生产时所设定的快门及光圈曝光组合，自动地设定快门速度和光圈值。自动曝光子单元132与自动白平衡子单元131连接，将经过自动白平衡后的融合信号进行自动曝光调整，可以使画面的色彩显得更艳丽，并且带有明显方向性的光线可以很好地提升画面的质感。

可选地，继续参考图6，自动调整单元130还包括自动对焦子单元133；自动对焦子单元133与自动白平衡子单元131连接，用于对自动白平衡后融合信号进行自动对焦调整。

其中，自动对焦是利用物体光反射的原理，根据被摄体的反射确定被摄体的距离，然后根据测得的结果调整镜头组合，实现自动对焦。这种自动对焦方式具有速度快、容易实现以及成本低的特点。自动对焦子单元133与自动白平衡子单元131连接，将自动白平衡后融合信号进行自动对焦调整，可以使图像更加清晰。

图7为本发明实施例中提供的另一种双模态图像信号处理器的结构示意图。如图7所示，双模态图像信号处理器还包括反馈单元140，反馈单元140与自动调整单元130连接，用于根据融合信号调节图像传感器。

其中，图像传感器为获取图像信号的传感器。图像传感器可以为双模态图像传感器，即图像传感器包括视锥细胞电路和视杆细胞电路；视锥细胞电路用于采集图像色彩信号，形成双模态图像信号中的同步信号，视杆细胞电路用于采集灰度梯度图像信号，形成双模态图像信号中的异步信号。图像传感器还可以由两个独立存在的子传感器组成，其中一个子传感器包括视锥细胞电路，用于采集图像色彩信号，形成双模态图像信号中的同步信号。另外一个子传感器包括视杆细胞电路，用于采集灰度梯度图像信号，形成双模态图像信号中的异步信号。

反馈单元140可以为控制接口，可以获取自动调整单元130输出的融合信号。该融合信号可以包括经过自动曝光子单元132输出的自动曝光调整后的融合信号，还可以包括经过自动对焦子单元133输出的自动对焦调整后的融合信号。反馈单元140根据自动曝光调整后的融合信号和自动对焦调整后的融合信号形成控制图像传感器的曝光参数和对焦参数的控制信号，并反馈至图像传感器，用于根据设定的曝光参数和对焦参数控制图像传感器的曝光时间和焦距。

示例性的，若图像传感器为双模态图像传感器，双模态图像传感器包括视锥细胞电路和视杆细胞电路，反馈单元140根据自动曝光调整后的融合信号和自动对焦调整后的融合信号形成控制双模态图像传感器的曝光参数和对焦参数的控制信号，反馈至双模态图像传感器中，用于根据设定的融合信号的曝光参数和对焦参数控制双模态图像传感器的曝光时间和焦距；若图像传感器由两个独立存在的子传感器组成，其中一个子传感器包括视锥细胞电路，另外一个子传感器包括视杆细胞电路。反馈单元140根据自动曝光调整后的融合信号中的同步信号特征信息，以及自动对焦调整后的融合信号中的同步信号特征信息形成控制包括视锥细胞电路的图像传感器的曝光参数和对焦参数的控制信号，并根据自动曝光调整后的融合信号中的异步信号特征信息，以及自动对焦调整后的融合信号中的异步信号特征信息形成控制包括视杆细胞电路的图像传感器的曝光参数和对焦参数的控制信号，分别控制图像传感器中两个子传感器的曝光时间和焦距。

图8为本发明实施例中提供的另一种双模态图像信号处理器的结构示意图。如图8所示，双模态图像信号处理器还包括宽动态范围和时空插值单元150；宽动态范围和时空插值单元150与自动调整单元130连接，用于对自动调整单元130输出的融合信号进行动态范围调整以及时空插值处理，并输出处理后的双模态图像信号；其中，处理后的双模态图像信号包括同步信号和异步信号，或者为处理后的融合信号。

其中，高动态范围(High-Dynamic Range，简称HDR)，又称宽动态范围技术，是在非常强烈的对比下让摄像机看到影像的特色而运用的一种技术。“动态范围”是指摄像机对拍摄场景中景物光照反射的适应能力，具体指亮度(反差)及色温(反差)的变化范围。由于数据缺失会降低时空数据的完整性，所以时空插值被广泛应用于缺失时空数据集的插值与估计。宽动态范围和时空插值单元150与自动调整单元130连接，用于对自动调整单元130输出的融合信号进行动态范围调整以及时空插值处理，来获得更多动态范围和图像细节，更高的时间分辨率，反映出更真实的视觉效果。

另外，宽动态范围和时空插值单元150可以输出融合信号，也可以同时分别输出同步信号和异步信号。当宽动态范围和时空插值单元150输出融合信号时，可以直接输出具有高保真度、高动态范围和高时间分辨率的图像信号。当宽动态范围和时空插值单元150同时分别输出同步信号和异步信号时，可以对自动调整单元130输出的融合信号进行分解，形成处理后的同步信号和异步信号，使得同步信号为具有高精度还原图像色彩的图像信号，异步信号为具有高动态范围和高时间分辨率的图像信号。

本发明实施例还提供一种图像传感器，包括实现上述实施例中任一项的双模态图像信号处理器。

其中，图像传感器可以为双模态图像传感器，双模态图像传感器同时包括视锥细胞电路和视杆细胞电路。视锥细胞电路用于采集图像色彩信号，视杆细胞电路用于采集灰度梯度图像信号，使得双模态图像传感器可以同时输出具有全部色彩信息的同步信号和具有全部灰度梯度信息的异步信号。或者，图像传感器可以为有源像素传感器和动态视觉传感器组合形成的传感器，APS包括视锥细胞电路，可以输出具有全部色彩信息的同步信号，DVS包括视杆细胞电路，可以输出具有全部灰度梯度信息的异步信号。APS和DVS组合输出具有全部色彩信息的同步信号和具有全部灰度梯度信息的异步信号。图像传感器包括本发明任意实施例提供的双模态图像信号处理器，因此具有本发明实施例提供的双模态图像信号处理器的有益效果，此处不再赘述。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种双模态图像信号处理器，其特征在于，包括：

同步图像信号处理器，用于处理双模态图像信号中的同步信号；

异步图像信号处理器，用于处理所述双模态图像信号中的异步信号；

自动调整单元，所述自动调整单元与所述同步图像信号处理器和异步图像信号处理器连接，所述自动调整单元用于根据所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号形成融合信号；所述自动调整单元将异步信号的特征信息以合并的方式加入到同步信号的特征信息中， 完成同步信号和异步信号的融合，形成所述融合信号；

所述双模态图像信号中的同步信号为色彩图像信号，所述双模态图像信号中的异步信号为灰度梯度图像信号，所述灰度梯度图像信号包括像素点位置、体现该像素点位置的灰度变化量以及事件产生时间；所述异步图像信号处理器包括异步信号编码单元，所述异步信号编码单元用于对所述双模态图像信号中的异步信号进行编码；

异步信号编码单元用于对双模态图像信号中的灰度梯度图像信号进行压缩， 将其编码为异步模式，形成地址形式事件信号；地址形式事件信号中的信息包括事件地址、事件输出和事件产生的时间。

2.根据权利要求1所述的双模态图像信号处理器，其特征在于，所述异步图像信号处理器还包括像素一致性校正单元，用于对所述双模态图像信号中的异步信号进行像素一致性校正后输出至所述异步信号编码单元。

3.根据权利要求2所述的双模态图像信号处理器，其特征在于，所述异步图像信号处理器还包括第一黑电平校正单元；

所述第一黑电平校正单元与所述像素一致性校正单元连接，用于对所述双模态图像信号中的异步信号进行黑电平校正后输出至所述像素一致性校正单元。

4.根据权利要求1所述的双模态图像信号处理器，其特征在于，所述同步图像信号处理器包括第二黑电平校正单元、颜色插值单元和颜色校正单元；

所述第二黑电平校正单元与所述颜色插值单元连接，用于对所述双模态图像信号中的同步信号进行黑电平校正后输出至所述颜色插值单元；

所述颜色插值单元与所述颜色校正单元连接，用于对黑电平校正后的同步信号进行颜色插值后输出至所述颜色校正单元；

所述颜色校正单元，用于对颜色插值后的同步信号进行颜色校正。

5.根据权利要求1所述的双模态图像信号处理器，其特征在于，所述自动调整单元包括自动白平衡子单元；

所述自动白平衡子单元与所述同步图像信号处理器和所述异步图像信号处理器连接，用于根据所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号进行自动白平衡处理，形成融合信号。

6.根据权利要求5所述的双模态图像信号处理器，其特征在于，所述自动调整单元还包括自动曝光子单元；

所述自动曝光子单元与所述自动白平衡子单元连接，用于对自动白平衡后融合信号进行自动曝光调整。

7.根据权利要求5所述的双模态图像信号处理器，其特征在于，所述自动调整单元还包括自动对焦子单元；

所述自动对焦子单元与所述自动白平衡子单元连接，用于对自动白平衡后融合信号进行自动对焦调整。

8.根据权利要求1所述的双模态图像信号处理器，其特征在于，还包括反馈单元，所述反馈单元与所述自动调整单元连接，用于根据所述融合信号调节图像传感器。

9.根据权利要求1所述的双模态图像信号处理器，其特征在于，还包括宽动态范围和时空插值单元；所述宽动态范围和时空插值单元与所述自动调整单元连接，用于对所述自动调整单元输出的融合信号进行动态范围调整以及时空插值处理，并输出处理后的双模态图像信号；其中，处理后的双模态图像信号包括同步信号和异步信号，或者为处理后的融合信号。

10.一种图像传感器，其特征在于，包括权利要求1-9任一项所述的双模态图像信号处理器。