CN112738357B - 视杆图像信号处理器和图像传感器 - Google Patents

Abstract

本发明公开了一种视杆图像信号处理器和图像传感器。该视杆图像信号处理器包括：校正单元，用于对视杆图像信号进行校正；编码单元，与校正单元连接，用于对校正后的视杆图像信号进行编码。上述方案中的视杆图像信号处理器通过校正单元和编码单元，充分利用视杆图像信号的离散性和稀疏性，对视杆图像信号进行校正和编码处理，可以使视杆图像信号处理器在高速拍摄图像的情况下，实时快速的处理视杆图像信号处理器捕捉和感知到的视杆图像信号，输出满足高时间分辨率和高还原精度需求的视杆图像信号。

Description

视杆图像信号处理器和图像传感器

技术领域

本发明实施例涉及图像传感技术领域，尤其涉及一种视杆图像信号处理器和图像传感器。

背景技术

视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器，现有技术中的视觉传感器一般包括：有源像素传感器(Active Pixel Sensor，APS)和动态视觉传感器(Dynamic Vision Sensor，DVS)。其中，有源像素传感器通常为基于电压信号或电流信号的图像传感器，广泛应用于手机或相机的摄像单元中，这类图像传感器具有色彩还原度及图像质量高的优势，然而其获取的图像信号的动态范围较小，并且拍摄速度较慢。动态视觉传感器常用于工业控制领域，其特点是能够对动态场景进行感知，因拍摄速度较快，且获取的图像信号的动态范围较大，然而目前这类传感器采集的图像质量较差。

现有技术中，用于处理有源像素传感器提供的图像信号的视觉图像处理器根据“冯·诺依曼”架构，计算与存储分离，结构简洁、易于实现高速数值计算。但是在处理动态视觉传感器提供的图像信号时，动态视觉传感器的图像信号包括非结构化、时空关联信息，根据“冯·诺依曼”架构的处理器表现出效率低、能耗高、实时性差等问题。当图像信号处理器需要处理的图像信号为高速、高动态低分辨率的光流视觉信息(即动态视觉传感器输出的基于事件的图像信号)时，现有技术中的处理器无法充分利用基于事件的图像信号中的稀疏性，无法实时高效的对动态视觉传感器输出的基于事件的图像信号进行处理，从而影响图像信号处理的时效性和时间分辨率。

发明内容

本发明提供一种视杆图像信号处理器和图像传感器，可以提高视杆图像信号的处理效率，提高视杆图像信号的准确性和时间分辨率。

第一方面，本发明实施例提供了一种视杆图像信号处理器包括：

校正单元，用于对视杆图像信号进行校正；

编码单元，与校正单元连接，用于对校正后的视杆图像信号进行编码。

进一步地，视杆图像信号为灰度梯度图像信号。

进一步地，校正单元包括像素一致性校正单元，用于对视杆图像信号进行像素一致性校正后输出至编码单元。

进一步地，校正单元还包括黑电平校正单元；

黑电平校正单元与像素一致性校正单元连接，用于对视杆图像信号进行黑电平校正后输出至像素一致性校正单元。

进一步地，视杆图像信号处理器还包括自动白平衡单元，自动白平衡单元用于根据编码单元输出的视杆图像信号进行自动白平衡处理。

进一步地，视杆图像信号处理器还包括自动曝光单元；

自动曝光单元与自动白平衡单元连接，用于对自动白平衡后的视杆图像信号进行自动曝光调整。

进一步地，视杆图像信号处理器还包括自动对焦单元；

自动对焦单元与自动白平衡单元连接，用于对自动白平衡后的视杆图像信号进行自动对焦调整。

进一步地，视杆图像信号处理器还包括反馈单元，反馈单元与自动曝光单元和自动对焦单元连接，用于根据自动曝光调整后的视杆图像信号和自动对焦调整后的视杆图像信号调节图像传感器。

进一步地，视杆图像信号处理器还包括动态范围和时空插值单元；宽动态范围和时空插值单元与自动曝光单元和自动对焦单元连接，用于对自动曝光调整后的视杆图像信号和自动对焦调整后的视杆图像信号进行动态范围调整以及时空插值处理，并输出处理后的视杆图像信号。

第二方面，本发明实施例还提供了一种图像传感器，包括实现如第一方面中任一项的视杆图像信号处理器。

本实施例的技术方案，通过视杆图像信号处理器中的校正单元和编码单元，可以充分利用视杆图像信号的离散性和稀疏性，对视杆图像信号进行校正和编码处理。从而使视杆图像信号处理器可以在高速拍摄图像的情况下，实时快速的处理视杆图像信号处理器捕捉和感知到的视杆图像信号，输出满足高时间分辨率和高还原精度需求的视杆图像信号。

附图说明

图1为本发明实施例提供的一种视杆图像信号处理器的结构示意图；

图2为本发明实施例提供的另一种视杆图像信号处理器的结构示意图；

图3为本发明实施例提供的另一种视杆图像信号处理器的结构示意图；

图4为本发明实施例提供的另一种视杆图像信号处理器的结构示意图；

图5为本发明实施例提供的另一种视杆图像信号处理器的结构示意图；

图6为本发明实施例提供的另一种视杆图像信号处理器的结构示意图；

图7为本发明实施例提供的另一种视杆图像信号处理器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的一种视杆图像信号处理器的结构示意图。如图1所示，该视杆图像信号处理器包括校正单元110，用于对视杆图像信号进行校正；编码单元120，与校正单元110连接，用于对校正后的视杆图像信号进行编码。

其中，视杆图像信号为视杆细胞电路采集的图像信号，视杆图像信号可以为异步信号。校正单元110可以对视杆图像信号进行校正，提高处理后的视杆图像信号的准确率，从而提高视杆图像信号的准确性。编码单元120与校正单元110连接，用于对校正单元110校正输出后的视杆图像信号进行编码，即对视杆图像信号进行大幅度压缩，然后将其编码为异步模式，形成地址形式事件信号。

示例性的，地址形式事件信号具体可以为(X，Y，P，T)，其中，“X，Y”为事件地址，例如“X，Y”可体现视杆图像信号中的像素点位置，“P”为4值事件输出，例如“P”可体现该像素点位置的灰度变化量，“T”为事件产生的时间，例如拍摄时间。此外，地址形式事件信号还可以为(X，Y，P)形式，或者为(X，Y，P，ΔT)形式，或者为(X，Y，ΔP，T)形式，或者为(X，Y，ΔP，ΔT)形式。其中，ΔP为两个4值事件输出的变化量，ΔT为两个事件产生的时间的变化量。由此可知，地址形式事件信号中的信息包括事件地址、事件输出和事件产生的时间等特征信息。地址形式事件信号的特征信息可以充分利用视杆图像信号中的离散性和稀疏性，提高了处理后的视杆图像信号的时间分辨率，从而可以使视杆图像信号处理器在高速拍摄图像时实时处理视杆图像信号，提高视杆图像信号的还原精度，同时可以输出具有高时间分辨率的视杆图像信号。

本实施例的技术方案，通过视杆图像信号处理器中的校正单元和编码单元，充分利用视杆图像信号中的离散性和稀疏性，对视杆图像信号进行校正和编码处理，可以使视杆图像信号处理器实现在高速拍摄图像的情况下，实时快速的处理视杆图像信号处理器捕捉和感知到的视杆图像信号，输出满足高时间分辨率和高还原精度需求的视杆图像信号。

可选地，视杆图像信号为灰度梯度图像信号。

具体地，视杆图像信号包含有图像所有的光强变化量信息，可以在速度很高的情况下体现出图像的灰度变化量，因此又称灰度梯度图像信号。通过视杆图像信号处理器对灰度梯度图像信号进行处理，可以充分利用灰度梯度图像信号的稀疏性，提高处理后的灰度梯度图像信号的时间分辨率，使得视杆图像信号处理器可以在高速拍摄图像的情况下实时处理灰度梯度图像信号，提高灰度梯度图像信号的时间分辨率。

图2为本发明实施例中提供的另一种视杆图像信号处理器的结构示意图。如图2所示，校正单元110包括像素一致性校正单元112，用于对视杆图像信号进行像素一致性校正后输出至编码单元120。

其中，像素一致性校正单元112可以与编码单元120连接，在编码单元120对视杆图像信号进行编码之前，像素一致性校正单元112先对视杆图像信号进行像素一致性校正，减小视杆图像信号中因像素原因导致的视杆图像信号的差值，降低了像素本身因素对视杆图像信号的影响。然后经过像素一致性校正后的视杆图像信号再通过编码单元120进行编码，可以提高编码单元120编码的准确性。

可选地，继续参考图2，校正单元110还包括黑电平校正单元111；黑电平校正单元111与像素一致性校正单元112连接，用于对视杆图像信号进行黑电平校正后输出至像素一致性校正单元112。

其中，黑电平是指在经过一定校准的显示面板上，没有一行光亮输出的视频信号电平。黑电平校正的主要原理是先检测出亮度信号中的“浅黑”部分的电平，并把该电平与消隐电平相比较，如果没有达到消隐电平，则向黑电平方向扩展；如果已达到消隐电平，就停止扩展，即不超过消隐电平。这样就使原来的“浅黑”变成了“深黑”，黑电平扩展只是改变亮度信号内的“浅黑”电平，而白电平、亮度/色度信号比均未改变，从而消除了图像的模糊感觉，提高了图像的对比度。由此可知，黑电平校正单元111用于对视杆图像信号中的图像亮度进行调整，使图像去除模糊的阴影，变得更加清晰，提高了图像的对比度。然后将黑电平校正单元111消除模糊特征的视杆图像信号输出至像素一致性校正单元112进行像素一致性校正，进一步地提高视杆图像信号的准确度。

图3为本发明实施例中提供的另一种视杆图像信号处理器的结构示意图。如图3所示，视杆图像信号处理器还包括自动白平衡单元130，自动白平衡单元130用于根据编码单元120输出的视杆图像信号进行自动白平衡处理。

其中，自动白平衡单元130与编码单元120连接，可以获取编码后的视杆图像信号中的特征信息。然后自动白平衡子单元130对视杆图像信号进行自动白平衡调整。在自动白平衡调整过程中，自动白平衡子单元130根据其镜头和白平衡感测器的光线情况，自动探测出被摄物体的色温值，以此判断摄像条件，并选择最接近的色调设置，由色温校正电路加以校正，白平衡自动控制电路自动将白平衡调到合适的位置。其中，白平衡指的是“不管在任何光源下，都能将白色物体还原为白色”，对在特定光源下拍摄时出现的偏色现象，通过加强对应的补色来进行补偿。例如：相机的白平衡设定可以校准色温的偏差，在拍摄时我们可以大胆地调整白平衡来达到想要的画面效果。自动白平衡子单元130可以根据编码单元120编码后输出的视杆图像信号进行纠正色温，还原被拍主体的色彩，使在不同光源条件下或不同动态内拍摄的画面同人眼观看的画面色彩相近。还可以通过控制色温，获得色彩效果迥异的图像。

图4为本发明实施例中提供的另一种视杆图像信号处理器的结构示意图。如图4所示，视杆图像信号处理器还包括自动曝光单元140；自动曝光单元140与自动白平衡单元130连接，用于对自动白平衡后的视杆图像信号进行自动曝光调整。

其中，曝光的物理含意是指光线使感光层面(涂了感光化学物)产生潜影。曝光后的工序是化学显影，显影使潜影显现并固化。图像的好坏与曝光有关，也就是说应该通多少的光线使感光元件能够得到清晰的图像。自动曝光是根据测光系统所测得的图像的曝光值，按照生产时所设定的快门及光圈曝光组合，自动地设定快门速度和光圈值。自动曝光子单元140与自动白平衡子单元130连接，将经过自动白平衡后的视杆图像信号进行自动曝光调整，可以使画面的色彩显得更艳丽，并且带有明显方向性的光线可以很好地提升画面的质感。

图5为本发明实施例中提供的另一种视杆图像信号处理器的结构示意图。如图5所示，视杆图像信号处理器还包括自动对焦单元150；自动对焦单元150与自动白平衡单元130连接，用于对自动白平衡后的视杆图像信号进行自动对焦调整。

其中，自动对焦是利用物体光反射的原理，根据被摄体的反射确定被摄体的距离，然后根据测得的结果调整镜头组合，实现自动对焦。这种自动对焦方式具有速度快、容易实现以及成本低的特点。自动对焦子单元150与自动白平衡子单元130连接，将自动白平衡后的视杆图像信号进行自动对焦调整，可以使图像更加清晰。

图6为本发明实施例中提供的另一种视杆图像信号处理器的结构示意图。如图6所示，视杆图像信号处理器还包括反馈单元160，反馈单元160与自动曝光单元140和自动对焦单元150连接，用于根据自动曝光调整后的视杆图像信号和自动对焦调整后的视杆图像信号调节图像传感器。

其中，图像传感器为获取图像信号的传感器。图像传感器可以为视杆图像传感器，即图像传感器包括视杆细胞电路；视杆细胞电路用于采集灰度梯度图像信号，即视杆图像信号。反馈单元160可以为控制接口，可以获取经过自动曝光子单元140输出的自动曝光调整后的视杆图像信号，还可以获取经过自动对焦子单元150输出的自动对焦调整后的视杆图像信号。反馈单元160根据自动曝光调整后的视杆图像信号和自动对焦调整后的视杆图像信号形成控制图像传感器的曝光参数和对焦参数的控制信号，并反馈至图像传感器，用于根据设定的曝光参数和对焦参数控制图像传感器的曝光时间和焦距。

图7为本发明实施例中提供的另一种视杆图像信号处理器的结构示意图。如图7所示视杆图像信号处理器还包括动态范围和时空插值单元170；宽动态范围和时空插值单元170与自动曝光单元140和自动对焦单元150连接，用于对自动曝光调整后的视杆图像信号和自动对焦调整后的视杆图像信号进行动态范围调整以及时空插值处理，并输出处理后的视杆图像信号。

其中，高动态范围(High-Dynamic Range，简称HDR)，又称宽动态范围技术，是在非常强烈的对比下让摄像机看到影像的特色而运用的一种技术。“动态范围”是指摄像机对拍摄场景中景物光照反射的适应能力，具体指亮度(反差)及色温(反差)的变化范围。由于数据缺失会降低时空数据的完整性，所以时空插值被广泛应用于缺失时空数据集的插值与估计。宽动态范围和时空插值单元170与自动曝光单元140和自动对焦单元150连接，用于对自动曝光调整后的视杆图像信号和自动对焦调整后的视杆图像信号进行动态范围调整以及时空插值处理，可以输出具有高动态范围和高时间分辨率的图像信号，来获得更多动态范围和图像细节，更高的时间分辨率，反映出更真实的视觉效果。

本发明实施例还提供一种图像传感器，包括实现上述实施例中任一项的视杆图像信号处理器。

其中，图像传感器可以为视杆图像传感器，视杆图像传感器包括视杆细胞电路。视杆细胞电路用于采集灰度梯度图像信号，使得视杆图像传感器可以输出具有全部灰度梯度信息的视杆图像信号。图像传感器包括本发明任意实施例提供的视杆图像信号处理器，因此具有本发明实施例提供的视杆图像信号处理器的有益效果，此处不再赘述。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种视杆图像信号处理器，其特征在于，包括：

校正单元，用于对视杆图像信号进行校正；

编码单元，与所述校正单元连接，用于对校正后的视杆图像信号进行编码形成地址形式事件信号，所述地址形式事件信号包括事件地址信息、事件输出信息和事件产生的时间信息。

2.根据权利要求1所述的视杆图像信号处理器，其特征在于，所述视杆图像信号为灰度梯度图像信号。

3.根据权利要求1所述的视杆图像信号处理器，其特征在于，所述校正单元包括像素一致性校正单元，用于对所述视杆图像信号进行像素一致性校正后输出至所述编码单元。

4.根据权利要求3所述的视杆图像信号处理器，其特征在于，所述校正单元还包括黑电平校正单元；

所述黑电平校正单元与所述像素一致性校正单元连接，用于对所述视杆图像信号进行黑电平校正后输出至所述像素一致性校正单元。

5.根据权利要求1-4任一项所述的视杆图像信号处理器，其特征在于，还包括自动白平衡单元，所述自动白平衡单元用于根据所述编码单元输出的视杆图像信号进行自动白平衡处理。

6.根据权利要求5所述的视杆图像信号处理器，其特征在于，还包括自动曝光单元；

所述自动曝光单元与所述自动白平衡单元连接，用于对自动白平衡后的视杆图像信号进行自动曝光调整。

7.根据权利要求5所述的视杆图像信号处理器，其特征在于，还包括自动对焦单元；

所述自动对焦单元与所述自动白平衡单元连接，用于对自动白平衡后的视杆图像信号进行自动对焦调整。

8.根据权利要求7所述的视杆图像信号处理器，其特征在于，还包括反馈单元，所述反馈单元与自动曝光单元和所述自动对焦单元连接，用于根据自动曝光调整后的视杆图像信号和自动对焦调整后的视杆图像信号调节图像传感器。

9.根据权利要求7所述的视杆图像信号处理器，其特征在于，还包括动态范围和时空插值单元；所述动态范围和时空插值单元与自动曝光单元和所述自动对焦单元连接，用于对自动曝光调整后的视杆图像信号和自动对焦调整后的视杆图像信号进行动态范围调整以及时空插值处理，并输出处理后的视杆图像信号。

10.一种图像传感器，其特征在于，包括权利要求1-9任一项所述的视杆图像信号处理器。

Images