CN109769081A - 一种四通道视频补偿方法及系统 - Google Patents

Abstract

本发明提供了一种四通道视频处理方法，属于数字图像处理技术领域。该方法包括以下步骤：指一路通道为参考通道；获取四通道相机采集的四路当前视频帧图像；将另外三路通道分别与参考通道的视频帧图像灰度值比较，若存在差异，则对该通道执行灰度差异调整，所述灰度差异调整的具体方式为：若灰度值差异绝对值小于等于阈值，则调整该通道的图像增益值和OB像素值；若灰度值差异绝对值大于阈值，则调整该通道的亮度。本发明还提供了一种实现上述方法的系统。本发明采用外围硬件方式对四通道图像差异进行补偿，使得四通道图像在灰度上保持一致，由此解决由于硬件电路在阻抗、容抗和电路噪声等干扰因素导致的图像失真或图像关键细节丢失的问题。

Description

一种四通道视频补偿方法及系统

技术领域

本发明涉及数字图像尤其是图像处理技术领域，涉及一种相机四通道补偿方法及系统。

背景技术

机器视觉在人工智能和机器学习领域快速的发展。机器视觉就是用机器代替人眼来做测量、分析和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成数字信号，传送给专用的图像处理系统，通过图像处理系统的计算，提取出被拍摄目标的信息。图像系统对这些信息进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作或获取现场设备的信息。

在视频领域，为了得到更高的图像帧率，通过增加图像输出通道数来实现传感器帧率的提高。由于安森美的Kai-29050传感器可以提供四个通道输出图像的功能，在固定像素时钟保持在最高时钟频率的条件下，通过四路图像的同时输出可以将图像帧率提高到单通道输出图像帧率的4倍。但是，在四路信号输出过程和模数转换过程中，由于不同通道间硬件电路阻抗、容抗和电路噪声等电路特性的细微差别会导致输出图像的灰度会有比较大的差别。同时，在不同工作温度下对四路图像数据的转换也会有一定的影响，这些最终都会反映到实际输出图像的灰度上。

目前市面上常用的解决四通道不平衡的方式有1)在相机出厂前对相机图像做一次调整，然后将调整好的参数固定写入图像系统中；2)例如专利 CN2014102456555，它通过对四路图像的差异进行分析后，通过算法在原图像亮度和色度的基础上对亮度和色度进行调整和补偿。以上的这些设计会出现以下一些问题：

1、硬件开发难度大，开发和调试周期比较长，对不同批次硬件和元器件效果差别较大，而且需要重新调试，增加调试时间。

2、相机出厂前只经过一次参数调整后，随着使用时间的增加，器件损耗程度会使器件特性和之前有所不同，经过长时间运行后图像不一致的问题依旧存在；

3、相机在不同环境温度下，尤其在传感器输出较多热噪声情况下，图像不一致性也会比较明显；

4、通过算法来对图像亮度和色度进行补偿，对原始图像数据进行编辑，从而存在图像失真或图像关键细节丢失的情况，影响后续图像显示和处理效果；

5、当通道间差异较大时，通过算法来补偿已经超出了有效的补偿范围，从而使算法补偿的方法失效；

发明内容

为了克服现有技术存在的缺点和不足，本发明提供一种四通道平衡方法及系统，其目的在于，采用外围硬件方式对四通道图像差异进行补偿，使得四通道图像在灰度上保持一致，由此解决由于硬件电路在阻抗、容抗和电路噪声等干扰因素导致的图像失真或图像关键细节丢失的问题。

一种四通道视频处理方法，包括以下步骤：

(1)指定四通道相机中的一路通道为参考通道；

(2)获取四通道相机采集的四路当前视频帧图像；

(3)将另外三路通道的视频帧图像的灰度值分别与参考通道的视频帧图像灰度值比较，若存在差异，则对该通道执行灰度差异调整，否则，结束；

所述灰度差异调整的具体方式为：若灰度值差异绝对值小于等于阈值 T，则调整该通道的图像增益值和OB像素值；若灰度值差异绝对值大于阈值T，则调整该通道的亮度。

与现有技术相比，本发明具有下列优点和积极效果：

1、可以通过对硬件或外围光强进行实时调整，使四通道图像灰度保持一致，达到通道间的平衡。

2、该方法能够在相机工作环境发生变化的情况下快速、准确的实现四通道图像的调整。

3、通过硬件实现四通道图像平衡处理，可以保留传感器获取的原始图像数据，对图像细节进行保留。

4、该方法比较容易实现，可以降低FPGA图像处理单元的资源占用情况，同时也可以减少产品在生产过程中通道校验的时间，提高生产效率。

5、该方法不固定参考通道的选择，根据每帧图像通道差别情况动态选定参考通道，可以实现最优的调整结果。

进一步地，所述若灰度值差异绝对值小于等于阈值T，则调整该通道的图像增益值和OB像素值的具体实现方式为：

若灰度值差异为正值，则通过增加图像增益值和OB像素值来增加图像灰度；若灰度值差异为负数，则通过降低图像增益值和OB像素值来降低图像灰度。

进一步地，所述增加或减少图像增益值和OB像素值的步长满足：

灰度值差异绝对值＝m*G_value+n*OB_value，其中，m表示需要调整的图像增益的步长值，n表示需要调整OB像素的步长值；G_value为调整标准图像增益单元对应的图像灰度值变化量，OB_value为调整标准图像OB 像素单元对应的图像灰度值变化量。

进一步地，所述若灰度值差异绝对值大于阈值T，则调整该通道的亮度的具体是实现方式为：若灰度差异值为正值，提高该通道的亮度；若当灰度差异值为负值，降低该通道的亮度。

进一步地，通过开启LED灯或增强LED灯的驱动电流强度来提高该通道的亮度；通过关闭关闭LED灯或降低LED灯的驱动电流强度来降低该通道的亮度。

进一步地，本发明给出一种参考通道的较佳实施方式，所述参考通道的确认方式为：提取上一采样时刻得到的四通道视频帧图像；对于每一路视频帧图像，在其拼接边抽样图像子区域，计算图像子区域的灰度均值，将其作为该通道的像素评估值；计算四通道的像素评估值的均值，记为中值；选取最接近中值的像素评估值，将其对应的通道作为参考通道。通过上一视频帧灰度值比较，实时更新参考通道，进一步提高补偿精度。

进一步地，对于每一路视频帧图像，在其拼接边抽样多个图像子区域，计算每个子区域的灰度均值，再对多个子区域的灰度均值进行加权求和，将加权求和结果作为该通道的像素评估值。根据每个通道中评估区域的位置的权值不同，一般越靠近拼接顶角的区域权值越大，通过抽样和加权求平均，同时兼顾了计算复杂度和补偿精度。

本发明还提供了一种四通道视频处理系统，包括：

图像数据比较模块，用于将另外三路通道的视频帧图像的灰度值分别与参考通道的视频帧图像灰度值比较，若存在差异，则调用灰度差异调整模块，否则，结束；

灰度差异调整模块，用于若灰度值差异为正值，则通过增加图像增益值和OB像素值来增加图像灰度；若灰度值差异为负数，则通过降低图像增益值和OB像素值来降低图像灰度；若灰度差异值为正值，则提高该通道的亮度；若灰度差异值为负值，降低该通道的亮度。

本发明还提供了一种四通道视频处理系统，包括：依次连接的图像传感器、模数信号转换芯片、图像处理单元；

图像传感器用于采集四通道的图像数据，模数信号转换芯片用于将图像数据进行模数转换；

图像处理单元包括输入数据处理模块、系统控制模块、图像数据比较模块、图像数据传输模块)、四通道图像平衡模块和补光控制模块；其交互关系是：系统控制模块用于控制图像处理单元中的其它四个模块的工作状态；输入数据处理模块用于将从模数信号转换芯片接收到的四路数据输出到图像数据比较模块，图像数据比较模块用于对四路数据灰度进行比较，并将比较结果反馈给四通道图像平衡模块，同时将数据传输给图像数据传输模块；图像数据传输模块将图像数据传输到外部的显示设备；四通道图像平衡模块用于将另外三路通道的视频帧图像的灰度值分别与参考通道的视频帧图像灰度值比较，若存在差异，则执行灰度差异调整，具体为：若灰度值差异绝对值小于等于阈值T，则控制模数信号转换芯片调整该通道的图像增益值和OB像素值；若灰度值差异绝对值大于阈值T，则控制LED补光控制模块调整该通道的亮度。

总的来说，本方法主要通过分析四通道间图像灰度差异，尤其是四通道图像拼接处的图像灰度差异后，通过调整系统硬件系统中图像增益值和 OB像素值或对利用外围光源强度的调整方式来实现对四通道差异的补偿，从而实现对四通道图像一致性的调整，由此解决由于硬件电路在阻抗、容抗和电路噪声等干扰因素导致的图像失真或图像关键细节丢失的问题。

附图说明

图1是发明本系统的结构方框图；

图2是本发明方法的工作流程图；

图3为四路图像在拼接处的共计9个评估区域示意图；

图4为LED灯的亮度与输入电流间有正向相关性示意图。

图中：

10—图像传感器；20—模数信号转换芯片；30—FPGA图像处理单元； 31—输入数据处理模块；32—系统控制模块；33—图像数据比较模块； 34—图像数据传输模块；35—四通图像平衡模块；36—LED补光控制模块； 40—LED灯组；50—显示设备。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及较佳实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

一、系统

1、总体

如图1，本系统包括图像传感器10、模数信号转换芯片20、FPGA图像处理单元30、LED灯组40、显示设备50；

其连接关系是：图像传感器10、模数信号转换芯片20、FPGA图像处理单元30、LED灯组40和显示设备50依次连接。

2、功能部件

1)图像传感器10

图像传感器10选用安森美的KAI-29050或其他能完成此功能的器件；

2)模数信号转换芯片20

模数信号转换芯片20选用ADI的AD9928或其他能完成此功能的芯片；

3)FPGA图像处理单元30

FPGA图像处理单元30是整个系统的逻辑控制和视频处理部分；

(1)FPGA图像处理单元30的硬件配置

FPGA图像处理单元30硬件可选用Xilinx公司的Artix 7-XC7A100TFGG484或能实现此功能的其它装置。

(2)FPGA图像处理单元30

如图1，FPGA图像处理单元30包括数据输入模块31、系统控制模块 32、图像数据比较模块33、图像数据传输模块34、四通道图像平衡模块35 和LED补光控制模块36；

以下分别描述FPGA图像处理单元中各模块的功能：

①输入数据处理模块31

对模数信号转换芯片20输入的四路图像数据进行数据接收处理和四通道图像数据组帧处理；

②系统控制模块32

对模数信号转换芯片20输入的行、场同步信号来判断当前输入数据在一帧图像中的位置，并对整个FPGA图像处理单元30的内部模块的操作进行控制；

③图像数据比较模块33

根据系统控制模块32输入的当前帧的状态，对四通道图像数据灰度进行评估处理；

④图像数据传输模块34

将图像数据比较模块33拼接成的一帧完整图像输出到显示设备50；

⑤图像信息修正模块35

根据图像数据比较模块34输出的图像修正信息，对输入数据处理模块 31输出的相应位置的图像高位数据进行修正，并将修正后数据输出到显示设备40。

4)LED灯组40

LED灯组40选用可调电流强度的LED灯。

5)显示设备50

显示设备50选用市面上通用的显示设备，如AOC1902。

本系统的工作过程为：

图像传感器10在模数转换芯片20的驱动下输出四路视频图像数据，这四个通道的图像数据在同一个行、场信号的控制下将四路数字信号发送到FPGA图像处理单元30。在FPGA图像处理单元30中系统控制模块32控制FPGA图像处理单元30中的其它模块的工作状态,并且在系统初始化过程中通过对图像增益值调整标准单元(G_step)或OB像素值调整标准单元 (OB_step)进行调整，获取在当前光照条件下调整图像增益值调整标准单元(G_step)或OB像素值调整标准单元(OB_step)所对应的图像灰度值的变化(G_value和OB_value)；在图像增益和OB像素增益为初始状态的情况下，通过调整外围LED灯组的驱动电流强度获取在对LED灯驱动最小单元(D_step)调整情况下的图像灰度变化情况(D_value)；数据输入模块31获取传感器输出的四个通道的图像数据，并将四个通道的图像数据发送给图像数据比较模块33，图像数据比较模块33对输入四通道数据进行在水平方向和垂直方向的共9个评估区对图像灰度进行评估，并选定在当前帧条件下的通道调整参考通道；图像数据比较模块33将评估结果和选定的参考通道反馈给四通道图像平衡模块35，由该模块根据评估结果选择用那种方式对图像灰度值进行调整；如果需要调整通过对图像增益值和OB像素值对图像灰度进行调整，则利用初始化过程中保存的G_value和OB_value 值来计算出一对图像增益值和OB像素值的调整参数，使图像灰度差值小于 G_value或OB_value的值。若需要调整外围LED灯组时，利用初始化过程中保存的D_value值，计算出需要开启或关闭的LED灯个数以及增强或降低的每个LED灯电流驱动强度。四通道图像平衡模块35将需要调整的LED 灯个数和LED灯电流强度命令发送给LED补光控制模块36，由LED补光控制模块36对相应对应通道区域的外围LED灯组40进行控制。同时，图像数据比较模块33将四通道数据进行拼接后发送到图像数据传输模块34，由图像数据传输模块34将数据发送到显示设备50上输出显示。

二、方法

如图2，本方法实现步骤如下：

①相机上电后，相机硬件开始初始化，并驱动相机传感器输出四路图像—1

相机初始化后，模数转换芯片驱动图像传感器，并且输出场同步、行同步信号，当场同步信号(VD)和行同步信号(HD)同时有效时，输入的数据作为处于有效状态并对输入数据进行处理，数据输入模块对输入的四通道数据进行解码并组帧，形成四路图像数据，并对应产生四路视频数据的行、场同步信号。

②自动获取硬件参数最小变化对应的图像灰度值变化—2

图像数据比较模块在系统初始化后，分别对四路通道图像增益值调整标准单元(G_step)或OB像素值调整标准单元(OB_step)进行调整，获取在当前光照条件下调整四路通道图像增益值调整标准单元(G_step)或 OB像素值调整标准单元(OB_step)所对应的图像灰度值的变化(G_value 和OB_value)。

在图像增益和OB像素增益为初始状态的情况下，通过调整外围LED灯组的驱动电流强度获取在对LED灯驱动最小单元(D_step)调整情况下的图像灰度变化情况(D_value)；将硬件调整参数值所对应的灰度变化值 G_value、OB_value和D_value发送给四通道图像平衡模块。

③对四路图像灰度进行比较并拼接四路图像—3

四通道相机在获取四路通道的图像数据后，对于每一路视频帧图像，在其拼接边抽样多个图像子区域，本实施例中抽取了三个，四路图像在拼接处的共计9个评估区域如图3所示。

图像评估区域根据其职位不同其权值也不同，本实施例中图像中间的评估区域1其权值为3，评估区域2其权值为2，评估区域3其权值为1.5。每个通道对其所在评估区域内的像素进行采集，并对该评估区域内像素值取均值avg_pix_roi，这个均值根据每个通道中评估区域的位置的权值不同，对通道内所有评估区域内的像素均值做加权计算，从而得到这个通道的像素评估值pix_value。

单个通道像素评估参考值计算公式：

Pix_value＝(3*avg_pix_roi1+2*2*avg_pix_roi2+ 2*1.5*agv_pix_roi3)/10

同时，将四路图像数据拼接成一整幅完整图像并发送给图像数据传输模块将图像进行传输。

④输出将拼接后的一整幅图像数据—4

将拼接后的一整幅图像发送给显示设备；

⑤根据灰度通道差异选择参考通道和灰度调整方式—5

根据四个通道在评估区域内获取的各个通道评估值Pix_value，计算四通道的像素评估值的均值，记为中值；选取所有评估值中的接近中值的通道作为参考通道。在选定参考通道后，比较需要调节的通道评估值与参考通道的评估值之间的差值,该差值由参考通道评估值减去所选取通道的评估值得到，根据差值绝对值的不同将调节步骤分为A、B两路：

A、若通道参考值的差值的绝对值小于阈值T，则通过修改相应的通道图像增益和OB像素值来进行调整，若差值为正数则表示需要增加图像增益值和OB像素值来增加图像灰度，若差值为负数则表示需要降低图像增益值和OB像素值来降低图像灰度；灰度差值实现调整的公式：灰度差值＝ m*G_value+n*OB_value，其中m表示需要调整的图像增益的步长值，n表示需要调整OB像素的步长值；阈值T是试验值，可根据试验结果调整。— 6

B、若通道参考值的差值的绝对值大于阈值T，则通过调整LED灯组个数和LED的每个灯的亮度来调整该通道图像灰度值，若差值为正数，则通过开启LED灯个数或增加LED灯的驱动电流强度来调整实现增加该通道灰度值的目的，若差值为负数，则通过关闭LED灯个数或降低LED灯驱动电流强度来实现降低该通道灰度值的目的。由于LED灯的亮度与输入电流间有正向相关性，如图4所示，因此灰度差值实现调整的公式：灰度差值＝ K*D_value+J*L₀，其中K表示增加或降低单个灯的电流强度步长，J表示开或关闭的灯个数，L₀表示单个LED灯在最大电流强度下的增加灰度值；—7

⑥根据计算出的调整硬件参数的对硬件进行调整；—8

根据计算出的调整硬件参数的对硬件进行调整，使下一帧输入的四通道图像达到相对平衡的状态；

⑦等待下一帧图像输入；—9

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种四通道视频处理方法，其特征在于，包括以下步骤：

(1)指定四通道相机中的一路通道为参考通道；

(2)获取四通道相机采集的四路当前视频帧图像；

(3)将另外三路通道的视频帧图像的灰度值分别与参考通道的视频帧图像灰度值比较，若存在差异，则对该通道执行灰度差异调整，否则，结束；

所述灰度差异调整的具体方式为：若灰度值差异绝对值小于等于阈值T，则调整该通道的图像增益值和OB像素值；若灰度值差异绝对值大于阈值T，则调整该通道的亮度。

2.根据权利要求1所述的四通道视频处理方法，其特征在于，所述若灰度值差异绝对值小于等于阈值T，则调整该通道的图像增益值和OB像素值的具体实现方式为：

若灰度值差异为正值，则通过增加图像增益值和OB像素值来增加图像灰度；

若灰度值差异为负数，则通过降低图像增益值和OB像素值来降低图像灰度。

3.根据权利要求2所述的四通道视频处理方法，其特征在于，所述增加或减少图像增益值和OB像素值的步长满足：

灰度值差异绝对值＝m*G_value+n*OB_value，其中，m表示需要调整的图像增益的步长值，n表示需要调整OB像素的步长值；G_value为调整标准图像增益单元对应的图像灰度值变化量，OB_value为调整标准图像OB像素单元对应的图像灰度值变化量。

4.根据权利要求1或2或3所述的四通道视频处理方法，其特征在于，所述若灰度值差异绝对值大于阈值T，则调整该通道的亮度的具体是实现方式为：

若灰度差异值为正值，提高该通道的亮度；若当灰度差异值为负值，降低该通道的亮度。

5.根据权利要求4所述的四通道视频处理方法，其特征在于，通过开启LED灯或增强LED灯的驱动电流强度来提高该通道的亮度；通过关闭LED灯或降低LED灯的驱动电流强度来降低该通道的亮度。

6.根据权利要求1或2或3所述的四通道视频处理方法，其特征在于，所述参考通道的确认方式为：

提取上一采样时刻得到的四通道视频帧图像；

对于每一路视频帧图像，在其拼接边抽样图像子区域，计算图像子区域的灰度均值，将其作为该通道的像素评估值；

计算四通道的像素评估值的均值，记为中值；

选取最接近中值的像素评估值，将其对应的通道作为参考通道。

7.根据权利要求1或2或3所述的四通道视频处理方法，其特征在于，对于每一路视频帧图像，在其拼接边抽样多个图像子区域，计算每个子区域的灰度均值，再对多个子区域的灰度均值进行加权求和，将加权求和结果作为该通道的像素评估值。

8.一种四通道视频处理系统，其特征在于，包括：

图像数据比较模块，用于将另外三路通道的视频帧图像的灰度值分别与参考通道的视频帧图像灰度值比较，若存在差异，则调用灰度差异调整模块，否则，结束；

灰度差异调整模块，用于若灰度值差异为正值，则通过增加图像增益值和OB像素值来增加图像灰度；若灰度值差异为负数，则通过降低图像增益值和OB像素值来降低图像灰度；若灰度差异值为正值，则提高该通道的亮度；若灰度差异值为负值，降低该通道的亮度。

9.一种四通道视频处理系统，其特征在于，包括：依次连接的图像传感器(10)、模数信号转换芯片(20)、图像处理单元(30)；

图像传感器(10)用于采集四通道的图像数据，模数信号转换芯片(20)用于将图像数据进行模数转换；

图像处理单元(30)包括输入数据处理模块(31)、系统控制模块(32)、图像数据比较模块(33)、图像数据传输模块(34)、四通道图像平衡模块(35)和LED补光控制模块(36)；其交互关系是：系统控制模块(32)用于控制FPGA图像处理单元(30)中的其它四个模块的工作状态；输入数据处理模块(31)用于将从模数信号转换芯片(20)接收到的四路数据输出到图像数据比较模块(33)，图像数据比较模块(33)用于对四路数据灰度进行比较，并将比较结果反馈给四通道图像平衡模块(35)，同时将数据传输给图像数据传输模块(34)；图像数据传输模块(34)将图像数据传输到外部的显示设备；四通道图像平衡模块(35)用于将另外三路通道的视频帧图像的灰度值分别与参考通道的视频帧图像灰度值比较，若存在差异，则执行灰度差异调整，具体为：若灰度值差异绝对值小于等于阈值T，则控制模数信号转换芯片(20)调整该通道的图像增益值和OB像素值；若灰度值差异绝对值大于阈值T，则控制LED补光控制模块(36)调整该通道LED灯组的亮度。

10.根据权利要求9所述的四通道视频处理系统，其特征在于，

若灰度值差异为正值，则控制模数信号转换芯片(20)通过增加图像增益值和OB像素值来增加图像灰度；

若灰度值差异为负数，则控制模数信号转换芯片(20)通过降低图像增益值和OB像素值来降低图像灰度；

若灰度差异值为正值，则通过LED补光控制模块(36)提高该通道的亮度；

若灰度差异值为负值，则通过LED补光控制模块(36)降低该通道的亮度。