CN113706637B - 一种彩色图像传感器线性区内色彩混叠分离方法 - Google Patents

Abstract

本发明公开了一种彩色图像传感器线性区内色彩混叠分离方法，首先根据单色曝光实验确定像素对本色光的光电响应特性及该响应与异色像素的响应关系，得到该曝光量对应的理论灰度值，包括灰度测量值及所发产生的串扰分量，并绘制图像传感器红色像素、蓝色像素及绿色像素的光子转换曲线(PTC)。通过定义串扰不显著区，采用一种全新的方法绘制彩色图像传感器单色曝光下各像素光子转换曲线(PTC)，并分离其线性区内色彩混叠。本发明对实践中进行线性区内色彩混叠的分离具有较大的实用性，简单易用。

Description

一种彩色图像传感器线性区内色彩混叠分离方法

技术领域

本发明属于图像传感器测试技术领域，涉及一种彩色图像传感器线性区内色彩混叠分离方法，是一种对串扰不显著区内曝光量与理论灰度值的关系的测量方法，并描绘彩色图像传感器光电转换曲线的方法。

背景技术

在图像传感器中，串扰的大小会影响到图像传感器最终输出图像的质量，串扰越大，最终的图像质量越差，并随着目前像素单元尺寸的逐渐减小，光串扰越来越严重，针对图像传感器中这种形式的光串扰，结合具体的应用环境，出现了各种各样的解决方案。这些方案多从元器件结构改进和材料等方面着手，采取有效措施，将图像传感器在具体场合应用时的串扰降低到了一个合理的水平。在目前的图像传感器串扰补偿算法中，不少算法采用了对图像传感器相邻像素灰度值进行某种平均运算，以提取串扰分量的方法；有利用拜耳彩色滤光片阵列结构特性消除CMOS图像传感器像素串扰的算法，如假设图像小邻域内的色差是恒定的，在颜色插值前利用原始数据的R或B分量补偿相邻的G分量，以消除R分量干扰Gr和B分量干扰Gb的影响。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种新的简单易用的彩色图像传感器线性区内色彩混叠分离方法。

为解决上述技术问题，本发明的一种彩色图像传感器线性区内色彩混叠分离方法，包括以下步骤：

步骤1：进行单色曝光实验，分别采集红色、蓝色、绿色曝光下各颜色像素灰度值的均值，得到灰度值与曝光量之间的关系，绘制单色曝光量与各色像素理论灰度值的光子转换曲线，分别为确定最大线性输出位置，即拐点对应的曝光量定义该拐点之前的区域为图像传感器像素间串扰不显著区；

红色曝光下，各像素在串扰不显著区内的响应关系：

R＝k_RE_R

B_R＝k_BRE_R

G_R＝k_GRE_R

其中，k_R为红色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，R为红色像素理论灰度值，k_BR为蓝色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，B_R为蓝色像素理论灰度值，k_GR为绿色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，G_R为绿色像素理论灰度值，E_R为曝光量；

绿色曝光下，各像素在串扰不显著区内的响应关系：

G＝k_GE_G

B_G＝k_BGE_G

R_G＝k_RGE_G

其中，k_G为绿色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，G为绿色像素理论灰度值，k_BG为蓝色像素在串扰不显著区的灰度值之于曝光量的斜率，B_G为蓝色像素理论灰度值，k_RG为红色像素在串扰不显著区的灰度值之于曝光量的斜率，R_G为红色像素理论灰度值，E_G为曝光量；

蓝色曝光下，各像素在串扰不显著区内的响应关系：

B＝k_BE_B

G_B＝k_GBE_B

R_B＝k_RBE_B

其中，k_B为蓝色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，B为蓝色像素理论灰度值，k_GB为绿色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，G_B为绿色像素理论灰度值，k_RB为红色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，R_B为红色像素理论灰度值，E_B为曝光量；

步骤2：进行多色曝光实验，确定串扰不显著区各像素曝光下理论灰度值与单色曝光下理论灰度值的关系：

在串扰不显著区内，蓝色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

B_R＝k_BRR

B_G＝k_BGG

B_P＝B_R+B_G+B

其中，B_P为多色曝光下蓝色像素理论灰度值；

在串扰不显著区内，绿色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

G_B＝k_GBB

G_R＝k_GRR

G_P＝G_B+G_R+G

其中，G_P为多色曝光下绿色像素理论灰度值

在串扰不显著区内，红色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

R_G＝k_RGG

R_B＝k_RBB

R_P＝R_G+R_B+R

其中，R_P为多色曝光下红色像素理论灰度值。

本发明的有益效果：本发明首先提出了图像传感器串扰不显著区的定义，首先根据单色曝光实验确定像素对本色光(如红色像素对红色光)的光电响应特性及该响应与异色像素的响应关系，得到该曝光量对应的理论灰度值(包括灰度测量值及所发产生的串扰分量)，并绘制图像传感器红色像素、蓝色像素及绿色像素的光子转换曲线(PTC)。通过定义串扰不显著区，采用一种全新的方法绘制彩色图像传感器单色曝光下各像素光子转换曲线(PTC)，并分离其线性区内色彩混叠。提供了一种绘制光子转换曲线(PTC)的新方法，对实践中进行线性区内色彩混叠的分离具有较大的实用性，简单易用。

附图说明

图1是红光曝光下红绿蓝三种像素光子转换曲线；

图2是绿光曝光下红绿蓝三种像素光子转换曲线；

图3是蓝光曝光下红绿蓝三种像素光子转换曲线。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步说明。

本发明定义图像传感器像素间串扰不显著区，通过单色曝光实验，分别得到三色像素对不同单色光的光电转换曲线，达到分离彩色图像传感器光电响应分量的效果，包括：

S1：确定图像传感器像素间串扰不显著区

进行单色曝光实验，分别采集红色蓝色绿色曝光下各颜色像素灰度值的均值，得到灰度值与曝光量之间的关系，绘制单色曝光量与各色像素理论灰度值的光子转换曲线(PTC)，确定最大线性输出位置，即拐点对应的曝光量定义该拐点之前的区域为图像传感器像素间串扰不显著区，即当图像传感器上的像素接收到光子时，不可避免的会对相邻像素产生串扰，由于像素产生灰度值需要一定量的电荷累积，当电荷积累小于某一阈值时，忽略小于一个量化单位的串扰分量，将该阈值作为图像传感器像素间串扰不显著区的分界；

S2：确定单色曝光下各像素的响应关系

PTC曲线的非线性来源于材料及结构两个方面的影响，串扰属于结构分量。非线性效应使PTC曲线出现拐点，其中，曝光量对应的拐点为最大线性输出位置，红色像素曲线在曝光量为/>时对应的灰度值为A_R，蓝色像素曲线在曝光量为/>时对应的灰度值为B_R，绿色像素曲线在曝光量为/>时对应的灰度值为C_R。红色像素曲线在串扰不显著区的灰度值之于曝光量的斜率为k_R，其实测灰度值为R^*，理想灰度值为R_R，处于串扰不显著区外的阈值为Δ_R。蓝色像素在串扰不显著区的灰度值之于曝光量的斜率为k_BR，其实测灰度值为B^*，理想灰度值为B_R。绿色像素在串扰不显著区的灰度值之于曝光量的斜率为k_GR，其实测灰度值为G^*，理想灰度值为G_R。如图1。

红色曝光下红色像素在串扰不显著区的响应关系：

R＝k_RE_R (1)

红色曝光下蓝色像素在串扰不显著区的响应关系：

B_R＝k_BRE_R (2)

红色曝光下绿色像素在串扰不显著区的响应关系：

G_R＝k_GRE_R (3)

通过该实验，不仅能得到各颜色像素实测的光子转换曲线(PTC)，而且通过数据处理得到串扰在曲线上产生的拐点。

采用如下算法确定最大线性输出位置，即拐点对应的曝光量

在红色像素光子转换曲线上等间距选取若干点，逐次以各点为中心点构造滑动窗口，这样能计算出该点前、后附近曲线的斜率(即该点前、后各若干数据点的线性回归系数)。由于参加回归的数据点数n会一定程度上影响回归系数的取值，因此在中心点前后需要各取相同数量的数据点构成滑动窗口，这样能够在相同情况下对其前后斜率进行对比。为保证其准确性，分别取n＝2,3,4构成三套滑动窗口。以曝光量E为变量，E_i为滑动窗口的中心点，(i＝1,2,3...)对E_i前的n个数据分别作线性回归，求出回归系数，记为同样地，对E_i后的n个数据点分别作线性回归，求出回归系数，记为/>显然，n＝2时算出的回归系数反映局部的斜率性态较多，反映整体的斜率性态则不够，又由于点数太少，随机性较大，统计意义不够。相反，n＝4时算出的回归系数反映整体的斜率性态较好，反映局部的的斜率性态则较差，又由于点数较多，统计意义较强，较少随机性；n＝3则介乎二者之间，因此，将n＝2,3,4时计算出的/>进行加权平均，权取n²，当对某个E_i， 均存在时，加权平均数为：

定义ΔS(E_i)为：

ΔS(E_i)即为E_i点前、后曲线斜率的改变量，它的大小反映了E_i点处斜率变化的幅度。沿着E_i从小到大的序列，寻找ΔS(E_i)序列中出现的最大值，它所对应的区间为(E_i-1,E_i)，它就是斜率拐点所在的区间，再利用E_i前、后两个相邻区间(E_i-2,E_i-1)及(E_i,E_i+1)和其对应的ΔS(E_i-1)、ΔS(E_i+1)，进行线性内插，即可求出斜率变点E^*的精确值，计算公式如下：

该斜率拐点E^*的位置即为产生串扰的曝光的位置，可以根据E^*的位置确定红色像素的串扰不显著区。

同样，在蓝光及绿光单色曝光下进行相同的实验操作，可以得到另外两组对应关系及曲线关系如下。

绿光曝光下测得的光子转换曲线如图2所示，其中：曝光量对应的拐点为最大线性输出位置，绿色像素曲线在曝光量为/>时对应的灰度值为A_G，蓝色像素曲线在曝光量为时对应的灰度值为B_G，红色像素曲线在曝光量为/>时对应的灰度值为C_G。绿色像素曲线在串扰不显著区的灰度值之于曝光量的斜率为k_G，其实测灰度值为G^*，理想灰度值为G_G，处于串扰不显著区外的阈值为Δ_G。蓝色像素在串扰不显著区的灰度值之于曝光量的斜率为k_BG，其实测灰度值为B^*，理想灰度值为B_G。红色像素在串扰不显著区的灰度值之于曝光量的斜率为k_RG，其实测灰度值为R^*，理想灰度值为R_G。如图2。

绿色曝光下绿色像素在串扰不显著区的响应关系：

G＝k_GE_G (7)

绿色曝光下蓝色像素在串扰不显著区的响应关系：

B_G＝k_BGE_G (8)

绿色曝光下红色像素在串扰不显著区的响应关系：

R_G＝k_RGE_G (9)

蓝光曝光下测得的光子转换曲线如图3所示；

其中：曝光量对应的拐点为最大线性输出位置，蓝色像素曲线在曝光量为/>时对应的灰度值为A_B，绿色像素曲线在曝光量为/>时对应的灰度值为B_B，红色像素曲线在曝光量为/>时对应的灰度值为C_B，蓝色像素曲线在串扰不显著区的灰度值之于曝光量的斜率为k_B，其实测灰度值为B^*，理想灰度值为B_B，处于串扰不显著区外的阈值为Δ_B，绿色像素在串扰不显著区的灰度值之于曝光量的斜率为k_GB，其实测灰度值为G^*，理想灰度值为G_B。红色像素在串扰不显著区的灰度值之于曝光量的斜率为k_RB，其实测灰度值为R^*，理想灰度值为R_B。如图3。

蓝色曝光下蓝色像素在串扰不显著区的响应关系：

B＝k_BE_B (10)

蓝色曝光下绿色像素在串扰不显著区的响应关系：

G_B＝k_GBE_B (11)

蓝色曝光下红色像素在串扰不显著区的响应关系：

R_B＝k_RBE_B (12)

S3：确定串扰不显著区各像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系。

进行多色曝光实验，确定串扰不显著区各像素曝光下理论灰度值与单色曝光下理论灰度值的关系：

在串扰不显著区内，蓝色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

B_R＝k_BRR (10)

B_G＝k_BGG (11)

B_P＝B_R+B_G+B (12)

其中，B_P为多色曝光下蓝色像素理论灰度值。

在串扰不显著区内，绿色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

G_B＝k_GBB (13)

G_R＝k_GRR (14)

G_P＝G_B+G_R+G (15)

其中，G_P为多色曝光下绿色像素理论灰度值。

在串扰不显著区内，红色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

R_G＝k_RGG (16)

R_B＝k_RBB (17)

R_P＝R_G+R_B+R (18)

其中，R_P为多色曝光下红色像素理论灰度值。

整个实验系统由FPGA，PC机，可见光强传感器，LED驱动电路及对应的以太网通讯模块和DDR3存储模块组成，实验实施过程为：首先将硬件设备有序链接，将图像传感器及FPGA放置于暗箱内，图像传感器的感光串口对准暗箱内积分球的正下方，积分球上部为3色LED所组成的发光阵列，上位机通过以太网向下位机发送指令，控制FPGA对CMOS图像传感器等进行内存配置和时序驱动，并控制LED发光阵列发出不同波长及光强的可见光，设备连接调试完毕后实验进入单色光PTC测试，上位机进入单色光PTC测试流程，循环下传对应颜色的不同光强下的单色光曝光命令(通过控制LED发光个数进行光强控制)，并实时采集光强及像素数据，通过以太网发送至上位机，下一步上位机控制进入多色曝光数据采集阶段，循环下传不同组合的曝光命令，命令遍历红色LED、绿色LED和蓝色LED，可产生足够多种组合，每一种曝光组合下，都采集2-3帧为一组的图像数据，并将数据做平均处理。得到灰度值与曝光量之间的关系。绘制各颜色像素实测的光子转换曲线(PTC)。曲线前半部分是线性的，后半部分向上弯折，这两部分的拐点即为串扰不显著区的临界点，定义临界点之前的区域为串扰不显著区。在串扰不显著区内，拟合光子转换曲线线性部分斜率如下：

其中，红色曝光下红色像素的响应关系：

R＝k_RE_R (1)

蓝色像素对红光的响应分量：

B_R＝k_BRE_R (2)

绿色像素对红光的响应分量：

G_R＝k_GRE_R (3)

其中，绿色曝光下绿色像素的响应关系：

G＝k_GE_G (4)

蓝色像素对绿光的响应分量：

B_G＝k_BGE_G (5)

红色像素对绿光的响应分量：

R_G＝k_RGE_G (6)

其中，蓝色曝光下蓝色像素的响应关系：

B＝k_BE_B (7)

分离出绿色像素对蓝光的响应分量：

G_B＝k_GBE_B (8)

红色像素对蓝光的响应分量：

R_B＝k_RBE_B (9)

进行多色曝光实验，确定串扰不显著区各像素曝光下理论灰度值与单色曝光下理论灰度值的关系：

在串扰不显著区内，蓝色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

B_R＝k_BRR (10)

B_G＝k_BGG (11)

B_P＝B_R+B_G+B (12)

其中，B_P为多色曝光下蓝色像素理论灰度值。

在串扰不显著区内，绿色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

G_B＝k_GBB (13)

G_R＝k_GRR (14)

G_P＝G_B+G_R+G (15)

其中，G_P为多色曝光下绿色像素理论灰度值

在串扰不显著区内，红色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

R_G＝k_RGG (16)

R_B＝k_RBB (17)

R_P＝R_G+R_B+R (18)

其中，R_P为多色曝光下红色像素理论灰度值。

Claims (1)

1.一种彩色图像传感器线性区内色彩混叠分离方法，其特征在于，包括以下步骤：

步骤1：进行单色曝光实验，分别采集红色、蓝色、绿色曝光下各颜色像素灰度值的均值，得到灰度值与曝光量之间的关系，绘制单色曝光量与各色像素理论灰度值的光子转换曲线，分别为确定最大线性输出位置，即拐点对应的曝光量定义该拐点之前的区域为图像传感器像素间串扰不显著区；

红色曝光下，各像素在串扰不显著区内的响应关系：

R＝k_RE_R

B_R＝k_BRE_R

G_R＝k_GRE_R

其中，k_R为红色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，R为红色像素理论灰度值，k_BR为蓝色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，B_R为蓝色像素理论灰度值，k_GR为绿色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，G_R为绿色像素理论灰度值，E_R为曝光量；

绿色曝光下，各像素在串扰不显著区内的响应关系：

G＝k_GE_G

B_G＝k_BGE_G

R_G＝k_RGE_G

其中，k_G为绿色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，G为绿色像素理论灰度值，k_BG为蓝色像素在串扰不显著区的灰度值之于曝光量的斜率，B_G为蓝色像素理论灰度值，k_RG为红色像素在串扰不显著区的灰度值之于曝光量的斜率，R_G为红色像素理论灰度值，E_G为曝光量；

蓝色曝光下，各像素在串扰不显著区内的响应关系：

B＝k_BE_B

G_B＝k_GBE_B

R_B＝k_RBE_B

其中，k_B为蓝色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，B为蓝色像素理论灰度值，k_GB为绿色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，G_B为绿色像素理论灰度值，k_RB为红色像素曲线在串扰不显著区的灰度值之于曝光量的斜率，R_B为红色像素理论灰度值，E_B为曝光量；

步骤2：进行多色曝光实验，确定串扰不显著区各像素曝光下理论灰度值与单色曝光下理论灰度值的关系：

在串扰不显著区内，蓝色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

B_R＝k_BRR

B_G＝k_BGG

B_P＝B_R+B_G+B

其中，B_P为多色曝光下蓝色像素理论灰度值；

在串扰不显著区内，绿色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

G_B＝k_GBB

G_R＝k_GRR

G_P＝G_B+G_R+G

其中，G_P为多色曝光下绿色像素理论灰度值

在串扰不显著区内，红色像素多色曝光下理论灰度值与单色曝光下理论灰度值的关系如下：

R_G＝k_RGG

R_B＝k_RBB

R_P＝R_G+R_B+R

其中，R_P为多色曝光下红色像素理论灰度值。