CN113724154B - 一种基于神经网络补偿模板的图像传感器串扰补偿方法 - Google Patents

Abstract

本发明公开了一种基于神经网络补偿模板的图像传感器串扰补偿方法，通过不同RGB分量组合的三色平场光曝光实验产生大量图像样本，且根据曝光分量计算各像素的光电响应理论灰度值，由此生成神经网络的学习集；通过人工神经网络训练一套3*3像素规格的窗口的神经网络补偿模板，再使用训练后的神经网络补偿模板采用滑动窗口的方式，对图像遍历，进行串扰补偿。本发明为利用人工神经网络补偿传感器图像提供了一种新模式，同时降低了人工神经网络模型的复杂程度。

Description

一种基于神经网络补偿模板的图像传感器串扰补偿方法

技术领域

本发明属于图像串扰补偿领域，具体为一种基于神经网络补偿模板的图像传感器串扰补偿方法，属于图像传感器补偿技术领域。

背景技术

在目前的图像传感器串扰补偿算法中，不少算法采用了对图像传感器相邻像素灰度值进行某种平均运算，以提取串扰分量的方法；有利用拜耳彩色滤光片阵列结构特性消除CMOS图像传感器像素串扰的算法，如假设图像小邻域内的色差是恒定的，在颜色插值前利用原始数据的R或B分量补偿相邻的G分量，以消除R分量干扰Gr和B分量干扰Gb的影响。本发明为人工神经网络补偿传感器图像提供了一种新思路。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种基于神经网络补偿模板的图像传感器串扰补偿方法，通过神经网络训练出与不同图像传感器适配神经网络补偿模板，对图像补偿时需要使用神经网络补偿模板遍历图像，从而补偿传感器输出图像的串扰问题。

为解决上述技术问题，本发明的一种基于神经网络补偿模板的图像传感器串扰补偿方法，包括以下步骤：

步骤1：进行单色曝光实验，分别得到红色曝光下、蓝色曝光下和绿色曝光下曝光量与红色像素、绿色像素、蓝色像素理论灰度值的响应关系；

步骤2：进行RGB组合曝光实验，图像传感器在单色光组合且各色曝光量可控条件下实现组合曝光，并产生多种不同曝光组合的图像样本，根据单色曝光实验确定的各色像素的理论灰度值与曝光量的耦合关系，计算出多色组合曝光下像素响应的理论值；

步骤3：训练神经网络补偿模板：根据不同的曝光组合生成图像样本的学习集，针对图像传感器输出的数据，根据步骤1和步骤2实验中所得到的实测值与理论值的关系计算出相应图像的理论值，作为训练的目标值，一对RGB组合曝光下实测的图像样本和各像素对本色光响应的理论灰度值，就构成了人工神经网络的一个输入和输出训练样本；将得到的学习集分为训练集和检验集；根据3*3像素窗口中心像素颜色不同，设计中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板用于中心像素灰度值补偿，利用训练集对设计的3*3像素的窗口进行训练，直至达到误差设定的范围时，停止迭代更新，神经网络训练完成，得到训练后的神经网络补偿模板；

步骤4：对图像传感器输出的图像进行补偿，在需要处理的图像上，设置3*3滑动窗口与模板对应，使用神经网络补偿模板，采用滑动窗口的模式，在遍历过程中，每一次补偿时选择中心像素与窗口中心像素颜色相同的模板，得到补偿后的灰度值，完成遍历后，得到补偿后的图像。

本发明的有益效果：本发明通过神经网络训练出与不同图像传感器适配的神经网络补偿模板，该模板用于补偿传感器输出图像的串扰问题，是一种通过人工神经网络训练神经网络补偿模板从而对图像串扰进行补偿的一种方法，该方法最终训练的神经网络模型是能够补偿中心像素的模板，偿图像时使用神经网络补偿模板遍历图像，该方法为利用人工神经网络补偿传感器图像提供了一种新模式，该方法降低了人工神经网络模型的复杂程度。

附图说明

图1为中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板，其中R代表红色像素，G代表绿色像素，B代表蓝色像素。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步说明。

本发明通过神经网络训练出与不同图像传感器适配的神经网络补偿模板，对图像传感器输出的图像进行补偿时，采用滑动窗口的方式使用该模板对图像进行遍历。包括：通过人工神经网络训练一套3*3像素规格的窗口的神经网络补偿模板，再使用训练后的神经网络补偿模板采用滑动窗口的方式，对图像遍历，进行串扰补偿。

设计中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板，该模板可以对中心像素进行补偿；

通过不同RGB分量组合的三色平场光曝光实验产生大量图像样本，且根据曝光分量计算各像素的光电响应理论灰度值，由此生成神经网络的学习集；

用生成的学习集训练上述模板后，以滑动窗口模式，滑动步距为1像素，对图像遍历，从而得到补偿后的图像。

本发明学习集中的样本是这样得到的：首先分别进行红光、绿光、蓝光单色曝光实验，得到单色曝光下像素响应的理论值与实测值关系；然后进行RGB组合曝光实验，通过控制不同色光的光源数量对红光、绿光及蓝光分量的占比进行不同组合，根据单色曝光实验确定的各色像素的理想灰度值与曝光量的耦合关系，计算出多色组合曝光下像素响应的理论值，一对RGB组合曝光下实测的图像样本和各像素对本色光响应的理论灰度值，就构成了人工神经网络的一个输入和输出训练样本；进行多组实验，产生大量图像样本，由此生成训练神经网络补偿模板的学习集，将得到的训练样本学习集分为两部分，一部分子集用于对神经网络的训练，另外一部分子集用于对训练后神经网络模型的检验。

根据3*3像素窗口中心像素颜色不同，设计中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板，该模板可以对中心像素灰度值进行补偿。使用训练样本中的训练集对设计的3*3像素的窗口进行训练，直至达到误差设定的范围时，停止迭代更新，神经网络训练完成，输出的训练结果即为校正后的神经网络补偿模板。

补偿图像时，输入需要处理的图像，使用神经网络补偿模板，采用滑动窗口的模式，步距为1像素，在遍历过程中，每一次补偿时选择中心像素与窗口中心像素颜色相同的模板，得到补偿后的灰度值，完成遍历后，得到补偿后的图像。

实验系统由FPGA，PC机，可见光强传感器，LED驱动电路及对应的以太网通讯模块和DDR3存储模块组成，实验实施步骤为：

S1，进行单色曝光实验。

积分球光源设置为红色光对传感器进行单色曝光，通过数学建模对实验数据进行拟合，得到图像传感器红色像素、蓝色像素及绿色像素的光子转换曲线，根据比例及差值得出相应串扰的量(传感器已平场化)。经过分析可以得到红色曝光下曝光量与红色像素、绿色像素、蓝色像素理论灰度值的响应关系。将积分球光源设置成绿色和蓝色，同理，可以得到蓝色曝光下与曝光量蓝色像素、绿色像素、红色像素理论灰度值的响应关系，绿色曝光下曝光量与绿色像素、蓝色像素、红色像素理论灰度值的响应关系。

S2，进行RGB组合曝光实验。

RGB组合曝光实验时，通过控制不同色光的光源数量对红光、绿光及蓝光分量的占比进行不同组合。图像传感器在单色光组合且各色曝光量可控条件下实现组合曝光，并产生多种不同曝光组合的图像样本。根据单色曝光实验确定的各色像素的理想灰度值与曝光量的耦合关系，计算出多色组合曝光下像素响应的理论值。

S3，训练神经网络补偿模板。

根据不同的曝光组合生成一个大量图像样本的学习集，其中，图像传感器输出的数据为实测值，是需要处理的数据，根据S1、S2实验中所得到的实测值与理论值的关系计算出相应图像的理论值，作为训练的目标值。一对RGB组合曝光下实测的图像样本和各像素对本色光响应的理论灰度值，就构成了人工神经网络的一个输入和输出训练样本。将得到的学习集分为两部分，一部分子集用于对神经网络的训练，另外一部分子集用于对训练后神经网络模型的检验。根据3*3像素窗口中心像素颜色不同，设计中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板，该模板可以对中心像素灰度值进行补偿。通过神经网络对窗口进行训练，得到训练后的神经网络补偿模板。

S4，对图像传感器输出的图像进行补偿。

在需要处理的图像上，设置3*3滑动窗口与模板对应，使用神经网络补偿模板，采用滑动窗口的模式，步距为1像素，在遍历过程中，每一次补偿时选择中心像素与窗口中心像素颜色相同的模板，得到补偿后的灰度值，完成遍历后，得到补偿后的图像。

Claims (1)

1.一种基于神经网络补偿模板的图像传感器串扰补偿方法，其特征在于，包括以下步骤：

步骤1：进行单色曝光实验，分别得到红色曝光下、蓝色曝光下和绿色曝光下曝光量与红色像素、绿色像素、蓝色像素理论灰度值的响应关系；

步骤2：进行RGB组合曝光实验，图像传感器在单色光组合且各色曝光量可控条件下实现组合曝光，并产生多种不同曝光组合的图像样本，根据单色曝光实验确定的各色像素的理论灰度值与曝光量的耦合关系，计算出多色组合曝光下像素响应的理论值；

步骤3：训练神经网络补偿模板：根据不同的曝光组合生成图像样本的学习集，针对图像传感器输出的数据，根据步骤1和步骤2实验中所得到的实测值与理论值的关系计算出相应图像的理论值，作为训练的目标值，一对RGB组合曝光下实测的图像样本和各像素对本色光响应的理论灰度值，就构成了人工神经网络的一个输入和输出训练样本；将得到的学习集分为训练集和检验集；根据3*3像素窗口中心像素颜色不同，设计中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板用于中心像素灰度值补偿，利用训练集对设计的3*3像素的窗口进行训练，直至达到误差设定的范围时，停止迭代更新，神经网络训练完成，得到训练后的神经网络补偿模板；

步骤4：对图像传感器输出的图像进行补偿，在需要处理的图像上，设置3*3滑动窗口与模板对应，使用神经网络补偿模板，采用滑动窗口的模式，在遍历过程中，每一次补偿时选择中心像素与窗口中心像素颜色相同的模板，得到补偿后的灰度值，完成遍历后，得到补偿后的图像。