CN113724154A - 一种基于神经网络补偿模板的图像传感器串扰补偿方法 - Google Patents
一种基于神经网络补偿模板的图像传感器串扰补偿方法 Download PDFInfo
- Publication number
- CN113724154A CN113724154A CN202110884452.0A CN202110884452A CN113724154A CN 113724154 A CN113724154 A CN 113724154A CN 202110884452 A CN202110884452 A CN 202110884452A CN 113724154 A CN113724154 A CN 113724154A
- Authority
- CN
- China
- Prior art keywords
- neural network
- exposure
- pixel
- compensation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明公开了一种基于神经网络补偿模板的图像传感器串扰补偿方法,通过不同RGB分量组合的三色平场光曝光实验产生大量图像样本,且根据曝光分量计算各像素的光电响应理论灰度值,由此生成神经网络的学习集;通过人工神经网络训练一套3*3像素规格的窗口的神经网络补偿模板,再使用训练后的神经网络补偿模板采用滑动窗口的方式,对图像遍历,进行串扰补偿。本发明为利用人工神经网络补偿传感器图像提供了一种新模式,同时降低了人工神经网络模型的复杂程度。
Description
技术领域
本发明属于图像串扰补偿领域,具体为一种基于神经网络补偿模板的图像传感器串扰补偿方法,属于图像传感器补偿技术领域。
背景技术
在目前的图像传感器串扰补偿算法中,不少算法采用了对图像传感器相邻像素灰度值进行某种平均运算,以提取串扰分量的方法;有利用拜耳彩色滤光片阵列结构特性消除CMOS图像传感器像素串扰的算法,如假设图像小邻域内的色差是恒定的,在颜色插值前利用原始数据的R或B分量补偿相邻的G分量,以消除R分量干扰Gr和B分量干扰Gb的影响。本发明为人工神经网络补偿传感器图像提供了一种新思路。
发明内容
针对上述现有技术,本发明要解决的技术问题是提供一种基于神经网络补偿模板的图像传感器串扰补偿方法,通过神经网络训练出与不同图像传感器适配神经网络补偿模板,对图像补偿时需要使用神经网络补偿模板遍历图像,从而补偿传感器输出图像的串扰问题。
为解决上述技术问题,本发明的一种基于神经网络补偿模板的图像传感器串扰补偿方法,包括以下步骤:
步骤1:进行单色曝光实验,分别得到红色曝光下、蓝色曝光下和绿色曝光下曝光量与红色像素、绿色像素、蓝色像素理论灰度值的响应关系;
步骤2:进行RGB组合曝光实验,图像传感器在单色光组合且各色曝光量可控条件下实现组合曝光,并产生多种不同曝光组合的图像样本,根据单色曝光实验确定的各色像素的理论灰度值与曝光量的耦合关系,计算出多色组合曝光下像素响应的理论值;
步骤3:训练神经网络补偿模板:根据不同的曝光组合生成图像样本的学习集,针对图像传感器输出的数据,根据步骤1和步骤2实验中所得到的实测值与理论值的关系计算出相应图像的理论值,作为训练的目标值,一对RGB组合曝光下实测的图像样本和各像素对本色光响应的理论灰度值,就构成了人工神经网络的一个输入和输出训练样本;将得到的学习集分为训练集和检验集;根据3*3像素窗口中心像素颜色不同,设计中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板用于中心像素灰度值补偿,利用训练集对设计的3*3像素的窗口进行训练,直至达到误差设定的范围时,停止迭代更新,神经网络训练完成,得到训练后的神经网络补偿模板;
步骤4:对图像传感器输出的图像进行补偿,在需要处理的图像上,设置3*3滑动窗口与模板对应,使用神经网络补偿模板,采用滑动窗口的模式,在遍历过程中,每一次补偿时选择中心像素与窗口中心像素颜色相同的模板,得到补偿后的灰度值,完成遍历后,得到补偿后的图像。
本发明的有益效果:本发明通过神经网络训练出与不同图像传感器适配的神经网络补偿模板,该模板用于补偿传感器输出图像的串扰问题,是一种通过人工神经网络训练神经网络补偿模板从而对图像串扰进行补偿的一种方法,该方法最终训练的神经网络模型是能够补偿中心像素的模板,偿图像时使用神经网络补偿模板遍历图像,该方法为利用人工神经网络补偿传感器图像提供了一种新模式,该方法降低了人工神经网络模型的复杂程度。
附图说明
图1为中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板,其中R代表红色像素,G代表绿色像素,B代表蓝色像素。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做进一步说明。
本发明通过神经网络训练出与不同图像传感器适配的神经网络补偿模板,对图像传感器输出的图像进行补偿时,采用滑动窗口的方式使用该模板对图像进行遍历。包括:通过人工神经网络训练一套3*3像素规格的窗口的神经网络补偿模板,再使用训练后的神经网络补偿模板采用滑动窗口的方式,对图像遍历,进行串扰补偿。
设计中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板,该模板可以对中心像素进行补偿;
通过不同RGB分量组合的三色平场光曝光实验产生大量图像样本,且根据曝光分量计算各像素的光电响应理论灰度值,由此生成神经网络的学习集;
用生成的学习集训练上述模板后,以滑动窗口模式,滑动步距为1像素,对图像遍历,从而得到补偿后的图像。
本发明学习集中的样本是这样得到的:首先分别进行红光、绿光、蓝光单色曝光实验,得到单色曝光下像素响应的理论值与实测值关系;然后进行RGB组合曝光实验,通过控制不同色光的光源数量对红光、绿光及蓝光分量的占比进行不同组合,根据单色曝光实验确定的各色像素的理想灰度值与曝光量的耦合关系,计算出多色组合曝光下像素响应的理论值,一对RGB组合曝光下实测的图像样本和各像素对本色光响应的理论灰度值,就构成了人工神经网络的一个输入和输出训练样本;进行多组实验,产生大量图像样本,由此生成训练神经网络补偿模板的学习集,将得到的训练样本学习集分为两部分,一部分子集用于对神经网络的训练,另外一部分子集用于对训练后神经网络模型的检验。
根据3*3像素窗口中心像素颜色不同,设计中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板,该模板可以对中心像素灰度值进行补偿。使用训练样本中的训练集对设计的3*3像素的窗口进行训练,直至达到误差设定的范围时,停止迭代更新,神经网络训练完成,输出的训练结果即为校正后的神经网络补偿模板。
补偿图像时,输入需要处理的图像,使用神经网络补偿模板,采用滑动窗口的模式,步距为1像素,在遍历过程中,每一次补偿时选择中心像素与窗口中心像素颜色相同的模板,得到补偿后的灰度值,完成遍历后,得到补偿后的图像。
实验系统由FPGA,PC机,可见光强传感器,LED驱动电路及对应的以太网通讯模块和DDR3存储模块组成,实验实施步骤为:
S1,进行单色曝光实验。
积分球光源设置为红色光对传感器进行单色曝光,通过数学建模对实验数据进行拟合,得到图像传感器红色像素、蓝色像素及绿色像素的光子转换曲线,根据比例及差值得出相应串扰的量(传感器已平场化)。经过分析可以得到红色曝光下曝光量与红色像素、绿色像素、蓝色像素理论灰度值的响应关系。将积分球光源设置成绿色和蓝色,同理,可以得到蓝色曝光下与曝光量蓝色像素、绿色像素、红色像素理论灰度值的响应关系,绿色曝光下曝光量与绿色像素、蓝色像素、红色像素理论灰度值的响应关系。
S2,进行RGB组合曝光实验。
RGB组合曝光实验时,通过控制不同色光的光源数量对红光、绿光及蓝光分量的占比进行不同组合。图像传感器在单色光组合且各色曝光量可控条件下实现组合曝光,并产生多种不同曝光组合的图像样本。根据单色曝光实验确定的各色像素的理想灰度值与曝光量的耦合关系,计算出多色组合曝光下像素响应的理论值。
S3,训练神经网络补偿模板。
根据不同的曝光组合生成一个大量图像样本的学习集,其中,图像传感器输出的数据为实测值,是需要处理的数据,根据S1、S2实验中所得到的实测值与理论值的关系计算出相应图像的理论值,作为训练的目标值。一对RGB组合曝光下实测的图像样本和各像素对本色光响应的理论灰度值,就构成了人工神经网络的一个输入和输出训练样本。将得到的学习集分为两部分,一部分子集用于对神经网络的训练,另外一部分子集用于对训练后神经网络模型的检验。根据3*3像素窗口中心像素颜色不同,设计中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板,该模板可以对中心像素灰度值进行补偿。通过神经网络对窗口进行训练,得到训练后的神经网络补偿模板。
S4,对图像传感器输出的图像进行补偿。
在需要处理的图像上,设置3*3滑动窗口与模板对应,使用神经网络补偿模板,采用滑动窗口的模式,步距为1像素,在遍历过程中,每一次补偿时选择中心像素与窗口中心像素颜色相同的模板,得到补偿后的灰度值,完成遍历后,得到补偿后的图像。
Claims (1)
1.一种基于神经网络补偿模板的图像传感器串扰补偿方法,其特征在于,包括以下步骤:
步骤1:进行单色曝光实验,分别得到红色曝光下、蓝色曝光下和绿色曝光下曝光量与红色像素、绿色像素、蓝色像素理论灰度值的响应关系;
步骤2:进行RGB组合曝光实验,图像传感器在单色光组合且各色曝光量可控条件下实现组合曝光,并产生多种不同曝光组合的图像样本,根据单色曝光实验确定的各色像素的理论灰度值与曝光量的耦合关系,计算出多色组合曝光下像素响应的理论值;
步骤3:训练神经网络补偿模板:根据不同的曝光组合生成图像样本的学习集,针对图像传感器输出的数据,根据步骤1和步骤2实验中所得到的实测值与理论值的关系计算出相应图像的理论值,作为训练的目标值,一对RGB组合曝光下实测的图像样本和各像素对本色光响应的理论灰度值,就构成了人工神经网络的一个输入和输出训练样本;将得到的学习集分为训练集和检验集;根据3*3像素窗口中心像素颜色不同,设计中心像素分别为R、G、B的3*3像素规格的3个神经网络补偿模板用于中心像素灰度值补偿,利用训练集对设计的3*3像素的窗口进行训练,直至达到误差设定的范围时,停止迭代更新,神经网络训练完成,得到训练后的神经网络补偿模板;
步骤4:对图像传感器输出的图像进行补偿,在需要处理的图像上,设置3*3滑动窗口与模板对应,使用神经网络补偿模板,采用滑动窗口的模式,在遍历过程中,每一次补偿时选择中心像素与窗口中心像素颜色相同的模板,得到补偿后的灰度值,完成遍历后,得到补偿后的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110884452.0A CN113724154B (zh) | 2021-08-03 | 2021-08-03 | 一种基于神经网络补偿模板的图像传感器串扰补偿方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110884452.0A CN113724154B (zh) | 2021-08-03 | 2021-08-03 | 一种基于神经网络补偿模板的图像传感器串扰补偿方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113724154A true CN113724154A (zh) | 2021-11-30 |
CN113724154B CN113724154B (zh) | 2023-10-17 |
Family
ID=78674691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110884452.0A Active CN113724154B (zh) | 2021-08-03 | 2021-08-03 | 一种基于神经网络补偿模板的图像传感器串扰补偿方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113724154B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7561194B1 (en) * | 2003-10-17 | 2009-07-14 | Eastman Kodak Company | Charge diffusion crosstalk reduction for image sensors |
CN106341617A (zh) * | 2016-11-16 | 2017-01-18 | 信利光电股份有限公司 | 一种摄像头串扰补偿的方法及装置 |
CN108765540A (zh) * | 2018-04-26 | 2018-11-06 | 河海大学 | 一种基于图像与集成学习的重光照方法 |
CN111428583A (zh) * | 2020-03-05 | 2020-07-17 | 同济大学 | 一种基于神经网络和触觉点阵的视觉补偿方法 |
CN112697071A (zh) * | 2020-11-17 | 2021-04-23 | 广东工业大学 | 一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法 |
-
2021
- 2021-08-03 CN CN202110884452.0A patent/CN113724154B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7561194B1 (en) * | 2003-10-17 | 2009-07-14 | Eastman Kodak Company | Charge diffusion crosstalk reduction for image sensors |
CN106341617A (zh) * | 2016-11-16 | 2017-01-18 | 信利光电股份有限公司 | 一种摄像头串扰补偿的方法及装置 |
CN108765540A (zh) * | 2018-04-26 | 2018-11-06 | 河海大学 | 一种基于图像与集成学习的重光照方法 |
CN111428583A (zh) * | 2020-03-05 | 2020-07-17 | 同济大学 | 一种基于神经网络和触觉点阵的视觉补偿方法 |
CN112697071A (zh) * | 2020-11-17 | 2021-04-23 | 广东工业大学 | 一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法 |
Non-Patent Citations (1)
Title |
---|
吴定会;李真;纪志成;: "一种基于补偿模糊神经网络的新型图像滤波方法", 仪器仪表学报, no. 07 * |
Also Published As
Publication number | Publication date |
---|---|
CN113724154B (zh) | 2023-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106531060B (zh) | Led显示装置亮色度校正方法及装置 | |
CN103931169B (zh) | 一种通用的色域映射及色彩管理方法 | |
CN109671124B (zh) | 一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统 | |
CN102120384B (zh) | 多原色印刷色值的修正方法 | |
CN103268596B (zh) | 一种降低图像噪声和使颜色接近标准的方法 | |
CN108600725A (zh) | 一种基于rgb-ir图像数据的白平衡校正装置及方法 | |
JP6530751B2 (ja) | 画像処理装置、撮像装置、情報処理装置、画像処理方法およびプログラム | |
CN104796577B (zh) | 基于emccd和单色ccd的彩色夜视成像装置及方法 | |
CN108230407B (zh) | 一种图像的处理方法和装置 | |
WO2023005115A1 (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
CN104410850A (zh) | 一种彩色数字影像色度校正方法及系统 | |
CN111107330A (zh) | 一种Lab空间的偏色校正方法 | |
CN104092919B (zh) | 用于彩色数字影像系统的色适应变换寻优方法及系统 | |
CN113724154B (zh) | 一种基于神经网络补偿模板的图像传感器串扰补偿方法 | |
CN110910480A (zh) | 基于颜色模式映射关系的环境监测图像渲染方法 | |
Lelowicz et al. | Discussion of novel filters and models for color space conversion | |
CN204479931U (zh) | 实木地板油漆计算机配色系统 | |
CN104869379B (zh) | 白平衡补偿方法及电子装置 | |
KR20190100833A (ko) | Hdr 이미지 생성 장치 | |
CN113724342B (zh) | 一种彩色图像传感器像素响应理论灰度值的计算方法 | |
CN112365559A (zh) | 一种基于结构相似度的生成对抗网络的红外图像着色方法 | |
CN106780561B (zh) | 一种用于视觉跟踪的具有光照鲁棒性的色空间构建方法 | |
CN117768791B (zh) | 一种基于神经网络的跨相机图像白平衡方法和系统 | |
Yanzhe | A novel algorithm based on improved BP neural network and its application in color management | |
CN112991201B (zh) | 一种基于颜色校正和上下文聚合残差网络的图像去雾方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |